The noise associated with conventional techniques for evolutionary
improvement of neural network architectures is reduced so that of an
optimum architecture can be determined more efficiently and more
effectively. Parameters that affect the initialization of a neural network
architecture are included within the encoding that is used by an
evolutionary algorithm to optimize the neural network architecture. The
example initialization parameters include an encoding that determines the
initial nodal weights used in each architecture at the commencement of the
training cycle. By including the initialization parameters within the
encoding used by the evolutionary algorithm, the initialization parameters
that have a positive effect on the performance of the resultant evolved
network architecture are propagated and potentially improved from
generation to generation. Conversely, initialization parameters that, for
example, cause the resultant evolved network to be poorly trained, will
not be propagated. In accordance with a second aspect of this invention,
the encoding also includes parameters that affect the training process,
such as the duration of the training cycle, the training inputs applied,
and so on. In accordance with a third aspect of this invention, the same
set of training or evaluation inputs are applied to all members whose
performances are directly compared.
Die Geräusche verbanden mit herkömmlichen Techniken für Entwicklungsverbesserung der neuralen Netzwerkarchitektur werden verringert, damit von einer optimalen Architektur leistungsfähiger und effektiv festgestellt werden kann. Parameter, die die Initialisierung einer neuralen Netzwerkarchitektur beeinflussen, sind innerhalb der kodierung enthalten, die durch einen Entwicklungsalgorithmus verwendet wird, um die neurale Netzwerkarchitektur zu optimieren. Die Beispielinitialisierung Parameter schließen eine kodierung ein, die die Ausgangsknotengewichte feststellt, die in jeder Architektur am Anfang des Training Zyklus benutzt werden. Durch das Einschließen der Initialisierung Parameter innerhalb der kodierung, die durch den Entwicklungsalgorithmus verwendet wird, werden die Initialisierung Parameter, die einen positiven Effekt auf der Leistung der resultierenden entwickelten Netzwerkarchitektur haben, fortgepflanzt und verbessert möglicherweise von Erzeugung zu Erzeugung. Andererseits werden Initialisierung Parameter, die z.B. das resultierende entwickelte Netz veranlassen, schlecht ausgebildet zu werden, nicht fortgepflanzt. In Übereinstimmung mit einem zweiten Aspekt dieser Erfindung, schließt die kodierung auch Parameter, die den Training Prozeß, wie die Dauer des Training Zyklus beeinflussen, die angewendeten Training Eingänge, und so weiter ein. In Übereinstimmung mit einem dritten Aspekt dieser Erfindung, werden der gleiche Satz des Trainings oder die Auswertung Eingänge an allen Mitgliedern angewendet deren Leistungen direkt verglichen werden.
