WO2002027654A2 - Verfahren und anordnung zur rechnergestützten abbildung mehrerer zeitlich veränderlicher zustandsbeschreibungen und verfahren zum training einer solchen anordnung - Google Patents

Verfahren und anordnung zur rechnergestützten abbildung mehrerer zeitlich veränderlicher zustandsbeschreibungen und verfahren zum training einer solchen anordnung Download PDF

Info

Publication number
WO2002027654A2
WO2002027654A2 PCT/DE2001/003731 DE0103731W WO0227654A2 WO 2002027654 A2 WO2002027654 A2 WO 2002027654A2 DE 0103731 W DE0103731 W DE 0103731W WO 0227654 A2 WO0227654 A2 WO 0227654A2
Authority
WO
WIPO (PCT)
Prior art keywords
filename
parameter
std
mlp
nopenalty
Prior art date
Application number
PCT/DE2001/003731
Other languages
English (en)
French (fr)
Other versions
WO2002027654A3 (de
Inventor
Caglayan Erdem
Achim Müller
Ralf Neuneier
Hans-Georg Zimmermann
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to US10/381,818 priority Critical patent/US20040030663A1/en
Priority to JP2002531358A priority patent/JP2004523813A/ja
Priority to EP01978185A priority patent/EP1384198A2/de
Publication of WO2002027654A2 publication Critical patent/WO2002027654A2/de
Publication of WO2002027654A3 publication Critical patent/WO2002027654A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

Die Erfindung betrifft eine rechnergestützte Abbildung mehrerer zeitlich veränderlicher Zustandsbeschreibungen. Bei der Erfindung wird eine erste Zustandsbeschreibung in einem ersten Zustandsraum durch eine Abbildung abgebildet auf eine zweite Zustandsbeschreibung in dem zweiten Zustandsraum, wobei bei der Abbildung die zweite Zustandsbeschreibung eines zeitlich späteren Zustands berücksichtigt wird. Durch eine weitere Abbildung wird die zweite Zustandsbeschreibung in dem zweiten Zustandsraum wieder zurück abgebildet auf eine dritte Zustandsbeschreibung in dem ersten Zustandsraum.

Description

Beschreibung
Verfahren und Anordnung zur rechnergestützten Abbildung mehrerer zeitlich veränderlicher Zustandsbeschreibungen und Ver- fahren zum Training einer solchen Anordnung
Die Erfindung betrifft ein Verfahren und eine 7Anordnung zur rechnergestützten Abbildung mehrerer zeitlich veränderlicher Zustandsbeschreibungen sowie ein Verfahren zum Training einer Anordnung zur rechnergestützten Abbildung mehrerer zeitlich veränderlicher Zustandsbeschreibungen.
Aus [1]- ist es bekannt, zur Beschreibung eines dynamischen Prozesses eine Anordnung zur Abbildung mehrerer zeitlich ver- änderlicher Zustandsbeschreibungen einzusetzen. Diese Anordnung ist durch miteinander verbundenen Rechenelemente, unter Verwendung derer die Abbildung durchgeführt wird, realisiert.
Allgemein wird ein dynamischer Prozeß üblicherweise durch ei- ne Zustandsübergangsbeschreibung, die für einen Beobachter des dynamischen Prozesses nicht sichtbar ist, und eine Ausgangsgleichung, die beobachtbare Größen des technischen dynamischen Prozesses beschreibt, beschrieben.
Eine solche Struktur ist in Fig.2a dargestellt.
Ein dynamisches System 200 unterliegt dem Einfluß einer externen Eingangsgröße u vorgebbarer Dimension, wobei eine Eingangsgröße ut zu einem Zeitpunkt t mit u-^ bezeichnet wird:
ut 9Ϊ-
wobei mit 1 eine natürliche Zahl bezeichnet wird.
Die Eingangsgröße u- zu einem Zeitpunkt t verursacht eine
Veränderung des dynamischen Prozesses, der in dem dynamischen System 200 abläuft. Ein innerer Zustand s (st e 5Rm ) vorgebbarer Dimension zu einem Zeitpunkt t ist für einen Beobachter des dynamischen Systems 200 nicht beobachtbar.
In Abhängigkeit vom inneren Zustand st und der Eingangsgröße ut wird ein Zustandsübergang des inneren Zustandes s des dynamischen Prozesses verursacht und der Zustand des dynamischen Prozesses geht über in einen Folgezustand s-^+i zu einem folgenden Zeitpunkt t+1.
Dabei gilt:
st +1 = f(sX ut)- (D
wobei mit f (.) eine allgemeine Abbildungsvorschrift bezeichnet wird.
Eine von einem Beobachter des dynamischen Systems 200 beobachtbare Ausgangsgröße y zu einem Zeitpunkt t hängt ab von der Eingangsgröße u sowie dem inneren Zustand st-
Die Ausgangsgröße y ( yt s SRn) ist vorgebbarer Dimension n.
Die Abhängigkeit der Ausgangsgröße yt von der Eingangsgröße u und dem inneren Zustand st des dynamischen Prozesses ist durch folgende allgemeine Vorschrift gegeben:
Yt = g(st'ut)' (2)
wobei mit g(.) eine allgemeine Abbildungsvorschrift bezeichnet wird.
Zur Beschreibung des dynamischen Systems 200 wird in [1] eine 7Λnordnung miteinander verbundener Rechenelemente in Form ei- nes neuronalen Netzes miteinander verbundener Neuronen eingesetzt. Die Verbindungen zwischen den Neuronen des neuronalen Netzes sind gewichtet. Die Gewichte des neuronalen Netzes sind in einem Parametervektor v zusammengefaßt.
Somit hängt ein innerer Zustand eines dynamischen Systems, welches einem dynamischen Prozeß unterliegt, gemäß folgender Vorschrift von der- Eingangsgröße ut und dem inneren Zustand des vorangegangenen Zeitpunktes st und dem Parametervektor v ab:
st+i = NN(v, st,ut), (3)
wobei mit NN(.) eine durch das neuronale Netz vorgegebene Abbildungsvorschrift bezeichnet wird.
Die aus [1] bekannte und als Time Delay Recurrent Neural Network (TDRNN) bezeichnete Anordnung wird in einer Trainings- phase derart trainiert, daß zu einer Eingangsgröße ut jeweils eine Zielgröße yt an einem realen dynamischen System ermittelt wird. Das Tupel (Eingangsgröße, ermittelte Zielgröße) wird als Trainingsdatum bezeichnet. Eine Vielzahl solcher Trainingsdaten bilden einen Trainingsdatensatz.
Dabei weisen zeitlich aufeinanderfolgende Tupel (ut-4 . yf_ Δ ) (ut-3 r y _3 ) , (ut-2 > yf-2 ) der Zeitpunkte (t-4, t-3, t-3, ...) des Trainingsdatensatzes jeweils einen vorgegeben Zeitschritt auf.
Mit dem Trainingsdatensatz wird das TDRNN trainiert. Eine Ü- bersicht über verschiedene Trainingsverfahren ist ebenfalls in [1] zu finden.
Es ist an dieser Stelle zu betonen, daß lediglich die Ausgangsgröße y zu einem Zeitpunkt t des dynamischen Systems 200 erkennbar ist. Der "inneren" Systemzustand st ist nicht beobachtbar. In der Trainingsphase wird üblicherweise folgende Kostenfunktion E minimiert:
Figure imgf000006_0001
wobei mit T eine Anzahl berücksichtigter Zeitpunkte bezeichnet wird.
In [2] ist ferner ein Überblick über Grundlagen neuronaler Netze und die Anwendungsmöglichkeiten neuronaler Netze im Bereich der Ökonomie zu finden.
Die bekannten Anordnungen und Verfahren weisen insbesondere den Nachteil auf, dass durch sie ein zu beschreibender dyna- mischer Prozess nur unzureichend genau beschrieben werden kann. Dies ist darauf zurückzuführen, dass mit den bei diesen Anordnungen und Verfahren verwendeten Abbildungen die Zustandsübergangsbeschreibung des dynamischen Prozesses nur unzureichend genau nachgebildet werden kann.
Somit liegt der Erfindung das Problem zugrunde, ein Verfahren und eine Anordnung sowie ein Verfahren zum Training einer Anordnung zur rechnergestützten Abbildung mehrerer zeitlich veränderlicher Zustandsbeschreibungen anzugeben, mit welchen eine Zustandsübergangsbeschreibung eines dynamischen Systems mit verbesserter Genauigkeit beschrieben werden kann und welche Anordnung und welche Verfahren nicht den Nachteilen der bekannten Anordnungen und Verfahren unterliegen.
Die Probleme werden durch eine Anordnung sowie Verfahren mit den Merkmalen gemäß dem jeweiligen unabhängigen Patentanspruch gelöst.
Das Verfahren zur rechnergestützten Abbildung mehrerer zeit- lieh veränderlicher Zustandsbeschreibungen, die jeweils einen zeitlich veränderlichen Zustand eines dynamischen Systems zu einem zugehörigen Zeitpunkt in einem Zustandsraum beschreiben, welches dynamische System eine Eingangsgröße auf eine zugehörige Ausgangsgröße abbildet, weist folgende Schritte auf:
a) es wird durch eine erste Abbildung eine erste Zustandsbeschreibung in einem ersten Zustandsraum abgebildet auf eine zweite Zustandsbeschreibung in einem zweiten Zustandsraum, b) bei der ersten Abbildung wird die zweite Zustandsbeschreibung eines zeitlich früheren Zustands berücksichtigt, c) es wird durch eine zweite Abbildung die zweite Zustandsbeschreibung abgebildet auf eine dritte Zustandsbeschreibung in dem ersten Zustandsraum, dadurch gekennzeichnet, dass d) die erste Zustandsbeschreibung durch eine dritte Abbildung abgebildet wird auf eine vierte Zustandsbeschreibung in dem zweiten Zustandsraum, e) bei der dritten Abbildung die vierte Zustandsbeschreibung eines zeitlich späteren Zustands berücksichtigt wird und f) die vierte Zustandsbeschreibung durch eine vierte Abbildung abgebildet wird auf die dritte Zustandsbeschreibung, wobei die Abbildungen derart angepasst sind, dass die Abbildungen der ersten Zustandsbeschreibung auf die dritte Zustandsbeschreibung die Abbildung der Eingangsgröße auf die zugehörige Ausgangsgröße mit einer vorgegebenen Genauigkeit beschreiben.
Die Anordnung zur rechnergestützten Abbildung mehrerer zeit- lieh veränderlicher Zustandsbeschreibungen, die jeweils einen zeitlich veränderlichen Zustand eines dynamischen Systems zu einem zugehörigen Zeitpunkt in einem Zustandsraum beschreiben, welches dynamische System eine Eingangsgröße auf eine zugehörige Ausgangsgröße abbildet, weist folgende Komponenten auf: a) mit einer ersten Abbildungseinheit, die derart eingerichtet ist, dass eine erste Zustandsbeschreibung in einem ersten Zustandsraum durch eine erste Abbildung abbildbar ist auf eine zweite Zustandsbeschreibung in einem zweiten Zustandsraum, b) und die erste Abbildungseinheit derart eingerichtet ist, dass bei der ersten Abbildung die zweite Zustandsbeschreibung eines zeitlich früheren Zustands berücksichtigbar ist, c) mit einer zweiten Abbildungseinheit, die derart eingerichtet ist, dass die zweite Zustandsbeschreibung durch eine zweite Abbildung abbildbar ist auf eine dritte Zustandsbeschreibung in dem ersten Zustandsraum, dadurch gekennzeichnet, dass d) die Anordnung eine dritte Abbildungseinheit aufweist, die derart eingerichtet ist, dass die erste Zustandsbeschrei- bung durch eine dritten Abbildung abbildbar ist auf eine vierte Zustandsbeschreibung in dem zweiten Zustandsraum, e) und die dritte Abbildungseinheit derart eingerichtet ist, dass bei der dritte Abbildung die vierte Zustandsbeschreibung eines zeitlich späteren Zustands berücksichtigbar ist, f) und die Anordnung eine vierte Abbildungseinheit aufweist, die derart eingerichtet ist, dass die vierte Zustandsbeschreibung durch eine vierte Abbildung abbildbar ist auf die dritte Zustandsbeschreibung, wobei die Abbildungseinheiten derart eingerichtet sind, dass die Abbildungen der ersten Zustandsbeschreibung auf die dritte Zustandsbeschreibung die Abbildung der Eingangsgröße auf die zugehörige Ausgangsgröße mit einer vorgegebenen Genauigkeit beschreiben.
Das Verfahren zum Training einer Anordnung zur rechnergestützten 7bbildung mehrerer zeitlich veränderlicher Zustandsbeschreibungen, die jeweils einen zeitlich veränderlichen Zustand eines dynamischen Systems zu einem zugehörigen Zeit- punkt in einem Zustandsraum beschreiben, welches dynamische System eine Eingangsgröße auf eine zugehörige Ausgangsgröße abbildet, welche Anordnung folgende Komponenten aufweist: a) mit einer ersten Abbildungseinheit, die derart eingerichtet ist, dass eine erste Zustandsbeschreibung in einem ersten Zustandsraum durch eine erste Abbildung abbildbar ist auf eine zweite Zustandsbeschreibung in einem zweiten Zustandsraum, b) und die erste Abbildungseinheit derart eingerichtet ist, dass bei der ersten Abbildung die zweite Zustandsbeschreibung eines zeitlich früheren Zustands berücksichtigbar ist, c) mit einer zweiten Abbildungseinheit, die derart eingerichtet ist, dass die zweite Zustandsbeschreibung durch eine zweite Abbildung abbildbar ist auf eine dritte Zustandsbeschreibung in dem ersten Zustandsraum, d) mit einer dritten Abbildungseinheit, die derart eingerich- tet ist, dass die erste Zustandsbeschreibung durch eine dritte Abbildung abbildbar ist auf eine vierte Zustandsbeschreibung in dem zweiten Zustandsraum, e) und die dritte Abbildungseinheit derart eingerichtet ist, dass bei der dritten Abbildung die vierte Zustandsbe- Schreibung eines zeitlich späteren Zustands berücksichtigbar ist, f) mit einer vierten Abbildungseinheit, die derart eingerichtet ist, dass die vierte Zustandsbeschreibung durch eine vierte Abbildung abbildbar ist auf die dritte Zustandsbe- Schreibung, weist folgenden Trainingsschritte auf:
- bei dem Training werden unter Verwendung mindestens eines vorgegebenen Trainingsdatenpaars, welches gebildet wird aus der Eingangsgröße und der zugehörigen Ausgangs- große, die Abbildungseinheiten derart eingerichtet, dass die Abbildung der ersten Zustandsbeschreibung auf die dritte Zustandsbeschreibung die Abbildungen der Eingangsgröße auf die zugehörige Ausgangsgröße mit einer vorgegebenen Genauigkeit beschreiben. Die Anordnung ist insbesondere geeignet zur Durchführung der erfindungsgemäßen Verfahren oder einer deren nachfolgend erläuterten Weiterbildungen.
Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Die im weiteren beschriebenen Weiterbildungen beziehen sich sowohl auf die Verfahren als auch auf die Anordnung.
Die Erfindung und die im weiteren beschriebenen Weiterbildungen können sowohl in Software als auch in Hardware, beispielsweise unter Verwendung einer speziellen elektrischen Schaltung, realisiert werden.
Ferner ist eine Realisierung der Erfindung oder einer im weiteren beschriebenen Weiterbildung möglich durch ein computerlesbares Speichermedium, auf welchem ein Computerprogramm gespeichert ist, welches die Erfindung oder Weiterbildung aus- führt.
Auch kann die Erfindung oder jede im weiteren beschriebene Weiterbildung durch ein Computerprogrammerzeugnis realisiert sein, welches ein Speichermedium aufweist, auf welchem ein Computerprogramm gespeichert ist, welches die Erfindung oder Weiterbildung ausführt.
In einer Ausgestaltung ist eine Abbildungseinheit realisiert durch eine Neuronenschicht aus mindestens einem Neuron. Eine hinsichtlich der Genauigkeit verbesserte Nachbildung eines dynamischen Systems lässt sich aber durch die Verwendung mehrerer Neuronen in einer Neuronenschicht erreichen. In einer Weiterbildung ist eine Zustandsbeschreibung ein Vektor vorgebbarer Dimension. Bevorzugt wird eine Weiterbildung zur Ermittlung einer Dynamik eines dynamischen Prozesses eingesetzt.
Eine Ausgestaltung weist eine Meßanordnung zur Erfassung physikalischer Signale auf, mit denen der dynamische Prozeß beschrieben wird.
Bevorzugt wird eine Weiterbildung zur Ermittlung der Dynamik eines dynamischen Prozesses, der in einem technischen System abläuft, insbesondere in einem chemischen Reaktor, oder zur Ermittlung der Dynamik eines Elekro-Kardio-Gramms, oder zur Ermittlung einer ökonomischen oder makroökonomischen Dynamik eingesetzt.
Eine Weiterbildung kann auch zu einer Überwachung oder Steuerung eines dynamischen Prozesses, insbesondere eines chemischen Prozesses, eingesetzt werden.
Die Zustandsbeschreibungen können aus physikalischen Signalen ermittelt werden.
Eine Weiterbildung wird eingesetzt bei einer Sprachbearbeitung, wobei die Eingangsgröße eine erste Sprachinformation eines zu sprechenden Wortes und/oder eine zu sprechende Silbe ist und die Ausgangsgröße eine zweite Sprachinformation des zu sprechenden Wortes und/oder der zu sprechenden Silbe ist.
In einer weiteren Ausgestaltung umfasst die erste Sprachin- formation eine Klassifikation des zu sprechenden Wortes und/oder der zu sprechenden Silbe und/oder eine Pauseninformation des zu sprechenden Wortes und/oder der zu sprechenden Silbe. Die zweite Sprachinformation umfasst eine Akzentuierungsinformation des zu sprechenden Wortes und/oder der zu sprechenden Silbe. Auch ist eine Realisierung im Bereich Sprachbearbeitung möglich, bei der die erste Sprachinformation eine phonetische und/oder strukturelle Information des zu sprechenden Wortes und/oder der zu sprechenden Silbe umfasst und/oder die zweite Sprachinformation eine Frequenzinformation des zu sprechenden Wortes und/oder der zu sprechenden Silbe umfasst.
Ausführungsbeispiele der Erfindung sind in Figuren darge¬ stellt und werden im weiteren erläutert.
Es zeigen
Figur 1- Skizze einer Anordnung gemäß einem ersten Ausführungsbeispiel (KRKNN) ;
Figuren 2a und 2b eine erste Skizze einer allgemeinen Beschreibung eines dynamischen Systems und eine zweite Skizze einer Beschreibung eines dynamischen Systems, welchem ein „Kausaler-Retro-Kausaler* Zusammenhang zugrunde liegt;
Figur 3 eine Anordnung gemäß einem zweiten Ausführungsbei- spiel (KRKFKNN) ;
Figur 4 eine Skizze eines chemischen Reaktors, von dem Größen gemessen werden, welche mit der Anordnung gemäß dem ersten Ausführungsbeispiel weiterverarbeitet werden;
Figur 5 eine Skizze einer Anordnung eines TDRNN, welche mit endlich vielen Zuständen über die Zeit entfaltet ist;
Figur 6 eine Skizze eines Verkehrsleitsystems, welches mit der Anordnung im Rahmen eines zweiten Ausführungsbei- spiels modelliert wird; Figur 7 Skizze einer alternativen Anordnung gemäß einem ersten Ausführungsbeispiel (KRKNN mit gelösten Verbindungen) ;
Figur 8 Skizze einer alternativen Anordnung gemäß einem zweiten Ausführungsbeispiel (KRKFKNN mit gelösten Verbindungen) ;
Figur 9 Skizze einer alternativen Anordnung gemäß einem ers- ten Ausführungsbeispiel (KRKNN) ;
Figur 10 Skizze einer Sprachbearbeitung unter Verwendung einer Anordnung gemäß einem ersten Ausführungsbeispiel (KRKNN) ;
Figur 11 Skizze einer Sprachbearbeitung unter Verwendung einer Anordnung gemäß einem zweiten Ausführungsbei- spiel (KRKFKNN) .
Erstes Ausführungsbeispiel : Chemischer Reaktor
Fig.4 zeigt einen chemischen Reaktor 400, der mit einer chemischen Substanz 401 gefüllt ist. Der chemische Reaktor 400 umfaßt einen Rührer 402, mit dem die chemische Substanz 401 gerührt wird. In den chemischen Reaktor 400 einfließende weitere chemische Substanzen 403 reagieren während eines vorgebbaren Zeitraums in dem chemischen Reaktor 400 mit der in dem chemischen Reaktor 400 bereits enthaltenen chemischen Substanz 401. Eine aus dem Reaktor 400 ausfließende Substanz 404 wird aus dem chemischen Reaktor 400 über einen Ausgang abgeleitet.
Der Rührer 402 ist über eine Leitung mit einer Steuereinheit 405 verbunden, mit der über ein Steuersignal 406 eine Rühr- frequenz des Rührers 402 einstellbar ist. Ferner ist ein Meßgerät 407 vorgesehen, mit dem Konzentrationen von in der chemischen Substanz 401 enthaltenen chemischen Stoffe gemessen werden.
Meßsignale 408 werden einem Rechner 409 zugeführt, in dem
Rechner 409 über eine Eingangs-/Ausgangsschnittstelle 410 und einem Analog/Digital-Wandler 411 digitalisiert und in einem Speicher 412 gespeichert. Ein Prozessor 413 ist ebenso wie der Speicher 412 über einen Bus 414 mit dem Analog/Digital- Wandler 411 verbunden. Der Rechner 409 ist ferner über die
Eingangs-/Ausgangsschnittstelle 410 mit der Steuerung 405 des Rührers 402 verbunden und somit steuert der Rechner 409 die Rührfrequenz des Rührers 402.
Der Rechner 409 ist ferner über die Eingangs-/Ausgangs- schnittstelle 410 mit einer Tastatur 415, einer Computermaus 416 sowie einem Bildschirm 417 verbunden.
Der chemische Reaktor 400 als dynamisches technisches System 250 unterliegt somit einem dynamischen Prozeß.
Der chemische Reaktor 400 wird mittels einer Zustandsbeschreibung beschrieben. Eine Eingangsgröße ut dieser Zustand- beschreibung setzt sich in diesem Fall zusammen aus einer An- gäbe über die Temperatur, die in dem chemischen Reaktor 400 herrscht sowie dem in dem chemischen Reaktor 400 herrschenden Druck und der zu dem Zeitpunkt t eingestellten Rührfrequenz. Somit ist die Eingangsgröße ut ein dreidimensionaler Vektor.
Ziel der im weiteren beschriebenen Modellierung des chemischen Reaktors 400 ist die Bestimmung der dynamischen Entwicklung der Stoffkonzentrationen, um somit eine effiziente Erzeugung eines zu produzierenden vorgebbaren Zielstoffes als ausfließende Substanz 404 zu ermöglichen.
Dies erfolgt unter Verwendung der im weiteren beschriebenen und in der Fig.1 dargestellten Anordnung. Der dynamische Prozess, der dem beschriebenen Reaktor 400 zugrunde liegt und einen sogenannten „Kausalen-Retro- Kausalen Zusammenhang aufweist, wird beschrieben durch eine Zustandsübergangsbeschreibung, die für einen Beobachter des dynamischen Prozesses nicht sichtbar ist, und eine Ausgangs- gleichung, die beobachtbare Größen des technischen dynamischen Prozesses beschreibt.
Eine solche Struktur eines dynamischen Systems mit einem „Kausalen-Retro-Kausalen* Zusammenhang ist in Fig.2b dargestellt.
Das dynamisches System 250 unterliegt dem Einfluss einer externen Eingangsgröße u vorgebbarer Dimension, wobei eine Ein- gangsgröße ut zu einem Zeitpunkt t mit ut bezeichnet wird:
ut mJ
wobei mit 1 eine natürliche Zahl bezeichnet wird.
Die Eingangsgröße ut zu einem Zeitpunkt t verursacht eine Veränderung des dynamischen Prozesses, der in dem dynamischen System 250 abläuft.
Ein innerer Zustand des Systems 250 zu einem Zeitpunkt t, welcher innere Zustand für einen Beobachter des Systems 250 nicht beobachtbar ist, setzt sich in diesem Fall zusammen aus einen ersten inneren Teilzustand st und einem zweiten inneren Teilzustand rt-
In Abhängigkeit vom ersten inneren Teilzustand st-i zu einem früheren Zeitpunkt t-1 und der Eingangsgröße ut wird ein Zu- standsübergang des ersten inneren Teilzustandes st-i des dynamischen Prozesses in einen Folgezustand st verursacht.
Dabei gilt: st = f!(stX' ut) - ( 5 )
wobei mit f1 ( . ) eine allgemeine Abbildungsvorschrift bezeich- net wird.
Anschaulich gesehen wird der erste innere Teilzustand st be- einflusst von einem früheren ersten inneren Teilzustand st-i und der Eingangsgröße ut- Ein solcher Zusammenhang wird übli- cherweise als „Kausalität* bezeichnet.
In Abhängigkeit vom zweiten inneren Teilzustand rt+i zu einem nachfol-genden Zeitpunkt t+1 und der Eingangsgröße ut wird ein Zustandsübergang des ersten inneren Zustandes rt+i des dyna- mischen Prozesses in einen Folgezustand rt verursacht.
Dabei gilt:
rt = f2(rt+l'ut)- (6)
wobei mit f2 ( . ) eine allgemeine Abbildungsvorschrift bezeichnet wird.
Anschaulich gesehen wird in diesem Fall der zweite innere Teilzustand rt beeinflusst von einem späteren zweiten inneren Teilzustand rt+i, im allgemeinen also einer Erwartung über einen späteren Zustand des dynamischen Systems 250, und der Eingangsgröße ut. Ein solcher Zusammenhang wird als „Retro- Kausalität bezeichnet.
Eine von einem Beobachter des dynamischen Systems 250 beobachtbare Ausgangsgröße yt zu einem Zeitpunkt t hängt ab somit von der Eingangsgröße Ut. dem ersten inneren Teilzustand ≤ sowie dem zweiten inneren Teilzustand rt>
Die Ausgangsgröße yt ( yt e 9?n) ist vorgebbarer Dimension n. Die Abhängigkeit der Ausgangsgröße yt von der Eingangsgröße ut dem ersten inneren Teilzustand st sowie dem zweiten inneren Teilzustand rt des dynamischen Prozesses ist durch folgende allgemeine Vorschrift gegeben:
Figure imgf000017_0001
wobei mit g(.) eine allgemeine Abbildungsvorschrift bezeichnet wird.
Zur Beschreibung des dynamischen Systems 250 sowie dessen Zustände wird eine Anordnung miteinander verbundener Rechenelemente in Form eines Neuronalen Netzes miteinander verbundener Neuronen eingesetzt. Dieses ist in Fig.1 dargestellt und wird als „Kausales-Retro-Kausales Neuronales Netz (KRKNN) bezeichnet .
Die Verbindungen zwischen den Neuronen des neuronalen Netzes sind gewichtet. Die Gewichte des neuronalen Netzes sind in einem Parametervektor v zusammengefasst .
Bei diesem Neuronalen Netz hängen der erste innere Teilzustand s und der zweiten inneren Teilzustand rt gemäß folgenden Vorschriften von der Eingangsgröße u . dem ersten inneren Teilzustand st-i. dem zweiten inneren Teilzustand rt+i sowie den Parametervektoren vs, vt, vy ab:
st = NN(vs, st_ι. ut), (8)
Figure imgf000017_0002
wobei mit NN ( . ) eine durch das neuronale Netz vorgegebene Abbildungsvorschrift bezeichnet wird.
Das KRKNN 100 gemäß Fig.l ist ein über vier Zeitpunkte, t-1, t, t+1 und t+2, entfaltetes Neuronales Netz. Grundzüge eines über eine endliche Anzahl von Zeitpunkten entfaltetes Neuronalen Netzes sind in [1] beschrieben.
Zum einfacheren Verständnis der dem KRKNN zugrunde liegenden Prinzipien ist in Fig.5 das bekannte TDRNN als ein über eine endliche Anzahl von Zeitpunkten entfaltetes neuronales Netz 500 dargestellt.
Das in Fig.5 dargestellte neuronale Netz 500 weist eine Ein- gangsschicht 501 mit drei Teileingangsschichten 502, 503 und 504 auf, die jeweils eine vorgebbare Anzahl Eingangs- Rechenelemente enthalten, denen Eingangsgrößen ut zu einem vorgebbaren Zeitpunkt t, d.h. im weiteren beschriebene Zeitreihenwerte, anlegbar sind.
Eingangs-Rechenelemente, d.h. Eingangsneuronen, sind über variable Verbindungen mit Neuronen einer vorgebbaren Anzahl versteckter Schichten 505 verbunden.
Dabei sind Neuronen einer ersten versteckten Schicht 506 mit Neuronen der ersten Teileingangsschicht 502 verbunden. Ferner sind Neuronen einer zweiten versteckten Schicht 507 mit Neuronen der zweiten Eingangsschicht 503 verbunden. Neuronen einer dritten versteckten Schicht 508 sind mit Neuronen der dritten Teileingangsschicht 504 verbunden.
Die Verbindungen zwischen der ersten Teileingangsschicht 502 und der ersten versteckten Schicht 506, der zweiten Teileingangsschicht 503 und der zweiten versteckten Schicht 507 so- wie der dritten Teileingangsschicht 504 und der dritten versteckten Schicht 508 sind jeweils gleich. Die Gewichte aller Verbindungen sind jeweils in einer ersten Verbindungsmatrix B enthalten.
Neuronen einer vierten versteckten Schicht 509 sind mit ihren Eingängen mit Ausgängen von Neuronen der ersten versteckten Schicht 506 gemäß einer durch eine zweite Verbindungsmatrix A2 gegebene Struktur verbunden. Ferner sind Ausgänge der Neuronen der vierten versteckten Schicht 509 mit Eingängen von Neuronen der zweiten versteckten Schicht 507 gemäß einer durch eine dritte Verbindungsmatrix A^ gegebene Struktur ver- bunden.'
Ferner sind Neuronen einer fünften versteckten Schicht 510 mit ihren Eingängen gemäß einer durch die dritte Verbindungs¬ matrix A2 gegebenen Struktur mit Ausgängen von Neuronen der zweiten versteckten Schicht 507 verbunden. Ausgänge der Neuronen der fünften versteckten Schicht 510 sind mit Eingängen von Neuronen der dritten versteckten Schicht 508 gemäß einer durch die dritte Verbindungsmatrix A]_ gegebenen Struktur verbunden .
Äquivalent gilt diese Art der Verbindungsstruktur für eine sechste versteckte Schicht 511, die gemäß einer durch die zweite Verbindungsmatrix A2 gegebenen Struktur mit Ausgängen der Neuronen der dritten versteckten Schicht 508 verbunden sind und gemäß einer durch die dritte Verbindungsmatrix A]_ gegebenen Struktur mit Neuronen einer siebten versteckten Schicht 512.
Neuronen einer achten versteckten Schicht 513 sind wiederum gemäß einer durch die erste Verbindungsmatrix A2 gegebenen
Struktur mit Neuronen der siebten versteckten Schicht 512 und über Verbindungen gemäß der dritten Verbindungsmatrix A]_ mit Neuronen einer neunten versteckten Schicht 514 verbunden. Die Angaben in den Indizes in den jeweiligen Schichten geben je- weils den Zeitpunkt t, t-1, t-2, t+1, t+2, an, auf die sich jeweils die an den Ausgängen der jeweiligen Schicht abgreifbaren bzw. zuführbaren Signale beziehen (ut, ut-i. ut-2) •
Eine Ausgangsschicht 520 weist drei Teilausgangsschichten, eine erste Teilausgangsschicht 521, eine zweite Teilausgangsschicht 522 sowie eine dritte Teilausgangsschicht 523 auf. Neuronen der ersten Teilausgangsschicht 521 sind gemäß einer durch eine Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der dritten versteckten Schicht 508 verbunden. Neuronen der zweiten Teilausgangsschicht sind ebenfalls gemäß der durch die Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der achten versteckten Schicht 512 verbunden. Neuronen der dritten Teilausgangsschicht 523 sind gemäß der Ausgangs-Verbindungsmatrix C mit Neuronen der neunten versteckten Schicht 514 verbunden. An den Neuronen der Teilausgangsschichten 521, 522 und 523 sind die Ausgangsgrößen für jeweils einen Zeitpunkt t, t+1, t+2 abgreifbar (yt, Yt+1/ Yt+2) •
Ausgehend von diesem Prinzip der sogenannten geteilten Gewichtswerte (Shared Weights) , d.h. dem Grundsatz, dass äqui- valente Verbindungsmatrizen in einem neuronalen Netz zu einem jeweiligen Zeitpunkt die gleichen Werte aufweisen, wird im weiteren die in Fig.1 dargestellte Anordnung gebildet erläutert.
Die im weiteren beschriebenen Skizzen sind jeweils so zu verstehen, dass jede Schicht bzw. jede Teilschicht eine vorgebbare Anzahl von Neuronen, d.h. Rechenelementen, aufweist.
Teilschichten einer Schicht repräsentieren jeweils einen Sys- temzustand des durch die Anordnung beschriebenen dynamischen Systems. Teilschichten einer versteckten Schicht repräsentieren dementsprechend jeweils einen „inneren'" Systemzustand.
Die jeweiligen Verbindungsmatrizen sind beliebiger Dimension und enthalten jeweils zu den entsprechenden Verbindungen zwischen den Neuronen der jeweiligen Schichten die Gewichtswerte.
Die Verbindungen sind gerichtet und in Fig.1 durch Pfeile ge- kennzeichnet. Eine Pfeilrichtung gibt eine „Rechenrichtung*, insbesondere eine Abbildungsrichtung oder eine Transformationsrichtung, an. Die in Fig.l dargestellte Anordnung weist eine Eingangsschicht 100 mit vier Teileingangsschichten 101, 102, 103 und 104 auf, wobei jeder Teileingangsschicht 101, 102, 103, 104 jeweils Zeitreihenwerte ut-i. ut, ut+i. t+2 zu jeweils einem Zeitpunkt t-1, t, t+1 bzw. t+2 zuführbar sind.
Die Teileingangsschichten 101, 102, 103, 104 der Eingangsschicht 100 sind jeweils über Verbindungen gemäß einer ersten Verbindungsmatrix A mit Neuronen einer ersten versteckten Schicht 110 mit jeweils vier Teilschichten 111, 112, 113 und 114 der ersten versteckten Schicht 110 verbunden.
Die Tei-leingangsschichten 101, 102, 103, 104 der Eingangsschicht 100 sind zusätzlich jeweils über Verbindungen gemäß einer zweiten Verbindungsmatrix B mit Neuronen einer zweiten versteckten Schicht 120 mit jeweils vier Teilschichten 121, 122, 123 und 124 der zweiten versteckten Schicht 120 verbunden.
Die Neuronen der ersten versteckten Schicht 110 sind jeweils gemäß einer durch eine dritte Verbindungsmatrix C gegebenen Struktur mit Neuronen einer Ausgangsschicht 140 verbunden, die ihrerseits wiederum vier Teilausgangsschichten 141, 142, 143 und 144 aufweist.
Auch die Neuronen der zweiten versteckten Schicht 120 sind jeweils gemäß einer durch eine vierte Verbindungsmatrix D gegebenen Struktur mit den Neuronen der Ausgangsschicht 140 verbunde .
Darüber hinaus ist die Teilschicht 111 der ersten versteckten Schicht 110 über eine Verbindung gemäß einer fünften Verbindungsmatrix E mit den Neuronen der Teilschicht 112 der ersten versteckten Schicht 110 verbunden. Entsprechende Verbindungen weisen auch alle übrigen Teilschichten 112, 113 und 113 der ersten versteckten Schicht 110 auf.
Anschaulich gesehen sind somit alle Teilschichten 111, 112, 113 und 114 der ersten versteckten Teilschicht 110 entsprechend ihrer zeitlichen Abfolge t-1, t, t+1 und t+2 miteinander verbunden.
Die Teilschichten 121, 122, 123 und 124 der zweiten versteckten Schicht 120 sind gerade gegenläufig miteinander verbunden.
In diesem Fall ist die Teilschicht 124 der zweiten versteck- ten Schicht 120 über eine Verbindung gemäß einer sechsten
Verbindungsmatrix F mit den Neuronen der Teilschicht 123 der zweiten versteckten Schicht 120 verbunden.
Entsprechende Verbindungen weisen auch alle übrigen Teil- schichten 123, 122 und 121 der zweiten versteckten Schicht 120 auf.
Anschaulich gesehen sind in diesem Fall alle Teilschichten 121, 122, 123 und 124 der zweiten versteckten Teilschicht 120 entgegen ihrer zeitlichen Abfolge, also t+2, t+1, t und t-1, miteinander verbunden.
Entsprechend der beschriebenen Verbindungen wird ein „innerer* Systemzustand s^ , st+i bzw. st+2 der Teilschicht 112, 113 bzw. 114 der ersten versteckten Schicht gebildet jeweils aus dem zugehörigen Eingangszustand ut, ut+χ bzw. ut+2 und dem zeitlich vorhergegangenen „inneren* Systemzustand st-i, st bzw. st-
Ferner wird entsprechend der beschriebenen Verbindungen ein „innerer* Systemzustand rt-χ, rt bzw. rt+i der Teilschicht 121, 122 bzw. 123 der zweiten versteckten Schicht 120 gebil- det jeweils aus dem zugehörigen Eingangszustand ut-i. ut bzw. ut+i und dem zeitlich nachfolgenden „inneren* Systemzustand rt' rt+l bz -' rt+2-
In den Teilausgangsschichten 141, 142, 143 und 144 der Ausgangsschicht 140 wird jeweils ein Zustand aus dem zugehörigen „inneren* Systemzustand st-i. st. st+i bzw. st+2 einer Teil¬ schicht 111, 112, 113 bzw. 114 der ersten versteckten Schicht 110 und aus dem zugehörigen „inneren* Systemzustand t-i, rt, rt+i bzw. rt+2 einer Teilschicht 121, 122, 123 bzw. 124 der zweiten versteckten Schicht 120 gebildet.
An einem Ausgang der ersten Teilausgangsschicht 141 der Ausgangsschicht 140 ist somit ein Signal, welches abhängt von den „inneren* Systemzuständen (st.rt) abgreifbar.
Entsprechendes gilt für die Teilausgangsschichten 142, 143 und 144.
In der Trainingsphase des KRKNN wird folgende Kostenfunktion E minimiert:
τ
Figure imgf000023_0001
wobei mit T eine Anzahl berücksichtigter Zeitpunkte bezeichnet wird.
Als Trainingsverfahren wird das Backpropagation-Verfahren eingesetzt. Der Trainingsdatensatz wird auf folgende Weise aus dem chemischen Reaktor 400 gewonnen.
Es werden mit dem Meßgerät 407 zu vorgegebenen Eingangsgrößen Konzentrationen gemessen und dem Rechner 409 zugeführt, dort digitalisiert und als Zeitreihenwerte xt in einem Speicher gemeinsam mit den entsprechenden Eingangsgrößen, die zu den gemessenen Größen korrespondieren, gruppiert.
Bei dem Training werden die Gewichtswerte der jeweiligen Ver- bindungsmatrizen angepasst. Die Anpassung erfolgt anschaulich derart, dass das KRKNN das durch sie nachgebildete dynamische System, in diesem Fall den chemischen Reaktor, möglichst genau beschreibt.
Die Anordnung aus Fig.1 wird unter Verwendung des Trainingsdatensatzes und der Kostenfunktion E trainiert.
Die gemäß dem oben beschriebenen Trainingsverfahren trainierte Anordnung aus Fig.1 wird zur Steuerung und Überwachung des chemischen Reaktors 400 eingesetzt. Dazu wird aus den Eingangsgrößen ut-i. ut eine prognostizierte Ausgangsgröße yt+i ermittelt. Diese wird anschließend als Steuergröße, gegebenenfalls nach einer eventuellen Aufbereitung, dem Steuerungsmittel 405 zur Steuerung des Rührers 402 und der Steuerungs- einrichtung 430 zur Zuflusssteuerung zugeführt (vgl. Fig.4) .
2. Ausführungsbeispiel: Mietpreisprognose
In Fig.3 ist eine Weiterentwicklung des in Fig.1 dargestell- ten und im Rahmen der obigen Ausführungen beschriebenen KRKNN dargestellt .
Das in Fig.3 dargestellte weiterentwickelte KRKNN, ein sogenanntes Kausales-Retro-Kausales-Fehler-Korrigierendes- Neuronales-Netz (KRKFKNN) , wird für eine Mietpreisprognose verwendet .
Die Eingangsgröße ut setzt sich in diesem Fall zusammen aus Angaben über einen Mietpreis, einem Wohnraumangebot, einer Inflation und einer Arbeitslosenrate, welche Angaben bezüglich eines zu untersuchenden Wohngebiets jeweils am Jahresende (Dezemberwerte) ermittelt werden. Somit ist die Eingangs- große ein vierdimensionaler Vektor. Eine Zeitreihe der Eingangsgrößen, welche aus mehreren zeitlich aufeinanderfolgenden Vektoren bestehen, weißt Zeitschritte von jeweils einem Jahr auf.
Ziel der im weiteren beschriebenen Modellierung einer Mitpreisbildung ist die Prognose eines zukünftigen Mietpreises.
Die Beschreibung des dynamischen Prozesses der Mietpreisbil- düng erfolgt unter Verwendung der im weiteren beschriebenen und in der Fig.3 dargestellten Anordnung.
Komponenten aus Fig.l sind bei gleicher Ausgestaltung mit gleichen Bezugszeichen versehen.
Zusätzlich weist das KRKFKNN eine zweite Eingangsschicht 150 mit vier Teileingangsschichten 151, 152, 153 und 154 auf, wobei jeder Teileingangsschicht 151, 152, 153, 154 jeweils Zeitreihenwerte y?_ι . Y^ r Y+Xi ' Yt+? zu jeweils einem Zeit- punkt t-1, t, t+1 bzw. t+2 zuführbar sind. Die Zeitreihenwerte y+-_ι ' Yt ' Y++1 ' Y++2 s^nc dabei am dynamischen System gemessene Ausgangswerte.
Die Teileingangsschichten 151, 152, 153, 154 der Eingangs- schicht 150 sind jeweils über Verbindungen gemäß einer siebten Verbindungsmatrix, welche eine negative Identitätsmatrix ist, mit Neuronen der Ausgangsschicht 140 verbunden.
Somit wird in den Teilausgangsschichten 141, 142, 143 und 144 der Ausgangsschicht jeweils ein Differenzzustand (y1__ι_
Yt-1 ' (yt-yt'' (γt+l"yt+l) Und (yt+2~yt+2) 9ebildet-
Die Vorgehensweise für ein Training der oben beschriebenen Anordnung entspricht der Vorgehensweise beim Training der An- Ordnung gemäß dem ersten Ausführungsbeispiel. 3. Ausführungsbeispiel: Verkehrsmodellierung und Stauwarnprognose
Ein nachfolgend beschriebenes drittes Ausführungsbeispiel be- schreibt eine Verkehrsmodellierung und wird für eine Stauprognose eingesetzt.
Bei dem dritten Ausführungsbeispiel wird die Anordnung gemäß dem ersten Ausführungsbeispiel eingesetzt (vgl. Fig.1) .
Das dritte Ausführungsbeispiel unterscheidet sich aber vom ersten Ausführungsbeispiel wie auch vom zweiten Ausführungs- beispiel jeweils darin, dass in diesem Fall die ursprünglich als Zeitvariable verwendete Variable t als eine Ortsvariable t verwendet wird.
Eine ursprüngliche Beschreibung eines Zustands zum Zeitpunkt t beschreibt somit bei dem dritten Ausführungsbeispiel einen Zustand an einem ersten Ort t. Entsprechendes gilt jeweils für eine Zustandsbeschreibung zu einem Zeitpunkt t-1 bzw. t+1 bzw. t+2.
Ferner ergibt sich aus der analogen Übertragung der Zeitvariabilität auf eine Ortvariabilität, dass die Orte t-1, t, t+1 und t+2 entlang einer Fahrstrecke in einer vorgegebenen Fahrtrichtung aufeinanderfolgend angeordnet sind.
Fig.6 zeigt eine Straße 600, die von Autos 601, 602, 603, 604, 605 und 606 befahren ist, dar.
In die Straße 600 integrierte Leiterschleifen 610, 611 nehmen elektrische Signale in bekannter Weise auf und führen die e- lektrischen Signale 615, 616, einem Rechner 620 über eine Eingangs-/Ausgangsschnittstelle 621 zu. In einem mit der Ein- gangs-/Ausgangsschnittstelle 621 verbundenen Analog/Digital- Wandler 622 werden die elektrischen Signale in eine Zeitreihe digitalisiert und in einem Speicher 623, der über einen Bus 624 mit dem Analog/Digital-Wandler 622 und einem Prozessor
625 verbunden ist, gespeichert. Über die Eingangs- /Ausgangsschnittsstelle 621 werden einem Verkehrsleitsystem 650 Steuerungssignale 951 zugeführt, aus denen in dem Ver- kehrsleitsystem 650 eine vorgegebene Geschwindigkeitsvorgabe 652 einstellbar ist oder auch weitere Angaben von Verkehrsvorschriften, die über das Verkehrsleitsystem 650 Fahrern der Fahrzeuge 601, 602, 603, 604, 605 und 606 dargestellt werden.
Zur Verkehrsmodellierung werden in diesem Fall folgende lokale Zustandsgrößen verwendet:
- Verkehrsflussgeschwindigkeit v,
- Fahrzeugdichte p (p = Anzahl von Fahrzeugen pro Kilome-
Fz ter -— ), km
Fz - Verkehrsfluss q (q = Anzahl der Fahrzeuge pro Stunde — , h
(q= v * p) ) , und
- jeweils zu einem Zeitpunkt von dem Verkehrsleitsystem 950 angezeigte Geschwindigkeitsbegrenzungen 952.
Die lokalen Zustandsgrößen werden wie oben beschrieben unter Verwendung der Leiterschleifen 610, 611 gemessen.
Somit stellen diese Größen (v(t), p(t), q(t)) einen Zustand des technischen Systems "Verkehr" zu einem bestimmten Zeit- punkt t dar. Aus diesen Größen erfolgt eine Bewertung r(t) jeweils eines aktuellen Zustands, beispielsweise bezüglich Verkehrsfluss und Homogenität. Diese Bewertung kann quantitativ oder qualitativ erfolgen.
Im Rahmen dieses Ausführungsbeispiels, wird die Verkehrsdyna- mik in zwei Phasen modelliert:
Aus in der Anwendungsphase ermittelten Prognosegrößen werden Steuersignale 651 gebildet, mit denen angegeben wird, welche Geschwindigkeitsbegrenzung für einen zukünftigen Zeitraum (t+1) ausgewählt werden soll. Alternativen zu den Ausführungsbeispielen
Im Weiteren werden einige Alternativen zu den oben beschriebenen Ausführungsbeispielen aufgezeigt.
Alternative Anwendungsgebiete:
Die in dem ersten Ausführungsbeispiel beschriebene Anordnung kann auch für die Ermittlung einer Dynamik eines Elektro- Kardio-Gramms (EKG) eingesetzt werden. Damit lassen sich frühzeitig Indikatoren, die auf ein erhöhtes Herzinfarktrisiko hinweisen, bestimmen. Als Eingangsgröße wird eine Zeitreihe aus -an einem Patienten gemessenen EKG-Werten verwendet.
In einer weiteren Alternative zu dem ersten Ausführungsbei- spiel wird die Anordnung gemäß dem ersten Ausführungsbeispiel für eine Verkehrsmodellierung gemäß dem dritten Ausführungsbeispiel eingesetzt.
In diesem Fall wird die ursprünglich (bei dem ersten Ausführungsbeispiel) als Zeitvariable verwendete Variable t wie im Rahmen des dritten Ausführungsbeispiels beschrieben als eine Ortvariable t verwendet.
Die Ausführung dazu bei dem dritten Ausführungsbeispiel gelten entsprechend.
In einer dritten Alternative zu dem ersten Ausführungsbei- spiel wird die Anordnung gemäß dem ersten Ausführungsbeispiel im Rahmen einer Sprachbearbeitung eingesetzt (Fig.10) . Grundlagen einer solchen Sprachbearbeitung sind aus [3] bekannt.
In diesem Fall wird die Anordnung (KRKNN) 1000 eingesetzt, um eine Akzentuierung in einem zu akzentuierenden Satz 1010 zu ermitteln. Dazu wird der zu akzentuierende Satz 1010 in seine Worte 1011 zerlegt und diese jeweils klassifiziert 1012 (Part-of-speech tagging). Die' Klassifizierungen 1012 werden jeweils codiert 1013. Jeder Code 1013 wird um eine Pauseninformation 1014 (phrase break Information) erweitert, welche jeweils angibt, ob bei einem Sprechen des zu akzentuierenden Satzes 1010 nach dem jeweiligen Wort eine Pause gemacht wird.
Eine solche Codierung eines zu akzentuierenden Satzes ist aus [3] und [4] bekannt.
Aus den erweiterten Codes 1015 des Satzes wird eine Zeitreihe 1016 gebildet derart, dass eine zeitliche Abfolge von Zuständen der Zeitreihe der Abfolge der Worte in dem zu akzentuie- renden Satz 1010 entspricht. Diese Zeitreihe 1016 wird an die Anordnung 1000 angelegt.
Die Anordnung ermittelt nun für jedes Wort 1011 eine Akzentuierungsinformation 1020 (HA: Hauptakzent bzw. stark akzentu- iert; NA: Neben Akzent bzw. schwach akzentuiert; KA: Kein Akzent bzw. nicht akzentuiert), welche angibt, ob das jeweilige Wort akzentuiert gesprochen wird.
Die Ausführung dazu bei dem ersten Ausführungsbeispiel gelten entsprechend.
Die in dem zweiten Ausführungsbeispiel beschriebene Anordnung kann in einer Alternative auch für die Prognose einer makro- ökonomischer Dynamik, wie beispielsweise eines Wechselkurs- Verlaufs, oder anderen ökonomischer Kennzahlen, wie beispielsweise eines Börsenkurses, eingesetzt werden. Bei einer derartigen Prognose wird eine Eingangsgröße aus Zeitreihen relevanter makroökonomischer bzw. ökonomischer Kennzahlen, wie beispielsweise Zinsen, Währungen oder Inflationsraten, gebildet. In einer weiteren Alternative zu dem zweiten Ausführungsbeispiel wird die Anordnung gemäß dem zweiten Ausführungsbei- spiel im Rahmen einer Sprachbearbeitung eingesetzt (Fig.11). Grundlagen einer solchen Sprachbearbeitung sind aus [5], [6], [7] und [8] bekannt.
In diesem Fall, einer silbenbasierten Sprachbearbeitung, wird die Anordnung (KRKFKNN) 1100 eingesetzt, um einen Frequenzverlauf einer Silbe eines Wortes in einem Satz zu modellie- ren.
Eine solche Modellierung ist auch aus [5], [6], [7] und [8] bekannt-.
Dazu wird der zu modellierende Satz 1110 in Silben 1111 zerlegt. Für jede Silbe wird ein Zustandsvektor 1112 ermittelt, welcher die Silbe phonetisch und strukturell beschreibt.
Ein solcher Zustandsvektor 1112 umfasst eine Timinginformati- on 1113, eine Phonetikinformation 1114, eine Syntaxinformation 1115 und eine Betonungsinformation 1116.
Ein solcher Zustandsvektor 1112 ist in [4] beschrieben.
Aus den Zustandvektoren 1112 der Silben 1111 des zu modellierenden Satzes 1110 wird eine Zeitreihe 1117 gebildet derart, dass eine zeitliche Abfolge von Zuständen der Zeitreihe 1117 der Abfolge der Silben 1111 in dem zu modellierenden Satz 1110 entspricht. Diese Zeitreihe 1117 wird an die Anordnung 1100 angelegt.
Die Anordnung 1100 ermittelt nun für jede Silbe 1111 einen Parametervektor 1122 mit Parametern 1120, fomaxpos, foma- xalpha, lp, rp, welche den Frequenzverlauf 1121 der jeweili- gen Silbe 1111 beschreiben. Solche Parameter 1120 sowie die Beschreibung eines Frequenzverlaufes 1121 durch diese Parameter 1120 sind aus [5], [6], [7] und [8] bekannt.
Die Ausführung dazu bei dem zweiten Ausführungsbeispiel gel¬ ten entsprechend.
Strukturelle Alternativen
In Fig.7 ist eine strukturelle Alternative zu der Anordnung aus Fig.l gemäß dem ersten Ausführungsbeispiel dargestellt.
Komponenten aus Fig.l sind bei gleicher Ausgestaltung mit gleichen Bezugszeichen in Fig.7 versehen dargestellt.
Im Gegensatz zu der in Fig.l dargestellten Anordnung sind bei der alternativen Anordnung gemäß Fig.7 die Verbindungen 701, 702, 703, 704, 705, 706, 707 und 708 gelöst bzw. unterbro- chen.
Diese alternative Anordnung, ein KRKNN mit gelösten Verbindungen, kann sowohl in einer Trainingsphase als auch in einer Anwendungsphase eingesetzt werden.
Das Training wie auch die Anwendung der alternativen Anordnung werden in analoger Weise wie bei dem ersten Ausführungsbeispiel beschrieben durchgeführt.
In Fig.8 ist eine strukturelle Alternative zu der Anordnung aus Fig.3 gemäß dem zweiten Ausführungsbeispiel dargestellt.
Komponenten aus Fig.3 sind bei gleicher Ausgestaltung mit gleichen Bezugszeichen in Fig.8 versehen dargestellt.
Im Gegensatz zu der in Fig.3 dargestellten Anordnung sind bei der alternativen Anordnung gemäß Fig.8 die Verbindungen 801, 802, 803, 804, 805, 806, 807, 808, 809 und 810 gelöst bzw. unterbrochen.
Diese alternative Anordnung, ein KRKFKNN mit gelösten Verbin- düngen, kann sowohl in einer Trainingsphase als auch in einer Anwendungsphase eingesetzt werden.
Das Training wie auch die Anwendung der alternativen Anordnung werden in analoger Weise wie bei dem zweiten Ausfüh- rungsbeispiel beschrieben durchgeführt.
Es ist anzumerken, dass es möglich ist, das KRKNN mit gelösten Verbindungen nur in der ..Trainingsphase und das KRKNN (ohne die gelösten Verbindungen gemäß dem ersten Ausführungsbei- spiel) in der Anwendungsphase anzuwenden.
Auch ist es möglich das das KRKNN mit gelösten Verbindungen nur in der Anwendungsphase und das KRKNN (ohne die gelösten Verbindungen gemäß dem ersten Ausführungsbeispiel) in der Trainingsphase anzuwenden.
Entsprechendes gilt für das KRKFKNN und das KRKFKNN mit gelösten Verbindungen.
Eine weitere strukturelle Alternative zu der Anordnung gemäß dem ersten Ausführungsbeispiel ist in Fig.9 dargestellt.
Die Anordnung gemäß Fig.9 ist ein KRKNN mit einer Fixpunktre- kurrenz .
Komponenten aus Fig.l sind bei gleicher Ausgestaltung mit gleichen Bezugszeichen in Fig.8 versehen dargestellt.
Im Gegensatz zu der in Fig.l dargestellten Anordnung sind bei der alternativen Anordnung gemäß Fig.9 zusätzliche Verbindungen 901, 902, 903 und 904 geschlossen. Die zusätzlichen Verbindungen 901, 902, 903 und 904 weisen jeweils eine Verbindungsmatrix GT mit Gewichten auf.
Diese alternative Anordnung kann sowohl in einer Trainings- phase als auch in einer Anwendungsphase eingesetzt werden.
Das Training wie auch die Anwendung der alternativen Anordnung werden in analoger Weise wie bei dem ersten Ausführungsbeispiel beschrieben durchgeführt.
Realisierung eines KRKNN durch einen SENN, Version 3.1 Programmcode
Im weiteren ist eine mögliche Realisierung eines KRKNN ange- geben für das Programm SENN, Version 3.1. Die Realisierung umfasst verschiedene Abschnitte, die jeweils einen Programmcode enthalten, die zur Verarbeitung in SENN, Version 3.1 erforderlich sind.
Mögliche Realisierungen der Ausführungsbeispiele sowie der oben beschriebenen Alternativen können ebenfalls mit dem Programm SENN, Version 3.1 durchgeführt werden.
Teil 1: 75 JAP1 = FILE DATEN/jap.txt
COLUMN 1 // JAP NIKKEI
APPLICATION Yieldcurve Forecast JAP2 = FILE DATEN/jap.txt
COLUMN 2 // JAP INDUSTRIAL PRODUCTION
MODE MONTH WEEK 7 JAP5 = FILE DATEN/jap.txt
80 COLUMN 5 // JAP ANNUAL INFLATION FROM MIN TO MAX
INPUT = scalef (dmdol - dmdol (-1) TRAINING FROM MIN TO 31.12.1994 / dmdol (-1) ) LAG -1
INPUT = scale( (US2 US2(-1)
VALIDATION FROM 01.01.1992 TO 31.12.1994 85 / US2(-1) ) LAG -1
INPUT = scalef US6 US6(-1) ) LAG -1
INPUT = scalef (GER1 GERl(-l)
INPUT CLUΞTER mlp.externlO / GERlf-1) ) LAG -1
90 INPUT = scale ((GER2 GER2(-1)
BEGIN / GER2I-1) ) LAG -1 dmdol = FILE DATEN/inter.txt INPUT = scale( GER7 GER7 (-1)
COLUMN 1 I I DM/USDOLLAR ) LAG -1 US2 = FILE DATEN/USa.txt INPUT = scalef (JAP1 - JAPl(-l)
COLUMN 2 // US INDUSTRIAL PRODUCTION 95 / JAPK-1) ) LAG -1
US6 = FILE DATEN/USa.txt INPUT = scalef (JAP2 - JAP2(-1)
COLUMN 6 // US ANNUAL INFLATION / JAP2(-1) ) LAG -1
GER1 = FILE DATEN/ger.txt INPUT = scale( JAP5 - JAP5(-1)
COLUMN 1 7/ GER DAX INDEX ) LAG -1
GER2 = FILE DATEN/ger.txt 100 END
COLUMN 2 // GER INDUSTRIAL PRODUCTION
GERT = FILE DATEN/ger.txt
COLUMN 7 // GER ANNUAL INFLATION INPUT CLUSTER mlp.extern32
JAP1 = FILE DATEN/ ap.txt
COLUMN 1 // JAP NIKKEI 105 BEGIN
JAP2 = FILE DATEN/ ap.txt dmdol = FILE DATEN/inter.txt
COLUMN 2 // JAP INDUSTRIAL PRODUCTION COLUMN 1 // DM/USDOLLAR
JAP5 = FILE DATEN/ ap.txt US2 = FILE DATEN/usa.txt
COLUMN 5 // JAP ANNUAL INFLATION COLUMN 2 // US INDUSTRIAL PRODUCTION
110 US6 = FILE DATEN/usa.txt
INPUT = scale ((dmdol - dmdol (-1) COLUMN 6 // US ANNUAL INFLATION / dmdol (-1) ) GER1 = FILE DATEN/ger. txt
INPUT = scale( (US2 - US2(-1) COLUMN 1 // GER DAX INDEX / US2(-1) ) GER2 = FILE DATEN/ger.txt
INPUT = scale( UΞ6 - US6(-1) 115 COLUMN 2 // GER INDUSTRIAL PRODUCTION
GER7 = FILE DATEN/ger.txt
INPUT = scale( (GER1 - GERl(-l) COLUMN ■7 // GER ANNUAL INFLATION / GERK-1) ) JAP1 = FILE DATEN/j ap. txt
INPUT = scale ( (GER2 - GER2(-1) COLUMN 1 // JAP NIKKEI / GER2(-1) ) 120 JAP2 = FILE DATEN/j ap. txt
INPUT = scale( GER7 - GER7(-1) COLUMN 2 // JAP INDUSTRIAL PRODUCTION
JAP5 = FILE DATEN/j ap. txt
INPUT = scalef (JAP1 - JAP1 ( -1 ) COLUMN 5 // JAP ANNUAL INFLATION / JAPl(-l) )
INPUT = scalef ( JAP2 - JAP2(-1) 125 INPUT _= scale ( (dmdol - dmdol (-1) ) / JAP2(-1) ) / dmdol (-1) ) LAG -2
INPUT = scale( JAP5 - JAP5(-1 INPUT = scale ( (US2 - US2(-1) ) ) / US2(- 1) ) LAG -2
END INPUT = scale ( US6 - US6(-1)
130 ) LAG -2
INPUT = scalef (GER1 - GERl(-l) )
/ GER1 -ι> ) LAG -2 INPUT CLUSTER mlp.extern21 INPUT = scalef (GER2 - GER2(-1) )
/ GER2 -1) ) LAG -2
BEGIN 135 INPUT = scalef GER7 - GER7 (-1) dmdol FILE DATEN/inter.txt ) LAG -2
COLUMN 1 // DM/USDOLLAR INPUT = scale ( (JAP1 - JAPlf-1) )
US2 = FILE DATEN/usa.txt / JAP1 -1) ) LAG -2
COLUMN 2 .// US INDUSTRIAL PRODUCTION INPUT = scale) (JAP2 - JAP2(-1) )
US6 = FILE DATEN/usa.txt 140 / JAP2 -1) ) LAG -2
COLUMN 6 // US ANNUAL INFLATION INPUT = scale ( JAP5 - JAP5(-1)
GER1 = FILE DATEN/ger.txt ) LAG -2
COLUMN 1 // GER DAX INDEX END
GER2 = FILE DATEN/ger.txt
COLUMN 2 // GER INDUSTRIAL PRODUCTION 145 GER7 = FILE DATEN/ger.txt INPUT CLUSTER mlp.extern43
COLUMN 7 // GER ANNUAL INFLATION BEGIN INPUT = scalef GER7 GER7(-1) dmdol = FILE DATEN/inter.txt 75 ) LAG -4
COLUMN 1 // DM/USDOLLAR INPUT = scalef (JAP1 JAP1 ( -1 ) )
US2 = FILE DATEN/usa.txt / JAPl(-l) ) LAG -4
COLUMN 2 // US INDUSTRIAL PRODUCTION INPUT = scalef (JAP2 JAP2(-1) )
US6 = FILE' DATEN/usa.txt / JAP2(-1) ) LAG -4
COLUMN 6 // S ANNUAL INFLATION 80 INPUT = scale) JAP5 JAP5I-1)
GER1 = FILE DATEN/ger.txt ) LAG -4
COLUMN 1 // GER DAX INDEX END
GER2 = FILE DATEN/ger.txt
COLUMN 2 // GER INDUSTRIAL PRODUCTION
GER7 = FILE DATEN/ger.txt 15 INPUT CLUSTER mlp.extern65
COLUMN 7 // GER ANNUAL INFLATION
JAP1 = FILE DATEN/jap.txt BEGIN
COLUMN 1 // JAP NIKKEI dmdol = FILE DATEN/inter.txt
JAP2 = FILE DATEN/jap.txt COLUMN 1 // DM/USDOLLAR
COLUMN 2 // JAP INDUSTRIAL PRODUCTION 90 US2 = FILE DATEN/usa.txt
JAP5 = FILE DATEN/jap.txt COLUMN 2 // US INDUSTRIAL PRODUCTION
COLUMN 5 // JAP ANNUAL INFLATION US6 = FILE DATEN/usa.txt
COLUMN 6 // US ANNUAL INFLATION
INPUT _= scalef (dmdol - dmdol (-1)) GER1 = FILE DATEN/ger.txt
/ dmdol ( -1 ) ) LAG -3 95 COLUMN 1 // GER DAX INDEX
INPUT = scalef (US2 - US2(-1) ) GER2 = FILE DATEN/ger.txt
/ US2(- 1) ) LAG -3 COLUMN 2 // GER INDUSTRIAL PRODUCTION
INPUT = scalef US6 - US6(-1) GER7 = FILE DATEN/ger.txt
) LAG -3 COLUMN 7 // GER ANNUAL INFLATION
INPUT = scalef (GER1 - GERl(-l) ) 100 JAP1 = FILE DATEN/jap.txt
/ GER1 -1) > LAG -3 COLUMN 1 // JAP NIKKEI
INPUT = scale ((GER2 - GER2(-1) ) JAP2 = FILE DATEN/jap.txt
/ GER2 -1) ) LAG -3 COLUMN 2 // JAP INDUSTRIAL PRODUCTION
INPUT = scalef GER7 - GER7 (-1) JAP5 = FILE DATEN/jap.txt
) LAG -3 105 COLUMN 5 // JAP ANNUAL INFLATION
INPUT = scalef (JAP1 - JAPl(-l) )
/ JAP1 -1) ) LAG -3 INPUT scale ( (dmdol dmdol (-1)
INPUT = scale ((JAP2 - JAP2(-1) ) dmdol (-1) ) LAG -5
/ JAP2 -1) ) LAG -3 INPUT scalef (US2 US2(-1)
INPUT = scale ( JAP5 - JAP5(-1) 110 US2(-1) ) LAG -5
) LAG -3 INPUT scale! US6 US6(-1)
END LAG -5 INPUT scale ( (GER1 GERl(-l) GERlf-1) ) LAG -5
INPUT CLUSTER mlp.extern54 115 INPUT scale ( (GER2 GER2(-1) GER2 ( -1 ) ) LAG -5
BEGIN INPUT scale ( GER7 GER7 (-1) dmdo 1 = FILE DATEN/inter.txt LAG -5
COLUMN 1 // DM/USDOLLAR INPUT scale ( (JAP1 JAPl(-l) US2 = FILE DATEN/usa.txt 120 JAPlf-1) ) LAG -5
COLUMN 2 // US INDUSTRIAL PRODUCTION INPUT scale ( ( JAP2 JAP2(-1) US6 = FILE DATEN/usa.txt JAP21-1) ) LAG -5
COLUMN 6 // US ANNUAL INFLATION INPUT scale ) JAP5 JAP5(-1) GER1 = FILE DATEN/ger.txt LAG -5
COLUMN 1 // GER DAX INDEX 125 END
GER2 = FILE DATEN/ger.txt
COLUMN 2 // GER INDUSTRIAL PRODUCTION
GER7 = FILE DATEN/ger.txt
COLUMN 7 // GER ANNUAL INFLATION INPUT CLUSTER mlp. input_auto
JAP1 = FILE DATEN/jap.txt 130
COLUMN 1 // JAP NIKKEI BEGIN input_auto JAP2 = FILE DATEN/jap.txt rexl = FILE DATEN/rendite. txt
COLUMN 2 // JAP INDUSTRIAL PRODUCTION COLUMN 1
JAP5 = FILE DATEN/jap.txt rex2 = FILE DATEN/rendite. txt
COLUMN 5 // JAP ANNUAL INFLATION 135 COLUMN 2 rex3 = FILE DATEN/rendite. txt
INPUT = scalef (dmdol - dmdol (-1)) COLUMN 3 / dmdol (-1) ) LAG -4 rex4 = FILE DATEN/rendite. txt
INPUT = scale((US2 - US2(-1) ) COLUMN 4 / US2(-1) ) LAG -4 140 rex5 = FILE DATEN/rendite. txt
INPUT = scale ( US6 - UΞ6(-1) COLUMN 5 ) LAG -4 rex6 = FILE DATEN/rendite. txt
INPUT = scalef (GER1 - GERl(-l) ) COLUMN 6 / GERlf-1) ) LAG -4 rex7 = FILE DATEN/rendite. txt
INPUT = scalef (GER2 - GER2(-1) ) 145 COLUMN 7 / GER2(-1) ) LAG -4 rexδ = FILE DATEN/rendite. txt COLUMN 8 rex9 = FILE DATEN/rendite. txt 75 rex9 FILE DATEN/rendite. txt
COLUMN 9 COLUMN 9 rexlO = FILE DATEN/rendite. txt rexlO FILE DATEN/rendite. txt
COLUMN 10 COLUMN 10
INPUT = 1 rexl(O) / 10 80 INPUT = -1 * rexl(O) / 10
INPUT = 1 * rex2 ( 0 ) / 10 LAG -1
INPUT = 1 * rex3 ( 0 ) / 10 INPUT = -1 * rex2(0) / 10
INPUT = 1 * rex4 (0) / 10 LAG -1
INPUT = 1 * rex5(0) / 10 INPUT = -1 * rex3(0) / 10
INPUT = 1 * rex6(0) / 10 85 LAG -1
INPUT = 1 * rex7 (0) / 10 INPUT = -1 * rex4[0) / 10
INPUT = 1 rex8 (0) / 10 LAG -1
INPUT = 1 * rex9(0) / 10 INPUT = -1 * rex5(0) / 10
INPUT = 1 * rexlOfO ) / I 10 LAG -1
END 90 INPUT = -1 * rex6(0) / 10
LAG -1 INPUT = -1 * rex7(0) / 10
INPUT CLUSTER mlp.mputO LAG -1 INPUT = -1 * rex8(0) / 10
BEGIN inputO 95 LAG -1 rexl = FILE DATEN/rendite. txt INPUT = -1 * rex9(0) / 10
COLUMN 1 LAG -1 rex2 = FILE DATEN/rendite. txt INPUT = -1 * rexlO(O) / 10
COLUMN 2 LAG -1 rex3 = FILE DATEN/rendite. txt 100 END
COLUMN 3 rex4 = FILE DATEN/rendite. txt
COLUMN 4 INPUT CLUSTER mlp . mput2 rex5 = FILE DATEN/rendite. txt
COLUMN 5 105 BEGIN ιnput2 rex6 = FILE DATEN/rendite .txt rexl = FILE DATEN/rendite . txt
COLUMN 6 COLUMN 1 rex7 = FILE DATEN/rendite. txt rex2 = FILE DATEN/rendite. txt
COLUMN 7 COLUMN 2 rex8 = FILE DATEN/rendite. txt 110 rex3 = FILE DATEN/rendite. txt
COLUMN 8 COLUMN 3 rex9 = FILE DATEN/rendite. txt rex4 = FILE DATEN/rendite. txt
COLUMN 9 COLUMN 4 rexlO = FILE DATEN/rendite. txt rex5 = FILE DATEN/rendite .txt
COLUMN 10 115 COLUMN 5 rex6 = FILE DATEN/rendite .txt
INPUT = -1 * rexl(O) / 10 COLUMN 6
INPUT = -1 * rex2 (0) / 10 rex7 = FILE DATEN/rendite. txt
INPUT = -1 * rex3(0) / 10 COLUMN 7
INPUT = -1 * rex (0) / 10 120 rex8 = FILE DATEN/rendite. txt
INPUT = -1 rex5(0) / 10 COLUMN 8
INPUT = -1 * rex6(0) / 10 rex9 = FILE DATEN/rendite. txt
INPUT = -1 * rex7 (0) / 10 COLUMN 9
INPUT = -1 * rex8 (0) / 10 rexlO = FILE DATEN/rendite .txt
INPUT = -1 * rex9(0) / 10 125 COLUMN 10
INPUT = -1 * rexlO(O) / 10
END INPUT = -1 * rexl(O) / 10
LAG -2
INPUT = -1 * rex2(0) / 10
INPUT CLUSTER mlp.inputl 130 LAG -2
INPUT = -1 * rex3(0) / 10
BEGIN mputl LAG -2 rexl = FILE DATEN/rendite. txt INPUT = -1 * rex4 (0) / 10 COLUMN 1 LAG -2 rex2 = FILE DATEN/rendite. txt 135 INPUT = -1 * rex5(0) / 10 COLUMN 2 LAG -2 rex3 = FILE DATEN/rendite. txt INPUT = -1 * rexS(O) / 10 COLUMN 3 LAG -2 rex4 = FILE DATEN/rendite. txt INPUT = -1 * rex7 (0) / 10 COLUMN 4 140 LAG -2 rex5 = FILE DATEN/rendite. txt INPUT = -1 * rex8(0) / 10 COLUMN 5 LAG -2 rex6 = FILE DATEN/rendite. txt INPUT = -1 * rex9(0) / 10 COLUMN 6 LAG -2 rex7 = FILE DATEN/rendite. txt 145 INPUT = -1 * rexlO(O) / 10 COLUMN 7 LAG -2 rex8 = FILE DATEN/rendite .txt END COLUMN 8 75 INPUT = -1 * rex2 ( 0 ) / 10
INPUT CLUSTER mlp.ιnput3 LAG -4
INPUT = -1 * rex3 ( 0 ) / 10
BEGIN ιnput3 LAG -4 rexl = FILE DATEN/rendite. txt INPUT = -1 rex4(0) / 10 COLUMN 1 80 LAG -4 rex2 = FILE DATEN/rendite. txt INPUT = -1 * rex5(0) / 10 COLUMN 2 LAG -4 rex3 = FILE DATEN/rendite. txt INPUT = -1 * rex6(0) / 10 COLUMN 3 LAG -4 rex4 = FILE DATEN/rendite. txt 85 INPUT = -1 rex7(0) / 10 COLUMN 4 LAG -4 rex5 = FILE DATEN/rendite. txt INPUT = -1 * rex8(0) / 10 COLUMN 5 LAG -4 rex6 = FILE DATEN/rendite . txt INPUT — -1 * rex9(0) / 10 COLUMN 6 90 LAG -4 rex7 = FILE DATEN/rendite . txt INPUT = -1 * rexl0(0: 1 / 10 COLUMN 7 LAG -4 rex8 = FILE DATEN/rendite. txt END COLUMN 8 rex9 = FILE DATEN/rendite. txt 95 COLUMN 9 INPUT CLUSTER mlp.inputδ rexlO = FILE DATEN/rendite .txt COLUMN 10 BEGIN ιnput5 rexl = FILE DATEN/rendite. txt
INPUT = -1 * rexl(0) / 10 100 COLUMN 1
LAG -3 rex2 = FILE DATEN/rendite. txt
INPUT = -1 * rex2(0) / 10 COLUMN 2 LAG -3 rex3 = FILE DATEN/ rendite. xt
INPUT = -1 * rex3(0) / 10 COLUMN 3 LAG -3 105 rex4 = FILE DATEN/rendite. txt
INPUT = -1 * rex (0) / 10 COLUMN 4 LAG -3 rex5 = FILE DATEN/rendite. txt
INPUT = -1 * rex5(0) / 10 COLUMN 5 LAG -3 rex6 = FILE DATEN/rendite. txt
INPUT = -1 * rex6(0) / 10 110 COLUMN 6 LAG -3 rex7 = FILE DATEN/rendite. txt
INPUT = -1 * rex7(0) / 10 COLUMN 7 LAG -3 rex8 = FILE DATEN/rendite. txt
INPUT = -1 * rex8(0) / 10 COLUMN 8 LAG -3 115 rex9 = FILE DATEN/rendite. txt
INPUT = -1 * rex9(0) / 10 COLUMN 9 LAG -3 rexlO = FILE DATEN/rendite. txt
INPUT = -1 * rexlO(O) / 10 COLUMN 10 LAG -3
END 120 INPUT = -1 * rexl(0) / 10
LAG -5
INPUT = -1 * rex2(0) / 10
INPUT CLUSTER mlp . mput4 LAG -5
INPUT = -1 * rex3(0) / 10
BEGIN mput. 125 LAG -5 rexl = FILE DATEN/rendite . txt INPUT = -1 * rex4(0) / 10 COLUMN 1 LAG -5 rex2 = FILE DATEN/rendite .txt INPUT = -1 * rex5(0) / 10 COLUMN 2 LAG -5 rex3 = FILE DATEN/rendite. txt 130 INPUT = -1 * rex6(0) / 10 COLUMN 3 LAG -5 rex4 = FILE DATEN/rendite. txt INPUT = -1 * rex7(0) / 10 COLUMN 4 LAG -5 rex5 = FILE DATEN/rendite. txt INPUT 1 * rex8(0) / 10
COLUMN 5 135 LAG -5 rexδ = FILE DATEN/rendite. txt INPUT = -1 * rex9(0) / 10 COLUMN 6 LAG -5 rex7 = FILE DATEN/rendite. txt INPUT = -1 * rexlO(O) / 10 COLUMN 7 LAG -5 rex8 = FILE DATEN/rendite. txt 140 END COLUMN 8 rex9 = FILE DATEN/rendite. txt COLUMN 9 INPUT CLUSTER mlp. mputβ rexlO = FILE DATEN/rendite. txt
COLUMN 10 145 BEGIN mput6 rexl = FILE DATEN/rendite. txt
INPUT -1 * rexl ( 0 ) / 10 COLUMN 1
LAG -4 rex2 = FILE DATEN/rendite. txt 75 TARGET
COLUMN 2 END rex3 = FILE DATEN/rendite. txt
COLUMN 3 rex4 = FILE DATEN/rendite. txt TARGET CLUSTER mlp.past3
COLUMN 4 80 rex5 = FILE DATEN/rendite. txt BEGIN
COLUMN 5 TARGET = 0 rex6 = FILE DATEN/rendite. txt TARGET = 0 COLUMN 6 TARGET = 0 rex7 = FILE DATEN/rendite. txt 85 END
COLUMN 7 rex8 = FILE DATEN/rendite. txt
COLUMN 8 TARGET CLUSTER mlp.past2 rex9 = FILE DATEN/rendite. txt
COLUMN 9 90 BEGIN rexlO = FILE DATEN/rendite. txt TARGET = 0
COLUMN 10 TARGET = 0 TARGET = 0
INPUT -1 * rexl(0) / 10 END
LAG -6 95 INPUT -1 * rex2(0) / 10 LAG -6 TARGET CLUSTER mlp.pastl INPUT -1 * rex3(0) / 10 LAG -6 BEGIN INPUT -1 * rex4(0) / 10 100 TARGET = 0 LAG -6 TARGET = 0 INPUT -1 * rex5(0) / 10 TARGET = 0 LAG -6 END INPUT -1 * rexβ(O) / 10 LAG -6 105 INPUT -1 * rex7(0) / 10 TARGET CLUSTER mlp.present LAG -6 INPUT -1 * rex8(0) / 10 BEGIN LAG -6 TARGET = 0 INPUT -1 * rex9(0) / 10 110 TARGET = 0 LAG -6 TARGET = 0
INPUT = -1 * rexlO(O) / 10 END LAG -6
END
115 TARGET CLUSTER mlp.futurel
BEGIN
TARGET CLUSTER mlp. bottleneck TARGET = 0 TARGET = 0
BEGIN 120 TARGET = 0
TARGET = 0 END TARGET = 0 TARGET = 0 END TARGET CLUSTER mlp.future2
125
TARGET CLUSTER mlp.pastδ BEGIN
TARGET = 0
BEGIN TARGET = 0
TARGET = 0 TARGET = 0
TARGET = 0 130 END
TARGET = 0
END
TARGET CLUSTER mlp.future3
TARGET CLUSTER mlp.pastδ 135 BEGIN
TARGET = 0
BEGIN TARGET = 0
TARGET = 0 TARGET = 0 TARGET = 0 END TARGET = 0 140
END
TARGET CLUSTER mlp.future4 TARGET CLUSTER mlp.past4 BEGIN 145 TARGET = 0
BEGIN TARGET = 0
TARGET = 0 TARGET = 0 TARGET = 0 END 75 rexδ FILE DATEN/rendite. txt
COLUMN 8
TARGET CLUSTER mlp.futureδ rex9 FILE DATEN/rendite. txt COLUMN 9
BEGIN rexlO FILE DATEN/rendite. txt
TARGET = 0 80 COLUMN 10
TARGET = 0 TARGET = 0 TARGET rexl(l) / 10 END TARGET rex2(l) / 10 TARGET rex3(l) / 10
85 TARGET rex4(l) / 10
TARGET CLUSTER mlp. futureδ TARGET rex5 (1) / 10 TARGET rex6(l) / 10
BEGIN TARGET reχ7(l) / 10
TARGET = 0 TARGET rex8(l) / 10
TARGET = 0 90 TARGET rex9(l) / 10 TARGET = 0 TARGET rexl0(l ) / 10 END END
TARGET CLUSTER mlp. output_auto 95 TARGET CLUSTER mlp.fmal2
BEGIN BEGIN fmal2 rexl = FILE DATEN/rendite. txt rexl = FILE DATEN/rendite. txt COLUMN 1 COLUMN 1 rei<2 = FILE DATEN/rendite. txt 100 rex2 = FILE DATEN/rendite. txt COLUMN 2 COLUMN 2 rex3 = FILE DATEN/rendite. txt rex3 = FILE DATEN/rendite. txt COLUMN 3 COLUMN 3 rex4 = FILE DATEN/rendite. txt rex4 = FILE DATEN/rendite. txt COLUMN 4 105 COLUMN 4 rex5 = FILE DATEN/ rendite. txt rex5 = FILE DATEN/ rendite. txt COLUMN 5 COLUMN 5 rexδ = FILE DATEN/ endite. txt rex6 = FILE DATEN/rendite. txt COLUMN 6 COLUMN 6 rex7 = FILE DATEN/rendite. txt 110 rex7 = FILE DATEN/rendite. txt COLUMN 7 COLUMN 7 rex8 = FILE DATEN/rendite. txt rexβ = FILE DATEN/rendite .txt COLUMN 8 COLUMN rex9 = FILE DATEN/rendite. txt rex9 = FILE DATEN/rendite. txt COLUMN 9 115 COLUMN 9 rexlO = FILE DATEN/rendite. txt rexlO FILE DATEN/rendite. txt COLUMN 10 COLUMN 10
TARGET 1 * rexl(O) / 10 TARGET = rexl (2) / 10 TARGET 1 * rex2(0) / 10 120 TARGET = rex2(2) / 10 TARGET 1 * rex3(0) / 10 TARGET = rex3(2) / 10 TARGET 1 * rex (0) / 10 TARGET = rex (2) / 10 TARGET 1 * rex5(0) / 10 TARGET = rex5(2) / 10 TARGET 1 * rex6(0) / 10 TARGET = rex6(2) / 10 TARGET 1 * rex7(0) / 10 125 TARGET = rex7(2) / 10 TARGET 1 * rex8(0) / 10 TARGET = rex8(2) / 10 TARGET 1 * rex9(0) / 10 TARGET = rex9(2) / 10 TARGET 1 * rexlO(O) / 10 TARGET = rexl0(2) / 10 END END
130
TARGET CLUSTER mlp. f all TARGET CLUSTER mlp.fιnal3 BEGIN finall BEGIN fmal3 rexl FILE DATEN/ endite. txt 135 rexl FILE DATE /rendite. txt
COLUMN 1 COLUMN 1 rex2 = FILE DATEN/rendite. txt rex2 = FILE DATEN/rendite. txt
COLUMN 2 COLUMN 2 rex3 = FILE DATEN/rendite. txt rex3 = FILE DATEN/rendite. txt
COLUMN 3 140 COLUMN 3 rex4 = FILE DATEN/rendite. txt rex4 FILE DATEN/rendite. txt
COLUMN 4 COLUMN 4 rex5 FILE DATEN/rendite. txt rex5 = FILE DATEN/rendite. txt
COLUMN 5 COLUMN 5 rex6 = FILE DATEN/rendite . txt 145 rex6 = FILE DATEN/rendite. txt
COLUMN 6 COLUMN 6 rex7 FILE DATEN/ endite. txt rex7 = FILE DATEN/rendite. txt
COLUMN 7 COLUMN 7 rex8 FILE DATEN/rendite. txt 75 rexδ FILE DATEN/rendite. txt
COLUMN 8 COLUMN 8 rex9 FILE DATEN/rendite. txt rex9 FILE DATEN/rendite. txt
COLUMN 9 COLUMN 9 rexlO FILE DATEN/rendite. txt rexlO FILE DATEN/rendite. txt
COLUMN 10 80 COLUMN 10
TARGET rexl (3) / 10 TARGET rexl (51 / 10 TARGET rex2(3) / 10 TARGET rex2(5) / 10 TARGET rex3(3) / 10 TARGET rex3(5) / 10 TARGET rex4(3) / 10 85 TARGET rex4 (5) / 10 TARGET rex5(3) / 10 TARGET rex5 (5) / 10 TARGET rex6(3) / 10 TARGET rexδ (5) / 10 TARGET rex7(3) / 10 TARGET rex7(5) / 10 TARGET rex8(3) / 10 TARGET rex8(5) / 10 TARGET rex9(3) / 10 90 TARGET rex9(5) / 10 TARGET rexl0(3) / 10 TARGET rexl0(5) / 10
END END
TARGET CLUSTER mlp.final4 95 TARGET CLUSTER mlp.finalδ
BEGIN final4 BEGIN final6 rexl = FILE DATEN/rendite. txt rexl = FILE DATEN/rendite. txt COLUMN 1 COLUMN 1 rex2 FILE DATEN/rendite. xt 100 rex2 = FILE DATEN/rendite. txt
COLUMN 2 COLUMN 2 rex3 = FILE DATEN/rendite. txt rex3 = FILE DATEN/rendite. txt
COLUMN 3 COLUMN 3 rex4 = FILE DATEN/rendite. txt rex4 = FILE DATEN/rendite. txt
COLUMN 4 105 COLUMN 4 rex5 = FILE DATEN/rendite. txt rex5 = FILE DATEN/rendite. txt
COLUMN 5 COLUMN 5 rexδ = FILE DATEN/rendite. txt rexδ = FILE DATEN/rendite. txt COLUMN 6 COLUMN 6 rex7 = FILE DATEN/rendite. txt 110 rex7 = FILE DATEN/rendite. txt
COLUMN 7 COLUMN 7 rex8 = FILE DATEN/rendite. txt rex8 = FILE DATEN/rendite. txt
COLUMN 8 COLUMN 8 rex9 = FILE DATEN/rendite. txt rex9 = FILE DATEN/rendite. txt
COLUMN 9 115 COLUMN 9 rexlO = FILE DATEN/rendite. txt rexlO = FILE DATEN/rendite. txt
COLUMN 10 COLUMN 10
TARGET = rexl (4) / 10 TARGET = rexl (6) / 10
TARGET = rex2(4) / 10 120 TARGET = rex2(6) / 10
TARGET = rex3(4) / 10 TARGET = rex3(6) / 10
TARGET = rex. ( ) / 10 TARGET = rex4 (6) / 10
TARGET = rex5 ( 4 ) / 10 TARGET = rex5(6) / 10
TARGET = rexδ ( 4 ) / 10 TARGET = rex6(6) / 10
TARGET = rex7(4) / 10 125 TARGET = rex7 (6) / 10
TARGET = rex8(4) / 10 TARGET = rex8(6) / 10
TARGET = rex9(4) / 10 TARGET = rex9(6) / 10
TARGET = rexl0(4! 1 / 10 TARGET = rexlθ(δ) / 10
END END
130
Teil 2:
TARGET CLUSTER mlp.finalδ
BpNet { BEGIN final5 Globals { rexl = FILE DATEN/rendite. txt 135 WtPenalty (
COLUMN 1 sei NoPenalty rex2 = FILE DATEN/rendite. txt Weigend {
COLUMN 2 Lambda { 0 } rex3 = FILE DATEN/rendite. txt AutoAdapt { T }
COLUMN 3 140 wO { 1 } rex4 = FILE DATEN/rendite. txt DeltaLambda { le-06 }
COLUMN 4 ReducFac { 0.9 } rex5 = FILE DATEN/rendite. txt Gamma { 0.9 }
COLUMN 5 DesiredError { 0 ) rexδ = FILE DATEN/rendite. txt 145 }
COLUMN 6 tDecay { rex7 = FILE DATEN/rendite. txt Lambda { 0.005 )
COLUMN 7 AutoAdapt { F ) AdaptTime { 10 } 75 Divergence { 0.1 EpsOb3 { 0.001 ) MinEpoch; 3 1 [ 5 } Ob3Set { Training } } EpsilonFac { 1 ) }
) PruneAlg {
ExtWtDecay { 80 sei FixPrune
Lambda { 0.001 } FixPrune { AutoAdapt ( F } Perc_0 { 0, .1 } AdaptTime { 10 } Perc_l { 0, .1 } EpsOb3 { 0.001 } Perc_2 { 0. .1 } Ob] Set { Training } 85 Perc 3 { 0, .1 } EpsilonFac { 1 } }
} EpsiPrune • [
Finnoff { DeltaEps { 0. 05 }
AutoAdapt { T } StartEps { 0. 05 } Lambda { 0 } 90 MaxEps { 1 } DeltaLambda { le-06 } ReuseEps { F } RedueFae { 0.9 } } Gamma { 0.9 } } DesxredError { 0 } Tracer { } 95 Active { F } } Set { Validation }
ErrorFunc { File { trace } sei LnCosh }
Ixl { Active { F }
Parameter { 0.05 } 100 Randomize { 0 } } PruningSet { Tram.+Valid. LnCosh { Method { S-Pruning }
Parameter { 2 } }
} StopControl { parametπcalEntropy { 105 EpochLimit { Parameter { le-06 } Active { T }
MaxEpoch { 10000 } }
AnyΞave { MovingExpAverage { fιle_name f.Globals.dat 110 Active { F }
} MaxLength { 4 }
AnyLoad { Training { F } file name f.Globals.dat Validation { T }
} Generalization { F }
ASCII { T } 115 Decay { 0 . 9 }
LearnCtrl { CheckOb] ectiveFct { sei Ξtochastic Active { F } Stochastic { MaxLength { 4 }
PatternSelection { 120 Training { F } sei Permute Validation { T } ExpRandom { Generalization { F }
Lambda { 2 } } } CheckDelta { Segmentation { 125 Active { F }
OutputNode { -1 } Divergence { 0.1 } ExpectedCutOff { 0.5 } ! PercentageForGroupB { 0.2 } } EtaCtrl { } 130 Mode { tPruneCtrl { sei EtaSchedule PruneSchedule { EtaSchedule { sei FixSchedule SwitchTime { 10 } FixΞchedule { ReductFactor { 0.95 } Lιmιt_0 { 10 } 135 } Lιmιt_l { 10 } FuzzCtrl { Lιmιt_2 { 10 } MaxDeltaOb] { 0.3 } Lιmιt_3 { 10 } MaxDelta20b3 { 0.3 } RepeatLast { T ) MaxEtaChange { 0.02 )
} 140 MinEta { 0.001 }
DynSchedule { MaxEta { 0.1 } MaxLength { 4 } Smoother { 1 } M imumRuns { Training { F } Validation { T 145 Active { F } Generalizatlon }
} LearnAlgo {
DivSchedule { sei VarioEta VaπoEta { 75 }
M Calls { 50 } Segmentation { } OutputNode { -1 } MomentumBackProp { ExpectedCutOff { 0.5 }
Alpha { 0. 05 } PercentageForGroupB { 0.2 } } 80 } Quickprop { }
Decay { 0.05 } tPruneCtrl (
Mu { 2 } Tracer { } Active { F } } 85 Set { Validation } AnySave { File { trace } fιle_name { f . Stochastic . dat }
} Active { F } AnyLoad { Randomize { 0 } fιle_name { f.Stochastic.dat 90 PruningSet { Tram.+Valid. }
} Method { S-Prunmg }
BatchSize { 15 } } Eta { 0.005 } LearnAlgo { DeπvEps { 0 } sei Con] Gradient } 95 VaπoEta { TrueBatch { MinCalls { 200 }
PatternSelection { } sei Sequential MomentumBackProp { ExpRandom { Alpha { 0.05 }
Lambda { 2 } 100 } } Quickprop { Segmentation { Decay { 0.05 }
OutputNode { -1 } Mu { 2 } ExpectedCutOff { 0.5 } } PercentageForGroupB { 0.2 } 105 Low-Memory-BFGS { } Limit { 2 }
WtPruneCtrl { Tracer { AnySave {
Active { F } 110 fιle_name { f.LineSearch.dat 1
Set { Validation } }
File { trace } AnyLoad {
} fιle_name { f.LineSearch.dat ]
Active { F } }
Randomize { 0 } 115 EtaNull { 1 }
PruningSet { Train. +Valιd. MaxSteps { 10 }
Method { S-Pruning } LS_Precιsιon { 0.5 } } TrustRegion { T } EtaCtrl { DerivEps { 0 }
Active { F } 120 BatchSize { 2147483647 }
} }
LearnAlgo { GeneticWeightSelect { sei VaπoEta PatternSelection { VarioEta { sei Sequential
MinCalls { 200 } 125 ExpRandom { } Lambda { 2 }
MomentumBackProp { } Alpha { 0.05 } Segmentation {
} OutputNode { -1 } Quickprop { 130 ExpectedCutOff { 0.5 }
Decay { 0.05 } PercentageForGroupB { 0.2 }
Mu { 2 }
}
LearnAlgo {
AnySave { 135 sei VarioEta fιle_name { f.TrueBatch.dat VarioEta {
} MinCalls { 200 } AnyLoad { fιle_name { f . TrueBatch . dat MomentumBackProp } 140 Alpha { 0.05 }
Eta { 0. 05 } } DerivEps { 0 } } } Ob] FctTracer { LmeΞearch { Active { F }
PatternSelection { 145 File { ob] Func } sei Sequential } ExpRandom { SearchControl { Lambda { 2 } SearchStrategy { sei HillClimberControl 75 HillCli berControl { %InιtιalAlιve { 0.95 } InputModification { InheritWeights { T } sei None Beta { 0.1 } AdaptiveUnifor Noise { MutationType { DistributedMac- 80 NoiseEta { 1 } roMutation DampmgFactor { 1 }
MaxTπalε { 50 } } } AdaptiveGaussNoise { PBILControl { NoiseEta { 1 }
%ImtιalAlιve { 0. 95 } 85 DampmgFactor { 1 }
InheritWeights { T } }
Beta { 0.1 } FixedUmformNoise {
Alpha { 0.1 } SetNoiseLevel {
PopulationSize { 40 } NewNoiseLevel { 0 } } 90 } PopulationControl { } pCrossover { 1 } FixedGaussNoise {
CrossoverType { SimpleCrosso- SetNoiseLevel { ver } NewNoiseLevel { 0 }
Scalmg { T } 95
ScalmgFactor { 2 }
Sharing { T }
ΞharmgFactor { 0. 05 ] 1 SaveNoiseLevel {
PopulationSize { 50 } Filename { noise_level.dat } mm . %InιtιalAlιve { 0 , . 01 100 } max . %InιtιalAlιve { 0. . 1 LoadNoiseLevel {
Filename { noise_level.dat } } pMutation { 0 } SaveManipulatorData { } 105 Filename { mputManip.dat }
Ob]ectιveFunctιonWeιghts { } %Alιve { 0.6 } LoadManipulatorData { E(TS) { 0.2 } Filename { inputManip.dat } Improvement (TS) { 0 } } E(VS) { 1 } 110 Norm { NoNorm } Improvement (VS) { 0 } (E(TS)-E(VS) )/max(E(TS),E(VS) ) { rnlp. putO { } ActFunction {
LipComplexity { 0 } sei ld OptComplexity { 2 } 115 plogistic { testVal (dead)-testVal(alιve) { 0 Parameter 0.5 }
}
AnySave { ptanh { fιle_name { Parameter 0.5 } f.GeneticWeightSelect.dat } 120 } } id {
AnyLoad { Parameter 0.5 fιle_name { } f.GeneticWeightSelect.dat } ) 125 InputModification {
Eta { 0.05 } sei None DerivEps { 0 } AdaptiveUniformNoise { BatchSize { 5 } NoiseEta { 1 } SminEpochsForFitnessTest { 2 } DampmgFactor { 1 } DmaxEpochsForFitnessTest { 3 } 130 } SelectWeights { T } AdaptiveGaussNoise { ΞelectNodes { T } NoiseEta { 1 } axGrowthOfValError { 0.005 } DampmgFactor { 1 } } } } 135 FixedUmformNoise { CCMenu { SetNoiseLevel {
Clusters { NewNoiseLevel { 0 } mlp.ιnput_auto { } ActFunction { } sei ld 140 FixedGaussNoise { plogistic { SetNoiseLevel { Parameter 0.5 NewNoiseLevel { 0 } } ptanh { }
Parameter { 0.5 145 } } SaveNoiseLevel { pid { Filename { noise level.dat
Parameter { 0.5 LoadNoiseLevel { 75 AdaptiveUniformNoise {
Filename { noise_level . dat ' NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { 1
Filename { mputManip . dat } AdaptiveGaussNoise {
} 80 NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMan p .dat ) }
} FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel {
} 85 NewNoiseLevel { 0 ' mlp.inputl { ActFunction { sei ld FixedGaussNoise { plogistic { SetNoiseLevel {
Parameter { 0.5 } 90 NewNoiseLevel } 1 ptanh { }
Parameter { 0.5 } } SaveNoiseLevel { pid { 95 Filename { noise_level . dat }
Parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level . dat }
InputModification { } sei None 100 SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip . dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData {
} Filename { mputMamp . dat }
AdaptiveGaussNoise { 105 } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 }
} mlp. mput3 {
FixedUmformNoise { ActFunction { SetNoiseLevel { 110 sei ld
NewNoiseLevel { 0 } plogistic { Parameter 0.5 }
FixedGaussNoise { ptanh { SetNoiseLevel { 115 Parameter 0.5
NewNoiseLevel { 0 } } pid {
Parameter 0.5
SaveNoiseLevel { 120 }
Filename { noise_level.dat InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat NoiseEta { 1 } } 125 DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { mputManip.dat } 130 } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 ] mlp.ιnput2 { ActFunction { 135 sei ld FixedGaussNoise { plogistic { SetNoiseLevel {
Parameter { 0.5 } NewNoiseLevel { 0 } } } ptanh { 140
Parameter { 0.5 } } SaveNoiseLevel ( pid { Filename { noise_level.dat }
Parameter { 0.5 } }
145 LoadNoiseLevel {
Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData { Filename { mputMamp. dat } 75 AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputManip .dat } }
} FixedUmformNoise {
Norm { NoNorm } 80 SetNoiseLevel { } NewNoiseLevel { 0 } mlp.ιnput4 { ActFunction { sei id FixedGaussNoise { plogistic { 85 SetNoiseLevel {
Parameter { 0.5 } NewNoiseLevel { 0 } } } ptanh { }
Parameter { 0.5 } } } 90 SaveNoiseLevel { pid { Filename { noise_level.dat }
Parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { 95 } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData {
} 100 Filename { mputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } }
} mlp.inputδ {
FixedUmformNoise { 105 ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic {
Parameter { 0.5 } }
FixedGaussNoise { 110 ptanh { SetNoiseLevel { Parameter { 0.5 } NewNoiseLevel } } p d {
Parameter { 0.5 }
115 }
SaveNoiseLevel { }
Filename { noise_level.dat ] InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat ] 120 NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { mputMamp.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { 125 DampmgFactor { 1 }
Filename { mputManip.dat } } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { ) NewNoiseLevel { 0 } mlp.ιnput5 { 130 ActFunction { sei id FixedGaussNoise { plogistic { SetNoiseLevel {
Parameter { 0.5 } NewNoiseLevel { 0 } 135 ptanh {
Parameter { 0.5 }
} SaveNoiseLevel { pid { Filename { noise_level.dat }
Parameter { 0.5 } 140 } } LoadNoiseLevel { } Filename ( noise_level.dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { 145 Filename { mputManip.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData {
Filename { mputMamp.dat } 75 FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp.extern65 { 1 ActFunction { ) sei id 80 FixedGaussNoise { plogistic { SetNoiseLevel {
Parameter { 0.5 } NewNoiseLevel { 0 }
) ptanh { }
Parameter { 0.5 } 85 } SaveNoiseLevel { pid { Filename { noise_level . dat }
Parameter { 0.5 } } LoadNoiseLevel {
90 Filename { noise_level . dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp . dat } NoiseEta { 1 } } DampmgFactor { 1 } 95 LoadMampulatorData { 1 Filename { mputMamp . dat }
AdaptiveGaussNoise { NoiseEta { 1 } Norm NoNorm DampmgFactor { 1 } } ] 100 mlp.extern43 {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei d
NewNoiseLevel { 0 } plogistic { } Parameter 0. 5 } 105 }
FixedGaussNoise { ptanh { SetNoiseLevel { Parameter 0. 5 }
NewNoiseLevel { 0 } } pid {
110 Parameter { 0.5
SaveNoiseLevel { }
Filename { noise_level.dat InputModification { } sei None LoadNoiseLevel { 115 AdaptiveUniformNoise {
Filename { noise_level.dat NoiseEta { 1 } } Damp gFactor { 1 } SaveManipulatorData { }
Filename { mputManip.dat } AdaptiveGaussNoise ( } 120 NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { mputManip.dat } } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } 125 NewNoiseLevel { 0 ] mlp.extern54 { ActFunction { sei id FixedGaussNoise { plogistic { SetNoiseLevel {
Parameter { 0.5 } 130 NewNoiseLevel { 0 } } ptanh {
Parameter { 0.5 } } SaveNoiseLevel { pid { 135 Filename { noise_level.dat }
Parameter { 0.5 } ) } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { } sei None 140 SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } Filename { inputMamp.dat }
AdaptiveGaussNoise { 145 } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } mlp.extern32 { ActFunction { ' 75 } sei id FixedGaussNoise { plogistic { SetNoiseLevel {
Parameter { 0.5 NewNoiseLevel { 0 }
} } ptanh { 80 }
Parameter { 0.5
} SaveNoiseLevel { pid { Filename { noise_level . dat }
Parameter { 0.5 }
85 LoadNoiseLevel {
Filename { noise_level . dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp . dat } NoiseEta { 1 } 90 } DampmgFactor { 1 } LoadMampulatorData {
} Filename { mputManip . dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } 95 }
} mlp.externlO {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { - } 100 Parameter { 0.5 } } }
FixedGaussNoise { ptanh { SetNoiseLevel { Parameter { 0.5 }
NewNoiseLevel { 0 } }
105 pid {
Parameter { 0. 5 }
SaveNoiseLevel {
Filename { noise_level.dat } InputModification {
} 110 sei None
LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 }
} DampmgFactor { 1 ) SaveManipulatorData { }
Filename { inputMamp.dat ) 115 AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } } } FixedUmformNoise {
Norm { NoNorm } 120 SetNoiseLevel { } NewNoiseLevel { 0 } mlp.extern21 { } ActFunction { } sei id FixedGaussNoise { plogistic { 125 SetNoiseLevel {
Parameter { 0.5 } NewNoiseLevel { 0 } } } ptanh {
Parameter { 0.5 } } 130 SaveNoiseLevel { pid { Filename { noise_level.dat }
Parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { 135 } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } 140 Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } mlp. output_auto {
FixedUmformNoise { 145 ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic {
Parameter { 0.5 } 75 Parameter { 2 } ptanh { }
Parameter { 0.5 } parametricalEntropy { } Parameter { le-06 } p d { }
Parameter { 0.5 } 80 } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 0 0 0 0 0 } sei none Weightmg { 1 1 1 1 1 1 1 1 1 1 }
Ixl i 85 }
Parameter { 0.05 } mlp. final- { } ActFunction { LnCosh { sei id
Parameter { 2 } plogistic { } 90 Parameter { 0.5 } parametricalEntropy { Parameter { le-06 } ptanh { } Parameter 0.5 } }
Norm { NoNorm } 95 pid { ToleranceFlag { F } Parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } } Weightmg { 1 1 1 1 1 1 1 1 1 1 } }
ErrorFunc { mlp.finalδ { 100 sei none ActFunction { Ixl { sei id Parameter { 0.05 } plogistic { } Parameter 0.5 LnCosh { } 105 Parameter { 2 } ptanh { }
Parameter 0.5 parametricalEntropy { Parameter { le-06 } pid { }
Parameter 0.5 110 }
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 0 0 0 0 sei none Weightmg { 1 1 1 1 1 1 1 1 1 Ixl { 115 }
Parameter { 0.05 } mlp.fιnal3 { } ActFunction { LnCosh { sei id
Parameter { 2 } plogistic { } 120 Parameter { 0.5 } parametricalEntropy { Parameter { le-06 } ptanh { } Parameter 0.5 } }
Norm { NoNorm } 125 pid { ToleranceFlag { F } Parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weightmg { 1 1 1 1 1 1 1 1 1 1 } } ErrorFunc { mlp.finalδ { 130 sei none ActFunction { Ixl { sei id Parameter { 0.05 } plogistic { }
Parameter { 0.5 } LnCosh { } 135 Parameter { 2 } ptanh { }
Parameter { 0.5 } parametricalEntropy { } Parameter { le-06 } pid { }
Parameter { 0.5 } 140 } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 0 0 0 0 0 } sei none Weightmg { 1 1 1 1 1 1 1 1 1 1 } Ixl { 145 }
Parameter { 0.05 } mlp.fmal2 { } ActFunction { LnCosh { sei id plogistic { 75
Parameter { 0.5 } LnCosh {
} Parameter { 2 } ptanh { }
Parameter { 0.5 } parametricalEntropy } 80 Parameter { le-06 pid { }
Parameter { 0.5 } }
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { 85 Tolerance { 0 0 0 } sei none Weightmg { 1 1 1 } Ixl { }
Parameter { 0.05 } mlp.futureδ { } ActFunction { LnCosh { 90 sei tanh
Parameter { 2 } plogistic {
} Parameter { 0.5 } parametricalEntropy { } Parameter { le-06 } ptanh { } 95 Parameter { 0.5 } } )
Norm { NoNorm } pid { ToleranceFlag { F } Parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weightmg { 1 1 1 1 1 1 1 1 1 1 100 } } ErrorFunc { mlp.finall { sei none ActFunction { Ixl { sei id Parameter { 0.05 } plogistic { 105 }
Parameter { 0.5 } LnCosh {
Parameter { 2 } ptanh { } Parameter 0.5 } parametricalEntropy
110 Parameter { le-06 pid {
Parameter 0.5
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { 115 Tolerance { 0 0 0 } sei none Weightmg { 1 1 1 } Ixl { }
Parameter { 0.05 } mlp.future5 { } ActFunction { LnCosh { 120 sei tanh
Parameter { 2 } plogistic { } Parameter { 0.5 } parametricalEntropy { } Parameter { le-06 } ptanh { } 125 Parameter { 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } Parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weightmg { 1 1 1 1 1 1 1 1 1 1 130 } } ErrorFunc { mlp. bottleneck { sei none ActFunction { Ixl { sei tanh Parameter { 0.05 } plogistic { 135 }
Parameter { 0.5 } LnCosh { } Parameter { 2 } ptanh { }
Parameter { 0.5 } parametricalEntropy { } 140 Parameter { le-06 } p d {
Parameter { 0.5 } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { 145 Tolerance { 0 0 0 } sei none Weightmg { 1 1 1 } Ixl { }
Parameter { 0.05 } mlp.future4 { ActFunction { 75 ]χl { sei tanh Parameter { 0.05 } plogistic { }
Parameter { 0.5 } LnCosh { } Parameter { 2 } ptanh { 80 }
Parameter { 0.5 } parametricalEntropy {
Parameter { le-06 } pid {
Parameter 0.5 } 85 Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei none Weightmg { 1 1 1 } Ixl { }
Parameter 0.05 } 90 mlp.futurel { ActFunction {
LnCosh { sei tanh
Parameter { 2 } plogistic {
} Parameter { 0.5 } parametricalEntropy { 95 } Parameter { le-06 } ptanh {
} Parameter { 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } 100 Parameter { 0.5 } Tolerance { 0 0 0 } Weightmg { 1 1 1 }
ErrorFunc { mlp.future3 { sei none ActFunction { 105 Ixl { sei tanh Parameter { 0.05 } plogistic { } Parameter 0.5 LnCosh {
Parameter { 2 } ptanh { 110 } Parameter 0.5 parametricalEntropy { Parameter { le-06 } pid { }
Parameter { 0. }
115 Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei none Weightmg { 1 1 1 } Ixl { }
Parameter { 0.05 } 120 mlp.present { } ActFunction { LnCosh { sei tanh
Parameter { 2 } plogistic { } Parameter { 0.5 } parametricalEntropy 125 } Parameter { le-06 ptanh { } Parameter { 0.5 } } }
Norm { NoNorm } Pid { ToleranceFlag { F } 130 Parameter { 0.5 } Tolerance { 0 0 0 } } Weightmg { 1 1 1 } } } ErrorFunc { mlp.future2 { sei LnCosh ActFunction { 135 Ixl { sei tanh Parameter { 0.05 } plogistic { }
Parameter { 0.5 } LnCosh { } Parameter { 2 } ptanh { 140 }
Parameter { 0.5 } parametricalEntropy { } Parameter { le-06 } pid { }
Parameter { 0.5 } }
145 Norm { NoNorm } ToleranceFlag { F }
ErrorFunc Tolerance { 0 0 0 } sei none Weightmg ( 1 1 1 ) } 75 ErrorFunc { mlp.pastl { sei LnCosh ActFunction { 1 |xv 11 /t sei tanh Parameter { 0.05 } plogistic { } Parameter 0.5 80 LnCosh {
Parameter { 2 } ptanh { }
Parameter { 0.5 } parametricalEntropy { } Parameter { le-06 } pid { 85 }
Parameter { 0.5 } }
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei LnCosh 90 Weightmg { 1 1 1 } Ixl { }
Parameter { 0.05 } mlp.past4 { } ActFunction { LnCosh { sei tanh
Parameter { 2 } 95 plogistic {
} Parameter { 0.5 } parametricalEntropy { } Parameter { le-06 } ptanh {
} Parameter { 0.5 } } " 100 }
Norm { NoNorm } pid { ToleranceFlag { F } Parameter { 0.5 } Tolerance { 0 0 0 } } Weight g { 1 1 1 } }
105 ErrorFunc { mlp . past2 { sei LnCosh ActFunction { Ixl { sei tanh Parameter { 0.05 } plogistic { } Parameter 0.5 110 LnCosh {
} Parameter { 2 } ptanh { } Parameter 0.5 parametricalEntropy { Parameter { le-06 } pid { 115 }
Parameter { 0.5 } } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei LnCosh 120 Weightmg { 1 1 1 } Ixl { }
Parameter { 0.05 } mlp.pastS { } ActFunction { LnCosh { sei tanh
Parameter { 2 } 125 plogistic { } Parameter { 0.5 } parametricalEntropy } Parameter { le-06 ptanh {
Parameter { 0.5 }
130 }
Norm { NoNorm pid { ToleranceFlag { F Parameter { 0.5 } Tolerance { 0 0 0 Weightmg { 1 1 1
} 135 ErrorFunc { mlp. past3 { sei LnCosh ActFunction { Ixl { sei tanh Parameter { 0.05 } plogistic { }
Parameter { 0. 140 LnCosh { } Parameter { 2 } ptanh { }
Parameter { 0. parametricalEntropy {
Parameter { le-06 } pid { 145
Parameter 0. 5
Norm { NoNorm } ToleranceFlag { F } Tolerance { 0 0 0 } 75 Weightmg { 1 1 1 } } } Norm { NoNorm } mlp.pastδ { } ActFunction { mlp.state32 { sei tanh 80 ActFunction { plogistic { sei tanh
Parameter { 0.5 } plogistic { } parameter { 0.5 ptanh { }
Parameter { 0.5 } 85 ptanh { } parameter { 0.5 pid { }
Parameter { 0.5 } pid { } parameter { 0.5 } 90 }
ErrorFunc { } sei LnCosh Norm { NoNorm } Ixl { }
Parameter { 0.05 } mlp.state21 { } 95 ActFunction { LnCosh { sei tanh
Parameter { 2 } plogistic { } parameter { 0.5 parametricalEntropy { } " parameter { le-06 } 100 ptanh { } parameter { 0.5 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter 0.5 Tolerance { 0 0 0 } 105 Weightmg { 1 1 1 } } } Norm { NoNorm } mlp.state65 { } ActFunction { mlp.statelO { sei tanh 110 ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter { 0.5 ptanh { } parameter { 0.5 } 115 ptanh { } parameter { 0.5 Pid { } parameter { 0.5 } pid { parameter { 0.5
120 }
Norm { NoNorm } } } Norm { NoNorm } mlp.state54 { } ActFunction { mlp.stateOl { sei tanh 125 ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter { 0.5 ptanh { } parameter { 0.5 } 130 ptanh { } parameter { 0.5 Pid { } parameter { 0.5 } pid { parameter { 0.5
135
Norm { NoNorm } } Norm { NoNorm } mlp.state43 { } ActFunction { mlp.statel2 { sei tanh 140 ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter { 0.5 ptanh { parameter { 0.5 } 145 ptanh { } parameter 0.5 pid { } parameter { 0. 5 } pid { parameter { 0. 5 } 75 pid { parameter { 0. 5 }
} }
Norm NoNorm } }
Norm { NoNorm } mlp.state23 { 80 } ActFunction { mlp.back54 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 plogistic { } 85 parameter { 0.5 } ptanh { } parameter { 0.5 ptanh {
Parameter { 0.5 } pid { } parameter { 0.5 } 90 pid { } parameter { 0.5 } }
Norm { NoNorm } } Norm { NoNorm } mlp.state34 { 95 } ActFunction { mlp.back43 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic {
} 100 parameter { 0. 5 } ptanh { } parameter { 0.5 } ptanh { } parameter { 0. pid { } parameter { 0.5 } 105 pid { parameter { o.
}
Norm NoNorm
} Norm { NoNorm } mlp.state45 { 110 } ActFunction { mlp.back32 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 plogistic { } 115 parameter { 0.5 } ptanh { } parameter 0.5 ptanh { parameter { 0.5 } pid { } parameter { 0.5 } 120 pid { parameter { 0.5 }
} } Norm NoNorm }
} Norm { NoNorm } mlp.stateδδ { 125 } ActFunction { mlp.back21 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 plogistic { } 130 parameter { 0.5 } ptanh { } parameter { 0.5 ptanh { } parameter 0.5 pid { parameter 0.5 135 pid { parameter { 0.5
Norm { NoNorm } } Norm { NoNorm mlp.back65 { 140 } ActFunction { mlp.backlO { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 plogistic { } 145 parameter 0.5 ptanh { parameter { 0. 5 ptanh { parameter 0.5 75 pid { SaveWeightsLocal { parameter { 0 . 5 Filename { std } }
Alive { T }
Norm { NoNorm 80 WtFreeze { T } AllowPrumng { F } EtaModifier { 1 }
Connectors { Penalty { NoPenalty } mlp.bottleneck->output_auto { } WeightWatcher { 85 mlp.bιas->fιnal5 { Active { F } LoadWeightsLocal { MaxWeight { 1 } Filename { std } MinWeight { 0 } } } SaveWeightsLocal {
LoadWeightsLocal { 90 Filename { std } Filename { std } }
} Alive { T }
SaveWeightsLocal { WtFreeze { T } Filename { std } AllowPrumng { F }
} 95 EtaModifier { 1 }
Alive { F } Penalty { NoPenalty } WtFreeze { T } } AllowPrumng { F } mlp. future4->fmal4 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } 100 Filename { std }
} } mlp.bιas->output_auto { SaveWeightsLocal { WeightWatcher { Filename { std }
Active { F } }
MaxWeight { 1 } 105 Alive { T }
MinWeight { 0 } WtFreeze { T } } AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 110 } SaveWeightsLocal { mlp.bιas->fιnal4 {
Filename { std } LoadWeightsLocal {
} Filename { std }
Alive { F } } WtFreeze { T } 115 SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { T } mlp. futureδ->fmal6 { 120 AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp. future3->fmal3 {
Filename { std } 125 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } 130 } Penalty { NoPenalty } Alive { T } } WtFreeze { T } mlp.bιas->fmalδ { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 135 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->fιnal3 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 140 } WtFreeze { T } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } 145 WtFreeze { T } mlp. future5->fιnal5 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } 75 MaxWeight { 1 } mlp.future2->fmal2 { MinWeight { 0 } LoadWeightsLocal { } Filename { std } LoadWeightsLocal {
} Filename { std }
SaveWeightsLocal { 80 } Filename { std } SaveWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { T } Alive { F } AllowPrumng { F } 85 WtFreeze { T } EtaModifier { 1 } AllowPrumng { F } Penalty { NoPenalty } EtaModifier { 1 }
} Penalty { NoPenalty } mlp.bιas->fmal2 { } LoadWeightsLocal { 90 mlp.state56->future6 { Filename { std } WeightWatcher {
} Active { F }
SaveWeightsLocal { MaxWeight { 1 } Filename { std } MinWeight { 0 }
} 95 }
Alive { T } LoadWeightsLocal {
WtFreeze { T } Filename { std }
AllowPrumng { F } }
EtaModifier { 1 } SaveWeightsLocal {
Penalty { NoPenalty } 100 Filename { std } } } mlp. futurel->fmall { Alive { T }
LoadWeightsLocal { WtFreeze { F } Filename { std } AllowPrumng { F }
} 105 EtaModifier { 1 }
SaveWeightsLocal { Penalty { NoPenalty } Filename { std } }
} mlp.bιas->futureδ {
Alive { T } LoadWeightsLocal { WtFreeze { T } 110 Filename { std } AllowPrumng { F } } EtaModifier { 1 } SaveWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp.bιas->fιnall { 115 Alive { T } LoadWeightsLocal { WtFreeze { T }
Filename { std } AllowPrumng { F } } EtaModifier { 1 } SaveWeightsLocal { Penalty { NoPenalty }
Filename { std } 120 } } mlp. state45->future5 {
Alive { T } LoadWeightsLocal { WtFreeze { T } Filename { std } AllowPrumng { F } } EtaModifier { 1 } 125 SaveWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp.ιnput_auto->bottleneck Alive { T } WeightWatcher { WtFreeze { F F }
Active { F } 130 AllowPrumng [ F }
MaxWeight { 1 } EtaModifier 1 }
MinWeight { 0 } Penalty { NoPenalty } } } LoadWeightsLocal { mlp.bιas->future5 {
Filename { std } 135 LoadWeightsLocal { } Filename { std } SaveWeightsLocal { }
Filename { std } SaveWeightsLocal { } Filename { std }
Alive { F } 140 } WtFreeze { T } Alive { T } AllowPrumng { F } WtFreeze { T } EtaModifier { 1 } AllowPrumng { F } Penalty { NoPenalty } EtaModifier { 1 } } 145 Penalty { NoPenalty } mlp.bιas->bottleneck { } WeightWatcher { mlp. state34->future4 {
Active { F } LoadWeightsLocal { Filename { std } 75 Penalty { NoPenalty }
SaveWeightsLocal { mlp.state01->futurel {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 80 } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } 1 Penalty { NoPenalty } Alive { T } } 85 WtFreeze { F } mlp.bιas->future4 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 90 mlp.bιas->futurel {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPrumng { F } 95 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { T } mlp. state23->future3 { AllowPrumng { F } LoadWeightsLocal { 100 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.mputO->present {
Filename { std } LoadWeightsLocal { } 105 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 110 Alive { T } } WtFreeze { T } mlp.bιas->future3 { AllowPrumng { F } LoadWeightsLocal { EtaModifier ( 1 }
Filename { std } Penalty { NoPenalty } } 115 } SaveWeightsLocal { mlp. statelO->present {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { T } 120 SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.statel2->future2 { 125 AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->present {
Filename { std } 130 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } 135 } Penalty { NoPenalty } Alive { T } 1 WtFreeze { T } mlp.bιas->future2 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 140 Penalty { NoPenalty } } } SaveWeightsLocal { mlp. mputl->pastl {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 145 } WtFreeze { T } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } Alive { T } 75 Penalty { NoPenalty } WtFreeze { T } } AllowPrumng { F } mlp.bιas->paεt2 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } 80 } mlp.state21->pastl { SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } Alive { T } SaveWeightsLocal { 85 WtFreeze { T }
Filename { std } AllowPrumng { F }
} EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } } AllowPrumng { F } 90 mlp.back21->past2 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp.bιas->pastl { SaveWeightsLocal { LoadWeightsLocal { 95 Filename { std }
Filename { std } } } Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPrumng { F }
} - 100 EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { T } } AllowPrumng { F } mlp.mput3->past3 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } 105 Filename { std }
} } mlp.backlO->pastl { SaveWeightsLocal { WeightWatcher { Filename { std }
Active { F } }
MaxWeight { 1 } 110 Alive { T }
MinWeight { 0 } WtFreeze { T } } AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 115 } SaveWeightsLocal { mlp.state43->past3 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } 120 SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } ) Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.mput2->past2 { 125 AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->past3 {
Filename { std } 130 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } 135 } Penalty { NoPenalty } Alive { T } } WtFreeze { T } mlp. state32->past2 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 140 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.back32->past3 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 145 } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } Alive { T } 75 WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T }
} 80 WtFreeze { F } mlp.mput4->past4 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } }
SaveWeightsLocal { 85 mlp.bιas->past5 { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPrumng { F } 90 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T }
} WtFreeze { T } mlp.state54->past4 { AllowPrumng { F }
LoadWeightsLocal { 95 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty }
SaveWeightsLocal { mlp.back54->past5 { Filename { std } LoadWeightsLocal {
) " 100 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 105 Alive { T }
} WtFreeze { F } mlp.bιas->past4 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } 110 }
SaveWeightsLocal { mlp. mputδ->pastδ { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { T } 115 SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T }
} WtFreeze { T } mlp.back43->past4 { 120 AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } }
SaveWeightsLocal { mlp.bιas->past6 { Filename { std } 125 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } 130 } Penalty { NoPenalty } Alive { T }
} WtFreeze { T } mlp.mput5->past5 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } 135 Penalty { NoPenalty } } }
SaveWeightsLocal { mlp.back65->past6 { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 140 } WtFreeze { T } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T }
} 145 WtFreeze { F } mlp.state65->past5 { AllowPrumng { F }
LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } 75 mlp. extern65->state65 { Alive { T } WeightWatcher { WtFreeze { F } Active { F } AllowPruning { F } MaxWeight { 1 } EtaModifier { 1 } MinWeight { 0 } 80 Penalty { NoPenalty }
} }
LoadWeightsLocal { mlp.extern43->state43 {
Filename { std } LoadWeightsLocal { } Filename { std }
SaveWeightsLocal { 85 }
Filename { std } SaveWeightsLocal {
} Filename { std }
Alive { T } } WtFreeze { F } Alive { T } AllowPruning { F } 90 WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } Penalty { NoPenalty } mlp.past6->state65 { } WeightWatcher { 95 mlp.past4->state43 {
Active { F } LoadWeightsLocal {
MaxWeight { 1 } Filename { std }
MinWeight { 0 } } } SaveWeightsLocal { LoadWeightsLocal { 100 Filename { std }
Filename { std } } } Alive { T } SaveWeightsLocal { WtFreeze { F
Filename { std } AllowPruning [ F } } 105 EtaModifier { 1 }
Alive { T } Penalty { NoPenalty WtFreeze { F } } AllowPruning { F } mlp. state54->state43 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } 110 Filename { std } } } mlp. extern54->state54 { SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } 115 Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty WtFreeze { F } 120 } AllowPruning { F } mlp. extern32->state32 EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp.past5->state54 { 125 SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } 130 AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty WtFreeze { F } } AllowPruning { F } mlp.past3->state32 { EtaModifier { 1 } 135 LoadWeightsLocal { Penalty { NoPenalty } Filename { std } mlp. state65->state54 SaveWeightsLocal { WeightWatcher { Filename { std } Active { F } 140 } MaxWeight { 1 } Alive { T } MinWeight { 0 } WtFreeze { F }
} AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename td } 145 Penalty { NoPenalty } } } ΞaveWeightsLocal { mlp.state43->state32 {
Filename { std } LoadWeightsLocal { Filename { std } 75 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.state21->statel0 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 80 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T }
} 85 WtFreeze { F } mlp.extern21->state21 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } }
SaveWeightsLocal { 90 mlp.present->state01 { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 95 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.past2->state21 { AllowPruning { F }
LoadWeightsLocal { 100 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty }
SaveWeightsLocal { mlp.statel0->state01 {
Filename { std } LoadWeightsLocal { } 105 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 110 Alive { T } } WtFreeze { F } mlp.state32->state21 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 115 } SaveWeightsLocal { mlp.state01->statel2 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } 120 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.externl0->statel0 { 125 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.statel2->state23 {
Filename { std } 130 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } 135 } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.pastl->statelO { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 140 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.state23->state34 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 145 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } Alive { T } 75 } WtFreeze { F } Alive { T } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } 80 Penalty { NoPenalty } mlp.state34->state45 { } LoadWeightsLocal { mlp.back43->back54 {
Filename { std } LoadWeightsLocal { } Filename { std } SaveWeightsLocal { 85 }
Filename { std } SaveWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } Alive { T } AllowPruning { F } 90 WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } Penalty { NoPenalty } mlp.state45->state56 { LoadWeightsLocal { 95 mlp.past3->back43
Filename { std } LoadWeightsLocal } Filename { std SaveWeightsLocal { }
Filename { std } SaveWeightsLocal } " 100 Filename std
Alive { T } } WtFreeze { F } Alive { T } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } AllowPruning { F 1 Penalty { NoPenalty } 105 EtaModifier { 1 } Penalty { NoPenalty mlp.past5->back65 { } WeightWatcher { mlp.back32->back43 {
Active { F } LoadWeightsLocal
MaxWeight { 1 } 110 Filename { std }
MinWeight { 0 } } } SaveWeightsLocal LoadWeightsLocal { Filename { std
Filename { std } } 115 Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F ) } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } 120 } AllowPruning { F } mlp.past2~>back32 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp.back54->back65 { 125 SaveWeightsLocal { WeightWatcher { Filename { std }
Active { F } }
MaxWeight { 1 } Alive { T }
MinWeight { 0 } WtFreeze { F } } 130 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty }
} }
SaveWeightsLocal { mlp.back21->back32 { Filename { std } 135 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 140 } Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp.past4->back54 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } 145 Penalty { NoPenalty }
} }
SaveWeightsLocal { mlp.pastl->back21 { Filename { std } LoadWeightsLocal { Filename { std } Lambda { 0 } } AutoAdapt { T } SaveWeightsLocal { wO { 1 }
Filename { std } DeltaLambda { le-06 } } 75 ReducFac { 0.9 }
Alive { T } Gamma { 0.9 } WtFreeze { F } DesiredError { 0 } AllowPruning { F } } EtaModifier { 1 } WtDecay { Penalty { NoPenalty 80 Lambda { 0.005 } } AutoAdapt { F } mlp.backl0->back21 { AdaptTime { 10 } LoadWeightsLocal { EpsOb] { 0.001 }
Filename { std } Ob] Set { Training } } 85 EpsilonFac { 1 } SaveWeightsLocal { }
Filename { std } ExtWtDecay { } Lambda { 0.001 }
Alive { T } AutoAdapt { F } WtFreeze { F } 90 AdaptTime { 10 } AllowPruning { F } EpsOb] { 0.001 } EtaModifier { 1 } Ob] Set { Training } Penalty { NoPenalty EpsilonFac { 1 } } } mlp.present->backlO { 95 Finnoff { LoadWeightsLocal { AutoAdapt { T }
Filename { std } Lambda { 0 } } DeltaLambda { le-06 } SaveWeightsLocal { ReducFac { 0.9 }
Filename { std } 100 Gamma { 0.9 } } DesiredError { 0 }
Alive { T } WtFreeze { F } AllowPruning { F } ErrorFunc { EtaModifier { 1 } 105 sei LnCosh Penalty { NoPenalty Ixl { parameter { 0.05 }
AnySave { LnCosh { file name { f.CCMenu.dat } 110 parameter { 2 }
AnyLoad { parametricalEntropy { file name f.CCMenu.dat } parameter { le-06 } }
115
RecPar { AnySave { decay_c { 1 } file name f.Globals.dat delta_t { 0.1 } epsilon { 0.01 } AnyLoad { max_ιter { 1 } 120 file name { f.Globals.dat } show { F } }
Reset_Errors { F } ASCII { T } } } TestRun { LearnCtrl {
Filename { Test } 125 sei Stochastic
Part.Transformed { F } Stochastic { } PatternSelection { Online { sei Permute
Filename { Online.dat } ExpRandom {
130 Lambda { 2 } } Segmentation {
OutputNode { -1 } ExpectedCutOff { 0.5 }
135 PercentageForGroupB { 0.2 }
Teil 3: }
WtPruneCtrl { PruneSchedule {
BpNet { 140 sei FixSchedule
Globals { FixSchedule { WtPenalty { Lιmιt_0 { 10 sei NoPenalty Lιmιt_l { 10 Weigend { Limit 2 { 10 Lιmιt_3 { 10 } 75 MaxDelta20b] { 0.3 } RepeatLast { T } MaxEtaChange { 0.02 }
} MmEta { 0.001 }
DynSchedule { MaxEta { 0.1 } MaxLength { 4 } Smoother { 1 } M imumRuns { 0 } 80 Training { F } } Validation { T } Active F } Generalization { F }
} LearnAlgo {
DivSchedule { 85 sei VarioEta
Divergence { 0.1 } VarioEta { MinEpochs { 5 } MinCalls { 50
} }
MomentumBackProp {
PruneAlg { 90 Alpha { 0.05 } sei FixPrune }
FixPrune { Quickprop {
Perc_0 { 0. .1 } Decay { 0.05 }
Perc_l { 0. .1 } Mu { 2 }
Perc_2 { 0, .1 } 95 }
Perc 3 { 0 .1 } } } AnySave { EpsiPrune |r file name { f.Stochastic.dat }
DeltaEps '{ 0. 05 } }
StartEps { 0. .05 } 100 AnyLoad {
MaxEps { 1 } file name { f.Stochastic.dat }
ReuseEps { F } } } BatchSize { 1 } Eta { 0.01 }
Tracer { 105 DerivEps { 0 }
Active { F } }
Set { Validation } TrueBatch {
File { trace } PatternSelection { } sei Sequential
Active { F } 110 ExpRandom { Randomize { 0 } Lambda { 2 } PruningSet { Train. +Valιd. } } Method { S-Prunmg } Segmentation { } OutputNode { -1 }
ΞtopControl { 115 ExpectedCutOff 0.5 } EpochLi it { PercentageForGroupB { 0. 2 }
Active { T } }
MaxEpoch { 10000 } } } WtPruneCtrl { Mov gExpAverage { 120 Tracer {
Active { F } Active { F }
MaxLength { 4 } Set { Validation }
Training { F } File { trace }
Validation { T } }
Generalization { F } 125 Active { F }
Decay { 0.9 } Randomize { 0 } } PruningSet { Tram.+Valid. } CheckOb]ectιveFct { Method { Ξ-Prumng }
Active { F } 1
MaxLength { 4 } 130 EtaCtrl {
Training { F } Active { F }
Validation { T } }
Generalization { F } LearnAlgo { sei VarioEta
CheckDelta { 135 VarioEta { Active { F } MinCalls { 200 } Divergence { 0.1 } MomentumBackProp {
Alpha { 0.05 }
EtaCtrl { 140 }
Mode { Quickprop { sei EtaSchedule Decay { 0.05 }
EtaSchedule { Mu { 2 }
ΞwitchTime { 10 } }
ReductFactor { 0. 95 145 }
) AnySave { FuzzCtrl { file name { f.TrueBatch.dat }
MaxDeltaOb] ) ( 0.3 } AnyLoad { 75 } fιle_name { f.TrueBatch.dat } MomentumBackProp { } Alpha { 0.05 }
Eta { 0.05 } } DerivEps { 0 } } } 80 Ob] FctTracer { LmeSearch { Active { F }
PatternSelection { File { ob] Func } sei Sequential } ExpRandom { SearchControl {
Lambda { 2 } 85 SearchStrategy { } sei HillClimberControl Segmentation { HillClimberControl {
OutputNode { -1 } %InιtιalAlιve { 0.95 } ExpectedCutOff { 0.5 } InheritWeights { T } PercentageForGroupB { 0.2 } 90 Beta { 0.1 }
MutationType { DistπbutedMac- roMutation
WtPruneCtrl { MaxTnals { 50 } Tracer { }
Active { F } 95 PBILControl { Set { Validation } %ImtιalAlιve { 0. 95 } File { trace } InheritWeights { T } } Beta { 0. 1 }
Active { F } Alpha { 0. 1 } Randomize { 0 } 100 PopulationSize { 40 } PruningSet { Tram.+Valid. } Method { Ξ-Prumng } PopulationControl { } pCrossover { 1 }
LearnAlgo { CrossoverType { SimpleCrosso- sei Con] Gradient 105 VarioEta { Scalmg { T }
MinCalls { 200 } ScalingFactor { 2 }
} Sharing { T } MomentumBackProp { SharmgFactor { 0. .05 ]
Alpha { 0.05 } 110 PopulationSize { 50 } } mm. %InιtιalAlιve { 0. .01 } Quickprop { max. %ImtιalAlιve { 0. ■ 1 }
Decay { 0.05 } }
Mu { 2 } 1 } 115 pMutation { 0 } Low-Memory-BFGS {
Limit { 2 } Ob] ectiveFunctionWeights {
%Alιve { 0.6 }
E(TS) { 0.2 }
AnySave { 120 Improvement (TS) { 0 } file name { f.LineSearch.dat E(VS) { 1 }
Improvement (VS) { 0 }
AnyLoad { (E(TS)-E(VS) )/max(E(TS) ,E(VS) ) { 0 file name f.LineSearch.dat } }
125 LipComplexity { 0 }
EtaNull { 1 } OptComplexity { 2 } MaxSteps { 10 } testVal (dead ) -testVal ( alive ) { 0 } LS_Precιsιon { 0.5 } } TrustRegion { T } AnySave { DerivEps { 0 } 130 file name { BatchSize { 2147483647 } f . GeneticWeightSelect . dat } } }
GeneticWeightSelect { AnyLoad { PatternSelection { fιle_name { sei Sequential 135 f . GeneticWeightSelect . dat } ExpRandom { }
Lambda { 2 } Eta { 0. 05 } } DerivEps { 0 } Segmentation { BatchSize { 5 }
OutputNode { -1 } 140 ümmEpochsForFitnessTest ExpectedCutOff { 0.5 } ffmaxEpochsForFitnessTest { 3 } PercentageForGroupB { 0. SelectWeights { T } } SelectNodes { T } } maxGrowthOfValError { 0. 005 }
LearnAlgo { 145 sei VarioEta VarioEta { CCMenu {
MinCalls { 200 } Clusters { mlp. mput0_auto { 75 } ActFunction { } sei d FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel } 80 } ptanh { parameter { 0.5 } } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } 85 } } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { 90 Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData {
} Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } 95 Norm { NoNorm } DampmgFactor { 1 } }
} mlp.mputδ {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id NewNoiseLevel { 0 100 plogistic { parameter { 0.5 } }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 105 } pid {
} parameter { 0.5 }
SaveNoiseLevel {
Filename { noise_level.dat } 110 InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } Damp gFactor { 1 } SaveManipulatorData { 115 }
Filename { inputMamp.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } } } 120 FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp. mput6 { } ActFunction { } sei id 125 FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 } } ptanh { } parameter { 0.5 } 130 } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } } LoadNoiseLevel {
135 Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } 140 LoadMampulatorData { } Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } 145 mlp . mput4 {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { parameter { 0.5 } 75 NewNoiseLevel { 0 } } ptanh { } parameter { 0.5 } } SaveNoiseLevel { pid { 80 Filename { noise__level.dat } parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { } sei None 85 SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat }
NoiseEta { 1 } }
DampmgFactor { 1 } LoadMampulatorData { } Filename { inputMamp.dat } AdaptiveGaussNoise { 90 }
NoiseEta { 1 } Norm { NoNorm }
DampmgFactor { 1 } } } mlp.ιnput2 { FixedUmformNoise { ActFunction {
SetNoiseLevel { 95 sei id
NewNoiseLevel { 0 plogistic { parameter { 0.5 } }
FixedGaussNoise { ptanh { ~ SetNoiseLevel { 100 parameter { 0.5 }
NewNoiseLevel { 0 } } } pid { } parameter { 0.5 } } } SaveNoiseLevel { 105 }
Filename { noise_level.dat } InputModification {
} sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 }
} 110 DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } AdaptiveGaussNoise {
} NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } 115 } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp.mput3 { } ActFunction { 120 } sei id FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 } } } ptanh { 125 parameter { 0.5 } } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } } } 130 LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } 135 } DampmgFactor { 1 } LoadMampulatorData {
} Filename { inputMamp.dat } AdaptiveGaussNoise { }
NoiseEta { 1 } Norm { NoNorm }
DampmgFactor { 1 } 140 } mlp.inputl { FixedUmformNoise { ActFunction {
SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic {
} 145 parameter 0.5 } } } FixedGaussNoise { ptanh {
SetNoiseLevel { parameter 0.5 } 75 SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0. 5 } } } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { 80 } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } 85 Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } mlp.externalδ {
FixedUmformNoise { 90 ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 J plogistic { } parameter { 0.5 } } }
FixedGaussNoise { 95 ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 ] }
} pid {
} parameter { 0.5 }
100
SaveNoiseLevel {
Filename { noise_level.dat } InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } 105 NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { 110 DampmgFactor { 1 }
Filename { inputMamp.dat } } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 ) mlp.mputO { 115 } ActFunction { } sei id FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 ) } 120 ptanh { } parameter { 0.5 } } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } 125 } LoadNoiseLevel {
Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData {
AdaptiveUniformNoise { 130 Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } 135 Norm { NoNorm } DampmgFactor { 1 } } } mlp. externalδ {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } 140 plogistic { } parameter { 0.5 } } }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } 145 }
} pid {
} parameter { 0.5 } } 75 Filename { noise_level.dat ;
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } 80 LoadMampulatorData { } Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } 85 mlp. external3 {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei ld
NewNoiseLevel { 0 } plogistic { parameter { 0.5 }
90 }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } } } pid { } 95 parameter { 0.5 } } } SaveNoiseLevel { }
Filename { noise_level.dat } InputModification {
} sei None
LoadNoiseLevel { 100 AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } AdaptiveGaussNoise { } 105 NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } }
} FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel {
} 110 NewNoiseLevel { 0 } mlp. external4 { ActFunction { sei ld FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0. 5 } 115 NewNoiseLevel { 0 } ptanh { parameter 0.5 }
SaveNoiseLevel { pid { 120 Filename { noise_level.dat parameter { 0.5 } LoadNoiseLevel {
Filename { noise_level.dat j
InputModification { } sei None 125 SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } Filename { inputMamp.dat }
AdaptiveGaussNoise { 130 } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } mlp. external2 {
FixedUmformNoise { ActFunction { SetNoiseLevel { 135 sei ld
NewNoiseLevel { 0 } plogistic { } parameter 0.5 }
FixedGaussNoise { ptanh { SetNoiseLevel { 140 parameter 0.5 }
NewNoiseLevel { 0 } } pid { parameter { 0.5
SaveNoiseLevel { 145
Filename { noise__level.dat InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise { NoiseEta { 1 } 75 } DampmgFactor { ι 1 LoadMampulatorData {
} Filename { inputMamp.dat }
AdaptiveGaussNoise { }
NoiseEta { 1 } Norm { NoNorm }
DampmgFactor i 1 80 } mlp.externalO { FixedUmformNoise { ActFunction {
SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic {
} parameter { 0.5 } } } FixedGaussNoise { ptanh {
SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } }
} 90 pid { parameter { 0.5 } }
SaveNoiseLevel { }
Filename { noise_level.dat } InputModification {
} 95 sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } 100 AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } } } FixedUmformNoise {
Norm { NoNorm } 105 SetNoiseLevel { } NewNoiseLevel { 0 } mlp. externall { ActFunction { sei id FixedGaussNoise { plogistic { 110 SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 } ptanh { parameter { 0.5 } } 115 SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { 120 } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } 125 Filename { inputMamp.dat }
AdaptiveGaussNoise { NoiseEta { 1 } Norm { NoNorm DampmgFactor { 1 } } } mlp. autoassoc {
FixedUmformNoise { 130 ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { } parameter 0.5 } } }
FixedGaussNoise { 135 ptanh { SetNoiseLevel { parameter 0.5 }
NewNoiseLevel { 0 } } pid {
} parameter { 0.5 }
140 }
SaveNoiseLevel { }
Filename { noise_level.dat ErrorFunc { } sei LnCosh LoadNoiseLevel { Ixl {
Filename { noise_level.dat 145 parameter { 0.05 } } } SaveManipulatorData { LnCosh {
Filename { inputMamp.dat } parameter { 2 } 75 parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } parameter { 0.5 } } }
Norm { NoNorm } 80 pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } } Weightmg { 1 1 1 1 1 1 1 1 1 1 } } } ErrorFunc { mlp. futurel_target { 85 sei LnCosh ActFunction { Ixl { sei id parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } 90 parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } 95 } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 0 0 0 0 0 } sei LnCosh Weightmg { 1 1 1 1 1 1 1 1 1 1 } Ixl { 100 } parameter { 0.05 } mlp. future4_target { } ActFunction { LnCosh { sei id parameter { 2 } plogistic { } 105 parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { parameter { 0.5 } }
Norm { NoNorm } 110 pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 Weightmg { 1 1 1 1 1 1 1 1 1 1 } ErrorFunc { mlp. future2_target { 115 sei LnCosh ActFunction { Ixl { sei id parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } 120 parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } 125 }
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 0 0 0 0 0 sei LnCosh Weightmg { 1 1 1 1 1 1 1 1 1 1 Ixl { 130 } parameter { 0.05 } mlp.futureδ target { } ActFunction { LnCosh { sei id parameter { 2 } plogistic { } 135 parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } parameter { 0.5 } }
Norm { NoNorm } 140 pid { ToleranceFlag { F parameter { 0.5 } Tolerance { 0 0 0 0 0 ) Weightmg { 1 1 1 1 1 } } ErrorFunc { mlp. future3_target { 145 sei LnCosh ActFunction { Ixl { sei id parameter { 0.05 } plogistic { LnCosh { 75 sei tanh parameter { 2 } plogistic {
} parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh {
} 80 parameter { 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weighting { 1 1 1 1 1 1 1 1 1 1 } 85
} ErrorFunc { mlp.future6_target { sei LnCosh ActFunction { Ixl { sei id parameter { 0.05 } plogistic { 90 } parameter { 0.5 } LnCosh {
} parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } 95 parameter { le-06 } pid { 1 parameter { 0.5 } } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { 100 Tolerance { 0 0 0 0 0 } sei LnCosh Weighting { 1 1 1 1 1 } Ixl { 1 parameter { 0.05 } mlp.pastδ {
} ActFunction {
LnCosh { 105 sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } 110 parameter { 0.5 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter 0.5 Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weighting { 1 1 1 1 1 1 1 1 1 1 115 } } ErrorFunc { mlp.auto_zero { sei LnCosh ActFunction { Ixl { sei tanh parameter 0.05 plogistic { 120 } parameter { 0.5 } LnCosh { } parameter 2 } ptanh { parameter { 0.5 } parametricalEntropy { } 125 parameter { le-06 } pid { } parameter { 0.5 } } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { 130 Tolerance { 0 0 0 0 0 } sei LnCosh Weighting { 1 1 1 1 1 } Ixl { } parameter { 0.05 } mlp.past4 { } ActFunction { LnCosh { 135 sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh {
140 parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 } Weighting { 1 1 1 1 1 145 }
} ErrorFunc { mlp.pastδ { sei LnCosh ActFunction { Ixl { parameter { 0.05 } 75 mlp.pastl { } ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } parameter { 0. .5 } parametricalEntropy { 80 parameter { le-06 } ptanh { parameter { 0. • 5 } }
Norm { NoNorm } pid { ToleranceFlag { F } 85 parameter { 0. • 5 } Tolerance { 0 0 0 0 0 } } Weighting { 1 1 1 1 1 } } } ErrorFunc { mlp.past3 { sei LnCosh ActFunction { 90 Ixl { sei tanh parameter { 0, .05 plogistic { ) parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { 95 parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } ) 7 100 Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 } sei LnCosh Weightmg { 1 1 1 1 1 } Ixl { } parameter { 0.05 } 105 mlp.present { } ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { 110 } parameter { le-06 } ptanh { parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F } 115 parameter { 0.5 } Tolerance { 0 0 0 0 0 Weight g { 1 1 1 1 1 } ErrorFunc { mlp.past2 { sei LnCosh ActFunction { 120 Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { 125 } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } }
130 Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 } sei LnCosh Weighting { 1 1 1 1 1 } Ixl { } parameter { 0.05 } 135 mlp.futurel { } ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { 140 } parameter { le-06 } ptanh { parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F } 145 parameter { 0.5 } Tolerance { 0 0 0 0 0 } Weight g { 1 1 1 1 1 } } ErrorFunc { sei none 75 Weightmg 1 1 1 1 1 } Ixl { parameter { 0.05 } mlp.future4 {
} ActFunction {
LnCosh { sei tanh parameter { 2 } 80 plogistic {
} parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh {
10 } parameter { 0.5 } } 85 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 } }
15 Weightmg { 1 1 1 1 1 } }
90 ErrorFunc { mlp.future2 { sei none ActFunction { Ixl { sei tanh parameter { 0.05 }
20 plogistic { } parameter 0.5 95 LnCosh { parameter { 2 } ptanh { } parameter 0.5 } parametricalEntropy {
25 parameter { le-06 } pid { 100 } parameter { 0.5 } } } Norm { NoNorm } } ToleranceFlag { F }
30 ErrorFunc { Tolerance { 0 0 0 0 0 } sei none 105 Weightmg { 1 1 1 1 1 } Ixl { } parameter { 0.05 } mlp.futureδ {
} ActFunction {
35 LnCosh { sei tanh parameter { 2 } 110 plogistic {
1 parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh {
40 } parameter { 0.5 } } 115 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter ( 0.5 } Tolerance { 0 0 0 0 0 } }
45 Weightmg { 1 1 1 1 1 } }
120 ErrorFunc { p.future3 { sei none ActFunction { Ixl { sei tanh parameter { 0.05 }
50 plogistic { } parameter { : 0. •5 } 125 LnCosh {
J parameter { 2 } ptanh { } parameter { : 0. .5 } parametricalEntropy {
55 ) parameter { le-06 } pid { 130 parameter | : o, .5 } } Norm { NoNorm }
} ToleranceFlag { F }
60 ErrorFunc { Tolerance { 0 0 0 0 0 } sei none 135 Weightmg { 1 1 1 1 1 } Ixl { } parameter | [ o. .05 } mlp.futureδ {
} ActFunction {
65 LnCosh { sei tanh parameter i [ 2 } 140 plogistic { parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh {
70 Parameter { 0.5 }
145
Norm { NoNorm } pid { ToleranceFlag { F } parameter 0.5 } Tolerance { 0 0 0 0 0 } } 75 }
ErrorFunc { } sei none Norm { NoNorm } Ixl { } parameter { 0.05 } mlp.state21 { } 80 ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy } parameter { le-06 85 ptanh { 1 parameter { 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 90 } Weightmg { 1 1 1 1 1 }
} Norm { NoNorm } mlp.state65 { } ActFunction { mlp.statelO { sei tanh 95 ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter { 0.5 } ptanh { } parameter { 0.5 } 100 ptanh { } parameter { 0.5 } pid { } parameter { 0.5 } pid { parameter { 0.5 }
105
Norm { NoNorm } } } Norm NoNorm mlp.state54 { ActFunction { mlp.stateOl { sei tanh 110 ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter 0.5 } ptanh { parameter { 0.5 } 115 ptanh { } parameter { 0.5 pid { } parameter { 0.5 } p d { } parameter { 0.5 } 120
Norm { NoNorm } } Norm { NoNorm } mlp.state43 { } ActFunction { mlp.statel2 { sei tanh 125 ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter { 0.5 } ptanh { } parameter { 0.5 } 130 ptanh { } parameter { 0.5 } pid { } parameter { 0.5 } p d { } parameter { 0.5 } } 135 }
Norm { NoNorm } } } Norm { NoNorm } mlp.state32 { } ActFunction { mlp.state23 { sei tanh 140 ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter { 0.5 } ptanh { } parameter { 0.5 } 145 ptanh { } parameter { 0.5 } pid { 1 parameter { 0.5 } pid { parameter { 0. 5 } 75 MinWeight { 0 } } LoadWeightsLocal {
Norm { NoNorm } Filename { std }
} } mlp.state34 { 80 SaveWeightsLocal { ActFunction { Filename { std } sei tanh } plogistic { Alive { T } parameter { 0.5 } WtFreeze { F } } 85 AllowPruning { F } ptanh { EtaModifier { 1 } parameter { 0.5 } Penalty { NoPenalty } } } pid { mlp. futurel->futurel_target { parameter { 0.5 } 90 LoadWeightsLocal {
Filename { std } }
Norm { NoNorm } SaveWeightsLocal { } Filename { std } mlp.state45 { 95 } ActFunction { Alive { F } sei tanh WtFreeze { F } plogistic { AllowPruning { F } parameter { 0.5 } EtaModifier { 1 }
1 100 Penalty { NoPenalty } ptanh { } parameter { 0.5 } mlp.bιas->futurel_target { } LoadWeightsLocal { pid { Filename { std } parameter { 0.5 } 105 } } SaveWeightsLocal { } Filename { std }
Norm { NoNorm } } } Alive { F } mlp.stateδδ { 110 WtFreeze { F } ActFunction { AllowPruning { F } sei tanh EtaModifier { 1 } plogistic { Penalty { NoPenalty } parameter { 0.5 } } } 115 mlp. uture2->future2_target { ptanh { LoadWeightsLocal { parameter { 0.5 } Filename { std } } } pid { SaveWeightsLocal { parameter { 0.5 } 120 Filename { std } }
Alive { F }
Norm { NoNorm } WtFreeze { F } } AllowPrumng { F } } 125 EtaModifier { 1 } Connectors { Penalty { NoPenalty } mlp. auto_zero->autoassoc } WeightWatcher { mlp.bιas->future2_target { Active { F } LoadWeightsLocal { MaxWeight { 1 } 130 Filename { std } MinWeight { 0 } } } SaveWeightsLocal {
LoadWeightsLocal { Filename { std } Filename { std } } } 135 Alive { F }
SaveWeightsLocal { WtFreeze { F } Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } 140 } AllowPruning { F } mlp. future3->future3_target { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp.bιas->autoassoc { 145 SaveWeightsLocal { WeightWatcher { Filename { std } Active { F } } MaxWeight { 1 } Alive { F } WtFreeze { F } 75 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.bιas->future3_target { 80 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->future6_target {
Filename { std } 85 LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 90 } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp. future4->future4_target { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 95 Penalty { NoPenalty } } } SaveWeightsLocal { mlp . ιnput0_auto->auto_zero
Filename { std } WeightWatcher { } Active { F }
Alive { F } 100 MaxWeight { 1 } WtFreeze { F } MinWeight { 0 } AllowPruning { F } } EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } 105 } mlp.bιas->future4_target { SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } Alive { T } SaveWeightsLocal { 110 WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { F } Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } 115 mlp.bιas->auto_zero { EtaModifier { 1 } WeightWatcher { Penalty { NoPenalty } Active { F } } MaxWeight { 1 } mlp. future5->future5_target { MinWeight { 0 } LoadWeightsLocal { 120 }
Filename { std } LoadWeightsLocal { } Filename { std } SaveWeightsLocal { }
Filename { std } SaveWeightsLocal { } 125 Filename { std }
Alive { F } } WtFreeze { F } Alive { T } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } AllowPrumng { F } Penalty { NoPenalty } 130 EtaModifier { 1 } } Penalty { NoPenalty } mlp.bιas->future5_target { } LoadWeightsLocal { mlp. ιnput6->pastδ {
Filename { std } LoadWeightsLocal { } 135 Filename { std } SaveWeightsLocal { }
Filename { std } SaveWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } 140 Alive { F } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } Penalty { NoPenalty } mlp. futureδ->future6_target { 145 } LoadWeightsLocal { mlp.bιas->past6 {
Filename { std } LoadWeightsLocal {
Filename { std } 75 Alive { F }
SaveWeightsLocal { WtFreeze { F } Filename { std } AllowPrumng { F }
} EtaModifier { 1 }
Alive { F } Penalty { NoPenalty }
WtFreeze { F } 80 }
AllowPruning { F } mlp.bιas->past4 {
EtaModifier { 1 } LoadWeightsLocal {
Penalty { NoPenalty } Filename { std } } } mlp.mput5->past5 { 85 SaveWeightsLocal {
LoadWeightsLocal { Filename { std } Filename { std } }
} Alive { F }
SaveWeightsLocal { WtFreeze { F } Filename { std } 90 AllowPruning { F }
} EtaModifier { 1 }
Alive { F } Penalty { NoPenalty }
WtFreeze { F } }
AllowPruning { F } mlp. mput3->past3 {
EtaModifier { 1 } 95 LoadWeightsLocal {
Penalty { NoPenalty } Filename { std } } } mlp.state65->past5 { SaveWeightsLocal {
WeightWatcher { Filename { std } Active { F } 100 } MaxWeight { 1 } Alive { F } MinWeight { 0 } WtFreeze { F }
} AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } 105 Penalty { NoPenalty }
SaveWeightsLocal { mlp.state43->past3 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } 110 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } 115 WtFreeze { F } mlp.bιas->past5 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } SaveWeightsLocal { 120 mlp.bιas->past3 {
Filename { std } LoadWeightsLocal { } Filename { std )
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 125 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.mput4->past4 { AllowPruning { F } LoadWeightsLocal { 130 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty
SaveWeightsLocal { mlp. mput2->past2 { Filename { std } LoadWeightsLocal {
} 135 Filename { std }
Alive { F } }
WtFreeze { F } SaveWeightsLocal {
AllowPruning { F } Filename { std }
EtaModifier { 1 } }
Penalty { NoPenalty 140 Alive { F } } WtFreeze { F } mlp.state54->past4 { AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} 145 }
SaveWeightsLocal { mlp.state32->past2 { Filename { std } LoadWeightsLocal {
Filename { std } 75 }
SaveWeightsLocal { mlp.statelO->present {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } 80 SaveWeightsLocal { AllowPruning { F } Filename std EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.bιas->past2 { 85 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->present {
Filename { std } 90 LoadWeightsLocal { 1 Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 95 } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.mputl->pastl { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 100 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.state01->futurel {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } 105 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } 110 WtFreeze { F } mlp. state21->pastl { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 115 mlp.bιas->futurel {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 120 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.bιas->pastl { AllowPruning { F } LoadWeightsLocal { 125 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.statel2->future2 {
Filename { std } LoadWeightsLocal { } 130 Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 135 Alive { F } } WtFreeze { F } mlp mput0->present { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 140 } SaveWeightsLocal { mlp.bιas->future2 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } 145 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } WtFreeze { F } 75 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp. state23->future3 { 80 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.state56->future6 {
Filename { std } 85 LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 90 } Penalty { NoPenalty } Alive { F }
} WtFreeze { F } mlp.bιas->future3 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 95 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->futureδ {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } 100 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } 105 WtFreeze { F } mlp. state34->future4 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 110 mlp.external6->state65 j
Filename { std } WeightWatcher { } Active { F }
Alive { F } MaxWeight { 1 } WtFreeze { F } MinWeight { 0 } AllowPruning { F } 115 } EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp.bιas->future4 { SaveWeightsLocal { LoadWeightsLocal { 120 Filename { std }
Filename { std } } ) Alive { F } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } 125 EtaModifier { 1 }
Alive { F } Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } mlp.past6->state65 { EtaModifier { 1 } WeightWatcher { Penalty { NoPenalty } 130 Active { F } } MaxWeight { 1 } mlp. state45->future5 { MinWeight { 0 } LoadWeightsLocal { }
Filename { std } LoadWeightsLocal { } 135 Filename { std } SaveWeightsLocal { }
Filename { std } SaveWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } 140 Alive { F } AllowPrumng { F } WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } Penalty { NoPenalty } mlp.bιas->future5 { 145 } LoadWeightsLocal { mlp.external5->state54 (
Filename { std } LoadWeightsLocal {
Filename { std } 75 Alive { F }
SaveWeightsLocal { WtFreeze { F } Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { F } Penalty { NoPenalty } WtFreeze { F } 80 } AllowPruning { F } mlp.external3->state32 { EtaModifier { 1 } LoadWeightsLocal ( Penalty { NoPenalty } Filename { std } } } mlp.past5->state54 { 85 SaveWeightsLocal { LoadWeightsLocal { Filename { std } Filename { std } } } Alive { F }
SaveWeightsLocal { WtFreeze { F } Filename { std } 90 AllowPruning { F } } EtaModifier { 1 }
Alive { F } Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } mlp.past3->state32 { EtaModifier { 1 } 95 LoadWeightsLocal { Penalty { NoPenalty } Filename { std } mlp. state65->state54 SaveWeightsLocal { WeightWatcher { Filename { std } Active { F } 100 } MaxWeight { 1 } Alive { F } MinWeight { 0 } WtFreeze { F } } AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } 105 Penalty { NoPenalty
SaveWeightsLocal { mlp.state43->state32 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } 110 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } 115 WtFreeze { F } mlp. external4->state43 • AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 120 mlp.external2->state21 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 125 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.past4->state43 { AllowPruning { F } LoadWeightsLocal { 130 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty }
SaveWeightsLocal { mlp.past2->state21 { Filename { std } LoadWeightsLocal {
} 135 Filename { std }
Alive { F } }
WtFreeze { F } SaveWeightsLocal {
AllowPruning { F } Filename { std }
EtaModifier { 1 } }
Penalty { NoPenalty ] 140 Alive { F } } WtFreeze { F } mlp. state54->state43 { AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty
} 145 }
SaveWeightsLocal { mlp.state32->state21 { Filename { std } LoadWeightsLocal {
Filename { std } 75
SaveWeightsLocal { mlp.statel0->state01 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } 80 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.externall->statelO { 85 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.state01->statel2 {
Filename { std } 90 LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 95 } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.pastl->statelO { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 100 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.statel2->state23 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } 105 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F }
} 110 WtFreeze { F } mlp.state21->statel0 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 115 mlp.state23->state34 {
Filename { std } LoadWeightsLocal {
} Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal ( AllowPruning { F } 120 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F }
} WtFreeze { F } mlp.external0->state01 { AllowPrumng { F ) LoadWeightsLocal { 125 EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
SaveWeightsLocal { mlp.state34->state45 { Filename { std } LoadWeightsLocal { } 130 Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 135 Alive { F } } WtFreeze { F } mlp.present->state01 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } 140 }
SaveWeightsLocal { mlp. state45->state56 { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } 145 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive F } WtFreeze { F } INPUT mput3; AllowPruning { F } INPUT mput4; EtaModifier { 1 } INPUT mput5; Penalty { NoPenalty INPUT mputδ;
75
EXTERN extern65;
AnySave { EXTERN extern54; file name { f.CCMenu.dat } EXTERN extern43;
} EXTERN extern32;
AnyLoad { 80 EXTERN extern21; file name { f.CCMenu.dat } EXTERN externlO;
} } TestRun { AUTO output_auto;
Filename { Test } 85
Part. Transformed { F } AUTO fmal6; } AUTO inal5; Online { AUTO fmal4;
Filename { Onlme.dat } AUTO fmal3;
90 AUTO fmal2;
AUTO finall;
ZERO bottleneck;
95 ZERO future 6;
Teil 4: ZERO futureδ;
ZERO future4;
ZERO future3; net { ZERO future2; const nr STATE = 6; 100 ZERO futurel;
ZERO present;
ZERO pastl; cluster INPUT ( EQUIVALENT, ZERO past2;
IN ); ZERO past3; cluster EXTERN ( EQUIVALENT, 105 ZERO past4;
IN ); ZERO past5; cluster STATE ( EQUIVALENT, ZERO pastβ;
DIM(nr_ _STATE ) , HID ); cluster BACK ( EQUIVALENT, STATE stateδδ;
DIMfnr^ _STATE ) , HID ); 110 STATE state54 ; cluster ZERO ( EQUIVALENT, STATE state43;
OUT ) ; STATE state32; cluster AUTO ( EQUIVALENT, STATE state21;
OUT ) ; STATE statelO;
115 STATE stateOl; connect STATE_STATE ( STATE -> STATE statel2;
STATE ; // A STATE state23; connect ZERO STATE ( ZERO -> STATE state34;
STATE ; // B STATE state45; connect STATE_ZERO ( STATE -> 120 STATE state56;
ZERO ; // C connect INPUT_ZERO ( INPUT -> BACK back65;
ZERO ; // D BACK back54 connect ZERO_AUTO ( ZERO -> BACK back43
AUTO ; // E 125 BACK back32 connect EXTERN_STATE ( EXTERN -> BACK back21
STATE ; // E BACK backlO connect BIAS_ZERO ( blas ->
ZERO ; //- connect BIAS_AUTO ( blas -> 130
AUTO ; connect BACK_BACK ( BACK -> connect ( mput_auto -> bottleneck
BACK ; // F , INPUT_ZERO) ; // D connect BACK_ZERO ( BACK -> connect ( bottleneck -> out-
ZERO ; // G 135 put_auto, ZERO_AUTO ); // E connect ZERO_BACK ( ZERO ->
BACK ; // H connect ( blas -> bottleneck , BIAS_ZERO ) ; connect ( blas -> out-
INPUT mput_auto; 140 put_auto, BIAS AUTO );
INPUT mputO; //-
INPUT inputl ;
INPUT mput2 ; 75 connect inputδ -> past6
INPUT_ZERO ) ; // D connect stateOl -> statel2 , connect input5 -> pastδ STATE_STATE ); // A
INPUT_ZERO ) ; // D connect stateOl -> futurel , connect input4 -> past4 80 STATE_ZERO ) ; // C
INPUT_ZERO ) ; // D connect futurel -> finall , connect input3 -> past3 ZERO_AUTO ) ; // E
INPUT_ZERO ) ; // D connect input2 -> past2 connect statel2 -> state23 ,
INPUT_ZERO ) ; // D 85 STATE_ΞTATE ) ; // A connect inputl -> pastl connect statel2 -> future2 ,
INPUT_ZERO ) ; // D STATE_ZERO ) ; // C connect inputO -> present connect future2 -> final2 ,
INPUT_ZERO ) ; // D ZERO_AUTO ) ; // E
90 connect externδδ -> state65 connect state23 -> state34 ,
EXTERN_STATE ) ; STATE_STATE ) ; // A connect extern54 -> state54 connect state23 -> future3 ,
EXTERN_STATE ) ; STATE_ZERO ) ; // C connect extern43 -> state43 95 connect future3 -> final3 ,
EXTERN_STATE ) ; ZERO_AUTO ) ; // E connect extern32 -> state32
EXTERN_STATE ) ; connect state34 -> state45 , connect extern21 -> state21 STATE_STATE ) ; // A
EXTERN_ΞTATE ) ; - 100 connect state34 -> future4 , connect externlO -> statelO ΞTATE_ZERO ) ; // C
EXTERN_STATE ) ; connect future4 -> final4 ,
ZERO_AUTO ) ; // E connect pastδ -> state65 105 connect state45 -> state56 ,
ZERO_STATE ) ; // B STATE_ΞTATE ) ; // A connect state45 -> futureδ , connect state65 -> pastδ STATE_ZERO ) ; // C
ΞTATE_ZERO ) ; // C connect futureδ -> finalδ , connect past5 -> state54 110 ZERO_AUTO ) ; // E
ZERO_STATE ) ; // B connect stateδδ -> state54 connect state56 -> futureδ ,
STATE_ΞTATE ) ; // A STATE_ZERO ) ; // C connect futureδ -> finalδ , connect state54 -> past4 115 ZERO_AUTO ) ; // E
STATE_ZERO ) ; // C connect past4 -> state43
ZERO_STATE ) ; // B connect blas -> pastδ , connect state54 -> state43 BIAS_ZERO ) ;
STATE_STATE ) ; // A 120 connect bias -> past5 , BIAS_ZERO ) ; connect state43 -> past3 connect blas -> past4 ,
STATE_ZERO ) ; // C BIAS_ZERO ) ; connect past3 -> state32 connect bias -> past3 , ZERO_STATE ) ; // B 125 BIAS_ZERO ) ; connect state43 -> state32 connect bias -> past2 ,
STATE_STATE ) ; // A BIAS_ZERO ) ; connect bias -> pastl , connect state32 -> past2 BIAS_ZERO ) ;
STATE_ZERO ) ; // C 130 connect bias -> present , connect past2 -> state21 BIAS_ZERO ) ;
ZERO_STATE ) ; // B connect bias -> futurel , connect state32 -> state21 BIAS_ZERO ) ;
ΞTATE_STATE ) ; // A connect bias -> future2 ,
135 BIAΞ_ZERO ) ; connect state21 -> pastl connect bias -> future3 ,
STATE_ZERO ) ; // C BIAS_ZERO ) ; connect pastl -> statelO connect bias -> future4 ,
ZERO_STATE ) ; // B BIAS_ZERO ) ; connect state21 -> statelO 140 connect bias -> futureδ ,
STATE_STATE ) ; // A BIAS_ZERO ) ; connect bias -> futureδ , connect statelO -> present BIAS_ZERO ) ;
STATE_ZERO ) ; // C connect present -> stateOl 145 connect bias -> finall ,
ZERO_STATE ) ; // B BIAS_AUTO ) ; connect statelO -> stateOl connect bias -> final2 ,
STATE_ΞTATE ) ; // A BIAS AUTO ) ; connect bias -> final3 , AdaptTime { 10 }
BIAS_AUTO ) ; EpsObj { 0.001 } connect bias -> final4 , ObjSet { Training }
BIAS_AUTO ); 75 EpsilonFac { 1 } connect bias -> finalδ , }
BIAS_AUTO ); • ExtWtDecay { connect bias -> finalδ , Lambda { 0.001 }
BIAS_AUTO ) ; AutoAdapt { F }
80 AdaptTime { 10 } EpsObj { 0.001 } connect present -> backlO , ObjSet { Training }
ZERO_BACK ); // H EpsilonFac { 1 } } connect backlO -> pastl , 85 Finnoff {
BACK_ZERO ) ; / / G AutoAdapt { T } connect pastl -> back21 , Lambda { 0 }
ZERO_BACK ); // H DeltaLambda { le-06 } connect backlO -> back21 , ReducFac { 0.9 }
BACK_BACK ) ; / / F 90 Gamma { 0.9 } DesiredError { 0 } connect back21 -> past2 , }
BACK_ZERO ); // G } connect past2 -> back32 , ErrorFunc {
ZERO_BACK ); // H 95 sei LnCosh connect back21 -> back32 , Ixl {
BACK_BACK J"; I I F parameter { 0.05 } } connect back32 -> past3 , LnCosh {
BACK_ZERO ); // G 100 parameter { 2 } connect 1 past3 -> back43 , }
ZERO_BACK ); // H parametricalEntropy { connect 1 back32 -> back43 , parameter { le-06 }
BACK_BACK ); // F }
105 } connect 1 back43 -> past4 , AnySave {
BACK_ZERO ); // G file name { f.Globals.dat } connect i past4 -> back54 , }
ZERO_BACK ); // H AnyLoad { connect 1 back43 -> back54 , 110 file name { f.Globals.dat }
BACK_BACK ); // F }
ASCII { T } connect ( back54 -> pastδ , }
BACK_ZERO ); // G LearnCtrl { connect ( past5 -> back65 , 115 sei Stochastic
ZERO_BACK ); // H Stochastic { connect ( back54 -> back65 , PatternSelection {
BACK_BACK ); // F sei Permute ExpRandom { connect ( back65 -> pastδ , 120 Lambda { 2 }
BACK_ZERO ); // G }
} mlp; Segmentation {
OutputNode { -1 } ExpectedCutOff { 0.5 }
125 PercentageForGroupB { 0.2 } }
Teil 5 : WtPruneCtrl { PruneSchedule {
BpNet { 130 sei FixSchedule
Globals { FixSchedule { WtPenalty { Limit_0 { 10 } sei NoPenalty Limit_l { 10 } Weigend { Limit_2 { 10 }
Lambda { 0 } 135 Limit_3 { 10 ) AutoAdapt { T } RepeatLast { T } wO { 1 } }
DeltaLambda { le-06 DynSchedule { ReducFac { 0.9 } MaxLength { 4 } Gamma { 0.9 } 140 MinimumRuns { 0 } DesiredError { 0 } Training { F } } Validation { T } WtDecay { Generalization { F }
Lambda { 0.005 } } AutoAdapt { F } 145 DivΞchedule { Divergence { 0.1 } 75 VarioEta { MinEpochs { 5 } MinCalls { 50 } } MomentumBackProp {
PruneAlg { Alpha { 0.05 } sei FixPrune 80 }
FixPrune { Quickprop {
Perc_0 { 0. .1 } Decay { 0.05 }
Perc_l { 0. .1 } Mu { 2 }
Perc_2 { 0. .1 } }
Perc_3 { 0. .1 } 85 } AnySave {
EpsiPrune { file name { f.Stochastic.dat }
DeltaEps { 0. 05 }
StartEps { 0. ,05 AnyLoad {
MaxEps { 1 } 90 fιle_name { f.Stochastic.dat }
ReuseEps { F } }
} BatchSize { 15 }
1 Eta { 0.005 }
Tracer { DerivEps { 0 }
Active { F } 95 }
Set { Validation TrueBatch {
File { trace } PatternSelection { sei Sequential
Active { F } ExpRandom { Randomize { 0 } 100 Lambda { 2 } PruningSet { Train. +Valιd. } } Method { S-Prumng } Segmentation { } OutputNode { -1 }
StopControl { ExpectedCutOff { 0.5 } EpochLimit { 105 PercentageForGroupB { 0.2 } Active { T } MaxEpoch { 10000 }
} WtPruneCtrl { MovingExpAverage { Tracer {
Active { F } 110 Active { F }
MaxLength { 4 } Set { Validation }
Training { F } File { trace }
Validation { T } }
Generalization { F } Active { F }
Decay { 0.9 } 115 Randomize { 0 }
} PruningSet { Train. +Valιd. }
CheckOb]ectιveFct { Method { Ξ-Prumng } Active { F } } MaxLength { 4 } EtaCtrl { Training { F } 120 Active { F } Validation { T } } Generalization { F } LearnAlgo { } sei VarioEta
CheckDelta { VarioEta { Active { F } 125 MinCalls { 200 } Divergence { 0.1 } } } MomentumBackProp { } Alpha { 0.05 }
EtaCtrl { } Mode { 130 Quickprop { sei EtaSchedule Decay { 0.05 } EtaSchedule { Mu { 2 }
SwitchTime { 10 } 1 ReductFactor { 0.95 } }
} 135 AnySave {
FuzzCtrl { fιle_name { f.TrueBatch.dat ]
MaxDeltaOb] { 0.3 } } MaxDelta20b] { 0.3 } AnyLoad { MaxEtaChange 0. 02 file name { f.TrueBatch.dat ] MinEta { 0.001 140 } MaxEta { 0.1 } Eta { 0.05 } Ξmoother { 1 } DerivEps { 0 } } LmeSearch {
Active { F } 145 PatternSelection {
} sei Sequential
LearnAlgo { ExpRandom { sei VarioEta Lambda { 2 } } 75 sei HillClimberControl
Segmentation { HillClimberControl {
OutputNode { -1 } %InιtιalAlιve { 0.95 } ExpectedCutOff { 0.5 } InheritWeights { T } PercentageForGroupB { 0.2 Beta { 0.1 } 80 MutationType { DistπbutedMac- roMutation }
WtPruneCtrl { MaxTrials { 50 } Tracer {
Active { F } PBILControl {
Set { Validation } 85 %ImtιalAlιve { 0. 95 }
File { trace } InheritWeights { T } } Beta { 0.1 }
Active { F } Alpha { 0.1 } Randomize { 0 } PopulationSize { 40 } PruningSet { Tram.+Valid. } 90 } Method { Ξ-Prumng } PopulationControl { } pCrossover { 1 }
LearnAlgo { CrossoverType { SimpleCrosso- sei Con] Gradient ver } VarioEta { 95 Scalmg { T }
MinCalls { 200 } ScalmgFactor { 2 } } Sharing { T } MomentumBackProp { ΞharmgFactor { 0.05 }
Alpha { 0.05 } PopulationSize { 50 } } - 100 mm. %ImtιalAlιve { 0.01 } Quickprop { max. ImtιalAlιve { 0.1 }
Decay { 0.05 }
Mu { 2 } } pMutation { 0 } Low-Memory-BFGS { 105 }
Limit { 2 } Ob]ectιveFunctιonWeιghts { } %Alιve { 0.6 }
E(TS) { 0.2 }
AnySave { Improvement (TΞ) { 0 } file name f.LineSearch.dat 110 E(VΞ) { 1 }
} Improvement (VS) { 0 }
AnyLoad { (E(TS)-E(VS) )/max(E(TS),E(VS) ) { 0 file name f. LineSearch.dat }
LipComplexity { 0 }
EtaNull { 1 } 115 OptComplexity { 2 } MaxSteps { 10 } testVal (dead) -testVal (alive) { 0 } LS_Precιsιon { 0.5 } } TrustRegion { T } AnySave { DerivEps { 0 } fιle_name { BatchSize { 2147483647 } 120 f.GeneticWeightSelect.dat } } }
GeneticWeightSelect { AnyLoad { PatternSelection { file name { sei Sequential f.GeneticWeightSelect.dat } ExpRandom { 125 }
Lambda { 2 } Eta { 0.05 } ) DerivEps { 0 } Segmentation { BatchSize { 5 }
OutputNode { -1 } #mmEpochsForFιtnessTeεt { 2 } ExpectedCutOff { 0.5 } 130 SmaxEpochsForFitnessTest { 3 } PercentageForGroupB { 0.2 ΞelectWeights { T } } SelectNodes { T } } maxGrowthOfValError { 0.005 }
LearnAlgo { sei VarioEta 135 VarioEta { CCMenu {
MinCalls { 200 } Clusters { } mlp. ιnput_auto { MomentumBackProp { ActFunction {
Alpha { 0.05 } 140 sei id } plogistic { } parameter { 0.5
Ob]FctTracer { } Active { F } ptanh { File { ob] Func } 145 parameter { 0.5 }
SearchControl { pid { ΞearchStrategy { parameter 0.5 } 75 LoadNoiseLevel {
Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } 80 } DampmgFactor { 1 } LoadMampulatorData { } Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } 85 } } mlp.inputl {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { } 90 parameter { 0.5 } } }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } }
} 95 pid {
} parameter { 0.5 } }
SaveNoiseLevel { }
Filename { noise_level.dat } InputModification { } - 100 sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise__level.dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } 105 AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } } } FixedUmformNoise {
Norm { NoNorm } 110 SetNoiseLevel { } NewNoiseLevel { 0 } mlp.mputO { } ActFunction { } sei id FixedGaussNoise { plogistic { 115 SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 } } } ptanh { parameter { 0.5 } } 120 SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { 125 } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } 130 Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } mlp.ιnput2 {
FixedUmformNoise { 135 ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { parameter { 0.5 } }
FixedGaussNoise { 140 ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } } pid { parameter { 0.5 }
145 }
SaveNoiseLevel { }
Filename { noise level.dat InputModification { sei None AdaptiveUniformNoise { 75 Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData {
} Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } 80 Norm { NoNorm } DampmgFactor { 1 } }
} mlp. mput4 {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 ] 85 plogistic { parameter { 0.5 } }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 90 }
} pid {
} parameter { 0.5 } }
SaveNoiseLevel { 1
Filename { noise_level.dat [ 95 InputModification {
} sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat ' NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { 100 }
Filename { inputMamp.dat } AdaptiveGaussNoise {
} NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } } } 105 FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp.ιnput3 { } ActFunction { } sei ld 110 FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 }
} } ptanh { parameter { 0.5 } 115 } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } } LoadNoiseLevel {
120 Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } 125 LoadMampulatorData { } Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm ) DampmgFactor { 1 } } } 130 mlp.inputδ {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { } parameter { 0.5 } } 135 }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } }
} pid {
} 140 parameter { 0.5 } }
SaveNoiseLevel { }
Filename { noise_level.dat } InputModification { } sei None LoadNoiseLevel { 145 AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { AdaptiveGaussNoise { 75
NoiseEta { 1 } Norm { NoNorm }
DampmgFactor { 1 } } } mlp.extern65 { FixedUmformNoise { ActFunction {
SetNoiseLevel { 80 sei ld
NewNoiseLevel { 0 } plogistic {
} parameter { 0.5 } } } FixedGaussNoise { ptanh {
SetNoiseLevel { 85 parameter { 0.5 }
NewNoiseLevel { 0 } } pid { parameter { 0.5 } }
SaveNoiseLevel { 90 }
Filename { noise_level.dat } InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } 95 DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { mputManip.dat } 100 } } FixedUmformNoise { Norm { NoNorm } SetNoiseLevel {
NewNoiseLevel { 0 ] mlp. mput6 { } ActFunction { 105 } sei id FixedGaussNoise { plogistic { SetNoiseLevel { parameter 0.5 } NewNoiseLevel { 0 ] ptanh { 110 } parameter 0.5 } SaveNoiseLevel { pid { Filename { noise_level.dat parameter 0.5 } }
115 LoadNoiseLevel {
Filename { noise_level.dat
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } 120 } DampmgFactor { 1 } LoadMampulatorData { } Filename { inputMamp.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } 125 } } mlp.extern54 {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { } 130 parameter { 0.5 } } }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } } } 135 pid { parameter { 0.5 } }
SaveNoiseLevel { }
Filename { noise_level.dat } InputModification { } 140 sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } 145 AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Tilename { inputMamp.dat } } FixedUmformNoise { 75 ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { } parameter { 0.5 } }
FixedGaussNoise { 80 ptanh { SetNoiseLevel { parameter 0.5 }
NewNoiseLevel { 0 } pid { parameter { 0.5 }
85 }
SaveNoiseLevel { }
Filename { noise_level.dat } InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } 90 NoiseEta { 1 }
} DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } AdaptiveGaussNoise {
} NoiseEta { 1 } LoadMampulatorData { 95 DampmgFactor { 1 }
Filename { inputMamp.dat } } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp.extern43 { 100 } ActFunction { } sei id FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 } } 105 ptanh { } parameter { 0.5 } } SaveNoiseLevel { pid { Filename { noise_level . dat ] parameter { 0.5 } 110 } } LoadNoiseLevel { } Filename { noise_level . dat ]
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { 115 Filename { inputMamp . dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } Filename { mputManip .dat }
AdaptiveGaussNoise { } NoiseEta { 1 } 120 Norm { NoNorm } DampmgFactor { 1 } } } mlp.extern21 {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei ld
NewNoiseLevel { 0 } 125 plogistic { } parameter { 0.5 } } }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } 130
} pid {
} parameter { 0.5
SaveNoiseLevel {
Filename { noise_level.dat } 135 InputModification { } sei None LoadNoiseLevel { AdaptiveUni ormNoise
Filename { noise_level.dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { 140 }
Filename { inputMamp.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } } } 145 FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { C mlp.extern32 { 75
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 NewNoiseLevel { 0 pid
80 parameter 0.5 }
SaveNoiseLevel { }
Filename { noise_level.dat } ErrorFunc { } sei LnCosh LoadNoiseLevel { 85 Ixl {
Filename { noise_level.dat } parameter { 0.05 } } } SaveManipulatorData { LnCosh {
Filename { inputMamp.dat } parameter { 2 } } 90 } LoadMampulatorData { parametricalEntropy {
Filename { mputManip.dat } parameter { le-06 } } }
Norm { NoNorm } } } 95 Norm { NoNorm } mlp.externlO { ToleranceFlag { F } ActFunction { Tolerance { 0 0 0 0 0 0 0 0 0 0 } sei id Weightmg { 1 1 1 1 1 1 1 1 1 1 } plogistic { } parameter { 0.5 } X00 mlp. finalδ { } ActFunction { ptanh { sei id parameter { 0.5 } plogistic { } parameter { 0.5 } pid { 105 } parameter { 0.5 } ptanh { parameter { 0.5 } }
InputModification { pid { sei None 110 parameter { 0.5 } AdaptiveUniformNoise { } NoiseEta { 1 } DampmgFactor { 1 } ErrorFunc { } sei LnCosh
AdaptiveGaussNoise { 115 Ixl { NoiseEta { 1 } parameter 0.05 DampmgFactor { 1 } } LnCosh {
FixedUmformNoise { parameter 2 } SetNoiseLevel { 120 }
NewNoiseLevel { 0 } parametricalEntropy { parameter { le-06 } }
FixedGaussNoise { SetNoiseLevel { 125 Norm { NoNorm }
NewNoiseLevel { 0 ToleranceFlag { F }
Tolerance { 0 0 0 0 0 0 0 0 0 0
} Weightmg { 1 1 1 1 1 1 1 1 1 1 l
SaveNoiseLevel { 130 mlp.fmal5 {
Filename { noise_level.dat ] ActFunction { } sei id LoadNoiseLevel { plogistic {
Filename { noise_level.dat ] parameter { 0. ,5 } } 135 SaveManipulatorData { ptanh {
Filename { inputMamp.dat } parameter 0.5 } } } LoadMampulatorData { pid {
Filename { mputManip.dat } 140 parameter 0.5 } }
Norm { NoNorm } } ErrorFunc { mlp.output_auto { sei LnCosh ActFunction { 145 Ixl { sei ld parameter { 0.05 plogistic { } parameter { 0.5 } LnCosh { parameter { 2 } 75 plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } parameter { 0.5 } } 80 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weightmg { 1 1 1 1 1 1 1 1 1 1 } } 85 ErrorFunc { mlp.fιnal4 { sei LnCosh ActFunction { Ixl { sei id parameter { 0.05 } plogistic { } parameter { 0.5 } 90 LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { parameter { le-06 } pid { 95 } parameter 0.5 }
Norm { NoNorm }
} ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 0 0 0 0 0 sei LnCosh 100 Weightmg { 1 1 1 1 1 1 1 1 1 1 Ixl { } parameter { 0.05 } mlp. finall { } ActFunction { LnCosh { sei id parameter { 2 } 105 plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } parameter { 0.5 } } 110 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 Weighting { 1 1 1 1 1 1 1 1 1 1
115 ErrorFunc { mlp.fιnal3 { sei LnCosh
ActFunction { Ixl { sei id parameter { 0.05 } plogistic { } parameter { 0. .5 } 120 LnCosh { l parameter { 2 } ptanh { } parameter { 0, .5 } parametricalEntropy { parameter { le-06 } pid { 125 parameter { 0. .5 } } Norm { NoNorm }
} ToleranceFlag { F } ErrorFunc { Tolerance { 0 0 0 0 0 0 0 0 0 0 sei LnCosh 130 Weightmg { 1 1 1 1 1 1 1 1 1 1
Ix] { } parameter { 0. 05 mlp. bottleneck { t ActFunction { LnCosh { sei tanh parameter { 2 } 135 plogistic { parameter { 0.5 } parametricalEntropy } parameter { le-06 ptanh { parameter { 0.5 }
140 }
Norm { NoNorm } pid { ToleranceFlag { parameter { 0.5 }
Tolerance { 0 0 } Weightmg { 1 1 }
} 145 ErrorFunc { mlp.fιnal2 { sei none ActFunction Ixl { sei id parameter { 0.05 } 75 ActFunction {
LnCosh { sei tanh parameter { 2 } plogistic { } Parameter { 0.5 } parametricalEntropy { } parameter { le-06 } 80 ptanh { parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 }
Tolerance { 0 0 0 } 85 }
Weighting { 1 1 1 } }
ErrorFunc { mlp. futureδ { sei none
ActFunction { Ixl { sei tanh 90 Parameter { 0.05 } plogistic { } parameter { 0. ,5 LnCosh {
1 parameter { 2 } ptanh { } parameter { 0. ,5 95 parametricalEntropy {
) parameter { le-06 } pid { } parameter { 0. ,5 } } Norm { NoNorm }
} ~ 100 ToleranceFlag { F } ErrorFunc { Tolerance { 0 0 0 } sei none Weightmg { 1 1 1 }
Ixl { } parameter { 0. .05 mlp.future3 {
105 ActFunction {
LnCosh { sei tanh parameter { 2 } plogistic { parameter { 0.5 } parametricalEntropy { } parameter { le-06 } 110 ptanh { parameter { 0.5 } }
Norm { NoNorm pid {
ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } 115 } Weightmg { 1 1 1 } }
ErrorFunc { mlp.futureδ { sei none ActFunction { Ixl { sei tanh 120 parameter { 0.05 } plogistic { } parameter { 0. 5 } LnCosh { l parameter { 2 } ptanh { } parameter { 0. ■ 5 } 125 parametricalEntropy { parameter { le-06 } pid { } parameter { 0. 5 } } } Norm { NoNorm }
1 130 ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei none Weightmg { 1 1 1 }
Ixl { } parameter { 0. 05 } mlp.future2 {
135 ActFunction {
LnCosh { sei tanh parameter { 2 } plogistic {
} parameter { 0.5 } parametricalEntropy { } parameter { le-06 } 140 ptanh { parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F parameter { 0.5 } Tolerance { 0 0 0 145 Weightmg { 1 1 1
} ErrorFunc { mlp.future4 { sei none lχ| { 75 } parameter { 0.05 } mlp.pastl { } ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } 80 parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } parameter { 0.5 } } }
Norm { NoNorm } 85 pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } } Weighting { 1 1 1 } } } ErrorFunc { mlp.futurel { 90 sei LnCosh ActFunction { Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } 95 parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } 100 } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei none Weighting { 1 1 1 } Ixl { 105 } parameter { 0.05 } mlp.past2 { } ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } 110 parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { parameter { 0.5 } }
Norm { NoNorm } 115 pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } } Weighting { 1 1 1 } } } ErrorFunc { mlp. present { 120 sei LnCosh ActFunction { Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } 125 parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { parameter { 0.5 } 130
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei LnCosh Weighting { 1 1 1 } Ixl { 135 } parameter { 0.05 } mlp.past3 { ■ } ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } 140 parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { parameter { 0.5 } }
Norm { NoNorm } 145 pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } Weighting { 1 1 1 } ErrorFunc { 75 Tolerance { 0 0 } sei LnCosh Weightmg { 1 1 } Ixl { } parameter { 0.05 } mlp.past6 { } ActFunction { LnCosh { 80 sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } 85 arameter { 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } } Weighting { 1 1 1 } 90 }
} ErrorFunc { mlp.past4 { sei LnCosh ActFunction { Ixl { sei tanh parameter { 0.05 } plogistic { 95 } parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } 100 parameter { le-06 ) pid { } parameter { 0.5 } } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { 105 Tolerance { 0 0 0 } sei LnCosh Weightmg { 1 1 1 }
Ix] { } parameter 0.05 } mlp.state65 { ActFunction {
LnCosh { 110 sei tanh parameter 2 } plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh {
115 parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } } Weighting { 1 1 1 } 120 } } Norm { NoNorm } mlp.past5 { } ActFunction { mlp.state54 { sei tanh ActFunction { plogistic { 125 sei tanh parameter { 0.5 } plogistic { parameter { 0.5 } ptanh { } parameter { 0, .5 } ptanh {
} 130 parameter { 0.5 } pid { } parameter { 0, .5 } pid {
} parameter { 0.5 } }
ErrorFunc { 135 } sei LnCosh Norm { NoNorm }
Ixl { } parameter { 0. ,05 mlp.state43 { ActFunction {
LnCosh { 140 sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh {
145 parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } 75 parameter { 0.5 }
Norm { NoNorm } } Norm { NoNorm } mlp.state32 { } ActFunction { 80 mlp.state23 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 plogistic { } parameter { 0.5 } ptanh { 85 } parameter { 0.5 ptanh { } parameter { 0.5 } pid { } parameter { 0.5 pid {
90 parameter { 0.5 } }
Norm { NoNorm } } } Norm { NoNorm } mlp.state21 { } ActFunction { 95 mlp.state34 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 plogistic { } parameter { 0.5 } ptanh { 100 } parameter { 0.5 ptanh { parameter { 0.5 } pid { } parameter 0.5 pid {
105 parameter { 0. 5 }
Norm { NoNorm } } Norm { NoNorm } mlp. statelO { } ActFunction { 110 mlp.state45 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter { 0.5 ptanh { 115 } parameter { 0.5 ) ptanh { } parameter { 0.5 id { } parameter { 0.5 } pid { } 120 parameter { 0.5 }
Norm { NoNorm } } Norm { NoNorm } mlp. stateOl { } ActFunction { 125 mlp.state56 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter { 0.5 } ptanh { 130 } parameter { 0.5 } ptanh { } parameter { 0.5 } pid { } parameter { 0.5 } pid {
135 parameter { 0.5 } }
Norm { NoNorm } } } Norm { NoNorm } mlp.statel2 { } ActFunction { 140 mlp.backδδ { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } parameter { 0.5 } ptanh { 145 } parameter { 0.5 } ptanh { } parameter { 0.5 } pid { } pid { 75 parameter 0.5 pid { } parameter { 0.5 } }
Norm { NoNorm } 80 Norm { NoNorm } mlp.back54 { } ActFunction { } sei tanh Connectors { plogistic { mlp.bottleneck->output_auto { parameter 0.5 } 85 WeightWatcher { } Active { F } ptanh { MaxWeight { 1 } parameter 0.5 MinWeight { 0 } } } pid { 90 LoadWeightsLocal { parameter 0.5 Filename { std } } SaveWeightsLocal {
Norm NoNorm Filename { std }
95 } mlp.back43 { Alive { T } ActFunction { WtFreeze { F } sei tanh AllowPruning { F } plogistic { EtaModifier { 1 } parameter 0.5 } 100 Penalty { NoPenalty } } } ptanh { mlp.bιas->output_auto { parameter 0.5 WeightWatcher { } Active { F } pid { 105 MaxWeight { 1 } parameter 0.5 MinWeight { 0 } } LoadWeightsLocal {
Norm { NoNorm Filename { std } } 110 } mlp.back32 { SaveWeightsLocal { ActFunction { Filename { std } sei tanh } plogistic { Alive { T } parameter 0.5 115 WtFreeze { F } } AllowPruning { F } ptanh { EtaModifier { 1 } parameter ■ 5 } Penalty { NoPenalty } } } pid { 120 mlp. futureδ->fιnal6 { parameter .5 } LoadWeightsLocal { } Filename { std } }
Norm NoNorm SaveWeightsLocal {
} 125 Filename ( std } mlp.back21 { } ActFunction { Alive { F } sei tanh WtFreeze { F } plogistic { AllowPrumng { F } parameter 0.5 130 EtaModifier { 1 } } Penalty { NoPenalty } ptanh { } parameter 0.5 mlp.bιas->fιnalδ { } LoadWeightsLocal { pid { 135 Filename { std } parameter 0.5 } } SaveWeightsLocal { } Filename { std }
Norm { NoNorm } } 140 Alive { F } mlp. backlO { WtFreeze { F } ActFunction { AllowPruning { F } sei tanh EtaModifier { 1 } plogistic { Penalty { NoPenalty } parameter 0.5 145 } } mlp. future5->fmal5 { ptanh { LoadWeightsLocal { parameter 0.5 Filename { std } 75
SaveWeightsLocal { mlp . future2->fmal2 { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } 80 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.bιas->fmal5 { 85 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} } SaveWeightsLocal { mlp . bιas->fmal2 {
Filename { std } 90 LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 95 } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp. future4->fmal4 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 100 Penalty { NoPenalty } } } SaveWeightsLocal { mlp. futurel->fmall {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } 105 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } 110 WtFreeze { F } mlp.bιas->fmal4 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 115 mlp. bιas->fmall {
Filename { std } LoadWeightsLocal { } Filename { std )
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 120 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp. future3->fιnal3 { AllowPruning { F } LoadWeightsLocal { 125 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp . ιnput_auto->bottleneck
Filename { std } WeightWatcher { } 130 Active { F }
Alive { F } MaxWeight { 1 } WtFreeze { F } MinWeight { 0 } AllowPruning { F } } EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } 135 Filename { std } } } mlp.bιas->fιnal3 { SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } 140 Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { F } Penalty { NoPenalty } WtFreeze { F } 145 } AllowPruning { F } mlp.bιas->bottleneck { EtaModifier { 1 } WeightWatcher { Penalty { NoPenalty } Active { F } MaxWeight { 1 } 75 Filename { std }
MinWeight { 0 } } } SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } 80 Alive { F } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPrumng { F }
} EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } 85 } AllowPruning { F } mlp.bιas->future4 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty ] Filename { std } } } mlp. state56->futureδ { 90 SaveWeightsLocal { WeightWatcher { Filename { std } Active { F } } MaxWeight { 1 } Alive { F } MinWeight { 0 } WtFreeze { F }
) 95 AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} }
SaveWeightsLocal { mlp.state23->future3 { Filename { std } 100 LoadWeightsLocal {
} Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } 105 } Penalty { NoPenalty ] Alive { F }
} WtFreeze { F } mlp.bιas->future6 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } 110 Penalty { NoPenalty }
SaveWeightsLocal { mlp.bιas->future3 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } 115 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } 120 WtFreeze { F } mlp. state45-> uture5 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 125 mlp. statel2->future2 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 130 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.bιas->future5 { AllowPruning { F } LoadWeightsLocal { 135 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->future2 {
Filename { std } LoadWeightsLocal {
} 140 Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 145 Alive { F }
} WtFreeze { F } mlp.state34->future4 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Penalty { NoPenalty } 75 Alive { F } } WtFreeze { F } mlp.state01->futurel { AllowPrumng { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} 80 }
SaveWeightsLocal { mlp.state21->pastl { Filename { std } LoadWeightsLocal {
} Filename { std }
Alive { F } }
WtFreeze { F } 85 SaveWeightsLocal {
AllowPruning { F } Filename { std }
EtaModifier { 1 } }
Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.bιas->futurel { 90 AllowPrumng { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} }
SaveWeightsLocal { mlp.bιas->pastl { Filename { std } 95 LoadWeightsLocal {
} Filename { std }
Alive { F } }
WtFreeze { F } SaveWeightsLocal {
AllowPruning { F } Filename { std }
EtaModifier { 1 } 100 }
Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp. mputO->present { AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } 105 Penalty { NoPenalty }
} }
SaveWeightsLocal { mlp.backlO->pastl { Filename { std } WeightWatcher {
} Active { F }
Alive { F } 110 MaxWeight { 1 }
WtFreeze { F } MinWeight { 0 }
AllowPruning { F } }
EtaModifier { 1 } LoadWeightsLocal {
Penalty { NoPenalty } Filename { std } } 115 } mlp. statelO->present { SaveWeightsLocal {
LoadWeightsLocal { Filename { std } Filename { std } }
} Alive { F }
SaveWeightsLocal { 120 WtFreeze { F } Filename { std } AllowPruning { F }
} EtaModifier { 1 }
Alive { F } Penalty { NoPenalty }
WtFreeze { F } }
AllowPruning { F } 125 mlp. ιnput2->past2 {
EtaModifier { 1 } LoadWeightsLocal {
Penalty { NoPenalty } Filename { std } } } mlp.bιas->present { SaveWeightsLocal {
LoadWeightsLocal { 130 Filename { std } Filename { std } }
} Alive { F }
SaveWeightsLocal { WtFreeze { F } Filename { std } AllowPruning { F }
} 135 EtaModifier { 1 }
Alive { F } Penalty { NoPenalty }
WtFreeze { F } }
AllowPruning { F } mlp.state32->past2 {
EtaModifier { 1 } LoadWeightsLocal {
Penalty { NoPenalty } 140 Filename { std } } } mlp. mputl->pastl { SaveWeightsLocal {
LoadWeightsLocal { Filename { std } Filename { std } }
} 145 Alive { F }
SaveWeightsLocal { WtFreeze { F } Filename { std } AllowPruning { F } EtaModifier { 1 } Penalty { NoPenalty } 75 Alive { F } } WtFreeze { F } mlp . bιas->past2 { AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} 80 }
SaveWeightsLocal { mlp. mput4->past4 { Filename { std } LoadWeightsLocal {
} Filename { std }
Alive { F } } WtFreeze { F } 85 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.back21->past2 { 90 AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 1 SaveWeightsLocal { mlp. state54->past4 {
Filename { std } 95 LoadWeightsLocal {
} Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } Eta"Modιfιer { 1 } 100 } Penalty { NoPenalty } Alive { F }
} WtFreeze { F } mlp. ιnput3->past3 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 105 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->past4 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } 110 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } 115 WtFreeze { F } mlp. state43->past3 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 120 mlp.back43->past4 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 125 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.bιas->past3 { AllowPruning { F } LoadWeightsLocal { 130 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp . mput5->past5 {
Filename { std } LoadWeightsLocal { } 135 Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std ) EtaModifier { 1 } } Penalty { NoPenalty } 140 Alive { F } } WtFreeze { F } mlp.back32->past3 { AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 145 } SaveWeightsLocal { mlp.state65->past5 {
Filename { std } LoadWeightsLocal {
Filename { std } ιoo
75
SaveWeightsLocal { mlp. extern65->state65 {
Filename { std } WeightWatcher { } Active { F }
Alive { F } MaxWeight { 1 } WtFreeze { F } 80 MinWeight { 0 } AllowPruning { F } } EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp.bιas->past5 { 85 SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } Alive { F } SaveWeightsLocal { WtFreeze { F }
Filename { std } 90 AllowPruning { F } } EtaModifier { 1 }
Alive { F } Penalty { NoPenalty } WtFreeze { F } } AllowPrumng { F } mlp.past6->state65 { EtaModifier { 1 } 95 WeightWatcher { Penalty { NoPenalty } Active { F } } MaxWeight { 1 } mlp.back54->past5 { MinWeight { 0 } LoadWeightsLocal { }
Filename { std } 100 LoadWeightsLocal { } Filename { std } SaveWeightsLocal { }
Filename { std } SaveWeightsLocal { } Filename { std }
Alive { F } 105 } WtFreeze { F } Alive { F } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } 110 Penalty { NoPenalty } mlp. ιnputδ->pastδ { } LoadWeightsLocal { mlp.extern54->state54 {
Filename { std } LoadWeightsLocal { } Filename { std } SaveWeightsLocal { 115 }
Filename { std } SaveWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } Alive { F } AllowPruning { F } 120 WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } Penalty { NoPenalty } mlp.bιas->pastδ { } LoadWeightsLocal { 125 mlp.past5->state54 {
Filename { std } LoadWeightsLocal { } Filename { std } SaveWeightsLocal { 1
Filename { std } SaveWeightsLocal { } 130 Filename { std }
Alive { F } } WtFreeze { F } Alive { F } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } 135 EtaModifier { 1 } } Penalty { NoPenalty } mlp.back65->pastδ { } LoadWeightsLocal { mlp. state65->state54 {
Filename { std } WeightWatcher { } 140 Active { F } SaveWeightsLocal { MaxWeight { 1 }
Filename { std } MinWeight { 0 } } }
Alive { F } LoadWeightsLocal { WtFreeze { F } 145 Filename { std } AllowPruning { F } } EtaModifier { 1 } SaveWeightsLocal { Penalty { NoPenalty } Filename { std } } 75 Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 80 Alive { F }
} WtFreeze { F } mlp. extern43->state43 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } 85 }
SaveWeightsLocal { mlp.extern21->state21 { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } 90 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F }
} WtFreeze { F } mlp.past4->state43 { 95 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } }
SaveWeightsLocal { mlp.past2->state21 { Filename { std } 100 LoadWeightsLocal { } Filename { std }
Alive { F } 1 WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 105 } Penalty { NoPenalty } Alive { F }
} WtFreeze { F } mlp. state54->state43 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } 110 Penalty { NoPenalty } } }
SaveWeightsLocal { mlp.state32->state21 { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } 115 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F }
} 120 WtFreeze { F } mlp. extern32->state32 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } 1 }
SaveWeightsLocal { 125 mlp.externlO->statelO { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } 130 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F }
} WtFreeze { F } mlp.past3->state32 { AllowPruning { F } LoadWeightsLocal { 135 EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } }
SaveWeightsLocal { mlp.pastl->statelO { Filename { std } LoadWeightsLocal { } 140 Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 145 Alive { F }
} WtFreeze { F } mlp.state43->state32 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Penalty { NoPenalty } 75 Alive { F } } WtFreeze { F } mlp.εtate21->statel0 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } 80 }
SaveWeightsLocal { mlp.state34->state45 { Filename { εtd } LoadWeightsLocal {
} Filename { std }
Alive { F } } WtFreeze { F } 85 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F }
} WtFreeze { F } mlp.present->state01 { 90 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} }
SaveWeightsLocal { mlp.state45->state56 { Filename { std } 95 LoadWeightsLocal {
} Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 100 } Penalty { NoPenalty } Alive { F }
} WtFreeze { F } mlp.statel0->state01 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } 105 Penalty { NoPenalty }
} }
SaveWeightsLocal { mlp.past5->back65 {
Filename { std } WeightWatcher { } Active { F }
Alive { F } 110 MaxWeight { 1 } WtFreeze { F } MinWeight { 0 } AllowPruning { F } } EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } 115 } mlp.state01->statel2 { SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } Alive { F } SaveWeightsLocal { 120 WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { F } Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } 125 mlp.back54->back65 { EtaModifier { 1 } WeightWatcher { Penalty { NoPenalty } Active { F } } MaxWeight { 1 } mlp.statel2->state23 { MinWeight { 0 } LoadWeightsLocal { 130 }
Filename { std } LoadWeightsLocal { } Filename { εtd } SaveWeightsLocal { }
Filename { std } SaveWeightsLocal { } 135 Filename { std }
Alive { F } } WtFreeze { F } Alive { F } AllowPrumng { F } WtFreeze { F } EtaModifier { 1 } AllowPrumng { F } Penalty { NoPenalty } 140 EtaModifier { 1 } } Penalty { NoPenalty } mlp.state23->state34 { } LoadWeightsLocal { mlp.past4->back54 {
Filename { std } LoadWeightsLocal { } 145 Filename { std } SaveWeightsLocal { }
Filename { std } SaveWeightsLocal {
Filename { std } } 75 Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 80 Alive { F }
} WtFreeze { F } mlp.back43->back54 { AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty
} 85 }
SaveWeightsLocal { mlp.backl0->back21 { Filename { std } LoadWeightsLocal {
} Filename { εtd }
Alive { F } } WtFreeze { F } 90 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.past3->back43 { 95 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } SaveWeightsLocal { mlp.present->backlO {
Filename { std } 100 LoadWeightsLocal { } Filename { std }
Alive { F } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 105 } Penalty { NoPenalty } Alive { F } } WtFreeze { F } mlp.back32->back43 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 110 Penalty { NoPenalty
SaveWeightsLocal { Filename { std } AnySave {
} file name { f.CCMenu.dat
Alive { F } 115 }
WtFreeze { F } AnyLoad {
AllowPruning { F } file name { f.CCMenu.dat
EtaModifier { 1 }
Penalty { NoPenalty } 120 RecPar \ [ mlp.past2->back32 { decay_ c 1 : 1 }
LoadWeightsLocal { delta" t ( : 0. .9 Filename { std } epsilon { : o . .01
} max_ιter { 50
SaveWeightsLocal { 125 how \ [ T } Filename { std } Reεet Errors {
Alive { F } TestRun { WtFreeze { F } Filename { Test } AllowPruning { F } 130 Part .Transformed { F } EtaModifier { 1 } } Penalty { NoPenalty Online {
} Filename { Onlme . dat [ mlp.back21->back32 {
LoadWeightsLocal {
Filename { std } 135
SaveWeightsLocal { Teil 6: Filename { std } }
Alive { F } WtFreeze { F } BpNet { AllowPruning { F } 140 Globals EtaModifier { 1 } WtPenalty { Penalty { NoPenalty } sei NoPenalty Weigend { mlp.pastl->back21 { Lambda { 0 LoadWeightsLocal { 145 AutoAdapt { T } wO { 1 } 75
DeltaLambda { le-06 } DynSchedule { ReducFac { 0.9 } MaxLength { 4 } Gamma { 0.9 } MimmumRuns { 0 } DesiredError { 0 } Training { F }
} 80 Validation { T }
WtDecay { Generalization { F }
Lambda { 0.005 } } AutoAdapt { F } DivSchedule { AdaptTime { 10 } Divergence { 0.1 EpsOb] { 0.001 } 85 MinEpochs { 5 } Ob] Set { Training } } EpsilonFac { 1 } }
} PruneAlg {
ExtWtDecay { sei FixPrune
Lambda { 0.001 } 90 FixPrune { AutoAdapt { F } Perc_0 { 0. 1 } AdaptTime { 10 } Perc L { 0.1 } EpsOb] { 0.001 } Perc_2 { 0. 1 } Ob] Set { Training } Perc 3 { 0.1 } EpsilonFac { 1 } 95 }
} EpsiPrune {
Finnoff { DeltaEps { 05 }
AutoAdapt { T } StartEps { 05 } Lambda { 0 } MaxEps { 1 DeltaLambda { le-06 } 100 ReuseEps { ReducFac { 0.9 } Gamma { 0.9 } } DesiredError { 0 } Tracer {
Active { F }
105 Set { Validation }
ErrorFunc { File { trace } sei LnCosh } Ixl { Active { F } parameter { 0.05 } Randomize { 0 } } 110 PruningSet { Train. +Valιd. } LnCosh { Method { Ξ-Prunmg } parameter { 2 } } } StopControl { parametricalEntropy { EpochLimit { parameter { le-06 } 115 Active { T }
MaxEpoch { 10000 } }
AnySave { MovmgExpAverage { file name { f.Globals.dat } Active { F } } 120 MaxLength { 4 } AnyLoad { Training { F } file name { f.Globals.dat } Validation { T } } Generalization { F }
ASCII { T } Decay { 0.9 } } 125 }
LearnCtrl { CheckOb]ectιveFct { sei Stochastic Active { F } Stochastic { MaxLength { 4 }
PatternSelection { Training { F } sei Permute 130 Validation { T } ExpRandom { Generalization { F }
Lambda { 2 } } } CheckDelta { Segmentation { Active { F }
OutputNode { -1 } 135 Divergence { 0.1 } ExpectedCutOff { 0.5 } PercentageForGroupB { 0.2 } } EtaCtrl { } Mode { WtPruneCtrl { 140 sei EtaSchedule
PruneSchedule { EtaSchedule { sei FixSchedule SwitchTime { 10 } FixSchedule { ReductFactor { 0.95 } Lιmιt_0 { 10 } } Lιmιt_l { 10 } 145 FuzzCtrl { Lιmιt_2 { 10 } MaxDeltaOb] { 0.3 } Lιmιt_3 { 10 } MaxDelta20b] { 0.3 } RepeatLast { T } MaxEtaChange { 0.02 } MmEta { 0. 001 75 MaxEta { 0.1 } Eta { 0.05 } Smoother { 1 } DerivEps { 0 }
LineSearch {
Active { F } 80 PatternSelection {
} εel Sequential
LearnAlgo { ExpRandom { sei VarioEta Lambda { 2 } VarioEta { }
MinCalls { 50 } 85 Segmentation {
} OutputNode { -1 MomentumBackProp { ExpectedCutOff { 0.5
Alpha { 0.05 } PercentageForGroupB { 0.2 } } Quickprop { 90 }
Decay { 0.05 } WtPruneCtrl {
MU { 2 } Tracer { } Active { F } } Set { Validation } AnySave { 95 File { trace } fιle_name { f.Stochastic.dat } }
} Active { F } AnyLoad { Randomize { 0 } fιle_name { f.Stochastic.dat } PruningSet { Tram . +Valid . }
} 100 Method { S-Prumng }
BatchSize { 15 } } Eta { 0.005 } LearnAlgo { DerivEps { 0 } sei Con] Gradient
} VarioEta {
TrueBatch { 105 MinCalls { 200 }
PatternSelection { } sei Sequential MomentumBackProp { ExpRandom { Alpha { 0.05 } Lambda { 2 } }
1 110 Quickprop {
Segmentation { Decay { 0.05 }
OutputNode { -1 } Mu { 2 } ExpectedCutOff { 0.5 } } PercentageForGroupB { 0.2 } Low-Memory-BFGS {
115 Limit { 2 }
WtPruneCtrl { Tracer { AnySave {
Active { F } file name f. LmeSearch.dat Set { Validation } 120 } File { trace } AnyLoad { } file name f.LineSearch.dat
Active { F } Randomize { 0 } EtaNull { 1 } PruningSet { Train. +Valιd. } 125 MaxSteps { 10 } Method { S-Pruning } LS_Precιsιon { 0.5 } } TrustRegion { T } EtaCtrl { DerivEps { 0 }
Active { F } BatchSize { 2147483647 }
130 }
LearnAlgo { GeneticWeightΞelect { sei VarioEta PatternSelection { VarioEta { sei Sequential MinCalls { 200 ExpRandom {
135 Lambda { 2 }
MomentumBackProp { } Alpha { 0.05 } Segmentation {
} OutputNode { -1 } Quickprop { ExpectedCutOff { 0.5
Decay { 0.05 } 140 PercentageForGroupB { 0.2
Mu { 2 } } }
LearnAlgo {
AnySave { sei VarioEta file name { f.TrueBatch.dat 145 VarioEta {
MinCalls { 200 )
AnyLoad { } file name f.TrueBatch.dat MomentumBackProp { Alpha { 0.05 75 εel ld
} plogistic { parameter { 0.5 }
Ob] FctTracer { } Active { F } ptanh {
File { ob]Func } 80 parameter { 0.5 }
}
SearchControl { pid { ΞearchStrategy { parameter 0.5 } sei HillClimberControl HillClimberControl { 85
%InιtιalAlιve { 0.95 } InputModification { InheritWeights { T } sei None Beta { 0.1 } AdaptiveUniformNoise {
MutationType { DlstπbutedMac- NoiseEta { 1 } roMutation } 90 DampmgFactor { 1 }
MaxTrials { 50 } } } AdaptiveGaussNoise { PBILControl { NoiseEta { 1 }
%InιtιalAlιve { 0.95 } DampmgFactor { 1 } InheritWeights { T } 95 }
Beta { 0.1 } FixedUmformNoise { Alpha { 0.1 } SetNoiseLevel { PopulationSize { 40 } NewNoiεeLevel { 0 } } }
PopulationControl { 100 } pCrossover { 1 } FixedGaussNoise { CrossoverType { SimpleCrosso- SetNoiseLevel { ver } NewNoiseLevel { 0 }
Ξcalmg { T }
ScalingFactor { 2 } 105
Sharing { T } }
SharmgFactor { 0.05 } SaveNoiseLevel {
PopulationSize { 50 } Filename { noise_level.dat } mιn.%ImtιalAlιve { 0.01 } } max.%ImtιalAlιve { 0.1 } 110 LoadNoiseLevel {
Filename { noise_level.dat } } pMutation { 0 } SaveManipulatorData { } Filename { inputMamp.dat } Ob]ectιveFunctιonWeιghts { 115 }
%Alιve { 0.6 } LoadMampulatorData {
E(TS) { 0.2 } Filename { inputMamp.dat }
Improvement (TS) { 0 } }
E(VS) { 1 } Norm { NoNorm }
Improvement (VS) { 0 } 120 }
(E(TS)-E(VS) )/max(E(TS),E(VS) ) { 0 mlp.mputO { ActFunction {
LipComplexity { 0 } sei id OptComplexity { 2 } plogistic { testVal (dead) -testVal (alive) { 0 } 125 parameter { 0.5 }
AnySave { ptanh { fιle_name { parameter { 0.5 } f.GeneticWeightSelect.dat } }
} 130 pid {
AnyLoad { parameter { 0.5 } f le name { } f.GeneticWeightSelect.dat } }
} InputModification {
Eta { 0.05 } 135 sei None
DerivEps { 0 } AdaptiveUniformNoise {
BatchSize { 5 } NoiseEta { 1 }
DmmEpochsForFitnessTest { 2 ] DampmgFactor { 1 }
SmaxEpochsForFitnessTest { 3 ] }
SelectWeights { T } 140 AdaptiveGausεNoiεe {
SelectNodeε { T } NoiseEta { 1 } maxGrowthOfValError { 0.005 } DampmgFactor { 1 } } FixedUmformNoise {
CCMenu { 145 SetNoiεeLevel { Clusters { NewNoiseLevel { 0 } mlp.ιnput_auto { } ActFunction { FixedGaussNoise { 75 ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } } pid { parameter { 0.5 }
80 }
SaveNoiseLevel { }
Filename { noise_level . dat } InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level . dat } 85 NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { mputManip . dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { 90 DampmgFactor { 1 }
Filename { mputManip . dat } } } FixedUmformNoiεe {
Norm { NoNorm } SetNoiεeLevel { } NewNoiseLevel { 0 } mlp.inputl { 95 } ActFunction { } sei id FixedGausεNoiεe { plogistic { SetNoiseLevel { parameter 0.5 } NewNoiseLevel { 0 } } 100 } ptanh { parameter 0.5 } } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter 0.5 } 105 }
} LoadNoiseLevel {
} Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { 110 Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } Filename { inputMamp.dat }
AdaptiveGausεNoiεe { } NoiεeEta { 1 } 115 Norm { NoNorm } DampmgFactor { 1 } } } mlp . mput3 {
FixedU formNoiεe { ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } 120 plogistic { } parameter { 0.5 } } }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } 125 } } pid { parameter { 0.5 }
SaveNoiseLevel {
Filename { noise_level.dat ) 130 InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat ] NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { 135 }
Filename { mputManip.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } } } 140 FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 mlp.mput2 { ActFunction { sei ld 145 FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0. 5 } NewNoiseLevel 75 parameter { 0.5 }
SaveNoiseLevel {
Filename { noise_level . dat } InputModification { } sei None LoadNoiseLevel { 80 AdaptiveUniformNoise {
Filename { noise_level . dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { mputManip . dat } AdaptiveGaussNoise { } 85 NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp . dat } } } FixedUmformNoise { Norm { NoNorm } SetNoiseLevel {
90 NewNoiseLevel { 0 } mlp . mput 4 { } ActFunction { } sei id FixedGaussNoise { plogistic { SetNoiseLevel { parameter 0.5 } 95 NewNoiseLevel { 0 }
} ptanh { } parameter 0.5
SaveNoiseLevel { pid { 100 Filename { noise_level . dat } parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level . dat }
InputModification { } sei None 105 SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip . dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } Filename { inputMamp . dat }
AdaptiveGaussNoise { 110 } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } mlp . mputδ {
FixedUmformNoise { ActFunction { SetNoiseLevel { 115 sei id
NewNoiseLevel { 0 } plogistic { parameter { 0.5 } }
FixedGaussNoise { ptanh { SetNoiseLevel { 120 parameter { 0.5 }
NewNoiseLevel { 0 } pid {
} parameter { 0.5 } }
SaveNoiseLevel { 125 }
Filename { noise_level.dat } InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } 130 DampmgFactor { 1 } SaveManipulatorData { }
Filename { mputManip.dat } AdaptiveGaussNoiεe { } NoiεeEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { mputManip.dat } 135 } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp.ιnput5 { ActFunction { 140 sei id FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 } } ptanh { 145 } arameter { 0.5 } } SaveNoiseLevel { pid { Filename { noise level.dat 75 sei None
LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level . dat ] NoiseEta { 1 }
} DampmgFactor { 1 } SaveManipulatorData { }
Filename { mputManip .dat } 80 AdaptiveGaussNoise {
} NoiεeEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp . dat } } } FixedUmformNoise {
Norm { NoNorm } 85 SetNoiseLevel { } NewNoiseLevel { 0 ] mlp.externδδ { ActFunction { } sei id FixedGaussNoise { plogistic { 90 SetNoiseLevel { parameter { 0.5 } NewNoiseLevel 0 } } ptanh { } parameter { 0.5 } } } 95 SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { 100 } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip . dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } 105 Filename { putManip . dat }
AdaptiveGausεNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } mlp.extern43 {
FixedUmformNoise { 110 ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { parameter { 0.5 } }
FixedGaussNoiεe { 115 ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } } pid { parameter { 0.5 }
120
SaveNoiseLevel {
Filename { noise_level.dat ] InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat ] 125 NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { 130 DampmgFactor { 1 }
Filename { inputMamp.dat } } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp.extern54 { 135 } ActFunction { } sei ld FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 } } 140 } ptanh { } parameter { 0.5 } } } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0. 5 } 145 } LoadNoiseLevel {
Filename { noise_level.dat }
InputModification } SaveManipulatorData { 75
Filename { mputManip.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp . dat } } } 80 FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp.extern32 { } ActFunction { } sei id 85 FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiεeLevel { 0 } } ptanh { } parameter { 0.5 } 90 } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } } LoadNoiseLevel {
95 Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip.dat } NoiseEta { 1 } } DampmgFactor { 1 } 100 LoadMampulatorData { } Filename { mputManip.dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } 105 mlp.externlO {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id
NewNoiεeLevel { 0 plogistic { parameter { 0.5 }
110 }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } pid {
115 parameter { 0.5 }
SaveNoiseLevel {
Filename { noise_level.dat } InputModification { 1 sei None LoadNoiseLevel { 120 AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { mputManip.dat } AdaptiveGausεNoise { } 125 NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { putManip.dat } } } FixedU formNoise {
Norm { NoNorm } SetNoiseLevel { } 130 NewNoiseLevel { 0 } mlp.extern21 { } ActFunction { } sei id FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } 135 NewNoiεeLevel { 0 } } ptanh { parameter { 0.5 } } SaveNoiseLevel { pid { 140 Filename { noise_level.dat } parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { } sei None 145 SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { Filename { mputManip.dat } 75 parameter { 0.5 } } }
Norm { NoNorm } } } ErrorFunc { mlp.output_auto { sei LnCosh ActFunction { 80 Ixl { sei id parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { parameter { 2 } ptanh { 85 } parameter 0.5 } parametricalEntropy { } parameter { le-06 } pid { 1 parameter 0.5 } } } 90 Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 0 0 0 0 0 } sei none Weightmg { 1 1 1 1 1 1 1 1 1 1 } Ixl { } parameter { 0.05 } 95 mlp.fmal4 {
} ActFunction { LnCosh { sei id parameter { 2 } plogistic { } parameter { 0.5 } p'arametncalEntropy I 100 } parameter { le-06 ] ptanh { parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F } 105 parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weight g { 1 1 1 1 1 1 1 1 1 1 } } ErrorFunc { mlp. inalδ { sei LnCosh ActFunction { 110 Ixl { sei id parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { 115 } parameter { 0.5 } parametricalEntropy ] } parameter { le-06 ] pid { parameter { 0.5 } } 120 Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 0 0 0 0 0 0 0 sei LnCosh Weighting { 1 1 1 1 1 1 1 1 1 1
Ixl { parameter { 0.05 } 125 mlp.fmal3 { } ActFunction { LnCosh { εel id parameter { 2 } plogistic { } parameter { 0.5 parametricalEntropy { 130 } parameter { le-06 } ptanh { } parameter { 0.5 }
Norm { NoNorm } pid { ToleranceFlag { F } 135 parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weightmg { 1 1 1 1 1 1 1 1 1 1 } } ErrorFunc { mlp.fιnal5 { sei LnCosh ActFunction { 140 Ixl { sei id parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { 145 } parameter { 0.5 } parametricalEntropy } parameter { le-06 pid { } 75
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weight g { 1 1 1 1 1 1 1 1 1 1 } } 80 ErrorFunc { mlp.fιnal2 { sei none ActFunction { Ixl { sei id parameter { 0.05 } plogistic { } parameter { 0.5 } 85 LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { 90 } parameter { 0.5 } }
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei LnCosh 95 Weightmg { 1 1 1 } Ixl { } parameter { 0.05 } mlp. futureδ { } ActFunction { LnCosh { sei tanh parameter { 2 } 100 plogistic { } parameter 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } parameter { 0.5 } 105 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weightmg { 1 1 1 1 1 1 1 1 1 1 } 110 ErrorFunc { mlp. finall { sei none ActFunction { Ixl { sei id parameter { 0.05 } plogistic { } parameter { 0.5 } 115 LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { 120 } parameter { 0.5 } }
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei LnCosh 125 Weightmg { 1 1 1 } Ixl { } parameter { 0.05 } mlp.future5 { } ActFunction { LnCosh { sei tanh parameter { 2 } 130 plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } parameter { 0.5 } } 135 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 Weighting { 1 1 1 1 1 1 1 1 1 1 } 140 ErrorFunc { mlp. bottleneck { sei none ActFunction { Ixl { εel tanh parameter { 0.05 } plogistic { } parameter { 0.5 } 145 LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy \ parameter { le-06 } 75 ptanh {
} parameter 0.5 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter 0.5 Tolerance { 0 0 0 } 80 } Weighting { 1 1 1 } }
} ErrorFunc { mlp.future4 { sei none ActFunction { Ixl { sei tanh 85 parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } parameter 2 } ptanh { parameter { 0.5 } 90 parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } } } Norm { NoNorm } } 95 ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei none Weightmg { 1 1 1 } Ixl { } parameter { 0.05 } mlp.futurel { }" 100 ActFunction { LnCosh { sei tanh parameter { 2 } plogistic {
} parameter { 0.5 } parametricalEntropy { } parameter { le-06 ] 105 ptanh {
} parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter 0.5 } Tolerance { 0 0 0 } 110 } Weightmg { 1 1 1 } }
} ErrorFunc { mlp.future3 { sei none ActFunction { Ixl { sei tanh 115 parameter 0.05 } plogistic { } parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } 120 parametricalEntropy { } parameter { le-06 } pid { parameter { 0.5 } } Norm { NoNorm } } 125 ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei none Weighting { 1 1 1 } Ixl { } parameter { 0.05 } mlp. present { } 130 ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } 135 ptanh { } parameter { 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } 140 } Weighting { 1 1 1 } }
} ErrorFunc { mlp.future2 { sei LnCosh ActFunction { Ixl { sei tanh 145 parameter { 0.05 ] plogistic { parameter { 0.5 } LnCosh { parameter 2 } 75 parameter { 0.5 } parametricalEntropy } parameter { le-06 ptanh { } parameter { 0.5 } } }
Norm { NoNorm } 80 pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } } Weightmg { 1 1 1 } } } ErrorFunc { mlp.paεtl { 85 sei LnCosh ActFunction { Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } 90 parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { parameter { le-06 } pid { } parameter 0.5 95 }
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei LnCosh Weightmg { 1 1 1 } Ixl { 100 } parameter 0.05 mlp.past4 { ActFunction {
LnCosh { sei tanh parameter { 2 } plogistic { } 105 parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { parameter { 0.5 } }
Norm { NoNorm } 110 pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } } Weightmg { 1 1 1 } } } ErrorFunc { mlp.past2 { 115 sei LnCosh ActFunction { Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } 120 parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } 125 }
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei LnCosh Weightmg { 1 1 1 } Ixl { 130 parameter 0.05 mlp.pastδ { ActFunction {
LnCosh { sei tanh parameter 2 } plogistic {
135 parameter { 0. ■ 5 } parametricalEntropy { ϊ parameter { le-06 } ptanh { parameter { 0, .5 }
Norm { NoNorm } 140 pid { ToleranceFlag { F parameter { 0. .5 }
Tolerance { 0 0 } Weightmg { 1 1 1 l
} ErrorFunc { mlp.past3 { 145 εel LnCosh ActFunction { Ixl { sei tanh parameter { 0. .05 } plogistic { LnCosh { 75 sei tanh parameter { 2 } plogistic { } parameter 0.5 } parametricalEntropy { } parameter { le-06 } ptanh {
80 parameter 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F parameter 0.5 } Tolerance { 0 0 0 } Weight g { 1 1 1 85 }
Norm { NoNorm mlp.past6 { } ActFunction { mlp.state32 { εel tanh ActFunction { plogistic { 90 εel tanh parameter 0.5 } plogistic { parameter 0.5 ptanh { } parameter 0.5 } ptanh {
95 parameter 0.5 pid { } parameter { 0.5 } Pid { } parameter 0.5 } } }
ErrorFunc { 100 } sei LnCosh Norm { NoNorm I { 1 parameter { 0.05 } mlp.state21 { } ActFunction { LnCosh { 105 sei tanh parameter { 2 } plogistic { } parameter 0.5 parametricalEntropy { } parameter { le-06 } ptanh { } 110 parameter 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter 0.5 Tolerance { 0 0 0 } } Weightmg { 1 1 1 } 115 } } Norm { NoNorm mlp.state65 { } ActFunction { mlp. statelO { sei tanh ActFunction { plogistic { 120 εel tanh parameter { 0.5 } plogiεtic { } parameter 0.5 ptanh { } parameter { 0.5 } ptanh { } 125 Parameter 0.5 pid { } parameter { 0.5 } pid { } parameter 0.5 }
Norm { NoNorm } 130 } Norm NoNorm mlp.state54 { } ActFunction { mlp.εtateOl { sei tanh ActFunction { plogistic { 135 sei tanh parameter { 0.5 } plogistic { } parameter 0.5 ptanh { } parameter { 0.5 } ptanh { } 140 parameter 0.5 pid { } parameter { 0.5 } pid { parameter 0.5
Norm { NoNorm } 145 } Norm NoNorm mlp.state43 { }
ActFunction { mlp.statel2 { ActFunction { 75 mlp.back65 { sei tanh ActFunction { plogistic { sei tanh parameter 0. 5 } plogiεtic { } parameter 0.5 } ptanh { 80 } parameter 0. 5 } ptanh { ) parameter 0.5 ) pid { } parameter 0. 5 pid {
85 parameter 0.5
Norm { NoNorm } Norm { NoNorm mlp.state23 { } ActFunction { 90 mlp.back54 { sei tanh ActFunction { plogistic { sei tanh parameter 0. 5 plogistic { } parameter 0.5 ptanh { 95 } parameter 0. 5 ptanh { } parameter 0.5 } pid { } parameter 0. 5 pid { F 100 parameter 0.5 } }
Norm { NoNorm } Norm { NoNorm mlp.εtate34 { } ActFunction { 105 mlp.back43 { sei tanh ActFunction { plogistic { sei tanh parameter 0. 5 plogistic { } parameter 0.5 ptanh { 110 } parameter 0. 5 ptanh { } parameter 0.5 } pid { } parameter 0. 5 pid { } 115 parameter 0.5 }
Norm { NoNorm } } Norm NoNorm mlp.state45 { ActFunction { 120 mlp.back32 { εel tanh ActFunction { plogiεtic { sei tanh parameter 0. 5 } plogistic { } parameter 0.5 } ptanh { 125 } parameter 0. 5 } ptanh { } parameter 0.5 pid { } parameter 0. 5 } pid {
130 parameter 0.5 }
Norm { NoNorm } Norm { NoNorm mlp.stateδδ { } ActFunction { 135 mlp.back21 { sei tanh ActFunction { plogistic { sei tanh parameter 0. 5 plogistic { } parameter 0.5 } ptanh { 140 } parameter 0. 5 ptanh { } parameter 0.5 } pid { } parameter 0. 5 pid {
145 parameter 0.5 }
Norm { NoNorm
Norm { NoNorm 75 Alive { T } mlp.backlO { WtFreeze { T } ActFunction { AllowPruning { F } sei tanh EtaModifier { 1 } plogistic { Penalty { NoPenalty } parameter { 0.5 } 80 } } mlp. future5->fmal5 { ptanh { LoadWeightsLocal { parameter { 0.5 } Filename { std } } } pid { 85 SaveWeightsLocal { parameter { 0.5 } Filename { std }
} Alive { T } Norm { NoNorm WtFreeze { T }
90 AllowPruning { F } EtaModifier { 1 }
Connectors { Penalty { NoPenalty } mlp . bottleneck->output_auto } WeightWatcher { mlp.bιas->fmal5 {
Active { F } 95 LoadWeightsLocal { MaxWeight { 1 } Filename { std } MinWeight { 0 } } } SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } 100 } } Alive { T }
SaveWeightsLocal { WtFreeze { T } Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { F } 105 Penalty { NoPenalty } WtFreeze { T } } AllowPruning { F } mlp. future4->fmal4 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std }
} 110 } mlp.bιas->output_auto { SaveWeightsLocal { WeightWatcher { Filename { std } Active { F } } MaxWeight { 1 } Alive { T }
MinWeight { 0 } 115 WtFreeze { T } } AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } }
SaveWeightsLocal { 120 mlp.bιas->fmal4 { Filename { std } LoadWeightsLocal } Filename { std
Alive { F } } WtFreeze { T } SaveWeightsLocal
AllowPruning { F } 125 Filename { std EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } WtFreeze { T } mlp. futureδ->fmalδ { AllowPruning { F LoadWeightsLocal { 130 EtaModifier { 1 Filename { std } Penalty { NoPenalty } }
SaveWeightsLocal { mlp. future3->fmal3 { Filename { std } LoadWeightsLocal
} 135 Filename { std }
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } }
Penalty { NoPenalty } 140 Alive { T } } WtFreeze { T } mlp.bιas->fmalδ { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} 145 }
SaveWeightsLocal { mlp.bιas->fmal3 { Filename { std } LoadWeightsLocal { Filename { std } 75 Alive { F }
SaveWeightsLocal { WtFreeze { T }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { T } 80 } AllowPruning { F } mlp.bιas->bottleneck { EtaModifier { 1 } WeightWatcher { Penalty { NoPenalty } Active { F } } MaxWeight { 1 } mlp.future2->fmal2 { 85 MinWeight { 0 } LoadWeightsLocal { }
Filename { std } LoadWeightsLocal {
} Filename { std } SaveWeightsLocal { }
Filename { std } 90 SaveWeightεLocal { } Filename { std }
Alive { T } } WtFreeze { T } Alive { F } AllowPruning { F } WtFreeze { T } EtaModifier { 1 } 95 AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } Penalty { NoPenalty } mlp.bιas->fιnal2 { } LoadWeightsLocal { mlp.state56->futureδ {
Filename { εtd } 100 WeightWatcher { } Active { F } SaveWeightsLocal { MaxWeight { 1 }
Filename { std } MinWeight { 0 } } }
Alive { T } 105 LoadWeightsLocal { WtFreeze { T } Filename { std } AllowPruning { F } } EtaModifier { 1 } SaveWeightsLocal { Penalty { NoPenalty } Filename { std }
} 110 } mlp. futurel->fmall { Alive { T } LoadWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 } SaveWeightsLocal { 115 Penalty { NoPenalty }
Filename { εtd } } } mlp.bιas->future6 {
Alive { T } LoadWeightεLocal { WtFreeze { T } Filename { std } AllowPruning { F } 120 } EtaModifier { 1 } SaveWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp.bιas->fmall { Alive { T } LoadWeightsLocal { 125 WtFreeze { T }
Filename { std } AllowPrumng { F } } EtaModifier { 1 } SaveWeightsLocal { Penalty { NoPenalty }
Filename { std } } } 130 mlp.state45->future5 {
Alive { T } LoadWeightsLocal { WtFreeze { T } Filename { std } AllowPrumng { F } } EtaModifier { 1 } SaveWeightsLocal { Penalty { NoPenalty } 135 Filename { std } } } mlp mput_auto->bottleneck { Alive { T } WeightWatcher { WtFreeze { F }
Active { F } AllowPruning { F }
MaxWeight { 1 } 140 EtaModifier { 1 }
MinWeight { 0 } Penalty { NoPenalty } } } LoadWeightsLocal { mlp.bιas->future5 {
Filename { std } LoadWeightεLocal { } 145 Filename { std } SaveWeightsLocal { }
Filename { εtd } SaveWeightsLocal {
Filename { εtd } } 75 Filename { std }
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 80 Alive { T } } WtFreeze { T } mlp.state34->future4 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 85 } SaveWeightsLocal { mlp.state01->futurel {
Filename { std } LoadWeightsLocal {
} Filename { εtd }
Alive { T } } WtFreeze { F } 90 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.bιas->future4 { 95 AllowPruning { F } LoadWeightεLocal { EtaModifier { 1 }
Filename { εtd } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->futurel {
Filename { std } 100 LoadWeightεLocal { } Filename { std }
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 105 1 Penalty { NoPenalty } Alive { T } } WtFreeze { T } mlp. state23->future3 { AllowPruning { F } LoadWeightεLocal { EtaModifier { 1 }
Filename { εtd } 110 Penalty { NoPenalty }
SaveWeightsLocal { mlp.ιnputO->present { Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 115 } WtFreeze { F } SaveWeightsLocal ( AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty ] Alive { T }
} 120 WtFreeze { T } mlp.bιas->future3 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty
} } SaveWeightsLocal { 125 mlp.statelO->present {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPruning { F } 130 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty ] Alive { T } } WtFreeze { F } mlp.statel2->future2 { AllowPruning { F } LoadWeightsLocal { 135 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty
SaveWeightsLocal { mlp.bιas->present { Filename { std } LoadWeightsLocal | } 140 Filename { std ]
Alive { T } } WtFreeze { F } SaveWeightsLocal | AllowPruning { F } Filename { std ] EtaModifier { 1 } } Penalty { NoPenalty } 145 Alive { T }
} WtFreeze { T } mlp.bιas->future2 { AllowPruning { F ] LoadWeightsLocal { EtaModifier { 1 } Penalty { NoPenalty } 75 Filename { std } } } mlp. mputl->pastl { SaveWeightsLocal { LoadWeightsLocal { Filename { εtd }
Filename { std } } } 80 Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { T } 85 } AllowPruning { F } mlp.bιaε->paεt2 { EtaModifier { 1 } LoadWeightεLocal { Penalty { NoPenalty } Filename { std } } } mlp.state21->paεtl { 90 SaveWeightεLocal { LoadWeightaLocal { Filename { std }
Filename { εtd } } } Alive { T } SaveWeightsLocal { WtFreeze { T }
Filename { std } 95 AllowPruning { F }
} EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } mlp.back21->past2 { EtaModifier { 1 } 100 LoadWeightsLocal { Penalty { NoPenalty } Filename { εtd } } } mlp.bιas->pastl { SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } 105 } } Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } 110 Penalty { NoPenalty } WtFreeze { T } } AllowPruning { F } mlp.ιnput3->past3 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } 115 } mlp.backlO->pastl { SaveWeightsLocal { WeightWatcher { Filename { std }
Active { F } )
MaxWeight { 1 } Alive { T }
MinWeight { 0 } 120 WtFreeze { T } } AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 125 mlp.state43->past3 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 130 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.mput2->past2 { AllowPruning { F } LoadWeightsLocal { 135 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } ΞaveWeightεLocal { mlp.bιas->past3 {
Filename { std } LoadWeightsLocal { } 140 Filename { std }
Alive { T } } WtFreeze { T } SaveWeightεLocal { AllowPruning { F } Filename { εtd } EtaModifier { 1 } } Penalty { NoPenalty } 145 Alive { T } } WtFreeze { T } mlp.state32->past2 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Penalty { NoPenalty } 75 Alive { T } } WtFreeze { T } mlp.back32->past3 { AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} 80 }
SaveWeightsLocal { mlp. state65->past5 { Filename { std } LoadWeightsLocal {
} Filename { std }
Alive { T } } WtFreeze { F } 85 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp.ιnput4->past4 { 90 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty } } }
SaveWeightsLocal { mlp.bιas->past5 { Filename { std } 95 LoadWeightsLocal {
} Filename { std }
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPruning { F } Filename { std } Eta"Modιfιer { 1 } 100 } Penalty { NoPenalty } Alive { T }
} WtFreeze { T } mlp.state54->paεt4 { AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 105 Penalty { NoPenalty }
} } SaveWeightsLocal { mlp.back54->past5 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 110 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } 115 WtFreeze { F } mlp.bιas->past4 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 120 mlp . mput6->pastδ {
Filename { std } LoadWeightsLocal { } Filename { εtd )
Alive { T } } WtFreeze { T } SaveWeightsLocal { AllowPruning { F } 125 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { T } mlp.back43->past4 { AllowPruning { F } LoadWeightsLocal { 130 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->pastδ {
Filename { std } LoadWeightsLocal { } 135 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 140 Alive { T } } WtFreeze { T } mlp.mput5->past5 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 145 } SaveWeightsLocal { mlp.back65->past6 {
Filename { std } LoadWeightsLocal { Filename { std } 75 Active { F }
SaveWeightsLocal { MaxWeight { 1 } Filename { εtd } MinWeight { 0 } } }
Alive { T } LoadWeightεLocal { WtFreeze { F } 80 Filename { std } AllowPruning { F } } EtaModifier { 1 } ΞaveWeightεLocal { Penalty { NoPenalty } Filename { std } } } mlp. extern65->state65 { 85 Alive { T } WeightWatcher { WtFreeze { F } Active { F } AllowPrumng { F } MaxWeight { 1 } EtaModifier { 1 } MinWeight { 0 } Penalty { NoPenalty }
} 90 } LoadWeightsLocal { mlp. extern43->state43 {
Filename { std } LoadWeightsLocal { } Filename { std } SaveWeightsLocal { }
Filename { std } 95 SaveWeightsLocal {
} Filename { std }
Alive { T } } WtFreeze { F } Alive { T } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } 100 AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 }
} Penalty { NoPenalty } mlp.past6->state65 { } WeightWatcher { mlp.past4->state43 { Active { F } 105 LoadWeightsLocal { MaxWeight { 1 } Filename { std } MinWeight { 0 } }
} SaveWeightsLocal {
LoadWeightsLocal { Filename { std }
Filename { std } 110 } } Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } 115 Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } mlp. state54->state43 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } 120 } mlp. extern54->state54 { SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } Alive { T } SaveWeightsLocal { 125 WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } 130 mlp. extern32->state32 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { εtd } } } mlp.past5->state54 { SaveWeightsLocal { LoadWeightsLocal { 135 Filename { std }
Filename { std } } } Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPru ng { F } } 140 EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } mlp.past3->state32 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } 145 Filename { std }
} } mlp.state65->state54 { SaveWeightsLocal { WeightWatcher { Filename { std } } 75 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 80 Alive { T }
} WtFreeze { F } mlp.εtate43->εtate32 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} 85 }
SaveWeightsLocal { mlp.state21->statel0 { Filename { std } LoadWeightsLocal {
Filename { std }
Alive { T } } WtFreeze { F } 90 SaveWeightsLocal { AllowPruning { F Filename { std } EtaModifier { 1 } Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp. extern21->state 21 { 95 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} }
SaveWeightsLocal mlp.present->state01 { Filename { std 100 LoadWeightεLocal {
Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { εtd } EtaModifier { 1 } 105 } Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp.past2->εtate21 { AllowPruning { F }
LoadWeightaLocal { EtaModifier { 1 }
Filename { std } 110 Penalty { NoPenalty } } }
SaveWeightsLocal { mlp.εtatel0->state01 {
Filename { εtd } LoadWeightsLocal {
} Filename { std }
Alive { T } 115 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } 120 WtFreeze { F } mlp.state32->state21 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { εtd } Penalty { NoPenalty } } } SaveWeightsLocal { 125 mlp.state01->statel2 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 130 Filename { std } EtaModifier { 1 } 1 Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp.externl0->statelO { AllowPruning { F } LoadWeightsLocal { 135 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.statel2->state23 {
Filename { std } LoadWeightsLocal { } 140 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 145 Alive { T }
} WtFreeze { F } mlp.pastl->statelO { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 } Penalty { NoPenalty } 75 EtaModifier { 1 } } Penalty { NoPenalty } mlp.state23->state34 { } LoadWeightsLocal { mlp.paεt4->back54 {
Filename { std } LoadWeightsLocal { } 80 Filename { std } SaveWeightsLocal { }
Filename { std } SaveWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } 85 Alive { T } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } Penalty { NoPenalty } mlp.state34->state45 { 90 } LoadWeightsLocal { mlp.back43->back54 {
Filename { std } LoadWeightsLocal { } Filename { std } SaveWeightsLocal { }
Filename { std } 95 SaveWeightsLocal {
} Filename { std }
Alive { T } } WtFreeze { F } Alive { T } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } 100 AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 }
} Penalty { NoPenalty } mlp. state45->state56 { }
LoadWeightsLocal { mlp.past3->back43 { Filename { std } 105 LoadWeightsLocal {
} Filename { std }
SaveWeightsLocal { } Filename { std } SaveWeightsLocal {
} Filename { std }
Alive { T } 110 }
WtFreeze { F } Alive { T }
AllowPruning { F } WtFreeze { F }
EtaModifier { 1 } AllowPruning { F }
Penalty { NoPenalty } EtaModifier { 1 } } 115 Penalty { NoPenalty } mlp.past5->back65 { }
WeightWatcher { mlp.back32->back43 { Active { F } LoadWeightsLocal { MaxWeight { 1 } Filename { std } MinWeight { 0 } 120 }
} SaveWeightsLocal {
LoadWeightsLocal { Filename { std } Filename { std } }
} Alive { T }
SaveWeightsLocal { 125 WtFreeze { F } Filename { std } AllowPruning { F }
} EtaModifier { 1 }
Alive { T } Penalty { NoPenalty }
WtFreeze { F } }
AllowPruning { F } 130 mlp.past2->back32 {
EtaModifier { 1 } LoadWeightsLocal {
Penalty { NoPenalty } Filename { std } } } mlp.back54->back65 { SaveWeightsLocal {
WeightWatcher { 135 Filename { εtd } Active { F } } MaxWeight { 1 } Alive { T } MinWeight { 0 } WtFreeze { F }
} AllowPruning { F }
LoadWeightsLocal { 140 EtaModifier { 1 } Filename { std } Penalty { NoPenalty }
} }
SaveWeightsLocal { mlp.back21->back32 { Filename { std } LoadWeightεLocal {
} 145 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } Alive { T } Teil 7: WtFreeze { F } AllowPruning { F } EtaModifier { 1 } Penalty { NoPenalty } 75 BpNet {
} Globais { mlp.pastl->back21 { WtPenalty { LoadWeightsLocal { sei NoPenalty Filename { std } Weigend { } 80 Lambda { 0 }
SaveWeightsLocal { AutoAdapt { T } Filename { std } wO { 1 }
} DeltaLambda . { 1 .e-06 }
Alive { T } ReducFac { 0.9 } WtFreeze { F } 85 Gamma { O.S 1 } AllowPruning { F } DeεiredError { 0 } EtaModifier { 1 } } Penalty { NoPenalty } WtDecay { } Lambda { 0. 005 } mlp.backl0->back21 { 90 AutoAdapt { F } LoadWeightsLocal { AdaptTime { 10 }
Filename { std } EpsOb] { 0. 001 } } Ob] Set { Training } SaveWeightsLocal { EpsilonFac { 1 }
Filename { std } 95 } } ExtWtDecay {
Alive { T } Lambda { 0. 001 } WtFreeze { F } AutoAdapt { F } AllowPruning { F } AdaptTime { 10 } EtaModifier { 1 } 100 EpsOb] { 0. 001 } Penalty { NoPenalty } Ob] Set { Traim .ng } } EpsilonFac { 1 } mlp.present->backlO { LoadWeightsLocal { Fmnoff {
Filename { std } 105 AutoAdapt { T } } Lambda { 0 } SaveWeightsLocal { DeltaLambda { le-06
Filename { std } ReducFac { 0.9 } } Gamma { 0.9 }
Alive { T } 110 DesiredError { 0 } WtFreeze { F } } AllowPrumng { F } ) EtaModifier { 1 } ErrorFunc { Penalty { NoPenalty } εel LnCosh
115 Ixl { parameter { 0.05 }
AnySave { } fιle_name f.CCMenu.dat LnCosh {
} parameter { 2 }
AnyLoad { 120 } file name f.CCMenu.dat parametricalEntropy { parameter { le-06 }
} RecPar { decay_c { 1 } 125 AnySave { delta_t { 0.1 } file name f.Globals.dat epsilon { 0.01 } } max_ιter { 1 } AnyLoad { εhow { F } fιle_name f.Globals.dat
Reεet_Errors { F } 130 } } ASCII { T } TestRun {
Filename { Test } LearnCtrl {
Part.Transformed { F } sei Stochastic } 135 Stochastic { Online { PatternSelection {
Filename { Online.dat } sei Permute ExpRandom {
Lambda { 2 }
140 } Segmentation {
OutputNode { -1 } ExpectedCutOff { 0.5 PercentageForGroupB { 0.2 75
EtaCtrl { Mode {
WtPruneCtrl { sei EtaSchedule
PruneSchedule { EtaSchedule { sei FixSchedule 80 SwitchTime { 10 }
FixSchedule { ReductFactor { 0.95
Lιmιt_0 { 10 } }
Lιmιt_l { 10 } FuzzCtrl {
Limit 2 { 10 } MaxDeltaOb] { 0.3 }
Lιmιt_3 { 10 } 85 MaxDelta 20b] { 0. .3 }
RepeatLast { T MaxEtaChange { 0, .02 }
MmEta { 0.001 }
DynSchedule { MaxEta { 0.1 }
MaxLength { . 1 } Smoother { 1 }
MimmumRuns ( : o 90
Training { F }
Validation { T Active { F }
Generalization F } } i LearnAlgo { DivSchedule { 95 sei VarioEta
Divergence { 0. 1 } VarioEta {
MinEpochs { 5 } MinCalls { 50 } } }
} MomentumBackProp { PruneAlg { 100 Alpha { 0.05 } sei FixPrune }
FixPrune { Quickprop {
Perc 0 { 0.1 } Decay { 0.05 }
Perc 1 { 0.1 } Mu { 2 }
Perc_2 { 0.1 } 105
Perc_3 { 0.1 }
AnySave {
EpsiPrune { file name { f.Stochastic.dat }
DeltaEps { 0. 05 }
StartEps { 0. 05 110 AnyLoad {
MaxEps { 1 } file name { f.Stochastic.dat }
ReuseEps { F } } } BatchSize { 15 }
) Eta { 0.002 }
Tracer { 115 DerivEps { 0 }
Active { F } }
Set { Validation TrueBatch {
File { trace } PatternSelection {
) sei Sequential
Active { F } 120 ExpRandom { Randomize { 0 } Lambda { 2 } PruningSet { Tram.+Valid. } Method { S-Prunmg } Segmentation { } OutputNode { -1 }
StopControl { 125 ExpectedCutOff { 0.5 } EpochLimit { PercentageForGroupB { 0.2 }
Active { T }
MaxEpoch { 10000 } } WtPruneCtrl { Mov gExpAverage { 130 Tracer {
Active { F } Active { F }
MaxLength { 4 } Set { Validation }
Training { F } File { trace }
Validation { T } }
Generalization { F } 135 Active { F }
Decay { 0.9 } Randomize { 0 } } PruningSet { Train. +Valιd. CheckOb] ectiveFct { Method { S-Prunmg }
Active { F } }
MaxLength { 4 } 140 EtaCtrl {
Training { F } Active { F }
Validation { T } }
Generalization { F } LearnAlgo { } sei VarioEta CheckDelta { 145 VarioEta {
Active { F } MinCalls { 200 }
Divergence { 0.1 } } MomentumBackProp { Alpha { 0. 05 } 75 Segmentation { } OutputNode { -1 } Quickprop { ExpectedCutOff { 0.5 }
Decay { 0. 05 } PercentageForGroupB { 0.2 }
Mu { 2 } }
80 }
LearnAlgo {
AnySave { sei VarioEta file name f . TrueBatch .dat VarioEta {
MinCalls { 200 }
AnyLoad { 85 } file name { f . TrueBatch .dat '. MomentumBackProp {
} Alpha { 0.05 }
Eta { 0. 05 } } DerivEps { 0 } } } 90 Ob] FctTracer { L eSearch { Active { F }
PatternSelection { File { ob] Func } sei Sequential } ExpRandom { SearchControl { Lambda { 2 } 95 ΞearchΞtrategy {
} sei HillClimberControl
Segmentation { HillClimberControl {
OutputNode { -1 } %InιtιalAlιve { 0.95 } ExpectedCutOff { 0.5 } InheritWeights { T } PercentageForGroupB { 0.2 ' 100 Beta { 0.1 }
} MutationType { DistributedMac- } roMutation } WtPruneCtrl { MaxTrials { 50 }
Tracer { }
Active { F } 105 PBILControl {
Set { Validation } %ImtιalAlιve { 0.95 }
File { trace } InheritWeights { T }
} Beta { 0.1 }
Active { F } Alpha { 0.1 }
Randomize { 0 } 110 PopulationSize { 40 }
PruningSet { Tram.+Valid. } }
Method { S-Prumng } PopulationControl {
} pCrosεover { 1 }
LearnAlgo { CroεsoverType { SimpleCrosεo- sei Con] Gradient 115 ver } VarioEta { Scalmg { T }
MinCalls { 200 } ScalingFactor { 2 } } Sharing { T }
MomentumBackProp { SharingFactor { 0.05 } Alpha { 0.05 } 120 PopulationSize { 50 }
} min. %ImtιalAlιve { 0.01 } Quickprop { max. %ImtιalAlιve { 0.1 }
Decay { 0.05 }
Mu { 2 } } 125 pMutation { 0 } Low-Memory-BFGS { }
Limit 1 2 } Ob] ectiveFunctionWeights {
%Alιve { 0.6 }
E(TS) { 0.2 }
AnySave { 130 Improvement (TS) { 0 } file name { f.LineSearch.dat } E(VS) { 1 } } Improvement (VS) { 0 } AnyLoad { (E(TS)-E(VS) )/max(E(TS) ,E(VS) ) { fιle_name { f.LineSearch.dat } } } 135 LipComplexity { 0 }
EtaNull { 1 } OptComplexity { 2 } MaxSteps { 10 } testVal (dead) -teεtVal (alive) { 0 LS_Precιsιon { 0.5 } } TruεtRegion { T } AnySave { DeπvEpε { 0 } 140 fιle_name { BatchSize { 2147483647 } f.GeneticWeightSelect.dat } } }
GeneticWeightSelect { AnyLoad { PatternSelection { file name { sei Sequential 145 f.GeneticWeightSelect.dat } ExpRandom { } Lambda { 2 } Eta { 0.05 } DerivEps { 0 } BatchSize { 5 } 75 NoiseEta { 1 } KminEpochεForFitnessTest {{ 22 } DampmgFactor { 1 } #maxEpochsForFιtnesεTest { 3 } SelectWeightε { T } AdaptiveGaussNoise { SelectNodeε { T } NoiseEta { 1 } maxGrowthOfValError { 0.005 80 DampmgFactor { 1 } } } } FixedUmformNoise {
CCMenu { SetNoiseLevel { Cluεters { NewNoiseLevel { 0 } mlp. mput_auto { 85 } ActFunction { } sei ld FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 }
} 90 ptanh { } parameter 0.5 }
SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } 95 }
LoadNoiseLevel {
Filename { noise_level . dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { 100 Filename { mputManip . dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } Filename { mputManip . dat }
AdaptiveGaussNoiεe { } NoiseEta { 1 } 105 Norm { NoNorm } DampmgFactor { 1 } } } mlp.inputl {
FixedU formNoise { ActFunction { SetNoiseLevel { sei ld
NewNoiseLevel { 0 ] 110 plogistic { parameter { 0.5 } }
FixedGaussNoise { ptanh {
SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel 115 } pid { parameter { 0.5 } }
SaveNoiseLevel { }
Filename { noise_level.dat } 120 InputModification { } sei None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { 125 }
Filename { inputMamp.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { inputMamp.dat } } } 130 FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } lp.mputO { } ActFunction { } sei id 135 FixedGaussNoise { plogiεtic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 } } ptanh { parameter { 0.5 } 140 } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } } LoadNoiseLevel {
145 Filename { noise_level.dat }
InputModification { } εel None SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip.dat } 75 NoiseEta { 1 }
LoadMampulatorData { DampmgFactor { 1 }
Filename { mputManip . dat } } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } 80 NewNoiseLevel { 0 } mlp.mput2 { ActFunction { sei id FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } 85 NewNoiseLevel { 0 } } } ptanh { } parameter { 0.5 } } SaveNoiseLevel { pid { 90 Filename { noise__level .dat ] parameter { 0.5 } } 1 LoadNoiseLevel { } Filename { noise_level . dat ]
InputModification { } sei None 95 SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp . dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } Filename { mputManip .dat }
AdaptiveGaussNoiεe { 100 } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } mlp . mput4 {
FixedUmformNoise { ActFunction { SetNoiseLevel { 105 sei id
NewNoiseLevel { 0 } plogiεtic { } parameter { 0.5 } } }
FixedGaussNoise { ptanh { SetNoiseLevel { 110 parameter { 0.5 }
NewNoiseLevel { 0 } } } pid { parameter { 0.5 } }
SaveNoiseLevel { 115 }
Filename { noise_level.dat ] InputModification {
} εel None LoadNoiseLevel { AdaptiveU formNoiεe {
Filename { noise_level.dat ] NoiseEta { 1 } } 120 DampmgFactor { 1 } SaveManipulatorData { }
Filename { inputMamp.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { DampmgFactor { 1 }
Filename { mputManip.dat } 125 } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp.mput3 { ActFunction { 130 sei id FixedGausεNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel { 0 } } ptanh { 135 parameter { 0.5 } } SaveNoiseLevel { pid { Filename { noise_level.dat ] parameter { 0.5 } }
140 LoadNoiseLevel {
Filename { noise_level.dat
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip.dat } NoiseEta { 1 } 145 } DampmgFactor { 1 } LoadMampulatorData { } Filename { mputManip.dat } AdaptiveGaussNoise { Norm { NoNorm } 75 SetNoiseLevel { } NewNoiseLevel { 0 } mlp.mput5 { ActFunction { } sei id FixedGaussNoise { plogistic { 80 SetNoiseLevel { parameter { 0.5 } NewNoiseLevel 0 } } ptanh { } parameter { 0.5 } } 85 SaveNoiseLevel { pid { Filename { noise_level . dat } parameter { 0.5 } } } LoadNoiseLevel { } Filename { noise_level . dat }
InputModification { 90 } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip .dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } 95 Filename { inputMa p. dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } mlp.extern65 {
FixedUmformNoise { 100 ActFunction { SetNoiseLevel { sei id
NewNoiεeLevel { 0 } plogistic { } parameter { 0.5 } } }
FixedGaussNoise { 105 ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } } } pid { } parameter { 0.5 } } 110 } SaveNoiseLevel { }
Filename { noise_level.dat ] InputModification {
} εel None LoadNoiseLevel { AdaptiveUniformNoise {
Filename { noise_level.dat ] 115 NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { putManip.dat } AdaptiveGaussNoise { } NoiseEta { 1 } LoadMampulatorData { 120 DampmgFactor { 1 }
Filename { mputManip.dat } } } FixedUmformNoise {
Norm { NoNorm } SetNoiseLevel { } NewNoiseLevel { 0 } mlp.mputδ { 125 ActFunction { sei id FixedGaussNoise { plogistic { SetNoiseLevel { arameter { 0.5 } NewNoiseLevel { 0 } } 130 } ptanh { } parameter { 0.5 } } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } 135 } LoadNoiseLevel {
Filename { noise_level.dat }
InputModification { } sei None SaveManipulatorData {
AdaptiveUni ormNoise 140 Filename { mputManip.dat } NoiseEta { 1 } } Damp gFactor { 1 } LoadMampulatorData {
} Filename { putManip.dat }
AdaptiveGausεNoise { } NoiseEta { 1 } 145 Norm { NoNorm } DampmgFactor { 1 } }
} mlp.extern54 {
FixedUmformNoise { ActFunction { sei id 75 FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0.5 } NewNoiseLevel } ptanh { parameter { 0.5 } 80
} SaveNoiseLevel { pid { Filename { noise_level . dat } parameter { 0.5 } } LoadNoiseLevel {
} } 85 Filename { noise_level . dat }
InputModification { } sei None SaveManipulatorData { AdaptiveUniformNoise { Filename { inputMamp . dat } NoiseEta { 1 } }
DampmgFactor { 1 } 90 LoadMampulatorData {
1 Filename { mputManip .dat }
AdaptiveGaussNoise { } NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } }
} 95 mlp.extern32 {
FixedUmformNoise { ActFunction { SetNoiseLevel { sei id
NewNoiseLevel { 0 } plogistic { parameter { 0.5 }
; } 100 }
FixedGaussNoise { ptanh { SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } } pid {
} ' 105 parameter { 0.5 }
} }
SaveNoiseLevel { }
Filename { noise_level.dat } InputModification { } sei None LoadNoiseLevel { 110 AdaptiveUniformNoise {
Filename { noise_level.dat } NoiseEta { 1 } } DampmgFactor { 1 } SaveManipulatorData { }
Filename { mputManip.dat } AdaptiveGaussNoise {
} 115 NoiseEta { 1 }
LoadMampulatorData { DampmgFactor { 1 }
Filename { mputManip . dat } }
FixedUmformNoise {
Norm { NoNorm SetNoiseLevel {
120 NewNoiseLevel { 0 } mlp. extern43 { } ActFunction { } sei id FixedGaussNoise { plogistic { SetNoiseLevel { parameter { 0. 5 } 12 5 NewNoiseLevel { 0 }
} ptanh { parameter { 0. 5 }
} SaveNoiseLevel { pid { 1 3 0 Filename { noise_level.dat } parameter { 0. 5 } } LoadNoiseLevel {
Filename { noise_level.dat }
InputModification { } sei None 13 5 SaveManipulatorData {
AdaptiveUniformNoise { Filename { inputMamp.dat } NoiseEta { 1 } } DampmgFactor { 1 } LoadMampulatorData { } Filename { mputManip.dat }
AdaptiveGaussNoise { 1 4 0 }
NoiseEta { 1 } Norm { NoNorm } DampmgFactor { 1 } } } mlp.extern21 { FixedUmformNoise { ActFunction {
SetNoiseLevel { 1 4 5 sei id
NewNoiseLevel { 0 } plogistic { parameter { 0.5 } ptanh { 75 parameter { 0.5 } } SaveNoiseLevel { pid { Filename { noise_level.dat } parameter { 0.5 } } } 80 LoadNoiseLevel { } Filename { noise_level.dat }
InputModification { } εel None SaveManipulatorData { AdaptiveUniformNoise { Filename { mputManip.dat }
NoiseEta { 1 } 85 }
DampmgFactor { 1 } LoadMampulatorData { } Filename { mputManip.dat } AdaptiveGaussNoise { }
NoiseEta { 1 } Norm { NoNorm }
DampmgFactor { 1 } 90 } } mlp.output_auto { FixedUmformNoise { ActFunction {
SetNoiseLevel { εel id
NewNoiεeLevel { 0 } plogistic {
} 95 parameter { 0.5 } } } FixedGaussNoise { ptanh {
SetNoiseLevel { parameter { 0.5 }
NewNoiseLevel { 0 } }
100 pid {
} parameter { 0.5 } }
SaveNoiseLevel { }
Filename { noise_level.dat } ErrorFunc { } 105 sei LnCosh LoadNoiseLevel { Ixl {
Filename { noise_level.dat } parameter { 0.05 }
} } SaveManipulatorData { LnCosh {
Filename { mputManip.dat } 110 parameter { 2 } } } LoadMampulatorData { parametricalEntropy {
Filename { mputManip.dat } parameter { le-06 } } }
Norm { NoNorm } 115 } } Norm { NoNorm } mlp.externlO { ToleranceFlag { F } ActFunction { Tolerance { 0 0 0 0 0 0 0 0 0 0 } εel ld Weighting { 6 6 6 6 6 6 6 6 6 6 } plogiεtic { 120 } parameter { 0.5 } mlp.fmalδ { } ActFunction { ptanh { sei id parameter { 0.5 } plogistic { } 125 parameter { 0.5 } pid { } parameter { 0.5 } ptanh { } parameter { 0.5 } } }
InputModification { 130 pid { εel None parameter { 0.5 } AdaptiveUmformNoiεe { } NoiseEta { 1 } } DampmgFactor { 1 } ErrorFunc { } 135 sei LnCosh
AdaptiveGaussNoise { Ixl { NoiseEta { 1 } parameter { 0.05 } DampmgFactor { 1 } } } LnCosh {
FixedUmformNoise { 140 parameter { 2 } SetNoiseLevel { }
NewNoiseLevel { 0 } parametricalEntropy { } parameter { le-06 } }
FixedGaussNoise { 145 SetNoiseLevel { Norm { NoNorm }
NewNoiseLevel { 0 } ToleranceFlag { F }
Tolerance { 0 0 0 0 0 0 0 0 0 0 } Weightmg { 1 1 1 1 1 1 1 1 1 1 75 } } ErrorFunc { mlp.fmalδ { εel LnCoεh ActFunction { Ixl { sei id arameter { 0.05 plogistic { 80 } parameter { 0.5 } LnCoεh { } parameter { 2 } ptanh { parameter { 0.5 } parametricalEntropy { } 85 parameter { le-06 } pid { parameter { 0.5 }
Norm { NoNorm }
ToleranceFlag { F }
ErrorFunc { 90 Tolerance { 0 0 0 0 0 0 0 0 0 0 sei LnCosh Weighting { 1 1 1 1 1 1 1 1 1 1 Ixl { parameter { 0.05 } mlp.fmal2 { } ActFunction { LnCosh { 95 sei id parameter { 2 } plogistic { parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { ~) 100 parameter { 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 Weightmg { 1 1 1 1 1 1 1 1 1 1 105 } ErrorFunc { mlp.fmal4 { sei LnCosh ActFunction { Ixl { sei id parameter { 0.05 } plogistic { 110 } parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } 115 parameter { le-06 } pid { } parameter { 0.5 } } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { 120 Tolerance { 0 0 0 0 0 0 0 0 0 0 sei LnCosh Weightmg { 1 1 1 1 1 1 1 1 1 1 Ixl { } parameter { 0.05 } mlp. finall { } ActFunction { LnCoεh { 125 εel id parameter { 2 } plogistic { } arameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { } 130 Parameter { 0.5 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } } Weightmg { 1 1 1 1 1 1 1 1 1 1 } 135 } } ErrorFunc { mlp.fmal3 { sei LnCosh ActFunction { Ixl { sei d parameter 0.05 } plogistic { 140 parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy
} 145 parameter { le-06 pid { } parameter { 0.5 } } Norm { NoNorm } ToleranceFlag { F } 75 parameter { 0.5 } Tolerance { 0 0 0 0 0 0 0 0 0 0 } } Weighting { 1 1 1 1 1 1 1 1 1 1 } } } ErrorFunc { mlp. bottleneck { sei none ActFunction { 80 Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh {
} parameter { 2 } ptanh { 85 } parameter 0.5 parametricalEntropy { parameter { le-06 }
Pid { } parameter { 0.5 } } } 90 Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei none Weighting { 1 1 1 } Ixl { parameter { 0.05 } 95 mlp.future4 { } ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } parameter 0.5 } parametricalEntropy { 100 } parameter { le-06 } ptanh { } parameter 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } 105 parameter 0.5 Tolerance { 0 0 0 } Weighting { 1 1 1 } } ErrorFunc { mlp.futureδ { sei none ActFunction { 110 Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { 115 } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } } } 120 Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } ael none Weighting { 1 1 1 } Ixl { } parameter { 0.05 } 125 mlp.future3 { } ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { 130 } parameter { le-06 } ptanh { parameter { 0.5 } }
Norm { NoNorm } pid { ToleranceFlag { F } 135 parameter { 0.5 } Tolerance { 0 0 0 } } Weighting { 1 1 1 } } } ErrorFunc { mlp.futureδ { sei none ActFunction { 140 Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { 145 } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { } 75
Norm { NoNorm } pid { ToleranceFlag { F } Parameter { 0.5 } Tolerance { 0 0 0 } } Weighting { 1 1 1 } } } 80 ErrorFunc { mlp.future2 { εel LnCosh ActFunction { Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } 85 LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } pid { 90 } parameter { 0.5 } } } Norm { NoNorm } } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei none 95 Weighting { 1 1 1 } Ixl { parameter { 0.05 } mlp.pastl { } ActFunction { LnCosh { sei tanh parameter { 2 } 100 plogistic { } parameter 0.5 parametricalEntropy { parameter { le-06 } ptanh { parameter 0.5
105
Norm { NoNorm } id { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } } Weighting { 1 1 1 } } } 110 ErrorFunc { mlp.futurel { sei LnCosh ActFunction { Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } 115 LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } Pid { . 120 parameter { 0.5 }
Norm { NoNorm } ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei none 125 Weighting { 1 1 1 } Ixl { } parameter { 0.05 } mlp.past2 { } ActFunction { LnCoεh { sei tanh parameter { 2 } 130 plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } ptanh { parameter { 0.5 }
135 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } } Weighting { 1 1 1 } } } 140 ErrorFunc { mlp. present { sei LnCosh ActFunction { Ixl { sei tanh parameter { 0.05 } plogistic { } parameter { 0.5 } 145 LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } parametricalEntropy j parameter { le-06 } 75 ptanh { } parameter { 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } 80 } Weightmg { 1 1 1 } } } ErrorFunc { mlp.past3 { sei LnCosh ActFunction { Ixl { sei tanh 85 parameter { 0.05 } plogistic { } parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } 90 parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } } } Norm { NoNorm } } 95 ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei LnCosh Weightmg { 1 1 1 } Ixl { } parameter { 0.05 } mlp.past6 { } 100 ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } 105 ptanh { } parameter { 0.5 } } }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } 110 } Weight g { 1 1 1 } } } ErrorFunc { mlp.past4 { sei LnCosh ActFunction { Ixl { sei tanh 115 parameter { 0.05 } plogistic { }
Parameter { 0.5 } LnCosh { } parameter { 2 } ptanh { } parameter { 0.5 } 120 parametricalEntropy { } parameter { le-06 } pid { } parameter { 0.5 } } } Norm { NoNorm } } 125 ToleranceFlag { F }
ErrorFunc { Tolerance { 0 0 0 } sei LnCosh Weightmg { 1 1 1 } Ixl { } parameter { 0.05 } mlp.state65 { } 130 ActFunction { LnCosh { sei tanh parameter { 2 } plogistic { } parameter { 0.5 } parametricalEntropy { } parameter { le-06 } 135 ptanh { parameter { 0.5 }
Norm { NoNorm } pid { ToleranceFlag { F } parameter { 0.5 } Tolerance { 0 0 0 } 140 } Weight g { 1 1 1 } } } Norm { NoNorm } mlp.pastδ { } ActFunction { mlp.state54 { sei tanh 145 ActFunction { plogistic { sei tanh parameter { 0.5 plogistic { parameter { 0.5 } 75 parameter { 0.5 } ptanh { parameter { 0.5 } ptanh { } parameter 0.5 } pid { parameter { 0.5 } 80 pid { } Parameter { 0.5 } }
Norm { NoNorm } } Norm NoNorm rnlp. state43 { 85 ActFunction { mlp.statel2 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } 90 parameter 0.5 } ptanh { parameter { 0.5 } ptanh { } parameter { 0.5 } pid { } parameter { 0.5 } 95 pid { } parameter { 0.5 } } }
Norm { NoNorm } } } Norm { NoNorm } mlp.state32 { 100 } ActFunction { mlp.state23 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } 105 parameter { 0.5 } ptanh { 1 parameter { 0.5 } ptanh { } parameter { 0.5 } pid { } parameter { 0.5 } 110 pid { parameter { 0.5 } }
Norm { NoNorm } } } Norm { NoNorm } mlp.state21 { 115 } ActFunction { mlp.state34 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 } plogiatic { } 120 parameter { 0.5 } ptanh { } parameter { 0.5 } ptanh { } parameter { 0.5 } pid { ) parameter { 0.5 } 125 pid { parameter { 0.5 }
Norm { NoNorm } } Norm { NoNorm } mlp.εtatelO { 130 } ActFunction { mlp.state45 { sei tanh ActFunction { plogistic { sei tanh parameter { 0.5 } plogistic { } 135 parameter { 0.5 } ptanh { } parameter { 0.5 } ptanh { } parameter { 0.5 } pid { } parameter { 0.5 } 140 pid { parameter { 0.5 }
Norm { NoNorm } Norm { NoNorm } mlp. stateOl { 145 } ActFunction { mlp.state56 { sei tanh ActFunction { plogistic { εel tanh plogistic { 75 sei tanh Parameter 0.5 } plogistic { } parameter { 0.5 } ptanh { } parameter 0.5 ptanh { } 80 parameter { 0.5 } pid { } parameter 0.5 } pid { } parameter { 0.5 } }
Norm { NoNorm 85 } Norm { NoNorm } mlp.back65 { } ActFunction { mlp. backlO { sei tanh ActFunction { plogistic { 90 sei tanh parameter 0.5 plogistic { } parameter { 0.5 } ptanh { } parameter 0.5 ptanh { } 95 parameter { 0.5 } pid { } parameter 0.5 } pid { } parameter { 0.5 }
Norm NoNorm 100 }
Norm { NoNorm } mlp.back54 { ActFunction { sei tanh Connectorε { plogistic { 105 mlp.bottleneck->output_auto { parameter 0.5 WeightWatcher { } Active { F } ptanh { MaxWeight { 1 } parameter 0.5 } MinWeight { 0 } } 110 } pid { LoadWeightεLocal { parameter 0.5 Filename { εtd } } SaveWeightsLocal {
Norm NoNorm 115 Filename { std } } mlp.back43 { Alive { T } ActFunction { WtFreeze { F } sei tanh AllowPruning { F } plogistic { 120 EtaModifier { 1 } parameter 0.5 Penalty { NoPenalty } } } ptanh { mlp.bιas->output_auto { parameter 0.5 } WeightWatcher { } 125 Active { F } pid { MaxWeight { 1 } parameter 0.5 MinWeight { 0 } } } } LoadWeightsLocal {
Norm { NoNorm 130 Filename { std } } } mlp.back32 { SaveWeightsLocal { ActFunction { Filename { std } sei tanh } plogistic { 135 Alive { T } arameter 0.5 } WtFreeze { F } } AllowPruning { F } ptanh { EtaModifier { 1 } parameter 0.5 } Penalty { NoPenalty } } 140 } pid { mlp. future6->fmal6 { parameter 0.5 LoadWeightsLocal {
Filename { std } }
Norm { NoNorm 145 SaveWeightsLocal { } Filename { std } mlp.back21 {
ActFunction { Alive T } WtFreeze { F } 75 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp.bιas->fιnal6 { 80 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->fmal3 {
Filename { std } 85 LoadWeightεLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } 90 ) Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp. future5->fιnal5 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 95 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.future2->fιnal2 {
Filename { std } LoadWeightεLocal { } Filename { std }
Alive { T } 100 } WtFreeze { F } SaveWeightεLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } 105 WtFreeze { F } mlp.bιas->fmal5 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 110 mlp.bιas->fιnal2 {
Filename { std } LoadWeightsLocal { ) Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 115 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp. future4->fmal4 { AllowPruning { F ) LoadWeightsLocal { 120 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp. futurel->fιnall {
Filename { std } LoadWeightsLocal { } 125 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 130 Alive { T } } WtFreeze { F } mlp.bιas->fιnal4 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 135 } SaveWeightsLocal { mlp.bιas->fιnall {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } 140 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp. future3->fmal3 { 145 AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } mlp.mput_auto->bottleneck { 75 Alive { T } WeightWatcher { WtFreeze { F }
Active { F } AllowPruning { F }
MaxWeight { 1 } EtaModifier { 1 }
MinWeight { 0 } Penalty { NoPenalty } } 80 } LoadWeightsLocal { mlp.bιas->future5 {
Filename { std } LoadWeightsLocal { } Filename { std } SaveWeightsLocal { }
Filename { std } 85 SaveWeightεLocal { } Filename { std J
Alive { T } } WtFreeze { F } Alive { T } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } 90 AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } Penalty { NoPenalty } mlp.bιas->bottleneck { } WeightWatcher { mlp.state34->future4 {
Active { F } 95 LoadWeightsLocal {
MaxWeight { 1 } Filename { std }
MinWeight { 0 } } } SaveWeightεLocal { LoadWeightsLocal { Filename { std }
Filename { std } 100 } } Alive { T } SaveWeightεLocal { WtFreeze { F }
Filename { std } AllowPrumng { F } } EtaModifier { 1 }
Alive { T } 105 Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } mlp.bιas->future4 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } 110 } mlp.state56->future6 { SaveWeightsLocal { WeightWatcher { Filename { std )
Active { F } }
MaxWeight { 1 } Alive { T }
MinWeight { 0 } 115 WtFreeze { F } } AllowPrumng { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 120 mlp.εtate23->future3 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 125 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.bιas->future6 { AllowPruning { F } LoadWeightsLocal { 130 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->future3 {
Filename { std } LoadWeightsLocal { } 135 Filename { std }
Alive { T } } WtFreeze { F SaveWeightsLocal { AllowPruning { F Filename { std } EtaModifier { 1 } }
Penalty { NoPenalty } 140 Alive { T }
} WtFreeze { F } mlp. εtate45->future5 { AllowPruning { F } LoadWeightεLocal { EtaModifier { 1 }
Filename { εtd } Penalty { NoPenalty } } 145 } SaveWeightεLocal { mlp.statel2->future2 {
Filename { std } LoadWeightsLocal {
Filename { std } 75 }
SaveWeightsLocal { mlp.bιaε->present {
Filename { std } LoadWeightεLocal { } Filename { std }
Alive { T } } WtFreeze { F } 80 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.bιas->future2 { 85 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.ιnputl->pastl {
Filename { std } 90 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightεLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 95 } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.state01->futurel { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 100 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.state21->pastl {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 105 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 1 Penalty { NoPenalty } Alive { T } } 110 WtFreeze { F } mlp.bιas->futurel { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 115 mlp.bιas->pastl {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 120 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp. mputO->present { AllowPruning { F } LoadWeightsLocal { 125 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.backlO->pastl {
Filename { std } WeightWatcher { } 130 Active { F }
Alive { T } MaxWeight { 1 } WtFreeze { F } MinWeight { 0 } AllowPruning { F } } EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } 135 Filename { std } } } mlp.statelO->present { SaveWeightsLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } 140 Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } 145 } AllowPruning { F } mlp. mput2->past2 { EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } 75 }
SaveWeightsLocal { mlp.bιas->past3 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } 80 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.state32->past2 { 85 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.back32->past3 {
Filename { std } 90 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 95 } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.bιaε->past2 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { εtd } 100 Penalty { NoPenalty } } } SaveWeightsLocal { mlp . mput4->paεt4 {
Filename { εtd } LoadWeightsLocal { 1 Filename { std }
Alive { T } 105 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } 110 WtFreeze { F } mlp.back21->past2 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 115 mlp. state54->paεt4 {
Filename { std } LoadWeightεLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 120 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.ιnput3->past3 { AllowPruning { F } LoadWeightsLocal { 125 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.bιas->past4 {
Filename { std } LoadWeightsLocal { } 130 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning ( F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } 135 Alive { T } } WtFreeze { F } mlp.state43->past3 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { εtd } Penalty { NoPenalty } } 140 } SaveWeightsLocal { mlp.back43->past4 {
Filename { εtd } LoadWeightsLocal { } Filename { std }
Alive { T } WtFreeze { F } 145 SaveWeightεLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } WtFreeze { F } 75 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp.ιnput5->past5 { 80 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.back65->paεt6 {
Filename { std } 85 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 90 } Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp. state65->past5 { AllowPrumng { F } LoadWeightεLocal { EtaModifier { 1 }
Filename { εtd } 95 Penalty { NoPenalty } } } SaveWeightsLocal { mlp. extern65->state65 {
Filename { std } WeightWatcher { } Active { F }
Alive { T } - 100 MaxWeight { 1 } WtFreeze { F } MinWeight { 0 } AllowPruning { F } } EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } 105 } mlp.bιaε->paεt5 { SaveWeightsLocal { LoadWeightεLocal { Filename { std }
Filename { εtd } } } Alive { T } SaveWeightεLocal { 110 WtFreeze { F }
Filename { εtd } AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } } AllowPruning { F } 115 mlp.past6->state65 { EtaModifier { 1 } WeightWatcher { Penalty { NoPenalty } Active { F } } MaxWeight { 1 } mlp.back54->past5 { MinWeight { 0 } LoadWeightsLocal { 120 }
Filename { std } LoadWeightsLocal { } Filename { std } SaveWeightsLocal { }
Filename { std } SaveWeightsLocal { } 125 Filename { std }
Alive { T } } WtFreeze { F } Alive { T } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } 130 EtaModifier { 1 } } Penalty { NoPenalty } mlp.mput6->past6 { } LoadWeightsLocal { mlp. extern54->state54 {
Filename { εtd } LoadWeightsLocal { } 135 Filename { std } SaveWeightεLocal { }
Filename { std } SaveWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } 140 Alive { T } AllowPruning { F } WtFreeze { F } EtaModifier { 1 } AllowPruning { F } Penalty { NoPenalty } EtaModifier { 1 } } Penalty { NoPenalty } mlp.bιas->past6 { 145 } LoadWeightsLocal { mlp.past5->state54 {
Filename { std } LoadWeightsLocal { } Filename { std } 75 Alive { T }
SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty } WtFreeze { F } 80 } AllowPruning { F } mlp.past3->state32 { EtaModifier { I } LoadWeightsLocal { Penalty { NoPenalty } Filename { std } } } mlp. state65->state54 { 85 SaveWeightsLocal { WeightWatcher { Filename { std }
Active { F } }
MaxWeight { 1 } Alive { T }
MinWeight { 0 } WtFreeze { F } } 90 AllowPruning { F } LoadWeightεLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightεLocal { mlp.Ξtate43->state32 {
Filename { εtd } 95 LoadWeightεLocal { } Filename { εtd }
Alive { T } } WtFreeze { F } ΞaveWeightεLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 100 } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp. extern43->εtate43 { AllowPrumng { F } LoadWeightεLocal { EtaModifier { 1 }
Filename { std } 105 Penalty { NoPenalty } } } SaveWeightsLocal { mlp. extern21->state21 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 110 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } 115 WtFreeze { F } mlp.past4->state43 { AllowPruning { F } LoadWeightεLocal { EtaModifier { 1 }
Filename { εtd } Penalty { NoPenalty } } } SaveWeightaLocal { 120 mlp.past2->state21 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPrumng { F } 125 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.state54->state43 { AllowPruning { F } LoadWeightsLocal { 130 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.state32->state21 {
Filename { std } LoadWeightsLocal { } 135 Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } > Penalty { NoPenalty } 140 Alive { T } } WtFreeze { F } mlp.extern32->state32 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 145 } SaveWeightsLocal { mlp. externl0->statel0 {
Filename { std } LoadWeightsLocal {
Filename { std } 75 }
SaveWeightsLocal { mlp.statel2->state23 {
Filename { εtd } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } 80 SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.pastl->statelO { 85 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.state23->εtate34 {
Filename { std } 90 LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightεLocal { AllowPruning { F } Filename { εtd } EtaModifier { 1 } 95 } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.εtate21->statel0 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 100 Penalty { NoPenalty } } } SaveWeightsLocal { mlp.state34->state45 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 105 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } 110 WtFreeze { F } mlp.present->state01 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 115 mlp. state45->state56 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive [ T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 120 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.statel0->state01 { AllowPruning { F } LoadWeightsLocal { 125 EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.past5->back65 {
Filename { std } WeightWatcher { } 130 Active { F }
Alive { T } MaxWeight { 1 } WtFreeze { F } MinWeight { 0 } AllowPruning { F } } EtaModifier { 1 } LoadWeightsLocal { Penalty { NoPenalty } 135 Filename { std } mlp.state01->statel2 { SaveWeightεLocal { LoadWeightsLocal { Filename { std }
Filename { std } } } 140 Alive { T } SaveWeightsLocal { WtFreeze { F }
Filename { std } AllowPruning { F } } EtaModifier { 1 }
Alive { T } Penalty { NoPenalty WtFreeze { F } 145 } AllowPrumng { F } mlp.back54->back65 { EtaModifier { 1 } WeightWatcher { Penalty { NoPenalty } Active { F } MaxWeight { 1 } 75 Alive { T } MinWeight { 0 } WtFreeze { F }
} AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } 80 }
SaveWeightsLocal { mlp.back21->back32 {
Filename { std } LoadWeightsLocal {
} Filename { std }
Alive { T } } WtFreeze { F } 85 SaveWeightsLocal { AllowPrumng { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } WtFreeze { F } mlp.past4->back54 { 90 AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { mlp.pastl->back21 {
Filename { std } 95 LoadWeightsLocal {
} Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } 100 } Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp.back43->back54 { AllowPruning { F }
LoadWeightsLocal { EtaModifier { 1 }
Filename { std } 105 Penalty { NoPenalty }
} } SaveWeightsLocal { mlp.backl0->back21 {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } 110 } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T } } 115 WtFreeze { F } mlp.past3->back43 { AllowPruning { F } LoadWeightsLocal { EtaModifier { 1 }
Filename { std } Penalty { NoPenalty } } } SaveWeightsLocal { 120 mlp.present->backlO {
Filename { std } LoadWeightsLocal { } Filename { std }
Alive { T } } WtFreeze { F } SaveWeightsLocal { AllowPruning { F } 125 Filename { std } EtaModifier { 1 } } Penalty { NoPenalty } Alive { T }
} WtFreeze { F } mlp.back32->back43 { AllowPruning { F } LoadWeightεLocal { 130 EtaModifier { 1 } Filename { εtd } Penalty { NoPenalty } }
SaveWeightsLocal { Filename { std } AnySave { } 135 file name f.CCMenu.dat
Alive { T } WtFreeze { F } AnyLoad { AllowPruning { F } file name { f.CCMenu.dat EtaModifier { 1 } } Penalty { NoPenalty } 140 } } RecPar { mlp.past2->back32 { decay_c { 1 } LoadWeightsLocal { delta_t { 0.1 } Filename { std } epsilon { 0.01 }
} 145 max_ιter { 1 }
SaveWeightsLocal { show { F } Filename { std } Reset_Errors { F } } TestRun {
Filename { Test }
Part.Transformed { F } } Online {
Filename { Online.dat }
In diesem Dokument sind folgende Veröffentlichungen zitiert:
[1] S. Hayken, Neural Networks: A Comprehensive Foundation, Mc Millan College Publishing Company, Second Edition, ISBN 0-13-273350-1, S. 732-789, 1999.
[2] H. Rehkugler und H. G. Zimmermann, Neuronale Netze in der Ökonomie, Grundlagen und finanzwirtschaftliche Anwendungen, Verlag Franz Vahlen München, ISBN 3-8006-1871-0, S. 3-90, 1994;
[3] J. Hirschberg, Pitch accent in context: predicting intonational prominence fro text, Artificial Intelli- gence 63, S. 305-340, Elsevier, 1993;
[4] K. Ross et al., Prediction of abstract prosodic labeis for speech synthesis, Computer Speech and Language, 10,
S. 155-185, 1996;
[5] R. Haury et al., Optimisation of a Neural Network for Pitch Contour Generation, ICASSP, Seattle, 1998;
[6] C. Traber, F0 generation with a database of natural F0 patterns and with a neural network, G. Bailly and C. Be- noit eds . , Talking Machines: Theories, Models and Applications, Elsevier, 1992;
[7] E. Heuft et al . , Parametric Description of FO-Contours in a Prosodic Database, Proc. ICPHS, Vol. 2, S. 378-381, 1995;
[8] C. Erdem, Topologieopti ierung eines Neuronalen Netzes zur Generierung von FO-Verlaeufen durch Integration unterschiedlicher Codierungen, Tagungsband ESSV, Cottbus, 2000.

Claims

Patentansprüche
1. Verfahren zur rechnergestützten Abbildung mehrerer zeitlich veränderlicher Zustandsbeschreibungen, die jeweils einen zeitlich veränderlichen Zustand eines dynamischen Systems zu einem zugehörigen Zeitpunkt in einem Zustandsraum beschreiben, welches dynamische System eine Eingangsgröße auf eine zugehörige Ausgangsgröße abbildet, mit folgenden Schritten
a) es wird durch eine erste Abbildung eine erste Zustandsbeschreibung in einem ersten Zustandsraum abgebildet auf eine zweite Zustandsbeschreibung in einem zweiten Zustandsraum, b) bei der ersten Abbildung wird die zweite Zustandsbeschrei- bung eines zeitlich früheren Zustands berücksichtigt, c) es wird durch eine zweite Abbildung die zweite Zustandsbeschreibung abgebildet auf eine dritte Zustandsbeschreibung in dem ersten Zustandsraum, dadurch gekennzeichnet, dass d) die erste Zustandsbeschreibung durch eine dritte Abbildung abgebildet wird auf eine vierte Zustandsbeschreibung in dem zweiten Zustandsraum, e) bei der dritten Abbildung die vierte Zustandsbeschreibung eines zeitlich späteren Zustands berücksichtigt wird und f) die vierte Zustandsbeschreibung durch eine vierte Abbildung abgebildet wird auf die dritte Zustandsbeschreibung, wobei die Abbildungen derart angepasst sind, dass die Abbildungen der ersten Zustandsbeschreibung auf die dritte Zustandsbeschreibung die Abbildung der Eingangsgröße auf die zugehörige Ausgangsgröße mit einer vorgegebenen Genauigkeit beschreiben.
2. Verfahren nach Anspruch 1, bei dem die mehreren zeitlich veränderlichen Zustandsbe- Schreibungen einen dynamischen Prozess, welcher durch eine ökonomische Kennzahl beschreibbar ist, beschreiben.
ÜO cυ ) t\_ o o Cπ o Cπ
Figure imgf000152_0001
gangsgröße auf die zugehörige Ausgangsgröße mit einer vorgegebenen Genauigkeit beschreiben.
4. Anordnung nach Anspruch 3, bei der zumindest ein Teil der Abbildungseinheiten künstliche Neuronen sind.
5. Anordnung nach Anspruch 3 oder 4, bei der eine zeitlich veränderliche Zustandsbeschreibung ein. Vektor vorgebbarer Dimension ist.
6. Anordnung nach Ansprüche 1 bis 5, mit einer Messanordnung zur Erfassung physikalischer Signale, mit denen das dynamische System beschrieben wird.
7. Anordnung nach Anspruch 6, eingesetzt zur Ermittlung einer Dynamik eines Elekro-Kardio- Gramms .
8. Anordnung nach einem der Ansprüche 3 bis 7, eingesetzt bei einer Sprachbearbeitung, wobei die Eingangsgröße eine erste Sprachinformation eines zu sprechenden Wortes und/oder eine zu sprechende Silbe ist und die Ausgangsgröße eine zweite Sprachinformation des zu sprechenden Wortes und/oder der zu sprechenden Silbe ist.
9. Anordnung nach Anspruch 8, bei der die erste Sprachinformation eine Klassifikation des zu sprechenden Wortes und/oder der zu sprechenden Silbe und/oder eine Pauseninformation des zu sprechenden Wortes und/oder der zu sprechenden Silbe umfasst und/oder die zweite Sprachinformation eine Akzentuierungsinformation des zu sprechenden Wortes und/oder der zu sprechenden Silbe umfasst.
10. Anordnung nach Anspruch 9, bei der die erste Sprachinformation eine phonetische und/oder strukturelle Information des zu sprechenden Wortes und/oder to ro Cπ o Cπ o Cπ Cπ
Hi φ α Ω tr P P f cn tr cn P1 rt P-
"*"*' tr d rt φ rt P1 Φ d Φ tr cn d P cn : Cn Hi H cn < rt 3 d cn P. rt 3 cn N rt 3 H- tr d tsi P- Φ rt 3 P- rt . d Ω rt O
Ω P- Φ P- rt cn d Ω H Φ P- Ω Φ p- cn d P d d cn H φ P- Φ rt tr N d l-i N
Pf Φ rt rt P- Ω P f P- rt rt tr φ rt rt rt d cn cn rt cn rt rt 3 l-i rt φ d 3 d
H l-i LP tr cn 1-5 rt H P- "«* LP cn rt rt Φ P- φ φ Φ l-i P φ rt P- Φ tr H cn Φ rt P- Φ φ rt p- Φ P P Φ P- Φ rt Φ d P- P- d Hi rt ω
P- φ cn P- P φ P- P- Φ cn P- P- Φ cn P- Φ tr P- d d d cn P- ^ P- d tr P O P- Xf tr rt d r . P- tr φ tr rt d tr rt d P- φ φ Hi rt d d Φ φ d tr Φ d g Φ d ^ S tr O H d g Φ ü Φ d φ d l-i P- d P- d ι-i g Φ d p- cn tS! Φ Z φ P- cn d d Φ φ i-i Φ d l-i Φ d LQ tr Φ l-i Ω
L ^Q tr cn d ι-i LP tr LQ tr cn H P P- cn P" c_ Φ Φ P- d Φ tr
P- P <! rt LQ p- P- P P. P- P N Φ cn d d rt P Φ Ω P- 3 ^ d P- Φ cn P- "• φ rt P- tn H P- cn z N H rt 3 φ P cn ι-ϊ Pf d d N φ d d cn φ φ H rt d cn P- d p. cn φ φ Φ "* d cn cn Φ LP tS! P d d l-i φ d H P- Φ d rt d P- P- Φ tsi P. rt P d 3 d 3 Φ d P. rt d . d P. rt d rt rt H g Z cn Φ Φ cn g d P- P- LP N *1 d ιQ P- Φ φ r. g Φ LQ P- Φ Φ ιQ p- Φ cn φ H p- d LP rt cn Φ P_ d l-i φ cn P- 3 φ d 3 φ d P- rt tr P- P d o cn P Ω 3 H φ Ui
P g rt tr P P Ω Φ P- rt d φ g l-i LP d tr l_l- Φ P cn iP P- tr <i N rt P- N tr φ [JJ φ tr N g tr d P" Φ 3 l-i Φ φ tr P- X) d - tr P- tr φ Φ P" z tr H o" ι-i tr z. Φ tr d O: cn d z H d l-i Φ tr
P- Φ P- P- d Φ P- cn tr ω P- φ tr Hi g d tsi H P- d Go ι-i φ Φ P- φ d Φ
P1 H P" rt d P- rt P- rt P" p- P- H d d d cn d Φ P ω P- l-i d Ω N rt g d rt α Φ * Φ rt : tr iQ cn H rt LP d ^< Φ LP tr P- ! tr Φ d P- LQ Φ tr d tr Φ P. tr P- cn rt Ω Φ d P 3 cn cn H Φ d
P d d Ω tr cn d P tsi d P d φ φ P tr d Hi d rt φ d Hi Hi ι-i LQ tr P- φ H d d t i H tsi d l-i P- d ' tsi iQ o Hi tr Φ φ N P- O P
CSI cn P- tsi ω ιQ d d LQ φ d d Φ d cn Φ 3 P- Φ d Φ H cn
P- d Φ cn P. d d P- rt cn cn P- cn cn d d pf cn P- cn φ iQ Φ cn cn d P- φ d 3 cn cn cn p- xs d tr cn cn P φ rt cn rt φ L φ tr d rt P- Φ P- Ω Φ rt l-i P rt rt rt d (D: d φ rt rt d P- P rt P P- tsi P- Φ Φ P d d d tr N d t/_ rt
P r rt LP P- P d d d d d . rt cn d f Φ H d P- P- P- d
P d Φ Φ rt d P cn tr P pf cn P- Ω Φ φ Φ Φ tSJ Ω & P" O d d α P- i-i d tr φ cn d cn φ rt φ pf H cn P- N P- Φ Φ pf o tr d
Hi cn rt Φ P- P. cn Hi Φ P- H Hi tr P- P Φ ι-i cn tr rt ^ d tr P- P- l-i Φ tr "^ d φ Φ ι-{ cn rt P φ rt d N H Φ rt φ *^ o LQ Φ d rt <i . o φ H P φ O •* d Φ cn •* z P P- Φ cn 3 Φ d φ (-" φ d g
P- cn P. tsi <J P d P- tr 3 P- Ω cn φ H tr Ω Ό tr 3 P- l-i d cn φ Ω P- d P- H 3 d H P. ^ d Pf P- rt d g f P- o O: Ω p: d Hi H r φ cn φ rt φ Φ P- Φ H P- tr rt d H φ d ι-( s: N Pf d iQ P N
H rt H P- Φ Φ Φ Φ Φ Φ P tr φ Φ P- Φ d cn d
H Φ P. P rt Φ < tr P. P- H P- P- H- d LQ LQ Φ N cn P-
P- P- φ d Φ P- P- d H tr d: tsi d P- tr Φ rt Φ Ω φ Φ l-i d rt cn φ rt tr H d φ d Φ P- d Φ Ω d LP d d H Φ tr pr H H • Xf rt d P cn N P l-i P H rt d H W cn Φ d d P d > Φ O: p: P- ι-i N
Φ d H d Φ rt P rt LP P cn rt H Φ d ιQ H d cn l-i d Ω l-i Φ s: ιQ rt tr cn H Φ H Φ H P- P P- P- LQ rt P cn P- r φ Ω tsi φ rt P- d rt rt Ω d Ω d P- d LQ LQ φ Φ Ω pf P- d . Φ ι-i P Ω tsi H tsi d Pf tr Φ P d Φ Hi P ^< φ l-i l-i tr φ rt ω d P- d: d pf d Ω Φ d H φ rt cn rt 3 tr P- Z d d d H d d Φ rt H d Ω rt cn pf P- cn Ω P- P- tr Φ tr Φ d φ iQ P P- tS3 Φ
P Ω LQ cn Φ rt d rt tr d LQ Φ rt N P- P- iQ P- cn 3 tsi Ω d l-i Φ ω d tr Φ cn tr rt P Φ LQ P ι tr cn z d Φ cn LQ P- φ tr cn iQ d xf
H P- φ d P- Φ d Φ φ P Ω P- φ φ ι-i rt H ω P- Φ rt φ ι-i cn Φ P- Ω 1 P- d H P- r . H Pf cn P- tr 3 P- O: Ω rt d P 1 S! P tr P- Ω tr cn cn Φ P- cn d P- H rt rt P Ω &α pf 1 d O Ω φ d r 1 rt tr Ω σ Φ Ω Φ Φ H tr Φ φ tSJ H f
1 Φ 1 φ tr φ tr P- d 1 d cn 1 1
1 1 1 1 1 1 1
Cπ
Figure imgf000155_0001
Figure imgf000155_0002
PCT/DE2001/003731 2000-09-29 2001-09-28 Verfahren und anordnung zur rechnergestützten abbildung mehrerer zeitlich veränderlicher zustandsbeschreibungen und verfahren zum training einer solchen anordnung WO2002027654A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/381,818 US20040030663A1 (en) 2000-09-29 2001-09-28 Method and assembly for the computer-assisted mapping of a plurality of temporarly variable status descriptions and method for training such an assembly
JP2002531358A JP2004523813A (ja) 2000-09-29 2001-09-28 時間的に変化する複数の状態記述を計算器支援してマッピングするための方法および装置、並びにそのような装置のトレーニング方法
EP01978185A EP1384198A2 (de) 2000-09-29 2001-09-28 Verfahren und anordnung zur rechnergestützten abbildung mehrerer zeitlich veränderlicher zustandsbeschreibungen und verfahren zum training einer solchen anordnung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10048468.9 2000-09-29
DE10048468 2000-09-29

Publications (2)

Publication Number Publication Date
WO2002027654A2 true WO2002027654A2 (de) 2002-04-04
WO2002027654A3 WO2002027654A3 (de) 2003-11-27

Family

ID=7658206

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2001/003731 WO2002027654A2 (de) 2000-09-29 2001-09-28 Verfahren und anordnung zur rechnergestützten abbildung mehrerer zeitlich veränderlicher zustandsbeschreibungen und verfahren zum training einer solchen anordnung

Country Status (4)

Country Link
US (1) US20040030663A1 (de)
EP (1) EP1384198A2 (de)
JP (1) JP2004523813A (de)
WO (1) WO2002027654A2 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10324045B3 (de) * 2003-05-27 2004-10-14 Siemens Ag Verfahren sowie Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Ermittlung eines zukünftigen Systemverhaltens eines dynamischen Systems
WO2005081076A2 (de) * 2004-02-24 2005-09-01 Siemens Aktiengesellschaft Verfahren, zur prognose eines brennkammerzustandes unter verwendung eines rekurrenten, neuronalen netzes
DE102004059684B3 (de) * 2004-12-10 2006-02-09 Siemens Ag Verfahren und Anordnung sowie Computerprogramm mit Programmmcode-Mitteln und Computerprogramm-Produkt zur Ermittlung eines zukünftigen Systemzustandes eines dynamischen Systems

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463441B2 (en) 2002-12-09 2013-06-11 Hudson Technologies, Inc. Method and apparatus for optimizing refrigeration systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3444067A1 (de) * 1984-12-03 1986-11-13 Wilhelm Dipl.-Ing.(TH) 3392 Clausthal-Zellerfeld Caesar Verfahren und einrichtung zur erzielung eines neuartigen rueckversetzungs- und repitiereffekts
EP0582885A2 (de) * 1992-08-05 1994-02-16 Siemens Aktiengesellschaft Verfahren zur Klassifizierung von Feldmustern
DE4328896A1 (de) * 1992-08-28 1995-03-02 Siemens Ag Verfahren zum Entwurf eines neuronalen Netzes
EP1074900A1 (de) * 1999-08-02 2001-02-07 Siemens Building Technologies AG Prädikative Einrichtung zum Regeln oder Steuern von Versorgungsgrössen

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4901004A (en) * 1988-12-09 1990-02-13 King Fred N Apparatus and method for mapping the connectivity of communications systems with multiple communications paths
DE4215179A1 (de) * 1991-05-08 1992-11-12 Caterpillar Inc Prozessor und verarbeitendes element zum gebrauch in einem neural- oder nervennetzwerk
US5416899A (en) * 1992-01-13 1995-05-16 Massachusetts Institute Of Technology Memory based method and apparatus for computer graphics
TW284866B (de) * 1994-07-08 1996-09-01 Philips Electronics Nv

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3444067A1 (de) * 1984-12-03 1986-11-13 Wilhelm Dipl.-Ing.(TH) 3392 Clausthal-Zellerfeld Caesar Verfahren und einrichtung zur erzielung eines neuartigen rueckversetzungs- und repitiereffekts
EP0582885A2 (de) * 1992-08-05 1994-02-16 Siemens Aktiengesellschaft Verfahren zur Klassifizierung von Feldmustern
DE4328896A1 (de) * 1992-08-28 1995-03-02 Siemens Ag Verfahren zum Entwurf eines neuronalen Netzes
EP1074900A1 (de) * 1999-08-02 2001-02-07 Siemens Building Technologies AG Prädikative Einrichtung zum Regeln oder Steuern von Versorgungsgrössen

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10324045B3 (de) * 2003-05-27 2004-10-14 Siemens Ag Verfahren sowie Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Ermittlung eines zukünftigen Systemverhaltens eines dynamischen Systems
WO2004107066A1 (de) * 2003-05-27 2004-12-09 Siemens Aktiengesellschaft Verfahren sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur ermittlung eines zukünftigen systemverhaltens eines dynamischen systems
US7464061B2 (en) 2003-05-27 2008-12-09 Siemens Aktiengesellschaft Method, computer program with program code means, and computer program product for determining a future behavior of a dynamic system
WO2005081076A2 (de) * 2004-02-24 2005-09-01 Siemens Aktiengesellschaft Verfahren, zur prognose eines brennkammerzustandes unter verwendung eines rekurrenten, neuronalen netzes
WO2005081076A3 (de) * 2004-02-24 2006-03-02 Siemens Ag Verfahren, zur prognose eines brennkammerzustandes unter verwendung eines rekurrenten, neuronalen netzes
DE102004059684B3 (de) * 2004-12-10 2006-02-09 Siemens Ag Verfahren und Anordnung sowie Computerprogramm mit Programmmcode-Mitteln und Computerprogramm-Produkt zur Ermittlung eines zukünftigen Systemzustandes eines dynamischen Systems

Also Published As

Publication number Publication date
JP2004523813A (ja) 2004-08-05
US20040030663A1 (en) 2004-02-12
EP1384198A2 (de) 2004-01-28
WO2002027654A3 (de) 2003-11-27

Similar Documents

Publication Publication Date Title
EP2649567B1 (de) Verfahren zur rechnergestützten modellierung eines technischen systems
EP2135140B1 (de) Verfahren zur rechnergestützten steuerung und/oder regelung eines technischen systems
EP2097793B1 (de) Verfahren zur rechnergestützten steuerung und/oder regelung eines technischen systems
AT511577B1 (de) Maschinell umgesetztes verfahren zum erhalten von daten aus einem nicht linearen dynamischen echtsystem während eines testlaufs
EP2112568A2 (de) Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
EP1145192B1 (de) Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
EP1021793A2 (de) Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
DE112020006021T5 (de) Auf maschinelles lernen basierendes verfahren und vorrichtung für die berechnung und verifizierung von verzögerungen des entwurfs integrierter schaltungen
DE202018102632U1 (de) Vorrichtung zum Erstellen einer Modellfunktion für ein physikalisches System
DE112020003050T5 (de) Fehlerkompensation in analogen neuronalen netzen
WO2002027654A2 (de) Verfahren und anordnung zur rechnergestützten abbildung mehrerer zeitlich veränderlicher zustandsbeschreibungen und verfahren zum training einer solchen anordnung
DE10324045B3 (de) Verfahren sowie Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Ermittlung eines zukünftigen Systemverhaltens eines dynamischen Systems
WO2003025851A2 (de) Verfahren und anordnung zur ermittlung eines aktuellen ertsten zustands einer ersten zeitlichen abfolge von jeweils ersten zuständen eines dynamisch veränderlichen systems
EP1145190B1 (de) Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente
WO2022058140A1 (de) Steuerung eines technischen systems mit einer recheneinheit für künstliche intelligenz
DE102008014126B4 (de) Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes
DE10150914C1 (de) Verfahren zur strukturellen Analyse und Korrektur eines mittels einer Computersprache beschriebenen Differentialgleichungssystems
WO2000003355A2 (de) Neuronales netz und verfahren und anordnung zum trainieren eines neuronalen netzes
DE10047172C1 (de) Verfahren zur Sprachverarbeitung
EP1194890B1 (de) Anordnung und verfahren sowie computerprogramm-erzeugnis und computerlesbares speichermedium zur rechnergestützten kompensation eines ungleichgewichtszustands eines technischen systems
EP1114398B1 (de) Verfahren zum trainieren eines neuronalen netzes, verfahren zur klassifikation einer folge von eingangsgrössen unter verwendung eines neuronalen netzes, neuronales netz und anordnung zum trainieren eines neuronalen netzes
DE10325513A1 (de) Verfahren und Vorrichtung zum Erstellen eines Modells einer Schaltung zur formalen Verifikation
EP1483634B1 (de) Verfahren zur simulation eines technischen systems und simulator
WO2003079285A2 (de) Verfahren und anordnung sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur gewichtung von eingangsgrössen für eine neuronale struktur sowie neuronale struktur
EP1190383B1 (de) Verfahren zur rechnergestützten ermittlung einer zugehörigkeit einer vorgegebenen eingangsgrösse zu einem cluster

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): CN JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2001978185

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10381818

Country of ref document: US

Ref document number: 2002531358

Country of ref document: JP

WWP Wipo information: published in national office

Ref document number: 2001978185

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2001978185

Country of ref document: EP