WO2000055809A2

WO2000055809A2 - Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente

Info

Publication number: WO2000055809A2
Application number: PCT/DE2000/000632
Authority: WO
Inventors: Ralf Neuneier; Hans-Georg Zimmermann
Original assignee: Siemens Aktiengesellschaft
Priority date: 1999-03-03
Filing date: 2000-03-01
Publication date: 2000-09-21
Also published as: EP1145192B1; DE50002165D1; EP1145192A3; JP2002539567A; WO2000055809A3; EP1145192A2; US6728691B1

Abstract

Bei der Anordnung und bei den Verfahren sind Rechenelemente derart miteinander verbunden, daß bei einer ersten Unteranordnung mit einem zugehörigen ersten Eingangsrechenelement, dem Zeitreihenwerte, welche jeweils einen Zustand eines Systems in einem ersten Zustandsraum zu einem Zeitpunkt beschreiben, zuführbar sind, und einem zugehörigen ersten Zwischenrechenelement, mit welchem ein Zustand des Systems in einem zweiten Zustandsraum zu einem Zeitpunkt beschreibbar ist, das erste Eingangsrechenelement und das erste Zwischenrechenelement miteinander verbunden sind. Bei einer zweiten Unteranordnung mit einem zugehörigen zweiten Zwischenrechenelement, mit welchem ein Zustand des Systems in dem zweiten Zustandsraum zu einem Zeitpunkt beschreibbar ist, und einem zugehörigen ersten Ausgangsrechenelement, an dem ein erstes Ausgangssignal abgreifbar ist, sind das zweite Zwischenrechenelement und das erste Ausgangsrechenelement miteinander verbunden.

Description

Beschreibung

Anordnung miteinander verbundener Rechenelemente, Verfahren zur rechnergestützten Ermittlung einer Dynamik, die einem dy- namischen Prozeß zugrunde liegt und Verfahren zum rechnergestützten Trainieren einer Anordnung miteinander verbundener Rechenelemente

Die Erfindung betrifft eine Anordnung miteinander verbundener Rechenelemente, Verfahren zur rechnergestützten Ermittlung einer Dynamik, die einem dynamischen Prozeß zugrunde liegt sowie ein Verfahren zum rechnergestützten Trainieren einer Anordnung miteinander verbundener Rechenelemente.

Aus [1] ist es bekannt, zur Ermittlung einer Dynamik, die einem dynamischen Prozeß zugrunde liegt, eine Anordnung miteinander verbundener Rechenelemente einzusetzen.

Allgemein wird ein dynamischer Prozeß üblicherweise durch ei- ne Zustandsübergangsbeschreibung, die für einen Beobachter des dynamischen Prozesses nicht sichtbar ist, und eine Ausgangsgleichung, die beobachtbare Größen des technischen dynamischen Prozesses beschreibt, beschrieben.

Eine solche Struktur ist in Fig.2 dargestellt.

Ein dynamisches System 200 unterliegt dem Einfluß einer externen Eingangsgröße u vorgebbarer Dimension, wobei eine Eingangsgröße ut zu einem Zeitpunkt t mit u-_f- bezeichnet wird:

^ut 5R-

wobei mit 1 eine natürliche Zahl bezeichnet wird.

Die Eingangsgröße u^ zu einem Zeitpunkt t verursacht eine

Veränderung des dynamischen Prozesses, der in dem dynamischen System 200 abläuft. Ein innerer Zustand st ( s-^ e 9ϊ^m ) vorgebbarer Dimension m zu einem Zeitpunkt t ist für einen Beobachter des dynamischen Systems 200 nicht beobachtbar.

In Abhängigkeit vom inneren Zustand s und der Eingangsgröße u-t wird ein Zustandsübergang des inneren Zustandes st des dynamischen Prozesses verursacht und der Zustand des dynamischen Prozesses geht über in einen Folgezustand s-t₊i zu einem folgenden Zeitpunkt t+1.

Dabei gilt:

wobei mit f (.) eine allgemeine Abbildungsvorschrift bezeichnet wird.

Eine von einem Beobachter des dynamischen Systems 200 beob- achtbare Ausgangsgröße y^ zu einem Zeitpunkt t hängt ab von der Eingangsgröße u-^ sowie dem inneren Zustand s-_j-.

Die Ausgangsgröße y^ ( yt e 9*ⁿ ) ist vorgebbarer Dimension n.

Die Abhängigkeit der Ausgangsgröße y-j- von der Eingangsgröße u-t und dem inneren Zustand s^ des dynamischen Prozesses ist durch folgende allgemeine Vorschrift gegeben:

Yt = g(sf ^ut)'

wobei mit g(.) eine allgemeine Abbildungsvorschrift bezeichnet wird.

Zur Beschreibung des dynamischen Systems 200 wird in [1] eine Anordnung miteinander verbundener Rechenelemente in Form eines neuronalen Netzes miteinander verbundener Neuronen einge- setzt. Die Verbindungen zwischen den Neuronen des neuronalen Netzes sind gewichtet. Die Gewichte des neuronalen Netzes sind in einem Parametervektor v zusammengefaßt.

Somit hängt ein innerer Zustand eines dynamischen Systems, welches einem dynamischen Prozeß unterliegt, gemäß folgender Vorschrift von der Eingangsgröße u-^ und dem inneren Zustand des vorangegangenen Zeitpunktes s-j- und dem Parametervektor v ab:

st +1 = N*^' ^st'^ut)'

wobei mit NN ( . ) eine durch das neuronale Netz vorgegebene Abbildungsvorschrift bezeichnet wird.

Aus [2] ist eine als Time Delay Recurrent Neural Network (TDRNN) bezeichnete Anordnung bekannt.

Das bekannte TDRNN ist in Fig.5 als ein über eine endliche Anzahl von Zeitpunkten (dargestellt 5 Zeitpunkte: t-4, t-3, t-2, t-1, t) entfaltetes neuronales Netz 500 dargestellt.

Das in Fig.5 dargestellte neuronale Netz 500 weist eine Eingangsschicht 501 mit fünf Teileingangsschichten 521, 522, 523, 524 und 525 auf, die jeweils eine vorgebbare Anzahl Ein- gangs-Rechenelemente enthalten, denen Eingangsgrößen u -4 _/ ^ut-3 _> ^ut-2 ^ut-l ^un u zu vorgebbaren Zeitpunkten t-4, t- 3, t-2, t-1 und t, d.h. im weiteren beschriebene Zeitreihenwerte mit vorgegebenen Zeitschritten, anlegbar sind.

Eingangs-Rechenelemente, d.h. Eingangsneuronen, sind über variable Verbindungen mit Neuronen einer vorgebbaren Anzahl versteckter Schichten 505 (dargestellt 5 verdeckte Schichten) verbunden.

Dabei sind Neuronen einer ersten 531, einer zweiten 532, einer dritten 533, einer vierten 534 und einer fünften 535 ver- steckten Schicht jeweils mit Neuronen der ersten 521, der zweiten 522, der dritten 523, der vierten 524 und der fünften 525 Teileingangsschicht verbunden.

Die Verbindungen zwischen der ersten 531, der zweiten 532, der dritten 533, der vierten 534 und der fünften 535 versteckten Schicht mit jeweils der ersten 521, der zweiten 522, der dritten 523, der vierten 524 und der fünften 525 Teileingangsschicht sind jeweils gleich. Die Gewichte aller Verbin- düngen sind jeweils in einer ersten Verbindungsmatrix Bi enthalten.

Ferner sind die Neuronen der ersten versteckten Schicht 531 mit ihren Ausgängen mit Eingängen von Neuronen der zweiten versteckten Schicht 532 gemäß einer durch eine zweite Verbindungsmatrix A_]_ gegebene Struktur verbunden. Die Neuronen der zweiten versteckten Schicht 532 sind mit ihren Ausgängen mit Eingängen von Neuronen der dritten versteckten Schicht 533 gemäß einer durch die zweite Verbindungsmatrix A]_ gegebene Struktur verbunden. Die Neuronen der dritten versteckten

Schicht 533 sind mit ihren Ausgängen mit Eingängen von Neuronen der vierten versteckten Schicht 534 gemäß einer durch die zweite Verbindungsmatrix ]_ gegebene Struktur verbunden. Die Neuronen der vierten versteckten Schicht 534 sind mit ihren Ausgängen mit Eingängen von Neuronen der fünften versteckten Schicht 535 gemäß einer durch die zweite Verbindungsmatrix A]_ gegebene Struktur verbunden.

In den versteckten Schichten, der ersten versteckten Schicht 531, der zweiten versteckten Schicht 532, der dritten versteckten Schicht 533, der vierten versteckten Schicht 534 und der fünften versteckten Schicht 535 werden jeweils "innere" Zustände oder "innere" Systemzustände s -4, st-₃, st-2 st-1/ und st eines durch das TDRNN beschriebenen dynamischen Pro- zesses an fünf aufeinanderfolgenden Zeitpunkten t-4, t-3, t-2, t-1 und t repräsentiert.

Die Angaben in den Indizes in den jeweiligen Schichten geben jeweils den Zeitpunkt t-4, t-3, t-2, t-1 und t an, auf die sich jeweils die an den Ausgängen der jeweiligen Schicht abgreifbaren bzw. zuführbaren Signale beziehen (u^-4, u^-3, u-j-- ₂, u_t_ι, u_t) •

Eine Ausgangsschicht 520 weist fünf Teilausgangsschichten, eine erste Teilausgangsschicht 541, eine zweite Teilausgangsschicht 542, eine dritte Teilausgangsschicht 543, eine vierte Teilausgangsschicht 544 sowie eine fünfte Teilausgangsschicht 545 auf. Neuronen der ersten Teilausgangsschicht 541 sind gemäß einer durch eine Ausgangs-Verbindungsmatrix C]_ gegebenen Struktur mit Neuronen der ersten versteckten Schicht 531 verbunden. Neuronen der zweiten Teilausgangsschicht 542 sind ebenfalls gemäß der durch die Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der zweiten versteckten Schicht 532 verbunden. Neuronen der dritten Teilausgangs- schicht 543 sind gemäß der Ausgangs-Verbindungsmatrix C^ mit Neuronen der dritten versteckten Schicht 533 verbunden. Neuronen der vierten Teilausgangsschicht 544 sind gemäß der Ausgangs-Verbindungsmatrix C_ mit Neuronen der vierten versteckten Schicht 534 verbunden. Neuronen der fünften Teilausgangs- schicht 545 sind gemäß der Ausgangs-Verbindungsmatrix O mit Neuronen der fünften versteckten Schicht 535 verbunden. An den Neuronen der Teilausgangsschichten 541, 542, 543, 544 und 545 sind die Ausgangsgrößen für jeweils einen Zeitpunkt t-4, t-3, t-2, t-1, t abgreifbar (yt-4, Yt-3' Yt-2' Yt-1' Yt> •

Der Grundsatz, daß äquivalente Verbindungsmatrizen in einem neuronalen Netz zu einem jeweiligen Zeitpunkt die gleichen Werte aufweisen, wird als Prinzip der sogenannten geteilten Gewichtswerte (Shared Weights) bezeichnet.

Die aus [2] bekannte und als Time Delay Recurrent Neural Network (TDRNN) bezeichnete Anordnung wird in einer Trainings- phase derart trainiert, daß zu einer Eingangsgröße ut jeweils eine Zielgröße y^- an einem realen dynamischen System ermittelt wird. Das Tupel (Eingangsgröße, ermittelte Zielgröße) wird als Trainingsdatum bezeichnet. Eine Vielzahl solcher Trainingsdaten bilden einen Trainingsdatensatz.

Dabei weisen zeitlich aufeinanderfolgende Tupel (ut-4 ,y _

⁽ut-3 '^ -3^ ^(ut-2 '^v -2^ ^{der Zeit}P^{un te (}t-4, t-3, t-3, ...) des Trainingsdatensatzes jeweils einen vorgegeben Zeit- schritt auf.

Mit dem Trainingsdatensatz wird das TDRNN trainiert. Eine Übersicht über verschiedene Trainingsverfahren ist ebenfalls in [1] zu finden.

Es ist an dieser Stelle zu betonen, daß lediglich die Ausgangsgrößen yt-4 _*• Yt-3 ι ••• Yt ^zu Zeitpunkten t-4, t-3, ..., t des dynamischen Systems 200 erkennbar sind. Die "inneren" Systemzustände s^-4, s^-3, ..., s^ sind nicht beob- achtbar.

In der Trainingsphase wird üblicherweise folgende Kostenfunktion E minimiert:

^E = - ∑(^yt - Yt) → ^min' ⁽4⁾ t = l ^f'9

wobei mit T eine Anzahl berücksichtigter Zeitpunkte bezeichnet wird.

In [3] ist ferner ein Überblick über Grundlagen neuronaler

Netze und die Anwendungsmöglichkeiten neuronaler Netze im Bereich der Ökonomie zu finden. Die bekannten Anordnungen und Verfahren weisen insbesondere den Nachteil auf, daß mit ihnen für eine Eingangsgröße ut zu einem aktuellen Zeitpunkt t oder für eine Eingangsgröße ut-i zu einem zeitlich um einen vorgegeben Zeitschritt vorangegan- genen Zeitpunkt t-1 nur der aktuelle Zustand eines Prozesses beschreibbar ist. Ein um einen vorgebbaren Zeitschritt zeitlich folgender zukünftiger Folgezustand des Prozesses oder um jeweils einen vorgebbaren Zeitschritt zeitlich aufeinanderfolgende zukünftige Folgezustände des Prozesses können in den meisten Fällen nicht beschrieben bzw. vorhergesagt werden.

Somit liegt der Erfindung das Problem zugrunde, eine Anordnung miteinander verbundener Rechenelemente anzugeben, mit der zeitlich aufeinanderfolgende zukünftige Folgezustände ei- nes dynamischen Prozesses beschrieben werden können und welche Anordnung nicht den Nachteilen der bekannten Anordnungen unterliegt.

Ferner liegt der Erfindung das Problem zugrunde, ein Verfah- ren zur rechnergestützten Ermittlung einer Dynamik, die einem dynamischen Prozeß zugrunde liegt, anzugeben, mit dem zeitlich aufeinanderfolgende zukünftige Folgezustände des dynamischen Prozesses beschrieben werden können.

Die Probleme werden durch eine Anordnung sowie Verfahren mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst.

Eine Anordnung miteinander verbundener Rechenelemente weist folgende Merkmale auf: - die Anordnung umfaßt mindestens eine erste Unteranordnung mit einem zugehörigen ersten Eingangsrechenelement, dem Zeitreihenwerte, welche jeweils einen Zustand eines Systems in einem ersten Zustandsraum beschreiben, zuführbar sind, und einem zugehörigen ersten Zwischenrechenelement, mit welchem ein Zustand des Systems in einem zweiten Zustandsraum beschreibbar ist, wobei das erste Eingangsre- chenelement und das erste Zwischenrechenelement miteinander verbunden sind,

- die Anordnung umfaßt mindestens eine zweite Unteranordnung mit einem zugehörigen zweiten Zwischenrechenelement, mit welchem ein Zustand des Systems in dem zweiten Zustandsraum beschreibbar ist, und einem zugehörigen ersten Ausgangsrechenelement, an dem ein erstes Ausgangssignal abgreifbar, welches einen Zustand des dynamischen Systems in dem ersten Zustandsraum beschreibt, ist, wobei das zweite Zwischenrechenelement und das erste Ausgangsrechenelement miteinander verbunden sind,

- die Anordnung umfaßt mindestens eine dritte Unteranordnung mit einem zugehörigen dritten Zwischenrechenelement, mit welchem ein Zustand des Systems in dem zweiten Zustands- räum beschreibbar ist, und einem zugehörigen zweiten Ausgangsrechenelement, an dem ein zweites Ausgangssignal, welches einen Zustand des dynamischen Systems in dem ersten Zustandsraum beschreibt, abgreifbar ist, wobei das dritte Zwischenrechenelement und das zweite Ausgangsre- chenelement miteinander verbunden sind,

- die erste Unteranordnung, die zweite Unteranordnung und die dritte Unteranordnung sind jeweils durch eine Kopplung der zugehörigen Zwischenrechenelemente miteinander verbunden, - Gewichte, welche jeweils einer Verbindung zwischen zwei

Zwischenrechenelementen zugeordnet sind, sind untereinander gleich und

- Gewichte, welche jeweils einer Verbindung zwischen einem Zwischenrechenelement und einem Ausgangsrechenelement zu- geordnet sind, sind untereinander gleich.

Bei einem Verfahren zur rechnergestützten Ermittlung einer Dynamik, die einem dynamischen Prozeß zugrunde liegt, werden folgende Schritte durchgeführt: a) der dynamische Prozeß wird durch eine Zeitreihe mit Zeitreihenwerten in einem ersten Zustandsraum beschrieben, wobei mindestens ein erster Zeitreihenwert einen Zustand des dynamischen Prozesses zu einem ersten Zeitpunkt und ein zweiter Zeitreihenwert einen Zustand des dynamischen Prozesses zu einem zweiten Zeitpunkt beschreibt, b) der erster Zeitreihenwert wird in einen zweiten Zustands- räum transformiert, c) der erste Zeitreihenwert in dem zweiten Zustandsraum wird einer Abbildung auf einen zweiten Zeitreihenwert in dem zweiten Zustandsraum unterzogen, d) der zweite Zeitreihenwert in dem zweiten Zustandsraum wird einer Abbildung auf einen dritten Zeitreihenwert in dem zweiten Zustandsraum unterzogen, e) der zweite Zeitreihenwert in dem zweiten Zustandsraum und der dritte Zeitreihenwert in dem zweiten Zustandsraum werden jeweils in den ersten Zustandsraum rücktransformiert, f) unter Verwendung der Zeitreihenwerten in dem zweiten Zustandsraum wird die Dynamik des dynamischen Prozesses ermittelt .

Bei einem Verfahren zur rechnergestützten Ermittlung einer Dynamik, die einem dynamischen Prozeß zugrunde liegt, welches Verfahren unter Verwendung einer Anordnung miteinander verbundener Rechenelemente durchgeführt wird, wobei die Anordnung folgenden Aufbau aufweist:

- bei mindestens einer ersten Unteranordnung werden ein zu- gehöriges erstes Eingangsrechenelement, dem ein Eingangssignal, welches einen Zustand des dynamischen Prozesses in einem ersten Zustandsraum beschreibt, zuführbar ist, und ein zugehöriges erstes Zwischenrechenelement, mit welchem ein Zustand des dynamischen Prozesses in einem zweiten Zu- standsraum beschreibbar ist, miteinander verbunden,

- bei mindestens einer zweiten Unteranordnung werden ein zugehöriges zweites Zwischenrechenelement, mit welchem ein Zustand des dynamischen Prozesses in dem zweiten Zustandsraum beschreibbar ist, und ein zugehöriges erstes Aus- gangsrechenele ent, an dem ein erstes Ausgangssignal, welches einen Zustand des dynamischen Prozesses in dem ersten Zustandsraum beschreibt, abgreifbar ist, miteinander verbunden,

- bei mindestens einer dritten Unteranordnung werden ein zugehöriges drittes Zwischenrechenelement, mit welchem ein Zustand des dynamischen Prozesses in dem zweiten Zustandsraum beschreibbar ist, und ein zugehöriges zweites Ausgangsrechenelement, an dem ein zweites Ausgangssignal, welches einen Zustand des dynamischen Prozesses in dem ersten Zustandsraum beschreibt, abgreifbar ist, miteinander verbunden,

- die erste Unteranordnung, die zweite Unteranordnung und die dritte Unteranordnung werden jeweils durch eine Kopplung der zugehörigen Zwischenrechenelemente miteinander verbunden, - Gewichte, welche jeweils einer Verbindung zwischen zwei

Zwischenrechenelementen zugeordnet sind, werden derart bestimmt, daß die Gewichte untereinander gleich sind,

- Gewichte, welche jeweils einer Verbindung zwischen einem Zwischenrechenelement und einem Ausgangsrechenelement zu- geordnet sind, werden derart bestimmt, daß die Gewichte untereinander gleich, wird der Anordnung das Eingangssignal zugeführt. Die Anordnung ermittelt das erste Ausgangssignal und das zweite Ausgangssignal. Unter Verwendung des ersten Ausgangssignals und des zweite Ausgangssignals wird die Dynamik ermittelt.

Bei einem Verfahren zum rechnergestützten Trainieren einer Anordnung miteinander verbundener Rechenelemente mit folgenden Komponenten: - bei mindestens einer ersten Unteranordnung werden ein zugehöriges erstes Eingangsrechenelement, dem ein Eingangssignal, welches einen Zustand eines Systems in einem ersten Zustandsraum beschreibt, zuführbar ist, und ein zugehöriges erstes Zwischenrechenelement, mit welchem ein Zu- stand des Systems in einem zweiten Zustandsraum beschreibbar ist, miteinander verbunden, - bei mindestens einer zweiten Unteranordnung werden ein zugehöriges zweites Zwischenrechenelement, mit welchem ein Zustand des Systems in dem zweiten Zustandsraum beschreibbar ist, und ein zugehöriges erstes Ausgangsrechenelement, an dem ein erstes Ausgangssignal, welches einen Zustand des Systems in dem ersten Zustandsraum beschreibt, abgreifbar ist, miteinander verbunden,

- bei mindestens einer dritten Unteranordnung werden ein zugehöriges drittes Zwischenrechenelement, mit welchem ein Zustand des Systems in dem zweiten Zustandsraum beschreibbar ist, und ein zugehöriges zweites Ausgangsrechenelement, an dem ein zweites Ausgangssignal, welches einen Zustand des Systems in dem ersten Zustandsraum beschreibt, abgreifbar ist, miteinander verbunden, - die erste Unteranordnung, die zweite Unteranordnung und die dritte Unteranordnung werden jeweils durch eine Kopplung der zugehörigen Zwischenrechenelemente miteinander verbunden,

- Gewichte, welche jeweils einer Verbindung zwischen zwei Zwischenrechenelementen zugeordnet sind, werden derart bestimmt, daß die Gewichte untereinander gleich sind,

- Gewichte, welche jeweils einer Verbindung zwischen einem Zwischenrechenelement und einem Ausgangsrechenelement zugeordnet sind, werden derart bestimmt, daß die Gewichte untereinander gleich, wird die Anordnung unter Verwendung vorgegebener Trainingsdaten, welche als das Eingangssignal an das erste Eingangsrechenelement angelegt werden, derart trainiert, daß nur in solchen Unteranordnungen "error"-Werte gebildet werden, wel- ehe Unteranordnungen Zustände des dynamischen Systems repräsentieren, deren Zeitpunkte jeweils einem Zeitpunkt eines Trainingdatums entsprechen.

Die Anordnung ist insbesondere geeignet zur Durchführung der erfindungsgemäßen Verfahren oder einer deren nachfolgend erläuterten Weiterbildungen. Unter Verwendung der Erfindung können mehrerer jeweils um einen vorgebbaren Zeitschritt aufeinanderfolgende Folgezustände eines dynamischen Prozesses prognostiziert werden. Damit sind Zustände des dynamischen Prozesses über einen großen Zeitraum prognostizierbar .

Eine derartige Ermittlung von zukünftigen Zuständen des dynamischen Prozesses wird als ein sogenanntes "overshooting" bezeichnet.

Dadurch kann die Erfindung für die Durchführung von einer sogenannten "first cause"-Analyse, für eine Ermittlung sogenannter "early warning"-Indikatoren und im Rahmen eines Frühwarnsystems eingesetzt werden. Das heißt, daß mit der Erfin- düng für einen dynamischer Prozeß solche Indikatoren oder

Prozeßzustände ermittelt werden können, die unerwünschte Prozeßzustände, die in einem großen zeitlichen Abstand bezüglich eines aktuellen Zeitpunkt folgen, schon an dem aktuellen Zeitpunkt anzeigen. Somit kann frühzeitig eine erste Ursache von einer unerwünschte Entwicklung des dynamischen Prozesses erkannt und damit eine Gegenmaßnahme eingeleitet werden.

Insbesondere wird durch die Erfindung erreicht, daß zeitlich ältere Zustände bei der Ermittlung der Dynamik, die einem dy- namischen Prozeß zugrunde liegt, weniger stark berücksichtigt werden als zeitlich jüngere Zustände.

Darüber hinaus weist die Erfindung den Vorteil auf, daß für ein Trainieren der erfindungsgemäßen Anordnung und bei dem erfindungsgemäßen Trainingsverfahren weniger Trainingsdaten im Vergleich zu bekannten Anordnungen und Verfahren notwendig sind, und damit ein effizienteres Lernen möglich ist. Dies ist insbesondere aufgrund einer besonderen Auswahl und Anordnung bzw. Struktur von den verwendeten Rechenelementen bei der erfindungsgemäßen Anordnung möglich. Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Bevorzugt werden jeweils mehrere erste, zweite und/oder drit- te Unteranordnungen verwendet .

Eine Weiterbildung umfaßt mindestens eine vierte Unteranordnung mit einem zugehörigen vierten Zwischenrechenelement, mit welchem ein Zustand des Systems in dem zweiten Zustandsraum beschreibbar ist, und mit einem zugehörigen zweiten Eingangsrechenelement. Das zugehörige vierte Zwischenrechenelement und das zugehörige zweite Eingangsrechenelement, welchem weitere Zeitreihenwerte, welche jeweils einen weiteren Zustand des Systems in dem ersten Zustandsraum beschreiben, zuführbar sind, sind miteinander verknüpft. Die vierte Unteranordnung ist durch eine Kopplung des zugehörigen vierten Zwischenrechenelements mit dem ersten Zwischenrechenelement mit der ersten Unteranordnung gekoppelt. Bei der Weiterbildung sind Gewichte, welche jeweils einer Verbindung zwischen einem Ein- gangsrechenelement und einem Zwischenrechenelement zugeordnet sind, untereinander gleich.

Bevorzugt werden mehrere vierte Unteranordnungen verwendet.

Einfache Ausgangssignale lassen sich dann an einem Ausgangsrechenelement abgreifen, wenn ein Ausgangsrechenelement mit mehreren Zwischenrechenelementen verbunden ist.

In einer bevorzugten Ausgestaltung repräsentieren die erste, die zweite und die dritte Unteranordnung das System jeweils zu einem ersten, zweiten und dritten Zeitpunkt, wobei der erste und der zweite und der dritte Zeitpunkt jeweils aufeinanderfolgende Zeitpunkte sind und zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt ein erstes Zeitintervall liegt, welches einen ersten vorgebbaren Zeitschritt aufweist, und zwischen dem zweiten und dem dritten Zeitpunkt ein zweites Zeitintervall liegt, welches einen vorgebbaren zweiten Zeitschritt aufweist.

Für eine sogenannte Langzeitprognose ist es vorteilhaft, wenn die erste Unteranordnung einen aktuellen Zustand des System repräsentiert, die zweite Unteranordnung einen um den ersten vorgebbaren Zeitschritt verschobenen zukünftigen ersten Zustand des System repräsentiert und die dritte Unteranordnung einen um den zweiten vorgebbaren Zeitschritt verschobenen zu- künftigen zweiten Zustand des System repräsentiert.

Bevorzugt sind der erste vorgebbare Zeitschritt und der zweite vorgebbare Zeitschritt untereinander gleich.

In einer Weiterbildung ist der zweite vorgebbare Zeitschritt ein Vielfaches des ersten vorgebbaren Zeitschritts.

Für eine Ermittlung von sogenannten Zwischenzuständen des Systems ist es vorteilhaft, wenn der erste und/oder der zweite Zeitschritte derart bestimmt werden/wird, daß der erste und/oder der zweite vorgebbare Zeitschritt ein Teiler eines weiteren vorgegebenen Zeitschritts sind, welcher durch eine Zeitreihe, welche durch die Zeitreihenwerte gebildet wird, bestimmt wird.

In einer Ausgestaltung repräsentiert die vierte Unteranordnung das System zu einem vierten Zeitpunkt, wobei zwischen dem vierten Zeitpunkt und dem ersten Zeitpunkt ein drittes Zeitintervall liegt, welches einen dritten vorgebbaren Zeit- schritt aufweist.

Bevorzugt repräsentiert die vierte Unteranordnung einen zeitlich älteren Zustand des Systems.

Eine Dynamik läßt sich insbesondere dann einfach ermitteln, wenn zumindest ein Teil der Rechenelemente künstliche Neuronen sind. Ferner ist es rechentechnisch von besonderem Vorteil, wenn bei einer Ausgestaltung nur ein Gewicht von Gewichten, welche jeweils einer Verbindung zwischen einem Zwischenrechenelement und einem Ausgangsrechenelement zugeordnet sind, einen Wert eins aufweist und die anderen Gewichte von den Gewichten jeweils einen Wert null aufweisen.

Bevorzugt wird eine Weiterbildung zur Ermittlung einer Dyna- mik eines dynamischen Prozesses eingesetzt.

Eine Ausgestaltung weist eine Meßanordnung zur Erfassung physikalischer Signale auf, mit denen der dynamische Prozeß beschrieben wird.

Bevorzugt wird eine Weiterbildung zur Ermittlung der Dynamik eines dynamischen Prozesses, der in einem technischen System abläuft, insbesondere in einem chemischen Reaktor, oder zur Ermittlung der Dynamik eines Elekro-Kardio-Gramms, oder zur Ermittlung einer ökonomischen oder makroökonomischen Dynamik eingesetzt.

Eine Weiterbildung kann auch zu einer Überwachung oder Steuerung eines dynamischen Prozesses, insbesondere eines chemi- sehen Prozesses, eingesetzt werden.

Die Zeitreihenwerte können aus physikalischen Signalen ermittelt werden.

Ausführungsbeispiele der Erfindung sind in Figuren dargestellt und werden im weiteren näher erläutert.

Es zeigen

Figuren la und lb Skizzen einer Grundstruktur der Anordnung und einer Anordnung gemäß einem ersten Ausführungs- beispiel; Figur 2 eine Skizze einer allgemeinen Beschreibung eines dynamischen Systems;

Figur 3 eine Anordnung gemäß einem zweiten Ausführungsbei- spiel, bei dem Zwischenzustände eines dynamischen Prozesses ermittelt werden;

Figur 4 eine Skizze eines chemischen Reaktors, von dem Größen gemessen werden, welche mit der Anordnung gemäß dem ersten Ausführungsbeispiel weiterverarbeitet werden;

Figur 5 eine Skizze einer Anordnung eines TDRNN, welche mit endlich vielen Zuständen über die Zeit entfaltet ist;

Erstes Ausführungsbeispiel : Chemischer Reaktor

Fig. zeigt einen chemischen Reaktor 400, der mit einer che- mischen Substanz 401 gefüllt ist. Der chemische Reaktor 400 umfaßt einen Rührer 402, mit dem die chemische Substanz 401 gerührt wird. In den chemischen Reaktor 400 einfließende weitere chemische Substanzen 403 reagieren während eines vorgebbaren Zeitraums in dem chemischen Reaktor 400 mit der in dem chemischen Reaktor 400 bereits enthaltenen chemischen Substanz 401. Eine aus dem Reaktor 400 ausfließende Substanz 404 wird aus dem chemischen Reaktor 400 über einen Ausgang abgeleitet.

Der Rührer 402 ist über eine Leitung mit einer Steuereinheit 405 verbunden, mit der über ein Steuersignal 406 eine Rührfrequenz des Rührers 402 einstellbar ist.

Ferner ist ein Meßgerät 407 vorgesehen, mit dem Konzentratio- nen von in der chemischen Substanz 401 enthaltenen chemischen Stoffe gemessen werden. Meßsignale 408 werden einem Rechner 409 zugeführt, in dem Rechner 409 über eine Eingangs-/Ausgangsschnittstelle 410 und einem Analog/Digital-Wandler 411 digitalisiert und in einem Speicher 412 gespeichert. Ein Prozessor 413 ist ebenso wie der Speicher 412 über einen Bus 414 mit dem Analog/Digital- Wandler 411 verbunden. Der Rechner 409 ist ferner über die Eingangs-/Ausgangsschnittstelle 410 mit der Steuerung 405 des Rührers 402 verbunden und somit steuert der Rechner 409 die Rührfrequenz des Rührers 402.

Der Rechner 409 ist ferner über die Eingangs-/Ausgangs- schnittstelle 410 mit einer Tastatur 415, einer Computermaus 416 sowie einem Bildschirm 417 verbunden.

Der chemische Reaktor 400 als dynamisches technisches System 200 unterliegt somit einem dynamischen Prozeß.

Der chemische Reaktor 400 wird mittels einer Zustandsbe- schreibung beschrieben. Die Eingangsgröße u^ setzt sich in diesem Fall zusammen aus einer Angabe über die Temperatur, die in dem chemischen Reaktor 400 herrscht sowie dem in dem chemischen Reaktor 400 herrschenden Druck und der zu dem Zeitpunkt t eingestellten Rührfrequenz. Somit ist die Eingangsgröße ein dreidimensionaler Vektor.

Ziel der im weiteren beschriebenen Modellierung des chemischen Reaktors 400 ist die Bestimmung der dynamischen Entwicklung der Stoffkonzentrationen, um somit eine effiziente Erzeugung eines zu produzierenden vorgebbaren Zielstoffes als ausfließende Substanz 404 zu ermöglichen.

Dies erfolgt unter Verwendung der im weiteren beschriebenen und in den Fig.la und Fig.lb dargestellten Anordnung.

Zum einfacheren Verständnis der der Anordnung zugrunde liegenden Prinzipien ist in Fig.la eine Grundstruktur der Anord- nung dargestellt. Ausgehend von der Grundstruktur wird die in Fig.lb dargestellte Anordnung gebildet

Fig. la zeigt die Grundstruktur der Anordnung, welche ein über drei Zeitpunkte t, t+1, t+2 entfaltetes neuronales Netz 100 ist.

Das in Fig.la dargestellte neuronale Netz 100 weist eine Eingangsschicht 121 auf, die eine vorgebbare Anzahl von Ein- gangsneuronen enthält, denen Eingangsgrößen u-t zu vorgebbaren Zeitpunkten t, d.h. im weiteren beschriebene Zeitreihenwerte mit vorgegebenen Zeitschritten, anlegbar sind.

Die Eingangsneuronen, sind über variable Verbindungen mit Neuronen einer vorgebbaren Anzahl versteckter Schichten 105 (dargestellt 3 verdeckte Schichten) verbunden.

Dabei sind Neuronen einer ersten versteckten Schicht 131 mit Neuronen der ersten Eingangsschicht 121 verbunden.

Die Verbindung zwischen der ersten versteckten Schicht 131 mit der ersten Eingangsschicht 121 weist Gewichte auf, die in einer ersten Verbindungsmatrix B enthalten sind.

Ferner sind die Neuronen der ersten versteckten Schicht 131 mit ihren Ausgängen mit Eingängen von Neuronen einer zweiten versteckten Schicht 132 gemäß einer durch eine zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der zweiten versteckten Schicht 132 sind mit ihren Ausgängen mit Eingängen von Neuronen einer dritten versteckten Schicht 133 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden.

In den versteckten Schichten, der ersten versteckten Schicht 131, der zweiten versteckten Schicht 132 und der dritten versteckten Schicht 133 werden jeweils "innere" Zustände oder "innere" Systemzustände st, st+i und st+2 des beschriebenen dynamischen Prozesses an drei aufeinanderfolgenden Zeitpunkten t, t+1 und t+2 repräsentiert.

Die Angaben in den Indizes in den jeweiligen Schichten geben jeweils den Zeitpunkt t, t+1, t+2 an, auf die sich jeweils die an den Ausgängen der jeweiligen Schicht abgreifbaren bzw. zuführbaren Signale (U_f beziehen.

Eine Ausgangsschicht 120 weist zwei Teilausgangsschichten, eine erste Teilausgangsschicht 141 und eine zweite Teilausgangsschicht 142, auf. Neuronen der ersten Teilausgangsschicht 141 sind gemäß einer durch eine Ausgangs- Verbindungsmatrix C gegebenen Struktur mit Neuronen der ersten versteckten Schicht 131 verbunden. Neuronen der zweiten Teilausgangsschicht 142 sind ebenfalls gemäß der durch die Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der zweiten versteckten Schicht 132 verbunden.

An den Neuronen der Teilausgangsschichten 141 und 142 sind die Ausgangsgrößen für jeweils einen Zeitpunkt t+1, t+2 abgreifbar (yt₊i, Yt+2) •

Ausgehend von dem Prinzip der Shared Weights und ausgehend von der Grundstruktur wird im weiteren die in Fig.lb darge- stellte Anordnung gebildet erläutert.

Die im weiteren beschriebenen Skizzen sind jeweils so zu verstehen, daß jede Schicht bzw. jede Teilschicht eine vorgebbare Anzahl von Neuronen, d.h. Rechenelementen, aufweist.

Die jeweiligen Verbindungsmatrizen sind beliebiger Dimension und enthalten jeweils zu den entsprechenden Verbindungen zwi- sehen den Neuronen der jeweiligen Schichten die Gewichtswerte.

Von besonderer Bedeutung ist aber, daß die Ausgangs- Verbindungsmatrix C derart bestimmt wird, daß ein Gewicht der Ausgangs-Verbindungsmatrix C den Wert eins aufweist, die anderen Gewichte der Ausgangs-Verbindungsmatrix C aber den Wert null aufweisen.

Die in Fig.lb dargestellte Anordnung 100 weist eine Eingangsschicht 101 mit vier Teileingangsschichten 121, 122, 123 und 124 auf, die jeweils eine vorgebbare Anzahl Eingangs- Rechenelemente enthalten, denen Eingangsgrößen ut-₃ ι u -2 ut-i und ut zu vorgebbaren Zeitpunkten t-3, t-2, t-1 und t, d.h. im weiteren beschriebene Zeitreihenwerte mit vorgegebenen Zeitschritten, anlegbar sind.

Dadurch daß derart viele zeitlich vorangegangene Zustände des dynamischen Prozesses durch die jeweiligen Eingangsgrößen be- rücksichtigbar sind, erhält die Anordnung ein sogenanntes "Langzeitgedächtnis" .

Eingangs-Rechenelemente, d.h. Eingangsneuronen, sind über variable Verbindungen mit Neuronen einer vorgebbaren Anzahl versteckter Schichten 105 (dargestellt 8 verdeckte Schichten) verbunden.

Dabei sind Neuronen einer ersten 131, einer zweiten 132, einer dritten 133 und einer vierten 134 versteckten Schicht je- weils mit Neuronen der ersten 121, der zweiten 122, der dritten 123 und der vierten 124 Teileingangsschicht verbunden.

Die Verbindungen zwischen der ersten 131, der zweiten 132, der dritten 133 und der vierten 134 versteckten Schicht mit jeweils der ersten 121, der zweiten 122, der dritten 123 und der vierten 124 Teileingangsschicht sind jeweils gleich. Die Gewichte aller Verbindungen sind jeweils in einer ersten Ver^¬ bindungsmatrix B enthalten.

Ferner sind die Neuronen der ersten versteckten Schicht 131 mit ihren Ausgängen mit Eingängen von Neuronen der zweiten versteckten Schicht 132 gemäß einer durch eine zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der zweiten versteckten Schicht 132 sind mit ihren Ausgängen mit Eingängen von Neuronen der dritten versteckten Schicht 133 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der dritten versteckten Schicht 133 sind mit ihren Ausgängen mit Eingängen von Neuronen der vierten versteckten Schicht 134 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der vierten versteckten Schicht 134 sind mit ihren Ausgängen mit Eingängen von Neuronen einer fünften versteckten Schicht 135 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der fünften versteckten Schicht 135 sind mit ihren Ausgängen mit Eingän- gen von Neuronen einer sechsten versteckten Schicht 136 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der sechsten versteckten Schicht 136 sind mit ihren Ausgängen mit Eingängen von Neuronen einer siebten versteckten Schicht 137 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der siebten versteckten Schicht 137 sind mit ihren Ausgängen mit Eingängen von Neuronen einer achten versteckten Schicht 138 gemäß einer durch die zweite Verbindungs atrix A gegebene Struktur verbunden.

In den versteckten Schichten, der ersten versteckten Schicht 131, der zweiten versteckten Schicht 132, der dritten versteckten Schicht 133, der vierten versteckten Schicht 134, der fünften versteckten Schicht 135, der sechsten versteckten Schicht 136, der siebten versteckten Schicht 137 und der achten versteckten Schicht 538 werden jeweils "innere" Zustände oder "innere" Systemzustände st-3, st-2 ^st-l_> st, st+i, st+2_/ ^st+3 und st+4 eines durch die Anordnung beschriebenen dynamischen Prozesses an acht aufeinanderfolgenden Zeitpunkten t-3, t-2, t-1, t, t+1, t+2, t+3 und t+4 repräsentiert.

Die Angaben in den Indizes in den jeweiligen Schichten geben jeweils den Zeitpunkt t-3, t-2, t-1, t, t+1, t+2, t+3 und t+4 an, auf die sich jeweils die an den Ausgängen der jeweiligen Schicht abgreifbaren bzw. zuführbaren Signale (u -3, u -2' ^ut-l' ^ut' ^ut+l' ^ut+2' ^ut+3' ^ut+4⁾ beziehen.

Eine Ausgangsschicht 120 weist vier Teilausgangsschichten, eine erste Teilausgangsschicht 141, eine zweite Teilausgangsschicht 142, eine dritte Teilausgangsschicht 143 und eine vierte Teilausgangsschicht 144 auf.

Neuronen der ersten Teilausgangsschicht 141 sind gemäß einer durch eine Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der fünften versteckten Schicht 135 verbunden. Neuronen der zweiten Teilausgangsschicht 142 sind ebenfalls gemäß der durch die Ausgangs-Verbindungsmatrix C gegebenen

Struktur jeweils mit Neuronen der fünften versteckten Schicht 135 und mit Neuronen der sechsten versteckten Schicht 136 verbunden.

Neuronen der dritten Teilausgangsschicht 143 sind gemäß der Ausgangs-Verbindungsmatrix C jeweils mit Neuronen der fünften versteckten Schicht 135, mit Neuronen der sechsten versteckten Schicht 136 und mit Neuronen der siebten versteckten Schicht 137 verbunden.

Neuronen der vierten Teilausgangsschicht 144 sind gemäß der Ausgangs-Verbindungsmatrix C jeweils mit Neuronen der fünften versteckten Schicht 135, mit Neuronen der sechsten versteckten Schicht 136, mit Neuronen der siebten versteckten Schicht 137 und mit Neuronen der achten versteckten Schicht 138 verbunden. An den Neuronen der Teilausgangsschichten 141, 142, 143 und 144 sind die Ausgangsgrößen für jeweils einen Zeitpunkt t+1, t+2, t+3, und t+4 abgreifbar (yt₊i Yt+2' Yt+3' Yt+4> •

Damit ist eine Vorhersage von vier jeweils um einen vorgebbaren Zeitschritt aufeinanderfolgende Folgezustände des dynamischen Prozesses möglich, und damit Zustände des dynamischen Prozesses über einen langen Zeitraum prognostizierbar (overshooting) .

Die Ausgangs-Verbindungsmatrix C wird derart bestimmt, daß ein Gewicht der Ausgangs-Verbindungsmatrix den Wert eins aufweist, die anderen Gewichte der Ausgangs-Verbindungsmatrix C aber den Wert null aufweisen.

Den besonderen Vorteil, den die in Fig.lb dargestellte Anordnung insbesondere durch ihre Struktur aufweist, liegt darin, daß die Anordnung unter Verwendung von nur wenigen Trainingsdaten ein effizientes Training ermöglicht. Dies ist insbeson- dere dadurch möglich, da durch die jeweils gleichen Gewichte in den Verbindungsmatrizen A, B und C wenige Gewichtsparameter eingestellt werden müssen sowie sich durch die besondere Form der Ausgangs-Verbindungsmatrix C eine weitere Vereinfachung des Trainingsverfahren ergibt.

Ein weiterer bedeutender Vorteil, den die Anordnung aufweist, liegt darin, daß nur solche Eingangs- und Ausgangsneuronen- schichten verwendet werden, an denen für die Beschreibung der Dynamik des dynamischen Prozesses maßgebliche Informationen angelegt oder abgegriffen werden.

Für ein Training der oben beschriebenen Anordnung wird ein Verfahren auf der Basis eines Back-Propagation-Verfahrens, wie es in [1] beschrieben ist, verwendet.

Bei dem aus [1] bekannten Verfahren wird in der Trainingsphase folgende Kostenfunktion E minimiert: E = ∑ (y_t - Yt) → min , ⁽ 4 ⁾ ¹ t = l ^f' 5

wobei mit T eine Anzahl berücksichtigter Zeitpunkte bezeich- net wird.

Für ein Training der oben beschriebenen Anordnung mit einer im folgenden beschriebenen Gesamtkostenfunktion E wird die Kostenfunktion E mit einer Kostenfunktion F erweitert. Damit wird die Anordnung derart trainiert, daß bei einer Modellierung der Dynamik durch die trainierte Anordnung eine vorgegebene Bedingung, wie beispielsweise ein geglätteter Verlauf des dynamischen Prozesses in einem vorgegebenen Raum, in dem "innere" Zustände des beschriebenen dynamischen Pro- zesses repräsentiert werden, berücksichtigt wird.

Unter Verwendung der Kostenfunktion F zur Messung einer Krümmung einer in einem Zustandsraum S, in welchen die "inneren" Systemzustände s_t-3 > s_t-2 > st-1 'S_t, s_t+l, s_t+2_^ s_t+3 und st₊4 beschrieben werden, zu beschreibenden Trajektorie, welche Kostenfunktion F gemäß folgender Vorschrift gebildet wird:

wird die Gesamtkostenfunktion E' gebildet, unter deren Verwendung das neuronale Netz mit einem Trainingsdatensatz, der durch Messung von Größen in dem chemischen Reaktor 400 gewonnen wird, trainiert wird, wobei die Gesamtkostenfunktion E' gemäß folgender Vorschrift gebildet wird:

1 ( _d ² (s_{t +} ι - 2s_t + st-x) ϊ Σ (^yt - ^y?) + -, —, t = ι l^s ³tt ++ ιl - ^st y) + ₊ ( l^sstt -- ^sstt - l f, g Als Trainingsverfahren wird das Backpropagation-Verfahren eingesetzt. Der Trainingsdatensatz wird auf folgende Weise aus dem chemischen Reaktor 400 gewonnen.

Es werden mit dem Meßgerät 407 zu vorgegebenen Eingangsgrößen Konzentrationen gemessen und dem Rechner 409 zugeführt, dort digitalisiert und als Zeitreihenwerte xt in einem Speicher gemeinsam mit den entsprechenden Eingangsgrößen, die zu den gemessenen Größen korrespondieren, gruppiert.

Die Anordnung aus Fig. lb wird unter Verwendung des Trainingsdatensatzes und der Gesamtkostenfunktion trainiert.

Die gemäß dem oben beschriebenen Trainingsverfahren trainierte Anordnung aus Fig.lb wird zur Ermittlung chemischer Größen im chemischen Reaktor 400 eingesetzt derart, daß für eine Eingangsgröße zu einem Zeitpunkt t-1 und eine Eingangsgröße zu einem Zeitpunkt t Prognosegrößen x +i ^xt₊2 ^xt₊₃ ^und ^xt+4 in einer Anwendungsphase von der Anordnung ermittelt werden, die anschließend als Steuergrößen nach einer eventuellen Aufbereitung der ermittelten Größen als Steuergrößen 420, 421 dem Steuerungsmittel 405 zur Steuerung des Rührers 402 oder auch einer Zuflußsteuereinrichtung 430 zur Steuerung des Zu- flusses weiterer chemischer Substanzen 403 in dem chemischen Reaktor 400 verwendet werden (vgl. Fig. ) .

Durch die Anordnung und durch das Trainieren der Anordnung wird ferner erreicht, daß eine in dem Zustandsraum ermittelte Trajektorie, welche einem Rauschen unterliegt, in einem üblichen Verfahren und einer daraus resultierenden Skalierung nicht zu einer brauchbaren Ermittlung einer dem Prozeß zugrunde liegenden Dynamik geeignet ist.

Durch die Möglichkeit, eine Glattheitsbedingung in einem weiteren Raum zu berücksichtigen, wird in dem Zustandsraum nunmehr eine Dynamik entlang einer veränderten Skalierung er- reicht, derart, daß der Verlauf der Trajektorie eine größere Glattheit aufweist und somit Rauschen die Ermittlung der Dynamik nicht mehr in dem Maße behindert.

2. Ausführungsbeispiel : Mietpreisprognose

Bei der in Fig.3 dargestellte Anordnung können Zwischenzustände einer Dynamik, die einem dynamischen Prozesses zugrun- de liegt, bzw. Zwischenzustände des dynamischen Prozesses ermittelt werden.

Unter einem Zwischenzustand einer Dynamik ist ein Zustand zu verstehen, der zeitlich um einen vorgebbaren Zeitschritt ver- schoben auf einen aktuellen Zustand des dynamischen Prozesses folgt, wobei der vorgebbare Zeitschritt ein Teiler eines Zeitschritts ist, welcher durch eine Zeitreihe, gebildet durch Eingangsgrößen, vorgegeben ist.

Eine derartige Ermittlung von Zwischenzuständen eines dynamischen Prozesses wird als ein sogenanntes "undershooting" bezeichnet.

Die in Fig.3 dargestellte Anordnung wird für eine Mietpreis- prognose verwendet.

Die Eingangsgröße u^ setzt sich in diesem Fall zusammen aus Angaben über einen Mietpreis, einem Wohnraumangebot, einer Inflation und einer Arbeitslosenrate, welche Angaben bezüg- lieh eines zu untersuchenden Wohngebiets jeweils am Jahresende (Dezemberwerte) ermittelt werden. Somit ist die Eingangsgröße ein vierdimensionaler Vektor. Eine Zeitreihe der Eingangsgrößen, welche aus mehreren zeitlich aufeinanderfolgenden Vektoren bestehen, weißt Zeitschritte von jeweils einem Jahr auf. Ziel der im weiteren beschriebenen Modellierung einer Mitpreisbildung ist die Prognose eines Mietpreises für die folgenden drei Jahre bezüglich eines aktuellen Zeitpunkts, wobei der Mietpreis jeweils für einen Drei-Monats-Zeitschritt (je- weils für ein 1./2./3. und 4. Quartal des ersten, zweiten sowie dritten Jahres) bestimmt wird ("undershooting") .

Dabei stellt der Zustand des dynamischen Prozesses der Mietpreisbildung jeweils für das 1./2. und 3. Quartal des ersten, zweiten und dritten Jahres einen Zwischenzustand dar. Die Zustände, die der dynamische Prozeß jeweils für das 4. Quartal des ersten, zweiten und dritten Jahres aufweist, entsprechen jeweils in ihrem Zeitschritt dem Zeitschritt, den die Zeitreihe der Eingangsgrößen aufweist.

Die Beschreibung des dynamischen Prozesses der Mietpreisbildung erfolgt unter Verwendung der im weiteren beschriebenen und in der Fig.3 dargestellten Anordnung.

Die in Fig.3 dargestellte Anordnung 300 weist eine Eingangsschicht 321 auf, die eine vorgebbare Anzahl Eingangs- Rechenelemente enthalten, denen die Eingangsgrößen ut zu vorgebbaren Zeitpunkten t, d.h. im weiteren beschriebene Zeitreihenwerte mit vorgegebenen Zeitschritten, anlegbar sind.

Eingangs-Rechenelemente, d.h. Eingangsneuronen, sind über variable Verbindungen mit Neuronen einer vorgebbaren Anzahl versteckter Schichten 305 (dargestellt 13 verdeckte Schichten) verbunden.

Dabei sind Neuronen einer ersten versteckten 331 Schicht mit Neuronen der ersten Eingangsschieht 321 verbunden.

Die Gewichte der Verbindung zwischen der ersten 331 versteck- ten Schicht mit der ersten 321 Eingangsschicht sind in einer ersten Verbindungsmatrix B enthalten. Ferner sind die Neuronen der ersten versteckten Schicht 331 mit ihren Ausgängen mit Eingängen von Neuronen einer zweiten versteckten Schicht 332 gemäß einer durch eine zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der zweiten versteckten Schicht 332 sind mit ihren Ausgängen mit Eingängen von Neuronen einer dritten versteckten Schicht 333 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der dritten versteckten Schicht 333 sind mit ihren Ausgängen mit Eingängen von Neuro- nen einer vierten versteckten Schicht 334 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neurαnen der vierten versteckten Schicht 334 sind mit ihren Ausgängen mit Eingängen von Neuronen einer fünften versteckten Schicht 335 gemäß einer durch die zweite Verbin- dungsmatrix A gegebene Struktur verbunden. Die Neuronen der fünften versteckten Schicht 335 sind mit ihren Ausgängen mit Eingängen von Neuronen einer sechsten versteckten Schicht 336 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der sechsten versteckten Schicht 336 sind mit ihren Ausgängen mit Eingängen von Neuronen einer siebten versteckten Schicht 337 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der siebten versteckten Schicht 337 sind mit ihren Ausgängen mit Eingängen von Neuronen einer achten ver- steckten Schicht 338 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der achten versteckten Schicht 338 sind mit ihren Ausgängen mit Eingängen von Neuronen einer neunten versteckten Schicht 339 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der neunten versteckten

Schicht 339 sind mit ihren Ausgängen mit Eingängen von Neuronen einer zehnten versteckten Schicht 360 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der zehnten versteckten Schicht 360 sind mit ih- ren Ausgängen mit Eingängen von Neuronen einer elften versteckten Schicht 361 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der elften versteckten Schicht 361 sind mit ihren Ausgängen mit Eingängen von Neuronen einer zwölften versteckten Schicht 362 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden. Die Neuronen der zwölften versteckten Schicht 362 sind mit ihren Ausgängen mit Eingängen von Neuronen einer dreizehnten versteckten Schicht 363 gemäß einer durch die zweite Verbindungsmatrix A gegebene Struktur verbunden.

In den versteckten Schichten, der ersten bis dreizehnten versteckten Schicht 331-339 und 360-363 werden jeweils "innere" Zustände oder "innere" Systemzustände st st+i, •••, st+12 eines durch die Anordnung beschriebenen dynamischen Prozesses an dreizehn aufeinanderfolgenden Zeitpunkten t, t+1, ..., t+12 repräsentiert.

Dabei werden jeweils durch die zweite 332, dritte 333, vierte 334 und sechste 336, siebte 337, achte 338 sowie zehnte 360, elfte 361, und zwölfte 362 verdeckte Schicht die Zwischenzu- stände des dynamischen Prozesses repräsentiert. Die erste 331, fünfte 335, neunte 339 und dreizehnte 363 verdeckte Schicht repräsentieren jeweils die Zustände des dynamischen Prozesses, die jeweils einem Zeitschritt, der durch die Zeitreihe der Eingangsgrößen vorgegeben ist, entsprechen.

Die Angaben in den Indizes in den jeweiligen Schichten geben jeweils den Zeitpunkt t, t+1, ..., t+12 an, auf die sich jeweils die an den Ausgängen der jeweiligen Schicht abgreifbaren bzw. zuführbaren Signale u^ ) beziehen.

Eine Ausgangsschicht 320 weist zwölf Teilausgangsschichten, eine erste Teilausgangsschicht 341, eine zweite Teilausgangsschicht 342, eine dritte Teilausgangsschicht 343, eine vierte Teilausgangsschicht 344, eine fünfte Teilausgangsschicht 345, eine sechste Teilausgangsschicht 346, eine siebte Teilausgangsschicht 347, eine achte Teilausgangsschicht 348, eine neunte Teilausgangsschicht 349, eine zehnte Teilausgangs- schicht 370, eine elfte Teilausgangsschicht 371 und eine zwölfte Teilausgangsschicht 372 auf.

Neuronen der ersten Teilausgangsschicht 341 sind gemäß einer durch eine Ausgangs-Verbindungsmatrix C gegebenen Struktur mit Neuronen der zweiten versteckten Schicht 332 verbunden. Neuronen der zweiten Teilausgangsschicht 342 sind ebenfalls gemäß der durch die Ausgangs-Verbindungsmatrix C gegebenen Struktur jeweils mit Neuronen der zweiten versteckten Schicht 332 und mit Neuronen der dritten versteckten Schicht 333 verbunden .

Neuronen der dritten Teilausgangsschicht 343 sind gemäß der Ausgangs-Verbindungsmatrix C jeweils mit Neuronen der zweiten versteckten Schicht 332, mit Neuronen der dritten versteckten Schicht 333 und mit Neuronen der vierten versteckten Schicht 334 verbunden.

Äquivalent gilt diese Art der Verbindungsstruktur jeweils für die vierte 344, die fünfte 345, die sechste 346, die siebte

347, die achte 348, die neunte 349, die zehnte 370, die elfte 371 und die zwölfte 372 Teilausgangsschicht.

An den Neuronen der Teilausgangsschichten 341-349 und 370-372 sind die Ausgangsgrößen für jeweils einen Zeitpunkt t+1, t+2, ..., t+12 abgreifbar (yt₊i Yt₊2' •••' Ytl2> •

Ferner sind zusätzlich zu der Eingangsschicht 321 aber nur die vierte Teilausgangsschicht 344, die achte Teilausgangs- schicht 348 und die zwölfte Teilausgangsschicht 372 sogenannte "error-produzierende" Neuronenschichten. Das heißt, daß bei einem Training der Anordnung nur an diesen Neuronenschichten error-Signale erzeugt werden.

Damit ist eine Vorhersage von 12 jeweils um einen vorgebbaren Zeitschritt (Drei-Monats-Zeitschritt) folgende Folgezustände des dynamischen Prozesses möglich, und damit Zustände des dy- namischen Prozesses über einen großen Zeitraum prognostizierbar.

Den besonderen Vorteil, den die in Fig.3 dargestellte Anord- nung insbesondere durch ihre Struktur aufweist, liegt darin, daß die Anordnung unter Verwendung von nur wenigen Trainingsdaten ein effizientes Training ermöglicht. Dies ist insbesondere dadurch möglich, da durch die jeweils gleichen Gewichte in den Verbindungsmatrizen A, B und C wenige Gewichtsparame- ter eingestellt werden müssen sowie sich durch die besondere Form der Ausgangs-Verbindungsmatrix C eine weitere Vereinfachung des Trainingsverfahren ergibt.

Ein weiterer bedeutender Vorteil, den die Anordnung aufweist, liegt darin, daß durch die besondere Struktur der Anordnung Zustände eines dynamischen Prozesses in einem engen Zeitraster beschrieben werden können, obwohl Eingangsgrößen, die als eine Zeitreihe aufgearbeitet wurden, ein im Vergleich zu den Zwischenzuständen gröberes Zeitraster aufweisen ("undershooting") .

Das Zeitraster der Zwischenzustände kann dadurch weiter verfeinert werden, daß weitere verdeckte Schichten mit jeweils einer verbundenen Teilausgangsschicht in einer Anordnung ver- wendet werden, wobei allerdings die weiteren Teilausgangsschichten keine "error-produzierenden" Neuronenschichten sind.

Mathematisch gesehen entspricht eine Erhöhung einer Verfeine- rung des Zeitrasters von Zwischenzuständen eines dynamischen Prozesses einem Übergang von einer zeitdiskreten Beschreibung des dynamischen Prozesses zu einer Beschreibung des dynami- sehen Prozesses durch ein kontinuierliches Differenzialglei- chungssystem.

Die Vorgehensweise für ein Training der oben beschriebenen Anordnung ist in [4] beschrieben.

Dabei werden für das Training der Anordnung nur die "error- produzierenden" Neuronenschichten verwendet.

In [4] werden Verfahren und Anordnungen miteinander verbundener Rechenelemente zur Ermittlung einer Dynamik, die einem dynamischen Prozeß zugrunde liegt, vorgeschlagen, bei denen bei einer Modellierung der Dynamik eine vorgegebene Bedingung, wie beispielsweise ein geglätteter Verlauf des dynami- sehen Prozesses in einem vorgegebenen Raum, in dem "innere" Zustände des beschriebenen dynamischen Prozesses repräsentiert werden, berücksichtigbar ist.

Als Trainingsverfahren wird das Backpropagation-Verfahren eingesetzt.

Im weiteren werden einige Alternativen zu dem oben beschriebenen Ausführungsbeispiel aufgezeigt.

Die in dem ersten Ausführungsbeispiel beschriebene Anordnung kann auch für die Ermittlung einer Dynamik eines Elektro- Kardio-Gramms (EKG) eingesetzt werden. Damit lassen sich frühzeitig Indikatoren, die auf ein erhöhtes Herzinfarktrisiko hinweisen, bestimmen. Als Eingangsgröße wird eine Zeitrei- he aus an einem Patienten gemessenen EKG-Werten verwendet.

Die in dem zweiten Ausführungsbeispiel beschriebene Anordnung kann auch für die Prognose einer makroökonomischer Dynamik, wie beispielsweise eines Wechselkursverlaufs, oder anderen ökonomischer Kennzahlen, wie beispielsweise eines Börsenkurses, eingesetzt werden. Bei einer derartigen Prognose wird eine Eingangsgröße aus Zeitreihen relevanter makroökonomi- scher bzw. ökonomischer Kennzahlen, wie beispielsweise Zinsen, Währungen oder Inflationsraten, gebildet.

Als Gesamtkostenfunktion E' können alternativ auch folgende Kostenfunktionen gewählt werden:

; + , l ι Flι^stt +- +*- li^{1 _~ ss}tt yllll — ++ l L lll^s5tt- ^{-~ ss}tt_-- lιil|-,[_ _{→ min ( 7 )}

= ι IK^st+ι - ^st) + (st - ^st-ι)|| f, g

T

2 js_t + l t ^• ι _t - s_t - l)

E' ⁼ ? Σ (^y + i — > min . ( 8 ) ^τ t = l' ' H^st + l ^{" s}tll ^' ll^st ^{~ s}t - l|| f, g

Ferner ist die Bedingung nicht auf eine Glattheitsbedingung beschränkt.

Diese Tatsache kann vorteilhaft bei der Prognose makroökonomischer bzw. ökonomischer Dynamiken eingesetzt werden, da es sich bei einem makroökonomischen oder ökonomischen System um ein emergentes System handelt.

Ferner kann auch eine verdeckte Schicht, deren Neuronen sowohl mit Neuronen einer zu der verdeckten Schicht zugehörigen Eingangsschicht als auch mit Neuronen eines zu der verdeckten Schicht zugehörigen Ausgangsschicht verbunden sind. Die Verbindung der verdeckten Schicht mit einer anderen verdeckten Schicht erfolgt in der in den Ausführungsbeispielen beschrieben Weise. Die Verbindungsmatrizen A, B und C weisen jeweils die in den Ausführungsbeispielen beschrieben Formen auf.

Eine mögliche Realisierung der oben beschriebenen Ausführungsbeispiele können mit dem Programm SENN, Version 2.3 durchgeführt werden. In diesem Dokument sind folgende Veröffentlichungen zitiert:

[1] S. Hayken, Neural Networks: A Comprehensive Foundation, Mc Millan College Publishing Company, Second Edition, ISBN 0-13-273350-1, S. 732-789, 1999.

[2] David E. Rumelhart et al . , Parallel Distributed Processing, Explorations in the Microstructure of Cognition, Vol. 1: Foundations, A Bradford Book, The MIT Press, Cambrigde, Massachusetts, London, England, 1987

[3] H. Rehkugler und H. G. Zimmermann, Neuronale Netze in der Ökonomie, Grundlagen und finanzwirtschaftliche Anwendungen, Verlag Franz Vahlen München, ISBN 3-8006-1871-0, S. 3-90, 1994.

Claims

Patentansprüche

1. Anordnung miteinander verbundener Rechenelemente,

- mit mindestens einer ersten Unteranordnung mit einem zuge- hörigen ersten Eingangsrechenelement, dem Zeitreihenwerte, welche jeweils einen Zustand eines Systems in einem ersten Zustandsraum zu einem Zeitpunkt beschreiben, zuführbar sind, und einem zugehörigen ersten Zwischenrechenelement, mit welchem ein Zustand des Systems in einem zweiten Zu- standsraum zu einem Zeitpunkt beschreibbar ist, wobei das erste Eingangsrechenelement und das erste Zwischenrechenelement miteinander verbunden sind,

- mit mindestens einer zweiten Unteranordnung mit einem zugehörigen zweiten Zwischenrechenelement, mit welchem ein Zustand des Systems in dem zweiten Zustandsraum zu einem Zeitpunkt beschreibbar ist, und einem zugehörigen ersten Ausgangsrechenelement, an dem ein erstes Ausgangssignal abgreifbar ist, wobei das zweite Zwischenrechenelement und das erste Ausgangsrechenelement miteinander verbunden sind,

- mit mindestens einer dritten Unteranordnung mit einem zugehörigen dritten Zwischenrechenelement, mit welchem ein Zustand des Systems in dem zweiten Zustandsraum zu einem Zeitpunkt beschreibbar ist, und einem zugehörigen zweiten Ausgangsrechenelement, an dem ein zweites Ausgangssignal abgreifbar ist, wobei das dritte Zwischenrechenelement und das zweite Ausgangsrechenelement miteinander verbunden sind, a) wobei die erste Unteranordnung, die zweite Unteranordnung und die dritte Unteranordnung jeweils durch eine Kopplung der

Zwischenrechenelemente miteinander verbunden sind, b) wobei Gewichte, welche jeweils einer Verbindung zwischen zwei Zwischenrechenelementen zugeordnet sind, untereinander gleich sind und c) wobei Gewichte, welche jeweils einer Verbindung zwischen einem Zwischenrechenelement und einem Ausgangsrechenelement zugeordnet sind, untereinander gleich sind.

2. Anordnung nach Anspruch 1, die jeweils mehrere erste, zweite und/oder dritte Unteranordnungen aufweist.

3. Anordnung nach Anspruch 1 oder 2,

- die mindestens eine vierte Unteranordnung mit einem zugehörigen vierten Zwischenrechenelement, mit welchem ein Zustand des Systems in dem zweiten Zustandsraum zu einem Zeitpunkt beschreibbar ist, und mit einem zugehörigen zweiten Eingangsrechenelement aufweist, wobei das vierte Zwischenrechenelement und das zweite Eingangsrechenelement, welchem ein weiterer Zeitreihenwert, welcher einen weiteren Zustand des Systems in dem Zustandsraum zu einem weiteren Zeitpunkt beschreibt, zuführbar ist, miteinander verknüpft sind,

- bei der die vierte Unteranordnung durch eine Kopplung des vierten Zwischenrechenelement mit dem ersten Zwischenrechenelement mit der ersten Unteranordnung gekoppelt ist, - bei der Gewichte, welche jeweils einer Verbindung zwischen einem Eingangsrechenelement und einem Zwischenrechenelement zugeordnet sind, untereinander gleich sind.

4. Anordnung nach Anspruch 3, die mehrere vierte Unteranordnungen aufweist.

5. Anordnung nach einem der Ansprüche 1 bis 4, bei der ein Ausgangsrechenelement mit mehreren Zwischenrechenelementen verbunden ist.

6. Anordnung nach einem der Ansprüche 1 bis 5, bei der die erste, die zweite und die dritte Unteranordnung das System jeweils zu einem ersten, zweiten und dritten Zeitpunkt repräsentieren, wobei der erste und der zweite und der dritte Zeitpunkt jeweils aufeinanderfolgende Zeitpunkte sind und zwischen dem ersten Zeitpunkt und dem zweiten Zeitpunkt ein erstes Zeitintervall liegt, welches einen ersten vorgebbaren Zeitschritt aufweist, und zwischen dem zweiten und dem dritten Zeitpunkt ein zweites Zeitintervall liegt, welches einen vorgebbaren zweiten Zeitschritt aufweist.

7. Anordnung nach Anspruch 6, bei der die erste Unteranordnung einen aktuellen Zustand des System repräsentiert, die zweite Unteranordnung einen um den ersten vorgebbaren Zeitschritt verschobenen zukünftigen ersten Zustand des System repräsentiert und die dritte Unteranordnung einen um den zweiten vorgebbaren Zeitschritt verschobenen zukünftigen zweiten Zustand des System repräsentiert.

8. Anordnung nach Anspruch 6 oder 7, bei der der erste vorgebbare Zeitschritt und der zweite vorgebbare Zeitschritt untereinander gleich sind.

9. Anordnung nach Anspruch 6 oder 7, bei der der zweite vorgebbare Zeitschritt ein Vielfaches des ersten vorgebbare Zeitschritts ist.

10. Anordnung nach einem der Ansprüche 6 bis 9, bei der der erste und/oder der zweite vorgebbare Zeitschritt ein Teiler eines weiteren vorgegebenen Zeitschritts, welcher durch eine Zeitreihe, welche durch die Zeitreihenwerte gebildet wird, bestimmt wird.

11. Anordnung nach einem der Ansprüche 3 bis 10, bei der die vierte Unteranordnung das System zu einem vierten Zeitpunkt repräsentiert, wobei zwischen dem vierten Zeitpunkt und dem ersten Zeitpunkt ein drittes Zeitintervall liegt, welches einen dritten vorgebbaren Zeitschritt aufweist.

12. Anordnung nach Anspruch 11, bei der die vierte Unteranordnung einen zeitlich älteren Zustand des System repräsentiert.

13. Anordnung nach einem der Ansprüche 1 bis 12, bei der zumindest ein Teil der Rechenelemente künstliche Neuronen sind.

14. Anordnung nach einem der Ansprüche 1 bis 13, bei der nur ein Gewicht von Gewichten, welche jeweils einer Verbindung zwischen einem Zwischenrechenelement und einem Ausgangsrechenelement zugeordnet sind, einen Wert eins aufweist und die anderen Gewichte von den Gewichten jeweils einen Wert null aufweisen.

15. Anordnung nach einem der Ansprüche 1 bis 14, eingesetzt zur Ermittlung einer Dynamik eines dynamischen Prozesses.

16. Anordnung nach Anspruch 15, mit einer Meßanordnung zur Erfassung physikalischer Signale, mit denen der dynamische Prozeß beschrieben wird.

17. Anordnung nach Anspruch 15 oder 16, eingesetzt zur Ermittlung der Dynamik eines dynamischen Pro- zesses in einem chemischen Reaktor.

17. Anordnung nach Anspruch 15, eingesetzt zur Ermittlung der Dynamik eines Elekro-Kardio-

Gram s .

18. Anordnung nach Anspruch 15 oder 16, eingesetzt zur Ermittlung der Dynamik, welche einem Prozeß zugrunde liegt, welcher durch eine ökonomische Kennzahl beschreibbar ist.

19. Verfahren zur rechnergestützten Ermittlung einer Dynamik, die einem dynamischen Prozeß zugrunde liegt, mit folgenden Schritten: a) der dynamische Prozeß wird durch eine Zeitreihe mit Zeit- reihenwerten in einem ersten Zustandsraum beschrieben, wobei mindestens ein erster Zeitreihenwert einen Zustand des dynamischen Prozesses zu einem ersten Zeitpunkt und ein zweiter Zeitreihenwert einen Zustand des dynamischen Prozesses zu einem zweiten Zeitpunkt beschreibt, b) der erster Zeitreihenwert wird in einen zweiten Zustandsraum transformiert, c) der erste Zeitreihenwert in dem zweiten Zustandsraum wird einer Abbildung auf einen zweiten Zeitreihenwert in dem zweiten Zustandsraum unterzogen, d) der zweite Zeitreihenwert in dem zweiten Zustandsraum wird einer Abbildung auf einen dritten Zeitreihenwert in dem zweiten Zustandsraum unterzogen, e) der zweite Zeitreihenwert in dem zweiten Zustandsraum und der dritte Zeitreihenwert in dem zweiten Zustandsraum wer- den jeweils in den ersten Zustandsraum rücktransformiert, f) aus den Zeitreihenwerten in dem zweiten Zustandsraum wird die Dynamik des dynamischen Prozesses ermittelt.

20. Verfahren nach Anspruch 19, bei dem die Zeitreihenwerte Vektoren vorgebbarer Dimension sind.

21. Verfahren nach Anspruch 19 oder 20, bei dem die Zeitreihenwerte aus physikalischen Signalen er- mittelt werden.

22. Verfahren nach Anspruch 21, bei dem die Zeitreihenwerte einen dynamischen Prozeß in einem chemischen Reaktor beschreiben.

23. Verfahren nach Anspruch 22, bei dem die Zeitreihenwerte aus Signalen eines Elekro-Kardio- Gramms gebildet werden.

24. Verfahren nach Anspruch 21, bei dem die Zeitreihenwerte einen dynamischen Prozeß, welcher durch eine ökonomische Kennzahl beschreibbar ist, beschreiben.

25. Verfahren zur rechnergestützten Ermittlung einer Dynamik, die einem dynamischen Prozeß zugrunde liegt unter Verwendung einer Anordnung miteinander verbundener Rechenelemente, wobei die Anordnung folgenden Aufbau aufweist:

- bei mindestens einer ersten Unteranordnung werden ein zugehöriges erstes Eingangsrechenelement, dem ein Eingangs- signal, welches einen Zustand des dynamischen Systems in einem ersten Zustandsraum zu einem Zeitpunkt beschreibt, zuführbar ist, und ein zugehöriges erstes Zwischenrechenelement, mit welchem ein Zustand des dynamischen Systems in einem zweiten Zustandsraum zu einem Zeitpunkt be- schreibbar ist, miteinander verbunden,

- bei mindestens einer zweiten Unteranordnung werden ein zugehöriges zweites Zwischenrechenelement, mit welchem ein Zustand des dynamischen Systems in dem zweiten Zustandsraum zu einem Zeitpunkt beschreibbar ist, und ein zugehö- riges erstes Ausgangsrechenelement, an dem ein erstes Ausgangssignal, welches einen Zustand des dynamischen Systems in dem ersten Zustandsraum zu einem Zeitpunkt beschreibt, abgreifbar ist, miteinander verbunden,

- bei mindestens einer dritten Unteranordnung werden ein zu- gehöriges drittes Zwischenrechenelement, mit welchem ein

Zustand des dynamischen Systems in dem zweiten Zustandsraum zu einem Zeitpunkt beschreibbar ist, und ein zugehöriges zweites Ausgangsrechenelement, an dem ein zweites Ausgangssignal, welches einen Zustand des dynamischen Sy- stems in dem ersten Zustandsraum zu einem Zeitpunkt beschreibt, abgreifbar ist, miteinander verbunden, - die erste Unteranordnung, die zweite Unteranordnung und die dritte Unteranordnung werden jeweils durch eine Kopplung der Zwischenrechenelemente miteinander verbunden,

- Gewichte, welche jeweils einer Verbindung zwischen einem Zwischenrechenelement und einem Ausgangsrechenelement zugeordnet sind, werden derart bestimmt, daß die Gewichte untereinander gleich, bei dem der Anordnung das Eingangssignal zugeführt wird, und bei dem von der Anordnung das erste Ausgangssignal und das zweite Ausgangssignal ermittelt werden, aus welchen die Dynamik ermittelt wird.

26. Verfahren zum rechnergestützten Trainieren einer Anordnung miteinander verbundener Rechenelemente mit folgenden Komponenten:

- bei mindestens einer ersten Unteranordnung werden ein zu- gehöriges erstes Eingangsrechenelement, dem ein Eingangssignal, welches einen Zustand eines dynamischen Systems in einem ersten Zustandsraum zu einem Zeitpunkt beschreibt, zuführbar ist, und ein zugehöriges erstes Zwischenrechenelement, mit welchem ein Zustand des dynamischen Sy- stems in einem zweiten Zustandsraum zu einem Zeitpunkt beschreibbar ist, miteinander verbunden,

- bei mindestens einer zweiten Unteranordnung werden ein zugehöriges zweites Zwischenrechenelement, mit welchem ein Zustand des dynamischen Systems in dem zweiten Zustands- räum zu einem Zeitpunkt beschreibbar ist, und ein zugehöriges erstes Ausgangsrechenelement, an dem ein erstes Ausgangssignal, welches einen Zustand des dynamischen Systems in dem ersten Zustandsraum zu einem Zeitpunkt beschreibt, abgreifbar ist, miteinander verbunden, - bei mindestens einer dritten Unteranordnung werden ein zugehöriges drittes Zwischenrechenelement, mit welchem ein Zustand des dynamischen Systems in dem zweiten Zustands- räum zu einem Zeitpunkt beschreibbar ist, und ein zugehöriges zweites Ausgangsrechenelement, an dem ein zweites Ausgangssignal, welches einen Zustand des dynamischen Systems in dem ersten Zustandsraum zu einem Zeitpunkt be- schreibt, abgreifbar ist, miteinander verbunden,

- die erste Unteranordnung, die zweite Unteranordnung und die dritte Unteranordnung werden jeweils durch eine Kopplung der Zwischenrechenelemente miteinander verbunden,

- Gewichte, welche jeweils einer Verbindung zwischen einem Zwischenrechenelement und einem Ausgangsrechenelement zugeordnet sind, werden derart bestimmt, daß die Gewichte untereinander gleich, bei dem die Anordnung unter Verwendung vorgegebener Trainingsdaten, welche als das Eingangssignal an das erste Eingangsrechenelement angelegt werden, derart trainiert wird, daß nur in solchen Unteranordnungen "error"-Werte gebildet werden, welche Zustände des dynamischen Systems repräsentieren, deren Zeitpunkte jeweils einen Zeitschritt aufweisen, der mit einem Zeitschritt, welchen jeweils die Trainingsdaten aufweisen, gleich ist.