Beschreibung
Verfahren zur rechnergestützten Modellierung eines technischen Systems
Die Erfindung betrifft ein Verfahren zur rechnergestützten Modellierung eines technischen Systems sowie ein Verfahren zum rechnergestützten Schätzen von Zuständen eines technischen Systems und ein entsprechendes Computerprogrammprodukt.
Aus dem Stand der Technik ist es bekannt, zur Modellierung eines technischen Systems künstliche neuronale Netze einzu- setzen, welche basierend auf Trainingsdaten umfassend ent- sprechende Zustände des technischen Systems gelernt werden, Das gelernte neuronale Netz eignet sich dann zur Schätzung bzw. Prognose von Zuständen des technischen Systems.
Neuronale Netze ermöglichen die Vorhersage von Zuständen ei¬ ner Ausgangsschicht basierend auf Zuständen einer Eingangs¬ schicht, wobei zwischen Ausgangsschicht und Eingangsschicht eine oder mehrere Neuronenschichten mit versteckten Zuständen vorgesehen sind. Je größer die Anzahl der verwendeten versteckten Schichten ist, desto genauer kann ein technisches System über das Lernen eines neuronalen Netzes modelliert werden. Dabei besteht jedoch das Problem, dass herkömmliche überwachte Lernverfahren, insbesondere das Gradientenab¬ stiegsverfahren, für neuronale Netze mit einer Vielzahl von versteckten Schichten ungeeignet sind. Demzufolge werden neu¬ ronale Netze mit einer Vielzahl von versteckten Schichten oftmals schichtweise mit unüberwachten Lernverfahren gelernt, wobei anschließend mit einem Gradientenabstiegsverfahren die Anpassung an die tatsächlichen Zustände gemäß den Trainingsdaten erfolgt.
Die Druckschrift PETERSON, C. et al . : JETNET 3.0-A versatile artificial neural network package, Computer physics Communi¬ cations, Vol. 81, 1993, No. 1-2, S. 185-220 betrifft die Be¬ schreibung eines Programmpakets, welches auf neuronalen Net-
zen beruht. Dabei wird auch die Verwendung von sogenannten Skip-Layer-Netzen umfassend Skip-Layer-Verbindungen beschrieben . Die Druckschrift ROSENBERG, A. : Lecture 14 - Neural Networks. Machine Learning. Queens College (CUNY) , New York, USA, März 2010, offenbart die Struktur eines Skip-Layer-Netzes , in dem eine Eingangsschicht über Konnektoren direkt mit einer Aus¬ gangsschicht verbunden ist.
In der Druckschrift REYFUS G.: Neural networks : methodology and applications . 2. Auflage. Berlin: Springer, 2005. S. i, iii-xvi, 1-11, 171-186 ist u.a. offenbart, wie ein rekurrentes neuronales Netz in der kanonischen Form eines Feed- Forward-Netzes dargestellt werden kann. Einige Ausgaben die¬ ses Feed-Forward-Netzes werden zu den Eingaben des Netzes zu¬ rückgeführt .
Aufgabe der Erfindung ist es, eine einfache und genaue Model- lierung eines technischen Systems basierend auf einem rechnergestützten Verfahren mit einem neuronalen Netz zu schaffen .
Diese Aufgabe wird durch die unabhängigen Patentansprüche ge- löst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen gelöst.
Das erfindungsgemäße Verfahren dient zur rechnergestützten Modellierung eines technischen Systems, dessen Betrieb für eine Vielzahl von Betriebspunkten jeweils durch einen ersten Zustandsvektor mit einer oder mehreren ersten Zustandsvariab- len und durch einen zweiten Zustandsvektor mit einer oder mehreren zweiten Zustandsvariablen beschrieben wird. Das technische System wird durch das Lernen eines neuronalen Net- zes umfassend zumindest ein Feed-Forward-Netz basierend auf Trainingsdaten aus bekannten ersten und zweiten Zustandsvek- toren für mehrere Betriebspunkte modelliert. Feed-Forward- Netze leiten Neuronenausgaben nur in eine Verarbeitungsrich-
tung weiter. Das im erfindungsgemäßen Verfahren verwendete zumindest eine Feed-Forward-Netz enthält mehrere Neuronen- schichten, welche eine Eingangsschicht, eine oder mehrere versteckte Schichten und eine Ausgangsschicht umfassen. Diese Schichten enthalten Zustandsvektoren in der Form von entsprechenden Neuronenclustern aus einem oder mehreren Neuronen. Die Neuronenschichten sind untereinander über sog. Konnekto- ren mit jeweiligen Gewichten in der Form von Gewichtsmatrizen verbunden. Ferner ist die Eingangsschicht mit zumindest einem ersten Zustandsvektor und die Ausgangsschicht mit zumindest einem zweiten Zustandsvektor verknüpft. Der Begriff der Verknüpfung der Eingangsschicht mit dem zumindest einen ersten Zustandsvektor bzw. der Ausgangsschicht mit dem zumindest ei¬ nen zweiten Zustandsvektor ist weit zu verstehen. Insbesondere kann der zumindest eine erste Zustandsvektor Teil der Eingangsschicht sein bzw. diese repräsentieren. Das Gleiche gilt für den zumindest einen zweiten Zustandsvektor, der Teil der Ausgangsschicht sein kann bzw. diese repräsentieren kann. Ebenso besteht die Möglichkeit, dass der zumindest eine erste Zustandsvektor einer Vorverarbeitung unterzogen wird, wobei der sich daraus ergebende vorverarbeitete Vektor dann Teil der Eingangsschicht ist. Wie weiter unten näher beschrieben, kann beispielsweise der erste Zustandsvektor über ein rekurrentes neuronales Netz in einen versteckten Zustandsvektor gewandelt werden, der dann die Eingangsschicht des Feed- Forward-Netzes repräsentiert. Analog besteht auch die Mög¬ lichkeit, dass die Ausgangsschicht noch nicht den zumindest einen zweiten Zustandsvektor repräsentiert, sondern dieser in einem separaten Nachverarbeitungsschritt generiert wird.
Das erfindungsgemäße Verfahren zeichnet sich durch eine spe¬ zielle Struktur des verwendeten Feed-Forward-Netzes aus. Ge¬ mäß dieser Struktur ist zumindest ein Konnektor ein Überbrü- ckungskonnektor, der eine Neuronenschicht unter Überbrückung zumindest einer versteckten Schicht mit der Ausgangsschicht verbindet. Durch diese zusätzlichen Überbrückungskonnektoren
wird ein einfaches und effizientes Lernen des zumindest einen Feed-Forward-Netzes auch für eine große Anzahl von versteck¬ ten Schichten erreicht, wobei gleichzeitig eine gute Model¬ lierungsqualität gewährleistet ist. In einer bevorzugten Aus¬ führungsform umfasst das zumindest eine Feed-Forward-Netz fünf oder mehr und vorzugsweise acht oder mehr und besonders bevorzugt 40 oder mehr Schichten. Die Netzstruktur kann dabei in einfacher Weise mit an sich bekannten Lernverfahren, wie z.B. dem Gradientenabstiegsverfahren und insbesondere dem Er- ror-Backpropagation-Verfahren gelernt werden. Dabei muss das rückpropagierte Fehlersignal aufgrund des oder der Überbrü- ckungskonnektoren nicht alle Schichten oberhalb einer bestimmten Schicht durchlaufen, bis die Gewichte der bestimmten Schicht beeinflusst werden.
Erfindungsgemäß umfasst das zumindest eine Feed-Forward-Netz eine Mehrzahl von versteckten Schichten, wobei jede nicht direkt mit der Ausgangsschicht verbundene versteckte Schicht über einen Uberbrückungskonnektor mit der Ausgangsschicht verbunden ist. Auf diese Weise wird sichergestellt, dass für alle versteckten Schichten eine direkte Verbindung zu der Ausgangsschicht gewährleistet ist. In einer weiteren Ausges¬ taltung ist auch die Eingangsschicht des zumindest einen Feed-Forward-Netzes über einen Uberbrückungskonnektor mit der Ausgangsschicht verbunden.
In einer besonders bevorzugten Aus führungs form des erfindungsgemäßen Verfahrens kann mit dem neuronalen Netz das dynamische Verhalten des technischen Systems für eine Vielzahl von zeitlich aufeinander folgenden Betriebspunkten des Systems modelliert werden. Dies wird dadurch erreicht, dass ne¬ ben dem zumindest einen Feed-Forward-Netz ein rekurrentes neuronales Netz verwendet wird, welches mit dem zumindest ei¬ nen Feed-Forward-Netz gekoppelt ist. Das rekurrente neuronale Netz umfasst dabei eine Eingangsschicht und eine rekurrente versteckte Schicht, bei der die versteckten Zustandsvektoren im Unterschied zu einem Feed-Forward-Netz auch innerhalb der Schicht über Konnektoren verbunden sind. Die Eingangsschicht
des rekurrenten neuronalen Netzes beinhaltet erste Zustands¬ vektoren zu zeitlich aufeinander folgenden Betriebspunkten des technischen Systems umfassend einen aktuellen und einen oder mehrere vergangene Betriebspunkte, wobei jeder erste Zu- standsvektor zum jeweiligen Betriebspunkt der Eingangsschicht des rekurrenten neuronalen Netzes über einen Konnektor mit entsprechendem Gewicht mit einem versteckten Zustandsvektor zum jeweiligen gleichen Betriebspunkt der rekurrenten versteckten Schicht des rekurrenten neuronalen Netzes verbunden ist. Ferner repräsentiert der versteckte Zustandsvektor zum aktuellen Betriebspunkt die Eingangsschicht eines des zumin¬ dest einen Feed-Forward-Netzes , wohingegen die Ausgangs¬ schicht dieses Feed-Forward-Netzes den zweiten Zustandsvektor zum aktuellen Betriebspunkt repräsentiert.
In einer besonders bevorzugten Aus führungs form des soeben beschriebenen neuronalen Netzes, welches neben dem Feed-For- ward-Netz ein rekurrentes neuronales Netz verwendet, können in geeigneter Weise auch Zustandsvektoren für einen oder mehrere zukünftige Betriebspunkte des technischen Systems model¬ liert werden, um diese anschließend mit dem gelernten neuro¬ nalen Netz in geeigneter Weise zu prognostizieren. Um dies zu erreichen, umfasst die Eingangsschicht des rekurrenten neuro¬ nalen Netzes ferner einen oder mehrere erste Zustandsvektoren zu zeitlich aufeinander folgenden zukünftigen Betriebspunkten des technischen Systems und jeder erste Zustandsvektor zu einem zukünftigen Betriebspunkt ist über einen Konnektor mit entsprechendem Gewicht mit einem versteckten Zustandsvektor zu dem zukünftigen Betriebspunkt der rekurrenten versteckten Schicht des rekurrenten neuronalen Netzes verbunden. Dabei bildet jeder versteckte Zustandsvektor zu einem zukünftigen Betriebspunkt die Eingangsschicht eines des zumindest einen Feed-Forward-Netzes für den zukünftigen Betriebspunkt, wobei die Ausgangsschicht jedes Feed-Forward-Netzes für einen zu¬ künftigen Betriebspunkt den zweiten Zustandsvektor zu dem zukünftigen Betriebspunkt repräsentiert.
Die soeben beschriebene Aus führungs form umfasst somit mehrere Feed-Forward-Netze zum aktuellen Betriebspunkt und zu einem oder mehreren zukünftigen Betriebspunkten. Ein besonders recheneffizientes Lernen dieses neuronalen Netzes wird in einer bevorzugten Aus führungs form dadurch erreicht, dass die Kon- nektoren aller Feed-Forward-Netze, welche einander entspre¬ chende Neuronenschichten verbinden, die gleichen Gewichte aufweisen. Vorzugsweise weisen auch die Konnektoren zwischen der Eingangsschicht des rekurrenten neuronalen Netzes und der rekurrenten versteckten Schicht des rekurrenten neuronalen
Netzes zu vergangenen Betriebspunkten die gleichen ersten Gewichte auf. Ebenso weisen vorzugsweise die Konnektoren zwi¬ schen der Eingangsschicht des rekurrenten neuronalen Netzes und der rekurrenten versteckten Schicht des rekurrenten neu- ronalen Netzes zum aktuellen und zu zukünftigen Betriebspunkten die gleichen zweiten Gewichte auf.
In einer weiteren bevorzugten Aus führungs form weisen die Konnektoren der versteckten rekurrenten Schicht des rekurrenten neuronalen Netzes, welche sich aus versteckten Zustandsvekto- ren zu vergangenen Betriebspunkten erstrecken, die gleichen dritten Gewichte auf. Analog weisen vorzugsweise die Konnek¬ toren der versteckten rekurrenten Schicht des rekurrenten neuronalen Netzes, welche sich in versteckte Zustandsvektoren zu zukünftigen Betriebspunkten erstrecken, die gleichen vierten Gewichte auf.
Das erfindungsgemäße Verfahren kann zur Modellierung von beliebigen technischen Systemen eingesetzt werden. Ein beson- ders bevorzugter Anwendungsfall ist dabei die Modellierung eines technischen Systems in der Form einer Turbine, insbe¬ sondere einer Gasturbine, wobei die Gasturbine vorzugsweise einen Generator zur Erzeugung von elektrischer Energie aus fossilen Brennstoffen darstellt.
Wird eine Gasturbine als technisches System modelliert, so umfassen die ersten Zustandsvektoren entsprechende Umweltgrößen bzw. veränderbare Stellgrößen der Gasturbine. Vorzugswei-
se beinhalten die ersten Zustandsvektoren der Gasturbine eine oder mehrere der folgenden Zustandsvariablen :
einen oder mehrere Temperaturwerte an oder in der Gasturbine, insbesondere einen oder mehrere Brenngastemperaturwerte, ei- nen oder mehrere Gasdruckwerte an oder in der Gasturbine, insbesondere einen oder mehrere Brenngasdruckwerte, einen oder mehrere Stellwerte zur Einstellung von einem oder mehreren, der Gasturbine zugeführten Brennstoffteilströmen . Die einzelnen Werte können dabei an unterschiedlichen Stellen in der Gasturbine gemessen bzw. eingestellt werden.
Wird als technisches System eine Gasturbine modelliert, so umfassen die zweiten Zustandsvektoren vorzugsweise eine oder mehrere der folgenden Zustandsvariablen:
einen oder mehrere Emissionswerte von Stickoxiden und/oder von Kohlenmonoxid; einen oder mehrere Parameter, welche Vib¬ rationen der Brennkammer der Gasturbine beschreiben.
Das mit dem oben beschriebenen Verfahren gelernte neuronale Netz kann anschließend zum Schätzen bzw. zur Prognose von zweiten Zustandsvektoren eingesetzt werden. Demzufolge um- fasst die Erfindung auch ein Verfahren zum rechnergestützten Schätzen von Zuständen eines technischen Systems, wobei das technische System durch das Lernen eines neuronalen Netzes basierend auf dem erfindungsgemäßen Verfahren modelliert ist und ein oder mehrere zweite Zustandsvektoren des technischen Systems über das gelernte neuronale Netz basierend auf einem oder mehreren ersten Zustandsvektoren des technischen Systems bestimmt werden.
Die Erfindung betrifft darüber hinaus ein Computerprogrammprodukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Programm auf einem Rechner abläuft.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren detailliert beschrieben.
Es zeigen:
Fig. 1 eine schematische Darstellung der generellen, im erfindungsgemäßen Verfahren verwendeten Topologie eines Feed-Forward-Netzes ; und
Fig. 2 eine spezielle Aus führungs form eines in einer Variante des erfindungsgemäßen Verfahrens verwendeten neuronalen Netzes.
Das erfindungsgemäße Verfahren dient zur Modellierung eines technischen Systems, welches über erste und zweite Zustands- vektoren zu entsprechenden Betriebspunkten des technischen Systems beschrieben wird. Dabei wird basierend auf Trainings- daten in der Form von bekannten ersten und zweiten Zustands- vektoren ein neuronales Netz gelernt, wobei das gelernte neu¬ ronale Netz anschließend zur Prognose von zweiten Zustands- vektoren basierend auf beliebigen, nicht in den Trainingsda¬ ten enthaltenen ersten Zustandsvektoren verwendet werden kann. Auf diese Weise können z.B. im Realbetrieb des techni¬ schen Systems bestimmte Zustände vor deren Eintritt vorherge¬ sagt werden bzw. bestimmte, üblicherweise durch aufwändige Messverfahren gemessene Zustände geschätzt werden, ohne dass diese separat gemessen werden müssen. Insbesondere können mit dem gelernten neuronalen Netz zweite Zustandsgrößen geschätzt bzw. prognostiziert werden, welche kritisch für den Betrieb des technischen Systems sind und beispielsweise zu einer Be¬ schädigung des technischen Systems führen können. Somit ist es möglich, vorab entsprechende Gegenmaßnahmen, z.B. das An- halten des technischen Systems, zu initiieren. Das mit dem erfindungsgemäßen Verfahren gelernte neuronale Netz liefert dabei eine sehr gute Modellierung des realen Verhaltens des technischen Systems. Dies wurde durch Simulationen der Erfinder nachgewiesen, wie weiter unten beschrieben wird.
Das erfindungsgemäße Verfahren zeichnet sich durch eine neu¬ artige, spezielle Struktur eines zu lernenden neuronalen Net¬ zes in der Form eines kaskadierten Netzes aus. Eine solche
Netzstruktur ist allgemein in Fig. 1 wiedergegeben. Das neuronale Netz stellt dabei ein sog. Feed-Forward-Netz dar, welches die Eigenschaft aufweist, dass Neuronenausgaben nur in Verarbeitungsrichtung von einer Eingangsschicht über versteckte Schichten zu einer Ausgangsschicht geleitet werden. In dem Netz der Fig. 1 ist die Eingangsschicht mit Bezugszei¬ chen I und die Ausgangsschicht mit Bezugszeichen 0 bezeichnet. Die dazwischen liegenden Schichten stellen versteckte Schichten dar und sind mit Hl, H2, HN bezeichnet. Gemäß Fig. 1 umfasst jede Schicht ein einzelnes Cluster aus einer Vielzahl von Neuronen, wobei die Neuronen der Eingangsschicht I einen ersten Zustandsvektor eines technischen Systems und die Neuronen der Ausgangsschicht 0 einen zweiten Zustandsvektor des technischen Systems darstellen. Demgegenüber repräsentieren die Neuronen in den versteckten Schichten versteckte Zustände des technischen Systems.
Wie sich aus Fig. 1 ergibt, sind die einzelnen, benachbarten Schichten des Netzes über Konnektoren K in Vorwärtsrichtung des Netzes miteinander verbunden. Diese Konnektoren koppeln die einzelnen Schichten des neuronalen Netzes mit entsprechenden Gewichten in der Form von Gewichtsmatrizen. Die einzelnen Neuronencluster der versteckten Schichten verwenden eine nicht lineare Aktivierungsfunktion, wobei üblicherweise als Aktivierungsfunktion eine Sigmoidfunktion, wie z.B. der Tangens Hyperbolicus , verwendet wird.
Im Unterschied zu einem herkömmlichen Feed-Forward-Netz zeichnet sich das Netz der Fig. 1 dadurch aus, dass weitere Konnektoren K' mit entsprechenden Gewichten vorgesehen sind, wobei die einzelnen Konnektoren jeweils eine Neuronenschicht umfassend die Eingangsschicht I sowie die erste bis vorletzte versteckte Schicht (d.h. die Schichten Hl bis HN-1) mit der Ausgangsschicht 0 verbinden. Die einzelnen Konnektoren K' stellen somit Überbrückungskonnektoren im Sinne der Ansprüche dar, denn sie verbinden immer zwei Neuronenschichten unter Überbrückung zumindest einer versteckten Schicht. Diese kaskadierte Struktur hat den Vorteil, dass sie auch bei einer
großen Anzahl von versteckten Schichten mit einem einfachen überwachten Lernverfahren, insbesondere mit einem Gradientenabstiegsverfahren, wie z.B. Error-Backpropagation, gelernt werden kann und dabei gleichzeitig sehr gut das Verhalten des zu Grunde liegenden technischen Systems modelliert. Im Unterschied hierzu muss man bei herkömmlichen Feed-Forward-Netzen mit einer Vielzahl von versteckten Schichten zur Erreichung einer guten Modellierung des technischen Systems aufwändige Lernverfahren einsetzen, bei denen zunächst mit unüberwachtem Lernen jede Schicht gelernt wird und anschließend über ein Gradientenabstiegsverfahren die Parameter an die Trainingsdaten angepasst werden.
In einer besonders bevorzugten Aus führungs form der Erfindung werden mehrere Netzstrukturen der Fig. 1 mit einer rekurrenten neuronalen Netzstruktur verknüpft, bei der auch Konnekto- ren innerhalb einer Schicht auftreten können. Dadurch wird insbesondere die Möglichkeit geschaffen, Training-Patterns in der Form von ersten und zweiten Zustandsvektoren zu mehreren zeitlich aufeinander folgenden Betriebspunkten des technischen Systems zu verwenden und damit auch eine Prognose von mehreren zukünftigen zweiten Zustandsvektoren zu ermöglichen. Hierdurch kann mit hoher Genauigkeit das dynamische Verhalten des technischen Systems in der Zukunft vorhergesagt werden.
Fig. 2 zeigt eine Kombination mehrerer Feed-Forward-Netze der Fig. 1 mit einer rekurrenten neuronalen Netzstruktur. Die Struktur des Netzes der Fig. 2 ist dabei an die Struktur der neuronalen Netze angelehnt, welche in den deutschen Patentanmeldungen mit den Nummern 10 2007 001 026 und 10 2010 011 221 beschrieben sind. Der gesamte Offenbarungsgehalt dieser Pa¬ tentanmeldungen wird durch Verweis zum Inhalt der vorliegenden Anmeldung gemacht. Die rekurrente Netzstruktur ist in Fig. 2 mit RN bezeichnet und umfasst die Eingangsschicht I' sowie die versteckte Schicht I. Diese Netzstruktur ist mit vier Feed-Forward-Netzen Fl, F2, F3 und F4 gekoppelt, wobei jedes Netz in seiner Struktur dem Netz der Fig. 1 entspricht und entsprechende Überbrückungskonnektoren K' aufweisen. Ge-
maß Fig. 2 werden alle anderen Konnektoren, die keine
Überbrückungskonnektoren darstellen, mit Bezugszeichen K bezeichnet, wobei jedoch aus Übersichtlichkeitsgründen nur teilweise das Bezugszeichen K für die Konnektoren verwendet wird. Die Konnektoren K und K' verbinden wiederum einzelne Neuronencluster über Gewichte in der Form von Gewichtsmatrizen, wobei nunmehr für alle Konnektoren die entsprechenden Gewichtsmatrizen angegeben sind. In der Aus führungs form der Fig. 2 wird eine Zeitreihe von ersten Zustandsvektoren des technischen Systems betrachtet, die sich über vergangene Betriebspunkte t-5, t-4 usw. zum ak¬ tuellen Betriebspunkt t und von dort zu drei zukünftigen Be¬ triebspunkten t+1, t+2 und t+3 erstrecken. Dabei existiert zu jedem dieser Betriebspunkte ein entsprechender erster Zu- standsvektor it-5, it-4/ it+3- Diese Zeitreihe von ersten Zu¬ standsvektoren wird beim Lernen des neuronalen Netzes berücksichtigt, d.h. jeweilige Zeitabschnitte umfassend diese Zu¬ standsvektoren werden als Trainingsdaten zum Lernen des Net- zes verwendet, wobei die Trainingsdaten ferner die entspre¬ chenden zweiten Zustandsvektoren ot, ot+i, ot+2 und ot+3 umfas¬ sen, welche in Fig. 2 jeweils eine Ausgangsschicht der Feed- Forward-Netze Fl, F2, F3 und F4 bilden. Die einzelnen ersten Zustandsvektoren der Eingangsschicht I' des rekurrenten neuronalen Netzes RN sind mit entsprechenden versteckten Zuständen st-5, st-4, st+3 in der Form versteck¬ ter Zustandsvektoren der versteckten rekurrenten Schicht I gekoppelt. Dabei werden für die Konnektoren die gleichen Ge- wichte Bp für vergangene erste Zustandsvektoren und die glei¬ chen Gewichte Bf für den aktuellen und zukünftige erste Zu¬ standsvektoren verwendet. Die versteckten Zustandsvektoren sind ferner untereinander über Konnektoren verbunden, wobei die Konnektoren zwischen vergangenen Zustandsvektoren st-5, st-4 usw. bzw. dem letzten vergangenen Zustandsvektoren st-i und dem aktuellen Zustandsvektoren st die gleichen Gewichte Ap aufweisen. Ebenso weisen die Konnektoren, die sich in zukünf-
tige versteckte Zustände st+i, st+2 usw. erstrecken, die glei¬ chen Gewichte Af auf.
In der Aus führungs form der Fig. 2 werden als kaskadierte Feed-Forward-Net ze Fl bis F4 Strukturen mit drei versteckten Schichten verwendet, wobei jedes Feed-Forward-Net z in einer jeweiligen versteckten Schicht einen Neuronencluster enthält. Die Neuronencluster der versteckten Schichten des Feed- Forward-Net zes Fl sind dabei mit hlt, h2t und h3t bezeichnet, die Neuronencluster der versteckten Schichten des Feed- Forward-Net zes F2 mit hlt+i , h2t+i und h3t+i - In Analogie wurden entsprechende Bezeichnungen für die weiteren Neuronencluster der versteckten Schichten der Feed-Forward-Net ze F3 und F4 verwendet. Wie sich aus Fig. 2 ergibt, sind die Zustände der Eingangsschicht der einzelnen Feed-Forward-Net ze Fl bis F4 nunmehr versteckte Zustandsvektoren der versteckten Schicht I des rekurrenten neuronalen Netzes RN. Das heißt, für das Netz Fl wird die Eingangsschicht durch den Zustandsvektor st ge¬ bildet, für das Netz F2 durch den Zustandsvektor st+i usw.
Für die Feed-Forward-Net ze Fl bis F4 sind für die einzelnen Konnektoren wiederum die entsprechenden Gewichtsmatrizen angegeben. Man erkennt, dass die einander entsprechenden Konnektoren der jeweiligen Feed-Forward-Net ze die gleichen Gewichtsmatrizen verwenden. Insbesondere wird für die Konnekto¬ ren zwischen der Eingangsschicht I und der ersten versteckten Schicht Hl die Gewichtsmatrix Dl verwendet, für die Konnekto¬ ren zwischen der ersten versteckten Schicht Hl und der zweiten versteckten Schicht H2 die Gewichtsmatrix D2, für die Konnektoren zwischen der zweiten versteckten Schicht H2 und der dritten versteckten Schicht H3 die Gewichtsmatrix D3 und für die Konnektoren zwischen der dritten versteckten Schicht H3 und der Ausgangsschicht 0 die Gewichtsmatrix C3. Ebenso werden die gleichen Gewichte für einander entsprechende
Überbrückungskonnektoren in den einzelnen Feed-Forward-Net zen eingesetzt. Das heißt, für die Konnektoren zwischen der Eingangsschicht I und der Ausgangsschicht 0 wird die Gewichts¬ matrix CO verwendet, für die Konnektoren zwischen der ersten
versteckten Schicht Hl und der Ausgangsschicht 0 die Ge¬ wichtsmatrix Cl und für die Konnektoren zwischen der zweiten versteckten Schicht H2 und der Ausgangsschicht 0 die Ge¬ wichtsmatrix C2.
Die Netzstruktur der Fig. 2 wurde von den Erfindern basierend auf Trainingsdaten betreffend den Betrieb einer Gasturbine getestet. Im Unterschied zur Darstellung der Fig. 2 wurden dabei Feed-Forward-Netze mit neun anstatt drei versteckten Schichten verwendet. Zum Lernen wurden insgesamt in etwa 400000 Training-Patterns in der Form entsprechender Zeitreihen der ersten Zustandsvektoren it-5, ■-, it+3 und der zweiten Zustandsvektoren ot, ot+3 eingesetzt. Zur Überprüfung, ob das gelernte neuronale Netz den tatsächlichen Betrieb des technischen Systems widerspiegelt, wurden mit dem gelernten neuronalen Netz geschätzte zweite Zustände mit bekannten zweiten Zuständen des technischen Systems verglichen, wobei für den Vergleich in etwa 100000 Patterns herangezogen wurden .
Als Zustandsvariablen der ersten Zustandsvektoren wurden verschiedene Umweltgrößen und Stellgrößen der Gasturbine, wie z.B. verschiedene Temperaturen und Gasdrucke sowie Einstel¬ lungen von der Turbine zugeführten Brennstoffteilströmen berücksichtigt. Als Zustandsvariablen der zweiten Zustandsvektoren wurden in einer Simulation Emissionen von Stickoxiden und Kohlenmonoxid und in einer anderen Simulation die Amplituden von Brennkammervibrationen in verschiedenen akustischen Frequenzen berücksichtigt. Die mit dem gelernten erfindungs¬ gemäßen Netz erzielten Ergebnisse wurden dabei mit Ergebnis¬ sen eines dreischichtigen und vierschichtigen Netzes verglichen, wobei diese Netze analog zu Fig. 2 aufgebaut sind, je¬ doch keine Konnektoren K' umfassen. Für das dreischichtige Netz existiert dabei nur die versteckte Schicht I ohne die weiteren versteckten Schichten Hl bis H3. Demgegenüber existiert für das vierschichtige Netz neben der Schicht I auch die versteckte Schicht Hl. Der Lernprozess wurde für das er-
findungsgemäße Netz und die Vergleichsnetze mehrere Male wie¬ derholt, um signifikante Ergebnisse zu erzielen.
Im Vergleich zu dem dreischichtigen Netz wurde mit dem erfin- dungsgemäßen kaskadierten Netz eine um 14% höhere durchschnittliche Genauigkeit und eine um 12% höhere Genauigkeit für den erfolgreichsten Lernprozess erreicht. Darüber hinaus wurde eine um 13% höhere Genauigkeit für den am Wenigsten er¬ folgreichsten Lernprozess erreicht. Diese Ergebnisse zeigen klar, dass das erfindungsgemäße kaskadierte Netz eine deut¬ lich bessere Modellierung des Verhaltens einer Gasturbine im Vergleich zu einem dreischichtigen Netz ermöglicht.
Verglichen mit dem vierschichtigen Netz wurde für das erfin- dungsgemäße kaskadierte Netz eine um 8% höhere durchschnitt¬ liche Genauigkeit, eine um 5% höhere Genauigkeit für den er¬ folgreichsten Lernprozess und eine um 18% höhere Genauigkeit für den am wenigsten erfolgreichen Lernprozess erreicht. Somit ist das vierschichtige Netz besser zur Modellierung einer Gasturbine als das dreischichtige Netz geeignet. Nichtsdesto¬ trotz ist das kaskadierte Netz der Erfindung immer noch deutlich besser als das vierschichtige Netz. Darüber hinaus ist das erfindungsgemäße Netz auch robuster, denn die Streuung der Genauigkeiten der verschiedenen Lernprozesse war für das kaskadierte Netz geringer als für das vierschichtige Netz.
Wie sich aus en obigen Ausführungen ergibt, eignet sich das erfindungsgemäße Verfahren, welches auf dem Lernen einer kaskadierten neuronalen Netzstruktur basiert, sehr gut zur Modellierung von technischen Systemen, wobei das Lernen auf einfache Weise mit einem herkömmlichen Gradientenabstiegsverfahren bewirkt werden kann. Ein entsprechend gelerntes neuro¬ nales Netz umfassend diese kaskadierte Netzstruktur kann dann sehr gut im Rahmen des Realbetriebs bzw. der Simulation eines technischen Systems eingesetzt werden, um Betriebszustände des technischen Systems vorherzusagen.