WO2022022816A1

WO2022022816A1 - Steuern eines technischen systems mittels eines datenbasierten regelungsmodells

Info

Publication number: WO2022022816A1
Application number: PCT/EP2020/071372
Authority: WO
Inventors: Andrés Botero Halblaub; Tim Schenk; Till Heinzerling; Harald Held
Original assignee: Siemens Industry Software Nv
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2022-02-03
Also published as: EP4158427A1; US20230221686A1; CN116113893A

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Konfigurieren eines Reglers sowie ein Verfahren und einen Regler zum Steuern eines technischen Systems mittels eines datenbasierten Regelungsmodells, insbesondere einem Modell auf Basis von Reinforcement Learning. Dieses datenbasierte Regelungsmodell (RL) wird anhand eines modellprädiktiven Regelungsmodell (MPC) konfiguriert. Dabei werden Konfigurationsparameter des datenbasierten Regelungsmodells durch eine Abbildung des modellprädiktiven Regelungsmodells auf das datenbasierte Regelungsmodell derart eingestellt, dass das datenbasierte Regelungsmodell in Abhängigkeit von eingelesenen Zustandsdaten des technischen Systems die Ausgabedaten des modellprädiktiven Regelungsmodells reproduziert und derart konfiguriert optimierte Regelparameter bestimmt. Ein rechenintensives Trainingsverfahren zum Konfigurieren des datenbasierten Regelungsmodells kann damit vermieden werden.

Description

Beschreibung

Steuern eines technischen Systems mittels eines datenbasier ten Regelungsmodells

Die Erfindung betrifft ein computerimplementiertes Verfahren und eine Vorrichtung zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, ein computerimplementier tes Verfahren und einen Regler zum Steuern eines technischen Systems mittels eines derart konfigurierten datenbasierten Regelungsmodells, sowie ein Computerprogrammprodukt.

Ein effizienter Betrieb eines technischen Systems, wie z.B. einer verfahrenstechnischen Anlage der Chemieindustrie oder eines Kraftwerks, erfolgt typischerweise über eine betriebs parallele Regelung. Eine Regelung wird meist auf Basis vorbe stimmter Regelparameter bzw. Stellgrößen ausgehend von einem erfassten Systemzustand durchgeführt, wobei dafür optimale Regelparameter bzw. Stellgrößen durch Methoden der Modellprä- diktiven Regelung bestimmt werden können. Allerdings ist ins besondere für komplexe Systeme aufgrund eines höheren Rechen aufwands eine derartige betriebsbegleitende Regelung schwie rig oder sogar unmöglich.

Es ist somit eine Aufgabe der vorliegenden Erfindung, eine Möglichkeit zu schaffen, eine betriebsbegleitende Steuerung eines technischen Systems, insbesondere eines komplexen tech nischen Systems, zu vereinfachen.

Die Aufgabe wird durch die in den unabhängigen Ansprüchen be schriebenen Maßnahmen gelöst. In den abhängigen Ansprüchen sind vorteilhafte Weiterbildungen der Erfindung dargestellt.

Gemäß einem ersten Aspekt betrifft die Erfindung ein compu terimplementiertes Verfahren zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, a) Einlesen eines modellprädiktiven Regelungsmodells für den Regler, wobei das modellprädiktive Regelungsmodell eingerich- tet ist, in Abhängigkeit von simulierten und/oder gemessenen Zustandsdaten des technischen Systems optimierte Regelparame ter zum Steuern des technischen Systems als Ausgabedaten aus zugeben, b) Einlesen eines datenbasierten Regelungsmodells, c) Einstellen von Konfigurationsparametern des datenbasierten Regelungsmodells anhand des modellprädiktiven Regelungsmo dells derart, dass das datenbasierte Regelungsmodell in Ab hängigkeit von eingelesenen Zustandsdaten des technischen Systems die Ausgabedaten des modellprädiktiven Regelungsmo dells reproduziert und derart konfiguriert optimierte Regel parameter bestimmt, und d) Ausgeben des derart konfigurierten datenbasierten Rege lungsmodells zum Steuern des technischen Systems an den Reg ler.

Das derart konfigurierte datenbasierte Regelungsmodell kann insbesondere an einen Regler zum Steuern des technischen Sys tems ausgegeben werden. Somit kann insbesondere die erfin dungsgemäße Vorrichtung mit einem solchen Regler gekoppelt sein.

Gemäß einem weiteren Aspekt betrifft die Erfindung eine Vor richtung zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, umfassend

- eine Schnittstelle, die derart eingerichtet ist, ein mo- dellprädiktives Regelungsmodell für den Regler einzulesen, wobei das modellprädiktive Regelungsmodell eingerichtet ist, in Abhängigkeit von simulierten und/oder gemessenen Zustands daten des technischen Systems optimierte Regelparameter zum Steuern des technischen Systems als Ausgabedaten auszugeben, und ein datenbasiertes Regelungsmodell einzulesen,

- einen Konfigurator, der derart eingerichtet ist, Konfigura tionsparameter des datenbasierten Regelungsmodells anhand des modellprädiktiven Regelungsmodells derart einzustellen, dass das datenbasierte Regelungsmodell in Abhängigkeit von eingelesenen Zustandsdaten des technischen Systems die Aus- gabedaten des modellprädiktiven Regelungsmodells reproduziert und derart konfiguriert optimierten Regelparameter bestimmt,

- ein Ausgabemodul, das derart eingerichtet ist, das konfigu rierte datenbasierte Regelungsmodell zum Steuern des techni schen Systems an den Regler auszugeben.

Das erfindungsgemäße Verfahren kann insbesondere computerge stützt realisiert sein. Sofern es in der nachfolgenden Be schreibung nicht anders angegeben ist, beziehen sich die Be griffe "durchführen", "berechnen", "rechnergestützt", "rech nen", "feststellen", "generieren", "konfigurieren", "rekon struieren" und dergleichen vorzugsweise auf Handlungen und/oder Prozesse und/oder Verarbeitungsschritte, die Daten verändern und/oder erzeugen und/oder die Daten in andere Da ten überführen, wobei die Daten insbesondere als physikali sche Größen dargestellt werden oder vorliegen können, bei spielsweise als elektrische Impulse. Insbesondere sollte der Ausdruck "Computer" möglichst breit ausgelegt werden, um ins besondere alle elektronischen Geräte mit Datenverarbeitungs eigenschaften abzudecken. Computer können somit beispielswei se Personal Computer, Server, speicherprogrammierbare Steue rungen (SPS), Handheld-Computer-Systeme, Pocket-PC-Geräte, Mobilfunkgeräte und andere Kommunikationsgeräte, die rechner gestützt Daten verarbeiten können, Prozessoren und andere elektronische Geräte zur Datenverarbeitung sein. Die erfin dungsgemäße Vorrichtung kann in Hardware und/oder Software ausgestaltet sein. Ist die Vorrichtung in Hardware ausgestal tet, kann sie insbesondere mindestens einen Prozessor umfas sen. Unter einem Prozessor kann im Zusammenhang mit der Er findung beispielsweise eine Maschine oder eine elektronische Schaltung verstanden werden. Bei einem Prozessor kann es sich insbesondere um einen Hauptprozessor (engl. Central Proces sing Unit, CPU), einen Mikroprozessor oder einen Mikrokon troller, beispielsweise eine anwendungsspezifische integrier te Schaltung oder einen digitalen Signalprozessor, möglicher weise in Kombination mit einer Speichereinheit zum Speichern von Programmbefehlen, etc. handeln. Auch kann unter einem Prozessor ein virtualisierter Prozessor, eine virtuelle Ma schine oder eine Soft-CPU verstanden werden.

Unter „bereitstellen", insbesondere in Bezug auf Daten und/oder Informationen, kann im Zusammenhang mit der Erfin dung beispielsweise ein rechnergestütztes Bereitstellen ver standen werden. Das Bereitstellen erfolgt beispielsweise über eine Schnittstelle, wie zum Beispiel eine Netzwerkschnitt stelle oder eine Schnittstelle zu einer Speichereinheit. Über eine solche Schnittstelle können beispielsweise beim Bereit stellen entsprechende Daten und/oder Informationen übermit telt und/oder gesendet und/oder abgerufen und/oder empfangen werden.

Unter einem „modellprädiktivem Regelungsmodell" kann insbe sondere ein zeitdiskretes dynamisches Modell eines zu regeln den Prozesses des technischen Systems verstanden werden. Das modellprädiktive Regelungsmodell kann insbesondere auf Basis eines Verfahrens der modellprädiktiven Regelung (engl. Model Predictive Control; MPC) eingerichtet sein. Mit dem modell prädiktiven Regelungsmodell/Mit einer modellprädiktiven Rege lung kann ein zukünftiges Prozessverhalten in Abhängigkeit von Eingangssignalen bzw. Regelparametern berechnet werden. Damit kann insbesondere ein optimiertes Eingangssignal bzw. optimierte Regelparameter bestimmt werden, um ein optimiertes Ausgangssignal zu erreichen.

Unter „Regelparameter" können somit im Zusammenhang der Er findung insbesondere Eingangssignale oder Stellgrößen zum Re geln/Steuern des technischen Systems verstanden werden. Es wird ein Zustand des technischen Systems in Abhängigkeit der Regelparameter verändert.

Das modellprädiktive Regelungsmodell wird in Abhängigkeit von simulierten und/oder gemessenen Zustandsdaten des technischen Systems eingerichtet. Das modellprädiktive Regelungsmodell kann insbesondere anhand eines bereitgestellten computerge stützten Simulationsmodells des technischen Systems einge- richtet werden, um in Abhängigkeit von mittels des computer gestützten Simulationsmodells generierten Zustandsdaten des technischen Systems optimierte Regelparameter zum Steuern des technischen Systems als Ausgabedaten auszugeben.

Unter einem technischen System kann insbesondere eine Anlage, eine Prozessanlage/verfahrenstechnische Anlage, ein Kraft werk, ein Gerät, eine Maschine (z.B. eine Turbine), ein Robo ter, ein Fahrzeug, ein autonomes Fahrzeug oder Infrastruktur netze (z.B. für Wasser, Gas, Strom oder Öl) verstanden wer den.

Ein „datenbasiertes Regelungsmodell" kann insbesondere ein computergestütztes Modell sein, das derart eingerichtet ist, in Abhängigkeit von Daten, hier Zustandsdaten, Regelparameter zum Steuern des technischen Systems auszugeben. Vorzugsweise basiert das datenbasierte Regelungsmodell auf einem maschi nellen Lernverfahren oder einer künstlichen Intelligenz. Bei spielsweise handelt es sich bei dem datenbasierten Regelungs modell um ein künstliches neuronales Netz.

Es ist ein Vorteil der vorliegenden Erfindung, dass ein da tenbasiertes Regelungsmodell, insbesondere ein Modell auf Ba sis von Bestärkendem/Verstärkendem Lernen (engl. Reinforce ment Learning), auf einfache Weise eingerichtet wird, opti mierte Regelungsparameter auszugeben. Dabei wird das datenba sierte Regelungsmodell nicht oder mit geringerem Rechenauf wand mittels Trainingsdaten trainiert, denn die Konfigurati onsparameter, z.B. Gewichte eines künstlichen neuronalen Net zes, werden anhand des modellprädiktiven Regelungsmodells derart eingestellt, dass die Ausgabe des modellprädiktiven Regelungsmodells vom datenbasierten Regelungsmodell reprodu ziert wird. Außerdem ermöglicht das Verfahren einen größeren Zustandsraum bzw. Verhaltensraum abzudecken, da das datenba sierte Regelungsmodell nicht nur auf einen Trainingsdatenraum beschränkt trainiert ist. In anderen Worten, bei einer Abbil dung eines modellprädiktiven Regelungsmodell auf das datenba sierte Regelungsmodell wird ein größerer Verhaltensraum be- rücksichtigt, wie z.B. auch Extremszenarien, die in gemesse nen Daten typischerweise selten Vorkommen, aber in denen die Regelung ebenfalls korrekt funktionieren soll. Dies wird ins besondere dadurch erreicht, dass ein Gültigkeitsbereich bei der modellprädiktiven Regelung abgedeckt ist, wenn die phy sikbasierten Gleichungen gültig sind.

Das vorliegende Verfahren erfordert somit einen geringeren Rechenaufwand als ein übliches Training eines datenbasierten Modells, wie z.B. eines Reinforcement Learning Modells. Es wird somit Information aus der modellprädiktiven Regelung ge nutzt und extrahiert, um das datenbasierte Regelungsmodell zu konfigurieren. Mit dieser Methode kann insbesondere eine An fangskonfiguration des datenbasierten Regelungsmodell be stimmt werden.

In einer vorteilhaften Ausführungsform des computerimplemen tierten Verfahrens können die Konfigurationsparameter des da tenbasierten Regelungsmodells durch eine Abbildung des mo dellprädiktiven Regelungsmodells auf das datenbasierte Rege lungsmodell eingestellt werden.

Das modellprädiktive Regelungsmodell kann beispielsweise als Zustandsraummodell bzw. in Zustandsraumdarstellung vorliegen. Dabei können sämtliche Beziehungen der Eingangs-, Ausgangs und Zustandsgrößen in Form von Matrizen und Vektoren darge stellt werden. Damit kann eine Abbildung, insbesondere eine geometrische Abbildung, des modellprädiktiven Regelungsmo dells auf das datenbasierte Regelungsmodell realisiert wer den. Die Konfigurationsparameter des datenbasierten Rege lungsmodells werden demnach durch die Abbildung eingestellt. Beispielsweise kann aus der Information der modellprädiktiven Regelung wie Zustand und Stellgröße die Modellrepräsentation des datenbasierten Regelungsmodells angepasst, so dass die Ausgabe des datenbasierten Regelungsmodells die Ausgabe des modellprädiktiven Regelungsmodells reproduziert. Eine Abbil dungsmatrix oder Abbildungsfunktion kann beispielsweise auf Basis des modellprädiktiven Regelungsmodells und der zu er- zielenden Ausgabe des datenbasierten Regelungsmodells ermit telt werden. In anderen Worten, die Konfigurationsparameter des datenbasierten Regelungsmodells werden vorzugsweise so eingestellt, dass in Abhängigkeit der Eingabewerte die Ausga bewerte der modellprädiktiven Regelung und die Ausgabewerte des datenbasierten Regelungsmodells sich annähern.

In einer Ausführungsform des computerimplementierten Verfah rens kann das datenbasierte Regelungsmodell auf Basis eines maschinellen Lernverfahrens eingerichtet werden.

In einer Ausführungsform des computerimplementierten Verfah rens kann das datenbasierte Regelungsmodell als Agent eines Bestärkenden Lernverfahrens (engl. Reinforcement Learning) eingerichtet sein.

So kann beispielsweise das modellprädiktive Regelungsmodell auf den Agenten des Bestärkenden Lernverfahrens abgebildet werden, wobei die Konfigurationsparameter entsprechend ge setzt werden, um die Ausgabe des modellprädiktiven Regelungs modell zu reproduzieren.

In einer Ausführungsform des computerimplementierten Verfah rens können die Konfigurationsparameter des datenbasierten Regelungsmodells anhand weiterer Zustandsdaten und mittels des Bestärkenden Lernverfahrens zum Ermitteln von weiteren optimierten Regelparametern angepasst werden.

Das konfigurierte datenbasierte Regelungsmodell kann insbe sondere als vorkonfiguriert oder trainiert betrachtet werden, d.h. die Konfigurationsparameter sind anhand des modellprä diktiven Regelungsmodells voreingestellt. Mittels weiterer Trainingsdaten, d.h. weiteren Zustandsdaten des technischen Systems, kann die Genauigkeit des datenbasierten Regelungsmo dells verbessert werden.

In einer Ausführungsform des computerimplementierten Verfah rens kann das modellprädiktive Regelungsmodell auf Basis ei- nes Verfahrens der modellprädiktiven Regelung eingerichtet sein.

Gemäß einem weiteren Aspekt betrifft die Erfindung ein compu terimplementiertes Verfahren zum Steuern eines technischen Systems, umfassend die Verfahrensschritte:

- Einlesen eines erfindungsgemäß konfigurierten, datenbasier ten Regelungsmodells,

- Einlesen von gemessenen Zustandsdaten des technischen Sys tems,

- Ermitteln von optimierten Regelparameter zum Steuern des technischen Systems durch Auswerten des konfigurierten daten basierten Regelungsmodells anhand der gemessenen Zustandsda ten,

- Ausgeben der optimierten Regelparameter zum Steuern des technischen Systems und

- Steuern des technischen Systems mittels der optimierten Re gelparameter.

Das Verfahren kann insbesondere durch einen Regler durchge führt werden, der ein gemäß der Erfindung konfiguriertes da tenbasiertes Regelungsmodell zum Steuern des technischen Sys tems umfasst. Unter einem Regler kann insbesondere eine Vor richtung verstanden werden, die bei technischen Systemen (be sonders als Bestandteil eines Regelkreises) den gewünschten Gang, die richtige Stufe, Stärke o. Ä. von etwas einstellt bzw. reguliert.

Gemäß einem weiteren Aspekt betrifft die Erfindung einen Reg ler zum Steuern eines technischen Systems, umfassend

- eine erste Schnittstelle zum Einlesen von gemessenen Zu standsdaten des technischen Systems,

- ein Regelungsmodul, das derart eingerichtet ist, ein erfin dungsgemäß konfiguriertes datenbasiertes Regelungsmodell zu empfangen und durch Auswerten des datenbasierten Regelungsmo dells anhand der gemessenen Zustandsdaten des technischen Systems optimierte Regelparameter auszugeben, und

- eine zweite Schnittstelle zum Ausgeben der optimierten Re gelparameter zum Steuern des technischen Systems.

Des Weiteren betrifft die Erfindung ein Computerprogrammpro dukt, das direkt in einen programmierbaren Computer ladbar ist, umfassend Programmcodeteile, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte eines erfindungsgemäßen Verfahrens auszuführen.

Ein Computerprogrammprodukt kann beispielsweise auf einem Speichermedium, wie z.B. Speicherkarte, USB-Stick, CD-ROM, DVD, ein nichtflüchtiger/dauerhaftes Speichermedium (engl. Non-transitory storage Medium) oder auch in Form einer herun terladbaren Datei von einem Server in einem Netzwerk bereit gestellt oder geliefert werden.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen beispielhaft dargestellt und werden anhand der nachfolgenden Beschreibung näher erläutert. Es zeigen:

Fig. 1: ein Ausführungsbeispiel des erfindungsgemäßen Ver fahrens zum Konfigurieren eines Reglers zum Steuern eines technischen Systems;

Fig. 2: ein Ausführungsbeispiel der erfindungsgemäßen Vor richtung zum Konfigurieren Reglers zum Steuern ei nes technischen Systems;

Fig. 3: ein Ausführungsbeispiel des erfindungsgemäßen Ver fahrens zum Steuern eines technischen Systems; und

Fig. 4: ein Ausführungsbeispiel eines erfindungsgemäßen

Reglers zum Steuern eines technischen Systems.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen. Insbesondere zeigen die nachfolgenden Ausführungsbeispiele lediglich beispielhafte Realisierungsmöglichkeiten, wie ins besondere solche Realisierungen der erfindungsgemäßen Lehre aussehen könnten, da es unmöglich und auch für das Verständ nis der Erfindung nicht zielführend oder notwendig ist, all diese Realisierungsmöglichkeiten zu benennen.

Auch sind insbesondere einem (einschlägigen) Fachmann in Kenntnis des/der Verfahrensanspruchs/Verfahrensansprüche alle im Stand der Technik üblichen Möglichkeiten zur Realisierung der Erfindung selbstverständlich bekannt, sodass es insbeson dere einer eigenständigen Offenbarung in der Beschreibung nicht bedarf.

Figur 1 zeigt ein Ausführungsbeispiel des erfindungsgemäßen, computerimplementierten Verfahrens zum Konfigurieren eines Reglers zum Steuern eines technischen Systems als Ablaufdia gramm. Das technische System kann insbesondere eine komplexe technische Anlage, wie z.B. eine Fabrikanlage, sein. Das com puterimplementierte Verfahren umfasst folgende Verfahrens schritte:

Es wird zunächst ein modellprädiktives Regelungsmodell be reitgestellt, Schritt SO. Das modellprädiktive Regelungsmo dell ermöglicht vorzugsweise, optimierte Regelungsparameter zum Steuern des technischen Systems zu ermitteln und auszuge ben. Das modellprädiktive Regelungsmodell ist somit einge richtet, in Abhängigkeit von (computerbasiert) simulierten und/oder gemessenen Zustandsdaten des technischen Systems op timierte Regelparameter als Ausgabedaten auszugeben. Die Er mittlung der optimierten Regelparameter basiert hierbei auf einem Optimierungsverfahren.

Beispielsweise kann das modellprädiktive Regelungsmodell auf Basis eines Verfahrens der modellprädiktiven Regelung oder einer Lyapunov-Funktion generiert werden, wobei insbesondere ein Zielverhalten des zu steuernden Systems durch Definition von formellen Spezifikationen, wie z.B. Regelgüte, zeitlichen Anforderungen, verbotene Arbeitsgebiete, und Verhaltensfunk tion, und weiterer Einschränkungen, wie z.B. Logistik, defi niert werden kann.

Die Zustandsdaten können beispielsweise mittels mindestens eines Sensors gemessen und bereitgestellt werden. Zusätzlich oder alternativ können die Zustandsdaten auch mittels einer computergestützten Simulation des technischen Systems ermit telt und bereitgestellt werden. In diesem Fall kann das mo- dellprädiktive Regelungsmodell auf Basis eines computerge stützten Simulationsmodells des technischen Systems erzeugt werden.

Im nächsten Schritt S1 wird das modellprädiktive Regelungsmo dell eingelesen. Das modellprädiktive Regelungsmodell kann insbesondere genutzt werden, um abhängig von bereitgestellten Zustandsdaten des technischen Systems optimierte Regelungspa rameter zu ermitteln. Damit können Datenpaare bestehend aus Zustandsdaten und zugeordneten optimierten Regelparametern erzeugt werden.

Im nächsten Schritt S2 wird ein datenbasiertes Regelungsmo dell eingelesen. Das datenbasierte Regelungsmodell kann ins besondere ein Reinforcement-Learning-Modell, z.B. als künst liches neuronales Netz realisiert, sein. Das datenbasierte Regelungsmodell kann insbesondere lediglich vorkonfiguriert sein, d.h. beispielsweise ist es für die Steuerung des tech nischen Systems geeignet, allerdings noch nicht dafür opti miert. In anderen Worten, eine Form oder Vorkonfiguration des datenbasierten Regelungsmodells kann somit vorzugsweise vor gegeben sein.

Im nächsten Schritt S3 werden Konfigurationsparameter des da tenbasierten Regelungsmodells angepasst, um die Ausgabedaten des modellprädiktiven Regelungsmodell zu reproduzieren. Dazu werden die Datenpaare bestehend aus Zustandsdaten und zuge ordneten optimierten Regelparametern genutzt, die durch die modellprädiktive Regelung bereitgestellt werden. Diese Daten- paare stellen ein erstes durchführbare Ergebnis dar. Das da tenbasierte Regelungsmodell (der RL-Algorithmus) wird nun derart eingerichtet, dass es dieses Ergebnis reproduziert.

Das modellprädiktive Regelungsmodell wird insbesondere auf das datenbasierte Regelungsmodell abgebildet, um die Konfigu rationsparameter einzustellen. Die Abbildung kann beispiels weise analytisch oder auch numerisch erfolgen.

In anderen Worten, die interne Struktur des modellprädiktiven Regelungsmodells wird auf die interne Struktur des datenba sierten Regelungsmodells derart abgebildet, wie z.B. durch eine geometrische Abbildung, dass das datenbasierte Rege lungsmodell das Modellverhalten des modellprädiktiven Rege lungsmodells reproduziert. Dazu werden die Konfigurationspa rameter des datenbasierten Regelungsmodells derart einge stellt, dass dieses in Abhängigkeit von eingegebenen Zu standsdaten die durch das modellprädiktive Regelungsmodell bestimmten Regelparameter ausgibt. Dies kann beispielsweise wie ein inverses Problem mittels Bayesian Fitting behandelt werden.

Formal lässt sich diese Abbildung in anderen Worten wie folgt beschreiben:

Das technische System weist typischerweise mindestens einen beobachtbaren, zeitabhängigen Zustand auf x(t), der von einem Regelungsparameter u(t) abhängt. Mittels modellprädiktiver Regelung lässt sich das folgende Optimierungsproblem lösen: eine Funktion J(u,x), die gewünschte Anforderungen an das technische System spezifiziert, wird bezüglich des Regelungs parameters u minimiert, um einen optimierten Regelungsparame ter u' zu bestimmen. Die Optimierung kann sowohl numerisch als auch analytisch oder mittels eines Blackbox-Lösers gelöst werden. Vorzugsweise wird dies für eine Vielzahl von gegebe nen Initialzuständen xO durchgeführt, um jeweils optimierte Regelparameter u'(x0) zu erhalten. Diese Datenpaare (x0,u'(x0)) können für das Konfigurieren des datenbasierten Regelungsmodells genutzt werden. Ein dem datenbasierten Rege lungsmodell zugrundeliegendes Modell, wie z.B. ein künstli ches neuronales Netz, kann als RL(w; x_0) bezeichnet werden, wobei w die Konfigurationsparameter des datenbasierten Rege lungsmodells darstellen. Durch die Abbildung des modellprä- diktiven Regelungsmodells auf das datenbasierte Regelungsmo dell können diese Parameter bestimmt werden, so dass die Aus gabe des datenbasierten Regelungsmodells mit der Ausgabe des modellprädiktiven Modells innerhalb eines Toleranzbereichs übereinstimmt. Die derart bestimmten Konfigurationsparameter w können insbesondere als initiale Konfigurationsparameter des datenbasierten Regelungsmodells verstanden werden, d.h. durch weiteres Training mittels Zustandsdaten des technischen Systems kann das datenbasierte Regelungsmodell weiter an das technische System angepasst werden.

Im nächsten Schritt S4 wird das derart konfigurierte, daten basierte Regelungsmodell an den Regler ausgegeben. Das tech nische System kann mittels des datenbasierten Regelungsmo dells durch den Regler gesteuert werden. Dies ist insbesonde re weniger rechenintensiv und ermöglicht somit auch bei kom plexen technischen Systemen eine betriebsbegleitende Rege lung.

Das konfigurierte, datenbasierte Regelungsmodell kann vor zugsweise mittels weiterer Trainingsdaten weiter an das tech nische System angepasst werden. Beispielsweise kann das da tenbasierte Regelungsmodell als Agent eines Bestärkenden Lernverfahrens eingerichtet sein und anhand weiterer Zu standsdaten, z.B. während des laufenden Betriebs des techni schen Systems, mittels des Bestärkenden Lernverfahrens ange passt werden. Damit kann das datenbasierte Regelungsmo dell/der Agent kontinuierlich verbessert werden.

Figur 2 zeigt ein Ausführungsbeispiel eines erfindungsgemä ßen, computerimplementierten Verfahrens zum Steuern eines technischen Systems mittels eines konfigurierten, datenba sierten Regelungsmodells. Im Schritt S10 wird das datenbasierte Regelungsmodell einge lesen. Das datenbasierte Regelungsmodell ist vorzugsweise ge mäß einem Verfahren wie beispielhaft anhand Figur 1 gezeigt konfiguriert, d.h. das datenbasierte Regelungsmodell ist der art eingerichtet, optimierte Regelparameter für das techni sche System in Abhängigkeit von gegebenen Zustandsdaten des technischen Systems auszugeben. Das derart konfigurierte da tenbasierte Regelungsmodell wird beispielsweise von einem Regler eingelesen oder von diesem geladen, um das technische System zu steuern.

Im nächsten Schritt S20 werden gemessene Zustandsdaten des technischen Systems eingelesen. Die Zustandsdaten werden bei spielsweise mittels mindestens einem Sensor erfasst. Ausge hend von diesen Zustandsdaten soll das technische System op timal mittels des demnach konfigurierten Reglers gesteuert werden.

Dazu werden im nächsten Schritt S30 optimierte Regelparameter mittels des datenbasierten Regelungsmodells ermittelt. Das datenbasierte Regelungsmodell wird dazu ausgeführt, so dass abhängig von den eingelesenen Zustandsdaten, optimierte Re gelparameter ausgegeben werden, Schritt S40. Der Regler kann das technische System mittels dieser optimierten Regelparame ter steuern, Schritt S50.

Figur 3 zeigt ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 100 zum Konfigurieren eines Reglers zum Steuern eines technischen Systems in Blockdarstellung. Die Vorrich tung 100 ist vorzugsweise mit dem Regler gekoppelt.

Die Vorrichtung 100 umfasst eine Schnittstelle 101, einen Konfigurator 102 und ein Ausgabemodul 103.

Die Schnittstelle 101 ist derart eingerichtet, ein modellprä- diktives Regelungsmodell MPC und ein datenbasiertes Rege lungsmodell RL einzulesen. Die beiden Regelungsmodelle MPC, RL können beispielsweise extern gespeichert sein und von dort abgerufen werden.

Das modellprädiktive Regelungsmodell MPC ist vorzugweise auf Basis eines computergestützten Simulationsmodells SIM erzeugt und derart eingerichtet, in Abhängigkeit von durch das Simu lationsmodell SIM generierten Zustandsdaten optimierte Regel parameter zum Steuern des technischen Systems zu ermitteln. Das datenbasierte Regelungsmodell RL kann insbesondere ein Reinforcement-Learning-Modell sein.

Der Konfigurator 102 ist derart eingerichtet, Konfigurations parameter K des datenbasierten Regelungsmodells RL anhand des modellprädiktiven Regelungsmodells einzustellen, so dass das datenbasierte Regelungsmodell RL in Abhängigkeit von eingele senen Zustandsdaten die Ausgabe des modellprädiktiven Rege lungsmodells reproduziert. Die Einstellung der Konfigurati onsparameter kann beispielsweise durch eine Abbildung der in ternen Struktur des modellprädiktiven Regelungsmodells MPC auf die interne Struktur des datenbasierten Regelungsmodells RL erfolgen. Beispielsweise kann es sich hierbei um eine geo metrische Abbildung handeln.

Das gemäß dieser Konfigurationsparameter K konfigurierte da tenbasierte Regelungsmodell RL(K) wird an das Ausgabemodul 103 übermittelt. Das Ausgabemodul 103 ist derart eingerich tet, das konfigurierte datenbasierte Regelungsmodell RL(K) zum Steuern des technischen Systems TS an den Regler auszuge ben.

Figur 4 zeigt ein Ausführungsbeispiel des erfindungsgemäßen Reglers R zum Steuern eines technischen Systems TS, wie z.B. einer Maschine oder einer Fabrikanlage, in Blockdarstellung.

Der Regler R ist vorzugsweise mit einer erfindungsgemäßen Vorrichtung 100 zum Konfigurieren des Reglers, wie beispiel haft anhand Figur 3 beschrieben, gekoppelt oder umfasst al ternativ eine derartige Vorrichtung 100 (nicht dargestellt). Die Vorrichtung 100 stellt ein konfiguriertes, datenbasiertes Regelungsmodell RL(K) bereit, das derart eingerichtet ist, optimierte Regelungsparameter zum Steuern des technischen Systems TS auszugeben.

Der Regler R umfasst eine erste Schnittstelle RI, ein Rege lungsmodul R2 und eine zweite Schnittstelle R3.

Über die erste Schnittstelle RI wird das konfigurierte, da tenbasierte Regelungsmodell RL(K) von der Vorrichtung 100 empfangen und eingelesen. Außerdem werden über die erste Schnittstelle RI gemessene Zustandsdaten ZD des technischen Systems TS eingelesen.

Das Regelungsmodul R2 ist derart eingerichtet, das datenba sierte Regelungsmodell RL(K) zu empfangen oder, alternativ, in einem internen Speicher (nicht dargestellt) zu speichern und von dort abzurufen.

Das Regelungsmodul R2 ist weiter derart eingerichtet, das da tenbasierte Regelungsmodell RL(K) auszuführen. Dabei wird in Abhängigkeit der eingelesenen Zustandsdaten ZD mindestens ein optimierter Regelparameter RP zum Steuern des technischen Systems TS bestimmt und ausgegeben.

Der mindestens eine optimierte Regelparameter RP wird von der zweiten Schnittstelle R3 an das technische System TS ausgege ben. Das technische System TS kann folglich durch den Regler R gemäß dem Regelparameter RP gesteuert werden.

Alle beschriebenen und/oder gezeichneten Merkmale können im Rahmen der Erfindung vorteilhaft miteinander kombiniert wer den. Die Erfindung ist nicht auf die beschriebenen Ausfüh rungsbeispiele beschränkt.

Claims

Patentansprüche

1. Computerimplementiertes Verfahren zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, a) Einlesen (Sl) eines modellprädiktiven Regelungsmodells (MPC) für den Regler, wobei das modellprädiktive Regelungsmo dell eingerichtet ist, in Abhängigkeit von simulierten und/oder gemessenen Zustandsdaten des technischen Systems op timierte Regelparameter zum Steuern des technischen Systems als Ausgabedaten auszugeben, b) Einlesen (S2) eines datenbasierten Regelungsmodells (RL), c) Einstellen (S3) von Konfigurationsparametern (K) des da tenbasierten Regelungsmodells (RL) anhand des modellprädikti ven Regelungsmodells (MPC) derart, dass das datenbasierte Re gelungsmodell in Abhängigkeit von eingelesenen Zustandsdaten des technischen Systems die Ausgabedaten des modellprädikti ven Regelungsmodells reproduziert und derart konfiguriert op timierte Regelparameter bestimmt, und d) Ausgeben (S4) des derart konfigurierten datenbasierten Re gelungsmodells zum Steuern des technischen Systems an den Regler.

2. Computerimplementiertes Verfahren nach Anspruch 1, wobei die Konfigurationsparameter des datenbasierten Regelungsmo dells durch eine Abbildung des modellprädiktiven Regelungsmo dells auf das datenbasierte Regelungsmodell eingestellt wer den.

3. Computerimplementiertes Verfahren nach einem der vorherge henden Ansprüche, wobei das datenbasierte Regelungsmodell auf Basis eines maschinellen Lernverfahrens eingerichtet wird.

4. Computerimplementiertes Verfahren nach einem der vorherge henden Ansprüche, wobei das datenbasierte Regelungsmodell als Agent eines Bestärkenden Lernverfahrens eingerichtet ist.

5. Computerimplementiertes Verfahren nach Anspruch 4, wobei die Konfigurationsparameter des datenbasierten Regelungsmo dells anhand weiterer Zustandsdaten und mittels des Bestär kenden Lernverfahrens zum Ermitteln von weiteren optimierten Regelparametern angepasst werden.

6. Computerimplementiertes Verfahren nach einem der vorherge henden Ansprüche, wobei das modellprädiktive Regelungsmodell (MPC) auf Basis eines Verfahrens der modellprädiktiven Rege lung eingerichtet sein.

7. Vorrichtung (100) zum Konfigurieren eines Reglers zum Steuern eines technischen Systems, umfassend

- eine Schnittstelle (101), die derart eingerichtet ist, ein modellprädiktives Regelungsmodell (MPC) für den Regler einzu lesen, wobei das modellprädiktive Regelungsmodell (MPC) ein gerichtet ist, in Abhängigkeit von simulierten und/oder ge messenen Zustandsdaten des technischen Systems optimierte Re gelparameter zum Steuern des technischen Systems als Ausgabe daten auszugeben, und ein datenbasiertes Regelungsmodell ein zulesen,

- einen Konfigurator (102), der derart eingerichtet ist, Kon figurationsparameter des datenbasierten Regelungsmodells an hand des modellprädiktiven Regelungsmodells derart einzu stellen, dass das datenbasierte Regelungsmodell in Abhängig keit von eingelesenen Zustandsdaten des technischen Systems die Ausgabedaten des modellprädiktiven Regelungsmodells re produziert und derart konfiguriert optimierten Regelparameter bestimmt,

- ein Ausgabemodul (103), das derart eingerichtet ist, das konfigurierte datenbasierte Regelungsmodell zum Steuern des technischen Systems an den Regler auszugeben.

8. Computerimplementiertes Verfahren zum Steuern eines tech nischen Systems, umfassend die Verfahrensschritte:

- Einlesen (S10) eines gemäß einem der Ansprüche 1 bis 6 kon figurierten, datenbasierten Regelungsmodells, - Einlesen (S20) von gemessenen Zustandsdaten des technischen Systems,

- Ermitteln (S30) von optimierten Regelparameter zum Steuern des technischen Systems durch Auswerten des konfigurierten datenbasierten Regelungsmodells anhand der gemessenen Zu standsdaten,

- Ausgeben (S40) der optimierten Regelparameter zum Steuern des technischen Systems und

- Steuern (S50) des technischen Systems mittels der optimier ten Regelparameter.

9. Regler (R) zum Steuern eines technischen Systems, umfas send

- eine erste Schnittstelle (RI) zum Einlesen von gemessenen Zustandsdaten des technischen Systems,

- ein Regelungsmodul (R2), das derart eingerichtet ist, ein gemäß einem der Ansprüche 1 bis 6 konfiguriertes datenbasier tes Regelungsmodell zu empfangen und durch Auswerten des da tenbasierten Regelungsmodells anhand der gemessenen Zustands daten des technischen Systems optimierte Regelparameter aus zugeben, und

- eine zweite Schnittstelle (R3) zum Ausgeben der optimierten Regelparameter (RP) zum Steuern des technischen Systems.

10. Computerprogrammprodukt, das direkt in einen programmier baren Computer ladbar ist, umfassend Programmcodeteile, die dazu geeignet sind, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 6 durchzuführen.