WO2022002652A1 - Verfahren zur regelung eines regelsystems, trainingsverfahren, computerprogramm, speichermedium und steuereinheit - Google Patents

Verfahren zur regelung eines regelsystems, trainingsverfahren, computerprogramm, speichermedium und steuereinheit Download PDF

Info

Publication number
WO2022002652A1
WO2022002652A1 PCT/EP2021/066740 EP2021066740W WO2022002652A1 WO 2022002652 A1 WO2022002652 A1 WO 2022002652A1 EP 2021066740 W EP2021066740 W EP 2021066740W WO 2022002652 A1 WO2022002652 A1 WO 2022002652A1
Authority
WO
WIPO (PCT)
Prior art keywords
manipulated variable
module
control system
corrected
closed
Prior art date
Application number
PCT/EP2021/066740
Other languages
English (en)
French (fr)
Inventor
Achim Romer
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2022002652A1 publication Critical patent/WO2022002652A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00—Automatic controllers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only

Definitions

  • the present invention relates to a method for regulating a control system comprising at least one controller, at least one controlled system and at least one machine learning module (ML module) for determining a manipulated variable for the control system.
  • ML module machine learning module
  • the present invention also relates to a training method for an ML module for use in a control method according to the present invention.
  • the present invention also relates to a corresponding computer program, machine-readable storage medium and electronic control unit.
  • Solving control tasks with reinforcement learning corresponds to the current state of the art.
  • status data e.g. current position, temperature, target value, etc.
  • a finite number of available actions is selected.
  • algorithms for learning the strategy e.g. Monte-Carlo or Temporal Difference Learning.
  • Monte-Carlo or Temporal Difference Learning e.g. Monte-Carlo or Temporal Difference Learning
  • the system In order to be able to carry out this evaluation, the system must also be put into all "non-optimal" states at least in the learning phase. This approach leads to controllers based on reinforcement learning tend to lapse into local optima and accordingly require a large number of learning cycles.
  • the present invention creates a method for the method for regulating a control system by a combination of machine learning methods and methods of classic control technology.
  • the present invention also provides a method for training a machine learning module (ML module) which is suitable for being used in a control method according to the present invention.
  • ML module machine learning module
  • Further aspects of the present invention are a computer program, a machine-readable storage medium and an electronic control unit.
  • One aspect of the present invention is a method for controlling a control system.
  • the control system has at least one controller and at least one controlled system.
  • the controller can be a P, PI or PID controller.
  • the person skilled in the art selects the suitable type of controller (e.g. P, PI, PID controller) on the basis of his specialist knowledge. He is guided by the goal of keeping system deviations to a minimum.
  • the procedure includes the following steps.
  • ML module machine learning module
  • the invention has the advantage that by correcting the manipulated variable of the controller by means of the ML module, on the one hand, unfavorable and, in the technical sense, even dangerous states can be avoided and, on the other hand, a corrected manipulated variable can be determined by means of the ML module without, as is currently the case in the prior art, many only locally optimal states have to be assessed.
  • the setpoint value can be the setpoint value of the control system.
  • the actual value can be the actual value of the control system.
  • the manipulated variable can be a manipulated variable for use in the control system, in particular for the controlled system.
  • a machine learning module can be understood as an artificial module that is suitable for generating knowledge from experience.
  • the experience is fed to the artificial module in the form of training data. From these, the module builds a model in order not only to learn examples by heart, but also to derive patterns and regularities from the training data and to apply new (possibly unknown)
  • the ML module is preferably designed as an artificial neural network.
  • an artificial neural network is to be understood as a network of artificial neurons for information processing.
  • Artificial neural networks essentially go through three phases. In an initial phase, a basic topology is specified, usually depending on the task at hand. After that This is followed by a training phase in which the basic topology for the efficient solution of the task is learned using training data. The topology of the network can also be adapted during the training phase. Training data are characterized by the fact that the desired output data are typically available for the input data. Finally, there is an application phase in which the trained network is applied to input data for which there is no desired output data. The output data of the trained network then represent the output data sought in accordance with the task at hand.
  • the manipulated variable in the ascertaining step, is ascertained as a function of further target values which represent previous or subsequent target values of the control system in relation to the current target values.
  • This embodiment is based on the assumption that the control system is controlled in successive control steps up to s n .
  • the control steps can take place sequentially in time, that is to say at times t to t n.
  • the current target value is the target value for the control step si or at time t,.
  • a previous target value is accordingly a target value for the control step Si- X , x from [1 ... i-1] or at the point in time ti-c, x from [IJ-1].
  • a subsequent target value is accordingly a target value for the control step Si + y , y from [1 ... ni] or at the point in time ti + y , y from [1 ... ni].
  • This embodiment has the advantage that by taking into account further target values, in particular previous and subsequent target values, the accuracy of the determination of the manipulated variable by the ML module can be improved.
  • the manipulated variable is determined as a function of further variables in the determining step.
  • the advantage of this embodiment is that the accuracy of the determination of the manipulated variable by the ML module can be improved by adding further variables.
  • control method and the training method according to the present invention are dependent on one another to different extents.
  • the ML module could, for example, initially be taught in and then only be used in the control process.
  • the ML module is continuously trained in parallel to the application in the control process.
  • Another aspect of the present invention is a method for training a machine learning module (ML module) for use in a method according to the preceding aspect of the present invention.
  • ML module machine learning module
  • the training method includes the step of adapting at least one parameter of the ML module as a function of at least one Date of receipt of the ML module and a corrected manipulated variable of the control system that corresponds to the at least one date of receipt.
  • the corresponding corrected manipulated variable can be the corrected manipulated variable of the current control step of the at least one input data item.
  • the corresponding corrected manipulated variable can be the corrected manipulated variable of the subsequent control step of the at least one input data item.
  • the learning rate of the training method can be continuously reduced.
  • the continuous reduction ensures that rare individual events have less influence on the training of the ML module. This can make the system more robust.
  • Another aspect of the present invention is a computer program which is set up to carry out all the steps of one of the methods according to the present invention
  • Another aspect of the present invention is a machine-readable storage medium on which the computer program according to the present invention is stored.
  • Another aspect of the present invention is an electronic control unit which is set up to carry out all steps of one of the methods according to the present invention.
  • the present invention is directed to a control system.
  • the basic approach of the invention can also be mapped to a control system.
  • FIG. 1 shows a flow chart of the method according to the first aspect of the present invention
  • FIG. 2 shows a flow chart of the method according to the second aspect of the present invention
  • FIG. 3 shows a schematic representation of a control system during a control step according to the present invention
  • FIG. 4 shows a schematic representation of a control system during a training step according to the present invention.
  • FIG. 1 shows a flow chart of the method 100 for regulation according to the first aspect of the present invention.
  • a manipulated variable u is determined by means of a controller 31 as a function of a current setpoint value xt, ie a setpoint value x t for the current control step st.
  • step 102 the determined manipulated variable u is corrected by means of a machine learning module (ML module) 33 as a function of the current setpoint value xt and an actual value in order to obtain a corrected manipulated variable u ‘.
  • ML module machine learning module
  • the correction by means of the ML module 33 can be carried out as described below.
  • a correction variable is determined by the ML module.
  • This correction variable can be a prognosis of the control deviation for the current control step on the basis of the setpoint value x t and the determined manipulated variable u.
  • further variables can be fed to the ML module for the prognosis. These further variables preferably represent properties of the control system or the controller or the controlled system.
  • the determined manipulated variable of the controller u is loaded with a value dependent on the predicted system deviation in order to obtain a corrected manipulated variable u ‘.
  • the value provided for the admission can, for example, be a multiple of the forecast control deviation.
  • step 103 the controlled system 32 is regulated as a function of the corrected manipulated variable u ‘.
  • FIG. 2 shows a flow chart of the method 200 for training an ML module according to the second aspect of the present invention.
  • At least one parameter of the ML module 33 is adapted as a function of at least one input datum x t , v of the ML module 33 and a corrected manipulated variable u ′ of the control system 3 that corresponds to the at least one input datum x t, v.
  • FIG. 3 shows a schematic representation of a control system 3 during a control step 103 according to the present invention.
  • a current setpoint value x t is introduced into the control system 3.
  • node e a target / actual comparison is carried out between the current target value x t and the corresponding actual value of control step 103. The result is fed to the controller 31.
  • the controller can preferably be a P, PI or PID controller.
  • the current setpoint value xt is fed to the ML module 33 in parallel with the feed to the controller 31.
  • the ML module 33 is shown as an artificial neural network with nodes and transitions between the nodes.
  • the ML module 33 is designed to output a correction variable for the manipulated variable u of the control system 3.
  • the manipulated variable determined by the controller 31 of the control system 3 can be corrected to a corrected manipulated variable u ‘.
  • the corrected manipulated variable u ‘ is sent to the controlled system 32.
  • the actual value of the subsequent control step is fed from the controlled system 32 to the node e.
  • further input data v can be fed to the ML module 33, which are used to output a correction variable for the control system 3.
  • These further input data v are optional and are therefore shown in dashed lines in the figure.
  • These further input data v can represent properties of the control system or of the controller or of the controlled system.
  • FIG. 4 shows a schematic representation of a control system during a training step 201 according to the present invention.
  • the illustration essentially corresponds to the illustration according to FIG. 3.
  • the training 200 of the ML module 33 is dependent, ie the adaptation of at least one parameter of the ML module 33 as a function of at least one input datum x t , optionally v of the ML module 33 and a corrected manipulated variable u 'of the control system 3 corresponding to the at least one input data x t, optionally v.

Abstract

Verfahren (100) zur Regelung eines Regelsystems (3) aufweisend mindestens einen Regler (31) und mindestens eine Regelstrecke (32), mit den Schritten: Ermitteln (101) einer Stellgröße (u) mittels des Reglers (31), in Abhängigkeit von einem aktuellen Soll-Wert (xt); Korrigieren (102) der ermittelten Stellgröße (u) mittels eines Machine Learning Modules (ML-Modul) (33), insbesondere mittels eines künstlichen neuronalen Netzwerkes, in Abhängigkeit des aktuellen Soll-Werts (xt) und eines Ist-Werts, um eine korrigierte Stellgröße (u') zu erhalten; Regeln (103) der Regelstrecke (32) in Abhängigkeit der korrigierten Stellgröße (u').

Description

Beschreibung
Titel
Verfahren zur Regelung eines Regelsystems, Trainingsverfahren,
Computerprogramm, Speichermedium und Steuereinheit.
Die vorliegende Erfindung betrifft ein Verfahren zur Regelung eines Regelsystems umfassend mindestens einen Regler, mindestens eine Regelstrecke und mindestens ein Machine Learning Module (ML-Modul) zur Ermittlung einer Stellgröße für das Regelsystem.
Ferner betrifft die vorliegende Erfindung ein Trainingsverfahren für ein ML-Modul zur Verwendung in einem Regelverfahren gemäß der vorliegenden Erfindung.
Die vorliegende Erfindung betrifft darüber hinaus ein entsprechendes Computerprogramm, maschinenlesbares Speichermedium und elektronische Steuereinheit.
Stand der Technik
Regelungsaufgaben mit bestärkendem Lernen (engl, reinforcement learning) zu lösen entspricht dem aktuellen Stand der Technik. Hierbei wird auf Basis von Zustandsdaten (z.B. aktuelle Position, Temperatur, Soll-Wert etc.) aus einer endlichen Menge von verfügbaren Aktionen gewählt. Zum Erlernen der Strategie gibt es verschiedene Algorithmen (z. B. Monte-Carlo oder Temporal Difference Learning). Diese haben nach heutigem technischen Stand alle gemein, dass für die Entscheidung, welches die beste Aktion ist, alle möglichen Aktionen bewertet werden müssen. Um diese Bewertung vornehmen zu können, muss also das System mindestens in der Lernphase auch in alle „nicht-optimalen“ Zustände versetzt werden. Dieses Vorgehen führt dazu, dass Regler auf Basis von bestärkendem Lernen dazu neigen in lokalen Optima zu verfallen und dementsprechend sehr viele Lernzyklen benötigen.
Offenbarung der Erfindung
Vor diesem Hintergrund schafft die vorliegende Erfindung schafft ein Verfahren zur Verfahren zur Regelung eines Regelsystems durch eine Kombination von Methoden des maschinellen Lernens (engl, machine learning) und Methoden der klassischen Regelungstechnik. Ferner schafft die vorliegende Erfindung ein Verfahren zum Trainieren eines Machine Learning Modules (ML-Moduls), das dazu geeignet ist einem Regelungsverfahren gemäß der vorliegenden Erfindung eingesetzt zu werden. Weitere Aspekte der vorliegenden Erfindung sind ein Computerprogramm, ein maschinenlesbares Speichermedium sowie eine elektronische Steuereinheit.
Vorteile der Erfindung
Ein Aspekt der vorliegenden Erfindung ist ein Verfahren zur Regelung eines Regelsystems. Das Regelsystem weist dabei mindestens einen Regler und mindestens eine Regelstrecke auf.
Bei dem Regler kann es sich vorliegend um eine P-, PI- oder PID-Regler handeln. Die Wahl des geeigneten Reglerart (bspw. P-, PI-, PID-Regler) trifft der Fachmann dabei auf Basis seines Fachwissens. Geleitet wird er dabei von dem Ziel Regelabweichungen minimal zu halten.
Das Verfahren umfasst die nachfolgenden Schritte.
Ermitteln einer Stellgröße (für die Regelstrecke) mittels des Reglers des Regelungssystems in Abhängigkeit von einem aktuellen Soll-Wert (des Regelsystems).
Korrigieren der ermittelten Stellgröße mittels eines Machine Learning Modules (ML-Modul) in Abhängigkeit von dem aktuellen Soll-Wert und eines Ist-Werts (des Regelsystems), um eine korrigierte Stellgröße (für die Regelstrecke) zu erhalten.
Regeln der Regelstrecke in Abhängigkeit der korrigierten Stellgröße.
Die Erfindung weist den Vorteil auf, dass durch die Korrektur der Stellgröße des Reglers mittels des ML-Moduls einerseits ungünstige und im technischen Sinne sogar gefährliche Zustände vermieden werden können und andererseits eine korrigierte Stellgröße mittels des ML-Moduls ermittelt werden kann, ohne dass wie derzeit im Stand der Technik viele nur lokal optimale Zustände bewertet werden müssen.
Bei dem Soll-Wert kann es sich vorliegend um den Soll-Wert des Regelsystems handeln.
Bei dem Ist-Wert kann es sich vorliegend um den Ist-Wert des Regelsystems handeln.
Bei der Stellgröße kann es sich vorliegend um eine Stellgröße zur Verwendung in dem Regelsystem, insbesondere für die Regelstrecke, handeln.
Unter einem Machine Learning Module (ML-Modul) kann vorliegend ein künstliches Modul verstanden werden, das dazu geeignet ist, aus Erfahrung Wissen zu generieren. Die Erfahrung wird dem künstlichen Modul dabei in Form von Trainingsdaten zugeführt. Aus diesen baut das Modul ein Modell auf, um nicht nur Beispiele auswendig zu lernen, sondern Muster und Gesetzmäßigkeiten aus den Trainingsdaten abzuleiten und auf neue (ggf. unbekannte)
Eingangsdaten anzuwenden, um diese zu beurteilen.
Bevorzugt ist das ML-Modul als künstliches neuronales Netzwerk ausgestaltet.
Unter einem künstlichen neuronalen Netz ist vorliegend ein Netz aus künstlichen Neuronen zur Informationsverarbeitung zu verstehen. Künstliche neuronale Netze durchleben im Wesentlichen drei Phasen. In einer initialen Phase wird eine Basistopologie, meist abhängig von der Aufgabenstellung, vorgegeben. Danach folgt eine Trainingsphase, in der die Basistopologie zur effizienten Lösung der Aufgabenstellung mittels Trainingsdaten angelernt wird. Innerhalb der Trainingsphase kann auch die Topologie des Netzes angepasst werden. Trainingsdaten zeichnen sich dadurch aus, dass typischerweise zu den Eingabedaten die gewünschten Ausgabedaten vorliegen. Schließlich folgt eine Anwendungsphase, in der das angelernte Netz auf Eingabedaten angesetzt wird, zu denen es keine gewünschten Ausgabedaten gibt. Die Ausgabedaten des angelernten Netzes stellen dann gemäß der Aufgabestellung gesuchten Ausgabedaten dar.
Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung wird im Schritt des Ermittelns die Stellgröße in Abhängigkeit von weiteren Soll- Werten, die in Bezug auf den aktuellen Soll-Werte vorherige bzw. nachherige Soll-Werte des Regelsystems repräsentieren, ermittelt.
Diese Ausführungsform basiert auf der Annahme, dass die Regelung des Regelsystems in aufeinanderfolgenden Regelschritten so bis sn erfolgt. Die Regelschritte können dabei zeitlich aufeinanderfolgend, d.h. zu den Zeitpunkten to bis tn, erfolgen. Der aktuelle Soll-Wert ist dabei der Soll-Wert für den Regelschritt si bzw. zum Zeitpunkt t,. Ein vorheriger Soll-Wert ist dementsprechend ein Soll-Wert für den Regelschritt Si-X, x aus [1 ... i-1] bzw. zum Zeitpunkt ti-c, x aus [l.J-1]. Ein nachheriger Soll-Wert ist dementsprechend ein Soll-Wert für den Regelschritt Si+y, y aus [1 ... n-i] bzw. zum Zeitpunkt ti+y, y aus [1 ... n-i].
Diese Ausführungsform weist den Vorteil auf, dass durch die Berücksichtigung weiterer Soll-Werte, insbesondere vorheriger und nachfolgender Soll-Werte die Genauigkeit der Ermittlung der Stellgröße durch das ML-Modul verbessern lässt.
Es versteht sich von selbst, dass zur Berücksichtigung nachfolgender Soll-Werte diese nachfolgenden Soll-Werte bekannt sein müssen. Ob diese Werte bekannt sind hängt dabei maßgeblich von dem Regelsystem ab. Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung wird im Schritt des Ermittelns die Stellgröße in Abhängigkeit von weiteren Größen ermittelt.
Diese weiteren Größen repräsentieren bevorzugt Eigenschaften des Regelsystems bzw. des Reglers bzw. der Regelstrecke.
Dies können u. a. Randbedingung, Temperaturen, Drücken, Drehzahlen bzw. Geschwindigkeiten sein.
Vorteilhaft an dieser Ausführungsform ist, dass sich durch die Hinzunahme weiterer Größen die Genauigkeit der Ermittlung der Stellgröße durch das ML- Modul verbessern lässt.
Das Regelungsverfahren und das Trainingsverfahren gemäß der vorliegenden Erfindung sind voneinander unterschiedlich stark abhängig.
Das ML-Modul könnte bspw. initial angelernt werden und dann nur noch im Regelungsverfahren angewendet werden.
Denkbar ist ebenso, dass nach dem initialen Anlernen das ML-Modul parallel zur Anwendung im Regelungsverfahren kontinuierlich weitertrainiert wird.
Dies könnte bspw. abwechselnd umgesetzt werden. D. h. auf jeden Lernschritt erfolgt ein Regelungsschritt und umgekehrt.
Denkbar wäre ebenso, dass nach einer vorgegebenen Anzahl an Regelungsschritten ein Lernschritt erfolgt.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Verfahren zum Trainieren eines Machine Learning Modules (ML-Modul) für die Verwendung in einem Verfahren gemäß dem vorhergehenden Aspekt der vorliegenden Erfindung.
Das Trainingsverfahren umfasst dabei den Schritt des Anpassens mindestens eines Parameters des ML-Moduls in Abhängigkeit von mindestens einem Eingangsdatum des ML-Moduls und einer zu dem mindestens einen Eingangsdatum korrespondierenden korrigierten Stellgröße des Regelsystems.
Gemäß einer Ausführungsform kann die korrespondierende korrigierte Stellgröße die korrigierte Stellgröße des aktuellen Regelschritts des mindestens einem Eingangsdatum sein.
Gemäß einer Ausführungsform kann die korrespondierende korrigierte Stellgröße die korrigierte Stellegröße des nachfolgenden Regelschrittes des mindestens einem Eingangsdatum sein.
Gemäß einer Ausführungsform kann die Lernrate des Trainingsverfahrens kontinuierlich reduziert werden. Durch die kontinuierliche Reduktion wird erreicht, dass seltene Einzelereignisse weniger Einfluss auf das Training des ML- Moduls haben. Damit kann erreicht werden, dass das System robuster wird.
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, welches eingerichtet ist, alle Schritte eines der Verfahren gemäß der vorliegenden Erfindung auszuführen
Ein weiterer Aspekt der vorliegenden Erfindung ist ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß der vorliegenden Erfindung gespeichert ist.
Ein weiterer Aspekt der vorliegenden Erfindung ist eine elektronische Steuereinheit, die eingerichtet ist, alle Schritte eines der Verfahren gemäß der vorliegenden Erfindung auszuführen.
Die vorliegende Erfindung ist auf ein Regelsystem gerichtet. Der grundsätzliche Ansatz der Erfindung lässt sich ebenso auf ein Steuersystem abbilden.
Zeichnungen
Weitere Merkmale und Vorteile der Aspekte der vorliegenden Erfindung werden nachfolgend anhand von Ausführungsformen mit Bezug auf die Figuren erläutert. Es zeigen:
Fig. 1 ein Ablaufdiagramm des Verfahrens gemäß dem ersten Aspekt der vorliegenden Erfindung;
Fig. 2 ein Ablaufdiagramm des Verfahrens gemäß dem zweiten Aspekt der vorliegenden Erfindung;
Fig. 3 eine schematische Darstellung eines Regelsystems während eines Regelschrittes gemäß der vorliegenden Erfindung;
Fig. 4 eine schematische Darstellung eines Regelsystems während eines Trainingsschrittes gemäß der vorliegenden Erfindung.
Figur 1 zeigt ein Ablaufdiagramm des Verfahrens 100 zur Regelung gemäß dem ersten Aspekt der vorliegenden Erfindung.
In Schritt 101 wird eine Stellgröße u mittels eines Reglers 31 in Abhängigkeit von einem aktuellen Soll-Wert xt, d. h. einem Soll-Werts xt für den aktuellen Regelschritt st, ermittelt.
In Schritt 102 wird die ermittelte Stellgröße u mittels eines Machine Learning Modules (ML-Modul) 33 in Abhängigkeit von dem aktuellen Soll-Wert xt und von einem Ist-Wert korrigiert, um eine korrigierte Stellgröße u‘ zu erhalten.
Die Korrektur mittels des ML-Moduls 33 kann dabei wie nachstehende beschrieben erfolgen.
Zunächst erfolgt die Bestimmung einer Korrekturgröße durch das ML-Modul. Diese Korrekurgröß kann eine Prognose der Regelabweichung für den aktuellen Regelschritt auf Basis des Soll-Werts xt und der ermittelten Stellgröße u sein. Gemäß weiterer Ausführungsformen können dem ML-Modul zur Prognose weitere Größen zugeführt werden. Diese weiteren Größen repräsentieren bevorzugt Eigenschaften des Regelsystems bzw. des Reglers bzw. der Regelstrecke.
Dies können u. a. Randbedingung, Temperaturen, Drücken, Drehzahlen bzw. Geschwindigkeiten sein.
Dann erfolgt eine Beaufschlagung der ermittelten Stellgröße des Reglers u mit einem von der prognostizierten Regelabweichung abhängigen Wert, um eine korrigierte Stellgröße u‘ zu erhalten. Der für die Beaufschlagung vorgesehenen Wert kann bspw. ein Vielfaches der prognostizierten Regelabweichung sein.
In Schritt 103 wird die Regelstrecke 32 in Abhängigkeit der korrigierten Stellgröße u‘ geregelt.
Figur 2 zeigt ein Ablaufdiagramm des Verfahrens 200 zum Training eines ML- Moduls gemäß dem zweiten Aspekt der vorliegenden Erfindung.
In Schritt 201 wird mindestens ein Parameter des ML-Moduls 33 in Abhängigkeit von mindestens einem Eingangsdatum xt, v des ML-Moduls 33 und einer zu dem mindestens einem Eingangsdatum xt, v korrespondierenden korrigierten Stellgröße u‘ des Regelsystems 3 angepasst.
Figur 3 zeigt eine schematische Darstellung eines Regelsystems 3 während eines Regelschrittes 103 gemäß der vorliegenden Erfindung.
Dabei wird ein aktueller Soll-Wert xt in das Regelsystem 3 eingeführt. Im Knoten e wird ein Soll-Ist-Vergleich zwischen dem aktuellen Soll-Wert xt und dem korrespondierenden Ist-Wert des Regelschritts 103 durchgeführt. Das Ergebnis wird dem Regler 31 zugeführt.
Bei dem Regler kann es sich bevorzugt um einen P-, PI- oder PID-Regler handeln. Parallel zur Zuführung zu dem Regler 31 wird der aktuelle Soll-Wert xt dem ML- Modul 33 zugeführt. In der Figur 3 ist das ML-Modul 33 als künstliches neuronales Netz mit Knoten und Transitionen zwischen den Knoten dargestellt.
Das ML-Modul 33 ist auf die Ausgabe einer Korrekturgröße für die Stellgröße u des Regelsystems 3 ausgelegt. Mittels der Korrekturgröße kann die durch den Regler 31 des Regelsystems 3 ermittelten Stellgröße zu einer korrigierten Stellgröße u‘ korrigiert werden.
Die korrigierte Stellgrößte u‘ wird auf die Regelstrecke 32 gegeben. Aus der Regelstrecke 32 wird der Ist-Wert des nachfolgenden Regelschritts an den Knoten e zugeführt.
Neben dem aktuellen Soll-Wert xt können dem ML-Modul 33 weitere Eingangsdaten v zugeführt werden, die dazu genutzt werden eine Korrekturgröße für das Regelsystem 3 auszugeben. Diese weiteren Eingangsdaten v sind optional und daher in der Figur gestrichelt dargestellt.
Diese weiteren Eingangsdaten v können Eigenschaften des Regelsystems bzw. des Reglers bzw. der Regelstrecke repräsentieren.
Dies können u. a. Randbedingung, Temperaturen, Drücken, Drehzahlen bzw. Geschwindigkeiten sein.
Figur 4 zeigt eine schematische Darstellung eines Regelsystems während eines Trainingsschrittes 201 gemäß der vorliegenden Erfindung.
Die Darstellung entspricht im Wesentlichen der Darstellung gemäß Figur 3. In der Figur 4 wird deutlich gemacht, dass das Training 200 des ML-Moduls 33 in Abhängigkeit, d. h. die Anpassung mindestens eines Parameters des ML-Moduls 33 in Abhängigkeit von mindestens einem Eingangsdatum xt, optional v des ML- Moduls 33 und einer zu dem mindestens einem Eingangsdatum xt, optional v korrespondierenden korrigierten Stellgröße u‘ des Regelsystems 3 erfolgt.

Claims

Ansprüche
1. Verfahren (100) zur Regelung eines Regelsystems (3) aufweisend mindestens einen Regler (31) und mindestens eine Regelstrecke (32), mit den Schritten:
Ermitteln (101) einer Stellgröße (u) mittels des Reglers (31) eines Machine Learning Modules (ML-Modul) (33), insbesondere mittels eines künstlichen neuronalen Netzwerkes, in Abhängigkeit von einem aktuellen Soll-Wert (xt);
Korrigieren (102) der ermittelten Stellgröße (u) mittels eines Machine Learning Modules (ML-Modul) (33), insbesondere mittels eines künstlichen neuronalen Netzwerkes, in Abhängigkeit des aktuellen Soll- Werts (xt) und eines Ist-Werts, um eine korrigierte Stellgröße (u‘) zu erhalten;
Regeln (103) der Regelstrecke (32) in Abhängigkeit der korrigierten Stellgröße (u‘).
2. Verfahren (100) nach Anspruch 1, wobei im Schritt des Ermittelns (101) die Stellgröße (u) Korrekturgröße in Abhängigkeit von weiteren Soll- Werten (xt-i, xt+i), die in Bezug auf den aktuellen Soll-Werte (xt) vorherige, insbesondere zeitlich vorherige, und/oder nachherige, insbesondre zeitlich nachherige, Soll-Werte (xt-i, xt, xt+1) des Regelsystems (3) repräsentieren, ermittelt wird.
3. Verfahren (100) nach Anspruch 1 oder 2, wobei im Schritt des Ermittelns (101) die Stellgröße (u) Korrekturgröße in Abhängigkeit von weiteren Größen (v), welche insbesondere Eigenschaften des Regelsystems (3) und/oder des Reglers (31) und/oder der Regelstrecke (31) repräsentieren, insbesondere Randbedingung, Temperaturen, Drücken, Drehzahlen und/oder Geschwindigkeiten, ermittelt wird.
4. Verfahren (200) zum Trainieren eines Machine Learning Modules (ML- Modul) (33), insbesondere eines künstlichen neuronalen Netzwerkes, für die Verwendung in einem Verfahren (100) nach einem der vorhergehenden Ansprüche mit dem Schritt:
Anpassen (201) mindestens eines Parameters des ML-Moduls (33) in Abhängigkeit von mindestens einem Eingangsdatum (xt, v) des ML- Moduls (33) und einer zu dem mindestens einem Eingangsdatum (xt, v) korrespondierenden korrigierten Stellgröße (u‘) des Regelsystems (3).
5. Verfahren (200) nach Anspruch 4, wobei die korrespondierende korrigierte Stellgröße die korrigierte Stellgröße (u‘t) des Regelschritts des mindestens einem Eingangsdatum (xt, v) ist.
6. Verfahren (200) nach Anspruch 4, wobei die korrespondierende korrigierte Stellgröße die korrigierte Stellegröße (u’t+1) des nachfolgenden Regelschrittes des mindestens einem Eingangsdatum (xt, v) ist.
7. Computerprogramm, welches eingerichtet ist, alle Schritte des Verfahrens (100, 200) nach einem der vorhergehenden Ansprüche auszuführen
8. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 7 gespeichert ist
9. Elektronische Steuereinheit, die eingerichtet ist, alle Schritte des Verfahren (100, 200) nach einem der Ansprüche 1 bis 5 auszuführen.
PCT/EP2021/066740 2020-07-03 2021-06-21 Verfahren zur regelung eines regelsystems, trainingsverfahren, computerprogramm, speichermedium und steuereinheit WO2022002652A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020208358.4A DE102020208358A1 (de) 2020-07-03 2020-07-03 Verfahren zur Regelung eines Regelsystems, Trainingsverfahren, Computerprogramm, Speichermedium und Steuereinheit.
DE102020208358.4 2020-07-03

Publications (1)

Publication Number Publication Date
WO2022002652A1 true WO2022002652A1 (de) 2022-01-06

Family

ID=76708203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/066740 WO2022002652A1 (de) 2020-07-03 2021-06-21 Verfahren zur regelung eines regelsystems, trainingsverfahren, computerprogramm, speichermedium und steuereinheit

Country Status (2)

Country Link
DE (1) DE102020208358A1 (de)
WO (1) WO2022002652A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120107921A1 (en) * 2008-06-26 2012-05-03 Colorado State University Research Foundation Model based controls for use with bioreactors

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120107921A1 (en) * 2008-06-26 2012-05-03 Colorado State University Research Foundation Model based controls for use with bioreactors

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DE OLIVEIRA V M ET AL: "Feedforward control of a mobile robot using a neural network", SYSTEMS, MAN, AND CYBERNETICS, 2000 IEEE INTERNATIONAL CONFERENCE ON NASHVILLE, TN, USA 8-11 OCT. 2000, PISCATAWAY, NJ, USA,IEEE, US, vol. 5, 8 October 2000 (2000-10-08), pages 3342 - 3347, XP010524070, ISBN: 978-0-7803-6583-4 *

Also Published As

Publication number Publication date
DE102020208358A1 (de) 2022-01-05

Similar Documents

Publication Publication Date Title
DE102007042440B3 (de) Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
DE69823049T2 (de) Modellfreie adaptive prozesssteuerung
DE10127788B4 (de) Integrierte Optimalmodell-Vorhersagesteuerung in einem Prozeßsteuerungssystem
DE102007017259B4 (de) Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems
DE60107630T2 (de) Selbstjustierungsverfahren und -system für einen Controller
DE69434487T2 (de) Methode und vorrichtung zur fuzzy logicsteuerung mit automatischem abstimmverfahren
DE602006000128T2 (de) Steuerung
AT512251B1 (de) Verfahren zum Entwerfen eines nichtlinearen Reglers für nichtlineare Prozesse
EP0706680B1 (de) Regeleinrichtung, insbesondere für einen nichtlinearen, zeitvarianten prozess
EP0531712A2 (de) Regler, insbesondere Flugregler
DE102007026314A1 (de) Verfahren zur Steuerung und/oder Regelung eines Brennstoffzellensystems
WO2022002652A1 (de) Verfahren zur regelung eines regelsystems, trainingsverfahren, computerprogramm, speichermedium und steuereinheit
EP3785178A1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
EP3542229A1 (de) Einrichtung und verfahren zur bestimmung der parameter einer regeleinrichtung
DE102009027517A1 (de) Verfahren zur Adaption einer Steuerungsfunktion in einem Steuergerät
DE4100064A1 (de) Verfahren und schaltungsanordnung zur vermeidung eines reset-windup-effektes bei einer regelschaltung
DE4304676C1 (de) Verfahren zum Betrieb einer Abwasserreinigungsanlage sowie zugehörige Abwasserreinigungsanlage
WO2021073997A1 (de) Kontrollverfahren für die kontrolle wenigstens eines teils eines produktionsprozesses einer folienextrusionsanlage
DE19624301B4 (de) Lernverfahren für ein neuronales Netz
DE3938083C2 (de)
DE102022112606B3 (de) Computerimplementiertes Verfahren zur Kalibrierung eines technischen Systems
EP0700536A1 (de) Regeleinrichtung
EP1149331B1 (de) Verfahren und vorrichtung zur regelung einer regelstrecke
EP2148255B1 (de) Verfahren zum Betrieb eines Reglers und Regler
DE102021116388A1 (de) Verfahren zum Optimieren eines Reglers und Regelsystem mit einem derart optimierten Regler

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21736268

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21736268

Country of ref document: EP

Kind code of ref document: A1