WO2025190877A1

WO2025190877A1 - Betrieb einer regelungseinrichtung für ein fortbewegungsmittel

Info

Publication number: WO2025190877A1
Application number: PCT/EP2025/056488
Authority: WO
Inventors: Maximilian TEMPLER
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2024-03-14
Filing date: 2025-03-10
Publication date: 2025-09-18
Anticipated expiration: 2026-09-14
Also published as: DE102024202401A1

Abstract

Die vorliegende Erfindung betrifft eine Regelungseinrichtung (20) für ein Fortbewegungsmittel sowie ein Verfahren und ein Computerprogramm mit Instruktionen zum Betreiben einer Regelungseinrichtung (20) für ein Fortbewegungsmittel. Die Regelungseinrichtung (20) verwendet einen Reinforcement Learning Agenten (A), der aufgeteilt ist in einen Inferenzprozess (IP), der eingerichtet ist, Aktionen mittels einer Inferenzstrategie zu bestimmen, und einen Trainingsprozess (TP), der eingerichtet ist, auf Basis von bereitgestellten Daten eine Parametrierung einer Trainingsstrategie anzupassen. Der Reinforcement Learning Agent (A) ist zudem eingerichtet, die Inferenzstrategie im Fahrbetrieb auf Basis der angepassten Parametrierung zu aktualisieren. Die Erfindung betrifft zudem ein Fortbewegungsmittel, das eine erfindungsgemäße Regelungseinrichtung verwendet.

Description

Beschreibung

Betrieb einer Regelungseinrichtung für ein Fortbewegungsmittel

Die vorliegende Erfindung betrifft eine Regelungseinrichtung für ein Fortbewegungsmittel sowie ein Verfahren und ein Computerprogramm mit Instruktionen zum Betreiben einer Regelungseinrichtung für ein Fortbewegungsmittel. Die Erfindung betrifft zudem ein Fortbewegungsmittel, das eine erfindungsgemäße Regelungseinrichtung verwendet.

In der nachfolgenden Beschreibung werden teils englischsprachige Begriffe verwendet, da sich im Bereich des maschinellen Lernens teilweise keine deutschsprachigen Fachbegriffe etabliert haben. Die verwendeten englischsprachigen Begriffe sind dem Fachmann geläufig.

Automatisiertes Fahren, auch als autonomes Fahren, automatisches Fahren oder gesteuertes Fahren bezeichnet, ist die Bewegung von Fahrzeugen, mobilen Robotern und fahrerlosen Transportsystemen, die weitgehend autonom sind. Es gibt verschiedene Grade des automatisierten Fahrens. In Europa haben verschiedene Verkehrsministerien, z.B. in Deutschland die Bundesanstalt für Straßenwesen, die folgenden Automatisierungsstufen definiert:

• Level 0: "Nur Fahrer", der Fahrer fährt selbst, lenkt, beschleunigt, bremst usw.

• Level 1 : Bestimmte Assistenzsysteme helfen bei der Fahrzeugbedienung, darunter ein Geschwindigkeitsregelungssystem wie ACC (engl. Automatic Cruise Control).

• Level 2: Teilweise Automatisierung. Dabei werden automatisches Einparken, Spurführung, allgemeine Längsführung, Beschleunigung, Verzögerung usw. von den Assistenzsystemen übernommen, einschließlich der Kollisionsvermeidung.

• Level 3: Hohe Automatisierung. Der Fahrer muss das System nicht ständig überwachen. Das Fahrzeug führt selbständig Funktionen wie das Auslösen des Blinkers, den Fahrstreifenwechsel und die Spurführung aus. Der Fahrer kann sich anderen Dingen zuwenden, muss aber auf Anforderung innerhalb einer Vorwarnzeit die Kontrolle übernehmen.

• Level 4: Vollständige Automatisierung. Die Führung des Fahrzeugs wird permanent vom System übernommen. Ist das System nicht mehr in der Lage, die Aufgaben zu bewältigen, kann der Fahrer aufgefordert werden, die Steuerung zu übernehmen. • Level 5: Kein Fahrer erforderlich. Abgesehen vom Setzen des Ziels und Starten des Systems ist kein menschliches Eingreifen erforderlich.

Eine etwas andere Definition von Stufen ist von der Society of Automotive Engineers (SAE) bekannt. In diesem Zusammenhang wird auf die Norm SAE J3016 verwiesen. Solche Definitionen können alternativ anstelle der oben gegebenen Definitionen verwendet werden.

Beim Folgen einer vorgegebenen Trajektorie werden einerseits Trajektorienfolgeregler eingesetzt, um die Fahrzeugregelung für das vorgegebene Soll-Profil umzusetzen. Hierbei werden Fahrzeugmodelle genutzt, um anhand der berechneten Fahrzeugreaktionen die notwendigen Steuersignale abzuleiten. Trotz des bereits guten Folgeverhaltens der verwendeten Regelung bedarf es einer Anpassung der Parametrierung des Systems bei unterschiedlichen Umgebungsbedingung, wie beispielsweise Hoch- oder Niedrigreibwert.

Ein alternatives Konzept stellt die modellprädiktive Regelung dar. Ein Vorteil bei diesem Ansatz ist die Berücksichtigung zukünftiger Systemzustände sowie Nebenbedingungen, wie beispielsweise physikalische Grenzen der Aktorik während der Bestimmung der Regelstrategie. Dabei wird bei der modellprädiktiven Regelung mit dem aktuellen Zustand als Initialzustand ein Optimalsteuerungsproblem gelöst. Aus der sich ergebenden optimalen Steuersequenz wird anschließend ein Stellsignal angewendet und die Optimierung beginnt mit dem aktuellen Zustand erneut. Ein Nachteil dabei ist jedoch die Abhängigkeit der Optimierung von der Genauigkeit des genutzten Modells. Weiterhin kann ein initial parametriertes Modell an Genauigkeit verlieren, z.B. aufgrund von Abnutzungserscheinungen des Fahrzeugs. Zudem kann das Parametrieren des Modells sehr zeitaufwendig sein.

Diese Herausforderungen können durch adaptive Regelungsverfahren adressiert werden. Beispielsweise kann mithilfe der Methoden des Reinforcement Learning (deutsch: bestärkendes Lernen) ein sich automatisch adaptierender Agent in einem bereits funktionsfähigen Regelungssystem genutzt werden, um eine bessere Systemantwort des Fahrzeuges zu erreichen.

Beispielsweise beschreibt DE 10 2019214 931 A1 eine Steuerung für ein Fahrzeug, umfassend eine Einrichtung zur Bestimmung einer gewünschten Trajektorie des Fahrzeugs, einen ersten Regler zur Bereitstellung einer ersten Stellgröße zur Steuerung des Fahrzeugs auf der Basis der gewünschten Trajektorie, einen unbeaufsichtigt lernfähigen zweiten Regler zur Bereitstellung einer zweiten Stellgröße zur Steuerung des Fahrzeugs auf der Basis der gewünschten Trajektorie, ein Mischglied, das dazu eingerichtet ist, eine kombinierte Stellgröße zur Steuerung des Fahrzeugs auf der Basis der ersten und zweiten Stellgröße zu bestimmen, und eine Überwachungseinrichtung, die dazu eingerichtet ist, eine aktuelle unmittelbare Belohnung und eine erwartete unmittelbare Belohnung für den zweiten Regler zu bestimmen, und einen Einfluss der zweiten Stellgröße auf die kombinierte Stellgröße zu verringern, falls die bestimmten Belohnungen um mehr als ein vorbestimmtes Maß voneinander abweichen.

Für die Umsetzung von Reinforcement Learning Algorithmen im Bereich der Fahrzeugregelung ist das Sammeln von Daten sowie das Nutzen dieser Daten zur Verbesserung des Agenten wichtig. Um eine Integration des Agenten in der Fahrzeugregelung zu ermöglichen, muss je nach Zeitkonstante in der jeweils gewählten Regelkaskade die Evaluation des Agenten sichergestellt werden. Eine Verzögerung der Evaluation kann sich dabei einerseits negativ auf den Lernprozess auswirken sowie andererseits auch als unerwünschte Störgröße in das Regelsystem wahrgenommen werden.

Bisherige Lösungen formulieren das Reinforcement Learning als ein episodisches Problem. Somit wird die Strategie (engl. Policy) eines Agenten innerhalb der Episode evaluiert und während dieser die Daten aufgezeichnet. Erst nach Abschluss der Episode wird der Agent anhand der gesammelten Daten trainiert bzw. optimiert. Die nachgelagerte Optimierung im Falle der episodischen Formulierung findet somit erst nach manueller Übernahme oder im Stillstand des Fahrzeuges statt.

Durch die Aufteilung des Problems in ein episodisches Lernproblem, welches einen separaten Trainingszeitraum benötigt, kann kein kontinuierlicher Lernprozess umgesetzt werden. Für eine potentielle Kundenfunktion wäre somit eine Anpassung der Systemausgabe durch den Reinforcement Learning Agenten während der Fahrt basierend auf soeben gesammelten Erkenntnissen nicht möglich.

In diesem Zusammenhang beschreibt US 2023 / 0 281 277 A1 ein Verfahren zum Reinforcement Learning. Bei dem Verfahren werden zwei oder mehr Trainingsiterationen durchgeführt, um eine Strategie zu aktualisieren. Bei den einzelnen Trainingsiterationen werden durch einen Trainingsprozess, der auf einem Trainingscomputergerät ausgeführt wird, Erfahrungen erhalten. Die Erfahrungen stellen Reaktionen einer Umgebung auf Aktionen dar, die von einer Vielzahl von entfernten Agentenprozessen gemäß der Strategie ausgeführt werden. Die entfernten Agentenprozesse führen dabei die Strategie auf entfernten Agentencomputergeräten aus. Die Erfahrungen werden von den entfernten Agentencomputergeräten über ein Netzwerk erhalten. Basierend auf den Reaktionen der Umgebung wird die Strategie durch den Trainingsprozess aktualisiert, um eine aktualisierte Strategie zu erhalten. Die aktualisierte Strategie wird durch den Trainingsprozess über das Netzwerk an die Vielzahl der entfernten Agentenprozesse verteilt.

Es ist eine Aufgabe der Erfindung, verbesserte Lösungen für den Betrieb einer Regelungseinrichtung für ein Fortbewegungsmittel bereitzustellen.

Diese Aufgabe wird von den Merkmalen der unabhängigen Ansprüche gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.

Gemäß einem ersten Aspekt der Erfindung verwendet eine Regelungseinrichtung für ein Fortbewegungsmittel einen Reinforcement Learning Agenten, der aufgeteilt ist in einen Inferenzprozess, der eingerichtet ist, Aktionen mittels einer Inferenzstrategie zu bestimmen, und einen parallel zum Inferenzprozess ausgeführten Trainingsprozess, der eingerichtet ist, auf Basis von bereitgestellten Daten eine Parametrierung einer Trainingsstrategie anzupassen. Der Reinforcement Learning Agent ist zudem eingerichtet, die Inferenzstrategie im Fährbetrieb auf Basis der angepassten Parametrierung zu aktualisieren.

Gemäß einem Aspekt der Erfindung umfasst ein Verfahren zum Betreiben einer Regelungseinrichtung für ein Fortbewegungsmittel, die einen Reinforcement Learning Agenten verwendet, die Schritte:

- Empfangen eines Zustandsvektors und einer Belohnung durch den Agenten;

- Bestimmen einer Aktion für den Zustandsvektor durch einen Inferenzprozess des Agenten mittels einer Inferenzstrategie;

- Ausgeben der Aktion an einen Aktor;

- Bereitstellen von Daten für einen parallel zum Inferenzprozess ausgeführten Trainingsprozess des Agenten;

- Anpassen einer Parametrierung einer Trainingsstrategie auf Basis der bereitgestellten Daten;

- Übermitteln der angepassten Parametrierung an den Inferenzprozess; und

- Aktualisieren der Inferenzstrategie im Fährbetrieb.

Gemäß einem weiteren Aspekt der Erfindung enthält ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der folgenden Schritte zum Betreiben einer Regelungseinrichtung für ein Fortbewegungsmittel, die einen Reinforcement Learning Agenten verwendet, veranlassen: - Empfangen eines Zustandsvektors und einer Belohnung durch den Agenten;

- Ausgeben der Aktion an einen Aktor;

- Übermitteln der angepassten Parametrierung an den Inferenzprozess; und

- Aktualisieren der Inferenzstrategie im Fährbetrieb.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Steuergeräte, eingebettete Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen. Die Ausführung der genannten Schritte kann direkt durch den Computer erfolgen oder darin bestehen, dass der Computer eine zur Ausführung eines Schrittes vorgesehene Komponente entsprechend ansteuert.

Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.

Bei der erfindungsgemäßen Lösung wird eine erprobte Regelarchitektur um eine maschinelle Lernkomponente ergänzt, um eine selbstständige Adaptionsfähigkeit des Systems zu erreichen. Dazu werden Algorithmen aus dem Bereich des Reinforcement Learnings genutzt, um ein selbstlernendes System bereitzustellen, welches aufgrund der Integration in das bestehende Regelungskonzept gleichzeitig zugleich auf a priori Wissen zugreifen kann und somit von Beginn eine funktionsfähige Fahrfunktion ermöglicht. Um ein kontinuierliches Training ohne Unterbrechung der Fahrt zu ermöglichen und dennoch den Agenten in das Echtzeitregelsystem einzubinden, wird der Agent in verschiedene Prozesse aufgeteilt. Über „Multiprocessing“ kann dabei der Trainingsprozess des Agenten von dem kontinuierlichen Inferenzprozess, der Berechnung der Aktion, abgekoppelt werden. Ein kontinuierliches Training ermöglicht eine schnellere Adaption auf gesammelte Erfahrungen und kann somit auch den Trainingsprozess wesentlich beschleunigen.

Im Anwendungsfall einer Trajektorienfolgeregelung ist die resultierende Inferenzstrategie bei Auswahl eines geeigneten Beobachtungsraumes für den Agenten unabhängig von der jeweils gefahrenen Strecke und kann somit auf ähnlich bekannte Situationen angewendet werden. Darüber hinaus ist aufgrund der Wahl eines modellfreien Lernansatzes eine Anwendung auf unterschiedliche Fahrzeuge problemlos umsetzbar, ohne jedwede Systemdynamiken zusätzlich explizit abbilden zu müssen.

Gemäß einem Aspekt der Erfindung umfassen die bereitgestellten Daten Zustandsvektoren, Belohnungen und Aktionen. Mit diesen Daten ist der Trainingsprozess unmittelbar in der Lage, die Parametrierung der Trainingsstrategie kontinuierlich anzupassen.

Gemäß einem Aspekt der Erfindung werden die Zustandsvektoren und die Belohnungen durch eine echtzeitfähige Recheneinheit bestimmt und der Agent wird auf einer externen Recheneinheit ausgeführt. Vorteilhafterweise wird das Framework des Reinforcement Learning Agenten zum Teil auf eine externe Recheneinheit ausgelagert, die z.B. zusätzliche Hardware für die erforderlichen Berechnungen beinhaltet. Die Umwelt des Agenten mit der verknüpften Bewertungsfunktion befindet sich jedoch auf dem echtzeitfähigen Rechensystem, z.B. einem robusten System für schnelles Funktionsprototyping für den Fahrzeugeinsatz. Dies hat den Vorteil, dass die Belohnungsfunktion kontinuierlich auf der echtzeitfähigen Recheneinheit ausgeführt werden kann und somit weitere Manipulationen des Belohnungssignals möglich sind, welches aufgrund einer gegebenenfalls nicht verlustfreien Kommunikation zwischen dem echtzeitfähigen Rechensystem sowie der zusätzlichen Recheneinheit nicht gewährleistet ist.

Gemäß einem Aspekt der Erfindung erfolgt ein Datenaustausch zwischen der echtzeitfähigen Recheneinheit und der externen Recheneinheit über einen Data Distribution Service (DDS). Die Kommunikation der einzelnen Komponenten wird vorzugsweise durch einen Data Distribution Service umgesetzt. Dieser Service ermöglicht eine datenzentrierte Kommunikation in hochdynamischen verteilten Systemen über einen Datenbus. Konzeptionell handelt es sich um ein Publisher-Subscriber-Konzept, bei welchem der Publisher ein Teilnehmer ist, der Daten zur Verfügung stellt, welche von mehreren Empfängern, den Subscribern, gelesen werden können. Somit handelt es sich um einen virtuellen Datenbus, welcher einfach erweiterbar ist. Da keine expliziten bilateralen Verbindungen zwischen Systemkomponenten bzw. Systembestandteilen aufgebaut werden, ist eine einfache Erweiterung des Systems mit zusätzlichen Funktionen bzw. Applikationen möglich. So können unterschiedliche Applikationen als Subscriber auf die Daten eines Publishers zugreifen sowie neue Publisher in die bestehende Struktur integriert werden.

Gemäß einem Aspekt der Erfindung wird für den Datenaustausch das User Datagram Protocol (UDP) verwendet. Da die Regelungsarchitektur eine schnelle Übertragung von Signalen erfordert, um diese in die Regelung mit zu integrieren, wird bevorzugt das User Datagramm Protocol genutzt. Hierbei handelt es sich um ein minimales und verbindungsloses Netzwerkprotokoll, welches eine schnelle und einfache Kommunikation ermöglicht. Obwohl UDP ein nicht-zuverlässiges, ungesichertes sowie ungeschütztes Übertragungsprotokoll ist, welches keine Garantie der Datenübertragung gewährleistet, eignet es sich dennoch aufgrund der Schnelligkeit zur Anwendung im Bereich des Datenaustausches.

Gemäß einem Aspekt der Erfindung ist der Inferenzprozess eingerichtet, zusätzlich zu Aktionen auch Explorationen und Zeitstempel an einen Aktor ausgegeben. Darüber hinaus können Statusinformationen übermittelt werden. Zur Erkundung des Zustandsraumes ist beim Reinforcement Learning die Exploration ein wesentlicher Bestandteil der Optimierung. Wird die Belohnung auf dem echtzeitfähigen Rechensystem berechnet, so kann anhand der Übermittlung von Zeitstempeln das notwendige Datentupel aus Zustand zu einem Zeitpunkt, der dazugehörigen Aktion, der Belohnung sowie dem darauffolgenden Zustand gebildet werden. Gehen Datenpakete verloren, so werden lediglich diese Datenpakete unbrauchbar, da beispielsweise die Berechnung einer diskontierten Belohnung hiervon unabhängig durchgeführt werden kann.

Gemäß einem Aspekt der Erfindung werden die Zustandsvektoren, die Belohnungen und die Aktionen mittels einer Warteschlange für den Trainingsprozess des Agenten bereitgestellt. Die Kommunikation zwischen den einzelnen Prozessen erfolgt mit Hilfe von Warteschlangen, sogenannten „Queues“. Queues erlauben es, z.B. mit Hilfe der Multiprocessing-Bibliothek in Python, einen separaten Prozess aufzubauen, der unabhängig von der Inferenzstrategie eine Optimierung durchführen kann.

Gemäß einem Aspekt der Erfindung ist die Regelungseinrichtung eingerichtet, die Zustandsvektoren vor dem Bestimmen der Aktion einer Skalierung zu unterziehen. Vorzugsweise erfolgt im Rahmen einer Vorverarbeitung eine Skalierung der Zustandsvektoren. Durch die Normalisierung der Zustandsvektoren kann das Training von neuronalen Netzwerken beschleunigt werden. Zudem kann die Skalierung zu einer Reduzierung des Prädiktionsfehlers beitragen. Dabei wird mit Hilfe der Normalisierung der Eingangsgrößen eine initiale Gewichtung aufgrund unterschiedlicher Wertebereiche der Messgrößen verhindert.

Gemäß einem Aspekt der Erfindung verwendet die Regelungseinrichtung zusätzlich zum Agenten einen Basisregler und die vom Agenten bestimmten Aktionen sind additive Stellsignale. In einer solchen hybriden Architektur wird der Basisregler um ein weiteres additives Stellsignal des Reinforcement Learning Agenten erweitert. Dieses Stellsignal wird, basierend auf Fahrzustandsdaten sowie anliegender Stellsignale und gegebenenfalls weiterer Informationen berechnet und in die Regelung integriert. Durch eine ruckfreie Übertragung kann das Agentensignal während der Fahrt aktiviert und deaktiviert werden. Außerdem findet eine Saturierung der Summe aller Stellsignale auf die Grenzen der Aktuatoren statt, um Beschädigungen der Hardware durch fehlerhafte Anforderungen zu vermeiden.

Gemäß einem Aspekt der Erfindung ist die Regelungseinrichtung eine Querdynamikregelung. Die vom Agenten bestimmten Aktionen sind in diesem Fall Lenkwinkelsignale. Im Bereich der Querführung wird durch den beschriebenen Lernansatz die Trajektorienfolge verbessert, indem die Querablage reduziert wird und die Regelaktivität des Trajektorienfolgereglers für die Lenkungsansteuerung reduziert wird.

Gemäß einem Aspekt der Erfindung ist die Regelungseinrichtung eine Längsdynamikregelung. Die vom Agenten bestimmten Aktionen sind in diesem Fall Bremspedalsignale oder Gaspedalsignale. Im Bereich der Längsregelung wird durch den beschriebenen Lernansatz die Trajektorienfolge verbessert, indem die Fehlergrößen der Geschwindigkeit und der Beschleunigung reduziert werden. Daraus ergibt sich eine Reduzierung der Regelaktivität für die Gas- und Bremsregelung.

Vorteilhafterweise weist ein Fortbewegungsmittel eine erfindungsgemäße Regelungseinrichtung auf. Bei dem Fortbewegungsmittel kann es sich insbesondere um einen Pkw, einen Bus oder ein Nutzfahrzeug handeln, z.B. einen Lkw, eine Landmaschine oder eine Baumaschine. Besonders vorteilhaft ist die erfindungsgemäße Lösung bei autonomen oder teilautonomen Fortbewegungsmitteln einsetzbar. Aber auch bei manuell gesteuerten Fortbewegungsmitteln kann die erfindungsgemäße Lösung genutzt werden, z.B. um Daten für ein Assistenzsystem zur Verfügung zu stellen. Beispielsweise kann die erfindungsgemäße Regelungseinrichtung Bestandteil eines Trajektorienfolgereglers sein.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

Fig. 1 zeigt eine beispielhafte Systemarchitektur einer Regelungseinrichtung für ein Fortbewegungsmittel; Fig. 2 zeigt schematisch ein Verfahren zum Betreiben einer Regelungseinrichtung für ein Fortbewegungsmittel;

Fig. 3 stellt schematisch ein Fortbewegungsmittel dar, in dem eine erfindungsgemäße Lösung realisiert ist;

Fig. 4 veranschaulicht ein Regelungskonzept für die Querführung;

Fig. 5 veranschaulicht ein Regelungskonzept für die Längsführung;

Fig. 6 stellt exemplarisch die Interaktion eines Agenten mit seiner Umwelt dar; und

Fig. 7 veranschaulicht einen beispielhaften Signalverlauf innerhalb der Inferenzstrategie des Agenten.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.

Fig. 1 zeigt eine beispielhafte Systemarchitektur einer Regelungseinrichtung 20 für ein Fortbewegungsmittel. Bei der Systemarchitektur handelt es sich um ein verteiltes System, bei dem die Fahrzeugregelung auf einer echtzeitfähige Recheneinheit 1 umgesetzt ist, die maschinelle Lernmethode mit dem Agenten A jedoch auf einer weiteren Recheneinheit 2 ausgeführt wird. Beide zusammen bilden die Regelungseinrichtung 20. Der Agent A ist aufgeteilt in einen Inferenzprozess IP, der eingerichtet ist, Aktionen A_t mittels einer Inferenzstrategie zu bestimmen, und einen parallel zum Inferenzprozess IP ausgeführten Trainingsprozess TP, der kontinuierlich trainiert wird.

In Fig. 1 wird auch die Bewegungsplanung, die eine Trajektorie TR bereitstellt, auf einer separaten Recheneinheit 3 ausgeführt. Die verschiedenen Recheneinheiten 1 , 2, 3 sind an das Messsystem 4 angeschlossen. Eine Vernetzung der einzelnen Module über einen Datenbus 5 ist daher von großer Bedeutung. Die Kommunikation der einzelnen Komponenten wird vorzugsweise durch einen Data Distribution Service umgesetzt. Dieser Service ermöglicht eine datenzentrierte Kommunikation in hochdynamischen verteilten Systemen über einen Datenbus. Konzeptionell handelt es sich um ein Publisher-Subscriber- Konzept, bei welchem der Publisher ein Teilnehmer ist, der Daten zur Verfügung stellt, welche von mehreren Empfängern, den Subscribern, gelesen werden können. Somit handelt es sich um einen virtuellen Datenbus, welcher einfach erweiterbar ist.

Das zentrale Messsystem 4, welches neben der Nutzung von GPS-Empfängern (GPS: Globales Positionierungssystem) durch zahlreiche Sensoren eine hochgenaue Positionsund Richtungsmessung durchführt, stellt Messdaten M bereit, welche von den Funktionen der Bahnplanung sowie der Fahrzeugregelung auf unterschiedlichen Hardwarekomponenten genutzt werden können. Über den virtuellen Bus teilt ebenfalls das System der Fahrzeugregelung auf der echtzeitfähigen Recheneinheit 1 Informationen zur Umwelt sowie der Bewertung der Umwelt mit dem Agenten A, d.h. Zustandsvektoren S_t, und Belohnungen Rt.

Da die Regelungsarchitektur eine schnelle Übertragung von Signalen erfordert, um diese in die Regelung mit zu integrieren, wird das User Datagramm Protocol genutzt. Hierbei handelt es sich um ein minimales und verbindungsloses Netzwerkprotokoll, welches eine schnelle und einfache Kommunikation ermöglicht. Obwohl das User Datagramm Protocol ein nichtzuverlässiges, ungesichertes sowie ungeschütztes Übertragungsprotokoll ist, welches keine Garantie der Datenübertragung gewährleistet, eignet es sich dennoch aufgrund der Schnelligkeit zur Anwendung im Bereich des Datenaustausches.

Fig. 2 schematisch ein Verfahren zum Betreiben einer Regelungseinrichtung für ein Fortbewegungsmittel. Bei dem Verfahren werden ein Zustandsvektor und eine Belohnung durch den Agenten empfangen 10. Durch einen Inferenzprozess des Agenten wird mittels einer Inferenzstrategie für den Zustandsvektor eine Aktion bestimmt 11. Die Aktion wird an einen Aktor ausgegeben 12. Zudem werden Daten für einen parallel zum Inferenzprozess ausgeführten Trainingsprozess des Agenten bereitgestellt 13. Dabei kann es sich insbesondere um Zustandsvektoren, Belohnungen und Aktionen handeln. Auf Basis der bereitgestellten Daten wird eine Parametrierung einer Trainingsstrategie angepasst 14. Die angepasste Parametrierung wird an die Inferenzstrategie übermittelt 15, die daraufhin im Fährbetrieb aktualisiert wird 16.

Fig. 3 stellt schematisch ein Fortbewegungsmittel 40 dar, in dem eine erfindungsgemäße Lösung realisiert ist. Bei dem Fortbewegungsmittel 40 handelt es sich im dargestellten Beispiel um ein Kraftfahrzeug. Das Kraftfahrzeug weist eine Sensorik 41 zum Erfassen von Umgebungsinformationen und Fahrzeugzuständen auf. Eine erfindungsgemäße Regelungseinrichtung 20, die beispielsweise teilweise auf einem Rechner 42 des Kraftfahrzeugs implementiert sein kann, ist eingerichtet, aus den von der Sensorik 41 erfassten Informationen Regelungsgrößen abzuleiten. Eine Ausgabe der Regelungseinrichtung 20 kann als Eingangsgröße einem Assistenzsystem 43 zur Verfügung gestellt werden, z.B. als Grundlage für eine Fahrfunktion. Mittels einer Datenübertragungseinheit 44 kann eine Verbindung zu einem Backend aufgebaut werden, z.B. zum Abrufen aktualisierter Software für Komponenten des Kraftfahrzeugs. Zur Speicherung von Daten ist ein Speicher 45 vorhanden. Der Datenaustausch zwischen den verschiedenen Komponenten des Kraftfahrzeugs erfolgt über ein Netzwerk 46.

Nachfolgend soll eine bevorzugte Ausführungsform der Erfindung anhand von Fig. 4 bis Fig. 7 beschrieben werden.

Fig. 4 veranschaulicht ein Regelungskonzept für die Querführung. Das Regelungskonzept für die Querführung umfasst einen Basisregler B, der um einen Reinforcement Learning Agenten A ergänzt ist. Der Basisregler B der Querführung besteht aus einer modellbasierten Vorsteuerung V sowie einer Trajektorienfolgeregelung T, hier einer Winkel- und Ablageregelung. Die Eingangsgrößen der Querführung sind unter anderem die Referenzgrößen der Trajektorie, x_ref, welche neben einer Sollkurvenkrümmung ebenfalls Informationen zum Streckenprofil, beispielsweise die Neigung und Steigung des Fahrbahnprofils, beinhalten können. Hinzukommend werden gemessene Zustandsgrößen x_ist, beispielsweise die aktuelle Längsgeschwindigkeit, die Gierrate sowie Positionsinformationen berücksichtigt, sowie aufbereitete Messgrößen x_beo der Beschleunigung in Quer- und Längsrichtung.

Zur Verbesserung des Führungsverhaltens wird die modellbasierte Vorsteuerung V verwendet. Die von der Trajektorie vorgegebene Sollkurvenkrümmung wird innerhalb der Vorsteuerung V in Kombination mit der aktuellen Längsgeschwindigkeit zu einer gewünschten Querbeschleunigung umgerechnet. Anhand der Querbeschleunigung können über die abgeleiteten Seitenkräfte an Vorder- sowie Hinterachse die Schräglaufwinkel und somit anschließend der vorgesteuerte Radlenkwinkel berechnet werden. Mit Hilfe der Lenkungsübersetzung wird anschließend der Radlenkwinkel in einen Lenkradwinkel überführt, welcher an die Schnittstelle der elektromechanischen Lenkung übermittelt wird. Aufgrund der Nutzung der aktuellen Längsgeschwindigkeit wird eine teilweise Entkopplung der Quer- von der Längsführung ermöglicht. Dies hat einerseits den Vorteil, dass Fahrszenarien mit automatischer Querführung aber manueller Längsführung durchgeführt werden können. Andererseits ist die Entkopplung aufgrund des geschwindigkeitsabhängigen Einflusses des Lenkwinkels auf die Querführung von Vorteil, so dass zur Lenkwinkelberechnung die aktuelle Ist-Geschwindigkeit herangezogen wird. Im Falle der vollautomatischen Trajektorienfolge handelt es sich jedoch nicht um eine vollständige Entkopplung, da die von der Bewegungsplanung bereitgestellte zeitoptimale Trajektorie Längs- und Querführung vereint und somit das genutzte Kurvenkrümmungsprofil auf das vorgegebene Beschleunigungs- sowie Geschwindigkeitsprofil abgestimmt ist. Dies hat im Umkehrschluss zur Folge, dass eine verbesserte Längsregelung ebenfalls zu einer Verbesserung der Querführung beitragen kann.

Bei Betrachtung der Querregelung kann ein PID-Regler (Proportional-Integral-Differential- Regler) zur Reduzierung auftretender Störgrößen eingesetzt werden, indem ein Ablagefehler sowie ein Gierwinkelfehler berechnet und ausgeregelt werden. Das Stellsignal des PID- Reglers kann anschließend über eine aufbereitete Querbeschleunigung skaliert werden, welche zu einer Verstärkung des Stellsignals bei höheren Querbeschleunigungen führt. Die Stellsignale der Vorsteuerung V 8_V sowie der Trajektorienfolgeregelung T 8_T werden addiert.

In der hybriden Architektur wird nun der Basisregler B um ein weiteres additives Stellsignal des Reinforcement Learning Agenten A 8_RL erweitert. Dieses Stellsignal wird, basierend auf Fahrzustandsdaten sowie anliegender Stellsignale {x_ist, x_beo) sowie Trajektorieninformationen x_ref, berechnet und in die Regelung integriert. Durch eine ruckfreie Übertragung kann das Agentensignal während der Fahrt aktiviert und deaktiviert werden. Außerdem findet eine Saturierung der Summe aller Stellsignale auf die Aktuatorgrenzen statt, um Beschädigungen der Hardware durch fehlerhafte Anforderungen zu vermeiden. Die Umsetzung des Stellsignals 8_SOÜ für die Querregelung erfolgt anschließend in einer in Fig. 4 nicht dargestellten Aktorregelung.

Fig. 5 veranschaulicht ein Regelungskonzept für die Längsführung. Die Eingangsgrößen der Längsführung sind wiederum die Referenzgrößen der Trajektorie, x_ref, die gemessenen Zustandsgrößen x_ist sowie aufbereitete Messgrößen x_beo der Beschleunigung. Im Falle der Längsführungsregelung wird unterschiedlicher Schnittstellen zwischen Gaspedalregelung GR sowie Bremspedalregelung BR unterschieden. Grundsätzlich nutzen beide Komponenten eine modellbasierte Vorsteuerung V, vorzugsweise basierend auf einer Zugkraftgleichung, rechnen jedoch die notwendige Zugkraft in unterschiedliche Stellgrößen um. Zudem nutzen beide Komponenten eine Trajektorienfolgeregelung T. Im Falle des Basisreglers B der Bremspedalregelung BR wird in der Vorsteuerung V eine notwendige Längs- bzw. Bremskraft berechnet, die in eine Beschleunigung BP_V umgerechnet wird. Zudem liefert die Trajektorienfolgeregelung T eine Beschleunigung BP_T.

Äquivalent zur Berechnung der Bremskraft wird im Beschleunigungsfalle für die Vorsteuerung V der Gaspedalregelung GR die Antriebskraft GP_V berechnet. Zudem liefert die Trajektorienfolgeregelung T eine Beschleunigung GP_T.

Sowohl bei der Brems- sowie Gaspedal Regelung erweitert der Agent A den Basisregler B, indem eine zusätzliche Gaspedalstellung GP_RL oder Bremsbeschleunigung BP_RL angefordert wird. Dabei findet ähnlich zur Querführung eine ruckfreie Übertragung des Stellsignals des Agenten A statt. In beiden Fällen ergibt sich bei aktivem Agenten A das jeweilige Stellsignal aus der Summe aller Signale. Die Umsetzung des aufsummierten Stellsignals GP_sou der Gaspedalregelung GR sowie des aufsummierten Stellsignals BP_sou der Bremspedalregelung BR erfolgt anschließend in einer in Fig. 5 nicht dargestellten Aktorregelung.

Grundsätzlich bestimmt die Interaktion zwischen Agent und seiner Umwelt den Optimierungsprozess des Reinforcement Learnings. Deshalb ist es wichtig, sich vorab die Grenzen der Umwelt sowie des Einflussbereiches des Agenten vor Augen zu führen. Fig. 6 stellt exemplarisch die Interaktion des Agenten A mit seiner Umwelt U dar. Hierbei umfasst die Umwelt U neben der Regelstrecke, dem Realfahrzeug F bzw. dem Simulationsmodell des Fahrzeugs, ebenfalls die Sensorik FS sowie Aktorik FA und das Regelungskonzept. Letzteres dient, wie in Fig. 4 und Fig. 5 ersichtlich, als Schnittstelle des Agenten A mit seiner Umwelt U. Somit befinden sich die Regelvorschriften zur Vorsteuerung sowie Folgeregelung außerhalb des Einflussbereiches des Agenten A und sind somit Teil der Umwelt U.

Aufgrund der eventuell eingeschränkten Rechen- sowie Speicherkapazität der echtzeitfähigen Recheneinheit als Plattform zur Umsetzung der Trajektorienfolgeregelung ist das Reinforcement Learning Framework zu einem Großteil auf einer externen Recheneinheit mit zusätzlicher Grafikkarte ausgelagert. Somit kann auch hierbei analog zu Fig. 6 eine getrennte Betrachtung von Agent A (externe Recheneinheit) sowie seiner Umwelt U (restliche Hardwarekomponenten) stattfinden. Die Berechnung der Belohnung R_t des aktuellen Zustands S_t, eine Information bereitgestellt durch die Umwelt U des Agenten A, wird somit auf der echtzeitfähigen Recheneinheit umgesetzt. Dies hat ebenfalls Vorteile bei der Verwendung des nichtzuverlässigen Netzwerkprotokolls UDP. Mit der Ausführung der Berechnung auf der echtzeitfähigen Recheneinheit kann garantiert werden, dass zu den jeweiligen Aktionen A_t des Agenten A, welche mit Zeitstempel versehen sind, die zugehörige Belohnung R_t berechnet wird. Aufgrund der Kontinuität der Fahraufgabe sowie der Bewertung der Trajektorienfolgeregelung, die einen fortlaufenden Prozess darstellen, kann eine Betrachtung von diskontierten Belohnungen sinnvoll sein. Eine fehlerhafte Berechnung der Belohnung R_t innerhalb des Reinforcement Learning Frameworks aufgrund des Verlusts von Datenpaketen kann einen direkten Einfluss auf das Training des Agenten A haben. Wird die Belohnung R_t auf der echtzeitfähigen Recheneinheit berechnet, so kann anhand der Übermittlung von Zeitstempeln das notwendige Datentupel «St, A_t, Rt, S_t+i» zwischen dem Zustand S_t zum Zeitpunkt t, der dazugehörigen Aktion A_t, der Belohnung R_t sowie dem darauffolgenden Zustand St+i gebildet werden. Gehen Datenpakete verloren, so werden lediglich diese Datenpakete unbrauchbar, da die Berechnung einer diskontierten Belohnung hiervon unabhängig durchgeführt werden kann.

Im Gegenzug werden von dem Agenten A neben der für den Aktor jeweiligen Aktion A_t die dazugehörige Exploration sowie Statusinformationen und ein Zeitstempel übermittelt. In dem geschlossenen Regelkreis ist somit lediglich der Inferenzprozess IP mit der Inferenzstrategie PIP eingebunden. Diese berechnet bei Erhalt des Zustandsvektors St die dazugehörige Aktion A_t und übermittelt diese zurück an die Umweltschnittstelle. Die in Fig. 6 dargestellte Entkopplung der komplexen Algorithmik zum Training des Agenten A von der parallel hierzu ausgeführten Inferenzstrategie PIP ermöglicht die Einbindung des Agenten A in die Echtzeitregelung. Somit muss in der Inferenzstrategie PIP lediglich die erhaltene Information ausgelesen, über die Warteschlangen mit dem Trainingsprozess TP geteilt sowie die Aktion A_t berechnet und anschließend mit dem Explorationssignal kombiniert werden. In Verbindungen mit dem zusätzlichen Explorationsprozess ergeben sich beispielsweise die in der folgenden Tabelle dargestellten Signale zur Übertragung an die Schnittstelle der Umwelt U. Die Schnittstelle zwischen Agent und Umwelt U ist vorzugsweise anpassbar.

Aufgrund der Aufteilung des Frameworks auf ein verteiltes Rechnersystem können mit Hilfe der enkodierten Statussignale Anpassungen an die Umwelt U, beispielsweise die Auswahl über Berücksichtigung des Diskontierungsfaktors oder die Funktionsfähigkeit des Agenten A, übertragen werden. Mit diesen Metadaten können ebenfalls Sicherheitsfunktionen auf der echtzeitfähigen Recheneinheit umgesetzt werden.

Der Zustandsraum wird dargestellt durch einen Signalvektor, welcher dem Agenten A Informationen über den aktuellen Fahrzustand sowie die gewünschte Trajektorie liefert, wodurch der beobachtbare Systemzustand des Agenten A dargestellt wird. Der Signalvektor wird, basierend auf Messsignalen des Fahrzeugbussystems und des zentralen Messsystems sowie Trajektorieninformationen aus der Bahnplanung, auf der echtzeitfähigen Recheneinheit zusammengestellt und mittels DDS verteilt. Neben den Zustandsinformationen beinhaltet das Datenpaket zusätzliche Systeminformationen, wie die Belohnung, sowie weitere Metadaten, beispielsweise einen Status zur Enkodierung von Befehlen zwischen den Frameworks oder gemittelte Fehlergrößen zur Umsetzung von Konvergenzkriterien.

Fig. 7 veranschaulicht einen beispielhaften Signalverlauf innerhalb der Inferenzstrategie des Agenten. Zu Beginn werden die UDP Pakete empfangen 30 und ausgelesen. Als nächster Schritt erfolgt in der Vorverarbeitung 31 die Extraktion 310 des Zustandsvektors, die Extraktion 311 der Belohnung sowie weiterer Metadaten. Hierbei kann ebenfalls die zeitliche Veränderung der Signale als Historie übergeben werden. Durch Berücksichtigung des Signalverlaufs können der Verlauf eines Fahrmanövers und damit indirekt sensierte Systemzustände, wie beispielsweise der Reibwert, berücksichtigt werden. Ein Vorteil der Übermittlung der Zeitreihe und Nutzung eines mehrlagigen Perzeptrons, im Gegensatz zu rekurrenten Netzwerken, ist außerdem die Robustheit gegenüber verlorenen Datenpaketen im Zuge der Nutzung des User Datagramm Protocol. Bei der Extraktion des Zustandsraumes können, je nach Konfiguration, verschiedene Untermengen extrahiert werden, in Abhängigkeit von der Aufgabe der additiven Quer- und Längsregelung. Beispielsweise kann bei der ausschließlichen Betrachtung der Querregelung der extrahierte Zustandsvektor nur eine Teilmenge der möglichen zur Verfügung stehenden Informationen nutzen, um somit die Netzwerkkonfiguration und demnach die Komplexität zu reduzieren.

Als abschließender Schritt der Vorverarbeitung 31 erfolgt die Skalierung 312 des Zustandsvektors. Durch die Normalisierung des Zustandsvektors kann das Training von Neuronalen Netzwerken beschleunigt werden. Darüber hinaus kann dies zu einer Reduzierung des Prädiktionsfehlers beitragen. Dabei wird mit Hilfe der Normalisierung der Eingangsgrößen eine initiale Gewichtung aufgrund unterschiedlicher Wertebereiche der Messgrößen verhindert. In dem Fall der Betrachtung von Fahrzustandsgrößen ist dies ebenfalls vorteilhaft.

Nach der Vorverarbeitung 31 wird nun der skalierte Zustandsvektor im Inferenzprozess IP genutzt, um die Aktion des Agenten zu berechnen 32. Dabei kann es sich, je nach Unterstützungsaufgabe des Agenten, um einen eindimensionalen Aktionsraum und somit ein einziges Signal handeln, beispielsweise das additive Stellsignal des Lenkwinkelreglers aus Fig. 4. Andererseits kann bei der kombinierten Unterstützung von Längs- und Querführung die Netzausgabe ebenfalls mehrdimensional sein. Ist die Netzausgabe berechnet, so wird, abhängig von der gewählten Explorationsstrategie, im Rahmen einer Nachverarbeitung 33 ein zusätzliches Explorationssignal bestimmt 330 und mit der Netzausgabe kombiniert. Anschließend findet die Skalierung 331 der Aktion in die jeweilige Systemgröße der Ansteuerung der Aktorik statt. Die Skalierung 331 ist dabei einerseits abhängig von der gewählten Aktivierungsfunktion der Netzausgabe, da diese eine mathematische Beschränkung der Aktion darstellt. Andererseits besteht eine direkte Abhängigkeit zu dem geforderten additiven Stellsignal. Beispielsweise handelt es sich im Falle der Gaspedalregelung um eine Pseudogröße zur Ausnutzung der verfügbaren Motorleistung bzw. der Gaspedalstellung, welche einen prozentualen Wert annimmt. Nach erfolgter Skalierung 331 wird anschließend die berechnete Aktion des Agenten für das Versenden 34 innerhalb des DDS-Busses mit zusätzlichen Metadaten verpackt.

Neben der Berechnung 32 sowie dem Versenden 34 der Aktion werden ebenfalls die Informationen an den Trainingsprozess übergeben 35. Hierzu wird aus dem empfangenen Nachrichtenpaket die Belohnung extrahiert und gemeinsam mit dem skalierten Zustandsvektor, der Aktion sowie der zugehörigen Zeitstempel mittels Warteschlangen Q an den parallel ausgeführten Trainingsprozess übermittelt. Auf Seiten des Trainingsprozesses findet im sogenannten Replay Buffer als Speicher der gesammelten Daten, basierend auf den Zeitstempeln, die Zuordnung in vollständige Datentupel statt, welche anschließend für die Trainingsalgorithmen verwendet werden. Bezugszeichenliste

1 Echtzeitfähige Recheneinheit

2 Recheneinheit

3 Recheneinheit

4 Messsystem

5 Datenbus

10 Empfangen eines Zustandsvektors und einer Belohnung

11 Bestimmen einer Aktion durch einen Inferenzprozess

12 Ausgeben der Aktion

13 Bereitstellen von Daten für einen Trainingsprozess

14 Anpassen einer Parametrierung einer Trainingsstrategie

15 Übermitteln der angepassten Parametrierung an den Inferenzprozess

16 Aktualisieren der Inferenzstrategie

20 Regelungseinrichtung

30 Empfang eines Datenpakets

31 Vorverarbeitung

310 Extraktion Zustand

311 Extraktion Belohnung

312 Skalierung

32 Berechnung der Aktion

33 Nachverarbeitung

330 Bestimmen eines Explorationssignals

331 Skalierung

34 Versand eines Datenpakets

35 Datenaustausch mit dem Trainingsprozess

40 Fortbewegungsmittel

41 Sensorik

42 Rechner

43 Assistenzsystem

44 Datenübertragungseinheit

45 Speicher

46 Netzwerk

A Agent

At Aktion B Basisregler

BR Bremspedalregelung

F Fahrzeug

FA Aktorik

FS Sensorik

GR Gaspedalregelung

IP Inferenzprozess

M Messdaten

PIP Inferenzstrategie

Q Warteschlange

R_t Belohnung

St, S_t+i Zustandsvektor

T Trajektorienfolgeregelung

TP Trainingsprozess

TR Trajektorie

U Umwelt

V Vorsteuerung

Claims

Patentansprüche

1. Regelungseinrichtung (20) für ein Fortbewegungsmittel (40), wobei die Regelungseinrichtung (20) einen Reinforcement Learning Agenten (A) verwendet, der aufgeteilt ist in einen Inferenzprozess (IP), der eingerichtet ist, Aktionen (A_t) mittels einer Inferenzstrategie (PIP) ZU bestimmen (11), und einen parallel zum Inferenzprozess (IP) ausgeführten Trainingsprozess (TP), der eingerichtet ist, auf Basis von bereitgestellten Daten eine Parametrierung einer Trainingsstrategie anzupassen (14), und wobei der Reinforcement Learning Agent (A) eingerichtet ist, die Inferenzstrategie (P|_P) im Fährbetrieb auf Basis der angepassten Parametrierung zu aktualisieren (16).

2. Regelungseinrichtung (20) gemäß Anspruch 1 , wobei die bereitgestellten Daten Zustandsvektoren (St, St+i), Belohnungen (R_t) und Aktionen (A_t) umfassen.

3. Regelungseinrichtung (20) gemäß Anspruch 2, wobei die Zustandsvektoren (St, St+i) und die Belohnungen (R_t) durch eine echtzeitfähige Recheneinheit (1) bestimmt werden und der Agent (A) auf einer externen Recheneinheit (2) ausgeführt wird.

4. Regelungseinrichtung (20) gemäß Anspruch 3, wobei ein Datenaustausch zwischen der echtzeitfähigen Recheneinheit (1) und der externen Recheneinheit (2) über einen Data Distribution Service erfolgt.

5. Regelungseinrichtung (20) gemäß einem der vorherigen Ansprüche, wobei der Inferenzprozess (IP) eingerichtet ist, zusätzlich zu Aktionen (A_t) auch Explorationen und Zeitstempel zu bestimmen (11) und an einen Aktor auszugeben (12).

6. Regelungseinrichtung (20) gemäß einem der vorherigen Ansprüche, wobei die Zustandsvektoren (St, St+i), die Belohnungen (R_t) und die Aktionen (A_t) mittels einer Warteschlange (Q) für den Trainingsprozess (TP) des Agenten (A) bereitgestellt werden (13).

7. Regelungseinrichtung (20) gemäß einem der vorherigen Ansprüche, wobei die Regelungseinrichtung (20) eingerichtet ist, die Zustandsvektoren (St, St+i) vor dem Bestimmen (11) einer Aktion (A_t) einer Skalierung zu unterziehen.

8. Regelungseinrichtung (20) gemäß einem der vorherigen Ansprüche, wobei die Regelungseinrichtung (20) zusätzlich zum Agenten (A) einen Basisregler (B) verwendet und die vom Agenten (A) bestimmten Aktionen (A_t) additive Stellsignale sind.

9. Regelungseinrichtung (20) gemäß einem der Ansprüche 1 bis 8, wobei die Regelungseinrichtung (20) eine Querdynamikregelung ist.

10. Regelungseinrichtung (20) gemäß Anspruch 9, wobei die vom Agenten (A) bestimmten Aktionen (A_t) ein Lenkwinkelsignale sind.

11. Regelungseinrichtung (20) gemäß einem der Ansprüche 1 bis 8, wobei die Regelungseinrichtung (20) eine Längsdynamikregelung ist.

12. Regelungseinrichtung (20) gemäß Anspruch 11, wobei die vom Agenten (A) bestimmte Aktion (A_t) ein Bremspedalsignal oder ein Gaspedalsignal ist.

13. Fortbewegungsmittel (40) mit einer Regelungseinrichtung (20) gemäß einem der Ansprüche 1 bis 12.

14. Verfahren zum Betreiben einer Regelungseinrichtung (20) für ein Fortbewegungsmittel (40), wobei die Regelungseinrichtung (20) einen Reinforcement Learning Agenten (A) verwendet, mit den Schritten:

- Empfangen (10) eines Zustandsvektors (St) und einer Belohnung (R_t) durch den Agenten (A);

- Bestimmen (11) einer Aktion (A_t) für den Zustandsvektor (S_t) durch einen Inferenzprozess (IP) des Agenten (A) mittels einer Inferenzstrategie (P|_P);

- Ausgeben (12) der Aktion (A_t) an einen Aktor;

- Bereitstellen (13) von Daten für einen parallel zum Inferenzprozess (IP) ausgeführten Trainingsprozess (TP) des Agenten (A);

- Anpassen (14) einer Parametrierung einer Trainingsstrategie auf Basis der bereitgestellten Daten;

- Übermitteln (15) der angepassten Parametrierung an den Inferenzprozess (IP); und

- Aktualisieren (16) der Inferenzstrategie (PIP) im Fährbetrieb.

15. Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß Anspruch 14 zum Betreiben einer Regelungseinrichtung (20) für ein Fortbewegungsmittel (40) veranlassen.