WO2021099111A1 - Vorrichtung und verfahren zum verarbeiten von umfeldsensordaten eines fahrzeugs - Google Patents

Vorrichtung und verfahren zum verarbeiten von umfeldsensordaten eines fahrzeugs Download PDF

Info

Publication number
WO2021099111A1
WO2021099111A1 PCT/EP2020/080888 EP2020080888W WO2021099111A1 WO 2021099111 A1 WO2021099111 A1 WO 2021099111A1 EP 2020080888 W EP2020080888 W EP 2020080888W WO 2021099111 A1 WO2021099111 A1 WO 2021099111A1
Authority
WO
WIPO (PCT)
Prior art keywords
artificial intelligence
output data
vehicle
environment sensor
sensor data
Prior art date
Application number
PCT/EP2020/080888
Other languages
English (en)
French (fr)
Inventor
Marlon Ramon EWERT
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2021099111A1 publication Critical patent/WO2021099111A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • One object of the invention is therefore to provide an improved method for processing environment sensor data of a vehicle.
  • the second artificial intelligence 20a can be designed in a similar way to a neural network of the first artificial intelligence 10a in that, for example, the same input data or environment sensor data SD are read into the parallel-connected second artificial intelligence 20a and output data of the same type as from the first artificial intelligence Intelligence 10a can be generated.
  • the output data AP provided by the parallel second artificial intelligence 20a which can be a “preview” of the result of the first artificial intelligence 10a, can be used to record data or recognized objects or Trajek - Toriendata are subsequently calculated very precisely by means of the first artificial intelligence 10a, because this already provides a preliminary evaluation of the environment sensor data SD on which the first artificial intelligence 10a can be based.
  • the procedure explained is repeated. It is thus advantageously avoided that the first artificial intelligence 10a calculates useless or meaningless results which are already available as a preview due to the second artificial intelligence 20a running in parallel and do not provide any added value. In this way, for example, valuable resources or computing capacity can be saved on an automated / autonomous vehicle.
  • the assigned first artificial intelligence 10a ... 10n is interrupted and another first artificial intelligence running in parallel is switched on 10a ... 10n switched. There, too, output data of an assigned, parallel, second artificial intelligence 20a ... 20n are evaluated and, if the result is promising, the corresponding first artificial intelligence 10a ... 10n is calculated to the end. Corresponding evaluations and switching signals for the first artificial intelligence 10a... 10n are provided by the third artificial intelligence 30.
  • the much faster, but somewhat less precise, parallel second artificial intelligence can advantageously be used for evaluating environmental sensor data in an automated / autonomous vehicle, which can be used, for example, for highly dynamic collision avoidance on the automated / autonomous vehicle.
  • safety in the operation of automated / autonomous vehicles can be significantly increased.
  • Exact object recognition or trajectory planning or high-precision control of the activators outside of rapid compensation maneuvers continues to take place with the aid of the first artificial intelligence, the results of which are significantly more precise, but are available somewhat later in time.
  • Fig. 5 shows a basic sequence of an embodiment of the proposed method for processing environment sensor data of a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

Vorrichtung (100) zum Verarbeiten von Umfeldsensordaten (SD) eines Fahrzeugs, aufweisend: - eine erste künstliche Intelligenz (10a…10n); wobei - die erste künstliche Intelligenz (10a…10n, 20a…20) eingerichtet ist, um in Abhängigkeit von Umfeldsensordaten (SD) des Fahrzeugs und Ausgangsdaten (AP) einer zweiten künstlichen Intelligenz (20a…20n) einen Steuerparameter für das Fahrzeug zu ermitteln.

Description

Beschreibung
Titel
Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten eines
Fahrzeugs
Die Erfindung betrifft eine Vorrichtung zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs. Die Erfindung betrifft ferner ein Verfahren zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs. Die Erfindung betrifft ferner ein Computer programm. Die Erfindung betrifft ferner ein maschinenlesbares Speichermedium.
Stand der Technik
Ein autonomes Fahrzeug ist ein Fahrzeug, das ohne Fahrer auskommt. Das Fahrzeug fährt dabei autonom, indem es beispielsweise den Straßenverlauf, andere Verkehrsteil nehmer, Hindernisse, usw. selbständig erkennt und die entsprechenden Steuerbefehle im Fahrzeug berechnet sowie diese an die Aktuatoren im Fahrzeug weiterleitet, wo durch ein Fahrverlauf des Fahrzeugs in korrekter Weise beeinflusst wird. Ein mensch licher Fahrer ist bei einem vollautonomen Fahrzeug nicht am Fahrgeschehen beteiligt.
Gegenwärtig verfügbare Fahrzeuge sind noch nicht in der Lage, vollautonom zu agieren. Zum einen, weil die entsprechende Technik noch nicht voll ausgereift ist. Zum anderen, weil es heutzutage noch gesetzlich vorgeschrieben ist, dass der Fahrzeugführer jederzeit selbst in das Fahrgeschehen eingreifen können muss. Bereits heute ist absehbar, dass in einigen Jahren voll autonome Fahrzeugsysteme auf den Markt kommen werden, sobald die oben genannten Hürden überwunden sind.
Bekannt ist Car-to-Car-Kommunikation (Car2Car oder C2C), bei der ein Austausch von Informationen und Daten zwischen Kraftfahrzeugen durchgeführt wird. Ziel dieses Datenaustausches ist es, einem Fahrer frühzeitig kritische und gefährliche Situationen zu melden. Bekannt ist ferner Car-to-lnfrastructure-Kommunikation (C2I), bei der ein Austausch von Daten zwischen einem Fahrzeug und der umliegenden Infrastruktur (z.B. Licht zeichenanlage) durchgeführt wird.
Die genannten Technologien basieren auf dem Zusammenwirken von Sensoren der verschiedenen Verkehrspartner und verwenden neueste Verfahren der Kommuni kationstechnologie zum Austausch dieser Informationen.
Offenbarung der Erfindung
Eine Aufgabe der Erfindung ist es daher, ein verbessertes Verfahren zum Verar beiten von Umfeldsensordaten eines Fahrzeugs bereitzustellen.
Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einer Vorrichtung zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs, aufweisend: eine erste künstliche Intelligenz; wobei die erste künstliche Intelligenz eingerichtet ist, um in Abhängigkeit von Umfeldsensordaten des Fahrzeugs und Ausgangsdaten einer zweiten künstlichen Intelligenz einen Steuerparameter für das Fahrzeug zu ermitteln.
Auf diese Weise wird eine mehrfache Verarbeitung von Umfeldsensordaten bereitgestellt, wodurch die Umfeldsensordaten besser ausgewertet werden können. Beispielsweise kann, basierend auf den Ausgangsdaten der zweiten künstlichen Intelligenz, festgelegt werden, welche Aktion von der ersten künstlichen Intelligenz ausgeführt wird.
Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einem Verfahren zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs, aufweisend die Schritte: Zuführen der Umfeldsensordaten an wenigstens eine erste künstliche Intelligenz und an wenigstens eine zweite künstliche Intelligenz;
- Verarbeiten der Umfeldsensordaten mittels der zweiten künstlichen Intelligenz; und
Zuführen von Ausgangsdaten der zweiten künstlichen Intelligenz an die wenigstens eine erste künstliche Intelligenz, wobei mittels der ersten künstlichen Intelligenz in Abhängigkeit von Umfeldsensordaten des Fahrzeugs und Ausgangsdaten einer zweiten künstlichen Intelligenz ein Steuerparameter für das Fahrzeug ermittelt wird.
Gemäß einem dritten Aspekt wird die Aufgabe gelöst mit einem Computerpro gramm.
Gemäß einem vierten Aspekt wird die Aufgabe gelöst mit einem maschinenles baren Speichermedium.
Bevorzugte Weiterbildungen des Verfahrens sind Gegenstand von abhängigen Ansprüchen.
Eine vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz ausgebildet ist, um die Ausgangsdaten anhand von Umfeldsensordaten des Fahrzeugs zu ermitteln. Dadurch stellt die zweite künstliche Intelligenz ihre Ausgangsdaten im Sinne einer Vorab-Auswertung bzw Vorab-Objekterkennung für die erste künstliche Intelligenz bereit.
Eine vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz ausgebildet ist, um Ausgangsdaten gröber auf gelöst als die erste künstliche Intelligenz zu ermitteln. Dies kann z.B. dadurch erreicht werden, dass die zweite künstliche Intelligenz eine gröbere Datenver arbeitung als die erste künstliche Intelligenz durchführt. Dadurch können der ersten künstlichen Intelligenz bereits vorab ausgewertete Daten der zweiten künstlichen Intelligenz bereitgestellt werden, die dann von der ersten künstlichen Intelligenz definiert weiter verwendet werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die Ausgangsdaten der ersten künstlichen Intelligenz und die Aus gangsdaten der zweiten künstlichen Intelligenz einer dritten künstlichen Intel ligenz zugeführt werden, und wobei die dritte künstliche Intelligenz in Abhängig keit von den Ausgangsdaten der ersten und der zweiten künstlichen Intelligenz ein System des Fahrzeugs ansteuert. Auf diese Art und Weise kann von der ersten und zweiten künstlichen Intelligenz eine Art Vorfilterung bzw. -Selektion der Umfeldsensordaten durchgeführt werden, wobei die derart vorgefilterten Daten von einer dritten künstlichen Intelligenz definiert verwendet werden. Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass mittels der zweiten künstlichen Intelligenz mehrere Auswertungs prozesse der Umfeldsensordaten durchgeführt werden, wobei die Ausgangs daten der zweiten künstlichen Intelligenz, die am besten einem definierten Auswertungskriterium entsprechen, zur Weiterverarbeitung an die erste künstli che Intelligenz übermittelt werden. Dadurch findet eine Art Vorselektion von ausgewerteten Umfeldsensordaten statt, wodurch Auswertungsergebnisse in definierter Weise verwendet werden können.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass mittels der Ausgangsdaten der zweiten künstlichen Intelligenz die erste künstliche Intelligenz zeitweise abschaltbar ist, wenn die Ausgangsdaten der zweiten künstlichen Intelligenz ein definiertes Kriterium erfüllen. Beispielsweise kann im Falle, dass ein extern vom Fahrzeug angeordnetes Objekt erkannt wurde und sich dieses nicht wesentlich in seiner Lage verändert, eine Auswer tung der ersten künstlichen Intelligenz in Form einer hochgenauen Erkennung nur einmal ausgeführt werden. Auf diese Weise wird eine Art „getriggerte“ erste künstliche Intelligenz realisiert, was vorteilhaft Rechenaufwand, elektrische Energie, usw. für die erste künstliche Intelligenz einsparen kann. Vorteilhaft ist dadurch beispielsweise unterstützt, dass eine hochgenaue Objekterkennung mittels der ersten künstlichen Intelligenz nur einmal durchgeführt werden muss.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung sieht vor, dass die Vorrichtung mehrere erste künstliche Intelligenzen aufweist, wobei jeweils einer ersten künstlichen Intelligenz Ausgangsdaten einer zugeordneten zweiten künstlichen Intelligenz zugeführt werden, wobei die Ausgangsdaten der zweiten künstlichen Intelligenzen von den zugeordneten ersten künstlichen Intelligenzen geprüft und nach einem definierten Kriterium einer dritten künstlichen Intelligenz zugeführt werden. Dadurch ist ein mehrstufiger Aufbau der Vorrichtung realisiert, mit der eine noch bessere Verarbeitung der Umfeldsensordaten unterstützt ist.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz außerhalb des Fahrzeuges, insbesondere in einer Cloud angeordnet ist. Vorteilhaft kann dadurch die zweite künstliche Intelligenz auf eine hochleistungsfähige cloudbasierte Rechnerein richtung ausgelagert werden, wobei Auswertungen der cloudbasierten zweiten künstlichen Intelligenz funkbasiert an die erste künstliche Intelligenz im Fahrzeug übermittelt werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die Ausgangsdaten der zweiten künstlichen Intelligenz und die Aus gangsdaten der wenigstens einen ersten künstlichen Intelligenz zur Ansteuerung von unterschiedlichen Systemen des Fahrzeugs verwendet werden. Beispiels weise können die Ausgangsdaten der unterschiedlichen künstlichen Intelligenzen zur Ansteuerung von unterschiedlichen Fahrerassistenzsystemen des Fahrzeugs genutzt werden. Denkbar ist beispielsweise auch, dass lediglich die Ausgangs daten einer einzelnen künstlichen Intelligenz zur Ansteuerung eines Fahreras sistenzsystems verwendet werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz ausgebildet ist, um abhängig von den Umfeldsensordaten wenigstens eine Trajektorie für das Fahrzeug zu ermitteln und die Trajektorie als Ausgangsdaten der ersten künstlichen Intelligenz bereit zu stellen, und wobei die erste künstliche Intelligenz ausgebildet ist, um aus der ermittelten Trajektorie der zweiten künstlichen Intelligenz wenigstens eine zu fahrenden Trajektorie zu ermitteln. Dadurch kann z.B. in Abhängigkeit von erkannten Objekten im Umfeld des Fahrzeugs eine Fahrbewegung des Fahrzeugs gesteuert werden.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die zweite künstliche Intelligenz ausgebildet ist, um eine Trajektorie zu planen, und dass die erste künstliche Intelligenz ausgebildet ist, um unter Berücksichtigung der geplanten Trajektorie der zweiten künstlichen Intelligenz unter Berücksichtigung einer Kollisionsvermeidung des Fahrzeugs eine zu verwendende Trajektorie zu ermitteln. Dadurch ist eine hochgenaue und effiz iente Ermittlung von Trajektorien aus den Ausgangsdaten der unterschiedlichen künstlichen Intelligenzen unterstützt.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die dritte künstliche Intelligenz ausgebildet ist, um aus den Ausgangs daten der ersten und der zweiten künstlichen Intelligenz eine Objekterkennung durchzuführen. Vorteilhaft können dadurch die Umfeldsensordaten für eine effektive Erkennung von Objekten genutzt werden, wobei unterschiedliche Anfor derungen von Systemen betreffend Objekterkennung berücksichtigt werden kön nen.
Eine weitere vorteilhafte Weiterbildung der Vorrichtung zeichnet sich dadurch aus, dass die künstlichen Intelligenzen mit den Umfeldsensordaten und/oder mit mittels einer Simulation künstlich erzeugter Umfeldsensordaten trainiert sind. Vorteilhaft kann dadurch eine Funktionsweise der künstlichen Intelligenzen bereits vorab im Training vordefiniert eingestellt werden, sodass dadurch eine effiziente Betriebsweise der Vorrichtung im Normalbetrieb des Fahrzeugs unterstützt ist. Auf diese Weise ist eine Vielfalt an Trainingsmöglichkeiten für die künstlichen Intelligenzen vorteilhaft erhöht.
Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren im Detail beschrieben. Gleiche oder funktionsgleiche Ele mente haben dabei gleiche Bezugszeichen.
Offenbarte Verfahrensmerkmale ergeben sich analog aus entsprechenden offen barten Vorrichtungsmerkmalen und umgekehrt. Dies bedeutet insbesondere, dass sich Merkmale, technische Vorteile und Ausführungen betreffend die Vorrichtung in analoger Weise aus entsprechenden Ausführungen, Merkmalen und Vorteilen betreffend das Verfahren zum Betreiben der Sensorvorrichtung er geben und umgekehrt.
In den Figuren zeigen:
Fig. 1-4 prinzipielle Blockschaltbilder von Ausführungsformen der vorge schlagenen Vorrichtung; und
Fig. 5 einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs.
Beschreibung von Ausführungsformen Unter einem automatisierten Fahrzeug kann im Zusammenhang mit der vorliegenden Erfindung ein voll- oder teilautomatisiertes oder ein voll- oder teilautonomes Fahrzeug verstanden werden.
Ein Kerngedanke der Erfindung ist es, eine Vorrichtung bereitzustellen, mit der eine verbesserte Verarbeitung von Umfeldsensordaten möglich ist.
Bei der im Folgenden genannten „künstlichen Intelligenz“ kann es sich beispiels weise um ein künstliches neuronales Netz (KNN) handeln, welches über ein maschinelles Lernverfahren trainiert oder gelernt wurde, um Umfeldsensordaten zu verarbeiten. Ein bevorzugter Anwendungsfall ist die Umfeldsensordaten verarbeitung innerhalb der ersten und zweiten künstlichen Intelligenz mit Hilfe von künstlichen neuronalen Netzen, wobei in den Umfeldsensordaten mit Hilfe der künstlichen neuronalen Netze Objekte erkannt werden.
Eine erste künstliche Intelligenz kann im Folgenden auch als eine „Haupt-Kl“ be zeichnet werden. Eine zweite künstliche Intelligenz kann im Folgenden auch als eine „Vorschau-Kl“ bezeichnet wird. Die künstliche Intelligenz kann dabei als ein neuronales Netzwerk, ein maschinelles Lernsystem oder dergleichen realisiert sein.
Die künstlichen Intelligenzen sind vorzugsweise als neuronale Netze ausgebildet, können aber auch auf andere Weisen ausgebildet sein.
Die Erfindung beschreibt eine Vorrichtung und ein Verfahren für wenigstens eine parallel laufende Vorschau-Kl für die Verarbeitung von Umfeldsensordaten und/oder zur Trajektorienplanung in einem automatisierten/autonomen Fahrzeug.
Fig. 1 zeigt eine erste Ausführungsform einer vorgeschlagenen Vorrichtung 100 zum Verarbeiten von Umfeldsensordaten. Erkennbar sind eine erste künstliche Intelligenz 10a („Haupt-Kl“) und eine parallel laufende zweite künstliche Intelli genz 20a („Vorschau-Kl“) für die Verarbeitung von Umfeldsensordaten SD, die von einer Sensoreinrichtung 1 eines automatisierten/autonomen Fahrzeugs (nicht dargestellt) bereitgestellt werden und an beide künstlichen Intelligenzen 10a, 20a zugeführt werden. Bei den Umfeldsensordaten SD kann es sich z.B. um Bilddaten, Radardaten, Lidardaten, Ultraschallsensordaten, Positionsdaten usw. und dergleichen handeln, die von passiven und/oder aktiven Umfeldsensoren des Fahrzeugs generiert und bereitgestellt werden.
Dabei kann die zweite künstliche Intelligenz 20a ähnlich ausgebildet sein wie ein neuronales Netz der ersten künstlichen Intelligenz 10a, indem in die parallel geschaltete zweite künstliche Intelligenz 20a beispielsweise die gleichen Eingangsdaten bzw. Umfeldsensordaten SD eingelesen werden und Ausgangs daten des gleichen Typs wie von der ersten künstlichen Intelligenz 10a generiert werden.
Ausgangsdaten AP der zweiten künstlichen Intelligenz 20a können z.B. sein:
Objekttyp, Objektlage, Objektgröße, Objektwahrscheinlichkeit, usw. eines Ob jekts, das aus den Umfeldsensordaten SD erkannt wurde. Auf diese Weise wird von der zweiten künstlichen Intelligenz 20a eine „schnelle Vorschau“ einer Um feldsituation bereitgestellt, wobei von der ersten künstlichen Intelligenz 10a ähnliche Ausgangsdaten AH betreffend die Umfeldsituation bereitstellt werden, allerdings im Unterschied zu den Ausgangsdaten AP in hochgenauer Form.
Ein wesentlicher Unterschied der parallellaufenden zweiten künstlichen Intelligenz 20a ist jedoch, dass ein trainierter Algorithmus der zweiten künstliche Intelligenz 20a wesentlich schneller ausgeführt werden kann als ein trainierter Algorithmus der ersten künstlichen Intelligenz 10a, weil sie definiert einfacher aufgebaut bzw. strukturiert ist. Beispielsweise weist das neuronale Netz der zweiten künstlichen Intelligenz 20a weniger Schichten auf bzw. besitzt eine geringere Tiefe als die erste künstliche Intelligenz 10a. Je mehr Schichten das neuronale Netzwerk aufweist, desto genauer, aber auch langsamer ist nämlich in der Regel eine Auswertecharakteristik des neuronalen Netzwerks.
Ferner kann bei der zweiten künstlichen Intelligenz 20a...20n auch eine Anzahl von Knoten von Schichten geringer sein als bei der ersten künstlichen Intelligenz 10a... 10n und/oder können zwischen Schichten auch eine geringere Anzahl von Verbindungen ausgebildet sein. Zudem können z.B. für die zweite künstliche Intelligenz 20a...20n auch weniger Eingangsdaten verwendet werden als für die erste künstliche Intelligenz 10a... 10n. Weiterhin kann für die zweite künstliche Intelligenz 20a...20n auch weniger Ausgangsknoten vorgesehen sein, wodurch ein Ergebnis ungenauer sein kann. Zudem kann eine Berechnung der zweiten künstlichen Intelligenz 20a...20n schneller ausgeführt werden, wobei die künstlichen Intelligenzen 10a, 20a in ihren Strukturen gleich ausgebildet sind, usw.
Denkbar ist auch, dass die zweite künstliche Intelligenz 20a weniger Eingangs daten bzw. Parameter verarbeitet bzw. kürzer trainiert wurde als die erste künst liche Intelligenz 10a. Entsprechend umfasst das neuronale Netzwerk der Vor- schau-KI eine geringere Schichttiefe und weist dadurch eine schnellere aber „ungenauere“ Auswertecharakteristik als jene der Haupt-Kl auf. Auf diese Weise können die Ausgangsdaten AP der zweiten künstlichen Intelligenz 20a von der ersten künstlichen Intelligenz 10a eingelesen und bewertet werden, wobei in Abhängigkeit davon von der ersten künstlichen Intelligenz 10a z.B. entschieden wird, welche Objekte näher bestimmt, und/oder welche Objektlagen genauer ermittelt, und/oder welche Trajektorien genauer ermittelt werden, usw. Durch die von der parallellaufenden zweiten künstlichen Intelligenz 20a bereitgestellten Ausgangsdaten AP, die eine „Vorschau“ auf das Ergebnis der ersten künstlichen Intelligenz 10a sein können, können Daten bzw. erkannte Objekte bzw. Trajek- toriendaten mittels der ersten künstlichen Intelligenz 10a in weiterer Folge sehr genau berechnet werden, weil dadurch schon eine Vorauswertung der Umfeld sensordaten SD vorhanden ist, auf der die erste künstliche Intelligenz 10a aufbauen kann.
Im Ergebnis ist die parallele zweite künstliche Intelligenz 20a dadurch in der Lage, die Umfeldsensordaten SD ähnlich der ersten künstlichen Intelligenz 10a zu verarbeiten, allerdings mit einer geringeren Genauigkeit und/oder geringeren Auflösung des Ergebnisses. Erreicht wird dadurch, dass die Verarbeitung bzw. Auswertung der Umfeldsensordaten SD innerhalb der parallelen zweiten künstli chen Intelligenz 20a wesentlich schneller durchgeführt wird als innerhalb der ersten künstlichen Intelligenz 10a.
Die parallel laufende zweite künstliche Intelligenz 20a kann beispielsweise für eine Kollisionsvermeidung innerhalb des automatisierten/autonomen Fahrzeugs genutzt werden, während die erste künstliche Intelligenz 10a für eine hoch genaue Trajektorienplanung innerhalb des automatisierten/autonomen Fahr zeugs verwendet werden kann. Fig. 2 zeigt ein prinzipielles Blockschaltbild einerweiteren Ausführungsform der vorgeschlagenen Vorrichtung 100. Bei dieser Variante wird eine Steuerung der ersten künstlichen Intelligenz 10a mit Hilfe der parallellaufenden, deutlich schnel leren zweiten künstlichen Intelligenz 20a über die Ausgangsdaten AP durchge führt. Beispielsweise erfolgt eine hochfrequente Verarbeitung der Umfeldsensor daten SD mithilfe der parallellaufenden zweiten künstlichen Intelligenz 20a, wo durch mittels der zweiten künstlichen Intelligenz 20a eine schnellere Verarbei tung der Umfeldsensordaten SD realisierbar ist als mittels der ersten künstlichen Intelligenz 10a.
Die Ausgangsdaten AH der ersten künstlichen Intelligenz 10a und die Ausgangs daten AP der zweiten künstlichen Intelligenz 20a werden anschließend in einer nachgeschalteten dritten künstlichen Intelligenz 30 („Bewertungs-Kl“) ausge wertet. Ist beispielsweise absehbar, dass von der zweiten künstlichen Intelligenz 20a aus den Umfeldsensordaten SD eines bestimmten Umfeldsensorbildes keinerlei Objekte erkannt werden, so wird dies von der dritten künstlichen Intel ligenz 30 erkannt und an die erste künstliche Intelligenz 10a signalisiert. Darauf hin wird die Ausführung der ersten künstlichen Intelligenz 10a durch die parallel- laufende zweite künstliche Intelligenz 20a unterbrochen.
In einer nicht in Figuren dargestellten Variante ist auch denkbar, dass im Falle, dass von der zweiten künstlichen Intelligenz 20a aus den Umfeldsensordaten SD eines bestimmten Umfeldsensorbildes keinerlei Objekt erkannt werden, dies an die erste künstliche Intelligenz 10a signalisiert wird. Daraufhin wird die Ausführ ung der ersten künstlichen Intelligenz 10a durch die laufende zweite künstliche Intelligenz 20a unterbrochen.
Dies ist möglich, weil die zweite künstliche Intelligenz 20a bereits ein grobes Ergebnis an die erste künstlichen Intelligenz 10a liefert. Bevor die erste künstli che Intelligenz 10a ein unbrauchbares oder eventuell nicht neues Ergebnis im Vergleich zur vorherigen Berechnung liefert, wird die Ausführung der ersten künstlichen Intelligenz 10a durch die mittels der dritten künstlichen Intelligenz 30 durchgeführten Ergebnisauswertung der zweiten künstlichen Intelligenz 20a unterbrochen. Gegebenenfalls kann die Auswertung der Ausgangsdaten AP der zweiten künstlichen Intelligenz 20a von der dritten künstlichen Intelligenz 30 auch mehrfach durchgeführt werden, bevor eine Unterbrechung der ersten künstlichen Intelligenz 10a erfolgt. Ausgangsdaten As der dritten künstlichen Intelligenz 30 können z.B. zur Ansteuerung eines Aktuators (nicht dargestellt) des Fahrzeugs verwendet werden.
Vorteilhaft braucht auf diese Weise eine hochgenaue Objekterkennung mittels der ersten künstlichen Intelligenz 10a nur einmal durchgeführt zu werden, weil die erste künstliche Intelligenz 10a auf einer Vorauswertung aufsetzt und da durch weniger Rechenzeit erfordert. Dadurch kann eine „getriggerte“ erste künstliche Intelligenz 10a bereitgestellt werden, indem z.B. Rechenzeit und ein Verbrauch von elektrischer Energie der ersten künstlichen Intelligenz 10a reduziert sind.
Bei der Auswertung des nächsten Umfeldsensorbildes oder einer Menge von Umfeldsensordaten SD wird die erläuterte Vorgangsweise wiederholt. Es wird somit vorteilhaft vermieden, dass die erste künstliche Intelligenz 10a unbrauch bare oder sinnlose Ergebnisse berechnet, die bereits durch die parallellaufende zweite künstliche Intelligenz 20a als Vorschau vorhanden sind und keinen Mehrwert liefern. Auf diese Weise können z.B. wertvolle Ressourcen bzw. Rechenkapazitäten auf einem automatisierten/autonomen Fahrzeug eingespart werden.
Handelt es sich bei dem automatisierten/autonomen Fahrzeug um ein Elektro fahrzeug, so kann dadurch auch wertvolle elektrische Energie eingespart wer den, indem die erste künstliche Intelligenz 10a nur dann los rechnet bzw. zu Ende rechnet, wenn die parallel laufende zweite künstliche Intelligenz 20a bereits vielversprechende Ausgangsdaten AP bereitstellt.
In einerweiteren, in Fig. 3 prinzipiell dargestellten Ausführungsform der vorgeschla genen Vorrichtung 100 erkennt man, dass zwei oder auch mehrere zweite künstliche Intelligenzen 20a...20n für die Auswertung der Umfeldsensordaten SD oder für eine schnelle Vorabermittlung von Trajektorien, Objekterkennung, usw. des automati sierten/autonomen Fahrzeugs vorgesehen sein können. Jede dieser zweiten künstli chen Intelligenzen 20a...20n liefert ihre Ausgangsdaten Api...Apn jeweils an eine zuge ordnete, hochfrequenter agierende, parallellaufende erste künstliche Intelligenz 10a... 10n. Dabei kann vorgesehen sein, dass die ersten künstlichen Intelligenzen 10a...10n die Umfeldsensordaten SD mit einer höheren Frequenz auswerten, als die zweiten künstlichen Intelligenzen 20a...20n. Denkbar ist aber auch der umgekehrte Fall, dass nämlich die zweiten künstlichen Intelligenzen 20a...20n die Umfeldsensordaten SD mit einer höheren Frequenz als die ersten künstlichen Intelligenzen 10a...10n auswerten, je nach Anwendungsfall.
Sofern die parallellaufende zweite künstliche Intelligenz 20a...20n ein vielver sprechendes Ergebnis liefert (z.B. aus den Umfeldsensordaten SD ein externes Objekt erkennt), kann die zugeordnete erste künstliche Intelligenz 10a... 10n zu Ende gerechnet und das Ergebnis der ersten künstlichen Intelligenz 10a...10n (z.B. in Form einer ermittelten Trajektorie) für das automatisierte/autonome Fahren des Fahrzeugs verwendet werden. Auch eine niederfrequente Ausführung der parallellaufenden ersten künstlichen Intelligenz 10a... 10n bei gleichzeitiger hochfrequenter Ausführung der zugeordneten zweiten künstlichen Intelligenz 20a...20n ist denkbar.
Sofern die parallellaufende zweite künstliche Intelligenz 20a...20n jedoch ein Er gebnis liefert, das nicht vielversprechend ist bzw. nicht verwendbar ist, wird die zugeordnete erste künstliche Intelligenz 10a... 10n unterbrochen und es wird auf eine parallel laufende andere erste künstliche Intelligenz 10a...10n umgeschaltet. Auch dort werden Ausgangsdaten einer zugeordneten parallellaufenden zweiten künstlichen Intelligenz 20a...20n ausgewertet und bei einem vielversprechenden Ergebnis die entsprechende erste künstliche Intelligenz 10a... 10n zu Ende ge rechnet. Entsprechende Auswertungen und Schaltsignale für die ersten künstli chen Intelligenzen 10a... 10n werden von der dritten künstlichen Intelligenz 30 bereitgestellt.
Sinn und Zweck dieser Variante ist die Umschaltung von Berechnungen auf einen alternativen Pfad, wenn das Ergebnis einer zweiten künstlichen Intelligenz 20a...20n einen Hinweis erhält, dass die zugehörige erste künstliche Intelligenz 10a... 10n Ergebnisse liefert (z.B. erkannte Objekte), die von der dritten künstli chen Intelligenz 30 nicht sinnvoll nutzbar sind. Der alternativ ausgeführte Pfad besteht in diesem Fall aus einer ersten künstlichen Intelligenz 10a, 10b, die sich jedoch von der ersten künstlichen Intelligenz 10a, 10b des eigentlichen Pfads definiert unterscheidet und somit unterschiedliche Ergebnisse liefert. Bei dieser Variante kann es auch sinnvoll sein, die Ergebnisse zweier zweiter künstlicher Intelligenzen 20a...20n miteinander zu vergleichen und anschließend eine Entscheidung zu treffen, welche erste künstliche Intelligenz 10a... 10n zu Ende gerechnet wird bzw. festzulegen, welches Ergebnis welcher ersten künst lichen Intelligenz 10a...10n basierend auf dem Vergleich der parallelen zweiten künstlichen Intelligenz 20a...20n für das automatisierte/autonome Fahren verwendet wird.
In einerweiteren, nicht in Figuren dargestellten Ausführungsform der vorgeschla genen Vorrichtung 100 wird das Ergebnis einer parallel laufenden zweiten künstlichen Intelligenz 20a...20n neben dem Ergebnis der ersten künstlichen Intelligenz 10a... 10n, entweder gleichzeitig oder zu unterschiedlichen Zeit punkten in einer dritten künstlichen Intelligenz 30 für das automatisier te/autonome Fahren weiterverwendet.
Beispielsweise kann das Ergebnis einer parallellaufenden, sehr schnellen zwei ten künstlichen Intelligenz 20a...20n für eine Kollisionsvermeidung mit einem Hindernis verwendet werden, da die parallellaufende zweite künstliche Intelligenz 20a...20n sehr schnell ist. Dies ist deshalb sinnvoll, weil eine sehr genaue Objekterkennung des potentiell kollisions-verursachenden Hindernisses gar nicht erforderlich ist.
Darüber hinaus kann das Ergebnis mindestens einer parallellaufenden zweiten künstlichen Intelligenz 20a...20n in einer Simulation verwendet werden, um unterschiedliche Trajektorien und Ausweichmanöver im automatisierten/auto nomen Fahrzeug durchzuspielen, bevor diese an Aktuatoren (nicht dargestellt) für die Ausführung der Trajektorien und Ausweichmanöver weitergeleitet werden. In diesem Fall kann es sich bei der dritten künstlichen Intelligenz 30 beispiels weise um ein neuronales Netzwerk für die Simulation von Trajektorien bzw. Aktuatoransteuerungen des automatisierten/autonomen Fahrzeugs oder um ein weiteres neuronales Netzwerk für das autonome Fahren handeln. Anschließend wird aus den Simulationsdaten eine Trajektorie bzw. Aktuatoransteuerung ausge wählt und von der dritten künstlichen Intelligenz 30 zusammen mit den Aus gangsdaten AH der ersten künstlichen Intelligenz 10a hochgenau berechnet. ln einerweiteren, in Fig. 4 prinzipiell dargestellten Ausführungsform der vorge schlagenen Vorrichtung 100 ist vorgesehen, dass die Ausführung der parallel- laufenden zweiten künstlichen Intelligenz 20a nicht auf einem elektronischen Steuergerät und/oder einer Sensorvorrichtung im Fahrzeug, sondern innerhalb einer Cloud durchgeführt wird. Dabei werden die Umfeldsensordaten SD des Fahrzeugs über eine sehr schnelle Car-to-X-Kommunikationsverbindung in die Cloud übertragen, z.B. an einen Edge Computing Server. Auf der Cloud erfolgt anschließend die sehr schnelle Verarbeitung der Umfeldsensordaten SD in der vereinfacht ausgebildeten zweiten künstlichen Intelligenz 20a. Die Ausgangs daten AP der cloudbasierten zweiten künstlichen Intelligenz 20a werden anschließend drahtlos an die erste künstliche Intelligenz 10a im Fahrzeug übermittelt. Die Ausgangsdaten AP der cloudbasierten zweiten künstlichen Intelligenz 20a können auch an eine dritte künstliche Intelligenz 30 übermittelt werden, an die auch Ausgangsdaten AH der ersten künstlichen Intelligenz 10a übermittelt werden.
Diese Variante kann z.B. dann sinnvoll sein, wenn nicht ausreichend Rechen kapazitäten auf dem automatisierten/autonomen Fahrzeug für das Durchführen der parallel laufenden zweiten künstlichen Intelligenz 20a vorhanden sind, jedoch eine sehr schnelle Car-to-X-Kommunikationsverbindung mit geringen Latenzen zur Verfügung steht.
Ferner ist in einerweiteren Variante auch denkbar, dass die Ausführung der parallellaufenden zweiten künstlichen Intelligenz 20a auf einem weiteren Fahr zeug in der näheren Umgebung des eigenen Fahrzeugs durchgeführt wird (nicht dargestellt). Statt der Cloud werden in diesem Fall die Rechenkapazitäten des weiteren Fahrzeugs für die Ausführung bzw. Berechnung der parallelen zweiten künstlichen Intelligenz 20a genutzt. Die Kommunikation zwischen den Fahr zeugen erfolgt in diesem Fall drahtlos über eine Car-to-X Kommunikations verbindung.
Zusammenfassend wird mit der Erfindung eine Vorrichtung mit mindestens einer parallellaufenden zweiten künstlichen Intelligenz (Vorschau- Kl) für die Verarbeitung von Umfeldsensordaten in einem automatisierten/autonomen Fahrzeug vorgeschlagen. lm Ergebnis kann mittels der Ausgangsdaten der Vorschau-Kl ein Fahrerassis tenzsystem vorkonditioniert werden, z.B. in einem ESP-Steuergerät Druck für die Fahrzeugbremse aufgebaut werden. Im Falle, dass die Haupt-Kl die Ausgangs daten der Vorschau-Kl plausibilisiert, kann dann z.B. sehr schnell ein Notbrems vorgang eingeleitet werden.
Vorteilhaft kann dadurch die wesentlich schneller laufende, aber etwas unge nauere parallele zweite künstliche Intelligenz für die Auswertung von Umfeld sensordaten in einem automatisierten/autonomen Fahrzeug genutzt werden, was z.B. für eine hochdynamische Kollisionsvermeidung auf dem automatisier ten/autonomen Fahrzeug verwendet werden kann. Auf diese Weise kann eine Sicherheit im Betrieb von automatisierten/autonomen Fahrzeugen deutlich erhöht sein. Eine genaue Objekterkennung bzw. Trajektorienplanung bzw. hochgenaue Ansteuerung der Aktivatoren außerhalb von schnellen Ausgleichmanövern erfolgt auch weiterhin mithilfe der ersten künstlichen Intelligenz, deren Ergebnisse deutlich genauer sind, jedoch zeitlich etwas später zur Verfügung stehen.
Vorteilhaft können die genannten künstlichen Intelligenzen 10a... 10n, 20a...20n, 30 in Software und/oder in Hardware (z.B. neuromorphic processor unit) imple mentiert sein.
In einem Trainingsszenario können die Vorschau-Kls zusammen mit den Haupt- Kls trainiert werden. Dabei kann es sinnvoll sein, das Training der Vorschau-Kls vorerst vollständig durchzuführen, damit die Haupt-Kls auf sinnvollen Auswer tungsergebnissen der Vorschau-Kls aufbauen können. Vorzugsweise wird das Training mit „echten“, d.h. gemessenen Umfeldsensordaten SD durchgeführt oder auch mit auf einer Simulation basierenden Umfeldsensordaten. Dadurch sind vielfältige Trainingsmethoden der künstlichen Intelligenzen möglich, wobei nach Erreichen eines ausreichenden Objekterkennungsgrads die künstlichen Intelligenzen zur Verwendung in der Vorrichtung vorkonfiguriert sind.
Das vorgeschlagene Verfahren kann im Betrieb eines automatisierten/- automatisierten Fahrzeugs zu wenigstens einem der folgenden Zwecke durchgeführt werden: Objekterkennung, Objektlagenerkennung, Objektbewe gungserkennung, Trajektorienplanung, Kollisionsvermeidung mit einem Objekt. Durch die spezifisch diversifizierte Objekterkennung mittels der vorgeschlagenen Vorrichtung kann eine Sicherheit im Straßenverkehr vor allem im Betrieb autonomer Fahrzeuge deutlich erhöht sein.
Fig. 5 zeigt einen prinzipiellen Ablauf einer Ausführungsform des vorgeschla genen Verfahrens zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs.
In einem Schritt 200 erfolgt ein Zuführen der Umfeldsensordaten SD an wenig stens eine erste künstliche Intelligenz 10a... 10n und an wenigstens eine zweite künstliche Intelligenz 20a...20n.
In einem Schritt 210 erfolgt ein Verarbeiten der Umfeldsensordaten SD mittels der zweiten künstlichen Intelligenz 20a...20.
In einem Schritt 220 erfolgt ein Zuführen von Ausgangsdaten AP der zweiten künstlichen Intelligenz 20a...20n an die wenigstens eine erste künstliche Intelligenz 10a... 10n, wobei mittels der ersten künstlichen Intelligenz 10a... 10n in Abhängigkeit von Umfeldsensordaten SD des Fahrzeugs und Ausgangsdaten AP einer zweiten künstlichen Intelligenz 20a...20n ein Steuerparameter für das Fahrzeug ermittelt wird.
Die vorgeschlagene Vorrichtung kann z.B. in einem automatisiert/autonomen Fahrzeug, einem Flugzeug, einer Drohne, einem Wasserfahrzeug, usw. einge setzt werden.
Das Verfahren ist vorzugsweise als ein Computerprogramm ausgebildet, das Programmcodemittel zum Ausführen des Verfahrens aufweist.
Obwohl die Erfindung vorgehend anhand von konkreten Ausführungsbeispielen beschrieben worden ist, kann der Fachmann vorgehend auch nicht oder nur teilweise offenbarte Ausführungsformen realisieren, ohne vom Kern der Erfindung abzuweichen.

Claims

Ansprüche
1. Vorrichtung (100) zum Verarbeiten von Umfeldsensordaten (SD) eines Fahrzeugs, aufweisend: eine erste künstliche Intelligenz (10a... 10n); wobei die erste künstliche Intelligenz (10a... 10n) eingerichtet ist, um in Ab hängigkeit von Umfeldsensordaten (SD) des Fahrzeugs und Ausgangs daten (AP) einer zweiten künstlichen Intelligenz (20a...20n) einen Steuer parameter für das Fahrzeug zu ermitteln.
2. Vorrichtung (100) nach Anspruch 1, dadurch gekennzeichnet, dass die zweite künstliche Intelligenz (20a...20) ausgebildet ist, um die Ausgangsdaten (AP) anhand von Umfeldsensordaten (SD) des Fahrzeugs zu ermitteln.
3. Vorrichtung (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die zweite künstliche Intelligenz (20a...20n) ausgebildet ist, um Ausgangs daten (AP) gröber aufgelöst als die erste künstliche Intelligenz (10a...10n) zu ermitteln.
4. Vorrichtung (100) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Ausgangsdaten (AH) der ersten künstlichen Intelligenz (10a...10n) und die Ausgangsdaten (AP) der zweiten künstlichen Intelligenz (20a...20n) einer dritten künstlichen Intelligenz (30) zugeführt werden, und wobei die dritte künstliche Intelligenz in Abhängigkeit von den Ausgangsdaten (AP, AH) der ersten und der zweiten künstlichen Intelligenz ein System des Fahrzeugs ansteuert.
5. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der zweiten künstlichen Intelligenz (20a...20n) mehrere Auswertungsprozesse der Umfeldsensordaten (SD) durchgeführt werden, wobei die Ausgangsdaten (AP) der zweiten künstlichen Intelligenz (20a), die am besten einem definierten Auswertungskriterium entsprechen, zur Weiterverarbeitung an die erste künstliche Intelligenz (10a... 10n) übermittelt werden.
6. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der Ausgangsdaten (AP) der zweiten künstli chen Intelligenz (20a...20n) die erste künstliche Intelligenz (10a... 10n) zeitweise abschaltbar ist, wenn die Ausgangsdaten (AP) der zweiten künstlichen Intelligenz (20a...20n) ein definiertes Kriterium erfüllen.
7. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung (100) mehrere erste künstliche Intelligenzen (10a... 10n) aufweist, wobei jeweils einer ersten künstlichen Intelligenz (10a..10n) Ausgangsdaten (Api ...Apn) einer zugeordneten zweiten künstlichen Intelligenz (20a...20n) zugeführt werden, wobei die Ausgangsdaten (Api ...Apn) der zweiten künstlichen Intelligenzen (20a...20n) von den zugeordneten ersten künstlichen Intelligenzen (10a... 10n) geprüft und nach einem definierten Kriterium einer dritten künstlichen Intelligenz (30) zugeführt werden.
8. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch ge kennzeichnet, dass die zweite künstliche Intelligenz (20a...20n) außerhalb des Fahrzeuges, insbesondere in einer Cloud angeordnet ist.
9. Vorrichtung (100) nach einem der Ansprüche 2 bis 8, dadurch gekenn zeichnet, dass die Ausgangsdaten (AP) der zweiten künstlichen Intelligenz (20a...20n) und die Ausgangsdaten (AH) der wenigstens einen ersten künstlichen Intelligenz (10a... 10n) zur Ansteuerung von unterschiedlichen Systemen des Fahrzeugs verwendet werden.
10. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite künstliche Intelligenz (20a...20n) ausgebildet ist, um abhängig von den Umfeldsensordaten wenigstens eine Trajektorie für das Fahrzeug zu ermitteln und die Trajektorie als Ausgangsdaten der ersten künstlichen Intelligenz (10a...10n) bereit zu stellen, und wobei die erste künstliche Intelligenz (10a... 10n) ausgebildet ist, um aus der ermittelten Trajektorie der zweiten künstlichen Intelligenz (20a...20n) wenigstens eine zu fahrenden Trajektorie zu ermitteln.
11. Vorrichtung (100) nach Anspruch 10, dadurch gekennzeichnet, dass die zweite künstliche Intelligenz (20a...20n) ausgebildet ist, um eine Trajektorie zu planen, und dass die erste künstliche Intelligenz (10a... 10n) ausgebildet ist, um unter Berücksichtigung der geplanten Trajektorie der zweiten künstli chen Intelligenz (20a...20n) unter Berücksichtigung einer Kollisionsvermei dung des Fahrzeugs eine zu verwendende Trajektorie zu ermitteln.
12. Vorrichtung (100) nach einem der Ansprüche 4 bis 11, dadurch gekenn zeichnet, dass die dritte künstlichen Intelligenz (30) ausgebildet ist, um aus den Ausgangsdaten (AP, AH) der ersten und der zweiten künstlichen Intelligenz (10a...10n, 20a...20n) eine Objekterkennung durchzuführen.
13. Vorrichtung (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die künstlichen Intelligenzen (10a...10n, 20a...20n) mit den Umfeldsensordaten und/oder mit mittels einer Simulation künstlich erzeugter Umfeldsensordaten trainiert sind.
14. Verfahren (100) zum Verarbeiten von Umfeldsensordaten (SD) eines Fahrzeugs, aufweisend die Schritte:
Zuführen der Umfeldsensordaten (SD) an wenigstens eine erste künstliche Intelligenz (10a... 10n) und an wenigstens eine zweite künstliche Intelligenz (20a...20n);
- Verarbeiten der Umfeldsensordaten (SD) mittels der zweiten künstlichen Intelligenz (20a...20); und
- Zuführen von Ausgangsdaten (AP) der zweiten künstlichen Intelligenz (20a...20n) an die wenigstens eine erste künstliche Intelligenz (10a... 10n), wobei mittels der ersten künstlichen Intelligenz (10a... 10n) in Abhängigkeit von Umfeldsensordaten (SD) des Fahrzeugs und Ausgangsdaten (AP) einer zweiten künstlichen Intelligenz (20a...20n) ein Steuerparameter für das Fahrzeug ermittelt wird.
15. Computerprogrammprodukt umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, ein Verfahren gemäß Anspruch 14 auszuführen oder das auf einem maschinenlesbaren Speichermedium gespeichert ist.
PCT/EP2020/080888 2019-11-19 2020-11-04 Vorrichtung und verfahren zum verarbeiten von umfeldsensordaten eines fahrzeugs WO2021099111A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019217803.0 2019-11-19
DE102019217803.0A DE102019217803A1 (de) 2019-11-19 2019-11-19 Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten eines Fahrzeugs

Publications (1)

Publication Number Publication Date
WO2021099111A1 true WO2021099111A1 (de) 2021-05-27

Family

ID=73131749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/080888 WO2021099111A1 (de) 2019-11-19 2020-11-04 Vorrichtung und verfahren zum verarbeiten von umfeldsensordaten eines fahrzeugs

Country Status (2)

Country Link
DE (1) DE102019217803A1 (de)
WO (1) WO2021099111A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2562049A (en) * 2017-05-02 2018-11-07 Kompetenzzentrum Das Virtuelle Fahrzeug Improved pedestrian prediction by using enhanced map data in automated vehicles
DE102018206805B3 (de) * 2018-05-03 2019-09-12 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zum Prädizieren einer zukünftigen Bewegung eines Objekts

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2562049A (en) * 2017-05-02 2018-11-07 Kompetenzzentrum Das Virtuelle Fahrzeug Improved pedestrian prediction by using enhanced map data in automated vehicles
DE102018206805B3 (de) * 2018-05-03 2019-09-12 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zum Prädizieren einer zukünftigen Bewegung eines Objekts

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIM JINWOO ET AL: "Multi-sensor-based detection and tracking of moving objects for relative position estimation in autonomous driving conditions", JOURNAL OF SUPERCOMPUTING, KLUWER ACADEMIC PUBLISHERS, DORDRECHT, NL, vol. 76, no. 10, 13 March 2019 (2019-03-13), pages 8225 - 8247, XP037245213, ISSN: 0920-8542, [retrieved on 20190313], DOI: 10.1007/S11227-019-02811-Y *
SWIEF ASMAA ET AL: "A survey of Automotive Driving Assistance Systems technologies", 2018 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND DATA PROCESSING (IDAP), IEEE, 28 September 2018 (2018-09-28), pages 1 - 12, XP033507175, DOI: 10.1109/IDAP.2018.8620826 *
XU WENCHAO ET AL: "Internet of vehicles in big data era", IEEE/CAA JOURNAL OF AUTOMATICA SINICA, IEEE, vol. 5, no. 1, 1 January 2018 (2018-01-01), pages 19 - 35, XP011675223, ISSN: 2329-9266, [retrieved on 20171220], DOI: 10.1109/JAS.2017.7510736 *

Also Published As

Publication number Publication date
DE102019217803A1 (de) 2021-05-20

Similar Documents

Publication Publication Date Title
EP3144920B1 (de) Bestimmen einer soll-trajektorie für ein fahrzeug
EP3765927B1 (de) Verfahren zum erzeugen eines trainingsdatensatzes zum trainieren eines künstlichen-intelligenz-moduls für eine steuervorrichtung eines fahrzeugs
DE102012203187A1 (de) Verfahren und Vorrichtung zur Prädiktion und Adaption von Bewegungstrajektorien von Kraftfahrzeugen
DE102018206805B3 (de) Verfahren, Vorrichtung und Computerprogramm zum Prädizieren einer zukünftigen Bewegung eines Objekts
WO2017008800A1 (de) Vorausschauende steuerung eines kraftfahrzeugs
DE102011005844A1 (de) Automatische Steuerung eines Fahrzeugs
DE102014205391A1 (de) Vorrichtung zur Vorhersage von Fahrzustandsübergängen
WO2021094136A1 (de) Verfahren zum betreiben einer autonomen fahrfunktion eines fahrzeugs
WO2020126447A1 (de) Verfahren und system zum bereitstellen von umgebungsdaten
EP3857437A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
WO2019011536A1 (de) Verfahren, vorrichtung, computerprogramm und ein maschinenlesbares speichermedium zum betreiben eines fahrzeugs
DE102016003231A1 (de) Verfahren zum Steuern eines zumindest teilautonom betriebenen Kraftfahrzeugs und Kraftfahrzeug
DE102019104974A1 (de) Verfahren sowie System zum Bestimmen eines Fahrmanövers
EP3748453B1 (de) Verfahren und vorrichtung zum automatischen ausführen einer steuerfunktion eines fahrzeugs
DE102020205532A1 (de) Vorrichtung und Verfahren zum Trainieren einer Steuerungsstrategie für eine Steuereinrichtung über mehrere Iterationen
DE102020201931A1 (de) Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, Verfahren zur Optimierung eines Verkehrsflusses in einer Region, Computerprogrammprodukt sowie Kraftfahrzeug
WO2021099111A1 (de) Vorrichtung und verfahren zum verarbeiten von umfeldsensordaten eines fahrzeugs
DE102019216235A1 (de) Verfahren zum Vorhersagen der Bewegung eines Fahrzeugs und zumindest eines weiteren Fahrzeugs
EP4380836A1 (de) System, verfahren und software zum betreiben eines fahrerassistenzsystems
DE202017105656U1 (de) Prädiktives Messsystem, Aktorsteuerungssystem und Vorrichtung zum Betreiben des prädiktiven Messsystems und/oder des Aktorsteuerungssystems
DE102020209987A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Umfeldsensordaten
EP4064056A1 (de) Verfahren zum zumindest teilweise automatisierten führen eines kraftfahrzeugs
DE102019004842A1 (de) Verfahren zum Betreiben eines wenigstens teilweise automatisierten Fahrzeugs
EP3467719A1 (de) Hybride kraftfahrzeug-sensorvorrichtung mit einem neuronalen netz und einem bayes'schen filter, sowie verfahren zum betreiben einer solchen kraftfahrzeug-sensorvorrichtung
EP3258454B1 (de) Konzept zum überwachen eines umfelds eines innerhalb eines parkplatzes fahrenden kraftfahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20801240

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20801240

Country of ref document: EP

Kind code of ref document: A1