WO2021069146A1 - Verfahren zum bereitstellen eines neuronalen netzes zum direkten validieren einer umgebungskarte in einem fahrzeug durch sensordaten - Google Patents

Verfahren zum bereitstellen eines neuronalen netzes zum direkten validieren einer umgebungskarte in einem fahrzeug durch sensordaten Download PDF

Info

Publication number
WO2021069146A1
WO2021069146A1 PCT/EP2020/074300 EP2020074300W WO2021069146A1 WO 2021069146 A1 WO2021069146 A1 WO 2021069146A1 EP 2020074300 W EP2020074300 W EP 2020074300W WO 2021069146 A1 WO2021069146 A1 WO 2021069146A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
map
sensor data
vehicle
environment
Prior art date
Application number
PCT/EP2020/074300
Other languages
English (en)
French (fr)
Inventor
Felix Drost
Sebastian Schneider
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to US17/766,847 priority Critical patent/US20240062550A1/en
Priority to CN202080062636.2A priority patent/CN114365152A/zh
Publication of WO2021069146A1 publication Critical patent/WO2021069146A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control

Definitions

  • the present disclosure relates to a method and system for providing a neural network for directly validating a map of the surroundings in a vehicle by means of sensor data, a method for directly validating a map of the surroundings in a vehicle by means of sensor data, a storage medium for carrying out the method, and a vehicle with such a device Storage medium.
  • the present disclosure relates to navigation of an automatically driving vehicle based on a predetermined map of the surroundings.
  • the valid environment data and the non-valid environment data are preferably based on image data, for example from at least one camera, e.g. from a measuring vehicle.
  • image data for example from at least one camera, e.g. from a measuring vehicle.
  • the present disclosure is not limited to camera data and other types of sensors that allow an image to be displayed can be used.
  • the binary classification is carried out based on this feature representation of map and sensor data.
  • One way to do this is to use Euclidean distance in latent space: if it is above a threshold, the pair is considered invalid.
  • Another option is to use fully connected layers that have been trained for binary classification. The feature extractor and the classification network are trained simultaneously and continuously.
  • the threshold obtained in the training set does not always lead to precise results. Therefore, a number of real invalid pairs can be used to determine a situation-specific threshold.
  • the term “specified map of the surroundings” relates to a digital map that is stored in the vehicle and is used, for example, to operate a driver assistance system for automated driving.
  • the specified map of the surroundings is not a map that is created using the sensor data recorded by the sensors of the vehicle.
  • a storage medium with a software program is provided.
  • the software program is set up to run on one or more processors and thereby to carry out the methods described in this document.
  • FIG. 3 schematically shows a vehicle 1 with a driver assistance system 300 for automated driving according to embodiments of the present disclosure
  • a vehicle 1 comprises the driver assistance system 300 for automated driving.
  • the driver assistance system 300 thus takes over the vehicle guidance.
  • the driver assistance system 1 controls the drive 20, the transmission 22, the hydraulic service brake 24 and the steering 26 via intermediate units (not shown).

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Atmospheric Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten. Das Verfahren umfasst ein Bereitstellen von validen bzw. gültigen Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; ein Bereitstellen von nicht-validen bzw. ungültigen Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; und ein Trainieren eines neuronalen Netzes mit den validen Umfelddaten und den nicht-validen Umfelddaten.

Description

Verfahren zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten
Die vorliegende Offenbarung betrifft ein Verfahren und System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, ein Verfahren zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, ein Speichermedium zum Ausfuhren der Verfahren, und ein Fahrzeug mit einem solchen Speichermedium. Insbesondere betrifft die vorliegende Offenbarung eine Navigation eines automatisiert fahrenden Fahrzeugs basierend auf einer vorbestimmten Umgebungskarte. Stand der Technik
Moderne Fahrzeuge umfassen eine Vielzahl von verschiedenen Sensorsystemen, wie zum Beispiel ein LiDAR-System, ein Radar-System, eine Kamera und ein Ultraschall-System. Derartige Sensorsysteme können für eine Vielzahl verschiedener Anwendungen eingesetzt werden, wie zum Beispiel für Fahrassistenzsysteme zum automatisierten Fahren. Beim automatisierten Fahren kann es sich um ein zeitlich längeres Fahren beispielsweise auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln. Zudem kann ein automatisiertes Fahren in urbanen Gegenden erfolgen, also im städtischen Verkehr. Ein solches Fahrassistenzsystem verwendet Kartendaten und Daten der Sensorsysteme, um das Fahrzeug zu steuern. Hier ist es unerlässlich, dass ein Umfeld des Fahrzeugs eindeutig und so genau wie möglich bestimmt wird.
Offenbarung der Erfindung
Es ist eine Aufgabe der vorliegenden Offenbarung, ein Verfahren und System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, ein Verfahren zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, ein Speichermedium zum Ausfuhren der Verfahren, und ein Fahrzeug mit einem solchen Speichermedium anzugeben, die eine sichere Verwendung einer vorgegebenen Umgebungskarte ermöglichen. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung, ein Fahrassistenzsystem zum automatisierten Fahren sicher und zuverlässig zu betreiben.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen angegeben.
Gemäß einem unabhängigen Aspekt der vorliegenden Offenbarung ist ein Verfahren zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten angegeben. Das Verfahren umfasst ein Bereitstellen von validen (bzw. gültigen) Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; ein Bereitstellen von nicht-validen (bzw. ungültigen) Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; und ein Trainieren eines neuronalen Netzes mit den validen Umfelddaten und den nicht-validen Umfelddaten zum Beispiel mittels einer Darstellung der validen Umfelddaten und nicht-validen Umfelddaten in einer gemeinsamen Repräsentation. Dies kann mittels Deep Leaming, und insbesondere Repräsentationserlernen („representation leaming“) erfolgen.
Der Begriff „Feature-Darstellung“ bedeutet im Rahmen der vorliegenden Offenbarung, dass Eingänge verschiedener Quellen, wie HD Kartendaten und Sensordaten, in einem niedrig dimensionalen Feature-Raum, wie einem gemeinsamen Latenzraum („joint latent space“), dargestellt werden.
Die Kartendaten sind vorgegebene Kartendaten, und insbesondere HD-Kartendaten, die eine digitale Karte angeben, die im Allgemeinen in Fahrzeugen hinterlegt ist und beispielsweise für den Betrieb eines Fahrassistenzsystems zum automatisierten Fahren verwendet wird. Die digitale Karte kann in einigen Ausführungsformen zum Beispiel online nachgeladen und/oder aktualisiert werden.
Die Sensordaten sind beispielsweise Bilddaten einer Kamera. Die Sensordaten können mittels eines Messfahrzeugs aufgenommen werden, um das neuronale Netz zu trainieren.
Erfindungsgemäß wird mittels Deep Learning ein neuronales Netz trainiert, mit dem eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt validiert werden kann, ohne dass beispielsweise zunächst ein Umgebungsmodell aus Sensordaten erstellt werden muss. Zur Erzeugung der Trainingsdaten können zum Beispiel während der Testfahrten Karteninformationen und verschiedene Sensormodalitäten des Fahrzeugs aufgezeichnet werden. Anschließend können diese in eine Bilddarstellung umgewandelt werden. Datenpaare mit gleicher Aufzeichnungszeit können als valide Umfelddaten indiziert werden. Invalide Umfelddaten können erzeugt werden, indem Karten- und Sensorbilder mit unterschiedlichen Zeitstempeln verglichen werden. Das auf diese Weise trainierte neuronale Netz kann eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt und auf eine zuverlässige Art und Weise validieren.
Vorzugsweise umfasst das Bereitstellen von validen Umfelddaten und nicht-validen Umfelddaten ein Erzeugen der jeweiligen Feature-Darstellung unter Verwendung eines ersten neuronalen Faltungsnetzes („Convolutional Neural Network“, CNN) und eines zweiten neuronalen Faltungsnetzes, wobei das erste neuronale Faltungsnetz die Kartendaten als Eingang verwendet und das zweite neuronale Faltungsnetz die Sensordaten als Eingang verwendet. Damit können die Kartendaten (d.h. Daten entsprechend der Umgebungskarte) und die Sensordaten (z.B. Bilddaten einer Kamera) in einen gemeinsamen Latenzraum („joint latent space“) überführt werden, so dass ein Vergleich möglich ist.
Vorzugsweise basieren die validen Umfelddaten und die nicht-validen Umfelddaten auf Bilddaten, wie zum Beispiel von wenigstens einer Kamera z.B. eines Messfahrzeugs. Die vorliegende Offenbarung ist jedoch nicht auf Kameradaten beschränkt und es können andere Arten von Sensoren verwendet werden, die eine Bilddarstellung erlauben.
Vorzugsweise erfolgt weiter ein Bestimmen einer Validität der Kartendaten in der Feature- Darstellung, beispielsweise unter Verwendung eines Siamesischen Neuronales Netzes. Siamesische Netzwerke beschreiben dabei einen Aufbau aus den zwei CNNs gleicher Architektur (normalerweise mit geteilten Gewichten, in einigen Ausführungsformen der vorliegenden Offenbarung jedoch nicht), optional mit Fully Connected Layem und dem anschließenden Vergleich durch eine Distanzmetrik.
Das Bestimmen der Validität kann in einigen Ausführungsformen als binäre Entscheidung erfolgen. Insbesondere entsprechen die validen Umfelddaten einer Übereinstimmung zwischen Messdaten eines Umfelds und vorgegebenen Kartendaten, und die nicht-validen Umfelddaten entsprechen einer fehlenden Übereinstimmung zwischen den Messdaten des Umfelds und den vorgegebenen Kartendaten. Die Paare aus Kartendaten und Sensordaten in der Feature- Darstellung können entsprechend gelabelt werden.
Beim Repräsentationslernen („representation learning“) mittels des CNN wird der Input verschiedener Quellen in einen gemeinsamen Latenzraum umgewandelt. Für Bilder derselben Domäne kann dies durch die Verwendung einer siamesischen Architektur geschehen. Da sich die Darstellung von Kartendaten und Sensordaten stark unterscheidet, kann diese Architektur nicht für eine Kartenvalidierung genutzt werden. Die Architektur kann dabei soweit noch siamesisch sein, als dass die Architektur beider CNNs noch identisch ist, jedoch wird auf das Teilen der Gewichte („weight sharing“) verzichtet. Um die On-Board-Sensormessungen mit den Kartendaten zu vergleichen, werden gemäß Ausführungsformen der vorliegenden Offenbarung neuronale Faltungsnetze verwendet, um die Feature-Darstellung der Kartendaten und Sensordaten zu erhalten. Die binäre Entscheidung über die Gültigkeit der Karte basiert auf dem Vergleich von Karten- und Sensordaten in dieser komprimierten Darstellung. Die beiden neuronalen Faltungsnetze (CNN) der gleichen Architektur nehmen Karten- und Sensordaten als Input. Diese CNNs teilen ihre Gewichte nicht. Dies erhöht die Anzahl der trainierbaren Parameter um den Faktor zwei, führt aber dazu, dass jedes CNN seine eigene Transformationsfunktion in den gemeinsamen Latenzraum Raum erlernen kann, anstatt dass sich beide darauf zu verlassen, gemeinsame Merkmale in beiden Modalitäten zu finden. Somit verarbeitet jedes Faltungsnetz eine Eingangsquelle (z.B. Karten- oder Sensordaten) einzeln.
Basierend auf dieser Feature-Darstellung von Karten- und Sensordaten wird die binäre Klassifizierung durchgeführt. Eine Möglichkeit, dies zu tun, ist die Verwendung der euklidischen Distanz im latenten Raum: Wenn sie über einer Schwelle liegt, wird das Paar als ungültig betrachtet. Eine andere Möglichkeit besteht darin, vollständig verbundene Schichten zu verwenden, die für die binäre Klassifizierung trainiert wurden. Der Feature-Extraktor und das Klassifizierungsnetzwerk werden gleichzeitig und durchgängig trainiert.
Da zwischen Training und Einsatz im autonomen Fahrzeug ein Unterschied besteht, führt die am Trainingsset erhaltene Schwelle nicht immer zu genauen Ergebnissen. Daher kann eine Reihe von realen nicht-validen Paaren verwendet werden, um einen situationsspezifischen Schwellenwert zu bestimmen.
Vorzugsweise entsprechen die validen Umfelddaten Kartendaten und Sensordaten eines selben Zeitpunkts, und die nicht-validen Umfelddaten entsprechen Kartendaten und Sensordaten verschiedener Zeitpunkte. Insbesondere ist die begrenzte Anzahl ungültiger Proben für das Training eines Deep-Leaming-Modells für die Kartenvalidierung eine Herausforderung. Trainings- und Testdaten können eine unterschiedliche Struktur aufweisen. In den Trainingsdaten können Karten- und Sensorbilder mit verschiedenen Zeitstempeln verwendet werden, um die nicht-validen Umfelddaten zu erzeugen.
Vorzugsweise betreffen die Umfelddaten wenigstens einen der folgenden Aspekte: eine bauliche Eigenschaft, insbesondere eine bauliche Eigenschaft einer Straße oder Fahrbahn und/oder eine Straßenführung und/oder bewegte Objekte und/oder unbewegte Objekte, insbesondere andere Verkehrsteilnehmer und/oder Verkehrszeichen, insbesondere Schilder und/oder Leuchtzeichen. Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein Verfahren zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten angegeben. Das Verfahren umfasst ein Bereitstellen von Sensordaten durch wenigstens eine Sensoranordnung; und ein Validieren der vorgegebenen Umgebungskarte basierend auf den Sensordaten und unter Verwendung des mit dem zuvor beschriebenen Verfahren trainierten neuronalen Netzes.
Erfindungsgemäß werden durch Sensoren des Fahrzeugs erfasste Sensordaten verwendet, um eine Gültigkeit bzw. Richtigkeit einer vorgegebenen Umgebungskarte zu prüfen. Wenn die durch die Sensoren erfassten Sensordaten mit der vorgegebenen Umgebungskarte übereinstimmen, kann eine positive Validierung der vorgegebenen Umgebungskarte erfolgen. Wenn die durch die Sensoren erfassten Sensordaten mit der vorgegebenen Umgebungskarte jedoch nicht übereinstimmen, kann keine positive Validierung (also eine negative Validierung) der vorgegebenen Umgebungskarte erfolgen. Damit kann sichergestellt werden, dass die vorgegebene Umgebungskarte dem tatsächlichen Umfeld des Fahrzeugs entspricht. Insbesondere kann mittels der validierten vorgegebenen Umgebungskarte ein Fahrassistenzsystem zum automatisierten Fahren sicher und zuverlässig betrieben werden.
Der Begriff „vorgegebene Umgebungskarte“ bezieht sich im Rahmen der vorliegenden Offenbarung auf eine digitale Karte, die im Fahrzeug hinterlegt ist und beispielsweise für den Betrieb eines Fahrassistenzsystems zum automatisierten Fahren verwendet wird. Anders gesagt ist die vorgegebene Umgebungskarte keine Karte, die mittels der durch die Sensoren des Fahrzeugs erfassten Sensordaten erstellt wird.
Das Fahrzeug umfasst wenigstens eine Sensoranordnung (auch als „Umgebungssensorik“ bezeichnet), die eingerichtet ist, um die Umfelddaten zu erfassen. Vorzugsweise umfasst die wenigstens eine Sensoranordnung wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System. Die wenigstens eine Sensoranordnung kann die Sensordaten (auch als „Umgebungsdaten“ oder „Umfelddaten“ bezeichnet) bereitstellen, die einen Umgebungsbereich des Fahrzeugs abbilden.
Vorzugsweise umfasst das Validieren der vorgegebenen Umgebungskarte eine binäre Einstufung der Gültigkeit der vorgegebenen Umgebungskarte.
Vorzugsweise umfasst das Validieren der vorgegebenen Umgebungskarte ein Bestimmen einer Wahrscheinlichkeit, mit der die vorgegebene Umgebungskarte korrekt ist. Vorzugsweise umfasst das Validieren der vorgegebenen Umgebungskarte ein Bestimmen, dass die vorgegebene Umgebungskarte valide ist, wenn die Wahrscheinlichkeit gleich oder größer als ein vorbestimmter Schwellwert ist; und ein Bestimmen, dass die vorgegebene Umgebungskarte nicht valide ist, wenn die Wahrscheinlichkeit gleich oder kleiner als der vorbestimmte Schwellwert ist. Der vorbestimmte Schwellwert kann derart gewählt sein, dass zum Beispiel eine sichere Ansteuerung einer automatisierten Fahrfunktion ermöglicht wird.
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein Speichermedium mit einem Software-Programm bereitgestellt. Das Software-Programm ist eingerichtet, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch die in diesem Dokument beschriebenen Verfahren auszuführen.
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten angegeben. Das System umfasst ein Prozessormodul, das eingerichtet ist, um ein neuronales Netz mit validen Umfelddaten und nicht-validen Umfelddaten zu trainieren, wobei die validen Umfelddaten und die nicht-validen Umfelddaten jeweils in einer Feature- Darstellung aus Kartendaten und Sensordaten dargestellt sind.
Vorzugsweise ist das System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten, also das Training, in einer zentralen Einheit z.B. eines Fahrzeugherstellers implementiert.
Das System kann Aspekte enthalten, die in Zusammenhang mit dem Verfahren zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten der vorliegenden Offenbarung beschrieben sind. Ähnlich kann das Verfahren die in Zusammenhang mit dem System beschriebenen Aspekte implementieren.
Vorzugsweise ist das System in einem Fahrassistenzsystem zum automatisierten Fahren umfasst.
Gemäß einem weiteren unabhängigen Aspekt ist ein Fahrzeug, insbesondere ein Kraftfahrzeug, angegeben. Das Fahrzeug ein Speichermedium mit einem Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten auszuführen. Der Begriff Fahrzeug umfasst PKW, LKW, Busse, Wohnmobile, Krafträder, etc., die der Beförderung von Personen, Gütern, etc. dienen. Insbesondere umfasst der Begriff Kraftfahrzeuge zur Personenbeförderung.
Vorzugsweise umfasst das Fahrzeug ein Fahrassistenzsystem zum automatisierten Fahren. Das Fahrassistenzsystem zum automatisierten Fahren kann die vorgegebene Umgebungskarte zur Steuerung des Fahrzeugs verwenden.
Unter dem Begriff „automatisiertes Fahren“ kann im Rahmen des Dokuments ein Fahren mit automatisierter Längs- oder Querführung oder ein autonomes Fahren mit automatisierter Längs- und Querführung verstanden werden. Bei dem automatisierten Fahren kann es sich beispielsweise um ein zeitlich längeres Fahren auf der Autobahn oder um ein zeitlich begrenztes Fahren im Rahmen des Einparkens oder Rangierens handeln, insbesondere im Stadtverkehr. Der Begriff „automatisiertes Fahren“ umfasst ein automatisiertes Fahren mit einem beliebigen Automatisierungsgrad. Beispielhafte Automatisierungsgrade sind ein assistiertes, teilautomatisiertes, hochautomatisiertes oder vollautomatisiertes Fahren. Diese Automatisierungsgrade wurden von der Bundesanstalt für Straßenwesen (B ASt) definiert (siehe B ASt-Publikation „Forschung kompakt“, Ausgabe 11/2012).
Beim assistierten Fahren führt der Fahrer dauerhaft die Längs- oder Querführung aus, während das System die jeweils andere Funktion in gewissen Grenzen übernimmt. Beim teilautomatisierten Fahren (TAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum und/oder in spezifischen Situationen, wobei der Fahrer das System wie beim assistierten Fahren dauerhaft überwachen muss. Beim hochautomatisierten Fahren (HAF) übernimmt das System die Längs- und Querführung für einen gewissen Zeitraum, ohne dass der Fahrer das System dauerhaft überwachen muss; der Fahrer muss aber in einer gewissen Zeit in der Lage sein, die Fahrzeugführung zu übernehmen. Beim vollautomatisierten Fahren (VAF) kann das System für einen spezifischen Anwendungsfall das Fahren in allen Situationen automatisch bewältigen; für diesen Anwendungsfall ist kein Fahrer mehr erforderlich.
Die vorstehend genannten vier Automatisierungsgrade entsprechen den SAE-Level 1 bis 4 der Norm SAE J3016 (SAE - Society of Automotive Engineering). Beispielsweise entspricht das hochautomatisierte Fahren (HAF) Level 3 der Norm SAE J3016. Ferner ist in der SAE J3016 noch der SAE-Level 5 als höchster Automatisierungsgrad vorgesehen, der in der Definition der BASt nicht enthalten ist. Der SAE-Level 5 entspricht einem fahrerlosen Fahren, bei dem das System während der ganzen Fahrt alle Situationen wie ein menschlicher Fahrer automatisch bewältigen kann; ein Fahrer ist generell nicht mehr erforderlich.
Kurze Beschreibung der Zeichnungen
Ausführungsbeispiele der Offenbarung sind in den Figuren dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
Figur 1 schematisch ein Flussdiagramm eines Verfahrens zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten gemäß Ausführungsformen der vorliegenden Offenbarung,
Figur 2 schematisch ein Flussdiagramm eines Verfahrens zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten gemäß Ausführungsformen der vorliegenden Offenbarung, und
Figur 3 schematisch ein Fahrzeug mit einem Fahrassistenzsystem zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung.
Ausführungsformen der Offenbarung
Im Folgenden werden, sofern nicht anders vermerkt, für gleiche und gleichwirkende Elemente gleiche Bezugszeichen verwendet.
Figur 1 zeigt schematisch ein Flussdiagramm eines Verfahrens 100 zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten gemäß Ausführungsformen der vorliegenden Offenbarung.
Das Verfahren 100 umfasst im Block 110 ein Bereitstellen von validen (bzw. gültigen) Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; im Block 120 ein Bereitstellen von nicht-validen (bzw. ungültigen) Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten; und im Block 130 ein Trainieren eines neuronalen Netzes mit den validen Umfelddaten und den nicht-validen Umfelddaten z.B. mittels Deep Learning, und insbesondere Repräsentationserlemen. Typischerweise basieren die validen Umfelddaten und die nicht-validen Umfelddaten, wie die Kartendaten und/oder Sensordaten, auf Bilddaten. Die Bilddaten können von wenigstens einer Kamera z.B. eines Messfahrzeugs stammen, sind jedoch nicht hierauf begrenzt. Wichtig ist nur, dass Training und Fahrzeugeinsatz auf derselben Modalität arbeiten.
In einigen Ausführungsformen umfasst das Bereitstellen von validen Umfelddaten und nicht validen Umfelddaten ein Erzeugen der jeweiligen Feature-Darstellung unter Verwendung eines ersten neuronalen Faltungsnetzes und eines zweiten neuronalen Faltungsnetzes, wobei das erste neuronale Faltungsnetz die Kartendaten als Eingang verwendet und das zweite neuronale Faltungsnetz die Sensordaten als Eingang verwendet. Typischerweise erfolgt weiter ein Bestimmen einer Validität der Kartendaten in der Feature-Darstellung, beispielsweise unter Verwendung eines Siamesischen Neuronales Netzes. Das Siamesische NN umfasst dabei die beiden CNNs und die Entscheidung.
Das Bestimmen der Validität kann in einigen Ausführungsformen als binäre Entscheidung erfolgen. Insbesondere erfolgt die binäre Entscheidung über die Gültigkeit der Karte basiert auf dem Vergleich von Karten- und Sensordaten in dieser komprimierten Darstellung. Eine Möglichkeit, dies zu tun, ist die Verwendung der euklidischen Distanz im latenten Raum: Wenn sie über einer Schwelle liegt, wird das Paar als ungültig betrachtet. Eine andere Möglichkeit besteht darin, vollständig verbundene Schichten zu verwenden, die für die binäre Klassifizierung trainiert wurden.
In einigen Ausführungsformen entsprechen die validen Umfelddaten Kartendaten und Sensordaten eines selben Zeitpunkts, und die nicht-validen Umfelddaten entsprechen Kartendaten und Sensordaten verschiedener Zeitpunkte. Insbesondere ist die begrenzte Anzahl ungültiger Proben für das Training eines Deep-Learning-Modells für die Kartenvalidierung eine Herausforderung. Trainings- und Testdaten können eine unterschiedliche Struktur aufweisen. In den Trainingsdaten können Karten- und Sensorbilder mit verschiedenen Zeitstempeln verwendet werden, um die nicht-valide Umfelddaten zu erzeugen.
Gemäß einem weiteren Aspekt der vorliegenden Offenbarung ist ein System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten angegeben. Das System umfasst ein Prozessormodul, das eingerichtet ist, um ein neuronales Netz mit validen Umfelddaten und nicht-validen Umfelddaten mittels Deep Learning zu trainieren. Vorzugsweise ist das System in einer zentralen Einheit z.B. eines Fahrzeugherstellers implementiert.
Das auf die oben beschriebene Weise trainierte neuronale Netz kann eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt und auf eine zuverlässige Art und Weise validieren, wie im Folgenden unter Bezug auf die Figur 2 beschrieben ist.
Figur 2 zeigt schematisch ein Flussdiagramm eines Verfahrens 200 zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten gemäß Ausführungsformen der vorliegenden Offenbarung.
Das Verfahren 200 umfasst im Block 210 ein Bereitstellen von Sensordaten durch wenigstens eine Sensoranordnung; und im Block 220 ein Validieren der vorgegebenen Umgebungskarte basierend auf den Sensordaten und unter Verwendung des mit dem zuvor beschriebenen Verfahren trainierten neuronalen Netzes.
Hier können durch Sensoren des Fahrzeugs erfasste Sensordaten verwendet werden, um eine Gültigkeit bzw. Richtigkeit einer vorgegebenen Umgebungskarte zu prüfen. Wenn die durch die Sensoren erfassten Sensordaten mit der vorgegebenen Umgebungskarte übereinstimmen, kann eine positive Validierung der vorgegebenen Umgebungskarte erfolgen. Wenn die durch die Sensoren erfassten Sensordaten mit der vorgegebenen Umgebungskarte jedoch nicht übereinstimmen, kann keine positive Validierung (also eine negative Validierung) der vorgegebenen Umgebungskarte erfolgen. Damit kann sichergestellt werden, dass die vorgegebene Umgebungskarte dem tatsächlichen Umfeld des Fahrzeugs entspricht. Insbesondere kann mittels der validierten vorgegebenen Umgebungskarte ein Fahrassistenzsystem zum automatisierten Fahren sicher und zuverlässig betrieben werden.
Das Fahrzeug umfasst wenigstens eine Sensoranordnung (auch als „Umgebungssensorik“ bezeichnet), die eingerichtet ist, um die Sensordaten zu erfassen. Vorzugsweise umfasst die wenigstens eine Sensoranordnung wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System. Die wenigstens eine Sensoranordnung kann die Sensordaten (auch als „Umgebungsdaten“ oder „Umfelddaten“ bezeichnet) bereitstellen, die einen Umgebungsbereich des Fahrzeugs abbilden.
In einigen Ausführungsformen umfasst das Validieren der vorgegebenen Umgebungskarte eine binäre Einstufung der Gültigkeit der vorgegebenen Umgebungskarte. In weiteren Ausführungsformen umfasst das Validieren der vorgegebenen Umgebungskarte ein Bestimmen einer Wahrscheinlichkeit, mit der die vorgegebene Umgebungskarte korrekt ist.
Beispielsweise umfasst das Validieren der vorgegebenen Umgebungskarte ein Bestimmen, dass die vorgegebene Umgebungskarte valide ist, wenn die Wahrscheinlichkeit gleich oder größer als ein vorbestimmter Schwellwert ist; und ein Bestimmen, dass die vorgegebene Umgebungskarte nicht valide ist, wenn die Wahrscheinlichkeit gleich oder kleiner als der vorbestimmte Schwellwert ist. Der vorbestimmte Schwellwert kann derart gewählt sein, dass zum Beispiel eine sichere Ansteuerung einer automatisierten Fahrfunktion ermöglicht wird.
Figur 3 zeigt schematisch ein Fahrzeug 1 mit einem Fahrassistenz System 300 zum automatisierten Fahren gemäß Ausführungsformen der vorliegenden Offenbarung,
Insbesondere umfasst ein Fahrzeug 1 das Fahrassistenzsystem 300 zum automatisierten Fahren. Beim automatisierten Fahren erfolgt die Längs- und Querführung des Fahrzeugs 1 automatisch. Das Fahrassistenzsystem 300 übernimmt also die Fahrzeugführung. Hierzu steuert das Fahrassistenzsystem 1 den Antrieb 20, das Getriebe 22, die hydraulische Betriebsbremse 24 und die Lenkung 26 über nicht dargestellte Zwischeneinheiten.
Das Fahrzeug umfasst wenigstens eine Sensoranordnung 12 (auch als „Umgebungssensorik“ bezeichnet), die eingerichtet ist, um die Sensordaten zu erfassen. Vorzugsweise umfasst die wenigstens eine Sensoranordnung 12 wenigstens ein LiDAR-System und/oder wenigstens ein Radar-System und/oder wenigstens eine Kamera und/oder wenigstens ein Ultraschall-System.
Zur Planung und Durchführung des automatisierten Fahrens werden Umfeldinformationen der wenigstens eine Sensoranordnung 12, die das Fahrzeugumfeld beobachtet, vom Fahrerassistenzsystem 300 entgegengenommen.
Zusätzlich umfasst das Fahrzeug 1 ein Speichermedium mit einem Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren zum direkten Validieren einer Umgebungskarte durch Sensordaten gemäß der Figur 2 auszuführen.
Erfindungsgemäß wird mittels Deep Learning ein neuronales Netz trainiert, mit dem eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt validiert werden kann, ohne dass beispielsweise zunächst ein Umgebungsmodell aus Sensordaten erstellt werden muss. Zur Erzeugung der Trainingsdaten können zum Beispiel während der Testfahrten Karteninformationen und verschiedene Sensormodalitäten des Fahrzeugs aufgezeichnet werden. Anschließend können diese in eine Bilddarstellung umgewandelt werden. Datenpaare mit gleicher Aufzeichnungszeit können als valide Umfelddaten indiziert werden. Invalide Umfelddaten können erzeugt werden, indem Karten- und Sensorbilder mit unterschiedlichen Zeitstempeln verglichen werden. Das auf diese Weise trainierte neuronale Netz kann eine vorgegebene Umgebungskarte im laufenden Betrieb eines Fahrzeugs direkt und auf eine zuverlässige Art und Weise validieren.

Claims

Patentansprüche
1. Verfahren (100) zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug (1) durch Sensordaten, umfassend:
Bereitstellen (110) von validen Umfelddaten in einer Feature-Darstellung aus Kartendaten und Sensordaten;
Bereitstellen (120) von nicht-validen Umfelddaten in einer Feature-Darstellung aus den Kartendaten und Sensordaten; und
Trainieren (130) eines neuronalen Netzes mit den validen Umfelddaten und den nicht validen Umfelddaten.
2. Das Verfahren (100) nach Anspruch 1, wobei das Bereitstellen (110) von validen Umfelddaten und nicht-validen Umfelddaten unter Verwendung eines Siamesischen Neuronalen Netzes erfolgt und umfasst:
Erzeugen der Feature-Darstellung unter Verwendung eines ersten neuronalen Faltungsnetzes und eines zweiten neuronalen Faltungsnetzes, wobei das erste neuronale Faltungsnetz die Kartendaten als Eingang verwendet und das zweite neuronale Faltungsnetz die Sensordaten als Eingang verwendet; und
Bestimmen einer Validität der Kartendaten in der Feature-Darstellung.
3. Das Verfahren (100) nach Anspruch 1 oder 2, wobei die validen Umfelddaten einer Übereinstimmung zwischen den Kartendaten und Sensordaten entsprechen, und wobei die nicht-validen Umfelddaten einer fehlenden Übereinstimmung zwischen den Kartendaten und den Sensordaten entsprechen.
4. Das Verfahren (100) nach Anspruch 3, wobei die validen Umfelddaten Kartendaten und Sensordaten eines selben Zeitpunkts entsprechen, und wobei die nicht-validen Umfelddaten Kartendaten und Sensordaten verschiedener Zeitpunkte entsprechen.
5. Das Verfahren (100) nach Anspruch 3 oder 4, wobei die validen Umfelddaten und die nicht-validen Umfelddaten auf Bilddaten basieren.
6. Verfahren (200) zum direkten Validieren einer vorgegebenen Umgebungskarte in einem Fahrzeug (1) durch Sensordaten, umfassend:
Bereitstellen (210) von Sensordaten durch wenigstens eine Sensoranordnung (12); und
Validieren (220) der vorgegebenen Umgebungskarte basierend auf den Sensordaten und unter Verwendung des mit dem Verfahren gemäß einem der Ansprüche 1 bis 6 trainierten neuronalen Netzes.
7. Das Verfahren (200) nach Anspruch 6, wobei das Validieren (220) der vorgegebenen Umgebungskarte eine binäre Einstufung der Gültigkeit der vorgegebenen Umgebungskarte umfasst.
8. Speichermedium, umfassend ein Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren (100, 200) gemäß einem der Ansprüche 1 bis 7 auszuführen.
9. System zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug (1) durch Sensordaten, umfassend: ein Prozessormodul, das eingerichtet ist, um ein neuronalen Netzs mit validen Umfelddaten und nicht-validen Umfelddaten zu trainieren, wobei die validen Umfelddaten und die nicht-validen Umfelddaten jeweils in einer Feature-Darstellung aus Kartendaten und Sensordaten dargestellt sind.
10. Fahrzeug (1), insbesondere ein Kraftfahrzeug, umfassend ein Speichermedium (14) mit einem Software-Programm, das eingerichtet ist, um auf einem oder mehreren Prozessoren ausgeführt zu werden, und um dadurch das Verfahren (200) gemäß Anspruch 6 oder 7 auszuführen.
PCT/EP2020/074300 2019-10-07 2020-09-01 Verfahren zum bereitstellen eines neuronalen netzes zum direkten validieren einer umgebungskarte in einem fahrzeug durch sensordaten WO2021069146A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/766,847 US20240062550A1 (en) 2019-10-07 2020-09-01 Method for Providing a Neural Network for Directly Validating an Environment Map in a Vehicle by Means of Sensor Data
CN202080062636.2A CN114365152A (zh) 2019-10-07 2020-09-01 提供用于通过传感器数据在车辆中直接验证环境地图的神经网络的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102019126874.5A DE102019126874A1 (de) 2019-10-07 2019-10-07 Verfahren zum Bereitstellen eines neuronalen Netzes zum direkten Validieren einer Umgebungskarte in einem Fahrzeug durch Sensordaten
DE102019126874.5 2019-10-07

Publications (1)

Publication Number Publication Date
WO2021069146A1 true WO2021069146A1 (de) 2021-04-15

Family

ID=72422158

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2020/074300 WO2021069146A1 (de) 2019-10-07 2020-09-01 Verfahren zum bereitstellen eines neuronalen netzes zum direkten validieren einer umgebungskarte in einem fahrzeug durch sensordaten

Country Status (4)

Country Link
US (1) US20240062550A1 (de)
CN (1) CN114365152A (de)
DE (1) DE102019126874A1 (de)
WO (1) WO2021069146A1 (de)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建
DE102019113114A1 (de) * 2018-06-19 2019-12-19 Nvidia Corporation Verhaltensgesteuerte wegplanung in autonomen maschinenanwendungen

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BITTEL SEBASTIAN ET AL: "Estimating high definition map parameters with convolutional neural networks", 2017 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC), IEEE, 5 October 2017 (2017-10-05), pages 52 - 56, XP033270906, DOI: 10.1109/SMC.2017.8122577 *
CHEN LIU ET AL: "Deep Multi-Modal Image Correspondence Learning", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 5 December 2016 (2016-12-05), XP080736739 *
ENQIANG GUO ET AL: "Learning to Measure Change: Fully Convolutional Siamese Metric Networks for Scene Change Detection", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 22 October 2018 (2018-10-22), XP081428422 *
KICHUN JO ET AL: "Simultaneous Localization and Map Change Update for the High Definition Map-Based Autonomous Driving Car", SENSORS, vol. 18, 18 September 2018 (2018-09-18), pages 1 - 16, XP055753166, DOI: 10.3390/s18093145 *
ZHENCHAO ZHANG ET AL: "Change Detection between Multimodal Remote Sensing Data Using Siamese CNN", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 25 July 2018 (2018-07-25), XP081253615 *

Also Published As

Publication number Publication date
DE102019126874A1 (de) 2021-04-08
US20240062550A1 (en) 2024-02-22
CN114365152A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
DE102019114577A1 (de) Systeme, vorrichtungen und verfahren für eingebettete codierungen von kontextbezogenen informationen unter verwendung eines neuronalen netzwerks mit vektorraummodellierung
DE102021128041A1 (de) Verbesserung eines neuronalen fahrzeugnetzwerks
EP3828758A1 (de) Objektklassifizierungsverfahren, objektklassifizierungsschaltung, kraftfahrzeug
WO2020151879A1 (de) Vorrichtung und verfahren zum überwachen von fahrzeugfunktionen eines fahrzeugs
DE102019207215A1 (de) Verfahren zum Verwenden einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug
EP4003823B1 (de) Verfahren zum initialisieren eines kraftfahrzeugs
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
WO2021094222A1 (de) Verfahren zur abschätzung einer abdeckung des raums von verkehrsszenarien
DE102020211483A1 (de) Verfahren zum Testen eines Sensorsystems eines Kraftfahrzeugs
DE102017213353A1 (de) Verifikation einer geplanten Trajektorie eines automatisierten Kraftfahrzeugs
WO2021069146A1 (de) Verfahren zum bereitstellen eines neuronalen netzes zum direkten validieren einer umgebungskarte in einem fahrzeug durch sensordaten
WO2021089499A1 (de) Verfahren und system zum prüfen einer automatisierten fahrfunktion durch reinforcement-learning
DE102020102365A1 (de) Verfahren und System für einen Erkennungstask
DE102022213170B3 (de) Verfahren zum Generieren von Trainingsdaten, elektronische Recheneinrichtung sowie Kraftfahrzeug
DE102019123353A1 (de) Verfahren und System zum Validieren einer Umgebungskarte für die Verwendung in einem Fahrzeug
DE102021111724B4 (de) Verfahren und Computerprogramm zum Evaluieren eines Softwarestands eines Fahrerassistenzsystems
DE102020118504A1 (de) Verfahren und System zum Erweitern eines neuronalen Netzes für eine Umfelderkennung
DE102020117086A1 (de) Verfahren und System zum Validieren von Kartendaten für ein Fahrzeug
DE102022206603A1 (de) Verfahren zur Handdetektion, Computerprogramm, und Vorrichtung
DE102022132377A1 (de) Verfahren zum Betreiben einer automatisierten Fahrfunktion, Verfahren zum Trainieren einer künstlichen Intelligenz und Verarbeitungseinrichtung
DE102021209817A1 (de) Verfahren zur mehrstufigen Fusion von Messdaten
DE102021113767A1 (de) Überwachungseinrichtung und Verfahren zum Überwachen eines Gesamtsystems aus mehreren unterschiedlichen Teilsystemen auf Fehler und Kraftfahrzeug
DE102022102782A1 (de) Fahrassistenzsystem und Verfahren zum Betreiben eines Fahrassistenzsystems
DE112020006708T5 (de) Objekterkennungsvorrichtung, Fahrassistenzvorrichtung, Server und Objekterkennungsverfahren
DE202021004237U1 (de) Computerlesbares Speichermedium und Rechenvorrichtung zum Evaluieren eines Softwarestands eines Fahrerassistenzsystems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20767993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20767993

Country of ref document: EP

Kind code of ref document: A1