WO2019211067A1 - Method for operating a vehicle having environment sensors for detecting the surroundings of the vehicle, computer-readable medium, system and vehicle - Google Patents

Method for operating a vehicle having environment sensors for detecting the surroundings of the vehicle, computer-readable medium, system and vehicle Download PDF

Info

Publication number
WO2019211067A1
WO2019211067A1 PCT/EP2019/059064 EP2019059064W WO2019211067A1 WO 2019211067 A1 WO2019211067 A1 WO 2019211067A1 EP 2019059064 W EP2019059064 W EP 2019059064W WO 2019211067 A1 WO2019211067 A1 WO 2019211067A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
raw data
environment
sensor
features
Prior art date
Application number
PCT/EP2019/059064
Other languages
German (de)
French (fr)
Inventor
Andre ROSKOPF
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2019211067A1 publication Critical patent/WO2019211067A1/en

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions

Definitions

  • the invention relates to a method for operating a vehicle with environmental sensors for detecting an environment of the vehicle.
  • the invention further relates to a computer-readable medium, a system, and a vehicle comprising the system for operating the vehicle with environmental sensors for detecting an environment of the vehicle.
  • DE 10 2014 205 180 A1 discloses a method for operating a vehicle having a plurality of environmental sensors for detecting an environment of the vehicle.
  • the method detects an environment of the vehicle in each case by means of the environment sensors, so that the environment sensors respectively provide raw data that corresponds to the environment detected by means of the corresponding environment sensor.
  • the method determines objects corresponding to object data for each environmental sensor based on the raw data of the corresponding environmental sensor, fuses the respective object data of the environmental sensors with each other, so that fused object data are determined, and fuses the respective raw data of the environmental sensors together, so that fused raw data are determined.
  • the method determines objects corresponding to raw object data based on the merged raw data and compares the merged object data and the raw object data.
  • important features that are present in the raw data are disregarded, so the accuracy in detecting the environment may be reduced.
  • the invention is characterized by a method for
  • the vehicle is preferably a partially, highly, or fully automated moving vehicle.
  • the vehicle is a motor vehicle.
  • the method comprises detecting the environment of the vehicle by means of a respective environmental sensor, wherein the respective
  • Environment sensor raw data provides that the environment of each environment sensor
  • An environment sensor may be a radar sensor, a laser sensor, a camera sensor, and / or an ultrasound sensor.
  • the method determines predetermined features from the raw data of the respective environment sensor of the vehicle.
  • a predefined feature may include a date or data of an object in the environment of the vehicle.
  • a software code may be executed which extracts the predetermined feature in the raw data of the respective environmental sensor. Based on the determined, predetermined characteristics of the raw data of the respective environment sensor, the method determines one or more objects of the respective environmental sensor.
  • a plurality of predetermined features determine an object in the environment of the vehicle.
  • the method fuses the specific objects of the environment sensors.
  • an object has been determined by the camera sensor and the same object by the laser sensor.
  • the merging of the specific objects of the environmental sensors brings together objects which have been determined by a plurality of environmental sensors to form an object.
  • the merged objects can be summarized and / or stored in an object list.
  • the merged objects may be stored in a hash map or other data structure.
  • the method recognizes and / or interprets a situation, e.g. a traffic situation, based on the merged objects.
  • the method may train a machine learning method based on the raw data of the respective environmental sensors with respect to the detected traffic situation.
  • the machine learning method can be an artificial neural network.
  • the method learns a new feature or several new features from the raw data of the respective environment sensor for the detected and / or interpreted traffic situation.
  • the predefined characteristics of the raw data of the respective environmental sensor become with the learned, new feature or learned new
  • the method determines the extended features from the raw data of the respective surroundings sensor of the vehicle and determines one or more objects of the vehicle respective environmental sensor based on the specific, extended features of the raw data of each environment sensor.
  • the particular objects with the extended features of the respective environment sensors are merged and the traffic situation is detected based on the merged objects with the extended features.
  • the traffic situation based on the merged objects with the extended features can be detected more efficiently and with a higher probability.
  • a vehicle in particular an autonomously driving vehicle, can be operated more safely.
  • By learning new features from the raw data of the respective sensors it is possible to efficiently generate new features that serve to continuously improve the object recognition and thus the recognition of traffic situations.
  • the vehicle can thus adapt individually to traffic situations which can not be recognized by the given features or only with a lower probability.
  • the predetermined features of a respective environmental sensor may specify an object of the environment of the vehicle
  • the enhanced features of a respective environmental sensor may specify an object of the environment of the vehicle
  • the method can transmit the raw data of the respective environment sensors from the vehicle to a server.
  • the server is located in a backend outside the vehicle.
  • the method may further transmit the detected traffic situation from the vehicle to the server.
  • the detected traffic situation may also include the merged objects that were used for recognizing the traffic situation.
  • the method may further include receiving, by the server, the raw data of the respective environmental sensor of the vehicle from the vehicle, receiving the detected traffic situation from the vehicle by the server
  • the learning can be carried out efficiently on a server in the backend and the learned characteristics of the traffic situation can be transmitted to the vehicle.
  • Processing power of the server in the backend can be used efficiently to detect efficiently improve a concrete traffic situation and operate the vehicle more efficiently.
  • detecting the environment of the vehicle by the vehicle may include determining predetermined features from the raw data of the respective environmental sensor of the vehicle by the vehicle, and determining one or more objects of the respective environmental sensor based on the determined , predetermined characteristics of the raw data of the respective environment sensor are performed by the vehicle. Further, fusing the particular objects of the environmental sensors by the vehicle, detecting a traffic situation based on the fused objects by the vehicle, and training a machine
  • Extending the predetermined features of the raw data of the respective environmental sensor with the learned, new feature by the server and / or by the vehicle, and determining the extended features from the raw data of the respective environment sensor of the vehicle are performed by the vehicle. Finally, determining one or more objects of the respective environmental sensor based on the determined, enhanced features of the raw data of the respective environmental sensor by the vehicle, merging the particular objects with the enhanced features of the respective environmental sensors by the vehicle, and recognizing the traffic situation based on the merged objects with the enhanced features are executed by the vehicle. This can do that
  • Procedures distributed to the vehicle and the server are executed efficiently to improve the recognition of the traffic situation.
  • expanding the predetermined features of the raw data of the respective environment sensor with the learned new feature may generate software code for determining the new feature from the raw data based on the trained machine learning method, and adding the generated software code to Determining the new feature from the raw data of the respective environment sensor to a software code for determining the predetermined features in the raw data of the respective environmental sensor include.
  • This can be an existing software code be efficiently extended by software code that can extract the new feature from the raw data of the environment sensor.
  • the machine learning method can be a neural network. Further, generating the software code to determine the new feature from the raw data based on the trained machine learning method may include determining at least a portion of the trained neural network that recognizes the new feature in the raw data of the respective environmental sensor. With this, the generation of the software code can be efficiently simplified.
  • the method can continue
  • the method may extend the given features of the
  • Raw data of the respective environmental sensor with the learned, new feature determining the advanced features from the raw data of the respective environmental sensor of the vehicle, determining one or more objects of the respective environmental sensor based on the specific, extended features of the raw data of each environment sensor, a
  • Environment sensors, and detecting the traffic situation based on the merged objects with the advanced features include.
  • new features for the more precise determination of a traffic situation can be determined efficiently.
  • the invention features a computer-readable medium for operating a vehicle having environmental sensors for detecting an environment of the vehicle, the computer-readable medium comprising instructions that, when executed on a computer or a controller, the computer or the Cause the control unit to carry out the method described above.
  • the invention is characterized by a system for
  • the invention is characterized by a vehicle comprising the above-described system for operating the vehicle with environmental sensors for detecting an environment of the vehicle.
  • 1 shows an example method for operating a vehicle with environmental sensors.
  • the vehicle 102 may send data to a server in the back end 104 and receive data from the backend 104 server.
  • the vehicle 102 may include at least a portion of the method 100 in the
  • Run vehicle 102 may perform part of the method 100.
  • the part of the method 100 is executed on the backend 104, which requires a large amount of computing and / or memory resources.
  • the method 100 detects 106 the environment of the vehicle 102 by means of one or more environment sensors of the vehicle 102.
  • the environment sensors of the vehicle 102 may be radar sensors, laser sensors, cameras and / or ultrasound sensors.
  • the respective environmental sensor of the vehicle 102 provides raw data that corresponds to the environment of the respective environment sensor.
  • Raw data is preferably data from the respective one Environment sensor detected and provided unchanged. In other words, the raw data is not subjected to data processing by the respective environment sensor.
  • the method 100 determines 108 given from the raw data of the respective environment sensor of the vehicle features.
  • a given feature may include data of an object, called object data.
  • a predetermined feature may be a position, a size, a speed, a lane width, a lane course, and / or another feature of an object in the environment of the vehicle.
  • An object is preferably an object of a traffic situation.
  • an object may be a road user, a vehicle, a road, a lane, and / or another object in the environment of the vehicle.
  • the method 100 may determine one or more objects in the environment of the vehicle 102 1 10. The particular objects of the environmental sensor may be merged.
  • merged objects can be created.
  • objects that have been detected by several environment sensors of the vehicle can be merged into a fused object.
  • fusing the particular objects of the environmental sensors creates a set of objects in which each object in the environment of the vehicle occurs only once.
  • the set of objects may be stored in an object list or other data structure.
  • the method 100 may detect a traffic situation based on the merged objects 1 14.
  • Example traffic situations may be: play street with children, play street without children, intersection, intersection with pedestrians, construction site, roundabout, traffic jam, city, countryside, right turn, and / or left turn ,
  • the traffic situation can also be linked, for example: intersection with pedestrian and city and
  • steps 106 to 1 14 of the method 100 are preferably carried out in the vehicle 102.
  • the execution of steps 106 to 1 14 of the method takes place continuously as soon as the environmental sensors can detect the environment of the vehicle 102. In other words, steps 106 to 14 of the method are performed online.
  • the method 100 may include raw data of the environment sensors of the vehicle 102
  • the machine learning method 1 18 which is executed on a server of the backend 104, transfer 1 16.
  • the machine learning method 1 18 trained with respect to the detected traffic situation of the vehicle 102 become.
  • the vehicle 102 can also transmit the merged objects of the detected traffic situation to the backend 104, in particular to the machine learning method 1 18 of the backend 104.
  • the method 100 may learn a new feature from the raw data of the respective environmental sensor by means of the trained machine learning method for the detected traffic situation.
  • the new feature may be a heading indicator of a leading right turn vehicle included in the raw data of a camera sensor of the vehicle 102 and resulting in the traffic situation right turn being detected with a higher probability.
  • the machine learning method can recognize correlations between features of the raw data of the environmental sensors and derive new features from objects that enable the vehicle to recognize a traffic situation with a higher probability of being able to recognize them correctly.
  • the machine learning method 18 may be executed offline on a server of the back end 104. That is, after receiving the data from the vehicle, the machine learning method 118 may be executed as if there were no communication connection to the vehicle.
  • the machine learning method does not require a communication link to the vehicle. Further, by executing the machine learning method, offline computing capacity of the vehicle 102 can be saved. This may result in a more efficient use of existing computing power in the vehicle 102.
  • the method 100 may determine the predetermined features of the raw data of the respective
  • the back end 104 may generate and transmit software code for recognizing the new feature 120 to the vehicle 102.
  • the vehicle may augment the objects of the respective environmental sensor based on the particular environment Characteristics of the raw data of the respective
  • the vehicle 102 may determine the new feature direction indicator of the object ahead, right-turning vehicle.
  • the method associates learning new features on raw data from environmental sensors in the backend with a fusion of objects in the vehicle
  • the procedure can be based on existing Controllers are executed because the compute-intensive learning process is performed on the backend 104.
  • a traffic situation with increased accuracy can be detected and / or interpreted by the vehicle 102.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a method for operating a vehicle having environment sensors for detecting the surroundings of the vehicle, the method comprising: detecting the surroundings of the vehicle by means of an environment sensor, the environment sensor providing raw data corresponding to the surroundings of the environment sensor; determining predefined features from the raw data of the environment sensor of the vehicle; determining one or more objects of the environment sensor on the basis of the determined, predefined features of the raw data of the environment sensor; fusing the determined objects of the environment sensors; identifying a traffic situation on the basis of the fused objects; training a machine learning process on the basis of the raw data of the environment sensors with regard to the identified traffic situation; learning of a new feature from the raw data of the environment sensor by means of the trained, machine learning process for the identified traffic situation; expanding the predefined features of the raw data of the environment sensor by the learned, new feature; determining the expanded features from the raw data of the environment sensor of the vehicle; determining one or more objects of the environment sensor on the basis of the determined, expanded features of the raw data of the environment sensor; fusing the determined objects with the expanded features of the environment sensors; and identifying the traffic situation on the basis of the fused objects with the expanded features.

Description

l  l
Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug Method for operating a vehicle with environmental sensors for detecting an environment of the vehicle, computer-readable medium, system, and vehicle
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs. Die Erfindung betrifft ferner ein computerlesbares Medium, ein System, sowie ein Fahrzeug umfassend das System zum Betreiben des Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs. The invention relates to a method for operating a vehicle with environmental sensors for detecting an environment of the vehicle. The invention further relates to a computer-readable medium, a system, and a vehicle comprising the system for operating the vehicle with environmental sensors for detecting an environment of the vehicle.
Es ist bekannt, dass moderne Fahrzeuge Umfeldsensoren aufweisen, mit denen ein Umfeld des Fahrzeugs erfasst werden kann. Daten bezüglich des Umfelds können einem It is known that modern vehicles have environment sensors with which an environment of the vehicle can be detected. Data regarding the environment can be a
Fahrerassistenzsystem zugeführt werden, welches eine Entscheidung bezüglich der Steuerung des Fahrzeugs auf Basis der Daten über das Umfeld des Fahrzeugs treffen kann. Die DE 10 2014 205 180 A1 offenbart ein Verfahren zum Betreiben eines Fahrzeugs, das mehrere Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs aufweist. Das Verfahren erfasst ein Umfeld des Fahrzeugs jeweils mittels der Umfeldsensoren, so dass die Umfeldsensoren jeweils Rohdaten bereitstellen, die dem mittels des entsprechenden Umfeldsensors erfassten Umfeld entsprechen. Das Verfahren ermittelt Objekten entsprechenden Objektdaten für jeden Umfeldsensor basierend auf den Rohdaten des entsprechenden Umfeldsensors, fusioniert die jeweiligen Objektdaten der Umfeldsensoren miteinander, so dass fusionierte Objektdaten ermittelt werden, und fusioniert die jeweiligen Rohdaten der Umfeldsensoren miteinander, so dass fusionierte Rohdaten ermittelt werden. Das Verfahren ermittelt Objekten entsprechenden Rohobjektdaten basierend auf den fusionierten Rohdaten und vergleicht die fusionierten Objektdaten und die Rohobjektdaten. Wichtige Merkmale, die in den Rohdaten vorhanden sind, werden jedoch außer Acht gelassen, so dass die Genauigkeit bei der Erfassung des Umfelds reduziert sein kann. Driver assistance system can be supplied, which can make a decision regarding the control of the vehicle based on the data about the environment of the vehicle. DE 10 2014 205 180 A1 discloses a method for operating a vehicle having a plurality of environmental sensors for detecting an environment of the vehicle. The method detects an environment of the vehicle in each case by means of the environment sensors, so that the environment sensors respectively provide raw data that corresponds to the environment detected by means of the corresponding environment sensor. The method determines objects corresponding to object data for each environmental sensor based on the raw data of the corresponding environmental sensor, fuses the respective object data of the environmental sensors with each other, so that fused object data are determined, and fuses the respective raw data of the environmental sensors together, so that fused raw data are determined. The method determines objects corresponding to raw object data based on the merged raw data and compares the merged object data and the raw object data. However, important features that are present in the raw data are disregarded, so the accuracy in detecting the environment may be reduced.
Es ist daher eine Aufgabe der Erfindung, das Erfassen von Objekten im Umfeld des Fahrzeugs effizient zu verbessern. Insbesondere ist eine Aufgabe der Erfindung, die Genauigkeit einer Interpretation einer Verkehrssituation eines Fahrzeugs effizient zu verbessern. It is therefore an object of the invention to efficiently improve the detection of objects around the vehicle. In particular, it is an object of the invention to efficiently improve the accuracy of an interpretation of a traffic situation of a vehicle.
Gelöst wird diese Aufgabe durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen This object is achieved by the features of the independent claims. Advantageous embodiments and modifications of the invention will become apparent from the dependent
Ansprüchen. Gemäß einem ersten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zum Claims. According to a first aspect, the invention is characterized by a method for
Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs. Das Fahrzeug ist vorzugsweise ein teil-, hoch-, oder vollautomatisiert fahrendes Fahrzeug. Beispielsweise ist das Fahrzeug ein Kraftfahrzeug. Das Verfahren umfasst ein Erfassen des Umfelds des Fahrzeugs mittels eines jeweiligen Umfeldsensors, wobei der jeweilige Operating a vehicle with environmental sensors for detecting an environment of the vehicle. The vehicle is preferably a partially, highly, or fully automated moving vehicle. For example, the vehicle is a motor vehicle. The method comprises detecting the environment of the vehicle by means of a respective environmental sensor, wherein the respective
Umfeldsensor Rohdaten bereitstellt, die dem Umfeld des jeweiligen Umfeldsensors Environment sensor raw data provides that the environment of each environment sensor
entsprechen. Ein Umfeldsensor kann ein Radarsensor, ein Lasersensor, ein Kamerasensor, und/oder ein Ultraschallsensor sein. Das Verfahren bestimmt vorgegebene Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs. Ein vorgegebenes Merkmal kann ein Datum bzw. Daten eines Objekts im Umfeld des Fahrzeugs umfassen. Beispielsweise kann zum Bestimmen eines vorgegebenen Merkmals ein Softwarecode ausgeführt werden, der das vorgegebene Merkmal in den Rohdaten des jeweiligen Umfeldsensors extrahiert. Basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors bestimmt das Verfahren eines oder mehrerer Objekte des jeweiligen Umfeldsensors. correspond. An environment sensor may be a radar sensor, a laser sensor, a camera sensor, and / or an ultrasound sensor. The method determines predetermined features from the raw data of the respective environment sensor of the vehicle. A predefined feature may include a date or data of an object in the environment of the vehicle. For example, to determine a predetermined feature, a software code may be executed which extracts the predetermined feature in the raw data of the respective environmental sensor. Based on the determined, predetermined characteristics of the raw data of the respective environment sensor, the method determines one or more objects of the respective environmental sensor.
Vorzugsweise bestimmen mehrere vorgegebene Merkmale ein Objekt in dem Umfeld des Fahrzeugs. Das Verfahren fusioniert die bestimmten Objekte der Umfeldsensoren. Preferably, a plurality of predetermined features determine an object in the environment of the vehicle. The method fuses the specific objects of the environment sensors.
Beispielsweise ist ein Objekt durch den Kamerasensor bestimmt worden und das gleiche Objekt durch den Lasersensor. Das Fusionieren der bestimmten Objekte der Umfeldsensoren führt Objekte, die von mehreren Umfeldsensoren bestimmt wurden, zu einem Objekt zusammen. Die fusionierten Objekte können in einer Objektliste zusammengefasst und/oder gespeichert werden. Beispielsweise können die fusionierten Objekte in einer HashMap oder einer anderen Datenstruktur gespeichert werden. Das Verfahren erkennt und/oder interpretiert eine Situation, z.B. eine Verkehrssituation, basierend den fusionierten Objekten. For example, an object has been determined by the camera sensor and the same object by the laser sensor. The merging of the specific objects of the environmental sensors brings together objects which have been determined by a plurality of environmental sensors to form an object. The merged objects can be summarized and / or stored in an object list. For example, the merged objects may be stored in a hash map or other data structure. The method recognizes and / or interprets a situation, e.g. a traffic situation, based on the merged objects.
Das Verfahren kann ein maschinelles Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation trainieren. Das maschinelle Lernverfahren kann ein künstliches, neuronales Netz sein. Mittels des trainierten, maschinellen Lernverfahrens lernt das Verfahren ein neues Merkmal oder mehrere neue Merkmale aus den Rohdaten des jeweiligen Umfeldsensors für die erkannte und/oder interpretierte Verkehrssituation. Die vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors werden mit dem gelernten, neuen Merkmal bzw. den gelernten neuen The method may train a machine learning method based on the raw data of the respective environmental sensors with respect to the detected traffic situation. The machine learning method can be an artificial neural network. By means of the trained, machine learning method, the method learns a new feature or several new features from the raw data of the respective environment sensor for the detected and / or interpreted traffic situation. The predefined characteristics of the raw data of the respective environmental sensor become with the learned, new feature or learned new
Merkmalen erweitert. Das Verfahren bestimmt die erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs und bestimmt eines oder mehrere Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors. Die bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren werden fusioniert und die Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen erkannt. Characteristics extended. The method determines the extended features from the raw data of the respective surroundings sensor of the vehicle and determines one or more objects of the vehicle respective environmental sensor based on the specific, extended features of the raw data of each environment sensor. The particular objects with the extended features of the respective environment sensors are merged and the traffic situation is detected based on the merged objects with the extended features.
Vorteilhafterweise kann die Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen effizienter und mit einer höheren Wahrscheinlichkeit erkannt werden. Dadurch kann ein Fahrzeug, insbesondere ein autonom fahrendes Fahrzeug sicherer betrieben werden. Durch das Lernen von neuen Merkmalen aus den Rohdaten der jeweiligen Sensoren können effizient neue Merkmal erzeugt werden, die eine kontinuierliche Verbesserung der Objekterkennung und damit auch der Erkennung von Verkehrssituationen dienen. Das Advantageously, the traffic situation based on the merged objects with the extended features can be detected more efficiently and with a higher probability. As a result, a vehicle, in particular an autonomously driving vehicle, can be operated more safely. By learning new features from the raw data of the respective sensors, it is possible to efficiently generate new features that serve to continuously improve the object recognition and thus the recognition of traffic situations. The
Fahrzeug kann sich somit individuell an Verkehrssituationen anpassen, die durch die vorgegebenen Merkmale nicht oder nur mit einer geringeren Wahrscheinlichkeit erkannt werden können. Die Genauigkeit bei der Erkennung oder der Interpretation einer Situation, The vehicle can thus adapt individually to traffic situations which can not be recognized by the given features or only with a lower probability. The accuracy in recognizing or interpreting a situation
insbesondere einer Verkehrssituation, kann somit durch das Verfahren effizient erhöht werden. In particular, a traffic situation can thus be increased efficiently by the process.
Gemäß einer vorteilhaften Ausgestaltung können die vorgegebenen Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren, und können die erweiterten Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren. According to an advantageous embodiment, the predetermined features of a respective environmental sensor may specify an object of the environment of the vehicle, and the enhanced features of a respective environmental sensor may specify an object of the environment of the vehicle.
Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren die Rohdaten der jeweiligen Umfeldsensoren von dem Fahrzeug an einen Server übertragen. Vorzugsweise ist der Server in einem Backend außerhalb des Fahrzeugs angeordnet. Das Verfahren kann ferner die erkannte Verkehrssituation von dem Fahrzeug an den Server übertragen. Die erkannte Verkehrssituation kann auch die fusionierten Objekte umfassen, die für das Erkennen der Verkehrssituation verwendet wurden. Das Verfahren kann ferner ein Empfangen der Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs von dem Fahrzeug durch den Server, ein Empfangen der erkannten Verkehrssituation von dem Fahrzeug durch den Server, ein According to a further advantageous embodiment, the method can transmit the raw data of the respective environment sensors from the vehicle to a server. Preferably, the server is located in a backend outside the vehicle. The method may further transmit the detected traffic situation from the vehicle to the server. The detected traffic situation may also include the merged objects that were used for recognizing the traffic situation. The method may further include receiving, by the server, the raw data of the respective environmental sensor of the vehicle from the vehicle, receiving the detected traffic situation from the vehicle by the server
Übertragen des gelernten, neuen Merkmals von dem Server an das Fahrzeug, und ein Transmitting the learned new feature from the server to the vehicle, and a
Empfangen des gelernten, neuen Merkmals durch das Fahrzeug von dem Server umfassen. Hiermit kann das Lernen effizient auf einem Server in dem Backend ausgeführt werden und die gelernten Merkmale der Verkehrssituation an das Fahrzeug übertragen werden. Die Include receiving the learned new feature by the vehicle from the server. With this, the learning can be carried out efficiently on a server in the backend and the learned characteristics of the traffic situation can be transmitted to the vehicle. The
Rechenleistung des Servers in dem Backend kann effizient genutzt werden, um das Erkennen einer konkreten Verkehrssituation effizient zu verbessern und das Fahrzeug effizienter zu betreiben. Processing power of the server in the backend can be used efficiently to detect efficiently improve a concrete traffic situation and operate the vehicle more efficiently.
Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Erfassen des Umfelds des Fahrzeugs durch das Fahrzeug, kann das Bestimmen von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug, und kann das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug ausgeführt werden. Ferner kann das Fusionieren der bestimmten Objekte der Umfeldsensoren durch das Fahrzeug, das Erkennen einer Verkehrssituation basierend den fusionierten Objekten durch das Fahrzeug, und das Trainieren eines maschinellen According to a further advantageous refinement, detecting the environment of the vehicle by the vehicle may include determining predetermined features from the raw data of the respective environmental sensor of the vehicle by the vehicle, and determining one or more objects of the respective environmental sensor based on the determined , predetermined characteristics of the raw data of the respective environment sensor are performed by the vehicle. Further, fusing the particular objects of the environmental sensors by the vehicle, detecting a traffic situation based on the fused objects by the vehicle, and training a machine
Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation durch den Server ausgeführt werden. Weiterhin kann das Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation durch den Server, das Learning method based on the raw data of the respective environmental sensors with respect to the detected traffic situation to be executed by the server. Furthermore, the learning of a new feature from the raw data of the respective environment sensor by means of the trained, machine learning method for the detected traffic situation by the server, the
Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal durch den Server und/oder durch das Fahrzeug, und das Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug ausgeführt werden. Schließlich kann das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug, das Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren durch das Fahrzeug, und das Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen durch das Fahrzeug ausgeführt werden. Hiermit kann das Extending the predetermined features of the raw data of the respective environmental sensor with the learned, new feature by the server and / or by the vehicle, and determining the extended features from the raw data of the respective environment sensor of the vehicle are performed by the vehicle. Finally, determining one or more objects of the respective environmental sensor based on the determined, enhanced features of the raw data of the respective environmental sensor by the vehicle, merging the particular objects with the enhanced features of the respective environmental sensors by the vehicle, and recognizing the traffic situation based on the merged objects with the enhanced features are executed by the vehicle. This can do that
Verfahren verteilt auf das Fahrzeug und den Server effizient ausgeführt werden, um das Erkennen der Verkehrssituation zu verbessern. Procedures distributed to the vehicle and the server are executed efficiently to improve the recognition of the traffic situation.
Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal ein Erzeugen eines Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren, und ein Hinzufügen des erzeugten Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors zu einem Softwarecode zum Bestimmen der vorgegebenen Merkmale in den Rohdaten des jeweiligen Umfeldsensors umfassen. Hiermit kann ein bestehender Softwarecode effizient um Softwarecode erweitert werden, der das neue Merkmal aus den Rohdaten des Umfeldsensors extrahieren kann. According to a further advantageous embodiment, expanding the predetermined features of the raw data of the respective environment sensor with the learned new feature may generate software code for determining the new feature from the raw data based on the trained machine learning method, and adding the generated software code to Determining the new feature from the raw data of the respective environment sensor to a software code for determining the predetermined features in the raw data of the respective environmental sensor include. This can be an existing software code be efficiently extended by software code that can extract the new feature from the raw data of the environment sensor.
Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das maschinelle Lernverfahren ein neuronales Netz sein. Ferner kann das Erzeugen des Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren ein Bestimmen wenigstens eines Teils des trainierten, neuronalen Netzes, welches das neue Merkmal in den Rohdaten des jeweiligen Umfeldsensors erkennt, umfassen. Hiermit kann das Erzeugen des Softwarecodes effizient vereinfacht werden. According to a further advantageous embodiment, the machine learning method can be a neural network. Further, generating the software code to determine the new feature from the raw data based on the trained machine learning method may include determining at least a portion of the trained neural network that recognizes the new feature in the raw data of the respective environmental sensor. With this, the generation of the software code can be efficiently simplified.
Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren weiterhin ein According to a further advantageous embodiment, the method can continue
Bestimmen einer ersten Wahrscheinlichkeit mittels des maschinellen Lernverfahrens, mit der die Verkehrssituation basierend auf den vorgegebenen Merkmalen die Verkehrssituation erkennt, ein Bestimmen einer zweiten Wahrscheinlichkeit mittels des maschinellen Determining a first probability by means of the machine learning method with which the traffic situation recognizes the traffic situation based on the predefined characteristics, a determination of a second probability by means of the machine
Lernverfahrens, mit der die Verkehrssituation basierend auf den erweiterten Merkmalen die Verkehrssituation erkennt, umfassen. Falls die zweite Wahrscheinlichkeit höher ist als die erste Wahrscheinlichkeit, kann das Verfahren ein Erweitern der vorgegebenen Merkmale der Learning method with which the traffic situation recognizes the traffic situation based on the advanced features include. If the second probability is higher than the first probability, the method may extend the given features of the
Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal, ein Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs, ein Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors, ein Raw data of the respective environmental sensor with the learned, new feature, determining the advanced features from the raw data of the respective environmental sensor of the vehicle, determining one or more objects of the respective environmental sensor based on the specific, extended features of the raw data of each environment sensor, a
Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Merging the specific objects with the advanced features of each
Umfeldsensoren, und ein Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen, umfassen. Hiermit können neue Merkmale für das präzisere Bestimmen einer Verkehrssituation effizient ermittelt werden. Environment sensors, and detecting the traffic situation based on the merged objects with the advanced features include. Hereby, new features for the more precise determination of a traffic situation can be determined efficiently.
Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein computerlesbares Medium zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das Computer-lesbare Medium Instruktionen umfasst, die, wenn ausgeführt auf einem Computer oder einem Steuergerät, den Computer oder das Steuergerät dazu veranlassen, das oben beschriebene Verfahren auszuführen. Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein System zum According to another aspect, the invention features a computer-readable medium for operating a vehicle having environmental sensors for detecting an environment of the vehicle, the computer-readable medium comprising instructions that, when executed on a computer or a controller, the computer or the Cause the control unit to carry out the method described above. According to a further aspect, the invention is characterized by a system for
Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das System dazu eingerichtet ist das oben beschriebene Verfahren auszuführen. Operating a vehicle with environmental sensors for detecting an environment of the vehicle, the system being adapted to carry out the method described above.
Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein Fahrzeug umfassend das oben beschriebene System zum Betreiben des Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs. According to a further aspect, the invention is characterized by a vehicle comprising the above-described system for operating the vehicle with environmental sensors for detecting an environment of the vehicle.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Further features of the invention will become apparent from the claims, the figures and the description of the figures. All the features mentioned above in the description and
Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar. Feature combinations as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively indicated combination but also in other combinations or alone.
Im Folgenden wird anhand der beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung. Im Einzelnen zeigt schematisch Hereinafter, a preferred embodiment of the invention will be described with reference to the accompanying drawings. This results in further details, preferred embodiments and further developments of the invention. In detail shows schematically
Fig- 1 ein beispielhaftes Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren. 1 shows an example method for operating a vehicle with environmental sensors.
Im Detail zeigt Fig. 1 ein beispielhaftes Verfahren 100 zum Betreiben eines Fahrzeugs 102 mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs 102. Das Fahrzeug 102 kann Daten an einen Server im Backend 104 senden und Daten von dem Server des Backends 104 empfangen. Das Fahrzeug 102 kann wenigstens einen Teil des Verfahrens 100 in dem 1 illustrates an example method 100 of operating a vehicle 102 with environmental sensors to detect an environment of the vehicle 102. The vehicle 102 may send data to a server in the back end 104 and receive data from the backend 104 server. The vehicle 102 may include at least a portion of the method 100 in the
Fahrzeug 102 ausführen. Ferner kann das Backend 104 einen Teil des Verfahrens 100 ausführen. Vorzugsweise wird der Teil des Verfahrens 100 auf dem Backend 104 ausgeführt der einen hohen Bedarf an Rechen- und/oder Speicherressourcen benötigt. Run vehicle 102. Furthermore, the backend 104 may perform part of the method 100. Preferably, the part of the method 100 is executed on the backend 104, which requires a large amount of computing and / or memory resources.
Das Verfahren 100 erfasst 106 das Umfeld des Fahrzeugs 102 mittels eines oder mehreren Umfeldsensoren des Fahrzeugs 102. Die Umfeldsensoren des Fahrzeugs 102 können dabei Radarsensoren, Lasersensoren, Kameras und/oder Ultraschallsensoren sein. Der jeweilige Umfeldsensor des Fahrzeugs 102 stellt Rohdaten bereit, die dem Umfeld des jeweiligen Umfeldsensors entsprechen. Rohdaten sind vorzugsweise Daten, die von dem jeweiligen Umfeldsensors erfasst und unverändert bereitgestellt werden. In anderen Worten werden die Rohdaten keiner Datenverarbeitung durch den jeweiligen Umfeldsensor unterzogen. The method 100 detects 106 the environment of the vehicle 102 by means of one or more environment sensors of the vehicle 102. The environment sensors of the vehicle 102 may be radar sensors, laser sensors, cameras and / or ultrasound sensors. The respective environmental sensor of the vehicle 102 provides raw data that corresponds to the environment of the respective environment sensor. Raw data is preferably data from the respective one Environment sensor detected and provided unchanged. In other words, the raw data is not subjected to data processing by the respective environment sensor.
Das Verfahren 100 bestimmt 108 aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs vorgegebene Merkmale. Ein vorgegebenes Merkmal kann Daten eines Objekts, sogenannte Objektdaten, umfassen. Beispielsweise kann ein vorgegebenes Merkmal eine Position, eine Größe, eine Geschwindigkeit, eine Spurbreite, ein Spurverlauf, und/oder weitere Merkmal eines Objekts in dem Umfeld des Fahrzeugs sein. Ein Objekt ist vorzugsweise ein Objekt einer Verkehrssituation. Beispielsweise kann ein Objekt ein Verkehrsteilnehmer, ein Fahrzeug, eine Straße, eine Spur, und/oder ein anderes Objekt in dem Umfeld des Fahrzeugs sein. Basierend auf den vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors kann das Verfahren 100 ein oder mehrere Objekte in dem Umfeld des Fahrzeugs 102 bestimmen 1 10. Die bestimmten Objekte des Umfeldsensors können fusioniert 1 12 werden. Beim Fusionieren der bestimmten Objekte können fusionierte Objekte erzeugt werden. Dazu können Objekte, die von mehreren Umfeldsensoren des Fahrzeugs erfasst wurden, zu einem fusionierten Objekt zusammengeführt werden. Vorzugsweise erzeugt das Fusionieren der bestimmten Objekte der Umfeldsensoren eine Menge von Objekten, in der jedes Objekt in dem Umfeld des Fahrzeugs nur ein einziges Mal vorkommt. Die Menge von Objekten kann beispielsweise in einer Objektliste oder einer anderen Datenstruktur gespeichert werden. The method 100 determines 108 given from the raw data of the respective environment sensor of the vehicle features. A given feature may include data of an object, called object data. For example, a predetermined feature may be a position, a size, a speed, a lane width, a lane course, and / or another feature of an object in the environment of the vehicle. An object is preferably an object of a traffic situation. For example, an object may be a road user, a vehicle, a road, a lane, and / or another object in the environment of the vehicle. Based on the predetermined features of the raw data of the respective environment sensor, the method 100 may determine one or more objects in the environment of the vehicle 102 1 10. The particular objects of the environmental sensor may be merged. When merging the particular objects, merged objects can be created. For this purpose, objects that have been detected by several environment sensors of the vehicle, can be merged into a fused object. Preferably, fusing the particular objects of the environmental sensors creates a set of objects in which each object in the environment of the vehicle occurs only once. For example, the set of objects may be stored in an object list or other data structure.
Das Verfahren 100 kann basierend auf den fusionierten Objekten eine Verkehrssituation erkennen 1 14. Beispielshafte Verkehrssituationen können sein: Spielstraße mit Kinder, Spielstraße ohne Kinder, Kreuzung, Kreuzung mit Fußgänger, Baustelle, Kreisverkehr, Stau, Stadt, Land, Rechtsabbiegen, und/oder Linksabbiegen. Die Verkehrssituation können beispielsweise auch verknüpft werden: Kreuzung mit Fußgänger und Stadt und The method 100 may detect a traffic situation based on the merged objects 1 14. Example traffic situations may be: play street with children, play street without children, intersection, intersection with pedestrians, construction site, roundabout, traffic jam, city, countryside, right turn, and / or left turn , The traffic situation can also be linked, for example: intersection with pedestrian and city and
Rechtsabbiegen. Die Schritte 106 bis 1 14 des Verfahrens 100 werden vorzugsweise in dem Fahrzeug 102 ausgeführt. Das Ausführen der Schritte 106 bis 1 14 des Verfahrens erfolgt kontinuierlich sobald die Umfeldsensoren das Umfeld des Fahrzeugs 102 erfassen können. In anderen Worten werden die Schritte 106 bis 1 14 des Verfahrens online ausgeführt. Turn right. The steps 106 to 1 14 of the method 100 are preferably carried out in the vehicle 102. The execution of steps 106 to 1 14 of the method takes place continuously as soon as the environmental sensors can detect the environment of the vehicle 102. In other words, steps 106 to 14 of the method are performed online.
Das Verfahren 100 kann Rohdaten der Umfeldsensoren des Fahrzeugs 102 an ein The method 100 may include raw data of the environment sensors of the vehicle 102
maschinelles Lernverfahren 1 18, welches auf einem Server des Backends 104 ausgeführt wird, übertragen 1 16. Mittels der Rohdaten der jeweiligen Umfeldsensoren kann das maschinelle Lernverfahren 1 18 bezüglich der erkannten Verkehrssituation des Fahrzeugs 102 trainiert werden. Dazu kann das Fahrzeug 102 neben den Rohdaten der jeweiligen Umfeldsensoren des Fahrzeugs auch die fusionierten Objekte der erkannten Verkehrssituation an das Backend 104, insbesondere an das maschinelle Lernverfahren 1 18 des Backend 104, übermitteln 122. machine learning method 1 18, which is executed on a server of the backend 104, transfer 1 16. By means of the raw data of the respective environment sensors, the machine learning method 1 18 trained with respect to the detected traffic situation of the vehicle 102 become. For this purpose, in addition to the raw data of the respective environment sensors of the vehicle, the vehicle 102 can also transmit the merged objects of the detected traffic situation to the backend 104, in particular to the machine learning method 1 18 of the backend 104.
Das Verfahren 100 kann ein neues Merkmal aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation lernen. Beispielsweise kann das neue Merkmal ein Richtungsanzeiger eines vorausfahrenden, rechtsabbiegenden Fahrzeugs sein, der in den Rohdaten eines Kamerasensors des Fahrzeugs 102 enthalten ist und welcher dazu führt, dass die Verkehrssituation Rechtsabbiegen mit einer höheren Wahrscheinlichkeit erkannt wird. Allgemein kann das maschinelle Lernverfahren Korrelationen zwischen Merkmalen der Rohdaten der Umfeldsensoren erkennen und daraus neue Merkmale von Objekten ableiten, die es dem Fahrzeug ermöglichen mit einer höheren Wahrscheinlichkeit eine Verkehrssituation korrekt erkennen zu können. Das maschinelle Lernverfahren 1 18 kann offline auf einem Server des Backend 104 ausgeführt werden. Dies bedeutet, dass das maschinelle Lernverfahren 1 18 nach Empfang der Daten von dem Fahrzeug so ausgeführt werden kann als bestünde keine Kommunikationsverbindung zu dem Fahrzeug.The method 100 may learn a new feature from the raw data of the respective environmental sensor by means of the trained machine learning method for the detected traffic situation. For example, the new feature may be a heading indicator of a leading right turn vehicle included in the raw data of a camera sensor of the vehicle 102 and resulting in the traffic situation right turn being detected with a higher probability. In general, the machine learning method can recognize correlations between features of the raw data of the environmental sensors and derive new features from objects that enable the vehicle to recognize a traffic situation with a higher probability of being able to recognize them correctly. The machine learning method 18 may be executed offline on a server of the back end 104. That is, after receiving the data from the vehicle, the machine learning method 118 may be executed as if there were no communication connection to the vehicle.
In anderen Worten benötigt das maschinelle Lernverfahren während dem Trainieren des Lernverfahrens und dem Lernen der neuen Merkmale keine Kommunikationsverbindung zu dem Fahrzeug. Ferner kann durch das Ausführen des maschinellen Lernverfahrens offline Rechenkapazität des Fahrzeugs 102 eingespart werden. Dies kann zu einer effizienteren Nutzung von vorhandener Rechenleistung in dem Fahrzeug 102 führen. In other words, during training of the learning process and learning of the new features, the machine learning method does not require a communication link to the vehicle. Further, by executing the machine learning method, offline computing capacity of the vehicle 102 can be saved. This may result in a more efficient use of existing computing power in the vehicle 102.
Das Verfahren 100 kann die vorgegebenen Merkmale der Rohdaten des jeweiligen The method 100 may determine the predetermined features of the raw data of the respective
Umfeldsensors mit dem gelernten, neuen Merkmal erweitern. Dazu kann das Backend 104 einen Softwarecode zum Erkennen des neuen Merkmals erzeugen und an das Fahrzeug 102 übertragen 120. Ist der Softwarecode zum Erkennen des neuen Merkmals von dem Fahrzeug 102 empfangen worden, kann das Fahrzeug die Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Expand environment sensor with the learned, new feature. For this, the back end 104 may generate and transmit software code for recognizing the new feature 120 to the vehicle 102. Once the software code for recognizing the new feature has been received by the vehicle 102, the vehicle may augment the objects of the respective environmental sensor based on the particular environment Characteristics of the raw data of the respective
Umfeldsensors bestimmen. Beispielsweise kann das Fahrzeug 102 das neue Merkmal Richtungsanzeiger des Objekts vorausfahrendes, rechtsabbiegendes Fahrzeug bestimmen. Determine environment sensor. For example, the vehicle 102 may determine the new feature direction indicator of the object ahead, right-turning vehicle.
Vorteilhafterweise verknüpft das Verfahren ein Lernen von neuen Merkmalen auf Rohdaten von Umfeldsensoren im Backend mit einer Fusion von Objekten in dem Fahrzeug, um Advantageously, the method associates learning new features on raw data from environmental sensors in the backend with a fusion of objects in the vehicle
Verkehrssituation verbessert zu erkennen. Dabei kann das Verfahren auf bestehenden Steuergeräten ausgeführt werden, da das rechenintensive Lernverfahren auf dem Backend 104 ausgeführt wird. Durch das Erweitern der vorgegebenen Merkmale um neue Merkmale kann eine Verkehrssituation mit einer erhöhten Genauigkeit von dem Fahrzeug 102 erkannt und/oder interpretiert werden. Traffic situation improved to recognize. The procedure can be based on existing Controllers are executed because the compute-intensive learning process is performed on the backend 104. By extending the given features to new features, a traffic situation with increased accuracy can be detected and / or interpreted by the vehicle 102.
io io
Bezugszeichenliste LIST OF REFERENCE NUMBERS
100 Verfahren 100 procedures
102 Fahrzeug  102 vehicle
104 Backend  104 backend
106 erfassen eines Umfelds mittels Umfeldsensoren  106 capture an environment using environment sensors
108 bestimmen von Merkmalen in Rohdaten der Umfeldsensoren 108 determine features in raw data of environment sensors
1 10 bestimmen von Objekten 1 10 determine objects
1 12 fusionieren von Objekten  1 12 merge objects
1 14 erkennen einer Verkehrssituation  1 14 recognize a traffic situation
1 16 übermitteln von Rohdaten  1 16 transmitting raw data
1 18 maschinelles Lernverfahren  1 18 machine learning
120 übermitteln von neuen Merkmalen  120 transmit new features
122 übermitteln von fusionierten Objekten einer Verkehrssituation  122 transmit merged objects of a traffic situation

Claims

Patentansprüche claims
1. Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, das Verfahren umfassend: A method of operating a vehicle having environmental sensors for detecting an environment of the vehicle, the method comprising:
Erfassen des Umfelds des Fahrzeugs mittels eines jeweiligen Umfeldsensors, wobei der jeweilige Umfeldsensor Rohdaten bereitstellt, die dem Umfeld des jeweiligen Umfeldsensors entsprechen;  Detecting the environment of the vehicle by means of a respective environment sensor, wherein the respective environment sensor provides raw data that correspond to the environment of the respective environment sensor;
Bestimmen von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen  Determining given features from the raw data of the respective
Umfeldsensors des Fahrzeugs; Environment sensor of the vehicle;
Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors;  Determining one or more objects of the respective environmental sensor based on the determined, predetermined characteristics of the raw data of the respective environment sensor;
Fusionieren der bestimmten Objekte der Umfeldsensoren;  Fusing the particular objects of the environmental sensors;
Erkennen einer Verkehrssituation basierend den fusionierten Objekten;  Detecting a traffic situation based on the merged objects;
Trainieren eines maschinellen Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation;  Training a machine learning method based on the raw data of the respective environment sensors with respect to the detected traffic situation;
Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation;  Learning a new feature from the raw data of the respective environment sensor by means of the trained, machine learning method for the detected traffic situation;
Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal;  Expanding the given features of the raw data of the respective environment sensor with the learned new feature;
Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs;  Determining the enhanced features from the raw data of the respective environmental sensor of the vehicle;
Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors;  Determining one or more objects of the respective environmental sensor based on the determined, enhanced features of the raw data of the respective environmental sensor;
Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren; und  Fusing the particular objects with the enhanced features of the respective environmental sensors; and
Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen.  Recognize the traffic situation based on the merged objects with the extended features.
2. Verfahren nach Anspruch 1 , wobei die vorgegebenen Merkmale eines jeweiligen 2. The method of claim 1, wherein the predetermined characteristics of a respective
Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren; Environment sensor specify an object of the environment of the vehicle;
wobei die erweiterten Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren.  wherein the enhanced features of a respective environmental sensor specify an object of the environment of the vehicle.
3. Verfahren nach einem der vorhergehenden Ansprüche, das Verfahren weiterhin umfassend: Übertragen der Rohdaten der jeweiligen Umfeldsensoren von dem Fahrzeug an einen3. The method according to any one of the preceding claims, the method further comprising: Transmission of the raw data of the respective environment sensors from the vehicle to a
Server; Server;
Übertragen der erkannten Verkehrssituation von dem Fahrzeug an den Server;  Transmitting the detected traffic situation from the vehicle to the server;
Empfangen der Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs von dem Fahrzeug durch den Server;  Receiving the raw data of the respective environmental sensor of the vehicle from the vehicle by the server;
Empfangen der erkannten Verkehrssituation von dem Fahrzeug durch den Server; Receiving the detected traffic situation from the vehicle by the server;
Übertragen des gelernten, neuen Merkmals von dem Server an das Fahrzeug; undTransmitting the learned new feature from the server to the vehicle; and
Empfangen des gelernten, neuen Merkmals durch das Fahrzeug von dem Server. Receiving the learned, new feature by the vehicle from the server.
4. Verfahren nach Anspruch 3, wobei das Erfassen des Umfelds des Fahrzeugs durch das Fahrzeug ausgeführt wird; 4. The method of claim 3, wherein the sensing of the environment of the vehicle is performed by the vehicle;
wobei das Bestimmen von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug ausgeführt wird;  wherein determining predetermined features from the raw data of the respective environmental sensor of the vehicle is performed by the vehicle;
wobei das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug ausgeführt wird;  wherein determining one or more objects of the respective environmental sensor is performed by the vehicle based on the determined, predetermined characteristics of the raw data of the respective environmental sensor;
wobei das Fusionieren der bestimmten Objekte der Umfeldsensoren durch das Fahrzeug ausgeführt wird;  wherein the merging of the particular objects of the environmental sensors by the vehicle is performed;
wobei das Erkennen einer Verkehrssituation basierend den fusionierten Objekten durch das Fahrzeug ausgeführt wird;  wherein the recognition of a traffic situation based on the merged objects is performed by the vehicle;
wobei das Trainieren eines maschinellen Lern verfahre ns basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation durch den Server ausgeführt wird;  wherein the training of a machine learning ns is performed based on the raw data of the respective environmental sensors with respect to the detected traffic situation by the server;
wobei das Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen  wherein learning a new feature from the raw data of the respective
Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Environment sensor by means of the trained, machine learning method for the recognized
Verkehrssituation durch den Server ausgeführt wird; Traffic situation is performed by the server;
wobei das Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal durch den Server und/oder durch das Fahrzeug ausgeführt wird;  wherein the extension of the predetermined features of the raw data of the respective environment sensor with the learned new feature is performed by the server and / or by the vehicle;
wobei das Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug ausgeführt wird;  wherein determining the enhanced features from the raw data of the respective environmental sensor of the vehicle is performed by the vehicle;
wobei das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen  wherein determining one or more objects of the respective environmental sensor based on the determined, extended features of the raw data of the respective
Umfeldsensors durch das Fahrzeug ausgeführt wird; wobei das Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren durch das Fahrzeug ausgeführt wird; und Environment sensor is performed by the vehicle; wherein the merging of the particular objects with the enhanced features of the respective environmental sensors is performed by the vehicle; and
wobei das Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen durch das Fahrzeug ausgeführt wird.  wherein the recognition of the traffic situation is performed based on the merged objects having the enhanced features by the vehicle.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erweitern der 5. The method according to any one of the preceding claims, wherein extending the
vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal umfasst: predetermined features of the raw data of each environment sensor with the learned new feature includes:
Erzeugen eines Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren;  Generating a software code for determining the new feature from the raw data based on the trained machine learning method;
Hinzufügen des erzeugten Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors zu einem Softwarecode zum Bestimmen der vorgegebenen Merkmale in den Rohdaten des jeweiligen Umfeldsensors.  Adding the generated software code for determining the new feature from the raw data of the respective environment sensor to a software code for determining the predetermined features in the raw data of the respective environment sensor.
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das maschinelle Lernverfahren ein neuronales Netz ist; und A method according to any one of the preceding claims, wherein the machine learning method is a neural network; and
wobei das Erzeugen des Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren umfasst:  wherein generating the software code for determining the new feature from the raw data based on the trained machine learning method comprises:
Bestimmen wenigstens eines Teils des trainierten, neuronalen Netzes, welches das neue Merkmal in den Rohdaten des jeweiligen Umfeldsensors erkennt.  Determining at least a part of the trained, neural network, which recognizes the new feature in the raw data of the respective environment sensor.
7. Verfahren nach einem der vorhergehenden Ansprüche, das Verfahren weiterhin umfassend: A method according to any one of the preceding claims, the method further comprising:
Bestimmen einer ersten Wahrscheinlichkeit mittels des maschinellen Lernverfahrens mit der die Verkehrssituation basierend auf den vorgegebenen Merkmalen die Verkehrssituation erkennt;  Determining a first probability by means of the machine learning method with which the traffic situation recognizes the traffic situation based on the predetermined characteristics;
Bestimmen einer zweiten Wahrscheinlichkeit mittels des maschinellen Lernverfahrens mit der die Verkehrssituation basierend auf den erweiterten Merkmalen die Verkehrssituation erkennt; und  Determining a second probability by means of the machine learning method with which the traffic situation recognizes the traffic situation based on the extended features; and
Falls die zweite Wahrscheinlichkeit höher ist als die erste Wahrscheinlichkeit:  If the second probability is higher than the first probability:
Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal;  Expanding the given features of the raw data of the respective environment sensor with the learned new feature;
Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen  Determine the extended features from the raw data of each
Umfeldsensors des Fahrzeugs; Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors; Environment sensor of the vehicle; Determining one or more objects of the respective environmental sensor based on the determined, enhanced features of the raw data of the respective environmental sensor;
Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren; und  Fusing the particular objects with the enhanced features of the respective environmental sensors; and
Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen.  Recognize the traffic situation based on the merged objects with the extended features.
8. Computerlesbares Medium zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das Computer-lesbare Medium Instruktionen umfasst, die, wenn ausgeführt auf einem Computer oder einem Steuergerät, den Computer oder das Steuergerät dazu veranlassen, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen. A computer-readable medium for operating a vehicle having environmental sensors for sensing an environment of the vehicle, the computer-readable medium comprising instructions that, when executed on a computer or controller, cause the computer or controller to perform the method of any one of Claims 1 to 7 execute.
9. System zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das System dazu eingerichtet ist das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen. 9. A system for operating a vehicle with environmental sensors for detecting an environment of the vehicle, wherein the system is configured to carry out the method according to one of claims 1 to 7.
10. Fahrzeug umfassend das System zum Betreiben des Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs nach Anspruch 9. 10. A vehicle comprising the system for operating the vehicle with environmental sensors for detecting an environment of the vehicle according to claim 9.
PCT/EP2019/059064 2018-05-02 2019-04-10 Method for operating a vehicle having environment sensors for detecting the surroundings of the vehicle, computer-readable medium, system and vehicle WO2019211067A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018206745.7 2018-05-02
DE102018206745.7A DE102018206745B4 (en) 2018-05-02 2018-05-02 Method for operating a vehicle with environmental sensors for detecting an environment of the vehicle, computer-readable medium, system, and vehicle

Publications (1)

Publication Number Publication Date
WO2019211067A1 true WO2019211067A1 (en) 2019-11-07

Family

ID=66223686

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/059064 WO2019211067A1 (en) 2018-05-02 2019-04-10 Method for operating a vehicle having environment sensors for detecting the surroundings of the vehicle, computer-readable medium, system and vehicle

Country Status (2)

Country Link
DE (1) DE102018206745B4 (en)
WO (1) WO2019211067A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364783A (en) * 2020-11-13 2021-02-12 诸暨思看科技有限公司 Part detection method and device and computer readable storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014205180A1 (en) 2014-03-20 2015-09-24 Robert Bosch Gmbh Method and device for operating a vehicle
US20180068206A1 (en) * 2016-09-08 2018-03-08 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
DE102016217246A1 (en) * 2016-09-09 2018-03-15 Robert Bosch Gmbh Concept for detecting an environment of a motor vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4337164B4 (en) 1992-11-05 2006-04-20 Volkswagen Ag Control device for the automatic transmission of an automatic transmission
DE102015007493B4 (en) 2015-06-11 2021-02-25 Audi Ag Method for training a decision algorithm and a motor vehicle used in a motor vehicle
DE102016000493B4 (en) 2016-01-19 2017-10-19 Audi Ag Method for operating a vehicle system and motor vehicle
US10678240B2 (en) 2016-09-08 2020-06-09 Mentor Graphics Corporation Sensor modification based on an annotated environmental model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014205180A1 (en) 2014-03-20 2015-09-24 Robert Bosch Gmbh Method and device for operating a vehicle
US20180068206A1 (en) * 2016-09-08 2018-03-08 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
DE102016217246A1 (en) * 2016-09-09 2018-03-15 Robert Bosch Gmbh Concept for detecting an environment of a motor vehicle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364783A (en) * 2020-11-13 2021-02-12 诸暨思看科技有限公司 Part detection method and device and computer readable storage medium
CN112364783B (en) * 2020-11-13 2023-07-14 黑龙江鸿时数字科技有限公司 Part detection method and device and computer readable storage medium

Also Published As

Publication number Publication date
DE102018206745A1 (en) 2019-11-07
DE102018206745B4 (en) 2024-03-28

Similar Documents

Publication Publication Date Title
EP3695244B1 (en) Method and device for creating an inverse sensor model and method for detecting obstacles
DE102017200180A1 (en) Method and test unit for the motion prediction of road users in a passively operated vehicle function
EP3490862B1 (en) Method and device for determining a roadway model for the surroundings of a vehicle
WO2016066416A1 (en) Method and apparatus for determining a current driving situation
DE102019105359B4 (en) Process for an ultrasonic measuring system in the vehicle for the detection and classification of objects in the area around the vehicle with the help of a deep learning process and a self-learning decision maker
WO2018114808A1 (en) Prediction of traffic situations
DE102021128041A1 (en) IMPROVEMENT OF A VEHICLE NEURAL NETWORK
DE102018133457B4 (en) Method and system for providing environmental data
DE102015223481A1 (en) Method for adjusting a steering assistance of a vehicle
EP3789926A1 (en) Method for detecting an adversarial fault in the input data of a neural network
DE102017126452B4 (en) Vehicle control system
DE102018124161A1 (en) Method for at least partially automated driving of a motor vehicle on a roadway
DE102019134408A1 (en) Self-learning network of neural network models for safety-relevant applications in the vehicle for the detection and classification of objects in the vicinity of the vehicle with the help of a deep learning process
WO2020104551A1 (en) Object recognition using the sensor system of vehicles
WO2019211067A1 (en) Method for operating a vehicle having environment sensors for detecting the surroundings of the vehicle, computer-readable medium, system and vehicle
DE102019104974A1 (en) Method and system for determining a driving maneuver
DE102017217986A1 (en) METHOD AND DEVICE FOR PREDICTING POTENTIAL COLLISIONS, DRIVER ASSISTANCE SYSTEM AND VEHICLE
DE102020100996A1 (en) Ultrasonic measuring system with a self-learning AI control of microbeamformers in the vehicle
DE102020101060A1 (en) Self-learning ultrasonic measuring system in the vehicle for the detection and classification of objects in the vicinity of the vehicle with a multiplanar reformatter
WO2019211293A1 (en) Method for operating a driver assistance system of an ego vehicle having at least one surroundings sensor for detecting the surroundings of the ego vehicle, computer readable medium, system and vehicle
DE102018207719A1 (en) Apparatus and method for operating an automated vehicle
DE102018215136B4 (en) Method for selecting an image section of a sensor
EP3957531A1 (en) Automated travel system and computer-implemented method, computer system and computer program for executing an emergency trajectory for an automated travel system
EP4211599A1 (en) Computer-implemented method for environment detection for an automated driving system, machine learning method, control device for an automated driving system, and computer program for such a control device
DE102021204239A1 (en) Method for operating an assistance system and assistance system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19718287

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19718287

Country of ref document: EP

Kind code of ref document: A1