WO2020126167A1 - Verfahren zur erkennung von mindestens einem muster in einer umgebung eines fahrzeugs, steuergerät zum ausführen eines solchen verfahrens, sowie fahrzeug mit einem solchen steuergerät - Google Patents

Verfahren zur erkennung von mindestens einem muster in einer umgebung eines fahrzeugs, steuergerät zum ausführen eines solchen verfahrens, sowie fahrzeug mit einem solchen steuergerät Download PDF

Info

Publication number
WO2020126167A1
WO2020126167A1 PCT/EP2019/078863 EP2019078863W WO2020126167A1 WO 2020126167 A1 WO2020126167 A1 WO 2020126167A1 EP 2019078863 W EP2019078863 W EP 2019078863W WO 2020126167 A1 WO2020126167 A1 WO 2020126167A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
pattern
reference data
drone
determined
Prior art date
Application number
PCT/EP2019/078863
Other languages
English (en)
French (fr)
Inventor
Mohsen SEFATI
Holger Claus
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Publication of WO2020126167A1 publication Critical patent/WO2020126167A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the invention relates to a method for recognizing at least one pattern in an environment of a vehicle, a control device set up for executing such a method, and a vehicle with such a control device.
  • the manual marking of objects on a picture is a time-consuming and expensive process. For example, when generating reference data for recognizing objects in the vicinity of a vehicle, manual confirmation is required as to whether the existing reference data correspond to reality or have to be modified. Such methods of identification are found in particular
  • Training sets can be recognized using different parameter patterns, in particular objects.
  • objects for example cars, trucks, two-wheelers, pedestrians, but also objects, buildings and other traffic situations are contained.
  • a trained model for example a neural network
  • the model suggests areas and / or contours for real existing objects. The area and / or the contour of the objects no longer have to be selected manually.
  • Reference data play an important role in the validation and training of functions for at least partially autonomous vehicles.
  • the reference data are known as so-called “ground truth”, which are to be understood as expected real results and as the basis for evaluating functions.
  • Reference data is an important part of validation, testing and training of models based on machine learning based.
  • Machine learning methods in particular by means of neural networks, for example a convolutional neuronal network (CNN), which are based on the so-called deep learning approach, are used to recognize patterns, in particular because of the good performance in comparison to conventional methods.
  • CNN convolutional neuronal network
  • neural networks learn from the differences between the results obtained and the reference data as the expected real results and adapt the method, for example by weighting the parameters used.
  • the quality and performance of the models essentially depend on the quality of the reference data.
  • the reference data can be provided in different ways, for example by manual marking, the area and / or the contour of each object always being manually selected and marked within the field of view of the sensor. This can take 10 to 20 minutes for a single captured image of a camera with a viewing angle of 90 ° in urban road traffic that comprises 20 objects. The area and / or the contour of each object must be selected and classified into a predefined class. This is time consuming and expensive, as thousands of images are usually required for acceptable system performance. The time required for this is even greater if different sensors, for example a radar, a lidar and an ultrasound, are to be used to record the surroundings of the vehicle.
  • the sensors for example a radar, a lidar and an ultrasound, are to be used to record the surroundings of the vehicle.
  • Labeling must be carried out separately for each sensor. Furthermore, verification and training become more complex the more images are to be taken into account, for example around objects in the vicinity of a vehicle
  • German patent application DE 101 10 275 A1 relates to a method for
  • a labeling proposal is automatically generated for the sample. This labeling proposal can be generated separately from the actual labeling process, for example when the method for generating the
  • the invention is therefore based on the object of providing a method for recognizing at least one pattern in the surroundings of a vehicle, the mentioned disadvantages do not occur, and in particular a quick and efficient detection of patterns of the real environment is possible.
  • the object is achieved in particular by creating a method for recognizing at least one pattern in an environment of a vehicle, the method being characterized in that a) first reference data are determined by at least one first system, the at least one first system at least is a sensor of the vehicle, b) by another system
  • Reference data are determined, with the further system being at least one drone, with images of the
  • At least one reference pattern is determined using the first reference data and the further reference data, d) at least one pattern is detected by the vehicle in the surroundings of the vehicle, e) the at least one pattern detected by the vehicle with the at least one
  • Reference pattern is compared, with deviations being determined, and f) the at least one pattern detected by the vehicle is at least partially adapted as a function of the determined deviations.
  • Reference data reference patterns of the objects located in the vicinity of the vehicle are determined, and a comparison of the reference patterns with that of the
  • Vehicle registered patterns is possible, in particular the data can be validated.
  • the further system in particular the at least one drone, is used in addition to the provision of reference data for validation and to train the recognition of objects.
  • the at least one drone flies over the at least partially autonomous vehicle and represents the surroundings of the vehicle in one
  • the detection and classification of objects, in particular the classification of the behavior of objects, in the bird's eye view is advantageously easier than the detection based on an image of the camera of the Vehicle because the outlines of the objects appear rectangular and the objects are less covered by other objects or other disturbances.
  • a further system is used in addition to one or more already existing and / or already used systems, in particular sensors, in the vehicle.
  • the further system provides a further perspective, a further viewing angle and / or additional information, which in particular simplifies and / or improves the detection, classification and / or identification of objects.
  • the sources of the reference data are preferably connected to one another at least temporarily and are time-controlled so that the result of each system can be assigned to an image at a specific time.
  • the method according to the invention for recognizing at least one pattern in the surroundings of a vehicle has advantages compared to the prior art.
  • the validation and training for the recognition of patterns is advantageously facilitated by reference data, since the reference data in particular do not have to be carried out by complex and expensive labeling processes, in particular by manual recognition of the patterns.
  • the drone advantageously captures 360 ° images around the vehicle. Disturbing influences, such as differences, shadows from trees, changes in surfaces, in particular colors of the surface, are advantageously less present in the bird's eye view and thereby disturb the
  • the 360 ° view around the vehicle is advantageously provided and does not have to be captured by a large number of images, in particular the objects in the vicinity of the vehicle can be made visible in a single image.
  • more details of the surroundings of the vehicle can be recognized, which are covered by a perspective of a sensor installed in a vehicle, in particular a camera.
  • reference data for the identification and recognition of objects can be provided faster, with better quality and with more information.
  • the reference data can advantageously be used for the detection, classification and also tracking of objects.
  • the tracking of objects and / or vehicles from the bird's eye view is advantageously facilitated.
  • the additional use of drones advantageously makes additional reference data available Validation and training of at least partially autonomous vehicles provided.
  • a drone is also understood to mean, in particular, a miniature airplane or a zeppelin.
  • the drone is preferably arranged dynamically in the vicinity of the vehicle, so that the drone can be moved in particular in the vicinity of the vehicle.
  • the drone is preferably arranged statically in the vicinity of the vehicle.
  • Reference data are understood in particular to mean data of the real surroundings of a vehicle.
  • the reference data are used in particular for comparison with the
  • Data of the surroundings determined by the vehicle are compared, in particular parameters for the determination of the data by the vehicle being adapted so that they at least largely correspond to the reference data.
  • the reference patterns can preferably be used for training a large number of sensors of the vehicle.
  • the at least one sensor is preferably the
  • Vehicle a camera, a radar, or a lidar sensor.
  • the drone preferably has a camera for capturing the surroundings of the
  • the object is preferably recognized as a function of time, in particular tracking of the object and / or behavior of the object is recorded.
  • the drone is preferably located in an axis perpendicular to the vehicle.
  • the drone is preferably at a distance of 10 m vertically above the vehicle, preferably at a distance of 15 m, preferably at a distance of 20 m, preferably at a distance of 30 m, preferably at a distance of 40 m, preferably in a distance of 50 m, preferably at a distance of 100 m, preferably at a distance of 200 m, preferably at a distance of 300 m, preferably at a distance of 400 m, or preferably at a distance of 500 m.
  • the reference data recorded by the at least one sensor of the vehicle are preferably exchanged and / or synchronized with the drone, and / or the reference data recorded by the drone are exchanged with the vehicle and / or synchronized.
  • the data are preferably exchanged and / or synchronized between the vehicle and the drone by means of a WLAN connection and / or a mobile radio connection, for example a UMTS connection.
  • a coordinate system of the vehicle in particular a coordinate system located in the center of the rear axle of the vehicle, is preferably used as a reference point for comparing the reference data recorded by the vehicle with the reference data recorded by the drone.
  • a pattern is understood to mean in particular a determined object and / or a situation in the surroundings of a vehicle.
  • the pattern is preferably an exit, a tree, a building, a sight, a constriction, an intersection, a type of road, another vehicle, a building, an object, a number of lanes, a lane marking, a traffic jam, a tunnel Accident, a weather condition and / or a pedestrian.
  • a reference pattern is understood in particular to be a pattern which is determined on the basis of the entirety of all reference data, the reference pattern in particular representing the real situation of the surroundings of the vehicle as far as possible.
  • the reference pattern is used for comparison with a pattern captured by a vehicle, in order to determine deviations of the captured pattern from the real situation and to adapt the pattern captured by the vehicle to the real situation as far as possible.
  • the pattern detected by the vehicle is preferably adapted to a reference pattern as a function of the determined deviations.
  • the pattern obtained in this way is shown to the user of the vehicle in a suitable form on a display.
  • a deviation is understood to mean in particular a difference between at least one parameter of a pattern detected by a vehicle and a reference pattern, in particular of the same object.
  • the environment of the vehicle in particular the area of the vehicle, is preferably used
  • Predefined environment of the vehicle preferably a maximum area of the environment on which patterns are to be recognized.
  • a vehicle is, in particular, a passenger car, a truck, a bus, a motorhome, a construction vehicle, a commercial vehicle or a
  • the at least one reference pattern is recognized by means of a neural network.
  • the neural network is based in particular on the networking of many neurons that form a network and are interconnected for the exchange of data.
  • the neural network is a network capable of learning, in particular capable of learning through positive and / or negative experience, so that the results of the neural network, in particular the recognition and / or classification of a pattern, are closer to the real result.
  • the neural network is in particular a neural network that has undergone a training phase in order to recognize and / or classify patterns.
  • the neural network for recognizing and classifying patterns of an environment of a vehicle is preferably a trained neural network.
  • the drone is automatically positioned by means of a marker, the marker preferably being arranged on the roof of the vehicle.
  • the at least one drone preferably follows this
  • Vehicle by recognizing the specific marker. In particular, it is ensured that the drone is turned in a bird's-eye view in the direction relevant to road traffic, in which the vehicle is also located.
  • the marker is an optical marker, in particular a QR code.
  • the at least one reference pattern is used for the validation and raining of at least partially autonomous vehicles.
  • the drone is at least largely vertically above the vehicle, preferably at a distance of 300 m above the vehicle.
  • the distance of the drone above the vehicle is preferably 5 m, preferably 10 m, preferably 20 m, preferably 30 m, preferably 40 m, preferably 50 m, preferably 100 m, preferably 200 m, preferably 300 m, preferably 400 m, or preferably 500 m.
  • the drone is preferably located in a certain radius perpendicularly above the vehicle, preferably in a radius of 2 m, preferably 4 m, preferably 6 m, preferably 8 m, or preferably 10 m.
  • the reference data provided by the drone are compared without prior processing and / or change.
  • the object is also achieved by providing a control device which is used for
  • Execution of a method according to the invention is set up, in particular according to one of the exemplary embodiments described above.
  • the object is also achieved by providing a vehicle with a control device according to the invention, in particular according to one of the exemplary embodiments described above.
  • This gives the vehicle in particular the advantages which have already been explained in connection with the control unit and the method for recognizing at least one pattern in the surroundings of a vehicle.
  • the vehicle is preferably an at least partially autonomous vehicle.
  • the single figure shows a schematic representation of a method for recognizing at least one pattern in the surroundings of a vehicle.
  • the single FIGURE shows a schematic illustration of an exemplary embodiment of a method for recognizing at least one pattern 1 in an environment of a vehicle 3 with an environment of the vehicle 3 detected by a sensor of a vehicle 3 (FIG. 1A), the sensor in the present exemplary embodiment is a camera; an environment of the vehicle 3 captured by a drone 9 (FIG. 1B), the surroundings being captured by a camera of the drone 9; an arrangement of a drone 9 above the vehicle 3 in plan view ( Figure 1 C); and an arrangement of a drone 9 above the vehicle 3 in a side view (FIG. 1D).
  • the method is characterized in particular in that a) first reference data are determined by at least one first system 5, the at least one first system 5 being at least one sensor of vehicle 3, b) further reference data are determined by another system 7, the Another system 7 is at least one drone 9, with the at least one drone 9 capturing images of the surroundings of the vehicle 3 in a bird's eye view, c) by means of the first
  • Reference data and the further reference data, at least one reference pattern is determined, d) vehicle 3 detects at least one pattern in the vicinity of vehicle 3, e) vehicle 3 compares at least one pattern detected with the at least one reference pattern , where deviations are determined, and f) the at least one pattern detected by the vehicle 3 is at least partially adapted as a function of the determined deviations.
  • the drone 9 can transmit the further reference data to the vehicle 3.
  • the vehicle 3 uses the at least one sensor, in particular a camera, to detect the surroundings of the vehicle 3 (FIG. 1A), the at least one sensor representing the first system 5 for determining the reference data.
  • the drone 9 captures the surroundings 3 of the vehicle in a bird's eye view, the drone 9 representing the further system 7 for capturing reference data (FIG. 1B).
  • the at least one reference pattern is determined using the reference data acquired by the first system 5 and the reference data acquired by the further system 7.
  • the reference pattern obtained in this way can be compared with the pattern detected by the vehicle 3 in the vicinity of the vehicle 3, whereby deviations are determined, so that the pattern detected by the vehicle 3 can be at least partially adapted.
  • the drone 9 captures the surroundings of the vehicle 3 in a bird's eye view (FIG. 1C).
  • the drone 9 is located, in particular, vertically above the vehicle 3 (FIG. 1D).
  • the validation and training for the recognition of patterns is advantageously facilitated by reference data, since the reference data in particular do not have to be carried out by complex and expensive labeling processes, in particular by manual recognition of the patterns.
  • more details of the surroundings of the vehicle can be recognized, which are covered by a perspective of a sensor installed in a vehicle, in particular a camera.
  • reference data for the identification and recognition of objects can be provided faster, with better quality and with more information.
  • the at least one reference pattern is recognized by means of a neural network.
  • the drone 9 is automatically positioned by means of a marker 11, the marker 11 being preferably arranged on the roof of the vehicle 3.
  • the marker 11 is an optical marker 11, in particular a QR code.
  • the at least one reference pattern is used for the validation and training of at least partially autonomous vehicles.
  • the drone 9 is located vertically above the vehicle 3, preferably at a distance of 50 m above the vehicle 3.
  • the drone 9 provides
  • the method can in particular be carried out by a control device.
  • the vehicle 3 can have the control unit.
  • the vehicle 3 is in particular an at least partially autonomous vehicle 3.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von mindestens einem Muster (1) in einer Umgebung eines Fahrzeugs (3), dadurch gekennzeichnet, dass durch mindestens ein erstes System (5) erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System (5) mindestens ein Sensor des Fahrzeugs (3) ist, durch ein weiteres System (7) weitere Referenzdaten ermittelt werden, wobei das weitere System (7) mindestens eine Drohne (9) ist, wobei mittels der mindestens einen Drohne (9) in einer Vogelperspektive Bilder der Umgebung des Fahrzeugs (3) erfasst werden, mittels der ersten Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird, durch das Fahrzeug (3) mindestens ein Muster in der Umgebung des Fahrzeugs (3) erfasst wird, das durch das Fahrzeug (3) mindestens eine erfasste Muster mit dem mindestens einen Referenz-Muster abgeglichen wird, wobei Abweichungen ermittelt werden, und das mindestens eine von dem Fahrzeug (3) erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise angepasst wird.

Description

Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät
Die Erfindung betrifft ein Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, ein Steuergerät, eingerichtet zum Ausführen eines solchen Verfahrens, sowie ein Fahrzeug mit einem solchen Steuergerät.
Die manuelle Kennzeichnung von Objekten auf einem Bild ist ein zeitraubender und teurer Prozess. So ist beispielsweise bei der Generierung von Referenzdaten zur Erkennung von Objekten in der Umgebung eines Fahrzeugs eine manuelle Bestätigung erforderlich, ob die vorliegenden Referenzdaten der Realität entsprechen oder modifiziert werden müssen. Derartige Verfahren zur Kennzeichnung finden insbesondere
Verwendung bei Kennungs- und Klassifikationsverfahren, bei denen anhand von
Trainingssätzen unter Verwendung verschiedener Parameter Muster, insbesondere Objekte, erkannt werden. Um eine möglichst detaillierte Umgebung des Fahrzeugs zu erhalten ist eine Vielzahl von manuell bearbeiteten Bildern notwendig, in denen potentiell auftretende Objekte, beispielsweise Pkw, Lkw, Zweiräder, Fußgänger, aber auch Gegenstände, Gebäude und andere Verkehrssituationen enthalten sind.
Um diesen Vorgang zu beschleunigen werden Verfahren eingesetzt, die automatisch eine solche Kennzeichnung übernehmen. Dazu kann ein trainiertes Modell, beispielsweise ein neuronales Netz, zur Detektion und Klassifizierung von Objekten verwendet werden. Das Modell schlägt Bereiche und/oder Konturen für real existierende Objekte vor. Der Bereich und/oder die Kontur der Objekte muss dadurch nicht mehr manuell ausgewählt werden.
Referenzdaten spielen eine wichtige Rolle bei der Validierung und dem Training von Funktionen für zumindest teilweise autonome Fahrzeuge. Die Referenzdaten sind als sogenannte„ground-truth“ bekannt, die als zu erwartende reale Ergebnisse und als Grundlage zur Evaluierung von Funktionen zu verstehen sind. Referenzdaten sind ein wichtiger Bestandteil zur Validierung, zum Test und zum Training von Modellen, die auf maschinellem Lernen basieren. Methoden des maschinellen Lernens, insbesondere mittels neuronaler Netze, beispielsweise ein Convolutional Neuronal Network (CNN), die auf dem sogenannten Deep-Learning-Ansatz basieren, werden zur Erkennung von Mustern angewendet, insbesondere aufgrund der guten Leistungsfähigkeit im Vergleich zu konventionalen Methoden. Während der Trainingsphase lernen neuronale Netze aus den Unterschieden der erhaltenen Ergebnisse und der Referenzdaten als den zu erwartenden realen Ergebnissen und passen das Verfahren an, beispielsweise durch die Gewichtung verwendeter Parameter. Die Qualität und die Leistungsfähigkeit der Modelle hängen im Wesentlichen von der Qualität der Referenzdaten ab.
Die Referenzdaten können auf unterschiedliche Art und Weise bereitgestellt werden, beispielsweise durch manuelle Kennzeichnung, wobei der Bereich und/oder die Kontur jedes Objekts immer innerhalb des Sichtfelds des Sensors manuell ausgewählt und markiert wird. Hierfür kann für ein einzelnes erfasstes Bild einer Kamera mit einem Sichtwinkel von 90° in einem städtischen Straßenverkehr, das 20 Objekte umfasst, 10 bis 20 Minuten benötigt werden. Der Bereich und/oder die Kontur jedes Objekts muss dabei ausgewählt und in eine vordefinierte Klasse klassifiziert werden. Dies ist zeitlich aufwendig und teuer, da üblicherweise tausende an Bildern für eine akzeptable Leistung eines Systems erforderlich sind. Der dafür notwendige Zeitaufwand wird sogar größer, wenn unterschiedliche Sensoren, beispielsweise ein Radar, ein Lidar und ein Ultraschall, zur Erfassung der Umgebung des Fahrzeugs eingesetzt werden sollen. Die
Kennzeichnung muss dabei für jeden Sensor separat durchgeführt werden. Des Weiteren wird die Verifizierung und das Training umso aufwendiger, je mehr Bilder berücksichtigt werden sollen, beispielsweise um Objekte in der Umgebung eines Fahrzeugs
zeitabhängig zu berücksichtigen, insbesondere wenn die Bewegung eines Objekts innerhalb einer Bilderfolge zeitlich ausgewertet werden soll.
Die deutsche Offenlegungsschrift DE 101 10 275 A1 betrifft ein Verfahren zur
Kennzeichnung von Mustern, die als gespeicherte Informationen vorliegen. Für das Muster wird automatisch ein Kennzeichnungsvorschlag erzeugt. Die Erzeugung dieses Kennzeichnungsvorschlags kann separat vom eigentlichen Kennzeichnungsvorgang erfolgen, beispielsweise dann, wenn das Verfahren zur Erzeugung des
Kennzeichnungsvorschlags sehr zeitaufwändig ist.
Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs bereitzustellen, wobei die genannten Nachteile nicht auftreten, und wobei insbesondere eine schnelle und effiziente Erkennung von Mustern der realen Umgebung möglich ist.
Die Aufgabe wird gelöst, indem die Gegenstände der unabhängigen Ansprüche geschaffen werden. Vorteilhafte Ausgestaltungen ergeben sich aus den
Unteransprüchen.
Die Aufgabe wird insbesondere gelöst, indem ein Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs geschaffen wird, wobei das Verfahren dadurch gekennzeichnet ist, dass a) durch mindestens ein erstes System erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System mindestens ein Sensor des Fahrzeugs ist, b) durch ein weiteres System weitere
Referenzdaten ermittelt werden, wobei das weitere System mindestens eine Drohne ist, wobei mittels der mindestens einen Drohne in einer Vogelperspektive Bilder der
Umgebung des Fahrzeugs erfasst werden, c) mittels der ersten Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird, d) durch das Fahrzeug mindestens ein Muster in der Umgebung des Fahrzeugs erfasst wird, e) das durch das Fahrzeug mindestens eine erfasste Muster mit dem mindestens einen
Referenzmuster abgeglichen wird, wobei Abweichungen ermittelt werden, und f) das mindestens eine von dem Fahrzeug erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise eingepasst wird.
Erfindungsgemäß wird also vorgeschlagen, ein Verfahren zur Erkennungen von Mustern bereitzustellen, insbesondere mittels maschinellem Lernen, wobei durch das Fahrzeug erfasste Referenzdaten und ergänzende Referenzdaten, die insbesondere mittels einer Drohne von der Umgebung des Fahrzeugs erfasst werden, zur Ermittlung der Referenz- Muster der Umgebung des Fahrzeugs verwendet werden, so dass aus den
Referenzdaten Referenz-Muster der der in der Umgebung des Fahrzeugs befindlichen Objekte ermittelt werden, und ein Vergleich der Referenz-Muster mit den von dem
Fahrzeug erfassten Mustern möglich ist, insbesondere die Daten validiert werden können. Das weitere System, insbesondere die mindestens eine Drohne, wird ergänzend zur Bereitstellung von Referenzdaten zur Validierung und zum Training der Erkennung von Objekten eingesetzt. Die mindestens eine Drohne fliegt dabei über dem zumindest teilweise autonomen Fahrzeug und stellt die Umgebung des Fahrzeugs in einer
Vogelperspektive bereit. Die Erkennung und Klassifizierung von Objekten, insbesondere der Klassifizierung des Verhaltens von Objekten, in der Vogelperspektive ist dabei vorteilhafterweise einfacher als die Erkennung anhand eines Bilds der Kamera des Fahrzeugs, da die Umrisse der Objekte rechteckig erscheinen und die Objekte weniger durch andere Objekte oder sonstige Störungen verdeckt sind.
Eine Verbesserung der Kennzeichnung von Objekten wird insbesondere durch ein sogenanntes Coupled-Labeling erreicht. Unter einem Coupled-Labeling wird
insbesondere verstanden, dass ein weiteres System ergänzend zu einem oder mehreren bereits bestehenden im Fahrzeug befindlichen und/oder bereits verwendeten Systemen, insbesondere Sensoren, eingesetzt wird. Das weitere System stellt dabei eine weitere Perspektive, einen weiteren Sichtwinkel und/oder zusätzliche Informationen bereit, wodurch insbesondere die Detektion, Klassifizierung und/oder Kennzeichnung von Objekten vereinfacht und/oder verbessert wird. Vorzugsweise sind bei dem Coupled- Labeling sind die Quellen der Referenzdaten zumindest temporär miteinander verbunden und zeitlich gesteuert, so dass das Ergebnis jedes Systems zu einer bestimmten Zeit einem Bild zugeordnet werden kann.
Das erfindungsgemäße Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs weist Vorteile im Vergleich zum Stand der Technik auf. Vorteilhafterweise wird die Validierung und das Training zur Erkennung von Mustern durch Referenzdaten erleichtert, da die Referenzdaten insbesondere nicht durch aufwändige und teure Labeling-Prozesse, insbesondere durch manuelle Erkennung der Muster, durchgeführt werden müssen. Vorteilhafterweise erfasst die Drohne 360°-Bilder um das Fahrzeug. Vorteilhafterweise sind störende Einflüsse, wie Unterschiede, Schatten von beispielsweise Bäumen, Änderungen von Oberflächen, insbesondere von Farben der Oberfläche, in der Vogelperspektive weniger vorhanden und stören dadurch die
Erkennung von Objekten weniger. Vorteilhafterweise ist der Rundumblick 360° um das Fahrzeug dabei gegeben und muss nicht durch eine Vielzahl von Bildern erfasst werden, dabei können insbesondere die Objekte in der Umgebung des Fahrzeugs in einem einzigen Bild sichtbar gemacht werden. Vorteilhafterweise können mehr Details der Umgebung des Fahrzeugs erkannt werden, die durch eine Perspektive eines in einem Fahrzeug verbauten Sensors, insbesondere eine Kamera, verdeckt sind.
Vorteilhafterweise können Referenzdaten für die Kennzeichnung und Erkennung von Objekten schneller, mit einer besseren Qualität und mehr Informationen bereitgestellt werden. Vorteilhafterweise können die Referenzdaten zur Detektion, Klassifizierung, und auch Verfolgung von Objekten eingesetzt werden. Vorteilhafterweise wird die Verfolgung von Objekten und/oder Fahrzeugen in der Vogelperspektive erleichtert. Vorteilhafterweise werden durch die ergänzende Verwendung von Drohnen weitere Referenzdaten zur Validierung und zum Training von zumindest teilweise autonomen Fahrzeugen bereitgestellt.
Unter einer Drohne wird insbesondere auch ein Kleinstflugzeug oder ein Zeppelin verstanden.
Vorzugsweise ist die Drohne dynamisch in der Umgebung des Fahrzeugs angeordnet, so dass die Drohne insbesondere in der Umgebung des Fahrzeugs bewegbar ist. Alternativ bevorzugt ist die Drohne statisch in der Umgebung des Fahrzeugs angeordnet.
Unter Referenzdaten werden insbesondere Daten der realen Umgebung eines Fahrzeugs verstanden. Die Referenzdaten werden insbesondere zum Abgleich mit von dem
Fahrzeug ermittelten Daten der Umgebung abgeglichen, wobei insbesondere Parameter zur Ermittlung der Daten durch das Fahrzeug angepasst werden, so dass diese zumindest weitgehend den Referenzdaten entsprechen.
Vorzugsweise können die Referenz-Muster zum Training einer Vielzahl von Sensoren des Fahrzeugs eingesetzt werden. Vorzugsweise ist der mindestens eine Sensor des
Fahrzeugs eine Kamera, ein Radar, oder ein Lidar-Sensor.
Vorzugsweise weist die Drohne eine Kamera zum Erfassen der Umgebung des
Fahrzeugs auf.
Vorzugsweise wird das Objekt zeitabhängig erkannt, insbesondere wird ein Tracking des Objekts und/oder ein Verhalten des Objekts erfasst.
Vorzugweise befindet sich die Drohne in einer Achse senkrecht über dem Fahrzeug. Vorzugsweise befindet sich die Drohne in einem Abstand von 10 m senkrecht über dem Fahrzeug, bevorzugt in einem Abstand von 15 m, bevorzugt in einem Abstand von 20 m, bevorzugt in einem Abstand von 30 m, bevorzugt in einem Abstand von 40 m, bevorzugt in einem Abstand von 50 m, bevorzugt in einem Abstand von 100 m, bevorzugt in einem Abstand von 200 m, bevorzugt in einem Abstand von 300 m, bevorzugt in einem Abstand von 400 m, oder bevorzugt in einem Abstand von 500 m.
Vorzugsweise werden die von dem mindestens einen Sensor des Fahrzeugs erfassten Referenzdaten mit der Drohne ausgetauscht und/oder synchronisiert, und/oder die von der Drohne erfassten Referenzdaten mit dem Fahrzeug ausgetauscht und/oder synchronisiert. Vorzugsweise werden die Daten zwischen dem Fahrzeug und der Drohne mittels einer WLAN-Verbindung und/oder einer Mobilfunkverbindung, beispielsweise einer UMTS-Verbindung, ausgetauscht und/oder synchronisiert.
Vorzugsweise wird ein Koordinatensystem des Fahrzeugs, insbesondere ein in der Mitte der Hinterachse des Fahrzeugs befindliches Koordinatensystem, als Referenzpunkt zum Abgleich der vom Fahrzeug erfassten Referenzdaten mit den von der Drohne erfassten Referenzdaten verwendet.
Unter einem Muster wird insbesondere ein ermitteltes Objekt und/oder eine Situation in der Umgebung eines Fahrzeugs verstanden. Vorzugsweise ist das Muster eine Ausfahrt, ein Baum, eine Bebauung, eine Sehenswürdigkeit, eine Engstelle, eine Kreuzung, eine Straßenart, ein anderes Fahrzeug, ein Gebäude, ein Gegenstand, eine Anzahl an Fahrspuren, eine Spurmarkierung, ein Stau, ein Tunnel, ein Unfall, ein Wetterverhältnis und/oder ein Fußgänger.
Unter einem Referenz-Muster wird insbesondere ein Muster verstanden, das basierend auf der Gesamtheit aller Referenzdaten ermittelt wird, wobei das Referenz-Muster insbesondere möglichst die reale Situation der Umgebung des Fahrzeugs repräsentiert. Das Referenz-Muster wird zum Abgleich mit einem durch ein Fahrzeug erfasstes Muster verwendet, um Abweichungen des erfassten Musters von der realen Situation zu ermitteln und das durch das Fahrzeug erfasste Muster möglichst der realen Situation anzupassen. Vorzugsweise wird das von dem Fahrzeug erfasste Muster in Abhängigkeit der ermittelten Abweichungen einem Referenz-Muster angepasst. Das so erhaltene Muster wird insbesondere dem Benutzer des Fahrzeugs in geeigneter Form auf einem Display dargestellt.
Unter einer Abweichung wird insbesondere ein Unterschied mindestens eines Parameters eines von einem Fahrzeug erfassten Musters von einem Referenz-Muster, insbesondere des gleichen Objekts, verstanden.
Vorzugsweise wird die Umgebung des Fahrzeugs, insbesondere der Bereich der
Umgebung des Fahrzeugs vorgegeben, bevorzugt ein maximaler Bereich der Umgebung, auf der Muster erkannt werden sollen. Unter einem Fahrzeug wird insbesondere ein Personenkraftwagen, ein Lastkraftwagen, ein Bus, ein Wohnmobil, ein Baufahrzeug, ein Nutzfahrzeug oder auch ein
Schienenfahrzeug, ein Boot, ein Schiff oder ein Luftfahrzeug verstanden.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine Referenz-Muster mittels eines neuronalen Netzes erkannt wird.
Das neuronale Netz basiert insbesondere auf der Vernetzung vieler Neuronen, die ein Netz bilden und untereinander zum Austausch von Daten verbunden sind. Das neuronale Netz ist ein lernfähiges Netz, insbesondere lernfähig durch positive und/oder negative Erfahrung, so dass die Ergebnisse des neuronalen Netzes insbesondere die Erkennung und/oder Klassifizierung eines Musters, näher an dem wirklichen Ergebnis liegt. Das neuronale Netz ist insbesondere ein neuronales Netz, das eine Trainingsphase durchlaufen hat, um Muster zu erkennen und/oder zu klassifizieren. Vorzugsweise ist das neuronale Netz zur Erkennung und Klassifizierung von Mustern einer Umgebung eines Fahrzeugs trainiertes neuronales Netz.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die Drohne automatisch mittels eines Markers positioniert wird, wobei der Marker bevorzugt auf dem Dach des Fahrzeugs angeordnet wird. Vorzugsweise folgt die mindestens eine Drohne dem
Fahrzeug durch Erkennen des spezifischen Markers. Es wird insbesondere gewährleistet, dass die Drohne in der Vogelperspektive in Richtung für den Straßenverkehr relevante Richtung gewandt ist, in der sich auch das Fahrzeug befindet.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass der Marker ein optischer Marker ist, insbesondere ein QR-Code.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass das mindestens eine Referenz-Muster für die Validierung und das T raining von zumindest teilweise autonomen Fahrzeugen eingesetzt wird.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass sich die Drohne zumindest weitgehend senkrecht über dem Fahrzeug befindet, bevorzugt in einem Abstand von 300 m über dem Fahrzeug.
Vorzugsweise beträgt der Abstand der Drohne über dem Fahrzeug 5 m, bevorzugt 10 m, bevorzugt 20 m, bevorzugt 30 m, bevorzugt 40 m, bevorzugt 50 m, bevorzugt 100 m, bevorzugt 200 m, bevorzugt 300 m, bevorzugt 400 m, oder bevorzugt 500 m.
Vorzugsweise befindet sich die Drohne in einem bestimmten Radius senkrecht über dem Fahrzeug, bevorzugt in einem Radius von 2 m, bevorzugt von 4 m, bevorzugt von 6 m, bevorzugt von 8 m, oder bevorzugt von 10 m.
Gemäß einer Weiterbildung der Erfindung ist vorgesehen, dass die von der Drohne bereitgestellten Referenzdaten ohne vorherige Verarbeitung und/oder Änderung abgeglichen werden.
Die Aufgabe wird auch gelöst, indem ein Steuergerät bereitgestellt wird, das zum
Ausführen eines erfindungsgemäßen Verfahrens eingerichtet ist, insbesondere nach einem der zuvor beschriebenen Ausführungsbeispiele. Dabei ergeben sich für das Steuergerät insbesondere die Vorteile, die bereits in Zusammenhang mit dem Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs erläutert wurden.
Die Aufgabe wird auch gelöst, indem ein Fahrzeug mit einem erfindungsgemäßen Steuergerät bereitgestellt wird, insbesondere nach einem der zuvor beschriebenen Ausführungsbeispiele. Dabei ergeben sich für das Fahrzeug insbesondere die Vorteile, die bereits in Zusammenhang mit dem Steuergerät und dem Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs erläutert wurden.
Vorzugsweise ist das Fahrzeug ein zumindest teilweise autonomes Fahrzeug.
Die Erfindung wird im Folgenden anhand der Zeichnung näher erläutert.
Dabei zeigt die einzige Figur eine schematische Darstellung eines Verfahrens zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs.
Die einzige Figur zeigt eine schematische Darstellung eines Ausführungsbeispiels eines Verfahrens zur Erkennung von mindestens einem Muster 1 in einer Umgebung eines Fahrzeugs 3 mit einer von einem Sensor eines Fahrzeugs 3 erfassten Umgebung des Fahrzeugs 3 (Figur 1 A), wobei der Sensor in dem vorliegenden Ausführungsbeispiel eine Kamera ist; einer von einer Drohne 9 erfassten Umgebung des Fahrzeugs 3 (Figur 1 B), wobei die Umgebung durch eine Kamera der Drohne 9 erfasst ist; eine Anordnung einer Drohne 9 über dem Fahrzeug 3 in der Draufsicht (Figur 1 C); und eine Anordnung einer Drohne 9 über dem Fahrzeug 3 in der Seitenansicht (Figur 1 D). Das Verfahren ist insbesondere dadurch gekennzeichnet, dass a) durch mindestens ein erstes System 5 erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System 5 mindestens ein Sensor des Fahrzeugs 3 ist, b) durch ein weiteres System 7 weitere Referenzdaten ermittelt werden, wobei das weitere System 7 mindestens eine Drohne 9 ist, wobei mittels der mindestens einen Drohne 9 in einer Vogelperspektive Bilder der Umgebung des Fahrzeugs 3 erfasst werden, c) mittels der ersten
Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird, d) durch das Fahrzeug 3 mindestens ein Muster in der Umgebung des Fahrzeugs 3 erfasst wird, e) das durch das Fahrzeug 3 mindestens eine erfasste Muster mit dem mindestens einen Referenz-Muster abgeglichen wird, wobei Abweichungen ermittelt werden, und f) das mindestens eine von dem Fahrzeug 3 erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise angepasst wird.
Die Drohne 9 kann dabei die weiteren Referenzdaten an das Fahrzeug 3 übermitteln. Das Fahrzeug 3 erfasst durch den mindestens einen Sensor, insbesondere eine Kamera, die Umgebung des Fahrzeugs 3 (Figur 1A), wobei der mindestens eine Sensor das erste System 5 zum Ermitteln der Referenzdaten darstellt. Die Drohne 9 erfasst die Umgebung 3 des Fahrzeugs in einer Vogelperspektive, wobei die Drohne 9 das weitere System 7 zum Erfassen von Referenzdaten darstellt (Figur 1 B). Mittels der durch das erste System 5 erfassten Referenzdaten und der durch das weitere System 7 erfassten Referenzdaten wird das mindestens eine Referenz-Muster ermittelt. Das so erhaltene Referenz-Muster kann mit dem durch das Fahrzeug 3 erfasste Muster in der Umgebung des Fahrzeugs 3 abgeglichen werden, wodurch Abweichungen ermittelt werden, so dass das von dem Fahrzeug 3 erfasste Muster zumindest teilweise angepasst werden kann. Die Drohne 9 erfasst die Umgebung des Fahrzeugs 3 in der Vogelperspektive (Figur 1 C). Die Drohne 9 befindet sich insbesondere senkrecht über dem Fahrzeug 3 (Figur 1 D).
Vorteilhafterweise wird die Validierung und das Training zur Erkennung von Mustern durch Referenzdaten erleichtert, da die Referenzdaten insbesondere nicht durch aufwändige und teure Labeling-Prozesse, insbesondere durch manuelle Erkennung der Muster, durchgeführt werden müssen. Vorteilhafterweise können mehr Details der Umgebung des Fahrzeugs erkannt werden, die durch eine Perspektive eines in einem Fahrzeug verbauten Sensors, insbesondere eine Kamera, verdeckt sind.
Vorteilhafterweise können Referenzdaten für die Kennzeichnung und Erkennung von Objekten schneller, mit einer besseren Qualität und mehr Informationen bereitgestellt werden. In einer Ausgestaltung wird das mindestens eine Referenz-Muster mittels eines neuronalen Netzes erkannt.
In einer weiteren Ausgestaltung wird die Drohne 9 automatisch mittels eines Markers 11 positioniert, wobei der Marker 1 1 bevorzugt auf dem Dach des Fahrzeugs 3 angeordnet wird.
In einer weiteren Ausgestaltung ist der Marker 11 ein optischer Marker 1 1 , insbesondere ein QR-Code.
In einer weiteren Ausgestaltung wird das mindestens eine Referenz-Muster für die Validierung und das Training von zumindest teilweise autonomen Fahrzeugen eingesetzt.
In einer weiteren Ausgestaltung befindet sich die Drohne 9 senkrecht über dem Fahrzeug 3, bevorzugt in einem Abstand von 50 m über dem Fahrzeug 3.
In einer weiteren Ausgestaltung werden die von der Drohne 9 bereitgestellten
Referenzdaten ohne vorherige Verarbeitung und/oder Änderung abgeglichen.
Das Verfahren kann insbesondere durch ein Steuergerät durchgeführt werden. Das Fahrzeug 3 kann dazu das Steuergerät aufweisen. Das Fahrzeug 3 ist insbesondere ein zumindest teilweise autonomes Fahrzeug 3.

Claims

Patentansprüche
1. Verfahren zur Erkennung von mindestens einem Muster (1 ) in einer Umgebung eines Fahrzeugs (3), dadurch gekennzeichnet, dass
a) durch mindestens ein erstes System (5) erste Referenzdaten ermittelt werden, wobei das mindestens eine erste System (5) mindestens ein Sensor des Fahrzeugs (3) ist,
b) durch ein weiteres System (7) weitere Referenzdaten ermittelt werden, wobei das weitere System (7) mindestens eine Drohne (9) ist, wobei mittels der mindestens einen Drohne (9) in einer Vogelperspektive Bilder der Umgebung des Fahrzeugs (3) erfasst werden,
c) mittels der ersten Referenzdaten und der weiteren Referenzdaten mindestens ein Referenz-Muster ermittelt wird,
d) durch das Fahrzeug (3) mindestens ein Muster in der Umgebung des
Fahrzeugs (3) erfasst wird,
e) das durch das Fahrzeug (3) mindestens eine erfasste Muster mit dem
mindestens einen Referenz-Muster abgeglichen wird, wobei Abweichungen ermittelt werden, und
f) das mindestens eine von dem Fahrzeug (3) erfasste Muster in Abhängigkeit der ermittelten Abweichungen zumindest teilweise angepasst wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das mindestens eine Referenz-Muster mittels eines Neuronalen Netzes erkannt wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Drohne (9) automatisch mittels eines Markers (1 1 ) positioniert wird, wobei der Marker (1 1 ) bevorzugt auf dem Dach des Fahrzeugs (3) angeordnet wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Marker (1 1 ) ein optischer Marker (1 1 ) ist, insbesondere ein QR-Code.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Referenz-Muster für die Validierung und das T raining von zumindest teilweise autonomen Fahrzeugen eingesetzt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich die Drohne (9) senkrecht über dem Fahrzeug (3) befindet, bevorzugt in einem Abstand von 300 m über dem Fahrzeug (3).
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die von der Drohne (9) bereitgestellten Referenzdaten ohne vorherige Verarbeitung und/oder Änderung abgeglichen werden.
8. Steuergerät, eingerichtet zum Ausführen eines Verfahrens nach einem der
Ansprüche 1 bis 7.
9. Fahrzeug (3) mit einem Steuergerät nach Anspruch 8, insbesondere ein
zumindest teilweise autonomes Fahrzeug (3).
PCT/EP2019/078863 2018-12-19 2019-10-23 Verfahren zur erkennung von mindestens einem muster in einer umgebung eines fahrzeugs, steuergerät zum ausführen eines solchen verfahrens, sowie fahrzeug mit einem solchen steuergerät WO2020126167A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018010039.2 2018-12-19
DE102018010039.2A DE102018010039A1 (de) 2018-12-19 2018-12-19 Verfahren zur Erkennung von mindestens einem Muster in einer Umgebung eines Fahrzeugs, Steuergerät zum Ausführen eines solchen Verfahrens, sowie Fahrzeug mit einem solchen Steuergerät

Publications (1)

Publication Number Publication Date
WO2020126167A1 true WO2020126167A1 (de) 2020-06-25

Family

ID=68503071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/078863 WO2020126167A1 (de) 2018-12-19 2019-10-23 Verfahren zur erkennung von mindestens einem muster in einer umgebung eines fahrzeugs, steuergerät zum ausführen eines solchen verfahrens, sowie fahrzeug mit einem solchen steuergerät

Country Status (2)

Country Link
DE (1) DE102018010039A1 (de)
WO (1) WO2020126167A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115195890A (zh) * 2022-07-19 2022-10-18 岚图汽车科技有限公司 一种车辆行驶控制方法及相关设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021212632A1 (de) 2021-11-10 2023-05-11 Robert Bosch Gesellschaft mit beschränkter Haftung Prüfung der Umfeldsensorik und/oder Umfeldperzeption eines Fahrzeugs
DE102022205505A1 (de) 2022-05-31 2023-11-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erzeugen eines Datensatzes
DE102023109959A1 (de) 2023-04-20 2024-10-24 Audi Aktiengesellschaft Verfahren zum Betrieb eines autonomen Kraftfahrzeugs
DE102023002473B3 (de) 2023-06-20 2024-10-02 Mercedes-Benz Group AG Verfahren zur Erstellung eines Datensatzes mit Ground-Truth-Labeln

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10110275A1 (de) 2001-03-02 2002-09-19 Daimler Chrysler Ag Verfahren zur Kennzeichnung von gespeicherter Information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10110275A1 (de) 2001-03-02 2002-09-19 Daimler Chrysler Ag Verfahren zur Kennzeichnung von gespeicherter Information

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CANTELLI L ET AL: "UAV/UGV cooperation for surveying operations in humanitarian demining", 2013 IEEE INTERNATIONAL SYMPOSIUM ON SAFETY, SECURITY, AND RESCUE ROBOTICS (SSRR), IEEE, 21 October 2013 (2013-10-21), pages 1 - 6, XP032554146, DOI: 10.1109/SSRR.2013.6719363 *
FRIETSCH N ET AL: "Teaming of an UGV with a VTOL-UAV in Urban Environments", PLANS 2008 - PROCEEDINGS OF IEEE/ION PLANS 2008, THE INSTITUTE OF NAVIGATION, 8551 RIXLEW LANE SUITE 360 MANASSAS, VA 20109, USA, 8 May 2008 (2008-05-08), pages 1278 - 1285, XP056006706, DOI: 10.1109/PLANS.2008.4570081 *
ROBERT HUDJAKOV ET AL: "Aerial imagery terrain classification for long-range autonomous navigation", 2009 INTERNATIONAL SYMPOSIUM ON OPTOMECHATRONIC TECHNOLOGIES (ISOT 2009) : ISTANBUL, TURKEY, 21 - 23 SEPTEMBER 2009, IEEE, PISCATAWAY, NJ, USA, 21 September 2009 (2009-09-21), pages 88 - 91, XP031563500, ISBN: 978-1-4244-4209-6 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115195890A (zh) * 2022-07-19 2022-10-18 岚图汽车科技有限公司 一种车辆行驶控制方法及相关设备
CN115195890B (zh) * 2022-07-19 2024-01-19 岚图汽车科技有限公司 一种车辆行驶控制方法及相关设备

Also Published As

Publication number Publication date
DE102018010039A1 (de) 2020-06-25

Similar Documents

Publication Publication Date Title
WO2020126167A1 (de) Verfahren zur erkennung von mindestens einem muster in einer umgebung eines fahrzeugs, steuergerät zum ausführen eines solchen verfahrens, sowie fahrzeug mit einem solchen steuergerät
DE102017107264A1 (de) Sichtbasierte regenerkennung unter verwendung des tiefen lernens
DE102019127229A1 (de) System und verfahren zum bestimmen einer vertrautheit eines fahrzeugdatensatzes
DE102016210534A1 (de) Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs
DE19831413A1 (de) Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr
DE102016205433A1 (de) Verfahren, Vorrichtung, Kartenverwaltungseinrichtung und System zum punktgenauen Lokalisieren eines Kraftfahrzeugs in einem Umfeld
DE102019208735B4 (de) Verfahren zum Betreiben eines Fahrassistenzsystems eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
DE102014106506A1 (de) Verfahren zum Durchführen einer Diagnose eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102021204687A1 (de) Verfahren zur Szeneninterpretation eines Umfelds eines Fahrzeugs
DE102020211636A1 (de) Verfahren und Vorrichtung zum Bereitstellen von Daten zum Erstellen einer digitalen Karte
DE102020200169B3 (de) Verfahren zur Zusammenführung mehrerer Datensätze für die Erzeugung eines aktuellen Spurmodells einer Fahrbahn und Vorrichtung zur Datenverarbeitung
EP3850536A1 (de) Analyse dynamisscher räumlicher szenarien
DE102018214979A1 (de) Verfahren und System zur verbesserten Objektmarkierung in Sensordaten
DE112018005749T5 (de) Fahrbahnmarkierungsbestimmungsvorrichtung zum automatisierten Fahren
DE102019130204A1 (de) Verfahren und System zum Erstellen dynamischer Karteninformation, die zum Bereitstellen von Umgebungsinformationen geeignet ist
WO2022063900A1 (de) VERFAHREN ZUR FUSION VON UMFELDBEZOGENEN BESTIMMUNGSGRÖßEN
WO2022122196A1 (de) Optische schienenwegerkennung
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
DE112020003551T5 (de) Straßenkurvenerzeugung in Bildern der realen Welt als ein Verfahren zur Datenaugmentierung
WO2023083620A1 (de) Prüfung der umfeldsensorik und/oder umfeldperzeption eines fahrzeugs
EP3772017A1 (de) Bahnsignalerkennung für autonome schienenfahrzeuge
DE102020210711A1 (de) Training eines Generators zur Erzeugung realistischer Bilder mit einem semantisch segmentierenden Diskriminator
DE102019008079A1 (de) Verfahren zum Erkennen mindestens eines Objekts in einem Fahrbereich eines Fahrzeugs, Vorrichtung eingerichtet zum Druchführen eines solchen Verfahrens, und Fahrzeug mit einer solchen Vorrichtung
DE102018210712A1 (de) System und Verfahren zur gleichzeitigen Lokalisierung und Kartierung
DE102018114628A1 (de) Auf tiefem Lernen basierende automatische oder halbautomatische Ausparkverfahren

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19801219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19801219

Country of ref document: EP

Kind code of ref document: A1