WO2023131603A1 - Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik - Google Patents

Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik Download PDF

Info

Publication number
WO2023131603A1
WO2023131603A1 PCT/EP2023/050053 EP2023050053W WO2023131603A1 WO 2023131603 A1 WO2023131603 A1 WO 2023131603A1 EP 2023050053 W EP2023050053 W EP 2023050053W WO 2023131603 A1 WO2023131603 A1 WO 2023131603A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
sensor data
environment model
fusion
sensors
Prior art date
Application number
PCT/EP2023/050053
Other languages
English (en)
French (fr)
Inventor
Holger Wunsch
Christian Fritz
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023131603A1 publication Critical patent/WO2023131603A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/876—Combination of several spaced transponders or reflectors of known location for determining the position of a receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4091—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Definitions

  • the present invention relates to a method for optimizing the perception of the surroundings for a driving support system with sensor data fusion using additional reference sensors.
  • the present invention also relates to a control unit that is set up to carry out such a method.
  • the present invention relates to a computer program which comprises instructions which, when the computer program is executed by a computer or a control unit, cause the latter to execute the method and also a machine-readable storage medium on which this computer program is stored.
  • the software architecture of modern multi-sensor driver assistance systems typically consists of several layers that build on one another. These layers usually include the sensors, the perception of the environment, the situation analysis, the function and the control.
  • the central requirement for safeguarding and optimizing performance ie the behavior of the software that can be experienced in real life traffic situations, is the availability of a meaningful amount of driving data. These are determined by means of endurance runs of a minimum length of several thousand kilometers, and the behavior of the vehicle is then analyzed in these measurement campaigns. The data annotated in this way is the basis for subsequent optimization runs. Protection and optimization of performance mostly only take place at the level of the overall system. The performance of the individual layers in isolation is usually not considered.
  • DE 10 2018 123 735 A1 describes a method for improving an evaluation of an object detection of a radar device of a motor vehicle, the method having the following steps:
  • a method for optimizing the environment perception for a driving support system with sensor data fusion is described, in particular by means of additional reference sensors, the method having the following method steps: a) using a sensor for environment perception as a reference sensor; b) creating a first environment model based on sensor data from the reference sensor; c) creating a second environment model based on sensor data from the sensor data fusion; and d) comparing the first environment model with the second environment model.
  • a method of this type for perceiving the surroundings for a driving assistance system and thus processes of the driving assistance system based on the perception of the surroundings can be improved compared to solutions from the prior art, in particular using an additional reference sensor system.
  • a fusion system or a sensor data fusion should in particular mean that sensor data from different sensors, in particular different sensor groups, are combined with one another in order to generate a common environment model.
  • sensor groups should be understood to mean sensors of different types or sensors based on a different operating principle.
  • SAE Level 1 and 2 usually has the following layers or levels, namely the sensors, the perception of the surroundings, the situation analysis, the function and the control. These layers expediently build on one another. Based on this, the method described can be particularly advantageous because the procedure of checking the performance only at the system level has potential for improvement. Since the performance of a deeper layer is not checked in isolation, there is a risk that specific improvement potential for this deeper layer will not be identified. The performance of the overall system thus remains at a local maximum, instead of reaching a global maximum through consistent performance optimization of the lower layers as well, as is possible according to the invention.
  • sensor sets in current driver assistance systems are not limited to a single sensor, such as a radar sensor, but rather merge the data from at least one video camera and one or more radars in order to calculate a comprehensive environment model.
  • Fusion systems are significantly more complex than systems that are limited to a single sensor: Each of the sensors involved has specific systematic strengths and weaknesses and a performance that must be individually evaluated and optimized. These are combined in non-trivial ways in the fusion.
  • the present method takes into account that the performance at the level of environmental perception in fusion systems is influenced by several overlapping factors, namely:
  • the method includes the following process steps.
  • a sensor for perceiving the surroundings is used as a reference sensor.
  • a sensor is used in a manner known per se in order to carry out a perception of the surroundings.
  • the sensor is to be used as a reference sensor.
  • an environment model is created, ie in particular a ground truth environment model, based on sensor data from the reference sensor.
  • This step is basically known from the prior art and is used to detect the surroundings of a vehicle that is equipped with the driving support system and to examine possible objects. Accordingly, a perception of the surroundings can be a basis for further steps or processes of the driving support system.
  • a second environment model is created based on sensor data from the sensor data fusion.
  • an environment model is created using different sensors or sensor groups, with the sensors or sensor groups for creating the second environment model expediently being different from the sensor or sensor group for creating the first sensor model.
  • first environment model and the second environment model After the first environment model and the second environment model have been created, they are compared with one another in accordance with method step d).
  • the term second environment model is to be understood broadly and can, for example, include the overall model as well as parts of it, i.e. data from individuals in the Environment model of incoming sensor data include.
  • data from the sensor data fusion it is preferable for data from the sensor data fusion to enter method step d) in at least one step.
  • the focus of the method described here is therefore on the sub-area of perception of the surroundings using different sensors or sensor groups and in particular the sensor data fusion.
  • an improvement in the performance of the sub-area of environmental perception can be achieved.
  • local maxima can be prevented from being reached and it is possible to achieve both significantly better performance of the partial area of perception of the surroundings and improved overall system performance.
  • a first environment model can be used as a reference and in the fusion model the sensor data of individual sensors or sensor groups, i.e. sensors of the same type or based on the same operating principle, can be considered and analyzed in a comparison.
  • Individual components of the sensor data fusion and/or components of the sensor data fusion and/or the sensor data fusion as a whole can then be related to one another with the first environment model and compared to one another. In this way, an evaluation of individual sensor data can be made possible effectively and reliably and the result of the creation of an environment model can be improved.
  • the method can preferably have the further method step: e) Evaluation of the sensor data from the sensor data fusion for accuracy.
  • the environment model which is created from the sensor fusion and thus from the totality of the sensor data, can thus be evaluated. This thus allows the interaction of the sensors to be evaluated and the data directly entering further processes of a driving support system to be checked and the data to be corrected if necessary.
  • the method has the further method step: f) Evaluation of sensor data from individual sensors or sensor groups as part of the sensor data fusion for accuracy.
  • the method can have the further method step: g) Evaluation of the influence of sensor data from individual sensors or sensor groups as part of the sensor data fusion on the proportion of the sensor data fusion.
  • the characteristic influence of an individual sensor or a sensor group on the entire fusion component can be determined and optimized in the same way for method step f) and in particular in combination with it.
  • At least one of the method steps d) to g) can include the comparison of individual recognized objects in the environment models. In addition to evaluating an entire environment model, examining individual detected objects can deliver particularly precise results.
  • At least one of method steps d) to g) can be carried out with reference to a specific driving situation.
  • the driving situation can be recognized by appropriate sensors. This means that it is recognized, for example, whether a vehicle is in a parking process, is driving comparatively fast, is driving comparatively slowly, etc.
  • an environment detection can possibly deliver different exact results depending on the driving situation and the sensor data can differ in particular from different sensors or sensor types depending on the driving situation. A particularly high-quality result is thus also made possible in this refinement, and driving support processes can be carried out particularly reliably.
  • Data determined in at least one of the method steps d) to g) can preferably be used to improve the recognition of the surroundings and stored in a memory, for example.
  • data that are determined are used to improve the recognition of the surroundings.
  • this refinement can be based on an artificial intelligence algorithm in order to enable a particularly high quality of the result and thereby design driving support steps particularly reliably and precisely and therefore safely.
  • a lidar sensor is used as the reference sensor in method step a).
  • the use of a sensor based on lidar (light imaging, detection and ranging) technology can offer advantages in the context of the method described here.
  • the lidar sensor offers the advantage of an almost to deliver complete environment field model with comparatively high accuracy.
  • the optimization of the environment detection can also be particularly accurate or reliable, so that the result of the method described here is of particularly high quality.
  • control unit is also described, the control unit being set up to carry out a method as described above.
  • the control unit can be, for example, a vehicle-side control unit, a vehicle-external control unit or a vehicle-external server unit, such as a cloud system.
  • the control device expediently includes a processor into which a computer program can be loaded, which includes instructions for executing the described method.
  • a computer program which comprises instructions which, when the computer program is executed by a computer or a control device, cause the computer to carry out a method as described in detail above.
  • the computer program can thus be loaded into the processor in order to execute the instructions for carrying out the method.
  • control device the computer program and also the storage medium are thus used to improve recognition of the surroundings for a driver assistance system for a vehicle.
  • control system the computer program and also the storage medium are thus used to improve recognition of the surroundings for a driver assistance system for a vehicle.
  • FIG. 1 shows a schematic representation of different functional layers of a driving support system
  • FIG. 2 shows a schematic representation of an embodiment of the method according to the present invention.
  • FIG. 1 A typical software architecture of modern multi-sensor driver assistance systems of SAE levels 1 and 2 is shown in FIG. This typically includes several layers or levels that build on one another.
  • the levels perform the following tasks, with the next higher level depending on the output of the previous level:
  • the sensor 10 communicates directly with the respective sensor hardware, such as radar, camera, lidar, and receives the sensor-specific input data.
  • the environment perception 12 describes the task of creating an environment model on the basis of input data from multiple sensors, potentially from different modalities.
  • This environment model provides the basis for executing certain functions (see below) on the overall system level.
  • Such an environment model includes, among other things, static and dynamic ones Objects such as road users, road signs, and road markings.
  • the situation analysis 14 derives an understanding of the specific current traffic situation in which the ego vehicle is located from the current environment model and a time history.
  • the function 16 implements the actual driver assistance functions that can actually be experienced in the vehicle, such as an automatic emergency brake or an adaptive cruise control.
  • the control 18 converts the control commands of the functional layer into driving commands in the actuators.
  • FIG. 2 shows a vehicle 20 which has a control unit 22 which can be part of a driving support system and with which a method for perceiving the surroundings for a driving support system with sensor data fusion can be implemented.
  • the vehicle 20 can be operated in an assisted, partially automated, highly automated and/or fully automated or driverless manner.
  • the vehicle or the control unit can have the software architecture shown in FIG.
  • the vehicle 20 may be, for example, a passenger car, a truck, a robotaxi, and the like.
  • the vehicle 20 is not generally limited to on-road operation. Rather, the vehicle 20 can also be designed as a watercraft, aircraft, such as a transport drone, and the like.
  • the vehicle 20 has a plurality of sensors which acquire sensor data and which thus form a sensor fusion and provide data of a sensor data fusion.
  • a lidar sensor 24, a video camera 26 and a plurality of radar sensors 28 are shown in detail.
  • the sensors can be used to identify the surroundings by determining corresponding sensor data, by means of which objects 30 in the surroundings of the vehicle 20 can be recognized and the surroundings can thus be displayed.
  • the sensor data can, for example, differ from each other depending on the function differ.
  • virtual objects 32 are based on sensor data from lidar sensor 24
  • virtual objects 34 are based on sensor data from video camera 26
  • virtual objects 36 are based on sensor data from radar sensors 28
  • virtual objects 38 are based on a sensor data fusion, ie based on all the sensor data from the video camera 26 and the radar sensors 28, is shown.
  • Such a setup allows a method to be carried out with the method steps a) use of a sensor for perceiving the surroundings as a reference sensor; b) creating a first environment model based on sensor data from the reference sensor; c) creating a second environment model based on sensor data from the sensor data fusion; and d) comparing the first environment model with the second environment model.
  • the lidar sensor 24 as part of a larger sensor set is not used for the actual signal processing for automated driving or driver assistance functions. Instead, it serves as a data supplier for an environment model (ground truth), which is recorded in all endurance runs in addition to the primary sensor data. This environment model is compared with the output of the actual signal processing, in particular the sensor data fusion.
  • the ground truth can be compared both with the output of the fusion component and with the output of the individual sensors.
  • the performance of the sensors can be evaluated individually and of the fusion component individually.
  • the data from the sensors and the fusion component can be related to one another in order to concretely identify the specific strengths and weaknesses of the sensors and the fusion component

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion mittels zusätzlicher Referenzsensorik, dadurch gekennzeichnet, dass das Verfahren die folgenden Verfahrensschritte aufweist: a) Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor; b) Erstellen eines ersten Umfeldmodells basierend auf Sensordaten des Referenzsensors; c) Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion; und d) Vergleichen des ersten Umfeldmodells mit dem zweiten Umfeldmodell.

Description

Beschreibung
Titel
Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mittels zusätzlicher Referenzsensorik
Die vorliegende Erfindung betrifft ein Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion mittels zusätzlicher Referenzsensorik. Die vorliegende Erfindung betrifft ferner ein Steuergerät, das dazu eingerichtet ist, ein derartiges Verfahren auszuführen. Weiterhin betrifft die vorliegende Erfindung ein Computerprogramm, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät diesen veranlassen, das Verfahren auszuführen und ferner ein maschinenlesbares Speichermedium, auf dem dieses Computerprogramm gespeichert ist.
Stand der Technik
Die Software- Architektur moderner Multisensor-Fahrerassistenzsysteme, insbesondere der SAE Level 1 und 2, besteht typischerweise aus mehreren Schichten, die aufeinander aufbauen. Diese Schichten umfassen meist die Sensorik, die Umfeldwahrnehmung, die Situationsanalyse, die Funktion und die Regelung.
Die technische Korrektheit der Software wird wie in der Softwaretechnik üblich modular getestet. „Technische Korrektheit“ bezeichnet die korrekte Funktion der Software, d.h. Verhalten der Algorithmen nach Spezifikation, keine Programmabstürze usw.
Zentrale Voraussetzung für die Absicherung und Optimierung der Performance, d.h. dem real erlebbaren Verhalten der Software in konkreten Verkehrssituationen, ist die Verfügbarkeit einer aussagekräftigen Menge an Fahrdaten. Diese werden mittels Dauerlauf-Fahrten einer Mindestlänge von mehreren Tausend Kilometern ermittelt, und im Nachgang das Verhalten des Fahrzeugs in diesen Messkampagnen analysiert. Die so annotierten Daten sind die Grundlage für sich anschließende Optimierungsläufe. Absicherung und Optimierung der Performance finden größtenteils nur auf der Ebene des Gesamtsystems statt. Die Performance der einzelnen Schichten in Isolation wird meist nicht betrachtet.
DE 10 2018 123 735 A1 beschreibt ein Verfahren zum Verbessern einer Auswertung einer Objekterkennung eines Radargeräts eines Kraftfahrzeugs, wobei das Verfahren die folgenden Schritte aufweist:
- Generieren einer ersten Umgebungskarte einer Umgebung mittels eines LiDAR-Scanners,
- Durchführung einer ersten Objekterkennung auf Basis der generierten ersten Umgebungskarte mittels einer ersten Erkennungsvorrichtung,
- Erstellen eines Ground-Truth-Umgebungsmodells auf Basis der durchgeführten ersten Objekterkennung mittels der ersten Erkennungsvorrichtung,
- Generieren einer zweiten Umgebungskarte der Umgebung mittels des Radargeräts,
- wiederholte Durchführung einer zweiten Objekterkennung mit alternativen Objekterkennungsalgorithmen auf Basis der generierten zweiten Umgebungskarte mittels einer zweiten Erkennungsvorrichtung des Radargeräts,
- Erstellen jeweils eines Radar-Umgebungsmodells auf Basis der wiederholt durchgeführten zweiten Objekterkennung mittels der zweiten Erkennungsvorrichtung,
- wiederholtes Bestimmen von objekterkennungsalgorithmusspezifischen Gütefunktionen des Radargeräts auf Basis einer Abweichung der Radar- Umgebungsmodelle vom Ground-Truth-Umgebungsmodell mittels einer Bestimmungsvorrichtung, und
- Identifizieren eines geeigneten Objekterkennungsalgorithmus anhand einer Höhe der Gütefunktion mittels der Bestimmungsvorrichtung.
Offenbarung der Erfindung Beschrieben wird ein Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion, insbesondere mittels zusätzlicher Referenzsensorik, wobei das Verfahren die folgenden Verfahrensschritte aufweist: a) Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor; b) Erstellen eines ersten Umfeldmodells basierend auf Sensordaten des Referenzsensors; c) Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion; und d) Vergleichen des ersten Umfeldmodells mit dem zweiten Umfeldmodell.
Durch ein derartiges Verfahren lassen sich ein Verfahren zur Umfeldwahrnehmung für ein Fahrunterstützungssystem und damit auf der Umfeldwahrnehmung basierende Prozesse des Fahrunterstützungssystems gegenüber Lösungen aus dem Stand der Technik insbesondere unter Verwendung einer zusätzlichen Referenzsensorik verbessern.
Insbesondere beruht das hier beschriebene Verfahren darauf, bei einem Fusionssystem eine Verbesserung der Umfeldwahrnehmung zu erreichen durch eine umfassende Optimierung der Leistung. Unter einem Fusionssystem beziehungsweise einer Sensordatenfusion soll im Sinne der vorliegenden Erfindung insbesondere gemeint sein, dass Sensordaten unterschiedlicher Sensoren, insbesondere unterschiedlicher Sensorgruppen, miteinander kombiniert werden, um ein gemeinsames Umfeldmodell zu erzeugen. Ferner sollen unter „unterschiedlichen Sensorgruppen“ Sensoren unterschiedlicher Bauart beziehungsweise auf einem unterschiedlichen Wirkprinzip basierende Sensoren verstanden werden.
Dabei sei erwähnt, dass bei einem Multisensor-Fahrassistenzsystem, also einem Fahrassistenzsystem mit Sensordatenfusion der SAE Level 1 und 2 meist folgende Schichten beziehungsweise Ebenen aufweist, nämlich die Sensorik, die Umfeldwahrnehmung, die Situationsanalyse, die Funktion und die Regelung. Diese Schichten bauen zweckmäßigerweise aufeinander auf. Hierauf basierend kann das beschriebene Verfahren insbesondere deshalb von Vorteil sein, da das Vorgehen, die Performance nur auf Systemebene zu prüfen, Verbesserungspotential aufweist. Da die Performance einer tieferen Schicht in Isolation nicht geprüft wird, besteht die Gefahr, dass spezifisches Verbesserungspotenzial für diese tiefere Schicht nicht erkannt wird. Die Performance des Gesamtsystems verharrt somit in einem lokalen Maximum, anstelle durch konsequente Performanceoptimierung auch der tieferen Schichten ein globales Maximum zu erreichen, wie dies erfindungsgemäß möglich ist.
Der vorbeschriebene Stand der Technik trägt diesem Problem mit ihrem Ansatz Rechnung, indem sie die Performance nur des Radar-Sensors in Isolation auf der Sensorebene bewerten und optimieren.
Sensorsets in aktuellen Fahrerassistenzsystem beschränken sich jedoch nicht auf einen einzelnen Sensor, wie etwa nur auf einen Radarsensor, sondern fusionieren die Daten mindestens einer Videokamera und einem oder mehrerer Radare, um ein umfassendes Umfeldmodell zu errechnen.
Fusionssysteme weisen eine deutlich höhere Komplexität auf als Systeme, die auf einen einzelnen Sensor beschränkt sind: Jeder der beteiligten Sensoren hat spezifische systematische Stärken und Schwächen, und eine Performance, die individuell zu bewerten und zu optimieren sind. Diese werden auf nicht triviale Art und Weise in der Fusion kombiniert.
Das vorliegende Verfahren trägt insbesondere dem Rechnung, dass die Performance auf der Ebene der Umfeldwahrnehmung bei Fusionssystemen durch mehrere, sich überlagernde, Faktoren beeinflusst wird, nämlich:
1 . Die individuelle Performance der einzelnen Sensoren in Isolation;
2. Die Performance der Algorithmen und Strategien, die die Fusion implementieren; und
3. Die Auswirkungen der Stärken und Schwächen der beteiligten Sensoren auf das Fusionsergebnis, in einer konkreten Verkehrssituation und im Kontext eines konkreten Fusionsalgorithmus. Diese Fragestellungen, die sich aus der Fusion multi-modaler Sensordaten ergeben, kann das hier beschriebene Verfahren effektiv abdecken, was beispielsweise durch einen rein radar-basierten Ansatz, wie aus dem Stand der Technik bekannt, nicht möglich ist
Um das Vorstehende zu erreichen weist das Verfahren die folgenden Verfahrensschritte auf.
Gemäß Verfahrensschritt a) erfolgt die Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor. In diesem Verfahrensschritt wird somit in an sich bekannter Weise ein Sensor verwendet, um so eine Umfeldwahrnehmung durchzuführen. Der Sensor soll dabei als Referenzsensor verwendet werden.
Entsprechend erfolgt gemäß Verfahrensschritt b) das Erstellen eines Umfeldmodells, also insbesondere eines Ground-Truth-Umfeldmodells, basierend auf Sensordaten des Referenzsensors. Dieser Schritt ist grundsätzlich aus dem Stand der Technik bekannt und dient dazu, die Umgebung eines Fahrzeugs, das mit dem Fahrunterstützungssystem ausgestattet ist, zu detektieren und auf mögliche Objekte zu untersuchen. Entsprechend kann eine Umfeldwahrnehmung eine Basis für weitere Schritte beziehungsweise Prozesse des Fahrunterstützungssystems sein.
Weiterhin erfolgt gemäß Verfahrensschritt c) das Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion. In diesem Schritt wird somit ein Umfeldmodell erstellt anhand von unterschiedlichen Sensoren beziehungsweise Sensorgruppen, wobei die Sensoren beziehungsweise Sensorgruppen zur Erstellung des zweiten Umfeldmodells zweckmäßiger Weise von dem Sensor beziehungsweise der Sensorgruppe zur Erstellung des ersten Sensormodells verschieden ist beziehungsweise sind.
Nach Erstellung des ersten Umfeldmodells und des zweiten Umfeldmodells werden diese gemäß Verfahrensschritt d) miteinander verglichen. Der Begriff zweites Umfeldmodell ist dabei weit zu verstehen und kann beispielsweise das Gesamtmodell als auch Teile dessen, also etwa Daten einzelner in das Umfeldmodell eingehender Sensordaten, umfassen. Dadurch können deutliche Vorteile gegenüber dem Stand der Technik erreicht werden. Bevorzugt ist es jedoch, dass Daten der Sensordatenfusion zumindest in einem Schritt in den Verfahrensschritt d) eingehen.
Der Fokus des hier beschriebenen Verfahrens liegt somit auf dem Teilbereich der Umfeldwahrnehmung mittels verschiedener Sensoren beziehungsweise Sensorgruppen und insbesondere der Sensordatenfusion. Erfindungsgemäß kann eine Verbesserung der Performance des Teilbereichs der Umfeldwahrnehmung erreicht werden. Mit Hilfe der Erfindung kann das Erreichen lokaler Maxima verhindert werden und es wird ermöglicht, sowohl signifikant bessere Performance des Teilbereichs der Umfeldwahrnehmung, als auch eine verbesserte Gesamtsystem-Performance zu erreichen.
Es ist somit ein Vorteil der vorliegenden Erfindung, nicht nur eine isolierte Betrachtung eines Sensors oder einer Sensorgruppe von gleichen Sensoren zu beachten, sondern vielmehr basierend auf den Fusionsdaten eine Mehrzahl an Sensoren beziehungsweise Sensorgruppen zu beachten. Mit Hilfe des hier beschriebenen Verfahrens wird es nun ermöglicht, die Ausgabe der Fusionskomponente als Ganzes und/oder einzelner Bestandteile dieser zu evaluieren und zu optimieren.
Diesbezüglich kann, wie vorstehend beschrieben, ein erstes Umfeldmodell als Referenz verwendet werden und bei dem Fusionsmodell jeweils die Sensordaten einzelner Sensoren beziehungsweise von Sensorgruppen, also Sensoren gleicher Bauart beziehungsweise basierend auf dem gleichen Wirkprinzip, betrachtet werden und in einem Vergleich analysiert werden. Es können dann einzelne Bestandteile der Sensordatenfusion zueinander und/oder Bestandteile der Sensordatenfusion und/oder die Sensordatenfusion als Ganzes mit dem ersten Umfeldmodell in Relation gesetzt und miteinander verglichen werden. Dabei kann effektiv und verlässlich eine Evaluierung einzelner Sensordaten ermöglicht und das Ergebnis der Erstellung eines Umfeldmodells verbessert werden.
Bevorzugt kann das Verfahren den weiteren Verfahrensschritt aufweisen: e) Evaluierung der Sensordaten der Sensordatenfusion auf Exaktheit. In dieser Ausgestaltung kann somit das Umfeldmodell, welches aus der Sensorfusion und somit aus der Gesamtheit der Sensordaten erstellt wird, bewertet werden. Dies erlaubt somit, das Zusammenspiel der Sensoren auszuwerten und die unmittelbar in weitere Prozesse eines Fahrunterstützungssystem eingehenden Daten zu überprüfen und gegebenenfalls die Daten zu korrigieren.
Es kann besonders bevorzugt sein, dass das Verfahren den weiteren Verfahrensschritt aufweist: f) Evaluierung von Sensordaten einzelner Sensoren oder Sensorgruppen als Bestandteil der Sensordatenfusion auf Exaktheit.
Es wird somit möglich, nicht nur die durch die Sensorfusion als Gesamtheit bereitgestellten Daten zu bewerten, sondern ebenfalls von einzelnen Sensoren oder von Sensorgruppen. Dies erlaubt eine genauere Evaluierung der in die Sensorfusion eingehenden Sensordaten, was eine Analyse der Daten auf Exaktheit verbessern kann. Darüber hinaus können gegebenenfalls nur an den Daten Korrekturen durchgeführt werden, welche einen vergleichsweise großen Fehler aufweisen. Dadurch kann das Umfeldmodell der Sensordatenfusion als Ganzes verbessert werden.
Weiter bevorzugt kann das Verfahren den weiteren Verfahrensschritt aufweisen: g) Evaluierung des Einflusses von Sensordaten einzelner Sensoren oder Sensorgruppen als Bestandteil der Sensordatenfusion auf Anteil an der Sensordatenfusion.
In dieser Ausgestaltung kann somit ermittelt werden, wie stark die Fusionsdaten von dem jeweiligen Sensor beziehungsweise der jeweiligen Sensorgruppe beeinflusst werden und wie stark die Fusionsdaten, insbesondere relativ zu anderen Sensoren beziehungsweise Sensorgruppen, beeinflusst werden. Somit kann gleichermaßen zu Verfahrensschritt f) und insbesondere in Kombination mit diesem der charakteristische Einfluss eines individuellen Sensors oder einer Sensorgruppe auf die gesamte Fusionskomponente bestimmt und optimiert werden. Dabei kann wenigstens einer der Verfahrensschritte d) bis g) den Abgleich einzelner erkannter Objekte in den Umfeldmodellen umfassen. Neben der Evaluierung eines gesamten Umfeldmodells kann die Betrachtung einzelner erkannter Objekte besonders exakte Ergebnisse liefern.
Besonders bevorzugt kann wenigstens einer der Verfahrensschritte d) bis g) mit Bezug auf eine konkrete Fahrsituation durchgeführt werden. In anderen Worten kann durch entsprechende Sensorik die Fahrsituation erkannt werden. Das bedeutet, dass beispielsweise erkannt wird, ob sich ein Fahrzeug in einem Parkvorgang, in einer vergleichsweise schnellen Fahrt, in einer vergleichsweise langsamen Fahrt usw. befindet. Dabei wird in dieser Ausgestaltung berücksichtigt, dass eine Umfelderkennung gegebenenfalls in Abhängigkeit der Fahrsituation unterschiedlich exakte Ergebnisse liefern kann und die Sensordaten insbesondere von unterschiedlichen Sensoren beziehungsweise Sensorarten sich in einer Abhängigkeit von der Fahrsituation unterscheiden können. Somit wird auch in dieser Ausgestaltung ein qualitativ besonders hochwertiges Ergebnis ermöglicht und Prozesse der Fahrunterstützung können besonders sicher ausgeführt werden.
Bevorzugt können in wenigstens einem der Verfahrensschritte d) bis g) ermittelte Daten zur Verbesserung der Umfelderkennung eingesetzt werden und beispielsweise in einem Speicher gespeichert werden. Insbesondere in dieser Ausgestaltung wird deutlich, dass basierend auf ermittelten Daten für eine Verbesserung der Umfelderkennung herangezogen werden. Beispielsweise kann diese Ausgestaltung auf einem Algorithmus der künstlichen Intelligenz beruhen, um eine besonders hohe Qualität des Ergebnisses zu ermöglichen und dadurch Fahrunterstützungsschritte besonders verlässlich und genau und damit sicher zu gestalten.
Es kann weiterhin von Vorteil sein, dass in Verfahrensschritt a) ein Lidar-Sensor als Referenzsensor verwendet wird. Insbesondere die Verwendung eines Sensors basierend auf der Lidar (Light imaging, detection and ranging) Technologie kann im Rahmen des hier beschriebenen Verfahrens Vorteile bieten. Denn im Gegensatz zu vielen anderen Ansätzen der Referenzsensorik, wie etwa Hunter-Target-Fahrten, bietet der Lidar-Sensor den Vorteil, ein nahezu vollständiges Umfeldfeldmodell mit vergleichsweise hoher Genauigkeit zu liefern. Basierend auf einem umfassenden und exakten Umfeldmodell kann verständlicher Weise auch die Optimierung der Umfelderfassung besonders genau beziehungsweise verlässlich sein, so dass das Ergebnis des hier beschriebenen Verfahrens von besonders hoher Qualität ist.
Hinsichtlich weiterer Vorteile und technischer Merkmale des Verfahrens wird auf die Beschreibung des Steuersystems, auf das Computerprogramm, auf das maschinenlesbare Speichermedium, die Figuren und die Beschreibung der Figuren verwiesen, und umgekehrt.
Beschrieben wird ferner ein Steuergerät, wobei das Steuergerät dazu eingerichtet ist, ein Verfahren auszuführen, wie es vorstehend beschrieben ist. Das Steuergerät kann beispielsweise ein fahrzeugseitiges Steuergerät, ein fahrzeugexternes Steuergerät oder eine fahrzeugexterne Servereinheit, wie beispielsweise ein Cloud-System, sein. Das Steuergerät umfasst zweckmäßigerweise einen Prozessor, in den ein Computerprogramm geladen werden kann, welches Befehle zum Ausführen des beschriebenen Verfahrens umfasst.
Entsprechend wird weiterhin ein Computerprogramm beschrieben, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät diesen veranlassen, ein Verfahren auszuführen, wie vorstehend im Detail beschrieben. Das Computerprogramm kann somit in den Prozessor geladen werden, um die Befehle zur Durchführung des Verfahrens auszuführen.
Weiterhin wird somit ein maschinenlesbares Speichermedium beschrieben, auf welchem das Computerprogramm wie vorstehend beschrieben gespeichert ist.
Das Steuergerät, das Computerprogramm wie auch das Speichermedium dienen somit dazu, eine Umfelderkennung für ein Fahrassistenzsystem für ein Fahrzeug zu verbessern. Hinsichtlich weiterer Vorteile und technischer Merkmale des maschinenlesbaren Speichermediums, des Steuersystems und des Computerprogramms wird auf die Beschreibung des Verfahrens, auf die Figuren und die Beschreibung der Figuren verwiesen, und umgekehrt.
Weitere Vorteile und vorteilhafte Ausgestaltungen der erfindungsgemäßen Gegenstände werden durch die Zeichnungen veranschaulicht und in der nachfolgenden Beschreibung erläutert, wobei die beschriebenen Merkmale einzeln oder in einer beliebigen Kombination ein Gegenstand der vorliegenden Erfindung sein können, insoweit sich aus dem Kontext nicht eindeutig das Gegenteil ergibt. Dabei ist zu beachten, dass die Zeichnungen nur beschreibenden Charakter haben und nicht dazu gedacht sind, die Erfindung in irgendeiner Form einzuschränken. Es zeigen
Fig. 1 eine schematische Darstellung verschiedener Funktionsschichten eines Fahrunterstützungssystems; und
Fig. 2 eine schematische Darstellung einer Ausgestaltung des Verfahrens gemäß der vorliegenden Erfindung.
In der Figur 1 ist eine typische Software-Architektur moderner Multisensor- Fahrerassistenzsysteme der SAE Level 1 und 2 gezeigt. Diese umfasst typischerweise mehrere Schichten beziehungsweise Ebenen, die aufeinander aufbauen.
Die Ebenen übernehmen folgende Aufgaben, wobei die nächsthöhere Ebene jeweils von der Ausgabe der vorherigen Ebene abhängt:
- Die Sensorik 10 kommuniziert direkt mit der jeweiligen Sensor-Hardware, wie etwa Radar, Kamera, Lidar, und empfängt die sensor-spezifischen Eingabedaten.
- Die Umfeldwahrnehmung 12 beschreibt die Aufgabe, auf Basis von Eingabedaten mehrerer Sensoren, potentiell von unterschiedlicher Modalität, ein Umfeldmodell zu erstellen. Dieses Umfeldmodell bietet die Grundlage, um auf Gesamtsystem- Ebene gewisse Funktionen (s.u.) ausführen zu können. Ein solches Umfeldmodell beinhaltet unter anderem statische und dynamische Objekte, wie etwa Verkehrsteilnehmer, Verkehrszeichen und Straßenmarkierungen.
- Die Situationsanalyse 14 leitet aus dem gegenwärtigen Umfeldmodell und einer zeitlichen Historie ein Verständnis für die konkrete aktuelle Verkehrssituation ab, in der sich das Ego-Fahrzeug befindet.
- Die Funktion 16 implementiert die eigentlichen, im Fahrzeug tatsächlich erlebbaren, Fahrerassistenzfunktionen, wie z.B. eine automatische Notbremse oder einen adaptiven Tempomat.
- Die Regelung 18 setzt die Steuerbefehle der Funktionsschicht in Fahrbefehle in der Aktuatorik um.
In der Figur 2 ist ein Fahrzeug 20 gezeigt, welches eine Steuereinheit 22 aufweist, welche Teil eines Fahrunterstützungssystems sein kann und mit welcher ein Verfahren zur Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion umgesetzt werden kann. Das Fahrzeug 20 kann gemäß der BASt Norm assistiert, teilautomatisiert, hochautomatisiert und/oder vollautomatisiert bzw. fahrerlos betreibbar sein. Ferner kann das Fahrzeug beziehungsweise die Steuereinheit die in Figur 1 gezeigte Software- Architektur aufweisen.
Das Fahrzeug 20 kann beispielsweise als ein Personenkraftwagen, ein Lastkraftwagen, ein Robotaxi und dergleichen sein. Das Fahrzeug 20 ist nicht grundsätzlich auf einen Betrieb auf Straßen beschränkt. Vielmehr kann das Fahrzeug 20 auch als ein Wasserfahrzeug, Luftfahrzeug, wie beispielsweise eine Transportdrohne, und dergleichen ausgestaltet sein.
Das Fahrzeug 20 weist eine Mehrzahl an Sensoren auf, welche Sensordaten erfassen und welche somit eine Sensorfusion ausbilden und Daten einer Sensordatenfusion bereitstellen. Im Detail ist ein Lidar-Sensor 24, eine Video- Kamera 26 und eine Mehrzahl an Radar-Sensoren 28 gezeigt.
Durch die Sensoren kann unter Ermittlung entsprechender Sensordaten eine Umfelderkennung durchgeführt werden, durch die Objekte 30 in der Umgebung des Fahrzeugs 20 erkannt und so die Umgebung dargestellt werden kann. Die Sensordaten können dabei beispielsweise funktionsbedingt voneinander abweichen. So sind in der Figur 2 jeweils die virtuellen Objekte 32 basierend auf Sensordaten des Lidar-Sensors 24, die virtuellen Objekte 34 basierend auf Sensordaten der Videokamera 26, die virtuellen Objekte 36 basierend auf Sensordaten der Radar-Sensoren 28 und die virtuellen Objekte 38 basierend auf einer Sensordatenfusion, also basierend auf sämtlichen Sensordaten der Video- Kamera 26 und der Radar-Sensoren 28, gezeigt.
Durch ein derartiges Setup lässt sich ein Verfahren ausführen mit den Verfahrensschritten a) Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor; b) Erstellen eines ersten Umfeldmodells basierend auf Sensordaten des Referenzsensors; c) Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion; und d) Vergleichen des ersten Umfeldmodells mit dem zweiten Umfeldmodell.
Der Lidar-Sensor 24 als Teil eines größeren Sensorsets wird nicht für die tatsächliche Signalverarbeitung für Funktionen des automatisierten Fahrens oder der Fahrerassistenz verwendet. Stattdessen dient er als Datenlieferant für ein Umfeldmodell (Ground-Truth), welches in allen Dauerläufen zusätzlich zu den primären Sensordaten aufgezeichnet wird. Dieses Umfeldmodell wird gegen die Ausgabe der eigentlichen Signalverarbeitung, insbesondere der Sensordatenfusion, abgeglichen.
Dies ermöglicht die Evaluation und Optimierung der Ausgabe der Fusionskomponente, beispielsweise durch Abgleich von virtuellen Objekten 38 aus dem Umfeldmodell der Fusionskomponente mit virtuellen Objekten 32 aus dem Lidar-generierten Umfeldmodell (Ground-Truth).
Auf diese Weise kann ohne zusätzlichen Aufwand in Dauerläufen eine umfangreiche Datenbasis für eine Ground-Truth ermittelt werden, die wie eingangs beschrieben zentrale Grundlage für eine Performancebewertung der Signalverarbeitung ist. Durch individuelle Betrachtung der einzelnen Sensoren kann ihr relativer Beitrag zum Umfeldmodell der Fusionskomponente bewertet und optimiert werden.
Wie in Figur 2 gezeigt, lässt sich die Ground-Truth sowohl mit der Ausgabe der Fusionskomponente, als auch mit der Ausgabe der einzelnen Sensoren vergleichen. Auf diese Art und Weise kann einerseits die Performance der Sensoren einzeln und der Fusionskomponente einzeln bewertet werden. Andererseits können die Daten der Sensoren und der Fusionskomponente miteinander in Beziehung gesetzt werden um so die spezifischen Stärken und Schwächen der Sensoren und der Fusionskomponente in konkreten
Verkehrssituationen zu analysieren und zu clustern.

Claims

Ansprüche
1 . Verfahren zur Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion, dadurch gekennzeichnet, dass das Verfahren die folgenden Verfahrensschritte aufweist: a) Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor; b) Erstellen eines ersten Umfeldmodells basierend auf Sensordaten des Referenzsensors; c) Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion; und d) Vergleichen des ersten Umfeldmodells mit dem zweiten Umfeldmodell.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Verfahren den weiteren Verfahrensschritt aufweist: e) Evaluierung der Sensordaten der Sensordatenfusion auf Exaktheit.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verfahren den weiteren Verfahrensschritt aufweist: f) Evaluierung von Sensordaten einzelner Sensoren oder Sensorgruppen als Bestandteil der Sensordatenfusion auf Exaktheit.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Verfahren den weiteren Verfahrensschritt aufweist: g) Evaluierung des Einflusses von Sensordaten einzelner Sensoren oder Sensorgruppen als Bestandteil der Sensordatenfusion auf ihren Anteil an der Sensordatenfusion.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass wenigstens einer der Verfahrensschritte d) bis g) mit Bezug auf eine konkrete Fahrsituation durchgeführt wird. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in wenigstens einem der Verfahrensschritte d) bis g) ermittelte Daten zur Verbesserung der Umfelderkennung eingesetzt werden. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass in Verfahrensschritt a) ein Lidar-Sensor (24) als Referenzsensor verwendet wird. Steuergerät (22), wobei das Steuergerät (22) dazu eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen. Computerprogramm, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät (22) diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen. Maschinenlesbares Speichermedium, auf welchem das Computerprogramm gemäß Anspruch 9 gespeichert ist.
PCT/EP2023/050053 2022-01-10 2023-01-03 Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik WO2023131603A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022200139.7A DE102022200139A1 (de) 2022-01-10 2022-01-10 Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mittels zusätzlicher Referenzsensorik
DE102022200139.7 2022-01-10

Publications (1)

Publication Number Publication Date
WO2023131603A1 true WO2023131603A1 (de) 2023-07-13

Family

ID=84923188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/050053 WO2023131603A1 (de) 2022-01-10 2023-01-03 Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik

Country Status (2)

Country Link
DE (1) DE102022200139A1 (de)
WO (1) WO2023131603A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018123735A1 (de) 2018-09-26 2020-03-26 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zum Verbessern einer Objekterkennung eines Radargeräts

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018123735A1 (de) 2018-09-26 2020-03-26 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zum Verbessern einer Objekterkennung eines Radargeräts

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SCHAERMANN ALEXANDER ET AL: "Validation of vehicle environment sensor models", 2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 11 June 2017 (2017-06-11), pages 405 - 411, XP033133785, DOI: 10.1109/IVS.2017.7995752 *
WEI ZHOU ET AL: "Automated Evaluation of Semantic Segmentation Robustness for Autonomous Driving", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 24 October 2018 (2018-10-24), XP080927273 *

Also Published As

Publication number Publication date
DE102022200139A1 (de) 2023-07-13

Similar Documents

Publication Publication Date Title
AT521607B1 (de) Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
DE102008013366B4 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
DE102016212326A1 (de) Verfahren zur Verarbeitung von Sensordaten für eine Position und/oder Orientierung eines Fahrzeugs
DE102020206755A1 (de) Redundanzinformationen für objektschnittstelle für hoch und vollautomatisiertes fahren
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102019115330A1 (de) Echtzeit-Sicherheitspfaderzeugung für hochautomatisiertes Fahrzeugrückfallmanöver
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
DE102016202317A1 (de) Verfahren zum steuern von fahrzeugfunktionen durch ein fahrerassistenzsystem, fahrerassistenzsystem und fahrzeug
WO2023131603A1 (de) Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik
DE102017223264A1 (de) Verfahren und Vorrichtung zum Ansteuern eines Aktors
DE102019211006B4 (de) Auswerten von Sensordaten eines Fahrzeugs
DE102021101717A1 (de) Verfahren zum Bereitstellen von fusionierten Daten, Assistenzsystem und Kraftfahrzeug
DE102016003116A1 (de) Verfahren zum Betreiben eines Fahrwerks eines Kraftfahrzeugs
DE102016208076A1 (de) Verfahren und vorrichtung zur auswertung eines eingabewerts in einem fahrerassistenzsystem, fahrerassistenzsystem und testsystem für ein fahrerassistenzsystem
DE102019127322A1 (de) Verfahren zur Erfassung von Objekten in einer Fahrzeugumgebung, Vorrichtung zur Datenverarbeitung, Computerprogrammprodukt und computerlesbarer Datenträger
DE102019218476A1 (de) Vorrichtung und Verfahren zum Messen, Simulieren, Labeln und zur Bewertung von Komponenten und Systemen von Fahrzeugen
DE102019212892A1 (de) Erkennung von Detektorfehlern
EP4315069A1 (de) Verfahren zum bewerten einer software für ein steuergerät eines fahrzeugs
WO2024008623A1 (de) Computerimplementiertes verfahren und steuergerät zum bestimmen eines geforderten sicherheitsintegritätsniveaus sicherheitsbezogener fahrzeugfunktionen
DE102021209670A1 (de) Konzept zum Überwachen einer Datenfusionsfunktion eines Infrastruktursystems
DE102021003297A1 (de) Verfahren zur Objektverfolgung und Fusionierung von mindestens zwei Sensorsignalen, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Fusionsvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Fusionsvorrichtung
DE202021004237U1 (de) Computerlesbares Speichermedium und Rechenvorrichtung zum Evaluieren eines Softwarestands eines Fahrerassistenzsystems
WO2024013162A1 (de) Verfahren zum bestimmen von unzulänglichkeiten bei der detektion von objekten in von einem umgebungssensor eines kraftfahrzeuges erfassten daten
DE102022206603A1 (de) Verfahren zur Handdetektion, Computerprogramm, und Vorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23700058

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE