WO2023131603A1 - Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik - Google Patents

Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik Download PDF

Info

Publication number
WO2023131603A1
WO2023131603A1 PCT/EP2023/050053 EP2023050053W WO2023131603A1 WO 2023131603 A1 WO2023131603 A1 WO 2023131603A1 EP 2023050053 W EP2023050053 W EP 2023050053W WO 2023131603 A1 WO2023131603 A1 WO 2023131603A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
sensor data
environment model
fusion
sensors
Prior art date
Application number
PCT/EP2023/050053
Other languages
English (en)
French (fr)
Inventor
Holger Wunsch
Christian Fritz
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2023131603A1 publication Critical patent/WO2023131603A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/876—Combination of several spaced transponders or reflectors of known location for determining the position of a receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4052—Means for monitoring or calibrating by simulation of echoes
    • G01S7/4082—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder
    • G01S7/4091—Means for monitoring or calibrating by simulation of echoes using externally generated reference signals, e.g. via remote reflector or transponder during normal radar operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion mittels zusätzlicher Referenzsensorik, dadurch gekennzeichnet, dass das Verfahren die folgenden Verfahrensschritte aufweist: a) Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor; b) Erstellen eines ersten Umfeldmodells basierend auf Sensordaten des Referenzsensors; c) Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion; und d) Vergleichen des ersten Umfeldmodells mit dem zweiten Umfeldmodell.

Description

Beschreibung
Titel
Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mittels zusätzlicher Referenzsensorik
Die vorliegende Erfindung betrifft ein Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion mittels zusätzlicher Referenzsensorik. Die vorliegende Erfindung betrifft ferner ein Steuergerät, das dazu eingerichtet ist, ein derartiges Verfahren auszuführen. Weiterhin betrifft die vorliegende Erfindung ein Computerprogramm, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät diesen veranlassen, das Verfahren auszuführen und ferner ein maschinenlesbares Speichermedium, auf dem dieses Computerprogramm gespeichert ist.
Stand der Technik
Die Software- Architektur moderner Multisensor-Fahrerassistenzsysteme, insbesondere der SAE Level 1 und 2, besteht typischerweise aus mehreren Schichten, die aufeinander aufbauen. Diese Schichten umfassen meist die Sensorik, die Umfeldwahrnehmung, die Situationsanalyse, die Funktion und die Regelung.
Die technische Korrektheit der Software wird wie in der Softwaretechnik üblich modular getestet. „Technische Korrektheit“ bezeichnet die korrekte Funktion der Software, d.h. Verhalten der Algorithmen nach Spezifikation, keine Programmabstürze usw.
Zentrale Voraussetzung für die Absicherung und Optimierung der Performance, d.h. dem real erlebbaren Verhalten der Software in konkreten Verkehrssituationen, ist die Verfügbarkeit einer aussagekräftigen Menge an Fahrdaten. Diese werden mittels Dauerlauf-Fahrten einer Mindestlänge von mehreren Tausend Kilometern ermittelt, und im Nachgang das Verhalten des Fahrzeugs in diesen Messkampagnen analysiert. Die so annotierten Daten sind die Grundlage für sich anschließende Optimierungsläufe. Absicherung und Optimierung der Performance finden größtenteils nur auf der Ebene des Gesamtsystems statt. Die Performance der einzelnen Schichten in Isolation wird meist nicht betrachtet.
DE 10 2018 123 735 A1 beschreibt ein Verfahren zum Verbessern einer Auswertung einer Objekterkennung eines Radargeräts eines Kraftfahrzeugs, wobei das Verfahren die folgenden Schritte aufweist:
- Generieren einer ersten Umgebungskarte einer Umgebung mittels eines LiDAR-Scanners,
- Durchführung einer ersten Objekterkennung auf Basis der generierten ersten Umgebungskarte mittels einer ersten Erkennungsvorrichtung,
- Erstellen eines Ground-Truth-Umgebungsmodells auf Basis der durchgeführten ersten Objekterkennung mittels der ersten Erkennungsvorrichtung,
- Generieren einer zweiten Umgebungskarte der Umgebung mittels des Radargeräts,
- wiederholte Durchführung einer zweiten Objekterkennung mit alternativen Objekterkennungsalgorithmen auf Basis der generierten zweiten Umgebungskarte mittels einer zweiten Erkennungsvorrichtung des Radargeräts,
- Erstellen jeweils eines Radar-Umgebungsmodells auf Basis der wiederholt durchgeführten zweiten Objekterkennung mittels der zweiten Erkennungsvorrichtung,
- wiederholtes Bestimmen von objekterkennungsalgorithmusspezifischen Gütefunktionen des Radargeräts auf Basis einer Abweichung der Radar- Umgebungsmodelle vom Ground-Truth-Umgebungsmodell mittels einer Bestimmungsvorrichtung, und
- Identifizieren eines geeigneten Objekterkennungsalgorithmus anhand einer Höhe der Gütefunktion mittels der Bestimmungsvorrichtung.
Offenbarung der Erfindung Beschrieben wird ein Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion, insbesondere mittels zusätzlicher Referenzsensorik, wobei das Verfahren die folgenden Verfahrensschritte aufweist: a) Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor; b) Erstellen eines ersten Umfeldmodells basierend auf Sensordaten des Referenzsensors; c) Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion; und d) Vergleichen des ersten Umfeldmodells mit dem zweiten Umfeldmodell.
Durch ein derartiges Verfahren lassen sich ein Verfahren zur Umfeldwahrnehmung für ein Fahrunterstützungssystem und damit auf der Umfeldwahrnehmung basierende Prozesse des Fahrunterstützungssystems gegenüber Lösungen aus dem Stand der Technik insbesondere unter Verwendung einer zusätzlichen Referenzsensorik verbessern.
Insbesondere beruht das hier beschriebene Verfahren darauf, bei einem Fusionssystem eine Verbesserung der Umfeldwahrnehmung zu erreichen durch eine umfassende Optimierung der Leistung. Unter einem Fusionssystem beziehungsweise einer Sensordatenfusion soll im Sinne der vorliegenden Erfindung insbesondere gemeint sein, dass Sensordaten unterschiedlicher Sensoren, insbesondere unterschiedlicher Sensorgruppen, miteinander kombiniert werden, um ein gemeinsames Umfeldmodell zu erzeugen. Ferner sollen unter „unterschiedlichen Sensorgruppen“ Sensoren unterschiedlicher Bauart beziehungsweise auf einem unterschiedlichen Wirkprinzip basierende Sensoren verstanden werden.
Dabei sei erwähnt, dass bei einem Multisensor-Fahrassistenzsystem, also einem Fahrassistenzsystem mit Sensordatenfusion der SAE Level 1 und 2 meist folgende Schichten beziehungsweise Ebenen aufweist, nämlich die Sensorik, die Umfeldwahrnehmung, die Situationsanalyse, die Funktion und die Regelung. Diese Schichten bauen zweckmäßigerweise aufeinander auf. Hierauf basierend kann das beschriebene Verfahren insbesondere deshalb von Vorteil sein, da das Vorgehen, die Performance nur auf Systemebene zu prüfen, Verbesserungspotential aufweist. Da die Performance einer tieferen Schicht in Isolation nicht geprüft wird, besteht die Gefahr, dass spezifisches Verbesserungspotenzial für diese tiefere Schicht nicht erkannt wird. Die Performance des Gesamtsystems verharrt somit in einem lokalen Maximum, anstelle durch konsequente Performanceoptimierung auch der tieferen Schichten ein globales Maximum zu erreichen, wie dies erfindungsgemäß möglich ist.
Der vorbeschriebene Stand der Technik trägt diesem Problem mit ihrem Ansatz Rechnung, indem sie die Performance nur des Radar-Sensors in Isolation auf der Sensorebene bewerten und optimieren.
Sensorsets in aktuellen Fahrerassistenzsystem beschränken sich jedoch nicht auf einen einzelnen Sensor, wie etwa nur auf einen Radarsensor, sondern fusionieren die Daten mindestens einer Videokamera und einem oder mehrerer Radare, um ein umfassendes Umfeldmodell zu errechnen.
Fusionssysteme weisen eine deutlich höhere Komplexität auf als Systeme, die auf einen einzelnen Sensor beschränkt sind: Jeder der beteiligten Sensoren hat spezifische systematische Stärken und Schwächen, und eine Performance, die individuell zu bewerten und zu optimieren sind. Diese werden auf nicht triviale Art und Weise in der Fusion kombiniert.
Das vorliegende Verfahren trägt insbesondere dem Rechnung, dass die Performance auf der Ebene der Umfeldwahrnehmung bei Fusionssystemen durch mehrere, sich überlagernde, Faktoren beeinflusst wird, nämlich:
1 . Die individuelle Performance der einzelnen Sensoren in Isolation;
2. Die Performance der Algorithmen und Strategien, die die Fusion implementieren; und
3. Die Auswirkungen der Stärken und Schwächen der beteiligten Sensoren auf das Fusionsergebnis, in einer konkreten Verkehrssituation und im Kontext eines konkreten Fusionsalgorithmus. Diese Fragestellungen, die sich aus der Fusion multi-modaler Sensordaten ergeben, kann das hier beschriebene Verfahren effektiv abdecken, was beispielsweise durch einen rein radar-basierten Ansatz, wie aus dem Stand der Technik bekannt, nicht möglich ist
Um das Vorstehende zu erreichen weist das Verfahren die folgenden Verfahrensschritte auf.
Gemäß Verfahrensschritt a) erfolgt die Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor. In diesem Verfahrensschritt wird somit in an sich bekannter Weise ein Sensor verwendet, um so eine Umfeldwahrnehmung durchzuführen. Der Sensor soll dabei als Referenzsensor verwendet werden.
Entsprechend erfolgt gemäß Verfahrensschritt b) das Erstellen eines Umfeldmodells, also insbesondere eines Ground-Truth-Umfeldmodells, basierend auf Sensordaten des Referenzsensors. Dieser Schritt ist grundsätzlich aus dem Stand der Technik bekannt und dient dazu, die Umgebung eines Fahrzeugs, das mit dem Fahrunterstützungssystem ausgestattet ist, zu detektieren und auf mögliche Objekte zu untersuchen. Entsprechend kann eine Umfeldwahrnehmung eine Basis für weitere Schritte beziehungsweise Prozesse des Fahrunterstützungssystems sein.
Weiterhin erfolgt gemäß Verfahrensschritt c) das Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion. In diesem Schritt wird somit ein Umfeldmodell erstellt anhand von unterschiedlichen Sensoren beziehungsweise Sensorgruppen, wobei die Sensoren beziehungsweise Sensorgruppen zur Erstellung des zweiten Umfeldmodells zweckmäßiger Weise von dem Sensor beziehungsweise der Sensorgruppe zur Erstellung des ersten Sensormodells verschieden ist beziehungsweise sind.
Nach Erstellung des ersten Umfeldmodells und des zweiten Umfeldmodells werden diese gemäß Verfahrensschritt d) miteinander verglichen. Der Begriff zweites Umfeldmodell ist dabei weit zu verstehen und kann beispielsweise das Gesamtmodell als auch Teile dessen, also etwa Daten einzelner in das Umfeldmodell eingehender Sensordaten, umfassen. Dadurch können deutliche Vorteile gegenüber dem Stand der Technik erreicht werden. Bevorzugt ist es jedoch, dass Daten der Sensordatenfusion zumindest in einem Schritt in den Verfahrensschritt d) eingehen.
Der Fokus des hier beschriebenen Verfahrens liegt somit auf dem Teilbereich der Umfeldwahrnehmung mittels verschiedener Sensoren beziehungsweise Sensorgruppen und insbesondere der Sensordatenfusion. Erfindungsgemäß kann eine Verbesserung der Performance des Teilbereichs der Umfeldwahrnehmung erreicht werden. Mit Hilfe der Erfindung kann das Erreichen lokaler Maxima verhindert werden und es wird ermöglicht, sowohl signifikant bessere Performance des Teilbereichs der Umfeldwahrnehmung, als auch eine verbesserte Gesamtsystem-Performance zu erreichen.
Es ist somit ein Vorteil der vorliegenden Erfindung, nicht nur eine isolierte Betrachtung eines Sensors oder einer Sensorgruppe von gleichen Sensoren zu beachten, sondern vielmehr basierend auf den Fusionsdaten eine Mehrzahl an Sensoren beziehungsweise Sensorgruppen zu beachten. Mit Hilfe des hier beschriebenen Verfahrens wird es nun ermöglicht, die Ausgabe der Fusionskomponente als Ganzes und/oder einzelner Bestandteile dieser zu evaluieren und zu optimieren.
Diesbezüglich kann, wie vorstehend beschrieben, ein erstes Umfeldmodell als Referenz verwendet werden und bei dem Fusionsmodell jeweils die Sensordaten einzelner Sensoren beziehungsweise von Sensorgruppen, also Sensoren gleicher Bauart beziehungsweise basierend auf dem gleichen Wirkprinzip, betrachtet werden und in einem Vergleich analysiert werden. Es können dann einzelne Bestandteile der Sensordatenfusion zueinander und/oder Bestandteile der Sensordatenfusion und/oder die Sensordatenfusion als Ganzes mit dem ersten Umfeldmodell in Relation gesetzt und miteinander verglichen werden. Dabei kann effektiv und verlässlich eine Evaluierung einzelner Sensordaten ermöglicht und das Ergebnis der Erstellung eines Umfeldmodells verbessert werden.
Bevorzugt kann das Verfahren den weiteren Verfahrensschritt aufweisen: e) Evaluierung der Sensordaten der Sensordatenfusion auf Exaktheit. In dieser Ausgestaltung kann somit das Umfeldmodell, welches aus der Sensorfusion und somit aus der Gesamtheit der Sensordaten erstellt wird, bewertet werden. Dies erlaubt somit, das Zusammenspiel der Sensoren auszuwerten und die unmittelbar in weitere Prozesse eines Fahrunterstützungssystem eingehenden Daten zu überprüfen und gegebenenfalls die Daten zu korrigieren.
Es kann besonders bevorzugt sein, dass das Verfahren den weiteren Verfahrensschritt aufweist: f) Evaluierung von Sensordaten einzelner Sensoren oder Sensorgruppen als Bestandteil der Sensordatenfusion auf Exaktheit.
Es wird somit möglich, nicht nur die durch die Sensorfusion als Gesamtheit bereitgestellten Daten zu bewerten, sondern ebenfalls von einzelnen Sensoren oder von Sensorgruppen. Dies erlaubt eine genauere Evaluierung der in die Sensorfusion eingehenden Sensordaten, was eine Analyse der Daten auf Exaktheit verbessern kann. Darüber hinaus können gegebenenfalls nur an den Daten Korrekturen durchgeführt werden, welche einen vergleichsweise großen Fehler aufweisen. Dadurch kann das Umfeldmodell der Sensordatenfusion als Ganzes verbessert werden.
Weiter bevorzugt kann das Verfahren den weiteren Verfahrensschritt aufweisen: g) Evaluierung des Einflusses von Sensordaten einzelner Sensoren oder Sensorgruppen als Bestandteil der Sensordatenfusion auf Anteil an der Sensordatenfusion.
In dieser Ausgestaltung kann somit ermittelt werden, wie stark die Fusionsdaten von dem jeweiligen Sensor beziehungsweise der jeweiligen Sensorgruppe beeinflusst werden und wie stark die Fusionsdaten, insbesondere relativ zu anderen Sensoren beziehungsweise Sensorgruppen, beeinflusst werden. Somit kann gleichermaßen zu Verfahrensschritt f) und insbesondere in Kombination mit diesem der charakteristische Einfluss eines individuellen Sensors oder einer Sensorgruppe auf die gesamte Fusionskomponente bestimmt und optimiert werden. Dabei kann wenigstens einer der Verfahrensschritte d) bis g) den Abgleich einzelner erkannter Objekte in den Umfeldmodellen umfassen. Neben der Evaluierung eines gesamten Umfeldmodells kann die Betrachtung einzelner erkannter Objekte besonders exakte Ergebnisse liefern.
Besonders bevorzugt kann wenigstens einer der Verfahrensschritte d) bis g) mit Bezug auf eine konkrete Fahrsituation durchgeführt werden. In anderen Worten kann durch entsprechende Sensorik die Fahrsituation erkannt werden. Das bedeutet, dass beispielsweise erkannt wird, ob sich ein Fahrzeug in einem Parkvorgang, in einer vergleichsweise schnellen Fahrt, in einer vergleichsweise langsamen Fahrt usw. befindet. Dabei wird in dieser Ausgestaltung berücksichtigt, dass eine Umfelderkennung gegebenenfalls in Abhängigkeit der Fahrsituation unterschiedlich exakte Ergebnisse liefern kann und die Sensordaten insbesondere von unterschiedlichen Sensoren beziehungsweise Sensorarten sich in einer Abhängigkeit von der Fahrsituation unterscheiden können. Somit wird auch in dieser Ausgestaltung ein qualitativ besonders hochwertiges Ergebnis ermöglicht und Prozesse der Fahrunterstützung können besonders sicher ausgeführt werden.
Bevorzugt können in wenigstens einem der Verfahrensschritte d) bis g) ermittelte Daten zur Verbesserung der Umfelderkennung eingesetzt werden und beispielsweise in einem Speicher gespeichert werden. Insbesondere in dieser Ausgestaltung wird deutlich, dass basierend auf ermittelten Daten für eine Verbesserung der Umfelderkennung herangezogen werden. Beispielsweise kann diese Ausgestaltung auf einem Algorithmus der künstlichen Intelligenz beruhen, um eine besonders hohe Qualität des Ergebnisses zu ermöglichen und dadurch Fahrunterstützungsschritte besonders verlässlich und genau und damit sicher zu gestalten.
Es kann weiterhin von Vorteil sein, dass in Verfahrensschritt a) ein Lidar-Sensor als Referenzsensor verwendet wird. Insbesondere die Verwendung eines Sensors basierend auf der Lidar (Light imaging, detection and ranging) Technologie kann im Rahmen des hier beschriebenen Verfahrens Vorteile bieten. Denn im Gegensatz zu vielen anderen Ansätzen der Referenzsensorik, wie etwa Hunter-Target-Fahrten, bietet der Lidar-Sensor den Vorteil, ein nahezu vollständiges Umfeldfeldmodell mit vergleichsweise hoher Genauigkeit zu liefern. Basierend auf einem umfassenden und exakten Umfeldmodell kann verständlicher Weise auch die Optimierung der Umfelderfassung besonders genau beziehungsweise verlässlich sein, so dass das Ergebnis des hier beschriebenen Verfahrens von besonders hoher Qualität ist.
Hinsichtlich weiterer Vorteile und technischer Merkmale des Verfahrens wird auf die Beschreibung des Steuersystems, auf das Computerprogramm, auf das maschinenlesbare Speichermedium, die Figuren und die Beschreibung der Figuren verwiesen, und umgekehrt.
Beschrieben wird ferner ein Steuergerät, wobei das Steuergerät dazu eingerichtet ist, ein Verfahren auszuführen, wie es vorstehend beschrieben ist. Das Steuergerät kann beispielsweise ein fahrzeugseitiges Steuergerät, ein fahrzeugexternes Steuergerät oder eine fahrzeugexterne Servereinheit, wie beispielsweise ein Cloud-System, sein. Das Steuergerät umfasst zweckmäßigerweise einen Prozessor, in den ein Computerprogramm geladen werden kann, welches Befehle zum Ausführen des beschriebenen Verfahrens umfasst.
Entsprechend wird weiterhin ein Computerprogramm beschrieben, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät diesen veranlassen, ein Verfahren auszuführen, wie vorstehend im Detail beschrieben. Das Computerprogramm kann somit in den Prozessor geladen werden, um die Befehle zur Durchführung des Verfahrens auszuführen.
Weiterhin wird somit ein maschinenlesbares Speichermedium beschrieben, auf welchem das Computerprogramm wie vorstehend beschrieben gespeichert ist.
Das Steuergerät, das Computerprogramm wie auch das Speichermedium dienen somit dazu, eine Umfelderkennung für ein Fahrassistenzsystem für ein Fahrzeug zu verbessern. Hinsichtlich weiterer Vorteile und technischer Merkmale des maschinenlesbaren Speichermediums, des Steuersystems und des Computerprogramms wird auf die Beschreibung des Verfahrens, auf die Figuren und die Beschreibung der Figuren verwiesen, und umgekehrt.
Weitere Vorteile und vorteilhafte Ausgestaltungen der erfindungsgemäßen Gegenstände werden durch die Zeichnungen veranschaulicht und in der nachfolgenden Beschreibung erläutert, wobei die beschriebenen Merkmale einzeln oder in einer beliebigen Kombination ein Gegenstand der vorliegenden Erfindung sein können, insoweit sich aus dem Kontext nicht eindeutig das Gegenteil ergibt. Dabei ist zu beachten, dass die Zeichnungen nur beschreibenden Charakter haben und nicht dazu gedacht sind, die Erfindung in irgendeiner Form einzuschränken. Es zeigen
Fig. 1 eine schematische Darstellung verschiedener Funktionsschichten eines Fahrunterstützungssystems; und
Fig. 2 eine schematische Darstellung einer Ausgestaltung des Verfahrens gemäß der vorliegenden Erfindung.
In der Figur 1 ist eine typische Software-Architektur moderner Multisensor- Fahrerassistenzsysteme der SAE Level 1 und 2 gezeigt. Diese umfasst typischerweise mehrere Schichten beziehungsweise Ebenen, die aufeinander aufbauen.
Die Ebenen übernehmen folgende Aufgaben, wobei die nächsthöhere Ebene jeweils von der Ausgabe der vorherigen Ebene abhängt:
- Die Sensorik 10 kommuniziert direkt mit der jeweiligen Sensor-Hardware, wie etwa Radar, Kamera, Lidar, und empfängt die sensor-spezifischen Eingabedaten.
- Die Umfeldwahrnehmung 12 beschreibt die Aufgabe, auf Basis von Eingabedaten mehrerer Sensoren, potentiell von unterschiedlicher Modalität, ein Umfeldmodell zu erstellen. Dieses Umfeldmodell bietet die Grundlage, um auf Gesamtsystem- Ebene gewisse Funktionen (s.u.) ausführen zu können. Ein solches Umfeldmodell beinhaltet unter anderem statische und dynamische Objekte, wie etwa Verkehrsteilnehmer, Verkehrszeichen und Straßenmarkierungen.
- Die Situationsanalyse 14 leitet aus dem gegenwärtigen Umfeldmodell und einer zeitlichen Historie ein Verständnis für die konkrete aktuelle Verkehrssituation ab, in der sich das Ego-Fahrzeug befindet.
- Die Funktion 16 implementiert die eigentlichen, im Fahrzeug tatsächlich erlebbaren, Fahrerassistenzfunktionen, wie z.B. eine automatische Notbremse oder einen adaptiven Tempomat.
- Die Regelung 18 setzt die Steuerbefehle der Funktionsschicht in Fahrbefehle in der Aktuatorik um.
In der Figur 2 ist ein Fahrzeug 20 gezeigt, welches eine Steuereinheit 22 aufweist, welche Teil eines Fahrunterstützungssystems sein kann und mit welcher ein Verfahren zur Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion umgesetzt werden kann. Das Fahrzeug 20 kann gemäß der BASt Norm assistiert, teilautomatisiert, hochautomatisiert und/oder vollautomatisiert bzw. fahrerlos betreibbar sein. Ferner kann das Fahrzeug beziehungsweise die Steuereinheit die in Figur 1 gezeigte Software- Architektur aufweisen.
Das Fahrzeug 20 kann beispielsweise als ein Personenkraftwagen, ein Lastkraftwagen, ein Robotaxi und dergleichen sein. Das Fahrzeug 20 ist nicht grundsätzlich auf einen Betrieb auf Straßen beschränkt. Vielmehr kann das Fahrzeug 20 auch als ein Wasserfahrzeug, Luftfahrzeug, wie beispielsweise eine Transportdrohne, und dergleichen ausgestaltet sein.
Das Fahrzeug 20 weist eine Mehrzahl an Sensoren auf, welche Sensordaten erfassen und welche somit eine Sensorfusion ausbilden und Daten einer Sensordatenfusion bereitstellen. Im Detail ist ein Lidar-Sensor 24, eine Video- Kamera 26 und eine Mehrzahl an Radar-Sensoren 28 gezeigt.
Durch die Sensoren kann unter Ermittlung entsprechender Sensordaten eine Umfelderkennung durchgeführt werden, durch die Objekte 30 in der Umgebung des Fahrzeugs 20 erkannt und so die Umgebung dargestellt werden kann. Die Sensordaten können dabei beispielsweise funktionsbedingt voneinander abweichen. So sind in der Figur 2 jeweils die virtuellen Objekte 32 basierend auf Sensordaten des Lidar-Sensors 24, die virtuellen Objekte 34 basierend auf Sensordaten der Videokamera 26, die virtuellen Objekte 36 basierend auf Sensordaten der Radar-Sensoren 28 und die virtuellen Objekte 38 basierend auf einer Sensordatenfusion, also basierend auf sämtlichen Sensordaten der Video- Kamera 26 und der Radar-Sensoren 28, gezeigt.
Durch ein derartiges Setup lässt sich ein Verfahren ausführen mit den Verfahrensschritten a) Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor; b) Erstellen eines ersten Umfeldmodells basierend auf Sensordaten des Referenzsensors; c) Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion; und d) Vergleichen des ersten Umfeldmodells mit dem zweiten Umfeldmodell.
Der Lidar-Sensor 24 als Teil eines größeren Sensorsets wird nicht für die tatsächliche Signalverarbeitung für Funktionen des automatisierten Fahrens oder der Fahrerassistenz verwendet. Stattdessen dient er als Datenlieferant für ein Umfeldmodell (Ground-Truth), welches in allen Dauerläufen zusätzlich zu den primären Sensordaten aufgezeichnet wird. Dieses Umfeldmodell wird gegen die Ausgabe der eigentlichen Signalverarbeitung, insbesondere der Sensordatenfusion, abgeglichen.
Dies ermöglicht die Evaluation und Optimierung der Ausgabe der Fusionskomponente, beispielsweise durch Abgleich von virtuellen Objekten 38 aus dem Umfeldmodell der Fusionskomponente mit virtuellen Objekten 32 aus dem Lidar-generierten Umfeldmodell (Ground-Truth).
Auf diese Weise kann ohne zusätzlichen Aufwand in Dauerläufen eine umfangreiche Datenbasis für eine Ground-Truth ermittelt werden, die wie eingangs beschrieben zentrale Grundlage für eine Performancebewertung der Signalverarbeitung ist. Durch individuelle Betrachtung der einzelnen Sensoren kann ihr relativer Beitrag zum Umfeldmodell der Fusionskomponente bewertet und optimiert werden.
Wie in Figur 2 gezeigt, lässt sich die Ground-Truth sowohl mit der Ausgabe der Fusionskomponente, als auch mit der Ausgabe der einzelnen Sensoren vergleichen. Auf diese Art und Weise kann einerseits die Performance der Sensoren einzeln und der Fusionskomponente einzeln bewertet werden. Andererseits können die Daten der Sensoren und der Fusionskomponente miteinander in Beziehung gesetzt werden um so die spezifischen Stärken und Schwächen der Sensoren und der Fusionskomponente in konkreten
Verkehrssituationen zu analysieren und zu clustern.

Claims

Ansprüche
1 . Verfahren zur Umfeldwahrnehmung für ein Fahrunterstützungssystem mit Sensordatenfusion, dadurch gekennzeichnet, dass das Verfahren die folgenden Verfahrensschritte aufweist: a) Verwendung eines Sensors zur Umfeldwahrnehmung als Referenzsensor; b) Erstellen eines ersten Umfeldmodells basierend auf Sensordaten des Referenzsensors; c) Erstellen eines zweiten Umfeldmodells basierend auf Sensordaten der Sensordatenfusion; und d) Vergleichen des ersten Umfeldmodells mit dem zweiten Umfeldmodell.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Verfahren den weiteren Verfahrensschritt aufweist: e) Evaluierung der Sensordaten der Sensordatenfusion auf Exaktheit.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Verfahren den weiteren Verfahrensschritt aufweist: f) Evaluierung von Sensordaten einzelner Sensoren oder Sensorgruppen als Bestandteil der Sensordatenfusion auf Exaktheit.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Verfahren den weiteren Verfahrensschritt aufweist: g) Evaluierung des Einflusses von Sensordaten einzelner Sensoren oder Sensorgruppen als Bestandteil der Sensordatenfusion auf ihren Anteil an der Sensordatenfusion.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass wenigstens einer der Verfahrensschritte d) bis g) mit Bezug auf eine konkrete Fahrsituation durchgeführt wird. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in wenigstens einem der Verfahrensschritte d) bis g) ermittelte Daten zur Verbesserung der Umfelderkennung eingesetzt werden. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass in Verfahrensschritt a) ein Lidar-Sensor (24) als Referenzsensor verwendet wird. Steuergerät (22), wobei das Steuergerät (22) dazu eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen. Computerprogramm, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät (22) diesen veranlassen, ein Verfahren gemäß einem der Ansprüche 1 bis 7 auszuführen. Maschinenlesbares Speichermedium, auf welchem das Computerprogramm gemäß Anspruch 9 gespeichert ist.
PCT/EP2023/050053 2022-01-10 2023-01-03 Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik WO2023131603A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022200139.7A DE102022200139A1 (de) 2022-01-10 2022-01-10 Verfahren zur Optimierung der Umfeldwahrnehmung für ein Fahrunterstützungssystem mittels zusätzlicher Referenzsensorik
DE102022200139.7 2022-01-10

Publications (1)

Publication Number Publication Date
WO2023131603A1 true WO2023131603A1 (de) 2023-07-13

Family

ID=84923188

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/050053 WO2023131603A1 (de) 2022-01-10 2023-01-03 Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik

Country Status (2)

Country Link
DE (1) DE102022200139A1 (de)
WO (1) WO2023131603A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018123735A1 (de) 2018-09-26 2020-03-26 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zum Verbessern einer Objekterkennung eines Radargeräts

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018123735A1 (de) 2018-09-26 2020-03-26 HELLA GmbH & Co. KGaA Verfahren und Vorrichtung zum Verbessern einer Objekterkennung eines Radargeräts

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SCHAERMANN ALEXANDER ET AL: "Validation of vehicle environment sensor models", 2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 11 June 2017 (2017-06-11), pages 405 - 411, XP033133785, DOI: 10.1109/IVS.2017.7995752 *
WEI ZHOU ET AL: "Automated Evaluation of Semantic Segmentation Robustness for Autonomous Driving", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 24 October 2018 (2018-10-24), XP080927273 *

Also Published As

Publication number Publication date
DE102022200139A1 (de) 2023-07-13

Similar Documents

Publication Publication Date Title
AT521607B1 (de) Verfahren und Vorrichtung zum Testen eines Fahrerassistenzsystem
DE102008013366B4 (de) Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
DE102016212326A1 (de) Verfahren zur Verarbeitung von Sensordaten für eine Position und/oder Orientierung eines Fahrzeugs
DE102020206755A1 (de) Redundanzinformationen für objektschnittstelle für hoch und vollautomatisiertes fahren
DE102019115330A1 (de) Echtzeit-Sicherheitspfaderzeugung für hochautomatisiertes Fahrzeugrückfallmanöver
DE102018215753A1 (de) Vorrichtung und Verfahren zum Ermitteln einer Trajektorie eines Fahrzeugs
DE102020214596A1 (de) Verfahren zum Erzeugen von Trainingsdaten für ein Erkennungsmodell zum Erkennen von Objekten in Sensordaten einer Umfeldsensorik eines Fahrzeugs, Verfahren zum Erzeugen eines solchen Erkennungsmodells und Verfahren zum Ansteuern einer Aktorik eines Fahrzeugs
DE102017201796A1 (de) Steuervorrichtung zum Ermitteln einer Eigenbewegung eines Kraftfahrzeugs sowie Kraftfahrzeug und Verfahren zum Bereitstellen der Steuervorrichtung
WO2023131603A1 (de) Verfahren zur optimierung der umfeldwahrnehmung für ein fahrunterstützungssystem mittels zusätzlicher referenzsensorik
DE102017223264A1 (de) Verfahren und Vorrichtung zum Ansteuern eines Aktors
DE102019211006B4 (de) Auswerten von Sensordaten eines Fahrzeugs
DE102016003116A1 (de) Verfahren zum Betreiben eines Fahrwerks eines Kraftfahrzeugs
DE102016202317A1 (de) Verfahren zum steuern von fahrzeugfunktionen durch ein fahrerassistenzsystem, fahrerassistenzsystem und fahrzeug
DE102016208076A1 (de) Verfahren und vorrichtung zur auswertung eines eingabewerts in einem fahrerassistenzsystem, fahrerassistenzsystem und testsystem für ein fahrerassistenzsystem
DE102019127322A1 (de) Verfahren zur Erfassung von Objekten in einer Fahrzeugumgebung, Vorrichtung zur Datenverarbeitung, Computerprogrammprodukt und computerlesbarer Datenträger
DE102019218476A1 (de) Vorrichtung und Verfahren zum Messen, Simulieren, Labeln und zur Bewertung von Komponenten und Systemen von Fahrzeugen
DE102019212892A1 (de) Erkennung von Detektorfehlern
DE102021111724B4 (de) Verfahren und Computerprogramm zum Evaluieren eines Softwarestands eines Fahrerassistenzsystems
EP4315069A1 (de) Verfahren zum bewerten einer software für ein steuergerät eines fahrzeugs
WO2024008623A1 (de) Computerimplementiertes verfahren und steuergerät zum bestimmen eines geforderten sicherheitsintegritätsniveaus sicherheitsbezogener fahrzeugfunktionen
DE102021209670A1 (de) Konzept zum Überwachen einer Datenfusionsfunktion eines Infrastruktursystems
DE102021003297A1 (de) Verfahren zur Objektverfolgung und Fusionierung von mindestens zwei Sensorsignalen, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Fusionsvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Fusionsvorrichtung
DE202021004237U1 (de) Computerlesbares Speichermedium und Rechenvorrichtung zum Evaluieren eines Softwarestands eines Fahrerassistenzsystems
WO2024013162A1 (de) Verfahren zum bestimmen von unzulänglichkeiten bei der detektion von objekten in von einem umgebungssensor eines kraftfahrzeuges erfassten daten
DE102022206603A1 (de) Verfahren zur Handdetektion, Computerprogramm, und Vorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23700058

Country of ref document: EP

Kind code of ref document: A1