WO2023147961A1 - Verfahren zur korrektur eines bauartbedingten abbildungsfehlers eines lidar-sensors, recheneinrichtung, lidar-sensorsystem, computerprogramm sowie computerlesbares (speicher)medium - Google Patents

Verfahren zur korrektur eines bauartbedingten abbildungsfehlers eines lidar-sensors, recheneinrichtung, lidar-sensorsystem, computerprogramm sowie computerlesbares (speicher)medium Download PDF

Info

Publication number
WO2023147961A1
WO2023147961A1 PCT/EP2023/050318 EP2023050318W WO2023147961A1 WO 2023147961 A1 WO2023147961 A1 WO 2023147961A1 EP 2023050318 W EP2023050318 W EP 2023050318W WO 2023147961 A1 WO2023147961 A1 WO 2023147961A1
Authority
WO
WIPO (PCT)
Prior art keywords
characteristic feature
design
lidar sensor
sensor
vehicle
Prior art date
Application number
PCT/EP2023/050318
Other languages
English (en)
French (fr)
Inventor
Jonathan Fischer
Nils Waldmann
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2023147961A1 publication Critical patent/WO2023147961A1/de

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Ein erfindungsgemäßes Verfahren zur Bestimmung eines Korrekturfaktors für eine Korrektur eines bauartbedingten Abbildungsfehlers eines Lidar-Sensors während eines bestimmungsgemäßen Betriebs des Lidar-Sensors umfasst ein Empfangen von Sensordaten von dem Lidar-Sensor, wobei die Sensordaten eine Umgebung eines Fahrzeugs mittels einer Punktewolke beschreiben. Zudem umfasst das Verfahren ein Erfassen eines charakteristischen Merkmals in den Sensordaten, wobei das charakteristische Merkmal eine vorbestimmte Charakteristik aufweist. Ebenso umfasst das Verfahren ein Erfassen des bauartbedingten Abbildungsfehlers mittels einer erneuten Prüfung des charakteristischen Merkmals auf die vorbestimmte Charakteristik. Schließlich umfasst das Verfahren ein Bestimmen des Korrekturfaktors, mit Hilfe dessen der bauartbedingte Abbildungsfehler in den Sensordaten korrigierbar ist, derart, dass das erfasste charakteristische Merkmal, die vorbestimmte Charakteristik im Rahmen der erneuten Prüfung aufweist. Hierbei wird der bauartbedingte Abbildungsfehler im Rahmen der erneuten Prüfung dadurch erfasst, dass das charakteristische Merkmal und/oder die mit dem charakteristischen Merkmal assoziierten Sensordaten entgegen der vorbestimmten Charakteristik einer zeitlichen und/oder räumlichen Veränderung unterliegt.

Description

VERFAHREN ZUR KORREKTUR EINES BAUARTBEDINGTEN ABBILDUNGSFEHLERS EINES LIDAR-SENSORS, RECHENEINRICHTUNG, LI DAR-SENSORSYSTEM, COMPUTERPROGRAMM SOWIE COMPUTERLESBARES (SPEICHER)MEDIUM
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung eines Korrekturfaktors für eine Korrektur eines bauartbedingten Abbildungsfehlers eines automobilen Lidar-Sensors während eines bestimmungsgemäßen Betriebs des Lidar-Sensors. Darüber hinaus betrifft die vorliegende Erfindung eine Recheneinrichtung für ein Fahrzeug bzw. einen Lidar-Sensor eines Fahrzeugs zum Durchführen eines derartigen Verfahrens. Ferner betrifft die vorliegende Erfindung ein Lidar-Sensorsystem für ein Fahrzeug. Schließlich betrifft die vorliegende Erfindung auch ein Computerprogramm sowie ein computerlesbares (Speicher)Medium.
Lidar-Sensoren dienen im Automobilbereich meist der Umfelderfassung. Der Begriff Lidar ist dabei eine Abkürzung für das zugrunde liegende Messverfahren, welches auf einer Laufzeitmessung mittels Ultraviolett-, Infrarot- oder Strahlen aus dem Bereich des sichtbaren Lichts basiert (engl. „light detection and ranging“). Mittels des optischen Messverfahrens können Objekte in einer Umgebung erfasst und deren Entfernung gemessen werden.
Bei der Laufzeitmessung, auch „Time-of-Flight“-Messung genannt, werden ein oder mehrere Lichtpulse ausgesendet und an einem eventuell vorhandenen Objekt in der Umgebung reflektiert. Die Zeit bis zum Empfang des reflektierten Signals ist dabei proportional zu der Entfernung. Die Senderichtungen, also beispielsweise Azimut- und Elevationswinkel der ausgesendeten Lichtpulse, ermöglichen eine exakte Verortung des Reflexionspunktes und somit des Objekts in der Umgebung. Hierbei ist jedoch eine hohe Winkelgenauigkeit vonnöten.
Aus designtechnischen Gründen ist es oftmals wünschenswert, dass Lidar-Sensoren hinter einer Abdeckung am Fahrzeug verbaut werden. Derartige Abdeckungen sind bereits von Radar-Sensoren bekannt und werden oftmals als Radome bezeichnet. Im Bereich der Lidar- Sensoren werden derartige Abdeckungen auch als Lidome oder Design-Cover bezeichnet. Ein solches Design-Cover kann jedoch - insbesondere aufgrund von äußeren Umgebungseinflüssen - zu einer Winkelverzerrung der ausgesendeten und/oder der empfangenen Lichtpulse führen. Insgesamt kann es so also zu einer Verzerrung der Lidar- Punktewolke, also der Menge aller Reflexionspunkte, führen. Folglich kann es vorkommen, dass Objekte in der Umgebung falsch verortet werden und/oder dass erfasste Objekte bzw. deren Ausdehnung falsch bestimmt wird. Da derzeit keine Design-Cover für Lidar-Sensoren im Automobilbereich eingesetzt werden, sind aktuell auch keine Verfahren zur Korrektur einer Verzerrung aufgrund eines Design-Covers bekannt (oftmals auch Verfahren zur Entzerrung genannt).
Um einen Lidar-Sensor mit einem großen Sichtfeld auszustatten, kann es von Vorteil sein, wenn der Lidar-Sensor auf mehrerer Lidar-Teilsensoren basiert. Dies kann insbesondere dann sinnvoll sein, wenn Sende- und/oder Empfangselemente des Lidar-Sensors auf mikro- elektro-mechanischen Spiegeln (fachsprachlich auch MEMS-Spiegel) basieren. Ein Sichtfeld des Lidar-Sensors von beispielsweise 100°, 150°und insbesondere von mehr als 180° lässt sich meist nur mit mehreren Lidar-Teilsensoren realisieren. Dabei wird das Sichtfeld des Lidar-Sensors aus den kleineren Sichtfeldern der jeweiligen Lidar-Teilsensoren zusammengesetzt. Beispielsweise kann ein Sichtfeld von 180° aus zwei Lidar-Teilsensoren mit einem Sichtfeld von je 95° realisiert werden, wobei die Sichtfelder der beiden Lidar- Teilsensoren dabei in einem Bereich von 5° überlappen.
Bei der Verwendung von Lidar-Teilsensoren muss besonders auf eine exakte Kalibrierung der Lidar-Teilsensoren zueinander geachtet werden. Sind die Lidar-Teilsensoren nicht exakt zueinander kalibriert, so kann es beispielsweise im Falle eines leichten vertikalen Versatzes dazu kommen, dass die Objektgröße (beispielsweise von einem weiteren Verkehrsteilnehmer) in vertikaler Richtung im Überlappungsbereich der vertikal versetzten Sichtfelder der Lidar-Teilsensoren falsch bestimmt wird. Auch in einem solchen Fall muss der Versatz bzw. der bauartbedingte Abbildungsfehler - am besten während des bestimmungsgemäßen Betriebs - festgestellt und korrigiert werden. Auch hierfür sind derzeit keine Verfahren bekannt.
Weitere bauartbedingte Abbildungsfehler können beispielsweise aufgrund mechanischen Verschleißes auftreten. So ist es denkbar, dass einzelne Linsen, Spiegel oder dergleichen mit der Zeit gewisse Defizite aufweisen. Diese können zum einen durch mechanische Krafteinwirkung und zum anderen durch altersbedingten Verschleiß verursacht werden. Derzeit sind auch hierfür keine Auch hierfür sind derzeit keine Verfahren zur Korrektur einer derartigen Verzerrung bekannt.
Zusammengefasst sind bisher also keine Verfahren zur Korrektur eines bauartbedingten
Abbildungsfehlers eines automobilen Lidar-Sensors während des bestimmungsgemäßen Betriebs, also insbesondere während des Betriebs des Fahrzeugs im gewöhnlichen Straßenverkehr, bekannt.
Die Druckschrift DE 102016 225 595 A1 beschreibt ein Verfahren und eine Anordnung zur Kalibrierung mindestens eines Sensors eines Schienenfahrzeugs. Dabei wird zur Kalibrierung mindestens eines Sensors eines Schienenfahrzeugs ein Referenzobjekt in einer Umgebung erfasst, aus denen Merkmale extrahiert werden, anhand derer ein Prozessor den Sensor kalibriert. Die Kalibrierung des Sensors wird während einer Fahrt des Schienenfahrzeugs durchgeführt. Das Verfahren beruht auf der Verwendung von Umgebungsinvarianten - also Merkmalen, welche in der Fahrumgebung von vorherein vorhanden waren oder speziell für das Verfahren installiert wurden - zur Online-Kalibrierung von einem oder mehreren Sensoren des Schienenfahrzeugs. Die Kalibrierung erfolgt hierbei fortlaufend oder in Intervallen während der Fahrt in einem regulären Linienbetrieb des Schienenfahrzeugs. Die regelmäßige Wiederholung der Kalibrierung während der Fahrt bietet den Vorteil, dass das Sensorsystem unmittelbar auf dynamische Veränderungen des Schienenfahrzeugs reagieren kann, indem permanent während des Betriebs Kalibrierdaten aus vorhandenen Umgebungsstrukturen erhoben und verarbeitet werden. Dies ermöglicht eine häufigere und genauere Kalibrierung, welche die Sicherheit erhöht und neue Anwendungen ermöglicht. In der Folge werden auch Wartungsaufwand und -kosten für das Sensorsystem reduziert.
Die veröffentlichte internationale Anmeldung WO 2021/197709 A1 betrifft ein Verfahren zur Erkennung einer Dekalibrierung eines Lidar-Sensors eines Fahrzeugs. Dabei wird mittels des Lidar-Sensors eine Referenzmessung durchgeführt, bei der durch Aussenden von Laserstrahlung in mindestens einer vorbestimmten Abtastebene mindestens eine Linie auf eine Fahrbahnoberfläche projiziert wird und bei der eine Lage der mindestens einen Linie relativ zum Fahrzeug ermittelt wird. Zu einem späteren Zeitpunkt wird eine Verifikationsmessung durchgeführt, bei der ebenfalls durch Aussenden von Laserstrahlung in der mindestens einer vorbestimmten Abtastebene mindestens eine Linie auf die Fahrbahnoberfläche projiziert wird und bei der eine Lage der mindestens einen Linie relativ zum Fahrzeug ermittelt wird. Die ermittelten Lagen werden miteinander verglichen. Wenn der Vergleich ergibt, dass die bei der Referenzmessung und der Verifikationsmessung ermittelten Lagen gegeneinander um mehr als ein vorgegebenes Maß verschoben sind, wird auf eine Degradation des Lidar-Sensors geschlossen. Die zurückreflektierte Strahlung kann auch mittels eines außerhalb des Lidar-Sensors angeordneten Fotodetektors detektiert werden, beispielsweise mittels einer Kamera, die einen für die Wellenlänge der Laserstrahlung, üblicherweise IR-Strahlung, empfindlichen Sensorchip aufweist. Die Referenzmessung und die Verifikationsmessung werden vorzugsweise während des Stillstands des Fahrzeugs durchgeführt. Beispielsweise wird die Referenzmessung beim Abstellen des Fahrzeugs und die Verifikationsmessung beim anschließenden Starten des Fahrzeugs durchgeführt. Damit lässt sich feststellen, ob während des Parkens ein Ereignis stattgefunden hat, das zur Dekalibrierung des Sensors geführt hat.
Das Dokument EP 2 199 828 A2 beschreibt ein Verfahren zum Bestimmen der Relativlage eines Laserscanners, der in einer Abtastebene ein 2D-Profil seiner Umgebung erfasst und von einem Beförderungsmittel in einer abtastebenen-fremden Fahrtrichtung mitgeführt wird, um ein 3D-Abbild der Umgebung zu erstellen, relativ zu einem Referenzsystem des Beförderungsmittels, mit den Schritten: Verwenden eines Laserscanners, dessen Abtastebene in zumindest zwei Winkelstellungen vorwählbar ist, Erstellen des Bereichs unter zwei verschiedenen Winkelstellungen des Laserscanners und Bestimmen der Relativlage aus einem Vergleich der Raumlage eines Objekts im ersten 3D-Abbild mit der Raumlage desselben Objekts im zweiten 3D-Abbild.
Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie ein bauartbedingter Abbildungsfehler eines automobilen Lidar-Sensors während eines bestimmungsgemäßen Betriebs des Lidar-Sensors erkannt und korrigiert werden kann.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Recheneinrichtung, durch ein Lidar-Sensorsystem, ein Computerprogramm sowie ein computerlesbares (Speicher)Medium mit den Merkmalen gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Ansprüchen angegeben.
Ein erfindungsgemäßes Verfahren zur Bestimmung eines Korrekturfaktors für eine Korrektur eines bauartbedingten Abbildungsfehlers eines automobilen Lidar-Sensors während eines bestimmungsgemäßen Betriebs des Lidar-Sensors umfasst ein kontinuierliches Empfangen von Sensordaten von dem Lidar-Sensor, wobei die Sensordaten eine Umgebung eines Fahrzeugs mittels einer Punktewolke beschreiben. Zudem umfasst das Verfahren ein Erfassen eines charakteristischen Merkmals in den Sensordaten, wobei das charakteristische Merkmal zu einem ersten Zeitpunkt eine vorbestimmte Charakteristik aufweist. Ebenso umfasst das Verfahren ein Erfassen des bauartbedingten Abbildungsfehlers mittels einer erneuten Prüfung des charakteristischen Merkmals auf die vorbestimmte Charakteristik zu einem zweiten Zeitpunkt. Schließlich umfasst das Verfahren ein Bestimmen des Korrekturfaktors, mit Hilfe dessen der bauartbedingte Abbildungsfehler in den Sensordaten korrigierbar ist, derart, dass das erfasste charakteristische Merkmal, während es in den mit dem Korrekturfaktor korrigierten Sensordaten erfasst wird, die vorbestimmte Charakteristik im Rahmen der erneuten Prüfung aufweist. Hierbei wird der bauartbedingte Abbildungsfehler im Rahmen der erneuten Prüfung dadurch erfasst, dass das charakteristische Merkmal und/oder die mit dem charakteristischen Merkmal assoziierten Sensordaten entgegen der vorbestimmten Charakteristik einer zeitlichen und/oder räumlichen Veränderung unterliegt.
Mit anderen Worten soll mittels des erfindungsgemäßen Verfahrens, also während des bestimmungsgemäßen Betriebs des Lidar-Sensors eine Korrektur eines bauartbedingten Abbildungsfehlers ermöglicht werden. Ein bauartbedingter Abbildungsfehler kann beispielsweise aufgrund eines Design-Covers verursacht werden. Bei der Herstellung eines Lidar-Sensors wird für gewöhnlich eine so genannte Grundkalibrierung ohne Design-Cover durchgeführt. Eine anschließende Basiskorrektur der Kalibrierung mit Design-Cover erlaubt eine Anpassung an das Design-Cover des Lidar-Sensors. Abschließend kann eine Zusatzkorrektur der Kalibrierung mit Design-Cover im Fahrzeug durchgeführt werden. So wird sichergestellt, dass der Lidar-Sensor eine hohe Winkelgenauigkeit bei der Auslieferung des Fahrzeugs aufweist. Dadurch kann der Winkel des Lichtpulses und somit jedes Reflexionspunktes hochgenau kalibriert werden. Beispielsweise kann so eine Genauigkeit von 0,025° oder besser gewährleistet werden.
Mit dem erfindungsgemäßen Verfahren zur Bestimmung eines Korrekturfaktors für eine Korrektur eines bauartbedingten Abbildungsfehlers ist es nun möglich, auf individuelle Abbildungsfehler während des Betriebs des Lidar-Sensors zu reagieren. Beispielsweise können bauartbedingte Abbildungsfehler aufgrund einer Deformation des Design-Covers auftreten. Eine Deformation des Design-Covers kann beispielsweise aufgrund einer Fahrgeschwindigkeit des Fahrzeugs und einer damit einhergehenden Windlast, welche auf das Design-Cover wirkt, auftreten. Ebenso ist es möglich, dass eine Deformation des Design-Covers aufgrund von Bauteilspannungen infolge von Temperaturschwankungen auftritt.
Ebenso ist es möglich, dass im Falle eines Lidar-Sensors, dessen Sichtfeld sich aus den Sichtfeldern von mehreren Lidar-Teilsensoren zusammensetzt, ein bauartbedingter Abbildungsfehler aufgrund einer Dekalibrierung der Lidar-Teilsensoren zueinander vorliegt. Eine derartige Dekalibrierung und der damit einhergehende bauartbedingte Abbildungsfehler kann beispielsweise aufgrund von Bodenunebenheiten, Kollisionen und/oder sonstigen mechanische Krafteinwirkungen auftreten. Um zunächst festzustellen, dass ein bauartbedingter Abbildungsfehler bei dem Lidar-Sensor vorliegt, kann ein charakteristisches Merkmal in den Sensordaten erfasst werden. Mit anderen Worten kann ein charakteristisches Merkmal aus der Punktewolke des Lidar- Sensors extrahiert werden. Das charakteristische Merkmal ist dabei nichtnotwendigerweise an ein vorbestimmtes (physisches) Objekt gebunden. Stattdessen kann es sich bei dem charakteristischen Merkmal um einzelne Teilbereiche eines Objekts, aber auch um eine Anordnung mehrerer Objekte zueinander handeln. Das charakteristische Merkmal kann dabei in Abhängigkeit einer vorbestimmten Charakteristik bestimmt werden. Eine vorbestimmte Charakteristik kann beispielsweise eine besonders geometrische Anordnung von Reflexionspunkten sein. Beispielsweise ist es denkbar, dass als die vorbestimmte Charakteristik eine Mindestanzahl von Reflexionspunkten entlang einer Geraden verwendet wird. Reflexionspunkte entlang einer Geraden können beispielsweise aufgrund einer Leitplanke, einer Spurmarkierung und/oder dergleichen auftreten.
Dabei können fortlaufend bzw. kontinuierlich Sensordaten von dem Lidar-Sensor empfangen werden. Wesentlich ist dabei insbesondere der Abgleich der Sensordaten bzw. der Abgleich eines charakteristischen Merkmals und dessen Eigenschaften (der vorbestimmten Charakteristik) zu zwei verschiedenen Zeitpunkten. Erstmalig kann das charakteristische Merkmal samt der vorbestimmten Charakteristik beispielweise zu dem ersten Zeitpunkt, wobei der erste Zeitpunkt zeitlich vor dem zweiten Zeitpunkt liegt, erfasst werden. Anschließend (bzw. zum zweiten Zeitpunkt) kann geprüft werden, ob und wie sich das charakteristische Merkmal und dessen Eigenschaften (also die vorbestimmte Charakteristik) ändern.
Das charakteristische Merkmal kann dazu zeitlich und/oder räumlich verfolgt werden. Der bauartbedingte Abbildungsfehler kann nun dadurch erfasst werden, dass im Rahmen einer erneuten Prüfung zu einem späteren Zeitpunkt (zu dem zweiten Zeitpunkt) geprüft wird, ob das charakteristische Merkmal die vorbestimmte Charakteristik - welche das charakteristische Merkmal zum ersten Zeitpunkt besaß - noch immer aufweist. Ist dies nicht mehr der Fall, weisen also die mit dem charakteristischen Merkmal assoziierten Sensordaten die vorbestimmte Charakteristik nicht mehr auf, so kann ein bauartbedingter Abbildungsfehler vorliegen. Wesentlich hierfür ist jedoch, dass das charakteristische Merkmal und dessen Eigenschaft (die vorbestimmte Charakteristik) eine gewisse zeitliche und/oder räumliche Konstanz aufweist. Zusätzlich oder alternativ ist es auch möglich, dass anhand von weiteren Annahmen und/oder Informationen eine Änderung des charakteristischen Merkmals und dessen Eigenschaft (der vorbestimmten Charakteristik) prädiziert werden kann.
Der Korrekturfaktor kann nun dadurch bestimmt werden, dass die Sensordaten des zweiten Zeitpunktes derart korrigiert werden, dass die mit dem charakteristischen Merkmal assoziierten Sensordaten des zweiten Zeitpunktes die vorbestimmte Charakteristik wieder aufweisen. Somit ist es möglich, dass auf einen bauartbedingten Abbildungsfehler während dem bestimmungsgemäßen Betrieb des Lidar-Sensors reagiert wird. Infolgedessen kann fortwährend eine hohe Winkelgenauigkeit des Lidar-Sensors gewährleistet werden, auch wenn dieser hinter einem Design-Cover in/an dem Fahrzeug montiert wird. Bei dem Korrekturfaktor kann es sich dabei um einzelne Werte handeln, welche auf einzelne Punkte der Lidar-Punktewolke bzw. auf die jeweiligen einzelnen Lidarstrahlen wirken. Ebenso kann es sich bei dem Korrekturfaktor um eine Korrekturmaske oder dergleichen handeln, welche entsprechend zur gesamthaften Korrektur der Lidar-Punktewolke bzw. den entsprechenden Lidar-Daten verwendet werden kann.
Der Korrekturfaktor kann auch so bestimmt werden, dass im Rahmen des erfindungsgemäßen Verfahrens auf eine neue Senderichtung einzelner Lichtpulse infolge des bauartbedingten Abbildungsfehlers geschlossen wird. Beispielsweise kann es vorkommen, dass ein Lichtpuls in einem Winkel von 5° von dem Lidar-Sensor ausgesendet wird (beispielsweise infolge einer 5°-Ausrichtung eines MEMS-Spiegels), der Winkel aufgrund einer Deformation des Design-Covers tatsächlich jedoch 6° beträgt. Mit anderen Worten kann mittels des erfindungsgemäßen Verfahrens in diesem Beispiel also auf die neue Senderichtung von 6° des Lichtpulses infolge des bauartbedingten Abbildungsfehlers geschlossen werden. Die neue Senderichtung kann mittels des Korrekturfaktors so im Rahmen einer Signalverarbeitung berücksichtigt werden. Es ist aber auch möglich, den einzelnen Lichtpuls bzw. die Ausrichtung des korrespondierenden MEMS-Spiegel so zu ändern, dass die Senderichtung in den darauffolgenden Messungen/Abtastungen - trotz der Deformation des Design-Covers - wieder 5° beträgt.
Darüber hinaus ist es vorteilhaft, wenn das charakteristische Merkmal in der Punktewolke der Sensordaten des Lidar-Sensors ein infrastrukturelles Merkmal beschreibt und die vorbestimmte Charakteristik zumindest eine Mindestabmessung des infrastrukturellen Merkmals umfasst. Als infrastrukturelle Merkmale sind Elemente in der Umgebung des Fahrzeugs zu verstehen, welche keine Objekte im Sinne der Objekterkennung des Lidar- Sensors sind. Die Objekterkennung des Lidar-Sensors bzw. einer mit dem Lidar-Sensor verbundenen Recheneinheit kann dazu verwendet werden, Objekte in der Punktewolke der Sensordaten zu erkennen. Bei den Objekten kann es sich beispielsweise um weitere Verkehrsteilnehmer - also um Personenkraftwagen, Lastkraftwagen, Motorräder, Fußgänger und/oder dergleichen - sowie Verkehrsschilder oder ähnliches handeln. Oftmals werden im Rahmen der Objekterkennung die erkannten Objekte mittels einhüllender Quader (engl., fachsprachlich bounding boxes) beschrieben. Mit anderen Worten werden also im Rahmen der Objekterkennung unter anderem die Abmessungen der erkannten Objekte bestimmt. Zudem kann das Objekt im Rahmen der Objekterkennung klassifiziert werden.
Hervorzuheben ist, dass der Begriff des Objekts, wie er in diesem Dokument verwendet wird, im Wesentlichen Objekte im Sinne der Objekterkennung des Lidar-Sensors bezeichnet. Oftmals umfasst die Objekterkennung des Lidar-Sensors beispielsweise nur vordefinierte Objekte - also beispielsweise weitere Verkehrsteilnehmer, Verkehrsschilder, Lichtsignalanlagen, etc. -, daher sind unter dem Begriff eines infrastrukturellen Merkmals insbesondere diejenigen (physischen) Objekte zu verstehen, die nicht im Rahmen der Objekterfassung erfasst, beschrieben und/oder klassifiziert werden. Insbesondere also beispielsweise Bordsteinkanten, Fahrbahnmarkierungen, Haus- und Gebäudeabschnitte, etc.
Es kann es sich also bei einem infrastrukturellen Merkmal um Fahrbahnmarkierungen, Leitplanken, Fahrbahngrenzen, Teile von Gebäuden oder dergleichen handeln. Beispielsweise kann das charakteristische Merkmal also auch eine Dachrinne eines Gebäudes - und damit ein infrastrukturelles Merkmal - repräsentieren. In diesem Beispiel bildet eine Dachrinne eine lange Gerade, deren Reflexionspunkte - sofern Lichtpulse an der Dachrinne des Gebäudes reflektiert werden - ähnliche Reflexionseigenschaften aufweisen. Als vorbestimmte Charakteristik kann in diesem Beispiel eine Mindestlänge bzw. Mindestabmessung der Geraden bzw. der Dachrinne dienen.
Bewegt sich nun das infrastrukturelle Merkmal, also die Dachrinne, aufgrund der Eigenbewegung des Fahrzeugs bzw. des Lidar-Sensors durch das Sichtfeld des Lidar- Sensors, so kann es aufgrund eines deformierten Design-Covers in einem bestimmten Bereich des Sichtfeldes zu einer Stauchung, einer Streckung, einem Versatz und/oder einer Krümmung des charakteristischen Merkmals bzw. der Dachrinne in den Sensordaten des Lidar-Sensors kommen. Solch Stauchung, Streckung, Versatz oder Krümmung kann also eine zeitliche und/oder räumliche Veränderung des charakteristischen Merkmals bewirken. Da jedoch das charakteristische Merkmal bzw. das durch das charakteristische Merkmal beschriebene infrastrukturelle Merkmal zeitlich und/oder räumlich konstante Abmessungen aufweisen sollte, kann auf einen bauartbedingten Abbildungsfehler geschlossen werden.
Hierbei ist es ebenso denkbar, dass mittels eines Verfahrens zur Simultanen Positionsbestimmung und Kartierung (engl., fachsprachlich SLAM oder Simultaneous Localization and Mapping) ein Abgleich zwischen der Lidar-Punktewolke und einer Umgebungskarte durchgeführt wird. Dabei kann das charakteristische Merkmal aus den Sensordaten extrahiert werden und anschließend mit den Kartendaten abgeglichen werden. Im Prinzip kann dieses Vorgehen auch umgekehrt - also beginnend mit der Extraktion eines charakteristischen Merkmals in den Kartendaten und anschließendem Abgleich in den Sensordaten - angewendet werden. Bei der Verwendung eines SLAM-Verfahrens zur Erkennung und Korrektur eines bauartbedingten Abbildungsfehlers ist es auch denkbar, dass der bauartbedingte Abbildungsfehler zu einem einzelnen Zeitpunkt festgestellt werden kann. Somit kann die erneute Prüfung des charakteristischen Merkmals auf die vorbestimmte Charakteristik zu einem zweiten Zeitpunkt, welcher gleich dem ersten Zeitpunkt ist, erfolgen.
Generell zu beachten ist hierbei, dass unter zeitlich und/oder räumlich konstanten Abmessungen die Absolutwerte des Merkmals zu verstehen sind. Beispielsweise ist es denkbar, dass sich aufgrund der Bewegung des Lidar-Sensors relativ zu dem charakteristischen Merkmal eine Abbildungsgröße des charakteristischen Merkmals in den Sensordaten ändert, obwohl sich die tatsächliche Größe des Objekts nicht ändert. Um auf den bauartbedingten Abbildungsfehler zu schließen, kann - wie bereits zuvor erwähnt - anhand von weiteren Annahmen und/oder Informationen eine zeitliche und/oder räumliche Änderung prädiziert werden bzw. kann eine Eigenbewegung des Lidar-Sensors kompensiert werden.
Folglich kann ein Korrekturfaktor bestimmt werden, welcher eine Korrektur bzw. Entzerrung der Sensordaten bzw. der Punktewolke bewirkt, sodass das charakteristische Merkmal in den mit dem Korrekturfaktor korrigierten Sensordaten des zweiten Zeitpunkts die vorbestimmte Charakteristik im Rahmen einer erneuten Prüfung aufweist. Es kann jedoch - insbesondere im Falle einer mechanischen Korrektur der Senderichtung einzelner Lichtpulse (beispielsweise wie zuvor beschrieben mittels einer Neuausrichtung einzelner MEMS- Spiegel) - auch vorgesehen sein, dass das charakteristische Merkmal die vorbestimmte Charakteristik erst zu einem auf den zweiten Zeitpunkt zeitlich folgenden dritten Zeitpunkt erfüllt. Es kann jedoch auch vorteilhaft sein, wenn das charakteristische Merkmal einen spezifischen geometrischen Parameter eines in der Punktewolke der Sensordaten des Lidar- Sensors erkannten Objekts beschreibt. Als das charakteristische Merkmal kann beispielsweise eine Breite des Objekts, eine Länge des Objekts, eine besondere Kontur des Objekts oder dergleichen verwendet werden. Wird das Objekt zeitlich verfolgt (fachsprachlich „ge-tracked“, aus dem Englischen von „tracked“) und führt das das Objekt dabei eine Relativbewegung innerhalb des Sichtfelds des Lidar-Sensors aus, so kann es vorkommen, dass sich der spezifische geometrische Parameter des erkannten Objekts verändert. Es ist also möglich, dass sich beispielsweise die Breite eines Lastkraftwagens ändert. Eine derartige Änderung kann aufgrund einer sich ändernden Entfernung des Lastkraftwagens ergeben oder aber auch aufgrund einer Deformation des Design-Covers des Lidar-Sensors. Ändert sich also beispielsweise die Breite des Lastkraftwagens unabhängig von der Entfernung des Lastkraftwagens, so kann auf den bauartbedingten Abbildungsfehler geschlossen werden.
Hierbei ist es von Vorteil, wenn zusätzliche Bilddaten von einer Kamera empfangen werden, welche die Umgebung des Fahrzeugs beschreiben, und mittels derer das erkannte Objekt verifiziert wird. Mit anderen Worten dienen die zusätzlichen Bilddaten also dazu, das in der Punktewolke der Sensordaten des Lidar-Sensors erkannte Objekt zu bestätigen. Durch eine Bestätigung des erkannten Objekts kann eine Robustheit des Erfassens des bauartbedingten Abbildungsfehlers gesteigert werden. So kann beispielsweise verhindert werden, dass ein eventuell durch den Lidar-Sensor falsch-positiv erfasstes Objekt zum Erfassen des charakteristischen Merkmals verwendet wird.
Eine vorteilhafte (alternative) Ausgestaltungsform sieht vor, dass zusätzliche Bilddaten von einer Kamera empfangen werden, wobei die zusätzlichen Bilddaten ein Objekt in der Umgebung des Fahrzeugs mittels eines Objektbereichs beschreiben, und das charakteristische Merkmal in den mit dem Objektbereich assoziierten Sensordaten erfasst wird. Es ist also auch möglich, dass zunächst ein Objekt in den Bilddaten erfasst wird, anschließend durch einen Objektbereich beschrieben wird, und anschließend das charakteristische Merkmal aus diesem Objektbereich extrahiert wird bzw. aus den mit dem Objektbereich assoziierten Sensordaten extrahiert wird.
Die Verwendung einer Kamera hat dabei den Vorteil, dass charakteristische Merkmale zuverlässiger erfasst werden können. Wird beispielsweise in den Bilddaten ein Lastkraftwagen erkannt, und ist bekannt, dass ein Lastkraftwagen eine lange gerade Kante aufweist, welche gegebenenfalls als das charakteristische Merkmal prädestiniert ist, so kann direkt nach dem charakteristischen Merkmal in den mit dem Objektbereich assoziierten Sensordaten gesucht werden. Dadurch kann auch implizit gewährleistet werden, dass das charakteristische Merkmal die vorbestimmte Charakteristik (beispielsweise eine lange gerade Kante oder eine rechteckige Abmessung) aufweist.
Wie bereits ausgeführt, kann es besonders vorteilhaft sein, wenn das charakteristische Merkmal durch eine gerade visuelle Objektkante in den Bilddaten beschreibbar ist. Eine derartige gerade visuelle Objektkante kann beispielsweise von einem Lastkraftwagen, einer Fahrbahnmarkierung, einem Fahrbahnrand, einem Bordstein, einer Leitplanke und/oder dergleichen stammen. Die visuelle Objektkante kann beispielsweise mittels eines Algorithmus zur Kantendetektion aus den Bilddaten extrahiert werden. Ein charakteristisches Merkmal, welches durch eine gerade Anordnung der Reflexionspunkte in der Punktewolke des Lidar-Sensors repräsentiert wird, ist besonders vorteilhaft, um bauartbedingte Abbildungsfehler zu erkennen. Eine Erkennung von Stauchungen, Streckungen und/oder anderen Verzerrungen aufgrund des bauartbedingten Abbildungsfehlers - also beispielsweise einer Deformation des Design-Covers und/oder des Versatzes im Falle mehrerer Lidar-Teilsensoren - ist so besonders einfach erkennbar.
Im Allgemeinen ist es dabei auch von Vorteil, wenn das charakteristische Merkmal durch mehrere entlang einer Geraden angeordnete Reflexionspunkte der Punktewolke beschreibbar ist und die entlang der Geraden angeordneten Reflexionspunkte dabei ähnliche Reflexionseigenschaften aufweisen. Typischerweise kann in Abhängigkeit der zurückreflektierten Leistung eines Lichtpulses auf die Reflexionseigenschaften eines einzelnen Reflexionspunktes und damit auf das Objekt geschlossen werden. Ähnliche Reflexionseigenschaften haben dabei den Vorteil, dass dadurch eine verbesserte Erfassung des charakteristischen Merkmals möglich ist.
Beispielsweise kann bei stark unterschiedlichen Reflexionseigenschaften eines charakteristischen Merkmals unter Umständen nicht gewährleistet werden, dass es sich dabei um ein Merkmal handelt, welches zeitlich und/oder räumlich konstant ist und daher zur Erfassung des bauartbedingten Abbildungsfehlers entsprechend geeignet ist. Mit anderen Worten kann bei stark abweichenden Reflexionseigenschaften unter Umständen nicht gewährleistet werden, dass die vorbestimmte Charakteristik in gewisser Art und Weise konstant bleibt. Wie bereits erwähnt dient die Anordnung der Reflexionspunkte entlang einer Geraden dabei der besonders einfachen Erkennbarkeit des bauartbedingten Abbildungsfehlers, also beispielsweise der Deformation des Design-Covers des Lidar- Sensors oder des Versatzes im Falle mehrerer Lidar-Teilsensoren. Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass Systemzustandsdaten empfangen werden, welche einen Betriebszustand des Fahrzeugs beschreiben, wobei der Betriebszustand zumindest einem Fahrzustand des Fahrzeugs und/oder einen äußeren Umgebungszustand umfasst, und das Bestimmen des Korrekturfaktors nur dann erfolgt, wenn die Systemzustandsdaten einen zu korrigierenden Betriebszustand beschreiben. Im Allgemeinen ist es möglich, die Bestimmung des Korrekturfaktors zur Korrektur des bauartbedingten Abbildungsfehlers permanent oder in gewissen vordefinierten zeitlichen Abständen durchzuführen. Es kann jedoch auch von Vorteil sein, wenn das Bestimmen des Korrekturfaktors bzw. die Korrektur des bauartbedingten Abbildungsfehlers in Abhängigkeit vordefinierter Betriebszustände erfolgt.
Ein Betriebszustand, bei welchem eine Bestimmung des Korrekturfaktors bzw. eine Korrektur des bauartbedingten Abbildungsfehlers vonnöten sein kann, kann beispielsweise in Abhängigkeit der aktuellen Fahrgeschwindigkeit bzw. des aktuellen Fahrzustands, welcher die aktuelle Fahrgeschwindigkeit umfassen kann, definiert werden. Beispielsweise ist es möglich, dass der Lidar-Sensor und damit das Design-Cover des Lidar-Sensors je nach aktueller Fahrgeschwindigkeit einer erhöhten Windlast ausgesetzt ist. Eine solche Windlast kann eine Kraft auf das Design-Cover des Lidar-Sensors ausüben und infolgedessen zu einer Deformation des Design-Covers und damit zu einem bauartbedingten Abbildungsfehler führen. Die Systemzustandsdaten können einen solchen zu korrigierenden Betriebszustand - also beispielsweise aufgrund der erhöhten Windlast - beschreiben. Folglich ist es möglich, das Bestimmen des Korrekturfaktors bzw. die Korrektur des bauartbedingten Abbildungsfehlers genau dann durchzuführen, wenn ein zu korrigierender Betriebszustand von den Systemzustandsdaten beschrieben wird.
Weitere mögliche zu korrigierende Betriebszustände können beispielsweise auch aufgrund äußerer Umgebungszustände vorliegen. Eine erhöhte Sonneneinstrahlung auf das Design- Cover und/oder eine erhöhte Umgebungstemperatur können ebenso zu einer Deformation des Design-Covers und damit zu einem bauartbedingten Abbildungsfehler führen. Auch eine mehr oder weniger starke Erschütterung kann im Falle mehrerer Lidar-Teilsensoren zu einem Versatz in den einzelnen Punktewolken der Lidar-Teilsensoren bzw. einer Dekalibrierung und damit zu einem bauartbedingten Abbildungsfehler führen. Derartige Erschütterungen können beispielsweise mittels eines Beschleunigungssensors erfasst werden und entsprechend in die Systemzustandsdaten mitaufgenommen werden. Wird das Bestimmen des Korrekturfaktors bzw. die Korrektur des bauartbedingten Abbildungsfehlers in Abhängigkeit der Systemzustandsdaten durchgeführt, so kann Energie und Rechenleistung eingespart werden.
Schließlich ist es auch vorteilhaft, wenn die zeitliche und/oder räumliche Veränderung des charakteristischen Merkmals und/oder der mit dem charakteristischen Merkmal assoziierten Sensordaten durch eine Streckung, Stauchung und/oder Krümmung gekennzeichnet ist.
Ein weiterer Aspekt der Erfindung betrifft eine Recheneinrichtung für ein Fahrzeug, welche zum Durchführen eines erfindungsgemäßen Verfahrens eingerichtet ist. Die Recheneinrichtung kann zumindest einen Prozessor und/oder einen Speicher aufweisen. Die Recheneinrichtung kann durch zumindest ein elektronisches Steuergerät gebildet sein.
Ein erfindungsgemäßes Lidar-Sensorsystem für ein Fahrzeug umfasst einen Lidar-Sensor, welcher wiederum mehrere Lidar-Teilsensoren und/oder ein Design-Cover umfasst. Darüber hinaus umfasst das Lidar-Sensorsystem eine erfindungsgemäße Recheneinrichtung für ein Fahrzeug, welche zum Durchführen eines erfindungsgemäßen Verfahrens eingerichtet ist.
Ein erfindungsgemäßes Fahrzeug umfasst ein erfindungsgemäßes Lidar-Sensorsystem. Das Fahrzeug kann insbesondere als Personenkraftwagen ausgebildet sein.
Ferner betrifft die Erfindung ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinrichtung diese veranlassen, ein erfindungsgemäßes Verfahren und die vorteilhaften Ausgestaltungen davon auszuführen. Schließlich betrifft die Erfindung ein computerlesbares (Speicher)Medium, umfassend Befehle, die bei der Ausführung durch eine Recheneinrichtung diese veranlassen, ein erfindungsgemäßes Verfahren und die vorteilhaften Ausgestaltungen davon auszuführen.
Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Recheneinrichtung, für das erfindungsgemäße Lidar-Sensorsystem, für das erfindungsgemäße Fahrzeug, für das erfindungsgemäße Computerprogramm sowie für das erfindungsgemäße computerlesbare (Speicher)Medium.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Dabei zeigen:
Fig. 1 ein Ablaufdiagramm verschiedener Kalibrier- bzw. Korrekturschritte eines Lidar- Sensors,
Fig. 2 eine Darstellung verschiedener Ausführungsbeispiele eines Verfahrens zur Bestimmung eines Korrekturfaktors eines Lidar-Sensors in Form eines Ablaufdiagramms,
Fig. 3 eine schematische Darstellung eines bauartbedingten Abbildungsfehlers aufgrund eines deformierten Design-Covers eines Lidar-Sensors, und
Fig. 4 eine Darstellung von Sensordaten eines Lidar-Sensors, welcher zwei dekalibrierte Lidar-Teilsensoren umfasst und welcher infolgedessen einen bauartbedingten Abbildungsfehler aufweist.
In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
Fig. 1 zeigt ein Ablaufdiagramm verschiedener Kalibrier- bzw. Korrekturschritte eines Lidar- Sensors 1. Dabei wird zunächst eine Grundkalibrierung K1 des Lidar-Sensors 1 ohne Design-Cover 2 durchgeführt. Eine derartige Grundkalibrierung K1 kann - ohne die Dynamik des Fahrzeugs zu berücksichtigen - durchgeführt werden. Beispielsweise kann die Grundkalibrierung K1 des Lidar-Sensors 1 bei der Produktion des Lidar-Sensors 1 erfolgen. Anschließend kann eine so genannte Basiskorrektur K2 der Grundkalibrierung K1 erfolgen, sobald der Lidar-Sensor 1 erstmals hinter dem Design-Cover 2 verbaut ist. Dieser Schritt kann ebenso im Rahmen der Produktion des Lidar-Sensors 1 erfolgen und umfasst meist keine Dynamik des Fahrzeugs. Schließlich kann eine Zusatzkorrektur K3 der Basiskorrektur K2 erfolgen, wenn der Lidar-Sensor 1 samt Design-Cover 2 im Fahrzeug verbaut wurde. Die Zusatzkorrektur K3 kann dabei während der Produktion des Fahrzeugs erfolgen. Auch hierbei kann die Dynamik des Fahrzeugs bzw. können äußere Umgebungseinflüsse vernachlässigt werden. Das erfindungsgemäße Verfahren zur Bestimmung eines Korrekturfaktors für eine Korrektur eines bauartbedingten Abbildungsfehlers 10 eines Lidar-Sensors 1 bietet nun die Möglichkeit, eine Korrektur der Zusatzkorrektur K3 während des bestimmungsgemäßen Betriebs B, also insbesondere während sich das Fahrzeug im Straßenverkehr befindet, durchzuführen. Während des bestimmungsgemäßen Betriebs B des Lidar-Sensors 1 können verschiedene Ereignisse (siehe Schritt B1) auftreten, welche zu einem bauartbedingten Abbildungsfehler 10 führen.
Unabhängig von der Art der Ereignisse kann ein bauartbedingter Abbildungsfehler 10 auftreten. Daher wird kontinuierlich im Schritt B2 eine Überwachung und Feinkorrektur der Zusatzkorrektur K3 durchgeführt. Ist der bauartbedingte Abbildungsfehler 10 nicht korrigierbar, so ist unter Umständen im Schritt W ein Werkstattaufenthalt vonnöten.
Fig. 2 zeigt eine Darstellung verschiedener Ausführungsbeispiele eines Verfahrens zur Bestimmung des Korrekturfaktors des Lidar-Sensors 1 in Form eines Ablaufdiagramms. Während des bestimmungsgemäßen Betriebs B kann sich beispielswese der Fahrzustand des Fahrzeugs, also beispielsweise die Fahrgeschwindigkeit und infolgedessen die Windlast, welche auf das Design-Cover 2 wirkt, ändern. Ebenso ist es denkbar, dass sich eine Umgebungstemperatur ändert. Ferner kann es auch zu einer mechanischen Krafteinwirkung auf das Design-Cover 2 und/oder eine Montierung des Lidar-Sensor 1 kommen.
Während des bestimmungsgemäßen Betriebs B des Lidar-Sensors 1 bzw. im Rahmen der Überwachung und Feinkorrektur (vgl. Schritt B2) kann nun zunächst ein charakteristisches Merkmal in den kontinuierlich empfangenen Sensordaten erfasst werden. Hierbei sind grundsätzlich drei Varianten denkbar: Mittels Fahrbahnmarkierungen bzw. infrastrukturellen Merkmalen (siehe Schritt B01), mittels eines spezifischen geometrischen Parameters eines erkannten Objekts (beispielsweise den Abmessungen eines Lastkraftwagens, siehe Schritt B02) oder mittels eines Kameraabgleichs (siehe Schritt B03).
Im Schritt B01, also beispielsweise mittels Fahrbahnmarkierungen, werden zunächst Spurmarkierungen von dem Lidar-Sensor 1 erkannt. Die erkannten Fahrbahnmarkierungen können nun zunächst interpoliert werden. Anschließend kann, ggf. unter Zuhilfenahme zusätzlicher Informationen über den Fahrzustand (Fahrgeschwindigkeit, Gierrate, Lenkwinkel und/oder dergleichen), ein Abgleich der erkannten und interpolierten Fahrbahnmarkierungen mit perfekt parallelen Linien durchgeführt werden. Im Falle einer Abweichung können diese beispielsweise mittels einer lateralen Streckung und/oder Stauchung so korrigiert werden, dass die Fahrbahnmarkierungen parallel verlaufen. Im Schritt B02, also wenn beispielsweise a priori Wissen über Abmessungen eines Lastkraftwagens verwendet werden, wird beispielsweise zunächst ein Lastkraftwagen erkannt und ge-tracked (typischerweise während des relativen Annäherns und Entfernens). Die abstandsabhängige (ggf. winkelabhängige) Kontur des LKW kann anschließend mit einer Soll-Kontur abgeglichen werden. Dabei kann ein Streck- und/oder Stauchungsfaktor zur Korrektur der Kontur bestimmt werden.
Analoge Beispiele, bei welchen ein a priori Wissen über Abmessungen verwendet werden kann, umfassen Verkehrsschilder, Wegweiserbrücken oder erkehrszeichenbrücken. Im Allgemeinen sind insbesondere jene Ziele gut geeignet, welche aufgrund einer hohen Reflektivität gut detektierbar sind und eine gerade Struktur bzw. Form aufweisen.
Im Schritt B03 kann ein Kameraabgleich der Sensordaten des Lidar-Sensors 1 durchgeführt werden. Zunächst werden dazu Objekte von einer Kamera und dem Lidar-Sensor erkannt. Anschließend kann ein Streck- und/oder Stauchungsfaktor bestimmt werden, sodass eine maximale Übereinstimmung der Kamera mit dem Lidar-Sensor 1 erzielt wird.
Fig. 3 zeigt eine schematische Darstellung eines bauartbedingten Abbildungsfehlers 10 aufgrund eines deformierten Design-Covers 2 eines Lidar-Sensors 1. Auf der linken Seite ist zunächst eine fehlerfreie Erfassung der Umgebung 3 mittels des Lidar-Sensors 1 dargestellt. In der Umgebung 3 befindet sich ein Personenkraftwagen 4, welcher mit Hilfe von mehreren Lichtpulsen 5 abgetastet wird. Die Reflexionspunkte 6 - also diejenigen Punkte, welche die Lichtpulse 5 zurückreflektieren - werden für die Objekterkennung des Lidar-Sensors 1 verwendet und sind Teil der Punktewolke des Lidar-Sensors 1.
Die Objekterkennung bzw. die Objektbildung ist dabei durch den Pfeil 7 dargestellt. Das erfasste Objekt kann beispielsweise mittels eines einhüllenden Quaders/Rechteck 8 beschrieben werden. Ist der Lidar-Sensor 1 infolge der Kalibrier- bzw. Korrekturschritte K1, K2 und K3 richtig kalibriert, so ist eine fehlerfreie Erfassung der Umgebung 3 möglich. Auf der linken Seite von Fig. 3 ist die fehlerfreie Erfassung der Umgebung 3 insbesondere durch die hochgenaue Beschreibung des Personenkraftwagens 6 mittels des einhüllenden Quaders/Rechtecks 8 zu erkennen.
Auf der rechten Seite von Fig. 3 ist die gleiche Situation (vgl. linke Seite) erneut dargestellt, wobei aufgrund eines deformierten Design-Covers 2 ein bauartbedingter Abbildungsfehler 10 und infolgedessen eine fehlerbehaftete Erfassung der Umgebung 3 dargestellt ist. Das Design-Cover 2 ist dabei im Bereich 9 deformiert. Eine derartige Deformation kann beispielsweise aufgrund von mechanischen Spannungen, einer erhöhten Windlast infolge einer hohen Fahrgeschwindigkeit, Temperaturschwankungen und/oder dergleichen auftreten.
Die Deformation im Bereich 9 kann nun dazu führen, dass einzelne Lichtpulse 5 des Lidar- Sensors 1 abgelenkt bzw. verzerrt werden. Insbesondere können Azimut- und/oder Elevationswinkel des Lidar-Sensors 1 verfälscht werden. Infolgedessen - wie auf der rechten Seite von Fig. 3 dargestellt - können beispielweise mehr Lichtpulse 5 von dem Personenkraftwagen 4 reflektiert werden als in der Situation auf der linken Seite von Fig. 3. Es können also auch diejenigen Lichtpulse 5 den Personenkraftwagen 4 treffen, die eigentlich an dem Personenkraftwagen 4 vorbei gesendet werden sollten. Infolgedessen kann ein bauartbedingter Abbildungsfehler 10 auftreten. Im Rahmen der Objekterkennung bzw. der Objektbildung, welche durch den Pfeil 7 dargestellt ist, können die Abmessungen des Personenkraftwagens 4 falsch bestimmt werden. Dass die Abmessungen des Personenkraftwagens 4 auf der rechten Seite von Fig. 3 falsch bestimmt wurden, ist durch einen zu großen einhüllenden Quader/Rechteck 8 dargestellt.
Der bauartbedingte Abbildungsfehler 10 kann nun im Rahmen des erfindungsgemäßen Verfahrens zur Bestimmung eines Korrekturfaktors für eine Korrektur des bauartbedingten Abbildungsfehlers 10 des automobilen Lidar-Sensors 1 während eines bestimmungsgemäßen Betriebs B des Lidar-Sensors 1 dadurch erkannt werden, dass der Personenkraftwagen 4 als charakteristisches Merkmal dient und als die vorbestimmte Charakteristik eine vorbestimmte Wagenlänge 11 dient.
Wird nun das charakteristische Merkmal - also der Personenkraftwagen 4 - zu einem ersten Zeitpunkt (dargestellt auf der linken Seite von Fig. 3) erfasst und anschließend verfolgt bzw. ge-tracked, so kann zu einem späteren Zeitpunkt (dem zweiten Zeitpunkt, dargestellt auf der rechten Seite von Fig. 3) erneut geprüft werden, ob das charakteristische Merkmal die vorbestimmte Charakteristik - also die vorbestimmte Wagenlänge 11 - noch immer aufweist.
Da der Personenkraftwagen 4 die Wagenlänge 1 T auf der rechten Seite von Fig. 3 - also zum zweiten Zeitpunkt - aufweist, kann nun auf einen bauartbedingten Abbildungsfehler 10 geschlossen werden. Die Sensordaten zu dem zweiten Zeitpunkt können infolgedessen so korrigiert werden, dass der bauartbedingte Abbildungsfehler 10 - also der Winkelfehler aufgrund der Deformation des Design-Covers 2 im Bereich 9 kompensiert wird. Es ist jedoch auch möglich die (zukünftige) Sendrichtung derjenigen Lichtpulse 5 so zu verändern (beispielsweise mittels einer Neuausrichtung einzelner MEMS-Spiegel des Lidar- Sensors 1), dass die Senderichtung der Lichtpulse nach Austritt aus dem (deformierten) Design-Cover 2 der ursprünglich beabsichtigten Senderichtung entspricht und folglich das charakteristische Merkmal die vorbestimmte Charakteristik erst zu einem auf den zweiten Zeitpunkt zeitlich folgenden dritten Zeitpunkt (in Fig.3 nicht dargestellt) wieder erfüllt.
Fig. 4 zeigt eine Darstellung von Sensordaten eines Lidar-Sensors 1 , welcher zwei dekalibrierte Lidar-Teilsensoren umfasst und welcher infolgedessen einen bauartbedingten Abbildungsfehler 10 aufweist. Die erste Lidar-Teilsensoren weist ein Sichtfeld T 1 auf. Der zweite Lidar-Teilsensor weist ein Sichtfeld T2 auf. Das Sichtfeld des Lidar-Sensors 1 weist ein Sichtfeld auf, welches das Sichtfeld T 1 und T2 umfasst. Dabei überlappen die Sichtfelder T 1 und T2 in einem Überlappungsbereich T 12.
Sind die beiden Lidar-Teilsensoren nicht exakt zueinander kalibriert, kann es beispielsweise im Überlappungsbereich T12 zu einem (wie in Fig. 4 sichtbaren) leichten vertikalen Versatz der Reflexionspunkte 6 kommen. Infolgedessen kann unter Umständen die Objektgröße (beispielsweise von einem weiteren Verkehrsteilnehmer) in vertikaler Richtung falsch bestimmt werden.

Claims

Ansprüche
1. Verfahren zur Bestimmung eines Korrekturfaktors für eine Korrektur eines bauartbedingten Abbildungsfehlers (10) eines automobilen Lidar-Sensors (1) während eines bestimmungsgemäßen Betriebs des Lidar-Sensors (1), umfassend die Schritte:
- Kontinuierliches Empfangen von Sensordaten von dem Lidar-Sensor (1), wobei die Sensordaten eine Umgebung (3) eines Fahrzeugs mittels einer Punktewolke beschreiben,
- Erfassen eines charakteristischen Merkmals in den Sensordaten, wobei das charakteristische Merkmal zu einem ersten Zeitpunkt eine vorbestimmte Charakteristik aufweist,
- Erfassen des bauartbedingten Abbildungsfehlers (10) mittels einer erneuten Prüfung des charakteristischen Merkmals auf die vorbestimmte Charakteristik zu einem zweiten Zeitpunkt, und
- Bestimmen des Korrekturfaktors, mit Hilfe dessen der bauartbedingte Abbildungsfehler (10) in den Sensordaten korrigierbar ist, derart, dass das erfasste charakteristische Merkmal, sofern es in den mit dem Korrekturfaktor korrigierten Sensordaten erfasst wird, die vorbestimmte Charakteristik im Rahmen der erneuten Prüfung aufweist, dadurch gekennzeichnet, dass
- der bauartbedingte Abbildungsfehler (10) im Rahmen der erneuten Prüfung dadurch erfasst wird, dass das charakteristische Merkmal und/oder die mit dem charakteristischen Merkmal assoziierten Sensordaten entgegen der vorbestimmten Charakteristik einer zeitlichen und/oder räumlichen Veränderung unterliegt.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das charakteristische Merkmal in der Punktewolke der Sensordaten des Lidar- Sensors (1) ein infrastrukturelles Merkmal beschreibt und die vorbestimmte Charakteristik zumindest eine Mindestabmessung des infrastrukturellen Merkmals umfasst.
3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das charakteristische Merkmal einen spezifischen geometrischen Parameter eines in der Punktewolke der Sensordaten des Lidar-Sensors (1) erkannten Objekts beschreibt.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zusätzliche Bilddaten von einer Kamera empfangen werden, welche die Umgebung (3) des Fahrzeugs beschreiben, und mittels derer das erkannte Objekt verifiziert wird.
5. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass zusätzliche Bilddaten von einer Kamera empfangen werden, wobei die zusätzlichen Bilddaten ein Objekt in der Umgebung (3) des Fahrzeugs mittels eines Objektbereichs beschreiben, und das charakteristische Merkmal in den mit dem Objektbereich assoziierten Sensordaten erfasst wird.
6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass das charakteristische Merkmal durch eine gerade visuelle Objektkante in den Bilddaten beschreibbar ist.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das charakteristische Merkmal durch mehrere entlang einer Geraden angeordnete Reflexionspunkte der Punktewolke beschreibbar ist und die entlang der Geraden angeordneten Reflexionspunkte dabei ähnliche Reflexionseigenschaften aufweisen.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass
Systemzustandsdaten empfangen werden, welche einen Betriebszustand des Fahrzeugs beschreiben, wobei der Betriebszustand zumindest einen Fahrzustand des Fahrzeugs und/oder einen äußeren Umgebungszustand umfasst, und das Bestimmen des Korrekturfaktors nur dann erfolgt, wenn die Systemzustandsdaten einen zu korrigierenden Betriebszustand beschreiben.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zeitliche und/oder räumliche Veränderung des charakteristischen Merkmals und/oder der mit dem charakteristischen Merkmal assoziierten Sensordaten durch eine Streckung, Stauchung und/oder Krümmung gekennzeichnet ist.
10. Recheneinrichtung für ein Fahrzeug, welche dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
11. Lidar-Sensorsystem für ein Fahrzeug, umfassend:
- einen Lidar-Sensor (1), welcher mehrere Lidar-Teilsensoren und/oder ein Design-Cover (2) umfasst, und
- eine Recheneinrichtung für ein Fahrzeug gemäß Anspruch 10, welche dazu eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.
12. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinrichtung diese veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.
13. Computerlesbares (Speicher)Medium, umfassend Befehle, die bei der Ausführung durch eine Recheneinrichtung diese veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.
PCT/EP2023/050318 2022-02-01 2023-01-09 Verfahren zur korrektur eines bauartbedingten abbildungsfehlers eines lidar-sensors, recheneinrichtung, lidar-sensorsystem, computerprogramm sowie computerlesbares (speicher)medium WO2023147961A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022102322.2A DE102022102322A1 (de) 2022-02-01 2022-02-01 Verfahren zur korrektur eines bauartbedingten abbildungsfehlers eines lidar-sensors, recheneinrichtung, lidar-sensorsystem, computerprogramm sowie computerlesbares (speicher)medium
DE102022102322.2 2022-02-01

Publications (1)

Publication Number Publication Date
WO2023147961A1 true WO2023147961A1 (de) 2023-08-10

Family

ID=84901251

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/050318 WO2023147961A1 (de) 2022-02-01 2023-01-09 Verfahren zur korrektur eines bauartbedingten abbildungsfehlers eines lidar-sensors, recheneinrichtung, lidar-sensorsystem, computerprogramm sowie computerlesbares (speicher)medium

Country Status (2)

Country Link
DE (1) DE102022102322A1 (de)
WO (1) WO2023147961A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2199828A2 (de) 2008-11-26 2010-06-23 Riegl Lasermeasurement Systems GmbH Verfahren zum Bestimmen der Relativlage eines Laserscanners zu einem Referenzsystem
US20130218398A1 (en) * 2012-02-22 2013-08-22 GM Global Technology Operations LLC Method for determining object sensor misalignment
DE102016225595A1 (de) 2016-12-20 2018-06-21 Siemens Aktiengesellschaft Verfahren und Anordnung zur Kalibrierung mindestens eines Sensors eines Schienenfahrzeugs
US20200353939A1 (en) * 2019-05-08 2020-11-12 Pony.ai, Inc. System and method for recalibration of an uncalibrated sensor
WO2021197709A1 (de) 2020-04-03 2021-10-07 Daimler Ag Verfahren zur kalibrierung eines lidarsensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2199828A2 (de) 2008-11-26 2010-06-23 Riegl Lasermeasurement Systems GmbH Verfahren zum Bestimmen der Relativlage eines Laserscanners zu einem Referenzsystem
US20130218398A1 (en) * 2012-02-22 2013-08-22 GM Global Technology Operations LLC Method for determining object sensor misalignment
DE102016225595A1 (de) 2016-12-20 2018-06-21 Siemens Aktiengesellschaft Verfahren und Anordnung zur Kalibrierung mindestens eines Sensors eines Schienenfahrzeugs
US20200353939A1 (en) * 2019-05-08 2020-11-12 Pony.ai, Inc. System and method for recalibration of an uncalibrated sensor
WO2021197709A1 (de) 2020-04-03 2021-10-07 Daimler Ag Verfahren zur kalibrierung eines lidarsensors

Also Published As

Publication number Publication date
DE102022102322A1 (de) 2023-08-03

Similar Documents

Publication Publication Date Title
DE102011112404B4 (de) Verfahren zum Bestimmen der Position eines Kraftfahrzeugs
DE102016100401A1 (de) Verfahren zum Ermitteln einer Falschausrichtung eines Objektsensors
DE102010049093A1 (de) Verfahren zum Betreiben zumindest eines Sensors eines Fahrzeugs und Fahrzeug mit zumindest einem Sensor
DE102017221691A1 (de) Verfahren und Vorrichtung zur Eigenlokalisierung eines Fahrzeugs
DE102016204011A1 (de) Vorrichtung zur Ermittlung einer Dejustage einer an einem Fahrzeug befestigten Detektionseinrichtung
DE102014226020A1 (de) Verfahren und Vorrichtung zur Kalibrierung mindestens einer mobilen Sensoreinrichtung
DE102018204829A1 (de) Verfahren und Vorrichtung zur Analyse einer Fahrzeugumgebung sowie Fahrzeug mit einer solchen Vorrichtung
DE102016212193A1 (de) Vorrichtung und Verfahren zur Detektion eines Objekts auf einer Strasse
EP2707862B1 (de) Abstandsbestimmung mittels eines kamerasensors
EP3311196A1 (de) Manövrierung eines gespannes mit einem kraftwagen und einem anhänger
DE102013103952B4 (de) Spurerkennung bei voller Fahrt mit einem Rundumsichtsystem
DE102015012246A1 (de) Verfahren zur Bestimmung einer Einbauorientierung eines Radarsensors
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
DE102013103953B4 (de) Spurerkennung bei voller Fahrt unter Verwendung mehrerer Kameras
EP3667359A1 (de) Verfahren zur ermittlung einer vorliegenden dejustage wenigstens eines sensors innerhalb eines sensorverbundes
DE102010049214A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102016217450A1 (de) Stereokameraanordnung für ein Kraftfahrzeug sowie Kraftfahrzeug mit einer solchen Stereokameraanordnung
WO2023147961A1 (de) Verfahren zur korrektur eines bauartbedingten abbildungsfehlers eines lidar-sensors, recheneinrichtung, lidar-sensorsystem, computerprogramm sowie computerlesbares (speicher)medium
DE102015205087A1 (de) Verfahren zum Ermitteln der Dejustage eines Fahrersassistenzsensors
DE102009052560A1 (de) Verfahren und Vorrichtung zur Bestimmung der 3D-Position von Objekten im Umfeld eines Kraftfahrzeugs
WO2021144398A1 (de) Verfahren zur einstellung einer korrekturinformation bei einem radarsystem
DE102014016342B4 (de) Verfahren zur Kalibrierung eines Schielwinkels von Einzelbildkameras einer Stereokamera
EP3649523B1 (de) Verfahren zum betreiben eines höher automatisierten fahrzeugs (haf), insbesondere eines hochautomatisierten fahrzeugs
DE102019210129A1 (de) Verfahren zum Überprüfen einer Kalibrierung mehrerer Sensoren und Kraftfahrzeug mit mehreren Sensoren
WO2021156269A1 (de) Sensorsystem für ein fahrzeug zur überwachung eines horizontalen überwachungsbereichs von wenigstens 180°

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23700038

Country of ref document: EP

Kind code of ref document: A1