WO2022017689A1 - Verfahren zur detektion von verunreinigungen einer optischen sensoranordnung - Google Patents

Verfahren zur detektion von verunreinigungen einer optischen sensoranordnung Download PDF

Info

Publication number
WO2022017689A1
WO2022017689A1 PCT/EP2021/066095 EP2021066095W WO2022017689A1 WO 2022017689 A1 WO2022017689 A1 WO 2022017689A1 EP 2021066095 W EP2021066095 W EP 2021066095W WO 2022017689 A1 WO2022017689 A1 WO 2022017689A1
Authority
WO
WIPO (PCT)
Prior art keywords
determined
crosstalk
sensor arrangement
dimensions
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/EP2021/066095
Other languages
English (en)
French (fr)
Inventor
Philipp SCHINDLER
Andreas Scharf
Robin Heinzler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Mercedes Benz Group AG
Original Assignee
Robert Bosch GmbH
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH, Daimler AG filed Critical Robert Bosch GmbH
Priority to US18/006,157 priority Critical patent/US20230288545A1/en
Priority to CN202180061523.5A priority patent/CN116057416A/zh
Priority to JP2023504045A priority patent/JP7518279B2/ja
Priority to KR1020237005757A priority patent/KR20230038577A/ko
Publication of WO2022017689A1 publication Critical patent/WO2022017689A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen

Definitions

  • the invention relates to a method for detecting contamination in the signal path of an optical sensor arrangement.
  • DE 102005003970 A1 discloses a method for determining contamination on a sensor arrangement on a motor vehicle comprising a lidar sensor, with an area detected by the sensor arrangement being divided into various sub-areas and with sensor signals from a specific surrounding area assigned to a sub-area for determining the functionality of the Sensor arrangement are evaluated.
  • sensor signals are evaluated, which are recorded one after the other for different sub-areas when driving past the specific surrounding area.
  • the sub-areas are realized by considering a plurality of individual sensors whose detection areas each represent a sub-area.
  • the invention is based on the object of specifying a method for detecting contamination in the signal path of an optical sensor arrangement which is improved compared to the prior art.
  • light signals reflected on the objects are used according to the invention to detect objects by means of a plurality of photodetector elements of the sensor arrangement recorded.
  • a respective object is classified according to its type and the object is assigned to an object class with a predetermined reflectivity during the classification.
  • a distance to the object is determined, crosstalk of the detected light signals onto a plurality of photodetector elements is detected and a degree of contamination is determined as a function of the predetermined reflectivity determined during the classification, the distance and a strength of the crosstalk.
  • Impurities or contamination of the optical path of sensor arrangements reduce their detection performance and thus the availability and safety of a system using data recorded by the sensor arrangement, in particular a driver assistance system or a system for the automated, in particular fully automated or autonomous, operation of a vehicle and/or robot.
  • contamination is within the sensor arrangement, then there is a latent defect which cannot be eliminated easily.
  • contamination on a cover of the sensor assembly can be removed by suitable cleaning systems. The detection of the contamination is therefore essential for controlling such a cleaning system and for monitoring safety-related intrinsic limitations.
  • the degree of contamination is determined using at least one look-up table. This can be carried out particularly easily and reliably.
  • the at least one look-up table is generated using at least one reference measurement carried out using the sensor arrangement.
  • the crosstalk is determined by examining an image captured by the sensor arrangement for structures that are typical of crosstalk. This enables a simple and reliable determination of the crosstalk.
  • linear structures are used as structures and crosstalk is determined when the linear structures are blurred.
  • Such a configuration is suitable in particular for sensor arrangements designed as so-called line scanners, in particular lidars, and enables the crosstalk to be determined in a simple and very reliable manner.
  • an increasing degree of crosstalk is determined in particular with an increasing degree of blurring.
  • the crosstalk is determined by comparing the dimensions of the detected object with the expected dimensions of such an object and determining an increasing degree of crosstalk as the positive deviation of the dimensions of the detected object from the expected dimensions increases.
  • the crosstalk can also be determined easily and reliably by means of this refinement.
  • the expected dimensions are determined from dimensions which are determined for an object class corresponding to the object using at least one reference measurement carried out using the sensor arrangement.
  • the expected dimensions are derived from an object class corresponding to the object, with objects belonging to the object class having standardized dimensions.
  • objects belonging to the object class having standardized dimensions.
  • such objects are traffic signs. Due to the standardized dimensions of such objects, a comparison of these with the dimensions of the detected object results in very accurate and reliable results.
  • FIG. 1 shows a schematic perspective view of a first exemplary embodiment of a lidar and its detection area during emission of laser radiation
  • Fig. 2 shows schematically a perspective view of the lidar and its
  • Fig. 3 schematically shows a scene with several objects
  • FIG. 4 schematically shows an image of the scene according to FIG. 3 captured by means of a lidar.
  • FIG. 1 shows a perspective view of a first exemplary embodiment of an optical sensor arrangement 1 embodied as a ⁇ dar and a detection area E of the same during the emission of light signals L1 embodied as laser radiation.
  • FIG. 2 shows a perspective view of the sensor arrangement 1 and the detection area E according to FIG. 1 during reception of reflected light signals L2 in the form of laser radiation.
  • the sensor arrangement 1 is, for example, a component of a vehicle and/or robot (not shown), with data of a vehicle and/or robot environment recorded by means of the sensor arrangement 1 being used to carry out automated, in particular fully automated or autonomous, operation of the vehicle and/or robot.
  • the sensor arrangement 1 designed as a lidar emits the light signals L1, in particular laser pulses, which are reflected by objects 01 to On shown in more detail in FIG. 3 in the detection area E and are detected by the lidar as reflected light signals L2.
  • the sensor arrangement 1 comprises a plurality of receiving elements, which are imaged onto different solid angles of the detection area E, in a manner that is not shown in detail.
  • the receiving elements are photodetector elements.
  • the sensor arrangement 1 designed as a lidar is a so-called line scanner, which simultaneously illuminates a line Y of its entire field of view or detection range E and images different solid angles on a so-called imager or diode field. In this way, the entire vertical detection area E is illuminated simultaneously and vertical resolution is achieved by a large number of individual receivers, in particular photodetector elements.
  • This line Y is then deflected horizontally over the detection area E, for example by means of a rotation of a transmitter and a receiver of the sensor arrangement 1.
  • the transmitted and received light signals L1, L2 are at least partially scattered at the contamination and are thus detected at a large number of individual receivers of the sensor arrangement 1.
  • Such a scattering of the reflected and detected light signals L2 onto a plurality of photodetector elements is referred to as crosstalk.
  • the object 01 to On is classified according to its type and the object 01 to On during the classification of a Object class is assigned with a predetermined reflectivity. Furthermore, a distance to the object 01 to On is determined and crosstalk of the detected light signals L2 onto a plurality of photodetector elements is recorded, with a degree of contamination being determined depending on the specified reflectivity determined during the classification, the distance and a strength of the crosstalk.
  • FIG. 3 shows a scene with a number of objects 01 to On, one object 01 being a traffic sign and the other objects 02 to On being highly reflective road markings.
  • image B shown in FIG. 4 results.
  • the objects 01 to On are detected by the sensor arrangement 1 larger than they are in reality. This results from the crosstalk, with a degree of crosstalk ranging from a reflectivity of the corresponding object 01 to On, a distance of the sensor array 1 to the corresponding Object 01 to On and a resulting from the contamination of the signal path of the sensor array 1 optical scattering is dependent.
  • the distance of the objects 01 to On from the sensor arrangement 1 is known in this case, since this is determined directly by means of the lidar by running time measurement.
  • the reflectivity of the individual objects 01 to On can be determined, for example, based on the classification of the objects 01 to On according to their type, eg as a traffic sign, and can also be refined using data from a digital road map.
  • the determined reflectivities are stored in the digital map, for example by so-called mapping vehicles and/or fleet data, and are thus kept up-to-date and highly accurate.
  • the contamination in the signal path can thus be derived directly from the degree of crosstalk.
  • the degree of contamination is determined using at least one look-up table, which is generated using at least one reference measurement carried out using sensor arrangement 1 or using other similar sensor arrangements 1, for example sensor arrangements 1 of other vehicles and/or robots.
  • the crosstalk is thus determined by examining the image B captured by the sensor arrangement 1 for structures that are typical of crosstalk.
  • structures that are typical of crosstalk.
  • linear structures are used as structures and crosstalk is determined when the linear structures are blurred.
  • an increasing degree of crosstalk can be determined with an increasing degree of blurring.
  • the crosstalk can alternatively or additionally be determined by comparing the dimensions of the detected objects 01 to On with the expected dimensions of such an object 01 to On, with an increasing degree as the positive deviation of the dimensions of the detected object 01 to On from the expected dimensions increases of crosstalk is determined.
  • the expected Dimensions are determined from dimensions which were determined for an object class corresponding to the object 01 to On in the classification using at least one reference measurement carried out by means of the sensor arrangement 1 .
  • the expected dimensions are derived from an object class corresponding to object 01 to On, with objects 01 to On belonging to the object class, such as traffic signs, having standardized dimensions.
  • the method described above for determining the contamination in the signal path of the sensor arrangement 1 can also be transferred to those sensor arrangements 1 which comprise at least one camera as a sensor.
  • light from other road users and an infrastructure and from the vehicle's own or robot's own light sources is used to illuminate the objects 01 to On, and light signals L2 reflected from the objects 01 to On are captured by the camera.
  • Effects that occur here are comparable, for example, to what are known as lightsabers, which are generated by headlights of other vehicles when streaks of water from windshield wipers remain on a windshield of a vehicle.
  • Such an effect can be specifically provoked by the vehicle light, for example on traffic signs, for example by carrying out an increased illumination of traffic signs using pixel light.
  • an exposure duration of the camera can be adjusted accordingly, in particular increased.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung. Erfindungsgemäß werden zur Erfassung von Objekten (01 bis On) mittels einer Mehrzahl von Photodetektorelementen der Sensoranordnung an den Objekten (01 bis On) reflektierte Lichtsignale erfasst, wobei eine Klassifikation eines jeweiligen Objekts (01 bis On) nach seiner Art durchgeführt und das Objekt (01 bis On) bei der Klassifikation einer Objektklasse mit einer vorgegebenen Reflektivität zugeordnet wird, ein Abstand zu dem Objekt (01 bis On) ermittelt wird, ein Übersprechen der detektierten Lichtsignale auf mehrere Photodetektorelemente erfasst wird und in Abhängigkeit der bei der Klassifikation ermittelten vorgegebenen Reflektivität, des Abstands und einer Stärke des Übersprechens ein Grad der Verunreinigung ermittelt wird.

Description

Verfahren zur Detektion von Verunreinigungen einer optischen Sensoranordnung
Die Erfindung betrifft ein Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung.
Aus der DE 102005003970 A1 ist ein Verfahren zur Bestimmung einer Verschmutzung an einer einen Lidarsensor umfassenden Sensoranordnung an einem Kraftfahrzeug bekannt, wobei ein von der Sensoranordnung erfasster Bereich in verschiedene Unterbereiche unterteilt ist und wobei einem Unterbereich zugeordnete Sensorsignale aus einem bestimmten Umgebungsbereich zur Bestimmung der Funktionsfähigkeit der Sensoranordnung ausgewertet werden. Dabei werden Sensorsignale ausgewertet, die nacheinander für verschiedene Unterbereiche bei einer Vorbeifahrt an dem bestimmten Umgebungsbereich erfasst werden. Dabei werden die Unterbereiche dadurch realisiert, dass eine Mehrzahl einzelner Sensoren betrachtet wird, deren Erfassungsbereiche jeweils einen Unterbereich repräsentieren.
Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung, beispielsweise eines Lidarsensors oder einer Kamera, werden erfindungsgemäß zur Erfassung von Objekten mittels einer Mehrzahl von Photodetektorelementen der Sensoranordnung an den Objekten reflektierte Lichtsignale erfasst. Eine Klassifikation eines jeweiligen Objekts wird nach seiner Art durchgeführt und das Objekt wird bei der Klassifikation einer Objektklasse mit einer vorgegebenen Reflektivität zugeordnet. Weiterhin wird ein Abstand zu dem Objekt ermittelt, ein Übersprechen der detektierten Lichtsignale auf mehrere Photodetektorelemente erfasst und in Abhängigkeit der bei der Klassifikation ermittelten vorgegebenen Reflektivität, des Abstands und einer Stärke des Übersprechens ein Grad der Verunreinigung ermittelt.
Verunreinigungen bzw. Kontaminierungen des optischen Pfades von Sensoranordnungen mindern deren Detektionsperformance und damit eine Verfügbarkeit und Sicherheit eines mittels der Sensoranordnung erfasste Daten verwendenden Systems, insbesondere eines Fahrerassistenzsystems oder eines Systems zum automatisierten, insbesondere vollautomatisierten oder autonomen, Betrieb eines Fahrzeugs und/oder Roboters.
Befindet sich die Kontaminierung innerhalb der Sensoranordnung, so liegt ein latenter Defekt vor, welcher nicht ohne weiteres beseitigt werden kann. Kontaminierungen auf einer Abdeckung der Sensoranordnung jedoch können durch geeignete Reinigungssysteme entfernt werden. Somit ist die Erkennung der Kontaminierung essentiell für eine Ansteuerung eines solchen Reinigungssystems und zur Überwachung von sicherheitsrelevanten intrinsischen Einschränkungen.
Mittels des Verfahrens ist eine besonders zuverlässige und einfach durchführbare Erkennung von Verunreinigungen bzw. Kontaminierungen des optischen Pfades von Sensoranordnungen möglich, so dass Systemgrenzen der die mittels der Sensoranordnung erfassten Daten verwendenden Systeme sicher erkannt und eine Reinigung der Sensoranordnung durchgeführt werden kann. Somit wird eine Sensorverfügbarkeit und daraus folgend eine Systemverfügbarkeit erhöht. Darüber hinaus wird die Sicherheit des Systems durch eine zuverlässige Erkennung von Performanceeinschränkungen erhöht.
In einer möglichen Ausgestaltung des Verfahrens wird die Ermittlung des Grads der Verunreinigung anhand zumindest einer Look-up-Tabelle durchgeführt. Dies ist besonders einfach und zuverlässig durchführbar.
In einerweiteren möglichen Ausgestaltung des Verfahrens wird die zumindest eine Look- up-Tabelle anhand zumindest einer mittels der Sensoranordnung durchgeführten Referenzmessung erzeugt. Somit kann eine optimale Referenzierung durchgeführt werden. In einer möglichen Ausgestaltung des Verfahrens wird das Übersprechen ermittelt, indem ein von der Sensoranordnung erfasstes Bild auf für ein Übersprechen typische Strukturen untersucht wird. Dies ermöglicht eine einfache und zuverlässige Ermittlung des Übersprechens.
In einer möglichen Ausgestaltung des Verfahrens werden als Strukturen linienförmige Strukturen verwendet und es wird dann ein Übersprechen ermittelt, wenn die linienförmigen Strukturen verwischt sind. Eine solche Ausgestaltung eignet sich insbesondere bei als so genannte Linienscanner ausgebildeten Sensoranordnungen, insbesondere Lidaren, und ermöglicht eine einfache und sehr zuverlässige Ermittlung des Übersprechens. Dabei wird insbesondere mit steigendem Grad einer Verwischung ein steigender Grad des Übersprechens ermittelt.
In einer möglichen Ausgestaltung des Verfahrens wird das Übersprechen ermittelt, indem Abmessungen des erfassten Objekts mit erwarteten Abmessungen eines solchen Objekts verglichen werden und mit steigender positiver Abweichung der Abmessungen des erfassten Objekts von den erwarteten Abmessungen ein steigender Grad des Übersprechens ermittelt wird. Auch mittels dieser Ausgestaltung ist das Übersprechen einfach und zuverlässig ermittelbar.
In einer möglichen Ausgestaltung des Verfahrens werden die erwarteten Abmessungen aus Abmessungen ermittelt, welche für eine dem Objekt entsprechende Objektklasse anhand zumindest einer mittels der Sensoranordnung durchgeführten Referenzmessung ermittelt werden.
In einer möglichen Ausgestaltung des Verfahrens werden die erwarteten Abmessungen aus einer dem Objekt entsprechenden Objektklasse hergeleitet, wobei zu der Objektklasse gehörige Objekte standardisierte Abmessungen aufweisen. Beispielsweise handelt es sich bei solchen Objekten um Verkehrsschilder. Aufgrund der standardisierten Abmessungen solcher Objekte resultieren bei einem Vergleich dieser mit den Abmessungen des erfassten Objekts sehr genaue und zuverlässige Ergebnisse.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen: Fig. 1 schematisch eine perspektivische Ansicht eines ersten Ausführungsbeispiels eines Lidars und dessen Erfassungsbereichs während eines Aussendens von Laserstrahlung,
Fig. 2 schematisch eine perspektivische Ansicht des Lidars und dessen
Erfassungsbereichs gemäß Figur 1 während eines Empfangs von reflektierter Laserstrahlung,
Fig. 3 schematisch eine Szene mit mehreren Objekten und
Fig. 4 schematisch ein mittels eines Lidars erfasstes Bild der Szene gemäß Figur 3.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In Figur 1 ist eine perspektivische Ansicht eines ersten Ausführungsbeispiels einer als □dar ausgebildeten optischen Sensoranordnung 1 und eines Erfassungsbereichs E derselben während eines Aussendens von als Laserstrahlung ausgebildeten Lichtsignalen L1 dargestellt. Figur 2 zeigt eine perspektivische Ansicht der Sensoranordnung 1 und des Erfassungsbereichs E gemäß Figur 1 während eines Empfangs von als Laserstrahlung ausgebildeten reflektierten Lichtsignalen L2.
Die Sensoranordnung 1 ist beispielsweise Bestandteil eines nicht gezeigten Fahrzeugs und/oder Roboters, wobei mittels der Sensoranordnung 1 erfasste Daten einer Fahrzeug- und/oder Roboterumgebung zur Ausführung eines automatisierten, insbesondere vollautomatisierten oder autonomen, Betriebs des Fahrzeugs und/oder Roboters verwendet werden.
Die als Lidar ausgebildete Sensoranordnung 1 sendet die Lichtsignale L1, insbesondere Laserimpulse, aus, welche von in Figur 3 näher dargestellten Objekten 01 bis On im Erfassungsbereich E reflektiert werden und als reflektierte Lichtsignale L2 vom Lidar detektiert werden.
Hierzu umfasst die Sensoranordnung 1 in nicht näher dargestellter Weise eine Mehrzahl von Empfangselementen, welche auf unterschiedliche Raumwinkel des Erfassungsbereichs E abgebildet werden. Insbesondere handelt es sich bei den Empfangselementen um Photodetektorelemente. Im dargestellten Ausführungsbeispiel ist die als Lidar ausgebildete Sensoranordnung 1 ein so genannter Linienscanner, welcher eine Linie Y seines gesamten Sicht- bzw. Erfassungsbereichs E gleichzeitig beleuchtet und unterschiedliche Raumwinkel auf einem so genannten Imager bzw. Diodenfeld abbildet. So wird der gesamte vertikale Erfassungsbereich E gleichzeitig beleuchtet und eine vertikale Auflösung durch eine Vielzahl von Einzelempfängern, insbesondere Photodetektorelementen, erreicht. Diese Linie Y wird dann horizontal über den Erfassungsbereich E abgelenkt, beispielsweise mittels einer Rotation eines Senders und eines Empfängers der Sensoranordnung 1.
Liegt eine Kontaminierung, insbesondere eine Verschmutzung oder Verunreinigung, im Signalpfad der Sensoranordnung 1 vor, so werden die ausgesendeten und empfangenen Lichtsignale L1, L2 an der Kontaminierung zumindest teilweise gestreut und somit an einer Vielzahl von Einzelempfängern der Sensoranordnung 1 detektiert. Eine solche Streuung der reflektierten und detektierten Lichtsignale L2 auf mehrere Photodetektorelemente wird als Übersprechen bezeichnet.
Um eine Kontaminierung im Signalpfad der Sensoranordnung 1 zu erfassen, ist deshalb vorgesehen, dass nach der Erfassung eines Objekts 01 bis On mittels der Sensoranordnung 1 eine Klassifikation des Objekts 01 bis On nach seiner Art durchgeführt wird und das Objekt 01 bis On bei der Klassifikation einer Objektklasse mit einer vorgegebenen Reflektivität zugeordnet wird. Weiterhin wird ein Abstand zu dem Objekt 01 bis On ermittelt und es wird ein Übersprechen der detektierten Lichtsignale L2 auf mehrere Photodetektorelemente erfasst, wobei in Abhängigkeit der bei der Klassifikation ermittelten vorgegebenen Reflektivität, des Abstands und einer Stärke des Übersprechens ein Grad der Verunreinigung ermittelt wird.
In Figur 3 ist eine Szene mit mehreren Objekten 01 bis On dargestellt, wobei ein Objekt 01 ein Verkehrsschild ist und die anderen Objekte 02 bis On hochreflektive Fahrbahnmarkierungen sind.
Wird diese Szene von einer als Lidar-Linienscanner ausgebildeten Sensoranordnung 1 vermessen bzw. gescannt, ergibt sich das in Figur 4 dargestellte Bild B.
Dabei ist ersichtlich, dass die Objekte 01 bis On von der Sensoranordnung 1 größer erfasst werden, als diese in der Realität sind. Dies resultiert aus dem Übersprechen, wobei ein Grad des Übersprechens von einer Reflektivität des entsprechenden Objekts 01 bis On, einem Abstand der Sensoranordnung 1 zu dem entsprechenden Objekt 01 bis On und einer aus der Kontaminierung des Signalpfads der Sensoranordnung 1 resultierenden optischen Streuung abhängig ist.
Der Abstand der Objekte 01 bis On zur Sensoranordnung 1 ist dabei bekannt, da dieser mittels des Lidars direkt per Laufzeitmessung ermittelt wird. Die Reflektivität der einzelnen Objekte 01 bis On kann beispielsweise anhand der Klassifikation der Objekte 01 bis On nach ihrer Art, z B. als Verkehrsschild, ermittelt werden und darüber hinaus durch Daten einer digitalen Straßenkarte verfeinert werden. Hierfür werden die ermittelten Reflektivitäten beispielsweise durch so genannte Mapping-Fahrzeuge und/oder Flottendaten in der digitalen Karte abgelegt und somit hochaktuell und hochgenau gehalten. Somit kann aus einem Grad des Übersprechens direkt die Kontaminierung im Signalpfad abgeleitet werden. In Abhängigkeit des Übersprechens kann auch ermittelt werden, in welchem Raumwinkel die Kontaminierung vorliegt, da nur bei einer Überlappung mit den empfangenen Lichtsignalen L2 eine Streuung auftritt. Liegt die Kontaminierung also beispielsweise ganz links im Erfassungsbereich der als Lidar- Linienscanner ausgebildeten Sensoranordnung 1 vor, so wird das Übersprechen in diesem Bereich stark sein, solange die optische Apertur mit der Kontaminierung überlappt. Mit abnehmender Überlappung wird der Effekt kleiner.
Beispielsweise erfolgt die Ermittlung des Grads der Verunreinigung anhand zumindest einer Look-up-Tabelle, welche anhand zumindest einer mittels der Sensoranordnung 1 oder mittels anderer gleichartiger Sensoranordnungen 1, beispielsweise Sensoranordnungen 1 anderer Fahrzeuge und/oder Roboter, durchgeführten Referenzmessung erzeugt wird.
Somit wird das Übersprechen ermittelt, indem das von der Sensoranordnung 1 erfasste Bild B auf für ein Übersprechen typische Strukturen untersucht wird. Beispielsweise werden bei einer als Lidar-Linienscanner ausgebildeten Sensoranordnung 1 als Strukturen linienförmige Strukturen verwendet und es wird dann ein Übersprechen ermittelt, wenn die linienförmigen Strukturen verwischt sind. Dabei kann mit steigendem Grad einer Verwischung ein steigender Grad des Übersprechens ermittelt werden.
Das Übersprechen kann alternativ oder zusätzlich ermittelt werden, indem die Abmessungen der erfassten Objekte 01 bis On mit erwarteten Abmessungen eines solchen Objekts 01 bis On verglichen werden, wobei mit steigender positiver Abweichung der Abmessungen des erfassten Objekts 01 bis On von den erwarteten Abmessungen ein steigender Grad des Übersprechens ermittelt wird. Dabei werden die erwarteten Abmessungen aus Abmessungen ermittelt , welche für eine dem Objekt 01 bis On in der Klassifikation ermittelte entsprechende Objektklasse anhand zumindest einer mittels der Sensoranordnung 1 durchgeführten Referenzmessung ermittelt wurden. Alternativ oder zusätzlich werden die erwarteten Abmessungen aus einer dem Objekt 01 bis On entsprechenden Objektklasse hergeleitet, wobei zu der Objektklasse gehörige Objekte 01 bis On, wie beispielsweise Verkehrsschilder, standardisierte Abmessungen aufweisen.
Das zuvor beschriebene Verfahren zur Ermittlung der Kontaminierung im Signalpfad der Sensoranordnung 1 ist auch auf solche Sensoranordnungen 1 übertragbar, welche als Sensor zumindest eine Kamera umfassen. Hierbei wird zur Beleuchtung der Objekte 01 bis On Licht von anderen Verkehrsteilnehmern und einer Infrastruktur und von fahrzeugeigenen oder robotereigenen Lichtquellen verwendet und mittels der Kamera werden von den Objekten 01 bis On reflektierte Lichtsignale L2 erfasst. Hierbei auftretende Effekte sind beispielsweise mit so genannten Lichtschwertern vergleichbar, welche von Scheinwerfern anderer Fahrzeuge erzeugt werden, wenn Wasserschlieren von Scheibenwischern auf einer Frontscheibe eines Fahrzeugs Zurückbleiben. Durch das Fahrzeuglicht kann ein solcher Effekt beispielsweise auf Verkehrsschildern gezielt provoziert werden, indem beispielsweise eine verstärkte Ausleuchtung von Verkehrsschildern mittels Pixellicht durchgeführt wird. Um den dabei auftretenden Effekt weiter zu verstärken, kann eine Belichtungsdauer der Kamera entsprechend angepasst, insbesondere erhöht werden.
Bezugszeichenliste
1 Sensoranordnung
B Bild
E Erfassungsbereich
L1 Lichtsignal
L2 Lichtsignal
01 bis On Objekt Y Linie

Claims

Patentansprüche
1. Verfahren zur Detektion von Verunreinigungen im Signalpfad einer optischen Sensoranordnung (1), dadurch gekennzeichnet, dass
- zur Erfassung von Objekten (01 bis On) mittels einer Mehrzahl von Photodetektorelementen der Sensoranordnung (1) an den Objekten (01 bis On) reflektierte Lichtsignale (LS2) erfasst werden,
- eine Klassifikation eines jeweiligen Objekts (01 bis On) nach seiner Art durchgeführt und das Objekt (01 bis On) bei der Klassifikation einer Objektklasse mit einer vorgegebenen Reflektivität zugeordnet wird,
- ein Abstand zu dem Objekt (01 bis On) ermittelt wird,
- ein Übersprechen der detektierten Lichtsignale (L2) auf mehrere Photodetektorelemente erfasst wird und
- in Abhängigkeit der bei der Klassifikation ermittelten vorgegebenen Reflektivität, des Abstands und einer Stärke des Übersprechens ein Grad der Verunreinigung ermittelt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Ermittlung des Grads der Verunreinigung anhand zumindest einer Look-up-Tabelle durchgeführt wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die zumindest eine Look-up-Tabelle anhand zumindest einer mittels der Sensoranordnung (1) durchgeführten Referenzmessung erzeugt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übersprechen ermittelt wird, indem ein von der Sensoranordnung (1) erfasstes Bild (B) auf für ein Übersprechen typische Strukturen untersucht wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass
- als Strukturen linienförmige Strukturen verwendet werden und
- dann ein Übersprechen ermittelt wird, wenn die linienförmigen Strukturen verwischt sind.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass mit steigendem Grad einer Verwischung ein steigender Grad des Übersprechens ermittelt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Übersprechen ermittelt wird, indem
- Abmessungen des erfassten Objekts (01 bis On) mit erwarteten Abmessungen eines solchen Objekts (01 bis On) verglichen werden und
- mit steigender positiver Abweichung der Abmessungen des erfassten Objekts (01 bis On) von den erwarteten Abmessungen ein steigender Grad des Übersprechens ermittelt wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die erwarteten Abmessungen aus Abmessungen ermittelt werden, welche für eine dem Objekt (01 bis On) entsprechende Objektklasse anhand zumindest einer mittels der Sensoranordnung (1) durchgeführten Referenzmessung ermittelt werden.
9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die erwarteten Abmessungen aus einer dem Objekt (01 bis On) entsprechenden Objektklasse hergeleitet werden, wobei zu der Objektklasse gehörige Objekte (01 bis On) standardisierte Abmessungen aufweisen.
10. Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche in einem Fahrzeug und/oder Roboter zur Ausführung eines automatisierten, insbesondere vollautomatisierten oder autonomen, Betriebs.
PCT/EP2021/066095 2020-07-21 2021-06-15 Verfahren zur detektion von verunreinigungen einer optischen sensoranordnung Ceased WO2022017689A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/006,157 US20230288545A1 (en) 2020-07-21 2021-06-15 Method for detecting dirt accumulated on an optical sensor arrangement
CN202180061523.5A CN116057416A (zh) 2020-07-21 2021-06-15 用于探测光学传感器组件的污染的方法
JP2023504045A JP7518279B2 (ja) 2020-07-21 2021-06-15 光センサアレイの汚れを検出する方法
KR1020237005757A KR20230038577A (ko) 2020-07-21 2021-06-15 광학 센서 어레이 상의 먼지를 검출하기 위한 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020119116.2 2020-07-21
DE102020119116.2A DE102020119116B3 (de) 2020-07-21 2020-07-21 Verfahren zur Detektion von Verunreinigungen einer optischen Sensoranordnung

Publications (1)

Publication Number Publication Date
WO2022017689A1 true WO2022017689A1 (de) 2022-01-27

Family

ID=76553767

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/066095 Ceased WO2022017689A1 (de) 2020-07-21 2021-06-15 Verfahren zur detektion von verunreinigungen einer optischen sensoranordnung

Country Status (6)

Country Link
US (1) US20230288545A1 (de)
JP (1) JP7518279B2 (de)
KR (1) KR20230038577A (de)
CN (1) CN116057416A (de)
DE (1) DE102020119116B3 (de)
WO (1) WO2022017689A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12072451B2 (en) * 2021-11-17 2024-08-27 Waymo Llc Methods for detecting LIDAR aperture fouling
KR20240143377A (ko) 2023-03-24 2024-10-02 주식회사 엘지에너지솔루션 전극시트의 레이저 노칭 장치 및 이를 이용한 전극시트 노칭 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005003970A1 (de) 2005-01-27 2006-08-03 Daimlerchrysler Ag Verfahren zur Bestimmung der Funktionsfähigkeit einer Sensoranordnung und Sensoranordnung
EP2017645A1 (de) * 2007-07-16 2009-01-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Zustandserkennung eines an einem Kraftfahrzeug angeordneten Abstandssensors
DE102009016563A1 (de) * 2009-04-06 2009-11-19 Daimler Ag Verfahren und Vorrichtung zur Hinderniserkennung in einem Bodenbereich
EP3092948A1 (de) * 2015-05-07 2016-11-16 a.tron3d GmbH Methode zum erkennen von verschmutzungen
WO2019064062A1 (en) * 2017-09-26 2019-04-04 Innoviz Technologies Ltd. SYSTEMS AND METHODS FOR DETECTION AND LOCATION BY LIGHT
DE102019005060A1 (de) * 2018-07-26 2020-01-30 Fanuc Corporation Abstandsmessvorrichtung, die eine Optisches-System-Abnormalität erkennt

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1114754A (ja) * 1997-06-18 1999-01-22 Omron Corp 物体検出装置
JP3444192B2 (ja) * 1998-05-21 2003-09-08 日産自動車株式会社 撮像環境推定装置
DE10344617A1 (de) * 2003-09-25 2005-05-04 Bosch Gmbh Robert Verfahren zur Ermittlung von Messeigenschaften einer Radar-Sensoreinrichtung eines Kraftfahrzeuges
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP2009192499A (ja) 2008-02-18 2009-08-27 Stanley Electric Co Ltd 距離画像生成装置
DE102009028578A1 (de) * 2009-08-17 2011-02-24 Robert Bosch Gmbh Verfahren für die Umfelderfassung mit einer Lidarsensorik
DE102012025467A1 (de) * 2012-12-28 2014-07-03 Valeo Schalter Und Sensoren Gmbh Optoelektronische Sensoreinrichtung zur Bestimmung eines Reflexionsvermögens unter Berücksichtigung von Intensitätsverlusten, Kraftfahrzeug und entsprechendes Verfahren
EP3460509B1 (de) * 2017-09-22 2024-12-11 ams AG Verfahren zur kalibrierung eines flugzeitsystems sowie flugzeitsystem
US10867201B2 (en) 2019-01-15 2020-12-15 Waymo Llc Detecting sensor occlusion with compressed image data
DE102020103794B4 (de) 2020-02-13 2021-10-21 Daimler Ag Verfahren zur Kalibrierung eines Lidarsensors
DE102020201837A1 (de) 2020-02-14 2021-08-19 Robert Bosch Gesellschaft mit beschränkter Haftung LiDAR-Anordnung, LiDAR-System, Fahrzeug und Verfahren

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005003970A1 (de) 2005-01-27 2006-08-03 Daimlerchrysler Ag Verfahren zur Bestimmung der Funktionsfähigkeit einer Sensoranordnung und Sensoranordnung
EP2017645A1 (de) * 2007-07-16 2009-01-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Zustandserkennung eines an einem Kraftfahrzeug angeordneten Abstandssensors
DE102009016563A1 (de) * 2009-04-06 2009-11-19 Daimler Ag Verfahren und Vorrichtung zur Hinderniserkennung in einem Bodenbereich
EP3092948A1 (de) * 2015-05-07 2016-11-16 a.tron3d GmbH Methode zum erkennen von verschmutzungen
WO2019064062A1 (en) * 2017-09-26 2019-04-04 Innoviz Technologies Ltd. SYSTEMS AND METHODS FOR DETECTION AND LOCATION BY LIGHT
DE102019005060A1 (de) * 2018-07-26 2020-01-30 Fanuc Corporation Abstandsmessvorrichtung, die eine Optisches-System-Abnormalität erkennt

Also Published As

Publication number Publication date
JP2023534817A (ja) 2023-08-14
US20230288545A1 (en) 2023-09-14
CN116057416A (zh) 2023-05-02
KR20230038577A (ko) 2023-03-20
JP7518279B2 (ja) 2024-07-17
DE102020119116B3 (de) 2021-12-16

Similar Documents

Publication Publication Date Title
DE112008001384B4 (de) Verfahren zur Verschmutzungserkennung bei einer TOF-Distanzbildkamera
EP1267178B1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE102007000420B4 (de) Fahrzeuginterne Einrichtung zum Erfassen von Fahrzeugen und Vorrichtung zum Steuern von Scheinwerfern durch Verwenden der Einrichtung
EP2558336B1 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren eines fahrzeugs durch detektion von wetterbedingten sichteinschränkungen
DE102009000003A1 (de) Kameraanordnung zur Erfassung eines Scheibenzustandes einer Fahrzeugscheibe
DE102010039092B4 (de) Verfahren und Steuergerät zum Ermitteln eines Abstandes eines Objektes von einem Fahrzeug
WO2004072677A1 (de) Vorrichtung eines kraftfahrzeuges zur räumlichen erfassung einer szene innerhalb und/oder ausserhalb des kraftfahrzeuges
EP4139709B1 (de) Verfahren und vorrichtung zum erkennen von blooming in einer lidarmessung
WO2022017689A1 (de) Verfahren zur detektion von verunreinigungen einer optischen sensoranordnung
DE10303015A1 (de) System aus laserscanner und katadioptrischer Kamera
WO2017041795A1 (de) Stereokameravorrichtung zur umgebungserfassung eines kraftfahrzeugs, kraftfahrzeug mit einer solchen stereokameravorrichtung sowie ein verfahren zur erkennung von regentropfen oder ablagerungen
WO2022106271A1 (de) Verfahren und Vorrichtung zur Detektion von Verunreinigungen auf einem Sichtfenster eines Lidars
DE102020124017A1 (de) Verfahren zum Betreiben einer optischen Detektionsvorrichtung, optische Detektionsvorrichtung und Fahrzeug mit wenigstens einer optischen Detektionsvorrichtung
DE102007008543A1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
DE102021207227A1 (de) Lidar-Sensor und Umfelderkennungssystem
DE102022001878B3 (de) Verfahren zur Detektion einer Degradation eines Lidarsensors
DE102023117112A1 (de) Verfahren zum identifizieren zumindest eines bereiches in optischen bildinformationen, optisches erfassungssystem sowie fahrzeug
DE102023110728A1 (de) Lidar-system und verfahren zur umgebungserfassung
DE102024110430A1 (de) Lidar-system zur umgebungserfassung und verfahren zum betrieb eines lidar-systems
WO2023247395A1 (de) Verfahren zum betreiben eines lidar-systems mit streulicht-korrektur, entsprechendes lidar-system und fahrzeug
DE102023108881A1 (de) Optische empfangseinheit für ein lidar-system, lidar-system für ein fahrzeug sowie verfahren zu betreiben eines lidar-systems
DE10135108B4 (de) Vorrichtung und Verfahren zur Fahrspurerkennung
DE102024202196A1 (de) Lidar-Sensor und Fahrzeug
WO2025162683A1 (de) Detektionseinheit für ein fahrzeug
WO2024240561A1 (de) Erkennung von lichtstreuungsartefakten in lidar

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21733954

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023504045

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20237005757

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21733954

Country of ref document: EP

Kind code of ref document: A1