WO2022167120A1 - Verfahren und vorrichtung zur erkennung von beeinträchtigungen im optischen pfad einer stereokamera - Google Patents

Verfahren und vorrichtung zur erkennung von beeinträchtigungen im optischen pfad einer stereokamera Download PDF

Info

Publication number
WO2022167120A1
WO2022167120A1 PCT/EP2021/083795 EP2021083795W WO2022167120A1 WO 2022167120 A1 WO2022167120 A1 WO 2022167120A1 EP 2021083795 W EP2021083795 W EP 2021083795W WO 2022167120 A1 WO2022167120 A1 WO 2022167120A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereo camera
optical path
depth map
gaps
depth
Prior art date
Application number
PCT/EP2021/083795
Other languages
English (en)
French (fr)
Inventor
Stephan Zinkler
Martin Hümmer
Original Assignee
Mercedes-Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes-Benz Group AG filed Critical Mercedes-Benz Group AG
Priority to CN202180092644.6A priority Critical patent/CN116965016A/zh
Priority to US18/275,828 priority patent/US20240129452A1/en
Priority to JP2023547432A priority patent/JP2024507102A/ja
Priority to KR1020237025190A priority patent/KR20230124053A/ko
Priority to EP21824340.0A priority patent/EP4289133A1/de
Publication of WO2022167120A1 publication Critical patent/WO2022167120A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to a method for detecting impairments in the optical path of a stereo camera.
  • the invention also relates to a device for detecting impairments in the optical path of a stereo camera.
  • the invention also relates to a vehicle.
  • DE 102016216 118 A1 discloses a spot detection method in an object detection device and an object detection device which is arranged in a vehicle and which uses recorded images from a stereo camera.
  • the stereo camera includes two cameras, each of which captures an exterior of the vehicle from inside the vehicle through a portion of a window glass wiped by a wiper.
  • the object detection device has a light source detector that can detect a light source in a captured image captured by one of the two cameras.
  • the object detection device has an edge detector that can detect an edge that extends in a direction that crosses a wiping direction of the wiper in the image recorded by one of the two cameras.
  • the object detection device includes a determiner that can determine that the window glass has a stain when the edge extending in the crossing direction from the light source is continuously detected for a certain period of time based on a detection result from the light source detector and a detection result from the edge detector .
  • the invention is based on the object of specifying an improved method and an improved device for detecting impairments in the optical path of a stereo camera compared to the prior art. Furthermore, the invention is based on the object of specifying a new type of vehicle.
  • the object is achieved according to the invention by a method which has the features specified in claim 1, by a device which has the features specified in claim 7, and by a vehicle which has the features specified in claim 8.
  • a depth map also referred to as a disparity image or disparity map, of a detected environment is generated according to the invention using image data captured by the stereo camera. Furthermore, it is checked whether there are gaps without depth values in the depth map. If there are gaps in the depth map, an impairment in the optical path of the stereo camera is inferred.
  • the optical path of a stereo camera can be affected by aging and environmental influences. For example, blurring can occur due to aging processes, blockages due to condensation, dirt, etc., dazzling effects due to solar radiation, etc. For reliable operation of functions that use image data captured by the stereo camera, rapid and robust detection of such impairments, also referred to as degradations, in the optical path of a stereo camera is very important.
  • the method enables the detection of impairments in the optical path of a stereo camera even without any movement present in the image data recorded by the stereo camera. This means that the procedure enables impairments to be recognized even when the stereo camera is stationary and in static scenarios.
  • the method for this recognition can be used as a so-called stand-alone solution or for the improvement and/or plausibility check of already existing algorithms.
  • the method forms further recognition input to increase robustness and recognition speed.
  • objects are detected in the depth map and a plausibility check of depth information in the depth map is carried out on the basis of a comparison of the detected objects with object information stored in a digital map.
  • implausible depth information is evaluated as confirmation of an impairment in the optical path of the stereo camera.
  • An error rate when detecting the impairments in the optical path can thus be reduced and the reliability and robustness of the method can be further increased.
  • implausible depth information is also evaluated as confirmation of an impairment in the optical path of the stereo camera if there are no gaps in the depth map. Impairments in the optical path that are present on both camera units of the stereo camera and thus do not lead to gaps in the depth map can also be detected.
  • the image data is captured by means of the stereo camera while the stereo camera is stationary relative to the captured surroundings.
  • a lane detection, a traffic sign detection, a detection of mobile surrounding objects and/or a detection of immobile surrounding objects are or will be carried out in the object recognition. This enables a large number of objects present in the environment and in the digital map to be compared and thus leads to a further improved plausibility check.
  • the device for detecting impairments in the optical path of a stereo camera is characterized by a processing device which is designed to generate a depth map of a detected environment on the basis of image data captured by means of the stereo camera, to check whether there are gaps without depth values in the depth map, and, in the presence of gaps in the depth map, to infer an impairment in the optical path of the stereo camera.
  • the device In contrast to devices known from the prior art, the device enables the detection of impairments in the optical path of a Stereo camera even with no motion present in image data captured by the stereo camera. This means that the device enables impairments to be recognized even when the stereo camera is stationary and in static scenarios.
  • the device for this recognition can be used as a so-called stand-alone solution or to improve and/or check existing algorithms for plausibility.
  • the device generates further recognition input to increase robustness and recognition speed.
  • the vehicle according to the invention comprises an aforementioned device.
  • the reliability of the operation of vehicle functions for example driver assistance functions that use image data captured by the stereo camera, can thus be significantly increased. Traffic safety can thus be increased.
  • the vehicle In one possible configuration of the vehicle, it is designed for automated, in particular highly automated or autonomous, ferry operation.
  • the device enables a particularly reliable automated ferry operation, since driving functions have increased reliability and increased availability due to the use of the device. Traffic safety can also be increased as a result, and vehicle drivers can be better supported in the driving task.
  • FIG. 1 shows a schematic of a device for detecting impairments in the optical path of a stereo camera.
  • FIG. 1 A possible exemplary embodiment of a device 1 for detecting impairments D in the optical path of a stereo camera is shown schematically in FIG.
  • the device 1 comprises a processing device 2 for this recognition.
  • the device 1 is, for example, part of a vehicle that is not shown in detail.
  • the vehicle is designed, for example, for an automated, in particular highly automated or autonomous, ferry operation, using the Stereo camera captured image data B are used to carry out the automated ferry operation. This requires reliable operation of the stereo camera.
  • An optical path of a stereo camera can be affected by aging and environmental influences. For example, blurring can occur due to aging processes, blockages due to condensation, dirt, etc., dazzling effects due to solar radiation, etc. Rapid and robust detection of such impairments D, also known as degradations, in the optical path of a stereo camera is very important for reliable operation of the stereo camera and of functions that use image data B captured by means of the stereo camera.
  • Impairments D in the optical path of the stereo camera are reflected directly in the depth map in the form of gaps without depth values and thus indicate such an impairment D.
  • a depth map T also known as a disparity image or disparity map, of a detected environment is generated by the processing device 2 in a first module 2.1 using image data B captured by the stereo camera.
  • the recording of the image data B by means of the stereo camera can also be carried out while the stereo camera is stationary relative to the recorded surroundings, ie when the vehicle is stationary.
  • a second module 2.2 then checks whether there are gaps without depth values in the depth map T.
  • potential candidates for an impairment D in the optical path of the stereo camera are determined. If there are gaps in the depth map T, an impairment D in the optical path of the stereo camera is inferred.
  • objects are detected in the depth map T and detected using a comparison of the detected objects with object information stored in a digital map 3 and/or using additional sensors 4 Object information carried out a plausibility check of depth information of the depth map T.
  • the object detection in the depth map T is camera-based, for example, and includes, for example, a detection 5 of mobile and/or immobile surrounding objects, a lane detection 6 and a traffic sign detection 7.
  • Implausible depth information is also evaluated as confirmation of an impairment D in the optical path of the stereo camera if there are no gaps in the depth map T. This is the case, for example, when impairments D are present on both camera units of the stereo camera.
  • one of two optical camera lenses of a stereo camera is degraded. If so-called vertical lightsabers occur on the camera lens due to reflections from solar radiation, these lead to vertical gaps in the depth map T.
  • a fogging of the camera lens leads to large-area gaps or implausible stereo information. Dirt leads to individual gaps in the depth map. Glare or exposure effects, which result from a low-lying sun, for example, lead to effects similar to fogging.
  • a type of impairment D can be inferred.
  • both camera lenses are degraded.
  • the examples of gaps in a depth map T mentioned in the first application example can also occur if an impairment D is present on both camera lenses at the same time. je depending on the position of the respective impairment D on the camera lenses, a stereo matching can take place under certain circumstances, so that there are no gaps in the depth map T.
  • this abnormality can be detected by means of the described plausibility check based on the object recognition and the comparison with the object information stored in the digital map and can therefore be recognized as an impairment D.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erkennung von Beeinträchtigungen (D) im optischen Pfad einer Stereokamera. Erfindungsgemäß wird anhand von mittels der Stereokamera erfassten Bilddaten (B) eine Tiefenkarte (T) einer erfassten Umgebung erzeugt und es wird geprüft, ob in der Tiefenkarte (T) Lücken ohne Tiefenwerte vorhanden sind. Bei Vorhandensein von Lücken in der Tiefenkarte (T) wird auf eine Beeinträchtigung (D) im optischen Pfad der Stereokamera geschlossen Die Erfindung betrifft weiterhin eine Vorrichtung (1) zur Erkennung von Beeinträchtigungen (D) im optischen Pfad einer Stereokamera und ein Fahrzeug, umfassend eine solche Vorrichtung (1).

Description

Verfahren und Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera
Die Erfindung betrifft ein Verfahren zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera.
Ferner betrifft die Erfindung ein Fahrzeug.
Aus der DE 102016216 118 A1 sind ein Fleckerkennungsverfahren in einer Objekterkennungsvorrichtung und eine Objekterkennungsvorrichtung, welche in einem Fahrzeug angeordnet ist und welche Aufnahmebilder einer Stereokamera verwendet, bekannt. Die Stereokamera umfasst zwei Kameras, von denen jede eine äußere Umgebung des Fahrzeugs aus dem Fahrzeuginneren heraus durch einen Bereich eines Fensterglases aufnimmt, welcher von einem Scheibenwischer gewischt wird. Die Objekterkennungsvorrichtung weist einen Lichtquellendetektor auf, der eine Lichtquelle in einem aufgenommenen Bild erkennen kann, welches von einer der beiden Kameras aufgenommen wurde. Weiterhin weist die Objekterkennungsvorrichtung einen Randdetektor auf, der einen Rand erkennen kann, der sich in dem von einer der beiden Kameras aufgenommenen Bild in einer Richtung erstreckt, welche eine Wischrichtung des Scheibenwischers kreuzt. Ferner weist die Objekterkennungsvorrichtung einen Bestimmer auf, der bestimmen kann, dass das Fensterglas einen Fleck aufweist, wenn sich der in Kreuzungsrichtung von der Lichtquelle aus erstreckende Rand fortlaufend eine bestimmte Zeitdauer lang auf der Grundlage eines Erkennungsergebnisses von dem Lichtquellendetektor und eines Erkennungsergebnisses vom Randdetektor erkannt wird. Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren und eine verbesserte Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera anzugeben. Weiterhin liegt der Erfindung die Aufgabe zu Grunde, ein neuartiges Fahrzeug anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist, durch eine Vorrichtung, welche die im Anspruch 7 angegebenen Merkmale aufweist, und durch ein Fahrzeug, welches die im Anspruch 8 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In dem Verfahren zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera wird erfindungsgemäß anhand von mittels der Stereokamera erfassten Bilddaten eine Tiefenkarte, auch als Disparitätsbild oder Disparitätskarte bezeichnet, einer erfassten Umgebung erzeugt. Weiterhin wird geprüft, ob in der Tiefenkarte Lücken ohne Tiefenwerte vorhanden sind. Bei Vorhandensein von Lücken in der Tiefenkarte wird auf eine Beeinträchtigung im optischen Pfad der Stereokamera geschlossen.
Der optische Pfad einer Stereokamera kann durch Alterung und Umwelteinflüsse beeinträchtigt werden. Beispielsweise können so Unschärfen durch Alterungsprozesse, Blockagen durch Beschlag, Verschmutzung, o. ä., Blendeffekte durch Sonneneinstrahlung usw. entstehen. Für einen zuverlässigen Betrieb von Funktionen, welche mittels der Stereokamera erfasste Bilddaten verwenden, ist eine schnelle und robuste Erkennung solcher Beeinträchtigungen, auch als Degradationen bezeichnet, im optischen Pfad einer Stereokamera sehr wichtig.
Hierbei ermöglicht das Verfahren im Gegensatz zu aus dem Stand der Technik bekannten Verfahren die Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera auch ohne vorhandene Bewegung in von der Stereokamera erfassten Bilddaten. Das heißt, dass Verfahren ermöglicht die Erkennung der Beeinträchtigungen auch bei Stillstand der Stereokamera und bei statischen Szenarien. Dabei ist das Verfahren zu dieser Erkennung als so genannte Stand-Alone-Lösung oder zur Verbesserung und/oder Plausibilisierung bereits existierender Algorithmen anwendbar. Das Verfahren bildet hierbei weiteren Erkennungsinput zur Erhöhung einer Robustheit und Erkennungsgeschwindigkeit. In einer möglichen Ausgestaltung des Verfahrens werden in der Tiefenkarte Objekte erkannt und anhand eines Vergleichs der erkannten Objekte mit in einer digitalen Karte hinterlegten Objektinformationen wird eine Plausibilisierung von Tiefeninformationen der Tiefenkarte durchgeführt. Beispielsweise werden in diesem Zusammenhang in einer weiteren möglichen Ausgestaltung des Verfahrens unplausible Tiefeninformationen als Bestätigung einer Beeinträchtigung im optischen Pfad der Stereokamera gewertet. Somit kann eine Fehlerrate bei der Erkennung der Beeinträchtigungen im optischen Pfad verringert und eine Zuverlässigkeit und Robustheit des Verfahrens können weiter erhöht werden.
In einer weiteren möglichen Ausgestaltung des Verfahrens werden unplausible Tiefeninformationen auch als Bestätigung einer Beeinträchtigung im optischen Pfad der Stereokamera gewertet, wenn keine Lücken in der Tiefenkarte vorhanden sind. Somit können auch Beeinträchtigungen im optischen Pfad erkannt werden, welche auf beiden Kameraeinheiten der Stereokamera vorhanden sind und somit nicht zu Lücken in der Tiefenkarte führen.
In einer weiteren möglichen Ausgestaltung des Verfahrens wird eine Erfassung der Bilddaten mittels der Stereokamera während eines Stillstands der Stereokamera relativ zu der erfassten Umgebung durchgeführt.
In einer weiteren möglichen Ausgestaltung des Verfahrens werden bzw. wird in der Objekterkennung eine Spurerkennung, eine Verkehrsschilderkennung, eine Erkennung von mobilen Umgebungsobjekten und/oder eine Erkennung von immobilen Umgebungsobjekten durchgeführt. Dies ermöglicht einen Vergleich einer Vielzahl von in der Umgebung und in der digitalen Karte vorhandenen Objekten und führt dadurch zu einer weiter verbesserten Plausibilisierung.
Die Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera zeichnet sich erfindungsgemäß durch eine Verarbeitungsvorrichtung aus, welche ausgebildet ist anhand von mittels der Stereokamera erfassten Bilddaten eine Tiefenkarte einer erfassten Umgebung zu erzeugen, zu prüfen, ob in der Tiefenkarte Lücken ohne Tiefenwerte vorhanden sind, und bei Vorhandensein von Lücken in der Tiefenkarte auf eine Beeinträchtigung im optischen Pfad der Stereokamera zu schließen.
Die Vorrichtung ermöglicht im Gegensatz zu aus dem Stand der Technik bekannten Vorrichtungen die Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera auch ohne vorhandene Bewegung in von der Stereokamera erfassten Bilddaten. Das heißt, die Vorrichtung ermöglicht die Erkennung der Beeinträchtigungen auch bei Stillstand der Stereokamera und bei statischen Szenarien. Dabei ist die Vorrichtung zu dieser Erkennung als so genannte Stand-Alone-Lösung oder zur Verbesserung und/oder Plausibilisierung bereits existierender Algorithmen anwendbar. Die Vorrichtung generiert dabei weiteren Erkennungsinput zur Erhöhung einer Robustheit und Erkennungsgeschwindigkeit.
Das erfindungsgemäße Fahrzeug umfasst eine zuvor genannte Vorrichtung. Somit kann eine Zuverlässigkeit eines Betriebs von Fahrzeugfunktionen, beispielsweise Fahrerassistenzfunktionen, welche mittels der Stereokamera erfasste Bilddaten verwenden, signifikant erhöht werden. Somit kann eine Verkehrssicherheit erhöht werden.
In einer möglichen Ausgestaltung des Fahrzeugs ist dieses zu einem automatisierten, insbesondere hochautomatisierten oder autonomen, Fährbetrieb ausgebildet. Die Vorrichtung ermöglicht hierbei einen besonders zuverlässigen automatisierten Fährbetrieb, da Fahrfunktionen aufgrund der Verwendung der Vorrichtung eine erhöhte Zuverlässigkeit und eine erhöhte Verfügbarkeit aufweisen. Auch hierdurch kann eine Verkehrssicherheit erhöht werden und Fahrzeugfahrer können in Fahraufgabe besser unterstützt werden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
Fig. 1 schematisch eine Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera.
In der einzigen Figur 1 ist schematisch ein mögliches Ausführungsbeispiel einer Vorrichtung 1 zur Erkennung von Beeinträchtigungen D im optischen Pfad einer Stereokamera dargestellt. Die Vorrichtung 1 umfasst zu dieser Erkennung eine Verarbeitungsvorrichtung 2.
Die Vorrichtung 1 ist beispielsweise Bestandteil eines nicht näher dargestellten Fahrzeugs. Das Fahrzeug ist beispielsweise zu einem automatisierten, insbesondere hochautomatisierten oder autonomen, Fährbetrieb ausgebildet, wobei mittels der Stereokamera erfasste Bilddaten B zur Durchführung des automatisierten Fährbetriebs verwendet werden. Hierfür ist ein zuverlässiger Betrieb der Stereokamera erforderlich.
Ein optischer Pfad einer Stereokamera kann durch Alterung und Umwelteinflüsse beeinträchtigt sein. Beispielsweise können so Unschärfen durch Alterungsprozesse, Blockagen durch Beschlag, Verschmutzung, o. ä., Blendeffekte durch Sonneneinstrahlung usw. entstehen. Für einen zuverlässigen Betrieb der Stereokamera und von Funktionen, welche mittels der Stereokamera erfasste Bilddaten B verwenden, ist eine schnelle und robuste Erkennung solcher Beeinträchtigungen D, auch als Degradationen bezeichnet, im optischen Pfad einer Stereokamera sehr wichtig.
Ist der optische Pfad der Stereokamera nicht beeinträchtigt, ist in einer stereoskopischen Verarbeitung mittels der Stereokamera erfasster Bilddaten B eine detaillierte und lückenlose Tiefenkarte einer Umgebung der Stereokamera, beispielsweise einer Fahrbahn sowie deren Umgebung, erstellbar. Beeinträchtigungen D im optischen Pfad der Stereokamera spiegeln sich direkt in der Tiefenkarte in Form von Lücken ohne Tiefenwerte wieder und deuten somit auf eine solche Beeinträchtigung D hin.
Aus diesem Grund wird zur Erkennung von Beeinträchtigungen D im optischen Pfad der Stereokamera mittels der Verarbeitungsvorrichtung 2 in einem ersten Modul 2.1 anhand von mittels der Stereokamera erfassten Bilddaten B eine Tiefenkarte T, auch als Disparitätsbild oder Disparitätskarte bezeichnet, einer erfassten Umgebung erzeugt. Die Erfassung der Bilddaten B mittels der Stereokamera kann dabei auch während eines Stillstands der Stereokamera relativ zu der erfassten Umgebung, das heißt bei Stillstand des Fahrzeugs, durchgeführt werden.
Anschließend wird in einem zweiten Modul 2.2 geprüft, ob in der Tiefenkarte T Lücken ohne Tiefenwerte vorhanden sind.
In einem weiteren Modul 2.3 der Verarbeitungsvorrichtung 2 werden potenzielle Kandidaten für eine Beeinträchtigung D im optischen Pfad der Stereokamera bestimmt. Hierbei wird bei Vorhandensein von Lücken in der Tiefenkarte T auf eine Beeinträchtigung D im optischen Pfad der Stereokamera geschlossen.
Zusätzlich werden in einer möglichen Ausgestaltung in der Tiefenkarte T Objekte erkannt und anhand eines Vergleichs der erkannten Objekte mit in einer digitalen Karte 3 hinterlegten Objektinformationen und/oder mittels weiterer Sensorik 4 erfasster Objektinformationen eine Plausibilisierung von Tiefeninformationen der Tiefenkarte T durchgeführt.
Die Objekterkennung in der Tiefenkarte T ist beispielsweise kamerabasiert und umfasst beispielsweise eine Erkennung 5 mobiler und/oder immobiler Umgebungsobjekte, eine Spurerkennung 6 und eine Verkehrsschilderkennung 7.
Liegen als Ergebnis der Plausibilisierung unplausible Tiefeninformationen vor, werden diese als Bestätigung einer Beeinträchtigung D im optischen Pfad der Stereokamera gewertet.
Unplausible Tiefeninformationen werden auch als Bestätigung einer Beeinträchtigung D im optischen Pfad der Stereokamera gewertet, wenn keine Lücken in der Tiefenkarte T vorhanden sind. Dies ist beispielsweise dann der Fall, wenn auf beiden Kameraeinheiten der Stereokamera Beeinträchtigungen D vorhanden sind.
Wurde eine Beeinträchtigung D im optischen Pfad der Stereokamera erfasst, erfolgt mittels eines entsprechenden Moduls 2.4 der Verarbeitungsvorrichtung 2 eine Signalisierung, so dass die Beeinträchtigung D automatisch oder manuell entfernt werden kann.
Im Folgenden werden zwei Anwendungsbeispiele mit einer Beeinträchtigung D im optischen Pfad einer Stereokamera beschrieben.
In einem ersten Anwendungsbeispiel ist eine von zwei optischen Kameralinsen einer Stereokamera degradiert. Treten durch Reflexionen durch Sonneneinstrahlung auf der Kameralinse so genannte vertikale Lichtschwerter auf, führen diese zu vertikalen Lücken in der Tiefenkarte T. Ein Beschlag auf der Kameralinse führt zu großflächigen Lücken oder unplausiblen Stereoinformationen. Verschmutzungen führen zu einzelnen Lücken in der Tiefenkarte. Überstrahl- oder Belichtungseffekte, welche beispielsweise aus einer tiefstehenden Sonne resultieren, führen zu ähnlichen Effekten wie Beschlag. Somit kann bei Erkennung der Lücken, deren Form und Anordnung auf eine Art der Beeinträchtigung D geschlossen werden.
In einem zweiten Anwendungsbeispiel sind beide Kameralinsen degradiert. Die im ersten Anwendungsbeispiel genannten Lückenbeispiele in einer Tiefenkarte T können auch dann auftreten, wenn auf beiden Kameralinsen gleichzeitig eine Beeinträchtigung D vorliegt. Je nach Position der jeweiligen Beeinträchtigung D auf den Kameralinsen kann unter Umständen ein Stereo-Matching stattfinden, so dass keine Lücken in der Tiefenkarte T auftreten. Diese Auffälligkeit ist jedoch mittels der beschriebenen Plausibilisierung anhand der Objekterkennung und dem Abgleich mit den in der digitalen Karte hinterlegten Objektinformationen erfassbar und somit als Beeinträchtigung D erkennbar.

Claims

Patentansprüche Verfahren zur Erkennung von Beeinträchtigungen (D) im optischen Pfad einer Stereokamera, dadurch gekennzeichnet, dass
- anhand von mittels der Stereokamera erfassten Bilddaten (B) eine Tiefenkarte (T) einer erfassten Umgebung erzeugt wird,
- geprüft wird, ob in der Tiefenkarte (T) Lücken ohne Tiefenwerte vorhanden sind, und
- bei Vorhandensein von Lücken in der Tiefenkarte (T) auf eine Beeinträchtigung (D) im optischen Pfad der Stereokamera geschlossen wird. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in der Tiefenkarte (T) Objekte erkannt werden und anhand eines Vergleichs der erkannten Objekte mit in einer digitalen Karte (3) hinterlegten Objektinformationen eine Plausibilisierung von Tiefeninformationen der Tiefenkarte (T) durchgeführt wird. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass unplausible Tiefeninformationen als Bestätigung einer Beeinträchtigung (D) im optischen Pfad der Stereokamera gewertet werden. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass unplausible Tiefeninformationen auch als Bestätigung einer Beeinträchtigung (D) im optischen Pfad der Stereokamera gewertet werden, wenn keine Lücken in der Tiefenkarte (T) vorhanden sind. 9 Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Erfassung der Bilddaten mittels der Stereokamera während eines Stillstands der Stereokamera relativ zu der erfassten Umgebung durchgeführt wird. Verfahren nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass in der Objekterkennung
- eine Spurerkennung (6),
- eine Verkehrsschilderkennung (7) und/oder
- eine Erkennung (5) von mobilen und/oder immobilen Umgebungsobjekten durchgeführt werden bzw. wird. Vorrichtung (1) zur Erkennung von Beeinträchtigungen (D) im optischen Pfad einer Stereokamera, gekennzeichnet durch eine Verarbeitungsvorrichtung (2), welche ausgebildet ist
- anhand von mittels der Stereokamera erfassten Bilddaten (B) eine Tiefenkarte (T) einer erfassten Umgebung zu erzeugen,
- zu prüfen, ob in der Tiefenkarte (T) Lücken ohne Tiefenwerte vorhanden sind, und
- bei Vorhandensein von Lücken in der Tiefenkarte (T) auf eine Beeinträchtigung (D) im optischen Pfad der Stereokamera zu schließen. Fahrzeug, umfassend eine Vorrichtung (1) nach Anspruch 7. Fahrzeug nach Anspruch 8, ausgebildet zu einem automatisierten, insbesondere hochautomatisierten oder autonomen Fährbetrieb.
PCT/EP2021/083795 2021-02-05 2021-12-01 Verfahren und vorrichtung zur erkennung von beeinträchtigungen im optischen pfad einer stereokamera WO2022167120A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202180092644.6A CN116965016A (zh) 2021-02-05 2021-12-01 用于识别立体相机光路缺损的方法和装置
US18/275,828 US20240129452A1 (en) 2021-02-05 2021-12-01 Method and device for recognising impairments in the optical path of a stereo camera
JP2023547432A JP2024507102A (ja) 2021-02-05 2021-12-01 ステレオカメラの光路における障害を認識するための方法及び装置
KR1020237025190A KR20230124053A (ko) 2021-02-05 2021-12-01 스테레오 카메라의 광로의 저하를 감지하는 방법 및장치
EP21824340.0A EP4289133A1 (de) 2021-02-05 2021-12-01 Verfahren und vorrichtung zur erkennung von beeinträchtigungen im optischen pfad einer stereokamera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021000600.3A DE102021000600A1 (de) 2021-02-05 2021-02-05 Verfahren und Vorrichtung zur Erkennung von Beeinträchtigungen im optischen Pfad einer Stereokamera
DE102021000600.3 2021-02-05

Publications (1)

Publication Number Publication Date
WO2022167120A1 true WO2022167120A1 (de) 2022-08-11

Family

ID=78851301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/083795 WO2022167120A1 (de) 2021-02-05 2021-12-01 Verfahren und vorrichtung zur erkennung von beeinträchtigungen im optischen pfad einer stereokamera

Country Status (7)

Country Link
US (1) US20240129452A1 (de)
EP (1) EP4289133A1 (de)
JP (1) JP2024507102A (de)
KR (1) KR20230124053A (de)
CN (1) CN116965016A (de)
DE (1) DE102021000600A1 (de)
WO (1) WO2022167120A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016216118A1 (de) 2015-09-16 2017-03-16 Toyota Jidosha Kabushiki Kaisha Objekterkennungsvorrichtung und Fleckerkennungsverfahren
EP3496398A1 (de) * 2017-12-11 2019-06-12 Sick AG Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren
US20190230347A1 (en) * 2016-08-29 2019-07-25 Hitachi, Ltd. Photographing Device and Photographing Method
US20200236338A1 (en) * 2017-09-28 2020-07-23 Koito Manufacturing Co., Ltd. Sensor system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2275990B1 (de) 2009-07-06 2012-09-26 Sick Ag 3D-Sensor
GB2502213A (en) 2010-12-30 2013-11-20 Irobot Corp Mobile Human Interface Robot
US10466714B2 (en) 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016216118A1 (de) 2015-09-16 2017-03-16 Toyota Jidosha Kabushiki Kaisha Objekterkennungsvorrichtung und Fleckerkennungsverfahren
US20190230347A1 (en) * 2016-08-29 2019-07-25 Hitachi, Ltd. Photographing Device and Photographing Method
US20200236338A1 (en) * 2017-09-28 2020-07-23 Koito Manufacturing Co., Ltd. Sensor system
EP3496398A1 (de) * 2017-12-11 2019-06-12 Sick AG Sichere stereokamera und verfahren zum prüfen der funktionsfähigkeit der bildsensoren

Also Published As

Publication number Publication date
KR20230124053A (ko) 2023-08-24
EP4289133A1 (de) 2023-12-13
CN116965016A (zh) 2023-10-27
JP2024507102A (ja) 2024-02-16
US20240129452A1 (en) 2024-04-18
DE102021000600A1 (de) 2022-08-11

Similar Documents

Publication Publication Date Title
DE102016216118B4 (de) Objekterkennungsvorrichtung und Fleckerkennungsverfahren
DE60208894T2 (de) Regensensor mit stereoscopischem abbildungssystem
EP2558336B1 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren eines fahrzeugs durch detektion von wetterbedingten sichteinschränkungen
DE102014209197A1 (de) Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102008001679A1 (de) Verfahren und Vorrichtung zur Verarbeitung von aufgenommenen Bildinformationen aus einem Fahrzeug
EP1053140A1 (de) Verfahren zum detektieren von auf einer lichtdurchlässigen scheibe befindlichen objekten sowie vorrichtung
DE102016206493A1 (de) Verfahren und Kamerasystem zur Entfernungsbestimmung von Objekten zu einem Fahrzeug
DE102014201158A1 (de) Verfahren und Vorrichtung zum Überprüfen eines von einer Objekterkennung erkannten relevanten Objekts
DE102020215860A1 (de) Korrektur von Bildern eines Rundumsichtkamerasystems bei Regen, Lichteinfall und Verschmutzung
DE102005004513A1 (de) Detektion von Niederschlägen auf Oberflächen, insbesondere auf der Oberfläche der Windschutzscheibe eines Kraftfahrzeuges
DE102012015282B4 (de) Verfahren zur Detektion eines verdeckten Zustands einer Bilderfassungseinrichtung eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
WO2020020654A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen
WO2019238319A1 (de) Verfahren und vorrichtung zum erfassen einer umgebung, sowie fahrzeug mit einer solchen vorrichtung
DE102013222304A1 (de) Verfahren zur Bestimmung von Objektentfernungen mit einer in einem Kraftfahrzeug verbauten Kamera
WO2022167120A1 (de) Verfahren und vorrichtung zur erkennung von beeinträchtigungen im optischen pfad einer stereokamera
DE102014205204B3 (de) Kamerabasiertes Fahrerassistenzsystem zur Detektion des Zustandes einer Fahrbahnoberfläche
DE102021004337A1 (de) Vorrichtung und Verfahren zur Filterung von Spiegelungen in Bilddaten
DE102017221381A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Ermitteln eines Abstandes zu einem Objekt
DE102004053416A1 (de) Konzeption einer Kamera mit Spiegeln zur Erzeugung eines Stereobildpaares
WO2022128013A1 (de) Korrektur von bildern einer kamera bei regen, lichteinfall und verschmutzung
DE102018205144B3 (de) Testverfahren zur Erkennung von Fehler-Frames bei hochauflösenden Scheinwerfern
DE102016205471A1 (de) Stereokameravorrichtung sowie ein Verfahren zum Betrieb der Stereokameravorrichtung
DE102019003562A1 (de) Verfahren zur Auswertung von mittels einer Kamera eines Fahrzeugs erfassten Bildern
EP1962245B1 (de) Verfahren und Vorrichtung zum Ermitteln des Bewegungszustands von Objekten
DE102013210591A1 (de) Bewegungserkennung eines fahrzeugs mittels mehrerer kameras

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21824340

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20237025190

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202180092644.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18275828

Country of ref document: US

Ref document number: 2023547432

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021824340

Country of ref document: EP

Effective date: 20230905