WO2007012299A1 - Verfahren zur erkennung von verschmutzungen auf einer transparenten scheibe - Google Patents

Verfahren zur erkennung von verschmutzungen auf einer transparenten scheibe Download PDF

Info

Publication number
WO2007012299A1
WO2007012299A1 PCT/DE2006/000310 DE2006000310W WO2007012299A1 WO 2007012299 A1 WO2007012299 A1 WO 2007012299A1 DE 2006000310 W DE2006000310 W DE 2006000310W WO 2007012299 A1 WO2007012299 A1 WO 2007012299A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
contamination
trajectory
soiling
objects
Prior art date
Application number
PCT/DE2006/000310
Other languages
English (en)
French (fr)
Inventor
Michael Walter
Matthias Zobel
Original Assignee
Adc Automotive Distance Control Systems Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adc Automotive Distance Control Systems Gmbh filed Critical Adc Automotive Distance Control Systems Gmbh
Priority to US11/989,349 priority Critical patent/US8274562B2/en
Priority to DE112006001291.6T priority patent/DE112006001291B4/de
Publication of WO2007012299A1 publication Critical patent/WO2007012299A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Definitions

  • the present invention relates to a method for detecting soiling on a. Windscreen.
  • Application finds this invention z. B. in motor vehicles.
  • Camera sensors are used here to an increased extent for environmental detection, in particular for lane detection and / or object recognition, with a view in the direction of travel or in the return journey area.
  • the camera sensors are usually mounted inside the vehicle behind a windshield. A faultless function of the sensor is only guaranteed if the view is not obscured by foreign objects on the window.
  • DE 10230200 describes a detector for detecting objects on a surface of a transparent element.
  • the detector is at least approximately focused on the surface and it is evaluated for contamination detection, the contrast distribution of the recorded images.
  • the object of the invention is to detect the contamination of a protective screen in the field of view of a camera, which is also used for other applications in particular for the environmental detection, cost-effective.
  • the object is achieved by a passive camera-based approach.
  • a camera is provided, which is focused on an environment behind a transparent pane.
  • An advantage of this arrangement is that the camera for pollution detection and environmental detection and can be used.
  • Pictures are read out of the camera in a given cycle, eg 25 frames / s.
  • the recorded images are evaluated for contamination on the protective screen.
  • no further artificial reference images or reference objects are required, so that there are no additional costs and / or adjustment costs for the user. Contamination can only be detected by the method presented if the relative velocity v rel of the camera and at least one recorded object in the environment are not equal to zero.
  • Image sections a possible contamination on parts of the protective screen is detected.
  • the trajectory of at least one object with v rel > 0 is predicted.
  • measurement windows are set along the predicted trajectory of objects, so that the same object is imaged successively in the different measurement windows at a suitable readout frequency and / or a suitable number of averages of a measurement.
  • a suitable readout frequency and / or a suitable number of averages of a measurement are visible at a suitable readout frequency and / or a suitable number of averages of a measurement in the measurement windows along their trajectory. If the imaging area of a measuring window is covered by soiling, the object "is changed or not recorded in this measuring window
  • ⁇ Detected partial areas of the protective screen.
  • corresponding measurement windows are here Designates measurement windows along a predicted trajectory in which an object image is expected to be predicted.
  • the contrast is evaluated in a measuring window and / or the mean value of the brightness is determined.
  • the mean value is not always sufficient for contamination detection. Shadow e.g. Vehicles, trees, buildings etc. can lead to a local change in the brightness of the vehicle. However, considering the average and the standard deviation of the brightness, a statement is possible because a shadow in front of the camera will cause a local change in the mean, but will not result in a larger change in the standard deviation within the measurement window.
  • the gray value differences can be evaluated in addition to the other values or exclusively. If the difference of the determined values in corresponding measuring windows exceeds a threshold value, a contamination is detected.
  • the trajectories of static objects in the imaging region of the camera run along straight lines that extend radially from the vanishing point of the image.
  • measurement windows are set along said straight line.
  • an object trajectory from the estimated lane parameters such as curvature and offset, the installation position of the camera, their height, pitch, yaw and roll angle, and the intrinsic Camera parameters, the focal length, main point, etc. are calculated. If no lane parameters are available because the system is unable to estimate a lane due to contamination or missing road markings, the curvature can be determined from the steering angle.
  • the measurement windows are arranged along the predicted trajectory.
  • An advantageous embodiment of the invention is a motor vehicle with a camera for environmental observation, eg for lane detection and / or object recognition, with a view in the direction of travel or in the return area, and to use for pollution measurement. Further advantages and features of the invention will be explained in more detail by way of example with reference to an exemplary embodiment and two figures.
  • FIG. 1 Determination of the column c of a measurement window with a lateral offset x placed in a row y.
  • Fig. 2 Determination of the distance of a point d to the camera.
  • the exemplary embodiment describes a motor vehicle with a camera for detecting soiling on a protective pane.
  • the camera is focused on the environment in front of the vehicle and not on the protective screen and is used for environmental detection.
  • the vehicle moves on a straight line on average over time.
  • Static objects in the environment thus move in the imaging range of the camera on straight lines that extend radially from the vanishing point of the image. This of course also applies to the median strip and the side boundaries of a road, the course of the road and oncoming vehicles. If measurement windows are positioned along the radially extending straight line, under ideal conditions, i. no damping or soiling, in the corresponding measuring windows, e.g.
  • non-static objects with a relative speed not equal to zero, eg oncoming vehicles for soiling measurement.
  • These objects move in the imaging range of the camera on radials that emanate from the vanishing point of the image.
  • the measurement windows are set along the radials, so that the object is located within a time interval ⁇ t at a suitable readout frequency and / or a suitable temporal averaging of the measured values in all measurement windows along the radial lines given radials is mapped. Again, from discontinuities, contamination will be detected.
  • the camera can also, as already shown above, be used for environmental detection. If the vehicle is equipped with an environment detection system, the course of the traffic lane and the associated markings can be calculated in advance.
  • the measurement windows are set along the track. First, the camera image camera image is divided into NxM areas. For each precalculated object trajectory, the closest areas are determined and set as measurement windows. If no marking is found in a predicted measuring window, a counter z (n, m) is incremented. If a marker is found in the predicted measurement window, the counter z (n, m) is reset. If a counter z (n, m) now exceeds a fixed or speed-dependent threshold, the area (n, m) is classified as dirty.
  • FIG. 1 shows the simplest case of a downwardly directed camera.
  • Figure 2 illustrates the distance determination of a
  • Point d to the camera.
  • the distance becomes from h of the camera installation height, a the camera pitch angle, y the picture line of the point, ⁇ the pixel size and / or

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Kamera zur Erkennung von Verschmutzungen auf einer Schutzscheibe. Die Kamera ist auf eine Szene hinter der Schutzscheibe fokussiert, und kann zur Verschmutzungserkennung und für weitere Anwendungen, z.B. zur Fahrspurerkennung und/oder Objekterkennung genutzt werden. Zur Verschmutzungserkennung werden lediglich nacheinander aufgenommene Bilder ausgewertet, künstliche Referenzbilder oder Referenzobjekte werden nicht benötigt. Vorraussetzung für eine erfolgreiche Messung ist, dass die Relativgeschwindigkeit vrel von Kamera und zumindest einem aufgenommenen Objekt in der Umgebung ungleich Null ist und seine Trajektorie in der Abbildung prädiziert wird. Durch ein Vergleich der entsprechenden Bildausschnitte wird eine mögliche Verschmutzung auf Teilbereichen der Schutzscheibe erkannt.

Description

Verfahren zur Erkennung γon Verschmutzungen auf einer transparenten Scheibe.
Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung von Verschmutzungen auf einer. Schutzscheibe. Anwendung findet diese Erfindung z. B. in Kraftfahrzeugen. Kamerasensoren werden hier in vermehrtem Umfang zur Umgebungserfassung, insbesondere zur Fahrspurerkennung und/oder Objekterkennung, mit Blick in Fahrrichtung oder in den Rückfahrtbereich eingesetzt. Die Kamerasensoren sind in der Regel im Inneren des Fahrzeugs hinter einer Windschutzscheibe angebracht. Eine fehlerfreie Funktion des Sensors ist nur gewährleistet, wenn die Sicht nicht durch Fremdobjekte auf der Scheibe verdeckt ist.
Es sind zahlreiche Methoden zur Verschmutzungsmessung von Scheiben z.B. in Kraftfahrzeugen bekannt. In DE 10230200 wird ein Detektor zur Erkennung von Objekten auf einer Oberfläche eines transparenten Elements beschrieben. Dabei ist der Detektor zumindest annähernd auf die Oberfläche fokussiert und es wird zur Verschmutzungserkennung die Kontrastverteilung der aufgenommenen Bilder ausgewertet.
Ein weiteres Verfahren zur Erkennung von auf einer Windschutzscheibe befindlichen
. Objekten wird in DE 19749331 dargestellt. Dazu wird ein Sensorarray auf die Außenseite der
; Windschutzscheibe fokussiert. Eine Analyse der Ortsfrequenzen im aufgenommenen Bild gibt
Aufschluss über eine Verschmutzung der Windschutzscheibe. Beide Anordnungen können aufgrund der Fokussierung der Kamera auf die Oberfläche nicht für andere kamerabasierte Anwendungen, z.B. die Umgebungserfassung genutzt werden. In DE 19700665 wird ein kamerabasierter Sensor beschrieben, der Fremdmaterialen auf einer transparenten Scheibe detektiert. Dazu wird das Bild eines festinstallierten richtemittierenden Referenzobjekts durch die Scheibe aufgenommen und mit einem Referenzbild verglichen. Nachteilig an dieser Anordnung ist, dass ein Referenzobjekt zur Verschmutzungsmessung benötigt wird.
Die Aufgabe der Erfindung liegt darin, die Verschmutzung einer Schutzscheibe im Sichtfeld einer Kamera, die auch für andere Anwendungen insbesondere für die Umgebungserfassung genutzt wird, kostengünstig zu erkennen.
Diese Aufgabe wird gemäß einem Verfahren nach Patentanspruch 1 gelöst. Die abhängigen Patentansprüche zeigen vorteilhafte Ausführungsformen und Weiterentwicklungen der Erfindung auf. Erfindungsgemäß wird die Aufgabe durch einen passiven kamerabasierten Ansatz gelöst. Hierfür ist eine Kamera vorgesehen, die auf eine Umgebung hinter einer transparenten Scheibe fokussiert ist. Vorteilhaft an dieser Anordnung ist, dass die Kamera zur Verschmutzungserkennung und zur Umgebungserfassung und genutzt werden kann. In einem vorgegebenen Takt werden Bilder aus der Kamera ausgelesen, z.B. 25 frames/s. Die aufgenommen Bilder werden hinsichtlich Verschmutzungen auf der Schutzscheibe ausgewertet. Es werden also keine weiteren künstlichen Referenzbilder oder Referenzobjekte benötigt, so dass hier für den Anwender keine weiteren Kosten und/oder Justageaufwand entsteht. Eine Verschmutzung ist nur dann nach dem vorgestellten Verfahren erkennbar, wenn die Relativgeschwindigkeit vrel von Kamera und zumindest einem aufgenommenen Objekt in der Umgebung ungleich Null sein. Dies wird bei einer Anwendung z.B. im Kraftfahrzeug durch Eigengeschwindigkeit des Fahrzeugs Vpahizeug>0m/s gewährleistet. Damit ist die Relativgeschwindigkeit zu statischen Objekten in der Fahrzeugumgebung vrel>0m/s. Objekte mit vrei>Om/s verändern ihre Position zur Kamera kontinuierlich und damit auch ihre Position ' im Bild. Der berechnete Verlauf dieser Bewegung im Bild wird im Folgenden als Trajektorie bezeichnet. Dasselbe Objekt wird also zeitlich versetzt in verschiedenen Bildausschnitten
' ■•. abgebildet. Wird nun ein Bildausschnitt durch eine Verschmutzung ganz oder teilweise verdeckt, so wird das Objekt verändert oder gar nicht abgebildet. Durch einen Vergleich von
Bildausschnitten wird eine mögliche Verschmutzung auf Teilbereichen der Schutzscheibe erkannt. Um die zum Vergleich geeigneten Bildausschnitte auszuwählen, wird die Trajektorie von zumindest einem Objekt mit vrel >0 prädiziert.
In einer vorteilhaften Ausgestaltung der Erfindung werden entlang der vorhergesagten Trajektorie von Objekten Messfenster gesetzt, sodass dasselbe Objekt bei einer geeigneten Auslesefrequenz und/oder einer geeigneten Anzahl der Mittlungen einer Messung nacheinander in den verschiedenen Messfenstern abgebildet wird. Das gleiche gilt für mehrere gleichartige Objekte, insbesondere Fahrbahnmarkierungen, entlang einer prädizierten Trajektorie. Auch sie sind bei geeigneten Auslesefrequenz und/oder einer geeigneten Anzahl der Mittlungen einer Messung in den Messfenstern entlang ihrer Trajektorie sichtbar. Ist der Abbildungsbereich eines Messfensters von einer Verschmutzung überdeckt, wird das Objekt "verändert oder gar nicht in diesem Messfenster aufgenommen. Aus dem Vergleich der
O'bjektabbildungen in korrespondierenden Messfenstern werden -. Verschmutzungen in
■ Teilbereichen der Schutzscheibe erkannt. Als korrespondierende Messfenster werden hier Messfenster entlang einer prädizierten Trajektorie bezeichnet, in denen eine Objektabbildung laut Vorhersage erwartet wird.
In einer vorteilhaften Ausgestaltung der Erfindung wird in einem Messfenster der Kontrast ausgewertet und/oder der Mittelwert der Helligkeit wird ermittelt. Der Mittelwert ist für eine Verschmutzungs-Erkennung nicht immer ausreichend. Schatten z.B. von Fahrzeugen, Bäumen, Gebäuden etc. können zu einer lokalen Änderung der Helligkeit der fuhren. Werden jedoch der Mittelwert und die Standardabweichung der Helligkeit betrachtet ist eine Aussage möglich, da ein Schatten vor der Kamera eine lokale Änderung des Mittelwertes hervorrufen, jedoch nicht zu einer größeren Änderung der Standardabweichung innerhalb des Messfensters führt. Die Grauwertdifferenzen können zusätzlich zu den anderen Werten oder ausschließlich ausgewertet werden. Überschreitet die Differenz der ermittelten Werte in korrespondierenden Messfenstern einen Schwellwert, wird eine Verschmutzung erkannt.
Bei einer geradlinigen Eigenbewegung der Kamera verlaufen die Trajektorien von statischen Objekten im Abbildungsbereich der Kamera entlang von Geraden, die radial vom Fluchtpunkt des Bildes ausgehen. Ih einer bevorzugten Ausführungsform werden entlang der genannten Geraden Messfenster gesetzt. Bei einer nichtgeradlinigen Eigenbewegung der Kamera oder einer zu erwartenden ungradlinigen Bewegung wird in einer vorteilhaften Ausgestaltung der Erfindung die Trajektorie von Objekten ausgehend von Umgebungsmerkmalen und/oder' der momentanen Kamerabewegung und/oder der Einbaulage der Kamera berechnet. Z.B. bei einer Nutzung der Kamera zur Verschmutzungsmessung in einem Kraftfahrzeug, kann eine Objekttrajektorie, insbesondere die eines statischen Objekts, aus den geschätzten Fahrspurparametern wie Krümmung und Offset, der Einbaulage der Kamera, ihre Höhe, Nick-, Gier- und Rollwinkel, sowie den intrinsischen Kameraparametern, der Brennweite, Hauptpunkt, etc. berechnet werden. Stehen keine Fahrspurparameter zur Verfügung, da das System aufgrund einer Verschmutzung oder fehlender Straßenmarkierungen nicht in der Lage ist eine Fahrspur zu schätzen, lässt sich die Krümmung anhand des Lenkwinkels ermitteln. Die Messfenster werden entlang der prädizierten Trajektorie angeordnet.
'Eine vorteilhafte Ausgestaltung der Erfindung ist ein Kraftfahrzeug mit einer Kamera zur Umgebungsbeobachtung, z.B. für Fahrspurerkennung und/oder Objekterkennung, mit Blick in Fahrrichtung oder in den Rückfahrtbereich, und zur Verschmutzungsmessung einzusetzen. Weitere Vorteile und - Besonderheiten der Erfindung werden anhand eines Ausfiihrungsbeispiels und zwei Abbildungen beispielhaft näher erläutert.
Es zeigen: ' Fig. 1: Bestimmung der Spalte c eines in einer Zeile y platzierten Messfensters mit seitlichem Versatz x . Fig. 2: Bestimmung des Abstands eines Punktes d zur Kamera.
Das Ausführungsbeispiel beschreibt ein Kraftfahrzeug mit einer Kamera zur Erkennung von Verschmutzungen auf einer Schutzscheibe. Die Kamera ist auf die Umgebung vor dem Fahrzeug und nicht auf die Schutzscheibe fokussiert und wird zur Umgebungserfassung genutzt. Das Fahrzeug bewegt sich im zeitlichen Mittel auf einer Geraden. Statische Objekte in der Umgebung bewegen sich somit im Abbildungsbereich der Kamera auf Geraden, die radial vom Fluchtpunkt des Bildes ausgehen. Dies gilt natürlich auch für den Mittelstreifen und die Seitenbegrenzungen einer Straße, den Verlauf der Fahrbahn und entgegenkommende Fahrzeuge. Werden Messfenster entlang der radial, verlaufenden Geraden positioniert, ist unter idealen Bedingungen, d.h. keine Dämpfung oder Verschmutzung, in den korrespondierenden Messfenstern, z.B. im Abbildungsbereich des Mittelstreifens oder der Fahrbahn, mit identischen Kontrasten, Mittelwerten, Standardabweichungen und Grauwertdifferenzen zu rechnen. Befinden sich Störungen (Verschmutzungen) im Nahbereich der Kamera können diese anhand lokaler Diskontinuitäten erkannt werden. Im einfachsten Fall kann eine Störung anhand der Differenzen zwischen den entlang der Radialen gemittelten Messwerten und den in den Messfenstern zeitlich gemittelten Messwerten erkannt werden. Überschreit die Differenz eine Schwelle kann davon ausgegangen werden, dass das zugehörige Messfenster von einer Verschmutzung verdeckt ist. Die Stärke der Diskontinuität ist von den Fahrbahntexturen, dem Grad der Verschmutzung, der Beleuchtung, sowie der Größe der Messfenster abhängig.
Es können aber auch nichtstatische Objekte mit einer Relativgeschwindigkeit ungleich Null z.B. entgegenkommende Fahrzeuge zur Verschmutzuhgsmessung herangezogen werden. Auch diese Objekte bewegen sich im Abbildungsbereich der Kamera auf Radialen, die vom Fluchtpunkt des Bildes ausgehen. Die Messfenster werden entlang der Radialen gesetzt, so dass das Objekt innerhalb einer Zeitspanne Δt bei einer geeigneten Auslesefrequenz und/oder einer geeigneten zeitlichen Mittlung der Messwerte in allen Messfenstern entlang der vorgegebenen Radialen abgebildet wird. Auch hier wird ausgehend von Diskontinuitäten eine Verschmutzung erkannt werden.
Die Kamera kann auch, wie bereits oben dargestellt, zur Umgebungserfassung genutzt werden. Ist das Fahrzeug mit einem Umgebungserfassungsystem ausgestattet, kann der Verlauf der Fahrspur und der zugehörigen Markierungen vorausberechnet werden. Die Messfenster werden entlang der Spur gesetzt. Dafür wird zunächst das Kamerabild Kamerabild in NxM Bereiche unterteilt. Für jede vorausberechnete Objekttrajektorie werden die am nächsten liegenden Bereiche ermittelt und als Messfenster gesetzt. Wird in einem prädizierten Messfenster keine Markierung gefunden, wird ein Zähler z(n,m) inkrementiert. Wird im prädizierten Messfenster eine Markierung gefunden wird der Zähler z(n,m) zurückgesetzt. Überschreitet nun ein Zähler z(n,m) eine feste oder eine geschwindigkeitsabhängige Schwelle wird der Bereich (n,m) als verschmutzt klassifiziert.
Zur Bestimmung von Größe und Position der Messfenster im Bild lässt sich die Fahrbahn in Bereiche äquidistanter Breite unterteilen. Größe und Position der Messfenster im Bild ergeben sich aus dem Abbildungsmodell der Kamera. In Figur 1 ist der einfachste Fall einer nach unten gerichteten Kamera dargestellt. Die Spalte c eines in einer Zeile y platzierten Messfensters mit seitlichem Versatz x berechnet sich zu c = ^t . d -η
■ Hierbei ist d der Abstand eines Punktes von der Kamera, c die Bildspalte des Punktes, η die
Pixelgröße und / die Kamerabrennweite. Figur 2 stellt die Abstandsbestimmung eines
Punktes d zur Kamera dar. Der Abstand wird aus h der Kameraeinbauhöhe, a dem Kameranickwinkel, y der Bildzeile des Punktes, η der Pixelgröße und / die
Kamerabrennweite zu
, 7 1 — t - tεω.a . η , d = h mA t = y - — bestimmt. t + tan a f

Claims

Patenansprüche
1. Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe, wobei eine Kamera, insbesondere geeignet zur Umgebungserfassung im Kraftfahrzeug , auf eine Szene hinter der Schutzscheibe fokussiert und ist, dadurch gekennzeichnet, dass
• die Relativgeschwindigkeit vrel von Kamera und zumindest einem aufgenommenen Objekt in der Umgebung ungleich Null ist,
• die Trajektorie eines Objekts mit vrei ungleich Null prädiziert wird und
• die Übereinstimmung des in unterschiedlichen Bildbereichen aufgenommenen Objekts und/oder mehrerer gleichartiger Objekte analysiert und daraus eine Aussage über eine Verschmutzung der Scheibe abgeleitet wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass
• Messfenster entlang der prädizierten Trajektorie gesetzt werden,
• dasselbe Objekt in zeitlich versetzt aufgenommenen Bildern in mehr als einem Messfenstern erf asst wird und/oder
• mehrere gleichartige Objekte, insbesondere Fahrbahnmarkierungen, entlang einer prädizierten Trajektorie in mehr als einem Messfenster erf asst werden.
3. Verfahren nach einem der vorherigen Ansprüche dadurch gekennzeichnet, dass in einem Messfenster
• der Kontrast und/oder
• die Bildhelligkeit und ggf. deren Standardabweichung und/oder
• Grauwertdifferenzen ermittelt werden, wobei eine Verschmutzung erkannt wird, wenn die Differenz der Werte in korrespondierenden Messfenstern größer als ein vorgegebener Schwellwert ist.
4. Verfahren nach Anspruch 2 oder 3 dadurch gekennzeichnet, dass bei einer geradlinigen Eigenbewegung der Kamera, insbesondere bei einer Anwendung im
Kraftfahrzeug bei einer geradlinigen Bewegung des Fahrzeugs, die Messfenster entlang von
Geraden gesetzt sind, wobei die Geraden radial vom Fluchtpunkt des Kamerabildes ausgehen.
5. Verfahren nach einem der Ansprüche 1-3, dadurch gekennzeichnet, .dass die Trajektorien von Objekten,, insbesondere von statischen Objekten, ausgehend von a) Umgebungsmerkmalen und/oder ■ b) der momentanen Kamerabewegung und/oder c) Einbaulage der Kamera vorhergesagt wird und Messfenster entlang mindestens einer Trajektorie angeordnet werden.
6. Kraftfahrzeug mit Kamera, wobei Bilddaten hinsichtlich Verschmutzungen auf der Windschutzscheibe mit einem Verfahren nach einem der Ansprüche 1-5 ausgewertet werden., .
PCT/DE2006/000310 2005-07-27 2006-02-21 Verfahren zur erkennung von verschmutzungen auf einer transparenten scheibe WO2007012299A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/989,349 US8274562B2 (en) 2005-07-27 2006-02-21 Method for identifying soiling on a transparent screen
DE112006001291.6T DE112006001291B4 (de) 2005-07-27 2006-02-21 Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005035812A DE102005035812A1 (de) 2005-07-27 2005-07-27 Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe
DE102005035812.8 2005-07-27

Publications (1)

Publication Number Publication Date
WO2007012299A1 true WO2007012299A1 (de) 2007-02-01

Family

ID=36279281

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2006/000310 WO2007012299A1 (de) 2005-07-27 2006-02-21 Verfahren zur erkennung von verschmutzungen auf einer transparenten scheibe

Country Status (3)

Country Link
US (1) US8274562B2 (de)
DE (2) DE102005035812A1 (de)
WO (1) WO2007012299A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009068349A1 (de) * 2007-11-30 2009-06-04 Robert Bosch Gmbh Steuerungsverfahren und steuerungsvorrichtung für eine scheibenwischvorrichtung

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011003381A1 (de) 2009-07-06 2011-01-13 Conti Temic Microelectronic Gmbh Optisches modul zur gleichzeitigen fokussierung auf zwei sichtbereiche
WO2012092911A1 (de) 2010-11-30 2012-07-12 Conti Temic Microelectronic Gmbh Detektion von regentropfen auf einer scheibe mittels einer kamera und beleuchtung
DE102011103302A1 (de) 2011-06-03 2012-12-06 Conti Temic Microelectronic Gmbh Kamerasystem für ein Fahrzeug
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
DE102012103873A1 (de) 2012-05-03 2013-11-21 Conti Temic Microelectronic Gmbh Detektion von Regentropfen auf einer Scheibe mittels einer Kamera und Beleuchtung
DE102014209197B4 (de) 2014-05-15 2024-09-19 Continental Autonomous Mobility Germany GmbH Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE102014111068B4 (de) * 2014-08-04 2023-11-23 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Kraftfahrzeug
DE102014111067B4 (de) * 2014-08-04 2023-12-21 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Kraftfahrzeug
DE102015112682A1 (de) * 2015-08-03 2017-02-09 Connaught Electronics Ltd. Verfahren zum Betreiben eines Kamerasystems mit einer plenoptischen Kamera, Kamerasystem und Kraftfahrzeug
EP3306522A1 (de) 2016-10-06 2018-04-11 Continental Automotive GmbH Vorrichtung zur bestimmung eines interessierenden bereiches auf und/oder in einer fahrzeugscheibe
EP3373195A1 (de) 2017-03-06 2018-09-12 Continental Automotive GmbH Vorrichtung zur bestimmung eines risses auf und/oder in einer fahrzeugwindschutzscheibe
EP3373196A1 (de) 2017-03-07 2018-09-12 Continental Automotive GmbH Vorrichtung zur bestimmung eines interessenbereichs auf einer fahrzeugwindschutzscheibe
JP6663406B2 (ja) * 2017-10-05 2020-03-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
DE102020116203A1 (de) 2020-06-19 2021-12-23 Innogy Se Verfahren zum Erfassen eines Verschmutzungsgrads

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392218B1 (en) * 2000-04-07 2002-05-21 Iteris, Inc. Vehicle rain sensor
DE10303046A1 (de) * 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
DE10316794A1 (de) * 2003-04-11 2004-11-11 Audi Ag Regensensor und Verfahren zum Erkennen von Feuchtigkeit auf der Windschutzscheibe eines Kraftfahrzeugs

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0691534B1 (de) * 1994-07-06 2001-12-12 Volkswagen Aktiengesellschaft Verfahren zur Ermittlung der Sichtweite, insbesondere für die Bewegung eines Kraftfahrzeuges
DE19504606C2 (de) * 1995-02-11 1999-01-07 Kostal Leopold Gmbh & Co Kg Optoelektronische Einrichtung zur Erfassung von auf der Außenseite einer transparenten Scheibe sich ablagerndem Niederschlag
JPH09189533A (ja) 1996-01-11 1997-07-22 Tokai Rika Co Ltd 付着物センサ及び付着物感応ワイパ
WO1997029926A1 (de) * 1996-02-13 1997-08-21 Marquardt Gmbh Optischer sensor
JPH1090188A (ja) * 1996-09-13 1998-04-10 Mitsuba Corp 画像認識装置
DE19740364A1 (de) * 1997-09-13 1999-03-25 Bosch Gmbh Robert Vorrichtung und Verfahren zum Betreiben eines Regensensors
DE19749331A1 (de) 1997-11-07 1999-05-20 Kostal Leopold Gmbh & Co Kg Verfahren zum Detektieren von auf einer Windschutzscheibe befindlichen Objekten sowie Vorrichtung
DE19839273A1 (de) * 1998-03-17 1999-09-23 Bosch Gmbh Robert Optischer Sensor
DE19861428B4 (de) 1998-03-17 2008-01-10 Robert Bosch Gmbh Optischer Sensor
FR2788131B1 (fr) * 1998-12-30 2001-02-16 Valeo Systemes Dessuyage Detecteur de salissures sur la surface d'une plaque transparente
DE19909987C2 (de) 1999-03-06 2003-04-10 Kostal Leopold Gmbh & Co Kg Anordnung zum Detektieren von auf einer Windschutzscheibe eines Kraftfahrzeuges befindlichen Objekten
FR2810605B1 (fr) * 2000-06-22 2002-09-20 Valeo Systemes Dessuyage Equipement de commande automatique de nettoyage d'une surface de plaque presentant des etats de salissure varies, et procede de mise en oeuvre
US6617564B2 (en) * 2001-10-04 2003-09-09 Gentex Corporation Moisture sensor utilizing stereo imaging with an image sensor
DE10201522A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
DE10230200A1 (de) 2002-07-05 2004-01-22 Robert Bosch Gmbh Verfahren und Vorrichtung zur Detektion von auf einer Oberfläche eines transparenten Elements sich befindenden Objekten
DE10303047A1 (de) * 2003-01-24 2004-08-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Sichtverbesserung und zur Bestimmung der Wettersituation
DE10322010A1 (de) * 2003-05-16 2004-12-02 Daimlerchrysler Ag Bilderkennungssystem zum Erfassen einer Niederschlagsmenge
DE102004019337A1 (de) * 2004-04-21 2005-11-17 Siemens Ag Assistenzsystem für Kraftfahrzeuge

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6392218B1 (en) * 2000-04-07 2002-05-21 Iteris, Inc. Vehicle rain sensor
DE10303046A1 (de) * 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
DE10316794A1 (de) * 2003-04-11 2004-11-11 Audi Ag Regensensor und Verfahren zum Erkennen von Feuchtigkeit auf der Windschutzscheibe eines Kraftfahrzeugs

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009068349A1 (de) * 2007-11-30 2009-06-04 Robert Bosch Gmbh Steuerungsverfahren und steuerungsvorrichtung für eine scheibenwischvorrichtung

Also Published As

Publication number Publication date
DE112006001291B4 (de) 2017-12-07
US20090046148A1 (en) 2009-02-19
DE112006001291A5 (de) 2008-02-14
DE102005035812A1 (de) 2007-02-08
US8274562B2 (en) 2012-09-25

Similar Documents

Publication Publication Date Title
DE112006001291B4 (de) Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe
EP2057583B1 (de) Verfahren zur automatischen fernlichtsteuerung
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
DE102014208673A1 (de) Verfahren und Verkehrsüberwachungseinrichtung zum Feststellen einer Falschfahrt eines Kraftfahrzeugs
DE102006055904A1 (de) Erkennung und Kategorisierung von Lichtpunkten mit einer Kamera in einer Fahrzeugumgebung
EP3329462A1 (de) Verfahren zum identifizieren eines objekts in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102015121952A1 (de) Verfahren zum Identifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
EP2788245A1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
DE102007025147B4 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
WO2008064626A1 (de) Erkennung von fahrzeuglichtern mit einer kamera
DE102009031319A1 (de) Verfahren und System zur Bestimmung einer Fahrzeugklasse
DE102015209147A1 (de) Verfahren zur Parkflächenerkennung
DE102014208524A1 (de) Ortsgebundene verkehrsanalyse mit erkennung eines verkehrspfads
DE102015010746A1 (de) Verfahren zur Selbstlokalisation eines Fahrzeugs
EP3193276B1 (de) Erfassungsvorrichtung und verfahren zum erkennen von fahrzeugachsen
DE102013019226A1 (de) Vorrichtung zur kamerabasierten Umgebungserfassung für ein Fahrzeug
DE102015010535A1 (de) Kamerabasierte Umgebungserfassung für Nutzfahrzeuge
DE102015007794A1 (de) Verfahren und Vorrichtung zur Erfassung von Feuchtigkeit und/oder einer Verschmutzung auf einer Außenseite einer Abdeckung eines Bildsensors
WO2018095640A1 (de) Verfahren und system zum detektieren eines sich innerhalb eines parkplatzes befindenden erhabenen objekts
WO2007012300A1 (de) Verfahren zur sichtweitenbestimmung mit einer kamera
DE102007041333B4 (de) Berührungslos arbeitendes Zählsystem
EP2562685B1 (de) Verfahren und Vorrichtung zur Klassifizierung eines sich in einem Vorfeld eines Fahrzeugs befindlichen Lichtobjekts
WO2013091619A1 (de) Verfahren und vorrichtung zur ermittlung von feuchtigkeit auf einer fahrzeugscheibe
DE102018127342A1 (de) Verfahren und Vorrichtung zum Betrieb eines Assistenzsystems eines Fahrzeuges

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1120060012916

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 11989349

Country of ref document: US

REF Corresponds to

Ref document number: 112006001291

Country of ref document: DE

Date of ref document: 20080214

Kind code of ref document: P

122 Ep: pct application non-entry in european phase

Ref document number: 06705993

Country of ref document: EP

Kind code of ref document: A1