WO2012119627A1 - Verfahren und vorrichtung zur ermittlung von wasser auf einer fahrzeugscheibe - Google Patents

Verfahren und vorrichtung zur ermittlung von wasser auf einer fahrzeugscheibe Download PDF

Info

Publication number
WO2012119627A1
WO2012119627A1 PCT/EP2011/006159 EP2011006159W WO2012119627A1 WO 2012119627 A1 WO2012119627 A1 WO 2012119627A1 EP 2011006159 W EP2011006159 W EP 2011006159W WO 2012119627 A1 WO2012119627 A1 WO 2012119627A1
Authority
WO
WIPO (PCT)
Prior art keywords
individual images
vehicle window
image
vehicle
image areas
Prior art date
Application number
PCT/EP2011/006159
Other languages
English (en)
French (fr)
Inventor
Stefan Gehrig
Stefan Hahn
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Publication of WO2012119627A1 publication Critical patent/WO2012119627A1/de

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for detecting water on a vehicle window according to the features of the preamble of claim 1 and an apparatus for carrying out the method according to the features of the preamble of claim 5.
  • a rain sensor is known.
  • the rain sensor is disposed in a vehicle and includes a camera and a processor.
  • the camera takes an image of a scene outside the vehicle with an infinite through a windshield of the vehicle
  • the processor detects rain based on a degree of scattering of intensities of pixels in the image against an average intensity of pixels.
  • the invention is based on the object, an improved method for detecting water on a vehicle window and a device for carrying out the
  • the object is achieved by a method for detecting water on a vehicle window with the features of claim 1 and an apparatus for performing the method with the features of claim 5.
  • At least two areas are arranged by means of an imaging arrangement arranged behind the vehicle window in a vehicle interior Vehicle window through a period of time detected a plurality of individual images and determined by a stereoscopic image evaluation of each simultaneously detected individual images corresponding pixels and / or corresponding image areas in the individual images. Based on a temporal evaluation of a
  • the image acquisition device which is preferably a stereo camera, can be used as a rain sensor, whereby other particles or substances, for example dirt, can be determined on the vehicle window in addition to water, of course also in other states of aggregation, for example as snow or ice.
  • Evaluation unit in which the individual images captured by the image acquisition device are evaluated, with a control unit of a windscreen cleaning system of the vehicle, in particular windscreen wipers of the vehicle, is the
  • Windscreen cleaning system controlled such that the vehicle window in case of rain and / or dirt automatically, d. H. is cleaned properly without any additional intervention by a driver.
  • the image acquisition device used for this purpose is preferably one already used for other purposes and therefore anyway in the vehicle in the area of the vehicle window, preferably in the area of the windscreen built
  • Image capture arrangement Such image acquisition devices are used, for example, for environmental monitoring of the vehicle, for example for
  • Image acquisition arrangement also for the determination of water on the vehicle window, no additional rain sensor is required, which with the image acquisition arrangement to a space behind the vehicle window, usually in the range of
  • Fig. 1 shows a vehicle with a device for carrying out a method for
  • FIG. 1 shows a vehicle 1 with a device for carrying out a method for determining water on a vehicle window 2.
  • the device comprises a vehicle interior behind the vehicle window 2, i. H. behind a windscreen of the vehicle 1 arranged imaging frame 3, by means of which by at least two areas of the vehicle window 2 through individual images can be detected.
  • the image acquisition device 3 is preferably designed as a stereo camera, by means of which individual images can be detected on at least two optical paths, d. H. a scene is simultaneously in single images of at least two
  • the image acquisition device 3 can also comprise, for example, a plurality of individual cameras.
  • the image acquisition device 3 frames for image evaluation of the captured by the image acquisition device 3 frames, in particular for
  • Water in different states of aggregation, for example, as ice or snow, and other particles or substances, for example, dirt can be determined are by means of the image sensing assembly 3 through the at least two different areas of the vehicle window 2 through a period of time a plurality of
  • Image areas in the individual images determined. These corresponding image points or image areas, since they each represent the same area of a recorded scene from different perspectives, have a very high similarity under optimal recording conditions.
  • the optimal recording conditions relate in particular to an undisturbed by external influences field of view, in particular to a clear and undisturbed view through the vehicle window 2 through, so that optical Paths of the imaging frame 3 are not disturbed by the vehicle window 2 therethrough.
  • the similarity between the corresponding picture elements or image areas of the respective simultaneously acquired individual images is caused by light reflections, refractions of light and / or opaqueness of light the water or dirt on the vehicle window 2, significantly reduced.
  • the first area of the vehicle window 2, through which the first frame is detected has a raindrop, so that the detection of the scene in the first frame is disturbed by the raindrop, since the raindrop covers the optical path between the first
  • Image capture arrangement 3 and the scene to be detected disturbs.
  • the second area of the vehicle window 2, by which the respective other, second individual image is simultaneously detected does not have the same raindrop, so that the scene in the second individual image is detected undisturbed, since the optical path is not disturbed here.
  • the corresponding pixels and / or image areas can still be determined by the stereoscopic evaluation of the simultaneously acquired individual images from two perspectives, they nevertheless have a much lower similarity than under optimal conditions, ie. H. in a dry, clear and perfectly transparent
  • Vehicle window 2 without interference of the respective optical path.
  • the image acquisition device 3 which is preferably an image acquisition device 3 already used for other purposes, for example for environmental detection and therefore already installed in the vehicle 1, can be used as a rain sensor.
  • Windscreen cleaning system controlled such that the vehicle window 2 in case of rain and / or dirt automatically, d. H. is cleaned properly without any additional intervention by a driver.
  • this image acquisition device 3 which is used, for example, for object detection and collision avoidance, also for detecting water on the vehicle window 2, no additional rain sensor is required, which with the image sensing device 3 to a space behind the
  • Vehicle window 2 usually in the range of an interior mirror, would compete, so that the space available there is optimally usable for the imaging frame assembly 3 and no other areas of the vehicle window 2 are covered, d. H.
  • a field of vision of the driver is not in this way
  • an impingement of water on the vehicle window 2 is then determined when the similarity of corresponding pixels and / or
  • Corresponding image areas reduced over time. For example, at a first point in time at which it is not yet raining, individual images are captured by the different regions of the vehicle window 2 from two perspectives and evaluated stereoscopically. Since it is not raining and therefore on the vehicle window 2 no visual obstructions for the stereo camera, d. H. have no disturbances of the respective optical path for detecting the respective individual image, the individual images recorded at the same time have a high similarity.
  • Vehicle window 2 are located and it can be controlled according to the windshield wipers of the vehicle 1.
  • Stereocamera move and therefore each occur in the same image areas.
  • the similarity information changes again through the use of the
  • Corresponding pixels and / or image areas are improved again, or by the impact of other raindrops, whereby the similarities between the corresponding corresponding pixels and / or image areas on
  • Vehicle window 2 removed and meet no further raindrops, because the rain has stopped, so the similarity of the corresponding pixels and / or image areas increases in subsequently recorded individual images, so that the
  • Windscreen wiper due to the cleaned vehicle window 2 are automatically turned off again.
  • the similarity of the corresponding pixels and / or image areas in subsequently recorded individual images remains low, it is to be concluded that the rain is continuing and the windscreen wipers remain activated.
  • the similarity information for the respective corresponding pixels and / or image areas is constantly changing as the raindrops are permanently removed by the windshield wipers and new raindrops strike at other locations.
  • the similarities are in certain corresponding ones
  • Windscreen cleaning fluid so in such a case, this pump can be automatically activated to the vehicle window 2 by the use of windshield wipers and additionally the window cleaning fluid
  • a frequency analysis of the individual images is carried out by means of Fourier transformation in a stereoscopic image evaluation of the individual images, wherein a reduction of frequency values in subsequently acquired individual images of the same optical path, ie. H. at falling frequency values, the impact of water or other particles on the vehicle window 2 is determined.
  • the frequency analysis is preferably not performed for the entire frame, but the frames are each divided into image sections and the frequency analysis and the Evaluation of the temporal frequency response are performed separately for each image section.
  • frequency analysis can also be a
  • Determination of density can be performed, so that it can be determined, for example, whether it is, for example, water, for example in the form of rain, snow, ice or stains on the vehicle window 2.
  • Vehicle window 2 out which hinder the view of the imaging frame assembly 3 through the vehicle window 2 through and thereby interfere with the respective optical path, for example, water in the form of raindrops on snow, ice or dirt particles.
  • Windscreen wipers improve the determined frequency values in the meantime again, d. H. they increase again briefly when cleaned by the windshield wiper vehicle window 2, but break in persistent rain by re-impinging raindrops in subsequently recorded and analyzed frames again.
  • Stereoscopic evaluation of the individual images is carried out, may alternatively be carried out independently of this stereoscopic evaluation, as already by the frequency analysis alone water in the form of rain, snow or ice, or other particles on the vehicle window 2 can be determined by a frequency analysis in a period of acquired frames and an evaluation of a temporal frequency response.
  • a stereo camera or an imaging system 3 with several cameras would not necessarily be required, but a single camera with only one optical path is already sufficient since the frequency analysis is always carried out only in subsequently acquired individual images of the same optical path.

Abstract

Die Erfindung betrifft ein Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe (2). Erfindungsgemäß werden mittels einer in einem Fahrzeuginnenraum hinter der Fahrzeugscheibe (2) angeordneten Bilderfassungsanordnung (3) durch zumindest zwei Bereiche der Fahrzeugscheibe (2) hindurch über einen Zeitraum hinweg eine Mehrzahl von Einzelbildern erfasst und durch eine stereoskopische Bildauswertung jeweils gleichzeitig erfasster Einzelbilder korrespondierende Bildpunkte und/oder korrespondierende Bildbereiche in den Einzelbildern ermittelt. Auf Grundlage einer zeitlichen Auswertung eines Ähnlichkeitsverlaufes der korrespondierenden Bildpunkte und/oder korrespondierenden Bildbereiche in nachfolgend erfassten Einzelbildern wird ein Auftreffen von Wasser auf die Fahrzeugscheibe (2) dann ermittelt, wenn sich die Ähnlichkeit korrespondierender Bildpunkte und/oder korrespondierender Bildbereiche im zeitlichen Verlauf verringert. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.

Description

Verfahren und Vorrichtung zur Ermittlung von Wasser auf einer Fahrzeugscheibe
Die Erfindung betrifft ein Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe nach den Merkmalen des Oberbegriffs des Anspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens nach den Merkmalen des Oberbegriffs des Anspruchs 5.
Aus dem Stand der Technik ist, wie in der DE 10 2006 016 774 A1 beschrieben, ein Regensensor bekannt. Der Regensensor ist in einem Fahrzeug angeordnet und umfasst eine Kamera und einen Prozessor. Die Kamera nimmt durch eine Windschutzscheibe des Fahrzeugs ein Bild einer Szene außerhalb des Fahrzeugs mit einer unendlichen
Brennweite auf. Der Prozessor erfasst Regen auf der Grundlage eines Streuungsgrades von Intensitäten von Pixeln in dem Bild gegenüber einer durchschnittlichen Intensität von Pixeln.
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe und eine Vorrichtung zur Durchführung des
Verfahrens anzugeben.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe mit den Merkmalen des Anspruchs 1 und eine Vorrichtung zur Durchführung des Verfahrens mit den Merkmalen des Anspruchs 5 gelöst.
Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
In einem Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe werden erfindungsgemäß mittels einer in einem Fahrzeuginnenraum hinter der Fahrzeugscheibe angeordneten Bilderfassungsanordnung durch zumindest zwei Bereiche der Fahrzeugscheibe hindurch über einen Zeitraum hinweg eine Mehrzahl von Einzelbildern erfasst und durch eine stereoskopische Bildauswertung jeweils gleichzeitig erfasster Einzelbilder korrespondierende Bildpunkte und/oder korrespondierende Bildbereiche in den Einzelbildern ermittelt. Auf Grundlage einer zeitlichen Auswertung eines
Ähnlichkeitsverlaufes der korrespondierenden Bildpunkte und/oder korrespondierenden Bildbereiche in nachfolgend erfassten Einzelbildern wird ein Auftreffen von Wasser auf die Fahrzeugscheibe dann ermittelt, wenn sich die Ähnlichkeit korrespondierender Bildpunkte und/oder korrespondierender Bildbereiche im zeitlichen Verlauf verringert.
Mittels dieses Verfahrens ist die Bilderfassungsanordnung, welche vorzugsweise eine Stereokamera ist, als ein Regensensor verwendbar, wobei auf der Fahrzeugscheibe neben Wasser, selbstverständlich auch in anderen Aggregatzuständen, beispielsweise als Schnee oder Eis, auch andere Partikel oder Stoffe, beispielsweise Schmutz ermittelbar sind. Durch eine Kopplung der Bilderfassungsanordnung bzw. einer
Auswerteeinheit, in welcher die von der Bilderfassungsanordnung erfassten Einzelbilder ausgewertet werden, mit einer Steuereinheit einer Scheibenreinigungsanlage des Fahrzeugs, insbesondere von Scheibenwischern des Fahrzeugs, ist die
Scheibenreinigungsanlage derart ansteuerbar, dass die Fahrzeugscheibe bei Regen und/oder Verschmutzungen automatisch, d. h. ohne einen zusätzlichen Eingriff eines Fahrzeugführers, ordnungsgemäß gereinigt wird.
Die für diese Zwecke verwendete Bilderfassungsanordnung ist vorzugsweise eine bereits für andere Einsatzzwecke verwendete und daher ohnehin im Fahrzeug im Bereich der Fahrzeugscheibe, vorzugsweise im Bereich der Frontscheibe verbaute
Bilderfassungsanordnung. Derartige Bilderfassungsanordnungen werden beispielsweise für eine Umgebungsüberwachung des Fahrzeugs verwendet, zum Beispiel zur
Hinderniserkennung und Kollisionsvermeidung. Durch die Verwendung dieser
Bilderfassungsanordnung auch zur Ermittlung von Wasser auf der Fahrzeugscheibe ist kein zusätzlicher Regensensor erforderlich, welcher mit der Bilderfassungsanordnung um einen Bauraum hinter der Fahrzeugscheibe, üblicherweise im Bereich eines
Innenspiegels, konkurrieren würde, so dass der dort vorhandene Bauraum optimal für die Bilderfassungsanordnung nutzbar ist und keine weiteren Bereiche der Fahrzeugscheibe verdeckt werden, d. h. insbesondere ein Sichtfeld des Fahrzeugführers wird auf diese Weise nicht eingeschränkt. Des Weiteren werden durch diese Einsparung eines zusätzlichen Regensensors Kosten des Fahrzeugs und zusätzlich eine Komplexität von Assistenzvorrichtungen des Fahrzeugs reduziert. Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
Fig. 1 ein Fahrzeug mit einer Vorrichtung zur Durchführung eines Verfahrens zur
Ermittlung von Wasser auf einer Fahrzeugscheibe.
Figur 1 zeigt ein Fahrzeug 1 mit einer Vorrichtung zur Durchführung eines Verfahrens zur Ermittlung von Wasser auf einer Fahrzeugscheibe 2. Die Vorrichtung umfasst eine in einem Fahrzeuginnenraum hinter der Fahrzeugscheibe 2, d. h. hinter einer Frontscheibe des Fahrzeugs 1 angeordnete Bilderfassungsanordnung 3, mittels welcher durch zumindest zwei Bereiche der Fahrzeugscheibe 2 hindurch Einzelbilder erfassbar sind. Zu diesem Zweck ist die Bilderfassungsanordnung 3 vorzugsweise als eine Stereokamera ausgebildet, mittels welcher Einzelbilder auf zumindest zwei optischen Pfaden erfassbar sind, d. h. eine Szenerie ist gleichzeitig in Einzelbildern aus zumindest zwei
unterschiedlichen Perspektiven erfassbar. Die Bilderfassungsanordnung 3 kann aber beispielsweise auch eine Mehrzahl von Einzelkameras umfassen. Zur Bildauswertung der von der Bilderfassungsanordnung 3 erfassten Einzelbilder, insbesondere zur
stereoskopischen Bildauswertung, ist die Bilderfassungsanordnung 3 mit einer
Auswerteeinheit 4 gekoppelt.
Im Verfahren zur Ermittlung von Wasser auf der Fahrzeugscheibe 2, wobei neben
Wasser in verschiedenen Aggregatzuständen, beispielsweise auch als Eis oder Schnee, auch andere Partikel oder Stoffe, zum Beispiel Schmutz ermittelt werden können, werden mittels der Bilderfassungsanordnung 3 durch die zumindest zwei verschiedenen Bereiche der Fahrzeugscheibe 2 hindurch über einen Zeitraum hinweg eine Mehrzahl von
Einzelbildern erfasst und durch eine stereoskopische Bildauswertung jeweils gleichzeitig erfasster Einzelbilder korrespondierende Bildpunkte und/oder korrespondierende
Bildbereiche in den Einzelbildern ermittelt. Diese korrespondierenden Bildpunkte bzw. Bildbereiche weisen, da sie jeweils den gleichen Bereich einer aufgenommenen Szenerie aus unterschiedlichen Perspektiven darstellen, unter optimalen Aufnahmebedingungen eine sehr hohe Ähnlichkeit auf. Die optimalen Aufnahmebedingungen beziehen sich dabei insbesondere auf ein von äußeren Einflüssen ungestörtes Sichtfeld, insbesondere auf eine klare und ungestörte Sicht durch die Fahrzeugscheibe 2 hindurch, so dass optische Pfade der Bilderfassungsanordnung 3 durch die Fahrzeugscheibe 2 hindurch nicht gestört sind.
Wird diese Sicht durch beispielsweise Wasser auf der Fahrzeugscheibe 2, zum Beispiel Regentropfen oder Schnee, oder durch Schmutzpartikel gestört, so wird die Ähnlichkeit zwischen den korrespondierenden Bildpunkten bzw. Bildbereichen der jeweiligen gleichzeitig erfassten Einzelbilder aufgrund von Lichtreflexionen, Lichtbrechungen und/oder Lichtundurchlässigkeiten, verursacht durch das Wasser oder den Schmutz auf der Fahrzeugscheibe 2, deutlich verringert. Beispielsweise weist der erste Bereich der Fahrzeugscheibe 2, durch welchen das erste Einzelbild erfasst wird, einen Regentropfen auf, so dass die Erfassung der Szenerie im ersten Einzelbild durch den Regentropfen gestört ist, da der Regentropfen den optischen Pfad zwischen der
Bilderfassungsanordnung 3 und der zu erfassenden Szenerie stört. Der zweite Bereich der Fahrzeugscheibe 2, durch welchen gleichzeitig das jeweils andere, zweite Einzelbild erfasst wird, weist den selben Regentropfen nicht auf, so dass die Szenerie im zweiten Einzelbild ungestört erfasst wird, da hier der optische Pfad nicht gestört ist. Durch die stereoskopische Auswertung der gleichzeitig erfassten Einzelbilder aus zwei Perspektiven sind dann zwar die korrespondierenden Bildpunkte und/oder Bildbereiche noch immer ermittelbar, sie weisen jedoch eine wesentlich geringere Ähnlichkeit auf als unter optimalen Bedingungen, d. h. bei trockener, klarer und optimal durchsichtiger
Fahrzeugscheibe 2 ohne Störungen des jeweiligen optischen Pfades.
Dieser Effekt wird zur Ermittlung von Wasser, beispielsweise Regentropfen oder Schnee, oder von anderen Substanzen auf der Fahrzeugscheibe 2 genutzt. Auf diese Weise ist die Bilderfassungsanordnung 3, bei welcher es sich vorzugsweise um eine bereits für andere Zwecke, zum Beispiel für eine Umgebungserfassung verwendete und daher ohnehin im Fahrzeug 1 verbaute Bilderfassungsanordnung 3 handelt, als Regensensor nutzbar. Durch eine Kopplung der Bilderfassungsanordnung 3 bzw. der Auswerteeinheit 4 mit einer hier nicht näher dargestellten Steuereinheit einer Scheibenreinigungsanlage des Fahrzeugs 1 , insbesondere von Scheibenwischern des Fahrzeugs 1 , ist die
Scheibenreinigungsanlage derart ansteuerbar, dass die Fahrzeugscheibe 2 bei Regen und/oder Verschmutzungen automatisch, d. h. ohne einen zusätzlichen Eingriff eines Fahrzeugführers, ordnungsgemäß gereinigt wird.
Durch die Verwendung dieser Bilderfassungsanordnung 3, welche beispielsweise zur Objekterfassung und Kollisionsvermeidung verwendet wird, auch zur Ermittlung von Wasser auf der Fahrzeugscheibe 2, ist kein zusätzlicher Regensensor erforderlich, welcher mit der Bilderfassungsanordnung 3 um einen Bauraum hinter der
Fahrzeugscheibe 2, üblicherweise im Bereich eines Innenspiegels, konkurrieren würde, so dass der dort vorhandene Bauraum optimal für die Bilderfassungsanordnung 3 nutzbar ist und keine weiteren Bereiche der Fahrzeugscheibe 2 verdeckt werden, d. h.
insbesondere ein Sichtfeld des Fahrzeugführers wird auf diese Weise nicht
eingeschränkt. Des Weiteren werden durch diese Einsparung eines zusätzlichen
Regensensors Kosten des Fahrzeugs 1 und zusätzlich eine Komplexität von
Assistenzvorrichtungen des Fahrzeugs 1 reduziert.
Im Verfahren zur Ermittlung von Wasser auf der Fahrzeugscheibe 2 werden unter Ausnutzung des Effektes der verringerten Ähnlichkeit der korrespondierenden Bildpunkte und/oder Bildbereiche gleichzeitig erfasster Einzelbilder bei einer Sichtbehinderung der Bilderfassungsanordnung 3 durch Wasser oder Schmutz auf der Fahrzeugscheibe 2, wie bereits beschrieben, über einen Zeitraum hinweg durch die verschiedenen Bereiche der Fahrzeugscheibe 2 hindurch eine Mehrzahl von Einzelbildern erfasst und durch die stereoskopische Bildauswertung jeweils gleichzeitig erfasster Einzelbilder
korrespondierende Bildpunkte und/oder korrespondierende Bildbereiche in den
Einzelbildern ermittelt.
Auf Grundlage einer zeitlichen Auswertung des Ähnlichkeitsverlaufes der
korrespondierenden Bildpunkte und/oder korrespondierenden Bildbereiche in nachfolgend erfassten Einzelbildern wird ein Auftreffen von Wasser auf die Fahrzeugscheibe 2 dann ermittelt, wenn sich die Ähnlichkeit korrespondierender Bildpunkte und/oder
korrespondierender Bildbereiche im zeitlichen Verlauf verringert. Beispielsweise werden zu einem ersten Zeitpunkt, an welchem es noch nicht regnet, Einzelbilder durch die unterschiedlichen Bereiche der Fahrzeugscheibe 2 hindurch aus zwei Perspektiven erfasst und stereoskopisch ausgewertet. Da es noch nicht regnet und sich daher auf der Fahrzeugscheibe 2 keinerlei Sichtbehinderungen für die Stereokamera, d. h. keinerlei Störungen des jeweiligen optischen Pfades zur Erfassung des jeweiligen Einzelbildes befinden, weisen die jeweils zum gleichen Zeitpunkt aufgenommenen Einzelbilder eine hohe Ähnlichkeit auf.
Nachfolgend werden zu einem zweiten Zeitpunkt, an dem es bereits regnet, erneut Einzelbilder durch die beiden Bereiche der Fahrzeug sehe ibe 2 hindurch aus zwei
Perspektiven erfasst und stereoskopisch ausgewertet. Aufgrund der Regentropfen auf der Fahrzeugscheibe 2 treten während der Erfassung der Einzelbilder durch die unterschiedlichen Bereiche der Fahrzeugscheibe 2 hindurch nun unterschiedliche Sichtbehinderungen während der Aufnahme jedes der Einzelbilder auf, da jeder der beiden optischen Pfade unterschiedlich gestört wird, so dass in der nachfolgenden stereoskopischen Bildauswertung die ermittelten korrespondierenden Bildpunkte und/oder Bildbereiche eine wesentlich geringere Ähnlichkeit aufweisen als in den vorher erfassten Einzelbildern. Auf diese Weise wird festegestellt, dass sich Regentropfen auf der
Fahrzeugscheibe 2 befinden und es können entsprechend die Scheibenwischer des Fahrzeugs 1 angesteuert werden.
Solange die Regentropfen durch die Scheibenwischer des Fahrzeugs 1 noch nicht entfernt werden, ist für die betreffenden korrespondierenden Bildpunkte und/oder
Bildbereiche die festgestellte verringerte Ähnlichkeit konstant, da die Regentropfen auf der Fahrzeugscheibe 2 sensorfest sind, d. h. sich mit dem Fahrzeug 1 und der
Stereokamera mitbewegen und daher jeweils in den selben Bildbereichen auftreten. Die Ähnlichkeitsinformationen verändern sich erst wieder durch den Einsatz der
Scheibenwischer, wodurch die Ähnlichkeiten zwischen den betreffenden
korrespondierenden Bildpunkten und/oder Bildbereichen wieder verbessert werden, oder durch das Auftreffen weiterer Regentropfen, wodurch die Ähnlichkeiten zwischen den betreffenden korrespondierenden Bildpunkten und/oder Bildbereichen weiter
verschlechtert werden.
Anhand einer Anzahl der korrespondierenden Bildpunkte und/oder Bildbereiche, bei welchen die zeitliche Änderung der Ähnlichkeitsinformationen festgestellt wird, kann auf eine Stärke der Beeinträchtigungen durch den Regen während der Bilderfassung der Einzelbilder und dadurch auf die Stärke des auf die Fahrzeugscheibe 2 auftreffenden Regens geschlossen werden. Mittels dieser Informationen kann eine Geschwindigkeit bzw. ein Intervall der Scheibenwischerbetätigung automatisch entsprechend angepasst werden.
Sind nach dem Wischvorgang der Scheibenwischer die Regentropfen von der
Fahrzeugscheibe 2 entfernt und treffen keine weiteren Regentropfen auf, weil der Regen aufgehört hat, so erhöht sich die Ähnlichkeit der korrespondierenden Bildpunkte und/oder Bildbereiche in nachfolgend aufgenommenen Einzelbildern wieder, so dass die
Scheibenwischer aufgrund der gesäuberten Fahrzeugscheibe 2 automatisch wieder abgestellt werden. Bleibt die Ähnlichkeit der korrespondierenden Bildpunkte und/oder Bildbereiche in nachfolgend aufgenommenen Einzelbildern hingegen weiterhin gering, so ist auf einen anhaltenden Regen zu schließen und die Scheibenwischer bleiben weiterhin aktiviert. Dabei ändern sich die Ähnlichkeitsinformationen für die jeweiligen korrespondierenden Bildpunkte und/oder Bildbereiche jedoch ständig, da die Regentropfen permanent durch die Scheibenwischer entfernt werden und an anderen Stellen neue Regentropfen auftreffen. Sind die Ähnlichkeiten hingegen in bestimmten korrespondierenden
Bildpunkten und/oder Bildbereichen trotz des Einsatzes der Scheibenwischer konstant verringert, so lässt dies auf stärker verschmutzte Stellen auf der Fahrzeugscheibe 2 schließen, welche nicht durch einfaches Wischen entfernt werden. Ist die Vorrichtung nicht nur mit den Scheibenwischern der Scheibenreinigungsanlage gekoppelt, um diese automatisch zu betätigen, sondern auch mit einer Pumpe zum Sprühen von
Scheibenreinigungsflüssigkeit, so kann in einem derartigen Fall auch diese Pumpe automatisch aktiviert werden, um durch den Einsatz der Scheibenwischer und zusätzlich der Scheibenreinigungsflüssigkeit die Fahrzeugscheibe 2 auch von derartigen
hartnäckigen Verschmutzungen automatisch zu befreien.
In einer vorteilhaften Ausführungsform des Verfahrens kann zusätzlich zur
stereoskopischen Bildauswertung der Einzelbilder des Weiteren eine Frequenzanalyse der Einzelbilder mittels Fouriertransformation durchgeführt werden, wobei bei einer Reduzierung von Frequenzwerten in nachfolgend erfassten Einzelbildern des gleichen optischen Pfades, d. h. bei fallenden Frequenzwerten, das Auftreffen von Wasser oder anderen Partikeln auf die Fahrzeugscheibe 2 ermittelt wird. Zur Optimierung des
Verfahrens und um insbesondere Positionen der Regentropfen oder anderer Partikel auf der Fahrzeugscheibe 2, beispielsweise Schnee, Eis oder Schmutzpartikel, lokalisieren zu können, wird die Frequenzanalyse vorzugsweise nicht für das gesamte Einzelbild durchgeführt, sondern die Einzelbilder werden jeweils in Bildausschnitte unterteilt und die Frequenzanalyse sowie die Auswertung des zeitlichen Frequenzverlaufs werden für jeden Bildausschnitt separat durchgeführt. Mittels der Frequenzanalyse kann auch eine
Dichteermittlung durchgeführt werden, so dass beispielsweise ermittelt werden kann, ob es sich zum Beispiel um Wasser, beispielsweise in Form von Regen, um Schnee, Eis oder um Schmutzflecken auf der Fahrzeugscheibe 2 handelt.
Bestehen keine Sichtbehinderungen für die Bilderfassungsanordnung 3, d. h. die Sicht durch die Fahrzeugscheibe 2 ist nicht beeinträchtigt und ist im Zeitverlauf konstant, so ist ein Kontrast in aufeinander folgend aufgenommenen Einzelbildern des jeweiligen optischen Pfades relativ konstant. Treten nun Sichtbehinderungen beispielsweise durch Regentropfen auf der Fahrzeugscheibe 2 auf, so brechen die ermittelten Frequenzen ein, d. h. es erfolgt ein signifikanter Abfall der Frequenzwerte. Es werden daher für die jeweiligen Bildausschnitte die Frequenzverläufe analysiert, insbesondere die jeweiligen maximalen Frequenzwerte. Verringern sich diese im jeweiligen Bildausschnitt in zeitlich aufeinander folgenden Einzelbildern, so deutet dies auf Substanzen auf der
Fahrzeugscheibe 2 hin, welche die Sicht für die Bilderfassungsanordnung 3 durch die Fahrzeugscheibe 2 hindurch behindern und dadurch den jeweiligen optischen Pfad stören, beispielsweise auf Wasser in Form von Regentropfen, auf Schnee, Eis oder Schmutzpartikel. Je weniger hohe Frequenzen zu finden sind, desto wahrscheinlicher ist das Auftreffen von Regen oder anderen den optischen Pfad behindernde Substanzen auf die Fahrzeugscheibe 2.
Durch die Einteilung der Einzelbilder in Bildausschnitte kann nun ermittelt werden, in welchen den jeweiligen Bildausschnitten zugeordneten Bereichen der Fahrzeugscheibe 2 sich diese Sichtbehinderungen befinden und wie stark diese sind. Treten beispielsweise nur in einzelnen Bildausschnitten verringerte Frequenzwerte auf, so deutet dies beispielsweise auf einige wenige Regentropfen hin. Treten die verringerten
Frequenzwerte in sehr vielen der Bildausschnitte auf, so deutet dies auf starken Regen hin. Dies kann zur Ansteuerung der Scheibenwischer genutzt werden, um deren
Geschwindigkeit bzw. Intervall entsprechend einzustellen. Durch die Aktivität der
Scheibenwischer bessern sich die ermittelten Frequenzwerte zwischenzeitlich wieder, d. h. sie erhöhen sich bei durch die Scheibenwischer gesäuberter Fahrzeugscheibe 2 kurzzeitig wieder, brechen aber bei anhaltendem Regen durch erneut auftreffende Regentropfen in nachfolgend aufgenommenen und analysierten Einzelbildern erneut ein.
Diese Frequenzanalyse, welche im hier erläuterten Verfahren zusätzlich zur
stereoskopischen Auswertung der Einzelbilder durchgeführt wird, kann alternativ auch unabhängig von dieser stereoskopischen Auswertung durchgeführt werden, da auch bereits durch die Frequenzanalyse allein Wasser in Form von Regen, Schnee oder Eis, oder auch andere Partikel auf der Fahrzeugscheibe 2 ermittelt werden können, durch eine Frequenzanalyse in einem Zeitraum erfasster Einzelbilder und eine Auswertung eines zeitlichen Frequenzverlaufs. Dafür wäre dann nicht unbedingt eine Stereokamera oder eine Bilderfassungsanordnung 3 mit mehreren Kameras erforderlich, sondern es ist bereits eine einzelne Kamera mit lediglich einem optischen Pfad ausreichend, da die Frequenzanalyse stets jeweils nur in nachfolgend erfassten Einzelbildern des gleichen optischen Pfades durchgeführt wird. Bezugszeichenliste
Fahrzeug
Fahrzeugscheibe
Bilderfassungsanordnung
Auswerteeinheit

Claims

Patentansprüche
1. Verfahren zur Ermittlung von Wasser auf einer Fahrzeugscheibe (2),
dadurch gekennzeichnet, dass mittels einer in einem Fahrzeuginnenraum hinter der Fahrzeugscheibe (2) angeordneten Bilderfassungsanordnung (3) durch zumindest zwei Bereiche der Fahrzeugscheibe (2) hindurch über einen Zeitraum hinweg eine Mehrzahl von Einzelbildern erfasst wird und durch eine stereoskopische
Bildauswertung jeweils gleichzeitig erfasster Einzelbilder korrespondierende Bildpunkte und/oder korrespondierende Bildbereiche in den Einzelbildern ermittelt werden und dass auf Grundlage einer zeitlichen Auswertung eines
Ähnlichkeitsverlaufes der korrespondierenden Bildpunkte und/oder
korrespondierenden Bildbereiche in nachfolgend erfassten Einzelbildern ein Auftreffen von Wasser auf die Fahrzeugscheibe (2) dann ermittelt wird, wenn sich die Ähnlichkeit korrespondierender Bildpunkte und/oder korrespondierender Bildbereiche im zeitlichen Verlauf verringert.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass die Einzelbilder mittels einer Stereokamera erfasst werden.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass eine Frequenzanalyse der Einzelbilder durchgeführt wird, wobei bei einer Reduzierung von Frequenzwerten in nachfolgend erfassten Einzelbildern das Auftreffen von Wasser auf die Fahrzeugscheibe (2) ermittelt wird.
4. Verfahren nach Anspruch 3,
dadurch gekennzeichnet, dass die Frequenzanalyse für eine Mehrzahl von
Bildbereichen der Einzelbilder durchgeführt wird.
5. Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 4, umfassend eine in einem Fahrzeuginnenraum hinter einer Fahrzeugscheibe (2) angeordnete Bilderfassungsanordnung (3) zur Erfassung einer Mehrzahl von Einzelbildern über einen Zeitraum hinweg durch zumindest zwei Bereiche der Fahrzeugscheibe (2) hindurch und eine Auswerteeinheit (4) zur stereoskopischen Bildauswertung jeweils gleichzeitig erfasster Einzelbilder, um korrespondierende Bildpunkte und/oder korrespondierende Bildbereiche in den Einzelbildern zu ermitteln, und zur Ermittlung eines Auftreffens von Wasser auf die
Fahrzeugscheibe (2) auf Grundlage einer zeitlichen Auswertung eines
Ähnlichkeitsverlaufes der korrespondierenden Bildpunkte und/oder
korrespondierenden Bildbereiche in nachfolgend erfassten Einzelbildern.
6. Vorrichtung nach Anspruch 5,
dadurch gekennzeichnet, dass die Bilderfassungsanordnung (3) eine Stereokamera ist.
PCT/EP2011/006159 2011-03-10 2011-12-08 Verfahren und vorrichtung zur ermittlung von wasser auf einer fahrzeugscheibe WO2012119627A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011013527A DE102011013527A1 (de) 2011-03-10 2011-03-10 Verfahren und Vorrichtung zur Ermittlung von Wasser auf einer Fahrzeugscheibe
DE102011013527.8 2011-03-10

Publications (1)

Publication Number Publication Date
WO2012119627A1 true WO2012119627A1 (de) 2012-09-13

Family

ID=45218644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/006159 WO2012119627A1 (de) 2011-03-10 2011-12-08 Verfahren und vorrichtung zur ermittlung von wasser auf einer fahrzeugscheibe

Country Status (2)

Country Link
DE (1) DE102011013527A1 (de)
WO (1) WO2012119627A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5468103B2 (ja) * 2012-03-30 2014-04-09 富士重工業株式会社 ウインドウウォッシャ装置
EP3113107B1 (de) * 2015-07-02 2018-12-05 Continental Automotive GmbH Statische verschmutzungserkennung und korrektur
DE102015217265A1 (de) * 2015-09-10 2017-03-16 Conti Temic Microelectronic Gmbh Stereokameravorrichtung zur Umgebungserfassung eines Kraftfahrzeugs, Kraftfahrzeug mit einer solchen Stereokameravorrichtung sowie ein Verfahren zur Erkennung von Regentropfen oder Ablagerungen
DE102022119062A1 (de) 2022-07-29 2024-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Reinigen einer Fahrzeugscheibe von Schnee sowie entsprechend eingerichtetes Fahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097024A (en) * 1997-09-16 2000-08-01 Gentex Corporation Moisture sensor and windshield fog detector
US20010042822A1 (en) * 2001-06-28 2001-11-22 Valeo Electrical Systems, Inc. Stereo imaging rain sensor
US20050254688A1 (en) * 2002-01-17 2005-11-17 Matthias Franz Method and device for recognizing obstruction of view in image sensor systems
DE102006016774A1 (de) 2005-04-11 2006-10-12 Denso Corp., Kariya Regensensor
US20070272884A1 (en) * 2006-05-16 2007-11-29 Denso Corporation Raindrop sensor and wiper controller having the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097024A (en) * 1997-09-16 2000-08-01 Gentex Corporation Moisture sensor and windshield fog detector
US20010042822A1 (en) * 2001-06-28 2001-11-22 Valeo Electrical Systems, Inc. Stereo imaging rain sensor
US20050254688A1 (en) * 2002-01-17 2005-11-17 Matthias Franz Method and device for recognizing obstruction of view in image sensor systems
DE102006016774A1 (de) 2005-04-11 2006-10-12 Denso Corp., Kariya Regensensor
US20070272884A1 (en) * 2006-05-16 2007-11-29 Denso Corporation Raindrop sensor and wiper controller having the same

Also Published As

Publication number Publication date
DE102011013527A1 (de) 2012-01-05

Similar Documents

Publication Publication Date Title
EP3717952B1 (de) Vorrichtung ausgebildet zur umfelderfassung und verfahren zur reinigung einer abdeckung einer solchen vorrichtung
EP2274709B1 (de) Verfahren und vorrichtung zur verarbeitung von aufgenommenen bildinformationen aus einem fahrzeug
DE102012222126B4 (de) Verfahren und Vorrichtung zum Ansteuern einer Reinigungsvorrichtung für eine Fahrzeugkamera, Verfahren zum Reinigen einer Fahrzeugkamera und Kamerasystem für ein Fahrzeug
DE102016216118B4 (de) Objekterkennungsvorrichtung und Fleckerkennungsverfahren
EP2558336B1 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren eines fahrzeugs durch detektion von wetterbedingten sichteinschränkungen
DE102006016774B4 (de) Regensensor
WO2012171737A1 (de) Verfahren und vorrichtung zur erkennung von gerichteten strukturen auf einer scheibe eines fahrzeugs
WO2006024247A1 (de) Verfahren zur detektion von niederschlag auf einer scheibe
DE10201522A1 (de) Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen
DE102014209197A1 (de) Vorrichtung und Verfahren zum Erkennen von Niederschlag für ein Kraftfahrzeug
DE112014005160T5 (de) Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug
WO2012171834A2 (de) Verfahren und vorrichtung zur detektion einer sichtbeeinträchtigung einer scheibe
DE102005035812A1 (de) Verfahren zur Erkennung von Verschmutzungen auf einer transparenten Scheibe
EP2788245A1 (de) Verfahren und vorrichtung zur lokalisation einer vordefinierten parkposition
DE112014007047T5 (de) Fahrzeugkamera-Steuervorrichtung
DE102019212326A1 (de) Objektivreinigungsvorrichtung
WO2012119627A1 (de) Verfahren und vorrichtung zur ermittlung von wasser auf einer fahrzeugscheibe
EP2217472A1 (de) Steuerungsverfahren und steuerungsvorrichtung für eine scheibenwischvorrichtung
EP1440856A2 (de) Verfahren und Vorrichtung zur Sichtverbesserung und zur Bestimmung der Wettersituation
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102015007794A1 (de) Verfahren und Vorrichtung zur Erfassung von Feuchtigkeit und/oder einer Verschmutzung auf einer Außenseite einer Abdeckung eines Bildsensors
DE19950046A1 (de) Optisch funktionierendes automatisches Steuerungssystem für Windschutzscheibenwischer
DE102012015282B4 (de) Verfahren zur Detektion eines verdeckten Zustands einer Bilderfassungseinrichtung eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102013222304A1 (de) Verfahren zur Bestimmung von Objektentfernungen mit einer in einem Kraftfahrzeug verbauten Kamera
WO2013041292A1 (de) Bilderfassungsvorrichtung für ein fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11793670

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11793670

Country of ref document: EP

Kind code of ref document: A1