WO2014005585A1 - Camera system for detecting the state of a vehicle window - Google Patents

Camera system for detecting the state of a vehicle window Download PDF

Info

Publication number
WO2014005585A1
WO2014005585A1 PCT/DE2013/200027 DE2013200027W WO2014005585A1 WO 2014005585 A1 WO2014005585 A1 WO 2014005585A1 DE 2013200027 W DE2013200027 W DE 2013200027W WO 2014005585 A1 WO2014005585 A1 WO 2014005585A1
Authority
WO
WIPO (PCT)
Prior art keywords
disc
illumination
camera system
image sensor
reading
Prior art date
Application number
PCT/DE2013/200027
Other languages
German (de)
French (fr)
Inventor
Henryk Frenzel
Andreas Aumer
Original Assignee
Continental Automotive Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Gmbh filed Critical Continental Automotive Gmbh
Priority to DE112013000225.6T priority Critical patent/DE112013000225A5/en
Publication of WO2014005585A1 publication Critical patent/WO2014005585A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/108—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 'non-standard' camera systems, e.g. camera sensor used for additional purposes i.a. rain sensor, camera sensor split in multiple image areas

Definitions

  • Camera system for detecting the condition of a vehicle window
  • the invention relates to a method for detecting a condition of a vehicle window by means of a camera system and to a camera system which is designed to implement such a method.
  • disc state detection Method and device for detecting the state of a disc of a vehicle, hereinafter also referred to as disc state detection, is basically known from the prior art.
  • disc state detection in particular includes the detection of rain, dirt, ice, snow and / or other moist deposits on the respective vehicle window.
  • Various sensor devices are used for the detection, for example rain sensors.
  • rain sensors are usually realized according to the principle of (infrared) light input into the disk, single or multiple total reflection of the light in the disk and evaluation of the light signal after total reflection.
  • a portion of the light fed into the disc is decoupled from the disc at the deposits.
  • decoupling a portion of the light arriving at the receiver side of the rain sensor light signal is reduced in intensity.
  • At the reduction of the signal can be detected according to rain or moisture.
  • capacitive or similar implementation approaches for rain sensors are known.
  • a major disadvantage of using such rain sensors is the fact that they are separate Devices is that fulfill no other functions apart from the disc state detection and for a separate installation space, especially in the field of windshield is needed.
  • the installation space in the area of the windshield is already already limited in any case due to other sensors that are used in modern vehicles.
  • a desire of many vehicle manufacturers is therefore to combine different or multiple sensor functions on a single sensor device.
  • the additional lighting can have disturbing influences, such as glare effects, on the image captured by the camera system.
  • a lighting within the reformrichters a vehicle camera easily leads to disturbing light effects or reflections. Therefore, it has hitherto been necessary to integrate partial filters into the camera system in order to separate the image of the vehicle surroundings from the rain sensor image.
  • the "normal" camera function ie in particular the Detecting the vehicle environment for one or more
  • the invention is therefore based on the object to provide a solution, as by means of a camera system of a vehicle disk state detection can be realized, in particular rain detection means of illumination of the disc, without the normal camera function or without other functions of the camera are affected by the lighting.
  • An essential idea of the invention is to synchronize the reading of a line or column-wise readable image sensor of a vehicle camera with an illumination of the vehicle window by an illumination device that the illumination of the disc only during the reading of a selected area of the image sensor or its sensor surface takes place, ie Selected lines or columns of the sensor surface of the image sensor to be used for disk state detection.
  • an illumination device that the illumination of the disc only during the reading of a selected area of the image sensor or its sensor surface takes place, ie Selected lines or columns of the sensor surface of the image sensor to be used for disk state detection.
  • the illumination is carried out according to the invention only for the selected area of the sensor surface of the image sensor, which is actually used for disk state detection.
  • the illumination is thus preferably decoupled in time from the reading of the remaining part of the image sensor, that is, which does not require any illumination.
  • the decoupling takes place in particular by the proposed synchronization of the illumination by means of lighting device with the line or column-wise reading of the image sensor.
  • no complicated or expensive partial and / or optical filters are necessary, and the image sensor of the camera can continue to be sensitive over its entire sensor surface in the wavelength at which the illumination is realized.
  • the method according to the invention serves to operate a camera system and to detect a condition of a window of a vehicle.
  • the camera system is preferably a vehicle camera, which is arranged in the interior of the vehicle behind a disc.
  • the camera system can be arranged with viewing direction through the window, for example for detecting the vehicle surroundings, for example for one or more driver assistance functions.
  • the disc may be the windshield or another disc of the vehicle. Under the detection of the state of the disc (disk state detection) is in particular the determination of rain, snow, ice, dirt and / or other moist deposits or moisture to understand.
  • the pane is illuminated by means of one or more illumination devices and a line-wise or column-wise readout of pixel data of a sensor surface of an image sensor of the camera system such that the illumination and the readout are synchronized.
  • the lighting and the Readings are preferably synchronized in such a way that the illumination of the pane takes place only during the readout of a selected area of the sensor area of the image sensor.
  • the illumination of the pane takes place in particular only during the reading of the area of the sensor surface of the image sensor, which is used to detect the state of the disc or is evaluated by image processing for disc state detection.
  • the one or more illumination devices may be one or more light sources, such as LEDs (Light Emitting Diodes), which may in particular be part of the camera system.
  • the one or more lighting devices are preferably designed such that they can illuminate at least a portion of the pane through which the camera system looks through.
  • the image sensor of the camera system is in particular a line or column-wise readable image chip, preferably a CMOS image sensor (CMOS imager) with rolling shutter.
  • CMOS imager CMOS imager
  • the disk state detection in particular a
  • Regenerkennung takes place preferably based on an evaluation of the pixel data of the selected area of the sensor surface of the image sensor, for example by means of suitable image processing equipment or
  • Image processing algorithms for example, patterns or structure recognition methods already known from the prior art can also be used.
  • the remaining area of the sensor surface of the image sensor can be used in particular for other camera functions, for example for object recognition in the vehicle environment or other
  • the illumination of the disc takes place by means of Lighting device only during the reading of a portion of the sensor surface of the image sensor, which is focused on the disc via an imaging system of the camera system.
  • the imaging system of the camera system may be a lens.
  • the imaging system may be formed bifocal, for example, whereby by means of the imaging system electromagnetic radiation is preferably projected from different ektktfernfern distances on the sensor surface of the image pickup element, preferably from a far-field optical and a near optical area.
  • the bifocal configuration of the imaging system can further be configured in such a way that two separate regions exist on the sensor surface of the image sensor, with only electromagnetic radiation being projected from the optical far region by means of the imaging system on a first of the two regions, and exclusively electromagnetic radiation on the second region from the optical proximity.
  • the long-distance optical area may be, for example, the vehicle surroundings, for example object distances greater than or equal to 2 m, 10 m or 50 m.
  • the optical proximity region is preferably the disk or around its outer surface.
  • the illumination of the pane is preferably carried out according to the method according to the invention only if there is a readout of the area of the sensor surface of the image sensor, which focuses on the near zone, in particular directly on the pane or its outer surface via the imaging system is.
  • illumination of the pane takes place by means of illumination means during the readout of a selected area of the sensor area of the image sensor, which via an imaging system of the camera system onto a O ektentfernung is focused in front of the disc, in particular to a remote area or at a Ektentfernung that is greater than the distance between the camera system and disc.
  • the camera system in which the method according to the invention is used can be focused exclusively on a remote area, in particular by means of an imaging system, for example on object distances greater than or equal to 2 m, 10 m or 50 m.
  • rain as well as other wet deposits on the glass can be detected by means of fuzzy structures in one or more images captured by the camera system.
  • the detection of fuzzy structures i. the disc state detection, thereby exclusively by means of an evaluation of pixel data of the selected and during the illumination of the disc means
  • Illumination device read area of the sensor surface of the image sensor, i. only the area of one or more captured images for which the lighting is active.
  • the selected region of the sensor surface of the image sensor is varied after one or more read-out cycles of the image sensor.
  • a single read-out cycle is preferably to be understood as meaning a one-time complete column-by-row or readout of the entire sensor area, ie the entire pixel data, of the image sensor.
  • the result of a read cycle is therefore in particular a single image recorded by means of the camera system or by means of the image sensor.
  • the next read cycle follows a read cycle.
  • the synchronized illumination of the disk and readout of the image sensor takes place at each read cycle or only at certain
  • a region of the sensor surface is determined and defined as a selected region which is suitable for detecting the state of the wafer.
  • the illumination of the slice and the reading of the pixel data of the sensor surface of the image sensor may be synchronized according to the inventive method, in particular such that the illumination of the slice only during the reading of the determined and fixed range he follows.
  • a region of the sensor surface of the image sensor can be selected that is better for a disk state detection, in particular for a
  • the detection of the state of the disc in particular when a region of the sensor surface for disk state detection is selected as a function of at least one first readout cycle without illumination, and in particular when this region is an area with substantially homogeneous light distribution , the detection of the state of the disc can be such that the pixel or image data of the at least one first reading cycle without illumination and the pixel or image data of the at least one subsequent reading cycle with illumination are compared.
  • the detection of the state of the disc in particular the rain detection, can be further improved. If there is no rain or other deposits on the disc, the image data with and the image data without illumination will have few to no differences. If, on the other hand, rain or other deposits are present, they are highlighted by the illuminations and thus in the image data read out during the illumination of the pane and by means of
  • Image processing can be recognized as structures in the image. By comparison with the image data without illumination, it can be ruled out in particular that the structures are objects or phenomena from the vehicle environment.
  • the camera system according to the invention is preferably arranged in the interior of a vehicle behind a pane and viewed through the pane.
  • the camera system may include at least one image sensor at least one
  • Lighting device include.
  • the image sensor is preferably a column or line-wise readable image sensor with one for electromagnetic Radiation-sensitive sensor surface, for example, a CMOS imager with rolling shutter.
  • the image sensor is preferably used for capturing image data by means of the camera system, for example from the vehicle environment.
  • electromagnetic radiation from the vehicle environment, for example, from a defined Whether ektentfernung be projected onto the sensor surface of the image sensor.
  • the illumination device of the camera system is used in particular for illuminating the pane, preferably the area of the pane through which the camera system looks.
  • the illumination device may be, for example, one or more light sources, for example one or more LEDs (Light Emitting Diodes).
  • the camera system comprises means or is connected to means which are designed to detect the state of the pane and to operate the camera system according to a method according to one of the embodiments described above.
  • the funds are in particular to
  • Image processing means for reading and evaluating the pixel data of the sensor surface of the image sensor or the image data, and / or means for controlling the illumination of the disc by means of the illumination device.
  • Figure 1 an example of an inventive
  • Camera system or a camera system in which s inventive method can be used is a camera system in which s inventive method can be used.
  • Figure 2a-c a schematic representation of a preferred embodiment
  • the camera system is shown simplified and comprises an imaging system 3, in this case an objective, and an image sensor 4, in this case a CMOS image chip with rolling shutter.
  • the image sensor 4 is arranged on a first printed circuit board 5.1.
  • the camera system is arranged in the interior of a vehicle behind the windshield 1.
  • the camera system is further aligned with viewing direction 2 through the windshield 1 in the direction of the front of the vehicle vehicle environment.
  • the camera system is a certain object distance focused, for example
  • the sensor surface 10 of the image sensor 4 is a sensor surface 10 that is sensitive to electromagnetic radiation 7 and 12 and that comprises a multiplicity of pixels or photodiodes arranged next to one another in the form of a matrix, which are readable in columns or rows.
  • the camera system can be designed in particular for the implementation of various driver-supporting functions, in particular of
  • Driver assistance functions such as a
  • the camera system for detecting the state of the disc 1 of the vehicle is formed behind which it is arranged, in this case the windshield 1.
  • the camera system can this one or more
  • Lighting devices 6 include, which are used to illuminate the disc 1 with electromagnetic radiation 12, in particular the area 11 through which the camera system looks through.
  • the illumination device 6 can according to FIG. 1, for example, in the view funnel of the camera system, e.g. in the region of a lens hood, be arranged on a second circuit board 5.2.
  • deposits such as rain 8, snow, ice, dirt or other moist deposits on the pane 1 can be made more visible.
  • the camera system according to the invention is associated with means or comprises means for synchronization of the illumination 12 of the windshield 1 by means of the illumination device 6 and the column or line by line reading Pixel data of the sensor surface 10 of the image sensor 4 such that the illumination 12 of the disc 1 takes place only during the reading of a selected area of the sensor surface 10 of the image sensor 4.
  • the camera system according to the invention may comprise further components, as illustrated in FIG. 1, for example one or more housing parts,
  • Lens hoods means for arrangement and attachment behind the windshield 1 and other electronic devices and optical Strahlformungs- and / or beam steering elements.
  • the camera system can continue with electrical facilities, in particular with
  • Driver assistance systems be connected in the vehicle.
  • FIGS. 2a to 2c show a schematic representation of the functional principle of the method according to the invention.
  • FIGS. 2a to 2c show the readout of pixel data of the sensor surface 10 of the image sensor 4 during a single readout cycle. In this case the reading is done line by line.
  • the sensor surface 10 of the image sensor 4 can be subdivided into a plurality of regions extending transversely across the sensor surface 10 in the case of readout by line.
  • the sensor surface is subdivided into five regions B i to B5.
  • the reading of an upper region B i of the sensor surface which may comprise one or more pixel rows, takes place.
  • the readout of a second region B 2 of the sensor surface 10 which may also include one or more pixel rows.
  • the readout of the further regions B3 to B5 is carried out analogously in the periods T3 to T. 5
  • the result of a read-out cycle ie the single line-by-line readout of the entire sensor surface 10 of the image sensor 4, is preferably a single acquired image.
  • an illumination 12 of the pane 1 is effected by means of a lighting device 6 and the line-wise reading of the pixel data of the sensor surface 10 of the image sensor 4 shown in FIGS.
  • FIG. 2 b shows that illumination of the pane takes place in the period T 2 , so that the readout of the area B 2 in the period T 2 is determined both by the electromagnetic radiation E 1 , ie by the electromagnetic radiation 7 the vehicle environment, as well as by the electromagnetic radiation E2, that is influenced by the emitted from the illumination device 6 on the disc 1 electromagnetic radiation 12.
  • the readout of the remaining areas B i and B 3 to B 5 is influenced exclusively by the electromagnetic radiation El or 7 from the vehicle environment, so that the illumination for the wheel condition detection does not negate the image detection with the areas Bi and B 3 to B 5 affected.
  • the illumination 12 can be carried out during each read cycle in the time period T 2 according to an embodiment variant of the method according to the invention and only at certain readout cycles. Furthermore, the illumination 12 can be made or varied every time during the same period of time, ie for reading the same area of the sensor surface 10 of the image sensor 4, ie in this case in the period T 2 during the reading of the area B 2 , ie, for example Periods T lf T 3f T 4 or T 5 done.
  • the illumination 12 of the disc 1 affects each time exclusively the reading of the pixel lines, which are actually read at the respective time.
  • the selected area and thus in particular the period to which the illumination 12 takes place, can be set according to the invention in particular also as a function of one or more preceding readout cycles, wherein preferably one area the sensor surface 10 of the image sensor 4 is selected for the disk state detection, which has a homogeneous light distribution and thus for the
  • Disk state detection is particularly suitable.
  • the synchronized illumination according to the invention and readout of the pixel data of the image sensor can then take place, in particular for the selected region with homogeneous light distribution. name list
  • Image sensor 4 1-T5 Periods of readout of areas B 1 -B5

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

The invention relates to a method for detecting a state of a vehicle window (1) with the help of a camera system as well as to a camera system designed to implement such a method.

Description

Kamerasystem zur Erkennung des Zustands einer Fahrzeugscheibe  Camera system for detecting the condition of a vehicle window
Die Erfindung betrifft ein Verfahren zur Erkennung eines Zustands einer Fahrzeugscheibe mittels eines Kamerasystems sowie ein Kamerasystem, das zur Umsetzung eines solchen Verfahrens ausgebildet ist. The invention relates to a method for detecting a condition of a vehicle window by means of a camera system and to a camera system which is designed to implement such a method.
Verfahren und Vorrichtung zur Erkennung des Zustands einer Scheibe eines Fahrzeugs, im folgenden auch als Scheibenzustandserkennung bezeichnet, ist aus dem Stand der Technik grundsätzlich bekannt. Zur Scheibenzustandserkennung zählt insbesondere die Erkennung von Regen, Schmutz, Eis, Schnee und/oder anderen feuchten Ablagerungen auf der jeweiligen Fahrzeugscheibe . Für die Erkennung werden verschiedene Sensoreinrichtungen eingesetzt, beispielsweise Regensensoren . Method and device for detecting the state of a disc of a vehicle, hereinafter also referred to as disc state detection, is basically known from the prior art. To disc state detection in particular includes the detection of rain, dirt, ice, snow and / or other moist deposits on the respective vehicle window. Various sensor devices are used for the detection, for example rain sensors.
Regensensoren werden heutzutage meist nach dem Prinzip einer ( Infrarot- ) Lichteinspeisung in die Scheibe, einer einfachen oder mehrfachen Totalreflexion des Lichts in der Scheibe und der Auswertung des Lichtsignals nach der Totalreflexion realisiert. Bei Anwesenheit von Regen oder anderen feuchten Ablagerungen auf der Scheibe, wird ein Teil des in die Scheibe eingespeisten Lichts an den Ablagerungen wieder aus der Scheibe ausgekoppelt. Durch die Auskopplung eines Teils des Lichts wird das an der Empfängerseite des Regensensors ankommende Lichtsignal in seiner Intensität verringert. An der Verringerung des Signals kann entsprechend Regen bzw. Feuchtigkeit detektiert werden. Darüber hinaus sind auch kapazitative oder ähnliche Realisierungsansätze für Regensensoren bekannt. Nowadays, rain sensors are usually realized according to the principle of (infrared) light input into the disk, single or multiple total reflection of the light in the disk and evaluation of the light signal after total reflection. In the presence of rain or other damp deposits on the disc, a portion of the light fed into the disc is decoupled from the disc at the deposits. By decoupling a portion of the light arriving at the receiver side of the rain sensor light signal is reduced in intensity. At the reduction of the signal can be detected according to rain or moisture. In addition, capacitive or similar implementation approaches for rain sensors are known.
Ein wesentlicher Nachteil des Einsatzes derartiger Regensensoren ist die Tatsache, dass es sich dabei um separate Einrichtungen handelt, die außer der Scheibenzustandserkennung keine weiteren Funktionen erfüllen und für die ein separater Einbauraum, insbesondere im Bereich der Windschutzscheibe, benötigt wird. Der Einbauraum im Bereich der Windschutzscheibe ist jedoch in der Regel bereits aufgrund anderer Sensoren, die in modernen Fahrzeugen eingesetzt werden, ohnehin schon begrenzt. Ein Wunsch vieler Fahrzeughersteller ist es daher, verschiedene bzw. mehrere Sensorfunktionen auf eine einzelne Sensoreinrichtung zu vereinen. A major disadvantage of using such rain sensors is the fact that they are separate Devices is that fulfill no other functions apart from the disc state detection and for a separate installation space, especially in the field of windshield is needed. However, the installation space in the area of the windshield is already already limited in any case due to other sensors that are used in modern vehicles. A desire of many vehicle manufacturers is therefore to combine different or multiple sensor functions on a single sensor device.
Seit einigen Jahren werden vermehrt Kameras in Fahrzeugen eingesetzt. Ein Großteil dieser Kameras schaut durch eine Fahrzeugscheibe, insbesondere die Windschutzscheibe, in das Fahrzeugumfeld, beispielsweise in das in Fahrtrichtung vorausliegende Umfeld des Fahrzeugs, und übernimmt über Bildverarbeitungseinrichtungen verschiedene fahrerunterstützende Funktionen, die auch allgemein als Assistenzfunktionen bzw. Fahrerassistenzfunktionen bezeichnet werden. Aus diesem Grund wird bereits versucht, eine Funktion zur Scheibenzustandserkennung in eine derartige Fahrzeugkamera zu integrieren. Bei der Integration in eine Fahrzeugkamera existieren jedoch verschiedene Probleme, weshalb solche Ansätze bislang nicht zur Marktreife gelangt sind und weshalb es bis heute nicht gelungen ist, beispielsweise eine Regensensorfunktion kostengünstig und mit der erforderlichen Leistungsfähigkeit in ein Kamerasystem zu integrieren. For several years, cameras have been increasingly used in vehicles. A majority of these cameras looks through a vehicle window, in particular the windshield, into the vehicle surroundings, for example into the surroundings of the vehicle ahead in the direction of travel, and assumes various driver-assisting functions via image processing facilities, which are also generally referred to as assistance functions or driver assistance functions. For this reason, an attempt is already being made to integrate a wheel condition detection function into such a vehicle camera. In the integration into a vehicle camera, however, there are various problems, which is why such approaches have not yet reached the market and why it has not been successful, for example, to integrate a rain sensor function cost and with the required performance in a camera system.
Probleme bei der Integration einer Scheibenzustandserkennung in ein Kamerasystem liegen zum Beispiel in einem Fokus des Kamerasystems, der in der Regel nicht auf die Scheibe sondern auf einen optischen Entfernungsbereich vor dem Fahrzeug gerichtet ist. Werden hingegen bifokale Systeme eingesetzt, z.B. mit einem Objektfokus sowohl auf einen Fernbereich als auch auf die Fahrzeugscheiben, dann sind hierfür zusätzliche optische Elemente erforderlich, die zu vergrößerten Abmessungen des Kamerasystems führen. Unabhängig davon, ob das Kamerasystem auf die Scheibe fokussiert ist oder nicht, ist ein zuverlässiger Ausschluss von Fehleinschätzungen, was den Zustand der Scheibe betrifft, mit den bekannten Lösungen nicht möglich, beispielweise bei schwierigen Umgebungsbedingungen, wie ungünstige Lichtbedingungen. Weitere Probleme bestehen in der Trennung des Bildes der Fahrzeugumgebung von dem Regensensorbild (Bild der Fahrzeugscheibe ) . Bei einigen bekannten Ansätzen wird auch bereits mit einer zusätzlichen Beleuchtung der Fahrzeugscheibe gearbeitet um die Scheibenzustandserkennung zu verbessern. Die zusätzliche Beleuchtung kann jedoch störende Einflüsse, z.B. Blendeffekte, auf das mittels des Kamerasystems erfasste Bild haben. Eine Beleuchtung innerhalb des Sichtrichters einer Fahrzeugkamera führt leicht zu störenden Lichteffekten bzw. Reflexen. Daher ist es bislang erforderlich, partielle Filter in das Kamerasystem zu integrieren, um das Bild der Fahrzeugumgebung von dem Regensensorbild zu trennen. Bei den bisherigen Ansätzen erweist es sich somit als Problem, die Beleuchtung der Scheibe so zu gestalten, dass durch die Beleuchtung einerseits Details auf der Scheibe, wie Regen oder andere feuchte Ablagerungen, besser erkennbar werden und andererseits die "normale" Kamerafunktion, d.h. insbesondere die Erfassung des Fahrzeugumfeldes für eine oder mehrereProblems in the integration of a disk state detection in a camera system are, for example, in a focus of the camera system, which is usually not directed to the disc but to an optical distance range in front of the vehicle. If, on the other hand, bifocal systems are used, eg with an object focus both on a long-range and on the vehicle windows, then there are additional ones optical elements required that lead to increased dimensions of the camera system. Regardless of whether the camera system is focused on the disc or not, a reliable exclusion of misjudgments, as far as the state of the disc is concerned, with the known solutions not possible, for example in difficult environmental conditions, such as unfavorable lighting conditions. Further problems exist in the separation of the image of the vehicle environment from the rain sensor image (image of the vehicle window). In some known approaches is also already working with an additional illumination of the vehicle window to improve the disc state detection. However, the additional lighting can have disturbing influences, such as glare effects, on the image captured by the camera system. A lighting within the Sichtrichters a vehicle camera easily leads to disturbing light effects or reflections. Therefore, it has hitherto been necessary to integrate partial filters into the camera system in order to separate the image of the vehicle surroundings from the rain sensor image. In the previous approaches, it turns out to be a problem to make the lighting of the disc so that on the one hand details on the disc, such as rain or other moist deposits, better recognizable and on the other hand, the "normal" camera function, ie in particular the Detecting the vehicle environment for one or more
Fahrerassistenzfunktionen, nicht negativ durch die Beleuchtung beeinflusst wird. Driver assistance functions, not negatively influenced by the lighting.
Der Erfindung liegt somit die Aufgabe zu Grunde eine Lösung anzugeben, wie mittels eines Kamerasystems eines Fahrzeugs eine Scheibenzustandserkennung realisiert werden kann, insbesondere eine Regenerkennung mittels einer Beleuchtung der Scheibe, ohne dass die normale Kamerafunktion bzw. ohne dass sonstige Funktionen der Kamera durch die Beleuchtung beeinträchtigt werden. The invention is therefore based on the object to provide a solution, as by means of a camera system of a vehicle disk state detection can be realized, in particular rain detection means of illumination of the disc, without the normal camera function or without other functions of the camera are affected by the lighting.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 sowie durch ein Kamerasystem mit den Merkmalen nach Anspruch 9 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sind Gegenstand von Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind. This object is achieved by a method having the features of claim 1 and by a camera system having the features of claim 9. Advantageous embodiments and further developments are the subject of dependent claims, wherein combinations and developments of individual features are conceivable with each other.
Ein wesentlicher Gedanke der Erfindung besteht darin, die Auslesung eines zeilen- bzw. spaltenweise auslesbaren Bildsensors einer Fahrzeugkamera derart mit einer Beleuchtung der Fahrzeugscheibe durch eine Beleuchtungseinrichtung zu synchronisieren, dass die Beleuchtung der Scheibe nur während der Auslesung eines ausgewählten Bereichs des Bildsensors bzw. dessen Sensorfläche erfolgt, d.h. ausgewählter Zeilen oder Spalten der Sensorfläche des Bildsensors, die für die Scheibenzustandserkennung genutzt werden sollen. Mit anderen Worten: Es wird eine zweiteilige Nutzung des Bildsensors realisiert, wobei die Beleuchtung derart gesteuert wird, dass die Beleuchtung nur dann erfolgt, wenn der Bildsensor aktuell in einem Bereich seiner Sensorfläche ausgelesen wird, für den die Beleuchtung erforderlich ist, d.h. wenn der für die Scheibenzustandserkennung genutzte Bereich der Sensorfläche des Bildsensors ausgelesen wird. An essential idea of the invention is to synchronize the reading of a line or column-wise readable image sensor of a vehicle camera with an illumination of the vehicle window by an illumination device that the illumination of the disc only during the reading of a selected area of the image sensor or its sensor surface takes place, ie Selected lines or columns of the sensor surface of the image sensor to be used for disk state detection. In other words, a two-part use of the image sensor is realized, wherein the illumination is controlled such that the illumination only takes place when the image sensor is currently being read in a region of its sensor surface for which the illumination is required, i. when the area of the sensor surface of the image sensor used for the disk state detection is read out.
Aus der erfindungsgemäßen Lösung, für die Integration einer Scheibenzustandserkennung in ein Kamerasystem eines Fahrzeugs, ergeben sich verschiedene Vorteile, insbesondere gegenüber den bislang eingesetzten Regensensoren sowie den bekannten Integrationsansätzen einer derartigen Funktion in eine Fahrzeugkamera . Die Beleuchtung erfolgt erfindungsgemäß nur für den ausgewählten Bereich der Sensorfläche des Bildsensors, der tatsächlich für die Scheibenzustandserkennung genutzt wird. Die Beleuchtung ist somit bevorzugt von der Auslesung des restlichen Teils des Bildsensors, d.h. der keine Beleuchtung benötigt, zeitlich entkoppelt. Damit werden die sonstigen Kamerafunktionen durch die Beleuchtung nicht gestört. Die Entkoppelung erfolgt insbesondere durch die vorgeschlagene Synchronisation der Beleuchtung mittels Beleuchtungseinrichtung mit der zeilen- bzw. spaltenweisen Auslesung des Bildsensors. Es sind weiterhin keine aufwändigen oder teuren partiellen und/oder optischen Filter nötig und der Bildsensor der Kamera kann weiterhin über seine gesamte Sensorfläche in der Wellenlänge, mit der die Beleuchtung realisiert ist, sensitiv sein. From the solution according to the invention, for the integration of a disk state detection in a camera system of a vehicle, there are various advantages, in particular over the previously used rain sensors and the known integration approaches such a function in a vehicle camera. The illumination is carried out according to the invention only for the selected area of the sensor surface of the image sensor, which is actually used for disk state detection. The illumination is thus preferably decoupled in time from the reading of the remaining part of the image sensor, that is, which does not require any illumination. Thus, the other camera functions are not disturbed by the lighting. The decoupling takes place in particular by the proposed synchronization of the illumination by means of lighting device with the line or column-wise reading of the image sensor. Furthermore, no complicated or expensive partial and / or optical filters are necessary, and the image sensor of the camera can continue to be sensitive over its entire sensor surface in the wavelength at which the illumination is realized.
Das erfindungsgemäße Verfahren dient zum Betrieb eines Kamerasystems und zur Erkennung eines Zustands einer Scheibe eines Fahrzeugs. Bei dem Kamerasystem handelt es sich bevorzugt um eine Fahrzeugkamera, die im Innenraum des Fahrzeugs hinter einer Scheibe angeordnet ist. Das Kamerasystem kann dabei mit Blickrichtung durch die Scheibe hindurch angeordnet sein, zum Beispiel zur Erfassung des Fahrzeugumfelds , beispielsweise für eine oder mehrere Fahrerassistenzfunktionen. Bei der Scheibe kann es sich um die Windschutzscheibe oder um eine andere Scheibe des Fahrzeugs handeln. Unter der Erkennung des Zustands der Scheibe (Scheibenzustandserkennung) ist insbesondere die Ermittlung von Regen, Schnee, Eis, Schmutz und/oder anderen feuchten Ablagerungen bzw. von Feuchtigkeit zu verstehen. The method according to the invention serves to operate a camera system and to detect a condition of a window of a vehicle. The camera system is preferably a vehicle camera, which is arranged in the interior of the vehicle behind a disc. The camera system can be arranged with viewing direction through the window, for example for detecting the vehicle surroundings, for example for one or more driver assistance functions. The disc may be the windshield or another disc of the vehicle. Under the detection of the state of the disc (disk state detection) is in particular the determination of rain, snow, ice, dirt and / or other moist deposits or moisture to understand.
Im Rahmen des erfindungsgemäßen Verfahrens erfolgt eine Beleuchtung der Scheibe mittels einer oder mehrerer Beleuchtungseinrichtungen und eine zeilen- oder spaltenweise Auslesung von Pixeldaten einer Sensorfläche eines Bildsensors des Kamerasystems derart, dass die Beleuchtung und die Auslesung synchronisiert sind. Die Beleuchtung und die Auslesung sind dabei vorzugsweise derart synchronisiert, dass die Beleuchtung der Scheibe nur während der Auslesung eines ausgewählten Bereichs der Sensorfläche des Bildsensors erfolgt. Die Beleuchtung der Scheibe erfolgt dabei insbesondere nur während der Auslesung des Bereichs der Sensorfläche des Bildsensors, der zur Erkennung des Zustands der Scheibe genutzt wird bzw. mittels Bildverarbeitung zur Scheibenzustandserkennung ausgewertet wird. Bei der einen oder den mehreren Beleuchtungseinrichtungen kann es sich um eine oder mehrere Lichtquellen, wie beispielsweise LEDs (Light Emitting Diodes) handeln, wobei diese insbesondere Bestandteil des Kamerasystems sein können. Die eine oder die mehreren Beleuchtungseinrichtungen sind dabei vorzugsweise derart ausgebildet, dass diese mindestens einen Bereich der Scheibe beleuchten können, durch den das Kamerasystem hindurch blickt. Bei dem Bildsensor des Kamerasystems handelt es sich insbesondere um einen zeilen- oder spaltenweise auslesbaren Bildchip, vorzugsweise um einen CMOS Bildsensor (CMOS Imager) mit Rolling Shutter. In the context of the method according to the invention, the pane is illuminated by means of one or more illumination devices and a line-wise or column-wise readout of pixel data of a sensor surface of an image sensor of the camera system such that the illumination and the readout are synchronized. The lighting and the Readings are preferably synchronized in such a way that the illumination of the pane takes place only during the readout of a selected area of the sensor area of the image sensor. The illumination of the pane takes place in particular only during the reading of the area of the sensor surface of the image sensor, which is used to detect the state of the disc or is evaluated by image processing for disc state detection. The one or more illumination devices may be one or more light sources, such as LEDs (Light Emitting Diodes), which may in particular be part of the camera system. The one or more lighting devices are preferably designed such that they can illuminate at least a portion of the pane through which the camera system looks through. The image sensor of the camera system is in particular a line or column-wise readable image chip, preferably a CMOS image sensor (CMOS imager) with rolling shutter.
Die Scheibenzustandserkennung, insbesondere eine The disk state detection, in particular a
Regenerkennung, erfolgt dabei vorzugsweise anhand einer Auswertung der Pixeldaten des ausgewählten Bereichs der Sensorfläche des Bildsensors, beispielsweise mittels geeigneter Bildverarbeitungseinrichtungen bzw.Regenerkennung, takes place preferably based on an evaluation of the pixel data of the selected area of the sensor surface of the image sensor, for example by means of suitable image processing equipment or
Bildverarbeitungsalgorithmen. Dabei können beispielsweise auch bereits aus dem Stand der Technik bekannte Muster- bzw. Strukturerkennungsverfahren zum Einsatz kommen. Der restliche Bereich der Sensorfläche des Bildsensors kann insbesondere für andere Kamerafunktionen verwendet werden, beispielsweise zur Objekterkennung im Fahrzeugumfeld oder andererImage processing algorithms. In this case, for example, patterns or structure recognition methods already known from the prior art can also be used. The remaining area of the sensor surface of the image sensor can be used in particular for other camera functions, for example for object recognition in the vehicle environment or other
Fahrerassistenzfunktionen . Driver assistance functions.
Gemäß einer besonderen Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt die Beleuchtung der Scheibe mittels der Beleuchtungseinrichtung nur während der Auslesung eines Bereichs der Sensorfläche des Bildsensors, der über ein Abbildungssystem des Kamerasystems auf die Scheibe fokussiert ist. Bei dem Abbildungssystem des Kamerasystems kann es sich hierbei um ein Objektiv handeln. Das Abbildungssystem kann beispielsweise bifokal ausgebildet sein, wodurch mittels des Abbildungssystems elektromagnetische Strahlung bevorzugt aus unterschiedlichen Ob ektentfernungen auf die Sensorfläche des Bildaufnahmeelements projiziert wird, vorzugsweise aus einem optischen Fernbereich und einem optischen Nahbereich. Die bifokale Ausgestaltung des Abbildungssystems kann dabei weiterhin derart ausgestaltet, dass zwei getrennte Bereiche auf der Sensorfläche des Bildsensors existieren, wobei auf einem ersten der zwei Bereiche ausschließlich elektromagnetische Strahlung aus dem optischen Fernbereich mittels des Abbildungssystems projiziert wird, und auf den zweiten Bereich ausschließlich elektromagnetische Strahlung aus dem optischen Nahbereich. Bei dem optischen Fernbereich kann es sich dabei beispielsweise um das Fahrzeugumfeld handeln, z.B. um Objektentfernungen größer/gleich 2m, 10m oder 50m. Bei dem optischen Nahbereich handelt es sich bevorzugt um die Scheibe bzw. um deren Außenfläche. Bei einer derartigen bifokalen Ausgestaltung des Kamerasystems erfolgt die Beleuchtung der Scheibe gemäß dem erfindungsgemäßen Verfahren vorzugsweise nur dann, wenn eine Auslesung des Bereichs der Sensorfläche des Bildsensors erfolgt, der über das Abbildungssystems auf den Nahbereich, insbesondere direkt auf die Scheibe bzw. deren Außenfläche, fokussiert ist. According to a particular embodiment of the method according to the invention, the illumination of the disc takes place by means of Lighting device only during the reading of a portion of the sensor surface of the image sensor, which is focused on the disc via an imaging system of the camera system. The imaging system of the camera system may be a lens. The imaging system may be formed bifocal, for example, whereby by means of the imaging system electromagnetic radiation is preferably projected from different ektktfernfern distances on the sensor surface of the image pickup element, preferably from a far-field optical and a near optical area. The bifocal configuration of the imaging system can further be configured in such a way that two separate regions exist on the sensor surface of the image sensor, with only electromagnetic radiation being projected from the optical far region by means of the imaging system on a first of the two regions, and exclusively electromagnetic radiation on the second region from the optical proximity. The long-distance optical area may be, for example, the vehicle surroundings, for example object distances greater than or equal to 2 m, 10 m or 50 m. The optical proximity region is preferably the disk or around its outer surface. In such a bifocal embodiment of the camera system, the illumination of the pane is preferably carried out according to the method according to the invention only if there is a readout of the area of the sensor surface of the image sensor, which focuses on the near zone, in particular directly on the pane or its outer surface via the imaging system is.
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt Beleuchtung der Scheibe mittels Beleuchtungseinrichtung während der Auslesung eines ausgewählten Bereichs der Sensorfläche des Bildsensors, der über ein Abbildungssystem des Kamerasystems auf eine O ektentfernung vor der Scheibe fokussiert ist, insbesondere auf einen Fernbereich bzw. auf eine Ob ektentfernung, die größer ist, als der Abstand zwischen Kamerasystem und Scheibe. Das Kamerasystem, bei dem das erfindungsgemäße Verfahren zum Einsatz kommt, kann dabei insbesondere mittels eines Abbildungssystems ausschließlich auf einen Fernbereich fokussiert sein, beispielsweise auf Objektentfernungen größer/gleich 2m, 10m oder 50m. In diesem Fall können Regen sowie andere feuchte Ablagerungen auf der Scheibe anhand unscharfer Strukturen in einem oder mehreren mittels des Kamerasystems erfassten Bildern ermittelt werden.According to a preferred embodiment of the method according to the invention, illumination of the pane takes place by means of illumination means during the readout of a selected area of the sensor area of the image sensor, which via an imaging system of the camera system onto a O ektentfernung is focused in front of the disc, in particular to a remote area or at a Ektentfernung that is greater than the distance between the camera system and disc. The camera system in which the method according to the invention is used can be focused exclusively on a remote area, in particular by means of an imaging system, for example on object distances greater than or equal to 2 m, 10 m or 50 m. In this case, rain as well as other wet deposits on the glass can be detected by means of fuzzy structures in one or more images captured by the camera system.
Erfindungsgemäß erfolgt die Erfassung unscharfer Strukturen, d.h. die Scheibenzustandserkennung, dabei ausschließlich anhand einer Auswertung von Pixeldaten des ausgewählten und während der Beleuchtung der Scheibe mittelsAccording to the invention, the detection of fuzzy structures, i. the disc state detection, thereby exclusively by means of an evaluation of pixel data of the selected and during the illumination of the disc means
Beleuchtungseinrichtung ausgelesenen Bereichs der Sensorfläche des Bildsensors, d.h. nur des Bereichs eines oder mehrerer erfasster Bilder für den die Beleuchtung aktiv ist. Illumination device read area of the sensor surface of the image sensor, i. only the area of one or more captured images for which the lighting is active.
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens wird der ausgewählte Bereich der Sensorfläche des Bildsensors, dessen Auslesung erfindungsgemäß mit der Beleuchtung der Scheibe synchronisiert ist, nach einem oder mehreren Auslesungszyklen des Bildsensors variiert. Unter einem einzelnen Auslesungszyklus ist bevorzugt eine einmalige vollständige spalten- oder zeilenweise Auslesung der gesamten Sensorfläche, d.h. der gesamten Pixeldaten, des Bildsensors zu verstehen. Das Ergebnis eines Auslesungszyklus ist somit insbesondere ein einzelnes mittels des Kamerasystems bzw. mittels des Bildsensors erfasstes Bild. In der Regel folgt auf einen Auslesungszyklus der nächste Auslesungszyklus. Unter dem Variieren des ausgewählten Bereichs der Sensorfläche ist insbesondere die Wahl eines neuen ausgewählten Bereichs nach einem oder mehreren Auslesungszyklen für die Scheibenzustandserkennung zu verstehen. Das bedeutet insbesondere, dass nach einem oder mehreren mittels es Kamerasystems erfassten Bildern, der Bereich, während dessen Auslesung eine Beleuchtung der Scheibe erfolgt, verändert wird. Durch die Variation des ausgewählten Bereichs gemäß dieser Ausgestaltung des erfindungsgemäßen Verfahrens kann auf vorteilhafte Weise die Genauigkeit und Zuverlässigkeit der Erkennung des Zustands der Scheibe erhöht werden, insbesondere weil dadurch ein größerer Bereich der Scheibe für die Scheibenzustandserkennung genutzt werden kann. According to an advantageous embodiment of the method according to the invention, the selected region of the sensor surface of the image sensor, whose readout is synchronized with the illumination of the disk according to the invention, is varied after one or more read-out cycles of the image sensor. A single read-out cycle is preferably to be understood as meaning a one-time complete column-by-row or readout of the entire sensor area, ie the entire pixel data, of the image sensor. The result of a read cycle is therefore in particular a single image recorded by means of the camera system or by means of the image sensor. As a rule, the next read cycle follows a read cycle. By varying the selected area of the sensor area, in particular, the selection of a new selected area after one or more read cycles for the To understand disk state detection. This means, in particular, that after one or more images captured by the camera system, the area during which the illumination of the pane takes place is changed. By varying the selected region according to this embodiment of the method according to the invention, the accuracy and reliability of the detection of the state of the disk can advantageously be increased, in particular because a larger area of the disk can be used for the disk state detection.
Gemäß einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt die synchronisierte Beleuchtung der Scheibe und Auslesung des Bildsensors bei jedem Auslesungszyklus oder nur bei bestimmtenAccording to a further advantageous embodiment of the method according to the invention, the synchronized illumination of the disk and readout of the image sensor takes place at each read cycle or only at certain
Auslesungszyklen. Die synchronisierte Beleuchtung und Auslesung kann beispielsweise bei jedem n-ten Auslesungszyklus erfolgen, mit n = Anzahl an aufeinanderfolgenden Auslesungszyklen. Auslesungszyklen. For example, the synchronized illumination and readout may occur every nth read cycle, with n = number of consecutive readout cycles.
Zur Erkennung des Zustands der Scheibe, insbesondere von Regen, ist es nicht unbedingt erforderlich, jedes mittels des Kamerasystems erfasste Bild auf das Vorhandensein von Regen oder anderen feuchten Ablagerungen auf der Scheibe auszuwerten. Hingegen kann es ausreichen, nur in bestimmten Zeitabständen eine Scheibenzustandserkennung durchzuführen. Bei der Ausgestaltung des erfindungsgemäßen Verfahrens, bei welcher die synchronisierte Beleuchtung der Scheibe und Auslesung des Bildsensors nur bei bestimmten Auslesungszyklen erfolgt, kann somit Rechenkapazität eingespart werden und es können sonstige Kamerafunktionen, die ohne Beleuchtung erfolgen, mit weniger Einschränkungen durchgeführt werden, da insbesondere in Auslesungszyklen, bei denen keine Beleuchtung erfolgt, die gesamte Sensorfläche bzw. das Gesamtbild für die sonstigen Kamerafunktionen genutzt werden kann. To detect the condition of the disk, especially rain, it is not absolutely necessary to evaluate any image captured by the camera system for the presence of rain or other wet deposits on the disk. On the other hand, it may be sufficient to perform a wheel condition detection only at certain intervals. In the embodiment of the method according to the invention, in which the synchronized illumination of the disk and reading of the image sensor takes place only during certain read cycles, computing capacity can thus be saved and other camera functions that take place without illumination can be carried out with fewer restrictions, especially in read cycles where no lighting takes place, the entire sensor surface or the overall picture for the other camera functions can be used.
Gemäß einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens wird während wenigstens eines ersten Auslesungszyklus der Pixeldaten des Bildsensors ohne Beleuchtung ein Bereich der Sensorfläche ermittelt und als ausgewählter Bereich festgelegt, der für die Erkennung Zustands der Scheibe geeignet ist. Während wenigstens eines nachfolgenden Auslesungszyklus, d.h. während wenigstens eines auf den wenigstens einen ersten Auslesungszyklus folgenden Auslesungszyklus, können die Beleuchtung der Scheibe und die Auslesung der Pixeldaten der Sensorfläche des Bildsensors gemäß dem erfindungsgemäßen Verfahren synchronisiert sein, insbesondere derart, dass die Beleuchtung der Scheibe nur während der Auslesung des ermittelten und festgelegten Bereichs erfolgt. Gemäß dieser bevorzugten Ausführung des erfindungsgemäßen Verfahrens kann während des wenigstens einen ersten Auslesungszyklus ein Bereich der Sensorfläche des Bildsensors ausgewählt werden, der sich besser für eine Scheibenzustandserkennung, insbesondere für eineAccording to a preferred embodiment of the method according to the invention, during at least one first read cycle of the pixel data of the image sensor without illumination, a region of the sensor surface is determined and defined as a selected region which is suitable for detecting the state of the wafer. During at least one subsequent read cycle, i. during at least one read-out cycle following the at least one first read-out cycle, the illumination of the slice and the reading of the pixel data of the sensor surface of the image sensor may be synchronized according to the inventive method, in particular such that the illumination of the slice only during the reading of the determined and fixed range he follows. According to this preferred embodiment of the method according to the invention, during the at least one first read-out cycle, a region of the sensor surface of the image sensor can be selected that is better for a disk state detection, in particular for a
Regendetektion, eignet, als andere Bereiche der Sensorfläche. Hierfür eignen sich insbesondere Bereiche des Bildsensors bzw. dessen Sensorfläche, die beispielsweise eintönig sind bzw. eine im Wesentlichen homogene Lichtverteilung aufweisen und damit für andere Kamerafunktionen, wie beispielsweise eine Ob ekterkennung und oder eine Fahrspurerkennung, nur wenige oder keine relevanten Informationen liefern. Bei dieser Ausgestaltung des erfindungsgemäßen Verfahrens kann die Störwirkung der Scheibenzustandserkennung bzw. die Einschränkung sonstiger Kamerafunktionen auf vorteilhafterweise weiter reduziert werden. Gemäß einer weiteren bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens, insbesondere dann, wenn ein Bereich der Sensorfläche für die Scheibenzustandserkennung in Abhängigkeit wenigstens eines ersten Auslesungszyklus ohne Beleuchtung ausgewählt wird, und insbesondere dann, wenn es sich bei diesem Bereich um einen Bereich mit im Wesentlichen homogene Lichtverteilung handelt, kann die Erkennung des Zustands der Scheibe derart erfolgen, dass die Pixel- bzw. Bilddaten des wenigstens einen ersten Auslesungszyklus ohne Beleuchtung und die Pixel- bzw. Bilddaten des wenigstens einen nachfolgenden Auslesungszyklus mit Beleuchtung verglichen werden. Durch den Vergleich der Daten, insbesondere des ausgewählten Bereichs der Sensorfläche des Bildsensors, kann die Erkennung des Zustands der Scheibe, insbesondere die Regenerkennung, weiter verbessert werden. Sind kein Regen oder andere Ablagerungen auf der Scheibe vorhanden, werden die Bilddaten mit und die Bilddaten ohne Beleuchtungen wenige bis keine Unterschiede aufweisen. Sind hingegen Regen oder andere Ablagerungen vorhanden, werden diese durch die Beleuchtungen und damit in den während der Beleuchtung der Scheibe ausgelesenen Bilddaten hervorgehoben und mittelsRain Detection, than other areas of the sensor surface. For this purpose, in particular areas of the image sensor or its sensor surface, for example, are monotonous or have a substantially homogeneous light distribution and thus for other camera functions, such as a ekterkennung and or a lane detection, provide little or no relevant information. In this embodiment of the method according to the invention, the interference effect of the wheel condition detection or the restriction of other camera functions can advantageously be further reduced. In accordance with a further preferred embodiment of the method according to the invention, in particular when a region of the sensor surface for disk state detection is selected as a function of at least one first readout cycle without illumination, and in particular when this region is an area with substantially homogeneous light distribution , the detection of the state of the disc can be such that the pixel or image data of the at least one first reading cycle without illumination and the pixel or image data of the at least one subsequent reading cycle with illumination are compared. By comparing the data, in particular the selected area of the sensor surface of the image sensor, the detection of the state of the disc, in particular the rain detection, can be further improved. If there is no rain or other deposits on the disc, the image data with and the image data without illumination will have few to no differences. If, on the other hand, rain or other deposits are present, they are highlighted by the illuminations and thus in the image data read out during the illumination of the pane and by means of
Bildverarbeitung als Strukturen im Bild erkennbar sein. Durch den Vergleich mit den Bilddaten ohne Beleuchtung kann insbesondere ausgeschlossen werden, dass es sich bei den Strukturen um Objekte bzw. Erscheinungen aus dem Fahrzeugumfeld handelt. Image processing can be recognized as structures in the image. By comparison with the image data without illumination, it can be ruled out in particular that the structures are objects or phenomena from the vehicle environment.
Das erfindungsgemäße Kamerasystem ist bevorzugt im Innenraum eines Fahrzeugs hinter einer Scheibe und mit Blickrichtung durch die Scheibe hindurch angeordnet. Das Kamerasystem kann wenigstens einen Bildsensor wenigstens eineThe camera system according to the invention is preferably arranged in the interior of a vehicle behind a pane and viewed through the pane. The camera system may include at least one image sensor at least one
Beleuchtungseinrichtung umfassen. Bei dem Bildsensor handelt es sich dabei vorzugsweise um einen spalten- oder zeilenweise auslesbaren Bildsensor mit einer für elektromagnetische Strahlung sensitiven Sensorfläche, beispielsweise um einen CMOS Imager mit Rolling Shutter. Der Bildsensor dient dabei vorzugsweise zur Erfassung von Bilddaten mittels des Kamerasystems, beispielsweise aus dem Fahrzeugumfeld . Hierzu kann mittels eines Abbildungssystems des Kamerasystems elektromagnetische Strahlung aus dem Fahrzeugumfeld, zum Beispiel aus einer definierten Ob ektentfernung, auf die Sensorfläche des Bildsensors projiziert werden. Die Beleuchtungseinrichtung des Kamerasystems dient insbesondere zur Beleuchtung der Scheibe, vorzugsweise des Bereichs der Scheibe, durch den das Kamerasystem blickt. Bei der Beleuchtungseinrichtung kann es sich beispielsweise um eine oder mehrere Lichtquellen handeln, z.B. um eine oder mehrere LEDs (Light Emitting Diodes). Erfindungsgemäß umfasst das Kamerasystem Mittel oder ist mit Mitteln verbunden, die ausgebildet sind, zur Erkennung des Zustands der Scheibe und zum Betrieb des Kamerasystems gemäß einem Verfahren nach einem der vorangehend beschriebenen Ausführungen. Bei den Mitteln handelt es sich dabei insbesondere umLighting device include. The image sensor is preferably a column or line-wise readable image sensor with one for electromagnetic Radiation-sensitive sensor surface, for example, a CMOS imager with rolling shutter. The image sensor is preferably used for capturing image data by means of the camera system, for example from the vehicle environment. For this purpose, by means of an imaging system of the camera system electromagnetic radiation from the vehicle environment, for example, from a defined Whether ektentfernung be projected onto the sensor surface of the image sensor. The illumination device of the camera system is used in particular for illuminating the pane, preferably the area of the pane through which the camera system looks. The illumination device may be, for example, one or more light sources, for example one or more LEDs (Light Emitting Diodes). According to the invention, the camera system comprises means or is connected to means which are designed to detect the state of the pane and to operate the camera system according to a method according to one of the embodiments described above. The funds are in particular to
Bildverarbeitungseinrichtungen, zur Auslesung und Auswertung der Pixeldaten der Sensorfläche des Bildsensors bzw. der Bilddaten, und/oder um Einrichtungen zur Steuerung der Beleuchtung der Scheibe mittels der Beleuchtungseinrichtung. Image processing means for reading and evaluating the pixel data of the sensor surface of the image sensor or the image data, and / or means for controlling the illumination of the disc by means of the illumination device.
Weitere Vorteile sowie optionale Ausgestaltungen gehen aus der Beschreibung und den Zeichnungen hervor. Ausführungsbeispiele sind in den Zeichnungen vereinfacht dargestellt und in der nachfolgenden Beschreibung näher erläutert. Further advantages and optional embodiments will become apparent from the description and the drawings. Embodiments are shown in simplified form in the drawings and explained in more detail in the following description.
Es zeigt It shows
Figur 1 : ein Beispiel für ein erfindungsgemäßes Figure 1: an example of an inventive
Kamerasystem bzw. ein Kamerasystem, bei dem s erfindungsgemäße Verfahren zum Einsatz kommen kann . Camera system or a camera system in which s inventive method can be used.
Figur 2a-c: eine schematische Darstellung eines bevorzugten  Figure 2a-c: a schematic representation of a preferred
Ablaufs des erfindungsgemäßen Verfahrens, insbesondere eines Auslesungszyklus der Sensorfläche eines Bildsensors mit erfindungsgemäß synchronisierter Beleuchtung und Auslesung .  Expiration of the method according to the invention, in particular a readout cycle of the sensor surface of an image sensor with illumination and readout synchronized according to the invention.
Fig. 1 zeigt ein Beispiel für ein erfindungsgemäßes Kamerasystem bzw. für ein Kamerasystem, bei dem das erfindungsgemäße Verfahren zum Einsatz kommen kann. Das Kamerasystem ist vereinfacht dargestellt und umfasst ein Abbildungssystem 3, in diesem Fall ein Objektiv, und einen Bildsensor 4, in diesem Fall ein CMOS Bildchip mit Rolling Shutter Der Bildsensor 4 ist auf einer ersten Leiterplatte 5.1 angeordnet. Das Kamerasystem ist im Innenraum eines Fahrzeugs hinter der Windschutzscheibe 1 angeordnet. Das Kamerasystem ist weiterhin mit Blickrichtung 2 durch die Windschutzscheibe 1 hindurch in Richtung des vor dem Fahrzeug liegenden Fahrzeugumfelds ausgerichtet. Über das Abbildungssystem 3, mit dessen optische Achse 9, ist das Kamerasystem eine bestimmte Objektentfernung fokussiert, beispielsweise auf1 shows an example of a camera system according to the invention or for a camera system in which the method according to the invention can be used. The camera system is shown simplified and comprises an imaging system 3, in this case an objective, and an image sensor 4, in this case a CMOS image chip with rolling shutter. The image sensor 4 is arranged on a first printed circuit board 5.1. The camera system is arranged in the interior of a vehicle behind the windshield 1. The camera system is further aligned with viewing direction 2 through the windshield 1 in the direction of the front of the vehicle vehicle environment. About the imaging system 3, with its optical axis 9, the camera system is a certain object distance focused, for example
Objektentfernungen größer oder gleich 2 m, d.h. auf einen optischen Fernbereich. Über das Abbildungssystem 3 wird elektromagnetische Strahlung 7, die aus dem Fahrzeugumfeld durch die Fahrzeugscheibe 1 hindurch tritt, auf die Sensorfläche 10 des Bildsensors 4 projiziert. Bei der Sensorfläche 10 des Bildsensors 4 handelt es sich um eine für elektromagnetische Strahlung 7 und 12 sensitive Sensorfläche 10, die eine Vielzahl an matrixförmig nebeneinander angeordneten Pixeln bzw. Fotodioden umfasst, die die spalten- oder zeilenweise auslesbar sind. Das Kamerasystem kann insbesondere zur Umsetzung verschiedener fahrerunterstützender Funktionen ausgebildet sein, insbesondere vonObject distances greater than or equal to 2 m, ie to a long-distance optical range. Via the imaging system 3, electromagnetic radiation 7, which passes through the vehicle window 1 from the vehicle environment, is projected onto the sensor surface 10 of the image sensor 4. The sensor surface 10 of the image sensor 4 is a sensor surface 10 that is sensitive to electromagnetic radiation 7 and 12 and that comprises a multiplicity of pixels or photodiodes arranged next to one another in the form of a matrix, which are readable in columns or rows. The camera system can be designed in particular for the implementation of various driver-supporting functions, in particular of
Fahrerassistenzfunktionen, wie beispielsweise eineDriver assistance functions, such as a
Ob ekterkennung, Verkehrszeichenerkennung, Fahrspurerkennung usw. Erfindungsgemäß ist das Kamerasystem zur Erkennung des Zustands der Scheibe 1 des Fahrzeugs ausgebildet hinter dem es angeordnet ist, in diesem Fall der Windschutzscheibe 1. Das Kamerasystem kann hierzu eine oder mehrereWhether ekterkennung, traffic sign recognition, lane detection, etc. According to the camera system for detecting the state of the disc 1 of the vehicle is formed behind which it is arranged, in this case the windshield 1. The camera system can this one or more
Beleuchtungseinrichtungen 6 umfassen, die zur Beleuchtung der Scheibe 1 mit elektromagnetischer Strahlung 12 dienen, insbesondere des Bereich 11 durch den das Kamerasystem hindurch blickt. Die Beleuchtungseinrichtung 6 kann gemäß Fig. 1 beispielsweise im Sichttrichter des Kamerasystems, z.B. im Bereich einer Streulichtblende, auf einer zweiten Leiterplatte 5.2 angeordnet sein. Mittels der Beleuchtung 12 können Ablagerungen wie Regen 8, Schnee, Eis, Schmutz oder anderen feuchten Ablagerungen auf der Scheibe 1 besser erkennbar gemacht werden. Um die anderen bzw. die normalen Kamerafunktionen dabei durch die Beleuchtung 12 der Scheibe 1 nicht zu beeinträchtigen, ist das Kamerasystem erfindungsgemäß mit Mitteln verbunden oder umfasst Mittel zur Synchronisation der Beleuchtung 12 der Windschutzscheibe 1 mittels der Beleuchtungseinrichtung 6 und der spalten- oder zeilenweise Auslesung der Pixeldaten der Sensorfläche 10 des Bildsensors 4 derart, dass die Beleuchtung 12 der Scheibe 1 nur während der Auslesung eines ausgewählten Bereichs der Sensorfläche 10 des Bildsensors 4 erfolgt. Das erfindungsgemäße Kamerasystem kann weitere Komponenten, als in Fig. 1 dargestellt, umfassen, beispielsweise eines oder mehrere Gehäuseteile,Lighting devices 6 include, which are used to illuminate the disc 1 with electromagnetic radiation 12, in particular the area 11 through which the camera system looks through. The illumination device 6 can according to FIG. 1, for example, in the view funnel of the camera system, e.g. in the region of a lens hood, be arranged on a second circuit board 5.2. By means of the illumination 12, deposits such as rain 8, snow, ice, dirt or other moist deposits on the pane 1 can be made more visible. In order not to interfere with the other or the normal camera functions by the illumination 12 of the disc 1, the camera system according to the invention is associated with means or comprises means for synchronization of the illumination 12 of the windshield 1 by means of the illumination device 6 and the column or line by line reading Pixel data of the sensor surface 10 of the image sensor 4 such that the illumination 12 of the disc 1 takes place only during the reading of a selected area of the sensor surface 10 of the image sensor 4. The camera system according to the invention may comprise further components, as illustrated in FIG. 1, for example one or more housing parts,
Streulichtblenden, Mittel zur Anordnung und Befestigung hinter der Windschutzscheibe 1 sowie weitere elektronische Einrichtungen und optische Strahlformungs- und/oder Strahllenkungselemente. Das Kamerasystem kann weiterhin mit elektrischen Einrichtungen, insbesondere mitLens hoods, means for arrangement and attachment behind the windshield 1 and other electronic devices and optical Strahlformungs- and / or beam steering elements. The camera system can continue with electrical facilities, in particular with
Fahrerassistenzsystemen, im Fahrzeug verbunden sein. Driver assistance systems, be connected in the vehicle.
Die Fig. 2a bis 2c zeigen in schematischer Darstellung das Funktionsprinzip des erfindungsgemäßen Verfahrens. In den Figuren 2a bis 2c ist dabei die Auslesung von Pixeldaten der Sensorfläche 10 des Bildsensors 4 während eines einzelnen Auslesungszyklus gezeigt. Die Auslesung erfolgt in diesem Fall zeilenweise. Die Sensorfläche 10 des Bildsensors 4 kann bei zeilenweiser Auslesung in mehrere sich quer über die Sensorfläche 10 erstreckende Bereiche unterteilt sein. Im Beispiel aus den Fig. 2a bis 2c ist die Sensorfläche in fünf Bereiche B i bis B5 unterteilt. Im Zeitraum ΊΊ erfolgt die Auslesung eines oberen Bereichs B i der Sensorfläche, welcher eine oder mehrere Pixelzeilen umfassen kann. Im Zeitraum T2 erfolgt die Auslesung eines zweiten Bereichs B2 der Sensorfläche 10, der ebenfalls eine oder mehrere Pixelzeilen umfassen kann. Die Auslesung der weiteren Bereiche B3 bis B5 erfolgt analog in den Zeiträumen T3 bis T5. Ergebnis eines Auslesungszyklus, d.h. die einmalige zeilenweise Auslesung der gesamten Sensorfläche 10 des Bildsensors 4, ist bevorzugt ein einzelnes erfasstes Bild. Gemäß dem erfindungsgemäßen Verfahren erfolgt eine Beleuchtung 12 der Scheibe 1 mittels einer Beleuchtungseinrichtung 6 und die in den Fig. 2a bis 2c dargestellte zeilenweise Auslesung der Pixeldaten der Sensorfläche 10 des Bildsensors 4 derart, dass die Beleuchtung 12 und die Auslesung derart synchronisiert sind, dass die Beleuchtung 12 der Scheibe 1 nur während der Auslesung eines ausgewählten Bereichs der Sensorfläche 10 des Bildsensors 4 erfolgt. Dieses Vorgehen ist in den Figuren 2a bis 2c veranschaulicht. Fig. 2b zeigt, dass im Zeitraum T2 eine Beleuchtung 6 der Scheibe erfolgt, so dass die Auslesung des Bereichs B2 im Zeitraum T2 sowohl von der elektromagnetischen Strahlung El, d.h. von der elektromagnetischen Strahlung 7 aus dem Fahrzeugumfeld, als auch von der elektromagnetischen Strahlung E2, d.h. von der von der Beleuchtungseinrichtung 6 auf die Scheibe 1 abgegebene elektromagnetische Strahlung 12, beeinflusst wird. Die Auslesung der restlichen Bereiche B i und B3 bis B5 ist hingegen ausschließlich von der elektromagnetischen Strahlung El bzw. 7 aus dem Fahrzeugumfeld beeinflusst, so dass die Beleuchtung für die Scheibenzustandserkennung die Bilderfassung mit den Bereichen Bi und B3 bis B5 nicht negativ beeinflusst. Die Beleuchtung 12 kann gemäß einer Ausführungsvariante des erfindungsgemäßen Verfahrens während jedes Auslesungszyklus im Zeitraum T2 erfolgen und nur zu bei bestimmten Auslesungszyklen. Weiterhin kann die Beleuchtung 12 jedes Mal im selben Zeitraum, d.h. zur Auslesung desselben Bereichs der Sensorfläche 10 des Bildsensors 4, d.h. in diesem Fall im Zeitraum T2 während der Auslesung des Bereichs B2, erfolgen oder aber variiert werden, d.h. beispielsweise auch zu den Zeiträumen Tlf T3f T4 oder T5 erfolgen. Die Beleuchtung 12 der Scheibe 1 beeinflusst dabei jedes Mal ausschließlich die Auslesung der Pixelzeilen, die zu dem jeweiligen Zeitpunkt auch tatsächlich ausgelesen werden. Die Auslesung der restlichen Pixeldaten der Sensorfläche 10 des Bildsensors 4 erfolgt ohne Beleuchtung 12. Der ausgewählte Bereich, und damit insbesondere der Zeitraum zu dem die Beleuchtung 12 erfolgt, kann erfindungsgemäß insbesondere auch in Abhängigkeit eines oder mehrerer vorangegangener Auslesungszyklen festgelegt werden, wobei bevorzugt ein Bereich der Sensorfläche 10 des Bildsensors 4 für die Scheibenzustandserkennung ausgewählt wird, der eine homogene Lichtverteilung aufweist und damit für dieFIGS. 2a to 2c show a schematic representation of the functional principle of the method according to the invention. FIGS. 2a to 2c show the readout of pixel data of the sensor surface 10 of the image sensor 4 during a single readout cycle. In this case the reading is done line by line. The sensor surface 10 of the image sensor 4 can be subdivided into a plurality of regions extending transversely across the sensor surface 10 in the case of readout by line. In the example of FIGS. 2a to 2c, the sensor surface is subdivided into five regions B i to B5. In the period ΊΊ, the reading of an upper region B i of the sensor surface, which may comprise one or more pixel rows, takes place. In the period T 2 , the readout of a second region B 2 of the sensor surface 10, which may also include one or more pixel rows. The readout of the further regions B3 to B5 is carried out analogously in the periods T3 to T. 5 The result of a read-out cycle, ie the single line-by-line readout of the entire sensor surface 10 of the image sensor 4, is preferably a single acquired image. According to the method according to the invention, an illumination 12 of the pane 1 is effected by means of a lighting device 6 and the line-wise reading of the pixel data of the sensor surface 10 of the image sensor 4 shown in FIGS. 2a to 2c such that the illumination 12 and the readout are synchronized in such a way that the Illumination 12 of the disc 1 takes place only during the reading of a selected area of the sensor surface 10 of the image sensor 4. This procedure is illustrated in FIGS. 2a to 2c. FIG. 2 b shows that illumination of the pane takes place in the period T 2 , so that the readout of the area B 2 in the period T 2 is determined both by the electromagnetic radiation E 1 , ie by the electromagnetic radiation 7 the vehicle environment, as well as by the electromagnetic radiation E2, that is influenced by the emitted from the illumination device 6 on the disc 1 electromagnetic radiation 12. The readout of the remaining areas B i and B 3 to B 5 , on the other hand, is influenced exclusively by the electromagnetic radiation El or 7 from the vehicle environment, so that the illumination for the wheel condition detection does not negate the image detection with the areas Bi and B 3 to B 5 affected. The illumination 12 can be carried out during each read cycle in the time period T 2 according to an embodiment variant of the method according to the invention and only at certain readout cycles. Furthermore, the illumination 12 can be made or varied every time during the same period of time, ie for reading the same area of the sensor surface 10 of the image sensor 4, ie in this case in the period T 2 during the reading of the area B 2 , ie, for example Periods T lf T 3f T 4 or T 5 done. The illumination 12 of the disc 1 affects each time exclusively the reading of the pixel lines, which are actually read at the respective time. The selected area, and thus in particular the period to which the illumination 12 takes place, can be set according to the invention in particular also as a function of one or more preceding readout cycles, wherein preferably one area the sensor surface 10 of the image sensor 4 is selected for the disk state detection, which has a homogeneous light distribution and thus for the
Scheibenzustandserkennung besonders geeignet ist. In einem oder mehreren nachfolgenden Auslesungszyklen kann dann die erfindungsgemäße synchronisierte Beleuchtung und Auslesung der Pixeldaten des Bildsensors erfolgen, insbesondere für den ausgewählten Bereich mit homogener Lichtverteilung. Bezeichnungsliste Disk state detection is particularly suitable. In one or more subsequent read cycles, the synchronized illumination according to the invention and readout of the pixel data of the image sensor can then take place, in particular for the selected region with homogeneous light distribution. name list
1 Scheibe 1 slice
2 Blickrichtung 2 viewing direction
3 Abbildungssystem 3 imaging system
4 Bildsensor 4 image sensor
5.1 erste Leiterplatte 5.1 first circuit board
5.2 zweite Leiterplatte 5.2 second circuit board
6 Beleuchtungseinrichtung 6 lighting device
7 elektromagnetische Strahlung aus dem 7 electromagnetic radiation from the
Fahrzeugumfeld  vehicle environment
8 Regen 8 rain
9 optische Achse 9 optical axis
10 Sensorfläche 10 sensor surface
11 Bereich der Fahrzeugscheibe 1, durch den das Kamerasystem blickt 11 area of the vehicle window 1 through which the camera system looks
12 elektromagnetische Strahlung von der 12 electromagnetic radiation from the
Beleuchtungseinrichtung 6  Lighting device 6
B1-B5 Bereiche der Sensorfläche 10 des B 1 -B5 areas of the sensor surface 10 of the
Bildsensors 4 1-T5 Zeiträume der Auslesung der Bereiche B1-B5 Image sensor 4 1-T5 Periods of readout of areas B 1 -B5
El elektromagnetische Strahlung aus dem El electromagnetic radiation from the
Fahrzeugumfeld  vehicle environment
E2 elektromagnetische Strahlung von der E2 electromagnetic radiation from the
Beleuchtungseinrichtung 6  Lighting device 6

Claims

Patentansprüche claims
1. Verfahren zum Betrieb eines Kamerasystems, das im 1. A method of operating a camera system that is in
Innenraum eines Fahrzeugs hinter einer Scheibe (1) und mit Blickrichtung (2) durch die Scheibe (1) hindurch angeordnet ist, wobei das Verfahren zur Erkennung eines Zustands der Scheibe (1) mittels des Kamerasystems dient, dadurch gekennzeichnet, dass  Interior of a vehicle behind a disc (1) and with viewing direction (2) through the disc (1) through, the method is used to detect a state of the disc (1) by means of the camera system, characterized in that
eine Beleuchtung (12) der Scheibe (1) mittels einer  a lighting (12) of the disc (1) by means of a
Beleuchtungseinrichtung (6) und  Lighting device (6) and
eine zeilen- oder spaltenweise Auslesung von Pixeldaten einer Sensorfläche (10) eines Bildsensors (4) des  a line or column-wise reading of pixel data of a sensor surface (10) of an image sensor (4) of
Kamerasystems derart synchronisiert sind, dass  Camera system are synchronized such that
die Beleuchtung (12) der Scheibe (1) nur während der Auslesung eines ausgewählten Bereichs (Bi bis B5) der Sensorfläche (10) des Bildsensors (4) erfolgt. the illumination (12) of the pane (1) takes place only during the reading of a selected area (Bi to B 5 ) of the sensor surface (10) of the image sensor (4).
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Beleuchtung (12) nur während der Auslesung eines Bereichs (Bi bis B5) der Sensorfläche (10) erfolgt, der über ein Abbildungssystem (3) des Kamerasystems auf die Scheibe (1) fokussiert ist. 2. The method according to claim 1, characterized in that the illumination (12) takes place only during the reading of a region (Bi to B 5 ) of the sensor surface (10), which via an imaging system (3) of the camera system on the disc (1). is focused.
3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Beleuchtung (12) während der Auslesung eines 3. The method according to claim 1, characterized in that the illumination (12) during the reading of a
ausgewählten Bereichs (Bi bis B5) der Sensorfläche (10) erfolgt, der über ein Abbildungssystem (3) des selected area (Bi to B 5 ) of the sensor surface (10), which via an imaging system (3) of the
Kamerasystems auf eine Ob ektentfernung vor der Scheibe (1) fokussiert ist.  Camera system is focused on a ektektfernung before the disc (1).
4. Verfahren nach einem der vorangegangenen Ansprüche, 4. Method according to one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
nach einem oder mehreren Auslesungszyklen der ausgewählte Bereich (Bi bis B5) der Sensorfläche (10) variiert wird. after one or more read cycles, the selected area (Bi to B 5 ) of the sensor area (10) is varied.
5. Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass 5. The method according to any one of the preceding claims, characterized in that
die synchronisierte Beleuchtung (12) und Auslesung bei jedem Auslesungszyklus oder nur in bestimmten  the synchronized illumination (12) and reading at each read cycle or only in certain ones
Auslesungszyklen erfolgt.  Read cycles takes place.
6. Verfahren nach einem der vorangegangenen Ansprüche, 6. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
während wenigstens eines ersten Auslesungszyklus der Pixeldaten des Bildsensor (4) ohne Beleuchtung (12) ein Bereich ( B i bis B5) der Sensorfläche (10) ermittelt und als ausgewählter Bereich ( B i bis B5) festgelegt wird, der für die Erkennung des Zustands der Scheibe (1) geeignet ist, und during at least a first reading cycle of the pixel data of the image sensor (4) without illumination (12), a region (B i to B 5 ) of the sensor surface (10) is determined and set as a selected region (B i to B 5 ), which is for the detection the state of the disc (1) is suitable, and
während wenigstens eines nachfolgenden Auslesungszyklus der Pixeldaten des Bildsensors (4) die Beleuchtung (12) der Scheibe (1) und die Auslesung der Pixeldaten derart synchronisiert sind, dass die Beleuchtung (12) der  during at least one subsequent reading cycle of the pixel data of the image sensor (4) the illumination (12) of the disc (1) and the reading of the pixel data are synchronized such that the illumination (12) of the
Scheibe (1) nur während der Auslesung des ausgewählten Bereichs ( B i bis B5) erfolgt. Disc (1) only during the reading of the selected area (B i to B 5 ) takes place.
7. Verfahren nach Anspruch 6, 7. The method according to claim 6,
dadurch gekennzeichnet, dass  characterized in that
die Ermittlung des ausgewählten Bereichs ( B i bis B5) , der für die Erkennung des Zustands der Scheibe (1) geeignet ist , the determination of the selected area (B i to B 5 ) which is suitable for the detection of the state of the pane (1),
anhand einer Auswertung der Pixeldaten des Bildsensors (4) ohne Beleuchtung (12) der Scheibe (1) erfolgt, wobei ein Bereich ( B i bis B5) als ausgewählter Bereich ( B i bis B5) festgelegt wird, der eine im Wesentlichen homogene Lichtverteilung aufweist. based on an evaluation of the pixel data of the image sensor (4) without illumination (12) of the disc (1), wherein a range (B i to B 5 ) is defined as a selected range (B i to B 5 ), which is a substantially homogeneous Has light distribution.
8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass 8. The method according to any one of claims 6 or 7, characterized in that
zur Erkennung des Zustand der Scheibe (1), die Pixeldaten des wenigstens einen ersten Auslesungszyklus und die Pixeldaten des wenigstens einen nachfolgenden  for detecting the state of the disc (1), the pixel data of the at least one first read cycle and the pixel data of the at least one subsequent one
Auslesungszyklus verglichen werden.  Reading cycle are compared.
9. Kamerasystem, das im Innenraum eines Fahrzeugs hinter einer Scheibe (1) und mit Blickrichtung (2) durch die Scheibe (1) hindurch angeordnet ist, umfassend 9. Camera system, which is arranged in the interior of a vehicle behind a disc (1) and with a viewing direction (2) through the disc (1), comprising
- wenigstens einen Bildsensor (4), der eine Sensorfläche (10) umfasst, deren Pixeldaten zeilen- oder spaltenweise auslesbar sind,  at least one image sensor (4) comprising a sensor surface (10) whose pixel data can be read out line by line or column by column,
- wenigstens eine Beleuchtungseinrichtung (6) zur  - At least one illumination device (6) for
Beleuchtung (12) der Scheibe (1),  Illumination (12) of the disc (1),
dadurch gekennzeichnet, dass  characterized in that
das Kamerasystem Mittel umfasst oder mit Mitteln  the camera system comprises means or means
verbunden ist, die zur Erkennung eines Zustands der  connected to the detection of a condition of
Scheibe (1) und zum Betrieb des Kamerasystems gemäß einem Verfahren nach einem der vorangegangenen Ansprüche ausgebildet sind.  Disc (1) and for operating the camera system are formed according to a method according to any one of the preceding claims.
10. Fahrzeug in dem ein Kamerasystem nach Anspruch 9 10. Vehicle in which a camera system according to claim 9
angeordnet ist.  is arranged.
PCT/DE2013/200027 2012-07-05 2013-07-04 Camera system for detecting the state of a vehicle window WO2014005585A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112013000225.6T DE112013000225A5 (en) 2012-07-05 2013-07-04 Camera system for detecting the condition of a vehicle window

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012106030.4A DE102012106030A1 (en) 2012-07-05 2012-07-05 Camera system for detecting the condition of a vehicle window
DE102012106030.4 2012-07-05

Publications (1)

Publication Number Publication Date
WO2014005585A1 true WO2014005585A1 (en) 2014-01-09

Family

ID=48856478

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2013/200027 WO2014005585A1 (en) 2012-07-05 2013-07-04 Camera system for detecting the state of a vehicle window

Country Status (2)

Country Link
DE (2) DE102012106030A1 (en)
WO (1) WO2014005585A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086662A1 (en) * 2016-11-08 2018-05-17 Conti Temic Microelectronic Gmbh Detecting rain drops on a window pane by means of a camera and illumination
WO2019233917A1 (en) 2018-06-07 2019-12-12 Robert Bosch Gmbh Device designed to detect soiling of at least one transmitting window and/or one receiving window of a sensor
WO2019233919A1 (en) 2018-06-07 2019-12-12 Robert Bosch Gmbh Apparatus for recognizing soiling of a transmitting window and/or a receiving window of a lidar device and corresponding method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9245333B1 (en) 2014-12-10 2016-01-26 Semiconductor Components Industries, Llc Systems and methods for detecting obstructions within the field-of-view of an image sensor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1580092A2 (en) * 2004-03-26 2005-09-28 Robert Bosch Gmbh Camera in a vehicle
WO2006015905A1 (en) * 2004-08-04 2006-02-16 Siemens Aktiengesellschaft Optical module for an assistance system detecting an exterior space ahead in the direction of travel of a motor vehicle
DE102006016774A1 (en) * 2005-04-11 2006-10-12 Denso Corp., Kariya rain sensor
EP2189340A2 (en) * 2008-11-24 2010-05-26 Robert Bosch GmbH Multiple function camera module

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603137B2 (en) * 2001-04-16 2003-08-05 Valeo Electrical Systems, Inc. Differential imaging rain sensor
EP1506108B1 (en) * 2002-05-18 2005-11-23 ELMOS Semiconductor AG Rain sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1580092A2 (en) * 2004-03-26 2005-09-28 Robert Bosch Gmbh Camera in a vehicle
WO2006015905A1 (en) * 2004-08-04 2006-02-16 Siemens Aktiengesellschaft Optical module for an assistance system detecting an exterior space ahead in the direction of travel of a motor vehicle
DE102006016774A1 (en) * 2005-04-11 2006-10-12 Denso Corp., Kariya rain sensor
EP2189340A2 (en) * 2008-11-24 2010-05-26 Robert Bosch GmbH Multiple function camera module

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KURIHARA H ET AL: "Rainy weather recognition from in-vehicle camera images for driver assistance", INTELLIGENT VEHICLES SYMPOSIUM, 2005. PROCEEDINGS. IEEE LAS VEGAS, NV, USA JUNE 6-8, 2005, PISCATAWAY, NJ, USA,IEEE, PISCATAWAY, NJ, USA, 6 June 2005 (2005-06-06), pages 205 - 210, XP010833968, ISBN: 978-0-7803-8961-8, DOI: 10.1109/IVS.2005.1505103 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018086662A1 (en) * 2016-11-08 2018-05-17 Conti Temic Microelectronic Gmbh Detecting rain drops on a window pane by means of a camera and illumination
WO2019233917A1 (en) 2018-06-07 2019-12-12 Robert Bosch Gmbh Device designed to detect soiling of at least one transmitting window and/or one receiving window of a sensor
WO2019233919A1 (en) 2018-06-07 2019-12-12 Robert Bosch Gmbh Apparatus for recognizing soiling of a transmitting window and/or a receiving window of a lidar device and corresponding method
DE102018209020A1 (en) 2018-06-07 2019-12-12 Robert Bosch Gmbh Device, designed to detect contamination of at least one transmission window and / or a receiving window of a sensor
DE102018209015A1 (en) 2018-06-07 2019-12-12 Robert Bosch Gmbh Device and method for detecting contamination of at least one transmission window and / or a receiving window of a sensor
US11368673B2 (en) 2018-06-07 2022-06-21 Robert Bosch Gmbh Device designed for detecting a soiling of at least one transmitting window and/or one receiving window of a sensor

Also Published As

Publication number Publication date
DE112013000225A5 (en) 2014-07-17
DE102012106030A1 (en) 2014-05-22

Similar Documents

Publication Publication Date Title
EP2715446B1 (en) Camera system for a vehicle
EP1506108B1 (en) Rain sensor
EP2646802A1 (en) Detection of raindrops on a pane by means of a camera and lighting
DE112010003752T5 (en) DYNAMIC REAL-TIME REFERENCE GENERATION FOR A DISTANCE IMAGING SYSTEM
DE19945588A1 (en) Sensor arrangement
DE102016223171A1 (en) Method and system for detecting a raised object located within a parking lot
DE102009012758A1 (en) Device and method for detecting at least one object
WO2014005585A1 (en) Camera system for detecting the state of a vehicle window
DE102016223185A1 (en) Method and system for detecting a raised object located within a parking lot
DE102006055905A1 (en) Surrounding field detection method for motor vehicle, involves processing luminance measured values using predetermined type of pixel sensors, based on surrounding light and/or detected traffic situation
DE102012015282B4 (en) Method for detecting a covered state of an image capturing device of a motor vehicle, camera system and motor vehicle
DE102016223106A1 (en) Method and system for detecting a raised object located within a parking lot
DE102011055928A1 (en) Optical device e.g. stereo camera, for driver assistance system for detecting e.g. transport area lying ahead of vehicle, has concave mirror and deflecting prism arranged in optical path of near range radiation from near region
DE102013007961B4 (en) Optical measuring system for a vehicle
DE10248416B4 (en) Device and method for determining a relative movement of a vehicle
DE102017205720A1 (en) Integrated calibration body
DE102014207994A1 (en) Device for detecting precipitation for a motor vehicle
EP2758288A1 (en) Image capturing device for a vehicle
WO2013091619A1 (en) Method and device for determining moisture on a vehicle windscreen
WO2019063255A1 (en) Method for recognizing a leaf edge, method for the targeted treatment of plants by means of a leaf treatment agent, and use of an event-based image sensor for the recognition of a leaf edge
DE102016223180A1 (en) Method and system for detecting a raised object located within a parking lot
DE102012104131A1 (en) Method for automatically adjusting e.g. frame frequency of complementary metal oxide imager for image-based driver assistance system, involves adjusting control parameters of imager based on recognized dense periodic structures of light
AT512220B1 (en) METHOD AND A RECORDING APPARATUS FOR RECORDING MULTIPLE PICTURES
DE102013211604A1 (en) Method and control device for monitoring a detection range of a camera
DE102013102207A1 (en) Camera system for a vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13739937

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120130002256

Country of ref document: DE

Ref document number: 112013000225

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112013000225

Country of ref document: DE

Effective date: 20140717

122 Ep: pct application non-entry in european phase

Ref document number: 13739937

Country of ref document: EP

Kind code of ref document: A1