WO2011124406A1 - Farbmaske für einen bildsensor einer fahrzeugkamera - Google Patents

Farbmaske für einen bildsensor einer fahrzeugkamera Download PDF

Info

Publication number
WO2011124406A1
WO2011124406A1 PCT/EP2011/051849 EP2011051849W WO2011124406A1 WO 2011124406 A1 WO2011124406 A1 WO 2011124406A1 EP 2011051849 W EP2011051849 W EP 2011051849W WO 2011124406 A1 WO2011124406 A1 WO 2011124406A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
image
pixels
color pattern
filter pixels
Prior art date
Application number
PCT/EP2011/051849
Other languages
English (en)
French (fr)
Inventor
Ulrich Seger
Alexander Wuerz-Wessel
Paul Ruhnau
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN201180016642.5A priority Critical patent/CN102835115B/zh
Priority to US13/639,034 priority patent/US9883148B2/en
Priority to EP11705836A priority patent/EP2556676A1/de
Priority to JP2013503045A priority patent/JP5591395B2/ja
Publication of WO2011124406A1 publication Critical patent/WO2011124406A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Definitions

  • Vehicle cameras are used in particular for detecting a vehicle environment in front of the vehicle and for displaying an image on a display device, as well as for evaluating the captured images and for use in driver assistance systems, wherein objects in the captured image are identified.
  • z. B other road users, lane markers, traffic signs and traffic lights are determined.
  • their color is of particular importance. So have the simultaneous occurrence of yellow and white lane markings, z.
  • light signals can be assigned according to their color value, wherein z.
  • Taillights with red color value of headlamps with white or yellow color value and taillights with yellow color value can be distinguished;
  • traffic signs and traffic lights such as traffic lights and flashing lights are relevant according to their respective color value.
  • the color in the captured image may differ due to the color temperature of the environment, which depends on the color of the lighting or the average color value. Different color temperatures of the captured image may be due to different lighting, z. As a function of the time of day, different street lighting and also by tints of the vehicle windows, behind which the vehicle cameras are generally mounted, the result.
  • Color masks are generally applied in front of the sensitive sensor surface whose filter pixels have a specific color value in front of each sensor pixel, in order to differentiate the colors.
  • the color masks generally have specific color patterns or color patterns, which are formed by periodic repetition of specific basic patterns, for example as blocks of four pixels with a specific color value en, eg R (red), G (green), B (blue).
  • JP 2004304706 A and WO 2009/027134 A1 show such color masks with specific color patterns.
  • Farbpattern the local resolution drops because z.
  • a block of four pixels with different color values is used for one pixel.
  • the filtering reduces the intensity of the incident light and thus the sensitivity.
  • As a light control function forsurgiigen switching between high beam and low beam sometimes far away light sources must be de- tektiert, which a high resolution and high sensitivity are required.
  • full-color pattern such.
  • B. RGGB however, the spatial resolution is reduced and the intensity of the incoming light attenuated. Partial driving patterns as described in WO 2009/027134 A1 form a compromise of color classification by the respective color filter pixels and resolution or high sensitivity through the transparent filter pixels.
  • the spatial resolution and photosensitivity are relevant features for vehicle cameras and driver assistance systems.
  • the color mask is formed in different areas with different color patterns.
  • a subdivision is carried out essentially in the vertical direction, with a central region and a - preferably smaller - upper region and / or lower region.
  • the invention is based on the finding that, in a typical image, which differs from a z. B. behind the windshield arranged vehicle camera is detected, a lower image area detects the road or lane in front of the vehicle, which is generally formed of asphalt or possibly concrete and thus represents a gray value without major coloration, depending on the road composition and the depending on the lighting situation, from anthracite black to light gray.
  • an upper image area generally reflects the sky, which is also the main source of illumination, especially in daytime situations. In this case, these areas can generally be rated as not so relevant for the evaluation for driver assistance systems, the lower image area often reproducing the roadway section directly in front of the vehicle, which is also used when initiating immediate driving dynamics interventions.
  • an ambient temperature or color temperature of the environment can thus be determined.
  • color patterns with a lower relative number of transparent filter pixels are used for these image areas, in particular full-color patterns without transparent ones
  • Filter pixels z. B. RGGB. It is recognized according to the invention that the spatial resolution in these areas is generally not so relevant, since more relevant objects are not to be expected as frequently here or can not be reproduced with a very high local resolution.
  • the color determination in the upper region and / or lower region can thus be used for the white balance or the color correction of the pixel signals of the middle image region.
  • a color pattern with a higher proportion of transparent filter pixels ie in particular a partial color pattern, is provided, which offers a compromise between higher resolution and color determination, preferably even at high spatial resolution.
  • Solution of the chrominance and spatial resolution of the luminance ie color-differentiated spatial resolution and brightness-differentiated spatial resolution.
  • the second color pattern of the upper region may also be different from a second color pattern of the lower region.
  • the upper and lower portions of the color mask may be different in size. They may each extend over entire rows of the pixel array, or even in the horizontal direction each comprise only central pixels, so that the central area laterally to the upper area and to the upper edge of the color mask, and / or laterally to the next lower area may extend to the lower edge of the color mask. That is the
  • objects may occur that may be relevant to the detection and classification and may also affect the determination of the color temperature of the environment.
  • objects that have been detected and classified in the middle image area may be extrapolated into the upper and lower image areas, e.g. As lane markers or larger objects such as buildings and trees, so that these parts of the upper and / or lower area are not used for the determination of the color temperature, where appropriate, for subsequent algorithms can be taken into account.
  • a light sensor function of the camera can additionally be displayed and used for further functions in the vehicle.
  • Fig. 1 is a street scene of a vehicle with a camera in
  • Fig. 3 different Farbpattern; an image captured by the camera and the pixel array of the color mask with subdivision according to the invention; a flowchart of a method according to the invention.
  • a vehicle 1 with a camera 2 travels on a roadway 3.
  • a detection area 4 of the camera 2 various objects 10, 11, 12, 13, 14, 15, 16 on or outside the roadway 3 are detected.
  • the camera According to Figure 2, the camera
  • a pane 5 of the vehicle 1, in particular the windshield 5, and in addition to an imaging optics 6, which are not shown here in more detail, has an image sensor 7 with a sensitive sensor surface, on which a matrix arrangement of sensor pixels (imager pixels) 7a, not shown here in detail, is formed.
  • a color mask (filter mask) 8 is placed, which has a matrix arrangement of filter pixels Pij according to FIG.
  • Each filter pixel Pij sits in a conventional manner directly in front of a sensor pixel 7a and filters according to its color value, ie its spectral transmission behavior, incident light.
  • the image sensor 7 picks up the optical light incident through the color mask 8 and outputs image signals S1 to a control and evaluation device 9, which can thus carry out an evaluation in a corresponding local and color resolution, whereupon the display of the captured image takes place on an in-vehicle display device can and / or in particular by image processing a qualitative evaluation can be made to z.
  • a control and evaluation device 9 which can thus carry out an evaluation in a corresponding local and color resolution, whereupon the display of the captured image takes place on an in-vehicle display device can and / or in particular by image processing a qualitative evaluation can be made to z.
  • color values of the detected objects 10, 11, 12, 13, 15 can be determined and used to identify these objects or partial areas of these objects.
  • the color mask 8 according to the invention is divided according to FIG. 4 into regions 8 a, 8 b, 8 c, which thus correspond to image regions 18 a, 18 b and 18 c of the image 18.
  • a central region 8a comprises a major part of the color mask 8, so that in the corresponding central image area 18a in particular relevant objects 10, 1 1, 12, 13, 15 fall, in particular other road users 10, 15, traffic signs 13 and lane markings 1 1 12.
  • a lower area 8b of the color mask 8 corresponds to a lower image area 18b in which a part of the roadway 3 or road lies in front of the vehicle 1. In this lower area 8b, therefore, no relevant objects are to be expected initially; if necessary, parts of the traffic lane markings 1 1, 12 can extend into the lower area 8 b.
  • An upper area 8c of the color mask 8 corresponds in the image 18 to an upper image area 18c, in which the sky is substantially imaged.
  • the representation 4 allows the direct assignment of the image 18 to the color mask 8, wherein actually in an inverting imaging optics 6, the image 18 can also be inverted or mirror-symmetrically imaged on the image sensor 7 and thus z.
  • the lower portion 8b - physically - is arranged on top of the color mask 8.
  • the lower region 8b is understood to mean the region corresponding to the lower image region 18b, correspondingly also to the upper region 8c.
  • the regions 8b and 8c may extend over a plurality of complete lines of the color mask 8, as shown, or may comprise middle parts of the upper and lower lines, respectively, since in the lateral regions of a captured image 18, more objects, e.g. As building 14 or trees 16 occur on the edge of a road that can extend to the top of the image 18.
  • the lower area 8b and / or the upper area 8c are used to determine a color temperature or an average color value Fa of the image 18.
  • the upper image area 18c detects the sky and thus a uniformly bright illumination, without significant impairment of other objects and its brightness value and spectral composition affect the brightness of the entire image 18.
  • the detected in the upper image area 18c sky z. B. white, or be reddish in the morning or in the evening, at night possibly black.
  • the roadway 3 detected in the lower image area 18b generally represents a gray value of the asphalt or of a road surface, which may vary between light gray and black depending on the composition and overall brightness.
  • asphalt here represents a suitable object for determining a color temperature or average color value Fa, which accordingly also contains data on the total brightness.
  • tints of the windshield 5 and by dirt on the windshield 5 and optionally in the imaging optics 6 are detected.
  • the central area 8a of the color mask 8 contains a different color pattern than the areas 8b and 8c.
  • FIG. 3 shows, by way of example, color patterns 20a to 20f, the respective filter pixels Pij being characterized according to the color value.
  • a transparent pixel is a value I
  • a red pixel is R
  • a cyan pixel shown as C
  • a blue pixel as B and a green pixel as G.
  • the pattern 20a represents a 41 pattern, which thus serves as a gray imager and only allows the determination of gray values.
  • the color patterns 20b, 20c, 20d, and 20f represent partial color patterns having both color values, G, B, C, and intensity pixels I, where 20b represents R3I, 20c represents RC2I, 20d represents RGBl patterns.
  • 20e is a
  • the central area 8a contains more transparency values I than the areas 8b and 8c and may in particular be one of the partial color patterns 20b to 20d or 20f.
  • the areas 8b and / or 8c are z. B. full color pattern 20f.
  • different full-color patterns may also be provided in the regions 8b and 8c, or the pattern 20d which contains a small proportion of transparency values I may be provided in one of the regions 8b or 8c.
  • the partial color patterns 20b, c, d or f used objects can thus be detected in the area 18a and their color values can be determined.
  • taillights 10a, 15a as red values, headlights 15b as white or yellow values, according to flashing lights for turning operations are determined as temporally pulsating yellow values, the colors of traffic signs 13 and possibly also the color representation of a Traffic lights are detected.
  • color values of the lane markings 1 1 and 12 can be detected to z. For example, to distinguish a white tone from a yellow tone.
  • yellow lane markings 1 1 are additionally attached to lane 3 without removing the white lane markings, so that yellow lane markings 1 1 should then take precedence.
  • the colors can be white or substantially colorless and yellow differentiated. This can be z. B. be achieved by the R3I Farbpattern 20b.
  • the imager pixels 7a of the image sensor 7 behind the middle region 8a output first pixel signals S1a, the imager pixels 7a behind the regions 8b and 8c corresponding to second pixel signals S1b and Sic, so that the image signals S1 receive these pixel signals S1 a, S1 b and Si c, as indicated in Figure 2 at the signal arrow of S1.
  • the control and evaluation device 9 uses the Pixelsig- nals S1 b and Si c for determining an average color value Fa and / or an average brightness value Ha for the white balance, ie for the correction of all the image signals S1 and thus of the pixel signals S1 a. On the basis of these corrected image signals S1, detection and recognition of the objects 10, 11, 12, 13, 14, 15 takes place.
  • the control and evaluation device 9 accordingly outputs output signals S2 which are used for driving management interventions and also as image signals for graphical representation of the image 18 on a display device.
  • the output signals S2 or the detected objects in the middle image area 18a can additionally be used to evaluate the image areas 18b and 18c.
  • z Example, when detecting a lane marker 1 1 or 12 in the middle image area 18a they are extrapolated down into the image area 18b, so that possibly detected in the image area 18b contours these lane markings 1 1 and 12 can be assigned.
  • the right tree 16 extends upward from the central image area 18a and thus a corresponding right subregion 16-1 of the upper image area 18c is to be assigned to this tree or object 16.
  • these respective sections 16-1 are not used to determine the average color value Fa and / or the average brightness value Ha.
  • the objects detected in these subregions may possibly also be used for the representation of an image and vehicle management interventions by means of the output signals S2.
  • step StO image signals S1 are output with the pixel signals S1a, S1b, S1c, in step St2 a determination of a color temperature, i. an average color value Fa and / or an average brightness value Ha for the white balance, by which then corrected pixel values or image signals can be formed in step St3 and objects 10, 1 1, 12, 13, 14, 15, 16 in the image 18 can be identified, so that in step St4 below the output signals S2 are output
  • a diffuser may be introduced which specifically images the upper image area 18c and / or the lower image area 18b more blurred, so that structures in this image are not enough color measurement and determination of the average color value Fa disturb.
  • a light sensor function of the camera can additionally be represented, i. H.
  • These second pixel signals can be used as light sensors for further functions in the vehicle.
  • the control and evaluation device 9 can be designed so that it recognizes permanent color base values or colorations from longer measurement periods, for. B. by a tinted windshield 5, and thus without current pixel signals S1 a and S1 b, z. B. at night driving with dark image areas 18b and 18c, can make a corresponding white balance.

Abstract

Die Erfindung betrifft eine Farbmaske (8) für einen Bildsensor (7) einer Fahrzeug-Kamera (2), wobei die Farbmaske (8) eine Matrix-Anordnung aus Filterpixeln (Pij) mit unterschiedlichem spektralen Transmissionsverhalten aufweist, wobei einige Filterpixel transparente Filterpixel sind, die für optisches Licht zumindest im Wesentlichen gleichmäßig transparent sind, und weitere Filterpixel Farb-Pixel mit wellenlängenselektivem Transmissionsverhalten sind, wobei die Farbmaske (8) ein Farbpattern als sich wiederholende Anordnung aus Filter-Pixeln (Pij) mit spezifischen Transmissionsverhalten aufweist. Erfindungsgemäß ist vorgesehen, dass die Farbmaske (8) einen mittleren Bereich (8a) mit einem ersten Farbpattern und einen unteren Bereich (8b) und/oder oberen Bereich (8c) mit einem zweiten Farb-Pattern aufweist, wobei das erste Farb-Pattern und das zweite Farb-Pattern verschieden sind und das erste Farb-Pattern transparente Filterpixel enthält.

Description

Beschreibung
Titel
Farbmaske für einen Bildsensor einer Fahrzeugkamera Stand der Technik
Fahrzeugkameras werden insbesondere zur Erfassung einer Fahrzeugumgebung vor dem Fahrzeug und zur Darstellung eines Bildes auf einer Anzeigeeinrichtung, sowie zur Auswertung der erfassten Bilder und zur Verwendung in Fah- rerassistenzsystemen verwendet, wobei Objekte in dem erfassten Bild identifiziert werden. Somit können z. B. weitere Verkehrsteilnehmer, Spurmarkierungen, Verkehrszeichen sowie Verkehrsbeleuchtungen ermittelt werden. Für die Beurteilung der Relevanz von Objekten ist insbesondere auch deren Farbe von Bedeutung. So haben bei gleichzeitigem Auftreten von gelben und weißen Fahrspur- Markierungen, z. B. in einem Baustellenbereich, im Allgemeinen die gelben Markierungen Vorrang. Weiterhin können Lichtsignale entsprechend ihres Farbwertes zugeordnet werden, wobei z. B. Rücklichter mit rotem Farbwert von Frontscheinwerfern mit weißem oder gelbem Farbwert und Heckleuchten mit gelbem Farbwert unterschieden werden; auch Verkehrszeichen und Verkehrsbeleuch- tungen wie Ampeln und Blinklichter sind entsprechend ihrem jeweiligen Farbwert relevant.
Hierzu ist es bekannt, eine Farbklassifikation der detektierten Objekte durchzuführen. Die Farbe im erfassten Bild kann sich jedoch aufgrund der Farbtempera- tur der Umgebung, die von der Farbe der Beleuchtung bzw. dem Durchschnittsfarbwert abhängt, unterschiedlich darstellen. Unterschiedliche Farbtemperaturen des erfassten Bildes können sich zum einen durch unterschiedliche Beleuchtungen, z. B. in Abhängigkeit der Tageszeit, unterschiedliche Straßenbeleuchtungen und auch durch Tönungen der Fahrzeugscheiben, hinter denen die Fahr- zeugkameras im Allgemeinen angebracht sind, ergeben. Die Tönungen der
Fahrzeugscheiben sind zunächst unbekannt, da sie typabhängig sehr unter- schiedlich sind und zum Teil in Abhängigkeit der Position an der Fahrzeugscheibe variieren. Im Allgemeinen ist somit die Annahme einer„grauen Welt", bei der die Histogramme (statistischen Belegungen) der Farbpixel und Intensitätspixel gleichmäßig besetzt sind, über das ganze Bild nicht korrekt. Hierzu wird bei kom- plexeren Systemen jeweils eine Farbtemperaturbestimmung des erfassten Bildbereichs durchgeführt, um einen Weißabgleich durchzuführen, bei dem die Farbtemperatur der Umgebung herausgerechnet bzw. korrigiert wird, um die Farbe des Objektes korrekt klassifizieren zu können. Zur Differenzierung der Farben werden im Allgemeinen vor die sensitive Sensorfläche Farbmasken angebracht, deren Filterpixel vor jedem Sensorpixel einen spezifischen Farbwert, d.h. ein spezifisches Transmissionsverhalten im optischen Wellenlängenbereich aufweisen. Hierbei weisen die Farbmasken im Allgemeinen spezifische Farb-Pattern bzw. Farb-Muster auf, die durch periodische Wiederho- lung spezifischer Grundmuster gebildet sind, z. B. als Blöcke aus vier Pixeln mit spezifischen Farbwerten, z. B. R (Rot), G (Grün), B (Blau). Die JP 2004304706 A und WO 2009/027134 A1 zeigen derartige Farbmasken mit spezifischen Farb- Pattern. Durch den Einsatz derartiger Farbpattern sinkt allerdings die örtliche Auflösung, da z. B. für einen Bildpunkt ein Block aus vier Pixeln mit unterschied- liehen Farbwerten eingesetzt wird. Weiterhin sinkt durch die Filterung die Intensität des einfallenden Lichts und somit die Empfindlichkeit. Bei Nachtanwendungen, wie z. B. einer Lichtsteuerungsfunktion zum selbstätigen Umschalten zwischen Fernlicht und Abblendlicht müssen zum Teil weit entfernte Lichtquellen de- tektiert werden, wozu eine hohe Auflösung und hohe Empfindlichkeit erforderlich sind. Insbesondere bei Vollfarb-Pattern wie z. B. RGGB wird jedoch die Ortsauflösung vermindert und die Intensität des ankommenden Lichts abgeschwächt. Teilfahr-Pattern wie in der WO 2009/027134 A1 beschrieben, bilden einen Kom- promiss aus Farbklassifikation durch die jeweiligen Farbfilterpixel und Auflösung bzw. hoher Empfindlichkeit durch die transparenten Filterpixel.
Somit sind neben der Genauigkeit der Farbbestimmung auch die Ortsauflösung und Lichtempfindlichkeit, weiterhin auch die Ortsauflösung der Farbwerte bzw. Chrominanz und die Orstauflösung der Helligkeit relevante Merkmale für Fahrzeugkameras und Fahrerassistenzsysteme.
Offenbarung der Erfindung Erfindungsgemäß wird die Farbmaske in verschiedenen Bereichen mit unterschiedlichen Farbpattern ausgebildet. Hierbei wird eine Unterteilung im Wesentlichen in vertikaler Richtung vorgenommen, mit einem mittleren Bereich und ei- nem - vorzugsweise kleineren - oberen Bereich und/oder unteren Bereich.
Der Erfindung liegt hierbei die Erkenntis zu Grunde, dass in einem typischen Bild, das von einer z. B. hinter der Windschutzscheibe angeordneten Fahrzeugkamera erfasst wird, ein unterer Bildbereich die Straße bzw. Fahrbahn vor dem Fahrzeug erfasst, die im Allgemeinen aus Asphalt oder ggf. Beton ausgebildet ist und somit einen Grauwert ohne größere Färbung darstellt, der in Abhängigkeit der Fahrbahnzusammensetzung sowie der jeweiligen Beleuchtungssituation von anthra- zit-schwarz bis hellgrau reichen kann. Ein oberer Bildbereich gibt hingegen im Allgemeinen den Himmel wieder, der insbesondere in Tagessituationen auch die wesentliche Belichtungsquelle darstellt. Hierbei können diese Bereiche im allgemeinen als nicht so relevant für die Auswertung für Fahrerassistenzsysteme eingeschätzt werden, wobei der untere Bildbereich oftmals den Fahrbahnabschnitt unmittelbar vor dem Fahrzeug wiedergibt, der auch bei Einleitung sofortiger Fahrdynamikeingriffe befahren wird.
Aus diesem oberen und/oder unteren Bildbereich, insbesondere auch einer Kombination dieser Bildbereiche, kann somit eine Umgebungstemperatur bzw. Farbtemperatur der Umgebung bestimmt werden. Somit werden erfindungsgemäß für diese Bildbereiche Farbpattern mit geringerer relativer Anzahl von trans- parenten Filterpixeln eingesetzt, insbesondere Vollfarbpattern ohne transparente
Filterpixel, z. B. RGGB. Es wird erfindungsgemäß erkannt, dass die Ortsauflösung in diesen Bereichen im Allgemeinen nicht so relevant ist, da hier relevantere Objekte nicht so häufig zu erwarten sind bzw. nicht mit einer sehr hohen örtlichen Auflösung wiederzugeben sind.
Die Farbbestimmung in dem oberen Bereich und/oder unteren Bereich kann somit für den Weißabgleich bzw. die Farbkorrektur der Pixelsignale des mittleren Bildbereichs herangezogen werden. Für diesen mittleren Bildbereich ist ein Farbpattern mit einem höheren Anteil von transparenten Filterpixeln, d. h. insbe- sondere ein Teilfarbpattern vorgesehen, das einen Kompromiss bietet zwischen höherer Auflösung und Farbbestimmung, vorzugsweise auch bei hoher Ortsauf- lösung der Chrominanz und Ortsauflösung der Luminanz, d. h. farbdifferenzierter Ortsauflösung und helligkeitsdifferenzierter Ortsauflösung.
Erfindungsgemäß ergeben sich somit einige Vorteile. Es wird durch das Teilfarb- pattern mit transparenten Filterpixeln eine Erfassung von Objekten in dem hierfür relevanten mittleren Bildbereich mit einer hohen Ortsauflösung und dennoch guter Farbbestimmung bzw. hoher ortsaufgelöster Chrominanz ermittelt, und eine Korrektur bzw. Weißabgleich der Farbwerte des mittleren Bildbereichs durch den oberen und/oder unteren Bildbereich ermöglicht. Dieser Abgleich kann jeweils dynamisch bzw. in den jeweiligen Fahrsituationen und Beleuchtungssituationen erfolgen, ohne zusätzliche Sensoren und ohne relevante Beeinträchtigung der Bildverarbeitung. Dieser Weißabgleich bzw. die Korrektur kann grundsätzlich rein softwaremäßig in der Steuer- und Auswerteeinrichtung vorgenommen werden und erfordert somit keinen zusätzlichen Hardwareaufwand. Weiterhin kann die eingesetzte Steuer- und Auswerteeinrichtung auch forwährend auftretende Tönungen und Färbungen als dauerhaft einschätzen, z. B. als Tönung der Fahrzeugscheibe oder einer langwierigen Verschmutzung.
Es entfällt somit vorzugsweise auch eine komplexere Berücksichtigung unter- schiedlicher Farbpattern bzw. Farbmuster in dem mittleren Bildbereich, da dort insbesondere ein einziges Teilfarbpattern vorgesehen sein kann, so dass die Histogrammerstellung für die Kameraregelung oder die Kantendetektion für die Fahrspurerkennung und Erkennung der Objekte auf dieses Teilfarbpattern eingestellt werden kann. Somit ist erfindungsgemäß eine schnelle Verarbeitung der Daten mit relativ geringem Hardware-Aufwand möglich.
Grundsätzlich kann das zweite Farb-Pattern des oberen Bereichs auch verschieden von einem zweiten Farb-Pattern des unteren Bereichs sein. Weiterhin können der obere und untere Bereiche der Farbmaske unterschiedlich groß sein. Sie können sich jeweils über vollständige Zeilen des Pixelarrays erstrecken, oder auch in horizontaler Richtung jeweils nur mittlere Pixel umfassen, so dass sich der mittlere Bereich seitlich bis neben den oberen Bereich und bis zu dem oberen Rand der Farbmaske, und/oder seitlich bis neben den unteren Bereich bis zu dem unteren Rand der Farbmaske erstrecken kann. Dem liegt die
Erkenntnis zu Grunde, dass in dem oberen und unteren Bildbereich in seitlichen Abschnitten ggf. Objekte auftreten können, die zum einen relevant zur Erfassung und Klassifizierung sind und zum anderen auch die Ermittlung der Farbtemperatur der Umgebung beeinträchtigen können. Weiterhin können Objekte, die in dem mittleren Bildbereich erfasst und klassifiziert worden sind, in den oberen bzw. unteren Bildbereich extrapoliert werden, z. B. Fahrspur-Markierungen oder größere Objekte wie Gebäude und Bäume, so dass diese Teile des oberen und/oder unteren Bereichs für die Ermittlung der Farbtemperatur nicht herangezogen werden, wobei sie gegebenenfalls für nach- folgende Algorithmen mit berücksichtigt werden können.
Aus den zweiten Pixelsignalen des unteren und/oder oberen Bildbereichs kann ergänzend auch eine Lichtsensorikfunktion der Kamera dargestellt und für weitere Funktionen im Fahrzeug genutzt werden.
Kurze Beschreibung der Zeichnungen
Die Erfindung wird im Folgenden anhand der beiliegenden Zeichnungen an eini gen Ausführungsformen näher erläutert. Es zeigen:
Fig. 1 eine Straßenszene eines Fahrzeugs mit einer Kamera in
Draufsicht;
Fig. 2 die Kameraanordnung des Fahrzeugs;
Fig. 3 verschiedene Farbpattern; ein von der Kamera erfasstes Bild sowie das Pixel-Array der Farbmaske mit erfindungsgemäßer Unterteilung; ein Flussdiagramm eines erfindungsgemäßen Verfahrens.
Ein Fahrzeug 1 mit einer Kamera 2 fährt auf einer Fahrbahn 3. In einem Erfassungsbereich 4 der Kamera 2 werden verschiedene Objekte 10, 1 1 , 12, 13, 14, 15, 16 auf oder außerhalb der Fahrbahn 3 erfasst. Gemäß Figur 2 ist die Kamera
2 hinter einer Scheibe 5 des Fahrzeuges 1 , insbesondere der Windschutzscheibe 5, angebracht und weist neben einer hier nicht detaillierter gezeigten Abbildungsoptik 6 einen Bildsensor 7 mit einer sensitiven Sensorfläche auf, auf der eine hier nicht detaillierte gezeigte Matrixanordnung von Sensorpixeln (Imagerpi- xeln) 7a ausgebildet ist. Auf der sensitiven Sensorfläche mit den Sensorpixeln 7a ist eine Farbmaske (Filtermaske) 8 aufgesetzt, die gemäß Fig. 4 eine Matrixanordnung aus Filterpixeln Pij aufweist. Jedes Filter-Pixel Pij sitzt in an sich bekannter Weise direkt vor einem Sensorpixel 7a und filtert entsprechend seines Farbwertes, d. h. seines spektralen Transmissionsverhaltens, einfallendes Licht. Der Bildsensor 7 nimmt das durch die Farbmaske 8 einfallende optische Licht auf und gibt Bildsignale S1 an eine Steuer- und Auswerteeinrichtung 9 aus, die somit eine Auswertung in entsprechender örtlicher und farblicher Auflösung vornehmen kann, woraufhin die Anzeige des erfassten Bildes auf einer fahrzeuginternen Anzeigeeinrichtung erfolgen kann und/oder insbesondere durch Bildverarbeitung eine qualitative Auswertung vorgenommen werden kann, um z. B.
Warnmeldungen an den Fahrer auszugeben, und insbesondere auch Eingriff ins Fahrzeugmanagement vorzunehmen. Fig. 4 zeigt links die erfasste Fahrszene bzw. das aus den Bildsignalen S1 erstellte Bild 18. Somit können z. B. Abstands- regelsysteme zur Einstellung eines konstanten Abstandes zu einem vorausfahrenden Fahrzeug 10, sowie eine Fahrspurerkennung durch Identifizierung von Fahrspur- Markierungen 1 1 , 12, weiterhin eine Erkennung von Verkehrszeichen 13 und weiterer Verkehrsteilnehmer 15 erfolgen. Insbesondere können Farbwerte der erfassten Objekte 10, 1 1 , 12, 13, 15 ermittelt und zur Identifizierung dieser Objekte bzw. von Teilbereichen dieser Objekte herangezogen werden.
Die erfindungsgemäße Farbmaske 8 ist gemäß Fig. 4 in Bereiche 8a, 8b, 8c unterteilt, die somit Bildbereichen 18a, 18b und 18c des Bildes 18 entsprechen. Hierbei umfasst ein mittlerer Bereich 8a einen Großteil der Farbmaske 8, so dass in den entsprechenden mittleren Bildbereich 18a insbesondere relevante Objekte 10, 1 1 , 12, 13, 15 fallen, insbesondere weitere Verkehrsteilnehmer 10, 15, Verkehrszeichen 13 und Fahrspur-Markierungen 1 1 , 12. Ein unterer Bereich 8b der Farbmaske 8 entspricht einem unteren Bildbereich 18b, in dem ein Teil der Fahrbahn 3 bzw. Straße vor dem Fahrzeug 1 liegt. In diesem unteren Bereich 8b sind somit zunächst keine relevanten Objekte zu erwarten; ggf. können Teile der Fahrspur-Markierungen 1 1 , 12 sich bis in den unteren Bereich 8b erstrecken. Ein oberer Bereich 8c der Farbmaske 8 entspricht in dem Bild 18 einem oberen Bildbereich 18c, in dem im wesentlichen der Himmel abgebildet wird. Die Darstellung der Fig. 4 ermöglicht die direkte Zuordnung des Bildes 18 zur Farbmaske 8, wobei tatsächlich bei einer invertierenden Abbildungsoptik 6 das Bild 18 auch invertiert bzw. spiegelsymmetrisch auf den Bildsensor 7 abgebildet werden kann und somit z. B. der untere Bereich 8b - physikalisch - oben auf der Farbmaske 8 angeordnet ist. Im folgenden wird jedoch als unterer Bereich 8b der Bereich verstanden, der dem unteren Bildbereich 18b entspricht, entsprechend auch für den oberen Bereich 8c.
Die Bereiche 8b und 8c können sich wie gezeigt über mehrere vollständige Zeilen der Farbmaske 8 erstrecken, oder jeweils mittlere Teile der oberen bzw. unteren Zeilen umfassen, da in den seitlichen Bereichen eines erfassten Bildes 18 mit gößerer Wahrscheinlichkeit weitere Objekte, z. B. Gebäude 14 oder Bäume 16 am Rand einer Straße auftreten, die sich bis zum oberen Rand des Bildes 18 erstrecken können.
Erfindungsgemäß dienen der untere Bereich 8b und/oder der obere Bereich 8c zur Ermittlung einer Farbtemperatur bzw. eines Durchschnittsfarbwertes Fa des Bildes 18. Hierbei wird erfindungsgemäß erkannt, dass der obere Bildbereich 18c den Himmel und somit eine gleichmäßig helle Ausleuchtung, ohne wesentliche Beeinträchtigung weiterer Objekte darstellt, und dessen Helligkeitswert und Spektralzusammensetzung die Helligkeit des gesamten Bildes 18 beeinflusst. Hierbei kann der im oberen Bildbereich 18c erfasste Himmel z. B. weiß, oder am Morgen oder am Abend auch rötlich sein, bei Nacht ggf. schwarz. Die im unteren Bildbereich 18b erfasste Fahrbahn 3 stellt im Allgemeinen einen Grauwert des Asphalts bzw. eines Straßenbelages dar, der je nach Zusammensetzung und Gesamthelligkeit zwischen hellgrau und schwarz variieren kann. Insbesondere Asphalt stellt hierbei einen geeigneten Gegenstand zur Ermittlung einer Farbtemperatur bzw. Durchschnittsfarbwerts Fa dar, die entsprechend auch Daten über die Gesamthelligkeit enthält. Hierbei werden auch Tönungen der Windschutzscheibe 5 und durch Verschmutzungen auf der Windschutzscheibe 5 und gegebenenfalls in der Abbildungsoptik 6 mit erfasst.
Erfindungsgemäß enthält der mittlere Bereich 8a der Farbmaske 8 ein anderes Farbpattern als die Bereiche 8b und 8c. Fig. 3 zeigt beispielhaft Farbpattern 20a bis 20f, wobei die jeweiligen Filterpixel Pij je nach Farbwert gekennzeichnet sind. Hierbei ist ein transparentes Pixel als Wert I, ein Rot-Pixel als R, ein Cyan-Pixel als C, ein Blau-Pixel als B und ein Grün-Pixel als G dargestellt. Das Pattern 20a stellt ein 41-Pattern dar, das somit als Grau-Imager dient und lediglich die Ermittlung von Grauwerten zulässt. Die Farbpattern 20b, 20c, 20d und 20f stellen Teil- farbpattern mit sowohl Farbwerten , G, B, C als auch Intensitätspixeln I dar, wobei 20b ein R3I , 20c ein RC2I, 20d ein RGBl -Pattern darstellen. In 20e ist ein
Vollfarbpattern dargestellt, hier als RGGB bzw. Bayer-Pattern. 20f stellt wiederum ein Teilfarbpattern dar, das als Sparse Bayer-Pattern bekannt ist.
Der mittlere Bereich 8a enthält mehr Transparenzwerte I als die Bereiche 8b und 8c und kann insbesondere eines der Teilfarbpattern 20b bis 20d oder 20f sein.
Die Bereiche 8b und/oder 8c sind z. B. Vollfarbpattern 20f. Hierbei können in den Bereichen 8b und 8c auch unterschiedliche Vollfarbpattern vorgesehen sein, oder in einem der Bereiche 8b oder 8c das Pattern 20d, das einen geringen Anteil an Transparenzwerten I enthält.
Durch das verwendete Teilfarbpattern 20b, c, d oder f können somit in dem Bereich 18a Objekte erfasst und deren Farbwerte ermittelt werden. So können z. B. Rücklichter 10a, 15a als Rot-Werte, Frontscheinwerfer 15b als Weiß- oder Gelb- Werte, entsprechend auch Blinklichter für Abbiegevorgänge als zeitlich pulsie- rende Gelb-Werte ermittelt werden, weiterhin die Farben von Verkehrszeichen 13 und ggf. auch die Farbdarstellung einer Ampel erkannt werden. Weiterhin können Farbwerte der Fahrspur-Markierungen 1 1 und 12 erkannt werden, um z. B. einen Weiß-Ton von einem Gelb-Ton unterscheiden zu können. Bei vorübergehenden Fahrspuränderungen werden zum Teil gelbe Fahrspur-Markierungen 1 1 zusätz- lieh auf der Fahrbahn 3 angebracht, ohne die weißen Fahrspur-Markierungen zu entfernen, so dass dann die gelben Fahrspur-Markierungen 1 1 Vorrang haben sollen. Indem erfindungsgemäß in dem mittleren Bereich 8a eines der Teilfarbpattern 20b bis 20e angebracht ist, können die Farben weiß bzw. im Wesentlichen farblos und gelb differenziert werden. Dies kann z. B. durch das R3I- Farbpattern 20b erreicht werden.
Die Imager-Pixel 7a des Bildsensors 7 hinter dem mittleren Bereich 8a geben erste Pixelsignale S1 a, die Imager-Pixel 7a hinter den Bereichen 8b und 8c entsprechend zweite Pixelsignale S1 b und Si c aus, so dass die Bildsignale S1 die- se Pixelsignale S1 a, S1 b und Si c enthalten, wie in Figur 2 bei dem Signalpfeil von S1 angedeutet. Die Steuer- und Auswerteeinrichtung 9 benutzt die Pixelsig- nale S1 b und Si c zur Ermittlung eines durchschnittlichen Farbwertes Fa und/oder eines durchschnittlichen Helligkeitswertes Ha für den Weißabgleich, d.h. für die Korrektur sämtlicher Bildsignale S1 und somit der Pixelsignale S1 a. Aufgrund dieser korrigierten Bildsignale S1 erfolgt eine Detektion und Erkennung der Objekte 10, 1 1 , 12, 13, 14, 15. Die Steuer- und Auswerteeinrichtung 9 gibt entsprechend Ausgangssignale S2 aus, die für Fahrmanagement-Eingriffe und weiterhin auch als Bildsignale zur grafischen Darstellung des Bildes 18 auf einer Anzeigeeinrichtung dienen können.
Hierbei können die Ausgangssignale S2 bzw. die erkannten Objekte in dem mittleren Bildbereich 18a ergänzend auch zur Auswertung der Bildbereiche 18b und 18c herangezogen werden. Insbesondere kann z. B. bei Detektieren einer Fahrspur-Markierung 1 1 oder 12 im mittleren Bildbereich 18a diese nach unten in den Bildbereich 18b extrapoliert werden, so dass ggf. im Bildbereich 18b erkannte Konturen diesen Fahrspur-Markierungen 1 1 und 12 zugeordnet werden können. Weiterhin kann in Fig. 4 erkannt werden, dass der rechte Baum 16 sich aus dem mittleren Bildbereich 18a nach oben erstreckt und somit ein entsprechender rechter Teilbereich 16-1 des oberen Bildbereichs 18c diesem Baum bzw. Objekt 16 zuzuordnen ist. Somit werden diese betreffenden Teilbereiche 16-1 nicht zur Ermittlung des Durchschnittsfarbwertes Fa und/oder des Durchschnittshelligkeitswertes Ha herangezogen. Weiterhin können die in diesen Teilbereichen de- tektierten Objekte ggf. auch für die Darstellung eines Bildes und Fahrzeugmanagement-Eingriffe mittels der Ausgangssignale S2 herangezogen werden.
Das erfindungsgemäße Verfahren startet gemäß Figur 5 somit in Schritt StO, insbesondere bei Einschalten der Kamera 2, woraufhin im Schritt St1 Bildsignale S1 mit den Pixelsignalen S1 a, S1 b, S1 c ausgegeben werden, in Schritt St2 eine Ermittlung einer Farbtemperatur, d.h. eines Durchschnitts-Farbwertes Fa und/oder eines Durchschnitts-Helligkeitswertes Ha für den Weißabgleich erfolgt, durch den in Schritt St3 dann korrigierte Pixelwerte bzw. Bildsignale gebildet werden können und Objekte 10, 1 1 , 12, 13, 14, 15, 16 im Bild 18 identifiziert werden können, so dass im Schritt St4 nachfolgend die Ausgangssignale S2 ausgegeben werden
Gemäß einer weitereh Ausführungsform kann in die Abbildungsoptik 6 z. B. ein Diffusor eingeführt werden, der spezifisch den oberen Bildbereich 18c und/oder unteren Bildbereich 18b unschärfer abbildet, so dass Strukturen in diesen Bildbe- reichen nicht die Farbmessung und Ermittlung des Durchschnittsfarbwertes Fa stören.
Aus den zweiten Pixelsignalen S1 b und Si c kann ergänzend auch eine Licht- sensorikfunktion der Kamera dargestellt werden, d. h. diese zweiten Pixelsignale können als Lichtsensoren für weitere Funktionen im Fahrzeug genutzt werden.
Die Steuer- und Auswerteeinrichtung 9 kann dahingehend ausgelegt sein, dass sie aus längeren Messzeiträumen dauerhafte Farb-Grundwerte bzw. Färbungen erkennt, z. B. durch eine getönte Windschutzscheibe 5, und somit auch ohne aktuelle Pixelsignale S1 a und S1 b, z. B. bei einer Nachtfahrt mit dunklen Bildbereichen 18b und 18c, einen entsprechenden Weißabgleich vornehmen kann.

Claims

Ansprüche
1 . Farbmaske (8) für einen Bildsensor (7) einer Fahrzeug-Kamera (2),
wobei die Farbmaske (8) eine Matrix-Anordnung aus Filterpixeln (Pij) mit unterschiedlichem spektralen Transmissionsverhalten aufweist,
wobei einige Filterpixel transparente Filterpixel (I) sind, die für optisches Licht zumindest im Wesentlichen gleichmäßig transparent sind, und weitere Filterpixel (R, G, B, C) Farb-Pixel (R, G, B, C) mit wellenlängenselektivem Transmissionsverhalten sind,
wobei die Farbmaske (8) ein Farbpattern (20a, 20b, 20c, 20d, 20e, 20f) als sich wiederholende Anordnung aus Filter-Pixeln (Pij) mit spezifischem Transmissionsverhalten aufweist,
dadurch gekennzeichnet, dass
die Farbmaske (8) einen mittleren Bereich (8a) mit einem ersten Farbpattern (20b, 20c, 20d, 20f) und einen unteren Bereich (8b) und/oder oberen Bereich (8c) mit einem zweiten Farb-Pattern (20e) aufweist,
wobei das erste Farb-Pattern (20b, 20c, 20d, 20f) und das zweite Farb- Pattern (20e) verschieden sind und das erste Farb-Pattern transparente Filterpixel (I) enthält.
2. Farbmaske nach Anspruch 1 , dadurch gekennzeichnet, dass das erste Farb-Pattern (20b, 20c, 20d, 20e) einen größeren relativen Anteil an transparenten Filter-Pixeln (I) als das zweite Farb-Pattern (20f) aufweist.
3. Farbmaske nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das zweite Farb-Pattern (20f) als Vollfarb-Pattern (20f) ohne transparente Filterpixel, z. B. als RGGB-Pattern (20f), ausgebildet ist.
4. Farbmaske nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass der untere Bereich (8b) und/oder der obere Bereich (8c) mehrere vollständige Zeilen der Matrix-Anordnung der Filterpixel (Pij) aufweist, wobei der mittlere Bereich (8a) mehr Zeilen als der obere Bereich (8c) und/oder der untere Bereich (8b) enthält.
Farbmaske nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das erste Farb-Pattern ein Teilfarbpattern (20b, 20c, 20d, 20f) ist, das sowohl transparente als auch farbige Filter aufweist.
Fahrzeug-Kamera (2), die aufweist:
einen Bildsensor (7) mit Sensorpixeln (7a),
eine vor den Sensorpixeln (7a) angeordnete Farbmaske (8) nach einem der vorherigen Ansprüche, und
eine Steuer- und Auswerteeinrichtung (9),
wobei der Bildsensor (7) an die Steuer- und Auswerteeinrichtung (9) Bildsignale (S1 ) ausgibt, die erste Pixel-Signale (S1 a) der mit den Filterpixeln (Pij) des mittleren Bereichs (8a) bedeckten Sensor-Pixel (7a) und zweite Pixelsignale (S 1 b, Si c) der mit den Filterpixeln (Pij) des unteren Bereichs (8b) und/oder oberen Bereichs (8c) bedeckten Filterpixel (7a) des Bildsensors (7) enthalten,
wobei die Steuer- und Auswerteeinrichtung (9) aus den zweiten Pixel- Signalen (S1 b, Si c) einen Durchschnittsfarbwert (Fa) und/oder eine Farbtemperatur und/oder einen Durchschnitts-Grauwert, für einen Weißabgleich oder eine Farbkorrektur der ersten Pixel-Signale (S1 a) ermittelt.
Fahrzeug-Kamera (2) nach Anspruch 6, dadurch gekennzeichnet, dass die Steuer- und Auswerteeinrichtung (9) in einem mittleren Bildbereich (18a) des durch die Bildsignale (S1 ) übertragenen Bildes (18) aus den korrigierten ersten Pixelsignalen (S1 a) Objekte (10, 1 1 , 12, 13, 14, 15, 16) ermittelt und Farbwerte der Objekte (10, 1 1 , 12, 13, 14, 15, 16) und von Teilbereichen (10a, 15a, 15b) der Objekte (10, 1 1 , 12, 13, 14, 15, 16) ermittelt.
Fahrzeug-Kamera (2) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Steuer- und Auswerteeinrichtung (9) überprüft, ob sich ein Objekt (16) bis in den unteren Bildbereich (18b) oder oberen Bildbereich (8c) erstreckt, und Teilbereiche (16-1 ) des unteren und/oder oberen Bildbereichs (18b, 18c), in denen ein ermitteltes Objekt liegt, nicht zur Ermittlung des ei- nen Durchschnittsfarbwert (Fa) und/oder der Farbtemperatur und/oder des Durchschnitts-Grauwerts herangezogen werden.
Fahrzeug-Kamera (2) nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass vor dem Bildsensor (7) eine Abbildungsoptik (6) eine Un- schärfe erzeugende Einrichtung (17), z. B. ein Diffusor, angeordnet ist, wobei die Unscharfe erzeugende Einrichtung (17) in dem unteren Bildbereich (18b) und/oder oberen Bildbereich (18c) eine diffuse oder unscharfe Abbildung erzeugt.
0. Verfahren zum Erstellen eines Bildes (18) aus Bildsignalen (S1 ) einer Fahrzeug-Kamera (2) und Ermitteln von Objekten (10, 1 1 , 12, 13, 14, 15, 16) in dem Bild (18), mit mindestens folgenden Schritten:
Erfassen einer Fahrzeugumgebung (4) mittels einer Kamera (2), die einen Bildsensor (7) und eine vor dem Bildsensor (7) angeordnete Farbmaske (8) aufweist, wobei die Farbmaske einen mittleren Bereich (8a) mit einem ersten Farbpattern (20b, 20c, 20d, 20f) und einen unteren Bereich (8b) und/oder oberen Bereich (8c) mit einem zweiten Farbpattern (20e) aufweist,
Aufnehmen von Bildsignalen (S1 ), die erste Pixelsignale (S1 a) von hinter dem ersten Bereich (8a) angeordneten Sensorpixeln (7a) und zweite Pixelsignale (S 1 b, Sic) von hinter dem zweiten Farbpattern (S 1 b, Si c) angeordneten Sensorpixeln (7a) enthalten, und
Ermitteln einen Durchschnittsfarbwert (Fa) und/oder eine Farbtemperatur und/oder einen Durchschnitts-Grauwerts und Durchführung eines Weißab- gleichs oder eine Farbkorrekturs zumindest der ersten Pixel-Signale (S1 a).
PCT/EP2011/051849 2010-04-07 2011-02-09 Farbmaske für einen bildsensor einer fahrzeugkamera WO2011124406A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180016642.5A CN102835115B (zh) 2010-04-07 2011-02-09 用于车辆摄像机的图像传感器的颜色掩模
US13/639,034 US9883148B2 (en) 2010-04-07 2011-02-09 Color mask for an image sensor of a vehicle camera
EP11705836A EP2556676A1 (de) 2010-04-07 2011-02-09 Farbmaske für einen bildsensor einer fahrzeugkamera
JP2013503045A JP5591395B2 (ja) 2010-04-07 2011-02-09 画像センサ用のカラーマスクを有する車両カメラ、及び、車両カメラの画像において対象物を検出する方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010003668.4A DE102010003668B4 (de) 2010-04-07 2010-04-07 Farbmaske für einen Bildsensor einer Fahrzeugkamera
DE102010003668.4 2010-04-07

Publications (1)

Publication Number Publication Date
WO2011124406A1 true WO2011124406A1 (de) 2011-10-13

Family

ID=44314993

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/051849 WO2011124406A1 (de) 2010-04-07 2011-02-09 Farbmaske für einen bildsensor einer fahrzeugkamera

Country Status (6)

Country Link
US (1) US9883148B2 (de)
EP (1) EP2556676A1 (de)
JP (1) JP5591395B2 (de)
CN (1) CN102835115B (de)
DE (1) DE102010003668B4 (de)
WO (1) WO2011124406A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014057225A (ja) * 2012-09-12 2014-03-27 Honda Motor Co Ltd 車両用監視装置
JP2014107665A (ja) * 2012-11-27 2014-06-09 Nikon Corp 固体撮像素子、撮像システム、および車両
DE102012024661A1 (de) * 2012-12-17 2014-06-18 Connaught Electronics Ltd. Verfahren zum Weißabgleich einer Bilddarstellung unter Berücksichtigung von Farbwerten ausschließlich einer Untermenge von Bildpunkten, Kamerasystem und Kraftfahrzeug mit einem Kamerasystem
DE102013001644A1 (de) * 2013-01-31 2014-07-31 Connaught Electronics Ltd. Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug
DE102014117711A1 (de) * 2014-12-02 2016-06-02 Connaught Electronics Ltd. Verfahren zum Konvertieren eines ersten Farbbildes in ein zweites Farbbild, Kamerasystem und Kraftfahrzeug

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
DE102011086404A1 (de) * 2011-11-15 2013-05-16 Robert Bosch Gmbh Anfahrfreigabe
DE102012221356A1 (de) 2012-06-20 2013-12-24 Robert Bosch Gmbh Sensor und Verfahren zur Erfassung von Licht und Verfahren und Vorrichtung zur Ermittlung einer Farbinformation
DE102012216065A1 (de) * 2012-09-11 2014-03-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von zumindest einer gepulsten Lichtquelle für ein Fahrzeug
DE102012108861A1 (de) * 2012-09-20 2014-05-28 Continental Teves Ag & Co. Ohg Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera
DE102012108860A1 (de) * 2012-09-20 2014-03-20 Conti Temic Microelectronic Gmbh Verfahren zur Durchführung eines automatischen Farbabgleichs einer fahrzeuggebundenen Farbkamera
DE102012217093A1 (de) * 2012-09-21 2014-04-17 Robert Bosch Gmbh Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zum Ermitteln von Bildinformationen eines Erfassungsbereichs
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
EP2887655A1 (de) * 2013-12-20 2015-06-24 Swiss Timing Ltd. Adaptiver Farbfilter für digitalen Sensor
WO2015162910A1 (ja) * 2014-04-24 2015-10-29 パナソニックＩｐマネジメント株式会社 車載用表示装置、車載用表示装置の制御方法、プログラム
DE102014216421A1 (de) * 2014-08-19 2016-02-25 Conti Temic Microelectronic Gmbh Assistenzsystem eines Kraftfahrzeugs mit einer Kamera und Verfahren zur Justage einer Kamera
DE102014218460B4 (de) * 2014-09-15 2021-02-11 Conti Temic Microelectronic Gmbh Assistenzsystem eines Kraftfahrzeugs, mit einer Kamera und Bildsensor
DE102014220199B3 (de) * 2014-10-06 2016-01-14 Continental Automotive Gmbh Verfahren für ein Kraftfahrzeug mit einer Kamera, Vorrichtung und System
US10310298B2 (en) * 2016-10-25 2019-06-04 GM Global Technology Operations LLC Smart sensor-cover apparatus and methods and computer products for implementing same
US10079255B1 (en) * 2017-08-04 2018-09-18 GM Global Technology Operations LLC Color filter array apparatus
KR101970295B1 (ko) * 2017-08-08 2019-04-18 네이버랩스 주식회사 픽업 로봇의 제어 방법
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
KR20220143013A (ko) * 2020-02-19 2022-10-24 소니그룹주식회사 화상 처리 방법, 센서 장치
CN112614455B (zh) * 2020-03-25 2022-07-15 西安诺瓦星云科技股份有限公司 显示屏色温漂移补偿方法、装置和系统以及显示控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304706A (ja) 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
WO2005115820A1 (de) * 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
WO2009013073A1 (de) * 2007-07-25 2009-01-29 Robert Bosch Gmbh Kamera
WO2009027134A1 (de) 2007-08-24 2009-03-05 Robert Bosch Gmbh Farbmaske für einen bildsensor einer fahrzeugkamera
DE102008031593A1 (de) * 2008-07-03 2010-01-07 Hella Kgaa Hueck & Co. Kamerasystem für Kraftfahrzeuge und Verfahren zum Darstellen von Bildern mittels eines Kamerasystems

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774988B2 (en) * 2002-07-30 2004-08-10 Gentex Corporation Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing
JP2002026304A (ja) * 2000-07-03 2002-01-25 Sony Corp 固体撮像素子
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP2009198664A (ja) * 2008-02-20 2009-09-03 Fujifilm Corp カラーフィルタ及びその製造方法並びに固体撮像素子
EP4336447A1 (de) * 2008-05-20 2024-03-13 FotoNation Limited Aufnahme und verarbeitung von bildern mittels monolithischer kamera anordnung mit heterogenem bildwandler
JP4618342B2 (ja) * 2008-05-20 2011-01-26 日本テキサス・インスツルメンツ株式会社 固体撮像装置
JP4797049B2 (ja) 2008-08-11 2011-10-19 日立オートモティブシステムズ株式会社 道路標示認識装置
DE102008044325A1 (de) 2008-12-03 2010-06-10 Robert Bosch Gmbh Imager-Halbleiterbauelement, Kameraanordnung und Verfahren zum Regeln eines Imager-Halbleiterbauelementes
EP2380345B1 (de) * 2009-01-16 2016-10-26 Dual Aperture International Co. Ltd. Verbessern der schärfentiefe eines bildgebungssystems
DE102009001122B8 (de) * 2009-02-24 2020-11-26 Robert Bosch Gmbh Kameraanordnung und Verfahren zum Ermitteln von Bildsignalen mit Farbwerten
DE102013001644A1 (de) * 2013-01-31 2014-07-31 Connaught Electronics Ltd. Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004304706A (ja) 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
WO2005115820A1 (de) * 2004-05-25 2005-12-08 Siemens Aktiengesellschaft Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
WO2009013073A1 (de) * 2007-07-25 2009-01-29 Robert Bosch Gmbh Kamera
WO2009027134A1 (de) 2007-08-24 2009-03-05 Robert Bosch Gmbh Farbmaske für einen bildsensor einer fahrzeugkamera
DE102008031593A1 (de) * 2008-07-03 2010-01-07 Hella Kgaa Hueck & Co. Kamerasystem für Kraftfahrzeuge und Verfahren zum Darstellen von Bildern mittels eines Kamerasystems

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014057225A (ja) * 2012-09-12 2014-03-27 Honda Motor Co Ltd 車両用監視装置
JP2014107665A (ja) * 2012-11-27 2014-06-09 Nikon Corp 固体撮像素子、撮像システム、および車両
DE102012024661A1 (de) * 2012-12-17 2014-06-18 Connaught Electronics Ltd. Verfahren zum Weißabgleich einer Bilddarstellung unter Berücksichtigung von Farbwerten ausschließlich einer Untermenge von Bildpunkten, Kamerasystem und Kraftfahrzeug mit einem Kamerasystem
DE102013001644A1 (de) * 2013-01-31 2014-07-31 Connaught Electronics Ltd. Verfahren zum Weißabgleich einer Bilddarstellung und Kamerasystem für ein Kraftfahrzeug
DE102014117711A1 (de) * 2014-12-02 2016-06-02 Connaught Electronics Ltd. Verfahren zum Konvertieren eines ersten Farbbildes in ein zweites Farbbild, Kamerasystem und Kraftfahrzeug

Also Published As

Publication number Publication date
US9883148B2 (en) 2018-01-30
JP2013524664A (ja) 2013-06-17
JP5591395B2 (ja) 2014-09-17
CN102835115A (zh) 2012-12-19
CN102835115B (zh) 2016-01-20
DE102010003668B4 (de) 2020-03-26
DE102010003668A1 (de) 2011-10-13
EP2556676A1 (de) 2013-02-13
US20130027560A1 (en) 2013-01-31

Similar Documents

Publication Publication Date Title
DE102010003668B4 (de) Farbmaske für einen Bildsensor einer Fahrzeugkamera
EP1758783B1 (de) Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge
DE102007034657B4 (de) Bildverarbeitungsvorrichtung
DE102013100327A1 (de) Fahrzeugfahrtumgebungserkennungsvorrichtung
DE102007040114A1 (de) Farbmaske für einen Bildsensor einer Fahrzeugkamera
EP2062198B1 (de) Erkennung von fahrzeuglichtern mit einer kamera
DE102011106052A1 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
EP2367360A2 (de) Verfahren zur Korrektur von Farbfehlern in Bildern von digitalen Farbkameras
DE10203421C1 (de) Automobiles Infrarot-Nachtsichtgerät und automobiles Display
DE102011017582A1 (de) Anordnung zur Erfassung des Tageslichts und System und Verfahren zur tageslichtabhängigen Steuerung
DE102006055905B4 (de) Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug
DE102009036844A1 (de) Belichtungsbestimmungsvorrichtung und Bildverarbeitungsvorrichtung
DE102017116849A1 (de) Indirektes Sichtsystem für ein Fahrzeug
DE102010040191A1 (de) Vorrichtung und Verfahren zur Bildverarbeitung
DE102013106037A1 (de) Bildgebungsvorrichtung, welche ein Festmusterrauschen unterdrückt, das durch einen Bildgebungssensor der Vorrichtung erzeugt wird
DE102019220058A1 (de) Aktiver sensor, objekt-identifikationssystem, fahrzeug und fahrzeuglampe
DE602004003771T2 (de) Verfahren und Vorrichtung zur Farbunterscheidung von Fahrbahnmarkierungen
EP1921567A2 (de) Verfahren zur bildhaften Darstellung einer Fahrzeugumgebung und Bilderfassungssystem
DE102023106944A1 (de) Adaptive farbauswahl für fahrzeug-pfützenleuchten
DE102012215287A1 (de) Verfahren zum Betreiben eines Fahrzeugs
DE102012021736A1 (de) Bildsensor für sichtbares und infrarotes Licht und Kamerasystem
DE102022132691A1 (de) Fahrzeug und steuerungsverfahren dafür
DE102019108454A1 (de) Dynamisches Demosaicing von Kamerapixeln
DE102012202206A1 (de) Bildverarbeitungsvorrichtung und Abstimmungsverfahren
DE102021132644A1 (de) Verfahren zur Farbkalibrierung einer farbauflösenden Kamera für ein Kraftfahrzeug, Steuereinrichtung und Kamera

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180016642.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011705836

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11705836

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13639034

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2013503045

Country of ref document: JP