WO2014044265A1 - Verfahren zur kalibrierung einer farbauflösenden fahrzeugkamera - Google Patents

Verfahren zur kalibrierung einer farbauflösenden fahrzeugkamera Download PDF

Info

Publication number
WO2014044265A1
WO2014044265A1 PCT/DE2013/200117 DE2013200117W WO2014044265A1 WO 2014044265 A1 WO2014044265 A1 WO 2014044265A1 DE 2013200117 W DE2013200117 W DE 2013200117W WO 2014044265 A1 WO2014044265 A1 WO 2014044265A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
signal
vehicle camera
traffic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2013/200117
Other languages
English (en)
French (fr)
Inventor
Stefan Hegemann
Matthias Komar
Stefan LÜKE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Teves AG and Co OHG
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Continental Teves AG and Co OHG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH, Continental Teves AG and Co OHG filed Critical Conti Temic Microelectronic GmbH
Priority to DE112013001958.2T priority Critical patent/DE112013001958A5/de
Publication of WO2014044265A1 publication Critical patent/WO2014044265A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Definitions

  • the invention relates to a method for calibrating a color-resolving vehicle camera, which is used in particular for a driver assistance system.
  • Such vehicle cameras are calibrated at the end of a production line during vehicle production by means of special test objects, wherein both an orientation of a region to be detected and an optimal color detection and a white balance are set.
  • a problem with the color detection by a camera is that the color of an object is not a pure property of the object itself, but is significantly influenced by the transmission and filtering properties of the entire optical chain (windshield, lenses, imagers) and the color temperature of the light sources the object is illuminated.
  • a white road marking also appears yellow when it is illuminated by a yellowish-glowing headlight.
  • a reliable recognition of colors in the world and thus in traffic can be of crucial importance for the function of driver assistance systems such as e.g. one
  • Be traffic sign recognition, automatic light control or a construction site assistant A remedy for this is to perform a so-called white balance, ie to estimate the color temperature of the illumination and to take this influence into account when determining the color of an object.
  • Vehicles usually travel through several different zones with different routes
  • WO 2010/088876 A1 shows a method for calibrating a camera-based system of a vehicle (F) with a pane (S), in particular a camera-based driver assistance system.
  • a type of the disc (S), in particular its tint is detected by means of the camera-based system.
  • a normalization of the color space to white, ie a white balance of the camera-based system can be compared to a camera-based system by comparing white headlights of other vehicles detected by the camera stored standard value of a reference headlight.
  • headlights have a significant dispersion of their spectral composition, from "xenon white” to light yellow, and that headlights can typically be detected only at night.
  • the invention has for its object to provide an improved method for calibrating a color-resolving vehicle camera.
  • An inventive method for calibrating a color-resolving vehicle camera comprises the following steps:
  • At least one image is taken by means of the color-resolving vehicle camera.
  • At least one recorded image is searched for at least one signal of a traffic light and if a potential traffic signal is found in the image, this is classified and verified, so recognized.
  • This step can be carried out in particular by electronic image processing.
  • Under a traffic light signal is the All understood at a time luminous traffic signal colors, so for example only green, but also yellow-red. If no traffic light signal is found in a picture, the procedure continues with a picture taken subsequently.
  • a color calibration, in particular a white balance, of the vehicle camera is performed by comparing the color value of the at least one detected traffic light signal from the recorded image with a reference color value for the color of this traffic signal. If, for example, a green traffic light signal was detected in an image, the color value of this traffic light signal can be compared with a stored reference green (which is typical for green traffic light signals). If, for example, yellow-red was detected as a traffic light signal, the detected red color value can be compared with a reference red or the detected yellow can be compared with a reference yellow or both detected with the respective reference color values.
  • the color calibration of the vehicle camera is preferably carried out by an automatic adaptation of camera or image processing parameters in such a way that the color value of the detected traffic light signal determined after the adaptation agrees with the stored reference color value.
  • traffic lights are an ideal means of color-calibrating vehicle cameras.
  • the color design of the traffic light signals must, for example, in Germany in accordance with the General Administrative Instructions on Road Traffic Regulations (VwV-StVO) from 22 October 1998, in the version of 17 July 2009, to ⁇ 37 in accordance with DIN 6163.
  • the color recognition stability can be increased over the lifetime of a vehicle camera (recalibration of the camera color characteristics). Also in the course of a day can be carried out at different positions of the sun, weather or light conditions (day / night), a recalibration of the color detection. The stability of the color detection can be especially in difficult scenarios such. Construction sites (distinction between yellow and white lane boundary lines) can be increased. The invention therefore offers a very efficient way of optimally calibrating a color-resolving vehicle camera, since this calibration is carried out automatically and can be carried out regularly.
  • a plurality of images are recorded and a plurality of signals of at least one traffic signal color value of one or more traffic lights are detected.
  • Color calibration is performed by comparing at least one average traffic signal color value from the images with a reference color value for the color of that traffic signal.
  • Average value may preferably be for each
  • Traffic light signal color value green, yellow and red
  • green values each as a green traffic light signal were detected, for example, an average green is determined, which is then compared with the stored reference green.
  • the color spectrum of a plurality of detected traffic signal colors can be combined and this averaged value can be used for calibration of the colors or for white balance. This has the advantage that color deviations of individual traffic signals can be compensated.
  • a color calibration is performed with a detected (average) red traffic signal color and a reference color value for red. It is particularly possible to perform a color calibration only by this red comparison. Red is detected by many image sensors, in particular those with a Bayer color filter (RGGB chip), as base color.
  • RGGB chip Bayer color filter
  • a color calibration is performed with a detected (average) green traffic signal color and a green reference color value. It is particularly possible to perform a color calibration only by this green comparison. Green is also detected by many image sensors, in particular those with a Bayer color filter (RGGB chip), as the base color. Preferably, a color calibration is performed with a detected (average) yellow traffic signal color and a reference color value for yellow. In particular, it is possible to carry out a color calibration only by means of this yellow comparison.
  • Yellow plays an important role and so on. in the detection of yellow lane boundary lines (construction sites) or in the detection of traffic signs with yellow contents (for example, priority road sign).
  • the color calibration of the vehicle camera by comparing all simultaneously or successively recorded and detected traffic signal colors from the or the recorded (s) image (s) with the respectively corresponding reference color value for red, yellow and green.
  • the values of traffic signal colors and / or the average value of the traffic signal colors are determined as a function of image position.
  • the invention also relates to a device for calibrating a color-resolving vehicle camera.
  • a means for receiving at least one image by means of the color-resolving vehicle camera a Means for detecting at least one signal of a traffic light in the captured image and a means for color calibration of the vehicle camera by comparing at least one color value of the at least one detected traffic light signal from the recorded image with a reference color value for the color of this traffic signal, wherein the reference color value preferably in a non-volatile memory is deposited.
  • the vehicle camera may preferably have a recording control unit, an image processing unit and a data memory, in which all said means are integrated.
  • Fig. 1 is a schematic representation of a color-resolving camera in a vehicle and Fig. 2 four signals of a traffic light circuit.
  • FIG. 1 shows a schematic representation of a color-resolving camera K in an interior of a vehicle F behind a window S.
  • the camera K is arranged behind a windshield of the vehicle F and directed outwards onto an area in front of the vehicle F.
  • the invention also includes vehicle cameras, which are not arranged in the interior or behind a vehicle window S, so for example, vehicle cameras in the exterior mirror or in the rear bumper.
  • the Vehicle camera K further includes an electronic image processing with a data memory not shown here.
  • FIG. 2 shows four signals or states of a traffic light.
  • the lower, green signal color (G, diagonally ascending hatched) illuminates and the entrance is released.
  • the middle, yellow signal color (Y, diagonally descending hatched) illuminates and the driver should wait for the next signal.
  • the upper, red signal color (R, diagonal lattice-shaped) illuminates and the driver has no permission to enter.
  • Signal 4 illuminates the red and yellow signal colors (R, Y) together, which tells the driver that the entrance is about to be released.
  • a vehicle with a camera (as shown in FIG. 1) frequently passes traffic lights during a journey indicating one of the signals shown in FIG.
  • These traffic light signals are recorded by the camera and can therefore be recognized from the camera images.
  • the image recording frequency is significantly shorter than the traffic signal change frequency.
  • signals are also typically detected and detected by different traffic lights in the course of a journey, since, for example, In cities many intersections of traffic lights are regulated.
  • an average traffic light green value can be determined.
  • an average traffic light red and yellow ⁇ value can also be determined in the same way.
  • the average traffic light green value is compared with a reference green value stored in memory. If a deviation exists between both green values, a need for a color calibration can be determined.
  • the average traffic light red and yellow values may be compared to a reference red value and a reference yellow value. From the size of the deviation of the individual color values, a color space correction can be determined.
  • the color calibration of the vehicle camera is by an automatic adjustment of camera or
  • Image processing parameters carried out such that the color value of the detected traffic light signals determined after the adaptation matches as closely as possible with the stored reference color values.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Kalibrierung einer farbauflösenden Fahrzeugkamera mit den folgenden Schritten: Mittels der farbauflösenden Fahrzeugkamera wird mindestens ein Bild aufgenommen. In dem mindestens einen aufgenommenen Bild wird nach mindestens einem Signal einer Ampel gesucht und sofern ein potentielles Ampelsignal im Bild gefunden wird, wird dieses klassifiziert und verifiziert, also erkannt. Sofern in einem Bild kein Ampelsignal gefunden wird, wird das Verfahren mit einem nachfolgend aufgenommenen Bild fortgesetzt. Eine Farbkalibrierung, insbesondere ein Weißabgleich, der Fahrzeugkamera wird mittels Vergleich des Farbwerts des mindestens einen erkannten Ampelsignals aus dem aufgenommenen Bild mit einem Referenzfarbwert für die Farbe dieses Ampelsignals durchgeführt.

Description

Verfahren zur Kalibrierung einer farbauflösenden
Fahrzeugkamera
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera, die insbesondere für ein Fahrerassistenzsystem genutzt wird.
Üblicherweise werden derartige Fahrzeugkameras am Ende eines Produktionsbandes während der Fahrzeugherstellung mittels spezieller Testobjekte kalibriert, wobei sowohl eine Ausrichtung eines zu erfassenden Bereiches als auch eine optimale Farberfassung und ein Weißabgleich eingestellt werden.
Problematisch bei der Farberfassung durch eine Kamera ist, dass die Farbe eines Objekts keine reine Eigenschaft des Objekts selbst ist, sondern maßgeblich durch die Übertragungs- und Filtereigenschaften der gesamten optischen Kette (Windschutzscheibe, Linsen, Imager) und der Farbtemperatur der Lichtquellen beeinflusst wird, mit der das Objekt beleuchtet wird. So erscheint beispielsweise eine weiße Fahrbahnmarkierung auch gelb, wenn sie von einem gelblich leuchtenden Scheinwerfer angestrahlt wird. Dies kann dazu führen, dass von einem Fahrerassistenzsystem eine fehlerhafte Umfeldinterpretation durchgeführt wird. Eine sichere Erkennung von Farben in der Welt und damit im Verkehr kann von entscheidender Bedeutung für die Funktion von Fahrerassistenzsystemen wie z.B. einer
Verkehrszeichenerkennung, automatischen LichtSteuerung oder einem Baustellenassistenten sein. Eine Abhilfe dafür besteht darin, einen sogenannten Weißabgleich durchzuführen, d. h. die Farbtemperatur der Beleuchtung zu schätzen und diesen Einfluss bei der Farbbestimmung eines Objekts zu berücksichtigen.
Fahrzeuge durchfahren auf einer Fahrt meist mehrere unterschiedliche Zonen mit verschiedenen
Beleuchtungssituationen. Beispielsweise beginnt ein Fahrzeug eine Fahrt in einer mit Neonröhren beleuchteten Tiefgarage, verlässt dann bei sich mit der Tageszeit und Witterung verändernden Tageslicht die Tiefgarage, durchfährt möglicherweise mit Natriumdampflampen ausgestattete Tunnels und kehrt abends bei verschiedenen Straßenbeleuchtungen und unter Einfluss des eigenen Abblendlichts wieder in die Tiefgarage zurück. Für Fahrerassistenzsysteme ergibt sich daraus die Anforderung eines dynamischen Nachführens des Weißabgleichs. Die WO 2010/088876 AI zeigt ein Verfahren zur Kalibrierung eines kamerabasierten Systems eines Fahrzeugs (F) mit einer Scheibe (S), insbesondere eines kamerabasierten Fahrerassistenzsystems. Hierbei wird ein Typ der Scheibe (S), insbesondere dessen Tönung, mittels des kamerabasierten Systems erkannt. Eine Normierung des Farbraums auf Weiß, d. h. ein Weißabgleich des kamerabasierten Systems kann durch einen Vergleich von weißen Scheinwerferlichtern anderer Fahrzeuge, die von der Kamera erfasst werden, mit einem im kamerabasierten System gespeicherten Normwert eines Referenz-Scheinwerferlichts erfolgen .
Nachteilig ist bei dem bekannten Verfahren, dass Scheinwerferlichter eine deutliche Streuung ihrer spektralen Zusammensetzung aufweisen, von „Xenonweiß" bis hellgelb, und dass Scheinwerferlichter typischerweise nur nachts detektiert werden können.
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera anzugeben.
Die Aufgabe wird erfindungsgemäß durch die Merkmale der unabhängigen Ansprüche gelöst.
Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Ein erfindungsgemäßes Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera umfasst die folgenden Schritte :
Mittels der farbauflösenden Fahrzeugkamera wird mindestens ein Bild aufgenommen.
In dem mindestens einen aufgenommenen Bild wird nach mindestens einem Signal einer Ampel gesucht und sofern ein potentielles Ampelsignal im Bild gefunden wird, wird dieses klassifiziert und verifiziert, also erkannt. Dieser Schritt kann insbesondere von einer elektronischen Bildverarbeitung durchgeführt werden. Unter einem Ampelsignal wird die Gesamtheit der zu einem Zeitpunkt leuchtenden Ampelsignalfarben verstanden, also z.B. nur grün, aber auch gelb-rot. Sofern in einem Bild kein Ampelsignal gefunden wird, wird das Verfahren mit einem nachfolgend aufgenommenen Bild fortgesetzt.
Eine Farbkalibrierung, insbesondere ein Weißabgleich, der Fahrzeugkamera wird mittels Vergleich des Farbwerts des mindestens einen erkannten Ampelsignals aus dem aufgenommenen Bild mit einem Referenzfarbwert für die Farbe dieses Ampelsignals durchgeführt. Wenn beispielsweise ein grünes Ampelsignal in einem Bild erkannt wurde, kann der Farbwert dieses Ampelsignals mit einem hinterlegten Referenzgrün (das typisch für grüne Ampelsignale ist) verglichen werden. Wenn beispielsweise gelb-rot als Ampelsignal erkannt wurde, kann der detektierte rote Farbwert mit einem Referenzrot oder der detektierte gelbe mit einem Referenzgelb verglichen werden oder beide detektierten mit den jeweiligen Referenzfarbwerten.
Die Farbkalibrierung der Fahrzeugkamera wird vorzugsweise durch eine automatische Anpassung von Kamera- bzw. Bildverarbeitungsparametern derart vorgenommen, dass der nach der Anpassung ermittelte Farbwert des detektierten Ampelsignals mit dem gespeicherten Referenzfarbwert übereinstimmt .
Da Fahrzeuge regelmäßig an Ampeln vorbeifahren und die Signalleuchten von Ampeln definierte Farbsignale ausstrahlen, sind Ampeln ein ideales Mittel für die Farbkalibrierung von Fahrzeugkameras . Die Farbgestaltung der Ampelsignale muss sich z.B. in Deutschland gemäß der Allgemeinen Verwaltungsvorschrift zur Straßenverkehrs-Ordnung (VwV-StVO) vom 22. Oktober 1998, in der Fassung vom 17. Juli 2009, zu §37 nach DIN 6163 richten.
Durch die Erfindung kann die Farberkennungsstabilität über die Lebenszeit einer Fahrzeugkamera erhöht werden (Nachkalibrierung der Kamerafarbkennlinien) . Auch im Verlauf eines Tages kann bei verschiedenen Sonnenständen, Witterungs- oder Lichtbedingungen (Tag/Nacht) eine Nachkalibrierung der Farberkennung durchgeführt werden. Die Stabilität der Farberkennung kann gerade in schwierigen Szenarien wie z.B. Baustellen (Unterscheidung zwischen gelben und weißen Fahrspurbegrenzungslinien) erhöht werden. Die Erfindung bietet also auf einfache Weise eine sehr effiziente Möglichkeit einer optimalen Kalibrierung einer farbauflösenden Fahrzeugkamera, da diese Kalibrierung automatisch durchgeführt wird und regelmäßig durchführbar ist .
In einer vorteilhaften Ausführungsform werden mehrere Bilder aufgenommen und mehrere Signale mindestens eines Ampelsignalfarbwerts von einer oder mehreren Ampeln erkannt. Die Farbkalibrierung wird mittels Vergleich mindestens eines durchschnittlichen Ampelsignalfarbwerts aus den Bildern mit einem Referenzfarbwert für die Farbe dieses Ampelsignals durchgeführt. Ein solcher
Durchschnittswert kann vorzugsweise für jeden
Ampelsignalfarbwert (grün, gelb und rot) gebildet werden. Aus mehreren Grünwerten, die jeweils als grünes Ampelsignal erkannt wurden, wird beispielsweise ein Durchschnittsgrün ermittelt, das dann mit dem gespeicherten Referenzgrün verglichen wird.
Dadurch kann insbesondere das Farbspektrum von mehreren erkannten Ampelsignalfarben zusammengefasst werden und dieser gemittelte Wert zur Kalibrierung der Farben bzw. zum Weißabgleich verwendet werden. Dies hat den Vorteil, dass farbliche Abweichungen einzelner Ampelsignale kompensiert werden können.
Bevorzugt wird eine Farbkalibrierung mit einer erkannten (durchschnittlichen) roten Ampelsignalfarbe und einem Referenzfarbwert für rot durchgeführt. Es ist insbesondere möglich nur durch diesen Rotvergleich eine Farbkalibrierung durchzuführen. Rot wird von vielen Bildsensoren, insbesondere solchen mit einem Bayer-Farbfilter (RGGB- Chip) , als Grundfarbe detektiert.
Rot spielt eine wichtige Rolle u.a. bei der Erkennung von Rücklichtern vorausfahrender Fahrzeuge oder bei der Erkennung von Verkehrszeichen mit roten Inhalten (Geschwindigkeitsbeschränkung-, Überholverbots-, Vorfahrt- Achten-Schildern usw.).
Vorteilhaft wird eine Farbkalibrierung mit einer erkannten (durchschnittlichen) grünen Ampelsignalfarbe und einem Referenzfarbwert für grün durchgeführt. Es ist insbesondere möglich nur durch diesen Grünvergleich eine Farbkalibrierung durchzuführen. Grün wird ebenfalls von vielen Bildsensoren, insbesondere solchen mit einem Bayer-Farbfilter (RGGB-Chip) , als Grundfarbe detektiert. Bevorzugt wird eine Farbkalibrierung mit einer erkannten (durchschnittlichen) gelben Ampelsignalfarbe und einem Referenzfarbwert für gelb durchgeführt. Es ist insbesondere möglich nur durch diesen Gelbvergleich eine Farbkalibrierung durchzuführen.
Gelb spielt eine wichtige Rolle u.a. bei der Erkennung von gelben Fahrspurbegrenzungslinien (Baustellen) oder bei der Erkennung von Verkehrszeichen mit gelben Inhalten (z.B. Vorfahrtsstraßenschild) .
Gemäß einer vorteilhaften Ausführungsform wird die Farbkalibrierung der Fahrzeugkamera durch Vergleichen aller zeitgleich oder nacheinander aufgenommenen und erkannten Ampelsignalfarben aus dem oder den aufgenommenen (en) Bild(ern) mit dem jeweils entsprechenden Referenzfarbwert für rot, gelb und grün.
In einer Weiterbildung der Erfindung werden die Werte von Ampelsignalfarben und/oder der Durchschnittswert der Ampelsignalfarben bildpositionsabhängig ermittelt.
Hierdurch werden die Korrelation der Bildposition mit der Distanz und die Abhängigkeit der Helligkeit der Ampelsignale von der Distanz berücksichtigt.
Die Erfindung betrifft zudem eine Vorrichtung zur Kalibrierung einer farbauflösenden Fahrzeugkamera . Vorgesehen ist ein Mittel zur Aufnahme mindestens eines Bilds mittels der farbauflösenden Fahrzeugkamera, ein Mittel zur Erkennung mindestens eines Signals einer Ampel in dem aufgenommenen Bild und ein Mittel zur Farbkalibrierung der Fahrzeugkamera mittels Vergleich mindestens eines Farbwerts des mindestens einen erkannten Ampelsignals aus dem aufgenommenen Bild mit einem Referenzfarbwert für die Farbe dieses Ampelsignals, wobei der Referenzfarbwert vorzugsweise in einem nichtflüchtigen Datenspeicher hinterlegt ist. Die Fahrzeugkamera kann vorzugsweise über eine Aufnahmesteuerungseinheit, eine Bildverarbeitungseinheit und einen Datenspeicher verfügen, in die sämtliche genannten Mittel integriert sind.
Die Erfindung wird im Folgenden anhand von Figuren und Ausführungsbeispielen erläutert.
Dabei zeigen:
Fig. 1 eine schematische Darstellung einer farbauflösenden Kamera in einem Fahrzeug und Fig. 2 vier Signale einer Ampelschaltung.
Figur 1 zeigt eine schematische Darstellung einer farbauflösenden Kamera K in einem Innenraum eines Fahrzeugs F hinter einer Scheibe S. Im hier dargestellten Ausführungsbeispiel ist die Kamera K hinter einer Frontscheibe des Fahrzeugs F angeordnet und nach außen auf einen Bereich vor dem Fahrzeug F gerichtet. Die Erfindung schließt aber auch Fahrzeugkameras ein, die nicht im Innenraum bzw. hinter einer Fahrzeugscheibe S angeordnet sind, also beispielsweise auch Fahrzeugkameras im Außenspiegel oder im Bereich der Heckstoßstange. Die Fahrzeugkamera K umfasst des Weiteren eine hier nicht näher dargestellte elektronische Bildverarbeitung mit einem Datenspeicher . Figur 2 zeigt vier Signale bzw. Zustände einer Ampel.
Bei Signal 1 leuchtet die untere, grüne Signalfarbe (G, diagonal aufsteigend schraffiert) und die Einfahrt ist freigegeben. Bei Signal 2 leuchtet die mittlere, gelbe Signalfarbe (Y, diagonal absteigend schraffiert) und der Fahrer soll auf das nächste Signal warten. Bei Signal 3 leuchtet die obere, rote Signalfarbe (R, diagonal gitterförmig schaffiert) und der Fahrer hat keine Einfahrerlaubnis . In manchen Ländern leuchten bei Signal 4 die rote und die gelbe Signalfarbe (R, Y) gemeinsam, wodurch der Fahrer weiß, dass die Einfahrt gleich freigegeben wird.
Ein Fahrzeug mit einer Kamera (wie in Fig. 1 dargestellt) passiert während einer Fahrt häufig Ampeln, die eines der in Fig. 2 dargestellten Signale anzeigen. Diese Ampelsignale werden von der Kamera aufgenommen und können daher aus den Kamerabildern erkannt werden. Dabei werden zum einem von einem Ampelsignal mehrere Bilder aufgenommen, da die Bildaufnahmefrequenz deutlich kürzer ist als die Ampelsignalwechselfrequenz. Zum anderen werden typischerweise auch im Laufe einer Fahrt von verschiedenen Ampeln Signale detektiert und erkannt, da z.B. in Städten viele Kreuzungen von Ampelschaltungen reguliert sind.
Aus allen erkannten Bildfarbwerten, die bei der Erkennung einem grünen Ampelsignal (G) zugeordnet werden konnten, kann so ein durchschnittlicher Ampel-Grünwert ermittelt werden. Für die beiden anderen Ampelsignalfarben kann auf gleiche Weise ebenfalls ein durchschnittlicher Ampel-Rot¬ bzw. Gelbwert ermittelt werden. Der durchschnittliche Ampel-Grünwert wird verglichen mit einem Referenz-Grünwert, der einem Speicher hinterlegt ist. Sofern zwischen beiden Grünwerten eine Abweichung vorliegt, kann ein Bedarf einer Farbkalibrierung festgestellt werden. Genauso können der durchschnittliche Ampel-Rot- und Gelbwert mit einem Referenz-Rotwert und einem Referenz-Gelbwert verglichen werden. Aus der Größe der Abweichung der einzelnen Farbwerte kann eine Farbraumkorrektur ermittelt werden.
Die Farbkalibrierung der Fahrzeugkamera wird durch eine automatische Anpassung von Kamera- bzw.
Bildverarbeitungsparametern (Farbraumkorrektur) derart durchgeführt, dass der nach der Anpassung ermittelte Farbwert der detektierten Ampelsignale mit den gespeicherten Referenzfarbwerten möglichst genau übereinstimmt .
Bezugs zeichenliste
F Fahrzeug
K Kamera
S Scheibe
R Rot
Y Gelb
G Grün
1 Signal 1 (Einfahrt frei)
2 Signal 2 (Nächstes Signal abwarten)
3 Signal 3 (Einfahrt untersagt)
4 Signal 4 (Einfahrt wird in Kürze freigegeben)

Claims

Patentansprüche
1. Verfahren zur Kalibrierung einer farbauflösenden
Fahrzeugkamera (K) umfassend die Schritte:
- Aufnahme mindestens eines Bilds mittels der
farbauflösenden Fahrzeugkamera (K)
- Erkennung mindestens eines Signals (R, Y, G) einer Ampel in dem aufgenommenen Bild und
- Farbkalibrierung der Fahrzeugkamera (K) mittels Vergleich mindestens eines Farbwerts des mindestens einen erkannten Ampelsignals (R, Y, G) aus dem aufgenommenen Bild mit einem Referenzfarbwert für die Farbe dieses Ampelsignals.
2. Verfahren nach Anspruch 1,
wobei mehrere Bilder aufgenommen werden, mehrere Signale (R, Y, G) von einer oder mehreren Ampeln erkannt werden, und die Farbkalibrierung mittels Vergleich mindestens eines durchschnittlichen Ampelsignalfarbwerts aus den Bildern mit einem Referenzfarbwert für die Farbe dieses Ampelsignals.
3. Verfahren nach Anspruch 1 oder 2,
wobei eine Farbkalibrierung mit einem Referenzfarbwert für rot durchgeführt wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Farbkalibrierung mit einem Referenzfarbwert für grün durchgeführt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Farbkalibrierung mit einem Referenzfarbwert für gelb durchgeführt wird.
6. Verfahren nach Anspruch 1 oder 2,
wobei durch Vergleichen aller zeitgleich oder nacheinander aufgenommenen und erkannten Ampelsignalfarben (R, Y, G) aus dem oder den aufgenommenen (en) Bild(ern) mit dem jeweils entsprechenden Referenzfarbwert für rot, gelb und grün die Farbkalibrierung der Fahrzeugkamera (K) durchgeführt wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Farbwert des mindestens einen Ampelsignals und/oder der Durchschnittsfarbwert des mindestens einen Ampelsignals bildpositionsabhängig ermittelt wird.
8. Vorrichtung zur Kalibrierung einer farbauflösenden Fahrzeugkamera (K) umfassend:
- Mittel zur Aufnahme mindestens eines Bilds mittels der farbauflösenden Fahrzeugkamera (K)
- Mittel zur Erkennung mindestens eines Signals (R, Y, G) einer Ampel in dem aufgenommenen Bild und
- Mittel zur Farbkalibrierung der Fahrzeugkamera (K) mittels Vergleich mindestens eines Farbwerts des mindestens einen erkannten Ampelsignals (R, Y, G) aus dem
aufgenommenen Bild mit einem Referenzfarbwert für die Farbe dieses Ampelsignals.
PCT/DE2013/200117 2012-09-20 2013-08-09 Verfahren zur kalibrierung einer farbauflösenden fahrzeugkamera Ceased WO2014044265A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112013001958.2T DE112013001958A5 (de) 2012-09-20 2013-08-09 Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012108861.6A DE102012108861A1 (de) 2012-09-20 2012-09-20 Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera
DE102012108861.6 2012-09-20

Publications (1)

Publication Number Publication Date
WO2014044265A1 true WO2014044265A1 (de) 2014-03-27

Family

ID=49150726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2013/200117 Ceased WO2014044265A1 (de) 2012-09-20 2013-08-09 Verfahren zur kalibrierung einer farbauflösenden fahrzeugkamera

Country Status (2)

Country Link
DE (2) DE102012108861A1 (de)
WO (1) WO2014044265A1 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023452A (zh) * 2014-04-24 2015-11-04 深圳市赛格导航科技股份有限公司 一种多路交通信号灯信号采集的方法及装置
CN105719365A (zh) * 2016-02-14 2016-06-29 海安欣凯富机械科技有限公司 汽车的行车记录的影像的红、绿、蓝三基色混合程度的调整方法
CN105760873A (zh) * 2016-02-14 2016-07-13 海安欣凯富机械科技有限公司 汽车的行车记录仪
CN105761327A (zh) * 2016-02-14 2016-07-13 海安欣凯富机械科技有限公司 汽车的行车记录仪
CN110249338A (zh) * 2017-02-10 2019-09-17 法国大陆汽车公司 用于检测与交通信号灯相关的假阳性误报的方法
US20200034988A1 (en) * 2018-07-30 2020-01-30 Pony Ai Inc. System and method for calibrating on-board vehicle cameras
EP3876527A1 (de) * 2020-03-06 2021-09-08 Nintendo Co., Ltd. Informationsverarbeitungssystem, informationsverarbeitungsvorrichtung, informationsverarbeitungsprogramm und informationsverarbeitungsverfahren

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015016409A1 (de) * 2015-12-18 2017-06-22 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren und Vorrichtung zum Prüfen der Tag-/Nachterkennung
DE102016013538A1 (de) 2016-11-14 2017-05-18 Daimler Ag Verfahren zur Farbklassifizierung eines Objekts im Umfeld eines Kraftwagens
DE102021132644A1 (de) 2021-12-10 2023-06-15 Valeo Schalter Und Sensoren Gmbh Verfahren zur Farbkalibrierung einer farbauflösenden Kamera für ein Kraftfahrzeug, Steuereinrichtung und Kamera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1335586A2 (de) * 2002-02-08 2003-08-13 Taisei Corporation Bilderzeugungsverfahren und -System
EP1591316A2 (de) * 2004-04-28 2005-11-02 Robert Bosch Gmbh Bildaufnahmesystem
EP2200329A1 (de) * 2008-12-12 2010-06-23 Tektronix, Inc. Verfahren und Vorrichtung für den automatischen Lichtquellenausgleich in der Videoüberwachung
WO2010088876A1 (de) 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren zur kalibrierung eines kamerabasierten systems
JP2012008845A (ja) * 2010-06-25 2012-01-12 Konica Minolta Opto Inc 画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060125939A (ko) * 2005-06-01 2006-12-07 엘지전자 주식회사 이동통신 단말기를 이용한 신호등 색상 알림 방법
DE102009047437A1 (de) * 2009-12-03 2011-06-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Anpassung von Bildinformationen eines optischen Systems
DE102010003668B4 (de) * 2010-04-07 2020-03-26 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1335586A2 (de) * 2002-02-08 2003-08-13 Taisei Corporation Bilderzeugungsverfahren und -System
EP1591316A2 (de) * 2004-04-28 2005-11-02 Robert Bosch Gmbh Bildaufnahmesystem
EP2200329A1 (de) * 2008-12-12 2010-06-23 Tektronix, Inc. Verfahren und Vorrichtung für den automatischen Lichtquellenausgleich in der Videoüberwachung
WO2010088876A1 (de) 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren zur kalibrierung eines kamerabasierten systems
DE102009007840A1 (de) * 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren zur Kalibrierung eines kamerabasierten Systems
JP2012008845A (ja) * 2010-06-25 2012-01-12 Konica Minolta Opto Inc 画像処理装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023452A (zh) * 2014-04-24 2015-11-04 深圳市赛格导航科技股份有限公司 一种多路交通信号灯信号采集的方法及装置
CN105719365A (zh) * 2016-02-14 2016-06-29 海安欣凯富机械科技有限公司 汽车的行车记录的影像的红、绿、蓝三基色混合程度的调整方法
CN105760873A (zh) * 2016-02-14 2016-07-13 海安欣凯富机械科技有限公司 汽车的行车记录仪
CN105761327A (zh) * 2016-02-14 2016-07-13 海安欣凯富机械科技有限公司 汽车的行车记录仪
CN110249338A (zh) * 2017-02-10 2019-09-17 法国大陆汽车公司 用于检测与交通信号灯相关的假阳性误报的方法
CN110249338B (zh) * 2017-02-10 2023-10-31 法国大陆汽车公司 用于检测与交通信号灯相关的假阳性误报的方法
WO2020028219A1 (en) * 2018-07-30 2020-02-06 Pony Ai Inc. System and method for calibrating on-board vehicle cameras
US10719957B2 (en) 2018-07-30 2020-07-21 Pony Ai Inc. System and method for calibrating on-board vehicle cameras
CN113170079A (zh) * 2018-07-30 2021-07-23 小马智行 用于校准车载摄像头的系统和方法
US20200034988A1 (en) * 2018-07-30 2020-01-30 Pony Ai Inc. System and method for calibrating on-board vehicle cameras
EP3876527A1 (de) * 2020-03-06 2021-09-08 Nintendo Co., Ltd. Informationsverarbeitungssystem, informationsverarbeitungsvorrichtung, informationsverarbeitungsprogramm und informationsverarbeitungsverfahren
US11457190B2 (en) 2020-03-06 2022-09-27 Nintendo Co., Ltd. Information processing system, information processing apparatus, and information processing method
EP4411649A3 (de) * 2020-03-06 2024-10-09 Nintendo Co., Ltd. Informationsverarbeitungssystem, informationsverarbeitungsvorrichtung, informationsverarbeitungsprogramm und informationsverarbeitungsverfahren

Also Published As

Publication number Publication date
DE102012108861A1 (de) 2014-05-28
DE112013001958A5 (de) 2014-12-18

Similar Documents

Publication Publication Date Title
DE102012108861A1 (de) Verfahren zur Kalibrierung einer farbauflösenden Fahrzeugkamera
DE102013100327B4 (de) Fahrzeugfahrtumgebungserkennungsvorrichtung
EP2718869A2 (de) Verfahren und vorrichtung zur erkennung von objekten in einem umfeld eines fahrzeugs
DE102007032075A1 (de) System, Verfahren und Programmprodukt zur Erfassung von Fahrzeugen
EP2773531B1 (de) Verfahren und vorrichtung zur gruppierung von beleuchtungseinheiten
DE102011081392A1 (de) Verfahren zur Bestimmung einer Leuchtweite zumindest eines Scheinwerfers und Verfahren zur Kalibrierung einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
DE102009048849A1 (de) Fahrzeugerfassungseinrichtung, Fahrzeugerfassungsprogramm und Lichtregelungseinrichtung
DE102008001551A1 (de) Vorrichtung und Verfahren zum automatischen Einstellen der Leuchtdichte eines von einer Beleuchtungseinrichtung eines Fahrzeuges ausgesandten Lichtbündels in Abhängigkeit von der Sichtweite
DE102011081362A1 (de) Verfahren und Vorrichtung zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn
EP2062198B1 (de) Erkennung von fahrzeuglichtern mit einer kamera
WO2001021438A1 (de) Kraftfahrzeugsensoranordnung zur umgebungserfassung
DE102015207543A1 (de) Vorrichtung und Verfahren zum Steuern eines Fahrzeugscheinwerfers eines Kraftfahrzeuges
DE102013210097A1 (de) Fahrerinformationseinrichtung
DE102008031861B4 (de) Spursensor zur Erkennung von optischen Marken auf einer Bahn
DE102018122240B4 (de) Angepasste konvoiausleuchtung
EP2415020B1 (de) Verfahren und vorrichtung zur fahrspurerkennung
EP1591316B1 (de) Bildaufnahmesystem
EP2562685B1 (de) Verfahren und Vorrichtung zur Klassifizierung eines sich in einem Vorfeld eines Fahrzeugs befindlichen Lichtobjekts
DE102007051268A1 (de) Anordnung für Kraftfahrzeuge zum Erkennen der Umgebungshelligkeit während der Fahrt des Kraftfahrzeuges
DE102015209983A1 (de) Steuervorrichtung für ein Fahrzeug und Verfahren
DE102020111861A1 (de) Verfahren und System zum automatischen Bestimmen eines Anzeigestatus einer Verkehrssignalanlage
DE102012108860A1 (de) Verfahren zur Durchführung eines automatischen Farbabgleichs einer fahrzeuggebundenen Farbkamera
DE102013223699A1 (de) Filteranordnung und Verfahren zum Herstellen einer Filteranordnung
DE102011076341B4 (de) Verfahren zum Steuern der Lichtfunktion eines Fahrzeuges und Fahrzeug mit einem Fahrerassistenzsystem zum Durchführen des Verfahrens
DE102012020412A1 (de) Verfahren zur Erkennung einer nächtlichen Ortsfahrt eines Fahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13759661

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112013001958

Country of ref document: DE

Ref document number: 1120130019582

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112013001958

Country of ref document: DE

Effective date: 20141218

122 Ep: pct application non-entry in european phase

Ref document number: 13759661

Country of ref document: EP

Kind code of ref document: A1