WO2014044264A1 - Verfahren zur durchführung eines automatischen farbabgleichs einer fahrzeuggebundenen farbkamera - Google Patents

Verfahren zur durchführung eines automatischen farbabgleichs einer fahrzeuggebundenen farbkamera Download PDF

Info

Publication number
WO2014044264A1
WO2014044264A1 PCT/DE2013/200116 DE2013200116W WO2014044264A1 WO 2014044264 A1 WO2014044264 A1 WO 2014044264A1 DE 2013200116 W DE2013200116 W DE 2013200116W WO 2014044264 A1 WO2014044264 A1 WO 2014044264A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
characteristic value
vehicle
color characteristic
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2013/200116
Other languages
English (en)
French (fr)
Inventor
Matthias Zobel
Steen Kristensen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE112013001955.8T priority Critical patent/DE112013001955A5/de
Publication of WO2014044264A1 publication Critical patent/WO2014044264A1/de
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals

Definitions

  • the invention relates to a method for carrying out an automatic color matching of a vehicle-mounted Jardinauf recording system with a color camera and a ob ect recognition unit according to the preamble of claim 1 and the Pa ⁇ tent tapes 10th
  • Automatic camera-based driver assistance systems use a camera to record the vehicle environment, interpret the recorded image data and then determine a system-specific reaction.
  • a problem with the color characterization is that the color of an object is not a pure property of the object itself, but is significantly influenced by the transmission and filter properties of the entire optical chain (windscreen, lenses, imagers) and the color temperature of the light sources with which Object illuminated For example, a white road marking also appears yellow when it is illuminated by a yellowish glowing headlights. This can lead to a faulty environment interpretation being carried out by a driver assistance system.
  • a remedy for this is to perform a so-called white balance, ie to estimate the color temperature of the illumination and to take this influence into account when determining the color of an object.
  • From DE 10 2009 007 840 Al a method for calibrating a camera-based system of a vehicle with a windshield is described, which automatically detects when replacing the windshield its type, in particular its tint, ie the color value and the degree of tinting. This is done by performing an automatic comparison of values determined by means of the camera-based system, for example brightness values and / or color values with corresponding stored data. For this purpose, appropriate roadway sections are determined because road surfaces have a color largely matching surface. Furthermore, it is proposed in this DE 10 2009 007 840 AI, additionally or alternatively to determine in the dark values of the headlight of oncoming vehicles, since such headlights internationally standardized white to light yellow.
  • An average value of the headlamp beam is formed and compared with egg ⁇ nem stored in the camera-based system standard value of a reference headlight from the determined values.
  • an automatic white balance may be performed by automatically adjusting the parameters of the system after comparing the average value of the headlamp beam with the reference headlamp standard value stored in the camera-based system in the event of a deviation, so that the value obtained after the adaptation
  • Average value of the headlight light with the stored ⁇ norm value coincides.
  • this white balance can only be performed at night.
  • the object of the invention is therefore to provide a method of the type mentioned, with which the above drawback is avoided, in particular that under all lighting conditions of the vehicle environment particularly color-accurate image data can be generated in the subsequent image analysis higher security in terms of object detection with a low probability of error.
  • Such a method according to the first-mentioned solution to conduct an automatic color balance of a vehicle-mounted image pickup system with a color camera and a Whether ekterkennungsech for detecting objects in the vehicle surroundings of a vehicle, is characterized according to the invention is characterized in that are recognized by the object recognition unit Ver ⁇ traffic signs from a by the object recognition unit at least recognized traffic signs
  • Color characteristic value is determined, the determined
  • Color characteristic value is compared with a in a storage means from ⁇ specified standard color characteristic value and a correction value is determined in a deviation, and means the correction value, a color balance of the image data generated by the color camera is performed.
  • the actual color characteristic that is, for example, the color temperature of the ambient lighting of the vehicle environment is continuously determined on the basis of traffic signs as objects of the vehicle environment, which were recognized by a traffic sign recognition and whose color characteristic, ie their color temperature is known, since the color design the traffic sign of the administrative regulation
  • Color characteristic value can be determined in order to achieve a high detection reliability of the actual color temperature of the detected objects in the vehicle environment and thus to improve the classification of the same.
  • Color characteristic value list filed with traffic signs where ⁇ at least one standard color characteristic value is assigned to each traffic sign. So that the color characteristic values of the corresponding color or colors can exactly according to DIN 6171 from the administrative regulation "supervisory ⁇ colors for traffic sign colors and color boundaries" are stored.
  • a pattern recognition algorithm is used in the object recognition unit for recognizing traffic facilities, preferably guide posts.
  • the color characteristic value of the color white is used for a white balance as color balance and / or the color black for the color balance.
  • a pattern recognition algorithm is used for the detection of highway signage.
  • the color characteristic value of the background color of the highway signage preferably the color blue, is used for color matching for this purpose.
  • the method according to the second mentioned solution to conduct an automatic color balance of a comparativelygebunde ⁇ NEN image recording system with a color camera and a Whether ⁇ jekterkennungsappel for detecting objects in the vehicle ⁇ environment of a vehicle is characterized according to the invention is characterized in that registration plate by means of the object detection unit Signs recognized by the vehicle environment detected vehicles, detected by the recognized license plate of a vehicle at least one color characteristic value and means of text and pattern recognition the motor vehicle license plate is determined by comparing the determined motor vehicle license plate with stored in a storage means Nationality ⁇ label and country-specific standard color characteristic values a standard color characteristic value of the identified license plate is determined, the color characteristic value detected by the identified license plate is compared with the standard color characteristic value and a correction value is determined in the event of a deviation, and by means of the correction value a color balance of the Color camera generated image data is performed.
  • the country-specific license plates of vehicles must be designed in certain colors, so that with knowledge of the detected from the license plate license plate ⁇ associated state and the color of the license plate, commonly referred to as a license plate known is.
  • the country-specific colors can be stored as standard color characteristic values in a storage means and accessed to compare a detected one of a recognized license plate
  • the color characteristic value with the corresponding standard color characteristic value to perform a color balance.
  • the color temperature of the ambient illumination of the vehicle environment is also in this method, the actual color ⁇ characteristic, ie, for example.
  • the second-mentioned solution it is provided that in the storage means a color characteristic value list of country speci ⁇ fischen license plates of vehicles is stored, wherein each license plate of a state at least one
  • Standard color characteristic value is assigned. This allows the exact color characteristic values of the corresponding colors of the national license plates to be stored. It is particularly advantageous if, according to a further embodiment of the invention, the color characteristic value of the color blue is used for color matching when recognizing a euro license plate. This color is useful because the standard design of the EU symbol consists of a blue stripe on the left side of the license plate or license plate.
  • Fig. 1 is a schematic representation of a vehicle with an image recording system to explain the method of the invention
  • Fig. 2 is a flowchart for performing an automatic color balance by means of the vehicle-mounted image pickup system of Figure 1 as the execution ⁇ example according to the invention.
  • FIG. 10 The vehicle diagrammatically illustrated in Figure 1 10, and in particular ⁇ sondere a motor vehicle comprising an imaging system 1 with a color camera 2, a Whether ekterkennungsaku 3 for detecting objects, in particular traffic signs and license plates of vehicles, wherein the object detection unit 3, a memory 4 is associated with ,
  • the object detection unit on a classifier with a means of a pattern recognition algorithm Classification is made with respect to recognized structures and colors of objects detected in the image data generated by the color camera 2.
  • traffic signs and license plates but also other objects such as lane markings, lane boundaries preceding vehicles, taillights, headlights, etc. can be detected.
  • the vehicle 10 includes a display 5, which represents, for example. A portion of a central display and control unit of the driving ⁇ zeugs 10 or a combination instrument of the vehicle 10 showing the detected by the object detection unit 3 Whether ⁇ projects, in particular the recognized traffic signs and therefore connected with the same. Furthermore, the information regarding the detected traffic sign and / or further identified in the vehicle environment objects are supplied to a driver assistance system 6, which adjusting organs ⁇ 6a drives in turn tenzfunktion implementing the corresponding Advanced Driver.
  • the driver assistance system 6, to which the information about speed-limiting traffic signs are supplied, make an automatic adjustment of the current speed of the vehicle 10 to the detected maximum speed via the control of the actuators 6a.
  • This driver assistance system 6 can also be embodied as a lane departure warning system, to which the information required for the tracking with respect to recognized lane markings or lane boundaries is supplied, and possibly interferes with the braking and / or steering system of the vehicle 10 via the actuators 6a.
  • the former method therefore uses traffic signs for color matching or white balance, since their colors are prescribed in accordance with the administrative provision "supervisory colors for traffic sign colors and color boundaries" (DIN 6171) and can therefore vary only within narrow limits.
  • DIN 6171 the administrative provision
  • the Farbcharak- teristics that is, the color temperatures of the colors of a traffic sign known and can therefore be used as a reference value, hereinafter standard color characteristic value.
  • a deviation of a color temperature value determined from the image data of such a traffic sign as
  • Color characteristic value of this reference value is closed to the presence of a color light source or mixtures of different light sources whose color temperature can be determined as a color characteristic value directly from the deviation from the standard color characteristic value and used to correct the color interpretation of the vehicle environment in terms of color balance or white balance can be.
  • the method of automatically color balance or white balance of Figure 2 begins with a first procedure ⁇ step Sl, wherein the vehicle environment is detected by means of Farbka ⁇ ra. 2 Subsequently, according to method step S2 for locating and detecting traffic signs in the vehicle environment, the image data generated by the color camera 2 are evaluated by the object recognition unit 3 and by means of the classifier 3a an O ektklasso performed.
  • the color characteristic of the recognized road sign is determined, that is the color characteristic values, that the color values determined.
  • the color characteristic values that the color values determined.
  • the color red may be of such a traffic sign ⁇ determined as a circular ring.
  • Color characteristic value for the color white is compared in a Ver ⁇ step S5 with the associated standard color characteristic value of the detected traffic sign associated white color. If a match exists within a predetermined tolerance between these two values, the method ends with method step S8 and a return to method step S1.
  • a correction value is determined in a further method step S6 is performed with in a subsequent process step S7, a white balance that is generated by the Farbka ⁇ ra 2 Image data are corrected for color interpretation by means of this correction value.
  • the method steps S4 to S8 can also be carried out with the color red of the recognized traffic sign for color matching. It is also possible to determine the color characteristic values for both colors white and red, and to determine a common correction value for a deviation from the standard color characteristic values.
  • a white balance can also be performed with the color white of guide posts, which represent traffic facilities, if such guide posts are recognized as lane boundaries by the object recognition unit 3.
  • the method for carrying out an automatic Farbab- equalization can be carried out with the color black as a font color of the detected traffic sign or a color of the black of the bars of a marker post when the corresponding ⁇ de standard color characteristic value in the
  • the color blue suitable if, for example, motorway signs are recognized as traffic signs whose background color is blue.
  • the method according to the invention can be used with all colors used for traffic signs in accordance with the administrative specification "supervisory colors for traffic sign colors and color boundaries" (DIN 6171) for carrying out a dyeing or dyeing process.
  • the inventive method is particularly easy and inexpensive to implement in a vehicle, if this
  • the method for automatic color matching or white balance on the basis of recognized license plates of vehicles begins according to Figure 2 with a first process step Sl, in which the vehicle environment is detected by the Farbka ⁇ mera 2. Subsequently, according to method step S2 ⁇ for locating and recognizing license plates of vehicles in the vehicle environment generated by the color camera 2 by the image data Whether ekterkennungsaku 3 are evaluated and performed ⁇ object classification by the classifier 3a. Both driving ahead, oncoming and following traffic it ⁇ sums and their image data can be analyzed for license plates of these vehicles.
  • step S2 If, according to method step S2 a license plate of a vehicle is detected, the vehicle registration number is to step S3 by means of ei ⁇ ner text and pattern recognition software, for example. By means of an OCR software determined. From this motor vehicle registration number, the state associated with this motor vehicle license plate is determined by comparison with the country code list stored in the memory 4. At the same time every state at least one color for the indicator ⁇ shield to be used, eg., The color white for
  • step S4 If a state can be determined with an associated standard color characteristic value for license plates DIE ses state according to method step S3, the step S4 recorded with a follow ⁇ the color characteristics of the detected license plate from by the color camera Image data of the vehicle determines, so the
  • Color characteristic values ie the color values determined.
  • the color value of the background color to white or yellow is, for example, determined.
  • the color blue can. Be used for color matching, as the standard design of the EU symbol of a blue stripe on the left side of the license plate tag or license plate consists. Then, for example, in the country code list of the memory 3a, the color blue would be assigned for each euro country.
  • the two methods described, namely, on the one hand, to use a color of traffic signs for the color matching and, on the other hand, to use the color of recognized country-specific license plates for this purpose, can of course be simultaneously available in a vehicle with an image recording system according to FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Durchführung eines automatischen Farbabgleichs eines fahrzeuggebundenen Bildaufnahmesystems (1) mit einer Farbkamera (2) und einer Objekterkennungseinheit (3) zur Erkennung von Verkehrszeichen oder Kennzeichenschilder von Fahrzeugen. Erfindungsgemäß ist gemäß einer ersten Lösung vorgesehen, dass von einem durch die Objekterkennungseinheit (3) erkannten Verkehrszeichen wenigstens ein Farbcharakteristikwert ermittelt wird, der ermittelte Farbcharakteristikwert mit einem in einem Speichermittel (4) abgelegten Standard-Farbcharakteristikwert verglichen und bei einer Abweichung ein Korrekturwert bestimmt wird, und mittels des Korrekturwertes ein Farbabgleich der von der Farbkamera (2) erzeugten Bilddaten durchgeführt wird. Gemäß einer zweiten erfindungsgemäßen Lösung ist vorgesehen, dass von einem erkannten Kennzeichenschild eines Fahrzeugs wenigstens ein Farbcharakteristikwert detektiert und mittels Text- und Mustererkennung das Kraftfahrzeugkennzeichen ermittelt wird, durch Vergleich des ermittelten Kraftfahrzeugkennzeichens mit in einem Speichermittel (4) abgelegten Nationalitätskennzeichen und länderspezifische Standard-Farbcharakteristikwerte der Kennzeichenschilder ein Standard-Farbcharakteristikwert des erkannten Kennzeichenschildes bestimmt wird, der von dem erkannten Kennzeichenschild detektierte Farbcharakteristikwert mit dem Standard-Farbcharakteristikwert verglichen und bei einer Abweichung ein Korrekturwert bestimmt und mittels des Korrekturwertes ein Farbabgleich der von der Farbkamera (2) erzeugten Bilddaten durchgeführt wird.

Description

Verfahren zur Durchführung eines automatischen Farbabgleichs einer fahrzeuggebundenen Farbkamera
Die Erfindung betrifft ein Verfahren zur Durchführung eines automatischen Farbabgleichs eines fahrzeuggebundenen Bildauf nahmesystems mit einer Farbkamera und einer Ob ekterkennungs einheit gemäß Oberbegriff des Patentanspruchs 1 und des Pa¬ tentanspruchs 10.
Automatische kamerabasierte Fahrerassistenzsysteme erfassen mittels einer Kamera das Fahrzeugumfeld, interpretieren die aufgenommenen Bilddaten und ermitteln daraus eine systemspe- zifische Reaktion.
Für eine möglichst umfassende Interpretation des aufgenomme¬ nen Fahrzeugumfelds ist nicht nur die Erkennung des Vorhan¬ denseins von relevanten Strukturen notwendig, z. B. Fahrbahnrandmarkierungen, sondern es ist auch eine weitergehende Charakterisierung dieser Strukturen durch die Farbe erforderlich. So ist es bspw. bei der Erkennung von Fahrbahnmarkie¬ rungen erforderlich, temporäre gelbe Markierungen, wie sie typischerweise in Baustellen verwendet werden, von den norma¬ len weißen Markierungen zu unterscheiden.
Problematisch bei der Farbcharakterisierung ist, dass die Farbe eines Objekts keine reine Eigenschaft des Objekts selbst ist, sondern maßgeblich durch die Übertragungs- und Filtereigenschaften der gesamten optischen Kette (Windschutz Scheibe, Linsen, Imager) und der Farbtemperatur der Lichtquellen beeinflusst wird, mit der das Objekt beleuchtet wird So erscheint beispielsweise eine weiße Fahrbahnmarkierung auch gelb, wenn sie von einem gelblich leuchtenden Scheinwer fer angestrahlt wird. Dies kann dazu führen, dass von einem Fahrerassistenzsystem eine fehlerhafte Umfeldinterpretation durchgeführt wird. Eine Abhilfe dafür besteht darin, einen sogenannten Weißab- gleich durchzuführen, d. h. die Farbtemperatur der Beleuchtung zu schätzen und diesen Einfluss bei der Farbbestimmung eines Objekts zu berücksichtigen.
Fahrzeuge durchfahren auf einer Fahrt meist mehrere unter¬ schiedliche Zonen mit verschiedenen Beleuchtungssituationen. Beispielsweise beginnt ein Fahrzeug eine Fahrt in einer mit Neonröhren beleuchteten Tiefgarage, verlässt dann bei sich mit der Tageszeit und Witterung verändernden Tageslicht die Tiefgarage, durchfährt möglicherweise mit Natriumdampflampen ausgestattete Tunnels und kehrt abends bei verschiedenen Straßenbeleuchtungen und unter Einfluss des eigenen Abblendlichts wieder in die Tiefgarage zurück. Für Fahrerassistenz- Systeme ergibt sich daraus die Anforderung eines dynamischen Nachführens des Weißabgleichs .
Aus der DE 10 2009 007 840 AI ist ein Verfahren zur Kalibrierung eines kamerabasierten Systems eines Fahrzeugs mit einer Windschutzscheibe beschrieben, welches bei einem Austausch der Windschutzscheibe dessen Typ, insbesondere dessen Tönung, d. h. den Farbwert und den Tönungsgrad automatisch erkennt. Dies erfolgt dadurch, dass ein automatischer Vergleich von mittels des kamerabasierten Systems ermittelten Werten, bspw. Helligkeitswerte und/oder Farbwerten mit entsprechenden hinterlegten Daten vorgenommen wird. Hierzu werden entsprechende Fahrbahnabschnitte ermittelt, da Fahrbahnbeläge eine farblich weitgehende übereinstimmende Oberfläche aufweisen. Ferner wird in dieser DE 10 2009 007 840 AI vorgeschlagen, zusätzlich oder alternativ bei Dunkelheit Werte des Scheinwerferlichts von entgegenkommenden Fahrzeugen zu ermitteln, da solches Scheinwerferlicht international standardisiert weiß bis hellgelb ist. Aus den ermittelten Werten wird ein Durchschnittswert des Scheinwerferlichts gebildet und mit ei¬ nem im kamerabasierten System gespeicherten Normwert eines Referenz-Scheinwerferlichts abgeglichen. Mit dieser Vorge- hensweise kann auch ein automatischer Weißabgleich durchgeführt werden, indem nach dem Vergleich des Durchschnittswertes des Scheinwerferlichts mit dem im kamerabasierten System gespeicherten Normwert des Referenz-Scheinwerferlichts bei einer Abweichung die Parameter des Systems automatisch ange- passt werden, so dass der nach der Anpassung ermittelte
Durchschnittswert des Scheinwerferlichts mit dem gespeicher¬ ten Normwert übereinstimmt.
In nachteiliger Weise kann dieser Weißabgleich nur nachts durchgeführt werden.
Aufgabe der Erfindung ist es daher, ein Verfahren der eingangs genannten Art anzugeben, mit dem der vorgenannte Nachteil vermieden wird, insbesondere dass unter allen Beleuchtungsbedingungen des Fahrzeugumfeldes besonders farbtreue Bilddaten erzeugt werden können, um in der nachfolgenden Bildauswertung eine höhere Sicherheit hinsichtlich einer Objekterkennung mit einer geringen Fehlerwahrscheinlichkeit zu erzielen .
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkma¬ len des Patentanspruchs 1 und mit den Merkmalen des Patentan¬ spruchs 10.
Ein solches Verfahren gemäß der erstgenannten Lösung zur Durchführung eines automatischen Farbabgleichs eines fahrzeuggebundenen Bildaufnahmesystems mit einer Farbkamera und einer Ob ekterkennungseinheit zur Erkennung von Objekten im Fahrzeugumfeld eines Fahrzeugs, zeichnet sich erfindungsgemäß dadurch aus, dass mittels der Objekterkennungseinheit Ver¬ kehrszeichen erkannt werden, von einem durch die Objekterkennungseinheit erkannten Verkehrszeichen wenigstens ein
Farbcharakteristikwert ermittelt wird, der ermittelte
Farbcharakteristikwert mit einem in einem Speichermittel ab¬ gelegten Standard-Farbcharakteristikwert verglichen und bei einer Abweichung ein Korrekturwert bestimmt wird, und mittels des Korrekturwertes ein Farbabgleich der von der Farbkamera erzeugten Bilddaten durchgeführt wird.
Mit diesem Verfahren wird die tatsächliche Farbcharakteris- tik, also bspw. die Farbtemperatur der Umgebungsbeleuchtung der Fahrzeugumgebung anhand von Verkehrszeichen als Objekten der Fahrzeugumgebung kontinuierlich ermittelt, die von einer Verkehrszeichenerkennung erkannt wurden und deren Farbcharakteristik, also deren Farbtemperatur bekannt ist, da die Farb- gestaltung der Verkehrszeichen der Verwaltungsvorschrift
"Aufsichtsfarben für Verkehrszeichen- Farben und Farbgrenzen" (DIN 6171) entsprechen müssen.
Damit kann in engen Toleranzgrenzen die Abweichung der Farb- Charakteristik eines Verkehrszeichens von dem genormten
Farbcharakteristikwert bestimmt werden, um damit eine hohe Erkennungssicherheit der tatsächlichen Farbtemperatur der im Fahrzeugumfeld detektierten Objekte zu erzielen und damit auch die Klassifizierung derselben zu verbessern.
In einer Ausgestaltung der Erfindung gemäß der erstgenannten Lösung ist in dem Speichermittel eine
Farbcharakteristikwertliste mit Verkehrszeichen abgelegt, wo¬ bei jedem Verkehrszeichen wenigstens ein Standard- Farbcharakteristikwert zugeordnet ist. Damit können exakt die Farbcharakteristikwerte der entsprechenden Farbe bzw. Farben nach der DIN 6171 aus der Verwaltungsvorschrift "Aufsichts¬ farben für Verkehrszeichen- Farben und Farbgrenzen" gespeichert werden.
Besonders vorteilhaft ist es gemäß einer bevorzugten Weiter¬ bildung der Erfindung gemäß der erstgenannten Lösung, wenn vor dem Vergleich der ermittelten Farbcharakteristikwerte des erkannten Verkehrszeichens mit dem abgelegten Standard- Farbcharakteristikwert ermittelt wird, ob das erkannte Ver¬ kehrszeichen in der Farbcharakteristikwertliste aufgeführt ist. Mit dieser Weiterbildung kann das erfindungsgemäße Verfahren schnell und sicher durchgeführt werden.
In einer weiteren vorteilhaften Weiterbildung der Erfindung wird in der Ob ekterkennungseinheit ein Mustererkennungsalgo¬ rithmus zur Erkennung von Verkehrszeichen mit Geschwindigkeitsbegrenzungen sowie von solche Geschwindigkeitsbegrenzungen auflösende bzw. aufhebende Verkehrszeichen verwendet. Da¬ mit wird das erfindungsgemäße Verfahren besonders robust hin¬ sichtlich der Erkennung der aktuellen Farbtemperatur von Objekten aus der Fahrzeugumgebung . Vorzugsweise wird hierzu der Farbcharakteristikwert der Hintergrundfarbe des Verkehrszei¬ chens, vorzugsweise die Farbe Weiß für einen Weißabgleich als Farbabgleich verwendet.
Desweiteren ist es weiterbildungsgemäß auch vorteilhaft, wenn in der Objekterkennungseinheit ein Mustererkennungsalgorithmus zur Erkennung von Verkehrseinrichtungen, vorzugsweise von Leitpfosten verwendet wird. Vorzugsweise wird hierzu der Farbcharakteristikwert der Farbe Weiß für einen Weißabgleich als Farbabgleich und/oder der Farbe Schwarz für den Farbabgleich verwendet.
Schließlich wird in einer letzten vorteilhaften Ausgestaltung der Erfindung gemäß der erstgenannten Lösung in der Objekterkennungseinheit ein Mustererkennungsalgorithmus zur Erkennung von Autobahnbeschilderungen verwendet. Weiterbildungsgemäß wird hierzu der Farbcharakteristikwert der Hintergrundfarbe der Autobahnbeschilderungen, vorzugsweise die Farbe Blau für den Farbabgleich verwendet.
Das Verfahren gemäß der zweitgenannten Lösung zur Durchführung eines automatischen Farbabgleichs eines fahrzeuggebunde¬ nen Bildaufnahmesystems mit einer Farbkamera und einer Ob¬ jekterkennungseinheit zur Erkennung von Objekten im Fahrzeug¬ umfeld eines Fahrzeugs zeichnet sich erfindungsgemäß dadurch aus, dass mittels der Objekterkennungseinheit Kennzeichen- Schilder von im Fahrzeugumfeld erfassten Fahrzeugen erkannt werden, von dem erkannten Kennzeichenschild eines Fahrzeugs wenigstens ein Farbcharakteristikwert detektiert und mittels Text- und Mustererkennung das Kraftfahrzeugkennzeichen ermit- telt wird, durch Vergleich des ermittelten Kraftfahrzeugkennzeichens mit in einem Speichermittel abgelegten Nationali¬ tätskennzeichen und länderspezifischen Standard-Farbcharakteristikwerten der Kennzeichenschilder ein Standard- Farbcharakteristikwert des erkannten Kennzeichenschildes be- stimmt wird, der von dem erkannten Kennzeichenschild detek- tierte Farbcharakteristikwert mit dem Standard-Farbcharakte ristikwert verglichen und bei einer Abweichung ein Korrekturwert bestimmt wird, und mittels des Korrekturwertes ein Farb- abgleich der von der Farbkamera erzeugten Bilddaten durchge- führt wird.
Bei dieser Lösung liegt die Erkenntnis zugrunde, dass auch die länderspezifischen Kennzeichenschilder von Fahrzeugen in bestimmten Farben gestaltet sein müssen, so dass bei Kenntnis des dem aus dem Kennzeichenschild detektierten Kraftfahrzeug¬ kennzeichen zugeordneten Staates auch die Farbe des Kennzeichenschildes, landläufig auch als Nummernschild bezeichnet, bekannt ist. Damit können die landesspezifischen Farben als Standard-Farbcharakteristikwerte in einem Speichermittel ab- gelegt und darauf zugegriffen werden, um durch Vergleich eines von einem erkannten Kennzeichenschild detektierten
Farbcharakteristikwertes mit dem entsprechenden Standard- Farbcharakteristikwert einen Farbabgleich durchzuführen. Damit wird auch bei diesem Verfahren die tatsächliche Farb¬ charakteristik, also bspw. die Farbtemperatur der Umgebungsbeleuchtung der Fahrzeugumgebung anhand von den Farben von Kennzeichenschildern von Fahrzeugen als Objekten der Fahrzeugumgebung kontinuierlich ermittelt, die von einer Objekt- erkennungseinheit erkannt wurden und deren Farbcharakteris¬ tik, also deren Farbtemperatur bekannt ist. Nach einer vorteilhaften Ausgestaltung der Erfindung der zweitgenannten Lösung ist es vorgesehen, dass in dem Speichermittel eine Farbcharakteristikwertliste von länderspezi¬ fischen Kennzeichenschildern von Fahrzeugen abgelegt ist, wo- bei jedem Kennzeichenschild eines Staates wenigstens ein
Standard-Farbcharakteristikwert zugeordnet ist. Damit können exakt die Farbcharakteristikwerte der entsprechenden Farben der nationalen Kennzeichenschilder gespeichert werden. Besonders vorteilhaft ist es, wenn gemäß einer weiteren Aus¬ gestaltung der Erfindung bei Erkennung eines Euro-Kennzeichenschildes der Farbcharakteristikwert der Farbe Blau für einen Farbabgleich verwendet wird. Diese Farbe bietet sich an, da das Standard-Design des EU-Symbols aus einem blauen Streifen auf der linken Seite des Kennzeichenschildes bzw. Kfz-Kennzeichens besteht.
Die Erfindung wird nachfolgend unter Bezugnahme auf die Figu¬ ren näher erläutert. Es zeigen:
Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einem Bildaufnahmesystem zur Erläuterung des erfindungsgemäßen Verfahrens, und Fig. 2 ein Ablaufdiagramm zur Durchführung eines automatischen Farbabgleichs mittels des fahrzeuggebundenen Bildaufnahmesystems nach Figur 1 als Ausführungs¬ beispiel gemäß der Erfindung. Das in Figur 1 schematisch dargestellte Fahrzeug 10, insbe¬ sondere ein Kraftfahrzeug umfasst ein Bildaufnahmesystem 1 mit einer Farbkamera 2, eine Ob ekterkennungseinheit 3 zur Erkennung von Objekten, insbesondere Verkehrszeichen und Kennzeichenschilder von Fahrzeugen, wobei der Objekterken- nungseinheit 3 ein Speicher 4 zugeordnet ist. Zur Objekter¬ kennung weist die Objekterkennungseinheit einen Klassifikator auf, mit dem mittels eines Mustererkennungsalgorithmus eine Klassifikation hinsichtlich erkannter Strukturen und Farben von in den von der Farbkamera 2 erzeugten Bilddaten erkannten Objekten vorgenommen wird. So können nicht nur Verkehrszeichen und Kennzeichenschilder, sondern auch weitere Objekte wie bspw. Fahrbahnmarkierungen, Fahrbahnbegrenzungen vorausfahrende Fahrzeuge, Rücklichter, Scheinwerfer usw. erkannt werden .
Als Verkehrszeichen werden nicht nur Verkehrszeichen mit Ge- schwindigkeitsbegrenzungen und solche die Geschwindigkeitsbe¬ grenzungen auflösende bzw. aufhebende Verkehrszeichen angesehen, sondern auch Verkehrseinrichtungen, wie bspw. Leitpfosten und Rieht zeichen, wie bspw. Autobahnbeschilderungen. Ferner umfasst das Fahrzeug 10 ein Display 5, welches bspw. ein Teil einer zentralen Anzeige- und Bedieneinheit des Fahr¬ zeugs 10 oder ein Kombiinstrument des Fahrzeugs 10 darstellt, welches die von der Objekterkennungseinheit 3 erkannten Ob¬ jekte, insbesondere die erkannten Verkehrszeichen zeigt und deshalb mit derselben verbunden ist. Desweiteren werden die Informationen hinsichtlich des erkannten Verkehrszeichens und/oder weiterer im Fahrzeugumfeld erkannter Objekte einem Fahrerassistenzsystem 6 zugeführt, welches seinerseits Stell¬ organe 6a zur Durchführung der entsprechenden Fahrerassis- tenzfunktion ansteuert.
So kann das Fahrerassistenzsystem 6, dem die Information über geschwindigkeitsbegrenzende Verkehrszeichen zugeführt werden, eine automatische Anpassung der aktuellen Geschwindigkeit des Fahrzeugs 10 an die erkannte Höchstgeschwindigkeit über die Steuerung der Stellorgane 6a vornehmen.
Dieses Fahrerassistenzsystem 6 kann auch als Spurhalteassis- tenzsystem ausgebildet sein, dem die für die Spurhaltung er- forderlichen Informationen hinsichtlich erkannter Fahrbahnmarkierungen bzw. Fahrbahnbegrenzungen zugeführt werden und ggf. Eingriffe in das Brems- und/oder Lenksystem des Fahrzeugs 10 über die Stellorgane 6a vornimmt.
Die korrekte Funktion solcher sicherheitskritischen Fahreras- sistenzsysteme 6 hängt vor allem von der zuverlässigen Erkennung der relevanten Objekte ab. Für die Beurteilung der Relevanz von Objekten ist neben den Strukturen insbesondere auch deren Farbe von Bedeutung. So haben bei gleichzeitigem Auftreten von gelben und weißen Fahrspur-Markierungen, z. B. in einem Baustellenbereich, im Allgemeinen die gelben Markierungen Vorrang. Daher ist eine Farbklassifikation der detektier- ten Objekte durchzuführen, wobei sich die Farbe im erfassten Bild aufgrund der Farbtemperatur der Fahrzeugumgebung, die von der Farbe der Beleuchtung abhängt, unterschiedlich dar- stellen. Unterschiedliche Farbtemperaturen des erfassten Bildes können sich zum einen durch unterschiedliche Beleuchtungen, z. B. in Abhängigkeit der Tageszeit, unterschiedliche Straßenbeleuchtungen und auch durch Tönungen der Fahrzeugscheiben, hinter denen die Fahrzeugkameras im Allgemeinen an- gebracht sind, ergeben.
Daher wird im Folgenden anhand der Figuren 1 und 2 als Ausführungsbeispiel der Erfindung ein Verfahren zur Durchführung eines Farbabgleichs bzw. eines Weißabgleichs erläutert, um die Farbe von erkannten Objekten korrekt klassifizieren zu können. Zunächst wird ein Verfahren beschrieben, welches für einen Farbabgleich bzw. einen Weißabgleich erkannte Verkehrszeichen verwendet. Ein solches Verfahren kann auch auf der Basis von erkannten Kennzeichenschildern von Fahrzeugen durchgeführt werden, welches anschließend beschrieben wird.
Das erstgenannte Verfahren verwendet also zum Farbabgleich oder zum Weißabgleich Verkehrszeichen, da deren Farben gemäß der Verwaltungsvorschrift "Aufsichtsfarben für Verkehrszei- chen- Farben und Farbgrenzen" (DIN 6171) vorgeschrieben sind und daher nur in engen Grenzen variieren können. Somit sind unter Normalbedingungen, bspw. bei Tageslicht die Farbcharak- teristiken, also die Farbtemperaturen der Farben eines Verkehrszeichens bekannt und können daher als Referenzwert, im Folgenden Standard-Farbcharakteristikwert verwendet werden. Bei einer Abweichung eines aus den Bilddaten eines solchen Verkehrszeichens ermittelten Farbtemperaturwertes als
Farbcharakteristikwert von diesem Referenzwert wird auf das Vorhandensein einer farblichen Lichtquelle oder Mischungen von verschiedenen Lichtquellen geschlossen, deren Farbtemperatur als Farbcharakteristikwert direkt aus der Abweichung von dem Standard-Farbcharakteristikwert ermittelt werden kann und zur Korrektur bei der Farbinterpretation des Fahrzeugumfelds im Sinne eines Farbabgleichs oder eines Weißabgleichs verwendet werden kann.
So lässt sich bspw. bei Verkehrsschildern mit Geschwindigkeitsbegrenzungen ausnutzen, dass deren Hintergrundfarbe Weiß ist. Dies gilt auch für die Verkehrszeichen, die solche Ge¬ schwindigkeitsbeschränkungen wieder aufheben. Solche Verkehrszeichen, von denen die Farbtemperaturwerte als Standard-Farbcharakteristikwerte der verwendeten Farben, also beispielsweise der Farbe Weiß für den Hintergrund des Ver¬ kehrszeichens unter Normalbedingungen, also bspw. unter Tageslicht bekannt sind, werden als Standard- Farbcharakteristikwerte in einem Speicher 4 als Speichermit¬ tel der Ob ekterkennungseinheit 3 in einer
Farbcharakteristikwertliste abgelegt. Ebenso kann für die Farbe Rot ein entsprechender Standard-Farbcharakteristikwert abgelegt werden.
Das Verfahren zum automatischen Farbabgleich bzw. Weißab- gleich gemäß Figur 2 beginnt mit einem ersten Verfahrens¬ schritt Sl, bei dem die Fahrzeugumgebung mittels der Farbka¬ mera 2 erfasst wird. Anschließend werden gemäß Verfahrens- schritt S2 zur Lokalisierung und Erkennung von Verkehrszeichen im Fahrzeugumfeld die von der Farbkamera 2 erzeugten Bilddaten von der Ob ekterkennungseinheit 3 ausgewertet und mittels des Klassifikators 3a eine O ektklassifizierung durchgeführt .
Wird gemäß Verfahrensschritt S2 ein Verkehrszeichen erkannt, wird mit Verfahrensschritt S3 ermittelt, ob dieses Verkehrs¬ zeichen in der Farbcharakteristikwertliste mit den Standard- Farbcharakteristikwerten seiner Farben aufgeführt ist. Falls dies nicht der Fall ist, erfolgt ein Rücksprung auf Verfah¬ rensschritt Sl.
Falls sich das erkannte Verkehrszeichen in der
Farbcharakteristikwertliste findet, wird gemäß Verfahrens¬ schritt S4 die Farbcharakteristik des erkannten Verkehrszeichens bestimmt, also die Farbcharakteristikwerte, d. h. die Farbwerte ermittelt. So wird bspw. bei einem erkannten Ver¬ kehrszeichen mit Geschwindigkeitsbegrenzung der Farbwert der Hintergrundfarbe Weiß ermittelt. Alternativ oder zusätzlich kann auch die Farbe Rot als Kreisring eines solchen Verkehrs¬ zeichens ermittelt werden.
Der mit Verfahrensschritt S4 ermittelte
Farbcharakteristikwert für die Farbe Weiß wird in einem Ver¬ fahrensschritt S5 mit dem zugehörigen Standard- Farbcharakteristikwert der dem erkannten Verkehrszeichen zu- geordneten Farbe Weiß verglichen. Falls eine Übereinstimmung innerhalb einer vorgegebenen Toleranz zwischen diesen beiden Werten besteht, endet das Verfahren mit Verfahrensschritt S8 und einem Rücksprung auf Verfahrensschritt Sl. Im anderen Fall, also bei einer Abweichung des Farbcharakteristikwertes von dem Standard- Farbcharakteristikwert für die Farbe Weiß wird in einem weiteren Verfahrensschritt S6 ein Korrekturwert bestimmt, mit dem in einem nachfolgenden Verfahrensschritt S7 ein Weißabgleich durchgeführt wird, d. h. die von der Farbka¬ mera 2 erzeugten Bilddaten werden zur Farbinterpretation mit- tels diesem Korrekturwert korrigiert. Zum Schluss erfolgt ein Rücksprung über Verfahrensschritt S8 auf Verfahrensschritt Sl . Natürlich können die Verfahrensschritte S4 bis S8 auch mit der Farbe Rot des erkannten Verkehrszeichens für einen Farb- abgleich durchgeführt werden. Auch ist es möglich für beide Farben Weiß und Rot die Farbcharakteristikwerte zu ermitteln und hieraus bei einer Abweichung von den Standard- Farbcharakteristikwerten einen gemeinsamen Korrekturwert zu bestimmen . Ein Weißabgleich kann auch mit der Farbe Weiß von Leitpfosten, die Verkehrseinrichtungen darstellen durchgeführt werden, wenn solche Leitpfosten als Fahrbahnbegrenzungen von der Ob ekterkennungseinheit 3 erkannt werden. Das Verfahren zur Durchführung eines automatischen Farbab- gleichs kann auch mit der Farbe Schwarz als Schriftfarbe des erkannten Verkehrszeichens oder der Farbe Schwarz der Balken eines Leitpfostens durchgeführt werden, wenn der entsprechen¬ de Standard-Farbcharakteristikwert in der
Farbcharakteristikwertliste für den erkannten Leitpfosten ab¬ gelegt ist.
Zur Durchführung des erfindungsgemäßen Verfahrens sind auch weitere Farben, wie z. Bsp. die Farbe Blau geeignet, wenn bspw. Autobahnbeschilderungen als Verkehrszeichen erkannt werden, deren Hintergrundfarbe blau ist.
Damit kann das erfindungsgemäßen Verfahren mit allen bei Verkehrszeichen verwendeten Farben gemäß der Verwaltungsvor- schrift "Aufsichtsfarben für Verkehrszeichen- Farben und Farbgrenzen" (DIN 6171) zur Durchführung eines Färb- bzw.
Weißabgleichs eingesetzt werden.
Das erfindungsgemäße Verfahren ist besonders dann einfach und kostengünstig in einem Fahrzeug realisierbar, wenn dieses
Fahrzeug bereits eine Verkehrszeichenerkennung aufweist, da dieses erfindungsgemäße Verfahren lediglich softwaremäßig oh¬ ne Einsatz zusätzlicher Hardware umgesetzt werden kann.
Ein Verfahren zum Färb- bzw. Weißabgleich mittels der Erken- nung von Kennzeichenschildern wird im Folgenden ebenso anhand der Figuren 1 und 2 erläutert.
Das Verfahren zum automatischen Farbabgleich bzw. Weißabgleich auf der Basis von erkannten Kennzeichenschildern von Fahrzeugen beginnt gemäß Figur 2 mit einem ersten Verfahrens- schritt Sl, bei dem die Fahrzeugumgebung mittels der Farbka¬ mera 2 erfasst wird. Anschließend werden gemäß Verfahrens¬ schritt S2 zur Lokalisierung und Erkennung von Kennzeichenschildern von Fahrzeugen im Fahrzeugumfeld die von der Farbkamera 2 erzeugten Bilddaten von der Ob ekterkennungseinheit 3 ausgewertet und mittels des Klassifikators 3a eine Objekt¬ klassifizierung durchgeführt. Dabei können sowohl vorausfahrende, entgegenkommende als auch nachfolgende Fahrzeuge er¬ fasst und deren Bilddaten auf Kennzeichenschilder dieser Fahrzeuge analysiert werden.
Wird gemäß Verfahrensschritt S2 ein Kennzeichenschild eines Fahrzeugs erkannt, wird mit Verfahrensschritt S3 mittels ei¬ ner Text- und Mustererkennungssoftware, bspw. mittels einer OCR-Software das Kraftfahrzeugkennzeichen ermittelt. Aus die- sem Kraftfahrzeugkennzeichen wird durch Vergleich mit in dem Speicher 4 abgelegten Länderkennzeichen-Liste der diesem Kraftfahrzeugkennzeichen zugehörige Staat ermittelt. Gleichzeitig ist jedem Staat wenigstens eine für das Kennzeichen¬ schild zur verwendende Farbe, bspw. die Farbe Weiß für
Deutschland oder die Farbe Gelb für Frankreich als Standard- Farbcharakteristikwert zugeordnet .
Falls gemäß Verfahrensschritt S3 ein Staat mit zugehörigem Standard-Farbcharakteristikwert für Kennzeichenschilder die- ses Staates ermittelt werden kann, wird mit einem nachfolgen¬ den Verfahrensschritt S4 die Farbcharakteristik des erkannten Kennzeichenschildes aus den von der Farbkamera aufgenommenen Bilddaten des Fahrzeugs bestimmt, also die
Farbcharakteristikwerte, d. h. die Farbwerte ermittelt. Im anderen Fall erfolgt ein Rücksprung auf Verfahrensschritt Sl. So wird also bspw. bei einem erkannten Kennzeichenschild ei¬ nes Fahrzeugs der Farbwert der Hintergrundfarbe Weiß oder Gelb des Nummernschildes ermittelt.
Der mit Verfahrensschritt S4 ermittelte
Farbcharakteristikwert für die Farbe Weiß oder die Farbe Gelb wird in einem Verfahrensschritt S5 mit dem zugehörigen Stan¬ dard-Farbcharakteristikwert der dem erkannten Kennzeichen¬ schild länderspezifisch zugeordneten Farbe Weiß (bspw. für Deutschland) bzw. Gelb (bspw. für Frankreich) verglichen. Falls eine Übereinstimmung innerhalb einer vorgegebenen Toleranz zwischen diesen beiden Werten besteht, endet das Verfahren mit Verfahrensschritt S8 und einem Rücksprung auf Verfah¬ rensschritt Sl. Im anderen Fall, also bei einer Abweichung des
Farbcharakteristikwertes von dem Standard- Farbcharakteristikwert für die Farbe Weiß bzw. Gelb wird in einem weiteren Verfahrensschritt S6 ein Korrekturwert be¬ stimmt, mit dem in einem nachfolgenden Verfahrensschritt S7 ein Weißabgleich bzw. Farbabgleich durchgeführt wird, d. h. die von der Farbkamera 2 erzeugten Bilddaten werden zur Farbinterpretation mittels diesem Korrekturwert korrigiert. Zum Schluss erfolgt ein Rücksprung über Verfahrensschritt S8 auf Verfahrensschritt Sl.
Wird als Kennzeichenschild ein Euro-Kennzeichenschild er¬ kannt, kann bspw. auch die Farbe Blau für den Farbabgleich verwendet werden, da das Standard-Design des EU-Symbols aus einem blauen Streifen auf der linken Seite des Kennzeichen- Schildes bzw. Kfz-Kennzeichens besteht. Dann wäre bspw. in der Länderkennzeichen-Liste des Speichers 3a für jedes Euro- Land die Farbe Blau zugeordnet. Die beiden beschriebenen Verfahren, nämlich einerseits eine Farbe von Verkehrszeichen für den Farbabgleich zu verwenden und andererseits die Farbe von erkannten länderspezifischen Kennzeichenschilder hierfür heranzuziehen, können natürlich gleichzeitig in einem Fahrzeug mit einem Bildaufnahmesystem gemäß Figur 1 zur Verfügung stehen.
Bezugs zeichen
1 Bildaufnahmesystem
2 Farbkamera
3 Objekterkennungseinheit
3a Klassifikator
4 Speichermittel, Speicher
5 Display
6 Fahrerassistenzsystem
6a Stellmittel des Fahrerassistenzsystems 6
10 Fahrzeug, Kraftfahrzeug

Claims

e WO 2014/044264 PCT/DE2013/200116 17 Patentansprüche
1. Verfahren zur Durchführung eines automatischen
Farbabgleichs eines fahrzeuggebundenen Bildaufnahmesystems (1) mit einer Farbkamera (2) und einer Ob ekterkennungs¬ einheit (3) zur Erkennung von Objekten im Fahrzeugumfeld eines Fahrzeugs,
dadurch gekennzeichnet, dass
- mittels der Objekterkennungseinheit (3) Verkehrszeichen erkannt werden,
- von einem durch die Objekterkennungseinheit (3) erkann¬ ten Verkehrszeichen wenigstens ein Farbcharakteristikwert ermittelt wird,
- der ermittelte Farbcharakteristikwert mit einem in einem Speichermittel (4) abgelegten Standard-Farbcharakteristikwert verglichen und bei einer Abweichung ein Korrekturwert bestimmt wird, und
- mittels des Korrekturwertes ein Farbabgleich der von der Farbkamera (2) erzeugten Bilddaten durchgeführt wird.
2. Verfahren nach Anspruch 1,
dadurch gekennzeichnet, dass in dem Speichermittel (4) ei¬ ne Farbcharakteristikwertliste mit Verkehrszeichen abge¬ legt ist, wobei jedem Verkehrszeichen wenigstens ein Standard-Farbcharakteristikwert zugeordnet ist.
3. Verfahren nach Anspruch 2,
dadurch gekennzeichnet, dass vor dem Vergleich der ermit¬ telten Farbcharakteristikwerte des erkannten Verkehrszei¬ chens mit dem abgelegten Standard-Farbcharakteristikwert ermittelt wird, ob das erkannte Verkehrszeichen in der Farbcharakteristikwertliste aufgeführt ist.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass in der Objekterkennungseinheit (3) ein Mustererkennungsalgorithmus zur Erkennung von e
WO 2014/044264 PCT/DE2013/200116
18
Verkehrszeichen mit Geschwindigkeitsbegrenzungen sowie von solche Geschwindigkeitsbegrenzungen auflösende bzw. aufhebende Verkehrszeichen verwendet wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Farbcharakteristikwert der Hintergrundfarbe des Ver¬ kehrszeichens, vorzugsweise die Farbe Weiß für einen Weiß- abgleich als Farbabgleich verwendet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass in der Ob ekterkennungseinheit (3) ein Mustererkennungsalgorithmus zur Erkennung von Verkehrseinrichtungen, vorzugsweise von Leitpfosten verwendet wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der Farbcharakteristikwert der Farbe Weiß für einen Weiß- abgleich als Farbabgleich und/oder der Farbe Schwarz für den Farbabgleich verwendet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass in der Ob ekterkennungseinheit (3) ein Mustererkennungsalgorithmus zur Erkennung von Autobahnbeschilderungen verwendet wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass der Farbcharakteristikwert der Hintergrundfarbe der Auto¬ bahnbeschilderungen, vorzugsweise die Farbe Blau für den Farbabgleich verwendet wird.
10. Verfahren zur Durchführung eines automatischen
Farbabgleichs eines fahrzeuggebundenen Bildaufnahmesystems (1) mit einer Farbkamera (2) und einer Objekterkennungs¬ einheit (3) zur Erkennung von Objekten im Fahrzeugumfeld eines Fahrzeugs,
dadurch gekennzeichnet, dass le ~
WO 2014/044264 PCT/DE2013/200116
19
- mittels der O ekterkennungseinheit (3) Kennzeichen¬ schilder von im Fahrzeugumfeld erfassten Fahrzeugen erkannt werden,
- von dem erkannten Kennzeichenschild eines Fahrzeugs we¬ nigstens ein Farbcharakteristikwert detektiert und mittels Text- und Mustererkennung das Kraftfahrzeugkennzeichen ermittelt wird,
- durch Vergleich des ermittelten Kraftfahrzeugkennzeichens mit in einem Speichermittel (4) abgelegten Nationa¬ litätskennzeichen und länderspezifische Standard-Farbcha¬ rakteristikwerte der Kennzeichenschilder ein Standard- Farbcharakteristikwert des erkannten Kennzeichenschildes bestimmt wird,
- der von dem erkannten Kennzeichenschild detektierte Farbcharakteristikwert mit dem Standard-Farbcharakteris¬ tikwert verglichen und bei einer Abweichung ein Korrekturwert bestimmt wird, und
- mittels des Korrekturwertes ein Farbabgleich der von der Farbkamera (2) erzeugten Bilddaten durchgeführt wird.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass in dem Speichermittel (4) eine
Farbcharakteristikwertliste von länderspezifischen Kenn¬ zeichenschildern von Fahrzeugen abgelegt ist, wobei jedem Kennzeichenschild eines Staates wenigstens ein Standard- Farbcharakteristik-wert zugeordnet ist.
12. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass bei Erkennung eines Euro-Kennzeichenschildes der Farbcharakteristikwert der Farbe Blau für ei¬ nen Farbabgleich verwendet wird.
PCT/DE2013/200116 2012-09-20 2013-08-09 Verfahren zur durchführung eines automatischen farbabgleichs einer fahrzeuggebundenen farbkamera Ceased WO2014044264A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112013001955.8T DE112013001955A5 (de) 2012-09-20 2013-08-09 Verfahren zur Durchführung eines automatischen Farbabgleichs einer fahrzeuggebundenen Farbkamera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012108860.8A DE102012108860A1 (de) 2012-09-20 2012-09-20 Verfahren zur Durchführung eines automatischen Farbabgleichs einer fahrzeuggebundenen Farbkamera
DE102012108860.8 2012-09-20

Publications (1)

Publication Number Publication Date
WO2014044264A1 true WO2014044264A1 (de) 2014-03-27

Family

ID=49150725

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2013/200116 Ceased WO2014044264A1 (de) 2012-09-20 2013-08-09 Verfahren zur durchführung eines automatischen farbabgleichs einer fahrzeuggebundenen farbkamera

Country Status (2)

Country Link
DE (2) DE102012108860A1 (de)
WO (1) WO2014044264A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392930B (zh) * 2021-07-02 2024-05-14 西安电子科技大学 基于多层次分治网络的交通标志目标检测方法
DE102021132644A1 (de) 2021-12-10 2023-06-15 Valeo Schalter Und Sensoren Gmbh Verfahren zur Farbkalibrierung einer farbauflösenden Kamera für ein Kraftfahrzeug, Steuereinrichtung und Kamera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222680A (ja) * 2000-02-08 2001-08-17 Mitsubishi Electric Corp ナンバー読取り装置
JP2008028958A (ja) * 2006-07-25 2008-02-07 Denso Corp 調整画像作成装置
DE102009007840A1 (de) 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren zur Kalibrierung eines kamerabasierten Systems
WO2012101965A1 (en) * 2011-01-27 2012-08-02 Aisin Aw Co.,Ltd. Guidance device, guidance method, and guidance program
US20130235193A1 (en) * 2012-03-09 2013-09-12 Altek Corporation License Plate Image-Pickup Device and Image White Balance Adjustment Method Thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060125939A (ko) * 2005-06-01 2006-12-07 엘지전자 주식회사 이동통신 단말기를 이용한 신호등 색상 알림 방법
DE102009047437A1 (de) * 2009-12-03 2011-06-09 Robert Bosch Gmbh Verfahren und Vorrichtung zur Anpassung von Bildinformationen eines optischen Systems
DE102010003668B4 (de) * 2010-04-07 2020-03-26 Robert Bosch Gmbh Farbmaske für einen Bildsensor einer Fahrzeugkamera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222680A (ja) * 2000-02-08 2001-08-17 Mitsubishi Electric Corp ナンバー読取り装置
JP2008028958A (ja) * 2006-07-25 2008-02-07 Denso Corp 調整画像作成装置
DE102009007840A1 (de) 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren zur Kalibrierung eines kamerabasierten Systems
WO2012101965A1 (en) * 2011-01-27 2012-08-02 Aisin Aw Co.,Ltd. Guidance device, guidance method, and guidance program
US20130235193A1 (en) * 2012-03-09 2013-09-12 Altek Corporation License Plate Image-Pickup Device and Image White Balance Adjustment Method Thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Field Programmable Logic and Application", vol. 3483, 1 January 2005, SPRINGER BERLIN HEIDELBERG, Berlin, Heidelberg, ISBN: 978-3-54-045234-8, ISSN: 0302-9743, article XIFAN SHI ET AL: "Automatic License Plate Recognition System Based on Color Image Processing", pages: 1159 - 1168, XP055097576, DOI: 10.1007/11424925_121 *
NICOLAS THOME ET AL: "A cognitive and video-based approach for multinational License Plate Recognition", MACHINE VISION AND APPLICATIONS, SPRINGER, BERLIN, DE, vol. 22, no. 2, 1 March 2010 (2010-03-01), pages 389 - 407, XP019880785, ISSN: 1432-1769, DOI: 10.1007/S00138-010-0246-3 *

Also Published As

Publication number Publication date
DE102012108860A1 (de) 2014-03-20
DE112013001955A5 (de) 2014-12-24

Similar Documents

Publication Publication Date Title
EP2179381B1 (de) Verfahren und vorrichtung zur verkehrszeichenerkennung
EP2091798B1 (de) Fahrzeug und verfahren zur bestimmung von in der fahrzeugumgebung befindlichen fahrzeugen
DE102007021580C5 (de) Verfahren und Vorrichtung zum Ermitteln der fahrzeugrelevanten Verkehrszeichen
WO2014044265A1 (de) Verfahren zur kalibrierung einer farbauflösenden fahrzeugkamera
WO2019120774A1 (de) Verfahren zum assistieren eines fahrers eines kraftfahrzeugs bei einem überholvorgang; kraftfahrzeug; sowie system
DE102010062633A1 (de) Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen in der Umgebung eines Fahrzeuges und Abgleich mit Verkehrszeicheninformationen aus einer digitalen Karte
EP2116958B1 (de) Verfahren und Vorrichtung zum Ermitteln des Fahrbahnverlaufs im Bereich vor einem Fahrzeug
DE102009007342A1 (de) Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
DE102011088136A1 (de) Verfahren und Vorrichtung zur Steuerung einer Lichtaussendung eines Scheinwerfers eines Fahrzeugs
WO2014079852A1 (de) Verfahren und vorrichtung zum erkennen von wechselverkehrszeichen
DE102017210112A1 (de) Verfahren und System zur Durchführung einer Kalibrierung eines Sensors
DE102011081362A1 (de) Verfahren und Vorrichtung zur Ermittlung eines Oberflächenzustands einer von einem Fahrzeug befahrenen oder zu befahrenden Fahrbahn
WO2013026608A1 (de) Verfahren und vorrichtung zur ansteuerung eines scheinwerfers eines fahrzeugs
DE102014221675A1 (de) Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
DE102018122240B4 (de) Angepasste konvoiausleuchtung
DE102008026876A1 (de) Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems
EP2415020B1 (de) Verfahren und vorrichtung zur fahrspurerkennung
DE102014220571A1 (de) Verfahren und Vorrichtung zur Erkennung von relevanten Verkehrszeichen für ein Fahrzeug
EP2394440B1 (de) Verfahren zur kalibrierung eines kamerabasierten systems
DE102012108860A1 (de) Verfahren zur Durchführung eines automatischen Farbabgleichs einer fahrzeuggebundenen Farbkamera
DE102007007283A1 (de) Verfahren und Vorrichtung zur Bestimmung von in der Fahrzeugumgebung befindlichen Fahrzeugen
EP2131308A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines in mindestens einem Bild einer Abbildung eines Bereichs vor einem Fahrzeug detektierten Objekts
DE102020111861A1 (de) Verfahren und System zum automatischen Bestimmen eines Anzeigestatus einer Verkehrssignalanlage
DE102015209550A1 (de) Verfahren und vorrichtung zur erkennung von objekten in einer fahrzeugumgebung eines fahrzeugs
DE102014223474A1 (de) Verfahren und Vorrichtung zum Erkennen eines Verkehrszeichens unter Verwendung zumindest einer ersten Kamera und einer zweiten Kamera für ein Fahrzeug sowie Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13759660

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120130019558

Country of ref document: DE

Ref document number: 112013001955

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112013001955

Country of ref document: DE

Effective date: 20141224

122 Ep: pct application non-entry in european phase

Ref document number: 13759660

Country of ref document: EP

Kind code of ref document: A1