WO2010111992A1 - Verfahren und vorrichtung zur fahrspurerkennung - Google Patents

Verfahren und vorrichtung zur fahrspurerkennung Download PDF

Info

Publication number
WO2010111992A1
WO2010111992A1 PCT/DE2010/000302 DE2010000302W WO2010111992A1 WO 2010111992 A1 WO2010111992 A1 WO 2010111992A1 DE 2010000302 W DE2010000302 W DE 2010000302W WO 2010111992 A1 WO2010111992 A1 WO 2010111992A1
Authority
WO
WIPO (PCT)
Prior art keywords
lane
markings
roadway
gray value
color
Prior art date
Application number
PCT/DE2010/000302
Other languages
English (en)
French (fr)
Inventor
Wladimir Hellmann
Michael Walter
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to DE112010000080T priority Critical patent/DE112010000080A5/de
Priority to EP10716745.4A priority patent/EP2415020B1/de
Priority to US13/256,664 priority patent/US8611650B2/en
Publication of WO2010111992A1 publication Critical patent/WO2010111992A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/507—Depth or shape recovery from shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Definitions

  • the invention relates to a method and a device for lane recognition according to claim 1 or 8.
  • LWS Lane-Departure Warning Systems
  • LLS Lane Keeping Systems
  • lane keeping assistance systems In German these systems are commonly referred to as lane keeping assistance systems.
  • Lane departure warning system are usually able to detect the lane in front of a vehicle (so-called lane detection), ie in particular the course of the road. In particular, from the
  • Lane keeping assistance systems estimated the track width, the horizontal and / or vertical road curvature, the center of the lane and the pitch and yaw angles of the vehicle. From these system variables, the time to leave the lane can be calculated, and the driver warned against an unwanted leaving the lane or kept the vehicle in the lane by means of an electric steering or a targeted ESP (Electronic Stability Program) intervention ,
  • ESP Electronic Stability Program
  • the abovementioned system variables can be determined, in particular, by digital image processing of the position in front of a vehicle detected by an optical sensor, for example a CMOS camera.
  • an optical sensor for example a CMOS camera.
  • a special image processing algorithm is used which evaluates structures in the captured images which are characteristic of a vehicle lane and its course, in particular lane markings.
  • the correct function of one based on such image processing The lane departure warning system depends above all on the fact that in the acquired digital images the structures essential for lane recognition, such as lane markings, are reliably and accurately recognized.
  • Monochrome cameras are usually used to capture images.
  • the grayscale-based track-recognition algorithms used to evaluate the images detect markings in the recorded monochrome images, mainly due to the dark-light / light-dark transitions between the road and lane markings.
  • a reliable recognition of the markings is only guaranteed for light markings on a dark background, but not necessarily for colored markings whose gray value in the picture is below the gray value of the background or the road.
  • sections of the route are marked with dark yellow markings on a light background and in Germany, with yellow markings on construction sites, and in Austria dark red markings on a light background are used. These markings are very visible to the human eye, but not for a lane detection with a monochrome camera, since it is an optical color impression.
  • DE 10 2004 061 822 A1 shows a method for detecting lane markings, in particular in the construction site area, wherein the lane markings are present in the form of image coordinates which are determined from a colored environmental image of a motor vehicle.
  • yellow and white road markings are determined on the basis of saturation values and color tone values.
  • Object of the present invention is to propose a method and apparatus for lane detection, which allow reliable lane detection in the above-described situations with colored markings.
  • An essential idea of the invention consists in the fact that a colorimager is used for image acquisition, and a special preprocessing with the acquired digitized color images is carried out, so that conventional algorithms for track recognition, which are based on monochrome images, can also reliably recognize colored markings.
  • the preprocessing has the following steps: in a color image of a roadway digitized with a colorimage, markings are determined on the roadway whose gray value is below the gray value of the carriageway; the gray value of markings determined in this way is then set to a value above the gray value of the roadway, so that a subsequent lane recognition algorithm can identify the colored markings as markings relevant for the lane recognition because of the light-dark / dark-light transitions which are now sufficient after preprocessing ,
  • the gray value of a pixel of a color image means the gray value that this pixel receives when converting the color image into a monochrome image.
  • the invention can continue to use proven lane detection algorithms that process monochrome images. Despite the use of such algorithms, the invention enables reliable detection of colored marks.
  • the invention now, in one embodiment, relates to a lane detection method in which a digitized color image of a lane is processed by the following steps:
  • the digitized color image can originate from a colorimage which can be installed, for example, in a color camera of a driver assistance system, in particular a lane recognition system.
  • the determination of the markings can be effected by a pixel analysis of the digitized image, in which the gray value of each pixel is determined and the gray value of the roadway used is the gray value that the majority of the pixels analyzed have.
  • All pixels whose gray value is less than the thus-determined "majority" gray value can then be assigned to the markers with a lower gray value than that of the road surface, in order to avoid that only individual points in the image that are not markers, but a smaller one
  • only pixels with a gray scale value less than that of the roadway can be assigned to a marking gray value than that of the roadway, if they exceed a certain extent in the image or even have a specific shape, such as an elongated line-shaped structure, such as For example, it would typically be generated by a pavement marker.
  • the determined colors can be output by markers for checking the plausibility of a lane recognition. For example, it can be determined from the output colors of markings by a lane detection algorithm whether individual ones of Markings classified as road markings were correctly classified. If, for example, it turns out that a marker classified as a street marker has a yellow or red color that is rarely or rarely used for road markings, the lane recognition algorithm may ignore such markers for track recognition.
  • an automatic white balance of the color image can be carried out before the step of determining marks.
  • the white balance can be done by an adaptive evaluation of the roadway immediately in front of a vehicle.
  • the invention relates to a device for lane detection, which is designed to process a digitized color image of a roadway as follows:
  • the device may further be configured according to an embodiment of the invention, a method according to the invention and as explained above.
  • the invention relates to an automatic lane change warning system or lane keeping system comprising a device according to the invention and as described above.
  • the invention relates to a vehicle having an automatic lane change warning system or lane keeping system according to the invention and as described above.
  • FIG. 2 shows a monochrome image of a roadway with a yellow side edge marking of a traffic lane detected with a camera of a vehicle before carrying out the method according to the invention
  • FIG. 3 shows a monochrome image of a roadway with a yellow captured by a camera of a vehicle Side edge marking of a traffic lane after carrying out the method according to the invention
  • Fig. 4 is a block diagram of an embodiment of a
  • the lane recognition method according to the invention is used to process color images such that they are suitable for processing by a lane detection algorithm that operates on the basis of monochrome images and white markings on a roadway, as are generally used for lane marking in many countries.
  • a flow diagram of a program implementing the method according to the invention is shown in FIG. The method will now be explained below with reference to the flowchart shown in FIG. 1 and the images of a roadway shown in FIGS. 2 and 3.
  • a color image 10 of a roadway in front of a vehicle is detected, in particular with a color camera which is mounted, for example, in the region of the rearview mirror on the windshield of the vehicle.
  • the colors can be coded according to the RGB or YUV color space.
  • the color image is subjected to automatic white balance in step S12 to cope with changing lighting conditions.
  • a section 18 of the roadway is selected from the image 10 in such a way that the influence of local deviations in the color on the white balance can be neglected.
  • Fig. 1 to was selected as a section 18 substantially the largely homogeneous lane without markings, so that no major deviations of color occur, but only smaller local deviations.
  • step S14 the color components contained in the color image are evaluated, for example by separating the RGB components, so that an image with R components, one with G components and one with B components is obtained.
  • markings that are essential for lane recognition are now determined using a pattern recognition algorithm. In this way, it can be determined, in particular, which color (s) or color components have individual markings, which may be of importance for lane recognition because, for example, colored construction site markings can be recognized quickly and distinguished clearly from normal white road markings.
  • the determined colors of the markers can be output and used for a plausibility check of markings, which are recognized by a lane recognition on the basis of monochrome images.
  • the colors of markings obtained in step S14 are output in a plausibility check by a lane recognition in step S16.
  • Fig. 2 shows an example of such a color image 10 in monochrome representation, ie after a conversion of the color image into a gray value image.
  • the recognizable in the image roadway 12 has two lanes, which are separated by a white median mark 14 from each other.
  • the left lane is also bounded on the left by a yellow side edge marking 16 recognizable in FIG. 2 on account of the monochrome representation clearly worse than the white center line marking.
  • the gray value of the yellow side edge marking 16 lies below that of the roadway, as in FIG. 2 is clearly visible. Therefore, a lane detection algorithm that works on the basis of monochrome images would not classify the yellow margin marker as a marker essential to lane detection.
  • step S18 markings are determined on the road, the gray value is below the gray value of the roadway, as in Fig. 2, the yellow side edge mark 16.
  • step S20 then for the detected in step S18 markers their gray values to a value above Gray value of the roadway, so the image is modified.
  • Such a modified image 10 is shown in FIG.
  • the yellow side edge marking 16 is clearly recognizable, as is the white center line marking 14.
  • the markings 14 and 16 now have sufficiently large light-dark / dark-light differences from the roadway to provide markings that are essential for lane recognition monochrome images working lane detection algorithm to be identified.
  • step S22 the thus processed and changed image 10 is output to be supplied to a lane detection algorithm for processing.
  • FIG. 4 shows a lane recognition device 22 for processing the digitized images captured by a vehicle color camera 20 according to the invention.
  • the device 22 comprises a white balance 24 for carrying out the method step S12, a
  • Color component determiner 26 for performing the process steps S14 and S16 and outputting data 34 regarding the colors of detected marks
  • a gray value determiner 28 for performing the process step S18
  • a gray value modifier 30 for performing the process steps S20 and S22 and outputting the modified monochrome image for lane recognition.
  • the elements 24, 26, 28, and 30 may be implemented, for example, by a powerful microprocessor that may be implemented by a special program is configured such that it can implement the method according to the invention, as illustrated for example in FIG. 1 with reference to a flow chart. Individual or all elements may also be implemented in logic, for example in the form of one or more Field Programmable Gate Array (FPGA) devices.
  • FPGA Field Programmable Gate Array

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Fahrspurerkennung, bei dem ein digitalisiertes Farbbild (10) einer Fahrbahn (12) mit den folgenden Schritten verarbeitet wird: - Ermitteln von Markierungen auf der Fahrbahn, deren Grauwert unter dem Grauwert der Fahrbahn liegt (S18), - Setzen des Grauwerts von derart ermittelten Markierungen auf einen Wert oberhalb des Grauwerts der Fahrbahn (S20), und - Ausgeben des so verarbeiteten und geänderten Bildes zur Verarbeitung durch einen Fahrspurerkennungsalgorithmus für monochrome Bilder (S22).

Description

VERFAHREN UND VORRICHTUNG ZUR FAHRSPURERKENNUNG
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Fahrspurerkennung gemäß Anspruch 1 bzw. 8.
Zunehmend werden in Fahrzeugen Fahrerassistenzsysteme eingesetzt, die den Fahrer bei der Spurhaltung des Fahrzeugs unterstützen. Assistenzsysteme, die den Fahrer beim unbeabsichtigten Verlassen der Fahrzeugspur warnen, werden im Englischen als Lane-Departure Warning Systems (LDWS) bezeichnet. Systeme, welche direkt in die Lenkung eingreifen können, werden im Englischen als Lane Keeping Systems (LKS) bezeichnet. Im Deutschen werden diese Systeme allgemein als Spurhalteassistenzsysteme bezeichnet.
Spurhalteassistenzsystem sind in der Regel in der Lage, die Fahrspur vor einem Fahrzeug zu erkennen (sog. Fahrspurerkennung), also insbesondere den Straßenverlauf. Insbesondere werden von den
Spurhalteassistenzsystemen die Spurbreite, die horizontale und/oder vertikale Straßenkrümmung, die Ablage zur Spurmitte sowie die Nick- und Gierwinkel des Fahrzeugs geschätzt. Aus diesen Systemgrößen kann die Zeit bis zum Verlassen der Fahrspur berechnet werden, und der Fahrer vor einem ungewollten Verlassen der Fahrspur gewarnt bzw. das Fahrzeug mit Hilfe einer elektrischen Lenkung oder eines gezielten ESP (Elektronisches Stabilitäts-Programm)-Eingriffs in der Spur gehalten werden.
Die vorgenannten Systemgrößen können insbesondere durch eine digitale Bildverarbeitung der mit einem optischen Sensor, beispielsweise einer CMOS-Kamera, erfassten Lage vor einem Fahrzeug ermittelt werden. Hierzu wird eine spezielle Bildverarbeitungsalgorithmik eingesetzt, die Strukturen in den erfassten Bildern auswertet, die für eine Fahrzeugspur und deren Verlauf charakteristisch sind, insbesondere Fahrbahnmarkierungen. Die korrekte Funktion eines auf einer derartigen Bildverarbeitung basierenden Spurhalteassistenzsystems hängt vor allem davon ab, dass in den erfassten digitalen Bildern die für die Fahrspurerkennung wesentlichen Strukturen wie Fahrbahnmarkierungen zuverlässig und exakt erkannt werden. Für die Erfassung der Bilder werden in der Regel monochrome Kameras eingesetzt. Die zur Auswertung der Bilder eingesetzte Grauwert-basierte Spurerkennungsalgorithmen erkennen Markierungen in der erfassten monochromen Bildern vor allem aufgrund der Dunkel-Hell/Hell-Dunkel- Übergange zwischen der Strasse und Fahrbahnmarkierungen. Allerdings ist eine zuverlässige Erkennung der Markierungen nur für helle Markierungen auf dunklem Untergrund gewährleistet, aber nicht notwendigerweise für farbige Markierungen, deren Grauwert im Bild unter dem Grauwert des Untergrunds bzw. der Strasse liegt. Zum Beispiel werden in den USA Streckenabschnitte mit dunkelgelben Markierungen auf hellem Untergrund und in Deutschland Baustellen mit gelben Markierungen gekennzeichnet, und in Österreich dunkelrote Markierungen auf hellem Untergrund verwendet. Diese Markierungen sind für das menschliche Auge sehr gut zu erkennen, nicht jedoch für eine Fahrspurerkennung mit einer monochromen Kamera, da es sich um einen optischen Farbeindruck handelt.
Die DE 10 2004 061 822 A1 zeigt ein Verfahren zur Erkennung von Fahrbahnmarkierungen, insbesondere im Baustellenbereich, wobei die Fahrbahnmarkierungen in Form von Bildkoordinaten vorliegen, die aus einem farbigen Umgebungsbild eines Kraftfahrzeugs ermittelt werden. Hierbei werden anhand von Sättigungswerten und Farbtonwerten gelbe und weiße Fahrbahnmarkierungen ermittelt.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und eine Vorrichtung zur Fahrspurerkennung vorzuschlagen, die eine zuverlässige Fahrspurerkennung auch in den vorstehend geschilderten Situationen mit farbigen Markierungen ermöglichen.
Diese Aufgabe wird durch ein Verfahren zur Fahrspurerkennung mit den Merkmalen nach Anspruch 1 und eine entsprechende Vorrichtung mit den Merkmalen nach Anspruch 8 gelöst. Weitere Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.
Ein wesentlicher Gedanke der Erfindung besteht nun darin, dass ein Farbimager zur Bilderfassung eingesetzt wird, und eine spezielle Vorverarbeitung mit den erfassten digitalisierten Farbbildern durchgeführt wird, so dass herkömmliche Algorithmen zur Spurerkennung, die auf monochromen Bildern basieren, auch farbige Markierungen zuverlässig erkennen können. Die Vorverarbeitung weist folgende Schritte auf: in einem mit einem Farbimager digitalisierten Farbbild einer Fahrbahn werden Markierungen auf der Fahrbahn ermittelt, deren Grauwert unter dem Grauwert der Fahrbahn liegt; der Grauwert von derart ermittelten Markierungen wird anschließend auf einen Wert oberhalb des Grauwerts der Fahrbahn gesetzt, so dass ein nachfolgender Fahrspurerkennungsalgorithmus die farbigen Markierungen aufgrund der nun nach der Vorverarbeitung ausreichenden Hell-Dunkel/Dunkel-Hell-Übergänge als für die Fahrspurerkennung wesentliche Markierungen identifizieren kann. Mit dem Grauwert eines Bildpunkts eines Farbbilds ist der Grauwert gemeint, den dieser Bildpunkt bei der Umwandlung des Farbbilds in ein monochromes Bild erhält. Durch die Erfindung können also weiterhin bewährte Algorithmen zur Fahrspurerkennung benutzt werden, die monochrome Bilder verarbeiten. Trotz der Verwendung derartiger Algorithmen ermöglicht die Erfindung eine zuverlässige Erkennung von farbigen Markierungen.
Die Erfindung betrifft nun gemäß einer Ausführungsform ein Verfahren zur Fahrspurerkennung, bei dem ein digitalisiertes Farbbild einer Fahrbahn mit den folgenden Schritten verarbeitet wird:
- Ermitteln von Markierungen auf der Fahrbahn, deren Grauwert unter dem Grauwert der Fahrbahn liegt, - Setzen des Grauwerts von derart ermittelten Markierungen auf einen Wert oberhalb des Grauwerts der Fahrbahn, und
- Ausgeben des so verarbeiteten und geänderten Bildes zur Verarbeitung durch einen Fahrspurerkennungsalgorithmus für monochrome Bilder. Das digitalisierte Farbbild kann von einem Farbimager stammen, der beispielsweise in einer Farbkamera eines Fahrerassistenzsystems, insbesondere eines Spurerkennungssystems eingebaut sein kann. Das Ermitteln der Markierungen kann durch eine Pixelanalyse des digitalisierten Bildes erfolgen, bei der von jedem Pixel der Grauwert ermittelt wird und als Grauwert der Fahrbahn derjenige Grauwerte verwendet wird, den die Mehrheit der analysierten Pixel aufweist. Alle Pixel, deren Grauwert geringer ist als der so ermittelte „Mehrheits"-Grauwert können dann den Markierungen mit einem geringeren Grauwert als den der Fahrbahn zugeordnet werden. Um zu vermeiden, dass nur einzelne Punkte im Bild, die keine Markierungen sind, aber eine geringeren Grauwert als den der Fahrbahn aufweisen, als Markierungen klassifiziert werden, können ferner nur Pixel mit einer geringeren Grauwert als den der Fahrbahn einer Markierung zugeordnet werden, sofern sie eine bestimmte Ausdehnung im Bild überschreiten oder gar eine bestimmte Gestalt besitzen wie eine längliche strichförmige Struktur, wie sie beispielsweise durch eine Straßenmarkierung typischerweise erzeugt werden würde.
Das Verfahren kann ferner durch die folgenden Schritte gekennzeichnet sein:
- Auswertung der einzelnen Farbkomponenten des Farbbildes und
- Ermitteln der Farben von Markierungen auf der Fahrbahn anhand der ausgewerteten Farbkomponenten.
Hierdurch können ganz gezielt farbige Markierungen im Bild und deren Farbe ermittelt werden, was insbesondere eine Unterscheidung bzw. Klassifikation von Markierungen im Bild ermöglicht, beispielsweise in der Art, dass Markierungen entweder als Straßenmarkierungen, Baustellenmarkierung oder sonstige spezielle Markierungen klassifiziert werden.
Insbesondere können die ermittelten Farben von Markierungen zur Plausibilisierung einer Fahrspurerkennung ausgegeben werden. Beispielsweise kann anhand der ausgegebenen Farben von Markierungen durch einen Spurerkennungsalgorithmus festgestellt werden, ob einzelne von ihm als Straßenmarkierungen klassifizierte Markierungen korrekt klassifiziert wurden. Ergibt sich beispielsweise, dass eine als Straßenmarkierungen klassifizierte Markierung eine gelbe oder rote Farbe aufweist, die für Straßenmarkierungen nicht oder nur selten verwendet werden, kann der Fahrspurerkennungsalgorithmus derartige Markierungen für eine Spurerkennung ignorieren.
Um wechselnden Beleuchtungsverhältnissen wie beispielsweise bei Sonnenaufgang/-untergang, Tunneldurchfahrten bei Kunstlicht etc. gerecht zu werden, kann vor dem Schritt des Ermitteins von Markierungen ein automatischer Weißabgleich des Farbbildes durchgeführt werden.
Insbesondere kann der Weißabgleich durch eine adaptive Auswertung der Fahrbahn unmittelbar vor einem Fahrzeug erfolgen.
Weiterhin kann hierzu ein derart großer Ausschnitt der Fahrbahn gewählt wird, dass der Einfluss lokaler Abweichungen in der Farbigkeit auf den Weißabgleich vernachlässigt werden kann. Somit fallen etwaige lokale Abweichungen in der Farbigkeit nicht so sehr ins Gewicht.
Unter der Annahme einer farbig neutralen Fahrbahn kann vor allem eine Farbdifferenz und davon abhängig ein Korrekturfaktor für den Weißabgleich bestimmt werden.
Gemäß einer weiteren Ausführungsform betrifft die Erfindung eine Vorrichtung zur Fahrspurerkennung, die zur Verarbeitung eines digitalisierten Farbbildes einer Fahrbahn wie folgt ausgebildet ist:
- Ermitteln von Markierungen auf der Fahrbahn, deren Grauwert unter dem Grauwert der Fahrbahn liegt, - Setzen des Grauwerts von derart ermittelten Markierungen auf einen Wert oberhalb des Grauwerts der Fahrbahn, und
- Ausgeben des so verarbeiteten und geänderten Bildes zur Verarbeitung durch einen Fahrspurerkennungsalgorithmus für monochrome Bilder. Die Vorrichtung kann ferner gemäß einer Ausführungsform der Erfindung ausgebildet sein, ein Verfahren gemäß der Erfindung und wie oben erläutert auszuführen.
Weiterhin betrifft die Erfindung gemäß einer Ausführungsform ein automatisches Fahrspurwechselwamsystem oder Fahrspurhaltesystem, das eine Vorrichtung nach der Erfindung und wie vorstehend beschrieben aufweist.
Schließlich betrifft die Erfindung gemäß einer Ausführungsform ein Fahrzeug mit einem automatischen Fahrspurwechselwamsystem oder Fahrspurhaltesystem nach der Erfindung und wie vorstehend beschrieben.
Weitere Vorteile und Anwendungsmöglichkeiten der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung in Verbindung mit den in den Zeichnungen dargestellten Ausführungsbeispielen.
In der Beschreibung, in den Ansprüchen, in der Zusammenfassung und in den Zeichnungen werden die in der hinten angeführten Liste der Bezugszeichen verwendeten Begriffe und zugeordneten Bezugszeichen verwendet.
Die Zeichnungen zeigen in
Fig. 1 ein Flussdiagramm eines Ausführungsbeispiels des
Verfahrens zur Fahrspurerkennung mittels eines Farbbildes gemäß der Erfindung;
Fig. 2 ein mit einer Kamera eines Fahrzeugs erfasstes monochromes Bild einer Fahrbahn mit einer gelben Seitenrandmarkierung einer Fahrspur vor Durchführung des erfindungsgemäßen Verfahrens;
Fig. 3 ein mit einer Kamera eines Fahrzeugs erfasstes monochromes Bild einer Fahrbahn mit einer gelben Seitenrandmarkierung einer Fahrspur nach Durchführung des erfindungsgemäßen Verfahrens; und
Fig. 4 ein Blockschaltbild eines Ausführungsbeispiels einer
Vorrichtung zur Fahrspurerkennung mittels eines Farbbildes gemäß der Erfindung.
Im Folgenden können gleiche und/oder funktional gleiche Elemente mit den gleichen Bezugszeichen versehen sein. Die im Folgenden angegebenen absoluten Werte und Maßangaben sind nur beispielhafte Werte und stellen keine Einschränkung der Erfindung auf derartige Dimensionen dar.
Das erfindungsgemäße Verfahren zur Fahrspurerkennung wird eingesetzt, um Farbbilder derart zu bearbeiten, dass sie zur Verarbeitung durch einen Fahrspurerkennungsalgorithmus geeignet sind, der auf Basis monochromer Bilder und weißer Markierungen auf einer Fahrbahn arbeitet, wie sie in der Regel zur Fahrspurmarkierung in vielen Ländern eingesetzt werden. Ein Flussdiagramm eines Programms, welches das erfindungsgemäß Verfahren implementiert, ist in Fig. 1 dargestellt. Im Folgenden wird nun das Verfahren anhand des in Fig. 1 dargestellten Flussdiagramms und der in den Fig. 2 und 3 gezeigten Bildern einer Fahrbahn erläutert.
Zunächst wird im Schritt S10 des Verfahrens ein Farbbild 10 einer Fahrbahn vor einem Fahrzeug erfasst, insbesondere mit einer Farbkamera, die beispielsweise im Bereich des Rückspiegels an der Windschutzscheibe des Fahrzeugs montiert ist. Im Farbbild können die Farben beispielsweise nach dem RGB- oder YUV-Farbraum kodiert sein.
Das Farbbild wird im Schritt S12 einem automatischen Weißabgleich unterzogen, um wechselnden Beleuchtungsverhältnissen gerecht zu werden. Für den Weißabgleich wird aus dem Bild 10 ein Ausschnitt 18 der Fahrbahn derart gewählt, dass der Einfluss lokaler Abweichungen in der Farbigkeit auf den Weißabgleich vernachlässigt werden kann. Wie in Fig. 1 zu erkennen ist, wurde als Ausschnitt 18 im Wesentlichen die weitgehend homogene Fahrbahn ohne Markierungen gewählt, so dass keine größeren Abweichungen der Farbigkeit auftreten, sondern lediglich kleinere lokale Abweichungen.
Anschließend werden im Schritt S14 die im Farbbild enthaltenen Farbkomponenten ausgewertet, beispielsweise indem die RGB-Anteile getrennt werden, so dass ein Bild mit R-Anteilen, eines mit G-Anteilen und eines mit B-Anteilen erhalten wird. In jedem dieser Bilder werden nun mit einem Mustererkennungsalgorithmus Markierungen ermittelt, die für eine Fahrspurerkennung wesentlich sind. Auf diese Weise kann vor allem ermittelt werden, welche Farbe(n) bzw. Farbanteile einzelne Markierungen besitzen, was für die Fahrspurerkennung deswegen von Bedeutung sein kann, da beispielsweise farbige Baustellenmarkierungen schnell erkannt und von normalen weißen Straßenmarkierungen deutlich unterschieden werden können. Weiterhin können die ermittelten Farben der Markierungen ausgegeben und für eine Plausibilisierung von Markierungen verwendet werden, die durch eine Fahrspurerkennung auf Basis monochromer Bilder erkannt werden. Die im Schritt S14 ermittelten Farben von Markierungen werden im Schritt S16 zur Plausibilisierung durch eine Fahrspurerkennung ausgegeben.
Die folgenden Schritte S18-S22 werden mit einer monochromen Darstellung des Farbbildes 10 durchgeführt. Fig. 2 zeigt ein Beispiel eines solchen Farbbildes 10 in monochromer Darstellung, d.h. nach einer Umwandlung des Farbbildes in ein Grauwertbild. Die im Bild erkennbare Fahrbahn 12 weist zwei Fahrspuren auf, die durch eine weiße Mittelstreifenmarkierung 14 voneinander getrennt sind. Die linke Fahrspur ist zudem links durch eine in Fig. 2 aufgrund der monochromen Darstellung deutlich schlechter als die weiße Mittelstreifenmarkierung erkennbare gelbe Seitenrandmarkierung 16 begrenzt. Durch die Umwandlung des Farbbildes in ein Grauwertbild 10 liegt der Grauwert der gelben Seitenrandmarkierung 16 unter dem der Fahrbahn, wie in Fig. 2 deutlich zu erkennen ist. Ein Fahrspurerkennungsalgorithmus, der auf Basis von monochromen Bildern arbeitet, würde daher die gelbe Seitenrandmarkierung nicht als für die Fahrspurerkennung wesentliche Markierung klassifizieren.
Im Schritt S18 werden daher Markierungen auf der Fahrbahn ermittelt, deren Grauwert unter dem Grauwert der Fahrbahn liegt, wie in Fig. 2 die gelbe Seitenrandmarkierung 16. Im anschließenden Schritt S20 werden dann für die in Schritt S18 ermittelten Markierungen deren Grauwerte auf einen Wert oberhalb des Grauwerts der Fahrbahn gesetzt, das Bild also modifiziert. Ein derart modifiziertes Bild 10 ist in Fig. 3 gezeigt. Deutlich ist nun die gelbe Seitenrandmarkierung 16 zu erkennen, genauso wie die weiße Mittelstreifenmarkierung 14. Die Markierungen 14 und 16 weisen nun ausreichend große Hell-Dunkel/Dunkel-Hell-Unterschiede zur Fahrbahn auf, um als für eine Fahrspurerkennung wesentliche Markierungen von einem auf Basis monochromer Bilder arbeitenden Fahrspurerkennungsalgorithmus identifiziert zu werden. Schließlich wird im Schritt S22 das so verarbeitete und geänderte Bild 10 ausgegeben, um einem Fahrspurerkennungsalgorithmus zur Verarbeitung zugeführt zu werden.
Fig. 4 zeigt eine Fahrspurerkennungsvorrichtung 22 zur Verarbeitung der von einer Fahrzeug-Farbkamera 20 erfassten digitalisierten Bilder gemäß der Erfindung. Die Vorrichtung 22 umfasst einen Weißabgleicher 24 zur Durchführung des Verfahrensschritts S12, einen
Farbkomponentenermittler 26 zur Durchführung der Verfahrensschritte S14 und S16 und Ausgabe von Daten 34 bezüglich der Farben von ermittelten Markierungen, einen Grauwertermittler 28 zur Durchführung des Verfahrensschritts S18 und einen Grauwertmodifikator 30 zur Durchführung der Verfahrensschritte S20 und S22 und Ausgabe der modifizierten monochromen Bild für eine Fahrspurerkennung. Die Elemente 24, 26, 28 und 30 können beispielsweise durch einen leistungsfähigen Mikroprozessor implementiert sein, der durch ein spezielles Programm derart konfiguriert ist, dass er das erfindungsgemäße Verfahren, wie es beispielsweise in Fig. 1 anhand eines Flussdiagramms dargestellt ist, implementieren kann. Einzelne oder alle Elemente können auch in Logik implementiert sein, beispielsweise in Form eines oder mehrerer FPGA (Field Programable Gate Array)- Bausteine.
Bezugszeichen
10 Bild einer Fahrbahn
12 Fahrbahn
14 Mittelstreifenmarkierung zur Abgrenzung der beiden
Fahrspuren
16 gelbe Seitenrandmarkierung der linken Fahrspur
18 Ausschnitt für Weißabgleich
20 Fahrspurerkennungsvorrichtung
22 Farbkamera
24 Weißabgleicher
26 Farbkomponentenermittler
28 Grauwertermittler
30 Grauwertmodifikator
S10-S22 Verfahrensschritte

Claims

Patentansprüche
1. Verfahren zur Fahrspurerkennung, bei dem ein digitalisiertes Farbbild (10) einer Fahrbahn (12) mit den folgenden Schritten verarbeitet wird:
- Ermitteln von Markierungen auf der Fahrbahn, deren Grauwert unter dem Grauwert der Fahrbahn liegt (S18),
- Setzen des Grauwerts von derart ermittelten Markierungen auf einen Wert oberhalb des Grauwerts der Fahrbahn (S20), und
- Ausgeben des so verarbeiteten und geänderten Bildes zur Verarbeitung durch einen Fahrspurerkennungsalgorithmus für monochrome Bilder (S22).
2. Verfahren nach Anspruch 1 , ferner gekennzeichnet durch die folgenden Schritte:
- Auswertung der einzelnen Farbkomponenten des Farbbildes (S14) und
- Ermitteln der Farben von Markierungen auf der Fahrbahn anhand der ausgewerteten Farbkomponenten (S16).
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die ermittelten Farben von Markierungen zur Plausibilisierung einer Fahrspurerkennung ausgegeben werden (S 16).
4. Verfahren nach Anspruch 1 , 2 oder 3, dadurch gekennzeichnet, dass vor dem Schritt des Ermitteins von Markierungen ein automatischer Weißabgleich des Farbbildes durchgeführt wird (S12).
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Weißabgleich durch eine adaptive Auswertung der Fahrbahn unmittelbar vor einem Fahrzeug erfolgt.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass ein derart großer Ausschnitt der Fahrbahn gewählt wird, dass der Einfluss lokaler Abweichungen in der Farbigkeit auf den Weißabgleich vernachlässigt werden kann.
7. Verfahren nach Anspruch 4, 5 oder 6, dadurch gekennzeichnet, dass unter der Annahme einer farbig neutralen Fahrbahn eine Farbdifferenz und davon abhängig ein Korrekturfaktor für den Weißabgleich bestimmt wird.
8. Vorrichtung (20) zur Fahrspurerkennung, die zur Verarbeitung eines digitalisierten Farbbildes (10) einer Fahrbahn (12) wie folgt ausgebildet ist:
- Ermitteln von Markierungen auf der Fahrbahn, deren Grauwert unter dem Grauwert der Fahrbahn liegt,
- Setzen des Grauwerts von derart ermittelten Markierungen auf einen Wert oberhalb des Grauwerts der Fahrbahn, und
- Ausgeben des so verarbeiteten und geänderten Bildes zur Verarbeitung durch einen Fahrspurerkennungsalgorithmus für monochrome Bilder..
9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass sie zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 7 konfiguriert ist.
10. Automatisches Fahrspurerkennungssystem, das eine Vorrichtung nach Anspruch 8 oder 9 aufweist und Fahrspurdaten ausgibt.
11. Fahrspurwechselwarnsystem oder Fahrspurhaltesystem, das ein automatisches Fahrspurerkennungssystem nach Anspruch 10 aufweist und die von diesem ausgegebenen Fahrspurdaten zum Erkennen eines Fahrspurwechsels verarbeitet.
12. Fahrzeug mit einem automatischen Fahrspurwechselwarnsystem oder Fahrspurhaltesystem nach Anspruch 11.
PCT/DE2010/000302 2009-03-30 2010-03-18 Verfahren und vorrichtung zur fahrspurerkennung WO2010111992A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112010000080T DE112010000080A5 (de) 2009-03-30 2010-03-18 Verfahren und vorrichtung zur fahrspurerkennung
EP10716745.4A EP2415020B1 (de) 2009-03-30 2010-03-18 Verfahren und vorrichtung zur fahrspurerkennung
US13/256,664 US8611650B2 (en) 2009-03-30 2010-03-18 Method and device for lane detection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009003698.9 2009-03-30
DE102009003698A DE102009003698A1 (de) 2009-03-30 2009-03-30 Verfahren und Vorrichtung zur Fahrspurerkennung

Publications (1)

Publication Number Publication Date
WO2010111992A1 true WO2010111992A1 (de) 2010-10-07

Family

ID=42315558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2010/000302 WO2010111992A1 (de) 2009-03-30 2010-03-18 Verfahren und vorrichtung zur fahrspurerkennung

Country Status (5)

Country Link
US (1) US8611650B2 (de)
EP (1) EP2415020B1 (de)
KR (1) KR101651061B1 (de)
DE (2) DE102009003698A1 (de)
WO (1) WO2010111992A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102862574A (zh) * 2012-09-21 2013-01-09 上海永畅信息科技有限公司 基于智能手机实现车辆主动安全的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101946334B1 (ko) * 2016-12-07 2019-05-10 주식회사 만도 차량의 정상 경로 주행 장치 및 방법
DE102019209226A1 (de) * 2019-06-26 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten
CN113534129B (zh) * 2021-06-29 2022-07-08 中国人民解放军93209部队 评估地基宽带雷达的高速目标探测性能的方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1304607A1 (de) * 2001-10-17 2003-04-23 Hitachi, Ltd. System zur Fahrspurerkennung
EP1887521A1 (de) * 2005-06-03 2008-02-13 HONDA MOTOR CO., Ltd. Fahrzeug- und strassenschilderkennungseinrichtung

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6591000B1 (en) * 1998-04-21 2003-07-08 Denso Corporation Apparatus and method for preprocessing a picked-up image, lane mark recognizing system, related vehicle traveling control system, and recording media
US6978037B1 (en) * 2000-11-01 2005-12-20 Daimlerchrysler Ag Process for recognition of lane markers using image data
KR100490168B1 (ko) * 2001-04-20 2005-05-19 센싱테크 주식회사 칼라정보처리를 이용한 차선이탈경보장치등 및 그 방법
JP3801126B2 (ja) * 2002-09-25 2006-07-26 ソニー株式会社 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
DE102004061822B4 (de) * 2003-12-22 2018-10-31 Volkswagen Ag Verfahren zur Erkennung von Fahrbahnmarkierungen und Fahrerassistenzsystem
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
JP4526963B2 (ja) * 2005-01-25 2010-08-18 株式会社ホンダエレシス レーンマーク抽出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1304607A1 (de) * 2001-10-17 2003-04-23 Hitachi, Ltd. System zur Fahrspurerkennung
EP1887521A1 (de) * 2005-06-03 2008-02-13 HONDA MOTOR CO., Ltd. Fahrzeug- und strassenschilderkennungseinrichtung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CRAIG D'CRUZ ET AL: "Lane detection for driver assistance and intelligent vehicle applications", COMMUNICATIONS AND INFORMATION TECHNOLOGIES, 2007. ISCIT '07. INT ERNATIONAL SYMPOSIUM ON, IEEE, PI, 1 October 2007 (2007-10-01), pages 1291 - 1296, XP031166661, ISBN: 978-1-4244-0976-1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102862574A (zh) * 2012-09-21 2013-01-09 上海永畅信息科技有限公司 基于智能手机实现车辆主动安全的方法
CN102862574B (zh) * 2012-09-21 2015-08-19 上海永畅信息科技有限公司 基于智能手机实现车辆主动安全的方法

Also Published As

Publication number Publication date
EP2415020A1 (de) 2012-02-08
KR20120000573A (ko) 2012-01-02
KR101651061B1 (ko) 2016-08-26
US8611650B2 (en) 2013-12-17
DE112010000080A5 (de) 2012-08-02
US20130004067A1 (en) 2013-01-03
EP2415020B1 (de) 2015-10-28
DE102009003698A1 (de) 2010-10-07

Similar Documents

Publication Publication Date Title
WO2010111993A1 (de) Verfahren und vorrichtung zur fahrspurerkennung
EP1904340B1 (de) Verfahren und vorrichtung zur fahrerunterstützung
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
DE102008011699B4 (de) Verfahren zur Bestimmung einer Eigenschaft für den Betrieb eines Kraftfahrzeugs und entsprechend ausgestaltetes Kraftfahrzeug
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
WO2014032904A1 (de) Verfahren und vorrichtung zum erkennen einer position eines fahrzeugs auf einer fahrspur
WO2013083313A1 (de) Verfahren und vorrichtung zur erkennung einer bremssituation
WO2017103096A1 (de) Verfahren zum identifizieren eines objektes in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
WO2016177372A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld
WO2010099847A1 (de) Verfahren und vorrichtung zum bestimmen einer sichtweite für ein fahrzeug
EP2415020B1 (de) Verfahren und vorrichtung zur fahrspurerkennung
DE102013217860A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Fahrbahnverlaufs einer Fahrbahn eines Fahrzeugs
EP3590069A1 (de) Vorrichtung und verfahren zum detektieren einer ampelphase für ein kraftfahrzeug
DE102013022076A1 (de) Verfahren zum Bestimmen einer Breite eines Zielfahrzeugs mittels eines Kamerasystems eines Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
EP2080684B1 (de) Verfahren und Vorrichtung zum Erfassen eines vorbeifahrenden Fahrzeuges bei Dunkelheit
DE102020125232A1 (de) Verfahren zur Farbkorrektur für ein Kamerasystem sowie ein Kamerasystem
DE10238215A1 (de) Verfahren und Vorrichtung zur Fahrerinformation bzw. zur Reaktion bei Verlassen der Fahrspur
EP2181416B1 (de) Verfahren und anordnung zur auswertung von helligkeitswerten in sensorbildern bei bildauswertenden umfelderkennungssystemen
DE102009044284A1 (de) Verfahren und Vorrichtung zur Fahrspurerkennung
DE102004047476A1 (de) Vorrichtung und Verfahren zur Einstellung einer Kamera
DE102006043433B4 (de) Verfahren zur bildgestützten Bestimmung der Fahrtrichtung von Fahrzeugen
DE102014214713A1 (de) Verfahren zum Betrieb eines Assistenzsystems eines Kraftfahrzeugs sowie Assistenzsystem
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102014203544A1 (de) Verfahren und Vorrichtung zum Analysieren einer Lichtaussendung eines Scheinwerfers eines Fahrzeugs
WO2022100793A1 (de) Verfahren und system zum bestimmen einer position einer fahrspur

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10716745

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010716745

Country of ref document: EP

Ref document number: 112010000080

Country of ref document: DE

Ref document number: 1120100000808

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 20117025773

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13256664

Country of ref document: US

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112010000080

Country of ref document: DE

Effective date: 20120802