WO2012034637A1 - Method and device for detecting roadway markings in an image - Google Patents

Method and device for detecting roadway markings in an image Download PDF

Info

Publication number
WO2012034637A1
WO2012034637A1 PCT/EP2011/004249 EP2011004249W WO2012034637A1 WO 2012034637 A1 WO2012034637 A1 WO 2012034637A1 EP 2011004249 W EP2011004249 W EP 2011004249W WO 2012034637 A1 WO2012034637 A1 WO 2012034637A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
shadow
lane
determined
Prior art date
Application number
PCT/EP2011/004249
Other languages
German (de)
French (fr)
Inventor
Michael Grimm
Martin Keppler
Dirk Mehren
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Publication of WO2012034637A1 publication Critical patent/WO2012034637A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised

Definitions

  • the invention relates to a method for detecting lane markings in an image, wherein an environment of a vehicle is detected in at least one image, wherein lane markings are detected in the image and from the
  • Lane markings a lane course is determined, which are considered in the detection of the lane markers in the image existing shadow areas.
  • the invention further relates to a device for detecting lane markings in an image, comprising at least one image capture unit for detecting an environment of a vehicle in at least one image, comprising an evaluation unit for detecting the lane markings in the image, for determining a
  • US 2010/0041714 A1 discloses a method and a device for detecting lane markings on a roadway on which a vehicle is moving.
  • an image acquisition unit arranged on the vehicle, images of the surroundings of the vehicle are acquired.
  • the captured images are normalized for brightness before the lane markers within the images in
  • Main directions are detected.
  • possible candidates for lane markings are then identified in the images by means of filters using edge detection and line detection, and by means of a
  • Transformation procedures are identified from the candidate the lane markings. Road markings in sharp turns are distinguished from various shadows of buildings and trees as distracting factors. Furthermore, from US 2006/0274917 A1 a method for reducing the optical influence of shadows in the processing of images in a video-based
  • Traffic detection device known.
  • the method first an image area with a relatively constant brightness is determined. Subsequently, this area is assigned to a shadow area and the optical influence of the image area is removed from the image. A delimitation of the shadow area from an environment takes place
  • Road markings in an electronically stored image The image is captured by an image capture unit, displays at least one lane marker and its surroundings, and is stored as an array of pixels. On the basis of a
  • Edge detection produces a list of characteristic edges that shape the image. From the list, according to predetermined criteria, pairs of
  • DE 103 38 764 B4 discloses a method for activating a night vision system in a vehicle.
  • a current position of the vehicle is determined before, in a second step, a position of the sun relative to the vehicle is determined using the determined position data of the vehicle.
  • a need is identified to assist a driver of the vehicle by a method of improving visibility in the vehicle, determining the need for assistance using the detected position of the sun relative to the vehicle. The need to improve visibility is derived from whether the sun is above or below the horizon in relation to the vehicle.
  • Data bus known, wherein over the data bus several connected bus participants are in data transmission connection. Furthermore, one trained as a bus subscriber Location unit provided for determining at least vehicle position data and for outputting the determined vehicle position data on the data bus
  • the locating unit has a location sensor system comprising at least one GPS receiver.
  • the location unit is set up to deduce from the direction of the solar radiation into the vehicle what kind of
  • a device receiving sun position data from the data bus is provided for detecting the need to drive a driver of the vehicle
  • the arrangement for improving the visibility in a vehicle includes a camera for observing a solid angle range and a display device in the interior of the vehicle for displaying the images of the camera.
  • the invention has for its object to provide a comparison with the prior art improved method for detecting lane markings in a picture. Furthermore, the invention has for its object to provide an improved device for the detection of lane markings in a picture.
  • the object is achieved by the features specified in claim 1 and in terms of the device by the features specified in claim 8.
  • an environment of a vehicle is detected in at least one image, wherein
  • Lane markings are detected in the image and from the
  • Lane markings a lane course is determined, which are considered in the detection of the lane markers in the image existing shadow areas.
  • a light incidence direction and, based on the direction of light incidence, a probability are determined whether a shadow area similar to a lane marking in the image and / or a shadow gap similar to a lane marking from a light source of a light source with the determined
  • Lichteinfallsraum generated shadows throw one or more objects in the Environment of the vehicle resulting in a plausibility of structures recognized as potential lane markers in the image is performed and depending on the size of the probability as a shadow area and / or
  • Shadow gap identified potential lane markings are discarded when determining the lane course.
  • the direction of light incidence is determined in particular relative to the vehicle and / or relative to a cardinal direction, for example the sky direction "north".
  • Direction of the direction of light incidence is made up of a horizontal angle, d. H. the so-called azimuth, and a vertical angle, d. H. the so-called
  • a position of the sun is determined on the basis of a position of the light
  • Lane markings are located. In shadow areas, lane markings are due to the reduced brightness and the resulting reduction in contrast between the lane markings and a road surface
  • Shadow area is reduced.
  • Lane markings resulting from a shadow cast and / or a shadow gap of one or more objects will, in determining the potential
  • Lane markings and / or plausibility check preferably takes into account a size and / or shape of the objects and / or a distance of the at least one image capture unit to the objects.
  • a street category of a road on which the vehicle is moving is taken into account.
  • the vehicle is on, below, above and / or within one or more structures for guiding
  • Traffic routes is located.
  • This embodiment in turn leads to the advantage that a probability of the presence of certain objects, such as crash barriers and / or guide posts, can be included in the determination and / or plausibility check.
  • a probability for the presence of crash barriers on bridges is particularly high.
  • it is when driving through tunnels unlikely or impossible to produce due to sunlight
  • Shadow areas and / or shadow gaps are identified as potential lane markings.
  • the method is determined on the basis of a terrain model of a digital map of a navigation device and the determined light incidence direction and / or a city model of a digital map of a navigation device and the determined direction of light incidence whether terrain structures, plants and / or in a line of sight between a vehicle position and the light source or structures, taking into account the identified off-road structures, plants and / or structures in determining the potential lane markings and / or the plausibility check.
  • This makes it possible to determine in a simple and rapid manner whether terrain structures, plants and / or structures are present in the surroundings of the vehicle, which, depending on the light incident direction as
  • Lane markings create interpretable shadow areas and / or shadow gaps or completely shade an area in which the vehicle is located, so that the probability of such misinterpretable
  • Shadow areas and / or shadow gaps is very low.
  • the device for detecting lane markings in an image comprises at least one image capture unit for detecting a surroundings of a vehicle in at least one image and an evaluation unit for detecting the lane markings in the image, for determining a lane course from the lane markings and for taking account of shadow regions present in the image the detection of lane markings.
  • the evaluation unit is coupled to a determination unit for determining a light incident direction, wherein by means of the evaluation unit on the basis of
  • Light incidence direction is a probability can be determined, whether in the image of a
  • the device is characterized by a simple structure and it is in a particularly advantageous manner only a small effort to realize the function of the device required. Furthermore, in particular, a driver assistance system for assisting a driver of a vehicle in the tracking of the vehicle can be improved in its function, and false warnings and / or incorrect interventions are avoided or at least reduced.
  • the determination unit preferably comprises at least one light sensor for detecting a strength of a light beam or is coupled thereto.
  • the light sensor which is designed for example as a photoresistor, photodiode, phototransistor, pyroelectric sensor, photocell and / or solar cell, the intensity of the light source of the light source can be determined very accurately and at the same time simply and with little effort. Thus, it can be determined whether, for example, the sun is hidden as a light source of clouds or objects or the light is unhindered.
  • the evaluation unit is provided with a locating unit, a navigation device and / or a receiving unit for receiving position data of the vehicle
  • Calendar date a time and / or an orientation of the vehicle coupled to a cardinal direction. Due to this design of the device is a
  • the additional installation of the locating unit and / or the receiving unit for receiving position data of the vehicle is characterized by a low material and assembly costs.
  • Fig. 1 shows schematically a vehicle with a device according to the invention for
  • FIG. 2 schematically shows an image of an environment of the vehicle according to FIG. 1. Corresponding parts are provided in all figures with the same reference numerals.
  • FIG. 1 shows a vehicle 1 with a device 2 according to the invention for detecting lane markings FM1, FM2 in an image B shown in FIG.
  • the road markings FM1, FM2 may be structural boundaries of a roadway FB shown in detail in FIG. 2 and lines applied to the roadway FB.
  • the device 2 comprises an image acquisition unit 2.1 for detecting an environment of a vehicle 1 in at least one image B.
  • the device 2 further comprises an evaluation unit 2.2 coupled to the image acquisition unit 2.1 for evaluating the image B.
  • the device 2 has a determination unit 2.3 for determining a light incidence direction R, shown in more detail in FIG. 2, of a light beam L of a light source, not shown, wherein the determination unit 2.3 is coupled to the evaluation unit 2.2.
  • the detection unit 2.3 comprises a light sensor 2.3.1 for detecting a strength of the light beam L, wherein the light sensor 2.3.1 as a photoresistor,
  • Photodiode, phototransistor, pyroelectric sensor, photocell and / or solar cell is formed.
  • the evaluation unit 2.2 is further coupled to a navigation device 3, wherein by means of the navigation device 3, a position POS of the vehicle 1, a
  • a time T and an orientation A of the vehicle 1 to a cardinal direction, such as a north orientation, to the evaluation unit 2.2 are transferable.
  • the device 2 for detecting the lane markers FM1, FM2 is provided with a
  • Driver assistance device 4 to assist a driver of the vehicle 1 at a
  • the driver assistance device 4 is designed such that an automatic and active tracking within
  • Lanes FS1, FS2 limiting road markings FM1, FM2 means
  • Lane FS1, FS2 or roadway FB by optical, acoustic and / or haptic Signals are warned.
  • a lane course is determined from the lane markings FM1, FM2 by means of the evaluation unit 2.2.
  • FIG. 2 shows an image B of the surroundings of the vehicle 1 recorded by means of the image acquisition unit 2.1, wherein the vehicle 1 moves on a carriageway FB with two lanes FS1, FS2.
  • a right lane FS1 is bounded on the right side by a first lane marking F 1, which is formed as a solid line.
  • the right lane FS1 is bounded by a second lane marking FM2, the second lane marking FM2 simultaneously having a left lane FS2 from the right
  • Lane FS1 separates.
  • the second lane marking FM2 is formed as a broken line.
  • the left lane FS2 is bounded by an object 01 designed as a guardrail, in particular by an obstacle designed as two guardrails arranged one above the other.
  • Lane markings FM1, FM2 are detected by well-known methods in the image. These methods comprise, in particular, an edge detection and / or a determination of the road markings FM1, FM2 on the basis of a
  • Shadow gaps SL are formed in the shadow area S1.
  • the illustrated shadow gaps SL are similar in their arrangement and shape of the formed as a broken line pavement marking FM2. So that
  • Lane markings FM1, FM2 are detected and lead to incorrect interventions and / or false warnings of the driver assistance device 4, it is determined whether a Light L with a light incident direction R is present, which could cause the shadow area shown S1 with the shadow gaps SL.
  • the evaluation unit 2.2 is coupled to the determination unit 2.3, by means of which the light incidence direction R of the light sheet L is determined.
  • a sun position is determined in determining the light incidence direction R, since the generated shadow area S1 and the shadow gaps SL arise due to the light L with the light incident direction R of the sun on the road FB.
  • the determination of the position of the sun is carried out by means of the evaluation unit 2.2, for which purpose one or more algorithms are provided, by means of which the position of the sun is determined in particular in coordinates relative to the vehicle 1 or in coordinates relative to the earth.
  • the determination of the position of the sun is based on the position POS of the vehicle 1, the calendar date D, the time T and the
  • the transmission preferably takes place via a data bus, not shown, of the vehicle 1, for example a CAN bus or LIN bus.
  • the determination of the position of the sun is carried out in particular by means of a method known from DE 103 38 764 B4 and / or by means of a method known from DE 103 38 766 B4.
  • a probability is determined by means of the evaluation unit 2.2 whether a shadow gap SL similar to a road marking FM1, FM2 is present in the image and / or a shadow gap SL similar to a road marking FM1, FM2 is obtained from the light incident direction determined by the light beam L R generated shadows cast the guardrail.
  • it is determined whether the sun is at a suitable angle, i. H. Elevation, and a suitable direction, d. H. Azimuth, is designed to be similar to pavement markers FM1, FM2
  • Shadow area S1 and shadow gaps SL to produce. In order to use the shadow area S1 and the shadow gaps SL as incorrectly identified road markings F1, FM2 for operating the
  • Evaluation unit 2.2 all structures on the roadway FB, which
  • These potential lane markings are subjected to a plausibility check carried out by means of the evaluation unit 2.2, it being determined on the basis of the plausibility check whether the structures recognized as potential lane markings in the image B are lane markings FM1, FM2 or shadow areas S1 and / or
  • Shadow gaps are SL. Depending on the determined size of the probability identified as shadow areas S1 and / or shadow gaps SL potential
  • Driver assistance device 4 is used.
  • Road markings FM1, FM2 and the detection of shadow areas S1 and shadow gaps SL to further improve, is determined in the determination of the position of the sun, first by means of the light sensor 2.3.1 a strength of the light L.
  • the light intensity is used to determine whether the sun is obscured by clouds or other objects, or whether the surroundings are illuminated unhindered.
  • the objects are terrain structures, plants and / or structures.
  • a terrain model of a digital map of the navigation device 3 a city model of the digital map of a navigation device 3 and the determined light incidence direction R determines the evaluation unit 2.2, whether in a line of sight between a current vehicle position and the light source terrain structures, plants and / or structures are located Provide the environment of the vehicle 1 and thus lead to low levels of light license L. In particular, it is determined whether there is forest on a road side from whose direction the sun is shining, which can lead to shadow throws.
  • the intensity of the light L is low. At low magnitudes of light L, it is unlikely that a contrast between the shadow gaps SL and the shadow area S1 is sufficiently large that the evaluation unit 2.2 identifies the shadow gaps SL as road markings F 1, FM 2. This is taken into account in the plausibility check of the potential lane markings, whereby if a luminescent light intensity limit L is exceeded, potential lane markings are recognized as real lane markers FM1, FM2. '
  • a size and shape of the object 01 formed as a guard rail and a distance of the image acquisition unit 7 from the object Ol are taken into account.
  • the guardrail by means of
  • Evaluation unit 2.2 measured and the distance to the image acquisition unit 7 is determined. From the size, shape, the distance and the determined direction of light incidence R it is determined whether the object 01 can produce a shadow, from which a shadow area S1 with shadow gaps SL arises, which as
  • Road markings F 1, FM2 are interpretable. Depending on whether the object 01 can produce such a shadow, the size of the
  • a road category of a road on which the vehicle 1 is moving is taken into account.
  • the street category it is estimated how likely it is that an object O generating a shadow area S1 and / or at least one shadow gap SL, such as the guardrail, is on the busy road.
  • guardrails are very common on motorways, not on local roads, on motorways it is more likely that one caused by guardrails
  • Shadow area S1 and / or a shadow gap SL as
  • Road markings FM1, FM2 are identified as on municipal roads.
  • the data of the road category are preferably transmitted from the navigation device 3 to the evaluation unit 2.2. Depending on the results derived from the road category, the probability of a plausibility check is adjusted again.
  • the vehicle 1 is located on, below, above and / or within one or more structures for guiding traffic routes. In this case, in particular, it is detected whether the vehicle 1 is located on a bridge, since the probability of crash barriers, which are the illustrated
  • Shadow areas S1 and shadow gaps SL cause particularly high levels on bridges is. Furthermore, it is detected in particular whether the vehicle 1 is moving in a tunnel. In a tunnel it is unlikely that shadow areas S1 and
  • Shadow gaps SL are generated by a sunshine L produced by the sun. Rather, a light L is generated in a tunnel of artificial light sources.
  • the data, whether the vehicle 1 is located on, below, above and / or within one or more such structures, are again preferably from the
  • Embodiment is object 02 to a truck. Since detection of the road markings FM1, FM2 is difficult in this shadow area S2 and the shaded area S1 generated by the guardrail due to reduced contrasts between road markings FM1, FM2 and the roadway FB, an adjustment of optical parameters of the image acquisition unit 2.1, in particular contrast settings, becomes adjusted the environment properties in the shadow areas S1, S2. Furthermore, the detection of the road markings FM1, FM2 in the shadow areas S1, S2 is preferably carried out alternatively or additionally in a more detailed and costly manner in order to ensure reliable detection of the

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

The invention relates to a method for detecting roadway markings (FM1, FM2) in an image (B), wherein an environment of a vehicle (1) is recorded in at least one image (B), wherein roadway markings (FM1, FM2) in the image (B) are detected and a lane course is determined from the roadway markings (FM1, FM2), wherein shadow areas (S1, S2) in the image (B) are considered in the detection of the roadway markings (FM1, FM2). According to the invention, a light incidence direction (R) is determined, and on the basis of the light incidence direction (R) a probability that in the image (B) a shadow area (S1, S2) similar to a roadway marking (FM1, FM2) and/or a shadow gap (SL) similar to a roadway marking (FM1, FM2) results from a shadow of one or more objects (01, 02) in the environment of the vehicle (1) produced due to light (L) of a light source having the determined light incidence direction (R), wherein the plausibility of structures detected as potential roadway markings in the image (B) is checked and wherein potential roadway markings identified as a shadow area (S1, S2) and/or shadow gap (SL) according to the magnitude of the probability are discarded in the determination of the lane course. The invention further relates to a device (2) for detecting roadway markings (FM1, FM2) in an image (B).

Description

Verfahren und Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild  Method and device for detecting lane markings in an image
Die Erfindung betrifft ein Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild, wobei eine Umgebung eines Fahrzeugs in zumindest einem Bild erfasst wird, wobei Fahrbahnmarkierungen in dem Bild detektiert werden und aus den The invention relates to a method for detecting lane markings in an image, wherein an environment of a vehicle is detected in at least one image, wherein lane markings are detected in the image and from the
Fahrbahnmarkierungen ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen im Bild vorhandene Schattenbereiche berücksichtigt werden. Lane markings a lane course is determined, which are considered in the detection of the lane markers in the image existing shadow areas.
Die Erfindung betrifft weiterhin eine Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild, umfassend zumindest eine Bilderfassungseinheit zur Erfassung einer Umgebung eines Fahrzeugs in zumindest einem Bild, umfassend eine Auswerteeinheit zur Detektion der Fahrbahnmarkierungen in dem Bild, zur Ermittlung eines The invention further relates to a device for detecting lane markings in an image, comprising at least one image capture unit for detecting an environment of a vehicle in at least one image, comprising an evaluation unit for detecting the lane markings in the image, for determining a
Fahrspurverlaufs aus den Fahrbahnmarkierungen und zur Berücksichtigung von im Bild vorhandenen Schattenbereichen bei der Detektion der Fahrbahnmarkierungen. Lane course from the lane markings and to take into account present in the image shadow areas in the detection of the lane markings.
Aus der US 2010/0041714 A1 sind ein Verfahren und eine Vorrichtung zur Detektion von Fahrbahnmarkierungen auf einer Fahrbahn, auf welcher sich ein Fahrzeug bewegt, bekannt. Mittels einer am Fahrzeug angeordneten Bilderfassungseinheit werden Bilder der Umgebung des Fahrzeugs erfasst. Die erfassten Bilder werden bezüglich einer Helligkeit normalisiert, bevor die Fahrbahnmarkierungen innerhalb der Bilder in US 2010/0041714 A1 discloses a method and a device for detecting lane markings on a roadway on which a vehicle is moving. By means of an image acquisition unit arranged on the vehicle, images of the surroundings of the vehicle are acquired. The captured images are normalized for brightness before the lane markers within the images in
Hauptrichtungen detektiert werden. In jeder Hauptrichtung werden in den Bildern anschließend mittels Filtern anhand einer Kantendetektion und Liniendetektion mögliche Kandidaten für Fahrbahnmarkierungen erkannt und mittels eines Main directions are detected. In each main direction, possible candidates for lane markings are then identified in the images by means of filters using edge detection and line detection, and by means of a
Transformationsverfahrens werden aus den Kandidaten die Fahrbahnmarkierungen identifiziert. Fahrbahnmarkierungen in scharfen Kurven werden von verschiedenen Schatten von Gebäuden und Bäumen als ablenkende Faktoren unterschieden. Weiterhin ist aus der US 2006/0274917 A1 ein Verfahren zur Reduzierung des optischen Einflusses von Schatten in der Verarbeitung von Bildern in einer videobasierten Transformation procedures are identified from the candidate the lane markings. Road markings in sharp turns are distinguished from various shadows of buildings and trees as distracting factors. Furthermore, from US 2006/0274917 A1 a method for reducing the optical influence of shadows in the processing of images in a video-based
Verkehrserfassungsvorrichtung bekannt. In dem Verfahren wird zunächst ein Bildbereich mit einer relativ konstanten Helligkeit ermittelt. Anschließend wird dieser Bereich einem Schattenbereich zugeordnet und der optische Einfluss des Bildbereichs wird aus dem Bild entfernt. Eine Abgrenzung des Schattenbereichs von einer Umgebung erfolgt Traffic detection device known. In the method, first an image area with a relatively constant brightness is determined. Subsequently, this area is assigned to a shadow area and the optical influence of the image area is removed from the image. A delimitation of the shadow area from an environment takes place
insbesondere durch Detektion von Kanten zwischen dem Schattenbereich und der Umgebung. in particular by detecting edges between the shadow area and the environment.
Ferner beschreibt die US 6,819,779 B1 ein Verfahren zur Detektion von Furthermore, US Pat. No. 6,819,779 B1 describes a method for the detection of
Fahrbahnmarkierungen in einem elektronisch gespeicherten Bild. Das Bild wird mittels einer Bilderfassungseinheit erfasst, zeigt zumindest eine Fahrbahnmarkierung und deren Umgebung und wird als Array aus Bildpunkten gespeichert. Anhand einer Road markings in an electronically stored image. The image is captured by an image capture unit, displays at least one lane marker and its surroundings, and is stored as an array of pixels. On the basis of a
Kantendetektion wird eine Liste charakteristischer Kanten erzeugt, welche das Bild formen. Aus der Liste werden gemäß vorgegebener Kriterien Paare von zu Edge detection produces a list of characteristic edges that shape the image. From the list, according to predetermined criteria, pairs of
Fahrbahnmarkierungen gehörigen Kanten gefiltert. Diese Paare von Kanten werden in Listen sortiert, welche zu einzelnen Fahrbahnmarkierungen gehören. Diese einzelnen Fahrbahnmarkierungen, welche jeweils eine linke und eine rechte Grenze einer Fahrspur definieren, werden geometrisch identifiziert. Dreidimensionale Kurven werden entlang der rechten und linken Fahrspurmarkierungen gelegt, um einen Fahrspurverlauf zu formen. Zusätzlich werden zur Detektion der Fahrspurmarkierungen Schatten aus den Bildern entfernt. Road markings belonging to edges filtered. These pairs of edges are sorted into lists that belong to individual lane markings. These individual lane markings, which respectively define a left and a right border of a lane, are identified geometrically. Three-dimensional curves are placed along the right and left lane markings to form a lane course. Additionally, shadows are removed from the images to detect the lane markers.
Die DE 103 38 764 B4 offenbart ein Verfahren zur Aktivierung eines Nachtsichtsystems in einem Fahrzeug. In einem ersten Schritt wird eine aktuelle Position des Fahrzeugs ermittelt, bevor in einem zweiten Schritt eine Position der Sonne relativ zum Fahrzeug unter Verwendung der ermittelten Positionsdaten des Fahrzeugs ermittelt wird. In einem dritten Schritt wird eine Notwendigkeit ermittelt, einen Fahrer des Fahrzeugs durch ein Verfahren zur Verbesserung der Sicht in dem Fahrzeug zu unterstützen, wobei die Notwendigkeit zur Unterstützung unter Verwendung der ermittelten Position der Sonne relativ zum Fahrzeug ermittelt wird. Die Notwendigkeit zur Verbesserung der Sicht wird daraus abgeleitet, ob sich die Sonne in Relation zum Fahrzeug über oder unter dem Horizont befindet. DE 103 38 764 B4 discloses a method for activating a night vision system in a vehicle. In a first step, a current position of the vehicle is determined before, in a second step, a position of the sun relative to the vehicle is determined using the determined position data of the vehicle. In a third step, a need is identified to assist a driver of the vehicle by a method of improving visibility in the vehicle, determining the need for assistance using the detected position of the sun relative to the vehicle. The need to improve visibility is derived from whether the sun is above or below the horizon in relation to the vehicle.
Zusätzlich ist aus der DE 103 38 766 B4 ein Fahrzeugdatenbussystem mit einem In addition, from DE 103 38 766 B4 a vehicle data bus system with a
Datenbus bekannt, wobei über den Datenbus mehrere angeschlossene Busteilnehmer in Datenübertragungsverbindung stehen. Weiterhin ist eine als Busteilnehmer ausgebildete Ortungseinheit vorgesehen, die zur Ermittlung wenigstens von Fahrzeugpositionsdaten und zum Ausgeben der ermittelten Fahrzeugpositionsdaten auf den Datenbus Data bus known, wherein over the data bus several connected bus participants are in data transmission connection. Furthermore, one trained as a bus subscriber Location unit provided for determining at least vehicle position data and for outputting the determined vehicle position data on the data bus
eingerichtet ist, wobei die Ortungseinheit eine Ortungssensorik aufweist, die wenigstens einen GPS-Empfänger umfasst. Die Ortungseinheit ist zusätzlich zur Ermittlung von Sonnenstandsdaten unter Verwendung der ermittelten Fahrzeugpositionsdaten und zum Ausgeben der ermittelten Sonnenstandsdaten auf den Datenbus eingerichtet, um aus der Richtung der Sonneneinstrahlung in das Fahrzeug abzuleiten, welche Art von is set up, wherein the locating unit has a location sensor system comprising at least one GPS receiver. In addition to determining the position of the sun position using the determined vehicle position data and outputting the ascertained position of the sun position on the data bus, the location unit is set up to deduce from the direction of the solar radiation into the vehicle what kind of
Sichtbehinderung für den Fahrer durch die Sonne möglich ist. Zusätzlich ist als weiterer Busteilnehmer eine Einrichtung, welche Sonnenstandsdaten vom Datenbus empfängt, zum Ermitteln der Notwendigkeit vorgesehen, einen Fahrer des Fahrzeugs durch Visual obstruction for the driver by the sun is possible. In addition, as a further bus subscriber, a device receiving sun position data from the data bus is provided for detecting the need to drive a driver of the vehicle
Aktivierung einer Anordnung zur Verbesserung der Sicht in einem Fahrzeug zu unterstützen. Die Anordnung zur Verbesserung der Sicht in einem Fahrzeug umfasst eine Kamera zum Beobachten eines Raumwinkelbereichs und eine Anzeigevorrichtung im Innenraum des Fahrzeugs zum Anzeigen der Bilder der Kamera. Activation of an arrangement to improve the visibility in a vehicle. The arrangement for improving the visibility in a vehicle includes a camera for observing a solid angle range and a display device in the interior of the vehicle for displaying the images of the camera.
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild anzugeben. Weiterhin liegt der Erfindung die Aufgabe zugrunde, eine verbesserte Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild anzugeben. The invention has for its object to provide a comparison with the prior art improved method for detecting lane markings in a picture. Furthermore, the invention has for its object to provide an improved device for the detection of lane markings in a picture.
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 8 angegebenen Merkmale gelöst. With regard to the method, the object is achieved by the features specified in claim 1 and in terms of the device by the features specified in claim 8.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche. Advantageous embodiments of the invention are the subject of the dependent claims.
In einem Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild wird eine Umgebung eines Fahrzeugs in zumindest einem Bild erfasst, wobei In a method for detecting lane markings in an image, an environment of a vehicle is detected in at least one image, wherein
Fahrbahnmarkierungen in dem Bild detektiert werden und aus den Lane markings are detected in the image and from the
Fahrbahnmarkierungen ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen im Bild vorhandene Schattenbereiche berücksichtigt werden. Lane markings a lane course is determined, which are considered in the detection of the lane markers in the image existing shadow areas.
Erfindungsgemäß werden eine Lichteinfallsrichtung und anhand der Lichteinfallsrichtung eine Wahrscheinlichkeit ermittelt, ob im Bild ein einer Fahrbahnmarkierung ähnlicher Schattenbereich und/oder eine einer Fahrbahnmarkierung ähnliche Schattenlücke aus einem aufgrund eines Lichtscheins einer Lichtquelle mit der ermittelten According to the invention, a light incidence direction and, based on the direction of light incidence, a probability are determined whether a shadow area similar to a lane marking in the image and / or a shadow gap similar to a lane marking from a light source of a light source with the determined
Lichteinfallsrichtung erzeugten Schattenwurf eines oder mehrerer Objekte in der Umgebung des Fahrzeugs resultieren, wobei eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild erkannten Strukturen durchgeführt wird und in Abhängigkeit der Größe der Wahrscheinlichkeit als Schattenbereich und/oder Lichteinfallsrichtung generated shadows throw one or more objects in the Environment of the vehicle resulting in a plausibility of structures recognized as potential lane markers in the image is performed and depending on the size of the probability as a shadow area and / or
Schattenlücke identifizierte potenzielle Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs verworfen werden. Shadow gap identified potential lane markings are discarded when determining the lane course.
Hieraus ergibt sich als Vorteil, dass die Erkennung und Detektion von This results in the advantage that the detection and detection of
Fahrbahnmarkierungen im Bild, d. h. in der Umgebung des Fahrzeugs, verbessert ist und zuverlässig aus Schattenbereichen und/oder Schattenlücken resultierende potenzielle Fahrbahnmarkierungen von realen Fahrbahnmarkierungen unterschieden werden. Road markings in the picture, d. H. in the vicinity of the vehicle, and reliably distinguishes potential shadow markings from shadow areas and / or shadow gaps from real road markings.
Daraus resultiert in besonders vorteilhafter Weise, dass Fehlwarnungen und/oder This results in a particularly advantageous manner that false warnings and / or
Fehleingriffe bei einer Nutzung des Verfahrens zur Unterstützung eines Fahrers bei der Spurführung seines Fahrzeugs vermieden werden. Incorrect interventions in a use of the method to assist a driver in the guidance of his vehicle are avoided.
Die Lichteinfallsrichtung wird dabei insbesondere relativ zum Fahrzeug und/oder relativ zu einer Himmelsrichtung, beispielsweise der Himmelrichtung "Nord", ermittelt. Der The direction of light incidence is determined in particular relative to the vehicle and / or relative to a cardinal direction, for example the sky direction "north". Of the
Richtungssinn der Lichteinfallsrichtung setzt sich aus einem horizontalen Winkel, d. h. dem so genannten Azimut, und einem vertikalen Winkel, d. h. der so genannten Direction of the direction of light incidence is made up of a horizontal angle, d. H. the so-called azimuth, and a vertical angle, d. H. the so-called
Elevation, zusammen. Elevation, together.
In einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird bei der Ermittlung der Lichteinfallsrichtung ein Sonnenstand anhand einer Position des In a preferred development of the method according to the invention, when determining the direction of light incidence, a position of the sun is determined on the basis of a position of the light
Fahrzeugs, einer Ausrichtung des Fahrzeugs relativ zu einer Himmelsrichtung, einem Kalenderdatum und/oder einer aktuellen Uhrzeit ermittelt. Diese Ermittlung zeichnet sich zum einen dadurch aus, dass sie besonders einfach und ohne großen zusätzlichen Aufwand durchführbar ist. Zum anderen ist der Sonnenstand sehr exakt ermittelbar. Vehicle, an orientation of the vehicle relative to a direction, a calendar date and / or a current time determined. This determination is characterized on the one hand by the fact that it is particularly simple and feasible without much additional effort. On the other hand, the position of the sun can be determined very precisely.
Weiterhin wird gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens überprüft, ob sich in dem Schattenbereich und/oder der Schattenlücke ein oder mehrere Furthermore, it is checked according to an embodiment of the method according to the invention, whether in the shadow area and / or the shadow gap one or more
Fahrbahnmarkierungen befinden. In Schattenbereichen sind Fahrbahnmarkierungen aufgrund der verringerten Helligkeit und der daraus resultierenden Verringerung eines Kontrasts zwischen den Fahrbahnmarkierungen und einer Fahrbahnoberfläche Lane markings are located. In shadow areas, lane markings are due to the reduced brightness and the resulting reduction in contrast between the lane markings and a road surface
schwieriger zu detektieren. Hierzu sind aufwändige Verfahren erforderlich. Aufgrund der Erfassung des Schattenbereichs und/oder der Schattenlücken ist es möglich, diese aufwändigen Verfahren lediglich in begrenzten Bereichen des Bilds, das heißt den Schattenbereichen, durchzuführen und somit den Aufwand bei der Ermittlung der more difficult to detect. For this complex procedures are required. Due to the detection of the shadow area and / or the shadow gaps, it is possible to carry out these complex procedures only in limited areas of the image, ie the shadow areas, and thus the effort in determining the
Fahrbahnmarkierungen bei steigender Zuverlässigkeit zu verringern. Um zu ermitteln, ob die Lichtquelle, insbesondere die Sonne von Wolken oder in der Umgebung des Fahrzeugs befindlichen Objekten verdeckt ist, wird vorzugsweise eine Stärke eines Lichtscheins ermittelt, welcher bei der Plausibilisierung der potenziellen Fahrbahnmarkierungen berücksichtigt wird. Somit ist die Detektion der Reduce road markings with increasing reliability. In order to determine whether the light source, in particular the sun, is obscured by clouds or objects located in the surroundings of the vehicle, it is preferable to determine a luminous intensity that is taken into account in the plausibility check of the potential lane markings. Thus, the detection of
Fahrbahnmarkierungen weiter verbessert. Insbesondere wird auch berücksichtigt, dass bei geringer Stärke des Lichtscheins der Lichtquelle weniger Schattenbereiche und/oder Schattenlücken ausgebildet sind bzw. weniger stark ausgeprägt ausgebildet sind, so dass deren Kontrast zu ungehindert beleuchteten Bereichen bzw. zum jeweiligen Road markings further improved. In particular, it is also taken into account that with less intensity of the light source of the light source, fewer shadow areas and / or shadow gaps are formed or formed less pronounced, so that their contrast to unhindered areas or to the respective
Schattenbereich verringert ist. Shadow area is reduced.
Um weiterhin schnell und sicher zu ermitteln, ob die ermittelten potenziellen To continue to quickly and reliably determine if the identified potential
Fahrbahnmarkierungen aus einem Schattenwurf und/oder einer Schattenlücke eines oder mehrerer Objekte resultieren, wird bei der Ermittlung der potenziellen Lane markings resulting from a shadow cast and / or a shadow gap of one or more objects will, in determining the potential
Fahrbahnmarkierungen und/oder Plausibilisierung bevorzugt eine Größe und/oder Form der Objekte und/oder ein Abstand der zumindest einen Bilderfassungseinheit zu den Objekten berücksichtigt. Lane markings and / or plausibility check preferably takes into account a size and / or shape of the objects and / or a distance of the at least one image capture unit to the objects.
Gemäß einer zweckmäßigen Ausgestaltung des erfindungsgemäßen Verfahrens wird bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug bewegt, berücksichtigt. Somit ist es möglich, dass eine Wahrscheinlichkeit eines Vorhandenseins bestimmter Objekte, wie beispielsweise Leitplanken und/oder Leitpfosten, die bestimmte According to an expedient embodiment of the method according to the invention, when determining the potential lane markings and / or plausibility check, a street category of a road on which the vehicle is moving is taken into account. Thus, it is possible that a likelihood of having certain objects, such as guardrails and / or guardrails, the particular
Schattenbereiche und/oder Schattenlücke erzeugen, in die Ermittlung und/oder Create shadow areas and / or shadow gaps in the investigation and / or
Plausibilisierung einbezogen wird. Beispielsweise ist die Wahrscheinlichkeit für Plausibility check is included. For example, the probability for
Leitplanken auf Autobahnen höher als auf Gemeindestraßen. Somit ist auch die Guard rails on highways higher than on municipal roads. Thus is also the
Wahrscheinlichkeit auf Autobahnen höher als auf Gemeindestraßen, dass aufgrund eines Schattenwurfs der Leitplanke Schattenbereiche und/oder Schattenlücken als potenzielle Fahrbahnmarkierungen ermittelt werden. Likelihood higher on highways than on local roads that due to a shadow cast of the guardrail, shadow areas and / or shadow gaps are identified as potential lane markings.
Alternativ oder zusätzlich wird berücksichtigt, ob sich das Fahrzeug auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer Bauwerke zum Führen von Alternatively or additionally, it is considered whether the vehicle is on, below, above and / or within one or more structures for guiding
Verkehrswegen befindet. Diese Ausgestaltung führt wiederum zu dem Vorteil, dass eine Wahrscheinlichkeit eines Vorhandenseins bestimmter Objekte, wie beispielsweise Leitplanken und/oder Leitpfosten, in die Ermittlung und/oder Plausibilisierung einbezogen werden kann. Dabei ist eine Wahrscheinlichkeit für das Vorhandensein von Leitplanken auf Brücken besonders hoch. Dagegen ist es bei einem Durchfahren von Tunneln unwahrscheinlich oder nicht möglich, dass aufgrund von Sonnenlicht erzeugte Traffic routes is located. This embodiment in turn leads to the advantage that a probability of the presence of certain objects, such as crash barriers and / or guide posts, can be included in the determination and / or plausibility check. In this case, a probability for the presence of crash barriers on bridges is particularly high. In contrast, it is when driving through tunnels unlikely or impossible to produce due to sunlight
Schattenbereiche und/oder Schattenlücken als potenzielle Fahrbahnmarkierungen erkannt werden. Shadow areas and / or shadow gaps are identified as potential lane markings.
In einer Weiterbildung des Verfahrens wird anhand eines Geländemodells einer digitalen Karte einer Navigationsvorrichtung und der ermittelten Lichteinfallsrichtung und/oder eines Städtemodells einer digitalen Karte einer Navigationsvorrichtung und der ermittelten Lichteinfallsrichtung ermittelt, ob sich in einer Sichtlinie zwischen einer Fahrzeugposition und der Lichtquelle Geländestrukturen, Pflanzen und/oder Bauwerke befinden, wobei die ermittelten Geländestrukturen, Pflanzen und/oder Bauwerke bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder der Plausibilisierung berücksichtigt werden. Dadurch wird ermöglicht, dass in einfacher und schneller Weise ermittelt werden kann, ob Geländestrukturen, Pflanzen und/oder Bauwerke in der Umgebung des Fahrzeugs vorhanden sind, welche in Abhängigkeit der Lichteinfallsrichtung als In a development of the method, it is determined on the basis of a terrain model of a digital map of a navigation device and the determined light incidence direction and / or a city model of a digital map of a navigation device and the determined direction of light incidence whether terrain structures, plants and / or in a line of sight between a vehicle position and the light source or structures, taking into account the identified off-road structures, plants and / or structures in determining the potential lane markings and / or the plausibility check. This makes it possible to determine in a simple and rapid manner whether terrain structures, plants and / or structures are present in the surroundings of the vehicle, which, depending on the light incident direction as
Fahrbahnmarkierungen interpretierbare Schattenbereiche und/oder Schattenlücken erzeugen oder einen Bereich, in welchem sich das Fahrzeug befindet, vollständig beschatten, so dass die Wahrscheinlichkeit von derart fehlinterpretierbaren Lane markings create interpretable shadow areas and / or shadow gaps or completely shade an area in which the vehicle is located, so that the probability of such misinterpretable
Schattenbereichen und/oder Schattenlücken sehr gering ist. Shadow areas and / or shadow gaps is very low.
Die Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild umfasst zumindest eine Bilderfassungseinheit zur Erfassung einer Umgebung eines Fahrzeugs in zumindest einem Bild und eine Auswerteeinheit zur Detektion der Fahrbahnmarkierungen in dem Bild, zur Ermittlung eines Fahrspurverlaufs aus den Fahrbahnmarkierungen und zur Berücksichtigung von im Bild vorhandenen Schattenbereichen bei der Detektion der Fahrbahnmarkierungen. The device for detecting lane markings in an image comprises at least one image capture unit for detecting a surroundings of a vehicle in at least one image and an evaluation unit for detecting the lane markings in the image, for determining a lane course from the lane markings and for taking account of shadow regions present in the image the detection of lane markings.
Erfindungsgemäß ist die Auswerteeinheit mit einer Ermittlungseinheit zur Ermittlung einer Lichteinfallsrichtung gekoppelt, wobei mittels der Auswerteeinheit anhand der According to the invention, the evaluation unit is coupled to a determination unit for determining a light incident direction, wherein by means of the evaluation unit on the basis of
Lichteinfallsrichtung eine Wahrscheinlichkeit ermittelbar ist, ob im Bild ein einer Light incidence direction is a probability can be determined, whether in the image of a
Fahrbahnmarkierung ähnlicher Schattenbereich und/oder eine einer Fahrbahnmarkierung ähnliche Schattenlücke aus einem aufgrund eines Lichtscheins einer Lichtquelle mit der ermittelten Lichteinfallsrichtung erzeugten Schattenwurf eines oder mehrerer Objekte in der Umgebung des Fahrzeugs resultieren, wobei mittels der Auswerteeinheit eine Lane marking similar shadow area and / or a road mark similar shadow gap resulting from a light beam of a light source with the detected direction light shadow of one or more objects in the environment of the vehicle resulting, by means of the evaluation a
Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild erkannten Strukturen und in Abhängigkeit der Größe der Wahrscheinlichkeit eine Verwerfung der als Schattenbereich und/oder Schattenlücke identifizierten potenziellen Plausibility of structures identified as potential lane markers in the image and, depending on the size of the likelihood, a rejection of the potential identified as shadow area and / or shadow gap
Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs durchführbar sind. Die Vorrichtung zeichnet sich dabei durch einen einfachen Aufbau aus und es ist in besonders vorteilhafter Weise nur ein geringer Aufwand zur Realisierung der Funktion der Vorrichtung erforderlich. Weiterhin kann insbesondere ein Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Fahrzeugs bei der Spurführung des Fahrzeugs in seiner Funktion verbessert werden und Fehlwarnungen und/oder Fehleingriffe werden vermieden oder zumindest reduziert. Road markings in the determination of the lane course are feasible. The device is characterized by a simple structure and it is in a particularly advantageous manner only a small effort to realize the function of the device required. Furthermore, in particular, a driver assistance system for assisting a driver of a vehicle in the tracking of the vehicle can be improved in its function, and false warnings and / or incorrect interventions are avoided or at least reduced.
Die Ermittlungseinheit umfasst vorzugsweise zumindest einen Lichtsensor zur Erfassung einer Stärke eines Lichtscheins oder ist mit diesem gekoppelt. Mittels des Lichtsensors, welcher beispielsweise als Fotowiderstand, Fotodiode, Fototransistor, pyroelektrischer Sensor, Fotozelle und/oder Solarzelle ausgebildet ist, ist die Stärke des Lichtscheins der Lichtquelle sehr genau und gleichzeitig einfach sowie mit geringem Aufwand ermittelbar. Somit ist ermittelbar, ob beispielsweise die Sonne als Lichtquelle von Wolken oder Objekten verdeckt ist oder der Lichtschein der ungehindert ist. The determination unit preferably comprises at least one light sensor for detecting a strength of a light beam or is coupled thereto. By means of the light sensor, which is designed for example as a photoresistor, photodiode, phototransistor, pyroelectric sensor, photocell and / or solar cell, the intensity of the light source of the light source can be determined very accurately and at the same time simply and with little effort. Thus, it can be determined whether, for example, the sun is hidden as a light source of clouds or objects or the light is unhindered.
In einer besonders bevorzugten Ausgestaltung der erfindungsgemäßen Vorrichtung ist die Auswerteeinheit mit einer Ortungseinheit, einer Navigationsvorrichtung und/oder einer Empfangseinheit zum Empfang von Positionsdaten des Fahrzeugs, eines In a particularly preferred embodiment of the device according to the invention, the evaluation unit is provided with a locating unit, a navigation device and / or a receiving unit for receiving position data of the vehicle
Kalenderdatums, einer Uhrzeit und/oder einer Ausrichtung des Fahrzeugs zu einer Himmelsrichtung gekoppelt. Aufgrund dieser Ausbildung der Vorrichtung ist ein Calendar date, a time and / or an orientation of the vehicle coupled to a cardinal direction. Due to this design of the device is a
Sonnenstand sehr einfach und sehr genau ermittelbar. Insbesondere sind bei der Sun position very easy and very accurately determined. In particular, at the
Verwendung der Vorrichtung in modernen Fahrzeugen mit Navigationsvorrichtung keine zusätzlichen Anordnungen zur Ermittlung dieser Daten erforderlich. Alternativ oder zusätzlich zeichnet sich auch der zusätzliche Einbau der Ortungseinheit und/oder der Empfangseinheit zum Empfang von Positionsdaten des Fahrzeugs durch einen geringen Material- und Montageaufwand aus. Use of the device in modern vehicles with navigation device requires no additional arrangements for determining this data. Alternatively or additionally, the additional installation of the locating unit and / or the receiving unit for receiving position data of the vehicle is characterized by a low material and assembly costs.
Ausführungsbeispiele des Verfahrens werden im Folgenden anhand von Zeichnungen näher erläutert: Embodiments of the method are explained in more detail below with reference to drawings:
Dabei zeigen: Showing:
Fig. 1 schematisch ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung zur Fig. 1 shows schematically a vehicle with a device according to the invention for
Detektion von Fahrbahnmarkierungen in einem Bild, und  Detection of lane markings in a picture, and
Fig. 2 schematisch ein Bild einer Umgebung des Fahrzeugs gemäß Figur 1. Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen. FIG. 2 schematically shows an image of an environment of the vehicle according to FIG. 1. Corresponding parts are provided in all figures with the same reference numerals.
In Figur 1 ist ein Fahrzeug 1 mit einer erfindungsgemäßen Vorrichtung 2 zur Detektion von Fahrbahnmarkierungen FM1 , FM2 in einem in Figur 2 gezeigten Bild B dargestellt. Bei den Fahrbahnmarkierungen FM1 , FM2 kann es sich um bauliche Begrenzungen einer in Figur 2 näher dargestellten Fahrbahn FB und auf die Fahrbahn FB aufgebrachte Linien handeln. FIG. 1 shows a vehicle 1 with a device 2 according to the invention for detecting lane markings FM1, FM2 in an image B shown in FIG. The road markings FM1, FM2 may be structural boundaries of a roadway FB shown in detail in FIG. 2 and lines applied to the roadway FB.
Die Vorrichtung 2 umfasst eine Bilderfassungseinheit 2.1 zur Erfassung einer Umgebung eines Fahrzeugs 1 in zumindest einem Bild B. Die Vorrichtung 2 umfasst weiterhin eine mit der Bilderfassungseinheit 2.1 gekoppelte Auswerteeinheit 2.2 zur Auswertung des Bilds B. The device 2 comprises an image acquisition unit 2.1 for detecting an environment of a vehicle 1 in at least one image B. The device 2 further comprises an evaluation unit 2.2 coupled to the image acquisition unit 2.1 for evaluating the image B.
Zusätzlich weist die Vorrichtung 2 eine Ermittlungseinheit 2.3 zur Ermittlung einer in Figur 2 näher dargestellten Lichteinfallsrichtung R eines Lichtscheins L einer nicht näher dargestellten Lichtquelle auf, wobei die Ermittlungseinheit 2.3 mit der Auswerteeinheit 2.2 gekoppelt ist. Die Ermittlungseinheit 2.3 umfasst einen Lichtsensor 2.3.1 zur Erfassung einer Stärke des Lichtscheins L, wobei der Lichtsensor 2.3.1 als Fotowiderstand, In addition, the device 2 has a determination unit 2.3 for determining a light incidence direction R, shown in more detail in FIG. 2, of a light beam L of a light source, not shown, wherein the determination unit 2.3 is coupled to the evaluation unit 2.2. The detection unit 2.3 comprises a light sensor 2.3.1 for detecting a strength of the light beam L, wherein the light sensor 2.3.1 as a photoresistor,
Fotodiode, Fototransistor, pyroelektrischer Sensor, Fotozelle und/oder Solarzelle ausgebildet ist. Photodiode, phototransistor, pyroelectric sensor, photocell and / or solar cell is formed.
Die Auswerteeinheit 2.2 ist ferner mit einer Navigationsvorrichtung 3 gekoppelt, wobei mittels der Navigationsvorrichtung 3 eine Position POS des Fahrzeugs 1 , ein The evaluation unit 2.2 is further coupled to a navigation device 3, wherein by means of the navigation device 3, a position POS of the vehicle 1, a
Kalenderdatum D, eine Uhrzeit T und eine Ausrichtung A des Fahrzeugs 1 zu einer Himmelsrichtung, beispielsweise eine Nordausrichtung, an die Auswerteeinheit 2.2 übertragbar sind. Date D, a time T and an orientation A of the vehicle 1 to a cardinal direction, such as a north orientation, to the evaluation unit 2.2 are transferable.
Die Vorrichtung 2 zur Detektion der Fahrbahnmarkierungen FM1 , FM2 ist mit einerThe device 2 for detecting the lane markers FM1, FM2 is provided with a
Fahrerassistenzvorrichtung 4 zur Unterstützung eines Fahrers des Fahrzeugs 1 bei einerDriver assistance device 4 to assist a driver of the vehicle 1 at a
Spurführung des Fahrzeugs 1 gekoppelt. Die Fahrerassistenzvorrichtung 4 ist derart ausgebildet, dass eine automatische und aktive Spurführung innerhalb Guided tracking of the vehicle 1 coupled. The driver assistance device 4 is designed such that an automatic and active tracking within
Fahrspuren FS1 , FS2 begrenzender Fahrbahnmarkierungen FM1 , FM2 mittels  Lanes FS1, FS2 limiting road markings FM1, FM2 means
Lenkeingriffen erfolgt und/oder dass der Fahrer vor einem Verlassen der  Steering interventions and / or that the driver before leaving the
Fahrspur FS1 , FS2 oder Fahrbahn FB durch optische, akustische und/oder haptische Signale gewarnt wird. Hierzu wird aus den Fahrbahnmarkierungen FM1 , FM2 mittels der Auswerteeinheit 2.2 ein Fahrspurverlauf ermittelt. Lane FS1, FS2 or roadway FB by optical, acoustic and / or haptic Signals are warned. For this purpose, a lane course is determined from the lane markings FM1, FM2 by means of the evaluation unit 2.2.
Figur 2 zeigt ein mittels der Bilderfassungseinheit 2.1 aufgenommenes Bild B der Umgebung des Fahrzeugs 1 , wobei sich das Fahrzeug 1 auf einer Fahrbahn FB mit zwei Fahrspuren FS1 , FS2 bewegt. FIG. 2 shows an image B of the surroundings of the vehicle 1 recorded by means of the image acquisition unit 2.1, wherein the vehicle 1 moves on a carriageway FB with two lanes FS1, FS2.
Eine rechte Fahrspur FS1 ist rechtsseitig von einer ersten Fahrbahnmarkierung F 1 begrenzt, welche als durchgezogene Linie ausgebildet ist. Linksseitig ist die rechte Fahrspur FS1 von einer zweiten Fahrbahnmarkierung FM2 begrenzt, wobei die zweite Fahrbahnmarkierung FM2 gleichzeitig eine linke Fahrspur FS2 von der rechten A right lane FS1 is bounded on the right side by a first lane marking F 1, which is formed as a solid line. On the left side, the right lane FS1 is bounded by a second lane marking FM2, the second lane marking FM2 simultaneously having a left lane FS2 from the right
Fahrspur FS1 trennt. Die zweite Fahrbahnmarkierung FM2 ist als unterbrochene Linie ausgebildet. Linksseitig ist die linke Fahrspur FS2 von einem als Leitplanke, insbesondere von einem als zwei übereinander angeordneten Leitplanken ausgebildeten Objekt 01 begrenzt. Lane FS1 separates. The second lane marking FM2 is formed as a broken line. On the left side, the left lane FS2 is bounded by an object 01 designed as a guardrail, in particular by an obstacle designed as two guardrails arranged one above the other.
Die Detektion der Fahrbahnmarkierungen FM1 , FM2 in dem Bild B der Umgebung des Fahrzeugs 1 erfolgt mittels der Auswerteeinheit 2.2, wobei die The detection of the road markings FM1, FM2 in the image B of the surroundings of the vehicle 1 takes place by means of the evaluation unit 2.2, wherein the
Fahrbahnmarkierungen FM1 , FM2 mittels allgemein bekannter Verfahren in dem Bild detektiert werden. Diese Verfahren umfassen insbesondere eine Kantendetektion und/oder eine Ermittlung der Fahrbahnmarkierungen FM1 , FM2 aufgrund eines Lane markings FM1, FM2 are detected by well-known methods in the image. These methods comprise, in particular, an edge detection and / or a determination of the road markings FM1, FM2 on the basis of a
Kontrastverhältnisses zwischen den Fahrbahnmarkierungen FM1 , FM2 und der Contrast ratio between the road markings FM1, FM2 and the
Fahrbahn. Roadway.
Aufgrund des Lichtscheins L der Sonne mit der dargestellten Lichteinfallsrichtung R entsteht im linken Bereich der linken Fahrspur FS2 ein Schattenwurf der Leitplanke, so dass sich ein Schattenbereich S1 ausbildet. Aufgrund der nicht vollflächigen Ausbildung der Leitplanke wird diese in Teilbereichen von dem Lichtschein L durchleuchtet, so dass der Schattenbereich S1 ebenfalls nicht vollflächig ausgebildet ist. Dabei bilden sich in dem Schattenbereich S1 Schattenlücken SL aus. Due to the light beam L of the sun with the light incidence direction R, a shadow cast of the guardrail is produced in the left-hand area of the left lane FS2, so that a shadow area S1 is formed. Due to the non-entire surface of the guardrail this is illuminated in some areas of the light L, so that the shadow area S1 is also not formed over the entire surface. Shadow gaps SL are formed in the shadow area S1.
Die dargestellten Schattenlücken SL sind in ihrer Anordnung und Ausformung der als unterbrochene Linie ausgebildeten Fahrbahnmarkierung FM2 ähnlich. Damit die The illustrated shadow gaps SL are similar in their arrangement and shape of the formed as a broken line pavement marking FM2. So that
Schattenlücken SL von der Auswerteeinheit 2.2 nicht als Shadow gaps SL from the evaluation unit 2.2 not as
Fahrbahnmarkierungen FM1 , FM2 detektiert werden und zu Fehleingriffen und/oder Fehlwarnungen der Fahrerassistenzvorrichtung 4 führen, wird ermittelt, ob ein Lichtschein L mit einer Lichteinfallsrichtung R vorhanden ist, welcher den dargestellten Schattenbereich S1 mit den Schattenlücken SL verursachen könnte. Lane markings FM1, FM2 are detected and lead to incorrect interventions and / or false warnings of the driver assistance device 4, it is determined whether a Light L with a light incident direction R is present, which could cause the shadow area shown S1 with the shadow gaps SL.
Hierzu ist die Auswerteeinheit 2.2 mit der Ermittlungseinheit 2.3 gekoppelt, mittels welcher die Lichteinfallsrichtung R des Lichtscheins L ermittelt wird. Im dargestellten Ausführungsbeispiel wird bei der Ermittlung der Lichteinfallsrichtung R ein Sonnenstand ermittelt, da der erzeugte Schattenbereich S1 und die Schattenlücken SL aufgrund des Lichtscheins L mit der Lichteinfallsrichtung R der Sonne auf der Fahrbahn FB entstehen. Zusätzlich ist es möglich, Lichtscheine L und deren Lichteinfallsrichtungen R anderer Lichtquellen, beispielsweise von Straßenbeleuchtungen und/oder von Scheinwerfern zu ermitteln. For this purpose, the evaluation unit 2.2 is coupled to the determination unit 2.3, by means of which the light incidence direction R of the light sheet L is determined. In the illustrated embodiment, a sun position is determined in determining the light incidence direction R, since the generated shadow area S1 and the shadow gaps SL arise due to the light L with the light incident direction R of the sun on the road FB. In addition, it is possible to detect light beams L and their light incidence directions R of other light sources, for example street lights and / or headlights.
Die Ermittlung des Sonnenstands wird mittels der Auswerteeinheit 2.2 durchgeführt, wobei hierzu ein oder mehrere Algorithmen vorgesehen sind, mittels welchen der Sonnenstand insbesondere in Koordinaten relativ zum Fahrzeug 1 oder in Koordinaten bezogen zur Erde ermittelt wird. Die Ermittlung des Sonnenstands erfolgt anhand der Position POS des Fahrzeugs 1 , des Kalenderdatums D, der Uhrzeit T und der The determination of the position of the sun is carried out by means of the evaluation unit 2.2, for which purpose one or more algorithms are provided, by means of which the position of the sun is determined in particular in coordinates relative to the vehicle 1 or in coordinates relative to the earth. The determination of the position of the sun is based on the position POS of the vehicle 1, the calendar date D, the time T and the
Ausrichtung A des Fahrzeugs 1 zur Himmelsrichtung "Nord", wobei diese Daten von der Navigationsvorrichtung 3 an die Auswerteeinheit 2.2 übertragen werden. Die Übertragung erfolgt vorzugsweise über einen nicht dargestellten Datenbus des Fahrzeugs 1 , beispielsweise einen CAN-Bus oder LIN-Bus. Die Ermittlung des Sonnenstands wird insbesondere mittels eines aus der DE 103 38 764 B4 bekannten Verfahrens und/oder mittels eines aus der DE 103 38 766 B4 bekannten Verfahrens durchgeführt. Alignment A of the vehicle 1 to the direction "north", which data are transmitted from the navigation device 3 to the evaluation unit 2.2. The transmission preferably takes place via a data bus, not shown, of the vehicle 1, for example a CAN bus or LIN bus. The determination of the position of the sun is carried out in particular by means of a method known from DE 103 38 764 B4 and / or by means of a method known from DE 103 38 766 B4.
Alternativ zu der Ermittlung des Sonnenstands mittels der Auswerteeinheit 2.2 erfolgt diese mittels der Navigationsvorrichtung 3, wobei der Sonnenstand dann in nicht näher dargestellter Weise in Koordinatenform an die Auswerteeinheit 2.2 übertragen wird. As an alternative to the determination of the position of the sun by means of the evaluation unit 2.2, this is done by means of the navigation device 3, wherein the position of the sun is then transmitted in a manner not shown in coordinate form to the evaluation unit 2.2.
Unter Zugrundelegen der Lichteinfallsrichtung R des Lichtscheins L der Sonne, d. h. des Sonnenstands, wird mittels der Auswerteeinheit 2.2 eine Wahrscheinlichkeit ermittelt, ob im Bild ein einer Fahrbahnmarkierung FM1 , FM2 ähnlicher Schattenbereich S1 und/oder eine einer Fahrbahnmarkierung FM1 , FM2 ähnliche Schattenlücke SL vorhanden sind, die aus dem aufgrund des Lichtscheins L mit der ermittelten Lichteinfallsrichtung R erzeugten Schattenwurf der Leitplanke resultieren. Mit anderen Worten: Es wird ermittelt, ob sich die Sonne in einem geeigneten Winkel, d. h. Elevation, und einer geeigneten Richtung, d. h. Azimut, befindet, um ähnlich zu Fahrbahnmarkierungen FM1 , FM2 ausgebildete Based on the direction of light incidence R of the light L of the sun, i. H. of the position of the sun, a probability is determined by means of the evaluation unit 2.2 whether a shadow gap SL similar to a road marking FM1, FM2 is present in the image and / or a shadow gap SL similar to a road marking FM1, FM2 is obtained from the light incident direction determined by the light beam L R generated shadows cast the guardrail. In other words, it is determined whether the sun is at a suitable angle, i. H. Elevation, and a suitable direction, d. H. Azimuth, is designed to be similar to pavement markers FM1, FM2
Schattenbereich S1 und Schattenlücken SL zu erzeugen. Um eine Verwendung des Schattenbereichs S1 und der Schattenlücken SL als falsch identifizierte Fahrbahnmarkierungen F 1 , FM2 zum Betrieb der Shadow area S1 and shadow gaps SL to produce. In order to use the shadow area S1 and the shadow gaps SL as incorrectly identified road markings F1, FM2 for operating the
Fahrerassistenzvorrichtung 4 zu vermeiden, werden zunächst mittels der Driver assistance device 4 to be avoided, first by means of
Auswerteeinheit 2.2 alle Strukturen auf der Fahrbahn FB, welche Evaluation unit 2.2 all structures on the roadway FB, which
Fahrbahnmarkierungen FM1 , FM2 darstellen könnten, als potenzielle Road markings FM1, FM2 could pose as potential
Fahrbahnmarkierungen hinterlegt. Road markings deposited.
Diese potenziellen Fahrbahnmarkierungen werden einer mittels der Auswerteeinheit 2.2 durchgeführten Plausibilisierung unterzogen, wobei anhand der Plausibilisierung ermittelt wird, ob die als potenzielle Fahrbahnmarkierungen in dem Bild B erkannten Strukturen Fahrbahnmarkierungen FM1 , FM2 oder Schattenbereiche S1 und/oder These potential lane markings are subjected to a plausibility check carried out by means of the evaluation unit 2.2, it being determined on the basis of the plausibility check whether the structures recognized as potential lane markings in the image B are lane markings FM1, FM2 or shadow areas S1 and / or
Schattenlücken SL sind. In Abhängigkeit der ermittelten Größe der Wahrscheinlichkeit als Schattenbereiche S1 und/oder Schattenlücken SL identifizierte potenzielle Shadow gaps are SL. Depending on the determined size of the probability identified as shadow areas S1 and / or shadow gaps SL potential
Fahrbahnmarkierungen werden verworfen und nicht zum Betrieb der Road markings are discarded and not used to operate the
Fahrerassistenzvorrichtung 4 verwendet. Driver assistance device 4 is used.
Um die Zuverlässigkeit der Vorrichtung 2 bei der Ermittlung der To the reliability of the device 2 in the determination of
Fahrbahnmarkierungen FM1 , FM2 und der Detektion von Schattenbereichen S1 und Schattenlücken SL weiter zu verbessern, wird bei der Ermittlung des Sonnenstands zunächst mittels des Lichtsensors 2.3.1 eine Stärke des Lichtscheins L ermittelt. Aus der Lichtstärke wird abgeleitet, ob die Sonne von Wolken oder anderen Objekten verdeckt ist oder die Umgebung ungehindert ausleuchtet. Road markings FM1, FM2 and the detection of shadow areas S1 and shadow gaps SL to further improve, is determined in the determination of the position of the sun, first by means of the light sensor 2.3.1 a strength of the light L. The light intensity is used to determine whether the sun is obscured by clouds or other objects, or whether the surroundings are illuminated unhindered.
Bei den Objekten handelt es sich um Geländestrukturen, Pflanzen und/oder Bauwerke. Anhand eines Geländemodells einer digitalen Karte der Navigationsvorrichtung 3, eines Städtemodells der digitalen Karte einer Navigationsvorrichtung 3 und der ermittelten Lichteinfallsrichtung R ermittelt die Auswerteeinheit 2.2, ob sich in einer Sichtlinie zwischen einer aktuellen Fahrzeugposition und der Lichtquelle Geländestrukturen, Pflanzen und/oder Bauwerke befinden, welche die Umgebung des Fahrzeugs 1 verschaffen und somit zu geringen Stärken des Lichtscheins L führen. Insbesondere wird ermittelt, ob sich an einer Fahrbahnseite, aus deren Richtung die Sonne einstrahlt, Wald befindet, welcher zu Schattenwürfen führen kann. The objects are terrain structures, plants and / or structures. On the basis of a terrain model of a digital map of the navigation device 3, a city model of the digital map of a navigation device 3 and the determined light incidence direction R determines the evaluation unit 2.2, whether in a line of sight between a current vehicle position and the light source terrain structures, plants and / or structures are located Provide the environment of the vehicle 1 and thus lead to low levels of light license L. In particular, it is determined whether there is forest on a road side from whose direction the sun is shining, which can lead to shadow throws.
Befindet sich ein Objekt in der Sichtlinie zwischen der Fahrzeugposition und der Sonne und/oder ist die Sonne von Wolken verdeckt, ist die Stärke des Lichtscheins L gering. Bei geringen Stärken des Lichtscheins L ist es unwahrscheinlich, dass ein Kontrast zwischen den Schattenlücken SL und dem Schattenbereich S1 ausreichend groß ist, dass die Auswerteeinheit 2.2 die Schattenlücken SL als Fahrbahnmarkierungen F 1 , FM2 identifiziert. Dies wird bei der Plausibilisierung der potenziellen Fahrbahnmarkierungen berücksichtigt, wobei bei Unterschreitung eines Grenzwerts der Stärke des Lichtscheins L potenzielle Fahrbahnmarkierungen als reale Fahrbahnmarkierungen FM1 , FM2 erkannt werden. ' If an object is in the line of sight between the vehicle position and the sun and / or the sun is obscured by clouds, the intensity of the light L is low. At low magnitudes of light L, it is unlikely that a contrast between the shadow gaps SL and the shadow area S1 is sufficiently large that the evaluation unit 2.2 identifies the shadow gaps SL as road markings F 1, FM 2. This is taken into account in the plausibility check of the potential lane markings, whereby if a luminescent light intensity limit L is exceeded, potential lane markings are recognized as real lane markers FM1, FM2. '
Alternativ oder zusätzlich werden bei der Plausibilisierung weiterhin eine Größe und Form des als Leitplanke ausgebildeten Objekts 01 und ein Abstand der Bilderfassungseinheit 7 zu dem Objekt Ol berücksichtigt. Hierzu wird die Leitplanke mittels der Alternatively or additionally, during the plausibility check, a size and shape of the object 01 formed as a guard rail and a distance of the image acquisition unit 7 from the object Ol are taken into account. For this purpose, the guardrail by means of
Auswerteeinheit 2.2 vermessen und der Abstand zu der Bilderfassungseinheit 7 wird ermittelt. Aus der Größe, Form, dem Abstand und der ermittelten Lichteinfallsrichtung R wird ermittelt, ob das Objekt 01 einen Schattenwurf erzeugen kann, aus welchem ein Schattenbereich S1 mit Schattenlücken SL entsteht, welche als Evaluation unit 2.2 measured and the distance to the image acquisition unit 7 is determined. From the size, shape, the distance and the determined direction of light incidence R it is determined whether the object 01 can produce a shadow, from which a shadow area S1 with shadow gaps SL arises, which as
Fahrbahnmarkierungen F 1 , FM2 interpretierbar sind. In Abhängigkeit davon, ob das Objekt 01 einen derartigen Schattenwurf erzeugen kann, wird die Größe der Road markings F 1, FM2 are interpretable. Depending on whether the object 01 can produce such a shadow, the size of the
Wahrscheinlichkeit angepasst. Probability adjusted.
Ebenfalls alternativ oder zusätzlich wird bei der Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug 1 bewegt, berücksichtigt. In Abhängigkeit der Straßenkategorie wird geschätzt, wie wahrscheinlich es ist, dass sich ein einen Schattenbereich S1 und/oder zumindest eine Schattenlücke SL erzeugendes Objekt O , wie beispielsweise die Leitplanke, auf der befahrenen Straße befindet. Da Leitplanken auf Autobahnen sehr häufig vorkommen, auf Gemeindestraßen dagegen nicht, ist es auf Autobahnen wahrscheinlicher, dass ein durch Leitplanken verursachter Also alternatively or additionally, in the plausibility check, a road category of a road on which the vehicle 1 is moving is taken into account. Depending on the street category, it is estimated how likely it is that an object O generating a shadow area S1 and / or at least one shadow gap SL, such as the guardrail, is on the busy road. As guardrails are very common on motorways, not on local roads, on motorways it is more likely that one caused by guardrails
Schattenbereich S1 und/oder eine Schattenlücke SL als Shadow area S1 and / or a shadow gap SL as
Fahrbahnmarkierungen FM1 , FM2 identifiziert werden, als auf Gemeindestraßen. Die Daten der Straßenkategorie werden vorzugsweise von der Navigationsvorrichtung 3 an die Auswerteeinheit 2.2 übertragen. In Abhängigkeit der aus der Straßenkategorie abgeleiteten Ergebnisse wird wiederum die Wahrscheinlichkeit zur Plausibilisierung angepasst.  Road markings FM1, FM2 are identified as on municipal roads. The data of the road category are preferably transmitted from the navigation device 3 to the evaluation unit 2.2. Depending on the results derived from the road category, the probability of a plausibility check is adjusted again.
Ferner wird vorzugsweise berücksichtigt, ob sich das Fahrzeug 1 auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer Bauwerke zum Führen von Verkehrswegen befindet. Hierbei wird insbesondere erfasst, ob sich dass Fahrzeug 1 auf einer Brücke befindet, da die Wahrscheinlichkeit für Leitplanken, welche die dargestellten Furthermore, it is preferably taken into account whether the vehicle 1 is located on, below, above and / or within one or more structures for guiding traffic routes. In this case, in particular, it is detected whether the vehicle 1 is located on a bridge, since the probability of crash barriers, which are the illustrated
Schattenbereiche S1 und Schattenlücken SL hervorrufen, auf Brücken besonders hoch ist. Weiterhin wird insbesondere erfasst, ob sich das Fahrzeug 1 in einem Tunnel bewegt. In einem Tunnel ist es unwahrscheinlich, dass Schattenbereiche S1 und Shadow areas S1 and shadow gaps SL cause particularly high levels on bridges is. Furthermore, it is detected in particular whether the vehicle 1 is moving in a tunnel. In a tunnel it is unlikely that shadow areas S1 and
Schattenlücken SL durch einen von der Sonne erzeugten Lichtschein L erzeugt werden. Vielmehr wird ein Lichtschein L in einem Tunnel von künstlichen Lichtquellen erzeugt. Die Daten, ob sich das Fahrzeug 1 auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer derartiger Bauwerke befindet, werden wiederum vorzugsweise von der Shadow gaps SL are generated by a sunshine L produced by the sun. Rather, a light L is generated in a tunnel of artificial light sources. The data, whether the vehicle 1 is located on, below, above and / or within one or more such structures, are again preferably from the
Navigationsvorrichtung 3 zur Verfügung gestellt und an die Auswerteeinheit 2.2 übertragen. Navigation device 3 provided and transmitted to the evaluation unit 2.2.
Es wird weiterhin vorzugsweise überprüft, ob Schattenbereiche S2 von einem sich mit dem Fahrzeug mitbewegenden Objekt 02 erzeugt werden. Im dargestellten It is further preferably checked whether shadow areas S2 are generated by an object 02 moving with the vehicle. In the illustrated
Ausführungsbeispiel handelt es sich Objekt 02 um einen Lastkraftwagen. Da in diesem Schattenbereich S2 und dem von der Leitplanke erzeugten Schattenbereich S1 aufgrund von verminderten Kontrasten zwischen Fahrbahnmarkierungen FM1 , FM2 und der Fahrbahn FB eine Detektion der Fahrbahnmarkierungen FM1 , FM2 erschwert ist, wird eine Einstellung von optischen Parametern der Bilderfassungseinheit 2.1 , insbesondere Kontrasteinstellungen, an die Eigenschaften Umgebung in den Schattenbereichen S1 , S2 angepasst. Weiterhin wird die Detektion der Fahrbahnmarkierungen FM1 , FM2 in den Schattenbereichen S1 , S2 vorzugsweise alternativ oder zusätzlich detaillierter und aufwändiger durchgeführt, um eine zuverlässige Detektion der Embodiment is object 02 to a truck. Since detection of the road markings FM1, FM2 is difficult in this shadow area S2 and the shaded area S1 generated by the guardrail due to reduced contrasts between road markings FM1, FM2 and the roadway FB, an adjustment of optical parameters of the image acquisition unit 2.1, in particular contrast settings, becomes adjusted the environment properties in the shadow areas S1, S2. Furthermore, the detection of the road markings FM1, FM2 in the shadow areas S1, S2 is preferably carried out alternatively or additionally in a more detailed and costly manner in order to ensure reliable detection of the
Fahrbahnmarkierungen F 1 , FM2 zu ermöglichen. Road markings F 1, FM2 allow.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
1 Fahrzeug 1 vehicle
2 Vorrichtung  2 device
2.1 Bilderfassungseinheit  2.1 image capture unit
2.2 Auswerteeinheit  2.2 evaluation unit
2.3 Ermittlungseinheit  2.3 Investigation unit
2.3.1 Lichtsensor 2.3.1 light sensor
3 Navigationsvorrichtung  3 navigation device
4 Fahrerassistenzvorrichtung  4 driver assistance device
A Ausrichtung A alignment
B Bild  B picture
D Kalenderdatum  D Calendar date
FB Fahrbahn  FB carriageway
FM1 Fahrbahnmarkierung  FM1 road marking
FM2 Fahrbahnmarkierung  FM2 road marking
FS1 Fahrspur  FS1 lane
FS2 Fahrspur  FS2 lane
L Lichtschein  L light
01 Objekt  01 object
02 Objekt  02 object
POS Position POS position
R Lichteinfallsrichtung  R direction of light
51 Schattenbereich  51 shadow area
52 Schatten bereich  52 shadow area
SL Schattenlücke SL shadow gap
T Uhrzeit T time

Claims

Patentansprüche claims
1. Verfahren zur Detektion von Fahrbahnmarkierungen (FM1 , FM2) in einem Bild (B), wobei eine Umgebung eines Fahrzeugs (1) in zumindest einem Bild (B) erfasst wird, wobei Fahrbahnmarkierungen (FM1 , F 2) in dem Bild (B) detektiert werden und aus den Fahrbahnmarkierungen (FM1 , FM2) ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen (FM1 , FM2) im Bild (B) vorhandene Schattenbereiche (S1 , S2) berücksichtigt werden, A method for detecting lane markers (FM1, FM2) in an image (B), wherein an environment of a vehicle (1) is detected in at least one image (B), wherein lane markers (FM1, F 2) in the image (B ) are detected and from the lane markings (FM1, FM2) a lane course is determined, wherein in the detection of the lane markings (FM1, FM2) in the image (B) existing shadow areas (S1, S2) are taken into account,
dadurch gekennzeichnet, dass eine Lichteinfallsrichtung (R) ermittelt wird und dass anhand der Lichteinfallsrichtung (R) eine Wahrscheinlichkeit ermittelt wird, ob im Bild (B) ein einer Fahrbahnmarkierung (FM1 , FM2) ähnlicher  characterized in that a light incidence direction (R) is determined and that on the basis of the direction of light incidence (R) a probability is determined whether in the image (B) of a lane marking (FM1, FM2) more similar
Schattenbereich (S1 , S2) und/oder eine einer Fahrbahnmarkierung (FM1 , F 2) ähnliche Schattenlücke (SL) aus einem aufgrund eines Lichtscheins (L) einer Lichtquelle mit der ermittelten Lichteinfallsrichtung (R) erzeugten Schattenwurf eines oder mehrerer Objekte (Ol , 02) in der Umgebung des Fahrzeugs (1 ) resultieren, und dass eine Plausibilisierung von als potenzielle  Shadow area (S1, S2) and / or a shadow gap (SL) similar to a road marking (FM1, F2) from a shadow cast of one or more objects (Ol, 02) produced on the basis of a light beam (L) of a light source with the determined light incidence direction (R) ) in the vicinity of the vehicle (1), and that a plausibility of as potential
Fahrbahnmarkierungen in dem Bild (B) erkannten Strukturen durchgeführt wird, wobei in Abhängigkeit der Größe der Wahrscheinlichkeit als  Road markings in the image (B) recognized structures is carried out, depending on the size of the probability as
Schattenbereich (S1 , S2) und/oder Schattenlücke (SL) identifizierte potenzielle Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs verworfen werden.  Shadow area (S1, S2) and / or shadow gap (SL) identified potential lane markings are discarded when determining the lane course.
2. Verfahren nach Anspruch 1 , 2. The method according to claim 1,
dadurch gekennzeichnet, dass bei der Ermittlung der Lichteinfallsrichtung (R) ein Sonnenstand anhand einer Position (POS) des Fahrzeugs (1 ), einer  characterized in that in determining the direction of light incidence (R) a position of the sun based on a position (POS) of the vehicle (1), a
Ausrichtung (A) des Fahrzeugs (1 ) relativ zu einer Himmelsrichtung, einem  Alignment (A) of the vehicle (1) relative to a cardinal direction, a
Kalenderdatum (D) und/oder einer aktuellen Uhrzeit (T) ermittelt wird. Calendar date (D) and / or a current time (T) is determined.
3. Verfahren nach Anspruch 1 oder 2, 3. The method according to claim 1 or 2,
dadurch gekennzeichnet, dass überprüft wird, ob sich in dem  characterized in that it is checked whether in the
Schattenbereich (S1 , S2) und/oder der Schattenlücke (SL) ein oder mehrere Fahrbahnmarkierungen (FM1 , FM2) befinden.  Shadow area (S1, S2) and / or the shadow gap (SL) one or more lane markings (FM1, FM2) are located.
4. Verfahren nach einem der vorhergehenden Ansprüche, 4. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass eine Stärke des Lichtscheins (L) ermittelt wird.  characterized in that a strength of the light (L) is determined.
5. Verfahren nach einem der vorhergehenden Ansprüche, 5. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass bei der Ermittlung der potenziellen  characterized in that in determining the potential
Fahrbahnmarkierungen und/oder Plausibilisierung eine Größe und/oder Form der Objekte (01 , 02) und/oder ein Abstand der zumindest einen  Road markings and / or plausibility of a size and / or shape of the objects (01, 02) and / or a distance of at least one
Bilderfassungseinheit (2.1) zu den Objekten (Ol , 02) berücksichtigt wird.  Image acquisition unit (2.1) to the objects (Ol, 02) is taken into account.
6. Verfahren nach einem der vorhergehenden Ansprüche, 6. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass bei der Ermittlung der potenziellen  characterized in that in determining the potential
Fahrbahnmarkierungen und/oder Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug (1) bewegt, berücksichtigt wird und/oder berücksichtigt wird, ob sich das Fahrzeug (1) auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer Bauwerke zum Führen von Verkehrswegen befindet.  Road markings and / or plausibility check a road category of a road on which the vehicle (1) moves, is taken into account and / or taken into account whether the vehicle (1) on, below, above and / or within one or more structures for guiding located from traffic routes.
7. Verfahren nach einem der vorhergehenden Ansprüche, 7. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass anhand eines Geländemodells einer digitalen Karte einer Navigationsvorrichtung (3) und der ermittelten Lichteinfallsrichtung (R) und/oder eines Städtemodells einer digitalen Karte einer Navigationsvorrichtung (3) und der ermittelten Lichteinfallsrichtung (R) ermittelt wird, ob sich in einer Sichtlinie zwischen einer Position (POS) des Fahrzeugs (1) und der Lichtquelle  characterized in that based on a terrain model of a digital map of a navigation device (3) and the determined light incidence direction (R) and / or a city model of a digital map of a navigation device (3) and the determined light incidence direction (R) is determined, whether in a line of sight between a position (POS) of the vehicle (1) and the light source
Geländestrukturen, Pflanzen und/oder Bauwerke befinden, wobei die ermittelten Geländestrukturen, Pflanzen und/oder Bauwerke bei der bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung berücksichtigt werden.  Terrain structures, plants and / or structures are located, whereby the determined terrain structures, plants and / or structures are taken into account in the determination of the potential lane markings and / or plausibility.
8. Vorrichtung (2) zur Detektion von Fahrbahnmarkierungen (FM1 , F 2) in einem 8. Device (2) for the detection of lane markings (FM1, F 2) in one
Bild (B), umfassend zumindest eine Bilderfassungseinheit (2.1) zur Erfassung einer 16 Image (B), comprising at least one image acquisition unit (2.1) for detecting a 16
Umgebung eines Fahrzeugs (1 ) in zumindest einem Bild (B), umfassend eine Auswerteeinheit (2.2) zur Detektion der Fahrbahnmarkierungen (F 1 , FM2) in dem Bild (B), zur Ermittlung eines Fahrspurverlaufs aus den Environment of a vehicle (1) in at least one image (B), comprising an evaluation unit (2.2) for detecting the lane markings (F 1, FM2) in the image (B), for determining a lane course of the
Fahrbahnmarkierungen (FM1 , FM2) und zur Berücksichtigung von im Bild (B) vorhandenen Schattenbereichen (S1 , S2) bei der Detektion der  Lane markings (FM1, FM2) and to take account of shadow areas (S1, S2) present in image (B) in the detection of
Fahrbahnmarkierungen (FM1 , FM2),  Road markings (FM1, FM2),
dadurch gekennzeichnet, dass die Auswerteeinheit (2,2) mit einer  characterized in that the evaluation unit (2,2) with a
Ermittlungseinheit (2.3) zur Ermittlung einer Lichteinfallsrichtung (R) gekoppelt ist, wobei mittels der Auswerteeinheit (2.2) und anhand der Lichteinfallsrichtung (R) eine Wahrscheinlichkeit ermittelbar ist, ob im Bild (B) ein einer  Determination unit (2.3) for determining a direction of light incidence (R) is coupled, wherein by means of the evaluation unit (2.2) and based on the light incident direction (R) a probability can be determined whether in the image (B) a
Fahrbahnmarkierung (FM1 , FM2) ähnlicher Schattenbereich (S1 , S2) und/oder eine einer Fahrbahnmarkierung (FM1 , FM2) ähnliche Schattenlücke (SL) aus einem aufgrund eines Lichtscheins (L) einer Lichtquelle mit der ermittelten  Lane marking (FM1, FM2) similar shadow area (S1, S2) and / or a road marking (FM1, FM2) similar shadow gap (SL) from a due to a light (L) of a light source with the determined
Lichteinfallsrichtung (R) erzeugten Schattenwurf eines oder mehrerer  Direction of light (R) generated by one or more shadows
Objekte (Ol , 02) in der Umgebung des Fahrzeugs (1) resultieren, und dass mittels der Auswerteeinheit (2.2) eine Plausibilisierung von als potenzielle  Objects (Ol, 02) in the vicinity of the vehicle (1) result, and that by means of the evaluation unit (2.2) a plausibility of as potential
Fahrbahnmarkierungen in dem Bild (B) erkannten Strukturen und in Abhängigkeit der Größe der Wahrscheinlichkeit eine Verwerfung der als  Lane markings in the image (B) recognized structures and depending on the size of the probability of a rejection as
Schattenbereich (S1 , S2) und/oder Schattenlücke (SL) identifizierten potenziellen Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs durchführbar sind.  Shadow area (S1, S2) and / or shadow gap (SL) identified potential lane markings in determining the lane course are feasible.
9. Vorrichtung (2) nach Anspruch 8, 9. Device (2) according to claim 8,
dadurch gekennzeichnet, dass die Ermittlungseinheit (2.3) zumindest einen Lichtsensor (2.3.1 ) zur Erfassung einer Stärke des Lichtscheins (L) umfasst oder mit diesem gekoppelt ist.  characterized in that the detection unit (2.3) comprises at least one light sensor (2.3.1) for detecting a strength of the light sheet (L) or is coupled thereto.
10. Vorrichtung (2) nach Anspruch 8 oder 9, 10. Device (2) according to claim 8 or 9,
dadurch gekennzeichnet, dass die Auswerteeinheit (2.2) mit einer Ortungseinheit, einer Navigationsvorrichtung (3) und/oder einer Empfangseinheit zum Empfang einer Position (POS) des Fahrzeugs (1 ), eines Kalenderdatums (D), einer  characterized in that the evaluation unit (2.2) with a locating unit, a navigation device (3) and / or a receiving unit for receiving a position (POS) of the vehicle (1), a calendar date (D), a
Uhrzeit (T) und/oder einer Ausrichtung (A) des Fahrzeugs (1 ) zu einer  Time (T) and / or an orientation (A) of the vehicle (1) to a
Himmelsrichtung gekoppelt ist.  Direction is coupled.
PCT/EP2011/004249 2010-09-15 2011-08-24 Method and device for detecting roadway markings in an image WO2012034637A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010045511.3 2010-09-15
DE102010045511A DE102010045511A1 (en) 2010-09-15 2010-09-15 Method and device for detecting lane markings in an image

Publications (1)

Publication Number Publication Date
WO2012034637A1 true WO2012034637A1 (en) 2012-03-22

Family

ID=44514632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/004249 WO2012034637A1 (en) 2010-09-15 2011-08-24 Method and device for detecting roadway markings in an image

Country Status (2)

Country Link
DE (1) DE102010045511A1 (en)
WO (1) WO2012034637A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017001814A1 (en) 2017-02-27 2017-10-19 Daimler Ag Method for detecting lane markings
CN108089573A (en) * 2016-11-22 2018-05-29 福特全球技术公司 Vehicle vision

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014206768A1 (en) * 2014-04-08 2015-10-08 Volkswagen Aktiengesellschaft Method and device for determining solar radiation
DE102019209064B4 (en) * 2019-06-24 2022-09-29 Zf Friedrichshafen Ag Device for reacting to shadowed objects in the surroundings of a vehicle
CN112613370A (en) * 2020-12-15 2021-04-06 浙江大华技术股份有限公司 Target defect detection method, device and computer storage medium
DE102021213881A1 (en) 2021-12-07 2023-06-07 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for operating a vehicle
FR3135682B1 (en) * 2022-05-19 2024-04-05 Psa Automobiles Sa Method for managing the trajectory of a motor vehicle in its lane
DE102022122339A1 (en) 2022-09-05 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Method and device for measuring a parking space for a motor vehicle
DE102023101366B3 (en) 2023-01-20 2024-03-21 Cariad Se Computer-implemented method, processor circuit and system for determining a marking course of a lane marking of a lane that is currently being traveled by a vehicle

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003306102A (en) * 2002-04-11 2003-10-28 Toshiba Corp Passing vehicle detection device, and rear side alarm device for drive supporting system
US6819779B1 (en) 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
DE10338766B4 (en) 2003-08-23 2005-12-22 Daimlerchrysler Ag Vehicle data bus system with locating unit
US20060274917A1 (en) 1999-11-03 2006-12-07 Cet Technologies Pte Ltd Image processing techniques for a video based traffic monitoring system and methods therefor
DE10338764B4 (en) 2003-08-23 2007-08-16 Daimlerchrysler Ag Method and system for activating a night vision system
EP1862972A1 (en) * 2005-03-22 2007-12-05 HONDA MOTOR CO., Ltd. Vehicle-use image processing system, vehicle-use image processing method, vehicle-use image processing program, vehicle, and method of formulating vehicle-use image processing system
DE102006062061A1 (en) * 2006-12-29 2008-07-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device, method, and computer program for determining a position on the basis of a camera image
US20100041714A1 (en) 2008-08-15 2010-02-18 Jean-Baptiste Blanc Bi-aryl aminotetralines
US20100259617A1 (en) * 2009-04-09 2010-10-14 Nippon Soken, Inc. Boundary line recognition apparatus

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060274917A1 (en) 1999-11-03 2006-12-07 Cet Technologies Pte Ltd Image processing techniques for a video based traffic monitoring system and methods therefor
US6819779B1 (en) 2000-11-22 2004-11-16 Cognex Corporation Lane detection system and apparatus
JP2003306102A (en) * 2002-04-11 2003-10-28 Toshiba Corp Passing vehicle detection device, and rear side alarm device for drive supporting system
DE10338766B4 (en) 2003-08-23 2005-12-22 Daimlerchrysler Ag Vehicle data bus system with locating unit
DE10338764B4 (en) 2003-08-23 2007-08-16 Daimlerchrysler Ag Method and system for activating a night vision system
EP1862972A1 (en) * 2005-03-22 2007-12-05 HONDA MOTOR CO., Ltd. Vehicle-use image processing system, vehicle-use image processing method, vehicle-use image processing program, vehicle, and method of formulating vehicle-use image processing system
DE102006062061A1 (en) * 2006-12-29 2008-07-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Device, method, and computer program for determining a position on the basis of a camera image
US20100041714A1 (en) 2008-08-15 2010-02-18 Jean-Baptiste Blanc Bi-aryl aminotetralines
US20100259617A1 (en) * 2009-04-09 2010-10-14 Nippon Soken, Inc. Boundary line recognition apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOSE M ALVAREZ ET AL: "3D Scene priors for road detection", 2010 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 13-18 JUNE 2010, SAN FRANCISCO, CA, USA, IEEE, PISCATAWAY, NJ, USA, 13 June 2010 (2010-06-13), pages 57 - 64, XP031726053, ISBN: 978-1-4244-6984-0 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108089573A (en) * 2016-11-22 2018-05-29 福特全球技术公司 Vehicle vision
DE102017001814A1 (en) 2017-02-27 2017-10-19 Daimler Ag Method for detecting lane markings

Also Published As

Publication number Publication date
DE102010045511A1 (en) 2012-03-15

Similar Documents

Publication Publication Date Title
WO2012034637A1 (en) Method and device for detecting roadway markings in an image
EP2057583B1 (en) Automatic high beam control method
DE102009002101A1 (en) Method and device for illuminating road side areas
EP1557692A1 (en) Method for detecting marked hazardous locations and/or road works in the vicinity of roadways
DE102010034853A1 (en) Motor vehicle with digital projectors
DE102009007342A1 (en) Method and device for determining an applicable lane marking
DE102012024873A1 (en) Method and control device for providing a road ahead
WO2010085931A1 (en) Method and system for conclusively capturing a violation of the speed limit on a section of a road
DE102011088130A1 (en) Method and device for detecting a braking situation
WO2013113500A1 (en) Driver assistance system and method for virtual representation of a road layout under obscured visibility and/or poor visibility conditions
DE102005039895A1 (en) Lane Departure Warning and / or Lane Keeping System
WO2007144250A1 (en) Method for picking up a traffic space
DE102016012313A1 (en) Device for assisting a driver of a vehicle with a projection device
EP1028387B2 (en) Device for recognizing the environment, in particuliar for recognising traffic road signs
DE102007025147A1 (en) Lane departure warning and/or lane keeping function providing system for motor vehicle i.e. car, has camera aligned perpendicularly downward to road surface and serving for recognition of lane marking provided on road surface
DE102010023199A1 (en) Method for operating image capturing device for realizing outer mirror functions of motor vehicle, involves monitoring momentary state of cameras in dependence of result of comparison and/or merging of environmental characteristics
DE10053315C2 (en) Method for detecting traffic signs and device for carrying them out
DE102010049214A1 (en) Method for determining lane course for vehicle for e.g. controlling lane assistance device, involves determining global surrounding data from fusion of lane course data with card data, and determining lane course of vehicle from global data
DE102009036196A1 (en) Traffic sign recognition method for vehicle, involves recording traffic signs within surrounding of vehicle by optical detection unit, where estimated current relative position of traffic signs is selected or limited within surrounding
DE102012221652A1 (en) Method for determining left-hand traffic or right-hand traffic in traffic situation, involves detecting identification characteristic in video image of camera of vehicle
DE102015216927B4 (en) Method and device for automatic documentation of traffic violations
DE102007013501B4 (en) Driver assistance system with differently oriented cameras
DE102016119592A1 (en) Method for detecting objects in an environmental region of a motor vehicle taking into account sensor data in the infrared wavelength range, object recognition device, driver assistance system and motor vehicle
EP2748759A1 (en) Method and device for detecting disturbing objects in the surrounding air of a vehicle
DE102011014455A1 (en) Vehicle operating method, involves automatically adjusting light distribution of illumination device of vehicle to predetermined speed during detecting road region, and detecting information over presence of road region on track portion

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11749096

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11749096

Country of ref document: EP

Kind code of ref document: A1