WO2013026599A1 - Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs - Google Patents

Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs Download PDF

Info

Publication number
WO2013026599A1
WO2013026599A1 PCT/EP2012/062576 EP2012062576W WO2013026599A1 WO 2013026599 A1 WO2013026599 A1 WO 2013026599A1 EP 2012062576 W EP2012062576 W EP 2012062576W WO 2013026599 A1 WO2013026599 A1 WO 2013026599A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
objects
line structures
image
escape
Prior art date
Application number
PCT/EP2012/062576
Other languages
English (en)
French (fr)
Inventor
Petko Faber
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to CN201280040814.7A priority Critical patent/CN103748600A/zh
Priority to EP12732625.4A priority patent/EP2748759A1/de
Priority to US14/238,657 priority patent/US20140254873A1/en
Publication of WO2013026599A1 publication Critical patent/WO2013026599A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017—Devices integrating an element dedicated to another function
    • B60Q1/0023—Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/06—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle
    • B60Q1/08—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically
    • B60Q1/085—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights adjustable, e.g. remotely-controlled from inside vehicle automatically due to special conditions, e.g. adverse weather, type of road, badly illuminated road signs or potential dangers

Definitions

  • the present invention relates to a method for detecting disturbing objects in the ambient air of a vehicle, to a corresponding device and to a corresponding computer program product.
  • the subsequently published DE102010030616 deals with a method for detecting an interfering object in at least one camera image of a camera image sequence.
  • the present invention provides a method for detecting disturbing objects in the ambient air of a vehicle, furthermore a device which uses this method and finally a corresponding computer program product according to the main claims.
  • Advantageous embodiments emerge from the respective subclaims and the following description.
  • the view of a driver of a vehicle may be affected by airborne disturbing objects such as raindrops or snowflakes.
  • the disturbing objects can be detected.
  • disturbing noise in the vicinity of the camera
  • scene objects such as lane markings or lane boundaries that are farther from the camera.
  • the jamming objects By moving the jamming objects relative to the camera, during the exposure time of an image of the camera, the jamming objects appear as line structures in the image.
  • the line structures caused by the disturbing objects provide an estimate for a proper movement of the vehicle.
  • the line structures are aligned in a common vanishing point.
  • This vanishing point can be compared to a vanishing point of lines indicating a course of the road on which the vehicle is moving. If the vanishing point of the line structures caused by the disturbing objects and the vanishing point of the lines characterizing the course of the roadway are at different positions, this indicates the presence of disturbing objects. If, on the other hand, all or at least a large part of the lines and line structures in the picture are aligned with one and the same vanishing point, which corresponds to the escape point of the course of the carriageway, this indicates that there are no disturbing objects.
  • the information about the disturbing objects can be obtained from assistance systems of the
  • Such assistance systems are, for example, functions such as night vision assistance, warning of persons, adaptive light control, lane departure warning or traffic sign recognition.
  • functions such as night vision assistance, warning of persons, adaptive light control, lane departure warning or traffic sign recognition.
  • the approach presented here can be combined with other methods for the detection of
  • disturbing objects can be reliably detected under different conditions.
  • the approach presented here also makes it possible, for example, to detect snowfall and rainfall at night by utilizing one's own active lane lighting and to make this information available to other assistance systems.
  • the present invention provides a method for detecting disturbing objects in the ambient air of a vehicle, comprising the steps of: determining line structures in at least one image area of an image of a vehicle
  • the vehicle may be, for example, a passenger car or a truck that is moving on a road, for example a road.
  • the jamming objects may be airborne objects that restrict the visibility of a driver of the vehicle.
  • the disturbing objects can be located approximately at the driver's eye level or below, in particular in advance of the vehicle.
  • the disruptive objects may be, for example, snowflakes, raindrops, whirled or falling leaves, sand, earthcrumbs or insects.
  • the obstructions can float in the air or move in the air.
  • the image may represent a photograph of an image capture device, for example a camera, arranged on the vehicle, from the surroundings of the vehicle.
  • the image may depict a portion of the surroundings in the direction of travel in front of the vehicle.
  • the image area can represent a section of the image.
  • the image area may be centered about an optical axis of the image capture device.
  • a line structure may represent a structure extending in a main direction in the image area. Line structures can be determined, for example, by means of edge detection in the brightness profiles of the image.
  • a first line structure may be caused by a line-shaped object, for example a lane marking, in the surroundings of the vehicle. Such a line-shaped object is imaged in the image as a linear structure.
  • a second line structure may be caused by a subject moving transversely to the camera plane during the exposure time of the image. In order to obtain suitable second line structures, a correspondingly large exposure time can be selected.
  • the position of the escape area of the first line structures can be at the level of the horizon visible to the driver of the vehicle. If the positions of the escape areas are spaced apart, this indicates the presence of interfering objects shown in the image. Information about a detected presence may be provided via a suitable interface to one or more other systems of the vehicle.
  • the method may include a step of selecting an image from an area illuminated by a headlight of the vehicle in the image as the at least one image area.
  • the light from the headlamp illuminates both lane markings and interfering objects.
  • the resulting reflections are clearly visible in the image. This facilitates the determination of the line structures.
  • the first line structures can be those of the
  • the escape region can be determined as the second escape region in which a
  • Majority of the second line structures are aligned. In this way, line structures can be filtered out that do not mark the course of the road and are not caused by interfering objects.
  • step of determining may be another position of another second
  • Escape range of the second line structures are determined.
  • the step of determining interference objects imaged in the image may be further performed based on the further position of the further second alignment area. For example, second line structures that originate from different image regions can be assigned to the second escape region and the further second escape region. As a result, it can be taken into account that due to the flow of air disturbing objects are deflected around the vehicle or the camera, thereby changing their direction.
  • the method may include a step of providing information about
  • Presence of the disturbing objects include when the position of the second escape area is above or below the position of the first escape area. Below can be defined by an imaged section of the roadway, which is in the image closest to the vehicle.
  • a minimum distance between the escape areas can be predetermined.
  • a criterion for the presence of the jamming objects may be that a connecting line between centers of the escape areas is perpendicular or at an obtuse angle to a horizon line in the image.
  • the information about the presence of the disturbing objects may be provided to an interface to a light function of the vehicle. For example, vehicle lighting may be adjusted depending on the presence or absence of the disturbing objects. Alternatively or additionally, the information can be sent to further assistance systems of the
  • the present invention further provides an apparatus for detecting disturbing objects in the ambient air of a vehicle, which is designed to implement the steps of the method according to the invention in corresponding devices. Also by this embodiment of the invention in the form of a device, the object underlying the invention can be solved quickly and efficiently.
  • a device can be understood as meaning an electrical device which processes sensor signals and outputs control signals in dependence thereon.
  • the device may have an interface, which may be formed in hardware and / or software.
  • the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device.
  • the interfaces are their own integrated circuits or at least partially consist of discrete components.
  • the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.
  • Also of advantage is a computer program product with program code which can be stored on a machine-readable carrier such as a semiconductor memory, a hard disk memory or an optical memory, and for
  • Fig. 1 is a schematic representation of a vehicle according to an embodiment of the present invention
  • FIG. 2 is an image of a camera according to an embodiment of the present invention
  • FIG. 3 is a processed image of a camera according to an embodiment of the present invention.
  • the vehicle 100 has a device for detecting the interfering objects 102.
  • the device has an input interface for receiving at least one image captured by the camera 106 or image information obtained from such an image and for determining therefrom information about the presence of the interfering objects 102.
  • the vehicle 100 has an assistance system 12, for example for controlling the headlights 108.
  • the device is designed to output the information about the presence of the disturbing objects 102 via an output interface to the assistance system 12.
  • the device for detecting the interfering objects 102 has a device 121 for determining line structures in at least one image region of the image of the camera 106.
  • the device 121 is designed to receive and evaluate image information about the image.
  • the device 125 is designed to determine a first alignment region of the first line structures and a second alignment region of the second line structures. If the second escape zone is already known, then only the first escape zone can be determined. Furthermore, the device 125 is designed to determine positions of the escape areas relative to each other. The device 125 is designed to output information about a position of the first escape region and about a position of the second escape region to a device 127 for determining interference objects imaged in the image. The means 127 for determining is designed to determine information about the presence of the disturbing objects 102 based on the positions of the first and the second escape region relative to each other. According to this exemplary embodiment, the means 127 for determining is designed to output the information about the presence of the disturbing objects 102 to the assistance system 12.
  • 121, 123, 125, 127 are part of the apparatus for detecting the interfering objects 102 according to this embodiment.
  • a video-based assistance system 12 receives information about currently detected disturbing objects 102 or information based thereon about a current weather condition. This ensures the functionality of the assistance system 1 12 in so-called
  • a corresponding system for example in the form of the device for detecting the interfering objects 102, is designed to be based on the evaluation of the signals of an imaging sensor, for example the camera 06, and the comparison with a model-based estimate of the own movement of the camera Vehicle 100, in a crude scale, to give statements about the presence of "bad" weather in the dark.
  • an imaging sensor for example the camera 06
  • the driver can be additionally sensitized by an acoustic or visual information.
  • such information can be made available to other assistance systems 12.
  • FIG. 2 shows an image 230 of an apron of a vehicle according to an embodiment of the present invention.
  • the image 230 may, for example, have been detected by the camera 106 shown in FIG. 1 and evaluated by the device described for detecting interfering objects.
  • the image 230 shows a section of a road in front of the vehicle in the dark.
  • Two lane markings 104 can be seen, on the one hand a dashed center line and on the other hand a solid edge marking of the road.
  • the lane markings 104 In a region illuminated by a headlight of the vehicle, the lane markings 104 have a straight-line or approximately straight course. From the perspective of the image 230, it appears that the lane markers 104 in the far end are approaching each other. The lane markers are in sharp contrast to the movement of the vehicle.
  • the row of posts of a guardrail to be recognized on the right-hand edge of the image could also be the left one
  • Edge marking of the road can be used. Furthermore, four line structures caused by snowflakes 102 can be seen in the image 230. Due to the proximity of the snowflakes 102 to the camera and the movement of the vehicle, the snowflakes 102 are out of focus as dashes. The lines of the snowflakes 102 have a different longitudinal extension direction than the track markings 104. The lane markers 104 and the snow flakes 102 associated with line structures in the image 320 may be recognized and classified by any suitable means.
  • FIG. 2 a horizon line 235 drawn in the image 320 is shown.
  • FIG. 3 shows a processed form of the image 230 shown in FIG. 2 according to an embodiment of the present invention.
  • Lines 302, 304 are laid over the recognized line structures of the lane markings and snowflakes, which extend the recognized line structures in the direction of their respective main direction of extension.
  • the four lines 302 associated with the line structures of the four snowflakes have a common vanishing point 342 or crossing point.
  • the two lines 304 assigned to the line structures of the track markings have a common vanishing point 344.
  • the vanishing point 344 lies at the level of the horizon line 235.
  • the vanishing point 342 lies above the horizon line 235. In the vertical direction, the vanishing points 342, 344 are not or only slightly shifted from one another.
  • the vanishing points 342, 344 are not or only slightly shifted from one another.
  • a stacked arrangement of the vanishing points 342, 344 indicates the presence of the snowflakes in the field of view of the camera, which has taken the image 230.
  • a video-based bad weather detection according to an exemplary embodiment of the present invention will be described below with reference to FIGS. 3 and 4.
  • all line-like structures 102, 104 are detected in successive video images 230 in the area illuminated by their own headlight.
  • the vanishing point 344 focus of expension
  • a common vanishing point 342 which is above or under certain circumstances also below the vanishing point 344 of the road markings 104, can be estimated for all remaining line-type structures 102 by compensation calculation, then a weather situation with, for example, a high probability exists. heavy rain or snowfall.
  • vanishing point 344 may be estimated.
  • a distinction can be made between an initial static camera calibration and a dynamic online calibration. to become.
  • a necessary correction can be carried out, which is caused for example by a temporary loading or a misalignment of the camera. If the self-oscillation of the vehicle caused, inter alia, by the road surface, is neglected, this estimate of the vanishing point 344 is sufficient. Will be a higher
  • the proper motion of the vehicle can be estimated either based on vehicle sensors or by processing information from the video image.
  • the estimated escape point 344 can be made plausible by navigation data which may be present.
  • the accuracy of the vanishing point estimated by an online calibration is sufficient, since on the one hand the disturbance objects can be detected and evaluated only in the near range ( ⁇ 50 m) and, on the other hand, a qualitative statement about the presence of disturbing objects is made.
  • a contour is always assumed to be the initial model for the estimation of the vanishing point on the basis of the lane marking.
  • Such a contour can be used both in a straight-line road course and in a curve.
  • Lane can not be used because the interfering objects may be swirled under certain circumstances. Furthermore, the estimation of a vanishing point caused by disturbing objects should be supported by several objects and this estimate should be constant for a certain time. This is an attempt to eliminate infrastructure-related errors. Furthermore, the desired vanishing point depending on the airspeed, and the unknown fall velocity of the disturbing objects, is always to be expected above the vanishing point of the online calibration. This is true under the assumption that there is no significant expression due to severe weather.
  • step 4 shows a flow chart of a method for detecting disturbing objects in the ambient air of a vehicle.
  • the method can be implemented, for example, in the device described with reference to FIG.
  • line structures are determined in at least one image region of at least one image of an environment of the vehicle.
  • the at least one image can be the image shown in FIGS. 2 and 3.
  • a position of a first escape region of first line structures and a position of a second escape region of second line structures are determined.
  • a determination of interference objects depicted in the at least one image takes place based on the position of the first escape area and the position of the second escape area.
  • information about the disturbing objects can be further processed, for example to carry out a bad weather detection.
  • a plurality of images may be evaluated according to the method. For example, within a period of time, which can be, for example, between half a minute to one minute, a plurality of temporally successively determined images of a camera can be evaluated.
  • the information about the disturbing objects may be determined based on the evaluation of the plurality of images.
  • all method steps can be carried out for each picture and the individual results determined therefrom with regard to the presence of interfering objects can subsequently be combined into a final result.
  • only individual process steps can be performed for each of the images, for example to determine the positions of the first, the second or both escape areas safely.
  • the presence of the disturbing objects can be determined on the basis of the escape areas determined over several images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs, das einen Schritt des Bestimmens (421 ) von Linienstrukturen in zumindest einem Bildbereich eines Bilds einer Umgebung des Fahrzeugs, einen Schritt des Bestimmens (425) einer Position eines ersten Fluchtbereichs von ersten Linienstrukturen und einer Position eines zweiten Fluchtbereichs von zweiten Linienstrukturen und einen Schritt des Ermittelns von in dem Bild abgebildeten Störobjekten umfasst, die sich in der Umgebungsluft des Fahrzeugs befindliche Objekte repräsentieren, basierend auf der Position des ersten Fluchtbereichs und der Position des zweiten Fluchtbereichs.

Description

Beschreibung
Titel
Verfahren und Vorrichtung zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
Offenbarung der Erfindung
Regen oder fallende Schneeflocken schränken den Sichtbereich eines Fahrers eines Fahrzeugs ein.
Die nachveröffentlichte DE102010030616 befasst sich mit einem Verfahren zum Erkennen eines Störobjekts in zumindest einem Kamerabild einer Kamerabildsequenz.
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Die Sicht eines Fahrers eines Fahrzeugs kann durch sich in der Luft befindliche Störobjekte, wie Regentropfen oder Schneeflocken, beeinträchtigt werden. Durch eine Kamera des Fahrzeugs können die Störobjekte erfasst werden. Bei einem fahrenden Fahrzeug bewegen sich in der Nähe der Kamera befindliche Störob- jekte aufgrund ihres geringen Abstands zur Kamera schneller durch ein Bild der Kamera als Szenenobjekte wie Fahrbahnmarkierungen oder Fahrbahnbegrenzungen, die weiter von der Kamera entfernt sind. Durch die Bewegung der Störobjekte relativ zur Kamera, während der Belichtungszeit eines Bilds der Kamera, erscheinen die Störobjekte als Linienstrukturen in dem Bild. Die durch die Störobjekte hervorgerufenen Linienstrukturen liefern eine Schätzung für eine Eigenbewegung des Fahrzeugs. Die Linienstrukturen fluchten in einem gemeinsamen Fluchtpunkt. Dieser Fluchtpunkt kann mit einem Fluchtpunkt von Linien verglichen werden, die einen Verlauf der Fahrbahn kennzeichnen, auf der sich das Fahrzeug bewegt. Befinden sich der Fluchtpunkt der durch die Störobjekte hervorgerufenen Linienstrukturen und der Fluchtpunkt der den Verlauf der Fahrbahn kennzeichnenden Linien an unterschiedlichen Positionen, so deutet dies auf das Vorhandensein von Störobjekten hin. Fluchten dagegen alle oder zumindest ein Großteil der in dem Bild vorhandenen Linien und Linienstrukturen in ein und demselben Fluchtpunkt, der dem Fluchtpunt des Verlaufs der Fahrbahn entspricht, so deutet dies darauf hin, dass keine Störobjekte vorhanden sind.
Vorteilhafterweise lässt sich aus der Erkennung von Störobjekten auch auf Schlechtwettersituationen oder generell auf eingeschränkte Sichtverhältnisse schließen. Die Information über die Störobjekte kann von Assistenzsystemen des
Fahrzeugs verwendet werden. Solche Assistenzsysteme sind beispielsweise Funktionen wie Nachtsichtassistenz, Warnung vor Personen, adaptive Lichtsteuerung, Spurverlassenswarnung oder Verkehrszeichenerkennung. Der hier vorgestellte Ansatz lässt sich mit anderen Verfahren zur Erkennung von
Störobjekten kombinieren. Dadurch können Störobjekte bei unterschiedlichen Bedingungen sicher erkannt werden. Durch den hier vorgestellten Ansatz wird es beispielsweise auch ermöglicht Schneefall und Regen bei Nacht unter Ausnutzung der eigenen aktiven Fahrbahnbeleuchtung zu detektieren und diese Infor- mation anderen Assistenzsystemen zur Verfügung zu stellen.
Die vorliegende Erfindung schafft ein Verfahren zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs, das die folgenden Schritte umfasst: Bestimmen von Linienstrukturen in zumindest einem Bildbereich eines Bilds einer
Umgebung des Fahrzeugs; Bestimmen einer Position eines ersten Fluchtbereichs von ersten Linienstrukturen und einer Position eines zweiten Fluchtbereichs von zweiten Linienstrukturen der Mehrzahl von Linienstrukturen
Ermitteln von in dem Bild abgebildeten Störobjekten, die sich in der Umgebungsluft des Fahrzeugs befindliche Objekte repräsentieren, basierend auf der Position des ersten Fluchtbereichs und der Position des zweiten Fluchtbereichs. Bei dem Fahrzeug kann es sich beispielsweise um einen Personenkraftwagen oder einen Lastkraftwagen handeln, der sich auf einer Fahrbahn, beispielweise einer Straße, bewegt. Bei den Störobjekten kann es sich um in der Luft befindliche Objekte handeln, die eine Sichtweite eines Fahrers des Fahrzeugs einschränken. Die Störobjekte können sich insbesondere im Vorfeld des Fahrzeugs in etwa auf Augenhöhe des Fahrers oder darunter befinden. Bei den Störobjekten kann es sich beispielsweise um Schneeflocken, Regentropfen, aufgewirbeltes oder fallendes Laub, Sand, Erdkrumen oder Insekten handeln. Die Störobjekte können in der Luft schweben oder sich in der Luft bewegen. Das Bild kann eine Aufnahme einer an dem Fahrzeug angeordneten Bilderfassungseinrichtung, beispielweise einer Kamera, von der Umgebung des Fahrzeugs repräsentieren.
Das Bild kann einen sich in Fahrtrichtung vor dem Fahrzeug befindlichen Abschnitt der Umgebung abbilden. Der Bildbereich kann einen Ausschnitt aus dem Bild darstellen. Der Bildbereich kann um eine optische Achse der Bilderfassungseinrichtung zentriert sein. Eine Linienstruktur kann eine sich in eine Haupt- richtung erstreckende Struktur in dem Bildbereich darstellen. Linienstrukturen können beispielsweise über eine Kantendetektion in den Helligkeitsverläufen des Bildes ermittelt werden. Eine erste Linienstruktur kann durch ein linienförmiges Objekt, beispielsweise eine Fahrbahnmarkierung, in der Umgebung des Fahrzeugs hervorgerufen werden. Ein solches linienförmiges Objekt wird in dem Bild als linienförmige Struktur abgebildet. Eine zweite Linienstruktur kann dadurch verursacht sein, dass sich ein Störobjekt während der Belichtungszeit des Bildes quer zur Kameraebene bewegt. Um geeignete zweite Linienstrukturen zu erhalten kann eine entsprechend große Belichtungszeit gewählt werden. Die Belichtungszeit kann abhängig von einer Geschwindigkeit des Fahrzeugs gewählt wer- den. Bei hoher Geschwindigkeit kann eine geringere Belichtungszeit als bei einer niedrigen Geschwindigkeit gewählt werden. In einem Schritt des Einteilens kön- nen die Linienstrukturen in erste Linienstrukturen und zweite Linienstrukturen eingeteilt werden. Zum Einteilen der Linienstrukturen in erste Linienstrukturen und zweite Linienstrukturen können erkannte Linienstrukturen mit gespeicherten Linienstrukturen verglichen werden. Insbesondere die ersten Linienstrukturen können über eine Objekterkennung als solche erkannt werden. Ein Fluchtbereich kann ein Fluchtpunkt oder ein begrenzter Bereich sein, in dem sich die zugehörigen Linienstrukturen kreuzen. Der Fluchtpunkt kann durch eine Verlängerung der erkannten Linienstrukturen in dem Bildbereich ermittelt werden. Dazu können geeignete Algorithmen eingesetzt werden. Die Positionen der Fluchtbereiche können sich innerhalb des Bildbereichs oder außerhalb des Bildbereichs befinden. Die Position des Fluchtbereichs der ersten Linienstrukturen kann sich auf Höhe des für den Fahrer des Fahrzeugs ersichtlichen Horizonts befinden. Sind die Positionen der Fluchtbereiche voneinander beabstandet, so deutet dies auf das Vorhandensein von in dem Bild abgebildeten Störobjekten hin. Eine Information über ein erkanntes Vorhandensein kann über eine geeignete Schnittstelle an eine oder mehrere weitere Systeme des Fahrzeugs bereitgestellt werden.
Das Verfahren kann einen Schritt des Auswählens eines Abbilds, von einem durch einen Scheinwerfer des Fahrzeugs beleuchteten Bereich in dem Bild, als den zumindest einen Bildbereich umfassen. Durch das Licht des Scheinwerfers werden sowohl Fahrbahnmarkierungen als auch Störobjekte angestrahlt. Dabei entstehende Reflektionen sind in dem Bild gut erkennbar. Dies erleichtert das Bestimmen der Linienstrukturen. In einem Schritt des Einteilens können als erste Linienstrukturen diejenigen der
Linienstrukturen ausgewählt werden, die einen Verlauf einer Fahrstrecke des Fahrzeugs markieren. Der Verlauf der Fahrstrecke kann durch abgebildete seitliche oder mittlere Fahrbahnmarkierungen, durch Leitplanken, Bordsteine, Randstreifen, Randbebauungen, parkende Fahrzeuge, Lichterketten oder ähnliches erkennbar sein. Durch eine geeignete Auswertung des Bildes können Objekte erkannt werden, die den Verlauf der Fahrstrecke markieren. Ein solches Objekt kann bereits eine Linienstruktur aufweisen. Dies ist beispielsweise bei einer durchgehenden Fahrbahnbegrenzungslinie der Fall. Auch können mehrerer solcher Objekte in einer Reihe angeordnet sein und zu einer Linienstruktur verbun- den werden. Dies ist beispielsweise bei einer unterbrochenen Mittellinie möglich. In dem oder einen weiteren Schritt des Einteilens können als zweite Linienstrukturen diejenigen der Linienstrukturen ausgewählt werden, die keine Markierung eines Verlaufs einer Fahrstrecke des Fahrzeugs repräsentieren. Solche Linienstrukturen können insbesondere durch Störobjekte hervorgerufen werden. Die zweiten Linienstrukturen können aufgrund der Bewegung der Störobjekte unscharf dargestellt sein. Sind keine Störobjekte vorhanden, so gibt es auch keine entsprechenden zweiten Linienstrukturen.
Im Schritt des Bestimmens der Position des zweiten Fluchtbereichs kann derje- nige Fluchtbereich als der zweite Fluchtbereich bestimmt werden, in dem eine
Mehrheit der zweiten Linienstrukturen fluchten. Auf diese Weise können Linienstrukturen ausgefiltert werden, die nicht den Verlauf der Fahrbahn markieren und auch nicht durch Störobjekte hervorgerufen sind. Im Schritt des Bestimmens kann eine weitere Position eines weiteren zweiten
Fluchtbereichs der zweiten Linienstrukturen bestimmt werden. In diesem Fall kann der Schritt des Ermitteins von in dem Bild abgebildeten Störobjekten ferner basierend auf der weiteren Position des Weiteren zweiten Fluchtbereichs durchgeführt werden. Beispielsweise können dem zweiten Fluchtbereich und dem wei- teren zweiten Fluchtbereich zweite Linienstrukturen zugeordnet werden, die aus unterschiedlichen Bildbereichen stammen. Dadurch kann berücksichtigt werden, dass Störobjekte aufgrund der Luftströmung um das Fahrzeug oder die Kamera umgelenkt werden, und dadurch ihre Richtung ändern. Das Verfahren kann einen Schritt des Bereitstellens einer Information über ein
Vorhandensein der Störobjekte umfassen, wenn sich die Position des zweiten Fluchtbereichs oberhalb oder unterhalb der Position des ersten Fluchtbereichs befindet. Unten kann dabei durch einen abgebildeten Abschnitt der Fahrbahn definiert sein, der sich im Bild am nächsten an dem Fahrzeug befindet. Als weiteres Kriterium für das Vorhandensein der Störobjekte kann ein Mindestabstand zwischen den Fluchtbereichen vorgeben sein. Auch kann ein Kriterium für das Vorhandensein der Störobjekte sein, dass eine Verbindungslinie zwischen Mittelpunkten der Fluchtbereiche senkrecht oder in einem stumpfen Winkel zu einer Horizontlinie in dem Bild steht. Gemäß einer Ausführungsform kann die Information über das Vorhandensein der Störobjekte an eine Schnittstelle zu einer Lichtfunktion des Fahrzeugs bereitgestellt werden. Beispielswiese kann eine Fahrzeugbeleuchtung abhängig von dem Vorhandensein oder Nichtvorhandensein der Störobjekte eingestellt werden. Al- ternativ oder zusätzlich kann die Information an weitere Assistenzsysteme des
Fahrzeugs oder auch als Warnung an den Fahrer des Fahrzeugs bereitgestellt werden.
Die vorliegende Erfindung schafft ferner eine Vorrichtung zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs, die ausgebildet ist, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplat- tenspeicher oder einem optischen Speicher gespeichert sein kann und zur
Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem Computer oder einer Vorrichtung ausgeführt wird. Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen: Fig. 1 eine schematisch Darstellung eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 2 ein Bild einer Kamera gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
Fig. 3 ein aufbereitetes Bild einer Kamera gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
Fig. 4 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung.
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Fig. 1 zeigt eine schematisch Darstellung eines Fahrzeugs 100 mit einer Vorrichtung zum Erkennen von Störobjekten 102, die sich in der das Fahrzeug 100 umgebenden Luft befinden, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Fahrzeug 100 fährt auf einer Fahrbahn, die durch Begrenzungslinien 104 markiert ist. Gezeigt sind eine Mehrzahl von Störobjekten 102, gemäß diesem Ausführungsbeispiel Schneeflocken, die sich hier in Fahrtrichtung des Fahrzeugs 100 vor dem Fahrzeug 100 befinden. Es ist eine Vielzahl von Störobjekten 102 vorhanden, von denen lediglich drei mit dem Bezugszeichen 102 versehen sind. Das Fahrzeug 100 weist eine Kamera 106 auf, die ausgebildet ist, um ein Bild des Vorfelds des Fahrzeugs 100 aufzunehmen. Insbesondere ist die Kamera 106 ausgebildet, um einen von Scheinwerfern 108 des Fahrzeugs ausgeleuchteten Bereich der Umgebung des Fahrzeugs 100 aufzunehmen.
Die Störobjekte 102 bewegen sich auf die Fahrbahn zu. Sich nah an dem Fahrzeug 100 befindliche Störobjekte 102 führen aufgrund des sich annähernden Fahrzeugs jedoch eine Ausweichbewegung aus, durch die sie um das Fahrzeug 100 herumgeleitet werden. Die Störobjekte 102 bewegen sich so ähnlich wie die Stromlinien im Windkanal um das Fahrzeug 100. Beispielhaft sind für zwei der Störobjekte 102 entsprechende Ausweichbewegungen 1 10 durch Pfeile angedeutet. Eines der Störobjekte 102 führt dabei eine Bewegung links am Fahrzeug 100 vorbei aus. Das andere der Störobjekte 102 führt dagegen eine Bewegung links am Fahrzeug 100 vorbei aus. Die Ausweichbewegungen 1 10 der beiden Störobjekte können annähernd spiegelbildlich zu einer optischen Achse der Kamera 106 verlaufen. Die Ausweichbewegungen 1 10 führen dazu, dass die Störobjekte 102, die die Ausweichbewegungen 1 10 ausführen, in dem Bild der Kamera 106 nicht punktförmig sondern als Linienstruktur dargestellt sind.
Das Fahrzeug 100 weist eine Vorrichtung zum Erkennen der Störobjekte 102 auf. Die Vorrichtung weist eine Eingangsschnittstelle auf, um zumindest ein von der Kamera 106 aufgenommenes Bild oder eine aus einem solchen Bild gewonnene Bildinformation zu empfangen und daraus eine Information über ein Vorhandensein der Störobjekte 102 zu bestimmen. Gemäß diesem Ausführungsbeispiel weist das Fahrzeug 100 ein Assistenzsystem 1 12, beispielsweise zur Steuerung der Scheinwerfer 108, auf. Die Vorrichtung ist ausgebildet, um die Information über ein Vorhandensein der Störobjekte 102 über eine Ausgangsschnittstelle an das Assistenzsystem 1 12 auszugeben. Die Vorrichtung zum Erkennen der Störobjekte 102 weist eine Einrichtung 121 zum Bestimmen von Linienstrukturen in zumindest einem Bildbereich des Bilds der Kamera 106 auf. Dazu ist die Einrichtung 121 ausgebildet, um eine Bildinformation über das Bild zu empfangen und auszuwerten. Zum Auswerten des Bildes kann zum Bestimmen der Linienstrukturen beispielsweise eine Kantende- tektion, Mustererkennung oder Objekterkennung durchgeführt werden. Die Einrichtung 121 zum Bestimmen ist ausgebildet, um eine Information über die in dem Bild erkannten Linienstrukturen an eine Einrichtung 123 zum Einteilen der Linienstrukturen in erste Linienstrukturen und zweite Linienstrukturen auszugeben. Die Einrichtung 123 zum Einteilen ist ausgebildet, um die Linienstrukturen in unterschiedliche Gruppen einzuteilen. Zum Einteilen der Linienstrukturen können von einer Mustererkennung oder Objekterkennung bereitgestellte Informationen bezüglich der Linienstrukturen verwendet werden. Auch kann zum Einteilen ein bekannter Fluchtpunkt der zweiten Linienstrukturen verwendet werden, so dass alle Linienstrukturen die in Richtung des bekannten Fluchtpunkts zeigen, als zweite Linienstrukturen definiert werden können. Die Einrichtung 123 zum Einteilen ist ausgebildet, um eine Information über die ersten Linienstrukturen und die zweiten Linienstrukturen an eine Einrichtung 125 zum Bestimmen von Fluchtpunkten der Linienstrukturen auszugeben. Die Einrichtung 125 ist ausgebildet, um einen ersten Fluchtbereich der ersten Linienstrukturen und einen zweiten Fluchtbereich der zweiten Linienstrukturen zu bestimmen. Ist der zweite Flucht- bereich bereits bekannt, so kann lediglich der erste Fluchtbereich bestimmt werden. Ferner ist die Einrichtung 125 ausgebildet, um Positionen der Fluchtbereiche zueinander zu bestimmen. Die Einrichtung 125 ist ausgebildet, um eine Information über eine Position des ersten Fluchtbereichs und über eine Position des zweiten Fluchtbereichs an eine Einrichtung 127 zum Ermitteln von in dem Bild abgebildeten Störobjekten 102 auszugeben. Die Einrichtung 127 zum Ermitteln ist ausgebildet, um basierend auf den Positionen des ersten und des zweiten Fluchtbereichs zueinander eine Information über ein Vorhandensein der Störobjekte 102 zu ermitteln. Gemäß diesem Ausführungsbeispiel ist die Einrichtung 127 zum Ermitteln ausgebildet, um die Information über ein Vorhandensein der Störobjekte 102 an das Assistenzsystem 1 12 auszugeben. Die Einrichtungen
121 , 123, 125, 127 sind gemäß diesem Ausführungsbeispiel Teil der Vorrichtung zum Erkennen der Störobjekte 102.
Fahren bei Dunkelheit oder Dämmerung zählt zu den besonders anstrengenden und überdurchschnittlich risiko behafteten Fahrsituationen. Demgemäß wurde zur
Erhöhung der Sicherheit im Straßenverkehr gesetzlich verankert, dass die Leuchtweite der Scheinwerfer 108 von Fahrzeugen manuell oder automatisch so angepasst werden kann, dass andere Verkehrsteilnehmer, insbesondere entgegenkommende und vorausfahrende Fahrzeuge nicht geblendet werden. Wäh- rend eine mechanische Einstellung der Leuchtweite der Scheinwerfer 108 durch den Fahrer aufgrund einer veränderten Beladung schon verhältnismäßig ungenau und vom Fahrer häufig unterschätzt oder vergessen wird, ist eine dynamische, der jeweils aktuellen Verkehrssituation angepasste Einstellung der Leuchtweite der Scheinwerfer 108 für Fahrer nicht realisierbar. Hier ist die Unterstüt- zung der Fahrers durch ein entsprechendes Assistenzsystem 1 12 angebracht.
Gemäß diesem Ausführungsbeispiel erhält ein videobasiertes Assistenzsystem 1 12 eine Information über aktuell erkannte Störobjekte 102 oder eine darauf basierende Information über eine aktuelle Witterungsbedingung. Dadurch ist eine Sicherstellung der Funktionalität des Assistenzsystems 1 12 in sogenannten
Schlechtwettersituationen wie Schneefall, Regen gewährleistet. Gemäß einem Ausführungsbeispiel ist ein entsprechendes System, beispielsweise in Form der Vorrichtung zum Erkennen der Störobjekte 102 ist ausgebildet, um auf Basis der Auswertung der Signale eines bildgebenden Sensors, bei- spielsweise der Kamerai 06, und dem Vergleich mit einer modellbasierten Schätzung der eigenen Bewegung des Fahrzeuges 100, in einer groben Skalierung, Aussagen über das Vorhandensein von "schlechtem" Wetter bei Dunkelheit zu geben. Durch eine grob skalierte Information über das Vorhandensein einer Schlechtwettersituation, wie z.B. Schneefall oder starker Regen, kann zum einen der Fahrer durch eine akustische oder visuelle Information zusätzlich sensibilisiert werden. Zum andern können derartige Informationen anderen Assistenzsystemen 1 12 zur Verfügung gestellt werden.
Fig. 2 zeigt ein Bild 230 eines Vorfelds eines Fahrzeugs gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Bild 230 kann beispielsweise von der in Fig. 1 gezeigten Kamera 106 erfasst worden sein und von der beschriebenen Vorrichtung zum Erkennen von Störobjekten ausgewertet werden.
Das Bild 230 zeigt einen sich vor dem Fahrzeug befindlichen Abschnitt einer Straße bei Dunkelheit. Zu erkennen sind zwei Spurmarkierungen 104, zum einen eine gestrichelte Mittellinie und zum anderen eine durchgezogene Randmarkierung der Straße. In einem von einem Scheinwerfer des Fahrzeugs ausgeleuchte- ten Bereich weisen die Spurmarkierungen 104 einen geradlinigen oder annähernd gradlinigen Verlauf auf. Durch die Perspektive des Bildes 230 erscheint es so, als ob sich die Spurmarkierungen 104 in der Ferner einander annähern. Die Spurmarkierungen sind trotzt der Bewegung des Fahrzeugs scharf abgebildet. Anstelle oder zusätzlich zu den Spurmarkierungen 104 könnte auch die am rech- ten Bildrand zu erkennende Reihe der Pfosten einer Leitplanke oder die linke
Randmarkierung der Straße verwendet werden. Ferner sind in dem Bild 230 vier durch Schneeflocken 102 hervorgerufene Linienstrukturen zu erkennen. Aufgrund der Nähe der Schneeflocken 102 zu der Kamera und der Bewegung des Fahrzeugs sind die Schneeflocken 102 unscharf als Striche dargestellt. Die Stri- che der Schneeflocken 102 weisen eine andere Längserstreckungsrichtung als die Spurmarkierungen 104 auf. Die den Spurmarkierungen 104 und den Schnee- flocken 102 zugeordneten Linienstrukturen in dem Bild 320 können von einer geeigneten Einrichtung erkannt und klassifiziert werden.
Ferner ist in Fig. 2 eine in das Bild 320 eingezeichnete Horizontlinie 235 gezeigt.
Fig. 3 zeigt eine aufbereitete Form des in Fig. 2 gezeigten Bilds 230 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Über die erkannten Linienstrukturen der Spurmarkierungen und Schneeflocken sind Linien 302, 304 gelegt, die die erkannten Linienstrukturen in Richtung ihrer jeweiligen Haupterstre- ckungsrichtung verlängern. Die den Linienstrukturen der vier Schneeflocken zugeordneten vier Linien 302 weisen einen gemeinsamen Fluchtpunkt 342 oder Kreuzungspunkt auf. Die den Linienstrukturen der Spurmarkierungen zugeordneten zwei Linien 304 weisen einen gemeinsamen Fluchtpunkt 344 auf. Der Fluchtpunkt 344 liegt auf Höhe der Horizontlinie 235. Der Fluchtpunkt 342 liegt ober- halb der Horizontlinie 235. In vertikaler Richtung sind die Fluchtpunkte 342, 344 nicht oder nur geringfügig zueinander verschoben angeordnet. Die
übereinanderstehende Anordnung der Fluchtpunkte 342, 344 deutet auf das Vorhandensein der Schneeflocken im Sichtfeld der Kamera hin, die das Bild 230 aufgenommen hat.
Anhand der Figuren 3 und 4 wird im Folgenden eine videobasierte Schlechtwet- terdetektion gemäß einem Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Gemäß diesem Ausführungsbeispiel werden in aufeinander folgenden Videobildern 230 alle linienartigen Strukturen 102, 104 im Bereich des vom eige- nen Scheinwerfer beleuchteten Bereiches detektiert. Bei Kenntnis des Fluchtpunktes 344 (focus of expension), lassen sich daraufhin alle Strukturen, die durch Reflektion des Lichtes an einer Fahrbahnmarkierung 104 entstanden sind, identifizieren. Lässt sich für alle übrigen linienartigen Strukturen 102 durch Ausgleichsrechnung ein gemeinsamer Fluchtpunkt 342 schätzen, welcher sich ober- halb oder unter Umständen auch unterhalb des Fluchtpunktes 344 der Fahrbahnmarkierungen 104 befindet, so liegt mit hoher Wahrscheinlichkeit eine Wettersituation mit z.B. starkem Regen oder Schneefall vor.
Gemäß einem Ausführungsbeispiel kann der Fluchtpunkt 344 geschätzt werden. Bei der Schätzung des Fluchtpunktes 344 kann zwischen einer initialen statischen Kamerakalibierung und einer dynamischen Online-Kalibierung unterschie- den werden. Mittels der Online-Kalibrierung kann eine notwendige Korrektur durchgeführt werden, die beispielsweise durch eine temporäre Beladung oder auch eine Dejustage der Kamera bedingt ist. Wird die, unter anderem durch die Fahrbahnoberfläche verursachte, Eigenschwingung des Fahrzeuges vernachläs- sigt, ist diese Schätzung des Fluchtpunktes 344 hinreichend. Wird eine höhere
Genauigkeit gefordert, gibt es prinzipiell zwei Möglichkeiten, den Fluchtpunkt 344 genauer zu bestimmen. Dazu kann die Eigenbewegung des Fahrzeuges entweder auf Basis von Fahrzeugsensoren oder durch Verarbeitung von Informationen aus dem Videobild geschätzt werden. Zusätzlich kann der geschätzte Flucht- punkt 344 durch unter Umständen vorhandene Navigationsdaten plausibilisiert werden.
Gemäß diesem Ausführungsbeispiel ist die Genauigkeit des durch eine Online- Kalibierung geschätzten Fluchtpunktes hinreichend, da zum einen die Störobjek- te nur im Nahbereich (<50m) detektiert und damit bewertet werden können und zum anderen eine qualitative Aussage über das Vorhandensein von Störobjekten getroffen wird.
Ist die Schätzung des Fluchtpunktes auf Basis der Fahrbahnmarkierung temporär nicht möglich, beispielsweise aufgrund von anderen Fahrzeugen oder einer schneebedeckten Fahrbahn, so beziehen sich alle weiteren Annahmen auf die Schätzung der Online-Kalibrierung.
Prinzipiell wird für die Schätzung des Fluchtpunktes auf Basis der Fahrbahnmar- kierung immer eine Kontur als initiales Modell angenommen. Eine solche Kontur kann sowohl bei einem geradlinigen Straßenverlauf als auch bei einer Kurve eingesetzt werden.
Strukturen, die durch sich in der Umgebung befindliche Objekte, wie Häuser, Bäume, Büsche oder Berge hervorgerufen werden, können tagsüber zu temporären false positves, also unbrauchbaren Fluchtpunkten, führen. Da die Bestimmung des Vorhandenseins von Störobjekten jedoch nicht nur in einem Bild, sondern über eine gewisse Zeit, z. B. über eine Zeitdauer von 45sec, erfolgt, werden diese false positives über die Zeit herausgefiltert. Nachts, insbesondere außer- orts, gibt es tendenziell weniger Strukturen, die zu temporären false positves führen können. Die Belichtungszeit eines Videobildes sollte eher größer gewählt werden, z. B. größer als 25msec. Dadurch lässt sich zum einen eine möglichst lange Spur der Störobjekte im Videobild erhalten und zum anderen können die charakteristi- sehen Merkmale, wie Spurlänge, Gradient oder Helligkeit, möglichst optimal de- tektiert werden. Die detektierbaren Merkmale lassen unter Kenntnis zusätzlicher Parameter, wie z. B. die Eigengeschwindigkeit und die Lichtverteilung der Scheinwerfer, eine grobe Schätzung der Fallgeschwindigkeit der Störobjekte, über die Länge der Spur, und der Größe der Störobjekte, über die Breite der Spur, zu.
Im Bereich vor der Kamera können Störobjekte stark umgelenkt werden. Dieser Effekt ist bei der Auswahl von Störobjekt-Kandidaten für die Schätzung geeignet zu berücksichtigen. Generell gilt für die Auswahl von potentiellen Störobjekten, das Objekte im zentralen Bereich vor dem Fahrzeug bzw. in geringer Höhe zur
Fahrbahn nicht verwendet werden, da die Störobjekte unter Umständen verwirbelt sein können. Desweiteren sollte die Schätzung eines durch Störobjekte bedingten Fluchtpunktes durch mehrere Objekte gestützt werden und diese Schätzung für eine gewisse Zeit konstant sein. Damit wird versucht, durch Infrastruktur bedingte Fehler zu eliminieren. Desweiteren ist der gesuchte Fluchtpunkt in Abhängigkeit von der Eigengeschwindigkeit, und der unbekannten Fallgeschwindigkeit der Störobjekte, immer oberhalb des Fluchtpunktes der Online-Kalibierung zu erwarten. Dies gilt unter der Annahme, dass es gibt keine signifikante Ausprägung durch Unwetter gibt.
Fig. 4 zeigt ein Ablaufdiagramm eines Verfahrens zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs. Das Verfahren kann beispielsweise in der anhand von Fig. 1 beschriebenen Vorrichtung umgesetzt werden. In einem Schritt 421 erfolgt ein Bestimmen von Linienstrukturen in zumindest einem Bild- bereich zumindest eines Bilds einer Umgebung des Fahrzeugs. Bei dem zumindest einen Bild kann es sich um das in den Figuren 2 und 3 gezeigte Bild handeln. In einem Schritt 425 erfolgt ein Bestimmen einer Position eines ersten Fluchtbereichs von ersten Linienstrukturen und einer Position eines zweiten Fluchtbereichs von zweiten Linienstrukturen. In einem Schritt 427 erfolgt ein Er- mitteln von in dem zumindest einen Bild abgebildeten Störobjekten basierend auf der Position des ersten Fluchtbereichs und der Position des zweiten Fluchtbe- reichs. In weiteren Schritten kann eine Information über die Störobjekte weiterverarbeitet werden, um beispielsweise eine Schlechtwetterdetektion durchzuführen. Um die Bestimmung des Vorhandenseins von Störobjekten abzusichern kann eine Mehrzahl von Bildern entsprechend dem Verfahren ausgewertet werden. Beispielsweise können innerhalb einer Zeitspanne, die beispielsweise zwischen einer halben Minute bis einer Minute liegen kann, mehrere zeitlich aufeinanderfolgend ermittelte Bilder einer Kamera ausgewertet werden. Die Information über die Störobjekte kann basierend auf der Auswertung der Mehrzahl von Bildern bestimmt werden. Dabei können für jedes Bild alle Verfahrensschritte durchgeführt werden und die daraus ermittelten Einzelergebnisse hinsichtlich des Vorhandenseins von Störobjekten können anschließend zu einem Endergebnis zusammengefasst werden. Auch können für jedes der Bilder nur einzelne Verfahrensschritte durchgeführt werden, beispielsweise um die Positionen des ersten, des zweiten oder beider Fluchtbereiche sicher zu bestimmen. Beispielsweise kann basierend auf den über mehrere Bilder hinweg ermittelten Fluchtbereichen das Vorhandensein der Störobjekte ermittelt werden.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.

Claims

Ansprüche
1 . Verfahren zum Erkennen von Störobjekten (102) in der Umgebungsluft eines Fahrzeugs (100), das die folgenden Schritte umfasst: Bestimmen (421 ) einer Mehrzahl von Linienstrukturen (102, 104) in zumindest einem Bildbereich eines Bilds (230) einer Umgebung des Fahrzeugs (100);
Bestimmen (425) einer Position eines ersten Fluchtbereichs (344) von ersten Linienstrukturen (104) und einer Position eines zweiten Fluchtbereichs (342) von zweiten Linienstrukturen (102) der Mehrzahl von Linienstrukturen;
Ermitteln (427) von in dem Bild abgebildeten Störobjekten (102), die sich in der Umgebungsluft des Fahrzeugs befindliche Objekte repräsentieren, ba- sierend auf der Position des ersten Fluchtbereichs und der Position des zweiten Fluchtbereichs.
2. Verfahren gemäß Anspruch 1 , mit einem Schritt des Auswählens eines Abbilds, von einem durch einen Scheinwerfer (108) des Fahrzeugs (100) be- leuchteten Bereich in dem Bild (230), als den zumindest einen Bildbereich.
3. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem in einem Schritt des Einteilens als erste Linienstrukturen (104) diejenigen der Linienstrukturen ausgewählt werden, die einen Verlauf einer Fahrstrecke des Fahrzeugs (100) markieren.
4. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem in einem Schritt des Einteilens als zweite Linienstrukturen (102) diejenigen der Linienstrukturen ausgewählt werden, die keine Markierung eines Verlaufs einer Fahrstrecke des Fahrzeugs (100) repräsentieren.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Bestimmens (425) der Position des zweiten Fluchtbereichs (442) derjenige Fluchtbereich als der zweite Fluchtbereich bestimmt wird, in dem eine Mehrheit der zweiten Linienstrukturen (102) fluchten.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Bestimmens eine weitere Position eines weiteren zweiten Fluchtbereichs (442) der zweiten Linienstrukturen (102) bestimmt wird und bei dem der Schritt des Ermitteins (427) von in dem Bild abgebildeten Störobjekten (102) ferner basierend auf der weiteren Position des weiteren zweiten Fluchtbereichs durchgeführt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Bereitstellens einer Information über ein Vorhandensein der Störobjekte (102), wenn sich die Position des zweiten Fluchtbereichs (342) oberhalb oder unterhalb der Position des ersten Fluchtbereichs (344) befindet.
Verfahren gemäß Anspruch 7, bei dem die Information über das Vorhandensein der Störobjekte (102) an eine Schnittstelle zu einer Lichtfunktion (1 12) des Fahrzeugs (100) bereitgestellt wird.
Vorrichtung zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs (100), die ausgebildet ist, um die Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 8 durchzuführen.
10. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 8, wenn das Programm auf einer Vorrichtung ausgeführt wird.
PCT/EP2012/062576 2011-08-23 2012-06-28 Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs WO2013026599A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280040814.7A CN103748600A (zh) 2011-08-23 2012-06-28 用于识别车辆的周围空气中的干扰对象的方法和设备
EP12732625.4A EP2748759A1 (de) 2011-08-23 2012-06-28 Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs
US14/238,657 US20140254873A1 (en) 2011-08-23 2012-06-28 Method and device for detecting interfering objects in the ambient air of a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011081391.8 2011-08-23
DE102011081391A DE102011081391A1 (de) 2011-08-23 2011-08-23 Verfahren und Vorrichtung zum Erkennen von Störobjekten in der Umgebungsluft eines Fahrzeugs

Publications (1)

Publication Number Publication Date
WO2013026599A1 true WO2013026599A1 (de) 2013-02-28

Family

ID=46458501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/062576 WO2013026599A1 (de) 2011-08-23 2012-06-28 Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs

Country Status (5)

Country Link
US (1) US20140254873A1 (de)
EP (1) EP2748759A1 (de)
CN (1) CN103748600A (de)
DE (1) DE102011081391A1 (de)
WO (1) WO2013026599A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016204011A1 (de) 2016-03-11 2017-09-14 Robert Bosch Gmbh Vorrichtung zur Ermittlung einer Dejustage einer an einem Fahrzeug befestigten Detektionseinrichtung
DE102017208994A1 (de) 2017-05-29 2018-11-29 Audi Ag Verfahren zur Ermittlung von Ergebnisbilddaten
US20200039420A1 (en) * 2018-08-06 2020-02-06 Koito Manufacturing Co., Ltd. Vehicle lamp

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010030616A1 (de) 2010-06-28 2011-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Störobjekts in einem Kamerabild

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634341B2 (en) * 2001-03-07 2009-12-15 1138037 Ontario Ltd. (“Alirt”) Detecting device and method of using same
JP2002288642A (ja) * 2001-03-27 2002-10-04 Nec Corp 掌紋部位分割装置とその掌紋部位分割方法、及び掌紋部位分割プログラム
US7983446B2 (en) * 2003-07-18 2011-07-19 Lockheed Martin Corporation Method and apparatus for automatic object identification
KR100857463B1 (ko) * 2006-11-17 2008-09-08 주식회사신도리코 포토프린팅을 위한 얼굴영역 검출장치 및 보정 방법
JP4307496B2 (ja) * 2007-03-19 2009-08-05 株式会社豊田中央研究所 顔部位検出装置及びプログラム
DE102009038364A1 (de) * 2009-08-23 2011-02-24 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform
EP2557414B1 (de) * 2009-12-21 2015-03-25 C.R.F. Società Consortile per Azioni Optisches Detektionssystem für Kraftfahrzeuge mit mehreren Funktionen, einschließlich Detektion des Fahrbahnzustands

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010030616A1 (de) 2010-06-28 2011-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Störobjekts in einem Kamerabild

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GARG K ET AL: "When Does a Camera See Rain?", COMPUTER VISION, 2005. ICCV 2005. TENTH IEEE INTERNATIONAL CONFERENCE ON BEIJING, CHINA 17-20 OCT. 2005, PISCATAWAY, NJ, USA,IEEE, LOS ALAMITOS, CA, USA, vol. 2, 17 October 2005 (2005-10-17), pages 1067 - 1074, XP010856935, ISBN: 978-0-7695-2334-7, DOI: 10.1109/ICCV.2005.253 *
HIRATA S ET AL: "Scene Interpretation Using 3-D Information Extracted From Monocular Color Images", PROCEEDINGS OF THE IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS. RALEIGH, NC., JULY 7 - 10, 1992; [PROCEEDINGS OF THE IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS], NEW YORK, IEEE, US, vol. 3, 7 July 1992 (1992-07-07), pages 1603 - 1610, XP010223236, ISBN: 978-0-7803-0738-4 *
Jà CR Rà CR MIE BOSSU ET AL: "Rain or Snow Detection in Image Sequences Through Use of a Histogram of Orientation of Streaks", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, BO, vol. 93, no. 3, 29 January 2011 (2011-01-29), pages 348 - 367, XP019894573, ISSN: 1573-1405, DOI: 10.1007/S11263-011-0421-7 *

Also Published As

Publication number Publication date
US20140254873A1 (en) 2014-09-11
DE102011081391A1 (de) 2013-02-28
CN103748600A (zh) 2014-04-23
EP2748759A1 (de) 2014-07-02

Similar Documents

Publication Publication Date Title
DE102018203807A1 (de) Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnzuständen und witterungsbedingten Umwelteinflüssen
EP2562040B1 (de) Verfahren zur Steuerung einer Lichtaussendung eines Scheinwerfers eines Fahrzeugs
EP2057583B1 (de) Verfahren zur automatischen fernlichtsteuerung
DE102014201159A1 (de) Verfahren und Vorrichtung zum Klassifizieren eines Verhaltens eines Fußgängers beim Überqueren einer Fahrbahn eines Fahrzeugs sowie Personenschutzsystem eines Fahrzeugs
WO2017103096A1 (de) Verfahren zum identifizieren eines objektes in einem umgebungsbereich eines kraftfahrzeugs, fahrerassistenzsystem sowie kraftfahrzeug
DE102012215322A1 (de) Verfahren und Vorrichtung zum Erkennen einer Position eines Fahrzeugs auf einer Fahrspur
DE102013221696A1 (de) Verfahren und Vorrichtung zum Ermitteln eines Höhenverlaufes einer vor einem Fahrzeug liegenden Straße
DE102017221691A1 (de) Verfahren und Vorrichtung zur Eigenlokalisierung eines Fahrzeugs
DE102012107885A1 (de) Verfahren zur Bestimmung eines Fahrspurverlaufs für ein Fahrzeug
DE102011088130A1 (de) Verfahren und Vorrichtung zur Erkennung einer Bremssituation
DE102011088136A1 (de) Verfahren und Vorrichtung zur Steuerung einer Lichtaussendung eines Scheinwerfers eines Fahrzeugs
DE102011081614A1 (de) Verfahren und Vorrichtung zur Analysierung eines von einem Fahrzeug zu befahrenden Streckenabschnitts
DE102013012325A1 (de) Fahrerassistenzsystem und Betriebsverfahren dafür
DE102010006190A1 (de) Verfahren zum Justieren einer Lichteinheit eines Fahrzeugs
DE102015207543A1 (de) Vorrichtung und Verfahren zum Steuern eines Fahrzeugscheinwerfers eines Kraftfahrzeuges
DE102011083265B4 (de) Verfahren und Fahrerassistenzvorrichtung zur Ermittlung des Vorhandenseins einer baulichen Trennung zwischen zwei Fahrbahnen
DE102017118651A1 (de) Verfahren und System zur Kollisionsvermeidung eines Fahrzeugs
DE102017001505A1 (de) Verfahren zum Betrieb einer Scheinwerferanordnung, Computerprogrammprodukt, Scheinwerfersystem sowie Kraftfahrzeug
EP2748760B1 (de) VERFAHREN ZUR SCHÄTZUNG EINES STRAßENVERLAUFS UND VERFAHREN ZUR STEUERUNG EINER LICHTAUSSENDUNG ZUMINDEST EINES SCHEINWERFERS EINES FAHRZEUGS
DE102011076795A1 (de) Verfahren zum Bestimmen einer Nickbewegung einer in einem Fahrzeug verbauten Kamera und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Frontscheinwerfers eines Fahrzeugs
DE102012221652B4 (de) Verfahren und Vorrichtung zum Bestimmen, ob in einer Verkehrssituation Linksverkehr oder Rechtsverkehr besteht
EP2748759A1 (de) Verfahren und vorrichtung zum erkennen von störobjekten in der umgebungsluft eines fahrzeugs
DE102008005314A1 (de) Verfahren und Vorrichtung zum Erfassen eines vorbeifahrenden Fahrzeuges bei Dunkelheit
EP2562685B1 (de) Verfahren und Vorrichtung zur Klassifizierung eines sich in einem Vorfeld eines Fahrzeugs befindlichen Lichtobjekts
DE102014209015A1 (de) Verfahren und Vorrichtung zur Abstandsregelung für ein Fahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12732625

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14238657

Country of ref document: US