WO2009097883A1 - Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung - Google Patents

Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung Download PDF

Info

Publication number
WO2009097883A1
WO2009097883A1 PCT/EP2008/010502 EP2008010502W WO2009097883A1 WO 2009097883 A1 WO2009097883 A1 WO 2009097883A1 EP 2008010502 W EP2008010502 W EP 2008010502W WO 2009097883 A1 WO2009097883 A1 WO 2009097883A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
vehicle
image data
relevance
image
Prior art date
Application number
PCT/EP2008/010502
Other languages
English (en)
French (fr)
Inventor
Uwe Peterson
Dirk Ockel
Matthias Reichmann
Eberhard App
Markus Hess
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Publication of WO2009097883A1 publication Critical patent/WO2009097883A1/de

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the invention relates to a method for operating an image recording device according to the preamble of claim 1 and to an image recording device according to the preamble of claim 10.
  • Image capture device is recorded and displayed at least partially on a display. Furthermore, an image processing apparatus is provided, which is that of the Image capture device processed image of the environment processed. In the image processing device additionally objects are detected and it is detected whether the objects represent a danger. If the objects represent a danger, they are highlighted on the display.
  • DE 103 48 109 A1 discloses a method and a device for visualizing a vehicle environment, in particular for detecting and displaying a traffic situation ahead of a driver with a night vision information system in which video images are acquired and weighted with a globally set provisional weighting factor.
  • an object recognition system an object analysis of the video images is carried out, on the basis of which an object-selective local adaptation of the weighting factors in the video images is undertaken. Relevant objects are highlighted in the video images.
  • US 2007 106 475 A1 discloses a driver assistance system by means of which a driver of a vehicle can visually and haptically display a danger potential of an obstacle located in front of the vehicle.
  • a mark can be displayed at a position of the detected obstacle, whereby at least its size, color, shape and brightness can be set as a function of the danger potential.
  • the invention has for its object to provide a method for operating an image pickup device by means of an increase in attention of a driver is achieved by improving the manner of highlighting recognized objects in displaying the image data of an on-vehicle image pickup device.
  • the object is achieved by the features specified in claim 1.
  • the object is achieved by the features specified in claim 10.
  • image data are taken from an environment of a vehicle by means of an image sensor and objects in the image data are recognized and highlighted by means of an image processing unit.
  • a manner of highlighting the detected objects in the image data is set depending on a relevance of the objects and determines the relevance based on object parameters including a direction of movement, velocity, an object distance, and / or an object classification.
  • the thus processed image data is displayed on a display unit.
  • the relevance of the objects is determined on the basis of vehicle parameters and / or environmental parameters. As a result, it is advantageously possible to more accurately evaluate and determine the relevance of the objects.
  • Vehicle speed and / or a relative speed to one or more objects detected or determined As environmental parameters, visibility, Weather conditions, a location and / or a road type determined. In this way, it is possible in a profitable manner to determine the risk potential of the objects and to display them, so that the driver can recognize the objects early on and thus it is possible for him to initiate measures for avoiding or averting the dangers
  • the vehicle parameters and / or the environmental parameters are at least partially determined from the image data by means of the image processing unit, so that no additional detection units are necessary.
  • the relevant objects are highlighted for highlighting brightened and / or their environment is displayed dimmed.
  • the relevant objects can be displayed with a higher image resolution than their surroundings and / or the relevant objects are marked by means of a marker. This results in the advantage that the driver of the vehicle or the relevant objects can clearly distinguish from their environment.
  • the image pickup device for a vehicle comprises an image sensor for acquiring image data from an environment of the vehicle and a
  • Image processing unit for recognizing objects imaged in the captured image data and highlighting these objects in the image data.
  • the image processing unit is configured such that a manner of highlighting the recognized objects in the image data is adjustable depending on a relevance of the objects and the relevance can be determined on the basis of object parameters including a direction of movement, velocity, an object distance and / or an object classification ,
  • Image pickup device further comprises a display unit for displaying the thus processed image data.
  • the relevance of the objects can be determined on the basis of vehicle parameters and / or environmental parameters.
  • one or more detection units are provided for determining the vehicle parameters and / or environmental parameters.
  • Fig. 1 shows schematically a block diagram of a
  • Image pickup device for a vehicle for carrying out the method according to the invention.
  • the sole FIGURE 1 shows a block diagram of an image pickup device 1 for carrying out the method according to the invention and further developments of this for Operation of such an image pickup device.
  • the image pickup device 1 is preferably arranged in a vehicle, not shown, and comprises an image sensor 1.1 for acquiring image data B from an environment of the vehicle and an image processing unit 1.2 for recognizing objects O imaged in the acquired image data B and for highlighting these objects O in the image Image data B.
  • the image pickup device 1 further comprises a display unit 1.3 for displaying the thus processed image data B.
  • the image processing unit 1 is designed such that a manner of highlighting the detected objects O in the image data B is adjustable as a function of a relevance of the objects O.
  • object parameters, vehicle parameters and / or environmental parameters are important for determining the relevance of the detected objects O, on the basis of which the manner in which they are emphasized.
  • the object parameters include a moving direction of the object O recognized and emphasized in the image data B with respect to an actual travel direction of the vehicle, a speed of the object O, an object distance, d. H. a distance to the individual recognized objects O and / or a distance to one or more object O recognized and to be highlighted in the image data B, and / or an object classification.
  • the environmental parameters include visibility in the surroundings of the vehicle, a brightness in the vicinity of the vehicle, a location within which the vehicle is moving, and / or a road type.
  • the vehicle-side image pickup device 1 with the display unit 1.3 for displaying the recorded image data B such.
  • B. a night vision system provides an image of a real driving situation and on the other hand by highlighting imaged in the image data B objects O attention of a driver to these objects O as a function of their relevance to the current driving task.
  • an object located in front of the vehicle O, z. As a person, a vehicle and / or other road users and obstacles, highlighted by its environment are presented to make the driver to this object O attention and thus to alert him to a possible danger.
  • objects O in front of, beside or behind the vehicle have a different relevance.
  • Objects O of lesser relevance are not or not so clearly highlighted in the vehicle-side representation of the image data B, as is the case for objects O with high relevance.
  • the relevance can also represent a danger potential, starting from the own vehicle for the objects 0 and / or starting from the objects 0 for the own vehicle.
  • the way in which the objects 0 identified in the image data B are emphasized depends on their relevance to the current driving task.
  • the highlighting is preferably achieved by means of a brightening of the objects O, a darkening of their surroundings, a representation of the objects 0 with a higher image resolution than their surroundings or by means of an identification of the objects O by a marking.
  • the relevant objects O or their highlighting highlighting can be color-coded, wherein a change of the color depending on the relevance is performed steplessly or in stages.
  • the relevant objects or their mark can be displayed flashing, with a change in a flashing frequency depending on the relevance is performed continuously or in stages.
  • a representation of such a variation of the relevance by means of a variable emphasis can, for example, with increasing relevance by a change from “non-flashing” to “flashing” or by means of a continuous variation of the representation with increasing relevance, for example by gradual variation from “slowly flashing” to " fast flashing ".
  • driving or environmental situations are shown, based on which the relevance of one or more objects is explained as a function of the environmental parameters "brightness” and “visibility” and the vehicle parameter “vehicle speed”.
  • the vehicle drives, for example, with a vehicle speed of 50km / h within a closed town with good street lighting.
  • objects O, z For example, people on a well-lit walkway across the street are of less relevance than a person out of town on a dark country lane where the vehicle is traveling at 80km / h.
  • Image pickup device 1 itself done. It is likewise conceivable for the image recording device 1 to be in communication with another system or detection units suitable for determining the ambient brightness or the viewing conditions.
  • a driving or environmental situation may be mentioned which represents the relevance of the object O as a function of the object parameters "object distance” and "object classification”.
  • a distance-dependent variation of the highlighting of detected objects O can be used profitably. For example, if the object O is one meter away, it may still be classified as being of little relevance. If, on the other hand, it is only 20 centimeters away, this object O could be marked blinking so that the observer of the display unit 1.3 of the image recording device 1 receives a clear indication of the object O.
  • a driving or environmental situation is shown, which is an evaluation of the relevance of the object O as a function of the Vehicle parameters "vehicle speed” and “relative speed” illustrates.
  • the objects 0 recognized in the image data B generally have a higher relevance than would be the case for the same objects O when the own vehicle is traveling more slowly would.
  • an object O moving at a large distance next to a roadside will be less relevant than a person standing directly on this roadside.
  • driving or environmental situations are shown, in the context of which the relevance of one or more objects O is determined on the basis of the environmental parameter "location" within which the vehicle moves and "road type".
  • the evaluation of the relevance of an object O recognized in the image data may also depend on a current traffic situation; in particular also with regard to the location in and / or the type of road on which the own vehicle is or moves. For example, pedestrians on the side of the road occur more frequently within closed areas than outside them, so that they usually have less relevance in urban areas than in urban areas. That is, as a rule, the recognized objects O at the roadside are assigned a higher relevance out of town, since there is rarely and usually no pedestrian or bicycle path on which usually the detected objects O move without danger for the current driving task ,
  • the relevant information about the location and / or the road type for example, by a suitable image processing / classification from the camera image data of the image pickup device 1 itself be obtained or from a data source, such as a navigation system, originate and the image pickup device 1 for further processing available be put.
  • a suitable image processing / classification from the camera image data of the image pickup device 1 itself be obtained or from a data source, such as a navigation system, originate and the image pickup device 1 for further processing available be put.

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb einer Bildaufnahmevorrichtung (1), bei welchem mittels eines Bildsensors (1.1) Bilddaten (B) von einer Umgebung eines Fahrzeugs aufgenommen und mittels einer Bildverarbeitungseinheit (1.2) Objekte in den Bilddaten (B) erkannt und hervorgehoben werden, wobei eine Art und Weise der Hervorhebung der erkannten Objekte (O) in den Bilddaten (B) abhängig von einer Relevanz der Objekte (O) eingestellt und die Relevanz auf Basis von Objektparametern ermittelt wird, wobei die derart bearbeiteten Bilddaten (B) auf einer Anzeigeeinheit (1.3) angezeigt werden. Erfindungsgemäß wird die Relevanz der Objekte (O) auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelt. Die Erfindung betrifft weiterhin eine Bildaufnahmevorrichtung (1) für ein Fahrzeug.

Description

Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine
BildaufnähmeVorrichtung
Die Erfindung betrifft ein Verfahren zum Betrieb einer Bildaufnahmevorrichtung gemäß dem Oberbegriff des Anspruchs 1 und eine Bildaufnahmevorrichtung gemäß dem Oberbegriff des Anspruchs 10.
Aus der deutschen Offenlegungsschrift DE 10 2006 047 777 Al sind ein Verfahren zur Bildanzeige und eine Bildanzeige bekannt. Hierzu werden mittels einer Kamera Bilddaten aus dem Umfeld eines Fahrzeugs aufgenommen und die Bilddaten nach einer Objekterkennung und Bildverarbeitung zumindest teilweise auf einer Anzeige dargestellt. Nach der Aufnahme der Bilddaten durch die Kamera werden diese mittels einer Objekterkennung verarbeitet, um Objekte in den aufgenommenen Bilddaten zu erkennen. Die so erkannten Objekte werden zumindest teilweise bei der Darstellung der Bilddaten auf der Anzeige hervorgehoben, um auf die erkannten Objekte aufmerksam zu machen.
Aus der DE 10 2005 020 772 Al ist ein Anzeigesystem zur Darstellung einer Umgebung eines Kraftfahrzeugs bekannt, wobei ein Bild der Umgebung von einer
Bilderfassungsvorrichtung aufgenommen und zumindest teilweise auf einer Anzeige dargestellt wird. Weiterhin ist eine Bildverarbeitungsvorrichtung vorhanden, die das von der Bilderfassungsvorrichtung aufgenommene Bild der Umgebung verarbeitet. In der Bildverarbeitungsvorrichtung werden zusätzlich Objekte detektiert und es wird detektiert, ob die Objekte eine Gefahr darstellen. Stellen die Objekte eine Gefahr dar, werden diese auf der Anzeige hervorgehoben dargestellt.
Ferner sind aus der DE 103 48 109 Al ein Verfahren und eine Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung, insbesondere zur Erfassung und Darstellung einer vor einem Fahrer liegenden Verkehrssituation mit einem Nachtsichtinformationssystem bekannt, bei dem Videobilder erfasst und mit einem global eingestellten vorläufigen Wichtungsfaktor gewichtet werden. Mit Hilfe eines Objekterkennungssystems wird eine Objektanalyse der Videobilder durchgeführt, aufgrund welcher eine objektselektive lokale Anpassung der Wichtungsfaktoren in den Videobildern vorgenommen wird. Relevante Objekte werden in den Videobildern besonders hervorgehoben dargestellt.
Aus der US 2007 106 475 Al ist ein Fahrerassistenzsystem bekannt, mittels welchem einem Fahrer eines Fahrzeugs ein Gefahrenpotential eines vor dem Fahrzeug befindlichen Hindernisses optisch und haptisch darstellbar ist. Um dem Fahrer in eindeutiger Art und Weise darzustellen, welches der Hindernisse ein Gefahrenpotential aufweist, ist an einer Position des erfassten Hindernisses eine Markierung anzeigbar, wobei zumindest deren Größe, Farbe, Form und Helligkeit in Abhängigkeit von dem Gefahrenpotential einstellbar ist.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Betrieb einer Bildaufnahmevorrichtung anzugeben, mittels dem eine Steigerung einer Aufmerksamkeit eines Fahrzeugführers anhand einer Verbesserung der Art und Weise einer Hervorhebung von erkannten Objekten bei einer Darstellung der Bilddaten einer fahrzeugseitigen Bildaufnahmevorrichtung erzielt wird.
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale gelöst. Hinsichtlich der Bildaufnahmevorrichtung wird die Aufgabe erfindungsgemäß durch die im Anspruch 10 angegebenen Merkmale gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei dem erfindungsgemäßen Verfahren zum Betrieb einer Bildaufnahmevorrichtung werden mittels eines Bildsensors Bilddaten von einer Umgebung eines Fahrzeugs aufgenommen und mittels einer Bildverarbeitungseinheit Objekte in den Bilddaten erkannt und hervorgehoben. Eine Art und Weise der Hervorhebung der erkannten Objekte in den Bilddaten wird abhängig von einer Relevanz der Objekte eingestellt und die Relevanz auf Basis von Objektparametern, welche eine Bewegungsrichtung, Geschwindigkeit, eine Objektentfernung und/oder einer Objektklassifizierung umfassen, ermittelt. Die derart bearbeiteten Bilddaten werden auf einer Anzeigeeinheit angezeigt. Erfindungsgemäß wird die Relevanz der Objekte auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelt. Dadurch ist es in vorteilhafter Weise möglich, die Relevanz der Objekte genauer zu bewerten und zu ermitteln.
Dabei werden als Fahrzeugparameter eine
Fahrzeuggeschwindigkeit und/oder eine Relativgeschwindigkeit zu einem oder mehreren Objekten erfasst bzw. ermittelt. Als Umgebungsparameter werden Sichtverhältnisse, Wetterverhältnisse, eine Örtlichkeit und/oder eine Straßenart ermittelt. Hierdurch ist es in gewinnbringender Weise möglich, Gefahrenpotentiale der Objekte zu ermitteln und diese anzuzeigen, so dass der Fahrer die Objekte frühzeitig erkennen kann und es ihm somit möglich ist, Maßnahmen zur Vermeidung bzw. Abwendung der Gefahren einzuleiten
Gemäß einer Weiterbildung der Erfindung werden mittels der Bildverarbeitungseinheit aus den Bilddaten zumindest teilweise die Fahrzeugparameter und/oder die Umgebungsparameter ermittelt, so dass keine zusätzlichen Erfassungseinheiten notwendig sind.
In einer Ausgestaltung der Erfindung werden die relevanten Objekte zur Hervorhebung aufgehellt dargestellt und/oder deren Umgebung wird abgedunkelt ausgegeben. Zusätzlich können die relevanten Objekte mit einer höheren Bildauflösung als deren Umgebung dargestellt werden und/oder die relevanten Objekte werden mittels einer Markierung gekennzeichnet. Daraus ergibt sich der Vorteil, dass der Fahrzeugführer das oder die relevanten Objekte eindeutig von deren Umgebung unterscheiden kann.
Ferner werden die relevanten Objekte oder deren Markierung zur Hervorhebung farblich gekennzeichnet ausgegeben, wobei eine Änderung der Farbe in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird. Auch können die relevanten Objekte oder deren Markierung blinkend dargestellt werden, wobei eine Änderung einer Blinkfrequenz in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird. Durch diese für den Fahrzeugführer auffällige Darstellung kann dieser schnell die Objekte wahrnehmen und zeitnah auf diese reagieren. Die erfindungsgemäße Bildaufnahmevorrichtung für ein Fahrzeug umfasst einen Bildsensor zur Erfassung von Bilddaten aus einer Umgebung des Fahrzeugs und eine
Bildverarbeitungseinheit zur Erkennung von in den erfassten Bilddaten abgebildeten Objekten und zum Hervorheben dieser Objekte in den Bilddaten. Die Bildverarbeitungseinheit ist derart ausgebildet, dass eine Art und Weise der Hervorhebung der erkannten Objekte in den Bilddaten abhängig von einer Relevanz der Objekte einstellbar und die Relevanz auf Basis von Objektparametern, umfassend eine Bewegungsrichtung, Geschwindigkeit, eine Objektentfernung und/oder einer Objektklassifizierung, ermittelbar ist. Die
Bildaufnahmevorrichtung umfasst weiterhin eine Anzeigeeinheit zur Anzeige der derart bearbeiteten Bilddaten. Erfindungsgemäß ist die Relevanz der Objekte auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelbar.
Gemäß einer Weiterbildung der erfindungsgemäßen Bildaufnahmevorrichtung sind eine oder mehrere Erfassungseinheiten zur Ermittlung der Fahrzeugparameter und/oder Umgebungsparameter vorgesehen.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
Fig. 1 schematisch ein Blockschaltbild einer
Bildaufnahmevorrichtung für ein Fahrzeug zur Durchführung des erfindungsgemäßen Verfahrens.
Die einzige Figur 1 zeigt ein Blockschaltbild einer Bildaufnahmevorrichtung 1 zur Durchführung des erfindungsgemäßen Verfahrens und Weiterbildungen dieses zum Betrieb einer derartigen Bildaufnahmevorrichtung. Die Bildaufnahmevorrichtung 1 ist vorzugsweise in einem nicht näher dargestellten Fahrzeug angeordnet und umfasst einen Bildsensor 1.1 zur Erfassung von Bilddaten B aus einer Umgebung des Fahrzeugs und eine Bildverarbeitungseinheit 1.2 zur Erkennung von in den erfassten Bilddaten B abgebildeten Objekten O und zum Hervorheben dieser Objekte O in den Bilddaten B. Die Bildaufnahmevorrichtung 1 umfasst weiterhin eine Anzeigeeinheit 1.3 zur Anzeige der derart bearbeiteten Bilddaten B.
Die Bildverarbeitungseinheit 1 ist erfindungsgemäß derart ausgebildet, dass eine Art und Weise der Hervorhebung der erkannten Objekte O in den Bilddaten B abhängig von einer Relevanz der Objekte O einstellbar ist. Für die Bestimmung der Relevanz der erkannten Objekte O, auf Grundlage derer die Art und Weise deren Hervorhebung gewählt wird, sind insbesondere Objektparameter, Fahrzeugparameter und/oder Umgebungsparameter von Bedeutung.
Die Objektparameter umfassen eine Bewegungsrichtung des in den Bilddaten B erkannten und hervorzuhebenden Objekts O in Bezug auf eine tatsächliche bzw. die geschätzte Bewegungsrichtung des Fahrzeugs, eine Geschwindigkeit des Objektes O, eine Objektentfernung, d. h. eine Entfernung zu den einzelnen erkannten Objekten O und/oder eine Entfernung zu einem oder mehreren in den Bilddaten B erkannten und hervorzuhebenden Objekt O, und/oder eine Objektklassifizierung.
Die Fahrzeugparameter umfassen eine Fahrzeuggeschwindigkeit (= Eigengeschwindigkeit) und/oder eine Relativgeschwindigkeit zwischen dem Fahrzeug und einem oder mehreren in den Bilddaten B erkannten und hervorzuhebenden Objekten 0. Die Umgebungsparameter umfassen Sichtverhältnisse in der Umgebung des Fahrzeugs, eine Helligkeit in der Umgebung des Fahrzeugs, eine Örtlichkeit, innerhalb welcher sich das Fahrzeug bewegt, und/oder eine Straßenart.
Die fahrzeugseitige Bildaufnahmevorrichtung 1 mit der Anzeigeeinheit 1.3 zur Darstellung der aufgenommenen Bilddaten B, wie z. B. ein Nachtsichtsystem, liefert zum einen ein Abbild einer realen Fahrsituation und kann zum anderen durch Hervorhebung von in den Bilddaten B abgebildeten Objekten O eine Aufmerksamkeit eines Fahrzeugführers auf diese Objekte O in Abhängigkeit deren Relevanz für die aktuelle Fahraufgabe steuern. So kann ein vor dem Fahrzeug befindliches Objekt O, z. B. eine Person, ein Fahrzeug und/oder andere Verkehrsteilnehmer und Hindernisse, hervorgehoben von seiner Umgebung dargestellt werden, um den Fahrzeugführer auf dieses Objekt O aufmerksam zu machen und ihn somit auf eine mögliche Gefahr hinzuweisen.
Je nach Fahr- und Umgebungssituation haben Objekte O vor, neben oder hinter dem Fahrzeug eine unterschiedliche Relevanz. Objekte O mit geringerer Relevanz werden bei der fahrzeugseitigen Darstellung der Bilddaten B gar nicht oder nicht so deutlich hervorgehoben, wie dies für Objekte O mit hoher Relevanz der Fall ist. Die Relevanz kann dabei auch ein Gefahrenpotential, ausgehend vom eigenen Fahrzeug für die Objekte 0 und/oder ausgehend von den Objekten 0 für das eigene Fahrzeug darstellen.
Die Art und Weise der Hervorhebung der in den Bilddaten B erkannten Objekte 0 erfolgt abhängig von deren Relevanz für die aktuelle Fahraufgabe. Die Hervorhebung wird vorzugsweise anhand einer Aufhellung der Objekte O, einer Abdunklung von deren Umgebung, einer Darstellung der Objekte 0 mit einer höheren Bildauflösung als deren Umgebung oder mittels einer Kennzeichnung der Objekte O durch eine Markierung erreicht.
Ferner können die relevanten Objekte O oder deren Markierung zur Hervorhebung farblich gekennzeichnet werden, wobei eine Änderung der Farbe in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird. Auch können die relevanten Objekte oder deren Markierung blinkend dargestellt werden, wobei eine Änderung einer Blinkfrequenz in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird.
Werden in den Bilddaten gleichzeitig mehrere Objekte O erkannt, so ergibt sich in der Regel innerhalb der dargestellten Bilddaten B der Objekte O eine Varianz in der Hervorhebung zwischen den einzelnen erkannten Objekten O. Auch ist es sehr wohl denkbar, dass sich die Relevanz eines einzelnen Objektes O zeitlich verändert, so dass auch die Art der Hervorhebung des einzelnen Objektes O im Lauf der Zeit variieren kann.
Eine Darstellung einer derartigen Variation der Relevanz anhand einer variablen Hervorhebung kann beispielsweise bei zunehmender Relevanz durch einen Wechsel von "nicht blinkend" zu "blinkend" oder mittels einer kontinuierlichen Variation der Darstellung mit zunehmender Relevanz, beispielsweise durch stufenweise Variation von "langsam blinkend" zu "schnell blinkend" erfolgen.
Alternativ oder zusätzlich kann eine zunehmende Relevanz anhand einer Farbvariation der Hervorhebung beispielsweise von "gelb" über "orange" nach "rot" dargestellt werden. Es sind aber auch andere Farbvariationen denkbar.
Nachfolgend sind beispielhaft einige Fahr- und/oder Umgebungssituationen mit verschiedenen Objektparametern, Fahrzeugparametern und/oder Umgebungsparametern gegenübergestellt, in welchen einzelne Objekte O unterschiedliche Relevanz aufweisen und somit bei der Darstellung der von der fahrzeugseitigen Bildaufnahmevorrichtung 1 aufgenommenen Bilddaten B auf unterschiedliche Art und Weise hervorgehoben werden.
Als erstes Beispiel sind Fahr- bzw. Umgebungssituationen dargestellt, anhand dessen die Relevanz eines oder mehrerer Objekte in Abhängigkeit von den Umgebungsparametern "Helligkeit" und "Sichtbarkeit" und dem Fahrzeugparameter "Fahrzeuggeschwindigkeit" erläutert wird.
Dabei fährt das Fahrzeug beispielsweise mit einer Fahrzeuggeschwindigkeit von 50km/h innerhalb einer geschlossenen Ortschaft mit guter Straßenbeleuchtung. Hierbei haben Objekte O, z. B. Personen auf einem gut ausgeleuchtetem Gehweg auf einer gegenüberliegenden Straßenseite eine geringere Relevanz, als eine Person außerorts auf einer dunklen Landstraße, auf der das Fahrzeug mit 80km/h fährt.
Fährt das Fahrzeug z. B. bei Einsetzen der Dämmerung, so sind in den Bilddaten B abgebildete Personen besser wahrnehmbar als bei voller Dunkelheit. Somit haben diese bei der Hervorhebung im ersten Fall eine geringere Relevanz als bei vollständiger Dunkelheit.
In besonders vorteilhafter Weise wird die Bewertung der Helligkeit bzw. der Sichtbarkeit in der Fahrzeugumgebung durch geeignete Bilddatenverarbeitung, insbesondere mittels der Bildverarbeitungseinheit 1.2, durch die
Bildaufnahmevorrichtung 1 selbst erfolgen. Es ist ebenfalls denkbar, dass die Bildaufnahmevorrichtung 1 zur Bestimmung der Umgebungshelligkeit bzw. der Sichtbedingungen mit einem anderen System oder hierzu geeigneten Erfassungseinheiten in Verbindung steht.
Als zweites Beispiels sei eine Fahr- bzw. Umgebungssituation genannt, welches die Relevanz des Objektes O in Abhängigkeit von den Objektparametern "Objektentfernung" und "Objekt klassifikation" darstellt.
Die Relevanz des Objektes O kann sehr wohl auch mit seiner Entfernung zum eigenen Fahrzeug variieren. Hierbei wird in der Regel einem entfernteren Objekt O eine geringere Relevanz als einem näher liegenden Objekt O zugewiesen, insbesondere dann, wenn es sich bei beiden Objekten O um die gleiche Art von Objekt (= Objektklassifikation) handelt.
Insbesondere bei der Verwendung der Bildaufnahmevorrichtung 1 als Rückfahrkamera kann eine entfernungsabhängige Variation der Hervorhebung erkannter Objekte O gewinnbringend eingesetzt werden. Wenn beispielsweise das Objekt O einen Meter entfernt ist, kann dieses noch mit geringer Relevanz eingestuft werden. Ist es dagegen nur noch 20 Zentimeter entfernt, könnte dieses Objekt O blinkend markiert werden, so dass der Betrachter der Anzeigeinheit 1.3 der Bildaufnahmevorrichtung 1 einen deutlichen Hinweis auf das Objekt O erhält.
In einem dritten Beispiel ist eine Fahr- bzw. Umgebungssituation dargestellt, welche eine Bewertung der Relevanz des Objektes O in Abhängigkeit von den Fahrzeugparametern "Fahrzeuggeschwindigkeit" und "Relativgeschwindigkeit" verdeutlicht .
Für die Abschätzung bzw. Bewertung der Relevanz des Objektes O kann es von Bedeutung sein, wie schnell sich das eigene Fahrzeug auf das Objekt O zu bewegt (= Relativgeschwindigkeit) . Je höher eine Differenzgeschwindigkeit zwischen dem Objekt O und dem Fahrzeug ist, desto kritischer ist die Fahrsituation und das Gefahrenpotential des Objektes O für das Fahrzeug oder das des Fahrzeugs für das Objekt O, so dass dem erkannten Objekt 0 eine höhere Relevanz zugeordnet wird.
Das heißt, dass beispielsweise eine Vorbeifahrt an einem Fußgänger mit kleinerer Differenzgeschwindigkeit wesentlich ungefährlicher ist als eine Vorbeifahrt mit höherer Differenzgeschwindigkeit .
In besonders vorteilhafter Weise ist es denkbar, dass bei einer erhöhten Eigengeschwindigkeit des eigenen Fahrzeugs (= Fahrzeuggeschwindigkeit) den in den Bilddaten B erkannten Objekten 0 generell eine höhere Relevanz zuzuweisen, als dies für dieselben Objekte O der Fall wäre, wenn das eigene Fahrzeug langsamer fahren würde.
Zur Ermittlung der Relativgeschwindigkeit zwischen dem Fahrzeug und dem erkannten Objekt 0 oder auch zur Bestimmung dessen Entfernung eignen sich neben speziellen Bildverarbeitungsvorrichtungen, wie beispielsweise Stereokamerasystemen, insbesondere auch mit der Bildaufnahmeeinheit 1 in Verbindung stehende Radarsysteme, wie z. B. ein Millimeter-Wellen-Radar. Im Rahmen eines vierten Beispiels einer Fahr- bzw. Umgebungssituation soll die Bewertung der Relevanz des Objektes O anhand dessen Objektparameters "Bewegungsrichtung" erläutert werden.
In vorteilhafter Weise wird zur Abschätzung der Relevanz des erkannten Objektes O auch dessen Bewegungsrichtung bzw. eine Relativbewegung zwischen diesem Objekt O und dem eigenen Fahrzeug ausgewertet. So hat eine sich auf einem Gehweg bewegende Person für die aktuelle Fahraufgabe weniger Relevanz als dies eine Person hat, welche sich auf der Fahrbahn des Fahrzeugs bewegt.
Auch wird in der Regel ein sich in großem Abstand neben einem Straßenrand bewegendes Objekt O weniger relevant sein, als eine direkt an diesem Straßenrand stehende Person.
Lenkt das eigene Fahrzeug in der aktuellen Fahrsituation z. B. gerade nach rechts, dann sind Objekte O in dieser Richtung für die aktuelle Fahraufgabe relevanter als Objekte O auf der linken Seite.
In besonders vorteilhafter Weise bietet es sich an, zur Vorhersage der Bewegungsrichtung des Fahrzeugs insbesondere Informationen über einen Lenkradwinkel, Bildinformationen zum Straßenverlauf und Informationen aus einer Datenquelle, wie z. B. einem Navigationssystem, zu nutzen und der fahrzeugseitigen Bildaufnahmevorrichtung 1 zuzuführen.
Als fünftes und letztes Beispiel sind Fahr- bzw. Umgebungssituationen dargestellt, im Rahmen dieser die Relevanz eines oder mehrere Objekte O anhand der Umgebungsparameter "Örtlichkeit", innerhalb welcher sich das Fahrzeug bewegt, und "Straßenart" ermittelt wird. Die Bewertung der Relevanz eines in den Bilddaten erkannten Objektes O kann auch von einer aktuellen Verkehrssituation abhängen; hierbei insbesondere auch im Hinblick auf die Örtlichkeit in und/oder der Straßenart auf der sich das eigene Fahrzeug befindet oder bewegt. Beispielsweise treten Fußgänger am Straßenrand innerhalb geschlossener Ortschaften häufiger auf als außerhalb dieser, so dass ihnen deshalb in der Regel innerorts eine geringere Relevanz zuzuordnen ist, als außerorts. Das heißt, in der Regel wird den erkannten Objekten O am Straßenrand außerorts eine höhere Relevanz zugeordnet, da dort beispielsweise seltener und meist kein Geh- oder Radweg vorhanden ist, auf dem sich innerorts für gewöhnlich die erkannten Objekte O ohne Gefahr für die aktuelle Fahraufgabe bewegen.
Befinden sich Fußgänger z. B. an einem Fußgängerüberweg, so könnte diesen erkannten Personen eine erhöhte Relevanz zugewiesen werden, so dass diese Personen für den Fahrzeugführer in der Bilddarstellung, beispielsweise bei einem Nachtsichtsystem, besonders hervorgehoben dargestellt werden.
Gewinnbringend kann die relevante Information über die Örtlichkeit und/oder die Straßenart beispielsweise durch eine geeignete Bildverarbeitung/-klassifikation aus den Kamerabilddaten der Bildaufnahmevorrichtung 1 selbst gewonnen werden oder aber aus einer Datenguelle, wie beispielsweise einem Navigationssystem, stammen und der Bildaufnahmevorrichtung 1 zur Weiterverarbeitung zur Verfügung gestellt werden. Bezugs zeichenliste
1 Bildaufnahmevorrichtung
1.1 Bildsensor
1.2 Bildverarbeitungseinheit
1.3 Anzeigeinheit
B Bilddaten O Objekt

Claims

Patentansprüche
1. Verfahren zum Betrieb einer Bildaufnahmevorrichtung (1), bei welchem mittels eines Bildsensors (1.1) Bilddaten (B) von einer Umgebung eines Fahrzeugs aufgenommen und mittels einer Bildverarbeitungseinheit (1.2) Objekte in den Bilddaten (B) erkannt und hervorgehoben werden, wobei eine Art und Weise der Hervorhebung der erkannten Objekte (O) in den Bilddaten (B) abhängig von einer Relevanz der Objekte (O) eingestellt und die Relevanz auf Basis von Objektparametern, umfassend eine
Bewegungsrichtung, Geschwindigkeit, eine Objektentfernung und/oder einer Objektklassifizierung, ermittelt wird, wobei die derart bearbeiteten Bilddaten (B) auf einer Anzeigeeinheit (1.3) angezeigt werden, dadurch gekennzeichnet, dass die Relevanz der Objekte (0) auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Fahrzeugparameter eine Fahrzeuggeschwindigkeit und/oder eine Relativgeschwindigkeit zu einem oder mehreren Objekten (0) erfasst bzw. ermittelt werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Umgebungsparameter Sichtverhältnisse, eine Helligkeit, eine Örtlichkeit und/oder eine Straßenart ermittelt werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mittels der Bildverarbeitungseinheit (1.2) aus den Bilddaten (B) zumindest teilweise die Fahrzeugparameter und/oder die Umgebungsparameter ermittelt werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die relevanten Objekte (O) zur Hervorhebung aufgehellt dargestellt werden und/oder deren Umgebung abgedunkelt dargestellt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die relevanten Objekte (O) mit einer höheren Bildauflösung als deren Umgebung dargestellt werden.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die relevanten Objekte (O) mittels einer Markierung gekennzeichnet werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die relevanten Objekte (0) oder deren Markierung farblich gekennzeichnet werden, wobei eine Änderung der Farbe in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird.
9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die relevanten Objekte (0) oder deren Markierung blinkend dargestellt werden, wobei eine Änderung einer Blinkfrequenz in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird.
10. Bildaufnahmevorrichtung (1) für ein Fahrzeug, umfassend einen Bildsensor (1.1) zur Erfassung von Bilddaten (B) aus einer Umgebung des Fahrzeugs, umfassend eine Bildverarbeitungseinheit (1.2) zur Erkennung von in den erfassten Bilddaten (B) abgebildeten Objekten (O) und zum Hervorheben dieser Objekte (O) in den Bilddaten (B), wobei die Bildverarbeitungseinheit (1.2) derart ausgebildet ist, dass eine Art und Weise der Hervorhebung der erkannten Objekte (0) in den Bilddaten (B) abhängig von einer Relevanz der Objekte (O) einstellbar und die Relevanz auf Basis von Objektparametern, umfassend eine Bewegungsrichtung, Geschwindigkeit, eine Objektentfernung und/oder einer Objektklassifizierung, ermittelbar ist, sowie umfassend eine Anzeigeeinheit (1.3) zur Anzeige der derart bearbeiteten Bilddaten (B) , dadurch gekennzeichnet, dass die Relevanz der Objekte (O) auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelbar ist.
11. Bildaufnahmevorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass mittels der Bildverarbeitungseinheit (1.2) aus den Bilddaten (B) zumindest teilweise die Fahrzeugparameter und/oder die Umgebungsparameter ermittelbar sind.
12. Bildaufnahmevorrichtung nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass eine oder mehrere Erfassungseinheiten zur Ermittlung der Fahrzeugparameter und/oder Umgebungsparameter vorgesehen sind.
PCT/EP2008/010502 2008-02-06 2008-12-11 Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung WO2009097883A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102008007911.1 2008-02-06
DE102008007911 2008-02-06
DE102008017833A DE102008017833A1 (de) 2008-02-06 2008-04-08 Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine Bildaufnahmevorrichtung
DE102008017833.0 2008-04-08

Publications (1)

Publication Number Publication Date
WO2009097883A1 true WO2009097883A1 (de) 2009-08-13

Family

ID=40874141

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/010502 WO2009097883A1 (de) 2008-02-06 2008-12-11 Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung

Country Status (2)

Country Link
DE (1) DE102008017833A1 (de)
WO (1) WO2009097883A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011079703A1 (de) 2011-07-25 2013-01-31 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102013016241A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013016246A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
US9834207B2 (en) 2014-04-15 2017-12-05 GM Global Technology Operations LLC Method and system for detecting, tracking and estimating stationary roadside objects
DE102018209192B3 (de) * 2018-05-17 2019-05-09 Continental Automotive Gmbh Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
DE102021103494A1 (de) 2021-02-15 2022-08-18 Bayerische Motoren Werke Aktiengesellschaft Fahrerassistenzsystem und Fahrerassistenzverfahren für ein Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1407931A1 (de) * 2002-10-11 2004-04-14 Valeo Schalter und Sensoren GmbH Verfahren und System zur Unterstützung eines Fahrers
EP1642770A2 (de) * 2004-09-30 2006-04-05 Robert Bosch Gmbh Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10329054A1 (de) * 2003-06-27 2005-01-13 Volkswagen Ag Kollisionsobjekt-Erkennungssystem
DE10348109A1 (de) 2003-10-16 2005-05-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung
DE102005020772A1 (de) 2005-05-02 2006-11-09 Siemens Ag Anzeigesystem zur Darstellung der Umgebung eines Kraftfahrzeuges
JP4887980B2 (ja) 2005-11-09 2012-02-29 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
DE102006047777A1 (de) 2006-03-17 2007-09-20 Daimlerchrysler Ag Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1407931A1 (de) * 2002-10-11 2004-04-14 Valeo Schalter und Sensoren GmbH Verfahren und System zur Unterstützung eines Fahrers
EP1642770A2 (de) * 2004-09-30 2006-04-05 Robert Bosch Gmbh Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild

Also Published As

Publication number Publication date
DE102008017833A1 (de) 2009-08-20

Similar Documents

Publication Publication Date Title
DE112011100180B4 (de) Spurhalteunterstützungsvorrichtung, Verfahren zum Anzeigen einer Spurgrenzlinie und Programm
DE102013110332B4 (de) Visuelles leitsystem
EP1904340B1 (de) Verfahren und vorrichtung zur fahrerunterstützung
EP1994366B1 (de) Verfahren und anordnung zur anzeige von navigationshinweisen
DE102005054972A1 (de) Verfahren zur Totwinkelüberwachung bei Fahrzeugen
DE112014007205T5 (de) Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren
EP1642770B1 (de) Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild
WO2007036397A1 (de) Nachtsichteinrichtung für ein kraftfahrzeug
WO2014127777A2 (de) Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands
DE102013223367A1 (de) Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems
DE102013004271A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs
DE102012201896A1 (de) Fahrerassistenzverfahren und Fahrerassistenzsystem für verschneite Straßen
EP2620929A1 (de) Verfahren und Vorrichtung zur Erkennung einer Sondersituation im Straßenverkehr
DE102016215115A1 (de) Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs
DE102008002560A1 (de) Bilddatenvisualisierung
DE102016002230B4 (de) Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug
WO2016177372A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld
DE102019216348A1 (de) Fahrzeugunterstützungssystem
WO2018206213A1 (de) Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors
WO2010099847A1 (de) Verfahren und vorrichtung zum bestimmen einer sichtweite für ein fahrzeug
WO2009097883A1 (de) Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung
EP1327969B1 (de) Kraftfahrzeug mit Mitteln zum Erkennen eines Verkehrzeichens
DE102020101623A1 (de) Einparkhilfesystem mit parklückenbelegungsausgabe
DE102017223439A1 (de) Warnvorrichtung vor Gefahrensituationen für ein Kraftfahrzeug
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08872135

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08872135

Country of ref document: EP

Kind code of ref document: A1