WO2009097883A1 - Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung - Google Patents
Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung Download PDFInfo
- Publication number
- WO2009097883A1 WO2009097883A1 PCT/EP2008/010502 EP2008010502W WO2009097883A1 WO 2009097883 A1 WO2009097883 A1 WO 2009097883A1 EP 2008010502 W EP2008010502 W EP 2008010502W WO 2009097883 A1 WO2009097883 A1 WO 2009097883A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- objects
- vehicle
- image data
- relevance
- image
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Definitions
- the invention relates to a method for operating an image recording device according to the preamble of claim 1 and to an image recording device according to the preamble of claim 10.
- Image capture device is recorded and displayed at least partially on a display. Furthermore, an image processing apparatus is provided, which is that of the Image capture device processed image of the environment processed. In the image processing device additionally objects are detected and it is detected whether the objects represent a danger. If the objects represent a danger, they are highlighted on the display.
- DE 103 48 109 A1 discloses a method and a device for visualizing a vehicle environment, in particular for detecting and displaying a traffic situation ahead of a driver with a night vision information system in which video images are acquired and weighted with a globally set provisional weighting factor.
- an object recognition system an object analysis of the video images is carried out, on the basis of which an object-selective local adaptation of the weighting factors in the video images is undertaken. Relevant objects are highlighted in the video images.
- US 2007 106 475 A1 discloses a driver assistance system by means of which a driver of a vehicle can visually and haptically display a danger potential of an obstacle located in front of the vehicle.
- a mark can be displayed at a position of the detected obstacle, whereby at least its size, color, shape and brightness can be set as a function of the danger potential.
- the invention has for its object to provide a method for operating an image pickup device by means of an increase in attention of a driver is achieved by improving the manner of highlighting recognized objects in displaying the image data of an on-vehicle image pickup device.
- the object is achieved by the features specified in claim 1.
- the object is achieved by the features specified in claim 10.
- image data are taken from an environment of a vehicle by means of an image sensor and objects in the image data are recognized and highlighted by means of an image processing unit.
- a manner of highlighting the detected objects in the image data is set depending on a relevance of the objects and determines the relevance based on object parameters including a direction of movement, velocity, an object distance, and / or an object classification.
- the thus processed image data is displayed on a display unit.
- the relevance of the objects is determined on the basis of vehicle parameters and / or environmental parameters. As a result, it is advantageously possible to more accurately evaluate and determine the relevance of the objects.
- Vehicle speed and / or a relative speed to one or more objects detected or determined As environmental parameters, visibility, Weather conditions, a location and / or a road type determined. In this way, it is possible in a profitable manner to determine the risk potential of the objects and to display them, so that the driver can recognize the objects early on and thus it is possible for him to initiate measures for avoiding or averting the dangers
- the vehicle parameters and / or the environmental parameters are at least partially determined from the image data by means of the image processing unit, so that no additional detection units are necessary.
- the relevant objects are highlighted for highlighting brightened and / or their environment is displayed dimmed.
- the relevant objects can be displayed with a higher image resolution than their surroundings and / or the relevant objects are marked by means of a marker. This results in the advantage that the driver of the vehicle or the relevant objects can clearly distinguish from their environment.
- the image pickup device for a vehicle comprises an image sensor for acquiring image data from an environment of the vehicle and a
- Image processing unit for recognizing objects imaged in the captured image data and highlighting these objects in the image data.
- the image processing unit is configured such that a manner of highlighting the recognized objects in the image data is adjustable depending on a relevance of the objects and the relevance can be determined on the basis of object parameters including a direction of movement, velocity, an object distance and / or an object classification ,
- Image pickup device further comprises a display unit for displaying the thus processed image data.
- the relevance of the objects can be determined on the basis of vehicle parameters and / or environmental parameters.
- one or more detection units are provided for determining the vehicle parameters and / or environmental parameters.
- Fig. 1 shows schematically a block diagram of a
- Image pickup device for a vehicle for carrying out the method according to the invention.
- the sole FIGURE 1 shows a block diagram of an image pickup device 1 for carrying out the method according to the invention and further developments of this for Operation of such an image pickup device.
- the image pickup device 1 is preferably arranged in a vehicle, not shown, and comprises an image sensor 1.1 for acquiring image data B from an environment of the vehicle and an image processing unit 1.2 for recognizing objects O imaged in the acquired image data B and for highlighting these objects O in the image Image data B.
- the image pickup device 1 further comprises a display unit 1.3 for displaying the thus processed image data B.
- the image processing unit 1 is designed such that a manner of highlighting the detected objects O in the image data B is adjustable as a function of a relevance of the objects O.
- object parameters, vehicle parameters and / or environmental parameters are important for determining the relevance of the detected objects O, on the basis of which the manner in which they are emphasized.
- the object parameters include a moving direction of the object O recognized and emphasized in the image data B with respect to an actual travel direction of the vehicle, a speed of the object O, an object distance, d. H. a distance to the individual recognized objects O and / or a distance to one or more object O recognized and to be highlighted in the image data B, and / or an object classification.
- the environmental parameters include visibility in the surroundings of the vehicle, a brightness in the vicinity of the vehicle, a location within which the vehicle is moving, and / or a road type.
- the vehicle-side image pickup device 1 with the display unit 1.3 for displaying the recorded image data B such.
- B. a night vision system provides an image of a real driving situation and on the other hand by highlighting imaged in the image data B objects O attention of a driver to these objects O as a function of their relevance to the current driving task.
- an object located in front of the vehicle O, z. As a person, a vehicle and / or other road users and obstacles, highlighted by its environment are presented to make the driver to this object O attention and thus to alert him to a possible danger.
- objects O in front of, beside or behind the vehicle have a different relevance.
- Objects O of lesser relevance are not or not so clearly highlighted in the vehicle-side representation of the image data B, as is the case for objects O with high relevance.
- the relevance can also represent a danger potential, starting from the own vehicle for the objects 0 and / or starting from the objects 0 for the own vehicle.
- the way in which the objects 0 identified in the image data B are emphasized depends on their relevance to the current driving task.
- the highlighting is preferably achieved by means of a brightening of the objects O, a darkening of their surroundings, a representation of the objects 0 with a higher image resolution than their surroundings or by means of an identification of the objects O by a marking.
- the relevant objects O or their highlighting highlighting can be color-coded, wherein a change of the color depending on the relevance is performed steplessly or in stages.
- the relevant objects or their mark can be displayed flashing, with a change in a flashing frequency depending on the relevance is performed continuously or in stages.
- a representation of such a variation of the relevance by means of a variable emphasis can, for example, with increasing relevance by a change from “non-flashing” to “flashing” or by means of a continuous variation of the representation with increasing relevance, for example by gradual variation from “slowly flashing” to " fast flashing ".
- driving or environmental situations are shown, based on which the relevance of one or more objects is explained as a function of the environmental parameters "brightness” and “visibility” and the vehicle parameter “vehicle speed”.
- the vehicle drives, for example, with a vehicle speed of 50km / h within a closed town with good street lighting.
- objects O, z For example, people on a well-lit walkway across the street are of less relevance than a person out of town on a dark country lane where the vehicle is traveling at 80km / h.
- Image pickup device 1 itself done. It is likewise conceivable for the image recording device 1 to be in communication with another system or detection units suitable for determining the ambient brightness or the viewing conditions.
- a driving or environmental situation may be mentioned which represents the relevance of the object O as a function of the object parameters "object distance” and "object classification”.
- a distance-dependent variation of the highlighting of detected objects O can be used profitably. For example, if the object O is one meter away, it may still be classified as being of little relevance. If, on the other hand, it is only 20 centimeters away, this object O could be marked blinking so that the observer of the display unit 1.3 of the image recording device 1 receives a clear indication of the object O.
- a driving or environmental situation is shown, which is an evaluation of the relevance of the object O as a function of the Vehicle parameters "vehicle speed” and “relative speed” illustrates.
- the objects 0 recognized in the image data B generally have a higher relevance than would be the case for the same objects O when the own vehicle is traveling more slowly would.
- an object O moving at a large distance next to a roadside will be less relevant than a person standing directly on this roadside.
- driving or environmental situations are shown, in the context of which the relevance of one or more objects O is determined on the basis of the environmental parameter "location" within which the vehicle moves and "road type".
- the evaluation of the relevance of an object O recognized in the image data may also depend on a current traffic situation; in particular also with regard to the location in and / or the type of road on which the own vehicle is or moves. For example, pedestrians on the side of the road occur more frequently within closed areas than outside them, so that they usually have less relevance in urban areas than in urban areas. That is, as a rule, the recognized objects O at the roadside are assigned a higher relevance out of town, since there is rarely and usually no pedestrian or bicycle path on which usually the detected objects O move without danger for the current driving task ,
- the relevant information about the location and / or the road type for example, by a suitable image processing / classification from the camera image data of the image pickup device 1 itself be obtained or from a data source, such as a navigation system, originate and the image pickup device 1 for further processing available be put.
- a suitable image processing / classification from the camera image data of the image pickup device 1 itself be obtained or from a data source, such as a navigation system, originate and the image pickup device 1 for further processing available be put.
Abstract
Die Erfindung betrifft ein Verfahren zum Betrieb einer Bildaufnahmevorrichtung (1), bei welchem mittels eines Bildsensors (1.1) Bilddaten (B) von einer Umgebung eines Fahrzeugs aufgenommen und mittels einer Bildverarbeitungseinheit (1.2) Objekte in den Bilddaten (B) erkannt und hervorgehoben werden, wobei eine Art und Weise der Hervorhebung der erkannten Objekte (O) in den Bilddaten (B) abhängig von einer Relevanz der Objekte (O) eingestellt und die Relevanz auf Basis von Objektparametern ermittelt wird, wobei die derart bearbeiteten Bilddaten (B) auf einer Anzeigeeinheit (1.3) angezeigt werden. Erfindungsgemäß wird die Relevanz der Objekte (O) auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelt. Die Erfindung betrifft weiterhin eine Bildaufnahmevorrichtung (1) für ein Fahrzeug.
Description
Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine
BildaufnähmeVorrichtung
Die Erfindung betrifft ein Verfahren zum Betrieb einer Bildaufnahmevorrichtung gemäß dem Oberbegriff des Anspruchs 1 und eine Bildaufnahmevorrichtung gemäß dem Oberbegriff des Anspruchs 10.
Aus der deutschen Offenlegungsschrift DE 10 2006 047 777 Al sind ein Verfahren zur Bildanzeige und eine Bildanzeige bekannt. Hierzu werden mittels einer Kamera Bilddaten aus dem Umfeld eines Fahrzeugs aufgenommen und die Bilddaten nach einer Objekterkennung und Bildverarbeitung zumindest teilweise auf einer Anzeige dargestellt. Nach der Aufnahme der Bilddaten durch die Kamera werden diese mittels einer Objekterkennung verarbeitet, um Objekte in den aufgenommenen Bilddaten zu erkennen. Die so erkannten Objekte werden zumindest teilweise bei der Darstellung der Bilddaten auf der Anzeige hervorgehoben, um auf die erkannten Objekte aufmerksam zu machen.
Aus der DE 10 2005 020 772 Al ist ein Anzeigesystem zur Darstellung einer Umgebung eines Kraftfahrzeugs bekannt, wobei ein Bild der Umgebung von einer
Bilderfassungsvorrichtung aufgenommen und zumindest teilweise auf einer Anzeige dargestellt wird. Weiterhin ist eine Bildverarbeitungsvorrichtung vorhanden, die das von der
Bilderfassungsvorrichtung aufgenommene Bild der Umgebung verarbeitet. In der Bildverarbeitungsvorrichtung werden zusätzlich Objekte detektiert und es wird detektiert, ob die Objekte eine Gefahr darstellen. Stellen die Objekte eine Gefahr dar, werden diese auf der Anzeige hervorgehoben dargestellt.
Ferner sind aus der DE 103 48 109 Al ein Verfahren und eine Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung, insbesondere zur Erfassung und Darstellung einer vor einem Fahrer liegenden Verkehrssituation mit einem Nachtsichtinformationssystem bekannt, bei dem Videobilder erfasst und mit einem global eingestellten vorläufigen Wichtungsfaktor gewichtet werden. Mit Hilfe eines Objekterkennungssystems wird eine Objektanalyse der Videobilder durchgeführt, aufgrund welcher eine objektselektive lokale Anpassung der Wichtungsfaktoren in den Videobildern vorgenommen wird. Relevante Objekte werden in den Videobildern besonders hervorgehoben dargestellt.
Aus der US 2007 106 475 Al ist ein Fahrerassistenzsystem bekannt, mittels welchem einem Fahrer eines Fahrzeugs ein Gefahrenpotential eines vor dem Fahrzeug befindlichen Hindernisses optisch und haptisch darstellbar ist. Um dem Fahrer in eindeutiger Art und Weise darzustellen, welches der Hindernisse ein Gefahrenpotential aufweist, ist an einer Position des erfassten Hindernisses eine Markierung anzeigbar, wobei zumindest deren Größe, Farbe, Form und Helligkeit in Abhängigkeit von dem Gefahrenpotential einstellbar ist.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Betrieb einer Bildaufnahmevorrichtung anzugeben, mittels dem eine Steigerung einer Aufmerksamkeit eines Fahrzeugführers
anhand einer Verbesserung der Art und Weise einer Hervorhebung von erkannten Objekten bei einer Darstellung der Bilddaten einer fahrzeugseitigen Bildaufnahmevorrichtung erzielt wird.
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale gelöst. Hinsichtlich der Bildaufnahmevorrichtung wird die Aufgabe erfindungsgemäß durch die im Anspruch 10 angegebenen Merkmale gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei dem erfindungsgemäßen Verfahren zum Betrieb einer Bildaufnahmevorrichtung werden mittels eines Bildsensors Bilddaten von einer Umgebung eines Fahrzeugs aufgenommen und mittels einer Bildverarbeitungseinheit Objekte in den Bilddaten erkannt und hervorgehoben. Eine Art und Weise der Hervorhebung der erkannten Objekte in den Bilddaten wird abhängig von einer Relevanz der Objekte eingestellt und die Relevanz auf Basis von Objektparametern, welche eine Bewegungsrichtung, Geschwindigkeit, eine Objektentfernung und/oder einer Objektklassifizierung umfassen, ermittelt. Die derart bearbeiteten Bilddaten werden auf einer Anzeigeeinheit angezeigt. Erfindungsgemäß wird die Relevanz der Objekte auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelt. Dadurch ist es in vorteilhafter Weise möglich, die Relevanz der Objekte genauer zu bewerten und zu ermitteln.
Dabei werden als Fahrzeugparameter eine
Fahrzeuggeschwindigkeit und/oder eine Relativgeschwindigkeit zu einem oder mehreren Objekten erfasst bzw. ermittelt. Als Umgebungsparameter werden Sichtverhältnisse,
Wetterverhältnisse, eine Örtlichkeit und/oder eine Straßenart ermittelt. Hierdurch ist es in gewinnbringender Weise möglich, Gefahrenpotentiale der Objekte zu ermitteln und diese anzuzeigen, so dass der Fahrer die Objekte frühzeitig erkennen kann und es ihm somit möglich ist, Maßnahmen zur Vermeidung bzw. Abwendung der Gefahren einzuleiten
Gemäß einer Weiterbildung der Erfindung werden mittels der Bildverarbeitungseinheit aus den Bilddaten zumindest teilweise die Fahrzeugparameter und/oder die Umgebungsparameter ermittelt, so dass keine zusätzlichen Erfassungseinheiten notwendig sind.
In einer Ausgestaltung der Erfindung werden die relevanten Objekte zur Hervorhebung aufgehellt dargestellt und/oder deren Umgebung wird abgedunkelt ausgegeben. Zusätzlich können die relevanten Objekte mit einer höheren Bildauflösung als deren Umgebung dargestellt werden und/oder die relevanten Objekte werden mittels einer Markierung gekennzeichnet. Daraus ergibt sich der Vorteil, dass der Fahrzeugführer das oder die relevanten Objekte eindeutig von deren Umgebung unterscheiden kann.
Ferner werden die relevanten Objekte oder deren Markierung zur Hervorhebung farblich gekennzeichnet ausgegeben, wobei eine Änderung der Farbe in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird. Auch können die relevanten Objekte oder deren Markierung blinkend dargestellt werden, wobei eine Änderung einer Blinkfrequenz in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird. Durch diese für den Fahrzeugführer auffällige Darstellung kann dieser schnell die Objekte wahrnehmen und zeitnah auf diese reagieren.
Die erfindungsgemäße Bildaufnahmevorrichtung für ein Fahrzeug umfasst einen Bildsensor zur Erfassung von Bilddaten aus einer Umgebung des Fahrzeugs und eine
Bildverarbeitungseinheit zur Erkennung von in den erfassten Bilddaten abgebildeten Objekten und zum Hervorheben dieser Objekte in den Bilddaten. Die Bildverarbeitungseinheit ist derart ausgebildet, dass eine Art und Weise der Hervorhebung der erkannten Objekte in den Bilddaten abhängig von einer Relevanz der Objekte einstellbar und die Relevanz auf Basis von Objektparametern, umfassend eine Bewegungsrichtung, Geschwindigkeit, eine Objektentfernung und/oder einer Objektklassifizierung, ermittelbar ist. Die
Bildaufnahmevorrichtung umfasst weiterhin eine Anzeigeeinheit zur Anzeige der derart bearbeiteten Bilddaten. Erfindungsgemäß ist die Relevanz der Objekte auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelbar.
Gemäß einer Weiterbildung der erfindungsgemäßen Bildaufnahmevorrichtung sind eine oder mehrere Erfassungseinheiten zur Ermittlung der Fahrzeugparameter und/oder Umgebungsparameter vorgesehen.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigt:
Fig. 1 schematisch ein Blockschaltbild einer
Bildaufnahmevorrichtung für ein Fahrzeug zur Durchführung des erfindungsgemäßen Verfahrens.
Die einzige Figur 1 zeigt ein Blockschaltbild einer Bildaufnahmevorrichtung 1 zur Durchführung des erfindungsgemäßen Verfahrens und Weiterbildungen dieses zum
Betrieb einer derartigen Bildaufnahmevorrichtung. Die Bildaufnahmevorrichtung 1 ist vorzugsweise in einem nicht näher dargestellten Fahrzeug angeordnet und umfasst einen Bildsensor 1.1 zur Erfassung von Bilddaten B aus einer Umgebung des Fahrzeugs und eine Bildverarbeitungseinheit 1.2 zur Erkennung von in den erfassten Bilddaten B abgebildeten Objekten O und zum Hervorheben dieser Objekte O in den Bilddaten B. Die Bildaufnahmevorrichtung 1 umfasst weiterhin eine Anzeigeeinheit 1.3 zur Anzeige der derart bearbeiteten Bilddaten B.
Die Bildverarbeitungseinheit 1 ist erfindungsgemäß derart ausgebildet, dass eine Art und Weise der Hervorhebung der erkannten Objekte O in den Bilddaten B abhängig von einer Relevanz der Objekte O einstellbar ist. Für die Bestimmung der Relevanz der erkannten Objekte O, auf Grundlage derer die Art und Weise deren Hervorhebung gewählt wird, sind insbesondere Objektparameter, Fahrzeugparameter und/oder Umgebungsparameter von Bedeutung.
Die Objektparameter umfassen eine Bewegungsrichtung des in den Bilddaten B erkannten und hervorzuhebenden Objekts O in Bezug auf eine tatsächliche bzw. die geschätzte Bewegungsrichtung des Fahrzeugs, eine Geschwindigkeit des Objektes O, eine Objektentfernung, d. h. eine Entfernung zu den einzelnen erkannten Objekten O und/oder eine Entfernung zu einem oder mehreren in den Bilddaten B erkannten und hervorzuhebenden Objekt O, und/oder eine Objektklassifizierung.
Die Fahrzeugparameter umfassen eine Fahrzeuggeschwindigkeit (= Eigengeschwindigkeit) und/oder eine Relativgeschwindigkeit zwischen dem Fahrzeug und einem oder mehreren in den Bilddaten B erkannten und hervorzuhebenden Objekten 0.
Die Umgebungsparameter umfassen Sichtverhältnisse in der Umgebung des Fahrzeugs, eine Helligkeit in der Umgebung des Fahrzeugs, eine Örtlichkeit, innerhalb welcher sich das Fahrzeug bewegt, und/oder eine Straßenart.
Die fahrzeugseitige Bildaufnahmevorrichtung 1 mit der Anzeigeeinheit 1.3 zur Darstellung der aufgenommenen Bilddaten B, wie z. B. ein Nachtsichtsystem, liefert zum einen ein Abbild einer realen Fahrsituation und kann zum anderen durch Hervorhebung von in den Bilddaten B abgebildeten Objekten O eine Aufmerksamkeit eines Fahrzeugführers auf diese Objekte O in Abhängigkeit deren Relevanz für die aktuelle Fahraufgabe steuern. So kann ein vor dem Fahrzeug befindliches Objekt O, z. B. eine Person, ein Fahrzeug und/oder andere Verkehrsteilnehmer und Hindernisse, hervorgehoben von seiner Umgebung dargestellt werden, um den Fahrzeugführer auf dieses Objekt O aufmerksam zu machen und ihn somit auf eine mögliche Gefahr hinzuweisen.
Je nach Fahr- und Umgebungssituation haben Objekte O vor, neben oder hinter dem Fahrzeug eine unterschiedliche Relevanz. Objekte O mit geringerer Relevanz werden bei der fahrzeugseitigen Darstellung der Bilddaten B gar nicht oder nicht so deutlich hervorgehoben, wie dies für Objekte O mit hoher Relevanz der Fall ist. Die Relevanz kann dabei auch ein Gefahrenpotential, ausgehend vom eigenen Fahrzeug für die Objekte 0 und/oder ausgehend von den Objekten 0 für das eigene Fahrzeug darstellen.
Die Art und Weise der Hervorhebung der in den Bilddaten B erkannten Objekte 0 erfolgt abhängig von deren Relevanz für die aktuelle Fahraufgabe.
Die Hervorhebung wird vorzugsweise anhand einer Aufhellung der Objekte O, einer Abdunklung von deren Umgebung, einer Darstellung der Objekte 0 mit einer höheren Bildauflösung als deren Umgebung oder mittels einer Kennzeichnung der Objekte O durch eine Markierung erreicht.
Ferner können die relevanten Objekte O oder deren Markierung zur Hervorhebung farblich gekennzeichnet werden, wobei eine Änderung der Farbe in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird. Auch können die relevanten Objekte oder deren Markierung blinkend dargestellt werden, wobei eine Änderung einer Blinkfrequenz in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird.
Werden in den Bilddaten gleichzeitig mehrere Objekte O erkannt, so ergibt sich in der Regel innerhalb der dargestellten Bilddaten B der Objekte O eine Varianz in der Hervorhebung zwischen den einzelnen erkannten Objekten O. Auch ist es sehr wohl denkbar, dass sich die Relevanz eines einzelnen Objektes O zeitlich verändert, so dass auch die Art der Hervorhebung des einzelnen Objektes O im Lauf der Zeit variieren kann.
Eine Darstellung einer derartigen Variation der Relevanz anhand einer variablen Hervorhebung kann beispielsweise bei zunehmender Relevanz durch einen Wechsel von "nicht blinkend" zu "blinkend" oder mittels einer kontinuierlichen Variation der Darstellung mit zunehmender Relevanz, beispielsweise durch stufenweise Variation von "langsam blinkend" zu "schnell blinkend" erfolgen.
Alternativ oder zusätzlich kann eine zunehmende Relevanz anhand einer Farbvariation der Hervorhebung beispielsweise
von "gelb" über "orange" nach "rot" dargestellt werden. Es sind aber auch andere Farbvariationen denkbar.
Nachfolgend sind beispielhaft einige Fahr- und/oder Umgebungssituationen mit verschiedenen Objektparametern, Fahrzeugparametern und/oder Umgebungsparametern gegenübergestellt, in welchen einzelne Objekte O unterschiedliche Relevanz aufweisen und somit bei der Darstellung der von der fahrzeugseitigen Bildaufnahmevorrichtung 1 aufgenommenen Bilddaten B auf unterschiedliche Art und Weise hervorgehoben werden.
Als erstes Beispiel sind Fahr- bzw. Umgebungssituationen dargestellt, anhand dessen die Relevanz eines oder mehrerer Objekte in Abhängigkeit von den Umgebungsparametern "Helligkeit" und "Sichtbarkeit" und dem Fahrzeugparameter "Fahrzeuggeschwindigkeit" erläutert wird.
Dabei fährt das Fahrzeug beispielsweise mit einer Fahrzeuggeschwindigkeit von 50km/h innerhalb einer geschlossenen Ortschaft mit guter Straßenbeleuchtung. Hierbei haben Objekte O, z. B. Personen auf einem gut ausgeleuchtetem Gehweg auf einer gegenüberliegenden Straßenseite eine geringere Relevanz, als eine Person außerorts auf einer dunklen Landstraße, auf der das Fahrzeug mit 80km/h fährt.
Fährt das Fahrzeug z. B. bei Einsetzen der Dämmerung, so sind in den Bilddaten B abgebildete Personen besser wahrnehmbar als bei voller Dunkelheit. Somit haben diese bei der Hervorhebung im ersten Fall eine geringere Relevanz als bei vollständiger Dunkelheit.
In besonders vorteilhafter Weise wird die Bewertung der Helligkeit bzw. der Sichtbarkeit in der Fahrzeugumgebung
durch geeignete Bilddatenverarbeitung, insbesondere mittels der Bildverarbeitungseinheit 1.2, durch die
Bildaufnahmevorrichtung 1 selbst erfolgen. Es ist ebenfalls denkbar, dass die Bildaufnahmevorrichtung 1 zur Bestimmung der Umgebungshelligkeit bzw. der Sichtbedingungen mit einem anderen System oder hierzu geeigneten Erfassungseinheiten in Verbindung steht.
Als zweites Beispiels sei eine Fahr- bzw. Umgebungssituation genannt, welches die Relevanz des Objektes O in Abhängigkeit von den Objektparametern "Objektentfernung" und "Objekt klassifikation" darstellt.
Die Relevanz des Objektes O kann sehr wohl auch mit seiner Entfernung zum eigenen Fahrzeug variieren. Hierbei wird in der Regel einem entfernteren Objekt O eine geringere Relevanz als einem näher liegenden Objekt O zugewiesen, insbesondere dann, wenn es sich bei beiden Objekten O um die gleiche Art von Objekt (= Objektklassifikation) handelt.
Insbesondere bei der Verwendung der Bildaufnahmevorrichtung 1 als Rückfahrkamera kann eine entfernungsabhängige Variation der Hervorhebung erkannter Objekte O gewinnbringend eingesetzt werden. Wenn beispielsweise das Objekt O einen Meter entfernt ist, kann dieses noch mit geringer Relevanz eingestuft werden. Ist es dagegen nur noch 20 Zentimeter entfernt, könnte dieses Objekt O blinkend markiert werden, so dass der Betrachter der Anzeigeinheit 1.3 der Bildaufnahmevorrichtung 1 einen deutlichen Hinweis auf das Objekt O erhält.
In einem dritten Beispiel ist eine Fahr- bzw. Umgebungssituation dargestellt, welche eine Bewertung der Relevanz des Objektes O in Abhängigkeit von den
Fahrzeugparametern "Fahrzeuggeschwindigkeit" und "Relativgeschwindigkeit" verdeutlicht .
Für die Abschätzung bzw. Bewertung der Relevanz des Objektes O kann es von Bedeutung sein, wie schnell sich das eigene Fahrzeug auf das Objekt O zu bewegt (= Relativgeschwindigkeit) . Je höher eine Differenzgeschwindigkeit zwischen dem Objekt O und dem Fahrzeug ist, desto kritischer ist die Fahrsituation und das Gefahrenpotential des Objektes O für das Fahrzeug oder das des Fahrzeugs für das Objekt O, so dass dem erkannten Objekt 0 eine höhere Relevanz zugeordnet wird.
Das heißt, dass beispielsweise eine Vorbeifahrt an einem Fußgänger mit kleinerer Differenzgeschwindigkeit wesentlich ungefährlicher ist als eine Vorbeifahrt mit höherer Differenzgeschwindigkeit .
In besonders vorteilhafter Weise ist es denkbar, dass bei einer erhöhten Eigengeschwindigkeit des eigenen Fahrzeugs (= Fahrzeuggeschwindigkeit) den in den Bilddaten B erkannten Objekten 0 generell eine höhere Relevanz zuzuweisen, als dies für dieselben Objekte O der Fall wäre, wenn das eigene Fahrzeug langsamer fahren würde.
Zur Ermittlung der Relativgeschwindigkeit zwischen dem Fahrzeug und dem erkannten Objekt 0 oder auch zur Bestimmung dessen Entfernung eignen sich neben speziellen Bildverarbeitungsvorrichtungen, wie beispielsweise Stereokamerasystemen, insbesondere auch mit der Bildaufnahmeeinheit 1 in Verbindung stehende Radarsysteme, wie z. B. ein Millimeter-Wellen-Radar.
Im Rahmen eines vierten Beispiels einer Fahr- bzw. Umgebungssituation soll die Bewertung der Relevanz des Objektes O anhand dessen Objektparameters "Bewegungsrichtung" erläutert werden.
In vorteilhafter Weise wird zur Abschätzung der Relevanz des erkannten Objektes O auch dessen Bewegungsrichtung bzw. eine Relativbewegung zwischen diesem Objekt O und dem eigenen Fahrzeug ausgewertet. So hat eine sich auf einem Gehweg bewegende Person für die aktuelle Fahraufgabe weniger Relevanz als dies eine Person hat, welche sich auf der Fahrbahn des Fahrzeugs bewegt.
Auch wird in der Regel ein sich in großem Abstand neben einem Straßenrand bewegendes Objekt O weniger relevant sein, als eine direkt an diesem Straßenrand stehende Person.
Lenkt das eigene Fahrzeug in der aktuellen Fahrsituation z. B. gerade nach rechts, dann sind Objekte O in dieser Richtung für die aktuelle Fahraufgabe relevanter als Objekte O auf der linken Seite.
In besonders vorteilhafter Weise bietet es sich an, zur Vorhersage der Bewegungsrichtung des Fahrzeugs insbesondere Informationen über einen Lenkradwinkel, Bildinformationen zum Straßenverlauf und Informationen aus einer Datenquelle, wie z. B. einem Navigationssystem, zu nutzen und der fahrzeugseitigen Bildaufnahmevorrichtung 1 zuzuführen.
Als fünftes und letztes Beispiel sind Fahr- bzw. Umgebungssituationen dargestellt, im Rahmen dieser die Relevanz eines oder mehrere Objekte O anhand der Umgebungsparameter "Örtlichkeit", innerhalb welcher sich das Fahrzeug bewegt, und "Straßenart" ermittelt wird.
Die Bewertung der Relevanz eines in den Bilddaten erkannten Objektes O kann auch von einer aktuellen Verkehrssituation abhängen; hierbei insbesondere auch im Hinblick auf die Örtlichkeit in und/oder der Straßenart auf der sich das eigene Fahrzeug befindet oder bewegt. Beispielsweise treten Fußgänger am Straßenrand innerhalb geschlossener Ortschaften häufiger auf als außerhalb dieser, so dass ihnen deshalb in der Regel innerorts eine geringere Relevanz zuzuordnen ist, als außerorts. Das heißt, in der Regel wird den erkannten Objekten O am Straßenrand außerorts eine höhere Relevanz zugeordnet, da dort beispielsweise seltener und meist kein Geh- oder Radweg vorhanden ist, auf dem sich innerorts für gewöhnlich die erkannten Objekte O ohne Gefahr für die aktuelle Fahraufgabe bewegen.
Befinden sich Fußgänger z. B. an einem Fußgängerüberweg, so könnte diesen erkannten Personen eine erhöhte Relevanz zugewiesen werden, so dass diese Personen für den Fahrzeugführer in der Bilddarstellung, beispielsweise bei einem Nachtsichtsystem, besonders hervorgehoben dargestellt werden.
Gewinnbringend kann die relevante Information über die Örtlichkeit und/oder die Straßenart beispielsweise durch eine geeignete Bildverarbeitung/-klassifikation aus den Kamerabilddaten der Bildaufnahmevorrichtung 1 selbst gewonnen werden oder aber aus einer Datenguelle, wie beispielsweise einem Navigationssystem, stammen und der Bildaufnahmevorrichtung 1 zur Weiterverarbeitung zur Verfügung gestellt werden.
Bezugs zeichenliste
1 Bildaufnahmevorrichtung
1.1 Bildsensor
1.2 Bildverarbeitungseinheit
1.3 Anzeigeinheit
B Bilddaten O Objekt
Claims
1. Verfahren zum Betrieb einer Bildaufnahmevorrichtung (1), bei welchem mittels eines Bildsensors (1.1) Bilddaten (B) von einer Umgebung eines Fahrzeugs aufgenommen und mittels einer Bildverarbeitungseinheit (1.2) Objekte in den Bilddaten (B) erkannt und hervorgehoben werden, wobei eine Art und Weise der Hervorhebung der erkannten Objekte (O) in den Bilddaten (B) abhängig von einer Relevanz der Objekte (O) eingestellt und die Relevanz auf Basis von Objektparametern, umfassend eine
Bewegungsrichtung, Geschwindigkeit, eine Objektentfernung und/oder einer Objektklassifizierung, ermittelt wird, wobei die derart bearbeiteten Bilddaten (B) auf einer Anzeigeeinheit (1.3) angezeigt werden, dadurch gekennzeichnet, dass die Relevanz der Objekte (0) auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Fahrzeugparameter eine Fahrzeuggeschwindigkeit und/oder eine Relativgeschwindigkeit zu einem oder mehreren Objekten (0) erfasst bzw. ermittelt werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als Umgebungsparameter Sichtverhältnisse, eine Helligkeit, eine Örtlichkeit und/oder eine Straßenart ermittelt werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mittels der Bildverarbeitungseinheit (1.2) aus den Bilddaten (B) zumindest teilweise die Fahrzeugparameter und/oder die Umgebungsparameter ermittelt werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die relevanten Objekte (O) zur Hervorhebung aufgehellt dargestellt werden und/oder deren Umgebung abgedunkelt dargestellt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die relevanten Objekte (O) mit einer höheren Bildauflösung als deren Umgebung dargestellt werden.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die relevanten Objekte (O) mittels einer Markierung gekennzeichnet werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die relevanten Objekte (0) oder deren Markierung farblich gekennzeichnet werden, wobei eine Änderung der Farbe in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird.
9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die relevanten Objekte (0) oder deren Markierung blinkend dargestellt werden, wobei eine Änderung einer Blinkfrequenz in Abhängigkeit von der Relevanz stufenlos oder in Stufen ausgeführt wird.
10. Bildaufnahmevorrichtung (1) für ein Fahrzeug, umfassend einen Bildsensor (1.1) zur Erfassung von Bilddaten (B) aus einer Umgebung des Fahrzeugs, umfassend eine Bildverarbeitungseinheit (1.2) zur Erkennung von in den erfassten Bilddaten (B) abgebildeten Objekten (O) und zum Hervorheben dieser Objekte (O) in den Bilddaten (B), wobei die Bildverarbeitungseinheit (1.2) derart ausgebildet ist, dass eine Art und Weise der Hervorhebung der erkannten Objekte (0) in den Bilddaten (B) abhängig von einer Relevanz der Objekte (O) einstellbar und die Relevanz auf Basis von Objektparametern, umfassend eine Bewegungsrichtung, Geschwindigkeit, eine Objektentfernung und/oder einer Objektklassifizierung, ermittelbar ist, sowie umfassend eine Anzeigeeinheit (1.3) zur Anzeige der derart bearbeiteten Bilddaten (B) , dadurch gekennzeichnet, dass die Relevanz der Objekte (O) auf Basis von Fahrzeugparametern und/oder Umgebungsparametern ermittelbar ist.
11. Bildaufnahmevorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass mittels der Bildverarbeitungseinheit (1.2) aus den Bilddaten (B) zumindest teilweise die Fahrzeugparameter und/oder die Umgebungsparameter ermittelbar sind.
12. Bildaufnahmevorrichtung nach Anspruch 10 oder 11, dadurch gekennzeichnet, dass eine oder mehrere Erfassungseinheiten zur Ermittlung der Fahrzeugparameter und/oder Umgebungsparameter vorgesehen sind.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008007911.1 | 2008-02-06 | ||
DE102008007911 | 2008-02-06 | ||
DE102008017833A DE102008017833A1 (de) | 2008-02-06 | 2008-04-08 | Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine Bildaufnahmevorrichtung |
DE102008017833.0 | 2008-04-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2009097883A1 true WO2009097883A1 (de) | 2009-08-13 |
Family
ID=40874141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2008/010502 WO2009097883A1 (de) | 2008-02-06 | 2008-12-11 | Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102008017833A1 (de) |
WO (1) | WO2009097883A1 (de) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011079703A1 (de) † | 2011-07-25 | 2013-01-31 | Robert Bosch Gmbh | Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs |
DE102013016241A1 (de) * | 2013-10-01 | 2015-04-02 | Daimler Ag | Verfahren und Vorrichtung zur augmentierten Darstellung |
DE102013016246A1 (de) * | 2013-10-01 | 2015-04-02 | Daimler Ag | Verfahren und Vorrichtung zur augmentierten Darstellung |
US9834207B2 (en) | 2014-04-15 | 2017-12-05 | GM Global Technology Operations LLC | Method and system for detecting, tracking and estimating stationary roadside objects |
DE102018209192B3 (de) * | 2018-05-17 | 2019-05-09 | Continental Automotive Gmbh | Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug |
DE102021103494A1 (de) | 2021-02-15 | 2022-08-18 | Bayerische Motoren Werke Aktiengesellschaft | Fahrerassistenzsystem und Fahrerassistenzverfahren für ein Fahrzeug |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1407931A1 (de) * | 2002-10-11 | 2004-04-14 | Valeo Schalter und Sensoren GmbH | Verfahren und System zur Unterstützung eines Fahrers |
EP1642770A2 (de) * | 2004-09-30 | 2006-04-05 | Robert Bosch Gmbh | Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10329054A1 (de) * | 2003-06-27 | 2005-01-13 | Volkswagen Ag | Kollisionsobjekt-Erkennungssystem |
DE10348109A1 (de) | 2003-10-16 | 2005-05-19 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung |
DE102005020772A1 (de) | 2005-05-02 | 2006-11-09 | Siemens Ag | Anzeigesystem zur Darstellung der Umgebung eines Kraftfahrzeuges |
JP4887980B2 (ja) | 2005-11-09 | 2012-02-29 | 日産自動車株式会社 | 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両 |
DE102006047777A1 (de) | 2006-03-17 | 2007-09-20 | Daimlerchrysler Ag | Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten |
-
2008
- 2008-04-08 DE DE102008017833A patent/DE102008017833A1/de not_active Withdrawn
- 2008-12-11 WO PCT/EP2008/010502 patent/WO2009097883A1/de active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1407931A1 (de) * | 2002-10-11 | 2004-04-14 | Valeo Schalter und Sensoren GmbH | Verfahren und System zur Unterstützung eines Fahrers |
EP1642770A2 (de) * | 2004-09-30 | 2006-04-05 | Robert Bosch Gmbh | Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild |
Also Published As
Publication number | Publication date |
---|---|
DE102008017833A1 (de) | 2009-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112011100180B4 (de) | Spurhalteunterstützungsvorrichtung, Verfahren zum Anzeigen einer Spurgrenzlinie und Programm | |
DE102013110332B4 (de) | Visuelles leitsystem | |
EP1904340B1 (de) | Verfahren und vorrichtung zur fahrerunterstützung | |
EP1994366B1 (de) | Verfahren und anordnung zur anzeige von navigationshinweisen | |
DE102005054972A1 (de) | Verfahren zur Totwinkelüberwachung bei Fahrzeugen | |
DE112014007205T5 (de) | Fahrunterstützungsvorrichtung und Fahrunterstützungsverfahren | |
EP1642770B1 (de) | Verfahren zur Lenkung der Aufmerksamkeit eines Fahrers eines Fahrzeugs auf Objekte in einem Bild | |
WO2007036397A1 (de) | Nachtsichteinrichtung für ein kraftfahrzeug | |
WO2014127777A2 (de) | Verfahren und vorrichtung zur bestimmung eines fahrbahnzustands | |
DE102013223367A1 (de) | Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems | |
DE102013004271A1 (de) | Verfahren und Vorrichtung zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs | |
DE102012201896A1 (de) | Fahrerassistenzverfahren und Fahrerassistenzsystem für verschneite Straßen | |
EP2620929A1 (de) | Verfahren und Vorrichtung zur Erkennung einer Sondersituation im Straßenverkehr | |
DE102016215115A1 (de) | Vorrichtung und Verfahren zum Detektieren von Verkehrsteilnehmern in einem Umfeld eines Ego-Fahrzeugs | |
DE102008002560A1 (de) | Bilddatenvisualisierung | |
DE102016002230B4 (de) | Verfahren zum Betrieb eines Kraftfahrzeugs und Kraftfahrzeug | |
WO2016177372A1 (de) | Verfahren und vorrichtung zur erkennung und bewertung von umwelteinflüssen und fahrbahnzustandsinformationen im fahrzeugumfeld | |
DE102019216348A1 (de) | Fahrzeugunterstützungssystem | |
WO2018206213A1 (de) | Verfahren und vorrichtung zur ortsaufgelösten detektion von einem fahrzeugexternen objekt mithilfe eines in einem fahrzeug verbauten sensors | |
WO2010099847A1 (de) | Verfahren und vorrichtung zum bestimmen einer sichtweite für ein fahrzeug | |
WO2009097883A1 (de) | Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung | |
EP1327969B1 (de) | Kraftfahrzeug mit Mitteln zum Erkennen eines Verkehrzeichens | |
DE102020101623A1 (de) | Einparkhilfesystem mit parklückenbelegungsausgabe | |
DE102017223439A1 (de) | Warnvorrichtung vor Gefahrensituationen für ein Kraftfahrzeug | |
DE102006037600B4 (de) | Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 08872135 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 08872135 Country of ref document: EP Kind code of ref document: A1 |