WO2007107259A1 - Virtuelles spotlight zur kennzeichnung von interessierenden objekten in bilddaten - Google Patents

Virtuelles spotlight zur kennzeichnung von interessierenden objekten in bilddaten Download PDF

Info

Publication number
WO2007107259A1
WO2007107259A1 PCT/EP2007/002134 EP2007002134W WO2007107259A1 WO 2007107259 A1 WO2007107259 A1 WO 2007107259A1 EP 2007002134 W EP2007002134 W EP 2007002134W WO 2007107259 A1 WO2007107259 A1 WO 2007107259A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
areas
type
objects
Prior art date
Application number
PCT/EP2007/002134
Other languages
English (en)
French (fr)
Inventor
Helmuth Eggers
Stefan Hahn
Gerhard Kurz
Otto Löhlein
Matthias Oberländer
Werner Ritter
Roland Schweiger
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102006012773A external-priority patent/DE102006012773A1/de
Application filed by Daimler Ag filed Critical Daimler Ag
Priority to EP07723183A priority Critical patent/EP1997093B1/de
Priority to US12/293,364 priority patent/US20090102858A1/en
Priority to JP2008558696A priority patent/JP5121737B2/ja
Publication of WO2007107259A1 publication Critical patent/WO2007107259A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the invention relates to a method for highlighting objects in image data, as well as a suitable image display according to the preamble of claims 1 and 25.
  • German patent application DE 101 31 720 Al a head-up display in the field of vision of the driver at the point at which a in the vehicle environment located pedestrian maps a symbolic representation of the same. In order to emphasize this, it is also proposed to display a frame around the symbolic representation.
  • German Laid-Open Application DE 10 2004 034 532 A1 proposes, for example, to highlight relevant objects by manipulating the image data with regard to brightening or coloring the resulting image representation.
  • German patent application DE 10 2004 028 324 A1 describes highlighting objects, in particular living beings, in the image data by amplifying the contour.
  • German Patent Application DE 102 59 882 A1 additionally proposes subjecting the objects before the color manipulation of the image data to a type classification and, on this basis, making the coloration type-specific.
  • the object of the invention is to provide a method and an image display suitable for performing the method, with which a highlighting of relevant objects in image data can be further improved.
  • image display image data from the environment of a vehicle are recorded by means of a camera, and the image data (1) after an object recognition and image processing at least partially displayed on a display.
  • these are processed by means of object recognition in order to recognize objects (2, 3, 4, 5) in the recorded image data.
  • the thus recognized objects (2, 3, 4, 5) are at least partially highlighted in the representation of the image data (1) on the display.
  • the highlighting of the detected objects (2, 3, 4, 5) takes place in such a way that the image data (1) to be displayed are divided into two types of areas.
  • the first type of regions comprises the objects (2, 3, 4, 5) recognized and to be emphasized, and a surrounding region (2a, 3a, 4a), which respectively adjoins directly corresponding thereto.
  • the second type of area then includes those image data (1) which have not been assigned to the first type of area. The highlighting of the objects in the image data (1) then takes place in such a way that the image data of the two types of regions are manipulated in different ways.
  • a further advantage results from the fact that the relevant objects to be emphasized must be recognized in the image data recorded by the camera, but whose object contour does not need to be determined exactly. This is because the image areas of the first type are assigned, in addition to the objects, their immediate surrounding area. With suitable dimensioning of these direct surrounding areas, it is generally achieved that the objects are emphasized in their full extent even if the object recognition algorithm of the image processing could not extract the object in its entirety from the image scene; This is especially the case with complex objects such as pedestrians, in dimly lit scenes with poor image contrast.
  • FIG. 1 shows a traffic scene in front of a vehicle
  • FIG. 2 shows the image data (1) of the traffic scene from FIG. 1 after image recognition and highlighting of the pedestrian zones (2, 3) containing first image areas,
  • FIG. 3 shows the image data (1) of the traffic scene from FIG. 1, after image recognition and highlighting of the image areas of the first type containing pedestrians (2, 3) as well as vehicles of the third type comprising vehicles (4, 5),
  • FIG. 4 shows the image data (1) of the traffic scene from FIG. 1 after image recognition and highlighting of the pedestrian zones ( 2 , 3) of the first type, as well as of another image area of the first type containing the vehicle in front (4).
  • FIG. 1 shows a typical traffic scene in front of a motor vehicle, as can be observed by the driver of a vehicle when looking through the windshield, or how it can be detected by the camera assigned to the image processing system according to the invention.
  • the traffic scene includes a road having lane boundaries (6). Along the course of the road can be found in the area surrounding a plurality of trees (7). On this road is on the road in front of the own vehicle, a preceding or parked vehicle (4), while on the opposite lane on the own vehicle oncoming vehicle (5) is located.
  • the traffic scene comprises a person (2) who is moving from the left onto the carriageway in the foreground of the scene, and a group of persons (3) moving from the right onto the carriageway at a further distance in the area of the groups of trees.
  • Such processed image data (1) of the traffic scene shown in FIG. 1 are shown in FIG.
  • the image data obtained from the traffic scene by means of a camera were hereby subjected to an object classification, by means of which pedestrians (2, 3) contained in the traffic scene were recognized, so that these are highlighted in the displayed image data together with their immediate surrounding areas (2a, 3a) could.
  • the object classification depending on the field of application and purpose can be aligned to the detection of other or other objects. So it would be conceivable in addition to the pedestrians also on the roadway located vehicles to recognize; in the context of other fields of application, the objects to be recognized could also be traffic signs or pedestrian crossings. on the other hand the object recognition or classification can also be designed so that the movement directions and speeds of the objects are also taken into consideration, so that, for example, a person located further away, moving away from the roadway is no longer selected and highlighted during the presentation ,
  • the objects (2, 3) recognized by means of the object classification and to be highlighted in the context of the representation are each assigned their direct surrounding area (2 a, 3 a), so that two areas of the first type result, which are then treated differently to the remaining image data (image areas of the second kind) to achieve their emphasis.
  • highlighting of the image areas of the first type can, however, also be achieved by lowering the intensity of the image areas of the second type.
  • the intensities from the traffic scene shown in FIG. 1 it can be seen that the objects (2, 3) and the image area (2a, 3a) directly surrounding them are kept constant in their intensity, while the other image areas are in their intensity and thus visibility was lowered significantly.
  • the perceptibility of manipulated image data (1) of the traffic scene shown to the driver by means of the image display can also be achieved by alternatively or supplementing a darkening of the image areas of the second type, at least partially simplifying these image areas, for example with reduced contrast or schematically , for example, by overlaying with a texture or symbolically represented. This makes sense, in particular, for subregions which are located further away from the road and are thus irrelevant anyway for an estimation of potential dangers by the vehicle driver.
  • the image areas of the second type can also be simplified by the image sharpness and / or intensity in these image areas are adjusted.
  • the image sharpness and / or the intensity By adjusting the image sharpness and / or the intensity, the information in the image areas of the second type is reduced in a profitable manner.
  • the image contrast in this case preferably remains unchanged.
  • Tone-mapping method or contrast masking method already known.
  • the image data of the image areas of the second type are manipulated in their color and / or that they are displayed in their color or brightness gradients with soft transition, without hard limits to the image areas of the first kind.
  • Such coloration clearly distinguishes the non-interest regions of the second kind from the objects of interest in the regions of the first kind, whereby the user can recognize the objects contained in the image data quickly and in a particularly reliable manner.
  • the image data from the image regions of the second kind to be associated with other recognized objects (4, 5) has been assigned to a third kind of regions.
  • the other objects may be, for example, vehicles (4, 5).
  • an image representation specified primarily on the visualization of pedestrians (2, 3) can be further improved by additionally recognizing other objects, here vehicles, and separately in image areas third type can be displayed.
  • the vehicles (4, 5) included in the image areas of the third type are also shown. It is thus possible, in addition to the objects to be highlighted in the image areas of the first type, to clearly depict further possibly relevant objects on the image display.
  • the image areas of the first type are brightened and the image areas of the second type are lowered in intensity
  • the image areas of the third type could be imaged with the intensity originally detected by the camera, so that an easily perceivable three-level intensity grouping in the picture results.
  • the image data of the image areas of the third type are manipulated in their color and / or that in their color or brightness gradients with soft transition, without hard limits to the image areas of the first type and / or the second Type to be displayed. It makes sense to choose the color so that the image areas on the one hand clearly stand out from the image areas of the second kind and on the other hand, the highlighting of the image data of the objects in the image areas of the first kind are not unnecessarily attenuated.
  • the image data of an infrared camera could be partially replaced by the image data of a color camera also located in the vehicle. This can be of great advantage especially if the items to be highlighted are traffic lights.
  • the highlighting of the traffic lights could be effected by replacing the image data in the image areas of the first type with color image information of a color camera.
  • the image areas of the first kind contain both the relevant objects (in this case traffic lights) and their immediate surroundings, it is not particularly critical if, due to parallax errors between the two camera systems, jumps occur at the transitions between the image areas of the first type and the image areas of the second kind or distortions in the image representation of the traffic scene.
  • the image display with a camera which captures image information both in the visual and in the infrared wavelength range, in particular in the near infrared wavelength range.
  • this camera captures image data from weighted portions of the visible and the infra-red wavelength range, or that the image data captured by the camera subsequently undergo a weighting become; For example, the image data in the visual blue / green area could be weakened.
  • the image representation in the figure 4 is based on a, previously described, special embodiment of the object detection.
  • persons (2, 3) as well as another object (5) located directly in front of the own vehicle, here likewise a vehicle, are selected as objects to be highlighted.
  • the environmental region (2a, 3a, 4a) assigned in each case to the objects (2, 3, 4, 5) in the image regions of the first type can be chosen differently in the form of its outline.
  • the surrounding areas 2 a and 3 a have an elliptically shaped outline, while the immediate surrounding area (4 a) assigned to the vehicle 4 is substantially adapted in its outline to the object shape.
  • any other types of outlines are conceivable, in particular round or rectangular.
  • highlighting the relevant objects contained in the traffic scene may manipulate the image data of the image areas of the first type in their color.
  • this may be a simple coloring, in particular towards yellow or red shades.
  • the color or brightness gradients of the image data can be shaped in such a way that either soft transition results without hard boundaries to the image areas of the second type.
  • Such a manipulation of the image data is particularly suitable for image areas of the first type, in which the image data was derived from other sensors or sensor streams.
  • the image areas of the first type in the image data (1) are then highlighted when these image areas are displayed flashing or pulsing.
  • it is conceivable to design the frequency of the flashing or pulsation as a function of a danger potential emanating from the objects to be highlighted, in particular also as a function of their distance or their relative speed with respect to their own vehicle.
  • the manipulation of the image data in the image areas of the first type is such that the emphasis of these areas in the displayed image data (1) varies in their perceptibility over time.
  • image areas assigned to newly detected objects are first highlighted only weakly and then as the duration of the recognition progresses.
  • recognition errors in the object recognition within the image data taken by the camera have only insignificant effects, since the initial slight highlighting of such incorrectly detected objects does not distract the driver unnecessarily.
  • the highlighting of the image areas of the first type is selected or varied depending on parameters of the object contained in the image area (2, 3, 4, 5). It is conceivable, for example, to use those parameters of an object (2, 3, 4, 5) which describe its distance, the danger potential emanating from it or its object type. So it would be conceivable image areas in which depict objects that move quickly to the own vehicle to color with reds. Or image areas in which distant objects could be displayed with a faint coloration. Also For example, image areas to be highlighted could be colored with people having a different hue than areas with vehicles, thus assisting in intuitive object perception.
  • the highlighting of the image areas of the first type is selected in dependence on the object recognition, wherein at least one parameter is evaluated, which describes the security and / or quality of the object recognition.
  • the at least one parameter is supplied by the recognizer unit or the classifier by means of which the object recognition is carried out.
  • a classifier provides a standardized measure at its outputs, which describes the recognition reliability or quality.
  • the extent of highlighting is chosen to be greater with increasing recognition security or quality.
  • the highlighting of the image areas of the first type is based on an enlargement of these image areas.
  • An object (2, 3, 4, 5) contained in the image region of the first type is thus enlarged, as is the case in the same way when viewed using a magnifying glass.
  • objects (2, 3, 4, 5) can be perceived in a particularly simple manner.
  • the highlighting of image areas of the first type by means of a virtual illumination source which illuminates the objects (2,3,4,5).
  • virtual illumination sources are used as standard in conjunction with graphics programs, for example, in addition to the type of illumination source also numerous lighting parameters can be selected.
  • the lighting position and / or the lighting direction are freely selectable, for example by means of an input by the user.
  • the light beam or the light lobe is represented ansich, which is visible, for example in connection with a conventional illumination source in fog.
  • the user is indicated by the light beam or the light lobe the direction to the respective object (2,3,4,5) out, whereby the objects (2,3,4,5) are detected in a particularly simple manner in the images shown can.
  • the highlighting of the image areas of the first type takes place such that shadows formed on objects (2, 3, 4, 5) are imaged.
  • the illumination of the objects (2, 3, 4, 5) with a virtual illumination source produces shadows in the virtual 3D space as a function of the virtual illumination position. These shadows are projected in an advantageous manner into the 2D representation of the image data (1) on the display unit, thus giving an impression in the 2D representation as is the case with a 3D representation.
  • the highlighting of the image areas of the first type is carried out in a preferred embodiment of the invention such that the objects (2,3,4,5) are only partially highlighted.
  • the objects (2,3,4,5) are only partially highlighted.
  • the representation of the image regions of the second kind is selected or varied depending on the recognition of an object (2, 3) contained in the image region of the first species. It is conceivable, for example, to select or vary the representation as a function of parameters of this detected object (2, 3), which describe its removal, the danger potential emanating from it or its object type.
  • representation of the second image area should be darkened. It is particularly advantageous if this darkening takes place in several, in particular 2 or 3, stages.
  • the stepped darkening can in particular be carried out coupled to a parameter which describes an object (2, 3) recognized in a first image area, such as, for example, the danger potential emanating from it.
  • the image areas of the first type are defined by the object (2, 3, 4, 5) and the adjacent surrounding area (2 a, 3 a, 4 a). If, in the cases in which the object recognition in the image data captured by the camera as part of an object tracking temporarily no longer recognizes an object to be highlighted, this would inevitably lead to the task of highlighting the corresponding image area of the first type. However, this is generally not desirable since, in particular in poor lighting conditions, a temporary non-recognition of an object which is present per se must always be expected. A resulting activation and deactivation of the highlighting of a corresponding image area of the first type would, however, have a very disturbing effect on the viewer.
  • the highlighting is preferably not abruptly interrupted, but temporally varied, so that this is perceived as a kind of slow fading of the image area.
  • the image display according to the invention is associated with means for generating acoustic or haptic signals. This makes it possible in addition to an optical highlighting of image areas to point out relevant objects in the environment of the vehicle.
  • the invention is suitable for a driver assistance system for improving the visibility of a vehicle driver at night (night vision system), for which purpose a sensitive in the infrared wavelength range camera is preferably used for image acquisition.
  • a profitable use in the context of a driver assistance system for improving the perception of relevant information in inner city scenarios (inner city assistant) is also conceivable, with particular emphasis being placed here on traffic lights and / or traffic signs as relevant objects.
  • Home use in the context of a driver assistance system it offers on the one hand to perform the image display as a head-up display, on the other hand, however, an introduction of the display in the located directly in front of the driver dashboard area is advantageous because the driver to look at the display only briefly must lower the view.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Zur Unterstützung von Fahrzeuglenkern bei der Führung ihrer Fahrzeuge kommen zunehmend Assistenzsysteme zur Verwendung, Es werden hierzu mittels einer Kamera Bilddaten aus dem Umfeld eines Fahrzeuges aufgenommen, und die Bilddaten (1) nach einer Objekterkennung und Bildverarbeitung zumindest teilweise auf einer Anzeige dargestellt. Nach der Aufnahme der Bilddaten durch die Kamera werden diese mittels einer Objekterkennung verarbeitet, um Objekte (2, 3) in den aufgenommenen Bilddaten zu erkennen. Die so erkannten Objekte (2, 3) werden zumindest teilweise bei der Darstellung der Bilddaten (1) auf der Anzeige hervorgehoben. Dabei erfolgt die Hervorhebung der erkannten Objekte (2, 3) dergestalt, dass die darzustellenden Bilddaten (1) in zwei Arten von Bereichen eingeteilt werden. Hierbei umfasst die erste Art von Bereichen die erkannten und hervorzuhebenden Objekte (2, 3) und einen sich jeweils entsprechend direkt daran anschließenden Umgebungsbereich (2a, 3a). Die zweite Art von Bereichen umfasst sodann diejenigen Bilddaten (1), welche nicht der ersten Art von Bereichen zugeordnet wurden. Die Hervorhebung der Objekte in den Bildaten (1) erfolgt sodann derart, dass die Bilddaten der beiden Arten von Bereichen in unterschiedlicher Weise manipuliert werden.

Description

Virtuelles Spotlight zur Kennzeichnung von interessierenden
Objekten in Bilddaten
[0001] Die Erfindung betrifft ein Verfahren zur Hervorhebung von Objekten in Bilddaten, sowie eine hierfür geeignete Bildanzeige nach dem Oberbegriff der Patentansprüche 1 und 25.
[0002] Zur Unterstützung von Fahrzeuglenkern bei der Führung ihrer Fahrzeuge kommen zunehmend Assistenzsysteme zur Verwendung, welche mittels Kamerasystemen Bilddaten der Umgebung um das Fahrzeug erfassen und diese auf einem Display zur Anzeige bringen. Insbesondere zur Unterstützung von Fahrzeugführern bei Nachtfahrten sind so genannte Nachtsichtsysteme bekannt, welche den durch den Fahrzeugführer einsehbaren Bereich über den mit Hilfe des Abblendlichtes einsehbaren Bereich hinaus signifikant weitern. Hierbei werden von der Umgebung Bilddaten im infra-roten Wellenlängenbereich erfasst und dem Fahrer dargestellt. Da diese aus dem infra-roten Wellenlängenbereich stammenden Bilddaten durch ihr ungewöhnliches Erscheinungsbild einem Fahrzeugführer nicht unmittelbar zugänglich ist, bietet es sich an diese Bilddaten vor deren Präsentation mittels Bildverarbeitungssystemen aufzubereiten.
[0003] Um die Aufmerksamkeit eines Fahrers auf einen Fußgänger zu lenken wird in der deutschen Offenlegungsschrift DE 101 31 720 Al beschrieben über ein Headup-Display im Sichtbereich des Fahrers an der Stelle, an welcher sich ein im Fahrzeugumfeld befindlicher Fußgänger abbildet eine symbolische Darstellung desselben einzublenden. Um diesen besonders hervorzuheben wird zudem vorgeschlagen, einen Rahmen um die symbolische Darstellung herum einzublenden.
[0004] Um Verdeckungen relevanter Details durch eine symbolische Überlagerung der Bildinformation zu vermeiden, ist es jedoch auch denkbar, die Bilddaten relevanter Objekte vor deren Darstellung mittels Bildverarbeitung zu manipulieren. So wird in der deutschen Offenlegungsschrift DE 10 2004 034 532 Al vorgeschlagen relevante Objekte durch Manipulation der Bilddaten hinsichtlich einer Aufhellung oder Einfärbung der resultierenden Bilddarstellung hervorzuheben. Ergänzend beschreibt die deutsche Offenlegungsschrift DE 10 2004 028 324 Al die Hervorhebung von Objekten, insbesondere von Lebewesen, in den Bilddaten durch Verstärkung der Kontur .
[0005] Um die Unterscheidbarkeit derart in den Bilddaten hervorgehobenen Objekte noch zu verstärken, wird in der deutschen Offenlegungsschrift DE 102 59 882 Al zusätzlich vorgeschlagen die Objekte vor der Farbmanipulation der Bilddaten einer Typklassifikation zu unterziehen und ausgehend hiervon die Einfärbung typ-spezifisch vorzunehmen.
[0006] Aufgabe der Erfindung ist es, ein Verfahren und eine zur Durchführung des Verfahrens geeignete Bildanzeige zu finden, mit denen eine Hervorhebung relevanter Objekte in Bilddaten weiter verbessert werden kann.
[0007] Die Erfindung wird durch ein Verfahren und eine zur Durchführung des Verfahrens geeignete Bildanzeige mit den Merkmalen der Patentansprüche 1 und 17 gelöst . Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung werden mit den Unteransprüchen beschrieben.
[0008] Bei dem Verfahren zur Bildanzeige werden mittels einer Kamera Bilddaten aus dem Umfeld eines Fahrzeuges aufgenommen, und die Bilddaten (1) nach einer Objekterkennung und Bildverarbeitung zumindest teilweise auf einer Anzeige dargestellt. Nach der Aufnahme der Bilddaten durch die Kamera werden diese mittels einer Objekterkennung verarbeitet, um Objekte (2, 3, 4, 5) in den aufgenommenen Bilddaten zu erkennen. Die so erkannten Objekte (2, 3, 4, 5) werden zumindest teilweise bei der Darstellung der Bilddaten (1) auf der Anzeige hervorgehoben. In erfinderischer Weise erfolgt dabei die Hervorhebung der erkannten Objekte (2, 3, 4,5) dergestalt, dass die darzustellenden Bilddaten (1) in zwei Arten von Bereichen eingeteilt werden. Hierbei umfasst die erste Art von Bereichen die erkannten und hervorzuhebenden Objekte (2, 3, 4, 5) und einen sich jeweils entsprechend direkt daran anschließenden Umgebungsbereich (2a, 3a, 4a) . Die zweite Art von Bereichen umfasst sodann diejenigen Bilddaten (1) , welche nicht der ersten Art von Bereichen zugeordnet wurden. Die Hervorhebung der Objekte in den Bilddaten (1) erfolgt sodann derart, dass die Bilddaten der beiden Arten von Bereichen in unterschiedlicher Weise manipuliert werden.
[0009] Im Gegensatz zum Stand der Technik, bei welchem die Bilddaten der hervorzuhebenden Objekte entweder durch symbolische Darstellungen ersetzt werden oder aber speziell die dem Objekt direkt zuordenbaren Bilddaten manipuliert (Kontrastverbesserung oder Farbänderung) wird nun in besonders vorteilhafter Weise eine Hervorhebung der Objekte (2,3,4,5) dadurch erreicht, dass nicht nur das Objekt als solches, sonder zusätzlich noch der sich direkt daran anschließende Biidbereich hervorgehoben wird. Durch diese Kombination entsteht ein Bildbereich erster Art, welcher in erfinderischer Weise nachfolgend einheitlich behandelt wird. Durch gemeinsame Behandlung eines Objektes mit dem sich daran anschließenden direkten Umgebungsbereich ergibt sich in gewinnbringender Weise für den Betrachter der Bildanzeige durch die Hervorhebung in den Bilddaten der Eindruck einer virtuellen Beleuchtung des Objektes und seiner direkten Umgebung (Taschenlampeneffekt) . So wird, insbesondere innerhalb von Nachtszenen, eine äußerst intuitive Wahrnehmbarkeit der hervorzuhebenden Objekte geschaffen.
[0010] Ein weitere Vorteil ergibt sich daraus, dass in den durch die Kamera aufgenommenen Bilddaten zwar die relevanten, hervorzuhebenden Objekte erkannt werden müssen, deren Objekt- kontur jedoch nicht exakt ermittelt zu werden brauchen. Dies deshalb, da die Bildbereiche der ersten Art zusätzlich zu den Objekten noch deren direkter Umgebungsbereich zugeordnet wird. Bei geeigneter Dimensionierung dieser direkten Umgebungsbereiche wird im allgemeinen erreicht, dass die Objekte auch dann in ihrer vollen Ausdehnung Hervorgehoben werden, wenn der Objekterkennungsalgorithmus der Bildverarbeitung das Objekt nicht in seinen gesamten Ausmaßen aus der Bildszene extrahieren konnte; dies ist insbesondere bei komplexen Objekten, wie Fußgängern, in schwach beleuchteten Szenen mit schlechtem Bildkontrast häufig der Fall.
[0011] Nachfolgend wird die Erfindung mit Hilfe von Figuren im Detail erläutert . Hierbei zeigt Figur 1 eine Verkehrsszene vor einem Fahrzeug,
Figur 2 die Bilddaten (1) der Verkehrsszene aus Figur 1, nach erfolgter Objekterkennung und Hervorhebung der Fußgänger (2,3) enthaltenden Bildbereiche erster Art,
Figur 3 die Bilddaten (1) der Verkehrsszene aus Figur 1, nach erfolgter Objekterkennung und Hervorhebung der Fußgänger (2,3) enthaltenden Bildbereiche erster Art, sowie Fahrzeuge (4,5) umfassende Bildbereiche dritter Art,
Figur 4 die Bilddaten (1) der Verkehrsszene aus Figur I1 nach erfolgter Objekterkennung und Hervorhebung der Fußgänger (2,3) enthaltenden Bildbereiche erster Art, sowie eines weiteren das vorausfahrende Fahrzeug (4) enthaltenden Bildbereichs erster Art.
[0012] In der Figur 1 ist eine typische Verkehrsszene vor einem Kraftfahrzeug dargestellt, wie sie von dem Führer eines Fahrzeuges beim Blick durch die Windschutzscheibe beobachtet werden kann, bzw. wie sie von der dem erfindungsgemäßen Bildverarbeitungssystem zugeordneten Kamera erfasst werden kann. Die Verkehrsszene umfasst eine Straße, welche Fahrbahnbegrenzungen (6) aufweist. Entlang des Verlaufs der Straße finden sich in dessen Umgebung eine Mehrzahl von Bäumen (7) . Auf dieser Straße befindet sich auf der Fahrbahn vor dem eigenen Fahrzeug ein vorausfahrendes bzw. parkendes Fahrzeug (4), während sich auf der gegenüberliegenden Fahrspur ein dem eigenen Fahrzeug entgegenkommendes Fahrzeug (5) befindet. Des Weiteren umfasst die Verkehrsszene eine sich im Szenenvordergrund von links auf die Fahrbahn bewegende Person (2) , sowie eine sich in weiterer Entfernung, im Bereich der Baumgruppen von rechts auf die Fahrbahn bewegende Personengruppe (3) . Die Beobachtung dieser Verkehrsszene durch den Fahrzeugführer erfordert ein hohes Maß an Aufmerksamkeit, da eine Vielzahl von unterschiedlichen Objekten wahrnehmen und beobachten muss; dies ist beispielsweise bei der sich in weiterer Entfernung, im Bereich der Bäume (7) befindlichen Personengruppe (3) schon recht beanspruchend. Zusätzlich ist der Fahrzeugführer jedoch auch gefordert, die Objekte in Abhängigkeit ihrer Position und Bewegung relativ zum eigenen Fahrzeug in ihrer Gefährdungsrelevanz einzuschätzen.
[0013] Um den Fahrzeugführer bei dieser Aufgabe zu entlasten, bietet es sich deshalb an, die Verkehrszene mittels eines Kamerasystems zu erfassen und die so gewonnen Bilddaten zu verarbeiten und aufzubereiten, so dass diese auf einer Anzeige dargestellt, die Erfassung der Verkehrsszene erleichtern. Hierbei bietet es sich die besonders zu beachtenden Objekte in den Bilddaten zu selektieren und im Rahmen der Darstellung hervorgehoben zur Anzeige zu bringen. Derartig aufbereitete Bilddaten (1) der in der Figur 1 dargestellten Verkehrsszene werden in der Figur 2 gezeigt. Die aus der Verkehrsszene mittels einer Kamera gewonnen Bilddaten wurden hierbei einer Objektklassifikation unterzogen, mittels welcher in der Verkehrsszene enthaltene Fußgänger (2,3) erkannt wurden, so dass diese in den Dargestellten Bilddaten gemeinsam mit deren direkten Umgebungsbereichen (2a, 3a) hervorgehoben dargestellt werden konnten.
[0014] Selbstverständlich kann die Objektklassifikation je nach Anwendungsgebiet und -zweck auf die Erkennung weiterer oder anderer Objekte ausgerichtet werden. So wäre es denkbar zusätzlich zu den Fußgängern auch auf der Fahrbahn befindliche Fahrzeuge zu erkennen; im Rahmen andere Einsatzgebiete könnte es sich bei den zu erkennenden Objekten aber auch um Verkehrszeichen oder Fußgängerüberwege handeln. Andererseits kann die Objekterkennung bzw. -klassifikation auch so ausgestaltet werden, dass die Bewegungsrichtungen und -geschwin- digkeiten der Objekte mit betrachtet wird, so dass beispielsweise eine sich in weiterer Entfernung befindliche, von der Fahrbahn wegbewegende Person nicht mehr ausgewählt und bei der Darstellung hervorgehoben wird.
[0015] Wie in der Figur 2 deutlich aufgezeigt wird den Die mittels der Objektklassifikation erkannten und im Rahmen der Darstellung hervorzuhebenden Objekten (2,3) jeweils deren direkter Umgebungsbereich (2a, 3a) zugeordnet, so dass sich zwei Bereiche der ersten Art ergeben, welche sodann unterschiedlich zu den verbleibenden Bilddaten (Bildbereiche der zweiten Art) behandelt bzw. manipuliert werden, um deren Hervorhebung zu erreichen.
[0016] Um bei der Darstellung der Bilddaten eine Hervorhebung der Bildbereiche erster Art zu erreichen ist es nun zum einen möglich die diesen Bildbereichen zugeordneten Bilddaten aufzuhellen. Andererseits kann eine Hervorhebung der Bildbereiche der ersten Art jedoch auch dadurch erzielt werden, indem die Bildbereiche der zweiten Art in ihrer Intensität abgesenkt werden. Dies entspricht den in der Figur 2 schematisch dargestellten Bilddaten (1) . Beim Verglich mit den Intensitäten aus der in der Figur 1 dargestellten Verkehrsszene ist zu erkennen, dass die Objekte (2,3) und der diese direkt umgebende Bildbereich (2a, 3a) in ihrer Intensität konstant gehalten wurden, während die anderen Bildbereiche in ihrer Intensität und somit Wahrnehmbarkeit deutlich abgesenkt wurde. Hierdurch ergibt sich eine Hervorhebung der Bildbereiche erster Art quasi dadurch, dass über die verbleibenden Bildbereiche eine Art dunkler Schleier gelegt wird. In Abhängigkeit des jeweiligen Anwendungsgebie- tes und -zwecks kann es sich jedoch in gewinnbringender Weise anbieten, gleichzeitig sowohl die Bildbereiche erster Art aufzuhellen als auch die Bildbereiche zweiter Art in ihrer Intensität abzusenken.
[0017] Aus der Figur 2 ist weiter ersichtlich, dass sich durch die zusätzliche Hervorhebung des die relevanten Objekte (2,3) direkt umgebenden Bereichs (2a, 3a) in besonders vorteilhafter Weise auch eine Hervorhebung anderer zu Beurteilung der Verkehrsszene hilfreicher Detailinformation ergibt; hier die Anzeige des Straßenrandes in dem hervorgehobenen Bildbereich der ersten Art. Wird wie im Stand der Technik beschrieben nur das Objekt (2,3) selbst aus den Bilddaten hervorgehoben, so treten gerade dies zur Beurteilung der Verkehrssituation ebenfalls wichtigen Umgebungsdetails eben gerade in den Hintergrund, so dass sich hier eine zusätzliche Erschwerung der Wahrnehmung durch den Fahrzeugführer ergibt .
[0018] Die Wahrnehmbarkeit der dem Fahrzeugführer mittels der Bildanzeige dargestellten manipulierten Bilddaten (1) der Verkehrsszene lässt sich auch dadurch erreichen, dass alternativ oder ergänzend zu einer Abdunklung der Bildbereiche der zweite Art diese Bildbereiche zumindest in Teilen vereinfacht, beispielsweise mit reduziertem Kontrast oder schematisch, beispielsweise durch Überlagerung mit einer Textur oder aber symbolisch dargestellt werden. Dies macht insbesondere für Teilbereiche Sinn, welche sich in weiterer Entfernung von der Fahrbahn befinden und so für eine Abschätzung von Gefahrenpotential durch den Fahrzeugführer ohnehin irrelevant sind.
[0019] Im Rahmen der Manipulation der Bilddaten können die Bildbereiche der zweiten Art auch vereinfacht werden, indem die Bildschärfe und/oder die Intensität in diesen Bildbereichen angepasst werden. Durch die Anpassung der Bildschärfe und/oder der Intensität wird in einer gewinnbringenden Weise die Information in den Bildbereichen der zweiten Art reduziert. Der Bildkontrast bleibt hierbei vorzugsweise unverändert . In diesem Zusammenhang sind beispielsweise aus der digitalen Bildverarbeitung auch weitere Verfahren zur Anpassung der Bildinformationen, wie z.B. das sog. Tone-Mappingverfahren oder Kontrast- Maskierungsverfahren, bereits bekannt.
[0020] Weiterhin besteht die Möglichkeit, dass die Bilddaten der Bildbereiche der zweiten Art in ihrer Farbe manipuliert werden und/oder dass sie in ihren Färb- oder Helligkeitsverläufen mit weichem Übergang, ohne harte Grenzen zu den Bildbereichen der ersten Art angezeigt werden. Durch eine derartige Einfärbung unterscheiden sich die nicht interessierenden Bereiche zweiter Art von den interessierenden Objekten in den Bereichen erster Art deutlich, wodurch der Benutzer die in den Bilddaten enthaltenen Objekte schnell und auf eine besonders zuverlässige Weise erkennen kann.
[0021] In der Figur 3 ist eine weitere besonders vorteilhafte Ausgestaltung der Erfindung aufgezeigt. Hierin wurden die Bilddaten aus den Bildbereichen der zweiten Art, welche weiteren erkannten Objekten (4,5) zuzuordnen sind, einer dritten Art von Bereichen zugeordnet. Wie hier aufgezeigt, kann es sich bei den weiteren Objekten beispielsweise um Fahrzeuge (4,5) handeln. So kann eine primär auf die Visualisierung von Fußgängern (2,3) spezifizierte Bilddarstellung, weiter verbessert werden, indem zusätzlich auch andere Objekte, hier Fahrzeuge, erkannt und gesondert in Bildbereichen dritter Art dargestellt werden können. Wie in der Figur 3 gezeigt, werden neben den hervorgehobenen Bildbereichen erster Art zusätzlich auch noch die in den Bildbereichen dritter Art enthaltenen Fahrzeuge (4,5) dargestellt. Es wird so möglich, neben den hervorzuhebenden Objekten in den Bildbereichen der ersten Art auch noch weitere gegebenenfalls relevante Objekte auf der Bildanzeige deutlich darzustellen. Hierbei bietet es sich jedoch an, insbesondere um den Effekt der Hervorhebung die Bilddaten der Objekte in den Bildbereichen der ersten Art nicht unnötig abzuschwächen, die Objekte in den Bildbereichen der dritten Art in anderer Weise zu manipulieren. In einer bevorzugten Ausgestaltung bei der die Bildbereiche der ersten Art aufgehellt werden und die Bildbereiche der zweiten Art in ihrer Intensität abgesenkt werden, könnten die Bildbereiche der dritten Art mit der durch die Kamera ursprünglich erfassten Intensität abgebildet werden, so dass sich eine leicht wahrnehmbare dreistufige Intensitätsgruppierung im Bild ergibt.
[0022] Auch besteht die Möglichkeit, dass die Bilddaten der Bildbereiche der dritten Art in ihrer Farbe manipuliert werden und/oder dass sie in ihren Färb- oder Helligkeitsverläufen mit weichem Übergang, ohne harte Grenzen zu den Bildbereichen der ersten Art und/oder der zweiten Art angezeigt werden. Dabei bietet es sich an, die Farbe derart zu wählen, sodass sich die Bildbereiche einerseits deutlich von den Bildbereichen zweiter Art abheben und andererseits die Hervorhebung der Bilddaten der Objekte in den Bildbereichen der ersten Art nicht unnötig abgeschwächt werden.
[0023] Als vorteilhafte Alternative zu der direkten Manipulation der den Bildbereichen der ersten Art zuzuordnenden BiId- daten im Sinne einer Aufhellung oder ähnlichem ist es sehr wohl auch denkbar auf die Daten anderer Sensoren oder Sensorströme zurückzugreifen und mit diesen die ursprünglich von der Kamera des Bildanzeigesystems gelieferten Bilddaten zu ersetzen. So könnten beispielsweise die Bilddaten einer Infrarot-Kamera teilweise durch die Bilddaten einer ebenfalls im Fahrzeug befindlichen Farbkamera ersetzt werden. Dies kann vor allem dann von großem Vorteil sein, wenn es sich bei den hervorzuhebenden Objekten um Ampelanlagen handelt. Hier könnten in die , schwarz-weiß' Daten der Infrarot-Kamera die Hervorhebung der Ampeln durch Ersetzung der Bilddaten in den Bildbereichen erster Art durch farbige Bildinformation einer Farbkamera erfolgen. Da die Bildbereiche erster Art sowohl die relevanten Objekte (hier Ampeln) als auch deren direkte Umgebung enthalten, ist es nicht besonders kritisch, wenn sich auf Grund von Paralaxenfehlern zwischen den beiden Kamerasystemen an den Übergängen zwischen den Bildbereichen erster Art und den Bildbereichen zweiter Art Sprünge bzw. Verzerrungen in der Bilddarstellung der Verkehrsszene ergeben. Alternativ wäre es beispielsweise sehr wohl auch denkbar einen Bildbereich erster Art in einem Infrarot-Bild durch eine aufgearbeitete Information eines Radarsystems, insbesondere eines hochauflösenden (bildgebenden) Radarsystems, zu ersetzen.
[0024] In besonderer Weise ist es auch denkbar der Bildanzeige eine Kamera zuzuordnen welche Bildinformation sowohl im visuellen als auch im infraroten Wellenlängenbereich, insbesondere im nahen infraroten Wellenlängenbereich, erfasst . Hierbei ist es dann auch denkbar, dass diese Kamera Bilddaten aus gewichteten Anteilen des sichtbaren und des infra-roten Wellenlängenbereichs erfasst oder dass die von der Kamera erfassten Bilddaten im nachhinein einer Gewichtung unterzogen werden; so könnten beispielsweise die Bilddaten im visuellen blau/grünen Bereich abgeschwächt werden.
[0025] Der Bilddarstellung in der Figur 4 liegt eine, bereits zuvor beschriebene, spezielle Ausgestaltung der Objekterkennung zugrunde. Hierbei wurden mittels der Objekterkennung zum einen Personen (2,3) als auch ein sich direkt vor dem eigenen Fahrzeug befindliches anderes Objekt (5) , hier ebenfalls ein Fahrzeug, als hervorzuhebende Objekte ausgewählt. Aus der Figur 4 geht hervor, dass der in den Bildbereichen der ersten Art den Objekten (2, 3, 4, 5) jeweils zugeordnete Umgebungsbereich (2a, 3a, 4a) in der Form seines seinem Umrisses unterschiedlich gewählt werden kann. So weisen die Umgebungsbereiche 2a und 3a einen elliptisch geformten Umriss auf, während der dem Fahrzeug 4 zugeordnete direkte Umgebungs- bereich (4a) in seinem Umriss im Wesentlichen der Objektform angepasst ist. Selbstverständlich sind anwendungs-spezifisch jegliche andere Arten von Umrissen denkbar, insbesondere runde oder rechteckige .
[0026] Es ist auch denkbar zur Hervorhebung der in der Verkehrsszene enthaltenen relevanten Objekte die Bilddaten der Bildbereiche der ersten Art in ihrer Farbe zu manipulieren. Hierbei kann es sich zum einen um eine einfache Einfärbung, insbesondere hin zu gelben oder roten Farbtönen handeln. Zum anderen ist es aber sehr wohl möglich die Färb- oder Helligkeitsverläufen der Bilddaten so zugestalten, dass sich entweder weicher Übergang, ohne harte Grenzen zu den Bildbereichen der zweiten Art ergibt. Eine derartige Manipulation der Bilddaten bietet sich insbesondere bei Bildbereichen der ersten Art an, bei welchen die Bilddaten von anderen Sensoren oder Sensorströmen abgeleitet wurden. [0027] Besonders deutlich werden die Bildbereiche der ersten Art in den Bilddaten (1) dann hervorgehoben, wenn diese Bildbereiche blinkend oder pulsierend dargestellt werden. Hierbei ist es denkbar die Frequenz des Blinkens oder Pulsierens in Abhängigkeit eines von den hervorzuhebenden Objekten ausgehenden Gefahrenpotentials zu gestalten, insbesondere auch Abhängig von deren Entfernung oder deren Relativgeschwindigkeit in Bezug auf das eigene Fahrzeug.
[0028] Gewinnbringend kann die Manipulation der Bilddaten in den Bildbereichen der ersten Art so erfolgt, dass die Hervorhebung dieser Bereiche in den dargestellten Bilddaten (1) in ihrer Wahrnehmbarkeit zeitlich variiert. Hierdurch kann beispielsweise erreicht werden, dass neu erkannten Objekten zugeordnete Bildbereiche erst nur schwach und dann mit fortschreitender Dauer der Erkennung deutlich hervorgehoben werden. Auf diese Weise wirken sich Erkennungsfehler bei der Objekterkennung innerhalb der von der Kamera aufgenommen Bilddaten nur unwesentlich aus, da die anfängliche schwache Hervorhebung von derartig falsch detektierten Objekten den Fahrzeugführer nicht unnötig ablenkt.
[0029] Generell ist es von Vorteil, wenn die Hervorhebung der Bildbereiche der ersten Art abhängig von Parametern des im Bildbereich enthaltenen Objekts (2,3,4,5) gewählt bzw. variiert wird. Dabei ist es beispielsweise denkbar diejenigen Parameter eines Objekts (2,3,4,5) heranzuziehen, welche dessen Entfernung, das von ihm ausgehende Gefahrenpotential oder dessen Objekttyp beschreiben. So wäre es denkbar Bildbereiche, in welchen sich Objekte abbilden, welche sich schnell auf das eigene Fahrzeug zu bewegen, mit Rottönen einzufärben. Oder Bildbereiche in denen sich weit entfernte Objekte abbilden könnten mit einer schwachen Färbung versehen werden. Auch könnten beispielsweise hervorzuhebende Bildbereiche mit Personen mit einem anderen Farbton als Bereiche mit Fahrzeugen gefärbt werden, um so bei einer intuitiven Objektwahrnehmung zu unterstützen.
[0030] Weiterhin ist es von Vorteil, wenn die Hervorhebung der Bildbereiche der ersten Art in Abhängigkeit von der Objekterkennung gewählt wird, wobei wenigstens ein Parameter ausgewertet wird, welcher die Sicherheit und/oder Qualität der Objekterkennung beschreibt. Der wenigstens eine Parameter wird von der Erkennereinheit bzw. dem Klassifikator mittels dem die Objekterkennung durchgeführt wird, geliefert. Beispielsweise liefert ein Klassifikator an seinen Ausgängen ein normiertes Maß, welches die Erkennungssicherheit bzw. -qualität beschreibt. Vorzugsweise wird in diesem Zusammenhang das Ausmaß der Hervorhebung mit zunehmender ErkennungsSicherheit bzw. -qualität größer gewählt.
[0031] Auch ist es vorteilhaft, wenn die Hervorhebung der Bildbereiche der ersten Art auf einer Vergrößerung dieser Bildbereiche basiert. Ein im Bildbereich erster Art enthaltenes Objekt (2,3,4,5) wird somit vergrößert dargestellt, wie dies in gleicher Weise bei einer Betrachtung mittels einer Lupe der Fall ist. Dadurch können Objekte (2,3,4,5) auf besonders einfache Weise wahrgenommen werden. In diesem Zusammenhang besteht auch die Möglichkeit, dass entweder nur der jeweilige Bildbereich, welcher ein Objekt (2,3,4,5) enthält, oder aber der jeweilige Bildbereich der ersten Art und dessen zugeordnete (r) Umgebungsbereich (e) (2a, 3a, 4a) vergrößert dargestellt wird.
[0032] In einer gewinnbringenden Weise erfolgt die Hervorhebung von Bildbereichen der ersten Art mittels einer virtuellen Beleuchtungsquelle, womit die Objekte (2,3,4,5) beleuchtet werden. Derartige virtuelle Beleuchtungsquellen werden z.B. im Zusammenhang mit Grafikprogrammen standardmäßig eingesetzt, wobei neben der Art der Beleuchtungsquelle zusätzlich auch zahlreiche Beleuchtungsparameter ausgewählt werden können. Dabei sind die Beleuchtungsposition und/oder die Beleuchtungsrichtung frei wählbar, beispielsweise mittels einer Eingabe durch den Benutzer. Es ist auch möglich, dass der Lichtstrahl bzw. die Lichtkeule ansich dargestellt wird, welcher beispielsweise im Zusammenhang bei einer konventionellen Beleuchtungsquelle bei Nebel sichtbar ist. Hierdurch wird dem Benutzer durch den Lichtstrahl bzw. die Lichtkeule die Richtung zum jeweiligen Objekt (2,3,4,5) hin angezeigt, wodurch die Objekte (2,3,4,5) auf besonders einfache Weise in den dargestellten Bildern erfasst werden können.
[0033] In einer weiteren gewinnbringenden Weise erfolgt die Hervorhebung der Bildbereiche der ersten Art derart, dass an Objekten (2,3,4,5) entstehende Schatten abgebildet werden. Durch die Beleuchtung der Objekte (2,3,4,5) mit einer virtuellen Beleuchtungsquelle entstehen in Abhängigkeit von der virtuellen Beleuchtungsposition Schatten im virtuellen 3D-Raum. Diese Schatten werden in vorteilhafter Weise in die 2D-Darstellung der Bilddaten (1) auf der Anzeigeeinheit projiziert somit entsteht bei der 2D-Darstellung ein Eindruck wie dies bei einer 3D-Darstellung der Fall ist.
[0034] Die Hervorhebung der Bildbereiche der ersten Art erfolgt bei einer bevorzugten Ausgestaltung der Erfindung derart, dass die Objekte (2,3,4,5) nur teilweise hervorgehoben werden. Beispielsweise erfolgt bei der Darstellung von Personen lediglich eine Hervorhebung im Bereich der Beine. Hierdurch wird die Darstellung insbesondere in komplexen Umgebungen vereinfacht und lässt sich dadurch deutlicher darstellen.
[0035] In besonderer Weise ist es sehr wohl denkbar, die Darstellung der Bildbereiche zweiter Art abhängig von der Erkennung eines im Bildbereich der ersten Art enthaltenen Objekts (2,3) zu gewählt bzw. variiert wird. Dabei ist es beispielsweise denkbar die Darstellung in Abhängigkeit von Parametern dieses erkannten Objekts (2,3) zu wählen bzw. zu variieren, welche dessen Entfernung, das von ihm ausgehende Gefahrenpotential oder dessen Objekttyp beschreiben.
[0036] Insbesondere sollte bei Erkennung eines Objektes (2,3) in einem ersten Bildbereich Darstellung des zweiten Bildbereiches abgedunkelt erfolgen. Dabei ist es besonders vorteilhaft, wenn diese Abdunklung in mehreren, insbesondere 2 oder 3, Stufen erfolgt. So kann die gestufte Abdunkelung insbesondere an einen Parameter gekoppelt erfolgen, der ein in einem ersten Bildbereich erkanntes Objekt (2,3) beschreibt, wie beispielsweise das von ihm ausgehende Gefahrenpotential .
[0037] Bewegt sich das mit der erfindungsgemäßen Bildanzeige versehene Fahrzeug entlang der Fahrbahn, so unterliegt dessen dynamisches Verhalten häufig relativ raschen Änderungen (Rütteln und Wackeln) , insbesondere bedingt durch Fahrbahnunebenheiten. Verursacht durch die starre Kopplung zwischen Kamera und Fahrzeugkörper bewirken die raschen dynamischen Änderungen ein , wackeln' der Bilddarstellung auf der Anzeige. Werden die von einer Kamera aufgenommen Bilddaten unverändert auf der Anzeige dargestellt, wird dieses , Wackeln' nicht besonders deutlich wahrgenommen. Dann aber wenn in der Bilddarstellung Objekte oder ganze Objektbereiche hervorgehoben dargestellt werden, kann dies insbesondere bei der Aufhellung dieser Bereiche auf einer Anzeige im abgedunkelten Fahrzeuginnenraum auf den Fahrer äußerst störend wirken. Deshalb wird in einer vorteilhaften Ausgestaltung der Erfindung bei den hervorgehobenen Bildbereichen der ersten Art der den hervorzuhebenden Objekten (2,3,4,5) jeweils zugeordnete Umgebungsbereich (2a, 3a, 4a) in seiner Lage zu dem zugeordneten Objekt zeitlich so veränderlich gewählt wird, dass sich die Positionen der Bildbereiche in der Darstellung der Bilddaten (1) auf der Anzeige nur träge verändern.
[0038] Die Bildbereiche der ersten Art sind durch das darin befindliche Objekt (2,3,4,5) und den direkt daran anschließenden Umgebungsbereich (2a, 3a, 4a) definiert. Wenn nun in den Fällen, bei welchen die Objekterkennung in den von der Kamera erfassten Bilddaten im Rahmen einer Objektverfolgung ein hervorzuhebendes Objekt zeitweilig nicht mehr erkennt, würde dies zwangsläufig zur Aufgabe der hervorgehobenen Darstellung des entsprechenden Bildbereichs der ersten Art führen. Dies ist aber im Allgemeinen nicht wünschenswert, da insbesondere bei schlechten Lichtverhältnissen immer mit einer zeitweiligen Nicht-Erkennung eines an sich vorhandenen Objektes gerechnet werden muss. Ein hieraus resultierendes Aktivieren und Deaktivieren der Hervorhebung eines entsprechenden Bildbereichs der ersten Art würde aber äußerst störend auf den Betrachter wirken.
[0039] Deshalb ist es in einer besonders vorteilhaften Weiterbildung der Erfindung vorgesehen, dass dann wenn ein Bildbereich der ersten Art hervorgehoben in den Bilddaten (1) dargestellt wird, ein darin potentiell abgebildetes Objekt (2,3,4,5) durch die Objekterkennung aber nicht mehr erkannt werden kann, trotzdem eine hervorgehobenen Darstellung dieses Bildbereichs während einer gewissen Zeitdauer fortgeführt wird. Ist es der Objekterkennung zwischenzeitlich dann wieder möglich das Objekt wieder zu erkennen, resultiert dies in einer im Wesentlichen störungsfreien Fortsetzung der Hervorhebung. Der Betrachter wird einzig wahrnehmen, dass kurzzeitig in dem hervorgehobenen Bildbereich kein Objekt zu erkennen sein wird; dies ist aber weiter nicht störend, da das Objekt evtl. immer noch schemenhaft wahrnehmbar ist.
[0040] Dann wenn über einen definierten (längeren) Zeitraum ein ehemals erkanntes Objekt in den Bilddaten nicht wieder erkannt werden kann, bietet es sich an die Hervorhebung des zugeordneten Bildbereichs erster Art abzubrechen und diesen Bildbereich anschließend wie einen Bildbereich zweiter Art zu behandeln. Dabei wird vorzugsweise der Hervorhebung nicht abrupt unterbrochen sondern zeitlich variiert, so dass dieses als eine Art langsames Ausblenden des Bildbereichs wahrgenommen wird .
[0041] Besonders gewinnbringend wird die erfindungsgemäße Bildanzeige mit Mitteln zur Erzeugung akustischer oder hapti- scher Signale in Verbindung gebracht. Hierdurch wird es möglich neben einer optischen Hervorhebung von Bildbereichen auf relevante Objekte im Umfeld des Fahrzeuges hinzuweisen.
[0042] In vorteilhafter Weise eignet sich die Erfindung zur bei einem Fahrerassistenzsystem zur Verbesserung der Sicht eines Fahrzeugführers bei Nacht (Nachtsichtsystem) , wozu zur Bildaufnahme bevorzugt eine im infraroten Wellenlängenbereich empfindliche Kamera verwendet wird. Anderseits ist sehr wohl auch ein gewinnbringender Einsatz im Rahmen eines Fahrerassistenzsystems zur Verbesserung zur verbesserten Wahrnehmung relevanter Information in Innenstadtszenarios (Innenstadt - assistent) denkbar, wobei hier insbesondere Ampelanlagen und/oder Verkehrszeichen als relevante Objekte hervorgehoben werden. [0Ö43] Heim Einsatz im Rahmen eines Fahrerassistenzsystems bietet es sich einerseits an die Bildanzeige als Headup- Display auszuführen, andererseits ist jedoch auch eine Einbringung des Display in den direkt vor den Fahrzeugführer befindlichen Armaturenbereich vorteilhaft, da der Fahrer zum Blick auf das Display nur kurz den Blick senken muss.

Claims

Patentansprüche
1. Verfahren zur Bildanzeige, bei welchem mittels einer Kamera Bilddaten aus dem Umfeld eines Fahrzeuges aufgenommen werden, bei welchem mittels einer Objekterkennung
Objekte (2,3,4,5) in den aufgenommenen Bilddaten erkannt werden, und bei welchem die Bilddaten (1) zumindest teilweise auf einer Anzeige dargestellt werden, wobei in den Bilddaten (1) die erkannten Objekte (2,3,4,5) zumindest teilweise hervorgehoben werden, dadurch gekennzeichnet, dass die Hervorhebung der erkannten Objekte (2,3,4,5) dergestalt erfolgt, dass die dargestellten Bilddaten (1) in zwei Arten von Bereichen eingeteilt werden, wobei die erste Art von Bereichen die erkannten und hervorzuhebenden Objekte (2,3,4,5) und einen sich jeweils entsprechend direkt daran anschließenden Umgebungsbereich (2a, 3a, 4a) umfassen, und wobei die zweite Art von Bereichen diejenigen Bilddaten (1) umfasst, welche nicht der ersten Art von Bereichen zugeordnet wurden, und dass die Bilddaten der beiden Arten von Bereichen in unterschiedlicher Weise manipuliert werden.
2. Verfahren nach Patenanspruch 1, dadurch gekennzeichnet, dass im Rahmen der Manipulation der Bilddaten die Bildbereiche der ersten Art aufgehellt werden.
3. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass im Rahmen der Manipulation der Bilddaten die Bildbereiche der zweiten Art abgedunkelt werden oder zumindest teilweise vereinfacht oder durch schematische bzw. symbolische Darstellungen ersetzt werden.
4. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass im Rahmen der Manipulation der Bilddaten die Bildbereiche der zweiten Art vereinfacht werden, indem die Bildschärfe und/oder die Intensität in diesen Bereichen angepasst werden.
5. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Bilddaten der Bildbereiche der zweiten Art in ihrer Farbe manipuliert werden, und/oder dass sie in ihren Färb- oder Helligkeitsverläufen mit weichem Übergang, ohne harte Grenzen zu den Bildbereichen der ersten Art angezeigt werden.
6. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Bilddaten der zweiten Art von Bereichen, welche erkannten Objekten (2,3,4,5) zuzuordnen sind, einer dritten Art von Bereichen zugeordnet werden, und dass die Bilddaten dieser dritten Art von Bereichen unterschiedlich zu den Bilddaten der zweiten Art von Bereichen manipuliert werden.
7. Verfahren nach Patenanspruch 6, dadurch gekennzeichnet, dass die Bilddaten der Bildbereiche der dritten Art keiner Manipulation unterzogen werden.
8. Verfahren nach Patentanspruch 6, dadurch gekennzeichnet, dass die Bilddaten der Bildbereiche der dritten Art in ihrer Farbe manipuliert werden, und/oder dass sie in ihren Färb- oder Helligkeitsverläufen mit weichem Übergang, ohne harte Grenzen zu den Bildbereichen der ersten Art und/oder der zweiten Art angezeigt werden.
9. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass im Rahmen der Manipulation der Bilddaten die Bilddaten der Bereiche erster Art durch die entsprechenden Bilddaten eines anderen Sensors oder eines anderen Sensorstroms ersetzt werden.
10. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass in den Bildbereichen der ersten Art den Objekten (2,3,4,5) jeweils zugeordnete Umgebungsbereich (2a, 3a, 4a) in seinen Umriss elliptisch oder kreisförmig oder der Objektform angepasst gewählt wird.
11. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Bilddaten der Bildbereichen der ersten Art in ihrer Farbe manipuliert werden, und/oder dass sie in ihren Färb- oder Helligkeitsverläufen mit weichem Übergang, ohne harte Grenzen zu den Bildbereichen der zweiten Art angezeigt werden.
12. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Bilddaten der Bildbereiche der ersten Art blinkend oder pulsierend dargestellt werden.
13. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Manipulation der Bilddaten in den Bildbereichen der ersten Art so erfolgt, dass die Hervorhebung dieser Bereiche in den dargestellten Bilddaten (1) in ihrer Wahrnehmbarkeit zeitlich variiert .
14. Verfahren nach Patenanspruch 10, dadurch gekennzeichnet, dass die zeitliche Variation so erfolgt, dass die Wahrnehmbarkeit der Hervorhebungen mit der fortschreitenden Dauer der Erkennung des in dem Bildbereich enthalten Objektes (2,3,4,5) zunimmt.
15. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Hervorhebung der Bildbereiche der ersten Art abhängig von Parametern des im Bildbereich enthaltenen Objekts (2,3,4,5) gewählt bzw. variiert wird, wobei die Parameter die Entfernung des Objekts (2,3,4,5) oder das von ihm ausgehende Gefahrenpotential oder dessen Objekttyp beschreiben.
16. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Hervorhebung der Bildbereiche der ersten Art in Abhängigkeit von der Objekterkennung gewählt wird, wobei wenigstens ein Parameter ausgewertet wird, welcher die Sicherheit und/oder Qualität der Objekterkennung beschreibt .
17. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Hervorhebung der Bildbereiche der ersten Art auf einer Vergrößerung dieser Bildbereiche basiert.
18. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Hervorhebung von Bildbereichen der ersten Art mittels einer virtuellen Beleuchtungsquelle erfolgt, womit Objekte (2,3,4,5) beleuchtet werden.
19. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Hervorhebung der Bildbereiche der ersten Art derart erfolgt, dass an Objekten (2,3,4,5) entstehende Schatten abgebildet werden.
20. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Hervorhebung der Bildbereiche der ersten Art derart erfolgt, dass die Objekte (2,3,4,5) nur teilweise hervorgehoben werden.
21. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass die Darstellung der Bildbereiche der zweiten Art in Abhängigkeit der Erkennung von Objekten in Bildbereichen erster Art gewählt oder variiert wird.
22. Verfahren nach Patentanspruch 21, dadurch gekennzeichnet, dass die Bilddaten der Bildbereiche der zweiten Art, abgedunkelt dargestellt werden.
23. Verfahren, nach Patentanspruch 22, dadurch gekennzeichnet, dass die Abdunklung, in Abhängigkeit eines Parameters des im ersten Bildbereich erkannten Objektes, in mehreren Stufen erfolgt .
24. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass der in den Bildbereiche der ersten Art den jeweiligen Objekten (2,3,4,5) zuzuordnende Umgebungsbereich (2a, 3a, 4a) in seiner Lage zu dem zugeordneten Objekt zeitlich so veränderlich gewählt wird, dass sich die Positionen der Bildbereiche in der Darstellung der Bilddaten (1) auf der Anzeige nur träge verändern.
25. Verfahren nach einem der vorhergehenden Patentansprüche, dadurch gekennzeichnet, dass dann wenn ein Bildbereich der ersten Art hervorgehoben in den Bilddaten (1) dargestellt wird, ein darin potentiell abgebildetes Objekt (2,3,4,5) durch die Obj ekterkennung nicht mehr erkannt werden kann, eine hervorgehobenen Darstellung dieses Bildbereichs während einer gewissen Zeitdauer fortgeführt wird.
26. Verfahren nach Patentanspruch 22, dadurch gekennzeichnet, dass dann, wenn nach Ablauf der Zeitdauer die Objekt- erkennung immer noch kein Objekt (2,3,4,5) in dem BiId- bereich erkennen kann, die Hervorhebung des Bildbereichs abgebrochen wird, und der Biidbereich anschließend wie ein Bildbereich zweiter Art behandelt wird.
27. Verfahren nach Patentanspruch 23, dadurch gekennzeichnet, dass der Abbruch der Hervorhebung mit zeitlicher Variation erfolgt.
28. Bildanzeige, umfassend eine Kamera zur Aufnahme von Bilddaten aus dem Umfeld eines Fahrzeuges, umfassend eine Objekterkennung zur Erkennung von Objekten (2,3,4,5) in den aufgenommenen Bilddaten, und umfassend eine Anzeige zur Darstellung zumindest von Teilen der aufgenommenen Bilddaten, wobei eine Bildverarbeitungseinrichtung vorgesehen ist, welche die Bilddaten so manipuliert, dass sie zumindest teilweise hervorgehoben auf der Anzeige dargestellt werden, dadurch gekennzeichnet, dass die Bildanzeige ein Mittel umfasst um die Bilddaten zumindest in zwei Arten von Bereichen einzuteilen, wobei wobei die erste Art von Bereichen die erkannten und hervorzuhebenden Objekte (2,3,4,5) und den sich jeweils entsprechend daran anschließenden Umgebungsbereich (2a, 3a, 4a) umfasst, und wobei die zweite Art von Bereichen diejenigen Bilddaten (1) umfasst, welche nicht der ersten Art von Bereichen zugeordnet wurden.
29. Bildanzeige nach Patentanspruch 25, dadurch gekennzeichnet, dass die Kamera Bilddaten aus dem infra-roten Wellenlängenbereich erfasst .
30. Bildanzeige nach Patentanspruch 25, dadurch gekennzeichnet, dass die Kamera Bilddaten aus gewichteten Anteilen des sichtbaren und des infra-roten Wellenlängenbereichs erfasst .
31. Bildanzeige nach einem Patentansprüche 25 oder 26, dadurch gekennzeichnet, dass es sich bei der Bildanzeige um ein im Armaturenbereich des Fahrzeuges befindliches Display handelt.
32. Bildanzeige nach einem der Patentansprüche 25 bis 27, dadurch gekennzeichnet, dass die Bildanzeige mit Mitteln zur Erzeugung akustischer oder haptischer Signale in Verbindung steht, mittels der neben einer optischen Hervorhebung von Bildbereichen durch weitere Signalisierung auf das vorhanden sein relevanter Objekte im Umfeld des Fahrzeuges hingewiesen werden kann.
33. Verwendung der Bildanzeige oder des Verfahrens zur Bildanzeige nach einem der vorhergehenden Patentansprüche als Fahrerassistenzsystem zur Verbesserung der Sicht eines Fahrzeugführers bei Nacht (Nachtsichtsystem) .
34. Verwendung der Bildanzeige oder des Verfahrens zur Bildanzeige nach einem der vorhergehenden Patentansprüche als Fahrerassistenzsystem zur Verbesserung zur verbesserten Wahrnehmung relevanter Information in Innenstadtszenarios (Innenstadtassistent) .
PCT/EP2007/002134 2006-03-17 2007-03-12 Virtuelles spotlight zur kennzeichnung von interessierenden objekten in bilddaten WO2007107259A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07723183A EP1997093B1 (de) 2006-03-17 2007-03-12 Virtuelles spotlight zur kennzeichnung von interessierenden objekten in bilddaten
US12/293,364 US20090102858A1 (en) 2006-03-17 2007-03-12 Virtual spotlight for distinguishing objects of interest in image data
JP2008558696A JP5121737B2 (ja) 2006-03-17 2007-03-12 画像データにおいて重要対象物を識別するためのバーチャルスポットライト

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102006012773A DE102006012773A1 (de) 2006-03-17 2006-03-17 Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
DE102006012773.0 2006-03-17
DE102006047777.4 2006-10-06
DE102006047777A DE102006047777A1 (de) 2006-03-17 2006-10-06 Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten

Publications (1)

Publication Number Publication Date
WO2007107259A1 true WO2007107259A1 (de) 2007-09-27

Family

ID=38162301

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2007/002134 WO2007107259A1 (de) 2006-03-17 2007-03-12 Virtuelles spotlight zur kennzeichnung von interessierenden objekten in bilddaten

Country Status (5)

Country Link
US (1) US20090102858A1 (de)
EP (1) EP1997093B1 (de)
JP (1) JP5121737B2 (de)
DE (1) DE102006047777A1 (de)
WO (1) WO2007107259A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100156892A1 (en) * 2008-12-19 2010-06-24 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
EP2624213A1 (de) 2012-02-04 2013-08-07 Audi Ag Verfahren zur Visualisierung des Umfelds eines Kraftfahrzeugs

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
DE102008017833A1 (de) 2008-02-06 2009-08-20 Daimler Ag Verfahren zum Betrieb einer Bildaufnahmevorrichtung und eine Bildaufnahmevorrichtung
US8054201B2 (en) * 2008-03-19 2011-11-08 Mazda Motor Corporation Surroundings monitoring device for vehicle
DE102008032747A1 (de) * 2008-07-11 2010-01-14 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Bildanzeige
US8350858B1 (en) * 2009-05-29 2013-01-08 Adobe Systems Incorporated Defining time for animated objects
JP5577398B2 (ja) 2010-03-01 2014-08-20 本田技研工業株式会社 車両の周辺監視装置
US8897816B2 (en) * 2010-06-17 2014-11-25 Nokia Corporation Method and apparatus for locating information from surroundings
JP5459154B2 (ja) 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
DE102012200762A1 (de) * 2012-01-19 2013-07-25 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur Signalisierung einer Verkehrssituation in einem Umfeld eines Fahrzeuges
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法
CN103076095B (zh) * 2012-12-11 2015-09-09 广州飒特红外股份有限公司 一种以平板电脑无线操控红外热像仪的机动载体夜间驾驶辅助系统
US20140354684A1 (en) * 2013-05-28 2014-12-04 Honda Motor Co., Ltd. Symbology system and augmented reality heads up display (hud) for communicating safety information
WO2014205231A1 (en) * 2013-06-19 2014-12-24 The Regents Of The University Of Michigan Deep learning framework for generic object detection
DE102013016246A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
CN107315249B (zh) * 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
DE102014114329A1 (de) * 2014-10-02 2016-04-07 Connaught Electronics Ltd. Kamerasystem für einen elektronischen Rückspiegel eines Kraftfahrzeugs
DE102015002923B4 (de) 2015-03-06 2023-01-12 Mekra Lang Gmbh & Co. Kg Anzeigeeinrichtung für ein Fahrzeug insbesondere Nutzfahrzeug
JP6904249B2 (ja) * 2015-03-19 2021-07-14 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法およびプログラム
US10373021B2 (en) * 2015-03-19 2019-08-06 Nec Corporation Object detection device, object detection method, and recording medium
JP6384419B2 (ja) * 2015-07-24 2018-09-05 トヨタ自動車株式会社 動物種類判定装置
US11648876B2 (en) 2015-09-02 2023-05-16 SMR Patents S.à.r.l. System and method for visibility enhancement
EP3139340B1 (de) * 2015-09-02 2019-08-28 SMR Patents S.à.r.l. System und verfahren zur verbesserung der sichtbarkeit
DE102015118977A1 (de) * 2015-11-05 2017-05-11 Connaught Electronics Ltd. Erfassungsvorrichtung für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016204795B4 (de) 2016-03-23 2022-06-02 Volkswagen Aktiengesellschaft Kraftfahrzeug mit einer Anzeigevorrichtung sowie Verfahren zum Betrieb eines Kraftfahrzeuges
EP3264371B1 (de) 2016-06-28 2021-12-29 Nokia Technologies Oy Vorrichtung zum austausch von ausgewählten objekten und entsprechende verfahren
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Ｓｏｋｅｎ 映像出力装置及び映像生成プログラム
CN111095363B (zh) * 2017-09-22 2024-02-09 麦克赛尔株式会社 显示系统和显示方法
EP3533667B1 (de) 2018-03-01 2020-09-16 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Vorrichtung und verfahren zur überwachung eines fahrzeugkamerasystems
DE102018004279A1 (de) 2018-05-29 2018-10-18 Daimler Ag Verfahren zur hervorgehobenen Anzeige
WO2021010467A1 (ja) * 2019-07-18 2021-01-21 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
EP3896604A1 (de) * 2020-04-16 2021-10-20 Toyota Jidosha Kabushiki Kaisha Fahr- und überwachungssystem für fahrzeuge; verfahren zur aufrechterhaltung eines ausreichenden standortes, computerprogramm und computerlesbares medium zur durchführung des verfahrens
JP7094349B2 (ja) * 2020-12-04 2022-07-01 マクセル株式会社 情報記録装置
US20220242433A1 (en) * 2021-02-02 2022-08-04 GM Global Technology Operations LLC Saliency-based presentation of objects in an image
US11827150B2 (en) 2021-09-21 2023-11-28 International Business Machines Corporation Computer-implemented object visibility improvement by interposing an image in a viewer's line-of-sight

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1158464A1 (de) * 2000-05-22 2001-11-28 Eastman Kodak Company Verfahren zur automatischen Ausschnittvergrösserung eines digitalisierten photographischen Bildes
DE10131720A1 (de) 2001-06-30 2003-01-16 Bosch Gmbh Robert Head-Up Display System und Verfahren
DE10203421C1 (de) * 2002-01-28 2003-04-30 Daimler Chrysler Ag Automobiles Infrarot-Nachtsichtgerät und automobiles Display
EP1407931A1 (de) * 2002-10-11 2004-04-14 Valeo Schalter und Sensoren GmbH Verfahren und System zur Unterstützung eines Fahrers
EP1617371A2 (de) * 2004-07-16 2006-01-18 Audi Ag Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3431678B2 (ja) * 1994-02-14 2003-07-28 三菱自動車工業株式会社 車両用周囲状況表示装置
CN1295658C (zh) * 1999-02-16 2007-01-17 世嘉股份有限公司 图象显示系统
CN1268115C (zh) * 2000-01-31 2006-08-02 虚拟广告系统Vas有限公司 更改用电视摄像机拍摄的可视对象的方法
JP4354085B2 (ja) * 2000-05-09 2009-10-28 本田技研工業株式会社 車両用ヘッドアップディスプレイ装置
US6952286B2 (en) * 2000-12-07 2005-10-04 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
JP3764086B2 (ja) * 2001-10-29 2006-04-05 本田技研工業株式会社 車両用情報提供装置
JP3962588B2 (ja) * 2002-01-07 2007-08-22 キヤノン株式会社 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
DE10257484B4 (de) * 2002-12-10 2012-03-15 Volkswagen Ag Vorrichtung und Verfahren zum Darstellen der Umgebung eines Fahrzeugs
US7400344B2 (en) * 2002-12-19 2008-07-15 Hitachi Kokusai Electric Inc. Object tracking method and object tracking apparatus
JP2004302903A (ja) * 2003-03-31 2004-10-28 Fuji Photo Film Co Ltd 車両表示装置
DE10348109A1 (de) * 2003-10-16 2005-05-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
JP4246691B2 (ja) * 2004-11-30 2009-04-02 本田技研工業株式会社 画像情報処理システム、画像情報処理方法、画像情報処理プログラム、及び自動車
DE102004060776A1 (de) * 2004-12-17 2006-07-06 Audi Ag Vorrichtung zur Aufnahme und Wiedergabe einer Bilddarstellung eines neben oder hinter einem Fahrzeug liegenden Verkehrsraumes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1158464A1 (de) * 2000-05-22 2001-11-28 Eastman Kodak Company Verfahren zur automatischen Ausschnittvergrösserung eines digitalisierten photographischen Bildes
DE10131720A1 (de) 2001-06-30 2003-01-16 Bosch Gmbh Robert Head-Up Display System und Verfahren
DE10203421C1 (de) * 2002-01-28 2003-04-30 Daimler Chrysler Ag Automobiles Infrarot-Nachtsichtgerät und automobiles Display
EP1407931A1 (de) * 2002-10-11 2004-04-14 Valeo Schalter und Sensoren GmbH Verfahren und System zur Unterstützung eines Fahrers
EP1617371A2 (de) * 2004-07-16 2006-01-18 Audi Ag Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100156892A1 (en) * 2008-12-19 2010-06-24 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
US9472014B2 (en) * 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
US9727995B2 (en) 2008-12-19 2017-08-08 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
EP2624213A1 (de) 2012-02-04 2013-08-07 Audi Ag Verfahren zur Visualisierung des Umfelds eines Kraftfahrzeugs

Also Published As

Publication number Publication date
US20090102858A1 (en) 2009-04-23
DE102006047777A1 (de) 2007-09-20
EP1997093A1 (de) 2008-12-03
EP1997093B1 (de) 2011-07-13
JP5121737B2 (ja) 2013-01-16
JP2009530695A (ja) 2009-08-27

Similar Documents

Publication Publication Date Title
EP1997093B1 (de) Virtuelles spotlight zur kennzeichnung von interessierenden objekten in bilddaten
DE102006012773A1 (de) Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
EP1673751B1 (de) Verfahren und vorrichtung zur sichtbarmachung einer fahrzeugumgebung
EP2426543B1 (de) Fahrerassistenzvorrichtung für ein Fahrzeug und Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeuges
DE102018201054A1 (de) System und Verfahren zur Bilddarstellung durch ein Fahrerassistenzmodul eines Fahrzeugs
EP2289044B1 (de) Bilddatenvisualisierung
DE102009020328A1 (de) Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
DE102014221647A1 (de) Fahrzeugscheinwerfersystem mit adaptiver Lichtverteilung
DE102012022691A1 (de) Objekt-Darstellung auf Headup-Displays in Abhängigkeit eines Nutzerblicks
EP1672588A2 (de) Vorrichtung zur Aufnahme und Wiedergabe einer Bilddarstellung eines neben oder hinter einem Fahrzeug liegenden Verkehrsraumes
EP1617371A2 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
AT519767B1 (de) Verfahren und system zur steuerung bzw. zum trainieren des fahrverhaltens eines fahrers über dessen blicklenkung
DE10247563A1 (de) Verfahren und System zur Unterstützung des Fahrers
DE10203421C1 (de) Automobiles Infrarot-Nachtsichtgerät und automobiles Display
DE10359192A1 (de) Nachtsichtsystem für ein Kraftfahrzeug
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE10016184A1 (de) Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs
WO2009097883A1 (de) Verfahren zum betrieb einer bildaufnahmevorrichtung und eine bildaufnahmevorrichtung
DE102013019114B4 (de) Verfahren und System zum Betreiben einer Anzeigeeinrichtung eines Kraftwagens sowie Kraftwagen mit einem System zum Betreiben einer Anzeigeeinrichtung
DE102011121473A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm
DE102006004770B4 (de) Verfahren zur bildgestützten Erkennung von Fahrzeugen im Umfeld eines Sraßenfahrzeugs
DE102008002567A1 (de) Bilddatenverarbeitungsverfahren
DE102019001336A1 (de) Vorrichtung zur Erfassung eines Fahrtzielbereichs
DE102016002470B4 (de) Sichtsystem für ein Fahrzeug, insbesondere Nutzfahrzeug
DE102005043159A1 (de) Einrichtung zur Darstellung eines Bildes im Blickfeld eines Fahrzeugführers

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07723183

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007723183

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2008558696

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12293364

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE