WO2006034924A1 - Verfahren zur darstellung eines von einer videokamera aufgenommenen bildes - Google Patents

Verfahren zur darstellung eines von einer videokamera aufgenommenen bildes Download PDF

Info

Publication number
WO2006034924A1
WO2006034924A1 PCT/EP2005/054016 EP2005054016W WO2006034924A1 WO 2006034924 A1 WO2006034924 A1 WO 2006034924A1 EP 2005054016 W EP2005054016 W EP 2005054016W WO 2006034924 A1 WO2006034924 A1 WO 2006034924A1
Authority
WO
WIPO (PCT)
Prior art keywords
factor
image
vehicle
gray values
picture elements
Prior art date
Application number
PCT/EP2005/054016
Other languages
English (en)
French (fr)
Inventor
Stephan Simon
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US11/664,357 priority Critical patent/US8487997B2/en
Priority to EP05774079A priority patent/EP1797710A1/de
Priority to JP2007533983A priority patent/JP4457150B2/ja
Publication of WO2006034924A1 publication Critical patent/WO2006034924A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Definitions

  • the invention relates to a method for displaying an image of a scene in front of a vehicle taken by a video camera, wherein the scene in front of the vehicle contains a roadway which is illuminated by headlights of the vehicle.
  • the healthy human eye is able to detect such high contrast situations relatively well. Even with modern video cameras, a high contrast range can be processed.
  • One problem, however, is that it is currently not technically possible to display the full range of contrast on a screen so that the human eye can fully capture it. This leads to the situation described above, that the roadway or nearby objects that are in the headlight cone, image radiated appear while distant dimly lit objects are barely perceptible.
  • Object of the present invention is therefore, even scenes with high
  • This object is achieved according to the invention in that the gray values of the picture elements of the image data generated by the video camera are evaluated in such a way that a reduction factor which depends on the location of the respective picture element within the picture and on the brightness of objects in the vicinity in front of the vehicle the contrast between the reproduction of the close range in front of the vehicle and the reproduction of other parts of the image is reduced.
  • the objects in the vicinity are usually formed by the road, with the near range being that distance range which differs with respect to the brightness of the road
  • Headlamp beam clearly different from further away areas.
  • the method also allows other illuminated objects at close range to affect the descent factor.
  • Image elements are calculated from a first factor that determines the distribution of the subsidence across the image, and a second factor that determines the degree of subsidence regardless of the location within the image.
  • the invention is not limited to use with infrared headlamps and an infrared sensitive camera, but may well be with visible
  • An advantageous embodiment of the method according to the invention consists in that the first factor substantially corresponds to the camera image of the brightness distribution of a well-remitted carriageway illuminated by the headlamps.
  • the first factor is stored as a matrix of values.
  • the determination of the first factor can be carried out experimentally by directing the headlights of a vehicle onto a lane with a light surface, whereby an averaging can be carried out over a series of images, wherein the vehicle preferably moves on the lane.
  • the image thus obtained can be filtered with a low-pass filter, so that irregularities in the illumination are smoothed and thus do not affect the first factor.
  • the first factor analytically, for example, from the result of using a ray tracing method, wherein the illumination by the headlights, the reflection on the road surface and the image acquisition are mathematically modeled.
  • the second factor is formed from the ratio of a first and a second average value, wherein an assignment of the average values for forming the first and second average value is carried out inversely in dependence on the first factor.
  • a first embodiment of this embodiment consists in the fact that the assignment takes place in that the gray values of picture elements for which the first factor is smaller than a threshold value are included in the first average value, and in that the gray values of picture elements for which the first factor is greater as the threshold is in the - A -
  • the threshold value can be at half the maximum value of the first factor, but other threshold values are also possible. This embodiment allows the formation of the second factor with relatively little computational effort.
  • a second embodiment of this embodiment is more precisely adapted to the variation of the values of the first factor and consists in the gray values of the picture elements being multiplied by the first factor to form the first average value and multiplied by the first factor to form the second average value, and summed in each case become.
  • each tenth pixel can be used in both the horizontal and vertical directions.
  • the second factor is limited to a value which does not cause brightening of the image.
  • the weighting of the extent to which image elements used in the formation of the second factor belong to an inner, brighter image area or to an outer, darker image area need not be continually recalculated become.
  • weights for the picture elements used to form the second factor are stored in a memory.
  • FIG. 2 shows a schematic representation of a screen for displaying the first factor
  • FIGS. 3 and 4 show gradients of the gray values of the first factor in a selected one
  • FIGS. 5 and 6 show weighting factors in the course of the selected line according to a first exemplary embodiment of the method according to the invention
  • FIG. 10 shows the course of the gray values in a column of the image according to FIG. 9 without reduced contrast
  • Fig. 1 illustrates a device for carrying out the method according to the invention, wherein some blocks circuits and other parts (hardware) and other blocks represent parts of a program which is executed in a microcomputer.
  • a camera 1 "sees" for example through the windscreen 2 of a vehicle, not shown. This is preferably a sensitive in the near infrared range camera.
  • the scene in front of the vehicle is illuminated by headlamps 12, 13 which are switched on or off by a control device 11 according to the driver's input or automatically. Also pivotable headlights, such as those for tracking curves, can be operated together with the inventive method.
  • the video camera 1 is provided with a scattered light aperture, not shown, and connected to a control device 3, which makes in particular the adaptation of the camera to the different lighting conditions.
  • the video camera 1 generates digital video signals, also called image data. Because it is usually a monochrome
  • the image data for each pixel (pixels) at the coordinates x, y contain a gray value g.
  • This is in each case fed to a weighted averaging of gray values, wherein the weighted averaging 4 substantially takes into account the picture elements lying outside the illuminated roadway, while in FIG Gray values of the picture elements are essentially averaged in the area of the illuminated roadway.
  • the two mean values ml and m2 are divided at 6, resulting in the second factor f.
  • the first factor h is stored in a memory 7 as well as parameters w1 and w2. Since the illumination is dependent on the respective headlamp setting, a plurality of parameter sets wl, w2, h are stored in the memory 7, of which a parameter set is read out of the memory by the control device 11 of the headlights 12, 13.
  • the weighted gray values are then fed to a driver 9 of a screen 10.
  • the video camera 1 is directed onto a surface that is easy to remedy, which is illuminated by the headlights as well as a roadway. Then, the image shown in Fig. 2 is formed, the decreasing brightness being represented as lines of equal brightness. In simple terms, this results in an inner area
  • FIGS. 3 to 8 as well as FIGS. 10 and 11 respectively show the course of the gray values and parameters for a selected column V and a selected row
  • the gray values in the selected column gradually increase from the center to the bottom, while in the selected row in a middle region the gray values are high and gradually towards the edges lose weight.
  • the recorded values are stored in memory as the first factor h (x, y) for all picture elements.
  • a possibility shown in FIGS. 5 and 6 is that by comparing the factor h with a Threshold all parameters w2 for the image area 21 take the value 1 and outside this range are O, while the parameter wl for pixels outside the range 1 and for pixels within the range O is.
  • a 1 means that the corresponding picture element is included in the averaging and an O that it does not enter the averaging.
  • the second factor calculated with the aid of the parameters w1 and w2 and thus also the lowering factor acts over the entire image, so that no edges occur at the points where w1 and w2 have jumps. At most, sudden changes in the reduction factor may occur if a brightness jump in the image exceeds the limits between the regions 21 and 22, which are caused by the jumps in the parameters w1 and w2. Otherwise, this embodiment is characterized by a relatively low demand for computing power.
  • the image areas 21 and 22 are not artificially separated by a sharp boundary, but the actually existing gradual transitions of the first factor h to produce the parameters w1 and w2 used. This happens because w2 corresponds to the first factor h (FIG. 7) and that to form w1 the
  • nl and n2 are the number of the representative picture elements in the respective Area are.
  • FIG. 9 illustrates the simplified image of a real scene with the image of a lane 24 on which a person 23 is located.
  • the image areas 21 and 22 and the selected column V and line H shown in FIG. 2 are shown.
  • 10 shows the gray values G of the recorded signal.
  • the gray values 25 which represent the person are typically substantially lower than the gray levels 26 of the lane 24 illuminated in the foreground, provided that the roadway 24 is light, that is, for example, a dry concrete or gravel road.
  • the gray values 25 are essentially retained, while the gray values 26 'are markedly lowered compared to the gray values 26 (FIG. 11).
  • Figures 12 and 13 show screens, wherein Figure 12 was taken without the application of the inventive measures. It can be clearly seen that the roadway, in this case the forest track, outshines other image details such that the images of the on-the-way people do not stand out as clearly as in the screen of Figure 13 in which the brightness of the roadway is significantly lowered is. Even at a glance, the driver immediately perceives the persons on the way. As a further effect is shown in Fig. 13, that the structures of the path are better recognizable than without the lowering of the contrasts.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

Bei einem Verfahren zur Darstellung eines von einer Videokamera aufgenommenen Bildes einer Szene vor einem Fahrzeug, wobei die Szene vor dem Fahrzeug eine Fahrbahn enthält, die von Scheinwerfern des Fahrzeugs beleuchtet wird, ist vorgesehen, dass die Grauwerte der Bildelemente der von der Videokamera erzeugten Bilddaten mit einem Absenkungsfaktor, der vom Ort des jeweiligen Bildelements innerhalb des Bildes und von der Helligkeit von Objekten im Nahbereich vor dem Fahrzeug abhängig ist, derart bewertet werden, dass der Kontrast zwischen der Wiedergabe des Nahbereichs vor dem Fahrzeug und der Wiedergabe anderer Teile des Bildes verringert wird.

Description

Verfahren zur Darstellung eines von einer Videokamera aufgenommenen Bildes
Stand der Technik
Die Erfindung betrifft ein Verfahren zur Darstellung eines von einer Videokamera aufgenommenen Bildes einer Szene vor einem Fahrzeug, wobei die Szene vor dem Fahrzeug eine Fahrbahn enthält, die von Scheinwerfern des Fahrzeugs beleuchtet wird.
Mit zunehmender Verbesserung der Bildaufnahmetechnik entstanden bereits aktive Nachtsichtsysteme für Kraftfahrzeuge, bei denen eine Infrarot-Beleuchtung die Szene vor dem Fahrzeug ausleuchtet und das Bild von einer Infrarot empfindlichen Videokamera aufgenommen wird. Eine besondere Schwierigkeit bei diesen Systemen stellt der hohe Kontrast der aufgenommenen Szene dar. Ein hoher Kontrast entsteht beispielsweise, wenn sich im nahen Bereich eine gut remittierende Fahrbahnoberfläche oder ein gut remittierendes hell angestrahltes Objekt befindet, das eventuell sogar noch zusätzlich selbst leuchtet, und wenn gleichzeitig ein fernes schlecht remittierendes und schwach angestrahltes Objekt vorhanden ist, dessen rechtzeitiges Erkennen aber wichtig ist. Ein solches Objekt ist beispielsweise ein dunkel gekleideter Fußgänger.
Das gesunde menschliche Auge ist in der Lage, derartige Situationen mit hohem Kontrast relativ gut zu erfassen. Auch mit modernen Videokameras kann ein hoher Kontrastumfang verarbeitet werden. Ein Problem liegt jedoch darin, dass es derzeit technisch nicht möglich ist, den vollen Kontrastumfang auf einem Bildschirm so darzustellen, dass das menschliche Auge ihn vollständig erfassen kann. Dies führt bei der oben beschriebenen Situation dazu, dass die Fahrbahn oder nahe Objekte, die sich im Scheinwerferkegel befinden, bildüberstrahlt erscheinen, während entfernte schwach beleuchtete Objekte kaum wahrnehmbar sind.
Aufgabe der vorliegenden Erfindung ist es daher, auch Szenen mit hohem
Kontrastumfang auf einem Bildschirm darzustellen, ohne dass helle Objekte oder die Fahrbahn überstrahlt dargestellt werden und/oder den Benutzer blenden.
Vorteile der Erfindung
Diese Aufgabe wird erfindungsgemäß dadurch gelöst, dass die Grauwerte der Bildelemente der von der Videokamera erzeugten Bilddaten mit einem Absenkungsfaktor, der vom Ort des jeweiligen Bildelements innerhalb des Bildes und von der Helligkeit von Objekten im Nahbereich vor dem Fahrzeug abhängig ist, derart bewertet werden, dass der Kontrast zwischen der Wiedergabe des Nahbereichs vor dem Fahrzeug und der Wiedergabe anderer Teile des Bildes verringert wird.
Dabei werden die Objekte im Nahbereich in der Regel von der Fahrbahn gebildet, wobei Nahbereich derjenige Entfernungsbereich ist, der sich bezüglich der Helligkeit des
Scheinwerferlichts deutlich von weiter weg liegenden Bereichen unterscheidet. Das Verfahren gestattet jedoch auch, dass andere angestrahlte Objekte im Nahbereich den Absenkungsfaktor beeinflussen.
Dabei ist vorzugsweise vorgesehen, dass der Absenkungsfaktor für die einzelnen
Bildelemente aus einem ersten Faktor, der die Verteilung der Absenkung über das Bild bestimmt, und aus einem zweiten Faktor, der den Grad der Absenkung unabhängig vom Ort innerhalb des Bildes bestimmt, berechnet wird.
Das erfindungsgemäße Verfahren weist den Vorteil auf, dass der durch die mit der
Entfernung von den Scheinwerfern abnehmenden Beleuchtungsstärken auftretende Effekt, dass nämlich Gegenstände, welche direkt vor dem Fahrzeug sind, zu hell und weiter entfernte zu dunkel beleuchtet sind, lediglich dann kompensiert wird, wenn dies nötig ist. Befindet sich im Nahbereich beispielsweise eine dunkle, nasse und von hellen Objekten freie Fahrbahn, wird keine oder nur eine geringe Absenkung des Kontraste vorgenommen.
Die Erfindung ist nicht auf eine Anwendung mit Infrarot-Scheinwerfern und einer Infrarot empfindlichen Kamera beschränkt, sondern kann auch durchaus mit sichtbarem
Licht angewendet werden.
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens besteht darin, dass der erste Faktor im Wesentlichen dem Kamera- Abbild der Helligkeitsverteilung einer von den Scheinwerfern beleuchteten gut remittierenden Fahrbahn entspricht. Vorzugsweise ist dabei vorgesehen, dass der erste Faktor als Matrix von Werten gespeichert wird.
Die Bestimmung des ersten Faktors kann experimentell dadurch erfolgen, dass die Scheinwerfer eines Fahrzeugs auf eine Fahrbahn mit hellem Belag gerichtet werden, wobei eine Mittelung über eine Serie von Bildern vorgenommen werden kann, wobei sich das Fahrzeug vorzugsweise auf der Fahrbahn bewegt. Außerdem kann das derart gewonnene Bild mit einem Tiefpass gefiltert werden, so dass Ungleichmäßigkeiten in der Ausleuchtung geglättet werden und sich somit nicht auf den ersten Faktor auswirken.
Es ist ebenfalls möglich, den ersten Faktor analytisch festzulegen, beispielsweise anhand des Ergebnisses der Anwendung eines Strahlverfolgungsverfahrens (Ray Tracing), wobei die Ausleuchtung durch die Scheinwerfer, die Reflexion an der Fahrbahn und die Bildaufnahme mathematisch modelliert werden.
Zur Bestimmung des zweiten Faktors ist bei einer vorteilhaften Ausgestaltung der
Erfindung vorgesehen, dass der zweite Faktor aus dem Verhältnis eines ersten und eines zweiten Mittelwertes gebildet wird, wobei eine Zuordnung der Mittelwerte zur Bildung des ersten und zweiten Mittelwertes gegenläufig in Abhängigkeit vom ersten Faktor erfolgt.
Eine erste Ausführungsform dieser Ausgestaltung besteht darin, dass die Zuordnung dadurch erfolgt, dass die Grauwerte von Bildelementen, für welche der erste Faktor kleiner als ein Schwellwert ist, in den ersten Mittelwert eingehen, und dass die Grauwerte von Bildelementen, für welche der erste Faktor größer als der Schwellwert ist, in den - A -
zweiten Mittelwert eingehen. Dabei kann der Schwellwert beim halben Maximalwert des ersten Faktors liegen, es sind jedoch auch andere Schwellwerte möglich. Diese Ausgestaltung ermöglicht die Bildung des zweiten Faktors mit relativ wenig Rechenaufwand.
Eine zweite Ausführungsform dieser Ausgestaltung ist genauer an den Verlauf der Werte des ersten Faktors angepasst und besteht darin, dass die Grauwerte der Bildelemente zur Bildung des ersten Mittelwertes mit dem Einerkompliment des ersten Faktors und zur Bildung des zweiten Mittelwertes mit dem ersten Faktor multipliziert und jeweils summiert werden.
Zur Verringerung des Rechenaufwandes kann bei der Berechnung des zweiten Faktors vorgesehen sein, dass zur Bildung der Mittelwerte über das Bild verteilte repräsentative Bildelemente benutzt werden. Hierzu kann beispielsweise sowohl in horizontaler als auch vertikaler Richtung jedes zehnte Bildelement benutzt werden.
Um sicher zu verhindern, dass bei ungewöhnlichen Beleuchtungs- und Remissions- Verhältnissen anstelle der Verringerung des Kontraste eine unerwünschte Erhöhung auftritt, kann bei dem erfindungsgemäßen Verfahren vorgesehen sein, dass der zweite Faktor auf einen Wert begrenzt ist, der keine Aufhellung des Bildes bewirkt.
Eine andere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens besteht darin, dass die bewerteten Grauwerte wie folgt berechnet werden: g'(x,y) = g(x,y) - (l-(l-f) - h(x,y)), wobei g' die bewerteten Grauwerte, g die unbewerteten Grauwerte, f der zweite Faktor und h der erste Faktor sowie x und y die Koordinaten der Bildelemente bedeuten.
Bei dem erfindungsgemäßen Verfahren müssen Wichtungen, inwieweit bei der Bildung des zweiten Faktors verwendete Bildelemente zu einem inneren, helleren Bildbereich oder zu einem äußeren, dunkleren Bildbereich gehören, nicht laufend neu berechnet werden. Bei einer Weiterbildung ist deshalb vorgesehen, dass Wichtungen für die zur Bildung des zweiten Faktors verwendeten Bildelemente in einem Speicher abgelegt sind.
Bei dem erfindungsgemäßen Verfahren wird an sich davon ausgegangen, dass die Helligkeitsverteilung bei der Aufnahme des Bildes zur Gewinnung des ersten Faktors ähnlich derjenigen ist, wie sie im Betrieb auftritt. Diesbezügliche Abweichungen können sich jedoch dadurch ergeben, dass Fahrten mit verschiedenen Scheinwerfereinstellungen vorgenommen werden. Deshalb ist bei einer anderen Weiterbildung der Erfindung vorgesehen, dass von den im Speicher abgelegten Größen jeweils verschiedene Sätze abgelegt sind, die unterschiedlichen Ausleuchtungen der Fahrbahn entsprechen, und dass jeweils ein Satz in Abhängigkeit von der eingestellten und der tatsächlich vorhandenen Beleuchtung durch die Scheinwerfer ausgewählt werden. Dadurch kann auch darauf reagiert werden, wenn ein Scheinwerfer ausfällt.
Zeichnung
Ausführungsbeispiele der Erfindung sind in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
Fig. 1 ein Blockdiagramm zur Erläuterung des erfindungsgemäßen Verfahrens,
Fig. 2 eine schematische Darstellung eines Schirmbildes zur Darstellung des ersten Faktors,
Fig. 3 und Fig. 4 Verläufe der Grauwerte des ersten Faktors in einer ausgewählten
Spalte und in einer ausgewählten Zeile des Bildes gemäß Fig. 2,
Fig. 5 und Fig. 6 Wichtungsfaktoren im Verlauf der ausgewählten Zeile nach einem ersten Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
Fig. 7 und Fig. 8 Wichtungsfaktoren für eine ausgewählte Zeile nach einem zweiten Ausführungsbeispiel des Verfahrens, Fig. 9 eine schematische Darstellung eines bei der praktischen Durchführung des Verfahrens auftretenden Schirmbildes,
Fig. 10 den Verlauf der Grauwerte in einer Spalte des Bildes nach Fig. 9 ohne reduzierten Kontrast,
Fig. 11 mit nach dem erfindungsgemäßen Verfahren reduzierten Kontrast,
Fig. 12 ein Bild ohne Anwendung des erfindungsgemäßen Verfahrens und
Fig. 13 ein Bild mit durch das erfindungsgemäße Verfahren abgesenktem Kontrast.
Beschreibung der Ausfuhrungsbeispiele
Fig. 1 stellt eine Einrichtung zur Durchführung des erfindungsgemäßen Verfahrens dar, wobei einige Blöcke Schaltungen und andere Teile (Hardware) und andere Blöcke Teile eines Programms darstellen, das in einem Mikrocomputer abgearbeitet wird. Eine Kamera 1 "sieht" beispielsweise durch die Frontscheibe 2 eines nicht näher dargestellten Fahrzeugs. Dabei handelt es sich vorzugsweise um eine im nahen Infrarotbereich empfindliche Kamera. Die Szene vor dem Fahrzeug wird mit Scheinwerfern 12, 13 beleuchtet, die von einer Steuereinrichtung 11 je nach Eingaben des Fahrers oder automatisch ein- oder ausgeschaltet werden. Auch schwenkbare Scheinwerfer, beispielsweise solche zur Verfolgung von Kurven, können mit dem erfindungsgemäßen Verfahren zusammen betrieben werden.
Die Videokamera 1 ist mit einer nicht dargestellten Streulichtblende versehen und mit einer Regeleinrichtung 3 verbunden, welche insbesondere die Anpassung der Kamera an die verschiedenen Lichtverhältnisse vornimmt. Die Videokamera 1 erzeugt digitale Videosignale, auch Bilddaten genannt. Da es sich in der Regel um eine monochrome
Kamera handelt, enthalten die Bilddaten für jeweils ein Bildelement (Pixel) an den Koordinaten x, y einen Grauwert g. Dieser wird jeweils einer gewichteten Mittelung von Grauwerten zugeführt, wobei die gewichtete Mittelung 4 im Wesentlichen die außerhalb der beleuchteten Fahrbahn liegenden Bildelemente berücksichtigt, während bei 5 die Grauwerte der Bildelemente im Wesentlichen im Bereich der beleuchteten Fahrbahn gemittelt werden.
Die beiden Mittelwerte ml und m2 werden bei 6 dividiert, wodurch der zweite Faktor f entsteht. Der erste Faktor h ist ebenso wie Parameter wl und w2 in einem Speicher 7 abgelegt. Da die Ausleuchtung von der jeweiligen Scheinwerfereinstellung abhängig ist, sind mehrere Parametersätze wl, w2, h im Speicher 7 abgelegt, von denen jeweils ein Parametersatz von der Steuereinrichtung 11 der Scheinwerfer 12, 13 aus dem Speicher ausgelesen wird.
Bei 8 werden die bewerteten Grauwerte g'(x,y) nach folgender Formel berechnet: g'(x,y) = g(x,y) - (l-(l-f) - h(x,y)), wobei g' die bewerteten Grauwerte, g die unbewerteten Grauwerte, f der zweite Faktor und h der erste Faktor sowie x und y die Koordinaten der Bildelemente bedeuten. Die bewerteten Grauwerte werden dann einer Ansteuerung 9 eines Bildschirms 10 zugeführt.
Zur Ermittlung des ersten Faktors h wird die Videokamera 1 auf eine gut remittierende Fläche gerichtet, die mit den Scheinwerfern so wie eine Fahrbahn ausgeleuchtet wird. Dann entsteht das in Fig. 2 dargestellte Bild, wobei die abnehmende Helligkeit als Linien gleicher Helligkeit dargestellt sind. Vereinfacht gesehen, ergibt sich ein innerer Bereich
21 mit großer Helligkeit und ein äußerer Bereich 22 mit geringerer Helligkeit, wobei der Übergang allmählich ist.
Die folgenden Figuren 3 bis 8 sowie die Figuren 10 und 11 stellen jeweils den Verlauf der Grauwerte und Parameter für eine ausgewählte Spalte V und eine ausgewählte Zeile
H des Bildes nach Fig. 2 dar. Den Figuren 3 und 4 ist entnehmbar, dass die Grauwerte in der ausgewählten Spalte von der Mitte nach unten allmählich zunehmen, während in der ausgewählten Zeile in einem mittleren Bereich die Grauwerte hoch sind und zu den Rändern allmählich abnehmen. Die aufgenommenen Werte werden für alle Bildelemente als erster Faktor h (x,y) im Speicher abgelegt.
Zur Bildung der Parameter wl und w2 für den zweiten Faktor werden bei dem Ausführungsbeispiel zwei Möglichkeiten erläutert. Eine in den Figuren 5 und 6 dargestellte Möglichkeit besteht darin, dass durch Vergleich des Faktors h mit einem Schwellwert alle Parameter w2 für den Bildbereich 21 den Wert 1 einnehmen und außerhalb dieses Bereichs O sind, während der Parameter wl für Bildelemente außerhalb des Bereichs 1 und für Bildelemente innerhalb des Bereichs O ist. Eine 1 bedeutet dabei, dass das entsprechende Bildelement in die Mittelung eingeht, und eine O, dass es nicht in die Mittelung eingeht.
In diesem Zusammenhang ist zu erwähnen, dass der mit Hilfe der Parameter wl und w2 berechnete zweite Faktor und damit auch der Absenkungsfaktor über das gesamte Bild wirkt, so dass keine Kanten an den Stellen auftreten, an denen wl und w2 Sprünge aufweisen. Es kann allenfalls zu plötzlichen Änderungen des Absenkungsfaktors kommen, wenn ein Helligkeitssprung im Bild die durch die Sprünge der Parameter wl und w2 gegebenen Grenzen zwischen den Bereichen 21 und 22 überschreitet. Ansonsten zeichnet sich dieses Ausführungsbeispiel durch einen relativ geringen Bedarf an Rechenleistung aus.
Bei der Ausführungsform, die im folgenden an Hand der Figuren 7 und 8 erläutert wird, werden die Bildbereiche 21 und 22 nicht künstlich durch eine scharfe Grenze getrennt, sondern es werden die tatsächlich vorhandenen allmählichen Übergänge des ersten Faktors h zur Erzeugung der Parameter wl und w2 genutzt. Dies geschieht dadurch, dass w2 dem ersten Faktor h entspricht (Fig. 7) und dass zur Bildung von wl das
Einerkompliment von h berechnet wird.
Die gewichteten Mittelungen 4, 5 (Fig. 1) erfolgen dann nach folgenden Gleichungen:
ml = [Σ wl(x,y) • g(x,y)] / [∑ wl(x,y)]üf alle repräsentativen Bildelemente im Bereich
22 und m2 = [Σ w2(x,y) • g(x,y)] / [∑ w2(x,y)] für alle repräsentativen Bildelemente im Bereich 21, wobei nl und n2 die Anzahl der repräsentativen Bildelemente in dem jeweiligen Bereich sind.
Fig. 9 stellt das vereinfachte Bild einer realen Szene dar mit dem Bild einer Fahrbahn 24, auf der sich eine Person 23 befindet. Im übrigen sind in Fig. 9 die Bildbereiche 21 und 22 sowie die ausgewählte Spalte V und Zeile H gemäß Fig. 2 dargestellt. Fig. 10 zeigt die Grauwerte G des aufgenommenen Signals. Dabei sind die Grauwerte 25, welche die Person darstellen, typischerweise wesentlich niedriger als die Grauwerte 26 der im Vordergrund beleuchteten Fahrbahn 24, sofern die Fahrbahn 24 hell ist, also beispielsweise eine trockene Beton- oder Schotter-Straße ist. Durch die Absenkung mit Hilfe des erfindungsgemäßen Verfahrens bleiben die Grauwerte 25 im Wesentlichen erhalten, während die Grauwerte 26' gegenüber den Grauwerten 26 deutlich abgesenkt sind (Fig. 11). Je dunkler die Fahrbahn ist, desto geringer wird die Absenkung, da der erste bei einer hellen Fahrbahn ermittelte Faktor bei dem erfindungsgemäßen Verfahren lediglich den Verlauf, nicht jedoch die Größe der Absenkung bestimmt, die von der jeweils tatsächlich vorhandenen mittleren Helligkeit in den Bildbereichen 21 und 22 (Fig.
9) abhängt.
Die Figuren 12 und 13 zeigen Schirmbilder, wobei Fig. 12 ohne die Anwendung der erfindungsgemäßen Maßnahmen aufgenommen wurde. Es ist deutlich erkennbar, dass die Fahrbahn, in diesem Fall der Waldweg, andere Bilddetails überstrahlt, so dass die Bilder der auf dem Weg befindlichen Personen nicht so deutlich hervortreten wie bei dem Schirmbild nach Fig. 13, bei dem die Helligkeit der Fahrbahn wesentlich abgesenkt ist. Auch bei flüchtigem Hinsehen nimmt der Fahrer sofort die auf dem Weg befindlichen Personen wahr. Als weiterer Effekt zeigt sich bei Fig. 13, dass die Strukturen des Weges besser erkennbar sind als ohne die Absenkung des Kontraste.

Claims

Patentansprüche
1. Verfahren zur Darstellung eines von einer Videokamera aufgenommenen Bildes einer Szene vor einem Fahrzeug, wobei die Szene vor dem Fahrzeug eine Fahrbahn enthält, die von Scheinwerfern des Fahrzeugs beleuchtet wird, dadurch gekennzeichnet, dass die
Grauwerte der Bildelemente der von der Videokamera erzeugten Bilddaten mit einem Absenkungsfaktor, der vom Ort des jeweiligen Bildelements innerhalb des Bildes und von der Helligkeit von Objekten im Nahbereich vor dem Fahrzeug abhängig ist, derart bewertet werden, dass der Kontrast zwischen der Wiedergabe des Nahbereichs vor dem Fahrzeug und der Wiedergabe anderer Teile des Bildes verringert wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Absenkungsfaktor für die einzelnen Bildelemente aus einem ersten Faktor, der die Verteilung der Absenkung über das Bild bestimmt, und aus einem zweiten Faktor, der den Grad der Absenkung unabhängig vom Ort innerhalb des Bildes bestimmt, berechnet wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der erste Faktor im Wesentlichen dem Kamera- Abbild der Helligkeitsverteilung einer von den Scheinwerfern beleuchteten gut remittierenden Fahrbahn entspricht.
4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der erste Faktor als Matrix von Werten gespeichert wird.
5. Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass der zweite Faktor aus dem Verhältnis eines ersten und eines zweiten Mittelwertes gebildet wird, wobei eine Zuordnung der Positionen im Bild zur Bildung des ersten und zweiten Mittelwertes gegenläufig in Abhängigkeit vom ersten Faktor erfolgt.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Zuordnung dadurch erfolgt, dass die Grauwerte von Bildelementen, für welche der erste Faktor kleiner als ein Schwellwert ist, in den ersten Mittelwert eingehen, und dass die Grauwerte von Bildelementen, für welche der erste Faktor größer als der Schwellwert ist, in den zweiten Mittelwert eingehen.
7. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass die Grauwerte der Bildelemente zur Bildung des ersten Mittelwertes mit dem Einerkompliment des ersten Faktors und zur Bildung des zweiten Mittelwertes mit dem ersten Faktor multipliziert und jeweils summiert werden.
8. Verfahren nach einem der Ansprüche 6 oder 7, dadurch gekennzeichnet, dass zur Bildung der Mittelwerte über das Bild verteilte repräsentative Bildelemente benutzt werden.
9. Verfahren nach einem der Ansprüche 2 bis 8, dadurch gekennzeichnet, dass der zweite Faktor auf einen Wert begrenzt ist, der keine Aufhellung des Bildes bewirkt.
10. Verfahren nach einem der Ansprüche 2 oder 9, dadurch gekennzeichnet, dass die bewerteten Grauwerte wie folgt berechnet werden: g'(x, y) = g(x,y) - (l-(l-f) - h(x,y)), wobei g' die bewerteten Grauwerte, g die unbewerteten Grauwerte, f der zweite Faktor und h der erste Faktor sowie x und y die Koordinaten der Bildelemente bedeuten.
11. Verfahren nach einem der Ansprüche 2 bis 10, dadurch gekennzeichnet, dass Wichtungen für die zur Bildung des zweiten Faktors verwendeten Bildelemente in einem Speicher abgelegt sind.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass von den im Speicher abgelegten Größen jeweils verschiedene Sätze abgelegt sind, die unterschiedlichen Ausleuchtungen der Fahrbahn entsprechen, und dass jeweils Sätze in Abhängigkeit von der eingestellten und der tatsächlich vorhandenen Beleuchtung durch die Scheinwerfer ausgewählt werden.
PCT/EP2005/054016 2004-09-30 2005-08-16 Verfahren zur darstellung eines von einer videokamera aufgenommenen bildes WO2006034924A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/664,357 US8487997B2 (en) 2004-09-30 2005-08-16 Method for displaying an image recorded by a video camera
EP05774079A EP1797710A1 (de) 2004-09-30 2005-08-16 Verfahren zur darstellung eines von einer videokamera aufgenommenen bildes
JP2007533983A JP4457150B2 (ja) 2004-09-30 2005-08-16 ビデオカメラにより撮影された画像を表示する方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102004047474 2004-09-30
DE102004047474.5 2004-09-30
DE102004050990.5 2004-10-20
DE102004050990A DE102004050990A1 (de) 2004-09-30 2004-10-20 Verfahren zur Darstellung eines von einer Videokamera aufgenommenen Bildes

Publications (1)

Publication Number Publication Date
WO2006034924A1 true WO2006034924A1 (de) 2006-04-06

Family

ID=36062246

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/054016 WO2006034924A1 (de) 2004-09-30 2005-08-16 Verfahren zur darstellung eines von einer videokamera aufgenommenen bildes

Country Status (5)

Country Link
US (1) US8487997B2 (de)
EP (1) EP1797710A1 (de)
JP (1) JP4457150B2 (de)
DE (1) DE102004050990A1 (de)
WO (1) WO2006034924A1 (de)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006027121A1 (de) * 2006-06-12 2007-12-13 Robert Bosch Gmbh Bildaufnahmesystem und Verfahren für die Entfernungsbestimmung mit einem Bildaufnahmesystem
DE102008043880A1 (de) * 2008-11-19 2010-05-20 Robert Bosch Gmbh Beleuchtungseinheit für ein Fahrzeug, Fahrzeug und Verfahren hierfür
DE102020213270A1 (de) 2020-10-21 2022-04-21 Conti Temic Microelectronic Gmbh System zur Vermeidung von Unfällen durch Wildwechsel bei Dämmerung und Nacht
EP4342735A1 (de) * 2022-09-23 2024-03-27 Volvo Truck Corporation Hilfssicherheitsvorrichtung für fahrzeuge und fahrzeug mit solch einer hilfssicherheitsvorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233309A (ja) * 1993-02-03 1994-08-19 Daihatsu Motor Co Ltd 表示画像のコントラスト改善方法
FR2726144A1 (fr) * 1994-10-24 1996-04-26 Valeo Vision Procede et dispositif d'amelioration de la vision nocturne, notamment pour vehicule automobile
DE10261290A1 (de) 2001-12-28 2003-07-17 Yazaki Corp Im-Fahrzeug-Bildkorrektur-Einrichtung und Nachtfahrt-Sichtfeld-Unterstützungs-Einrichtung

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4238949B2 (ja) 1999-06-30 2009-03-18 ソニー株式会社 赤外線式監視装置
JP2003259363A (ja) * 2002-02-27 2003-09-12 Denso Corp ナイトビジョン装置
JP4798945B2 (ja) * 2003-03-05 2011-10-19 トヨタ自動車株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233309A (ja) * 1993-02-03 1994-08-19 Daihatsu Motor Co Ltd 表示画像のコントラスト改善方法
FR2726144A1 (fr) * 1994-10-24 1996-04-26 Valeo Vision Procede et dispositif d'amelioration de la vision nocturne, notamment pour vehicule automobile
DE10261290A1 (de) 2001-12-28 2003-07-17 Yazaki Corp Im-Fahrzeug-Bildkorrektur-Einrichtung und Nachtfahrt-Sichtfeld-Unterstützungs-Einrichtung

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 018, no. 608 (E - 1633) 18 November 1994 (1994-11-18) *

Also Published As

Publication number Publication date
DE102004050990A1 (de) 2006-04-06
US20090295920A1 (en) 2009-12-03
JP2008515305A (ja) 2008-05-08
EP1797710A1 (de) 2007-06-20
US8487997B2 (en) 2013-07-16
JP4457150B2 (ja) 2010-04-28

Similar Documents

Publication Publication Date Title
DE19619734C2 (de) Elektronisches Endoskopsystem
DE4107021C2 (de) Vorrichtung zur Darstellung von Fernsehbildern
DE60100525T2 (de) Bildverarbeitung und Überwachungsgerät
DE102010030044A1 (de) Wiederherstellvorrichtung für durch Wettereinflüsse verschlechterte Bilder und Fahrerunterstützungssystem hiermit
DE10011744B4 (de) Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung
DE10292327T5 (de) Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium
DE10203421C1 (de) Automobiles Infrarot-Nachtsichtgerät und automobiles Display
DE102016121755A1 (de) Verfahren zum Bestimmen eines zusammengesetzten Bilds eines Umgebungsbereichs eines Kraftfahrzeugs mit Anpassung von Helligkeit und/oder Farbe, Kamerasystem sowie Krafzfahrzeug
EP4078941A2 (de) Umwandlung von eingangs-bilddaten einer mehrzahl von fahrzeugkameras eines rundumsichtsystems in optimierte ausgangs-bilddaten
DE102004010908B4 (de) Bildaufnahmevorrichtung und Bildaufnahmeverfahren
WO2006034924A1 (de) Verfahren zur darstellung eines von einer videokamera aufgenommenen bildes
DE102010002310A1 (de) Verfahren und Vorrichtung zur Freisichtprüfung einer Kamera für ein automobiles Umfeld
DE10016184A1 (de) Vorrichtung zur Anzeige der Umgebung eines Fahrzeugs
EP0951776A1 (de) Verfahren zur regelung der belichtung von videokameras
EP2539851B1 (de) Verfahren und vorrichtung zur analyse eines bildes einer bilderfassungseinrichtung für ein fahrzeug
WO2019072374A1 (de) Verfahren zur maskierung eines bildes einer bildsequenz mit einer maske, computerprogramm, maschinenlesbares speichermedium und elektronische steuereinheit
DE102015119871A1 (de) Verfahren zum Betreiben eines Kamerasystems mit einer Vielzahl von Bildsensorelementen und Kraftfahrzeug
DE102018118996A1 (de) Verfahren zum Bestimmen eines Farbkorrekturwerts, Bildverarbeitungseinrichtung,Kamerasystem und Kraftfahrzeug
DE102004047476B4 (de) Vorrichtung und Verfahren zur Einstellung einer Kamera
DE69531412T2 (de) Bildkodierung beruhend auf Bildbereichen und deren segmentierten Randlinien
DE102015112389A1 (de) Verfahren zum Erfassen zumindest eines Objekts auf einer Straße in einem Umgebungsbereich eines Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug
DE102005041241A1 (de) Verfahren und System zum Betreiben eines Kamerasystems eines Fahrzeugs
DE102019213069A1 (de) System und verfahren zum steuern eines fahrzeugscheinwerfers zum verhindern einer schattenfläche
DE102018212179A1 (de) Bildverarbeitungsvorrichtung und verfahren zur bildverarbeitung
DE102017114611A1 (de) Verfahren zum Erzeugen zumindest eines fusionierten perspektivischen Bildes eines Kraftfahrzeugs und eines Umgebungsbereiches des Kraftfahrzeugs, Kamerasystem sowie Kraftfahrzeug

Legal Events

Date Code Title Description
REEP Request for entry into the european phase

Ref document number: 2005774079

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2005774079

Country of ref document: EP

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007533983

Country of ref document: JP

WWP Wipo information: published in national office

Ref document number: 2005774079

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11664357

Country of ref document: US