WO2006084534A1 - Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds - Google Patents

Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds Download PDF

Info

Publication number
WO2006084534A1
WO2006084534A1 PCT/EP2006/000133 EP2006000133W WO2006084534A1 WO 2006084534 A1 WO2006084534 A1 WO 2006084534A1 EP 2006000133 W EP2006000133 W EP 2006000133W WO 2006084534 A1 WO2006084534 A1 WO 2006084534A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
infrared
visual
vehicle
processing unit
Prior art date
Application number
PCT/EP2006/000133
Other languages
English (en)
French (fr)
Inventor
Wolfgang Hahn
Thomas Weidner
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Priority to JP2007554449A priority Critical patent/JP2008530667A/ja
Priority to EP06700891A priority patent/EP1846794A1/de
Priority to CN200680002767.1A priority patent/CN101107556B/zh
Publication of WO2006084534A1 publication Critical patent/WO2006084534A1/de
Priority to US11/890,495 priority patent/US9088737B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Abstract

Es wird ein Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, beschrieben, bei dem ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitgestellt wird, wobei das visuelle Abbild die visuell sichtbaren Objekte zeigt. Es wird weiter ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitgestellt, das die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt. Um die Zuordnung von Objekten, von denen Infrarot-Strahlung ausgeht, in der aufgenommenen Umgebung zu erleichtern, wird eine Bildfusion vorgenommen, die das Visuell-Abbild und das Infrarot-Abbild zu einem in einer Bildanzeigeeinheit darstellbaren Zielbild fusioniert. Die Bildfusion wird in Abhängigkeit eines Umgebungsparameters ausgesetzt, um lediglich eines der beiden Abbilder oder keines der Abbilder als Zielbild darzustellen.

Description

Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, die ein digitale Daten der Umgebung enthaltendes Visuell-Abbild, das die visuell sichtbaren Objekte zeigt, und ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild, das die von dem visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt, zu einem in einer Bildanzeigeeinheit darstellbaren Zielbild fusioniert, um die Zuordnung von Objekten, von denen Infrarot-Strahlung ausgeht, in der aufgenommenen Umgebung zu erleichtern.
Vorrichtungen zur Bildfusion überlagern die Bilder zumindest zweier Kameras, die die aktuelle Umgebung eines Fahrzeugs in unterschiedlichen Spektralbereichen aufnehmen. Die Spektralbereiche können beispielsweise visuell sichtbares Licht sowie Infrarot-Strahlung umfassen. Ein aus einer Bildfusion ermitteltes Zielbild ermöglicht dem Fahrer des Fahrzeugs eine leichtere und bessere Interpretierbarkeit der in einer Bildanzeigeeinheit bereitgestellten Informationen über die, Umgebung des Fahrzeugs.
Eine Kameravorrichtung weist hierzu zumindest zwei Kameras mit weitgehend parallelen optischen Achsen auf, die räumlich zueinander versetzt sind. Aufgrund der versetzten Montage der Kameras, d.h. der versetzten optischen Achsen, können die von den Kameras gelieferten Bilder über einen weiten Bereich an Entfernungen nicht vollständig objekttreu zueinander ausgerichtet werden. Die Objekttreue beschreibt die von ein und demselben Objekt in der Fahrumgebung reflektierte bzw. emittierte Strahlung in dem Zielbild auf genau diesem Objekt durch den Fahrer eindeutig zuordenbar ist.
Ausrichtungsfehler bzw. die Qualität der Objekttreue entstehen in Abhängigkeit des Abstandes der Kameras sowie in Abhängigkeit der Entfernung zwischen den Kameras und dem aufgenommenen Objekt. Durch eine Kalibrierung der Kameravorrichtung ist es möglich, Objekte entweder im Nahbereich (dies entspricht einer für eine Stadtfahrt typischen Fahrsituation mit einem Entfernungsbereich von ca. 15 bis 75 m) sehr gut abzubilden, wodurch im Fernbereich eine schlechte Objekttreue die Folge ist. Das Gleiche gilt, wenn die Kameravorrichtung auf Objekte im Fembereich (dies entspricht beispielsweise einer Überland- oder Autobahnfahrt mit Entfernungsbereichen zwischen 30 bis 150 bzw. 50 bis 250 m) optimiert ist. Hierdurch ergibt sich ein Ausrichtungsfehler im Nahbereich.
Vorrichtungen und Verfahren zur Bildfusion sind beispielsweise aus der DE 102 27 171 A1 und der DE 103 04 703 A1 der Anmelderin bekannt. Die darin beschriebenen Vorrichtungen weisen jeweils eine Kameravorrichtung mit einer ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitstellenden Visuell- Kamera und einem ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitstellenden Infrarot-Kamera auf. Das visuelle Abbild zeigt die visuell sichtbaren Objekte. Das Infrarot-Abbild zeigt die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung. Eine Bildverarbeitungseinheit nimmt eine Bildfusion des Visuell-Abbilds und des Infrarot-Abbilds vor, wobei das fusionierte Zielbild in einer Bildanzeigeeinheit zur Anzeige bringbar ist. Die Bildfusion umfasst eine vollständige oder teilweise, z.B. eine pixel- oder pixelbereichsweise, Überlagerung des Visuell-Abbilds und des Infrarot-Abbilds. Dabei werden insbesondere zeit- und ortsgleiche Bild-Paare miteinander überlagert. Es können hierbei Helligkeits- und/oder Farbwerte der Pixel oder Pixelbereiche überlagert bzw. gemittelt werden. Zur weiteren Optimierung kann die Überlagerung der Abbilder mittels Gewichtungsfaktoren vorgenommen werden. Optional wird die Berücksichtigung der Helligkeit und/oder der Sichtbedingungen des Fahrzeugs beschrieben. Auch die unterschiedliche Gewichtung von Pixeln oder Pixelbereichen wird vorgeschlagen. Nachteil dieser bekannten Verfahren ist der hohe Rechenaufwand zur Darstellung objekttreuer Zielbilder über einen weiten Entfernungsbereich.
Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs bereitzustellen, welche eine zuverlässige Interpretation der Inhalte eines aus einer Bildfusion erzeugten Zielbildes ermöglichen. Diese Aufgaben werden durch Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs gemäß den Merkmalen des Patentanspruches 1 sowie durch eine Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs gemäß den Merkmalen des Patentanspruches 11 gelöst. Vorteilhafte Ausgestaltungen ergeben sich jeweils aus den abhängigen Patentansprüchen.
Bei dem erfindungsgemäßen Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, wird ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitgestellt, wobei das visuelle Abbild die visuell sichtbaren Objekte zeigt. Es wird weiterhin ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitgestellt, das die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt. Es wird eine Bildfusion vorgenommen, die das Visuell-Abbild und das Infrarot-Abbild zu einem in einer Bildanzeigeeinheit darstellbaren Zielbild fusioniert, um. die Zuordnung von Objekten, von denen Infrarot-Strahlung ausgeht, in der aufgenommenen Umgebung zu erleichtern. Erfindungsgemäß wird die Bildfusion des Visuell-Abbilds und/oder des Infrarot-Abbilds in Abhängigkeit eines Umgebungsparameters ausgesetzt, um lediglich eines der beiden Abbilder oder keines der Abbilder als Zielbild darzustellen.
Um einen Ausrichtungsfehler bei der Darstellung eines Zielbildes zu vermeiden, schlägt die Erfindung somit vor, die Bildfusion in Abhängigkeit eines Umgebungsparameters zu unterbinden. Obwohl durch das Aussetzen der Bildfusion beim Eintreten des Umgebungsparameters Informationen aus dem zur Darstellung bringbaren Zielbild entfernt werden, wird dem Benutzer eines Fahrzeugs die Interpretation des in der Bildanzeigeeinheit dargestellten Zielbilds erleichtert, wodurch dieser weniger vom Verkehrsgeschehen der Umgebung des Fahrzeugs abgelenkt wird.
Gemäß einer zweckmäßigen Ausgestaltung werden in dem Schritt des Aussetzens der Bildfusion das Visuell-Abbild und/oder das Infrarot-Abbild zur Vermeidung von Unscharfen und/oder Doppelbildern sämtliche digitale Daten der Umgebung des jeweiligen Abbilds ausgeblendet. Anders ausgedrückt bedeutet dies, dass entweder das Visuell-Abbild oder das Infrarot-Abbild oder sogar beide Abbilder vollständig und nicht nur teilweise ausgeblendet werden. Letzteres bedeutet, dass in der Bildanzeigeeinheit gar kein Zielbild zur Darstellung gebracht wird.
Der Umgebungsparameter wird gemäß einer weiteren zweckmäßigen Ausgestaltung des erfindungsgemäßen Verfahrens aus zumindest einer sensorisch erfassten, fahrdynamischen Größe und/oder zumindest einem anderen Parameter ermittelt.
Als fahrdynamische Größe wird in einer Ausgestaltung die Geschwindigkeit des Fahrzeugs, insbesondere das Unter- oder Überschreiten einer vorgegebenen
Geschwindigkeit, verarbeitet. In einer weiteren Ausgestaltung wird als fahrdynamische Größe ein Abstand des Fahrzeugs zu einem im Blickwinkel der
Kamera erfassten Objekt, insbesondere das Unter- oder Überschreiten eines vorgegebenen Abstands, verarbeitet. Bevorzugt werden beide Parameter in einer Kombination berücksichtigt.
Eine weitere zweckmäßige Ausgestaltung sieht vor, als fahrdynamische Größe die aktuelle Position des Fahrzeugs zu verarbeiten. Als weiterer Parameter werden in einer weiteren Ausgestaltung die Topologie und/oder die aktuellen Witterungsbedingungen verarbeitet. Eine Deaktivierung der Bildfusion in Abhängigkeit der Topologie bzw. der momentanen Position des Fahrzeugs,, welche z.B. aus den einem Navigationssystem zur Verfügung gestellten GPS-Daten ermittelt werden kann, kann beispielsweise beim Durchfahren eines Tunnels erfolgen. In einer derartigen Fahrsituation ist eine Infrarot-Kamera kaum in der Lage, die für den Fahrzeugbenutzer relevanten Informationen sinnvoll darzustellen. Eine Überlagerung des Infrarot-Abbilds mit dem Visuell-Abbild würde deshalb nicht zu einer Erhöhung des Informationsgehalts des Fahrzeugbenutzers führen, so dass es sinnvoll ist, z.B. das Infrarot-Abbild aus dem Zielbild auszublenden. Ähnliches gilt auch bei schlechten Witterungsbedingungen, wie z.B. bei Regen, bei welchem die Infrarot-Kamera keine ausreichend gute Auflösung der Umgebung erbringen kann.
Eine weitere Ausgestaltung sieht vor, als weiteren Parameter einen durch den Fahrzeugnutzer auswählbaren Parameter durch die Bildverarbeitungseinheit zu verarbeiten. In manchen Situationen kann es für den Fahrzeugbenutzer wünschenswert sein, die Darstellung eines an sich aus einer Bildfusion generierten Zielbildes zu verändern und wahlweise lediglich das Infrarot-Abbild oder das Visuell- Abbild zur Darstellung zu bringen. Der weitere Parameter würde somit einer aktiv durch den Fahrzeugbenutzer ausgelösten Deaktivierung und/oder Aktivierung der Bildfusion entsprechen.
Ferner kann gemäß einer weiteren Ausgestaltung vorgesehen sein, die Entropiewerte des Visuell-Abbilds und des Infrarot-Abbilds zu ermitteln und die Entropiewerte mit einem vorgegebenen Entropiewert zu vergleichen, und anhand des Vergleichsergebnisses zu entscheiden, ob das Visuell-Abbild und/oder das Infrarot-Abbild oder beide ausgeblendet werden. Die Entropie eines Abbilds der Umgebung enthält Informationen über die Aussagefähigkeit eines der Abbilder. Wenn beispielsweise ein Abbild in Sättigung ist, d.h. wenn dieses übersteuert ist, werden keine Informationen geliefert, die für den Fahrzeugbenutzer in irgendeiner Weise sinnvoll auswertbar wären. Bei der Detektion einer solchen Situation kann das Abbild ausgeblendet werden, das z.B. zu geringe Kontraste aufweist, um eine Situation interpretieren zu können.
Die Entscheidung, ob die Bildfusion des Visuell-Abbilds und/oder des Infrarot- Abbilds erfolgt oder unerdrückt wird, kann dabei vom Eintreffen eines oder mehreren beliebigen der oben bezeichneten Umgebungsparameter abhängig gemacht werden. Das Unterbinden der Bildfusion kann insbesondere vom gleichzeitigen Eintreffen mehrerer Parameter abhängig gemacht werden. Denkbar ist auch, bei zeitlich nacheinander eintreffenden Umgebungsparametern, die Bildfusion auszusetzen.
Um zu vermeiden, dass das in der Bildanzeigeeinheit dargestellte Zielbild in kurzen Abständen zwischen einer fusionierten und einer nicht fusionierten Darstellung hin- und herwechselt, was gegebenenfalls zur Verwirrung des Fahrzeugbenutzers führen könnte, ist in einer weiteren vorteilhaften Ausgestaltung vorgesehen, dass das Aussetzen der Bildfusion unter Berücksichtigung einer zeitlichen Hysterese erfolgt. Mit der erfindungsgemäßen Vorrichtung sind die gleichen Vorteile verbunden, wie sie vorstehend in Verbindung mit dem erfindungsgemäßen Verfahren beschrieben wurden.
Eine erfindungsgemäße Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, weist eine Kameravorrichtung auf, die eine ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitstellende Visuell- Kamera und eine ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitstellende Infrarot-Kamera aufweist, wobei das Visuell-Abbild die visuell sichtbaren Objekte und das Infrarot-Abbild die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt. Ferner ist eine Bildverarbeitungseinheit zum Verarbeiten des Visuell-Abbilds und des Infrarot- Abbilds vorgesehen, wobei die Bildverarbeitungseinheit dazu ausgebildet und/oder dazu ausgebildet und/oder eingerichtet ist, eine Bildfusion des Visuell-Abbilds und des Infrarot-Abbilds vorzunehmen. Eine Bildanzeigeeinheit dient zur Anzeige des von der Bildverarbeitungseinheit generierten Abbilds der Umgebung. Erfindungsgemäß ist die Bildverarbeitungseinheit dazu eingerichtet, die Bildfusion in Abhängigkeit eines Umgebungsparameters zu unterbinden.
In einer zweckmäßigen Ausgestaltung ist zumindest ein mit der Bildverarbeitungseinheit gekoppelter Sensor zur Ermittlung einer fahrdynamischen Größe vorgesehen.
Gemäß einer weiteren zweckmäßigen Ausgestaltung ist der Bildverarbeitungseinheit ein weiterer Parameter zuführbar, der entweder sensorisch ermittelbar ist oder von einem externen Mittel geliefert wird. Der weitere Parameter könnte beispielsweise unter Nutzung von Mobilfunktechnologien oder per GPS an die Bildverarbeitungseinheit übertragen werden.
Zweckmäßigerweise ist die Bildverarbeitungseinheit dazu eingerichtet, aus der fahrdynamischen Größe und/oder dem weiteren Parameter den Umgebungsparameter zu ermitteln. In einer weiteren zweckmäßigen Ausgestaltung ist die Kameravorrichtung auf einen festgelegten Entfernungsbereich kalibriert. Der festgelegte Entfernungsbereich kann dabei wahlweise in der Nähe oder in der Ferne liegen. Als Nahbereich wird hierbei eine Situation verstanden, welche einer Stadtfahrt entspricht, in der Entfernungen zwischen 15 und 75 m von Bedeutung sind. Als Fembereich wird in dieser Anmeldung eine für eine Landstraßenfahrt typische Fahrsituation, insbesondere mit einem Entfernungsbereich von ca. 30 bis 150 m, oder eine für eine Autobahnfahrt typische Fahrsituation, die insbesondere einen Entfernungsbereich von ca. 50 bis 250 m umfasst, verstanden. Prinzipiell kann die Kameravorrichtung auf jede beliebige Entfernung kalibriert sein. Ist die Kameravorrichtung auf den Fernbereich kalibriert, so ergeben sich Ausrichtungsfehler im Nahbereich aufgrund der versetzten optischen Achsen der Kameras, die zu Irritationen führen können. Ein wesentlicher, die Bildfusion beeinflussender Parameter ist dabei der Abstand des Fahrzeuges zu einem vorausfahrenden Objekt, das sich im Nahbereich des Fahrzeuges befindet, und/oder das Unterschreiten einer bestimmten Geschwindigkeit. In entsprechender Weise kann die Kameravorrichtung auf den Nahbereich kalibriert sein, so dass sich in entsprechender Weise Abbildungsfehler im Fernbereich des Fahrzeuges ergeben. Bei Überschreiten eines bestimmten Abstandes und/oder einer bestimmten Geschwindigkeit könnte damit die Bildfusion unterbunden werden.
Die Erfindung wird nachfolgend anhand der Figuren näher erläutert. Es zeigen:
Fig. 1 das Blockschaltbild einer erfindungsgemäßen Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, und
Fig. 2 den Zusammenhang zwischen dem Paralaxen-Fehler und der Entfernung bei einer Kameravorrichtung mit zwei Kameras, die im wesentlichen parallel zueinander ausgerichtete optische Achsen aufweisen.
Die in Fig. 1 als Blockschaltbild dargestellte, erfindungsgemäße Vorrichtung weist eine Kameravorrichtung 10 mit einer im visuellen Spektralbereich aufnehmenden elektronischen, hier als Visuell-Kamera 101 bezeichnete Kamera (z.B. ein CCD- Sensor) sowie eine im infraroten Spektralbereich von ca. 8 bis 10 mm empfindliche elektronische Infrarot-Kamera 102 (z.B. ein IR-Sensor) auf. Die Visuell-Kamera 101 liefert bevorzugt ein farbiges, visuelles Abbild. Die optischen Achsen der Kameras
101 und 102 sind bevorzugt parallel zueinander ausgerichtet, wodurch der Paralaxen-Fehler minimiert werden kann. Sie liegen bevorzugt nahe beieinander, wodurch Versetzungsfehler minimiert werden. Die Bildebenen beider Kameras oder Sensoren werden bevorzugt parallel zueinander und senkrecht zur optischen Achse ausgerichtet und liegen nahe beieinander. Die photoempfindlichen Sensorflächen beider Kameras bzw. Sensoren sind bevorzugt relativ zueinender weder verdreht noch gekippt, sondern weitgehend parallel zueinander angeordnet. Beide Kameras oder Sensoren haben bevorzugt zudem denselben Öffnungswinkel. Dadurch kann erreicht werden, dass die Kameras oder Sensoren Abbilder unterschiedlicher Spektralbereiche liefern, die weitgehend denselben Ausschnitt zur Umgebung zeigen und zueinander und zur tatsächlichen Situation nicht verdreht sind. Dadurch kann der Aufwand für eine Bearbeitung der Abbilder zur Bereitstellung eines definierten Bilds aus beiden Abbildern und damit der Hardware- und Software- Aufwand deutlich verringert werden.
Eine mit der Kameravorrichtung 10 verbundene Bildverarbeitungseinheit 20 umfasst eine erste Normalisierungsvorrichtung 103, eine zweite Normalisierungsvorrichtung 104, eine Ausrichtvorrichtung 105 und eine Überlagerungs- bzw. Fusionseinrichtung 106 auf. Das von der Fusionseinrichtung 106 erzeugte Zielbild ist in einer Bildanzeigeeinheit 30 darstellbar.
Die in Fig. 1 dargestellte Vorrichtung ist durch eine Kalibriervorrichtung auf einen bestimmten Entfernungsbereich kalibriert. Zur Kalibrierung wird eine (nicht dargestellte) Kalibrierungsvorrichtung verwendet, die z.B. mehrere Glühlampen aufweist, die bevorzugt schachbrettartig angeordnet sind. Die Glühlampen zeichnen sich dadurch aus, dass sie sowohl Wärmestrahlung als auch visuell sichtbare
Strahlung abgeben. Bevorzugt wird eine mit mehreren Glühlampen versehene Platte oder dergleichen in einem Abstandsbereich vor den beiden Kameras 101 ,
102 angeordnet, auf weichen die Kameravorrichtung 10 kalibriert werden soll.
Die vor den Kameras 101 , 102 befindliche Kalibriervorrichtung, die bevorzugt in dunkler Umgebung und nicht in der Nachbarschaft von Wärmequellen angeordnet ist, erzeugt in der Visuell-Kamera 101 ein so genanntes Visuell-Abbild, das die schachbrettartig angeordneten Glühlampen zeigt, wie sie auch das menschliche Auge sieht. Ferner erzeugt die Kalibriervorrichtung in der Infrarot-Kamera 102 eine Wärmebild, das ebenfalls die Anordnung der Glühlampen zeigt. Typischerweise zeigt sowohl das Visuell-Abbild als auch das Infrarot-Abbild, insbesondere aufgrund von optischen Abbildungsfehlern etc., Verzeichnungen an den Rändern des jeweiligen Abbilds. In bekannter Weise werden die Verzeichnungen bzw. Abbildungsfehler im Visuell-Abbild durch die erste Normalisierungsvorrichtung 103 weitgehend beseitigt. In bekannter Weise werden die Verzeichnungen bzw. Abbildungsfehler im Infrarot-Abbild durch die zweite Normalisierungsvorrichtung 104 weitgehend beseitigt. Die Normalisierung bzw. Fehlerbeseitigung erfolgt bevorzugt durch bekannte, softwaremäßige Maßnahmen an den digitalen Daten der Abbilder unter Verwendung von Kalibrierungs-Parametern für das Visuell-Abbild und Kalibrierungs-Parametem 108 für das Infrarot-Abbild.
Die normalisierten bzw. weitgehend von Störungen befreiten Abbilder werden durch einen an sich in der digitalen Bildverarbeitung bekannten Registrierungsvorgang zueinander durch die Ausricht- Vorrichtung 105 unter Verwendung von Registrierungs-Parametern 109 ausgerichtet. Bei dem Ausrichtvorgang bleibt bevorzugt eines der Abbilder unverändert und dient als Referenz für das andere Abbild. Das zweite Abbild wird in Größe und Lage so verändert, dass ein weitgehend objektgleiches Abbild relativ zum ersten Abbild entsteht.
Die normalisierten Abbilder werden also so relativ zueinander ausgerichtet, dass ein und dasselbe Objekt an weitgehend gleicher Stelle und in weitgehend gleicher
Größe im fusionierten Bild erscheint. Wird dieser Vorverarbeitungsschritt nicht ausgeführt, entstehen aufgrund unterschiedlicher Kamerageometrien und des
Kameraversatzes Geister-, Doppel-, Schatten- bzw. Zwillingsbilder. Dies bedeutet, dass ein Objekt an zwei Orten und in unterschiedlichen Größen im fusionierten Bild erscheint. Der Betrachter wird von solch einem Bild eher irritiert als dass ihm geholfen wird.
Die Ausrichtung der normalisierten Abbilder kann in drei Schritte eingeteilt werden: Verschiebung, Drehung und Skalierung. Die zueinander ausgerichteten Abbilder werden in der Überlagerungs- bzw. Fusionseinrichtung 106 durch die Bearbeitung von deren digitalen Daten überlagert bzw. fusioniert. Aus jedem zeit- und ortsgleichen bzw. objektgleichen Bild-Paar aus Visuell-Abbild und Infrarot-Abbild wird ein fusioniertes oder überlagertes Bild generiert, das dem Fahrer des Fahrzeugs in einer Bildanzeigeeinheit 30 im Fahrzeug dargestellt wird.
Bevorzugt erfolgt eine Fusion der zeit- und ortsgleichen Bild-Paare aus Visuell- Abbild und Infrarot-Abbild auf der Basis einzelner, einander zugeordneter Pixel- Paare aus beiden Abbildern oder unter Verwendung von mehreren Pixeln aus den beiden Abibildern. Dies kann sich insbesondere daran orientieren, welche Auflösung gewünscht und/oder welche Rechenleistung für die digitale Bildbearbeitung zur Verfügung steht. Die wie beschrieben vorverarbeiteten Abbilder werden durch digitale Verarbeitung von deren Bild-Daten überlagert und angezeigt. Vom Ergebnis her kann dieser Vorgang annähernd mit dem Übereinanderlegen von Folien oder Dias derselben Szene oder Fahrumgebung verglichen werden. Rechentechnisch bzw. bei der digitalen Bildverarbeitung wird dies durch Mittelwertbildung der Pixel- Informationen, insbesondere unter Berücksichtigung von deren Helligkeit in den jeweiligen Abbildern und der im Visuell-Abbild und/oder im Infrarot-Abbild enthaltenen Farbinformationen, erreicht. Dies muss nicht notwendigerweise Pixel für Pixel erfolgen, sondern kann auch durch Mittelwertbildung für orts- und zeitgleiche Pixel-Bereiche in beiden Abbildern geschehen.
Ferner kann es sinnvoll sein, die Pixel-Information im Infrarot-Abbild bei der Mittelwertbildung unterschiedlich zur zeit- und ortsgleichen Pixel-Information im Visuell-Abbild zu gewichten. Diese unterschiedliche Gewichtung kann beispielsweise tageslicht- und/oder witterungsabhängig und/oder in Abhängigkeit vom Scheinwerferlicht des Kraftfahrzeugs und/oder in Abhängigkeit von der Farbe im Visuell-Abbild erfolgen. Hierdurch kann beispielsweise erreicht werden, dass eine rote Ampel im Fusionsbild besonders deutlich erkennbar ist.
Da im Kraftfahrzeug primär die Detektion von Objekten im Fernbereich, d.h. in Entfernungen zwischen 50 bis 250 m, von Interesse ist, erzeugt man aufgrund der festen Einstellung der Kalibrierung im Nahbereich und aufgrund der versetzten optischen Achsen der Kameras 101 , 102 Doppelbilder, die beim Fahrzeugbenutzer zu Irritationen führen können. Um diese Irritationen zu vermeiden, wird beispielsweise in Abhängigkeit der Entfernung zu einem vorausliegenden Objekt und/oder in Abhängigkeit der Geschwindigkeit des Fahrzeugs das in der Bildanzeigeeinheit 30 dargestellte Zielbild auf die Wiedergabe entweder des Visuell- Abbilds oder des Infrarot-Abbilds beschränkt.
In Fig. 2 ist der Zusammenhang zwischen dem Paralaxen-Fehler und der Entfernung der Kameravorrichtung zu dem von dieser aufgenommenen Objekt dargestellt. Es ist dabei eine Situation dargestellt, in der die Vorrichtung auf eine paralaxen-freie Darstellung im Fernbereich optimiert ist. Überschreitet der Paralaxen-Fehler eine gewisse Schwelle, die von verschiedenen Umgebungsparametern, wie z.B. der Geschwindigkeit und/oder der Entfernung und/oder den Witterungsbedingungen und/oder der Topologie und/oder der Fahrzeugumgebung abhängen kann, so wird die Bildfusion ausgesetzt und das der Situation besser geeignete Abbild der Visuell-Kamera oder der Infrarot-Kamera zur Darstellung gebracht. Im Ausführungsbeispiel ist diese Schwelle bei einer Entfernung eingestellt, die kleiner als die durch Kalibrierung eingestellte „Optimal- Entfernung" ist. Die Schwelle braucht nicht unbedingt fest eingestellt zu sein, sondern kann dynamisch von verschiedenen Parametern abhängen oder durch einen Bereich definiert sein.
Es sind beispielsweise folgende Szenarien vorstellbar:
An einer Ampel fährt das Fahrzeug auf ein vorausfahrendes Fahrzeug dichter auf, wodurch der Ausrichtungsfehler der miteinander fusionierten Bilder der Visuell- Kamera und der Infrarot-Kamera im Zielbild zunimmt. In Abhängigkeit einer durch einen Sensor 40 ermittelten Entfernung, welcher mit der Bildverarbeitungseinheit gekoppelt ist, wird ermittelt, bei welcher Entfernung zwischen dem Objekt und der Kameravorrichtung 10 ein bestimmter Ausrichtungsfehler überschritten wird. Nach Überschreiten dieses Ausrichtungsfehlers wird die Bildfusion deaktiviert und lediglich das Abbild der Infrarot-Kamera zur Anzeige gebracht. Alternativ kann in einer anderen Ausgestaltung natürlich auch lediglich das Abbild der Visuell-Kamera zur Anzeige gebracht werden. Wird in einem anderen Ausführungsbeispiel eine vorgegebene Geschwindigkeit des Fahrzeugs unterschritten, so reicht die Reichweite der eigenen Scheinwerfer aus, dass sich der Fahrzeugbenutzer über das Geschehen in der näheren Umgebung ausreichend informieren kann. Bei Unterschreitung einer vorgegebenen Geschwindigkeit des Fahrzeugs könnte deshalb die Bildfusion ausgesetzt und das Abbild der Visuell-Kamera im Zielbild nicht zur Anzeige gebracht werden und lediglich das Abbild der Infrarot-Kamera angezeigt werden. So wird gewährleistet, dass Personen, Tiere, usw. auch in einer schlecht beleuchteten Umgebung, z.B. in einer Wohnsiedlung, auf einem Waldparkplatz, usw., zur Anzeige gebracht werden. Die Geschwindigkeit wird durch einen mit der Bildverarbeitungseinheit 20 gekoppelten Geschwindigkeitssensor 41 ermittelt.
Die beiden Ausführungsbeispiele beschreiben eine Anwendung des Aussetzens der Bildfusion bei geringen Entfernungen und/oder bei kleinen Geschwindigkeiten des Fahrzeugs. Generell lässt sich die Erfindung auch anwenden, wenn die Vorrichtung auf eine geringe Entfernung kalibriert ist. Die Bildfusion würde hierbei bei Überschreiten einer vorgegebenen Entfernung und/oder einer bestimmten Geschwindigkeit ausgesetzt.
Der Vorteil des erfindungsgemäßen Vorgehens besteht darin, dass durch Aussetzen der Bildfusion im Zielbild keine Abbildungsfehler auftreten, die zu Irritationen führen könnten. Die erfindungsgemäße Vorrichtung erlaubt damit den Einsatz einer Bildfusions-Vorrichtung, welche lediglich auf einen Entfernungsbereich kalibriert ist. Auf komplexe Steuerungsalgorithmen, die Abbildungsfehler in sämtlichen Entfernungsbereichen vermeiden und über aufwendige Rechenalgorithmen ermittelt werden müssen, kann dadurch verzichtet werden.
Bezugszeichenliste
10 Kameravorrichtung
20 Bildverarbeitungseinheit
30 Bildanzeigeeinheit
40 Sensor
41 Sensor
101 Kamera
102 Kamera
103 Normalisierungsvorrichtung
104 Normalisierungsvorrichtung
105 Ausricht-Vorrichtung
106 Fusionseinrichtung
107 Kalibrierungs-Parameter
108 Kalibrierungs-Parameter
109 Registrierungs-Parameter

Claims

Patentansprüche
1. Verfahren zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, bei dem ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitgestellt wird, wobei das visuelle Abbild die visuell sichtbaren Objekte zeigt, und ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitgestellt wird, das die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt, eine Bildfusion vorgenommen wird, die das Visuell-Abbild und das Infrarot-Abbild zu einem in einer Bildanzeigeeinheit (30) darstellbaren Zielbild fusioniert, um die Zuordnung von Objekten, von denen Infrarot-Strahlung ausgeht, in der aufgenommenen Umgebung zu erleichtern, dadurch gekennzeichnet, dass die Bildfusion in Abhängigkeit eines Umgebungsparameters ausgesetzt wird, um lediglich eines der beiden Abbilder oder keines der Abbilder als Zielbild darzustellen.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in dem Schritt des Aussetzens der Bildfusion das Visuell-Abbild und/oder das Infrarot-Abbild zur Vermeidung von Unscharfen und/oder Doppelbildern sämtliche digitale Daten der Umgebung des jeweiligen Abbilds ausgeblendet werden.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Umgebungsparameter aus zumindest einer sensorisch erfassten, fahrdynamischen Größe und/oder zumindest einem anderen Parameter ermittelt wird/
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als fahrdynamische Größe die Geschwindigkeit des Fahrzeugs, insbesondere das Unter- oder Überschreiten einer vorgegebenen Geschwindigkeit, verarbeitet wird.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass als fahrdynamische Größe ein Abstand des Fahrzeugs zu einem im Blickwinkel der Kamera erfassten Objekt, insbesondere das Unter- oder
Überschreiten eines vorgegebenen Abstands, verarbeitet wird.
6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass als weiterer Parameter die aktuelle Position des Fahrzeugs verarbeitet wird.
7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass als weiterer Parameter die Topologie und/oder die aktuellen Witterungsbedingungen verarbeitet werden.
8. Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass als weiterer Parameter ein durch den Fahrzeugnutzer auswählbarer Parameter durch die Bildverarbeitungseinheit verarbeitet wird.
9. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass die Entropiewerte des Visuell-Abbilds und des Infrarot-Abbilds ermittelt wird, die Entropiewerte mit einem vorgegebenen Entropiewert verglichen werden, und anhand des Vergleichsergebnisses entschieden wird, ob das Visuell- Abbild und/oder das Infrarot-Abbild oder beide ausgeblendet werden.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Aussetzen der Bildfusion unter Berücksichtigung einer zeitlichen Hysterese erfolgt.
1 1. Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs, insbesondere bei Dunkelheit, mit einer Kameravorrichtung (10), die eine ein digitale Daten der Umgebung enthaltendes Visuell-Abbild bereitstellende Visuell- Kamera (101 ) und eine ein digitale Daten der Umgebung enthaltendes Infrarot-Abbild bereitstellende Infrarot-Kamera (102) aufweist, wobei das visuelle Abbild die visuell sichtbaren Objekte und das Infrarot-Abbild die von den visuell sichtbaren und/oder weiteren Objekten ausgehende Infrarot-Strahlung zeigt, - einer Bildverarbeitungseinheit (20) zum Verarbeiten des Visuell-
Abbilds und des Infrarot-Abbilds, wobei die Bildverarbeitungseinheit (20) dazu ausgebildet und/oder dazu eingerichtet ist, eine Bildfusion des Visuell-Abbilds und des Infrarot-Abbilds vorzunehmen, und einer Bildanzeigeeinheit (30) zur Anzeige des von der Bildverarbeitungseinheit (20) generierten Abbilds der Umgebung, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (20) dazu ausgebildet und/oder eingerichtet ist, die Bildfusion in Abhängigkeit eines Umgebungsparameters zu unterbinden.
12. Vorrichtung nach Anspruch 11 , dadurch gekennzeichnet, dass zumindest ein mit der Bildverarbeitungseinheit (20) gekoppelter Sensor (40,41) zur Ermittlung einer fahrdynamischen Größe vorgesehen ist.
13. Vorrichtung nach Anspruch 11 oder 12, dadurch gekennzeichnet, dass der Bildverarbeitungseinheit (20) ein weiterer Parameter zuführbar ist.
14. Vorrichtung nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (20) dazu eingerichtet ist, aus der fahrdynamischen Größe und/oder dem weiteren Parameter den
Umgebungsparameter zu ermitteln.
15. Vorrichtung nach einem der Ansprüche 11 bis 14, dadurch gekennzeichnet, dass die Kameravorrichtung (10) auf einen festgelegten Entfernungsbereich kalibriert ist.
PCT/EP2006/000133 2005-02-11 2006-01-10 Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds WO2006084534A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007554449A JP2008530667A (ja) 2005-02-11 2006-01-10 赤外画像と可視画像との融合により車両の周辺を可視化するための方法および装置
EP06700891A EP1846794A1 (de) 2005-02-11 2006-01-10 Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds
CN200680002767.1A CN101107556B (zh) 2005-02-11 2006-01-10 通过合成红外线影像和可见光影像可视化汽车周围环境的方法和装置
US11/890,495 US9088737B2 (en) 2005-02-11 2007-08-07 Method and device for visualizing the surroundings of a vehicle by fusing an infrared image and a visual image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005006290.3 2005-02-11
DE102005006290A DE102005006290A1 (de) 2005-02-11 2005-02-11 Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/890,495 Continuation US9088737B2 (en) 2005-02-11 2007-08-07 Method and device for visualizing the surroundings of a vehicle by fusing an infrared image and a visual image

Publications (1)

Publication Number Publication Date
WO2006084534A1 true WO2006084534A1 (de) 2006-08-17

Family

ID=36061713

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2006/000133 WO2006084534A1 (de) 2005-02-11 2006-01-10 Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds

Country Status (6)

Country Link
US (1) US9088737B2 (de)
EP (1) EP1846794A1 (de)
JP (1) JP2008530667A (de)
CN (1) CN101107556B (de)
DE (1) DE102005006290A1 (de)
WO (1) WO2006084534A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102128686A (zh) * 2010-12-14 2011-07-20 天津理工大学 红外显微测温仪
WO2016062708A1 (en) * 2014-10-21 2016-04-28 Connaught Electronics Ltd. Camera system for a motor vehicle, driver assistance system, motor vehicle and method for merging image data

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4466571B2 (ja) * 2005-05-12 2010-05-26 株式会社デンソー ドライバ状態検出装置、車載警報装置、運転支援システム
JP4685050B2 (ja) * 2007-03-19 2011-05-18 本田技研工業株式会社 表示装置
JP4853437B2 (ja) * 2007-09-18 2012-01-11 株式会社デンソー 車両周辺監視システム
DE102008047644B4 (de) * 2008-09-17 2015-09-10 Siemens Aktiengesellschaft Verfahren zur Registrierung zweier Bildgebungsmodalitäten
JP5749442B2 (ja) * 2010-03-11 2015-07-15 株式会社日立情報通信エンジニアリング 監視装置
KR101349025B1 (ko) * 2011-11-25 2014-01-10 현대자동차주식회사 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법
EP2658245B1 (de) * 2012-04-27 2016-04-13 BlackBerry Limited System und Verfahren zum Einstellen von Kamerabilddaten
US8994845B2 (en) * 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
CN102700472B (zh) * 2012-06-13 2015-04-15 博立码杰通讯(深圳)有限公司 车辆驾驶辅助设备及方法
CN102745135A (zh) * 2012-07-24 2012-10-24 苏州工业园区七星电子有限公司 一种主动式车辆红外夜视系统
DE102012215465A1 (de) * 2012-08-31 2014-03-06 Robert Bosch Gmbh Verfahren und Informationssystem zum Filtern von Objektinformationen
KR101858646B1 (ko) 2012-12-14 2018-05-17 한화에어로스페이스 주식회사 영상 융합 장치 및 방법
KR101470198B1 (ko) * 2013-07-29 2014-12-05 현대자동차주식회사 영상 합성 장치 및 방법
CN105453532B (zh) * 2013-07-31 2019-03-01 麦克赛尔株式会社 摄像装置、摄像方法和车载摄像系统
JP6136948B2 (ja) * 2014-01-24 2017-05-31 株式会社Ｊｖｃケンウッド 撮像装置、映像信号処理方法及び映像信号処理プログラム
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
US9723224B2 (en) * 2014-03-31 2017-08-01 Google Technology Holdings LLC Adaptive low-light identification
KR101601475B1 (ko) * 2014-08-25 2016-03-21 현대자동차주식회사 야간 주행 시 차량의 보행자 검출장치 및 방법
JPWO2016103938A1 (ja) * 2014-12-22 2017-09-21 富士フイルム株式会社 投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム
CN104811624A (zh) * 2015-05-06 2015-07-29 努比亚技术有限公司 红外拍摄方法及装置
CN107851311B (zh) * 2015-06-15 2023-01-13 前视红外系统股份公司 对比度增强的结合图像生成系统和方法
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
DE102015216908A1 (de) * 2015-09-03 2017-03-09 Robert Bosch Gmbh Verfahren zum Erkennen von Objekten auf einer Abstellfläche
US10359618B2 (en) 2016-01-11 2019-07-23 Nikon Corporation Multispectral stereoscopic endoscope system and use of same
CN105759273A (zh) * 2016-02-17 2016-07-13 吴伟民 车辆障碍物检测方法及系统
JP6445480B2 (ja) * 2016-03-23 2018-12-26 トヨタ自動車株式会社 Ｓｏｉ基板の製造方法
US10412381B1 (en) * 2016-11-22 2019-09-10 Northrop Grumman Systems Corporation Calibration target for image sensor
DE102017200915A1 (de) * 2017-01-20 2018-07-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Anzeigen eines Hinweises für einen Anwender und Arbeitsvorrichtung
TW201928769A (zh) * 2017-12-27 2019-07-16 宇博先進電子工業有限公司 標示物體溫度的方法
JP7254461B2 (ja) * 2018-08-01 2023-04-10 キヤノン株式会社 撮像装置、制御方法、記録媒体、および、情報処理装置
CN108995591A (zh) * 2018-08-01 2018-12-14 北京海纳川汽车部件股份有限公司 车辆全景透视显示方法、系统及具有其的车辆
EP3715993B1 (de) 2019-03-25 2022-09-14 Hiab AB Fahrzeug mit einer arbeitsausrüstung sowie eine arbeitsausrüstung und ein verfahren im zusammenhang damit
SE1950427A1 (en) 2019-04-05 2020-10-06 Cargotec Patenter Ab A vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
CN110362071B (zh) * 2019-05-24 2022-07-22 江西理工大学 基于多光谱成像技术的人工智能控制方法及装置
US11418719B2 (en) * 2020-09-04 2022-08-16 Altek Semiconductor Corp. Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching
US11568526B2 (en) 2020-09-04 2023-01-31 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
US11496660B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and depth map calculation method thereof
US11689822B2 (en) 2020-09-04 2023-06-27 Altek Semiconductor Corp. Dual sensor imaging system and privacy protection imaging method thereof
US11496694B2 (en) 2020-09-04 2022-11-08 Altek Semiconductor Corp. Dual sensor imaging system and imaging method thereof
CN115170817B (zh) * 2022-07-21 2023-04-28 广州大学 基于三维人-物网格拓扑增强的人物交互检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
EP0691559A1 (de) * 1994-07-07 1996-01-10 Gec-Marconi Limited Auf dem Kopf tragbares Anzeigsystem
US6163309A (en) * 1998-01-16 2000-12-19 Weinert; Charles L. Head up display and vision system
US20030218801A1 (en) * 2000-08-30 2003-11-27 Korniski Ronald James System and method for combining multiple energy bands to improve scene viewing
DE10227171A1 (de) * 2002-06-18 2004-01-15 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE10304703A1 (de) * 2003-02-06 2004-08-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
JPH01268284A (ja) * 1988-04-19 1989-10-25 Fujitsu Ltd 画像合成装置
JP4103179B2 (ja) * 1998-06-30 2008-06-18 マツダ株式会社 環境認識装置
JP2001101596A (ja) * 1999-09-27 2001-04-13 Mazda Motor Corp 車両の表示装置
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP2002091407A (ja) * 2000-09-20 2002-03-27 Ricoh Co Ltd 画像表示装置
JP2002237969A (ja) * 2001-02-09 2002-08-23 Hitachi Ltd 車載カメラおよび画像処理システム
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP2003200755A (ja) * 2001-12-28 2003-07-15 Yazaki Corp 車両用表示装置
DE10207039A1 (de) * 2002-02-20 2003-09-04 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriervorrichtung zur Kalibrierung der Vorrichtung
US20070035625A9 (en) * 2002-12-20 2007-02-15 Hamdan Majed M Vehicle video processing system
JP2004235987A (ja) * 2003-01-30 2004-08-19 Matsushita Electric Ind Co Ltd 運転支援装置
JP2004312402A (ja) * 2003-04-08 2004-11-04 Hitachi Ltd 道路監視システム，道路監視装置
JP3879696B2 (ja) * 2003-04-25 2007-02-14 日産自動車株式会社 運転支援装置
WO2006060746A2 (en) * 2004-12-03 2006-06-08 Infrared Solutions, Inc. Visible light and ir combined image camera with a laser pointer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4751571A (en) * 1987-07-29 1988-06-14 General Electric Company Composite visible/thermal-infrared imaging apparatus
EP0691559A1 (de) * 1994-07-07 1996-01-10 Gec-Marconi Limited Auf dem Kopf tragbares Anzeigsystem
US6163309A (en) * 1998-01-16 2000-12-19 Weinert; Charles L. Head up display and vision system
US20030218801A1 (en) * 2000-08-30 2003-11-27 Korniski Ronald James System and method for combining multiple energy bands to improve scene viewing
DE10227171A1 (de) * 2002-06-18 2004-01-15 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE10304703A1 (de) * 2003-02-06 2004-08-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102128686A (zh) * 2010-12-14 2011-07-20 天津理工大学 红外显微测温仪
CN102128686B (zh) * 2010-12-14 2012-11-21 天津理工大学 红外显微测温仪
WO2016062708A1 (en) * 2014-10-21 2016-04-28 Connaught Electronics Ltd. Camera system for a motor vehicle, driver assistance system, motor vehicle and method for merging image data

Also Published As

Publication number Publication date
CN101107556A (zh) 2008-01-16
EP1846794A1 (de) 2007-10-24
DE102005006290A1 (de) 2006-08-24
US9088737B2 (en) 2015-07-21
CN101107556B (zh) 2010-12-22
JP2008530667A (ja) 2008-08-07
US20080024608A1 (en) 2008-01-31

Similar Documents

Publication Publication Date Title
WO2006084534A1 (de) Verfahren und vorrichtung zur sichtbarmachung der umgebung eines fahrzeugs durch fusion eines infrarot- und eines visuell-abbilds
DE10304703B4 (de) Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
EP2765031B1 (de) Sichtsystem für Fahrzeuge, insbesondere Nutzfahrzeuge
DE102012025322B4 (de) Kraftfahrzeug mit Kamera-Monitor-System
DE102012002149B3 (de) Verfahren zur Visualisierung des Umfelds eines Kraftfahrzeugs und zugehöriges Kraftfahrzeug
DE102018105951B4 (de) Verfahren zum dynamischen anzeigen von bildern auf einer elektronischen anzeigevorrichtung eines fahrzeugs
EP1504960B1 (de) Verfahren und Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug
EP3434523A1 (de) Indirektes sichtsystem für ein fahrzeug
EP1339228B1 (de) Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriereinheit zur Kalibrierung der Vorrichtung
DE102012200133A1 (de) Verfahren und Vorrichtung zur Fahrerinformation
DE102007025147A1 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102013224954A1 (de) Verfahren und Vorrichtung zum Erzeugen einer Warnung mittels zweier durch Kameras erfasster Bilder einer Fahrzeugumgebung
DE102020107789A1 (de) Sichtsystem für ein Fahrzeug und Verfahren zum Umschalten zwischen von dem Sichtsystem dargestellten Bildbereichen
DE10218175B4 (de) Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit fahrsituationsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
DE102012018556B4 (de) Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer
DE10227171B4 (de) Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds
EP2229770A1 (de) Verfahren und vorrichtung zur bilderfassung für kraftfahrzeuge
DE102013220022B4 (de) Fahrzeugkamera zur Erfassung von Bildern aus einem Umgebungsbereich eines Fahrzeugs und Fahrzeug
EP3106349A1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE102015210870A1 (de) Vorrichtung und Verfahren zum Erfassen eines Bildes einer Fahrzeugumgebung
DE102014111186A1 (de) Objekthervorhebung und -erkennung bei Fahrzeugbildanzeigesystemen
DE102022120236B3 (de) Verfahren zum harmonisierten Anzeigen von Kamerabildern in einem Kraftfahrzeug und entsprechend eingerichtetes Kraftfahrzeug
DE102005000775B4 (de) Verfahren zur Überwachung eines Objektraumes von einem Kraftfahrzeug aus
DE102022101893A1 (de) Verfahren zur Darstellung von Augmented Reality Informationen in Fahrzeugen
DE102018110597A1 (de) Verfahren zur Bildharmonisierung, Bildverarbeitungseinrichtung, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006700891

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200680002767.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 11890495

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2007554449

Country of ref document: JP

WWP Wipo information: published in national office

Ref document number: 2006700891

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11890495

Country of ref document: US