WO2007042156A1 - Driver assistance system with highlighting of relevant persons on an infrared image - Google Patents

Driver assistance system with highlighting of relevant persons on an infrared image Download PDF

Info

Publication number
WO2007042156A1
WO2007042156A1 PCT/EP2006/009447 EP2006009447W WO2007042156A1 WO 2007042156 A1 WO2007042156 A1 WO 2007042156A1 EP 2006009447 W EP2006009447 W EP 2006009447W WO 2007042156 A1 WO2007042156 A1 WO 2007042156A1
Authority
WO
WIPO (PCT)
Prior art keywords
infrared
animal
infrared image
obstacle
image
Prior art date
Application number
PCT/EP2006/009447
Other languages
German (de)
French (fr)
Inventor
Peter Lehnert
Artur Russ
Andreas Keinath
Günter Bauer
Axel Seinsche
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2007042156A1 publication Critical patent/WO2007042156A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes

Definitions

  • the invention relates to a driver assistance system for assisting a driver when driving a vehicle, in particular a passenger car or a motorcycle according to the preamble of claim 1.
  • Driver assistance systems with infrared image recording devices are known, the images of which are made available to the driver on a display device.
  • the object of the present invention is to provide the driver with an improved driver assistance system.
  • the invention proposes a driver assistance system with the features of claim 1.
  • Advantageous embodiments are the subject of the dependent claims.
  • the driver assistance system has an infrared recording device, in particular for the near and / or far infrared, such as a thermal imaging camera, which provides an infrared image or a sequence of infrared images of the surroundings of the vehicle.
  • a thermal imaging camera which provides an infrared image or a sequence of infrared images of the surroundings of the vehicle.
  • it is an infrared camera and / or a device that receives the environment of the vehicle in the current direction of travel or in the direction of travel soon embarked.
  • An infrared image evaluation device evaluates whether the provided infrared image or the provided sequence of infrared images show at least one human and / or at least one animal and / or one obstacle, in particular a vehicle and / or a two-wheeled vehicle.
  • An infrared image evaluation device optionally provides a processed infrared image or a sequence of processed infrared images. The processing consists of at least the fact that the at least one human and / or the at least one animal and / or the obstacle to other areas and / or objects in the infrared image and / or in a pictogram-like image is highlighted.
  • the processed infrared image or the sequence of processed infrared images is displayed to the driver via a display device.
  • the infrared evaluation device controls, if necessary, a warning device and notifies the driver.
  • the driver receives valuable information on potential dangers, but without enticing him to drive the vehicle "to the screen".
  • the driver is brought to the attention of a potential danger by a warning sound and / or by an accelerator pedal vibration and / or by a visualization in a head-up display.
  • a warning sound and / or by an accelerator pedal vibration and / or by a visualization in a head-up display As a result, an increased attention of the driver is achieved with little distraction from the driving.
  • the course of the road is displayed in the displayed infrared image and / or by a pictogram-like image. This allows the driver to more rapidly map the information from the infrared image to his visual image, and therefore to more quickly identify where the potential danger location is.
  • the at least one human and / or the at least one animal and / or the obstacle are represented relative to the course of the road by the display device in order to be able to quickly grasp their location in relation to the roadway. This allows the driver to quickly recognize whether there is already an obstacle on his route or if there is only a danger.
  • the at least one person and / or the at least one animal and / or the obstacle highlighted in the infrared image and / or in the pictorial image is in a first color, preferably an eye-catching color, and the surroundings of the at least one human being and / or or animal and / or obstacle in a second color, preferably an unobtrusive background color, such as black.
  • the infrared image and / or pictogram-like image displayed to the driver shows an animation which directs the driver's attention to the at least one human and / or the at least one animal and / or the obstacle shown in the infrared image, the animation preferably being shows concentric circles concentric, in the centers of the at least one human and / or the at least one animal and / or the object is.
  • the animation preferably being shows concentric circles concentric, in the centers of the at least one human and / or the at least one animal and / or the object is.
  • the relevance of the position of the at least one human and / or animal and / or obstacle with regard to a potential hazard in the infrared image and / or in the pictogram-like image and / or by the warning device is identified accordingly.
  • the identification of the potential hazard can be done by different colors, preferably the traffic light colors are used, ie from green to yellow to red the degree of potential danger increases.
  • the relevance of the position of the at least one human and / or animal and / or obstacle with regard to a potential hazard by a corresponding identification of the at least one human and / or animal and / or obstacle in the infrared image and / or pictogram-like image takes place.
  • the relevance of the position of the at least one human and / or animal and / or obstacle with regard to a potential hazard by a corresponding identification of the background to the at least one human and / or animal and / or obstacle in the infrared image can be changed with increasing distance from at least one human and / or at least one animal and / or obstacle, thereby directing attention to the human and / or the at least one animal and / or obstacle.
  • the at least one human being and / or the at least one animal and / or obstacle in the case of a potential hazard are shown clearly clearer and / or more structured than its surroundings on the infrared image and / or pictogram-like image. This is another or complementary measure to direct the driver's gaze directly to the potential danger presented on the screen, to increase the detection speed and to minimize the distraction through the screen.
  • the potential hazard is visualized by a frame around the relevant at least one human and / or the relevant at least one animal and / or obstacle and the degree of reliability with which the hazard has been determined Abnormality of the frame shown determined.
  • a broad, light-colored frame and with less reliable recognition a narrower, pale frame in a signal color, such as yellow, red, etc., is displayed in the displayed infrared image and / or pictogram-like image.
  • the invention prevents the driver from driving to the infrared image and / or the pictogram-like image.
  • the driver's attention is directed to the display or the screen only when a relevant object is displayed and / or a warning is emitted optically and / or acoustically.
  • the position of a relevant object can be assigned more quickly to the corresponding position when looking through the windshield of the vehicle, i. the driver is informed where there is a danger zone that is not visually or only very vaguely visible.

Abstract

The invention relates to a driver assistance system for assisting a driver when driving a vehicle, in particular a passenger car or a motorbike. The system according to the invention is provided with an infrared recording device, in particular for the near infrared and/or far infrared, such as a heat imaging camera, which makes available an infrared image or a sequence of infrared images of the surroundings of the vehicle, preferably an infrared imaging camera and/or a device which records the surroundings of the vehicle in the current direction of travel or in the direction of travel which is about to be adopted. An infrared image evaluation device evaluates whether the infrared image which has been made available or the sequence of infrared images made available shows at least one person and/or at least one animal and/or an obstacle, in particular a two-wheeled vehicle. The infrared image evaluation device makes available, if appropriate, a processed infrared image or a sequence of processed infrared images, and the processing consists at least in the at least one person and/or the at least one animal and/or the obstacle being highlighted compared to other regions and/or other objects in the infrared image and/or a pictogram-like image and being displayed to the driver by means of a display device. Alternatively or additionally the infrared image evaluation device actuates, if appropriate, a warning device and brings this to the driver’s attention.

Description

Fahrer-Assistenzsystem mit Hervorhebung relevanter Personen im InfrarotbildDriver assistance system with highlighting of relevant persons in the infrared image
Die Erfindung betrifft ein Fahrer-Assistenzsystem zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs, insbesondere eines Pkws oder eines Kraftrads nach dem Oberbegriff des Anspruchs 1.The invention relates to a driver assistance system for assisting a driver when driving a vehicle, in particular a passenger car or a motorcycle according to the preamble of claim 1.
Es sind Fahrer-Assistenzsysteme mit Infrarotbild-Aufnahme-Vorrichtungen bekannt, deren Bilder dem Fahrer auf einer Anzeige-Vorrichtung zur Verfügung gestellt werden.Driver assistance systems with infrared image recording devices are known, the images of which are made available to the driver on a display device.
An den bekannten Fahrer-Assistenzsystemen ist nachteilig, dass diese den Fahrer dazu verleiten, nach diesen das Fahrzeug zu führen. Dies gilt insbesondere bei schlechter Sicht.The disadvantage of the known driver assistance systems is that they lead the driver to drive the vehicle after them. This is especially true in poor visibility.
Aufgabe der vorliegenden Erfindung ist es, dem Fahrer ein verbessertes Fahrer- Assistenzsystem zur Verfügung zu stellen.The object of the present invention is to provide the driver with an improved driver assistance system.
Zur Lösung dieser Aufgabe schlägt die Erfindung ein Fahrer-Assistenzsystem mit den Merkmalen des Anspruchs 1 vor. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.To solve this problem, the invention proposes a driver assistance system with the features of claim 1. Advantageous embodiments are the subject of the dependent claims.
Das erfindungsgemäße Fahrer-Assistenzsystem weist eine Infrarot-Aufnahme- Vorrichtung, insbesondere für das nahe und/oder ferne Infrarot, wie eine Wärmebildkamera, auf, die ein Infrarotbild bzw. eine Folge von Infrarotbildern der Umgebung des Fahrzeugs bereitstellt. Vorzugsweise ist es eine Infrarotbildkamera und/oder eine Vorrichtung, die die Umgebung des Fahrzeugs in der aktuellen Fahrtrichtung oder in der demnächst eingeschlagenen Fahrtrichtung aufnimmt.The driver assistance system according to the invention has an infrared recording device, in particular for the near and / or far infrared, such as a thermal imaging camera, which provides an infrared image or a sequence of infrared images of the surroundings of the vehicle. Preferably, it is an infrared camera and / or a device that receives the environment of the vehicle in the current direction of travel or in the direction of travel soon embarked.
Eine Infrarotbild-Auswertungs-Vorrichtung wertet aus, ob das bereitgestellte Infrarotbild oder die bereitgestellte Folge von Infrarotbildern mindestens einen Menschen und/oder mindestens ein Tier und/oder ein Hindernis, insbesondere ein Fahrzeug und/oder ein Zweirad, zeigen. Hierbei können an sich bekannte Verfahren zur Muster-Erkennung verwendet werden. Eine Infrarotbild-Auswertungs-Vorrichtung stellt gegebenenfalls ein bearbeitetes Infrarotbild bzw. eine Folge von bearbeiteten Infrarotbildern bereit. Die Bearbeitung besteht mindestens darin, dass der mindestens eine Mensch und/oder das mindestens eine Tier und/oder das Hindernis gegenüber anderen Bereichen und/oder gegenüber Objekten im Infrarotbild und/oder in einem piktogrammartigen Bild hervorgehoben dargestellt wird. Das bearbeitete Infrarotbild bzw. die Folge von bearbeiteten Infrarotbildern wird dem Fahrer über eine Anzeige-Vorrichtung zur Anzeige gebracht. Alternativ oder ergänzend steuert die Infrarot-Auswertungs- Vorrichtung ggf. eine Warnvorrichtung an und bringt dies dem Fahrer zur Kenntnis.An infrared image evaluation device evaluates whether the provided infrared image or the provided sequence of infrared images show at least one human and / or at least one animal and / or one obstacle, in particular a vehicle and / or a two-wheeled vehicle. Here, known per se methods for pattern recognition can be used. An infrared image evaluation device optionally provides a processed infrared image or a sequence of processed infrared images. The processing consists of at least the fact that the at least one human and / or the at least one animal and / or the obstacle to other areas and / or objects in the infrared image and / or in a pictogram-like image is highlighted. The processed infrared image or the sequence of processed infrared images is displayed to the driver via a display device. Alternatively or additionally, the infrared evaluation device controls, if necessary, a warning device and notifies the driver.
Durch die erfindungsgemäßen Maßnahmen erhält der Fahrer wertvolle Hinweise auf potentielle Gefahren, ohne ihn jedoch zum Führen des Fahrzeugs „nach Bildschirm" zu verleiten.By means of the measures according to the invention, the driver receives valuable information on potential dangers, but without enticing him to drive the vehicle "to the screen".
Bei einer Ausgestaltung der Erfindung wird dem Fahrer eine potenzielle Gefahr durch einen Warnton und/oder durch eine Gaspedalvibration und/oder durch eine Visualisierung in einem Head-Up-Display zur Kenntnis gebracht wird. Hierdurch wird eine erhöhte Aufmerksamkeit des Fahrers bei geringer Ablenkung vom Fahrgeschehen erreicht.In one embodiment of the invention, the driver is brought to the attention of a potential danger by a warning sound and / or by an accelerator pedal vibration and / or by a visualization in a head-up display. As a result, an increased attention of the driver is achieved with little distraction from the driving.
Bei einer Weiterbildung der Erfindung wird der Straßenverlauf im angezeigten Infrarotbild und/oder durch ein piktogrammartiges Bild dargestellt. Dies ermöglicht dem Fahrer eine raschere Zuordnung der Information aus dem Infrarotbild zu seinem visuellen Bild und führt daher zu einem rascheren Erkennen, wo sich die potenzielle Gefahrenstelle befindet.In a development of the invention, the course of the road is displayed in the displayed infrared image and / or by a pictogram-like image. This allows the driver to more rapidly map the information from the infrared image to his visual image, and therefore to more quickly identify where the potential danger location is.
Bei einer Ausgestaltung der Erfindung wird der mindestens eine Mensch und/oder das mindestens eine Tier und/oder das Hindernis relativ zum Straßenverlauf durch die Anzeige-Vorrichtung dargestellt, um deren Aufenthaltsort in Bezug zum Straßenverlauf rasch erfassen zu können. Damit kann der Fahrer rasch erkennen, ob auf seinem Fahrtweg bereits ein Hindernis vorhanden ist oder ob erst eine Gefahr hierfür vorhanden ist. Bei einer Ausführungsform der Erfindung wird der im Infrarotbild und/oder im piktogrammartigen Bild hervorgehobene mindestens eine Mensch und/oder das mindestens eine Tier und/oder das Hindernis in einer ersten Farbe, vorzugsweise eine auffällige Farbe, und die Umgebung des mindestens einen Menschen und/oder Tieres und/oder Hindernisses in einer zweiten Farbe, vorzugsweise eine unauffällige Hintergrundfarbe, wie z.B. schwarz, dargestellt. Hierdurch wird die Aufmerksamkeit des Fahrers unmittelbar auf die Gefahrenstelle gelenkt und eine Ablenkung durch weniger wichtige bzw. unwichtige Objekte im Hintergrund unterbleibt.In one embodiment of the invention, the at least one human and / or the at least one animal and / or the obstacle are represented relative to the course of the road by the display device in order to be able to quickly grasp their location in relation to the roadway. This allows the driver to quickly recognize whether there is already an obstacle on his route or if there is only a danger. In one embodiment of the invention, the at least one person and / or the at least one animal and / or the obstacle highlighted in the infrared image and / or in the pictorial image is in a first color, preferably an eye-catching color, and the surroundings of the at least one human being and / or or animal and / or obstacle in a second color, preferably an unobtrusive background color, such as black. As a result, the driver's attention is directed directly to the danger point and a distraction by less important or unimportant objects in the background is omitted.
Bei einer Ausgestaltung der Erfindung zeigt das dem Fahrer angezeigte Infrarotbild und/oder piktogrammartige Bild eine Animation, die die Aufmerksamkeit des Fahrers auf den im Infrarotbild dargestellten mindestens einen Menschen und/oder das mindestens eine Tier und/oder das Hindernis lenkt, wobei die Animation vorzugsweise sich weitende konzentrische Kreise zeigt, in deren Mittelpunkten der mindestens eine Mensch und/oder das mindestens eine Tier und/oder das Objekt ist. Durch die Animation kann der Blick des Fahrers, falls erforderlich, schnell auf den Bildschirm gelenkt und die Gefahrenstelle auf dem Bildschirm rasch erkannt werden. Dadurch, dass der Blick auf den Bildschirm nur dann gelenkt wird, wenn eine Gefahr droht und der Bildschirm ansonsten eher langweilig ist und wenig Informationen zeigt, vermindert das Risiko einer Ablenkung des Fahrers durch den Bildschirm.In one embodiment of the invention, the infrared image and / or pictogram-like image displayed to the driver shows an animation which directs the driver's attention to the at least one human and / or the at least one animal and / or the obstacle shown in the infrared image, the animation preferably being shows concentric circles concentric, in the centers of the at least one human and / or the at least one animal and / or the object is. Through the animation, the driver's gaze can be quickly directed to the screen, if necessary, and the danger spot on the screen can be quickly recognized. The fact that the view of the screen is only steered when a danger threatens and the screen otherwise rather boring and shows little information, reduces the risk of a distraction of the driver through the screen.
Bei einer Ausgestaltung der Erfindung wird die Relevanz der Position des mindestens einen Menschen und/oder Tieres und/oder Hindernisses im Hinblick auf eine potentielle Gefährdung im Infrarotbild und/oder im piktogrammartigen Bild und/oder durch die Warn-Vorrichtung entsprechend kenntlich gemacht wird. Hierbei kann die Kenntlichmachung der potentiellen Gefährdung durch unterschiedliche Farben erfolgen, wobei vorzugsweise die Ampelfarben verwendet werden, d.h. von grün über gelb nach rot steigt der Grad einer potentiellen Gefährdung. Bei einer Ausführungsform der Erfindung ist vorgesehen, dass die Relevanz der Position des mindestens einen Menschen und/oder Tieres und/oder Hindernisses im Hinblick auf eine potentielle Gefährdung durch eine entsprechende Kenntlichmachung des mindestens eines Menschen und/oder Tieres und/oder Hindernisses im Infrarotbild und/oder piktogrammartigen Bild erfolgt. Diese Maßnahmen erlaubten es dem Fahrer rasch zu erkennen, ob eine potentielle Gefahr droht, wie groß der Grad der Gefährdung bereits ist und wie sich der Grad der Gefährdung entwickelt, z.B. durch eine Veränderung von gelb nach rot, wenn der Mensch oder das Tier die Fahrbahn betritt oder kreuzt.In one embodiment of the invention, the relevance of the position of the at least one human and / or animal and / or obstacle with regard to a potential hazard in the infrared image and / or in the pictogram-like image and / or by the warning device is identified accordingly. Here, the identification of the potential hazard can be done by different colors, preferably the traffic light colors are used, ie from green to yellow to red the degree of potential danger increases. In one embodiment of the invention it is provided that the relevance of the position of the at least one human and / or animal and / or obstacle with regard to a potential hazard by a corresponding identification of the at least one human and / or animal and / or obstacle in the infrared image and / or pictogram-like image takes place. These measures allowed the To recognize drivers quickly, whether a potential danger threatens, how large the degree of danger is already and how the degree of danger develops, for example, by a change from yellow to red, when the person or animal enters the road or crosses.
Bei einer Ausführungsform der Erfindung ist vorgesehen, dass die Relevanz der Position des mindestens einen Menschen und/oder Tieres und/oder Hindernisses im Hinblick auf eine potentielle Gefährdung durch eine entsprechende Kenntlichmachung des Hintergrundes um den mindestens einen Menschen und/oder Tieres und/oder Hindernisses im Infrarotbild erfolgt. Es kann beispielsweise die Farbe des Hintergrunds im Infrarotbild mit zunehmendem Abstand vom mindestens einen Menschen und/oder mindestens einen Tier und/oder Hindernis erfindungsgemäß geändert und hierdurch die Aufmerksamkeit auf den Menschen und/oder das mindestens eine Tier und/oder Hindernis gelenkt werden.In one embodiment of the invention, it is provided that the relevance of the position of the at least one human and / or animal and / or obstacle with regard to a potential hazard by a corresponding identification of the background to the at least one human and / or animal and / or obstacle in the infrared image. For example, according to the invention, the color of the background in the infrared image can be changed with increasing distance from at least one human and / or at least one animal and / or obstacle, thereby directing attention to the human and / or the at least one animal and / or obstacle.
Bei einer weiteren Ausführungsform der Erfindung wird der mindestens eine Mensch und/oder das mindestens eine Tier und/oder Hindernis bei einer potentiellen Gefährdung deutlich klarer und/oder strukturierter als dessen Umgebung auf dem Infrarotbild und/oder piktogrammartigen Bild dargestellt. Dies ist eine weitere oder ergänzende Maßnahme um den Blick des Fahrers unmittelbar auf die auf dem Bildschirm dargestellte potentielle Gefahr zu lenken, die Erfassungsgeschwindigkeit zu steigern und die Ablenkung durch den Bildschirm zu minimieren.In a further embodiment of the invention, the at least one human being and / or the at least one animal and / or obstacle in the case of a potential hazard are shown clearly clearer and / or more structured than its surroundings on the infrared image and / or pictogram-like image. This is another or complementary measure to direct the driver's gaze directly to the potential danger presented on the screen, to increase the detection speed and to minimize the distraction through the screen.
Bei einer Ausgestaltung der Erfindung ist vorgesehen, dass die potentielle Gefährdung durch einen Rahmen um den betreffenden mindestens einen Menschen und/oder das betreffende mindestens eine Tier und/oder das Hindernis visualisiert wird und der Grad der Zuverlässigkeit mit der die Gefährdung ermittelt worden ist, die Auffälligkeit des dargestellten Rahmens bestimmt. Vorzugsweise wird bei einer sehr hohen Zuverlässigkeit der Erkennung ein breiter, heller Rahmen und bei weniger zuverlässiger Erkennung ein schmalerer, blasser Rahmen in einer Signalfarbe, wie gelb, rot, etc., im angezeigten Infrarotbild und/oder piktogrammartigen Bild dargestellt. Durch diese Maßnahmen wird der Blick des Fahrers unmittelbar auf die potentielle Gefahrenstelle gelenkt und ihm ermöglicht, das Risiko einzuschätzen.In one embodiment of the invention, it is provided that the potential hazard is visualized by a frame around the relevant at least one human and / or the relevant at least one animal and / or obstacle and the degree of reliability with which the hazard has been determined Abnormality of the frame shown determined. Preferably, with a very high reliability of the recognition, a broad, light-colored frame and with less reliable recognition a narrower, pale frame in a signal color, such as yellow, red, etc., is displayed in the displayed infrared image and / or pictogram-like image. Through these measures, the gaze of the Directs the driver to the potential hazard and allows him to assess the risk.
Zusammenfassend verhindert die Erfindung, dass der Fahrer nach dem Infrarotbild und/oder piktogrammartigen Bild fährt. Die Aufmerksamkeit des Fahrers wird nur bei Anzeige eines relevanten Objekts auf das Display bzw. den Bildschirm gelenkt und/oder eine Warnung optisch und/oder akustisch ausgegeben. Indem im angezeigten Infrarotbild und/oder piktogrammartigen Bild der Fahrbahnverlauf grafisch markiert bzw. gezeigt wird, kann die Position eines relevanten Objekts schneller der entsprechenden Position beim Blick durch die Windschutzscheibe des Fahrzeugs zugeordnet werden, d.h. der Fahrer wird informiert, wo sich eine visuell nicht oder nur sehr undeutlich sichtbare Gefahrenstelle befindet.In summary, the invention prevents the driver from driving to the infrared image and / or the pictogram-like image. The driver's attention is directed to the display or the screen only when a relevant object is displayed and / or a warning is emitted optically and / or acoustically. By graphically indicating the course of the lane in the displayed infrared image and / or the pictogram-like image, the position of a relevant object can be assigned more quickly to the corresponding position when looking through the windshield of the vehicle, i. the driver is informed where there is a danger zone that is not visually or only very vaguely visible.
Es versteht sich, dass anstelle von Menschen und/oder Tieren und/oder Hindernissen auch andere im Hinblick auf eine potentielle Gefährdung relevante Objekte optisch hervorgehoben werden können und/oder vor ihnen in anderer Weise gewarnt werden kann. It goes without saying that instead of humans and / or animals and / or obstacles, other objects which are relevant with regard to a potential danger can also be visually highlighted and / or warned of them in another way.

Claims

Patentansprüche claims
1. Fahrer-Assistenzsystem zur Unterstützung eines Fahrers beim Führen eines Fahrzeugs, insbesondere eines Pkws oder eines Kraftrads, mitA driver assistance system for assisting a driver in driving a vehicle, in particular a passenger car or a motorcycle, with
einer Infrarot-Aufnahme-Vorrichtung, insbesondere für das nahe und/oder ferne Infrarot, wie eine Wärmebildkamera, die ein Infrarotbild bzw. eine Folge von Infrarotbildern der Umgebung des Fahrzeugs bereitstellt, vorzugsweise eine Infrarotbildkamera und/oder eine Vorrichtung, die die Umgebung des Fahrzeugs in der aktuellen Fahrtrichtung oder in der demnächst eingeschlagenen Fahrtrichtung aufnimmt,an infrared recording device, in particular for the near and / or far infrared, such as a thermal imaging camera, which provides an infrared image or a sequence of infrared images of the surroundings of the vehicle, preferably an infrared camera and / or a device that surrounds the vehicle in the current direction of travel or in the direction in which
einer Infrarotbild-Auswertungs-Vorrichtung, die auswertet, ob das bereitgestellte Infrarotbild oder die bereitgestellte Folge von Infrarotbildern mindestens einen Menschen und/oder mindestens ein Tier und/oder ein Hindernis, insbesondere ein Zweirad, zeigt, wobeian infrared image evaluation device that evaluates whether the provided infrared image or the provided sequence of infrared images at least one human and / or at least one animal and / or an obstacle, in particular a two-wheeler, shows
die Infrarotbild-Auswertungs-Vorrichtung gegebenenfalls ein bearbeitetes Infrarotbild bzw. eine Folge von bearbeiteten Infrarotbildern bereitstellt und die Bearbeitung mindestens darin besteht, dass der mindestens eine Mensch und/oder das mindestens eine Tier und/oder das Hindernis gegenüber anderen Bereichen und/oder gegenüber anderen Objekten im Infrarotbild und/oder einem piktogrammartigen Bild hervorgehoben und dem Fahrer über eine Anzeige-Vorrichtung angezeigt wird, und/oderthe infrared image evaluation device optionally provides a processed infrared image or a sequence of processed infrared images and the processing consists in at least that the at least one human and / or the at least one animal and / or the obstacle to other areas and / or to other Highlighted objects in the infrared image and / or a pictogram-like image and displayed to the driver via a display device, and / or
die Infrarotbild-Auswertungs-Vorrichtung gegebenenfalls eine Warn- Vorrichtung ansteuert und dies dem Fahrer zur Kenntnis bringt.the infrared image evaluation device optionally controls a warning device and brings this to the driver's attention.
2. Fahrer-Assistenzsystem nach Anspruch 1 , dadurch gekennzeichnet, dass dem Fahrer eine potenzielle Gefahr durch einen Warnton und/oder durch eine Gaspedalvibration und/oder durch eine Visualisierung in einem Head-Up- Display zur Kenntnis gebracht wird. 2. driver assistance system according to claim 1, characterized in that the driver a potential danger by a warning sound and / or by an accelerator pedal vibration and / or by a visualization in a head-up display is brought to the knowledge.
3. Fahrer-Assistenzsystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Straßenverlauf im angezeigten Infrarotbild und/oder piktogrammartigen Bild dargestellt wird.3. driver assistance system according to claim 1 or 2, characterized in that the road course in the displayed infrared image and / or pictogram-like image is displayed.
4. Fahrer-Assistenzsystem nach Anspruch 3, dadurch gekennzeichnet, dass der mindestens eine Mensch und/oder das mindestens eine Tier und/oder das Hindernis relativ zum Straßenverlauf durch die Anzeige-Vorrichtung dargestellt wird, um deren Aufenthaltsort in Bezug zum Straßenverlauf rasch erfassen zu können.4. driver assistance system according to claim 3, characterized in that the at least one human and / or the at least one animal and / or the obstacle is represented relative to the road through the display device to quickly detect their whereabouts in relation to the road can.
5. Fahrer-Assistenzsystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der im Infrarotbild und/oder im piktogrammartigen Bild hervorgehobene mindestens eine Mensch und/oder das mindestens eine Tier und/oder das Hindernis in einer ersten Farbe, vorzugsweise eine auffällige Farbe, und die Umgebung des mindestens einen Menschen und/oder Tieres und/oder Hindernisses in einer zweiten Farbe, vorzugsweise eine unauffällige Hintergrundfarbe, wie z.B. schwarz, dargestellt wird.5. driver assistance system according to one of claims 1 to 4, characterized in that the highlighted in the infrared image and / or in the pictorial image at least one human and / or the at least one animal and / or the obstacle in a first color, preferably a conspicuous Color, and the environment of the at least one human and / or animal and / or obstacle in a second color, preferably an unobtrusive background color, such as black, is displayed.
6. Fahrer-Assistenzsystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das dem Fahrer angezeigte Infrarotbild und/oder piktogrammartige Bild eine Animation zeigt, die die Aufmerksamkeit des Fahrers auf den im Infrarotbild dargestellten mindestens einen Menschen und/oder das mindestens eine Tier und/oder das bestimmte Hindernis lenkt, wobei die Animation vorzugsweise sich weitende konzentrische Kreise zeigt, in deren Mittelpunkten der mindestens eine Mensch und/oder das mindestens eine Tier ist.6. driver assistance system according to one of claims 1 to 5, characterized in that the driver displayed infrared image and / or pictogram-like image shows an animation, the driver's attention to the at least one person shown in the infrared image and / or the at least one Animal and / or steers the particular obstacle, the animation preferably shows widening concentric circles, in the centers of which at least one human and / or the at least one animal is.
7. Fahrer-Assistenzsystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Relevanz der Position des mindestens einen Menschen und/oder Tieres und/oder Hindernisses im Hinblick auf eine potentielle Gefährdung im Infrarotbild und/oder im piktogrammartigen Bild und/oder durch die Warn-Vorrichtung entsprechend kenntlich gemacht wird. 7. Driver assistance system according to one of claims 1 to 6, characterized in that the relevance of the position of the at least one human and / or animal and / or obstacle with regard to a potential hazard in the infrared image and / or in the pictogram-like image and / or is indicated by the warning device accordingly.
8. Fahrer-Assistenzsystem nach Anspruch 7, dadurch gekennzeichnet, dass die Kenntlichmachung der potentiellen Gefährdung durch unterschiedliche Farben erfolgt, wobei vorzugsweise die Ampelfarben verwendet werden, d.h. von grün über gelb nach rot steigt der Grad einer potentiellen Gefährdung.8. driver assistance system according to claim 7, characterized in that the identification of the potential hazard is carried out by different colors, preferably the traffic light colors are used, i. from green to yellow to red the degree of potential danger increases.
9. Fahrer-Assistenzsystem nach Anspruch 7 oder 8, dadurch gekennzeichnet, dass die Kenntlichmachung der potentiellen Gefährdung durch unterschiedliche Töne oder Tonfolgen erfolgt.9. driver assistance system according to claim 7 or 8, characterized in that the identification of the potential hazard is carried out by different tones or tone sequences.
10. Fahrer-Assistenzsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Relevanz der Position des mindestens einen Menschen und/oder Tieres und/oder Hindernisses im Hinblick auf eine potentielle Gefährdung durch eine entsprechende Kenntlichmachung des mindestens eines Menschen und/oder Tieres und/oder Hindernisses im Infrarotbild und/oder im piktogrammartigen Bild erfolgt.10. Driver assistance system according to one of the preceding claims, characterized in that the relevance of the position of the at least one human and / or animal and / or obstacle with regard to a potential hazard by a corresponding identification of the at least one human and / or animal and / or obstacle in the infrared image and / or in the pictogram-like image.
11. Fahrer-Assistenzsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Relevanz der Position des mindestens einen Menschen und/oder Tieres und/oder Hindernisses im Hinblick auf eine potentielle Gefährdung durch eine entsprechende Kenntlichmachung des Hintergrundes um den mindestens einen Menschen und/oder Tieres und/oder Hindernisses im Infrarotbild und/oder im piktogrammartigen Bild erfolgt.11. Driver assistance system according to one of the preceding claims, characterized in that the relevance of the position of the at least one human and / or animal and / or obstacle with regard to a potential hazard by a corresponding identification of the background to the at least one human and / or animal and / or obstacle in the infrared image and / or in the pictogram-like image.
12. Fahrer-Assistenzsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass sich die Farbe des Hintergrunds im Infrarotbild und/oder im piktogrammartigen Bild mit zunehmendem Abstand vom mindestens einen Menschen und/oder mindestens einen Tier und/oder Hindernis ändert und hierdurch die Aufmerksamkeit auf den Menschen und/oder das mindestens eine Tier und/oder das Hindernis gelenkt wird.12. Driver assistance system according to one of the preceding claims, characterized in that changes the color of the background in the infrared image and / or in the pictogram image with increasing distance from the at least one human and / or at least one animal and / or obstacle and thereby the attention on the human and / or the at least one animal and / or the obstacle is directed.
13. Fahrer-Assistenzsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass der mindestens eine Mensch und/oder das mindestens eine Tier und/oder das Hindernis bei einer potentiellen Gefährdung deutlich klarer und/oder strukturierter als dessen Umgebung auf dem Infrarotbild und/oder dem piktogrammartigen Bild dargestellt wird.13. driver assistance system according to one of the preceding claims, characterized in that the at least one human and / or the at least one animal and / or the obstacle in a potential hazard clearly clearer and / or more structured than its surroundings on the infrared image and / or the pictogram-like image is displayed.
14. Fahrer-Assistenzsystem nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die potentielle Gefährdung durch einen Rahmen um den betreffenden mindestens einen Menschen und/oder das betreffende mindestens eine Tier und/oder das Hindernis visualisiert wird und der Grad der Zuverlässigkeit mit der die Gefährdung ermittelt worden ist, die Auffälligkeit des dargestellten Rahmens bestimmt, vorzugsweise wird bei einer sehr hohen Zuverlässigkeit der Erkennung ein breiter, heller Rahmen und bei weniger zuverlässiger Erkennung ein schmalerer, blasser Rahmen in einer Signalfarbe, wie gelb, rot, etc., im angezeigten Infrarotbild und/oder piktogrammartigen Bild dargestellt. 14. Driver assistance system according to one of the preceding claims, characterized in that the potential hazard is visualized by a frame around the relevant at least one human and / or the relevant at least one animal and / or the obstacle and the degree of reliability with the With a very high reliability of the recognition, a broader, light-colored frame and with less reliable recognition a narrower, pale frame in a signal color, such as yellow, red, etc., is displayed Infrared image and / or pictogram-like image shown.
PCT/EP2006/009447 2005-10-11 2006-09-28 Driver assistance system with highlighting of relevant persons on an infrared image WO2007042156A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005048562.6 2005-10-11
DE102005048562A DE102005048562A1 (en) 2005-10-11 2005-10-11 Driver assistance system with highlighting of relevant persons in the infrared image

Publications (1)

Publication Number Publication Date
WO2007042156A1 true WO2007042156A1 (en) 2007-04-19

Family

ID=37440848

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2006/009447 WO2007042156A1 (en) 2005-10-11 2006-09-28 Driver assistance system with highlighting of relevant persons on an infrared image

Country Status (2)

Country Link
DE (1) DE102005048562A1 (en)
WO (1) WO2007042156A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008037473A1 (en) * 2006-09-27 2008-04-03 Harman Becker Automotive Systems Gmbh Park assist system visually marking up dangerous objects
DE102009040995A1 (en) 2008-09-10 2010-04-15 Technische Universität München Device for measuring person approaching parked vehicle i.e. car, has information processing unit detecting and/or storing anthropometric data and processing data for adjusting driver seat, steering wheel, external mirror and internal mirror

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101842262A (en) * 2007-11-05 2010-09-22 沃尔沃拉斯特瓦格纳公司 Vehicle based night-vision arrangement and method for operating the same
DE102012022150A1 (en) * 2012-11-10 2014-05-15 Audi Ag Motor vehicle and method for operating a motor vehicle
DE102013017626A1 (en) * 2013-10-23 2015-04-23 Audi Ag Method for warning other road users from pedestrians by a motor vehicle and motor vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US20050065687A1 (en) * 2003-09-18 2005-03-24 Nissan Motor Co., Ltd. Driving assist system for vehicle

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE522127C2 (en) * 1999-09-16 2004-01-13 Saab Automobile Method and apparatus for presenting an image
DE19952408C2 (en) * 1999-10-29 2003-10-30 Daimler Chrysler Ag System for warning or prior information of other road users by a vehicle
DE10030813B4 (en) * 2000-06-23 2004-02-12 Daimlerchrysler Ag Attention control for operators of a technical facility
DE10161262B4 (en) * 2000-06-23 2006-04-20 Daimlerchrysler Ag Attention control method and apparatus for technical facility operators based on infrared image data
DE10356307A1 (en) * 2003-11-28 2005-06-23 Robert Bosch Gmbh Method and device for warning the driver of a motor vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
US20050065687A1 (en) * 2003-09-18 2005-03-24 Nissan Motor Co., Ltd. Driving assist system for vehicle

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDREONE L ET AL: "A new driving supporting system, integrating an infrared camera and an anti-collision micro-wave radar: the EUCLIDE project", INTELLIGENT VEHICLE SYMPOSIUM, 2002. IEEE JUN 17-21, 2002, PISCATAWAY, NJ, USA,IEEE, vol. 2, 17 June 2002 (2002-06-17), pages 519 - 526, XP010635877, ISBN: 0-7803-7346-4 *
BELLOTTI C ET AL: "Developing a near infrared based night vision system", INTELLIGENT VEHICLES SYMPOSIUM, 2004 IEEE PARMA, ITALY JUNE 14-17, 2004, PISCATAWAY, NJ, USA,IEEE, 14 June 2004 (2004-06-14), pages 686 - 691, XP010727730, ISBN: 0-7803-8310-9 *
BERTOZZI M ET AL: "Pedestrian detection for driver assistance using multiresolution infrared vision", IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 53, no. 6, 6 November 2004 (2004-11-06), pages 1666 - 1678, XP002991027, ISSN: 0018-9545 *
DARIU M GAVRILA ET AL: "Real-Time Vision for Intelligent Vehicles", IEEE INSTRUMENTATION AND MEASUREMENT MAGAZINE, INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, NEW YORK, N, US, vol. 4, no. 2, June 2001 (2001-06-01), pages 22 - 27, XP011092015, ISSN: 1094-6969 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008037473A1 (en) * 2006-09-27 2008-04-03 Harman Becker Automotive Systems Gmbh Park assist system visually marking up dangerous objects
DE102009040995A1 (en) 2008-09-10 2010-04-15 Technische Universität München Device for measuring person approaching parked vehicle i.e. car, has information processing unit detecting and/or storing anthropometric data and processing data for adjusting driver seat, steering wheel, external mirror and internal mirror

Also Published As

Publication number Publication date
DE102005048562A1 (en) 2007-04-12

Similar Documents

Publication Publication Date Title
DE102010043033B4 (en) Engstellenlicht
DE102005062151B4 (en) Method and device for assisting a driver in the passage of constrictions
EP2093738A2 (en) Method and system for displaying a relevant traffic sign in a vehicle
EP1931538A1 (en) Night vision device for a motor vehicle
EP1037189B1 (en) Method to display objects for vehicle
DE19609488A1 (en) Road situation identification system including map data output facilities
DE10131478B4 (en) Indicator for locomotion related assistance / assistance system
DE102012204948A1 (en) Method for assisting driver when driving vehicle at changing lanes, involves assigning vehicle and detected objects to tracks of roadway, and generating warning signal when detected object regarding vehicle is located on relevant track
DE10253509A1 (en) Method and device for warning the driver of a motor vehicle
DE102014014662A1 (en) Display device for vehicles, in particular commercial vehicles
DE102016215115A1 (en) Device and method for detecting road users in an environment of an ego vehicle
DE602005002807T2 (en) Alarm display device for motor vehicles
WO2017125228A1 (en) Device and method for detecting an obstacle
DE102016012313A1 (en) Device for assisting a driver of a vehicle with a projection device
WO2007042156A1 (en) Driver assistance system with highlighting of relevant persons on an infrared image
DE102017119834A1 (en) A method for assisting a driver of a motor vehicle in a turn, driver assistance system and motor vehicle
DE102016014709A1 (en) Method for visualizing a driving condition
DE102016214046A1 (en) Method for operating a driver assistance system with data glasses and a display system with data glasses
EP3327698A1 (en) Method for assisting a driver of a motor vehicle when parking the motor vehicle in a parking lot, driver assistance system and motor vehicle
DE102016001202B4 (en) Motor vehicle
DE102019007237A1 (en) Method and device for operating an all-terrain vehicle
EP1944212B1 (en) Method and device for recognising potentially dangerous objects for a vehicle
DE202010018442U1 (en) A device for assisting a driver in controlling a vehicle along a bottleneck
DE102017122543A1 (en) A method for assisting a driver of a motor vehicle when overtaking an object and driver assistance system
DE102020121655A1 (en) System and method for directing the attention of a vehicle occupant during automated driving

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase

Ref document number: 06805936

Country of ref document: EP

Kind code of ref document: A1