WO2006037402A1 - Fahrassistenzvorrichtung zur gegenüber dem sichtfeld des fahrers eines kraftfahrzeugs positionsrichtigen darstellung des weiteren strassenverlaufs auf einem fahrzeugdisplay - Google Patents

Fahrassistenzvorrichtung zur gegenüber dem sichtfeld des fahrers eines kraftfahrzeugs positionsrichtigen darstellung des weiteren strassenverlaufs auf einem fahrzeugdisplay Download PDF

Info

Publication number
WO2006037402A1
WO2006037402A1 PCT/EP2005/009041 EP2005009041W WO2006037402A1 WO 2006037402 A1 WO2006037402 A1 WO 2006037402A1 EP 2005009041 W EP2005009041 W EP 2005009041W WO 2006037402 A1 WO2006037402 A1 WO 2006037402A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
display
driver
course
field
Prior art date
Application number
PCT/EP2005/009041
Other languages
English (en)
French (fr)
Inventor
Helmuth Eggers
Axel Gern
Reinhard Janssen
Gerhard Kurz
Original Assignee
Daimlerchrysler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimlerchrysler Ag filed Critical Daimlerchrysler Ag
Publication of WO2006037402A1 publication Critical patent/WO2006037402A1/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Definitions

  • the invention relates to a driving assistance device for a motor vehicle according to the preamble of claim 1.
  • the range of the driving light is strictly limited by law, in order to minimize dazzling oncoming traffic.
  • the driving light is often insufficient to detect the course of the road and obstacles in good time, whereas due to the increasing volume of traffic, the high beam can be used less and less frequently even on secondary roads.
  • Near-infrared night-vision devices or active infrared night-vision devices which illuminate the surroundings by means of an infra-red high-beam light, which is invisible to the oncoming driver, as the light source and detect the part of the infrared light reflected by objects in the surroundings as an image, and
  • Far-infrared night-vision devices or passive infrared night-vision devices which detect the thermal radiation emitted by each object in the environment.
  • the image of the current traffic and driving situation in the environment is displayed in real time on a suitable image reproduction device.
  • a suitable image reproduction device Da ⁇ in addition to the direct display serving konventio ⁇ nelle designs, such as a monitor,
  • Kaswie ⁇ output devices such as head-up displays are used which the image or serving as information part of the image in the windshield or on a part ⁇ Mirror the transparent pane in the driver's field of vision.
  • Residual light amplifiers are not used in the civil sector, since they do not control the large differences in the illumination intensity, as they occur in particular when changing between counter traffic and free travel. In addition, residual light amplifiers are subject to total darkness, such as, for example, moonless night or fog or star-shaped core rain at night not or not satisfactorily used.
  • Near-infrared night-vision devices require an infrared light source for illumination on the vehicle side, as well as an infrared-sensitive camera and surfaces reflecting the object on the infrared side.
  • Most obstacles relevant in road traffic such as people, vehicles, traffic signs and the like, have surfaces with high reflectivities in the infrared range and can be illuminated by the infrared light source at a favorable angle, so that the obstacles can be recognized up to the high beam distance given is.
  • lane markings usually also have a high reflectance in the infrared range, but are illuminated at very shallow angles and are not always available.
  • Far-infrared night-vision devices do not require any vehicle-side infrared light source, they use the heat radiation emitted by each object to generate a thermal image. It is therefore possible, given a sufficient temperature difference between the object and the environment, to recognize warm objects such as humans, animals or moving motor vehicles very well.
  • the recognizability of the road is, however, strongly weather dependent. If the road surface and the roadside have the same temperature, the roadway or the road course for far-infrared night vision devices can not be detected.
  • a thermal image displayed on the image reproducing apparatus can easily lead to confusion of the driver because of the visual impression of a negative image, since it differs in an unfamiliar manner from the contrast ratios with visible light.
  • driving assistance devices are available for the night travel, which offer the driver of a motor vehicle assistance in the early detection of obstacles, but do not optimally or even not support the identification of the further course of the road.
  • navigation devices offer the driver qu ⁇ sided help with the route guidance.
  • the current vehicle position is determined satellite-supported by the navigation device, for example by GPS or DGPS, and transmitted to a digital road map, which is currently stored mainly on removable digital data carriers such as CD or DVD, or is available or can be updated by data transmission .
  • navigation devices via a picture display device provide a display in which the road map is displayed in a variety of forms, for example in map form or in a 3D animation. In this case, the driver himself has to render the transmission of the presented information to the current traffic and driving situation.
  • Such a navigation device can via a geeigne ⁇ tes interface, for example by means of a standardized data exchange format, the current position of the vehicle, the further course of the road from the current position, the street category, for example, highway, highway, city, and the target course information for route guidance, beispiels ⁇ example, a turning information or the distance to the next intersection or diversion to other .Distance assistance devices pass.
  • a further expansion stage of the navigation device continuously calculates an adapted speed from the curve radii of the further road course, which information is likewise provided as information to other driver assistance devices, such as For example, a curve detector can be made available.
  • an imaging sensor for example a video camera or an infrared camera of a night vision device
  • the imaging ratio of the camera otherwise, for example, from the Navigationsvor ⁇ direction information obtained in perspective correctly superimposed on the video stream and thus make this information the driver rer detectable.
  • the pitch angle which is important for the perspective, can also be supplied by sensors of an active chassis, which measure spring travel or acceleration, or by a special sensor.
  • the disadvantage here is that the further, outside the field of view road course is not displayed.
  • a driving assistance device for a motor vehicle which has a device connected to a Steuer ⁇ image display device.
  • the control unit is connected to a navigation device and to a night-vision device having an infrared camera.
  • the movements of the vehicle are displayed in the form of a virtual, 3D animation of the road and of the vehicle driving thereon.
  • obstacles can be detected early and displayed to the driver on the image reproduction device in the virtual environment corresponding at least in part to the traffic and driving situation detected by the infrared camera in order to detect the infrared camera detected and otherwise unavailable to the driver. make homely picture of the night vision device understandable.
  • nominal course information of the navigation device in the form of arrows can be displayed in the virtual environment.
  • other road users detected by the infrared camera as well as buildings and the like in the virtual environment can be faded in and out.
  • a disadvantage of this driver assistance device is that the traffic and driving situation is reproduced only in the form of a virtual environment in which the own vehicle is also displayed, whereby this driver assistance device does not become reliable and usable for the driver. outside the field of view can be used for night driving.
  • DE 101 38 719 A1 discloses a driving assistance device in which the display of a navigation device on an image reproduction device is mixed with the environment detected by a video camera in the field of vision of the driver and adapted to the three-dimensional shape of the terrain in order to achieve a better match between that of allow the video camera recorded image of the environment in the field of view of the driver and the displayed calculated calculated target course information in the form of an arrow.
  • This driving assistance device is not suitable for supporting the driver during night driving, since the video camera works in the visible range, and since the other lying outside the field of view of the driver road is not an ⁇ showable.
  • a driving assistance device in which the display of a navigation device on an image reproduction device with the image of the area covered by a video camera in the field of view of the driver is uncomfortable. is combined to display desired course information in the form of arrows and the like in the video image.
  • This Fahras ⁇ resistance device is also not used to support the driver during night driving or weather-related poor visibility, as well as the other, outside the field of view lying road course is not displayed.
  • the invention is therefore based on the object to develop a Fahras ⁇ Sistenzvorraum, which provides effective support of the driver of a motor vehicle, especially at night, by the with the naked eye not or hardly recognizable, lying outside the field of view, further road course and obstacles be displayed on the road to the driver.
  • the driver assistance device with the characterizing features of the main claim has the advantage over the prior art that the control unit for detecting the lane and the road course processes the images captured by the imaging sensor and passed on as video stream and at least the other one, outside of the field of view of the imaging Sen ⁇ sor lying road map from the Navigationsvorrich ⁇ device available road map data determined by merging both information to produce a reliable prediction of the road in the form of a position-ruled display on the image display device, this display with the visible to the driver image of the current traffic and driving situation in the correct position and preferably in perspective correctly superimposed, and in particular in the vicinity of the actual, with the help of If necessary, with the aid of the navigation device, the road course detected with the aid of the navigation device and not recognizable to the driver with the naked eye or with the help of the imaging sensor sets in the correct position to the current vehicle position and the field of vision the driver is perspec ⁇ tively correctly displayed.
  • a display on the image reproduction device is thus generated that corresponds to the actual field of view, supplemented by the information obtained by the imaging sensor within its field of vision, as well as from the Information stored in the navigation device about the further course of the road outside the field of view of the driver is at least outside the field of view.
  • the imaging sensor can be, for example, a RADAR or LIDAR sensor, an infrared camera, or the camera of a night-vision device, wherein the field of view at night can be illuminated or detected by the radioscope, taking into account the range of, for example, a Infrared camera purchased Industries, Inc., Inc., Inc., Inc., Inc., Inc., Inc., Inc., Inc., Inc., Inc., Inc., a RADAR or LIDAR sensor, an infrared camera, or the camera of a night-vision device, wherein the field of view at night can be illuminated or detected by the radioscope, taking into account the range of, for example, a Infrared camera compressedzhou ⁇ th imaging sensor is determined, which is greater than the illuminated by the headlights of the motor vehicle in the visible wavelength range.
  • digitization errors can be compensated from the road map data.
  • the course of the road for example behind a crest, can no longer be detected with the aid of the imaging sensor, but can be displayed or indicated as the roadway to be expected with the aid of the navigation device.
  • the superimposition of the display with the image visible to the driver can mean not only detection by an imaging sensor designed as an infrared camera of a night-vision device, but also by recording the current traffic and driving situation by means of a video camera operating in the visible wavelength range ⁇ sam reproduced with the display on the image display device designed as a vehicle display, or by mirroring the display in the windshield in the field of view of the driver, wherein the display device is formed in this case as consisting of a projection device and windshield head-up display ,
  • the road course lying both outside and within the field of vision of the driver can, for example, be illuminated by means of markers illuminating from the far side to the brighter on both sides of the roadside into the near field via a head-up device consisting of projection device and windshield.
  • Display trained image display device as a switchable display position correct and perspective properly reflected in the field of view of the driver.
  • An advantageous embodiment of the invention provides that the display of the image display device, in addition to the road course, displays a target course information serving for route guidance through the navigation device.
  • a target course information serving for route guidance through the navigation device.
  • An advantageous embodiment of the invention provides that the display of the image display device additionally intra- half the visibility of the night-vision device on the road surface indicating obstacles, where the unchanged image data from the image sensor or changed image data, such as color highlighted obstacles can be displayed directly.
  • the information about obstacles can also be provided by other distance-recognizing driving assistance devices arranged in the vehicle, such as, for example, an adaptive cruise control, ACC, or used to change the display or the information optimize content.
  • the image reproduction device is the display of a night-vision device, wherein the imaging sensor is preferably the camera of the night-vision device, for example an IR camera.
  • an additional advantageous embodiment of the invention provides that the image display device is a display on the windshield in the field of vision of the driver of the motor vehicle mirroring, from the windshield and a directed from below against the windshield projection device existing head-up display, so that the Driver has the display with the further, outside sei ⁇ nes field of view lying road course and the visible for him in the visible to the human eye wavelength range, actual traffic events in perspective and positionally correct superimposed directly before his eyes.
  • FIG. 1 shows a schematic structure of a driver assistance device according to the invention
  • FIG. 2 shows a display of a course of a road presented by a driving assistance device according to the invention on an image reproduction device.
  • a driving assistance device consists of an imaging sensor 1, preferably an infrared camera of a night vision device operating in the near or far infrared, a navigation device 2 which displays one or more of the vehicle position information, road category , Road map data for determining the further course of the road and the speed optimized for the course of the road, permissible maximum speed, setpoint information for a planned route in the form of deflection information, one or more driving dynamics systems 3 or dedicated sensors, the information such as driving speed, transmission position , Lenkradein ⁇ impact angle, steering angle, pitch angle provide a obstacle recognizing driving assistance device 4, which provides information about vehicles ahead or obstacles on the road, an image display device.
  • an imaging sensor preferably an infrared camera of a night vision device operating in the near or far infrared
  • a navigation device 2 which displays one or more of the vehicle position information, road category , Road map data for determining the further course of the road and the speed optimized for the course of the road, permissible maximum speed, setpoint information for a planned route in
  • control unit 6 controls the imaging sensor 1, prepares the image of the current traffic and driving situation output by the imaging sensor 1 in the form of a video stream for display on the image reproduction device 5, determines the pitch angle of the motor vehicle the camera image or receives this information from the vehicle dynamics system 3 and calculates the course of the road from the video stream of the imaging sensor 1, from the road map data provided by the navigation device 2, and from a combination of video stream and road map data, wherein the road course which is exact in the near range is continued from the video stream with the information from the road map data such that a smooth horizontal curvature profile results.
  • the lane courses from the video stream and the road map data are compared and appropriately fused.
  • the road course 9 determined from the video stream and located in the field of vision of the imaging sensor 1 can then be extended with the information from the road map data. Da ⁇ with the digitization errors of the road map data are compensated.
  • FIG. 2 shows a display 8 of the driving assistance device according to the invention on an image reproduction device 5.
  • the display 8 shows the course of the road 9.
  • the image of the display 8 is changed, in particular optimized, so that the driver perceives the further course of the road 9 more clearly than the environment 11.
  • lane markings 15 recognized by the imaging sensor 1 are highlighted on the roadway 14 or such lane markings 15 are supplemented.
  • graphic elements can correspond 'to the Stra ⁇ chr sectionn 12 and / or graphical elements corresponding to the central strip 13 of the control device 6 generates and displayed.
  • this representation of the curvature of the road spielmie assuming a flat road 16, under Er ⁇ mediation of the curvature of the road 16 from the video stream of the imaging sensor 1 or by determining the curvature of the Road 16 from the road map data the navigation device 2 adjusted in perspective correct position.
  • the manipulations described above can be carried out on the display 8 on all outgoing road courses 9.
  • the image of the display 8 can be overloaded in such a way that it no longer offers the driver any help.
  • the highlighted course of the road 9 can, when the route guidance system 2 is switched on, be the desired course of the recommended route, the street 16 of the same name, the street 16 of the same category, or the street 16 with the smallest curvature, or a route learned on previous journeys consequences.
  • branches with special graphic elements or through the representation of lane markings 15 of the exiting roads 16 can be displayed in the correct position on the image reproduction device 5.
  • the display 8 is suspended, reduced or simplified in city traffic and when driving backwards.
  • a corresponding optimization of the display 8 is at a steering wheel angle of attack above an adjustable threshold, a driving speed below an adjustable threshold, a driving speed above an adjustable threshold, a driving speed above a threshold that is recognized as permissible, and an unstable driving condition
  • Motor vehicle a distance to a vehicle in front driving below an adjustable threshold, in a particular street category in which, for example, a bad or outdated digitization is detected or vermu ⁇ tet, at or in a roundabout or an intersection, at a non-available optical or Cartographic recognition of the course of the road 9, with a curvature of vor ⁇ outlying road course 9 above an adjustable threshold, upon detection of an overload of the driver, for example by operating complex vehicle functions or communication devices, or if the imaging sensor 1, the navigation device 2 or a connected ⁇ Driving dynamics system 3 provides no information, conceivable.
  • the overlaid road markings 16, direction indicators 17 for information about the desired course or the course of the road 9 are particularly relevant in their foresight their visibility on Marshwie ⁇ dergabevorraum 5 in a suitable for human perception temporal course and hidden. For this, e.g. Brightness, contrast, sharpness and color values.
  • the representation is limited to the range in which the selected representation generates effects on the image reproduction apparatus 5 which is greater than one pixel and lies above a stage that can be perceived by the driver.
  • the range depends on how far the further course of the roadway 14 reliably from the Video stream detected or can be determined from the road map data. If no road map data is available, the range of the driver assistance device is limited to the road course 9 detected from the video stream. If there is no recognition of the lane 10 from the video stream, for example because the lane recognition is not implemented, or no lane 10 is recognizable due to a lack of lane markings 15, the display and thus the driver assistance device can be operated in the full range described above.
  • the roadway 14 can also be based on the transition between roadside 12 and surroundings 11, for example in the curbside, or outside the roadway or the lower-lying, unpaved road substructure, or on the roadside Ob ⁇ objects, such as guide posts, crash barriers, signs and the like are recognized.
  • the range of the representation can be further restricted if the driving speed exceeds the speed recommended by a cornering detector, or above that of FIG the navigation device 2 detected permissible speed is.
  • a turn-off arrow, a turn-off point, the route to the turn-off point, as well as branches, intersections and roundabouts in the display 8 on the image reproduction device 5 can furthermore be represented.
  • the invention is particularly industrially applicable in the field of the manufacture of motor vehicles and driver assistance devices for motor vehicles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

E wird eine Fahrassistenzvorrichtung für ein Kraftfahrtzeug mindestens mit einer Navigationsvorrichtung, einem bildgebenden Sensor, einer Bildwiedergabevorrichtung und einem Steuergerät, wobei mindestens die Navigationsvorrichtung, der bildgebenden Sensor und die Bildwiedergabevorrichtung mit dem Steuergerät verbunden sind, beschrieben, bei der das Steuergerät (6) zur Erkennung der Fahrbahn (14) und des Strassenverlaufs (9) die von dem bildgebenden Sensor (1) erfassten Bilder verarbeitet und mindestens den weiteren, ausserhalb des Sichtfeldes des bildgebenden Sensors (1) liegenden Strassengung stehenden Strassenkartendaten ermittelt, um durch Zusammenführen beider Informationen eine Vorhersage des Strassenverlaufes (9) in Form einer positionsrichtigen Anzeige (8) auf der Bildwiedergabevorrichtung (5) zu erzeugen, wobei diese Anzeige (88) mit dem für den Fahrer sichtbaren Bild der aktuellen Verkehrs- und Fahrsituation positionsrichtig und perspektivisch richtig überlagerbar ist.

Description

Fahrassistenzvorrichtung zur gegenüber dem Sichtfeld des Fah¬ rers eines Kraftfahrzeugs positionsrichtigen Darstellung des weiteren Straßenverlaufs auf einem Fahrzeugdisplay
Die Erfindung betrifft eine Fahrassistenzvorrichtung für ein Kraftfahrzeug gemäß dem Oberbegriff des Anspruchs 1.
Stand der Technik:
Nachtfahrten stellen an den Fahrer eines Kraftfahrzeuges hö¬ here Anforderungen als Tagfahrten, da die Wahrnehmung bei¬ spielsweise von Gebäuden, Eingängen, Hausnummern, Straßen und Wegen, anderen Verkehrsteilnehmern und Hindernissen durch die geringere Beleuchtung und eine vermehrte Blendung durch ande¬ re Lichtquellen erschwert wird. Ähnliches gilt auch für Tun¬ nelfahrten und für Tagfahrten mit Beeinträchtigungen der Sicht beispielsweise durch Nebel oder starken Regen. Die Reichweite des Fahrlichts wird durch gesetzliche Vorschriften eng begrenzt, um eine Blendung des Gegenverkehrs möglichst gering zu halten. So reicht das Fahrlicht selbst bei optima¬ ler Ausleuchtung der Fahrbahn, beispielsweise mittels Kurven¬ licht, oft nicht aus, um den Straßenverlauf und Hindernisse rechtzeitig zu erfassen, wohingegen das Fernlicht wegen des zunehmenden Verkehrsaufkommens selbst auf Nebenstraßen immer seltener eingesetzt werden kann.
Zur Verbesserung dieser Situation wurden Fahrassistenzvor¬ richtungen in Form von Nachtsichtgeräten für Kraftfahrzeuge entwickelt, die dem Fahrer je nach Funktionsprinzip eine ver¬ besserte oder alternative Sicht auf die aktuelle Verkehrs¬ und Fahrsituation bieten. Im Wesentlichen werden drei Funkti¬ onsprinzipien, die in unterschiedlichen Wellenlängenbereichen des elektromagnetischen Spektrums arbeiten, unterschieden:
Restlichtverstärker zur Verstärkung des sichtbaren
Lichts,
- Nah-Infrarot-Nachtsichtgeräte oder aktive Infrarot- NachtSichtgeräte, welche mittels einem für den entgegen¬ kommenden Fahrer unsichtbaren, infraroten Fernlicht als Lichtquelle die Umgebung ausleuchten und den von Objek¬ ten in der Umgebung reflektierten Teil des infraroten Lichts als Bild erfassen, sowie
- Fern-Infrarot-Nachtsichtgeräte oder passive Infrarot- Nachtsichtgeräte, welche die von jedem Objekt in der Um¬ gebung abgegebene Wärmestrahlung erfassen.
Bei allen drei Funktionsprinzipien wird das Bild der aktuel¬ len Verkehrs- und Fahrsituation in der Umgebung auf einer ge¬ eigneten Bildwiedergabevorrichtung in Echtzeit angezeigt. Da¬ bei kommen neben der direkten Anzeige dienenden, konventio¬ nellen Bauformen, beispielsweise einem Monitor, auch Bildwie¬ dergabevorrichtungen wie beispielsweise head-up Displays zum Einsatz, welche das Bild oder einen als Information dienenden Teil des Bildes in die Windschutzscheibe oder auf eine teil¬ durchlässige Scheibe im Sichtfeld des Fahrers einspiegeln.
Restlichtverstärker werden dabei im zivilen Bereich nicht eingesetzt, da sie die großen Unterschiede in der Beleuch¬ tungsstärke, wie sie insbesondere beim Wechsel zwischen Ge¬ genverkehr und freier Strecke auftreten nicht beherrschen. Darüber hinaus sind Restlichtverstärker bei totaler Finster¬ nis, wie beispielsweise mondloser Nacht oder Nebel oder star- kern Regen in der Nacht nicht oder nicht zufrieden stellend einsetzbar.
Nah-Infrarot-Nachtsichtgeräte benötigen zur Funktion fahr- zeugseitig eine infrarote Lichtquelle zur Beleuchtung, sowie eine infrarot empfindliche Kamera und objektseitig infrarot reflektierende Oberflächen. Die meisten im Straßenverkehr re¬ levanten Hindernisse, wie beispielsweise Menschen, Fahrzeuge, Verkehrszeichen und dergleichen besitzen Oberflächen mit ho¬ hen Reflexionsgraden im infraroten Bereich und können von der infraroten Lichtquelle in einem günstigen Winkel angestrahlt werden, so dass eine Erkennbarkeit der Hindernisse bis auf Fernlichtdistanz gegeben ist. Fahrbahnmarkierungen besitzen zwar in der Regel ebenfalls einen hohen Reflexionsgrad im infraroten Bereich, werden aber unter sehr flachen Winkeln angestrahlt und sind auch nicht immer vorhanden.
Fern-Infrarot-Nachtsichtgeräte benötigen keine fahrzeugseiti- ge infrarote Lichtquelle, sie nutzen die von jedem Objekt ab¬ gegebene Wärmestrahlung zur Erzeugung eines Wärmebildes. Da¬ mit lassen sich, eine ausreichende Temperaturdifferenz zwi¬ schen Objekt und Umgebung vorausgesetzt, warme Objekte, wie beispielsweise Menschen, Tiere oder fahrende Kraftfahrzeuge sehr gut erkennen. Die Erkennbarkeit der Fahrbahn ist dagegen stark witterungsabhängig. Weisen Straßenbelag und Straßenrand die gleiche Temperatur auf, ist die Fahrbahn oder der Stra¬ ßenverlauf für Fern-Infrarot-Nachtsichtgeräte nicht zu erken¬ nen. Darüber hinaus kann ein auf der Bildwiedergabevorrich¬ tung angezeigtes Wärmebild wegen des optischen Eindrucks ei¬ nes Negativbildes leicht zur Verwirrung des Fahrers führen, da es in ungewohnter Weise von den Kontrastverhältnissen bei sichtbarem Licht abweicht. Damit stehen für die Nachtfahrt Fahrassistenzvorrichtungen zur Verfügung, die dem Fahrer eines Kraftfahrzeugs Hilfe bei der frühzeitigen Erkennung von Hindernissen bieten, die Er¬ kennung des weiteren Straßenverlaufs aber nicht optimal, oder gar nicht unterstützen.
Demgegenüber bieten Navigationsvorrichtungen dem Fahrer viel¬ seitige Hilfe bei der Zielführung. Dazu wird von der Naviga¬ tionsvorrichtung die aktuelle Fahrzeugposition beispielsweise per GPS oder DGPS satellitengestützt bestimmt und auf eine digitale Straßenkarte, die derzeit hauptsächlich auf auswech¬ selbaren digitalen Datenträgern wie beispielsweise CD oder DVD gespeichert, oder per Datenübertragung verfügbar oder ak¬ tualisierbar ist, übertragen. Neben der Berechnung der je¬ weils optimalen Route zum Ziel bieten Navigationsvorrichtun¬ gen über eine Bildwiedergabevorrichtung eine Anzeige, in der die Straßenkarte in den unterschiedlichsten Ausprägungen, beispielsweise in Kartenform oder in einer 3D-Animation aus¬ schnittsweise dargestellt wird. Hierbei muss der Fahrer selbst die Übertragung der dargebotenen Informationen auf die aktuelle Verkehrs- und Fahrsituation leisten.
Eine derartige Navigationsvorrichtung kann über ein geeigne¬ tes Interface, beispielsweise mittels eines standardisierten Datenaustauschformats, die aktuelle Position des Fahrzeugs, den weiteren Straßenverlauf ab der aktuellen Position, die Straßenkategorie, beispielsweise Autobahn, Landstraße, Stadt, und die Sollkursinformation zur Zielführung, wie beispiels¬ weise eine Abbiegeinformation oder den Abstand zur nächsten Kreuzung oder Abzweigung an andere .Fahrassistenzvorrichtungen weitergeben. Eine weitere Ausbaustufe der Navigationsvorrich¬ tung berechnet aus den Kurvenradien des weiteren Straßenver¬ laufes ständig eine angepasste Geschwindigkeit, welche eben¬ falls als Information anderen Fahrassistenzvorrichtungen, wie beispielsweise einem Kurvenwarner zur Verfügung gestellt wer¬ den kann.
Darüber hinaus sind Verfahren bekannt, um aus dem Videostrom eines bildgebenden Sensors, beispielsweise einer Videokamera oder einer Infrarotkamera eines Nachtsichtgeräts, die Orien¬ tierung des Kraftfahrzeugs zur Fahrbahn in Form von lateraler Position, Fahrachse, Nick-, Roll- und Gierwinkel und derglei¬ chen und im Nahbereich den Straßenverlauf zu ermitteln. Damit ist es mit Kenntnis des Abbildungsverhältnisses der Kamera möglich, anderweitig, beispielsweise aus der Navigationsvor¬ richtung gewonnene Informationen perspektivisch richtig dem Videostrom zu überlagern und damit diese Information dem Fah¬ rer erfassbar zu machen. Dabei kann der für die Perspektive wichtige Nickwinkel auch von Sensoren eines aktiven Fahr¬ werks, welche Federwege oder Beschleunigungen messen, oder von einem speziellen Sensor geliefert werden. Nachteilig ist dabei, dass der weitere, außerhalb des Sichtfeldes liegende Straßenverlauf nicht anzeigbar ist.
Aus der JP 2002 046 504 Al ist eine Fahrassistenzvorrichtung für ein Kraftfahrzeug bekannt, welche eine mit einem Steuer¬ gerät verbundene Bildwiedergabevorrichtung aufweist. Das Steuergerät ist mit einer Navigationsvorrichtung und mit ei¬ nem eine Infrarotkamera aufweisenden Nachtsichtgerät verbun¬ den. Mittels Annäherungssensoren, Radsensoren und Lenkwinkel- sensoren werden die Bewegungen des Fahrzeuges in Form einer virtuellen, 3D-Animation der Straße und des darauf fahrenden Fahrzeuges dargestellt. Mittels des Nachtsichtgeräts können Hindernisse frühzeitig erkannt und dem Fahrer auf der Bild¬ wiedergabevorrichtung in der zumindest teilweise der von der Infrarotkamera erfassten Verkehrs- und Fahrsituation entspre¬ chenden, virtuellen Umgebung angezeigt werden, um das von der Infrarotkamera erfasste und für den Fahrer ansonsten unge- wohnliche Bild des Nachtsichtgeräts verständlich zu machen. Darüber hinaus können in der virtuellen Umgebung Sollkursin¬ formationen der Navigationsvorrichtung in Form von Pfeilen dargestellt werden. Je nach Hindernis und Verkehrs- und Fahr¬ situation können dabei von der Infrarotkamera erfasste andere Verkehrsteilnehmer sowie Gebäude und der gleichen in der vir¬ tuellen Umgebung ein- und ausgeblendet werden. Nachteilig an dieser Fahrassistenzvorrichtung ist, dass die Verkehrs- und Fahrsituation nur in Form einer virtuellen Umgebung, in der auch das eigene Fahrzeug dargestellt wird, wiedergegeben wird, wodurch sich diese Fahrassistenzvorrichtung nicht zur zuverlässigen und für den Fahrer verwendbaren Anzeige insbe¬ sondere des weiteren, außerhalb des Sichtfeldes liegenden Straßenverlaufs bei Nachtfahrt verwenden lässt.
Aus der DE 101 38 719 Al ist eine Fahrassistenzvorrichtung bekannt, bei der die Anzeige einer Navigationsvorrichtung auf einer Bildwiedergabevorrichtung mit der von einer Videokamera erfassten Umgebung im Sichtfeld des Fahrers gemischt und an die dreidimensionale Gestalt des Geländes angepasst wird, um eine bessere Übereinstimmung zwischen dem von der Videokamera aufgenommenen Bild der Umgebung im Sichtfeld des Fahrers und der eingeblendeten, errechneten Sollkursinformation in Form eines Pfeils zu ermöglichen. Nachteilig daran ist, dass diese Fahrassistenzvorrichtung nicht zur Unterstützung des Fahrers während Nachtfahrten geeignet ist, da die Videokamera im sichtbaren Bereich arbeitet, und da der weitere, außerhalb des Sichtfeldes des Fahrers liegende Straßenverlauf nicht an¬ zeigbar ist .
Aus der JP 09 325 042 Al ist eine Fahrassistenzvorrichtung bekannt, bei der die Anzeige einer Navigationsvorrichtung auf einer Bildwiedergabevorrichtung mit dem Bild der von einer Videokamera erfassten Umgebung im Sichtfeld des Fahrers kom- biniert wird, um SollkursInformationen in Form von Pfeilen und dergleichen in dem Videobild einzublenden. Diese Fahras¬ sistenzvorrichtung ist ebenfalls nicht zur Unterstützung des Fahrers während Nachtfahrten oder witterungsbedingter schlechter Sicht verwendbar, da auch hier der weitere, außer¬ halb des Sichtfeldes liegende Straßenverlauf nicht angezeigt wird.
Technische Aufgabe der Erfindung:
Der Erfindung liegt daher die Aufgabe zugrunde, eine Fahras¬ sistenzvorrichtung zu entwickeln, welche eine effektive Un¬ terstützung des Fahrers eines Kraftfahrzeuges insbesondere bei Nachtfahrt bietet, indem der mit bloßem Auge nicht oder nur schwer erkennbare, außerhalb des Sichtfeldes liegende, weitere Straßenverlauf sowie Hindernisse auf der Fahrbahn dem Fahrer angezeigt werden.
Diese Aufgabe wird durch eine Fahrassistenzvorrichtung nach Anspruch 1 gelöst . Die erfindungsgemäße Fahrassistenzvorrich¬ tung mit den kennzeichnenden Merkmalen des Hauptanspruchs weist gegenüber dem Stand der Technik den Vorteil auf, dass das Steuergerät zur Erkennung der Fahrbahn und des Straßen¬ verlaufs die von dem bildgebenden Sensor erfassten und als Videostrom weitergegebenen Bilder verarbeitet und mindestens den weiteren, außerhalb des Sichtfeldes des bildgebenden Sen¬ sors liegenden Straßenverlauf aus den der Navigationsvorrich¬ tung zur Verfügung stehenden Straßenkartendaten ermittelt, um durch Zusammenführen beider Informationen eine zuverlässige Vorhersage des Straßenverlaufes in Form einer positionsrich¬ tigen Anzeige auf der Bildwiedergabevorrichtung zu erzeugen, wobei diese Anzeige mit dem für den Fahrer sichtbaren Bild der aktuellen Verkehrs- und Fahrsituation positionsrichtig und vorzugsweise perspektivisch richtig überlagerbar ist, und insbesondere im Nahbereich der tatsächliche, mit Hilfe des bildgebenden Sensors erfasste Straßenverlauf, bei Bedarf un¬ ter zusätzlicher Anzeige der Fahrspur, und im Fernbereich ein mit Hilfe der Navigationsvorrichtung ermittelter, für den Fahrer weder mit bloßem Auge, noch mit Hilfe des bildgebenden Sensors erkennbarer Straßenverlauf positionsrichtig zur aktu¬ ellen Fahrzeugposition und dem Sichtfeld des Fahrers perspek¬ tivisch richtig angezeigt wird.
Im Gegensatz zu dem insbesondere aus der JP 2002 046 504 Al bekannten Stand der Technik wird so eine Anzeige auf der Bildwiedergabevorrichtung erzeugt, die dem tatsächlichen Sichtfeld entspricht, ergänzt um die durch den bildgebenden Sensor gewonnenen Informationen innerhalb dessen Sichtbe¬ reichs, sowie der aus den im Navigationsgerät hinterlegten Daten ermittelten Information über den weiteren, außerhalb des Sichtfeldes des Fahrers liegenden Straßenverlauf mindes¬ tens außerhalb des Sichtbereichs. Der bildgebende Sensor kann dabei beispielsweise ein RADAR- oder LIDAR-Sensor sein, eine Infrarot-Kamera, oder die Kamera eines Nachtsichtgeräts, wo¬ bei der Sichtbereich bei Nacht durch den strahlenoptisch aus- leucht- oder erfassbaren Bereich unter Berücksichtigung der Reichweite beispielsweise eines als Infrarotkamera ausgeführ¬ ten bildgebenden Sensors bestimmt wird, der größer ist, als der von den Scheinwerfern des Kraftfahrzeuges im sichtbaren Wellenlängenbereich ausgeleuchtete Bereich. Durch Verwendung des bildgebenden Sensors zur Erkennung des Straßenverlaufs insbesondere im Nahbereich, können Digitalisierungsfehler aus den Straßenkartendaten kompensiert werden. Wegen der strah¬ lenoptischen geradlinigen Ausbreitung der elektromagnetischen Wellen kann der Straßenverlauf beispielsweise hinter einer Kuppe nicht mehr mit Hilfe des bildgebenden Sensors erfasst, aber mit Hilfe des Navigationsgeräts als zu erwartender Stra¬ ßenverlauf angezeigt oder angedeutet werden. Hierdurch wird eine Entlastung des Fahrers des Kraftfahrzeugs bei Nachtfahr- ten und bei schlechten Sichtverhältnissen durch eine wirk¬ lichkeitsnahe Anzeige des Weiteren, außerhalb des vom Fahrer einsehbaren Sichtfeldes liegenden Straßenverlaufs erreicht. Die Überlagerung der Anzeige mit dem für den Fahrer sichtba¬ ren Bild kann dabei neben der Erfassung durch beispielsweise einen als Infrarotkamera eines Nachtsichtgeräts ausgebildeten bildgebenden Sensor, durch Erfassen der aktuellen Verkehrs¬ und Fahrsituation mittels einer im sichtbaren Wellenlängenbe¬ reich arbeitenden Videokamera, deren Bildinformation gemein¬ sam mit der Anzeige auf der als Fahrzeugdisplay ausgebildeten Bildwiedergabevorrichtung wiedergegeben wird, oder durch Ein- spiegeln der Anzeige in die Windschutzscheibe im Sichtfeld des Fahrers erfolgen, wobei die Anzeigevorrichtung in diesem Fall als ein aus Projektionsvorrichtung und Windschutzscheibe bestehendes Head-up-Display ausgebildet ist. Der sowohl au¬ ßerhalb als auch innerhalb des Sichtfeldes des Fahrers lie¬ gende Straßenverlauf kann dabei beispielsweise mittels von fern nach nah immer heller beidseitig am Straßenrand bis in den Nahbereich hinein aufleuchtenden Markierungen über eine als aus Projektionsvorrichtung und Windschutzscheibe beste¬ hendes Head-up-Display ausgebildete Bildwiedergabevorrichtung als zuschaltbare Anzeige positionsrichtig und perspektivisch richtig in das Sichtfeld des Fahrers eingespiegelt werden.
Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Anzeige der Bildwiedergabevorrichtung zusätzlich zu dem Straßenverlauf eine zur Zielführung durch die Navigationsvor¬ richtung dienende Sollkursinformation zeigt. Hierdurch wird eine leichtere Interpretierbarkeit der Sollkursinformation der Navigationsvorrichtung durch Einblendung in ein Bild der aktuellen Verkehrs- und Fahrsituation erreicht.
Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Anzeige der Bildwiedergabevorrichtung zusätzlich inner- halb der Sichtweite des Nachtsichtgerätes auf der Fahrbahn liegende Hindernisse anzeigt, wobei direkt die unveränderten Bilddaten vom Bildsensor oder veränderte Bilddaten, z.B. farblich hervorgehobene Hindernisse, angezeigt werden können. Dabei können die Informationen über Hindernisse auch von an¬ deren im Fahrzeug angeordneten, abstandserkennenden Fahras¬ sistenzvorrichtungen, wie beispielsweise einer Adaptive- Cruise-Control, ACC, zur Verfügung gestellt werden, oder dazu benutzt werden, die Anzeige zu verändern bzw. den Informati¬ onsgehalt zu optimieren.
Eine andere vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Bildwiedergabevorrichtung das Display eines Nachtsichtgeräts ist, wobei der bildgebende Sensor vorzugs¬ weise die Kamera des Nachtsichtgeräts ist, beispielsweise ei¬ ne IR-Kamera.
Eine zusätzliche vorteilhafte Ausgestaltung der Erfindung sieht vor, dass die Bildwiedergabevorrichtung ein die Anzeige über die Windschutzscheibe in den Sichtbereich des Fahrers des Kraftfahrzeugs einspiegelnde, aus der Windschutzscheibe und einer von unten gegen die Windschutzscheibe gerichteten Projektionsvorrichtung bestehendes Head-up-Display ist, so dass der Fahrer die Anzeige mit dem weiteren, außerhalb sei¬ nes Sichtfeldes liegenden Straßenverlauf und das für ihn in dem für das menschliche Auge sichtbaren Wellenlängenbereich erkennbare, tatsächliche Verkehrsgeschehen perspektivisch und positionsrichtig überlagert direkt vor Augen hat.
Kurzbeschreibung der Zeichnung, in der zeigen: Fig. 1 einen schematischen Aufbau einer erfindungsgemäßen Fahrassistenzvorrichtung und Fig. 2 eine von einer erfindungsgemäßen Fahrassistenzvor¬ richtung auf einer Bildwiedergabevorrichtung darge¬ stellte Anzeige eines Straßenverlaufs.
Eine in Figur 1 dargestellte, erfindungsgemäße Fahrassistenz¬ vorrichtung besteht aus einem bildgebenden Sensor 1, vorzugs¬ weise einer im nahen oder fernen Infrarot arbeitenden Infra¬ rotkamera eines Nachtsichtgeräts, einer Navigationsvorrich¬ tung 2, welche eine oder mehrere der Informationen Fahrzeug¬ position, Straßenkategorie, Straßenkartendaten zur Bestimmung des weiteren Straßenverlaufs und der für den Straßenverlauf optimierte Geschwindigkeit, zulässige Höchstgeschwindigkeit, Sollkursinformation für eine geplante Route in Form einer Ab¬ biegeinformation zur Verfügung stellt, einem oder mehreren Fahrdynamiksystemen 3 oder dedizierten Sensoren, die Informa¬ tionen wie Fahrgeschwindigkeit, Getriebestellung, Lenkradein¬ schlagswinkel, Lenkwinkel, Nickwinkel zur Verfügung stellen, einer hinderniserkennenden Fahrassistenzvorrichtung 4, welche Informationen über vorausfahrende Fahrzeuge oder Hindernisse auf der Fahrbahn liefert, einer Bildwiedergabevorrichtung 5 sowie einem Steuergerät 6, mit dem die anderen Komponenten über Datenleitungen 7 verbunden sind und welches die die In¬ formationen tragenden Signale der anderen Komponenten verar¬ beitet und auf der Bildwiedergabevorrichtung als Anzeige aus¬ geben kann. Das Steuergerät 6 steuert dabei den bildgebenden Sensor 1 an, bereitet das von dem bildgebenden Sensor 1 in Form eines Videostromes ausgegebene Bild der aktuellen Ver¬ kehrs- und Fahrsituation zur Darstellung auf der Bildwieder¬ gabevorrichtung 5 auf, ermittelt den Nickwinkel des Kraft¬ fahrzeugs aus dem Kamerabild oder empfängt diese Information von dem Fahrdynamiksystem 3 und berechnet den Straßenverlauf aus dem Videostrom des bildgebenden Sensors 1, aus dem von der Navigationsvorrichtung 2 zur Verfügung gestellten Stra¬ ßenkartendaten, sowie aus einer Kombination aus Videostrom und Straßenkartendaten, wobei der im Nahbereich genaue Stra¬ ßenverlauf aus dem Videostrom mit der Information aus den Straßenkartendaten so weitergeführt wird, dass sich ein glat¬ ter horizontaler Krümmungsverlauf ergibt. Dazu werden die Spurverläufe aus dem Videostrom und den Straßenkartendaten verglichen und geeignet fusioniert. Mit dieser Information kann dann der aus dem Videostrom ermittelte, im Sichtfeld des bildgebenden Sensors 1 liegende Straßenverlauf 9 mit den In¬ formationen aus den Straßenkartendaten verlängert werden. Da¬ mit werden die Digitalisierungsfehler der Straßenkartendaten kompensiert .
In Figur 2 ist eine Anzeige 8 der erfindungsgemäßen Fahras¬ sistenzvorrichtung auf einer Bildwiedergabevorrichtung 5 dar¬ gestellt. Dabei zeigt die Anzeige 8 den Straßenverlauf 9. Im Bereich der Fahrspur 10 des Fahrzeuges wird das Bild der An¬ zeige 8 so verändert, insbesondere optimiert, dass der Fahrer den weiteren Straßenverlauf 9 deutlicher als die Umgebung 11 wahrnimmt . Geeigneterweise werden hierzu auf der Fahrbahn 14 von dem bildgebenden Sensor 1 erkannte Fahrbahnmarkierungen 15 hervorgehoben oder solche Fahrbahnmarkierungen 15 ergänzt. Dabei können grafische Elemente korrespondierend' zu den Stra¬ ßenrändern 12 und/oder grafische Elemente korrespondierend zu dem Mittelstreifen 13 von dem Steuergerät 6 erzeugt und angezeigt werden. Darüberhinaus ist eine geeignete Anpassung der Helligkeit des Bildes und/oder der angezeigten grafischen Elemente in der Anzeige 8 möglich, sowie eine geeignete An¬ passung des Kontrastes, der Schärfe sowie der Farbe denkbar. Unabhängig von der Art der Darstellung des Straßenverlaufs wird diese Darstellung dem Krümmungsverlauf der Straße, bei¬ spielsweise unter Annahme einer ebenen Straße 16, unter Er¬ mittlung des Krümmungsverlaufes der Straße 16 aus dem Video¬ strom des bildgebenden Sensors 1 oder durch Ermittlung des Krümmungsverlaufes der Straße 16 aus den Straßenkartendaten der Navigationsvorrichtung 2 perspektivisch positionsrichtig angepasst .
An Kreuzungen, Ausfahrten Kreisverkehren oder generell an al¬ len Verzweigungen können die vorher beschriebenen Manipulati¬ onen an der Anzeige 8 an allen abgehenden Straßenverläufen 9 vorgenommen werden. Dabei kann je nach Komplexität der Ver¬ kehrs- und Fahrsituation das Bild der Anzeige 8 so überladen werden, dass es dem Fahrer keine Hilfe mehr bietet. Um die Menge der dargestellten Informationen zu verringern, wird nur ein einziger Straßenverlauf 9 vollständig hervorgehoben. Der hervorgehobene Straßenverlauf 9 kann dabei bei eingeschalte¬ ter Zielführung der Navigationsvorrichtung 2 dem Sollkurs der empfohlenen Route, der Straße 16 gleichen Namens, der Straße 16 gleicher Kategorie, oder der Straße 16 mit dem kleinsten Krümmungsverlauf, oder einer auf vorangegangenen Fahrten er¬ lernten Route folgen.
Damit die Information über eine Verzweigung als besonderer Gefahrenpunkt und/oder Routenalternative nicht verloren geht, können Verzweigungen mit speziellen grafischen Elementen oder durch die Darstellung von Fahrbahnmarkierungen 15 der abge¬ henden Straßen 16 positionsrichtig auf der Bildwiedergabevor¬ richtung 5 angezeigt werden.
Um den Fahrer nicht mit unplausiblen Informationen zu über¬ lasten, wird die Anzeige 8 im Stadtverkehr und beim Rück¬ wärtsfahren ausgesetzt, reduziert oder vereinfacht. Eine ent¬ sprechende Optimierung der Anzeige 8 ist bei einem Lenkrad¬ einschlagswinkel oberhalb einer einstellbaren Schwelle, einer Fahrgeschwindigkeit unterhalb einer einstellbaren Schwelle, einer Fahrgeschwindigkeit oberhalb einer einstellbaren Schwelle, einer Fahrgeschwindigkeit oberhalb einer als zuläs¬ sig erkannten Schwelle, bei einem instabilen Fahrzustand des Kraftfahrzeugs, einem Abstand zu einem vorausfahrenden Kraft¬ fahrzeug unterhalb einer einstellbaren Schwelle, bei einer bestimmten Straßenkategorie, bei der beispielsweise eine schlechte oder veraltete Digitalisierung erkannt oder vermu¬ tet wird, bei oder in einem Kreisverkehr oder einer Kreuzung, bei einer nicht verfügbaren optischen oder kartografischen Erkennung des Straßenverlaufs 9, bei einer Krümmung des vor¬ aus liegenden Straßenverlaufs 9 oberhalb einer einstellbaren Schwelle, bei einer Erkennung einer Überlastung des Fahrers, beispielsweise durch Bedienen komplexer Fahrzeugfunktionen oder Kommunikationseinrichtungen, oder wenn der bildgebende Sensor 1, die Navigationsvorrichtung 2 oder ein angeschlosse¬ nes Fahrdynamiksystem 3 keine Informationen liefert, denkbar.
Um den Fahrer nicht durch das Umschalten zwischen Zuständen der Anzeige 8 mit und ohne Hervorhebung von relevanten Infor¬ mationen abzulenken, werden die eingeblendeten Fahrbahnmar¬ kierungen 16 , Richtungsanzeigen 17 zur Information über den Sollkurs oder den Straßenverlauf 9 in ihrer Vorausschau ins¬ besondere in Bezug auf ihre Wahrnehmbarkeit auf der Bildwie¬ dergabevorrichtung 5 in einem für die menschliche Wahrnehmung geeigneten zeitlichen Verlauf ein- und ausgeblendet. Dazu können z.B. Helligkeit, Kontrast, Schärfe sowie Farbwerte an- gepasst werden.
Bedingt durch die perspektivische Darstellung der Anzeige 8 auf der Bildwiedergabevorrichtung 5 ergeben sich für den Fah¬ rer ab einer gewissen Distanz keine mehr wahrnehmbaren De¬ tails. Dabei wird die Darstellung auf die Reichweite be¬ schränkt, in der die gewählte Darstellungsart Effekte auf der Bildwiedergabevorrichtung 5 erzeugt, die größer als ein Pixel ist und oberhalb einer für den Fahrer wahrnehmbaren Stufe liegt. Darüber hinaus ist die Reichweite davon abhängig, wie weit der weitere Verlauf der Fahrbahn 14 zuverlässig aus dem Videostrom erkannt oder aus den Straßenkartendaten ermittelt werden kann. Stehen dabei keine Straßenkartendaten zur Verfü¬ gung, wird die Reichweite der Fahrassistenzvorrichtung auf den aus dem Videostrom erkannten Straßenverlauf 9 beschränkt . Steht keine Erkennung der Fahrspur 10 aus dem Videostrom zur Verfügung, beispielsweise weil die Fahrspurerkennung nicht implementiert ist, oder keine Fahrspur 10 mangels Fahrbahn¬ markierungen 15 erkennbar ist, kann die Darstellung und damit die Fahrassistenzvorrichtung in der oben beschriebenen vollen Reichweite betrieben werden.
Sind von dem bildgebenden Sensor 1 des Nachtssichtgeräts er¬ kennbare Fahrbahnmarkierungen 15 nicht vorhanden oder schlecht erkennbar, kann die Fahrbahn 14 auch anhand des Ü- berganges zwischen Straßenrand 12 und Umgebung 11, beispiels¬ weise innerorts der Bordsteinkante, oder außerorts dem Stra¬ ßengraben oder dem tiefer liegenden, nicht asphaltierten Straßenunterbau, oder anhand von am Straßenrand stehenden Ob¬ jekten, wie beispielsweise Leitpfosten, Leitplanken, Schilder und dergleichen erkannt werden.
Um dem Fahrer Hinweise auf potenzielle Gefahrenstellen geben zu können, und um einer missbräuchlichen Verwendung der Fahr¬ assistenzvorrichtung entgegenzuwirken, kann die Reichweite der Darstellung weiter eingeschränkt werden, wenn die Fahrge¬ schwindigkeit über der von einem Kurvenwarner empfohlenen Ge¬ schwindigkeit, oder über der von der Navigationsvorrichtung 2 erkannten zulässigen Geschwindigkeit liegt .
Neben dem Straßenverlauf 9 können noch weitere Informationen aus den genannten Komponenten perspektivisch richtig in die Anzeige 8 der aktuellen Verkehrs- und Fahrsituation einge¬ blendet werden, beispielsweise ein farblich codierter Abstand zu einem vorausfahrenden Fahrzeug, wobei die farbliche Codie¬ rung eine Information trägt, ob der Abstand ausreichend ist, oder nicht, der Angabe eines Bremspunktes oder einer generel¬ len Abstandsinformation. Zur Zielführung durch die Navigati¬ onsvorrichtung 2 können darüber hinaus ein Abbiegepfeil, ein Abbiegepunkt, die Wegstrecke bis zum Abbiegepunkt, sowie Ab¬ zweigungen, Kreuzungen und Kreisverkehre in der Anzeige 8 auf der Bildwiedergabevorrichtung 5 dargestellt werden.
Gewerbliche Anwendbarkeit:
Die Erfindung ist insbesondere im Bereich der Herstellung von Kraftfahrzeugen sowie von Fahrassistenzvorrichtungen für Kraftfahrzeuge gewerblich anwendbar.

Claims

Patentansprüche
1. Fahrassistenzvorrichtung für ein Kraftfahrzeug mindestens mit einer Navigationsvorrichtung, einem bildgebenden Sen¬ sor, einer Bildwiedergabevorrichtung und einem Steuerge¬ rät, wobei mindestens die Navigationsvorrichtung, der bildgebenden Sensor und die Bildwiedergabevorrichtung mit dem Steuergerät verbunden sind, dadurch gekennzeichnet, dass das Steuergerät (6) zur Erkennung der Fahrbahn (14) und des Straßenverlaufs (9) die von dem bildgebenden Sen¬ sor (1) erfassten Bilder verarbeitet und mindestens den weiteren, außerhalb des Sichtfeldes des bildgebenden Sen¬ sors (1) liegenden Straßenverlauf (9) aus den der Naviga¬ tionsvorrichtung (2) zur Verfügung stehenden Straßenkar¬ tendaten ermittelt, um durch Zusammenführen beider Infor¬ mationen eine Vorhersage des Straßenverlaufes (9) in Form einer positionsrichtigen Anzeige (8) auf der Bildwieder¬ gabevorrichtung (5) zu erzeugen, wobei diese Anzeige (8) mit dem für den Fahrer sichtbaren Bild der aktuellen Ver¬ kehrs- und Fahrsituation positionsrichtig und perspekti¬ visch richtig überlagerbar ist.
2. Fahrassistenzvorrichtung nach Anspruch 1 dadurch gekennzeichnet, dass die Anzeige (8) der Bildwiedergabevorrichtung (5) zusätzlich zu dem Straßenverlauf (9) eine zur Zielführung durch die Navigationsvorrichtung (2) dienende Sollkursin¬ formation (17) zeigt.
3. Fahrassistenzvorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Anzeige (8) der Bildwiedergabevorrichtung (5) zusätzlich innerhalb der Sichtweite des bildgebenden Sen¬ sors (1) auf der Fahrbahn (14) liegende Hindernisse zeigt .
4. Fahrassistenzvorrichtung nach einem der Ansprüche 1, 2 oder 3, dadurch gekennzeichnet, dass die Bildwiedergabevorrichtung (5) das Display eines Nachtsichtgeräts (1) ist, wobei der bildgebende Sensor vorzugsweise die Kamera des Nachtsichtgeräts (1) ist.
5. Fahrassistenzvorrichtung nach einem der Ansprüche 1, 2 oder 3 , dadurch gekennzeichnet, dass die Bildwiedergabevorrichtung (5) ein die Anzeige (8) über die Windschutzscheibe in den Sichtbereich des Fahrers des Kraftfahrzeugs einspiegelndes Head-up-Display ist.
PCT/EP2005/009041 2004-10-01 2005-08-22 Fahrassistenzvorrichtung zur gegenüber dem sichtfeld des fahrers eines kraftfahrzeugs positionsrichtigen darstellung des weiteren strassenverlaufs auf einem fahrzeugdisplay WO2006037402A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE200410048347 DE102004048347A1 (de) 2004-10-01 2004-10-01 Fahrassistenzvorrichtung zur gegenüber dem Sichtfeld des Fahrers eines Kraftfahrzeugs positionsrichtigen Darstellung des weiteren Straßenverlaufs auf einem Fahrzeugdisplay
DE102004048347.7 2004-10-01

Publications (1)

Publication Number Publication Date
WO2006037402A1 true WO2006037402A1 (de) 2006-04-13

Family

ID=34980043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2005/009041 WO2006037402A1 (de) 2004-10-01 2005-08-22 Fahrassistenzvorrichtung zur gegenüber dem sichtfeld des fahrers eines kraftfahrzeugs positionsrichtigen darstellung des weiteren strassenverlaufs auf einem fahrzeugdisplay

Country Status (2)

Country Link
DE (1) DE102004048347A1 (de)
WO (1) WO2006037402A1 (de)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008058928A1 (de) * 2006-11-17 2008-05-22 Robert Bosch Gmbh Verfahren zum orten eines objekts
US7379813B2 (en) * 2004-09-03 2008-05-27 Aisin Aw Co., Ltd. Driving support system and driving support module
FR2917223A1 (fr) * 2007-06-08 2008-12-12 Thales Sa Systeme d'aide au guidage d'un aeronef sur un aeroport
WO2009003749A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes navigationssystem und verfahren zu seinem betrieb
WO2009149959A1 (de) * 2008-06-13 2009-12-17 Audi Ag Verfahren zur kombinierten ausgabe eines bildes und einer fahrinformation, sowie kraftfahrzeug hierfür
WO2009149960A1 (de) * 2008-06-13 2009-12-17 Audi Ag Verfahren zur kombinierten ausgabe eines bildes und einer lokalinformation, sowie kraftfahrzeug hierfür
WO2012034834A1 (de) * 2010-09-15 2012-03-22 Continental Teves Ag & Co. Ohg Visuelles fahrerinformations- und warnsystem für einen fahrer eines kraftfahrzeugs
WO2014095304A1 (de) * 2012-12-18 2014-06-26 Robert Bosch Gmbh Vorrichtung zur erweiterten darstellung eines umgebungsbereichs eines fahrzeugs
KR20180044402A (ko) * 2015-09-30 2018-05-02 닛산 지도우샤 가부시키가이샤 주행 제어 방법 및 주행 제어 장치
CN109151287A (zh) * 2018-10-30 2019-01-04 泰州市华润纺织品有限公司 一种军用车载辅助夜视仪系统
US10408634B2 (en) * 2014-03-25 2019-09-10 Jaguar Land Rover Limited Navigation system
CN112166301A (zh) * 2018-06-01 2021-01-01 大众汽车股份公司 计算用于在ar显示单元上呈现导航路线的“增强现实”淡入的方法、用于执行该方法的设备以及机动车和计算机程序
CN114872631A (zh) * 2022-06-13 2022-08-09 东风汽车集团股份有限公司 透明底盘功能实现方法及系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006039376A1 (de) * 2006-08-22 2008-03-06 Bayerische Motoren Werke Ag Fahrzeug
DE102006051539A1 (de) * 2006-10-18 2008-04-24 Daimler Ag Verfahren und Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen
DE102007027297B4 (de) 2007-06-11 2022-10-20 Volkswagen Ag Anzeige von Verkehrs- und Infrastrukturinformationen im Fahrzeug
DE102007027756A1 (de) * 2007-06-16 2008-12-18 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs bei der Durchfahrt des Kraftfahrzeugs durch eine Engstelle und/oder zum Einhalten eines Sicherheitsabstandes zum Vorderfahrzeug
DE102009024153A1 (de) 2009-06-05 2010-12-09 Daimler Ag Verfahren zur sukzessiven Prognostizierung eines mit einem Kraftfahrzeug zurückzulegenden wahrscheinlichsten Streckenabschnitts
DE102009027026A1 (de) 2009-06-18 2010-12-23 Robert Bosch Gmbh Verfahren und Steuergerät zum Bereitstellen einer virtuellen Fahrlinienmarkierung
DE102009041205A1 (de) * 2009-09-11 2011-03-24 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Regelung einer Anzeigevorrichtung in einem Fahrzeug
DE102010014499B4 (de) * 2010-04-10 2012-01-26 Audi Ag Verfahren zum Betrieb eines Spurhalteassistenzsystems für mehrspuriges Abbiegen in einem Kraftfahrzeug
DE102011006347B4 (de) 2011-03-29 2023-02-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausgabe von grafischen Fahrhinweisen
DE102011112943B4 (de) * 2011-09-13 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen eines Fahrerassistenzsystems mit automatischer Längsregelung für ein Fahrzeug und Fahrerassistenzsystem dazu
US20130083061A1 (en) * 2011-09-30 2013-04-04 GM Global Technology Operations LLC Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers
DE102011115739A1 (de) * 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
WO2013113500A1 (de) 2012-02-02 2013-08-08 Audi Ag Fahrerassistenzsystem und verfahren zur virtuellen darstellung eines strassenverlaufs bei verdeckung und/oder schlechten sichtverhältnissen
DE102014205489B4 (de) * 2014-03-25 2021-10-28 Conti Temic Microelectronic Gmbh Verfahren und System zur Bereitstellung einer Rundumsicht unter Einbeziehung von nicht sichtbaren Objekten
DE102017202459A1 (de) 2017-02-15 2018-08-16 Audi Ag Steuern eines steuerbaren Scheinwerfers eines Kraftfahrzeugs
DE102017215024B4 (de) * 2017-08-28 2024-09-19 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Bereitstellen von Informationen für eine Head-Up-Display-Vorrichtung für ein Kraftfahrzeug
KR20210113661A (ko) * 2019-01-18 2021-09-16 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드업 디스플레이 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325042A (ja) * 1996-06-05 1997-12-16 Matsushita Electric Ind Co Ltd 走行位置表示装置
JP2002046504A (ja) * 2000-08-03 2002-02-12 Mazda Motor Corp 車両用表示装置
EP1283406A2 (de) * 2001-08-01 2003-02-12 Siemens Aktiengesellschaft Bildverarbeitungsvorrichtung für ein Fahrzeug und Betriebsverfahren

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19738764A1 (de) * 1997-09-04 1999-03-11 Bayerische Motoren Werke Ag Vorrichtung zur graphischen Darstellung einer vorausliegenden Straße
DE10203413C2 (de) * 2002-01-28 2003-11-27 Daimler Chrysler Ag Automobiles Infrarot-Nachtsichtgerät

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325042A (ja) * 1996-06-05 1997-12-16 Matsushita Electric Ind Co Ltd 走行位置表示装置
JP2002046504A (ja) * 2000-08-03 2002-02-12 Mazda Motor Corp 車両用表示装置
EP1283406A2 (de) * 2001-08-01 2003-02-12 Siemens Aktiengesellschaft Bildverarbeitungsvorrichtung für ein Fahrzeug und Betriebsverfahren

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PATENT ABSTRACTS OF JAPAN vol. 1998, no. 04 31 March 1998 (1998-03-31) *
PATENT ABSTRACTS OF JAPAN vol. 2002, no. 06 4 June 2002 (2002-06-04) *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379813B2 (en) * 2004-09-03 2008-05-27 Aisin Aw Co., Ltd. Driving support system and driving support module
WO2008058928A1 (de) * 2006-11-17 2008-05-22 Robert Bosch Gmbh Verfahren zum orten eines objekts
FR2917223A1 (fr) * 2007-06-08 2008-12-12 Thales Sa Systeme d'aide au guidage d'un aeronef sur un aeroport
US7999699B2 (en) 2007-06-08 2011-08-16 Thales System for aiding the guidance of an aircraft on an airport
US8649974B2 (en) 2007-06-29 2014-02-11 Robert Bosch Gmbh Camera-based navigation system and method for its operation
WO2009003749A1 (de) * 2007-06-29 2009-01-08 Robert Bosch Gmbh Kameragestütztes navigationssystem und verfahren zu seinem betrieb
JP2010532031A (ja) * 2007-06-29 2010-09-30 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング カメラ援用ナビゲーションシステム及びその動作方法
WO2009149959A1 (de) * 2008-06-13 2009-12-17 Audi Ag Verfahren zur kombinierten ausgabe eines bildes und einer fahrinformation, sowie kraftfahrzeug hierfür
WO2009149960A1 (de) * 2008-06-13 2009-12-17 Audi Ag Verfahren zur kombinierten ausgabe eines bildes und einer lokalinformation, sowie kraftfahrzeug hierfür
US8994520B2 (en) 2010-09-15 2015-03-31 Continental Teves Ag & Co. Ohg Visual driver information and warning system for a driver of a motor vehicle
CN103210434A (zh) * 2010-09-15 2013-07-17 大陆-特韦斯贸易合伙股份公司及两合公司 用于机动车驾驶员的视觉驾驶员信息和警告系统
WO2012034834A1 (de) * 2010-09-15 2012-03-22 Continental Teves Ag & Co. Ohg Visuelles fahrerinformations- und warnsystem für einen fahrer eines kraftfahrzeugs
CN103210434B (zh) * 2010-09-15 2016-05-11 大陆-特韦斯贸易合伙股份公司及两合公司 用于机动车驾驶员的视觉驾驶员信息和警告系统及方法
WO2014095304A1 (de) * 2012-12-18 2014-06-26 Robert Bosch Gmbh Vorrichtung zur erweiterten darstellung eines umgebungsbereichs eines fahrzeugs
US9836656B2 (en) 2012-12-18 2017-12-05 Robert Bosch Gmbh Device for the expanded representation of a surrounding region of a vehicle
US10408634B2 (en) * 2014-03-25 2019-09-10 Jaguar Land Rover Limited Navigation system
CN108139217A (zh) * 2015-09-30 2018-06-08 日产自动车株式会社 行驶控制方法及行驶控制装置
EP3358302A4 (de) * 2015-09-30 2018-09-12 Nissan Motor Co., Ltd. Bewegungssteuerungsverfahren und bewegungssteuerungsvorrichtung
US10384679B2 (en) 2015-09-30 2019-08-20 Nissan Motor Co., Ltd. Travel control method and travel control apparatus
KR20180044402A (ko) * 2015-09-30 2018-05-02 닛산 지도우샤 가부시키가이샤 주행 제어 방법 및 주행 제어 장치
KR102023858B1 (ko) * 2015-09-30 2019-11-04 닛산 지도우샤 가부시키가이샤 주행 제어 방법 및 주행 제어 장치
CN108139217B (zh) * 2015-09-30 2022-04-26 日产自动车株式会社 行驶控制方法及行驶控制装置
CN112166301A (zh) * 2018-06-01 2021-01-01 大众汽车股份公司 计算用于在ar显示单元上呈现导航路线的“增强现实”淡入的方法、用于执行该方法的设备以及机动车和计算机程序
CN109151287A (zh) * 2018-10-30 2019-01-04 泰州市华润纺织品有限公司 一种军用车载辅助夜视仪系统
CN114872631A (zh) * 2022-06-13 2022-08-09 东风汽车集团股份有限公司 透明底盘功能实现方法及系统

Also Published As

Publication number Publication date
DE102004048347A1 (de) 2006-04-20

Similar Documents

Publication Publication Date Title
WO2006037402A1 (de) Fahrassistenzvorrichtung zur gegenüber dem sichtfeld des fahrers eines kraftfahrzeugs positionsrichtigen darstellung des weiteren strassenverlaufs auf einem fahrzeugdisplay
EP3931022B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
DE102004064249B3 (de) Fahrzeuginformationsanzeigesystem
EP3931020B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3931026B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
DE102011081396B4 (de) Verfahren und Steuergerät zum Anpassen einer Abstrahlcharakteristik zumindest eines Scheinwerfers
EP3931021B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3931028B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3931023B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3931029B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3931033B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
WO2013113500A1 (de) Fahrerassistenzsystem und verfahren zur virtuellen darstellung eines strassenverlaufs bei verdeckung und/oder schlechten sichtverhältnissen
DE102008061747A1 (de) Verfahren und System zum Anpassen eines Fahrzeugs
DE102015116043A1 (de) Sichtlinien-Führungsvorrichtung für Fahrzeuge
WO2007036397A1 (de) Nachtsichteinrichtung für ein kraftfahrzeug
DE102010013397A1 (de) Verkehrsinfrastrukturindikator an Head-Up-Anzeige
DE102009020300A1 (de) Verfahren zur Darstellung von zumindest teilweise automatisch erkannter Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
EP3318441B1 (de) Vorrichtung zur unterstützung eines fahrers eines fahrzeugs mit einer projektionseinrichtung
DE102013221867A1 (de) Dateneingabevorrichtung für Kraftfahrzeuge und Verfahren zum Eingeben von Daten mit einer Dateneingabevorrichtung in einem Kraftfahrzeug
EP3931024B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3931030B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase