WO2013056954A1 - Verfahren zum assistieren eines fahrers in einer fremden umgebung - Google Patents

Verfahren zum assistieren eines fahrers in einer fremden umgebung Download PDF

Info

Publication number
WO2013056954A1
WO2013056954A1 PCT/EP2012/068963 EP2012068963W WO2013056954A1 WO 2013056954 A1 WO2013056954 A1 WO 2013056954A1 EP 2012068963 W EP2012068963 W EP 2012068963W WO 2013056954 A1 WO2013056954 A1 WO 2013056954A1
Authority
WO
WIPO (PCT)
Prior art keywords
representation
environment
vehicle
assisting
remote object
Prior art date
Application number
PCT/EP2012/068963
Other languages
English (en)
French (fr)
Inventor
Henning Von Zitzewitz
Karsten Muehlmann
Jan Egelhaaf
Raphael Cano
Leo VEPA
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2013056954A1 publication Critical patent/WO2013056954A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G01C21/3638—Guidance using 3D or perspective road maps including 3D objects and buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3644—Landmark guidance, e.g. using POIs or conspicuous other objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams

Definitions

  • the invention relates to a method for assisting a driver when driving in a foreign environment.
  • the invention relates to a computer program product and a driver assistance system for carrying out the method.
  • Driver assistance systems are additional devices in a vehicle that assist the driver in driving the vehicle.
  • Such driver assistance systems typically include different subsystems, such as driver information systems or predictive safety systems.
  • the driver information systems include in particular
  • Navigation systems that provide the driver with relevant information to enable navigation through visual presentation and / or voice output.
  • the route guidance information can be displayed, for example, on the display of a human-machine interface (HMI) in the field of vision of the driver.
  • HMI human-machine interface
  • DE 103 44 120 A1 describes such a method for displaying navigation instructions on a projection surface in a vehicle, which comprises a navigation system. In doing so, navigation instructions are determined with the aid of the navigation system and displayed in a picture of the vehicle environment.
  • DE 10 2009 037 835 A1 discloses a method for ergonomically displaying virtual information in a real environment.
  • virtual information is displayed in a real environment view, in particular in the camera image.
  • This virtual information is displayed on a display in at least part of the real-world view, taking into account the position and orientation to the real world.
  • Virtual information includes images of locations with GPS information or information extracted from the Internet.
  • DE 10 2007 022 588 A1 describes a method for displaying video images in a means of transport. In this case, image data are recorded with a video camera and the current position data of the means of transport determined. Furthermore, object data are determined from a database and linked to the captured image data by the additional
  • Information from the database will be displayed in the video image display.
  • Data from the database includes, for example, geographic or photographic points in the real world, as well as addresses, names, or objects located in the vehicle surroundings.
  • Other driver information systems include, for example, monitoring systems that detect the environment of the vehicle and display it on a display in the driver's field of vision. Such a monitoring system is known from DE 10 2010 010 912 A1.
  • objects from the environment of the vehicle are detected and displayed in a schematic plan view. For positioning the objects in relation to the top view, the ground coordinates are detected and a symbol symbolizing the object is displayed in the corresponding pixel.
  • the invention proposes a method for assisting a driver of a vehicle in a foreign environment with the following steps:
  • Representation of the at least one remote object is displayed, taking into account the object-related data.
  • the at least one environmental representation of the at least one remote object is displayed, taking into account the object-related data.
  • Environment sensor detects, for example, has a camera system with one or more cameras and additionally or alternatively, an ultrasound system, a
  • the at least one environment representation may include, for example, video views based on the camera system that represent at least a portion of the real environment of the vehicle.
  • Environmental representations may also be visualizations of ultrasound data, radar data or the like.
  • the individual sensors of the environment sensors such as cameras or ultrasonic sensors, can be installed at different locations on the vehicle and thus reproduce different sections of the real environment of the vehicle.
  • a virtual perspective is the view of the environment that a real camera would deliver in the position of a virtual camera.
  • the virtual perspective in the representation of the real environment for example, take a bird's eye view, the perspective of a pursuer of the vehicle or the perspective of a third party inside or outside the vehicle.
  • the virtual camera can be placed in different positions, in particular above the vehicle, in order to be able to provide as complete an overview as possible of the vehicle environment in the representation of the real environment.
  • the virtual perspective for example, be selected by the driver.
  • the at least one environment representation can be in such as in
  • the section which the bird's-eye view depicts of the real environment is determined, for example, according to the acquired environment representation and
  • the at least one environmental representation for the representation of the real environment is projected onto a free-form surface.
  • the freeform surface can take any shape, the shape preferably tuned to the environment to be displayed.
  • a simple road environment can be projected onto a flat surface. Environments containing streets and raised objects are preferably projected onto a bowl-shaped surface.
  • the flat vehicle environment such as the road, with the
  • Multiple captured environmental representations such as video views of a camera system, can be combined to form a real image for the real environment.
  • the overall picture can reproduce at least a partial area, preferably an all-round view of the real environment of the vehicle.
  • Remote objects in the present context are understood to mean those objects which lie outside the environment and / or the environmental detail that is reproduced in one or more environment representations.
  • Distant objects can represent points or objects in the real world and, in particular, points of interest (POI) that characterize specific points in the real world. For example, places such as tourist attractions, leisure activities, museums or other attractions can be POIs.
  • POI points of interest
  • the object-related data of the at least one remote object may include a position, an orientation and / or an image description of the at least one remote object.
  • the object-related data can be stored in at least one database
  • a machine-readable storage medium such as on a permanent or rewritable storage medium or on a
  • the object related data may be provided in a database for download on a computing device such as a server, for example via a data network such as the Internet or a communication connection such as a telephone line or wireless connection.
  • the vehicle position in particular a position and an orientation of distant objects relative to the vehicle in the real world can be calculated from the object-related data.
  • the vehicle location may be provided, for example, as a geographical position indication, such as that of a GPS sensor. From this, a relative position between the removed object and the Vehicle location are determined and, for example, a classification of
  • Vehicle location done in electronic map material. In this way, from the position the distance and the compass direction of distant objects in the real world relative to the vehicle location can be determined.
  • the synthetic representation of the at least one remote object can be generated from a corresponding image description of the at least remote object.
  • a three-dimensional image description and / or a two-dimensional image description of the removed object can be stored in a database.
  • two-dimensional image descriptions several image descriptions with different viewing angles can be deposited on the remote object, from which a three-dimensional representation can be generated (also called "rendering").
  • the image descriptions of remote objects may be associated with geographical data contained in a database and thus simultaneously serve to determine positions of the remote object.
  • the database can combine geodesics with satellite imagery, maps, symbolic representations, pictograms, logos,
  • Conditions include. Examples of such databases are Google Earth TM or 3D navigation models.
  • a virtual spatial model of the removed object can be generated from the image description of a remote object, for example from satellite images, by rendering.
  • the spatial model can define material properties, light sources, as well as the position and viewing direction of an observer.
  • the synthetic representation taking into account the orientation of the at least one remote object relative to the vehicle in the real world.
  • the synthetic representation of the at least one remote object may be below
  • the synthetic representation of the remote object may be further faded in with a size that is constant and / or scales with a position-determinable distance of the remote object to the vehicle.
  • the synthetic representation can be superimposed in the bird's-eye view presentation.
  • Synthetic representation of at least one distant object according to the determinable from the object-related data direction relative to the vehicle at the image edge of the representation are displayed.
  • a computer program for carrying out one of the methods described herein is further proposed when the computer program is executed on a programmable computer device.
  • the computer device may be, for example, a module for implementing a driver assistance system or a subsystem thereof in a vehicle.
  • the computer program can be stored on a machine-readable storage medium, such as on a
  • the computer program may be provided on a computer device such as a server for download, for example via a
  • Data network such as the Internet or a communication connection such as a telephone line or a wireless connection.
  • a driver assistance system is furthermore proposed which, as described above, is designed to output representations of a vehicle environment to a driver.
  • An environment sensor system of the vehicle serves for detecting at least one environmental representation.
  • the driver assistance system further comprises the following components: a component for transforming the at least one environment representation into a representation of the real environment from a virtual perspective, a component for determining object-related data of at least one remote object and a component for displaying the representation of the real
  • the environmental sensor system may comprise: a camera system with one or more cameras, for example a reversing, front, side, and / or cameras at further installation locations, the camera system comprising mono-, stereo-, wide-angle cameras or a combination thereof; an ultrasound system with one or more sensors, for example in the rear and / or front area; a radar system, a lidar system, an infarct system or the like.
  • a camera system with one or more cameras, for example a reversing, front, side, and / or cameras at further installation locations, the camera system comprising mono-, stereo-, wide-angle cameras or a combination thereof; an ultrasound system with one or more sensors, for example in the rear and / or front area; a radar system, a lidar system, an infarct system or the like.
  • Other sensors that the driver assistance system may comprise: a camera system with one or more cameras, for example a reversing, front, side, and / or cameras at further installation locations, the camera system comprising mono-,
  • a position sensor such as a GPS sensor, possibly with associated electronic map material.
  • the transformation of the at least one environment representation into a representation of the real environment from a virtual perspective and the determination of object-related data of at least one remote object can be carried out on a suitably designed control unit of the driver assistance system.
  • the display of the display can then be done on a display, preferably the HMI of
  • the invention makes it possible, by fading in a synthetic representation of real objects, into a bird's-eye view of the immediate real one
  • the driver has an optimal overview of the situation
  • FIG. 1 shows a vehicle equipped with a driver assistance system according to the invention in an exemplary driving situation
  • Figure 2 is a schematic view of an output of the invention
  • FIG. 3 shows in the form of a flowchart an operation of the driver assistance system of
  • FIG. 1 A first figure.
  • FIG. 1 schematically illustrates a vehicle 100 in a driving situation in which the vehicle 100 is in an urban environment with objects, such as houses 104 and other road users 104.
  • objects such as houses 104 and other road users 104.
  • the driver's view within range is limited to road 102 and its immediate surroundings. This complicates the orientation within the urban area.
  • the driver can not perceive distant objects 106 that can serve orientation within the urban area from his current view.
  • the vehicle has a driver assistance system 108, which according to FIG. 1 comprises, inter alia, the following components: Software is installed on a control unit 110, by means of which an exemplary embodiment of the method according to the invention is implemented.
  • a central control unit 110 as shown in FIG. 1, another driver assistance system 108 could also have a plurality of distributed control components include.
  • the control unit 110 is configured to receive sensor data of a camera system with a reversing camera 114, a front camera 12 and side cameras 1 16, 118 integrated in the side mirrors.
  • a human-machine interface 122 such as a display, is provided for outputting environmental representations.
  • the driver assistance system 108 may have more
  • the control unit 110 is designed to output images obtained with the cameras 1 12 to 118 of the corresponding surroundings of the vehicle 100, the output being effected on a display unit of the man-machine interface 122.
  • Each of the cameras 112 to 118 can each comprise a monocamera or a stereo camera, which can be fixedly or pivotably mounted on the vehicle with or without angle lenses.
  • Each of the cameras 1 12 to 118 can thus have a fixed or adjustable field of view, wherein in particular an optical and / or electronic zoom can be used.
  • the cameras 1 12 to 118 capture video views, each representing a different section of the real environment of the vehicle 100. The cutouts may overlap at least partially.
  • the video views acquired with the cameras 1 12 to 118 are provided to the controller 110 where a bird's eye view of the vehicle environment is calculated.
  • the control unit 110 object-related data are removed from
  • This object-related data can be stored, for example, in a database on a server or on a machine-readable storage medium.
  • the controller 110 may download object-related data from, for example, a server via a data network such as the Internet or a communication link.
  • the object-related data include among others
  • the representation of the immediate vehicle environment is combined with a synthetic representation 106 'of distant objects.
  • the vehicle 100 'and the immediate vicinity of the vehicle 100 is from a viewing angle or a virtual perspective over the vehicle 100 'shown. This gives the driver an overview of the immediate vehicle environment and its relative position to adjacent objects 104 '.
  • the bird's eye view 130 is combined with a synthetic image area 132.
  • the synthetic image area 132 includes the synthetic representation of real objects 106 '. This synthetic representation of objects 106 'results from image synthesis with image descriptions from the database to which the controller 110 has access.
  • the synthetic representation 132 may, taking into account the orientation and the direction of the distant object 106 relative to the vehicle 100th
  • the orientation of the removed objects 106 relative to the vehicle 100 can also be taken into account.
  • the perspective on the perspective representation 130 of the real environment may serve as a reference for generating the synthetic representation of the removed objects 106 '.
  • Surroundings can be created by variations in size and position a comprehensive overview for the driver. For example, objects 106 that are located farther away may be smaller than objects that are in the immediate vicinity. This results in a kind of depth display, which gives the driver a sense of distance.
  • the synthetic representations 106 'corresponding to the respective cardinal direction are superimposed on the image edge of the bird's eye view 130. In this way, the driver can anticipate his current and future position and use this information when driving through an urban environment to get a rough orientation.
  • the camera system 1 12 acquires environmental representations, which are composed of individual video views of the cameras 1 12, 114, 116, 118. These individual video views represent at least a portion of the real environment of the vehicle 100.
  • the acquired environmental representations are further provided to a controller 108 where the evaluation of the data takes place and the
  • Components of the driver assistance system 108 are controlled.
  • step 304 the captured environmental representations are transformed into a bird's eye view of the real environment.
  • the recorded video views on a freeform surface for example, a flat or a bowl-shaped plane or
  • step 306 object related data such as position, orientation, and
  • Image description of distant objects 106 relative to the vehicle 100 determined.
  • GPS sensors may be used to calculate the vehicle location to calculate the relative position of the remote objects 106 to the vehicle 100. From this, the distance and the compass direction of distant objects 106 relative to the vehicle 100 can be determined. With the aid of the orientation of the remote objects 106 relative to the vehicle 100, an image description may be converted from a database into a synthetic representation 106 '.
  • step 310 the bird's-eye view 130 of the real environment is displayed, with synthetic representations of distant objects 106 'in the

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

Die Erfindung betrifft Fahrassistenzsysteme (108), die zur Ausgabe von Darstellungen einer Fahrzeugumgebung an einen Fahrer ausgebildet sind. Die Erfindung betrifft ferner ein Verfahren in einem derartigen Fahrassistenzsystem, das die folgenden Schritte umfasst: Erfassen von mindestens einer Umgebungsdarstellung, die zumindest einen Ausschnitt der realen Umgebung des Fahrzeuges (100) wiedergeben; Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung (130) der realen Umgebung aus einer virtuellen Perspektive; Ermitteln von objektbezogenen Daten im Bezug auf mindestens ein entferntes Objekt (106); Anzeigen der Darstellung (130) der realen Umgebung, wobei eine synthetische Darstellung (132) des mindestens einen entfernten Objekts (106) unter Berücksichtigung der objektbezogenen Daten eingeblendet wird.

Description

Beschreibung
Titel
Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung Stand der Technik Die Erfindung betrifft ein Verfahren zum Assistieren eines Fahrers beim Fahren in einer fremden Umgebung. Zudem betrifft die Erfindung ein Computerprogrammprodukt sowie ein Fahrassistenzsystem zur Durchführung des Verfahrens.
Fahrassistenzsysteme sind Zusatzeinrichtungen in einem Fahrzeug, die den Fahrer beim Führen des Fahrzeuges unterstützen. Derartige Fahrassistenzsysteme umfassen typischerweise unterschiedliche Subsysteme, wie Fahrerinformationssysteme oder prädiktive Sicherheitssysteme. Zu den Fahrerinformationssystemen gehören insbesondere
Navigationssysteme, die den Fahrer mit relevanten Informationen versorgen, um eine Zielführung durch visuelle Darstellung und/oder Sprachausgaben zu ermöglichen. Dabei können die Zielführungsinformationen beispielsweise auf dem Display einer Mensch- Maschine-Schnittstelle (HMI) im Blickfeld des Fahrers angezeigt werden. DE 103 44 120 A1 beschreibt ein derartiges Verfahren zur Darstellung von Navigationshinweisen auf einer Projektionsfläche in einem Fahrzeug, das ein Navigationssystem umfasst. Dabei werden mithilfe des Navigationssystems Navigationshinweise ermittelt und in einem Bild der Fahrzeugumgebung dargestellt.
Zusätzlich zur Routenführung sind Verfahren bekannt, bei denen Bilder der realen
Umgebung mit virtuellen Informationen überlagert sind. Aus DE 10 2009 037 835 A1 ist ein Verfahren zur ergonomischen Darstellung von virtuellen Informationen in einer realen Umgebung bekannt. Im Rahmen dieses Verfahrens werden virtuelle Informationen in einer realen Umgebungsansicht, insbesondere im Kamerabild, eingeblendet. Diese virtuellen Informationen werden auf einem Display in wenigstens einem Teil der Ansicht der realen Umgebung unter Berücksichtigung der Position und Orientierung zur realen Welt eingeblendet. Virtuelle Informationen umfassen dabei Bilder von Orten mit GPS- Informationen oder aus dem Internet extrahierte Informationen. DE 10 2007 022 588 A1 beschreibt ein Verfahren zur Anzeige von Videobildern in einem Verkehrsmittel. Dabei werden Bilddaten mit einer Videokamera erfasst und die aktuellen Positionsdaten des Verkehrsmittels bestimmt. Weiterhin werden Objektdaten aus einer Datenbank ermittelt und mit den erfassten Bilddaten verknüpft, indem die zusätzlichen
Informationen aus der Datenbank in der Videobildanzeige angezeigt werden. Zu den Daten aus der Datenbank gehören beispielsweise geografische oder fotografische Punkte in der realen Welt sowie Adressen, Namen oder Objekte, die sich in Fahrzeugumfeld befinden. Weitere Fahrerinformationssysteme umfassen beispielsweise Überwachungssysteme, die die Umgebung des Fahrzeuges erfassen und auf einem Display im Blickfeld des Fahrers darstellen. Ein derartiges Überwachungssystem ist aus DE 10 2010 010 912 A1 bekannt. Danach werden Objekte aus der Umgebung des Fahrzeuges erfasst und in einer schematischen Draufsicht dargestellt. Zur Positionierung der Objekte in Bezug auf die Draufsicht werden die Bodenkoordinaten erfasst und ein Symbol, das das Objekt symbolisiert, im entsprechenden Bildpunkt eingeblendet.
Bekannte Verfahren, die virtuelle Informationen in einer realen Umgebung darstellen, vermitteln dem Fahrer eine Orientierungshilfe in der unmittelbaren Umgebung des
Fahrzeuges. Daher wird die Anzeige der virtuellen Informationen während der Fahrt ständig aktualisiert und der Fahrer ist oftmals damit beschäftigt, die neusten Informationen wahrzunehmen und entsprechend darauf zu reagieren.
Offenbarung der Erfindung
Erfindungsgemäß wird Verfahren zum Assistieren eines Fahrers eines Fahrzeuges in einer fremden Umgebung mit folgenden Schritten vorgeschlagen:
- Erfassen von mindestens einer Umgebungsdarstellung, die zumindest einen Ausschnitt der realen Umgebung des Fahrzeuges wiedergibt;
- Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung der realen Umgebung aus einer virtuellen Perspektive;
- Ermitteln von objektbezogenen Daten im Bezug auf mindestens ein entferntes Objekt; - Anzeigen der Darstellung der realen Umgebung, wobei eine synthetische
Darstellung des mindestens einen entfernten Objekts unter Berücksichtigung der objektbezogenen Daten eingeblendet wird. Im Rahmen der Erfindung wird die mindestens eine Umgebungsdarstellung von
Umfeldsensorik erfasst, die beispielsweise ein Kamerasystem mit ein oder mehreren Kameras aufweist und zusätzlich oder alternativ auch ein Ultraschallsystem, ein
Radarsystem und dergleichen enthalten kann. Die mindestens eine Umgebungsdarstellung kann etwa auf dem Kamerasystem basierende Videoansichten umfassen, die zumindest einen Ausschnitt der realen Umgebung des Fahrzeuges wiedergeben. Andere
Umgebungsdarstellungen können auch Visualisierungen von Ultraschalldaten, Radardaten oder dergleichen sein. Die einzelnen Sensoren der Umfeldsensorik, etwa Kameras oder Ultraschallsensoren, können dabei an unterschiedlichen Orten am Fahrzeug verbaut sein und somit unterschiedliche Ausschnitte der realen Umgebung des Fahrzeuges wiedergeben.
Eine virtuelle Perspektive entspricht der Ansicht auf die Umgebung, die eine reale Kamera in der Position einer virtuellen Kamera liefern würde. So kann die virtuelle Perspektive in der Darstellung der realen Umgebung beispielsweise eine Vogelperspektive, die Perspektive eines Verfolgers des Fahrzeuges oder die Perspektive eines Dritten innerhalb oder außerhalb des Fahrzeuges einnehmen. Die virtuelle Kamera kann dazu in unterschiedlichen Positionen, insbesondere über dem Fahrzeug, platziert werden, um in der Darstellung der realen Umgebung einen möglichst vollständigen Überblick auf das Fahrzeugumfeld gewähren zu können. Dazu kann die virtuelle Perspektive beispielsweise vom Fahrer ausgewählt werden.
Die mindestens eine Umgebungsdarstellung kann derart in beispielsweise die
vogelperspektivische Darstellung transformiert werden, dass das Fahrzeug und dessen Umgebung von einem Punkt über dem Fahrzeug aus gesehen dargestellt wird. Dabei bestimmt sich der Ausschnitt, den die vogelperspektivische Darstellung von der realen Umgebung zeigt, beispielsweise nach der erfassten Umgebungsdarstellung und
insbesondere der Reichweite der jeweiligen Sensoren der Umfeldsensorik.
In einer Implementierung des erfindungsgemäßen Verfahrens wird die mindestens eine Umgebungsdarstellung für die Darstellung der realen Umgebung auf eine Freiformfläche projiziert. Die Freiformfläche kann eine beliebige Form annehmen, wobei die Form vorzugsweise auf die darzustellende Umgebung abgestimmt ist. Beispielsweise kann eine einfache Straßenumgebung auf eine flache Fläche projiziert werden. Umgebungen, die Straßenzüge und erhabene Objekte enthalten, werden bevorzugt auf eine schüsseiförmige Fläche projiziert. Dabei kann die flache Fahrzeugumgebung, wie die Straße, mit dem
Fahrzeug im Zentrum auf den flachen Teil und erhabene Objekte auf die Flanken der schüsseiförmigen Fläche projiziert werden. Mehrere erfasste Umgebungsdarstellungen, etwa Videoansichten eines Kamerasystems, können für die Darstellung der realen Umgebung zu einem Gesamtbild zusammengesetzt werden. Das Gesamtbild kann dabei zumindest einem Teilbereich, vorzugsweise einen Rundumblick der realen Umgebung des Fahrzeuges wiedergeben.
Unter entfernten Objekten sind im vorliegenden Zusammenhang solche Objekte zu verstehen, die außerhalb der Umgebung und/oder des Umgebungsausschnitt liegen, der in einer oder mehreren Umgebungsdarstellungen wiedergegeben ist. Entfernte Objekte können Punkte oder Objekte in der realen Welt und insbesondere Points of Interest (POI) darstellen, die spezifische Punkte in der realen Welt kennzeichnen. Beispielsweise können Orte wie touristische Attraktionen, Freizeitangebote, Museen oder andere Sehenswürdigkeiten POIs sein. Die objektbezogenen Daten des mindestens einen entfernten Objekts können eine Position, eine Orientierung und/oder eine Bildbeschreibung des mindestens einen entfernten Objekts umfassen. Die objektbezogenen Daten können in mindestens einer Datenbank
beispielsweise auf einem maschinenlesbaren Speichermedium gespeichert sein, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder auf einer
entfernbaren CD-Rom, DVD oder einem USB-Stick. Zusätzlich oder alternativ können die objektbezogenen Daten in einer Datenbank auf einer Computereinrichtung wie einem Server zum Herunterladen bereitgestellt werden, zum Beispiel über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine Drahtlosverbindung.
Unter Berücksichtigung der Fahrzeugposition kann aus den objektbezogenen Daten insbesondere eine Position und eine Orientierung von entfernten Objekten relativ zu dem Fahrzeug in der realen Welt berechnet werden. Der Fahrzeugstandort kann etwa als geographische Positionsangabe, wie die von einem GPS-Sensor, zur Verfügung gestellt werden. Daraus kann eine relative Position zwischen dem entfernten Objekt und dem Fahrzeugstandort ermittelt werden und beispielsweise eine Einordnung des
Fahrzeugstandortes in elektronisches Kartenmaterial erfolgen. Auf diese Weise kann aus der Position die Entfernung und die Himmelsrichtung von entfernten Objekten in der realen Welt relativ zu dem Fahrzeugstandort ermittelt werden.
Die synthetische Darstellung des mindestens einen entfernten Objekts kann aus einer entsprechenden Bildbeschreibung des mindestens entfernten Objekts generiert werden. Dabei kann etwa eine dreidimensionale Bildbeschreibung und/oder eine zweidimensionale Bildbeschreibung des entfernten Objekts in einer Datenbank hinterlegt sein. Im Falle von zweidimensionalen Bildbeschreibungen, können mehrere Bildbeschreibungen mit unterschiedlichen Blickwinkeln auf das entfernte Objekt hinterlegt sein, aus denen eine dreidimensionale Darstellung erzeugt werden kann (auch genannt„rendern").
Die Bildbeschreibungen von entfernten Objekten können verknüpft mit geografischen Daten in einer Datenbank enthalten sein und somit gleichzeitig der Ermittlung von Positionen des entfernten Objekts dienen. So kann die Datenbank beispielsweise Geodäten kombiniert mit Satellitenbildern, Karten, symbolhafte Darstellungen, Piktogramme, Logos,
Geländeinformationen, 3D-Gebäuden und sonstigen komplexen geografische
Gegebenheiten umfassen. Beispiele für solche Datenbanken sind Google Earth™ oder 3D- Navigationsmodelle. Insbesondere kann aus der Bildbeschreibung eines entfernten Objekts, beispielsweise aus Satellitenbildern, durch rendern ein virtuelles räumliches Modell des entfernten Objekts generiert werden. Das räumliche Modell kann dabei unter anderem Materialeigenschaften, Lichtquellen, sowie Position und Blickrichtung eines Betrachters definieren.
Bei bestimmten Ausführungsformen des erfindungsgemäßen Verfahrens erfolgt die
Generierung der synthetischen Darstellung unter Berücksichtigung der Orientierung des mindestens einen entfernten Objekts relativ zu dem Fahrzeug in der realen Welt. Alternativ kann die synthetische Darstellung des mindestens einen entfernten Objekts unter
Berücksichtigung eines Blickwinkels des Betrachters auf die Darstellung der realen
Umgebung generiert werden. Auch können für unterschiedliche entfernte Objekte
unterschiedliche Bezugspunkte wie zum Beispiel die Orientierung relativ zu dem Fahrzeug oder der Blickwinkel des Betrachters auf die Darstellung der realen Umgebung als
Bezugspunkt dienen. Die synthetische Darstellung des entfernten Objekts kann weiterhin mit einer Größe eingeblendet werden, die konstant ist und/oder mit einer aus der Position bestimmbaren Entfernung des entfernten Objekts zu dem Fahrzeug skaliert. So kann die synthetische Darstellung beispielsweise überdimensioniert in die vogelperspektivische Darstellung eingeblendet werden.
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann die
synthetische Darstellung von mindestens einem entfernten Objekt entsprechend der aus den objektbezogenen Daten bestimmbaren Himmelsrichtung relativ zu dem Fahrzeug am Bildrand der Darstellung eingeblendet werden.
In einer weiteren Ausführungsform des erfindungsgemäßen Verfahrens kann die
synthetische Darstellung von mindestens einem entfernten Objekt über der Bebauung oder Vegetation in als Himmel erkannten Bildbereichen eingeblendet werden.
Erfindungsgemäß wird weiterhin ein Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren vorgeschlagen, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei der Computereinrichtung kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrassistenzsystems oder eines Subsystems hiervon in einem Fahrzeug handeln. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem
permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung, oder auf einer entfernbaren CD-Rom, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer Computereinrichtung wie einem Server zum Herunterladen bereitgestellt werden, zum Beispiel über ein
Datennetzwerk wie das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine Drahtlosverbindung.
Erfindungsgemäß wird weiterhin ein Fahrassistenzsystem vorgeschlagen, welches, wie vorstehend beschreiben, zur Ausgabe von Darstellungen einer Fahrzeugumgebung an einen Fahrer ausgebildet ist. Eine Umfeldsensorik des Fahrzeuges dient dabei zum Erfassen von mindestens einer Umgebungsdarstellung. Das Fahrassistenzsystem umfasst weiterhin die folgenden Komponenten: eine Komponente zum Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung der realen Umgebung aus einer virtuellen Perspektive, eine Komponente zum Ermitteln von objektbezogenen Daten mindestens eines entfernten Objekts und eine Komponente zum Anzeigen der Darstellung der realen
Umgebung, wobei eine synthetische Darstellung des mindestens einen entfernten Objekts unter Berücksichtigung der objektbezogenen Daten eingeblendet ist. Die Umfeldsensorik kann Folgendes umfassen: Ein Kamerasystem mit einer oder mehreren Kameras beispielsweise eine Rückfahr-, Front-, Seitenkameras, und/oder Kameras an weiteren Einbauorten, wobei das Kamerasystem Mono-, Stereo-, Weitwinkelkameras oder eine Kombination hiervon umfasst; ein Ultraschallsystem mit einem oder mehreren Sensoren zum Beispiel im Heck- und/oder Frontbereich; ein Radarsystem, ein Lidarsystem, ein Infarotsystem oder dergleichen. Weitere Sensoren, die dem Fahrassistenzsystem
zugeordnet sein können umfassen etwa einen Positionssensor wie einen GPS-Sensor, gegebenenfalls mit zugeordnetem elektronischem Kartenmaterial.
Das Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung der realen Umgebung aus einer virtuellen Perspektive und das Ermitteln von objektbezogenen Daten mindestens eines entfernten Objekts kann auf einem entsprechend ausgebildeten Steuergerät des Fahrassistenzsystems ausgeführt werden. Die Anzeige der Darstellung kann dann auf einem Display erfolgen, das vorzugsweise dem HMI des
Fahrassistenzsystems zugeordnet ist.
Vorteile der Erfindung
Die Erfindung ermöglicht es, durch das Einblenden einer synthetischen Darstellung von realen Objekten in eine vogelperspektivische Darstellung der unmittelbaren realen
Umgebung dem Fahrer situationsabhängig einen optimalen Überblick über die
Fahrzeugumgebung im Nahbereich und Fernbereich bereitzustellen. Bei der Einblendung der synthetischen Darstellung des realen Objekts werden dessen Positionsdaten relativ zu dem Fahrzeug berücksichtigt und entsprechend eingeblendet. Dies ermöglicht es dem Fahrer, sich in einer Urbanen Umgebung schnell zu orientieren und seine aktuelle Position anhand von entfernten Objekten insbesondere POIs einschätzen zu können. Eine möglichst realitätsgetreue oder bewusst auf Wedererkennung unter beschränkter Bildschirmauflösung optimierte synthetische Darstellung von entfernten Objekten gibt dem Fahrer ein Sensorium, um seine Position in der realen Welt einzuschätzen. Für die Erfindung sind in der Regel keine zusätzlichen Komponenten notwendig, es werden also keine zusätzlichen Einbauten erforderlich. Somit kann der Gewinn an intuitiv und leicht erfassbarer Unterstützung in komplexen Fahrsituationen auf kostengünstige Weise erreicht werden, beispielsweise lediglich durch ein entsprechendes Update der Software eines Steuergeräts.
Kurze Beschreibung der Zeichnungen
Weitere Aspekte und Vorteile der Erfindung werden nunmehr anhand der beigefügten Zeichnungen eingehender beschrieben. Es zeigt:
Figur 1 ein mit einem erfindungsgemäßen Fahrassistenzsystem ausgerüstetes Fahrzeug in einer beispielhaften Fahrsituation; Figur 2 eine schematische Ansicht auf eine Ausgabe des erfindungsgemäßen
Fahrassistenzsystems gemäß Figur 1 ;
Figur 3 in Form eines Flussdiagramms eine Arbeitsweise des Fahrassistenzsystems der
Figur 1.
Ausführungsformen der Erfindung
In Figur 1 ist schematisch ein Fahrzeug 100 in einer Fahrsituation dargestellt, in der sich das Fahrzeug 100 in einer Urbanen Umgebung mit Objekten, wie Häusern 104 und anderen Verkehrsteilnehmern 104, befindet. Innerhalb der Häuserschlucht ist die Sicht des Fahrers in ihrer Reichweite auf die Straße 102 und ihre unmittelbare Umgebung begrenzt. Dies erschwert die Orientierung innerhalb des Urbanen Bereiches. Insbesondere kann der Fahrer entfernte Objekte 106, die der Orientierung innerhalb des Urbanen Bereiches dienen können, aus seiner aktuellen Sicht nicht wahrnehmen.
Das Fahrzeug verfügt über ein Fahrassistenzsystem 108, welches gemäß Figur 1 unter anderem die folgenden Komponenten umfasst: Auf einem Steuergerät 110 ist eine Software installiert, mittels derer ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens implementiert ist. Statt eines zentralen Steuergeräts 110, wie in Figur 1 dargestellt, könnte ein anderes Fahrassistenzsystem 108 auch mehrere verteilte Steuerkomponenten umfassen. Das Steuergerät 110 ist zur Entgegennahme von Sensordaten eines Kamerasystems mit einer Rückfahrkamera 114, einer Frontkamera 1 12 sowie in den Seitenspiegeln integrierte Seitenkameras 1 16, 118 ausgestaltet. Zusätzlich ist im Blickfeld des Fahrers eine Mensch-Maschine-Schnittstelle 122, etwa ein Display, zur Ausgabe von Umgebungsdarstellungen vorgesehen. Das Fahrassistenzsystem 108 kann weitere
Sensorsysteme umfassen, die in Figur 1 nicht gezeigt sind.
Das Steuergerät 110 ist zur Ausgabe von mit den Kameras 1 12 bis 118 gewonnenen Darstellungen der entsprechenden Umgebung des Fahrzeuges 100 ausgebildet, wobei die Ausgabe auf eine Anzeigeeinheit der Mensch-Maschine-Schnittstelle 122 erfolgt.
Jede der Kameras 112 bis 1 18 kann jeweils eine Monokamera oder eine Stereokamera umfassen, die mit oder ohne Weiwinkellinsen fest oder schwenkbar am Fahrzeug verbaut sein können. Jede der Kameras 1 12 bis 118 kann somit einen festen oder einstellbaren Sichtbereich haben, wobei insbesondere ein optisches und/oder elektronisches Zoom zum Einsatz kommen kann. Die Kameras 1 12 bis 118 erfassen Videoansichten, die jeweils einen anderen Ausschnitt der realen Umgebung des Fahrzeuges 100 wiedergeben. Dabei können sich die Ausschnitte zumindest teilweise überlappen. Die mit den Kameras 1 12 bis 118 erfassten Videoansichten werden dem Steuergerät 110 bereitgestellt, wo eine vogelperspektivische Darstellung der Fahrzeugumgebung berechnet wird. Zusätzlich werden dem Steuergerät 110 objektbezogene Daten von entfernten
Objekten 106 zur Verfügung gestellt. Diese objektbezogenen Daten können etwa in einer Datenbank auf einem Server oder auf einem maschinenlesbaren Speichermedium hinterlegt sein. Auf diese Weise kann das Steuergerät 110 objektbezogene Daten beispielsweise von einem Server über ein Datennetzwerk wie das Internet oder eine Kommunikationsverbindung herunterladen. Die objektbezogene Daten umfassen dabei unter anderem
Bildbeschreibungen der entfernten Objekte 106 sowie deren Position in der realen Welt. Zur verbesserten Orientierung des Fahrers in der Urbanen Fahrsituation wird die Darstellung der unmittelbaren Fahrzeugumgebung mit einer synthetischen Darstellung 106' von entfernten Objekten kombiniert. Eine beispielhafte Ansicht auf eine vogelperspektivische Darstellung, in der synthetische Darstellungen von entfernten Objekten 106' eingeblendet sind, ist in Figur 2 gezeigt. In der vogelperspektivischen Darstellung 130 ist das Fahrzeug 100' und die unmittelbare Umgebung des Fahrzeuges 100 aus einem Blickwinkel oder einer virtuellen Perspektive über dem Fahrzeug 100' dargestellt. Dies gibt dem Fahrer einen Überblick über die unmittelbare Fahrzeugumgebung und dessen relative Position zu angrenzenden Objekten 104'. Um dem Fahrer einen umfassenden Überblick in einer derartigen Urbanen Fahrsituation zu vermitteln, ist die vogelperspektivische Darstellung 130 mit einem synthetischen Bildbereich 132 kombiniert. Der synthetische Bildbereich 132 umfasst die synthetische Darstellung von realen Objekten 106'. Diese synthetische Darstellung von Objekten 106' resultiert aus einer Bildsynthese mit Bildbeschreibungen aus der Datenbank, zu der das Steuergerät 110 Zugriff hat. Die synthetische Darstellung 132 kann dabei unter Berücksichtigung der Orientierung und der Himmelsrichtung der entfernten Objekt 106 relativ zu dem Fahrzeug 100
eingeblendet werden. Auch bei der Generierung der synthetischen Darstellung 106' kann die Orientierung der entfernten Objekte 106 relativ zu dem Fahrzeug 100 berücksichtigt werden. Alternativ kann der Blickwinkel auf die perspektivische Darstellung 130 der realen Umgebung als Bezugspunkt für die Generierung der synthetischen Darstellung der entfernten Objekte 106' dienen.
Da entfernte Objekt 106 außerhalb der perspektivischen Darstellung 130 der realen
Umgebung liegen, kann durch Variationen in der Größe und der Position ein umfassender Überblick für den Fahrer geschaffen werden. So können beispielsweise Objekte 106, die in weiterer Entfernung liegen kleiner dargestellt sein, als Objekte, die sich in der näheren Umgebung befinden. Dies resultiert in einer Art Tiefendarstellung, welche dem Fahrer ein Gefühl für Entfernung vermittelt. Zusätzlich werden die synthetischen Darstellungen 106' entsprechend der jeweiligen Himmelsrichtung am Bildrand der vogelperspektivischen Darstellung 130 eingeblendet. Auf diese Weise kann der Fahrer vorausschauend seine derzeitige und zukünftige Position einschätzen und diese Informationen bei der Fahrt durch eine urbane Umgebung nutzen, um eine grobe Orientierung zu erhalten.
Eine erfindungsgemäße Funktionsweise des Fahrassistenzsystems 108 wird nunmehr anhand des Flussdiagramms 300 in Figur 3 genauer beschrieben. Im Grundsatz dient das Zusammenwirken der in Figur 1 dargestellten Komponenten dazu, in einer bestimmten Fahrsituation eine optimale Unterstützung des Fahrers durch geeignete
Umgebungsdarstellung mit Orientierungshilfe anzubieten. In Schritt 302 erfasst das Kamerasystem 1 12 Umgebungsdarstellungen, die sich aus einzelnen Videoansichten der Kameras 1 12, 114, 116, 118 zusammensetzen. Diese einzelnen Videoansichten geben zumindest einen Ausschnitt der realen Umgebung des Fahrzeugs 100 wieder. Die erfassten Umgebungsdarstellungen werden weiterhin einem Steuergerät 108 bereitgestellt, wo die Auswertung der Daten stattfindet und die
Komponenten des Fahrassistenzsystems 108 gesteuert werden.
In Schritt 304, werden die erfassten Umgebungsdarstellungen in eine vogelperspektivische Darstellung der realen Umgebung transformiert. Dazu werden die erfassten Videoansichten auf eine Freiformfläche beispielsweise eine flache oder eine schüsseiförmige Ebene oder
Fläche projiziert. Diese Projektion ermöglicht es, einen realeren Eindruck zu schaffen, in dem erhabene Objekte nicht so stark verzerrt werden, wie bei der Projektion auf eine flache Bodenebene. In Schritt 306 werden objektbezogenen Daten etwa Position, Orientierung und
Bildbeschreibung von entfernten Objekten 106 relativ zu dem Fahrzeug 100 ermittelt. So können beispielsweise GPS-Sensoren den Fahrzeugstandort genutzt werden, um die relative Position der entfernten Objekte 106 zu dem Fahrzeug 100 zu berechnen. Daraus können die Entfernung und die Himmelsrichtung von entfernten Objekten106 relativ zum Fahrzeug 100 bestimmt werden. Mit Hilfe der Orientierung der entfernten Objekte 106 relativ zu dem Fahrzeug 100 kann eine Bildbeschreibung aus einer Datenbank in eine synthetische Darstellung 106' umgewandelt werden.
In Schritt 310 erfolgt die Anzeige der vogelperspektivischen Darstellung 130 der realen Umgebung, wobei synthetische Darstellungen von entfernten Objekten 106' in der
Umgebung unter Berücksichtigung der Position und Orientierung der Objekte 106 in einem synthetischen Bildbereich 132 angezeigt werden.
Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängenden Ansprüche angegebenen Bereichs eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handelns liegen.

Claims

Ansprüche
1. Verfahren zum Assistieren eines Fahrers eines Fahrzeuges (100) in einer fremden Umgebung, mit folgenden Schritten:
- Erfassen von mindestens einer Umgebungsdarstellung, die zumindest einen Ausschnitt einer realen Umgebung des Fahrzeuges (100) wiedergibt; - Transformieren der mindestens einen Umgebungsdarstellung in eine Darstellung
(130) der realen Umgebung aus einer virtuellen Perspektive;
- Ermitteln von objektbezogenen Daten im Bezug auf mindestens ein entferntes Objekt (106);
- Anzeigen der Darstellung (130) der realen Umgebung, wobei eine synthetische Darstellung (132) des mindestens einen entfernten Objekts (106') unter
Berücksichtigung der objektbezogenen Daten eingeblendet wird.
2. Verfahren zum Assistieren eines Fahrers gemäß Anspruch 1 , dadurch gekennzeichnet, dass die mindestens eine Umgebungsdarstellung für die Darstellung (130) der realen Umgebung aus einer virtuellen Perspektive auf eine Freiformfläche projiziert wird.
3. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass mehrere Umgebungsdarstellungen für die Darstellung (130) der realen Umgebung zu einem Gesamtbild zusammengesetzt werden.
4. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die objektbezogenen Daten eine Position, eine Orientierung und/oder eine Bildbeschreibung des mindestens einen entfernten Objekts (106) umfassen.
5. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des mindestens einen entfernten Objekts (106') aus einer entsprechenden Bildbeschreibung des entfernten Objekts (106) generiert wird.
6. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des entfernten Objekts (106') unter Berücksichtigung der Orientierung des entfernten Objekts (106) relativ zu dem Fahrzeug (100) in der realen Welt generiert wird.
7. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des entfernten Objekts (106') unter Berücksichtigung eines Blickwinkels auf die Darstellung (130) der realen Umgebung generiert wird.
8. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des entfernten Objekts (106') mit einer Größe eingeblendet wird, die konstant ist und/oder mit einer aus den objektbezogenen Daten bestimmbaren Entfernung des entfernten Objekts (106) zu einem Fahrzeug (100) skaliert.
9. Verfahren zum Assistieren eines Fahrers gemäß einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die synthetische Darstellung (132) des entfernten Objekts (106') entsprechend einer aus den objektbezogenen Daten bestimmbaren Himmelsrichtung relativ zu dem Fahrzeug (100) am Bildrand der Darstellung (130) der realen Umgebung
eingeblendet wird.
10. Computerprogramm zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird.
1 1. Fahrassistenzsystem (108) zum Assistieren eines Fahrers eines Fahrzeuges (100) in einer fremden Umgebung, mit folgenden Komponenten:
- Umfeldsensorik (1 12) zum Erfassen von mindestens einer Umgebungsdarstellung, die zumindest einen Ausschnitt einer realen Umgebung des Fahrzeuges (100) wiedergeben; - eine Komponente (108) zum Transformieren der mindestens einen
Umgebungsdarstellung in eine Darstellung (130) der realen Umgebung aus einer virtuellen Perspektive; - eine Komponente (124) zum Ermitteln von objektbezogenen Daten im Bezug auf mindestens ein entferntes Objekt (106);
- eine Komponente (122) zum Anzeigen der Darstellung (130) der realen Umgebung, wobei eine synthetische Darstellung des mindestens einen entfernten Objekts (106) unter Berücksichtigung der objektbezogenen Daten eingeblendet ist.
PCT/EP2012/068963 2011-10-17 2012-09-26 Verfahren zum assistieren eines fahrers in einer fremden umgebung WO2013056954A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011084596.8 2011-10-17
DE201110084596 DE102011084596A1 (de) 2011-10-17 2011-10-17 Verfahren zum Assistieren eines Fahrers in einer fremden Umgebung

Publications (1)

Publication Number Publication Date
WO2013056954A1 true WO2013056954A1 (de) 2013-04-25

Family

ID=47074674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/068963 WO2013056954A1 (de) 2011-10-17 2012-09-26 Verfahren zum assistieren eines fahrers in einer fremden umgebung

Country Status (2)

Country Link
DE (1) DE102011084596A1 (de)
WO (1) WO2013056954A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290571A (zh) * 2018-12-07 2020-06-16 沃尔沃汽车公司 评估模拟的车辆相关特征
CN112127417A (zh) * 2019-06-25 2020-12-25 斗山英维高株式会社 用于生成工程机械周围的环境数据的装置及包括其的工程机械

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015226178A1 (de) 2015-12-21 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Mobilgerät zur Anzeige einer geografischen Bereichsdarstellung
KR102581359B1 (ko) * 2016-09-02 2023-09-20 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10344120A1 (de) 2003-09-24 2005-04-21 Daimler Chrysler Ag Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen
DE102007022588A1 (de) 2007-05-14 2008-11-27 Robert Bosch Gmbh Verfahren zur Anzeige von Videobildern und Videosystemen
US20100088015A1 (en) * 2008-10-02 2010-04-08 Mstar Semiconductor, Inc. Navigation System Having Simplified Display Mode and Display Method Thereof
US20100259372A1 (en) * 2009-04-14 2010-10-14 Hyundai Motor Japan R&D Center, Inc. System for displaying views of vehicle and its surroundings
DE102010010912A1 (de) 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte
DE102009037835A1 (de) 2009-08-18 2011-02-24 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10344120A1 (de) 2003-09-24 2005-04-21 Daimler Chrysler Ag Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen
DE102007022588A1 (de) 2007-05-14 2008-11-27 Robert Bosch Gmbh Verfahren zur Anzeige von Videobildern und Videosystemen
US20100088015A1 (en) * 2008-10-02 2010-04-08 Mstar Semiconductor, Inc. Navigation System Having Simplified Display Mode and Display Method Thereof
US20100259372A1 (en) * 2009-04-14 2010-10-14 Hyundai Motor Japan R&D Center, Inc. System for displaying views of vehicle and its surroundings
DE102009037835A1 (de) 2009-08-18 2011-02-24 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
DE102010010912A1 (de) 2010-03-10 2010-12-02 Daimler Ag Fahrerassistenzvorrichtung mit optischer Darstellung erfasster Objekte

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290571A (zh) * 2018-12-07 2020-06-16 沃尔沃汽车公司 评估模拟的车辆相关特征
CN112127417A (zh) * 2019-06-25 2020-12-25 斗山英维高株式会社 用于生成工程机械周围的环境数据的装置及包括其的工程机械
CN112127417B (zh) * 2019-06-25 2022-07-15 斗山英维高株式会社 用于生成工程机械周围的环境数据的装置及包括其的工程机械

Also Published As

Publication number Publication date
DE102011084596A1 (de) 2013-04-18

Similar Documents

Publication Publication Date Title
EP2769373B1 (de) Übernahme von daten aus bilddatenbasierenden kartendiensten in ein assistenzsystem
DE102010042063B4 (de) Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
EP1415128B1 (de) Verfahren und vorrichtung zur darstellung von fahrhinweisen in auto-navigationssystemen
EP2491530B1 (de) Bestimmung der pose einer kamera
DE112018004521T5 (de) Anzeigevorrichtung eines überlagerten Bildes und Computerprogramm
DE112008003424B4 (de) Navigationsgerät, das Videobilder einer Kamera verwendet
CN110758243A (zh) 一种车辆行驶过程中的周围环境显示方法和系统
DE112018004583T5 (de) Anzeigevorrichtung und Computerprogramm
DE102015201053A1 (de) System und verfahren für verbesserte zeitraffervideoerzeugung unter nutzung von panoramabildmaterial
EP2205944B1 (de) Verfahren und vorrichtung zur ausgabe von optischen fahrempfehlungen in einem fahrzeug
US8600098B2 (en) Method for processing a satellite image and/or an aerial image
EP2002212A1 (de) Verfahren und anordnung zur anzeige von navigationshinweisen
EP2805183A1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
WO2021110412A1 (de) Anzeigeverfahren zur darstellung eines umgebungsmodells eines fahrzeugs, computerprogramm, steuergerät und fahrzeug
DE112021006402T5 (de) Schätzung von Automatikbelichtungswerten einer Kamera durch Priorisieren eines Objekts von Interesse auf Basis von kontextuellen Eingaben aus 3D-Karten
WO2013056954A1 (de) Verfahren zum assistieren eines fahrers in einer fremden umgebung
EP3721371A1 (de) Verfahren zur positionsbestimmung für ein fahrzeug, steuergerät und fahrzeug
DE102016114693A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Führen des Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3584536A1 (de) Terrestrisches beobachtungsgerät mit lagebestimmungsfunktionalität
DE102018106039B4 (de) Bildreproduktionsvorrichtung, bildreproduktionssystem und bildreproduktionsverfahren
DE10137582A1 (de) Bildverarbeitungsvorrichtung für ein Fahrzeug
EP2145157A1 (de) Verfahren zur anzeige von videobildern und videosystem
DE102017007705A1 (de) Ausgeben einer Manöveranweisung mittels einer Navigationseinrichtung
DE102014107317B4 (de) Elektronisches Periskop für ein Kraftfahrzeug
DE19754582A1 (de) Schiffsnavigation mit Hilfe von Hyper Reality

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12778051

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 12778051

Country of ref document: EP

Kind code of ref document: A1