WO2013083364A1 - Verfahren zur darstellung eines fahrzeugumfeldes - Google Patents

Verfahren zur darstellung eines fahrzeugumfeldes Download PDF

Info

Publication number
WO2013083364A1
WO2013083364A1 PCT/EP2012/072444 EP2012072444W WO2013083364A1 WO 2013083364 A1 WO2013083364 A1 WO 2013083364A1 EP 2012072444 W EP2012072444 W EP 2012072444W WO 2013083364 A1 WO2013083364 A1 WO 2013083364A1
Authority
WO
WIPO (PCT)
Prior art keywords
environment
vehicle
virtual camera
layer
representation
Prior art date
Application number
PCT/EP2012/072444
Other languages
English (en)
French (fr)
Inventor
Henning Von Zitzewitz
Karsten Muehlmann
Jan Egelhaaf
Raphael Cano
Leo VEPA
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to IN3438DEN2014 priority Critical patent/IN2014DN03438A/en
Priority to CN201280059730.8A priority patent/CN103959341A/zh
Priority to EP12798178.5A priority patent/EP2788957A1/de
Publication of WO2013083364A1 publication Critical patent/WO2013083364A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for representing a vehicle environment on a man-machine interface in a vehicle.
  • the invention relates to a
  • Driver assistance systems are additional devices in a vehicle that serve to assist the driver in certain driving situations.
  • a driver assistance system comprises a plurality of subsystems, such as a parking assistant, blind spot monitoring or a lane change assistant.
  • these subsystems use data from on-vehicle environment sensors that monitor the environment of the vehicle through sensors such as optical sensors, ultrasonic sensors, or the like.
  • a typical functionality of driver assistance systems involves presenting the vehicle environment to the driver on the display of a man-machine interface. In this case, data from the environment sensors are typically transformed into a representation that shows the vehicle and its surroundings from a bird's eye view.
  • a method for monitoring an environment of a vehicle is known from DE 10 2008 046 544 A1, in which the environment is detected by means of a camera and an overall image is generated from the captured individual images on the basis of an image processing unit.
  • This overall picture shows the vehicle and its surroundings from a bird's eye view. The vehicle is in the overall picture depending on the
  • Display unit output.
  • a virtual camera position depending on the direction of movement of the
  • Vehicle or the vehicle speed are shifted so that out Perspective of the virtual camera position the vehicle and its surroundings are mapped.
  • Ultrasonic-based distance sensors is detected and the distance of the vehicle is determined to the object. Depending on the distance, a desired virtual imaging perspective is determined and the source image is geometrically transformed into a virtual result image, which is apparently taken from a virtual imaging perspective. In particular, in a left turn the virtual
  • Image acquisition perspective selected so that the driver inside the vehicle, a result image is displayed by which the driver is approaching a foreign vehicle displayed.
  • DE 10 2007 044 536 A1 describes an apparatus and a method for monitoring the surroundings of a motor vehicle, wherein recording means record images of the environment and a display unit reproduces a picture detail. In this case, the reproduced image section is automatically changed to the displayed environmental section
  • the invention relates to a method for representing a vehicle environment on a man-machine interface of a driver assistance system in a vehicle, comprising the following steps:
  • a driver assistance system refers to an electronic, integrated in a vehicle option that supports the driver in different driving situations.
  • Driver assistance systems typically include various subsystems that
  • a driver assistance system may include a parking assistant, blind spot monitoring, or the like.
  • a driver assistance system usually comprises a human-machine interface (HMI), which can output information in haptic, optical and / or acoustic form. For example, jerking on the steering wheel, displaying images on a display, or outputting sounds through a speaker correspond to such outputs.
  • HMI human-machine interface
  • the environment sensor system may include, for example, a camera system with one or more cameras. Additionally or alternatively, however, an ultrasound system, radar system, etc. may be used to capture environmental data.
  • the environment representation unites the recorded environment data for output on one
  • the environment representation can be based on the camera system
  • Video views of the vehicle environment for output on a display device include.
  • the environment representation may include visualizations of ultrasound data, radar data, etc.
  • the term virtual camera perspective in the present context means a view of the vehicle environment that would provide real cameras. The virtual camera perspective thus corresponds to the view on the vehicle environment that supplies a virtual camera, with the environment representation in the virtual camera perspective
  • Environment data in particular images of real cameras, is generated.
  • objects in the vehicle environment can be identified on the basis of the environmental data. For example, image processing techniques, such as segmentation or histogramming, allow the recognition of objects from the video views of a camera system. Additionally or alternatively, an ultrasound, radar or LIDAR data can be used for object recognition.
  • the virtual camera can then be aligned with at least one of the detected objects, such as obstacles in the driving tube of the vehicle, so that the virtual camera perspective includes the at least one detected object.
  • the virtual camera angle can be selected depending on the airspeed, the steering angle or the direction of travel.
  • Surrounding view are generated, which reflects a view of the vehicle environment, which would provide a real camera in the position of the virtual camera.
  • Such environment representations are used in a further implementation of the invention
  • the virtual camera may move along a horizontal or vertical line, with the virtual camera perspective remaining substantially identical.
  • the virtual camera can also be pivoted, wherein the virtual camera perspective in Essentially identical remains.
  • the generated environment representations can then be output repetitively in relation to the movement in order to produce a depth impression.
  • a region of the environment representation in the virtual camera perspective is selected and rectified. Such a selection is particularly advantageous when video views of a
  • Camera system through the lens system integrated into the cameras, such as through
  • the distortion of the video view increases according to the optical aberration of the lens from the center of the video view towards the edge. Therefore, in particular those areas of the environmental representation can be excluded, which are strongly influenced by the aberration of the lens system. These areas are usually at the edge of the video view. By rectification, distortions in the surviving video view can be eliminated.
  • the environment data is projected from the point of view of the virtual camera on at least a two-layered plane. The projection level can be chosen arbitrarily in your form. So in particular on the
  • Vehicle environment show to be merged in a plane.
  • the vehicle and its surroundings can be displayed such that the vehicle is reproduced, for example, in the center with the environment around the vehicle.
  • the generated environment representation can reflect at least a partial area or an all-round view of the real environment of the vehicle.
  • the environmental data is preferably projected onto a free-form surface, for example a flat or a dish-shaped plane.
  • the transition between the horizontal area and the vertical area of the plane may be chosen to match the transition between flat areas such as the street and raised objects such as buildings.
  • the plane comprises a
  • the object layer can be formed by highlighting areas of the plane in which detected objects are projected, relative to the background layer. For example, in a flat plane, the areas into which objects are projected may be detached and be moved in the direction of the virtual camera. This results in a staggering of the layer in the background layer and the object layer.
  • the object layer for individual objects is adapted to the distance of the object from the virtual camera and / or the object contour.
  • the distance of the object from the virtual camera and the object contour can be determined, for example, from environmental data such as ultrasound, radar or LIDAR data.
  • a flat or curved transition layer can furthermore be formed, which creates a continuous transition between the object layer and the background layer.
  • reconfigured environment representations can be projected in particular from image sequences, wherein the environment representation takes into account the respective perspective and thereby supports the three-dimensional perception. This can be done, in particular, by means of the warping equation, which for example uses depth values associated with an image in order to display the image as seen from another point of view.
  • a computer program is also proposed according to which one of the methods described herein is performed when the computer program is executed on a programmable computer device.
  • the computer device can be, for example, a module for implementing a
  • the computer program may be stored on a machine-readable storage medium, such as on a permanent or rewritable storage medium or in association with a computer device or on a removable CD-ROM, DVD or USB stick. Additionally or alternatively, the computer program on a
  • Computer equipment such as a server for downloading, e.g. via a data network such as the Internet or a communication connection such as a telephone line or a wireless connection.
  • a driver assistance system for displaying a
  • the driver assistance system comprises the following components:
  • At least one component for generating an environment representation wherein the environment data from the perspective of a virtual camera on at least two layers
  • a display device for outputting the environment representation as part of the human-machine interface.
  • the environment sensor system may include, for example, a camera system with one or more cameras. Additionally or alternatively, however, an ultrasound system, radar system, etc. can be used to collect environmental data. The determination of the situation-dependent virtual camera perspective as well as the
  • Generation of the environment representation for example in a bird's-eye view, can be done by one or different components of the driver assistance system.
  • a control unit of the driver assistance system can be designed, this
  • the invention makes it possible in particular to present three-dimensional object constellations in a natural and intuitive manner. This is because the projection of the environmental data onto an at least two-layer plane can produce a depth impression that gives the viewer, in particular the driver of a vehicle, a clear impression of the arrangement and extent of objects and their distance from the vehicle. This takes the representation of the vehicle environment their artificial character and gives the driver a natural impression of its immediate environment. As a result, an improved comprehensibility of the representation of the vehicle environment is achieved. In addition will the driver's attention is directed to relevant areas of the vehicle environment by the situation-dependent virtual camera perspective.
  • FIG. 1 shows a vehicle equipped with a driver assistance system according to the invention
  • Figure 2a, b is a schematic representation of a free-form surface for generating a
  • Figure 3a, b schematic representation of the free-form surface for generating a
  • FIG. 5 in the form of a flow chart of an operation of the driver assistance system according to FIG. 1.
  • FIG. 1 indicates an exemplary driving situation in which a driver is with his vehicle 10 in an environment with obstacles 24.
  • the obstacles 24 are in front of and next to the vehicle 10 in the driving situation shown.
  • the driver In order to avoid a collision with such obstacles 24, the driver must correctly assess the vehicle environment and maneuver accordingly.
  • driving situations can occur, for example, when parking or parking, with obstacles 24, such as columns or walls, limit the parking space. Even while driving on a road, obstacles 24, for example other vehicles or pedestrians, can enter the travel tube of the vehicle 10.
  • driver assistance system 12 helps the driver, in particular in such situations, to detect obstacles 24 and to avoid these safely.
  • the driver assistance system 12 comprises surroundings sensors which monitor the surroundings of the vehicle 10.
  • a camera system 18, 20, 22 and ultrasonic sensor 26 are installed on the vehicle 10.
  • the camera system 18, 20, 22 provides via front, side and rear cameras environment data that monitor the environment around the vehicle 10.
  • the cameras 18, 20, 22 can be configured, for example, as mono or stereo cameras with wide-angle lenses.
  • ultrasonic sensors 26 are provided in different positions on the vehicle 10, which provide environmental data from ultrasonic transit time measurements.
  • the driver assistance system 12 may include other sensors, such as LIDAR or radar sensors, that provide additional environmental data for monitoring the vehicle environment.
  • Environment sensor 18, 20, 22, 26 recorded data displayed on a display 16 of the driver assistance system 12 associated HMI.
  • the environment data is transformed into an environment representation that is relevant to the driver depending on the situation
  • the driver assistance system 12 further comprises a control unit 14, which is designed to display an environment for display on the display 16 of the vehicle.
  • Driver assistance system 12 to generate associated HMIs.
  • both the shape of the plane 30 and the virtual camera perspective 28 are chosen as a function of the situation so that objects, such as obstacles 24, in the
  • an improved representation can be achieved by dividing the level into a background layer 38 and an object layer 36.
  • objects that may be potential obstacles 24 are determined from the environmental data.
  • the video views are examined for objects 24 by image processing methods and / or ultrasound data.
  • the projection plane 30 is highlighted in the areas in which objects 24 are projected.
  • the plane 30 is offset in this area to the virtual camera 29 and thus an object layer 36 is formed, which is offset from the background layer 38.
  • Transition layer 40 may be formed to avoid sharp image edges between the object and background layer 36, 38.
  • the video view of the object 24 thus appears offset relative to the background layer 38 and the driver can be given a depth graduation, which facilitates the perception of the object, in particular potential obstacles 24.
  • FIGS. 2 a and 2 b are, by way of example, a sectional view and a plan view of one
  • Free Form surface shown which is designed as a projectile-like projection plane 30, are projected on the video views of the vehicle environment.
  • the transition between the horizontal region 32 and the flank region 34 of the bowl-shaped plane 30 is preferably selected such that it coincides with the transition between flat regions 32, such as the road on which the vehicle 10 is located, and raised objects, such as obstacles 24, in the environment of the vehicle 10 match.
  • FIG. 2c shows a virtual camera 29 with a virtual camera perspective (indicated by reference numeral 28) and FIG. 2c
  • the projection plane 30 is shown in FIG Embodiment chosen schussiförmig around the vehicle 10, wherein the vehicle 10 is projected into the center of the bowl-shaped plane 30.
  • This shape makes it possible to project the road in front of the vehicle 10 onto the flat part 32 and any objects 24 onto the flanks 34 of the plane 30.
  • the driver can be given a natural-looking image of the vehicle environment on which the driver can intuitively recognize objects or obstacles 24 in the environment. In this way, the environment displayed on the display creates a real impression that is more intuitive to the driver.
  • FIGS. 3a and 3b the division of the projection plane 30 into different layers is illustrated by way of example.
  • FIG. 3 a shows the virtual camera 29 and the projection plane 30, with objects or obstacles 24 in the virtual
  • the projection plane 30 is divided into a background layer 38 and an object layer 36.
  • an object layer 36 is formed, which is offset from the background layer 38 to the position of the virtual camera 29. As a result, a depth graduation is achieved, the objects 24 offset to the rest of the environment on the
  • Background layer 38 represents. Thus, objects and in particular those that may be a potential obstacle 24, highlighted and thus be better visible to the driver. In addition, by the depth graduation a
  • FIG. 3b likewise shows the virtual camera 29 and the projection plane 30, objects or obstacles 24 being located in the virtual camera perspective 29.
  • an object In contrast to the embodiment according to FIG. 3a, here an object, a background and a transition layer 36, 38, 40 are provided.
  • the transition layer 40 is formed between the object layer 36 and the background layer 38. To avoid sharp image edges between the object and background layers 36, 38 are on the
  • Transition layer 40 views of the object 24 projected from sequences of
  • Video views are generated.
  • the transitional layer is filled to a natural transition between the object layer and the background layer. This can be done, for example, by the projection of an environment representation with the corresponding perspective.
  • the virtual Camera perspective 28 from which the environment is displayed, depending on the situation chosen. This can be done automatically depending on the detected objects representing a potential obstacle 24 or state variables of the vehicle 10.
  • the virtual camera perspective 28 may vary depending on the
  • Direction 42 the airspeed or the steering angle are set.
  • Camera perspective 28 illustrates.
  • the virtual camera 29 is thereby aligned with the object 24, so that the virtual camera perspective 28, from which the environment is shown in the environment representation, the object 24 includes.
  • the virtual camera 28 is selected as a function of the direction of travel, the airspeed and / or the steering angle 42.
  • the virtual camera 29 is oriented so that the virtual
  • Camera perspective 28 includes the vehicle environment in the direction 42.
  • the position of the virtual camera 29, as shown in FIG. 4 c is selected behind the vehicle 10.
  • the steering angle 42 can also go into the choice of the virtual camera.
  • the orientation of the virtual camera is the
  • Adjusted steering angle wherein the steering angle via sensors such as potentiometers, optical measuring methods or magnetic sensors, in particular Hall sensors, can be determined.
  • the virtual camera 29 can also be selected so that the transformed representation corresponds to a zoom in a specific image area. In FIG. 4e, this is shown by way of example with reference to a video view 42 recorded with a wide-angle lens.
  • the aberration of the lens results in a distortion of the video view 42, which increases from the center 44 towards the edge 46 of the video view 42.
  • This part 48 of the video view 42 can also be used for further processing in order to generate a panoramic view of the vehicle environment
  • Figure 5 shows a flow chart 50, based on which the generation of the environment representation for the driver, is explained.
  • step 52 environmental data is collected by environmental sensors 18, 20, 22, 26, which characterize the environment of the vehicle 10.
  • a camera system 18, 20, 22 or a system is designed as environmental sensor system 18, 20, 22, 26
  • Runtime measurement sensors 26 are used. Runtime sensors 26 are based, for example, on the measurement of ultrasound, laser or radio signals which are detected by means of ultrasound, LIDAR or radar sensors.
  • the environment data is provided to a control unit 14 of the driver assistance system 14, in which the processing of the data and
  • step 54 the virtual camera perspective 28 is selected as a function of the surrounding data depending on the situation.
  • the position and orientation of a virtual camera 29 is determined, from whose view the environment representation is generated.
  • objects 24 in the vehicle environment and / or driving state variables, such as the steering angle or the direction of travel 42, are taken into account.
  • step 56 the environment representation is generated from the perspective of the virtual camera 29 on the vehicle environment.
  • the collected environment data serves as the basis for this.
  • the environment data comprising video views of the camera system 18, 20, 22 and the visualization of transit time measurement sensors 26 are transformed according to the virtual camera perspective 28. Part of this transformation is the projection of the
  • step 58 the environment representation is displayed on the display 16 of the driver assistance system 12 associated HMIs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

Die Erfindung betrifft Fahrerassistenzsysteme (12), die zur Ausgabe von Darstellungen einer Fahrzeugumgebung an einen Fahrer ausgebildet sind. Die Erfindung betrifft ferner ein Verfahren in einem derartigen Fahrerassistenzsystem, das die folgenden Schritte umfasst: Erfassen von Umfelddaten mit Hilfe von Umfeldsensorik (16, 18, 20, 22, 26); Bestimmen einer situationsabhängigen virtuellen Kameraperspektive (28); Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera (29) auf eine mindestens zweischichtige Ebene (36, 38) projiziert werden; und Ausgabe der Umfelddarstellung auf einer Anzeigevorrichtung der Mensch-Maschine-Schnittstelle (16). Zudem wird ein Computerprogramm zur Durchführung des Verfahrens vorgeschlagen.

Description

Beschreibung Titel
Verfahren zur Darstellung eines Fahrzeugumfeldes Stand der Technik
Die Erfindung betrifft ein Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle in einem Fahrzeug. Zudem betrifft die Erfindung ein
Fahrerassistenzsystem und ein Computerprogrammprodukt zur Durchführung des
Verfahrens.
Fahrerassistenzsysteme sind Zusatzeinrichtungen in einem Fahrzeug, die der Unterstützung des Fahrers in bestimmten Fahrsituationen dienen. Dazu umfasst ein Fahrerassistenzsystem mehrere Subsysteme wie einen Einparkassistenten, eine Totwinkelüberwachung oder einen Spurwechselassistenten. Typischerweise nutzen diese Subsysteme Daten von am Fahrzeug verbauter Umfeldsensorik, die durch Sensoren, wie optischen Sensoren, Ultraschallsensoren oder dergleichen, das Umfeld des Fahrzeuges überwachen. Eine typische Funktionalität von Fahrerassistenzsystemen beinhaltet, dem Fahrer das Fahrzeugumfeld auf der Anzeige einer Mensch-Maschine-Schnittstelle darzustellen. Hierbei werden typischerweise Daten der Umfeldsensorik in eine Darstellung transformiert, die das Fahrzeug und dessen Umfeld aus der Vogelperspektive zeigen.
Aus dem DE 10 2008 046 544 A1 ist ein Verfahren zur Überwachung einer Umgebung eines Fahrzeuges bekannt, in dem die Umgebung mittels einer Kamera erfasst wird und aus den erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird. Dieses Gesamtbild zeigt das Fahrzeug und dessen Umgebung aus der Vogelperspektive. Dabei wird das Fahrzeug in dem Gesamtbild in Abhängigkeit von dessen
Bewegungsrichtung positioniert und ein Ausschnitt des Gesamtbilds mittels einer
Anzeigeeinheit ausgegeben. Neben der Auswahl eines Ausschnittes aus dem Gesamtbild kann eine virtuelle Kameraposition in Abhängigkeit von der Bewegungsrichtung des
Fahrzeuges oder der Fahrzeuggeschwindigkeit so verschoben werden, dass aus Perspektive der virtuellen Kameraposition das Fahrzeug und dessen Umgebung abgebildet werden.
Aus DE 10 2009 035 422 A1 ist ein Verfahren zur geometrischen Transformation von Bildern bekannt, in dem zunächst durch eine Kamera ein Quellbild erzeugt wird, dann in der
Umgebung des Fahrzeuges ein Objekt durch Abstandssensoren, insbesondere
ultraschallbasierte Abstandssensoren, detektiert wird und der Abstand des Fahrzeuges zu dem Objekt bestimmt wird. In Abhängigkeit von dem Abstand wird eine gewünschte virtuelle Bildaufnahmeperspektive bestimmt und das Quellbild wird in ein virtuelles Ergebnisbild geometrisch transformiert, welches scheinbar aus einer virtuellen Bildaufnahmeperspektive aufgenommen ist. Insbesondere bei einem Linksabbiegevorgang wird die virtuelle
Bildaufnahmeperspektive so gewählt, dass dem Fahrer im Fahrzeuginnern ein Ergebnisbild dargestellt wird, durch welches dem Fahrer das Herannahen eines Fremdfahrzeuges angezeigt wird.
DE 10 2007 044 536 A1 beschreibt eine Vorrichtung und ein Verfahren zum Überwachen der Umgebung eines Kraftfahrzeuges, wobei Aufnahmemittel Bilder der Umgebung aufnehmen und eine Anzeigeeinheit einen Bildausschnitt wiedergibt. Dabei wird der wiedergegebene Bildausschnitt selbsttätig verändert, um den dargestellten Umgebungsausschnitt
anzupassen. Dies kann durch Verschwenken der Kamera, Umschalten auf eine andere Kamera oder Anpassen des hierbei gegebenen Bildausschnitts erreicht werden.
Bekannte Verfahren zur Nutzung virtueller Perspektiven in der Überwachung der Umgebung eines Kraftfahrzeugs und/oder zur Nutzung virtueller Perspektiven bei der Darstellung von Bildern der Fahrzeugumgebung im Fahrzeuginneren weisen oft noch Nachteile auf, insbesondere bei der Darstellung komplexer dreidimensionaler Objektkonstellationen. So ist bei der Darstellung komplexer dreidimensionaler Objektkonstellationen ein hoher
verarbeitungstechnischen Aufwand notwendig und Vereinfachungen derartiger Algorithmen können beispielsweise dazu führen, dass Abstände zu Objekten in dem Fahrzeugumfeld in der Wahrnehmung des Fahrers nicht korrekt dargestellt werden. Dies wiederum führt zu Fehleinschätzungen, die die Unfallgefahr erhöhen. Offenbarung der Erfindung
Die Erfindung betrifft ein Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle eines Fahrerassistenzsystems in einem Fahrzeug mit folgenden Schritten:
- Erfassen von Umfelddaten mit Hilfe von Umfeldsensorik;
- Bestimmen einer situationsabhängigen virtuellen Kameraperspektive;
- Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera auf eine mindestens zweischichtige Ebene projiziert werden; und
- Ausgabe der Umfelddarstellung auf einer Anzeigevorrichtung der Mensch- Maschine-Schnittstelle.
Ein Fahrerassistenzsystem bezeichnet eine elektronische, in einem Fahrzeug integrierte Zusatzeinrichtung, die den Fahrer in verschiedenen Fahrsituationen unterstützt.
Fahrerassistenzsysteme umfassen üblicherweise verschiedene Subsysteme, die
insbesondere zur Steigerung der Sicherheit oder des Komforts des Fahrzeuges eingesetzt werden. Beispielsweise kann ein Fahrerassistenzsystem einen Einparkassistenten, eine Totwinkelüberwachung oder dergleichen umfassen. Zur Ausgabe von Informationen an den Fahrer umfasst ein Fahrerassistenzsystem üblicherweise eine Mensch-Maschine- Schnittstelle (HMI), die Informationen in haptischer, optischer und/oder akustischer Form ausgeben kann. Beispielsweise entsprechen Ruckeln am Lenkrad, Darstellen von Bildern auf einem Display oder Ausgeben von Tönen über einen Lautsprecher solchen Ausgaben.
Zur Charakterisierung des Fahrzeugumfeldes umfasst das Fahrerassistenzsystem
Umfeldsensorik, die Umfelddaten erfasst. Die Umfeldsensorik kann beispielsweise ein Kamerasystem mit einer oder mehreren Kameras umfassen. Zusätzlich oder alternativ können aber auch ein Ultraschallsystem, Radarsystem, etc. eingesetzt werden, um
Umfelddaten zu sammeln.
Die Umfelddarstellung vereinigt die erfassten Umfelddaten zur Ausgabe auf einer
Anzeigevorrichtung. So kann die Umfelddarstellung etwa auf dem Kamerasystem basierende Videoansichten des Fahrzeugumfeldes zur Ausgabe auf einer Anzeigevorrichtung umfassen. Weiterhin kann die Umfelddarstellung Visualisierungen von Ultraschalldaten, Radardaten, etc. enthalten. Unter dem Ausdruck virtuelle Kameraperspektive ist im vorliegenden Zusammenhang eine Ansicht auf das Fahrzeugumfeld zu verstehen, die reale Kameras liefern würde. Die virtuelle Kameraperspektive entspricht also der Ansicht auf das Fahrzeugumfeld, die eine virtuelle Kamera liefert, wobei die Umfelddarstellung in der virtuellen Kamera Perspektive aus
Umfelddaten, insbesondere Bildern von realen Kameras, erzeugt wird.
In einer Implementierung des erfindungsgemäßen Verfahrens wird die virtuelle
Kameraperspektive in Abhängigkeit von Objekten im Fahrzeugumfeld und/oder in
Abhängigkeit von Zustandsvariablen des Fahrzeuges bestimmt. Dabei können Objekte im Fahrzeugumfeld anhand der Umfelddaten identifiziert werden. Beispielsweise ermöglichen Verfahren zur Bildverarbeitung, wie Segmentierung oder Histogrammierung, die Erkennung von Objekten aus den Videoansichten eines Kamerasystems. Zusätzlich oder alternativ können auch ein Ultraschall, Radar- oder LIDAR-Daten zur Objekterkennung verwendet werden. Die virtuelle Kamera kann dann auf mindestens eines der erkannten Objekte, etwa auf Hindernisse im Fahrschlauch des Fahrzeuges, ausgerichtet werden, so dass die virtuelle Kameraperspektive das mindestens eine erkannte Objekt beinhaltet.
Neben der objektabhängigen Bestimmung der virtuellen Kameraperspektive ist es möglich Zustandsvariablen des Fahrzeuges einzubeziehen. So kann die virtuelle Kameraperspektive in Abhängigkeit von der Eigengeschwindigkeit, dem Lenkwinkel oder der Fahrtrichtung gewählt werden.
Nach Bestimmen der virtuellen Kameraperspektive kann aus den Umfelddaten eine
Umfelddarstellung erzeugt werden, die eine Ansicht auf das Fahrzeugumfeld wiedergibt, welche eine reale Kamera in der Position der virtuellen Kamera liefern würden. Derartige Umfelddarstellungen werden in einer weiteren Implementierung des erfindungsgemäßen
Verfahrens mit sich bewegender virtueller Kamera erzeugt. So kann sich die virtuelle Kamera beispielsweise entlang einer horizontalen oder einer vertikalen Linie bewegen, wobei die virtuelle Kameraperspektive im Wesentlichen identisch bleibt. Alternativ oder zusätzlich kann die virtuelle Kamera auch verschwenkt werden, wobei die virtuelle Kameraperspektive im Wesentlichen identisch bleibt. Die erzeugten Umfelddarstellungen können dann im Bezug auf die Bewegung repetitiv ausgegeben werden, um einen Tiefeneindruck zu bewirken.
In einer weiteren Implementierung des erfindungsgemäßen Verfahrens wird ein Bereich der Umfelddarstellung in der virtuellen Kameraperspektive ausgewählt und rektifiziert. Eine derartige Auswahl ist insbesondere dann vorteilhaft, wenn Videoansichten eines
Kamerasystems durch das in die Kameras integrierte Linsensystem, etwa durch
Weitwinkellinsen, verzerrt sind. Die Verzerrung der Videoansicht nimmt dabei entsprechend des optischen Abbildungsfehlers der Linse vom Zentrum der Videoansicht zum Rand hin zu. Daher können insbesondere solche Bereiche der Umfelddarstellung ausgeschlossen werden, die durch den Abbildungsfehler des Linsensystems stark beeinflusst sind. Diese Bereiche befinden sich üblicherweise am Rand der Videoansicht. Durch Rektifizierung können Verzerrungen in der überbleibenden Videoansicht eliminiert werden. Zur Erzeugung der Umfelddarstellung werden die Umfelddaten aus Sicht der virtuellen Kamera auf eine mindestens zweischichtige Ebene projiziert. Die Projektionsebene kann dabei in Ihrer Form beliebig gewählt werden. So können insbesondere auf dem
Kamerasystem basierende Videoansichten, die unterschiedliche Ausschnitte des
Fahrzeugumfeldes zeigen, in einer Ebenen zusammengeführt werden. Dabei können das Fahrzeug und dessen Umfeld so dargestellt werden, dass das Fahrzeug beispielsweise im Zentrum mit dem um das Fahrzeug herum liegende Umfeld wiedergegeben wird. Die erzeugte Umfelddarstellung kann zumindest einem Teilbereich oder einen Rundumblick des realen Umfeldes des Fahrzeuges wiedergeben. Bevorzugt werden die Umfelddaten auf eine Freiformfläche, etwa eine flache oder eine schüsseiförmige Ebene, projiziert. Im Falle einer schüsseiförmigen Projektionsebene kann der Übergang zwischen horizontalem Bereich und vertikalem Bereich der Ebene so gewählt werden, dass dieser mit dem Übergang zwischen flachen Bereichen, wie der Straße, und erhabenen Objekten, beispielsweise Gebäuden, übereinstimmt.
In einer Realisierung des erfindungsgemäßen Verfahrens umfasst die Ebene eine
Objektschicht, eine Hintergrundschicht und ggf. eine Übergangsschicht. Dabei kann die Objektschicht ausgebildet werden, indem Bereiche der Ebene, in die erkannte Objekte projiziert werden, gegenüber der Hintergrundschicht hervorgehoben werden. Beispielsweise können bei einer flachen Ebene die Bereiche, in die Objekte projiziert werden, herausgelöst werden und in Richtung der virtuellen Kamera versetzt werden. Dadurch ergibt sich eine Staffelung der Ebene in Hintergrundschicht und Objektschicht.
In einer weiteren Realisierung des erfindungsgemäßen Verfahrens wird die Objektschicht für einzelne Objekte an den Abstand des Objekts von der virtuellen Kamera und/oder die Objektkontur angepasst ist. Hierbei können der Abstand des Objekts von der virtuellen Kamera und die Objektkontur beispielsweise aus Umfelddaten wie Ultraschall-, Radar- oder LIDAR-Daten bestimmt werden.
Zwischen der Objektschicht und der Hintergrundschicht kann weiterhin eine flache oder gekrümmte Übergangsschicht ausgebildet sein, die einen kontinuierlichen Übergang zwischen Objektschicht und Hintergrundschicht schafft. Auf die Übergangsschicht können insbesondere aus Bildsequenzen rekonstruierte Umfelddarstellungen projiziert werden, wobei die Umfelddarstellung die jeweilige Perspektive berücksichtigt und dadurch die dreidimensionale Wahrnehmung unterstützt. Dies kann insbesondere mittels der Warping- Gleichung erfolgen, die beispielsweise zu einem Bild gehörige Tiefenwerte verwendet, um das Bild von einem anderen Blickpunkt aus gesehen zu darzustellen.
Erfindungsgemäß wird weiterhin ein Computerprogramm vorgeschlagen, gemäß dem eines der hierin beschriebenen Verfahren durchgeführt wird, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei der Computereinrichtung kann es sich beispielsweise um ein Modul zur Implementierung eines
Fahrerassistenzsystems, oder eines Subsystems hiervon, in einem Fahrzeug handeln. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-ROM, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer
Computereinrichtung wie etwa einem Server zum Herunterladen bereitgestellt werden, z.B. über ein Datennetzwerk wie etwa das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine drahtlose Verbindung.
Schließlich wird erfindungsgemäß ein Fahrerassistenzsystem zur Darstellung eines
Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle in einem Fahrzeug
vorgeschlagen, das vorzugsweise zur Durchführung des vorstehend beschriebenen Verfahrens dient. Das erfindungsgemäße Fahrerassistenzsystem umfasst dazu folgende Komponenten:
- Umfeldsensorik zum Erfassen von Umfelddaten;
- mindestens eine Komponente zum Bestimmen einer situationsabhängigen virtuellen Kameraperspektive;
- mindestens eine Komponente zum Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera auf eine mindestens zweischichtige
Ebene projiziert werden; und
- eine Anzeigevorrichtung zur Ausgabe der Umfelddarstellung als Teil der Mensch- Maschine Schnittstelle.
Die Umfeldsensorik kann beispielsweise ein Kamerasystem mit einer oder mehreren Kameras umfassen. Zusätzlich oder alternativ können aber auch ein Ultraschallsystem, Radarsystem, etc. eingesetzt werden, um Umfelddaten zu sammeln. Die Bestimmung der situationsabhängigen virtuellen Kameraperspektive sowie die
Erzeugung der Umfelddarstellung beispielsweise in der Vogelperspektive können durch eine oder unterschiedliche Komponenten des Fahrerassistenzsystems erfolgen. So kann beispielsweise ein Steuergerät des Fahrerassistenzsystems ausgebildet sein, diese
Verfahrensschritte durchzuführen.
Vorteile der Erfindung
Die Erfindung ermöglicht es, insbesondere dreidimensionale Objektkonstellationen in natürlicher und intuitiver Weise darzustellen. Denn durch die Projektion der Umfelddaten auf eine mindestens zweischichtige Ebene kann ein Tiefeneindruck bewirkt werden, der dem Betrachter, insbesondere dem Fahrer eines Fahrzeuges, einen klaren Eindruck hinsichtlich der Anordnung und Ausdehnung von Objekten und deren Abstand zum Fahrzeug vermittelt. Dies nimmt der Darstellung des Fahrzeugumfeldes ihren artifiziellen Charakter und vermittelt dem Fahrer einen natürlichen Eindruck seiner unmittelbaren Umgebung. Dadurch wird eine verbesserte Verständlichkeit der Darstellung des Fahrzeugumfeldes erreicht. Zusätzlich wird durch die situationsabhängige virtuelle Kameraperspektive die Aufmerksamkeit des Fahrers auf relevante Bereiche des Fahrzeugumfeldes gelenkt.
Der erhöhten Systemverfügbarkeit steht dabei kein zusätzlicher Montageaufwand gegenüber, da keine zusätzlichen Sensoren, Module oder sonstige Komponenten verbaut werden müssen. Die meisten Fahrzeuge verfügen heute über eine Umfeldsensorik mit optischen Sensoren in unterschiedlichen Positionen am Fahrzeug. In der Regel sind daher Umfelddaten und insbesondere Videoansichten des Fahrzeugumfeldes einfach bereitstellbar oder sind ohnehin bereits verfügbar, so dass für die Erfindung im Wesentlichen zusätzliche Auswertungsalgorithmen zu implementieren sind. Das erfindungsgemäße Verfahren kann daher einfach und kostengünstig nachgerüstet werden.
Kurze Beschreibung der Zeichnungen Weitere Aspekte und Vorteile der Erfindung werden nunmehr anhand der beigefügten Figuren eingehender beschrieben.
Hierbei zeigen: Figur 1 ein mit einem erfindungsgemäßen Fahrerassistenzsystem ausgerüstetes
Fahrzeug in einer beispielhaften Fahrsituation;
Figur 2a, b schematische Darstellung einer Freiformfläche zur Erzeugung einer
Umfelddarstellung aus einer virtuellen Kameraperspektive;
Figur 3a, b schematische Darstellung der Freiformfläche zur Erzeugung einer
Umfelddarstellung aus der virtuellen Kameraperspektive mit Hindernissen;
Figur 4a-d schematische Darstellung zur situationsabhängigen Platzierung einer virtuellen
Kamera; und
Figur 5 in Form eines Flussdiagramms einer Arbeitsweise des Fahrerassistenzsystems gemäß der Figur 1 . Ausführungsformen der Erfindung
In Figur 1 ist eine beispielhafte Fahrsituation angedeutet, in der ein Fahrer sich mit seinem Fahrzeug 10 in einem Umfeld mit Hindernissen 24 befindet. Die Hindernisse 24 liegen in der gezeigten Fahrsituation vor und neben dem Fahrzeug 10. Um eine Kollision mit derartigen Hindernissen 24 zu vermeiden, muss der Fahrer das Fahrzeugumfeld korrekt einschätzen und entsprechend rangieren. Derartige Fahrsituationen können beispielsweise beim Ein- oder Ausparken auftreten, wobei Hindernisse 24, wie Säulen oder Mauern, die Parklücke begrenzen. Auch während der Fahrt auf einer Straße können Hindernisse 24, beispielsweise andere Fahrzeuge oder Fußgänger, in den Fahrschlauch des Fahrzeuges 10 eintreten.
Erfindungsgemäß ausgestaltetes Fahrerassistenzsystem 12 hilft dem Fahrer, insbesondere in derartigen Situationen, Hindernisse 24 zu erkennen und diese sicher zu umfahren.
Das erfindungsgemäße Fahrerassistenzsystem 12 umfasst dazu Umfeldsensorik, die das Umfeld des Fahrzeuges 10 überwacht. In der in Figur 1 gezeigten Ausführungsform sind an dem Fahrzeug 10 eine Kamerasystem 18, 20, 22 sowie Ultraschallsensorik 26 verbaut. Das Kamerasystem 18, 20, 22 liefert über Front-, Seiten- und Rückkameras Umfelddaten, die das Umfeld rundum das Fahrzeug 10 überwachen. Die Kameras 18, 20, 22 können dabei beispielsweise als Mono- oder Stereokameras mit Weitwinkellinsen ausgestaltet sein.
Zusätzlich sind Ultraschallsensoren 26 in unterschiedlichen Positionen am Fahrzeug 10 vorgesehen, die Umfelddaten aus Ultraschalllaufzeitmessungen liefern.
In anderen Ausführungsformen kann das Fahrerassistenzsystem 12 weitere Sensoren, etwa LIDAR- oder Radarsensoren, umfassen, die weitere Umfelddaten zur Überwachung des Fahrzeugumfeldes liefern.
Damit der Fahrer die Fahrsituation besser einschätzen kann, werden die von der
Umfeldsensorik 18, 20, 22, 26 aufgezeichneten Daten auf einem Display 16 eines dem Fahrerassistenzsystem 12 zugeordneten HMI dargestellt. Dazu werden die Umfelddaten in eine Umfelddarstellung transformiert, die dem Fahrer situationsabhängig relevante
Ausschnitte oder eine Rundumansicht auf das Fahrzeugumfeld darstellt. Zur Verarbeitung der Umfelddaten umfasst das Fahrerassistenzsystem 12 weiterhin ein Steuergerät 14, das ausgebildet ist, eine Umfelddarstellung zur Anzeige auf dem Display 16 des dem
Fahrerassistenzsystem 12 zugeordneten HMIs zu erzeugen. Um die Umfelddarstellung aus Videoansichten des Kamerasystems 18, 20, 22 zu generieren, werden einzelne Videoansichten des relevanten Umfeldes oder des gesamten Umfeldes in eine Umfelddarstellung transformiert. Die Transformation erfolgt, indem eine virtuelle Freiformfläche als Ebene 30 generiert wird, auf die die Videoansichten projiziert werden. Dabei wird sowohl die Form der Ebene 30 als auch die virtuelle Kameraperspektive 28 situationsabhängig so gewählt, dass Objekte, wie Hindernisse 24, in der
Umfelddarstellung für den Fahrer intuitive erkennbar sind und die Aufmerksamkeit des Fahrers auf potentielle Hindernisse 24 gelenkt wird. Im Bezug auf die Ebene 30 kann eine verbesserte Darstellung dadurch erreicht werden, dass die Ebene in eine Hintergrundschicht 38 und eine Objektschicht 36 aufgeteilt wird. So werden Objekte, die potentielle Hindernisse 24 sein können, aus den Umfelddaten bestimmt. Beispielsweise werden die Videoansichten durch Bildverarbeitungsverfahren und/oder Ultraschalldaten auf Objekte 24 hin untersucht. Hierbei wird die Projektionsebene 30 in den Bereichen, in die Objekte 24 projiziert werden, hervorgehoben. Dazu wird die Ebene 30 in diesem Bereich zur virtuellen Kamera 29 hin versetzt und somit eine Objektschicht 36 ausgebildet, die gegenüber der Hintergrundschicht 38 versetzt ist.
Zusätzlich kann zwischen der Objektschicht 36 und der Hintergrundschicht 38 eine
Übergangsschicht 40 ausgebildet sein, um scharfe Bildkanten zwischen der Objekt- und Hintergrundschicht 36, 38 zu vermeiden. In der Umfelddarstellung, die dem Fahrer bereitgestellt wird, erscheint somit die Videoansicht des Objekts 24 versetzt gegenüber der Hintergrundschicht 38 und dem Fahrer kann eine Tiefenstaffelung vermittelt werden, die die Wahrnehmung des Objekts, insbesondere potentieller Hindernisse 24, erleichtert.
In Figuren 2a und 2b sind beispielhaft eine Schnittansicht und eine Draufsicht einer
Freiformfläche gezeigt, die als schüsseiförmige Projektionsebene 30 ausgestaltet ist, auf die Videoansichten des Fahrzeugumfeldes projiziert werden. Dabei wird der Übergang zwischen dem horizontalen Bereich 32 und dem Flankenbereich 34 der schüsseiförmigen Ebene 30 möglichst so gewählt, dass dieser mit dem Übergang zwischen flachen Bereichen 32, wie der Straße auf der sich das Fahrzeug 10 befindet, und erhabenen Objekten, wie Hindernisse 24, im Umfeld des Fahrzeuges 10 übereinstimmen. Figur 2c zeigt eine virtuelle Kamera 29 mit virtueller Kameraperspektive (angedeutet durch Bezugszeichen 28) und die
Projektionsebene, wobei sich keine Objekte oder Hindernisse in der virtuellen
Kameraperspektive 28 befinden. Die Projektionsebene 30 ist in der dargestellten Ausführungsform schüsseiförmig rundum das Fahrzeug 10 gewählt, wobei das Fahrzeug 10 in das Zentrum der schüsseiförmigen Ebene 30 projiziert wird. Diese Form ermöglicht es, die Straße vor dem Fahrzeug 10 auf den flachen Teil 32 und etwaige Objekte 24 auf die Flanken 34 der Ebene 30 zu projizieren. So kann dem Fahrer ein natürlich wirkendes Bild des Fahrzeugumfeldes vermittelt werden, auf dem der Fahrer intuitiv Objekte oder Hindernisse 24 im Umfeld erkennen kann. Auf diese Weise entsteht in der auf dem Display angezeigten Umfelddarstellung ein realer Eindruck, der für den Fahrer intuitiver zu beurteilen ist.
In den Figuren 3a und 3b ist beispielhaft die Aufteilung der Projektionsebene 30 in unterschiedliche Schichten verdeutlicht. Figur 3a zeigt die virtuelle Kamera 29 und die Projektionsebene 30, wobei sich Objekte oder Hindernisse 24 in der virtuellen
Kameraperspektive 28 befinden. In diesem Fall wird die Projektionsebene 30 in eine Hintergrundschicht 38 und eine Objektschicht 36 unterteilt. Dabei wird in den Bereichen, in die Objekte 24 projiziert werden, eine Objektschicht 36 ausgebildet, die gegenüber der Hintergrundschicht 38 zur Position der virtuellen Kamera 29 hin versetzt. Dadurch wird eine Tiefenstaffelung erreicht, die Objekte 24 versetzt zu dem restlichen Umfeld auf der
Hintergrundschicht 38 darstellt. So können Objekte und insbesondere solche, die ein potentielles Hindernis 24 sein können, hervorgehoben und damit besser für den Fahrer erfassbar dargestellt werden. Zusätzlich kann durch die Tiefenstaffelung eine
dreidimensionale Wirkung erreicht werden, die die Darstellung natürlicher erscheinen lässt.
Figur 3b zeigt ebenfalls die virtuelle Kamera 29 und die Projektionsebene 30, wobei sich Objekte oder Hindernisse 24 in der virtuellen Kameraperspektive 29 befinden. Im
Unterschied zu der Ausführungsform nach Figur 3a sind hier eine Objekt-, eine Hintergrund- und eine Übergangsschicht 36, 38, 40 vorgesehen. Die Übergangsschicht 40 ist zwischen der Objektschicht 36 und der Hintergrundschicht 38 ausgebildet. Um scharfe Bildkanten zwischen der Objekt- und Hintergrundschicht 36, 38 zu vermeiden, werden auf die
Übergangsschicht 40 Ansichten des Objekts 24 projiziert, die aus Sequenzen von
Videoansichten generiert werden. Die Übergangsschicht wird dazu so aufgefüllt, dass ein natürlicher Übergang zwischen Objektschicht und Hintergrundschicht entsteht. Dies kann beispielsweise durch die Projektion einer Umfelddarstellung mit der entsprechenden Perspektive erfolgen.
Neben der Hervorhebung von Objekten 24 bei der Projektion der Videoansichten auf eine Projektionsebene 30 zur Darstellung des Fahrzeugumfeldes wird die virtuelle Kameraperspektive 28, aus der das Umfeld dargestellt wird, situationsabhängig gewählt. Dies kann automatisch in Abhängigkeit von den detektierten Objekten, die ein potentielles Hindernis 24 darstellen, oder Zustandsvariablen des Fahrzeuges 10 geschehen.
Beispielsweise kann die virtuelle Kameraperspektive 28 in Abhängigkeit von der
Fahrtrichtung 42, der Eigengeschwindigkeit oder dem Lenkwinkel festgelegt werden.
In den Figuren 4a bis 4d ist beispielhaft die situationsabhängige Wahl der virtuellen
Kameraperspektive 28 verdeutlicht. In der in Figur 4a gezeigten Ausführungsform befindet sich beispielsweise ein Objekt 24 im Umfeld des Fahrzeuges 10. Die virtuelle Kamera 29 wird dabei auf das Objekt 24 ausgerichtet, so dass die virtuelle Kameraperspektive 28, aus der das Umfeld in der Umfelddarstellung gezeigt wird, das Objekt 24 umfasst.
In den in den Figuren 4b bis 4d gezeigten Ausführungsformen wird die virtuelle Kamera 28 in Abhängigkeit von der Fahrtrichtung, der Eigengeschwindigkeit und/oder dem Lenkwinkel 42 gewählt. In Figur 4b ist die virtuelle Kamera 29 so ausgerichtet, dass die virtuelle
Kameraperspektive 28 das Fahrzeugumfeld in Fahrtrichtung 42 umfasst. Um auch das Fahrzeug 10 selbst und dessen Position im Fahrzeugumfeld darstellen zu können, wird die Position der virtuellen Kamera 29, wie in Figur 4c gezeigt, hinter dem Fahrzeug 10 gewählt. Auch der Lenkwinkel 42 kann in die Wahl der virtuellen Kamera eingehen. Wie in Figur 4d gezeigt, wird in dieser Ausführungsform die Ausrichtung der virtuellen Kamera dem
Lenkwinkel angepasst, wobei der Lenkwinkel über Sensoren, wie Potentiometer, optische Messverfahren oder magnetische Sensoren, insbesondere Hall-Sensoren, bestimmt werden kann. Neben den genannten Ausführungsformen kann die virtuelle Kamera 29 auch so gewählt werden, dass die transformierte Darstellung einem Zoom in einen bestimmten Bildbereich entspricht. In Figur 4e ist dies beispielhaft anhand einer Videoansicht 42 aufgenommen mit einer Weitwinkellinse gezeigt. Insbesondere bei Weitwinkellinsen ergibt sich durch den Abbildungsfehler der Linse eine Verzerrung der Videoansicht 42, die vom Zentrum 44 zum Rand 46 der Videoansicht 42 hin zunimmt. Durch eine Wahl der virtuellen Kamera 29, deren virtuelle Kameraperspektive 28 nur einen Teil 48 um das Zentrum 44 der Videoansicht 42 umfasst, können derartige Verzerrungen minimiert werden. Dieser Teil 48 der Videoansicht 42 kann auch zur Weiterverarbeitung genutzt werden, um eine Rundumansicht auf das Fahrzeugumfeld zu generieren Figur 5 zeigt ein Flussdiagramm 50, anhand dessen die Erzeugung der Umfelddarstellung für den Fahrer, erläutert wird. In Schritt 52 werden Umfeldaten durch Umfeldsensorik 18, 20, 22, 26 gesammelt, die das Umfeld des Fahrzeuges 10 charakterisieren. Als Umfeldsensorik 18, 20, 22, 26 wird insbesondere ein Kamerasystem 18, 20, 22 oder ein System aus
Laufzeitmesssensoren 26 eingesetzt. Laufzeitsensoren 26 basieren beispielsweise auf der Messung von Ultraschall-, Laser- oder Funksignalen, die mittels Ultraschall-, LIDAR- oder Radarsensoren detektiert werden. Die Umfelddaten werden einem Steuergerät 14 des Fahrerassistenzsystems 14 bereitgestellt, in dem die Verarbeitung der Daten und
insbesondere die Bestimmung der virtuellen Kameraperspektive 28 sowie die Erzeugung der Umfelddarstellung erfolgt.
In Schritt 54 wird in Abhängigkeit von den Umfelddaten situationsabhängig die virtuelle Kameraperspektive 28 gewählt. Dazu wird die Position und die Ausrichtung einer virtuellen Kamera 29 bestimmt, aus deren Sicht die Umfelddarstellung generiert wird. Dabei werden Objekte 24 im Fahrzeugumfeld und/oder Fahrzustandsvariablen, wie der Lenkwinkel oder die Fahrtrichtung 42, berücksichtigt.
In Schritt 56 wird die Umfelddarstellung aus der Sicht der virtuellen Kamera 29 auf das Fahrzeugumfeld erzeugt. Als Basis dafür dienen die gesammelten Umfelddaten. So werden die Umfelddaten, die Videoansichten des Kamerasystems 18, 20, 22und die Visualisierung von Laufzeitmesssensoren 26 umfasst, entsprechend der virtuellen Kameraperspektive 28 transformiert. Zu dieser Transformation gehört unter anderem die Projektion der
Umfelddaten auf eine Projektionsebene 30. In Schritt 58 wird die Umfelddarstellung auf dem Display 16 des dem Fahrerassistenzsystem 12 zugeordneten HMIs angezeigt.
Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängigen Ansprüche angegeben Bereiches ist eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handels liegen.

Claims

Ansprüche 1 . Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine- Schnittstelle (16) eines Fahrerassistenzsystems (12) in einem Fahrzeug (10) mit folgenden Schritten:
- Erfassen von Umfelddaten mit Hilfe von Umfeldsensorik (18, 20, 22, 26);
- Bestimmen einer situationsabhängigen virtuellen Kameraperspektive (28);
- Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera (29) auf eine mindestens zweischichtige Ebene (36, 38) projiziert werden; und
- Ausgabe der Umfelddarstellung auf einer Anzeigevorrichtung der Mensch- Maschine-Schnittstelle (16).
2. Verfahren gemäß Anspruch 1 , wobei die Umfeldsensorik (18, 20, 22, 26) ein
Kamerasystem mit einer oder mehreren Kameras (18, 20, 22) umfasst und die
Umfelddarstellung auf dem Kamerasystem basierende Videoansichten des
Fahrzeugumfeldes umfasst.
3. Verfahren gemäß einem der Ansprüche 1 oder 2, wobei die virtuelle Kameraperspektive (28) in Abhängigkeit von Objekten (24) im Fahrzeugumfeld und/oder in Abhängigkeit von Zustandsvariablen (42) des Fahrzeuges (10) bestimmt wird.
4. Verfahren gemäß einem der Ansprüche 1 bis 3, wobei Umfelddarstellungen mit sich bewegender virtueller Kameraperspektive (28) erzeugt werden und die erzeugten
Umfelddarstellungen im Bezug auf die Bewegung repetitiv ausgegeben werden.
5. Verfahren gemäß einem der Ansprüche 1 bis 4, wobei ein Bereich (48) der
Umfelddarstellung in der virtuellen Kameraperspektive (28) ausgewählt und rektifiziert wird.
6. Verfahren gemäß einem der Ansprüche 1 bis 5, wobei die Umfelddaten auf eine Freiformfläche (32, 34, 36) projiziert werden.
7. Verfahren gemäß einem der Ansprüche 1 bis 6, wobei die Ebene (32, 34, 36) eine Objektschicht (36), eine Hintergrundschicht (38) und ggf. eine Übergangsschicht (40) umfasst.
8. Verfahren gemäß Anspruch 7, wobei die Objektschicht (36) ausgebildet wird, indem Bereiche, in die Objekte (24) projiziert werden, gegenüber der Hintergrundschicht (38) hervorgehoben werden.
9. Verfahren gemäß einem der Ansprüche 7 oder 8, wobei die Objektschicht (36) für einzelne Objekte (24) an den Abstand des Objekts von der virtuellen Kamera (29) und/oder die Objektkontur angepasst ist.
10. Verfahren gemäß einem der Ansprüche 7 bis 9, wobei Übergangsschicht (40) eine flache oder gekrümmte Ebene umfasst, die einen kontinuierlichen Übergang zwischen Objektschicht (36) und Hintergrundschicht (38) schafft.
1 1 . Computerprogramm zur Durchführung eines Verfahrens gemäß einem der vorstehenden Ansprüche, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird.
12. Fahrerassistenzsystem (12) zur Darstellung eines Fahrzeugumfeldes auf einer Mensch- Maschine-Schnittstelle (16) in einem Fahrzeug (10), umfassend:
- Umfeldsensorik zum Erfassen von Umfelddaten (18, 20, 22, 26);
- mindestens eine Komponente zum Bestimmen einer situationsabhängigen virtuellen Kameraperspektive (28);
- mindestens eine Komponente zum Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera (29) auf eine mindestens
zweischichtige Ebene (36, 38) projiziert werden; und - eine Anzeigevorrichtung zur Ausgabe der Umfelddarstellung als Teil der Mensch- Maschine Schnittstelle (16).
PCT/EP2012/072444 2011-12-07 2012-11-13 Verfahren zur darstellung eines fahrzeugumfeldes WO2013083364A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
IN3438DEN2014 IN2014DN03438A (de) 2011-12-07 2012-11-13
CN201280059730.8A CN103959341A (zh) 2011-12-07 2012-11-13 用于呈现车辆环境的方法
EP12798178.5A EP2788957A1 (de) 2011-12-07 2012-11-13 Verfahren zur darstellung eines fahrzeugumfeldes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011087901A DE102011087901A1 (de) 2011-12-07 2011-12-07 Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102011087901.3 2011-12-07

Publications (1)

Publication Number Publication Date
WO2013083364A1 true WO2013083364A1 (de) 2013-06-13

Family

ID=47324051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/072444 WO2013083364A1 (de) 2011-12-07 2012-11-13 Verfahren zur darstellung eines fahrzeugumfeldes

Country Status (5)

Country Link
EP (1) EP2788957A1 (de)
CN (1) CN103959341A (de)
DE (1) DE102011087901A1 (de)
IN (1) IN2014DN03438A (de)
WO (1) WO2013083364A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2709069A1 (de) * 2012-09-15 2014-03-19 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
WO2019034916A1 (en) * 2017-08-17 2019-02-21 Harman International Industries, Incorporated SYSTEM AND METHOD FOR PRESENTING AND CONTROLLING VIRTUAL CAMERA IMAGE FOR A VEHICLE

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014213536A1 (de) * 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
DE102014214667A1 (de) * 2014-07-25 2016-01-28 Bayerische Motoren Werke Aktiengesellschaft Anzeigen von dynamischen sicherheitsrelevanten dreidimensionalen Inhalten auf einer Anzeigeeinrichtung
DE102015206477A1 (de) * 2015-04-10 2016-10-13 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102015204214A1 (de) * 2015-05-07 2016-11-10 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
DE102015221340B4 (de) * 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
DE102017209427B3 (de) 2017-06-02 2018-06-28 Volkswagen Aktiengesellschaft Vorrichtung zur Fahrschlauchabsicherung
US10580299B2 (en) 2017-10-13 2020-03-03 Waymo Llc Lane change notification
DE102018100211A1 (de) * 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
US10589677B1 (en) 2018-10-11 2020-03-17 GM Global Technology Operations LLC System and method to exhibit information after a pedestrian crash incident
DE102018218746B4 (de) * 2018-11-01 2022-09-29 Volkswagen Aktiengesellschaft Verfahren zur Vermeidung einer Sichtfeldstörung für eine Bedienperson eines Objektes, Vorrichtung zur Durchführung des Verfahrens sowie Fahrzeug und Computerprogramm
CN112347825B (zh) * 2019-08-09 2023-08-22 杭州海康威视数字技术股份有限公司 车身环视模型的调整方法及其系统
DE102019123778A1 (de) * 2019-09-05 2021-03-11 Valeo Schalter Und Sensoren Gmbh Darstellen einer Fahrzeugumgebung zum Bewegen des Fahrzeugs zu einer Zielposition
CN113362232A (zh) * 2021-08-09 2021-09-07 湖北亿咖通科技有限公司 车辆全景环视图像生成方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020018047A1 (en) * 2000-07-07 2002-02-14 Matsushita Electric Industrial Co., Ltd. Picture composing apparatus and method
DE102007044536A1 (de) 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
DE102008046544A1 (de) 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
JP2009232310A (ja) * 2008-03-25 2009-10-08 Fujitsu Ltd 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
DE102009035422A1 (de) 2009-07-31 2011-02-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur geometrischen Bildtransformation
EP2437494A1 (de) * 2009-05-25 2012-04-04 Panasonic Corporation Vorrichtung zur überwachung der umgebung rund um ein fahrzeug

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005167309A (ja) * 2003-11-28 2005-06-23 Nippon Soken Inc 運転支援装置
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
DE102008035428B4 (de) * 2008-07-30 2010-11-18 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102010042026B4 (de) * 2010-10-06 2020-11-26 Robert Bosch Gmbh Verfahren zum Erzeugen eines Abbildes mindestens eines Objekts in einer Umgebung eines Fahrzeugs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020018047A1 (en) * 2000-07-07 2002-02-14 Matsushita Electric Industrial Co., Ltd. Picture composing apparatus and method
DE102007044536A1 (de) 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
JP2009232310A (ja) * 2008-03-25 2009-10-08 Fujitsu Ltd 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
DE102008046544A1 (de) 2008-09-10 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
EP2437494A1 (de) * 2009-05-25 2012-04-04 Panasonic Corporation Vorrichtung zur überwachung der umgebung rund um ein fahrzeug
DE102009035422A1 (de) 2009-07-31 2011-02-03 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur geometrischen Bildtransformation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2788957A1 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2709069A1 (de) * 2012-09-15 2014-03-19 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
WO2019034916A1 (en) * 2017-08-17 2019-02-21 Harman International Industries, Incorporated SYSTEM AND METHOD FOR PRESENTING AND CONTROLLING VIRTUAL CAMERA IMAGE FOR A VEHICLE

Also Published As

Publication number Publication date
CN103959341A (zh) 2014-07-30
EP2788957A1 (de) 2014-10-15
DE102011087901A1 (de) 2013-06-13
IN2014DN03438A (de) 2015-06-05

Similar Documents

Publication Publication Date Title
WO2013083364A1 (de) Verfahren zur darstellung eines fahrzeugumfeldes
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP2603413B1 (de) Verfahren zur unterstützung eines parkvorgangs eines kraftfahrzeugs, fahrerassistenzsystem und kraftfahrzeug
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
EP2753533B1 (de) Bestimmung der stellung von bauelementen eines fahrzeugs
EP2991874B1 (de) Bereitstellen einer effizienten umfeldkarte für ein fahrzeug
DE102010051206A1 (de) Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
WO2019072455A1 (de) Verfahren zum darstellen einer umgebung eines fahrzeugs
EP1717757A1 (de) Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs
DE102010030463A1 (de) Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE102009029439A1 (de) Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
DE102013010010B4 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken
WO2012171740A1 (de) Nachrüstsatz für Parkführung
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
WO2020043475A1 (de) Verfahren und anordnung zum erzeugen einer mit bildinformationen texturierten umfeldkarte eines fahrzeugs und fahrzeug umfassend eine solche anordnung
EP2579228A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102011084588B4 (de) Verfahren zum Unterstützen eines Fahrers beim Einparken
EP2500216A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
DE102010033786A1 (de) Verfahren zur Erfassung und Anzeige seitlich neben und seitlich hinter einem Fahrzeug befindlicher Bereiche und Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung seitlich neben und seitlich hinter dem Fahrzeug befindlicher Bereiche
DE102011121473A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm
DE102011080720A1 (de) Visualisierung einer Rampenabfahrt
DE102010034127A1 (de) Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung in einem Kraftfahrzeug, Fahrerassistenzsystem und Kraftfahrzeug
DE102018130229B4 (de) Verfahren und Vorrichtung zur Objektextraktion aus eine dreidimensionale Szene darstellenden Szenenbilddaten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12798178

Country of ref document: EP

Kind code of ref document: A1