WO2011137973A2 - Verfahren zur erfassung einer umgebung eines fahrzeugs - Google Patents

Verfahren zur erfassung einer umgebung eines fahrzeugs Download PDF

Info

Publication number
WO2011137973A2
WO2011137973A2 PCT/EP2011/001940 EP2011001940W WO2011137973A2 WO 2011137973 A2 WO2011137973 A2 WO 2011137973A2 EP 2011001940 W EP2011001940 W EP 2011001940W WO 2011137973 A2 WO2011137973 A2 WO 2011137973A2
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
environment
captured
movement
images
Prior art date
Application number
PCT/EP2011/001940
Other languages
English (en)
French (fr)
Other versions
WO2011137973A3 (de
Inventor
Stefan Hahn
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Publication of WO2011137973A2 publication Critical patent/WO2011137973A2/de
Publication of WO2011137973A3 publication Critical patent/WO2011137973A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes

Definitions

  • the invention relates to a method for detecting an environment of a vehicle according to the features of the preamble of claim 1.
  • Method and device for video-based observation and measurement of the lateral environment of a vehicle known.
  • the method is carried out by means of a camera, with which digital images are recorded and by means of a DV unit, which serves to provide the digital images with a time stamp and
  • a local 3-D depth image of the lateral surroundings of a vehicle is generated on the basis of image pairs.
  • the invention has for its object to provide an improved method for detecting an environment of a vehicle, by means of which an advantageous spatial representation of the immediate vicinity of the vehicle is made possible.
  • the object is achieved by a method for detecting an environment of a vehicle having the features of claim 1.
  • a method for detecting an environment of a vehicle digital images of the surroundings are detected by means of a camera and an intrinsic movement of the vehicle is determined.
  • a three-dimensional environment model with structural information of the detected surroundings of the vehicle is created by means of at least two captured images and by means of motion vectors determined from the proper motion of the vehicle.
  • a representation of the detected environment to be output on a display unit is rendered from at least two horizontally and / or vertically offset perspectives and a smooth transition between the perspectives and alternately on the display unit with one of the human perception as pleasant perceived alternating frequency in time forward and backward periodically running down, so that a three-dimensional acting reproduction of the detected environment is achieved.
  • the representation of two vertically offset perspectives d. H. a periodic vertical movement of the environment in the representation, particularly advantageous.
  • Such vertical movement of the illustrated environment is by the human
  • the solution according to the invention can be used, for example, as a parking assistance system in a vehicle, wherein a three-dimensional impression of the environment of the vehicle is generated by the alternately forward and backward running display in a simple and cost-effective manner and by means of only a single camera.
  • a camera can be used, which is already installed on the vehicle for other purposes.
  • a plurality of cameras installed on the vehicle for example, cameras of a so-called surround-view system, which has cameras in exterior mirrors of the vehicle with a very wide detection range and one camera each at a front and a rear of the vehicle, for example, by a driver each one to select preferred camera for performing the method.
  • the camera can be used, whose detection range enables the detection of an environment area of interest to the driver, for example a parking space behind, in front of or next to the vehicle.
  • the display is made on a display unit in the vehicle, which is for example a monitor of a navigation system.
  • the alternating frequency at which the display is alternately played forwards and backwards is preferably between 1 Hz and 4 Hz, more preferably 2 Hz. In this way, a three-dimensional impression is produced, this change frequency being perceived as pleasant by human perception that the traffic safety is not affected by, for example, dizziness and nausea.
  • Fig. 1 is a schematic representation of a vehicle during a
  • Figure 1 shows a schematic representation of a vehicle 1 during a
  • the vehicle 1 has a camera 2 which is positioned at a rear area of the vehicle 1.
  • This camera 2 is connected to an image processing unit 3, which in turn is connected to a display unit 4, which is located in an interior of the vehicle 1.
  • Vehicle 1 is positioned.
  • the display unit 4 is, for example, a monitor of a navigation system of the vehicle 1.
  • Proper movement B of the vehicle 1 determined.
  • This determination of the proper motion B is possible for example by an evaluation of data from a vehicle sensor, d. H. for example, by means of data of a speed sensor, wheel speed sensors, a steering angle sensor, a yaw rate sensor, a yaw rate sensor, from
  • Inclination sensors and / or data of a navigation system of the vehicle 1.
  • the own movement B of the vehicle 1 can be determined alternatively or additionally also by an evaluation of the captured images. This is done, for example, by evaluating a change in position and / or a change in size of at least one distinctive object in at least two captured images.
  • a distinctive object is, for example, a lane marking.
  • Camera positions and camera angles between the images can be determined.
  • the image processing unit 3 is determined by means of a stereoscopic evaluation of the images using the proper motion B of the vehicle 1
  • Motion vectors from the at least two captured images a three-dimensional environment model with structural information of the detected environment U of
  • Vehicle 1 generated.
  • Intensity values For example, brightness and / or color values of pixels of the captured images, a displayed on the display unit 4 representation of the detected environment U from at least two horizontally and / or vertically offset perspectives and a smooth transition between the perspectives is rendered, d. H. a short scene or a short film section is produced, whose start and end image shows the captured environment U from the two perspectives and which allows a representation of a smooth transition between the two perspectives.
  • disparity jumps occur, ie a sharp change in depth with respect to the camera position in densely adjacent pixels, for example at edges of a detected object.
  • image areas whose pixels or intensity values of the pixels, ie their texture is unknown and can not be determined from the captured images, are produced during rendering because these areas of the object are not displayed on any of the captured images.
  • Such areas without such image information also result in particular in a periodic vertical movement of the scene between two or more vertically offset perspectives simulated by means of the three-dimensional model, especially if the images are due to the proper movement B of the vehicle 1 and the resulting movement of the camera 2 horizontally staggered perspectives have been captured and rendered by rendering the vertically moving representation must be generated.
  • These image areas can be created using one or more of the
  • Image processing of known Texturextrapolations mentor be generated and filled. Ie. the texture of these image areas is extrapolated using, for example, adjacent image areas. In this way a realistic representation of the environment U is possible.
  • these image areas can also be filled with a color, for example with black or with a conspicuous color. This reduces a processing overhead in the image processing unit 3, making it simpler and less expensive to execute and rendering the rendering faster.
  • a driver can be made aware of possible danger points which are not exactly depicted in the illustration and which due to the disparity jumps, i. H. due to a sudden sharp change in depth with respect to the camera 2, for example, could be an object in the parking bay P, which could constitute an obstacle. Furthermore, such occur
  • Disparity jumps for example, on an upper edge of a curb K on, so that this edge is marked in color, whereby the driver is warned.
  • the representation is rendered, it is displayed on the display unit 4 alternately at a predetermined alternating frequency in time forward and backward periodically expiring.
  • the alternating frequency is set in such a way that it is perceived as pleasant by human perception.
  • Swiveling back whereby objects in the detected environment U are each represented from slightly changed perspectives, gives a three-dimensional impression of the surroundings U and the objects in the surroundings U of the vehicle 1.
  • the representation of two vertically offset perspectives ie a periodic vertical movement of the environment U in the representation, is particularly advantageous.
  • Such a vertical movement of the environment U shown is perceived by the human perception as easy to grasp and particularly pleasant, because they a natural eye movement and thereby a natural perception of
  • the predetermined alternating frequency with which the display alternately runs forward and backward in time is preferably between 1 Hz and 4 Hz, more preferably 2 Hz. This rapid successive playback of the display in time forward and backward makes the environment U three-dimensional for human perception represented, but this change frequency is still perceived by human perception as pleasant, so that the traffic safety is not affected by, for example, dizziness and nausea of the driver.
  • a continued proper movement B of the vehicle 1 is expediently rendered after a predetermined time and / or after reaching a predetermined extent of the continued proper motion B another representation of further captured images and output on the display unit 4, d.
  • the representation of the surroundings U of the vehicle 1 is continuously adapted to the environment U actually detected by the camera 2. In this way, a collision of the vehicle 1 with an obstacle due to an excessively time-delayed display is prevented.
  • the rendered representation is stored in the image processing unit 3 or in a storage unit, not shown, and displayed on the display unit 4 only at a later time.
  • the driver is shown the surroundings U as detected by the camera 2 in order to avoid irritating the driver.
  • the driver already receives a spatial impression of the environment U as a result of the camera image changing due to the proper movement B of the vehicle 1.
  • the rendered representation is displayed on the display unit 4.
  • images are rendered which were recorded on a last section of the proper movement B of the vehicle 1 by the camera 2, for example in the last ten centimeters, and this rendered representation is correspondingly reproduced on the display unit 4 after the vehicle 1 has stopped that the driver receives an additional three-dimensional impression of the environment U of the vehicle 1.
  • the driver can for example estimate a remaining distance to an obstacle better, and then continue the parking process.
  • a camera 2 can be used, which is already installed on the vehicle 1 for other purposes.
  • a plurality of cameras 2 installed on the vehicle 1 for example cameras 2 of a so-called surround-view system
  • Procedure to be selected in each case the camera 2 can be used, the detection range of which enables detection of a surrounding area U of interest to the driver, in the illustrated example the parking bay P behind the vehicle 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erfassung einer Umgebung (U) eines Fahrzeugs (1), wobei mittels einer Kamera (2) digitale Bilder der Umgebung (U) erfasst werden und eine Eigenbewegung (B) des Fahrzeugs (1) ermittelt wird. Erfindungsgemäß wird mittels zumindest jeweils zwei erfasster Bilder und mittels aus der Eigenbewegung (B) des Fahrzeugs (1) ermittelter Bewegungsvektoren ein dreidimensionales Umgebungsmodell mit Strukturinformationen der erfassten Umgebung (U) des Fahrzeugs (1) erstellt und mittels des dreidimensionalen Umgebungsmodells und Intensitätswerten von Bildpunkten der erfassten Bilder eine auf einer Anzeigeeinheit (4) auszugebende Darstellung der erfassten Umgebung (U) aus zumindest zwei horizontal und/oder vertikal versetzten Perspektiven und einem fließenden Übergang zwischen den Perspektiven gerendert und auf der Anzeigeeinheit (4) abwechselnd mit einer von der menschlichen Wahrnehmung als angenehm empfundenen Wechselfrequenz zeitlich vorwärts und rückwärts periodisch ablaufend dargestellt, so dass eine dreidimensional wirkende Wiedergabe der erfassten Umgebung (U) erreicht wird.

Description

Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
Die Erfindung betrifft ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs nach den Merkmalen des Oberbegriffs des Anspruchs 1.
Aus dem Stand der Technik sind, wie in der DE 102 44 148 A1 beschrieben, ein
Verfahren und eine Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs bekannt. Das Verfahren wird durchgeführt mittels einer Kamera, mit der digitale Bilder aufgezeichnet werden und mittels einer DV-Einheit, die dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und
zwischenzuspeichern. Weiterhin wird die Eigenbewegung des Fahrzeugs erfasst, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Mittels eines Algorithmus zur Stereobildverarbeitung wird auf Grundlage von Bildpaaren ein lokales 3-D-Tiefenbild der seitlichen Umgebung eines Fahrzeugs generiert.
Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Erfassung einer Umgebung eines Fahrzeugs anzugeben, mittels welchem eine vorteilhafte räumliche Darstellung der näheren Umgebung des Fahrzeugs ermöglicht wird.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Erfassung einer Umgebung eines Fahrzeugs mit den Merkmalen des Anspruchs 1 gelöst.
Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.
In einem Verfahren zur Erfassung einer Umgebung eines Fahrzeugs werden mittels einer Kamera digitale Bilder der Umgebung erfasst und eine Eigenbewegung des Fahrzeugs ermittelt. Erfindungsgemäß wird mittels zumindest jeweils zwei erfasster Bilder und mittels aus der Eigenbewegung des Fahrzeugs ermittelter Bewegungsvektoren ein dreidimensionales Umgebungsmodell mit Strukturinformationen der erfassten Umgebung des Fahrzeugs erstellt. Mittels des dreidimensionalen Umgebungsmodells und Intensitätswerten von Bildpunkten der erfassten Bilder wird eine auf einer Anzeigeeinheit auszugebende Darstellung der erfassten Umgebung aus zumindest zwei horizontal und/oder vertikal versetzten Perspektiven und einem fließenden Übergang zwischen den Perspektiven gerendert und auf der Anzeigeeinheit abwechselnd mit einer von der menschlichen Wahrnehmung als angenehm empfundenen Wechselfrequenz zeitlich vorwärts und rückwärts periodisch ablaufend dargestellt, so dass eine dreidimensional wirkende Wiedergabe der erfassten Umgebung erreicht wird.
Dabei ist die Darstellung aus zwei vertikal versetzten Perspektiven, d. h. eine periodische Vertikalbewegung der Umgebung in der Darstellung, besonders vorteilhaft. Eine derartige Vertikalbewegung der dargestellten Umgebung wird von der menschlichen
Wahrnehmung als leicht zu erfassen und besonders angenehm empfunden, weil sie einer natürlichen Augenbewegung und dadurch einer natürlichen Wahrnehmung der
Umgebung während des Laufens entspricht.
Die erfindungsgemäße Lösung ist beispielsweise als Einparkassistenzsystem in einem Fahrzeug einsetzbar, wobei durch die abwechselnd vorwärts und rückwärts ablaufende Darstellung auf einfache und kostengünstige Weise und mittels lediglich einer einzelnen Kamera ein dreidimensionaler Eindruck der Umgebung des Fahrzeugs erzeugt wird. Dazu ist beispielsweise eine Kamera verwendbar, welche bereits am Fahrzeug für andere Anwendungszwecke installiert ist.
Bei einer Mehrzahl am Fahrzeug installierter Kameras, beispielsweise Kameras eines so genannten Surround-View Systems, welches Kameras in Außenspiegeln des Fahrzeugs mit einem sehr breiten Erfassungsbereich und jeweils eine Kamera an einer Front und einem Heck des Fahrzeugs aufweist, ist beispielsweise von einem Fahrzeugführer eine jeweils bevorzugte Kamera zur Durchführung des Verfahrens auszuwählen. Auf diese Weise ist jeweils die Kamera einsetzbar, deren Erfassungsbereich die Erfassung eines den Fahrzeugführer interessierenden Umgebungsbereichs ermöglicht, beispielsweise einer Parklücke hinter, vor oder neben dem Fahrzeug. Die Darstellung erfolgt auf einer Anzeigeeinheit im Fahrzeug, welche beispielsweise ein Monitor eines Navigationssystems ist. Die Wechselfrequenz, mit welcher die Darstellung abwechselnd vorwärts und rückwärts abgespielt wird, beträgt bevorzugt zwischen 1 Hz und 4 Hz, besonders bevorzugt 2 Hz. Auf diese Weise wird ein dreidimensionaler Eindruck erzeugt, wobei diese Wechselfrequenz von der menschlichen Wahrnehmung als angenehm empfunden wird, so dass die Verkehrssicherheit nicht durch beispielsweise auftretende Schwindelgefühle und Übelkeit beeinträchtigt wird.
Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert. Dabei zeigt:
Fig. 1 eine schematische Darstellung eines Fahrzeugs während eines
Einparkvorgangs in eine Parkbucht in Draufsicht.
Figur 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 während eines
Einparkvorgangs in eine Parkbucht P in Draufsicht. Das Fahrzeug 1 weist im hier dargestellten Beispiel eine Kamera 2 auf, welche an einem Heckbereich des Fahrzeugs 1 positioniert ist. Diese Kamera 2 ist mit einer Bildverarbeitungseinheit 3 verbunden, welche wiederum mit einer Anzeigeeinheit 4 verbunden ist, die in einem Innenraum des
Fahrzeugs 1 positioniert ist. Die Anzeigeeinheit 4 ist beispielsweise ein Monitor eines Navigationssystems des Fahrzeugs 1.
Im Verfahren zur Erfassung einer Umgebung U des Fahrzeugs 1 werden mittels der Kamera 2 digitale Bilder der Umgebung U erfasst und des Weiteren wird eine
Eigenbewegung B des Fahrzeugs 1 ermittelt. Diese Ermittlung der Eigenbewegung B ist beispielsweise durch eine Auswertung von Daten einer Fahrzeugsensorik möglich, d. h. beispielsweise mittels Daten eines Geschwindigkeitssensors, von Radrehzahlsensoren, eines Lenkwinkelsensors, eines Gierwinkelsensors, eines Gierratensensors, von
Neigungssensoren und/oder Daten eines Navigationssystems des Fahrzeugs 1.
Des Weiteren ist die Eigenbewegung B des Fahrzeugs 1 alternativ oder zusätzlich auch durch eine Auswertung der erfassten Bilder ermittelbar. Dies erfolgt beispielsweise durch eine Auswertung einer Positionsänderung und/oder einer Größenänderung zumindest eines markanten Objektes in zumindest zwei erfassten Bildern. Ein derartiges markantes Objekt ist beispielsweise eine Fahrbahnmarkierung. Nachdem während der Eigenbewegung B des Fahrzeugs 1 , vorzugsweise einer langsamen horizontalen Bewegung, wie sie beispielsweise während eines
Einparkvorgangs erfolgt, mittels der Kamera 2 zumindest zwei aufeinander folgende Bilder erfasst wurden, werden diese Bilder in der Bildverarbeitungseinheit 3 verarbeitet. Dabei sind mittels der Eigenbewegung B des Fahrzeugs 1 Abweichungen von
Kamerapositionen und Kamerawinkeln zwischen den Bildern ermittelbar.
In der Bildverarbeitungseinheit 3 wird mittels einer stereoskopischen Auswertung der Bilder unter Verwendung aus der Eigenbewegung B des Fahrzeugs 1 ermittelter
Bewegungsvektoren aus den zumindest zwei erfassten Bildern ein dreidimensionales Umgebungsmodell mit Strukturinformationen der erfassten Umgebung U des
Fahrzeugs 1 erzeugt. Mittels dieses dreidimensionalen Umgebungsmodells und
Intensitätswerten, d. h. beispielsweise Helligkeits- und/oder Farbwerten von Bildpunkten der erfassten Bilder, wird eine auf der Anzeigeeinheit 4 auszugebende Darstellung der erfassten Umgebung U aus zumindest zwei horizontal und/oder vertikal versetzten Perspektiven und einem fließenden Übergang zwischen den Perspektiven gerendert, d. h. es wird eine kurze Szene bzw. ein kurzer Filmabschnitt erzeugt, dessen Anfangs- und Endbild die erfasste Umgebung U aus den beiden Perspektiven zeigt und welcher eine Darstellung eines fließenden Übergangs zwischen den beiden Perspektiven ermöglicht.
Während des Renderns können insbesondere bei einer geringen Anzahl erfasster Bilder und einer großen Änderung der Kameraposition und des Kamerawinkels zwischen den Bildern Disparitätssprünge auftreten, d. h. eine starke Tiefenänderung in Bezug zur Kameraposition bei dicht nebeneinander liegenden Bildpunkten, beispielsweise an Kanten eines erfassten Objektes. Im Bereich derartiger Disparitätssprünge entstehen beim Rendern Bildbereiche, deren Bildpunkte bzw. Intensitätswerte der Bildpunkte, d. h. deren Textur nicht bekannt ist und aus den erfassten Bildern nicht ermittelt werden kann, weil diese Bereiche des Objektes auf keinem der erfassten Bilder abgebildet sind. Derartige Bereiche ohne solche Bildinformationen ergeben sich insbesondere auch bei einer mittels des dreidimensionalen Modells simulierten periodischen Vertikalbewegung der Szene zwischen zwei oder mehreren vertikal versetzten Perspektiven, besonders dann, wenn die Bilder aufgrund der Eigenbewegung B des Fahrzeugs 1 und daraus resultierend der Bewegung der Kamera 2 aus horizontal versetzten Perspektiven erfasst wurden und durch das Rendern daraus die vertikal bewegte Darstellung erzeugt werden muss. Diese Bildbereiche können unter Verwendung eines oder mehrerer aus der
Bildverarbeitung bekannter Texturextrapolationsverfahren erzeugt und gefüllt werden. D. h. die Textur dieser Bildbereiche wird unter Verwendung beispielsweise angrenzender Bildbereiche extrapoliert. Auf diese Weise wird eine möglichst realistische Darstellung der Umgebung U ermöglicht.
In einer weiteren Ausführungsform des Verfahrens können diese Bildbereiche jedoch auch mit einer Farbe gefüllt werden, beispielsweise mit Schwarz oder mit einer auffälligen Farbe. Dies verringert einen Verarbeitungsaufwand in der Bildverarbeitungseinheit 3, wodurch diese einfacher und kostengünstiger ausführbar ist und die Darstellung schneller gerendert werden kann.
Des Weiteren ist auf diese Weise ein Fahrzeugführer für mögliche Gefahrenpunkte sensibilisierbar, welche in der Darstellung nicht exakt abgebildet sind und welche aufgrund der Disparitätssprünge, d. h. aufgrund einer plötzlichen starken Tiefenänderung in Bezug zur Kamera 2 beispielsweise ein Gegenstand in der Parkbucht P sein könnten, welche ein Hindernis darstellen könnten. Des Weiteren treten derartige
Disparitätssprünge beispielsweise auch an einem oberen Rand einer Bordsteinkante K auf, so dass auch dieser Rand farblich markiert wird, wodurch der Fahrzeugführer gewarnt wird.
Um eine Genauigkeit des Renderns zu erhöhen und derartige Bildbereiche, für die keine Texturinformationen vorliegen, zu minimieren, können jedoch auch zwischen den beiden Bildern weitere Bilder erfasst und verarbeitet werden.
Ist die Darstellung gerendert, wird sie auf der Anzeigeeinheit 4 abwechselnd mit einer vorgegebenen Wechselfrequenz zeitlich vorwärts und rückwärts periodisch ablaufend dargestellt. Die Wechselfrequenz wird derart vorgegeben, dass sie von der menschlichen Wahrnehmung als angenehm empfundenen wird. Durch die abwechselnd zeitlich vorwärts und rückwärts periodisch ablaufende Darstellung wird eine dreidimensional wirkende Wiedergabe der erfassten Umgebung U erreicht, da die Umgebung U mittels eines kurzen simulierten Kameraschwenks bzw. einer kurzen simulierten Kamerafahrt vorwärts und rückwärts in schneller Abfolge dargestellt wird. Dieses Hin- und
Zurückschwenken, wobei Objekte in der erfassten Umgebung U jeweils aus leicht veränderten Perspektiven dargestellt werden, vermittelt einen dreidimensionalen Eindruck der Umgebung U und der Objekte in der Umgebung U des Fahrzeugs 1. Dabei ist die Darstellung aus zwei vertikal versetzten Perspektiven, d. h. eine periodische Vertikalbewegung der Umgebung U in der Darstellung, besonders vorteilhaft. Eine derartige Vertikalbewegung der dargestellten Umgebung U wird von der menschlichen Wahrnehmung als leicht zu erfassen und besonders angenehm empfunden, weil sie einer natürlichen Augenbewegung und dadurch einer natürlichen Wahrnehmung der
Umgebung U während des Laufens entspricht.
Die vorgegebene Wechselfrequenz, mit welcher die Darstellung abwechselnd zeitlich vorwärts und rückwärts abläuft, beträgt vorzugsweise zwischen 1 Hz und 4 Hz, besonders bevorzugt 2 Hz. Durch dieses schnelle aufeinander folgende Abspielen der Darstellung zeitlich vorwärts und rückwärts wird die Umgebung U für die menschliche Wahrnehmung dreidimensional dargestellt, wobei diese Wechselfrequenz aber von der menschlichen Wahrnehmung noch als angenehm empfunden wird, so dass die Verkehrssicherheit nicht durch beispielsweise auftretende Schwindelgefühle und Übelkeit des Fahrzeugführers beeinträchtigt wird.
Bei einer fortgesetzten Eigenbewegung B des Fahrzeugs 1 wird zweckmäßigerweise nach einer vorgegebenen Zeit und/oder nach Erreichen eines vorgegebenen Ausmaßes der fortgesetzten Eigenbewegung B eine weitere Darstellung aus weiteren erfassten Bildern gerendert und auf der Anzeigeeinheit 4 ausgegeben, d. h. die Darstellung der Umgebung U des Fahrzeugs 1 wird fortlaufend an die tatsächlich von der Kamera 2 erfasste Umgebung U angepasst. Auf diese Weise wird eine Kollision des Fahrzeugs 1 mit einem Hindernis aufgrund einer zu stark zeitversetzten Darstellung verhindert.
In einer besonders vorteilhaften Ausführungsform des Verfahrens wird die gerenderte Darstellung in der Bildverarbeitungseinheit 3 oder in einer nicht dargestellten Speichereinheit gespeichert und erst zu einem späteren Zeitpunkt auf der Anzeigeeinheit 4 dargestellt. Beispielsweise wird dem Fahrzeugführer während des Einparkvorgangs, solange sich das Fahrzeug 1 bewegt, die Umgebung U so angezeigt, wie sie von der Kamera 2 erfasst wird, um eine Irritation des Fahrzeugführers zu vermeiden. Während sich das Fahrzeug 1 bewegt, erhält der Fahrzeugführer dabei bereits durch das sich durch die Eigenbewegung B des Fahrzeugs 1 verändernde Kamerabild einen räumlichen Eindruck der Umgebung U. Sobald das Fahrzeug 1 zum Stillstand gekommen ist, wird die gerenderte Darstellung auf der Anzeigeeinheit 4 wiedergegeben. Dabei werden beispielsweise Bilder gerendert, welche auf einem letzten Abschnitt der Eigenbewegung B des Fahrzeugs 1 von der Kamera 2 erfasst wurden, beispielsweise auf den letzten zehn Zentimetern, und diese gerenderte Darstellung wird nach dem Stillstand des Fahrzeugs 1 auf der Anzeigeeinheit 4 entsprechend wiedergegeben, so dass der Fahrzeugführer einen zusätzlichen dreidimensionalen Eindruck des Umfeldes U des Fahrzeugs 1 erhält. Auf diese Weise kann der Fahrzeugführer beispielsweise einen noch verbleibenden Abstand zu einem Hindernis besser einschätzen, um danach den Einparkvorgang fortzusetzen.
Zur Durchführung des Verfahrens ist beispielsweise eine Kamera 2 verwendbar, welche bereits am Fahrzeug 1 für andere Anwendungszwecke installiert ist. Bei einer Mehrzahl am Fahrzeug 1 installierter Kameras 2, beispielsweise Kameras 2 eines so genannten Surround-View Systems, welches Kameras 2 in Außenspiegeln des Fahrzeugs 1 mit einem sehr breiten Erfassungsbereich und jeweils eine Kamera 2 an einer Front und, wie hier dargestellt, im Heckbereich des Fahrzeugs 1 aufweist, kann beispielsweise von einem Fahrzeugführer eine jeweils bevorzugte Kamera 2 zur Durchführung des
Verfahrens ausgewählt werden. Auf diese Weise ist jeweils die Kamera 2 einsetzbar, deren Erfassungsbereich die Erfassung eines den Fahrzeugführer interessierenden Umgebungsbereichs U ermöglicht, im dargestellten Beispiel die Parkbucht P hinter dem Fahrzeug 1.
Bezugszeichenliste
1 Fahrzeug
2 Kamera
3 Bildverarbeitungseinheit
4 Anzeigeeinheit
B Eigenbewegung
K Bordsteinkante
P Parkbucht
U Umgebung

Claims

Patentansprüche
Verfahren zur Erfassung einer Umgebung (U) eines Fahrzeugs (1), wobei mittels einer Kamera
(2) digitale Bilder der Umgebung (U) erfasst werden und eine Eigenbewegung (B) des Fahrzeugs (1) ermittelt wird,
dadurch gekennzeichnet, dass mittels zumindest jeweils zwei erfasster Bilder und mittels aus der Eigenbewegung (B) des Fahrzeugs (1) ermittelter
Bewegungsvektoren ein dreidimensionales Umgebungsmodell mit
Strukturinformationen der erfassten Umgebung (U) des Fahrzeugs (1) erstellt wird und mittels des dreidimensionalen Umgebungsmodells und Intensitätswerten von Bildpunkten der erfassten Bilder eine auf einer Anzeigeeinheit (4) auszugebende Darstellung der erfassten Umgebung (U) aus zumindest zwei horizontal und/oder vertikal versetzten Perspektiven und einem fließenden Übergang zwischen den Perspektiven gerendert und auf der Anzeigeeinheit (4) abwechselnd mit einer von der menschlichen Wahrnehmung als angenehm empfundenen Wechselfrequenz zeitlich vorwärts und rückwärts periodisch ablaufend dargestellt wird, so dass eine dreidimensional wirkende Wiedergabe der erfassten Umgebung (U) erreicht wird.
Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass zum Rendern der Darstellung in Bildbereichen, in welchen die Bildpunkte und/oder deren Intensitätswerte aus den erfassten Bildern nicht ermittelbar sind, die Bildpunkte und/oder deren Intensitätswerte mittels zumindest eines Texturextrapolationsverfahrens erzeugt werden oder diese Bildbereiche mit einer vorgegebenen Farbe gefüllt werden.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass die Wechselfrequenz zwischen 1 Hz und 4 Hz beträgt.
4. Verfahren nach Anspruch 3,
dadurch gekennzeichnet, dass die Wechselfrequenz 2 Hz beträgt.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die Eigenbewegung (B) des Fahrzeuges (1) mittels einer Fahrzeugsensorik ermittelt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die Eigenbewegung (B) des Fahrzeugs (1) durch eine Bildauswertung zumindest der zwei erfassten und zu verarbeitenden Bilder ermittelt wird.
7. Verfahren nach Anspruch 6,
dadurch gekennzeichnet, dass zur Ermittlung der Eigenbewegung (B) des
Fahrzeugs (1) eine Positionsänderung und/oder eine Größenänderung zumindest eines markanten Objektes in den erfassten Bildern verwendet wird.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass die Darstellung erst nach einem Stillstand des Fahrzeugs (1) auf der Anzeigeeinheit (4) ausgegeben wird.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass bei einer fortgesetzten Eigenbewegung (B) des Fahrzeugs (1) nach einer vorgegebenen Zeit und/oder nach Erreichen eines vorgegebenen Ausmaßes der fortgesetzten Eigenbewegung (B) eine weitere Darstellung aus weiteren erfassten Bildern gerendert und auf der Anzeigeeinheit (4) ausgegeben wird.
PCT/EP2011/001940 2010-05-03 2011-04-16 Verfahren zur erfassung einer umgebung eines fahrzeugs WO2011137973A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102010019146A DE102010019146A1 (de) 2010-05-03 2010-05-03 Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
DE102010019146.9 2010-05-03

Publications (2)

Publication Number Publication Date
WO2011137973A2 true WO2011137973A2 (de) 2011-11-10
WO2011137973A3 WO2011137973A3 (de) 2011-12-29

Family

ID=44260111

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2011/001940 WO2011137973A2 (de) 2010-05-03 2011-04-16 Verfahren zur erfassung einer umgebung eines fahrzeugs

Country Status (2)

Country Link
DE (1) DE102010019146A1 (de)
WO (1) WO2011137973A2 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159163B2 (en) * 2013-01-09 2015-10-13 Honeywell International Inc. Top view site map generation systems and methods
US9280826B2 (en) * 2013-12-10 2016-03-08 GM Global Technologies Operations LLC Distance determination using a monoscopic imager in a vehicle
DE102016104730A1 (de) 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102017010950A1 (de) 2017-11-27 2018-07-19 Daimler Ag Verfahren zur Anzeige
DE102023202671B3 (de) 2023-03-24 2024-05-08 Continental Autonomous Mobility Germany GmbH Fahrzeug umfassend eine Positionsbestimmungseinrichtung und Verfahren zur Positionsbestimmung eines Fahrzeugs

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10244148A1 (de) 2002-09-23 2004-04-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006050550A1 (de) * 2006-10-26 2008-04-30 Bayerische Motoren Werke Ag Verfahren zur Steuerung eines Fahrmanövers

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10244148A1 (de) 2002-09-23 2004-04-08 Daimlerchrysler Ag Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs

Also Published As

Publication number Publication date
DE102010019146A1 (de) 2011-11-03
WO2011137973A3 (de) 2011-12-29

Similar Documents

Publication Publication Date Title
DE102017130566B4 (de) Sichtsystem zur Erfassung einer Fahrzeugumgebung und Spiegelersatzsystem für ein Fahrzeug mit einem Sichtsystem
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP2643188B1 (de) Verfahren und vorrichtung zum unterstützen eines fahrers eines kraftfahrzeugs beim ausparken aus einer parklücke und kraftfahrzeug
DE602004011650T2 (de) Fahrassistenzsystem für ein Kraftfahrzeug
DE60009976T2 (de) Rück- und Seitenblickmonitor mit Kamera für Fahrzeug
EP3512739B1 (de) Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
DE102010051206A1 (de) Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102010034139A1 (de) Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
EP2229594A1 (de) Verfahren und vorrichtung zum anzeigen der umgebung eines fahrzeugs
WO2019072455A1 (de) Verfahren zum darstellen einer umgebung eines fahrzeugs
WO2011137973A2 (de) Verfahren zur erfassung einer umgebung eines fahrzeugs
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102013010010B4 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems zum Rangieren und/oder Parken
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
EP2500216A1 (de) Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem
EP2801076B1 (de) Tiefenbildberechnung mit einer monokamera durch eine definierte trajektorie
DE102016208369A1 (de) Verfahren zur Ermittlung von Daten, die einen Teil der Umgebung unterhalb des Fahrzeugs repräsentieren
EP2287060A1 (de) Verfahren zur Ermittlung eines Ein- oder Ausschervorgangs eines dem eigenen Kraftfahrzeug vorausfahrenden Fahrzeugs
DE102016208370A1 (de) Verfahren zum Ermitteln von Daten, die eine Umgebung unterhalb eines Fahrzeugs repräsentieren
WO2012019931A1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug
DE102013010233B4 (de) Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
DE102012214720A1 (de) Objekterkennungssystem und Verfahren zu seinem Betrieb
EP2769374A1 (de) Verfahren zum anzeigen von bildinformationen auf einer anzeigeeinheit eines fahrzeugs sowie fahrerassistenzeinrichtung zum durchführen eines derartigen verfahrens
DE102018107212A1 (de) Verfahren zum Erfassen eines Verkehrsbereichs-Belegungserkennungs-Hilfselements in einem Umgebungsbereich eines Kraftfahrzeugs, Computerprogrammprodukt sowie Fahrzeugführungssystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11716181

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11716181

Country of ref document: EP

Kind code of ref document: A2