WO2004029877A2 - Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs - Google Patents

Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs Download PDF

Info

Publication number
WO2004029877A2
WO2004029877A2 PCT/EP2003/010456 EP0310456W WO2004029877A2 WO 2004029877 A2 WO2004029877 A2 WO 2004029877A2 EP 0310456 W EP0310456 W EP 0310456W WO 2004029877 A2 WO2004029877 A2 WO 2004029877A2
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
camera
images
volume elements
image
Prior art date
Application number
PCT/EP2003/010456
Other languages
English (en)
French (fr)
Other versions
WO2004029877A3 (de
Inventor
Thomas BRÄUNL
Uwe Franke
Original Assignee
Daimlerchrysler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimlerchrysler Ag filed Critical Daimlerchrysler Ag
Priority to JP2004538958A priority Critical patent/JP4327726B2/ja
Priority to US10/528,810 priority patent/US7365831B2/en
Priority to EP03753435A priority patent/EP1543475A2/de
Publication of WO2004029877A2 publication Critical patent/WO2004029877A2/de
Publication of WO2004029877A3 publication Critical patent/WO2004029877A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space

Definitions

  • the invention relates to a method and a device for video-based observation and measurement of the lateral surroundings around a road vehicle.
  • the first driver assistance systems available on the market require a compromise between the resolution of the scanning and the size of the detected area.
  • the radar sensors for an ACC application must be limited horizontally to a few degrees of detection area, while for a parking aid function in the detection of the surroundings, only a small range and resolution can be realized in addition to the vehicle using ultrasound.
  • Conventional video-based systems offer a good compromise between resolution and coverage, but they generally do not provide direct distance information.
  • a device for detecting the position of an agricultural vehicle carrying a scanning sensor is described in US Pat. No. 5,809,440 A1.
  • the track of the vehicle is tracked using a global navigation system (GPS).
  • GPS global navigation system
  • the scanning optical sensor used to record the growth does not provide any distance information, only a two-dimensional cartography of the background is achieved by lining up the sensor information.
  • stereo camera systems are increasingly being used, with the aid of which the object width can be calculated by means of the known geometric arrangement of the camera pair used.
  • stereo image processing an object is scanned from different directions with a pair of cameras. The distance between the stereo camera system and the object is then determined taking into account the camera positions and orientations as well as the camera parameters based on the principle of triangulation.
  • DE 199 26 559 A1 mentions a method and a device for the detection of objects in the vicinity of a road vehicle.
  • the distance to a moving vehicle is calculated by evaluating stereo image pairs and properties of the detected objects are determined.
  • distance-based image segmentation is carried out using stereo image processing.
  • Object recognition is then carried out in the segmented image areas.
  • EP 108 72 57 A2 an arrangement for fastening a stereo camera system in a vehicle is described, which is used to calculate a three-dimensional distance distribution for a viewed object.
  • the invention has for its object to provide a novel method for video-based observation and measurement of the lateral environment of a vehicle and a vehicle with a sensor system for performing the method according to the preambles of claims 1 and 15, which has a high mechanical robustness and without can adjust high effort.
  • the object is achieved according to the invention by a method and a device with the features of claims 1 and 15.
  • the observation and measurement of the lateral surroundings of a vehicle takes place, primarily for the detection of parking spaces, on the one hand by means of a camera with which digital images are recorded and on the other hand by means of a DV unit which serves to provide the digital images with a time stamp and cache.
  • the device further comprises a unit for detecting the vehicle's own movement in order to select image pairs on the basis of this data from the temporarily stored images.
  • a further means is provided to determine the position and orientation of the camera present at the two recording times. Using an algorithm for stereo image processing, a local 3D depth image can be generated on the basis of the image pair, taking into account the position and orientation of the camera at the time of recording as part of a synthetic stereo geometry.
  • the novel design of the subject matter of the invention makes this possible dynamic scenarios, such as capturing the side 3D geometry to the edge of the lane from the perspective of the actively dynamic vehicle and evaluating it to its advantage when parking.
  • the inventive monocular camera system in conjunction with the method according to the invention offers the advantage of a significantly smaller space requirement.
  • such a system represents an advantageous solution for integration into the vehicle and additionally offers the advantage of comparatively low costs by dispensing with a second camera.
  • the mechanical robustness of monocular camera systems is comparatively higher than that of stereo cameras.
  • Another advantage that single camera systems offer is a significantly reduced effort in assembly and adjustment.
  • the images to be selected for image pairs need not necessarily be two immediately successive image recordings.
  • the time stamp should ideally be selected in such a way that the time difference, taking into account the vehicle's own speed, corresponds to a fixed distance (stereo basis).
  • the distance (stereo base) should preferably be selected such that it is in a range between 0.2 m and 1 m, depending on the current speed at the time of two image recordings. Since the average vehicle speed when parking a road vehicle is approx.
  • the object of the invention can be used in a particularly advantageous manner with the aim of accumulating a global 3D depth view from the sequence of local 3D depth views obtained by means of the image pairs.
  • the image data of the individual local 3D depth views which are to be assigned to the same location points of the surroundings of the vehicle, are added together and stored in a geometric data structure.
  • the geometric data structure is continuously expanded in the same direction according to the direction of travel of the vehicle by the newly added image areas.
  • the image data of the respective local location points to be added for a global 3D depth view are subjected to a weighting before the accumulation. Because of this weighting, the noise generated during accumulation can be reduced by subsequently filtering individual pixels.
  • the volume displayed as part of the weighting by means of the accumulated 3D depth views is divided into individual volume elements and the pixels to be added are distributed to the volume elements.
  • All volume elements preferably comprise a predefined, uniform volume, for example in the form of cubes.
  • each node uses a 3D key to distribute the volume of the stored volumes to eight subtrees (volume elements).
  • volume elements are assigned the number of pixels within the individual volume elements as a weight. For this reason, the weight of the volume elements is stored in the tree structure in addition to the data of the pixels. It is particularly advantageous to determine the average weight of all volume elements and thus to determine a total weight.
  • a threshold value is formed with the total weight, on the basis of which a decision is made as to whether the pixels contained in the individual volume elements are taken into account in further processing. Only those image points are considered in which the volume element assigned to them has a weight that is equal to or greater than the threshold value. In an advantageous manner, only those volume elements that contain pixels are used to determine the total weight.
  • the object of the invention can be used in a particularly advantageous manner with the aim of forming the threshold value by multiplying the total weight by a tuning factor.
  • a tuning factor 1.5, the number of pixels per image was reduced from 46013 to 29792.
  • the camera used in the context of the invention can be a camera which is part of another image recording system already present in the vehicle.
  • the figure shows an example of a traffic scenario using the device according to the invention, for video-based observation and measurement of the lateral surroundings around a road vehicle (10).
  • the measurement of the lateral 3D geometry of a moving vehicle to the edge of the road is used here to measure a parking space.
  • a parking vehicle (40), a guardrail can be parked at the edge of the road . 501 or be . liehi ⁇ p _nHoro r.hiol. , _. , On w; - -; - t. . _....; - .. ...... -J - ⁇ r __.-_. _i - T - - ⁇ ⁇ __.
  • a monocular camera (30) is installed in the road vehicle (10) in connection with a computer unit.
  • the camera (30) is aligned such that the angle between its optical axis and the direction of travel (20) is ideally 90 °.
  • the possible orientation of the camera (30) is not limited to the orientation perpendicular to the direction of travel (20), but can also be aimed at areas to be recorded at an angle of 45 ° - 135 ° to the direction of travel (20).
  • the variation of the orientation of the camera can be used in an advantageous manner in particular for different design options with regard to the integration into the overall vehicle.
  • the image sequence resulting from the movement of the vehicle (10) when recording with the camera (30) is provided with time stamps by means of the computer unit and temporarily stored.
  • An algorithm for stereo image processing is used to generate a 3D image of the parking space from the temporarily stored images, taking into account the vehicle's own movement (10). Based on the 3D information, it can be decided, taking into account a defined parking strategy, whether the 3D space detected is suitable for parking the vehicle and, in particular, sufficient space is available for parking.
  • the object of the invention is also suitable for other uses in road traffic.
  • the invention is also profitably suitable for use as a warning system which measures the lateral distance of a vehicle from the edge of the road and warns the driver when the distance falls below a minimum, analogously to the exemplary embodiment mentioned above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Je nach Anwendung bedürfen erste am Markt erhältliche Fahrerassistenzsysteme eines Kompromisses zwischen Auflösung der Abtastung und Grösse des erfassten Bereichs. Herkömmliche videobasierte Systeme bieten zwar einen guten Kompromiss zwischen Auflösung und Erfassungsbereich, jedoch liefern diese im allgemeinen keine direkte Entfernungsinformationen. Durch die neuartige Ausgestaltung des Erfindungsgegenstandes wird es erst möglich ein System zu schaffen, welches installiert in einem Strassenfahrzeug komplexe, dynamische Szenario, wie beispielsweise die seitliche 3D-Geometrie zum Fahrbahnrand, aus Sicht des aktiv dynamisch agierenden Fahrzeugs zu erfassen und zu dessen Vorteil beim Einparken auswerten kann. Gemäss der Erfindung erfolgt die Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs zum einen mittels einer Kamera mit der digitale Bilder aufgezeichnet werden und zum anderen mittels einer DV-Einheit die dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und zwischenzuspeichern. Weiterhin wird die Eigenbewegung des Fahrzeugs erfasst, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Mittels eines Algorithmus zur Stereobildverarbeitung kann so auf Grundlage von Bildpaaren ein lokales 3D-Tiefenbild der seitlichen Umgebung eines Fahrzeugs generiert werden.

Description

Beschreibung
Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs
Die Erfindung betrifft ein Verfahren sowie eine Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung um ein Straßenfahrzeug.
Je nach Anwendung bedürfen erste am Markt erhältliche Fahrerassistenzsysteme eines Kompromisses zwischen Auflösung der Abtastung und Größe des erfaßten Bereichs. So muß sich z.B. die Radarsensorik für eine ACC-Anwendung auf wenige Grad Erfassungsbereich horizontal beschränken, während sich für eine Einparkhilfefunktion bei der Erfassung der Umgebung neben dem Fahrzeug mit Ultraschall nur eine geringe Reichweite und Auflösung realisieren lassen. Herkömmliche videobasierte Systeme bieten zwar einen guten Kompromiß zwischen Auflösung und Erfassungsbereich, jedoch liefern diese im allgemeinen keine direkte Entfernungsinformation. Systeme um von zweidimensionalen Tiefenprofildaten unter Ausnutzung der Fahrzeugeigenbewegung auf dreidimensionale Umgebungsdaten zu gelangen, werden zum einen in den Schriften US 4 179 216 A1 und US 4 490 038 A1 für die Kontrolle von Eisenbahntunnel und den fehlerfreien Verlauf von Schienenwegen aufgezeigt und zum anderen in US 5 278 423 A1 im Zusammenhang mit der gezielten Ausbringung von Pestiziden und der Erfassung des Baumbestandes von Plantagen beschrieben. In all diesen Systemen wird in einer Datenverarbeitungseinheit durch die Aneinanderreihung einer aufeinanderfolgenden Menge von Entfernungsprofilen ein dreidimensionales Abbild der Umgebung erzeugt. Um die Abstände der einzelnen sequentiell aufgenommenen Profile zueinander zu ermitteln sind an den Rädern der die Systeme tragenden Fahrzeuge jeweils Entfernungsaufnehmer angeordnet.
Eine Vorrichtung zur Lageerfassung eines einen abtastenden Sensor tragenden landwirtschaftlichen Fahrzeugs wird in US 5 809 440 A1 beschrieben. Hierbei wird die Spur des Fahrzeugs mittels eines globalen Navigationssystems (GPS) verfolgt. Da der zur Aufnahme des Bewuchses verwandte abtastende optische Sensor jedoch keine Entfernungsinformation liefert, wird durch Aneinanderreihung der Sensorinformation nur eine zweidimensionale Kartographie des Untergrundes erreicht.
Bei Fahrerassistenzsystemen kommen vermehrt Stereokamerasysteme zum Einsatz, mit deren Hilfe aufgrund der bekannten geometrischen Anordnung des verwendeten Kamerapaares die Objektweite rechnerisch ermittelt werden kann. Bei der Stereobildverarbeitung wird ein Objekt aus unterschiedlichen Richtungen mit einem Kamerapaar abgetastet. Anschließend wird die Entfernung zwischen dem Stereokamerasystem und dem Objekt unter Berücksichtigung der Kamerapositionen und Ausrichtungen sowie der Kameraparameter basierend auf dem Prinzip der Triangulation bestimmt.
In der DE 199 26 559 A1 wird ein Verfahren sowie eine Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs genannt. Bei dem vorgestellten Verfahren wird die Entfernung zu einem bewegten Fahrzeug durch Auswertung von Stereobildpaaren berechnet und Eigenschaften der detektierten Objekte ermittelt. Insbesondere wird mittels Stereobildverarbeitung eine entfernungsbasierte Bildsegmentierung durchgeführt. In den segmentierten Bildbereichen wird anschließend eine Objekterkennung durchgeführt. Ein ähnliches System ist aus der EP 108 72 57 A2 bekannt, dabei wird eine Anordnung zur Befestigung eines Stereokamerasystems in einem Fahrzeug beschrieben, welches dazu dient, eine dreidimensionale Distanzverteilung für ein betrachtetes Objekt zu berechnen. Beim Einsatz in Straßenfahrzeugen sind solche aus dem Stand der Technik bekannten Systeme zur Stereobildverarbeitung jedoch nur bedingt geeignet, da die Position und Ausrichtung der Kamera sehr exakt sein und mit hohem Aufwand justiert werden muss. Weiterhin ist eine derartige Anordnung für den Alltagseinsatz bei unterschiedlichsten Straßenzuständen oft nicht robust genug und eine Dejustage des Systems jederzeit möglich. Der Erfindung liegt die Aufgabe zugrunde, ein neuartiges Verfahren zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs sowie ein Fahrzeug mit einem Sensorsystem zur Durchführung des Verfahrens gemäß den Oberbegriffen der Patentansprüche 1 und 15 zu schaffen, welches eine hohe mechanische Robustheit aufweist und sich ohne hohen Aufwand justieren läßt. Die Aufgabe wird gemäß der Erfindung durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1 und 15 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen aufgezeigt.
Gemäß der Erfindung erfolgt die Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken zum einen mittels einer Kamera mit der digitale Bilder aufgezeichnet werden und zum anderen mittels einer DV-Einheit die dazu dient, die digitalen Bilder mit einem Zeitstempel zu versehen und zwischenzuspeichern.
In besonders vorteilhafter weise umfaßt die Vorrichtung weiterhin eine Einheit zur Erfassung der Eigenbewegung des Fahrzeugs, um auf Grundlage dieser Daten aus den zwischengespeicherten Bildern Bildpaare auszuwählen. Es ist ein weiteres Mittel vorgesehen, um die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der Kamera zu bestimmen. Mittels eines Algorithmus zur Stereobildverarbeitung kann so auf Grundlage des Bildpaares ein lokales 3D-Tiefenbild generiert werden, wobei hierbei die Position und Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie berücksichtigt wird.
Durch die neuartige Ausgestaltung des Erfindungsgegenstandes wird es erst möglich dynamische Szenario, wie beispielsweise die seitliche 3D-Geometrie zum Fahrbahnrand, aus Sicht des aktiv dynamisch agierenden Fahrzeugs zu erfassen und zu dessen Vorteil beim Einparken auswerten kann. Im Gegensatz zu einer paarweisen Kameraanordnung wie sie bei herkömmlichen Stereokamerasystemen eingesetzt wird, bietet das erfinderische monokulare Kamerasystem in Verbindung mit dem erfindungsgemäßen Verfahren den Vorteil eines deutlich geringeren Platzbedarfs. Ein solches System stellt im Hinblick auf Designaspekte eine vorteilhafte Lösung für die Integration in das Fahrzeug dar und bietet zusätzlich den Vorteil von vergleichsweise geringen Kosten durch den Verzicht auf eine zweite Kamera. Die mechanische Robustheit ist bei monokularen Kamerasystemen vergleichsweise höher als bei Stereokameras. Ein weiterer Vorteil den Einzelkamerasysteme bieten, ist ein deutlich reduzierter Aufwand bei der Montage und Justage.
In einer gewinnbringenden Ausführungsform der Erfindung ist es denkbar, zur Auswahl von Bildern zu Bildpaaren für die Stereobildverarbeitung, die Eigenbewegung und somit die zurückgelegte Wegstrecke aufgrund der erfaßten Anzahl der Radumdrehungen zu ermitteln. Weitere Möglichkeiten zur Erfassung der Eigenbewegung eines Straßenfahrzeugs bieten auch Systeme für die mobile Fahrzeugnavigation die hauptsächlich mit GPS (Global Positioning System) arbeiten und somit Informationen über die genaue Position bereitstellen. Auch kommen vermehrt Fahrdynamiksysteme in Straßenfahrzeugen zum Einsatz, weiche unter Berücksichtigung von Motordaten sowie Informationen zu Lenkung und Bremse eine Vielzahl an Daten zur Eigenbewegung eines Fahrzeugs liefern.
In besonders gewinnbringender Weise ist es insbesondere bei niedrigen Geschwindigkeiten denkbar, daß es sich bei den zu Bildpaaren auszuwählenden Bildern nicht zwingend um zwei unmittelbar aufeinanderfolgende Bildaufnahmen handeln muß. Für zwei Bildaufnahmen zu einem Bildpaar sollte der Zeitstempel idealerweise derart gewählt sein, daß der Zeitunterschied unter Berücksichtigung der Fahrzeugeigengeschwindigkeit umgerechnet einer fest vorgegebenen Wegstrecke (Stereobasis) entspricht. Die Wegstrecke (Stereobasis) sollte vorzugsweise jedoch derart gewählt werden, daß sich diese in Abhängigkeit von der aktuellen Geschwindigkeit zum Zeitpunkt zweier Bildaufnahmen in einem Bereich zwischen 0,2 m und 1m befindet. Da die durchschnittliche Fahrzeuggeschwindigkeit beim Einparken eines Straßenfahrzeugs ca. 12Km/h beträgt, ist eine zurückgelegte Wegstrecke ln einer weiteren vorteilhaften Ausgestaltung der Erfindung ist es denkbar, daß nur solche zwischengespeicherten Bildpaare zur weiteren Verarbeitung ausgewählt werden können, bei deren Aufnahme sich die Kameraausrichtung nicht signifikant geändert hat. Durch eine Lageänderung des Fahrzeugs, beispielsweise aufgrund sich stark ändernder Straßenverhältnisse, kann eine Änderung der Kameraausrichtung hervorgerufen werden. Eine Änderung der Kameraausrichtung zwischen zwei Aufnahmezeitpunkten führt zu einer Verfälschung des Ergebnisses bei der weiteren Verarbeitung, ähnlich einer Dejustage eines Stereokamerasystems im Rahmen der Stereobildverarbeitung.
Der Erfindungsgegenstand kann in besonders vorteilhafter Weise mit dem Ziel eingesetzt werden, um aus der mittels den Bildpaaren gewonnenen Abfolge von lokalen 3D-Tiefenansichten durch Akkumulieren zu einer globalen 3D-Tiefenansicht zu gelangen. Dabei werden die Bilddaten der einzelnen lokalen 3D-Tiefenansichten, die denselben Ortspunkten der Umgebung des Fahrzeugs zuzuordnen sind miteinander addiert und in einer geometrischen Datenstruktur hinterlegt. Die geometrische Datenstruktur wird dabei kontinuierlich in der gleichen Richtung entsprechend der Fahrtrichtung des Fahrzeugs um die neu hinzugekommenen Bildbereiche erweitert.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung werden die für eine globale 3D-Tiefenansicht zu addierenden Bilddaten der jeweiligen lokalen Ortspunkte vor dem Akkumulieren einer Gewichtung unterzogen. Aufgrund dieser Gewichtung kann das beim Akkumulieren entstandene Rauschen durch nachfolgendes Filtern einzelner Bildpunkte reduziert werden.
In einer besonders gewinnbringenden Weise wird zum Filtern einzelner Bildpunkte das im Rahmen der Gewichtung mittels der akkumulierten 3D-Tiefenansichten dargestellte Volumen in einzelne Volumenelemente unterteilt und die zu addierenden Bildpunkte auf die Volumenelemente verteilt. Bevorzugt umfassen alle Volumenelemente ein vordefiniertes, einheitliches Volumen, beispielsweise in der Form von Kuben.
Vorteilhaft ist es die einzelnen Volumenelemente in einer hierarchischen Datenstruktur zu hinterlegen, insbesondere in einer Baumstruktur. Bei der Baumstruktur handelt es sich in gewinnbringender Weise um einen Octree. Wobei bei einem Octree jeder Knoten mittels eines 3D-Schlüssels die Menge der gespeicherten Volumen auf acht Unterbäume (Volumenelemente) verteilt. Jeder Unterbaum kann wiederum weiter unterteilt sein. In einer gewinnbringenden Weise wird den Volumenelementen die Anzahl der Bildpunkte innerhalb der einzelnen Volumenelemente jeweils als Gewicht zugeordnet. Aus diesem Grund wird zusätzlich zu den Daten der Bildpunkte das Gewicht der Volumenelemente in der Baumstruktur hinterlegt. Es ist besonders vorteilhaft das durchschnittliche Gewicht aller Volumenelemente ermittelt und somit ein Gesamtgewicht bestimmt. Mit dem Gesamtgewicht wird ein Schwellwert gebildet, auf dessen Grundlage entschieden wird, ob die in den einzelnen Volumenelementen enthaltenen Bildpunkte bei der weiteren Verarbeitung berücksichtigt werden. Dabei werden nur diejenigen Biidpunkte berücksichtigt, bei denen das ihnen zugeordnete Volumenelement ein Gewicht aufweist, das gleich oder größer dem Schwellwert ist. In einer vorteilhaften Weise werden zur Bestimmung des Gesamtgewichts nur diejenigen Volumenelemente herangezogen, welche Bildpunkte enthalten.
Der Erfindungsgegenstand kann in besonders vorteilhafter Weise mit dem Ziel eingesetzt werden, um den Schwellwert durch Multiplikation des Gesamtgewichts mit einem Tuningfaktor zu bilden. Bei der Untersuchung einer Einparksequenz mit einem Volumen von 8 x 3 x 5 m3 und einer Unterteilung in 87 Zellen ergab sich ein durchschnittliches Gewicht von 7.7 für die Zellen. Mit einem Tuningfaktor von 1.5 konnte die Anzahl der Bildpunkte pro Bild somit von 46013 auf 29792 reduziert werden. Bei der im Rahmen der Erfindung genutzten Kamera, kann es sich um eine Kamera handeln, welche Bestandteil eines anderen im Fahrzeug bereits vorhandenen Bildaufnahmesystems ist.
Im nachfolgenden wird die Erfindung anhand eines Ausführungsbeispiels und einer Figur im Detail erläutert.
Beispielhaft zeigt die Figur ein Verkehrsszenario unter Einsatz der erfindungsgemäßen Vorrichtung, zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung um ein Straßenfahrzeug (10). Die Vermessung der seitlichen 3D-Geometrie eines fahrenden Fahrzeugs zum Fahrbahnrand wird hierbei zum Vermessen einer Parklücke eingesetzt. Am Fahrbahnrand kann sich ein parkendes Fahrzeug (40), eine Leitplanke .501 oder be.liehiσp _nHoro r.hiol. . _. . Am w;- -;-t. ,. _....;-.. ...... -J -~ r__.-_. _i — T — -ι^ __. _ Im Straßenfahrzeug (10) ist dazu eine monokulare Kamera (30) in Verbindung mit einer Rechnereinheit eingebaut. Die Kamera (30) ist derart ausgerichtet, daß der Winkel zwischen deren optischen Achse und der Fahrtrichtung (20) idealerweise 90° beträgt. Die mögliche Ausrichtung der Kamera (30) beschränkt sich jedoch nicht auf die senkrecht zur Fahrtrichtung (20) stehende Ausrichtung, sondern kann auch auf zu erfassende Bereiche unter einem Winkel von 45° - 135° zur Fahrtrichtung (20) ausgerichtet sein. Die Variation der Ausrichtung der Kamera kann insbesondere für unterschiedliche Gestaltungsmöglichkeiten hinsichtlich der Integration in das Gesamtfahrzeug in vorteilhafter Weise genutzt werden. Die sich aus der Bewegung des Fahrzeugs (10) beim Aufzeichnen mit der Kamera (30) ergebende Bildfolge wird mittels der Rechnereinheit mit Zeitstempeln versehen und zwischengespeichert. Mit einem Algorithmus zur Stereobildverarbeitung werden aus den zwischengespeicherten Bildern, unter Berücksichtigung der Eigenbewegung des Fahrzeugs (10), ein 3D-Abbild des Parkraums generiert. Aufgrund der 3D-lnformation kann unter Berücksichtigung einer festgelegten Einparkstrategie entschieden werden, ob der erfaßte 3D-Raum für das Einparken des Fahrzeugs geeignet ist und insbesondere ausreichend Platz zum Einparken zur Verfügung steht.
Für den Fachmann ist es selbstverständlich, dass sich der Erfindungsgegenstand auch für andere Verwendung im Straßenverkehr eignet. So eignet sich die Erfindung beispielsweise auch gewinnbringend zur Verwendung als Warnsystem, welches den seitlichen Abstand eines Fahrzeugs zum Fahrbahnrand vermißt und bei Unterschreitung eines Mindestabstandes den Fahrer warnt, analog zu dem oben angeführten Ausführungsbeispiel.

Claims

Patentansprüche
I . Verfahren zur Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken, wobei mittels einer Kamera digitale Bilder aufgezeichnet, mit einem Zeitstempel versehen und zwischengespeichert werden, dadurch gekennzeichnet, dass die Eigenbewegung des Fahrzeugs erfaßt wird, um auf Grundlage dieser Daten aus den zwischen gespeicherten Bildern Bildpaare auszuwählen, wobei die zu den beiden Aufnahmezeitpunkten vorliegende Position und Ausrichtung der Kamera bestimmt wird, und daß mittels eines Algorithmus zur Stereobildverarbeitung auf Grundlage des Bildpaares ein lokales 3D-Tiefenbild generiert wird wobei hierbei die Position und Ausrichtung der Kamera zu den Aufnahmezeitpunkten im Rahmen einer synthetischen Stereogeometrie berücksichtigt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Erfassung der Eigenbewegung des Fahrzeugs insbesondere aufgrund der Geschwindigkeit, der Anzahl der Radumdrehungen, Navigationsinformation oder Daten von Fahrdynamiksystemen erfolgt.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswahl zwischengespeicherter Bilder zu Bildpaaren derart erfolgt, daß die zwischen den Aufnahmezeitpunkten der Bilder zurückgelegte Wegstrecke einem vorgegebenem Wert entspricht.
4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der vorgegebene Wert sich vorzugsweise im Bereich zwischen 0,2m und 1 m befindet, insbesondere 0,3 m beträgt.
5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass nur solche zwischengespeicherten Bilder zu Bildpaaren ausgewählt werden bei deren Aufnahme sich die Kameraausrichtung nicht signifikant geändert hat.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass eine Abfolge von lokalen 3D-Tiefenansichten akkumuliert werden wobei die Bilddaten der einzelnen lokalen 3D-Tiefenansichten die denselben Ortspunkten der Umgebung des Fahrzeugs zuzuordnen sind miteinander addiert werden.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Bilddaten vor der Addition einer Gewichtung unterzogen werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass im Rahmen der Gewichtung das mittels der akkumulierten 3D-Tiefenansichten dargestellte Volumen in einzelne Volumenelemente geteilt wird.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass alle Volumenelemente einem vordefinierten einheitlichen Volumen entsprechen.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Volumenelemente in einer Baumstruktur hinterlegt werden, insbesondere in der Form eines Octree.
1 1. Verfahren nach einem der Ansprüche 8 bis 10, dadurch gekennzeichnet, dass die jeweilige Anzahl der Bildpunkte innerhalb der einzelnen Volumenelemente, diesen
Volumenelementen jeweils als Gewicht zugeordnet wird.
12. Verfahren nach Anspruch 1 1, dadurch gekennzeichnet, dass ein Gewicht bestimmt wird, welches dem durchschnittlichen Gewicht aller Volumenelemente entspricht, wobei dieses Gesamtgewicht einen Schwellwert bildet, auf Grundlage dessen entschieden wird, ob die in den Einzelnen Volumenelementen enthaltenen Bildpunkte bei der weiteren Verarbeitung berücksichtigt werden, wobei nur diejenigen Bildpunkte berücksichtigt werden, bei denen das ihnen zugeordnete Volumenelement ein Gewicht aufweist, das gleich oder größer dem Schwellwert ist.
13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass zur Bildung des Gesamtgewichts nur diejenigen Volumenelemente herangezogen werden, welche Bildpunkte enthalten.
14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass der Schwellwert durch Multiplikation des Gesamtgewichts mit einem Tuningfaktor gebildet wird.
15. Vorrichtung zur 3D-Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs, vorwiegend zur Detektion von Parklücken, umfassend eine Kamera zur
Aufnahme digitaler Bilder die mit einer DV-Einheit in Verbindung steht, mittels welcher die Bilder mit einem Zeitstempel versehen und zwischengespeichert werden, dadurch gekennzeichnet, dass eine Einheit zur Erfassung der Eigenbewegung des Fahrzeugs vorhanden ist, und dass ein Mittel vorgesehen ist, um auf Grundlage der Eigenbewegung Bilddaten zu Bildpaaren auszuwählen, und welches mit einer Einheit zur Stereobildverarbeitung in Verbindung steht.
16. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Einheit zur Erfassung der Eigenbewegung des Fahrzeugs insbesondere ein Tachometer, Rad- Drehzahlmesser, Navigationssystem oder ein Fahrdynamiksystem ist.
17. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Kamera vorzugsweise 90° zur Fahrtrichtung ausgerichtet ist.
18. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die Kamera unter einem Winkel von 45° - 135° zur Fahrtrichtung ausgerichtet ist.
19. Vorrichtung nach einem der Ansprüche 8 bis 1 1, dadurch gekennzeichnet, dass die n -A .Λ « -ii _ :ι _ _ ___ _
20. Verwendung der Vorrichtung oder des Verfahrens nach einem der vorgehenden Ansprüche als Warnsystem, insbesondere zur Vermessung des Abstands des Fahrzeugs zum Straßenrand.
PCT/EP2003/010456 2002-09-23 2003-09-19 Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs WO2004029877A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004538958A JP4327726B2 (ja) 2002-09-23 2003-09-19 車両の側方周囲の、ビデオベースの監視及び測定のための方法及び装置
US10/528,810 US7365831B2 (en) 2002-09-23 2003-09-19 Method and device for video-based observation and measurement of the lateral environment of a vehicle
EP03753435A EP1543475A2 (de) 2002-09-23 2003-09-19 Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10244148.0 2002-09-23
DE10244148A DE10244148A1 (de) 2002-09-23 2002-09-23 Verfahren und Vorrichtung zur videobasierten Beobachtung und Vermessung der seitlichen Umgebung eines Fahrzeugs

Publications (2)

Publication Number Publication Date
WO2004029877A2 true WO2004029877A2 (de) 2004-04-08
WO2004029877A3 WO2004029877A3 (de) 2004-06-10

Family

ID=31983990

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2003/010456 WO2004029877A2 (de) 2002-09-23 2003-09-19 Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs

Country Status (5)

Country Link
US (1) US7365831B2 (de)
EP (1) EP1543475A2 (de)
JP (1) JP4327726B2 (de)
DE (1) DE10244148A1 (de)
WO (1) WO2004029877A2 (de)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236094A (ja) * 2005-02-25 2006-09-07 Toyota Motor Corp 障害物認識システム
DE102010011629A1 (de) 2010-03-16 2011-01-05 Daimler Ag Verfahren zur Umgebungsrepräsentation eines Fahrzeugs
US8121350B2 (en) 2006-12-29 2012-02-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for determining a position on the basis of a camera image from a camera
DE102011113016A1 (de) 2011-09-09 2012-03-29 Daimler Ag Verfahren zur Umgebungsrepräsentation eines Fahrzeugs
WO2012003941A3 (de) * 2010-07-06 2012-04-26 Daimler Ag Verfahren und vorrichtung zur erfassung eines seitlichen umfeldes eines fahrzeuges
ITTO20101060A1 (it) * 2010-12-24 2012-06-25 Magneti Marelli Spa Sistema e procedimento di rivelazione di uno spazio di parcheggio per un veicolo
CN109959919A (zh) * 2017-12-22 2019-07-02 比亚迪股份有限公司 汽车及单目摄像头测距方法、装置

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10260555A1 (de) * 2002-12-21 2004-07-01 Eads Radio Communication Systems Gmbh & Co.Kg System zur Hinderniswarnung für spurgeführte Fahrzeuge
EP1858745B1 (de) * 2005-03-03 2013-05-08 Continental Teves AG & Co. oHG Verfahren und vorrichtung zum vermeiden einer kollision bei einem spurwechsel eines fahrzeugs
DE102005015463B4 (de) 2005-04-04 2007-02-15 Magna Donnelly Gmbh & Co. Kg Fahrzeug mit Distanzkontrollsystem
DE102005022882A1 (de) * 2005-05-18 2006-11-23 Volkswagen Ag Verfahren und Vorrichtung zur Parkraumvermessung mittels einer Monokamera
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
DE102006011590B4 (de) * 2006-03-10 2019-02-28 Adc Automotive Distance Control Systems Gmbh Vorrichtung zum Vermessen einer Parklücke
FR2921324B1 (fr) * 2007-09-25 2010-02-05 Renault Sas Procede et dispositif d'assistance au parcage d'un vehicule automobile
DE102008060684B4 (de) * 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
ATE533350T1 (de) * 2009-09-07 2011-12-15 Claas Agrosystems Gmbh & Co Kg Steuerungssystem eines landwirtschaftlichen fahrzeugs mit einem güterträger, landwirtschaftliches fahrzeug und verfahren zur steuerung eines güterträgers des landwirtschaftlichen fahrzeugs
US8451139B2 (en) * 2010-02-22 2013-05-28 Cnh America Llc System and method for coordinating harvester and transport vehicle unloading operations
DE102010011093A1 (de) * 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
DE102010019146A1 (de) 2010-05-03 2011-11-03 Daimler Ag Verfahren zur Erfassung einer Umgebung eines Fahrzeugs
US8471908B2 (en) * 2010-10-18 2013-06-25 GM Global Technology Operations LLC Three-dimensional mirror display system for a vehicle and method
DE102011083745B4 (de) * 2011-09-29 2019-01-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum monokularen Motion-Stereo-basierten automatischen Vermessen von freien Parkplätzen, Computerprogrammprodukt und Vorrichtung
DE102011116169A1 (de) * 2011-10-14 2013-04-18 Continental Teves Ag & Co. Ohg Vorrichtung zur Unterstützung eines Fahrers beim Fahren eines Fahrzeugs oder zum autonomen Fahren eines Fahrzeugs
US9762880B2 (en) * 2011-12-09 2017-09-12 Magna Electronics Inc. Vehicle vision system with customized display
US9280826B2 (en) * 2013-12-10 2016-03-08 GM Global Technologies Operations LLC Distance determination using a monoscopic imager in a vehicle
US9384662B2 (en) * 2014-04-17 2016-07-05 Ford Global Technologies, Llc Parking assistance for a vehicle
DE102015205244B3 (de) * 2015-03-24 2015-12-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen von Hinderniskarten für Fahrzeuge
JP6872128B2 (ja) * 2015-09-30 2021-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN105451000B (zh) * 2015-12-27 2019-02-15 高田汽车电子(上海)有限公司 一种基于单目后视摄像头的车载全景环视系统及方法
DE102016104730A1 (de) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
CN106203272B (zh) * 2016-06-29 2018-07-20 上海小蚁科技有限公司 确定可移动对象的移动的方法和装置
CN109764858B (zh) * 2018-12-24 2021-08-06 中公高科养护科技股份有限公司 一种基于单目相机的摄影测量方法及系统
DE102020003662A1 (de) 2020-06-19 2020-08-06 Daimler Ag Verfahren zur Bestimmung einer Eigenbewegung mittels Lidar-Odometrie und Fahrzeug

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1094337A2 (de) * 1999-10-21 2001-04-25 Matsushita Electric Industrial Co., Ltd. System zur Einparkhilfe

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
DE4209936C2 (de) * 1992-03-27 1994-11-03 Bodenseewerk Geraetetech Gelände-Bildsimulator
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
JP3349121B2 (ja) * 1999-09-22 2002-11-20 富士重工業株式会社 ステレオカメラの取付構造
DE10045616B4 (de) * 2000-09-15 2011-03-17 Volkswagen Ag Verfahren zum automatischen Einparken eines Kraftfahrzeugs
DE10114932B4 (de) * 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1094337A2 (de) * 1999-10-21 2001-04-25 Matsushita Electric Industrial Co., Ltd. System zur Einparkhilfe

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN H H ET AL: "A SURVEY OF CONSTRUCTION AND MANIPULATION OF OCTREES" COMPUTER VISION GRAPHICS AND IMAGE PROCESSING, ACADEMIC PRESS, DULUTH, MA, US, Bd. 43, Nr. 3, 1. September 1988 (1988-09-01), Seiten 409-431, XP000007912 *
DALMIA A K ET AL: "HIGH-SPEED EXTRACTION OF 3D STRUCTURE OF SELECTABLE QUALITY USING ATRANSLATING CAMERA" COMPUTER VISION AND IMAGE UNDERSTANDING, ACADEMIC PRESS, US, Bd. 64, Nr. 1, 1. Juli 1996 (1996-07-01), Seiten 97-110, XP000637131 ISSN: 1077-3142 *
WHEELER M D ET AL: "Consensus surfaces for modeling 3D objects from multiple range images" 6TH INTERNATIONAL CONFERENCE ON COMPUTER VISION. ICCV '98. BOMBAY, JAN. 4 - 7, 1998, IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, NEW YORK, NY: IEEE, US, 4. Januar 1998 (1998-01-04), Seiten 917-924, XP002276257 ISBN: 0-7803-5098-7 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006236094A (ja) * 2005-02-25 2006-09-07 Toyota Motor Corp 障害物認識システム
US8121350B2 (en) 2006-12-29 2012-02-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for determining a position on the basis of a camera image from a camera
DE102010011629A1 (de) 2010-03-16 2011-01-05 Daimler Ag Verfahren zur Umgebungsrepräsentation eines Fahrzeugs
WO2012003941A3 (de) * 2010-07-06 2012-04-26 Daimler Ag Verfahren und vorrichtung zur erfassung eines seitlichen umfeldes eines fahrzeuges
ITTO20101060A1 (it) * 2010-12-24 2012-06-25 Magneti Marelli Spa Sistema e procedimento di rivelazione di uno spazio di parcheggio per un veicolo
EP2468573A1 (de) * 2010-12-24 2012-06-27 Magneti Marelli S.p.A. System und Verfahren zur Detektion einer Parklücke für ein Kraftfahrzeug
DE102011113016A1 (de) 2011-09-09 2012-03-29 Daimler Ag Verfahren zur Umgebungsrepräsentation eines Fahrzeugs
CN109959919A (zh) * 2017-12-22 2019-07-02 比亚迪股份有限公司 汽车及单目摄像头测距方法、装置
CN109959919B (zh) * 2017-12-22 2021-03-26 比亚迪股份有限公司 汽车及单目摄像头测距方法、装置

Also Published As

Publication number Publication date
US7365831B2 (en) 2008-04-29
US20070165908A1 (en) 2007-07-19
JP2006501542A (ja) 2006-01-12
DE10244148A1 (de) 2004-04-08
EP1543475A2 (de) 2005-06-22
WO2004029877A3 (de) 2004-06-10
JP4327726B2 (ja) 2009-09-09

Similar Documents

Publication Publication Date Title
EP1543475A2 (de) Verfahren und vorrichtung zur videobasierten beobachtung und vermessung der seitlichen umgebung eines fahrzeugs
DE102009009815B4 (de) Verfahren und Vorrichtung zur Erkennung von Parklücken
DE10114932B4 (de) Dreidimensionale Umfelderfassung
EP1240533B1 (de) Verfahren zur optischen überwachung der umgebung eines sich bewegenden fahrzeugs
DE102009006113B4 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
EP2033165B1 (de) Verfahren für die erfassung eines verkehrsraums
EP1825276A1 (de) Verfahren und vorrichtung zur ermittlung einer fahrzeuggeschwindigkeit
EP2046619B1 (de) Fahrerassistenzsystem
DE102018122374B4 (de) Verfahren zum Bestimmen eines ein Kraftfahrzeug umgebenden Freiraums, Computerprogrammprodukt, Freiraumbestimmungseinrichtung und Kraftfahrzeug
WO2011138164A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines fahrzeugs, fahrerassistenzsystem und fahrzeug
DE102009031319A1 (de) Verfahren und System zur Bestimmung einer Fahrzeugklasse
DE102012023060A1 (de) Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug
DE102022202548B3 (de) Verfahren zum Trainieren eines Computerprogrammprodukts
DE102008025773A1 (de) Verfahren zur Schätzung eines Orts- und Bewegungszustands eines beobachteten Objekts
EP2801076B1 (de) Tiefenbildberechnung mit einer monokamera durch eine definierte trajektorie
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE10148062A1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE102013001867A1 (de) Verfahren zur Ermittlung einer Fahrzeugorientierung und/oder einer korrigierten Fahrzeugposition eines Kraftfahrzeugs und Kraftfahrzeug
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
AT524256B1 (de) Verfahren zur Ermittlung eines Reibbeiwertes
WO2014202496A1 (de) Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug
DE102018202753A1 (de) Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt
WO2013107561A1 (de) Gewinnung von tiefeninformationen mit einer in einem fahrzeug verbauten monokamera
DE112012003630B4 (de) Verfahren, anordnung und fahrassistenzsystem zur ermittlung der räumlichen verteilung von objekten relativ zu einem fahrzeug
DE102011108468B4 (de) Verfahren und Vorrichtung zur Generierung von dreidimensionalen Umfeldinformationen

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2003753435

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2004538958

Country of ref document: JP

WWP Wipo information: published in national office

Ref document number: 2003753435

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2007165908

Country of ref document: US

Ref document number: 10528810

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10528810

Country of ref document: US