WO2010091818A2 - Verfahren zur objektdetektion - Google Patents

Verfahren zur objektdetektion Download PDF

Info

Publication number
WO2010091818A2
WO2010091818A2 PCT/EP2010/000671 EP2010000671W WO2010091818A2 WO 2010091818 A2 WO2010091818 A2 WO 2010091818A2 EP 2010000671 W EP2010000671 W EP 2010000671W WO 2010091818 A2 WO2010091818 A2 WO 2010091818A2
Authority
WO
WIPO (PCT)
Prior art keywords
determined
segments
segment
height
distance
Prior art date
Application number
PCT/EP2010/000671
Other languages
English (en)
French (fr)
Other versions
WO2010091818A3 (de
Inventor
Hernan Badino
Uwe Franke
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Priority to CN201080007837.9A priority Critical patent/CN102317954B/zh
Priority to US13/201,241 priority patent/US8548229B2/en
Priority to EP10703018A priority patent/EP2396746A2/de
Publication of WO2010091818A2 publication Critical patent/WO2010091818A2/de
Publication of WO2010091818A3 publication Critical patent/WO2010091818A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the invention relates to a method for object detection according to the preamble of claim 1.
  • a distance image is determined by means of a sensor system via horizontal and vertical angles, wherein a depth map of an environment is determined from the distance image.
  • a free space boundary line is defined that bounds an obstacle-free area of the environment, segmenting the depth map outside and along the free space boundary line by forming segments of appropriate equal widths of pixels of equal or similar distance from a plane, with a height of each segment as a part of an object located outside the obstacle-free area, so that each segment is characterized by a two-dimensional position of a foot point (eg given by distance and angle to a vehicle longitudinal axis) and by its height.
  • the three-dimensional environment described by the distance image and the depth map is approximated by the obstacle-free area (also called the free space area).
  • the obstacle-free area is, for example, a drivable area, which, however, does not necessarily have to be planar.
  • the obstacle-free area is limited by the rod-like segments, which in their entirety model the objects surrounding the obstacle-free area. These segments are in the simplest case on the ground and approximate a mean height of the object in the region of the respective segment. Variable height objects, such as cyclists from the side, are thus described by a piecewise constant height function.
  • the resulting segments represent a compact and robust representation of the objects and require only a limited amount of data, regardless of the density of the stereo correspondence analysis used to create the depth map.
  • Location and altitude are stored for each stixel. These Representation is optimally suitable for any subsequent steps, such as object formation and scene interpretation.
  • the stixel representation represents an ideal interface between application-independent stereo analysis and application-specific evaluations.
  • Fig. 1 is a two-dimensional representation of an environment with a
  • Free space boundary and a number of segments for modeling objects in the environment are free space boundary and a number of segments for modeling objects in the environment.
  • FIG. 1 shows a two-dimensional representation of an environment 1 with a free-space delimitation line 2 and a number of segments 3 for modeling objects 4.1 to 4.6 in the environment 1.
  • the segments 3 or stixels model the objects 4.1 to 4.6 that are defined by the free-space delimiting line 2 limit free travel.
  • a method is used in which two images of an environment are recorded and a disparity image is determined by means of stereo image processing.
  • stereo image processing the method described in [H. Hirschmüller: "Accurate and efficient stereo processing by semi-global matching and mutual information.” CVPR 2005, San Diego, CA. Volume 2. (June 2005), pp. 807-814.].
  • a depth map of the environment is determined, for example as described in [H.Badino, U. Franke, R.Mester: "Free Space Computation Using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Programming Workshop for ICCV 07, Rio de Janeiro, Brasil].
  • the free space boundary line 2 is identified which delimits the obstacle-free area of the surroundings 1.
  • the depth map is segmented by forming the segments 3 with a predetermined width of pixels of equal or similar distance to an image plane of a camera or multiple cameras.
  • the segmentation may be accomplished, for example, by the method described in [H.Badino, U.Franke, R.Mester: "Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Vision Workshop for ICCV 07, Rio de Janeiro, Brasil] ,
  • An approximation of the found free space boundary line 2 in segments 3 (bars, stixels) of predetermined width provides the distance of the segments; with known orientation of the camera to the environment (for example, a road in front of a vehicle on which the camera is arranged) and known 3D curve results in a respective base point of the segments 3 in the image.
  • each segment 3 is characterized by a two-dimensional position of a foot point and its height.
  • Height estimation is most easily accomplished by histogram-based analysis of all 3D points in the segment area. This step can be solved by dynamic programming.
  • Areas that have no segments 3, are those in which no objects were found by the free space analysis.
  • Multiple images can be sequentially acquired and processed, and from changes in the depth map and disparity image, motion information can be extracted and assigned to segments 3.
  • moving scenes can also be represented and, for example, used to predict an expected movement of the objects 4.1 to 4.6.
  • This kind of motion tracking is also called tracking.
  • a vehicle own motion can be determined and used for compensation.
  • the compactness and robustness of the segments 3 results from the integration of many pixels in the area of the segment 3 and - in the tracking variant - from the additional integration over time.
  • the membership of each of the segments 3 to one of the objects 4.1 to 4.6 can also be stored with the remaining information about each segment. However, this is not mandatory.
  • the movement information can be obtained, for example, by integration of the optical flow, so that a real movement can be estimated for each of the segments 3.
  • Corresponding methods are for. B. from works on the 6D vision, which are published in DE 102005008131 A1, known. This motion information further simplifies the grouping into objects, as compatible movements can be checked.
  • the position of the foot point, the height and the motion information of the segment 3 can be determined by means of Scene Flow.
  • the Scene Flow is a class of procedures that attempts to determine the correct movement in space plus its SD position from at least 2 consecutive stereo image pairs for as many pixels as possible; See [Sundar Vedulay, Simon Bakery, Peter Randeryz, Robert Collinsy, and Takeo Kanade, "Three Dimensional Scene Flow,” Appeared in the 7th International Conference on Computer Vision, Corfu, Greece, September 1999.]
  • information for a driver assistance system can be generated in a vehicle on which the cameras are arranged.
  • a remaining time until collision of the vehicle with an object 4.1 to 4.6 formed by segments 3 can be estimated.
  • a driving corridor 5 can be placed in the obstacle-free area to be used by the vehicle, wherein a lateral distance of at least one of the objects 4.1 to 4.6 to the driving corridor 5 is determined.
  • Information from other sensors can be combined with the driver assistance system information associated with segments 3 (sensor fusion).
  • active sensors such as a LIDAR
  • the segments 3 have unique neighborhood relationships, which makes them very easy to group into objects 4.1 through 4.6. In the simplest case, only distance and height are to be transmitted to each segment 3, with known width of the segment 3 results in an angle (columns in the image) from an index.
  • the distance image can be determined by means of any sensor system over horizontal and vertical angle, wherein from the distance image, the depth map of the environment is determined.
  • two images of the surroundings (1) can each be recorded by means of one camera and a disparity image can be determined by means of stereo image processing, the distance image and the depth map being determined from the disparities determined.
  • a photonic mixer device and / or a three-dimensional camera and / or a lidar and / or a radar can be used as the sensor system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Objektdetektion, bei dem jeweils zwei Bilder einer Umgebung (1) aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt wird, wobei aus den ermittelten Disparitäten eine Tiefenkarte der Umgebung (1) bestimmt wird, in der eine Freiraumbegrenzungslinie (2) identifiziert wird, die einen hindernisfreien Bereich der Umgebung (1) umgrenzt, wobei außerhalb und entlang der Freiraumbegrenzungslinie (1) die Tiefenkarte segmentiert wird, indem Segmente (3) einer geeigneten Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Bildebene gebildet werden, wobei eine Höhe jedes Segments (3) als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts (4.1 bis 4.6) geschätzt wird, so dass jedes Segment (3) durch die zweidimensionale Position seines Fußpunkts (z. B. gegeben durch Entfernung und Winkel zur Fahrzeuglängsachse) und seine Höhe charakterisiert wird.

Description

Verfahren zur Objektdetektion
Die Erfindung betrifft ein Verfahren zur Objektdetektion nach dem Oberbegriff des Anspruchs 1.
Moderne Stereoverfahren, aber auch entfernungsmessende Sensoren wie z. B. PMD, Lidar oder hochauflösende Radare, generieren ein dreidimensionales Bild der Umgebung. Aus diesen Daten sind die relevanten Objekte zu extrahieren, beispielsweise stehende oder bewegte Hindernisse. Der Schritt von den Rohdaten zu Objekten erweist sich in der Praxis als sehr groß und führt oft zu vielen heuristischen Speziallösungen. Für die Weiterverarbeitung wird daher eine kompakte Abstraktion mit geringen Datenmengen angestrebt.
Bekannte Verfahren der Stereo-Bildverarbeitung arbeiten mit nicht dichten Stereokarten und extrahieren direkt Objekte unter Verwendung als geeignet angesehener Heuristiken. Ein Abstraktionslevel, der diesen Schritt unterstützt, existiert im Allgemeinen nicht.
Aus der US 2007/0274566 A1 ist ein Verfahren zur Detektion von Fußgängern bekannt, bei dem ein Bild einer Szene vor einem Fahrzeug aufgenommen wird. Anschließend wird im Bild eine Geschwindigkeit und eine Richtung von Pixeln, die jeweils charakteristische Punkte repräsentieren, berechnet. Dabei ermittelte Koordinaten der Pixel werden auf eine Draufsicht umgerechnet. Es wird ermittelt, ob die charakteristischen Punkte ein zweidimensionales oder ein dreidimensionales Objekt repräsentieren. Falls es sich um ein dreidimensionales Objekt handelt wird ermittelt, ob das Objekt sich bewegt. Anhand der Änderungen der Geschwindigkeit, mit der das Objekt sich bewegt, wird ermittelt, ob es sich bei dem Objekt um einen Fußgänger handelt. Bei der Extraktion der charakteristischen Punkte werden Kanten der Objekte detektiert, erodiert und damit die Mitte der Kante ermittelt. Die erodierte Kante wird anschließend wieder erweitert, so dass die Kante eine vorbestimmte Breite, beispielsweise drei Pixel, aufweist, so dass alle Objektkanten eine gleiche Breite aufweisen.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Objektdetektion anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Bei einem erfindungsgemäßen Verfahren zur Objektdetektion wird mittels eines Sensorsystems ein Entfernungsbild über horizontalem und vertikalem Winkel ermittelt, wobei aus dem Entfernungsbild eine Tiefenkarte einer Umgebung bestimmt wird. Erfindungsgemäß wird eine Freiraumbegrenzungslinie identifiziert, die einen hindernisfreien Bereich der Umgebung umgrenzt, wobei die Tiefenkarte außerhalb und entlang der Freiraumbegrenzungslinie segmentiert wird, indem Segmente geeigneter, gleicher Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Ebene gebildet werden, wobei eine Höhe jedes Segments als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts geschätzt wird, so dass jedes Segment durch eine zweidimensionale Position eines Fußpunkts (z. B. gegeben durch Entfernung und Winkel zu einer Fahrzeuglängsachse) und durch seine Höhe charakterisiert wird.
Die durch das Entfernungsbild und die Tiefenkarte beschriebene dreidimensionale Umgebung wird durch den hindernisfreien Bereich (auch Freiraumfläche genannt) approximiert. Der hindernisfreie Bereich ist beispielsweise ein befahrbarer Bereich, der jedoch nicht zwingend planar sein muss. Der hindernisfreie Bereich wird begrenzt durch die stabartigen Segmente, die in ihrer Gesamtheit die den hindernisfreien Bereich umgebenden Objekte modellieren. Diese Segmente stehen im einfachsten Fall auf dem Boden und approximieren eine mittlere Höhe des Objekts im Bereich des jeweiligen Segments. Objekte mit variabler Höhe, beispielsweise Radfahrer von der Seite, werden so durch eine stückweise konstante Höhenfunktion beschrieben.
Die so gewonnenen Segmente (auch als Stixel bezeichnet) stellen eine kompakte und robuste Repräsentation der Objekte dar und erfordern nur ein begrenztes Datenvolumen, unabhängig von der Dichte der für die Erstellung der Tiefenkarte verwendeten Stereo- Korrespondenzanalyse. Zu jedem Stixel sind Ort und Höhe gespeichert. Diese Repräsentation eignet sich optimal für gegebenenfalls nachfolgende Schritte, wie Objektbildung und Szeneninterpretation. Die Stixel-Repräsentation stellt eine ideale Schnittstelle zwischen applikationsunabhängiger Stereoanalyse und applikationsspezifischen Auswertungen dar.
Im Folgenden wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert.
Dabei zeigt:
Fig. 1 eine zweidimensionale Darstellung einer Umgebung mit einer
Freiraumbegrenzungslinie und einer Anzahl von Segmenten zur Modellierung von Objekten in der Umgebung.
Figur 1 zeigt eine zweidimensionale Darstellung einer Umgebung 1 mit einer Freiraumbegrenzungslinie 2 und einer Anzahl von Segmenten 3 zur Modellierung von Objekten 4.1 bis 4.6 in der Umgebung 1. Die Segmente 3 oder Stixel modellieren die Objekte 4.1 bis 4.6, die den durch die Freiraumbegrenzungslinie 2 definierten freien Fahrraum begrenzen.
Zur Erstellung der gezeigten Darstellung kommt ein Verfahren zum Einsatz, bei dem jeweils zwei Bilder einer Umgebung aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt wird. Beispielsweise kann zur Stereobildverarbeitung das in [H. Hirschmüller: "Accurate and efficient Stereo processing by semi-global matching and mutual information. CVPR 2005, San Diego, CA. Volume 2. (June 2005), pp.807-814.] beschriebene Verfahren verwendet werden.
Aus den ermittelten Disparitäten wird eine Tiefenkarte der Umgebung bestimmt, beispielsweise wie in [H.Badino, U.Franke, R.Mester: "Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Programming Workshop for ICCV 07, Rio de Janeiro, Brasil] beschrieben.
Es wird die Freiraumbegrenzungslinie 2 identifiziert, die den hindernisfreien Bereich der Umgebung 1 umgrenzt. Außerhalb und entlang der Freiraumbegrenzungslinie 2 wird die Tiefenkarte segmentiert, indem die Segmente 3 mit einer vorgegebenen Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Bildebene einer Kamera oder mehrerer Kameras gebildet werden. Die Segmentierung kann beispielsweise mittels des in [H.Badino, U.Franke, R.Mester: "Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming", In Dynamic Vision Workshop for ICCV 07, Rio de Janeiro, Brasil] beschriebenen Verfahrens erfolgen.
Eine Approximation der gefundenen Freiraumbegrenzungslinie 2 in Segmente 3 (Stäbe, Stixel) vorgegebener Breite (beliebige Vorgaben möglich) liefert die Entfernung der Segmente; bei bekannter Orientierung der Kamera zur Umgebung (beispielsweise einer Straße vor einem Fahrzeug, an dem die Kamera angeordnet ist) und bekanntem 3D- Verlauf ergibt sich ein jeweiliger Fußpunkt der Segmente 3 im Bild.
Anschließend wird eine Höhe jedes Segments 3 geschätzt, so dass jedes Segment 3 durch eine zweidimensionale Position eines Fußpunkts und seine Höhe charakterisiert wird.
Die Schätzung der Höhe kann am einfachsten durch histogrammbasierte Auswertung aller 3D-Punkte im Bereich des Segments erfolgen. Dieser Schritt kann durch dynamische Programmierung gelöst werden.
Bereiche, die keine Segmente 3 aufweisen, sind solche, in denen von der Freiraumanalyse keine Objekte gefunden wurden.
Es können mehrere Bilder sequentiell aufgenommen und verarbeitet werden, wobei aus Veränderungen in der Tiefenkarte und im Disparitätsbild Bewegungsinformationen extrahiert und den Segmenten 3 zugeordnet werden können. Auf diese Weise können auch bewegte Szenen repräsentiert werden und beispielsweise zur Prognose einer zu erwartenden Bewegung der Objekte 4.1 bis 4.6 verwendet werden. Bei dieser Art von Bewegungsverfolgung spricht man auch von Tracking. Dabei kann zur Bestimmung der Bewegung der Segmente 3 eine Fahrzeug-Eigenbewegung ermittelt und zur Kompensation herangezogen werden. Die Kompaktheit und Robustheit der Segmente 3 resultiert aus der Integration vieler Pixel im Bereich des Segments 3 und - bei der Tracking-Variante - aus der zusätzlichen Integration über die Zeit.
Die Zugehörigkeit jedes der Segmente 3 zu einem der Objekte 4.1 bis 4.6 kann ebenfalls mit den übrigen Informationen zu jedem Segment gespeichert sein. Dies ist jedoch nicht zwingend erforderlich. Die Bewegungsinformationen können beispielsweise durch Integration des optischen Flusses gewonnen werden, so dass sich für jedes der Segmente 3 eine reale Bewegung schätzen lässt. Entsprechende Verfahren sind z. B. aus Arbeiten zur 6D-Vision, welche in der DE 102005008131 A1 veröffentlicht sind, bekannt. Diese Bewegungsinformation vereinfacht weiter die Gruppierung zu Objekten, da auf kompatible Bewegungen geprüft werden kann.
Die Position des Fußpunkts, die Höhe und die Bewegungsinformation des Segments 3 können mittels Scene Flow ermittelt werden. Beim Scene Flow handelt es sich um eine Klasse von Verfahren, die aus mindestens 2 aufeinander folgenden Stereobildpaaren versucht, für möglichst jeden Bildpunkt die korrekte Bewegung im Raum plus seine SD- Position zu ermitteln; siehe hierzu [Sundar Vedulay, Simon Bakery, Peter Randeryz, Robert Collinsy, and Takeo Kanade, "Three-Dimensional Scene Flow", Appeared in the 7th International Conference on Computer Vision, Corfu, Greece, September 1999.]
Auf der Basis der identifizierten Segmente 3 können Informationen für ein Fahrerassistenzsystem in einem Fahrzeug generiert werden, an dem die Kameras angeordnet sind.
Beispielsweise kann eine verbleibende Zeit bis zur Kollision des Fahrzeugs mit einem durch Segmente 3 gebildeten Objekt 4.1 bis 4.6 geschätzt werden.
Weiter kann ein Fahrkorridor 5 in den hindernisfreien Bereich gelegt werden, der vom Fahrzeug benutzt werden soll, wobei ein seitlicher Abstand mindestens eines der Objekte 4.1 bis 4.6 zum Fahrkorridor 5 ermittelt wird.
Ebenso können kritische, insbesondere bewegte Objekte 4.1 bis 4.6 zur Unterstützung eines Abbiegeassistenzsystems und/oder einer automatische Fahrlichtschaltung und/oder eines Fußgängerschutzsystems und/oder eines Notbremssystems identifiziert werden.
Informationen weiterer Sensoren können mit den Informationen zur Unterstützung des Fahrerassistenzsystems, die den Segmenten 3 zugeordnet sind, kombiniert werden (Sensorfusion). Insbesondere kommen hierfür aktive Sensoren, wie zum Beispiel ein LIDAR, in Frage. Die Breite der Segmente 3 kann beispielsweise auf fünf Bildpunkte gesetzt werden. Für ein Bild mit VGA-Auflösung ergeben sich dann maximal 640/5=128 Segmente, die durch Entfernung und Höhe eindeutig beschrieben sind. Die Segmente 3 haben eindeutige Nachbarschaftsbeziehungen, wodurch sie sich sehr einfach zu Objekten 4.1 bis 4.6 gruppieren lassen. Im einfachsten Fall sind zu jedem Segment 3 nur Entfernung und Höhe zu übertragen, bei bekannter Breite des Segments 3 ergibt sich ein Winkel (Spalten im Bild) aus einem Index.
Das Entfernungsbild kann mittels eines beliebigen Sensorsystems über horizontalem und vertikalem Winkel ermittelt werden, wobei aus dem Entfernungsbild die Tiefenkarte der Umgebung bestimmt wird.
Insbesondere können jeweils zwei Bilder der Umgebung (1) mittels je einer Kamera aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt werden, wobei aus den ermittelten Disparitäten das Entfernungsbild und die Tiefenkarte bestimmt werden.
Ebenso kann als Sensorsystem ein Photomischdetektor und/oder eine dreidimensionale Kamera und/oder ein Lidar und/oder ein Radar verwendet werden.
Bezugszeichenliste
1 Umgebung
2 Freiraumbegrenzungslinie
3 Segment 4.1 bis 4.6 Objekt 5 Fahrkorridor

Claims

Patentansprüche
1. Verfahren zur Objektdetektion, bei dem mittels eines Sensorsystems ein Entfernungsbild über horizontalem und vertikalem Winkel ermittelt wird, wobei aus dem Entfernungsbild eine Tiefenkarte einer Umgebung (1) bestimmt wird, dadurch gekennzeichnet, dass im Entfernungsbild eine Freiraumbegrenzungslinie (2) identifiziert wird, die einen hindernisfreien Bereich der Umgebung (1) umgrenzt, wobei die Tiefenkarte außerhalb und entlang der Freiraumbegrenzungslinie (1 ) segmentiert wird, indem Segmente (3) gleicher Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Ebene gebildet werden, wobei eine Höhe jedes Segments (3) als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts (4.1 bis 4.6) geschätzt wird, so dass jedes Segment (3) durch eine zweidimensionale Position eines Fußpunkts und seine Höhe charakterisiert wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass jeweils zwei Bilder der Umgebung (1) mittels je einer Kamera aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt wird, wobei aus den ermittelten Disparitäten das Entfernungsbild und die Tiefenkarte bestimmt werden.
3. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als Sensorsystem ein Photomischdetektor und/oder eine dreidimensionale Kamera und/oder ein Lidar und/oder ein Radar verwendet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass mehrere Entfernungsbilder sequentiell ermittelt und verarbeitet werden, wobei aus Veränderungen in der Tiefenkarte Bewegungsinformationen extrahiert und den Segmenten (3) zugeordnet werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Bewegungsinformationen durch Integration des optischen Flusses gewonnen werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Zugehörigkeit der Segmente (3) zu einem der Objekte (4.1 bis 4.6) bestimmt und die Segmente (3) mit Informationen über ihre Zugehörigkeit zu einem der Objekte (4.1 bis 4.6) versehen werden.
7. Verfahren nach einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass die Position des Fußpunkts, die Höhe und die Bewegungsinformation des Segments (3) mittels Scene Flow ermittelt werden.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Höhe des Segments (3) mittels histogrammbasierter Auswertung aller dreidimensionalen Punkte im Bereich des Segments (3) durchgeführt wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf der Basis der identifizierten Segmente (3) Informationen für ein Fahrerassistenzsystem in einem Fahrzeug generiert werden, an dem Kameras zur Aufnahme der Bilder angeordnet sind.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass eine verbleibende Zeit bis zur Kollision des Fahrzeugs mit einem durch Segmente (3) gebildeten Objekt (4.1 bis 4.6) geschätzt wird.
11. Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass ein Fahrkorridor (5) in den hindernisfreien Bereich gelegt wird, wobei ein seitlicher Abstand mindestens eines der Objekte (4.1 bis 4.6) zum Fahrkorridor (5) ermittelt wird.
12. Verfahren nach einem der Ansprüche 9 bis 11 , dadurch gekennzeichnet, dass kritische Objekte (4.1 bis 4.6) zur Unterstützung eines Abbiegeassistenzsystems und/oder einer automatischen Fahrlichtschaltung und/oder eines Fußgängerschutzsystems und/oder eines Notbremssystems identifiziert werden und/oder ein Fahrer beim Befahren enger Fahrspuren unterstützt wird.
13. Verfahren nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass Informationen weiterer Sensoren mit den Segmenten (3) zugeordneten Informationen zur Unterstützung des Fahrerassistenzsystems kombiniert werden.
PCT/EP2010/000671 2009-02-16 2010-02-04 Verfahren zur objektdetektion WO2010091818A2 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201080007837.9A CN102317954B (zh) 2009-02-16 2010-02-04 检测对象的方法
US13/201,241 US8548229B2 (en) 2009-02-16 2010-02-04 Method for detecting objects
EP10703018A EP2396746A2 (de) 2009-02-16 2010-02-04 Verfahren zur objektdetektion

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009009047.9 2009-02-16
DE102009009047A DE102009009047A1 (de) 2009-02-16 2009-02-16 Verfahren zur Objektdetektion

Publications (2)

Publication Number Publication Date
WO2010091818A2 true WO2010091818A2 (de) 2010-08-19
WO2010091818A3 WO2010091818A3 (de) 2011-10-20

Family

ID=42338731

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/000671 WO2010091818A2 (de) 2009-02-16 2010-02-04 Verfahren zur objektdetektion

Country Status (5)

Country Link
US (1) US8548229B2 (de)
EP (1) EP2396746A2 (de)
CN (1) CN102317954B (de)
DE (1) DE102009009047A1 (de)
WO (1) WO2010091818A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013029722A3 (de) * 2011-08-30 2013-06-20 Daimler Ag Verfahren zur umgebungsrepräsentation
US11410427B2 (en) 2016-09-13 2022-08-09 Arriver Software Ab Vision system and method for a motor vehicle

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10776635B2 (en) 2010-09-21 2020-09-15 Mobileye Vision Technologies Ltd. Monocular cued detection of three-dimensional structures from depth images
JP5316572B2 (ja) * 2011-03-28 2013-10-16 トヨタ自動車株式会社 物体認識装置
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
DE102012000459A1 (de) 2012-01-13 2012-07-12 Daimler Ag Verfahren zur Objektdetektion
US20150022664A1 (en) 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
US8768007B2 (en) 2012-03-26 2014-07-01 Tk Holdings Inc. Method of filtering an image
US8824733B2 (en) 2012-03-26 2014-09-02 Tk Holdings Inc. Range-cued object segmentation system and method
CN103390164B (zh) * 2012-05-10 2017-03-29 南京理工大学 基于深度图像的对象检测方法及其实现装置
TWI496090B (zh) * 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
US9349058B2 (en) 2012-10-31 2016-05-24 Tk Holdings, Inc. Vehicular path sensing system and method
DE102012021617A1 (de) 2012-11-06 2013-05-16 Daimler Ag Verfahren zur Objektdetektion
US20140139632A1 (en) * 2012-11-21 2014-05-22 Lsi Corporation Depth imaging method and apparatus with adaptive illumination of an object of interest
CN103871042B (zh) * 2012-12-12 2016-12-07 株式会社理光 基于视差图的视差方向上连续型物体检测方法和装置
WO2014152470A2 (en) 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
CN104723953A (zh) * 2013-12-18 2015-06-24 青岛盛嘉信息科技有限公司 一种行人检测装置
GB201407643D0 (en) * 2014-04-30 2014-06-11 Tomtom Global Content Bv Improved positioning relatie to a digital map for assisted and automated driving operations
CN108271408B (zh) 2015-04-01 2020-12-04 瓦亚视觉有限公司 使用被动和主动测量生成场景的三维地图
US9928430B2 (en) * 2015-04-10 2018-03-27 GM Global Technology Operations LLC Dynamic stixel estimation using a single moving camera
JP7066607B2 (ja) 2015-08-03 2022-05-13 トムトム グローバル コンテント ベスローテン フエンノートシャップ ローカライゼーション基準データを生成及び使用する方法及びシステム
EP3324359B1 (de) 2015-08-21 2019-10-02 Panasonic Intellectual Property Management Co., Ltd. Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
US9761000B2 (en) * 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
US10482331B2 (en) * 2015-11-20 2019-11-19 GM Global Technology Operations LLC Stixel estimation methods and systems
CN106909141A (zh) * 2015-12-23 2017-06-30 北京机电工程研究所 障碍物探测定位装置及避障系统
KR101795270B1 (ko) 2016-06-09 2017-11-07 현대자동차주식회사 장애물의 지면경계 정보를 이용한 물체 측면 검출 방법 및 장치
CN105974938B (zh) * 2016-06-16 2023-10-03 零度智控（北京）智能科技有限公司 避障方法、装置、载体及无人机
US10321114B2 (en) * 2016-08-04 2019-06-11 Google Llc Testing 3D imaging systems
US10535142B2 (en) 2017-01-10 2020-01-14 Electronics And Telecommunication Research Institute Method and apparatus for accelerating foreground and background separation in object detection using stereo camera
US10445928B2 (en) 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
JP6970577B2 (ja) * 2017-09-29 2021-11-24 株式会社デンソー 周辺監視装置および周辺監視方法
DE102017123984A1 (de) 2017-10-16 2017-11-30 FEV Europe GmbH Fahrerassistenzsystem mit einem Nanodraht zur Erfassung eines Objektes in einem Umfeld eines Fahrzeugs
DE102017123980A1 (de) 2017-10-16 2017-11-30 FEV Europe GmbH Fahrerassistenzsystem mit einer frequenzgesteuerten Ausrichtung eines Senders zur Erfassung eines Objektes in einem Umfeld eines Fahrzeugs
DE102018202244A1 (de) * 2018-02-14 2019-08-14 Robert Bosch Gmbh Verfahren zur Abbildung der Umgebung eines Fahrzeugs
DE102018202753A1 (de) 2018-02-23 2019-08-29 Audi Ag Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt
DE102018114987A1 (de) 2018-06-21 2018-08-09 FEV Europe GmbH Fahrerassistenzsystem zur Bestimmung einer Farbe eines Objektes in einer Fahrzeugumgebung
DE102018005969A1 (de) 2018-07-27 2020-01-30 Daimler Ag Verfahren zum Betreiben eines Fahrerassistenzsvstems mit zwei Erfassungseinrichtungen
DE102018214875A1 (de) * 2018-08-31 2020-03-05 Audi Ag Verfahren und Anordnung zum Erzeugen einer Umgebungsrepräsentation eines Fahrzeugs und Fahrzeug mit einer solchen Anordnung
DE102018128538A1 (de) 2018-11-14 2019-01-24 FEV Europe GmbH Fahrerassistenzsystem mit einem Sender mit einer frequenzgesteuerten Abstrahlrichtung und einem Konverter zur Frequenzangleichung
DE102019107310A1 (de) 2019-03-21 2019-06-19 FEV Europe GmbH Fahrerassistenzsystem zur Erkennung fremder Signale
DE102019211582A1 (de) * 2019-08-01 2021-02-04 Robert Bosch Gmbh Verfahren zum Erstellen einer Höhenkarte
CN110659578A (zh) * 2019-08-26 2020-01-07 中国电子科技集团公司电子科学研究院 基于检测跟踪技术的客流统计方法、系统及设备
US11669092B2 (en) * 2019-08-29 2023-06-06 Rockwell Automation Technologies, Inc. Time of flight system and method for safety-rated collision avoidance
EP3882813A1 (de) 2020-03-20 2021-09-22 Aptiv Technologies Limited Verfahren zur erzeugung eines dynamischen belegungsrasters
EP3905105A1 (de) 2020-04-27 2021-11-03 Aptiv Technologies Limited Verfahren zur bestimmung eines kollisionsfreien raumes
EP3905106A1 (de) 2020-04-27 2021-11-03 Aptiv Technologies Limited Verfahren zur bestimmung einer befahrbaren fläche
DE102020208068A1 (de) 2020-06-30 2021-12-30 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung eines in einem Überwachungsbereich erscheinenden Objekts, Computerprogramm, Speichermedium und Steuereinrichtung
DE102020208066B3 (de) 2020-06-30 2021-12-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren Objekterkennung Computerprogramm, Speichermedium und Steuereinrichtung
EP4185888A1 (de) 2020-07-21 2023-05-31 Leddartech Inc. Strahllenkungsvorrichtung, insbesondere für lidar-systeme
CA3198326A1 (en) 2020-07-21 2021-10-06 Leddartech Inc. Beam-steering device particularly for lidar systems
US11402510B2 (en) 2020-07-21 2022-08-02 Leddartech Inc. Systems and methods for wide-angle LiDAR using non-uniform magnification optics
DE102020210816A1 (de) * 2020-08-27 2022-03-03 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Erkennung dreidimensionaler Objekte, Computerprogramm, Maschinenlesbares Speichermedium, Steuergerät, Fahrzeug und Videoüberwachungssystem
EP4009228A1 (de) * 2020-12-02 2022-06-08 Aptiv Technologies Limited Verfahren zur bestimmung eines semantischen freiraums
DE102022115447A1 (de) 2022-06-21 2023-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Assistenzsystem zum Unterstützen einer Fahrzeugführung basierend auf einem Fahrschlauch und einer Begrenzungsschätzung und Kraftfahrzeug

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9913687D0 (en) * 1999-06-11 1999-08-11 Canon Kk Image processing apparatus
CN1343551A (zh) * 2000-09-21 2002-04-10 上海大学 机器视觉分层模块结构模型
JP5030588B2 (ja) * 2003-08-21 2012-09-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ２つの画像を組み合わせるための装置及び方法
KR101072950B1 (ko) * 2004-07-30 2011-10-17 파나소닉 전공 주식회사 개체 검출기 및 동반 입장 검출 디바이스
ATE392628T1 (de) * 2004-09-17 2008-05-15 Matsushita Electric Works Ltd Reichweitenbildsensor
DE102005008131A1 (de) 2005-01-31 2006-08-03 Daimlerchrysler Ag Objektdetektion auf Bildpunktebene in digitalen Bildsequenzen
JP4797794B2 (ja) 2006-05-24 2011-10-19 日産自動車株式会社 歩行者検出装置および歩行者検出方法
US8385599B2 (en) * 2008-10-10 2013-02-26 Sri International System and method of detecting objects

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
DAVID PFEIFFER ET AL: "Efficient representation of traffic scenes by means of dynamic stixels", INTELLIGENT VEHICLES SYMPOSIUM (IV), 2010 IEEE, IEEE, PISCATAWAY, NJ, USA, 21. Juni 2010 (2010-06-21), Seiten 217-224, XP031732275, ISBN: 978-1-4244-7866-8 *
HERNÃ Â N BADINO ET AL: "The Stixel World - A Compact Medium Level Representation of the 3D-World", 9. September 2009 (2009-09-09), PATTERN RECOGNITION : 31ST DAGM SYMPOSIUM, JENA, GERMANY, SEPTEMBER 9-11, 2009 ; PROCEEDINGS; [LECTURE NOTES IN COMPUTER SCIENCE ; 5748], SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 51 - 60, XP019127048, ISBN: 978-3-642-03797-9 das ganze Dokument *
L. Vlacic: "Intelligent Vehicle Technologies", 1. Januar 2001 (2001-01-01), INTELLIGENT VEHICLE TECHNOLOGIES: THEORY AND APPLICATIONS, BUTTERWORTH-HEINEMANN, OXFORD, PAGE(S) 131 - 188, XP008103738, ISBN: 978-0-7506-5093-9 Seiten 131-188, Seite 148, Absatz 1 - Seite 152, Absatz 4 *
MIURA J ET AL: "Modeling obstacles and free spaces for a mobile robot using stereo vision with uncertainty", ROBOTICS AND AUTOMATION, 1994. PROCEEDINGS., 1994 IEEE INTERNATIONAL C ONFERENCE ON SAN DIEGO, CA, USA 8-13 MAY 1994, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, 8. Mai 1994 (1994-05-08), Seiten 3368-3373, XP010097533, DOI: DOI:10.1109/ROBOT.1994.351052 ISBN: 978-0-8186-5330-8 *
SCHANZ A ET AL: "Autonomous parking in subterranean garages -a look at the position estimation", INTELLIGENT VEHICLES SYMPOSIUM, 2003. PROCEEDINGS. IEEE JUNE 9-11, 2003, PISCATAWAY, NJ, USA,IEEE, 9. Juni 2003 (2003-06-09), Seiten 253-258, XP010645884, ISBN: 978-0-7803-7848-3 *
SOLAN L: "The And/or Rule", 1. Januar 1993 (1993-01-01), THE LANGUAGE OF JUDGES, UNIVERSITY OF CHICAGO PRESS, US, PAGE(S) 45 - 54, XP008121481, ISBN: 978-0-226-76791-8 zitiert zum zeigen, dass diese Ansprüche undeutlich sind; das ganze Dokument *
SUSUMU KUBOTA ET AL: "A Global Optimization Algorithm for Real-Time On-Board Stereo Obstacle Detection Systems", INTELLIGENT VEHICLES SYMPOSIUM, 2007 IEEE, IEEE, PI, 1. Juni 2007 (2007-06-01), Seiten 7-12, XP031126913, ISBN: 978-1-4244-1067-5 *
WEDEL A ET AL: "B-Spline Modeling of Road Surfaces With an Application to Free-Space Estimation", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, IEEE, PISCATAWAY, NJ, USA, Bd. 10, Nr. 4, 1. Dezember 2009 (2009-12-01), Seiten 572-583, XP011282306, ISSN: 1524-9050, DOI: DOI:10.1109/TITS.2009.2027223 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013029722A3 (de) * 2011-08-30 2013-06-20 Daimler Ag Verfahren zur umgebungsrepräsentation
US9042639B2 (en) 2011-08-30 2015-05-26 Daimler Ag Method for representing surroundings
US11410427B2 (en) 2016-09-13 2022-08-09 Arriver Software Ab Vision system and method for a motor vehicle

Also Published As

Publication number Publication date
EP2396746A2 (de) 2011-12-21
DE102009009047A1 (de) 2010-08-19
CN102317954A (zh) 2012-01-11
CN102317954B (zh) 2014-09-24
US20110311108A1 (en) 2011-12-22
WO2010091818A3 (de) 2011-10-20
US8548229B2 (en) 2013-10-01

Similar Documents

Publication Publication Date Title
WO2010091818A2 (de) Verfahren zur objektdetektion
DE60308782T2 (de) Vorrichtung und Methode zur Hinderniserkennung
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102007002419B4 (de) Fahrzeugumgebungsüberwachungsgerät, -verfahren und -programm
DE69937699T2 (de) Vorrichtung zum Überwachen der Umgebung eines Fahrzeuges
DE10030421B4 (de) Fahrzeugumgebungsüberwachungssystem
DE10251880B4 (de) Bilderkennungsvorrichtung
EP2394234B1 (de) Verfahren und vorrichtung zum ermitteln einer geltenden fahrspurmarkierung
DE102005056645B4 (de) Fahrzeugumgebungsüberwachungsvorrichtung
WO2013029722A2 (de) Verfahren zur umgebungsrepräsentation
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102012101014A1 (de) Fahrzeugdetektionsvorrichtung
DE112018007484T5 (de) Hindernis-Detektionsvorrichtung, automatische Bremsvorrichtung unter Verwendung einer Hindernis-Detektionsvorrichtung, Hindernis-Detektionsverfahren und automatisches Bremsverfahren unter Verwendung eines Hindernis-Detektionsverfahrens
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
EP2707862B1 (de) Abstandsbestimmung mittels eines kamerasensors
DE102012103908A1 (de) Umgebungserkennungsvorrichtung und Umgebungserkennungsverfahren
DE102014112820A1 (de) Fahrzeugaußenumgebungerkennungsvorrichtung
DE102012000459A1 (de) Verfahren zur Objektdetektion
DE112018007485T5 (de) Straßenoberflächen-Detektionsvorrichtung, Bildanzeige-Vorrichtung unter Verwendung einer Straßenoberflächen-Detektionsvorrichtung, Hindernis-Detektionsvorrichtung unter Nutzung einer Straßenoberflächen-Detektionsvorrichtung, Straßenoberflächen-Detektionsverfahren, Bildanzeige-Verfahren unter Verwendung eines Straßenoberflächen-Detektionsverfahrens, und Hindernis-Detektionsverfahren unter Nutzung eines Straßenoberflächen-Detektionsverfahrens
EP2023265A1 (de) Verfahren für eine Erkennung eines Gegenstandes
DE102018121008A1 (de) Kreuzverkehrserfassung unter verwendung von kameras
DE102009022278A1 (de) Verfahren zur Ermittlung eines hindernisfreien Raums
WO2018059630A1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera
DE112021000482T5 (de) Erkennung von fremdkörpern in einem fahrzeugweg
EP3520025A1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera mittels homographien

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080007837.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10703018

Country of ref document: EP

Kind code of ref document: A2

REEP Request for entry into the european phase

Ref document number: 2010703018

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010703018

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13201241

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE