WO2014108130A1 - Verfahren zur bestimmung von tiefenkarten aus stereobildern mit verbesserter tiefenauflösung in einem bereich - Google Patents

Verfahren zur bestimmung von tiefenkarten aus stereobildern mit verbesserter tiefenauflösung in einem bereich Download PDF

Info

Publication number
WO2014108130A1
WO2014108130A1 PCT/DE2014/200001 DE2014200001W WO2014108130A1 WO 2014108130 A1 WO2014108130 A1 WO 2014108130A1 DE 2014200001 W DE2014200001 W DE 2014200001W WO 2014108130 A1 WO2014108130 A1 WO 2014108130A1
Authority
WO
WIPO (PCT)
Prior art keywords
disparities
disparity
determined
stereo
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/DE2014/200001
Other languages
English (en)
French (fr)
Inventor
Frederik Lange
Robert STÜCK
Christian Exner
Alexander Bachmann
Gregory Baratoff
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE112014000155.4T priority Critical patent/DE112014000155B4/de
Priority to US14/655,149 priority patent/US9704253B2/en
Publication of WO2014108130A1 publication Critical patent/WO2014108130A1/de
Anticipated expiration legal-status Critical
Priority to US15/475,847 priority patent/US10223802B2/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the invention relates to a method for determining a depth map of stereo images.
  • a depth image is one of many features of a
  • Different correlation methods can be used to determine a depth map of stereo images.
  • a disparity denotes the distance or displacement of the same image objects between the left and right stereo image.
  • a calibrated stereo camera which is assumed below
  • only the horizontal distances are to be considered, ie the distances in a row.
  • the algorithms from the second group have proven to be particularly suitable. Especially SGM
  • Algorithm for use in real time systems. It offers both a high quality of the depth map and compared to most other algorithms
  • SGM is state of the art and is widely used in the field.
  • the disparities are determined as integer shifts of the pixels in the image.
  • a comparison operator is used for each pixel and disparity in a first step.
  • the census operator has proved to be a particularly robust comparison operator.
  • the right image is the reference frame and (x, y) an image coordinate.
  • the census operator is determined for each pixel P_r (x, y) in the right image.
  • the census operator is determined in the left picture.
  • SGM performs an optimization that determines a disparity per pixel as a result.
  • SGM uses an interpolation of internal costs to determine that for integer and evenly distributed
  • Disparity values a sub-pixel disparity.
  • the accuracy of the depth measurement is therefore dependent on the depth. In the near range one achieves a higher accuracy than in the far range. Given a maximum disparity d_max, the minimum determinable distance z_min also depends on Cl.
  • the cost volume is here in the dimension d the
  • the cost volume contains 2 or 4 times more disparities.
  • the disparities can be locally refined.
  • local correlation methods are used on the two images.
  • these methods only work in image areas with a high contrast, ie. H. at edges, etc. In practice, it is therefore unrealistic with such a method
  • CVPR 2010 describes a method in which the disparities in the near range are determined with a lower resolution than in the far range.
  • Reference block is determined by sequences of
  • Resolving level is excluded from the search. From the location of the determined extreme value is the
  • Position of the associated object point determined in a conventional manner.
  • Object of the present invention is to provide a method for determining a depth map of stereo images, which over a large distance range a better
  • a basic idea of the invention is not to scan all disparities more finely, but only for areas in which the accuracy is to be increased.
  • An alternative basic idea of the invention is to generate a reference image and a search image from a stereo image pair, wherein the resolution (in particular horizontal) of the reference image is reduced by an integer factor k compared to that of the search image. This will be a
  • Depth map of stereo images provides that the disparity is determined from a discrete set of predetermined disparity values.
  • the predetermined disparity values are distributed over the entire predetermined disparity value range and this distribution points between adjacent ones
  • Disparity values at least two different distances are disparity values at least two different distances. As disparity here is the shift of the same
  • the disparity is preferably determined pixel-wise (that is to say with reference to a pixel of the output image, for example the right-hand stereo image).
  • the value of the determined disparity may be an integer pixel value, but preferably the set of predefined disparity values also contains sub-pixel values, such as e.g. Shifts by half or quarter pixels.
  • Disparities are determined from at least one stereo image pair, wherein the
  • predetermined discrete disparity values are not uniformly distributed over the entire disparity value range.
  • the advantage of the method according to the invention is seen in the fact that the gradation of the disparity values and thus the depth resolution can be adapted to the distance range.
  • the intervals between two adjacent disparity values in which disparities are determined for a long range are smaller than the remaining distances between two adjacent disparity values. In the far range, the shifts or disparities are small, which limits the depth resolution.
  • Displacement values, in particular in the sub-pixel range, in the far range, the depth resolution can be specifically improved here.
  • a remote area may be at least 10 meters away from the stereo camera, with which the stereo images
  • a close range may be at most 5 meters away from the stereo camera.
  • comparison / similarity costs for disparity in the stereo image pair are determined by a suitable comparison operator, advantageously by the census operator.
  • the disparity value for a pixel can then be determined to be the one with the lowest comparison / similarity cost.
  • comparison / similarity costs for sub-pixel disparities are determined from the comparison / similarity cost of the adjacent integer disparities by interpolation and the comparison / similarity cost of the integer disparities by an appropriate one
  • Comparison operator determined from the stereo image pair.
  • the disparities are determined by means of a global or semiglobal matching or
  • a reference image and a search image are generated from a stereo image pair, wherein the resolution (in particular horizontal) of the
  • Reference image is reduced by an integer factor k compared to that of the search image. Disparity values are determined with an accuracy of 1 / k pixels based on the reference and the search image.
  • the invention further comprises a device comprising a stereo camera for recording and a determination unit, wherein the determination unit for the evaluation of the
  • inventive method is formed.
  • the disparities for a pixel in the cost volume correspond to a set of possible labels for a pixel.
  • SGM calculates the assignment of the labels to the pixels. For each label, the cost of assigning the label to the pixel is determined. At the end, the label with the lowest cost is selected.
  • the labels are uniformly distributed across the disparity.
  • the intervals over the disparity are no longer uniform.
  • the intervals of the labels (or distances between two adjacent disparity values) are in principle freely selectable. Effects due to undersampling or oversampling can be taken into account when choosing the intervals. Alternatively, the input images can also be filtered accordingly. This is especially important in subsampling.
  • the costs for the disparities can be as in Stefan K.
  • Costs can only be determined for integer pixel indexes.
  • Each disparity here corresponds to a shift of one pixel in the image.
  • the images are used at 512 pixels per line. This image is generated from the original image at a resolution of 1024 pixels per line by filtering followed by sub-sampling.
  • the left image is used with 1024 pixels per line.
  • This image is generated from the original image with a resolution of 1024 pixels per line by filtering. Only every second line is calculated.
  • Disparities of 0.5, 1.5, etc. can be determined. This was taken into account in the choice of the intervals and the resolution of the disparity. The maximum disparity here is also due to the intervals between adjacent ones
  • Disparity value ranges specified as 63 Thus, the same distance range can be displayed.
  • the output is recalculated to a neutral format.
  • Fig. 1 Exemplary representation of the cost volume and assignment of the label. Above: Uniform Sampling, Below: Non-Uniform Sampling according to the Invention;
  • Fig. 2 Distances corresponding to disparities in the cost volume. Above: Uniform Sampling Bottom: Non-uniform sampling according to the invention.
  • Fig. 3 assignment of the label to the disparities and Fig. 4: Comparison measurement between uniform and non-uniform sampling.
  • the xy plane represents the pixel plane in the image.
  • the d axis corresponds to the disparity.
  • Each voxel (volume element x-y-d) contains one
  • Cost value for a label is the uniform distribution of the labels to the disparities. Below is the non-uniform distribution with three different sampling levels.
  • Figure 2 illustrates the distances for the disparity labels.
  • the ordinate indicates a direction perpendicular to the optical axis of the stereo camera.
  • Fig. 4 shows the results in real measurements. The test was run on a target with a vehicle.
  • Plotted is the measured distance in meters over the reference distance (actual distance) in meters. The distance to the target was exactly determined with a reference sensor (solid line). The trace without highlighting the Measuring points show the measurements of SGM with uniforms
  • the measured distance is smaller than the actual one, and after the steps, the measured distance is larger than the actual distance. This is mainly because of the uniform scanning for large
  • the measuring curve with highlighting of the measuring points shows the

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung einer Tiefenkarte aus Stereobildern. Die Disparität für einen Pixel wird aus einer diskreten Menge von vorgegebenen Disparitätswerten bestimmt wird und diese Disparitätswerte über den gesamten vorgegebenen Disparitätswertebereich verteilt sind und diese Verteilung zwischen benachbarten Disparitätswerten mindestens zwei unterschiedliche Abstände aufweist. Ein Vorteil des erfindungsgemäßen Verfahrens liegt darin, dass mit dem Verfahren nur die Disparitäten genauer berechnet werden können, für die auch eine genauere Bestimmung notwendig ist.

Description

Verfahren zur Bestimmung von Tiefenkarten aus Stereobildern mit verbesserter Tiefenauflösung in einem Bereich
Die Erfindung betrifft ein Verfahren zur Bestimmung einer Tiefenkarte aus Stereobildern.
Bei Fahrerassistenzsystemen mit einer Stereokamera werden die Stereobilder zur Berechnung eines Tiefenbildes verwendet. Ein Tiefenbild ist für viele Funktionen eines
Fahrerassistenzsystems sehr hilfreich, hierzu gehört die
Kollisionsvermeidung, das Folgen von anderen Fahrzeugen, etc.
Zur Bestimmung einer Tiefenkarte aus Stereobildern können verschiedene Korrelationsverfahren verwendet werden.
Diese Algorithmen unterscheiden sich hinsichtlich der
Qualität und Dichte der berechneten Tiefenkarte. Zusätzlich variiert die benötigte Rechenleistung und der benötigte
Arbeitsspeicher für die Berechnungen. Es gibt grundsätzlich folgende Klassen von
Korrelationsverfahren :
1. Lokale Korrelationsverfahren
2. Globale oder Semi-Globale Verfahren mit festgelegten
Disparitäten/Labels (Diskrete Optimierungsverfahren)
3. Globale Verfahren mit kontinuierlichen Disparitäten
(Kontinuierliche Optimierungsverfahren, z. B. Konvexe
Optimierung) Auf die Vor- und Nachteile der einzelnen Gruppen und
Verfahren wird hier nicht weiter eingegangen.
Eine Disparität bezeichnet den Abstand bzw. die Verschiebung gleicher Bildobjekte zwischen linkem und rechtem Stereobild. Bei einer kalibrierten Stereokamera (wovon im Folgenden ausgegangen wird) sind nur die horizontalen Abstände zu berücksichtigen, also die Abstände in einer Zeile. Für den praktischen Einsatz haben sich die Algorithmen aus der 2. Gruppe als besonders geeignet erwiesen. Besonders SGM
(Semi Global Matching) gilt als der praktikabelste
Algorithmus für den Einsatz in Echt zeitsystemen . Er bietet sowohl eine hohe Qualität der Tiefenkarte als auch im Vergleich zu den meisten anderen Algorithmen einen
geringen Bedarf an Rechenleistung und Arbeitsspeicher. Auf einem FPGA (Field Programmable Gate Array) einer aktuell verfügbaren Fahrerassistenzkamera läuft er in Echtzeit mit ca. 16 FPS (Frames per second also Bildern/Sekunde) . Eine Berechnung in Echtzeit auf einem Signalprozessor ist auf absehbare Zeit nicht realisierbar.
De facto gibt es für den Einsatz von SGM aktuell keine
Alternative, die nicht erhebliche Nachteile mit sich bringen würden. SGM ist Stand der Technik und ist im Einsatz weit verbreitet .
Bei den Algorithmen der 2. Kategorie und insbesondere SGM werden die Disparitäten als ganzzahlige Verschiebungen der Pixel im Bild bestimmt. Dafür wird pro Pixel und Disparität in einem ersten Schritt ein Vergleichsoperator angewendet. In der Praxis und nach Stand der Technik hat sich der Census- Operator als besonders robuster Vergleichsoperator erwiesen.
Angenommen das rechte Bild ist der Referenzframe und (x,y) eine Bildkoordinate. Für jeden Pixel P_r(x,y) im rechten Bild wird der Census-Operator bestimmt. Im linken Bild wird der Census-Operator für die Pixel P_l(x+d,y) mit d=0,..,d_max bestimmt und mit dem Census aus dem rechten Bild verglichen. Es ergibt sich damit ein Kostenmaß C(x,y,d) pro Pixel und Disparität. Für das gesamte Bild ergibt sich damit ein dreidimensionaler Raum, der Kostenvolumen genannt wird.
Basierend auf diesem Kostenvolumen führt SGM eine Optimierung durch, die pro Pixel eine Disparität als Ergebnis bestimmt. SGM bestimmt dabei anhand einer Interpolation der internen Kosten, die für ganzzahlige und gleichmäßig verteilte
Disparitäten vorliegen, zusätzlich zu den ganzzahligen
Disparitätswerten eine sub-Pixel genaue Disparität.
Die Disparität gibt nicht direkt die Entfernung z des nächsten Objektes zur Kamera (z=0) an. Der Zusammenhang ist reziprok: z = Cl * 1/ (d+C2) (1) wobei Cl und C2 Konstanten sind. Bei einer kalibrierten
Stereokamera gilt C2=0.
Cl=f*b hängt bei einer kalibrierten Kamera von folgenden Parametern ab:
f Fokale Länge in Pixeln
b Basisbreite
Die Genauigkeit der Tiefenmessung ist daher von der Tiefe abhängig. Im Nahbereich erzielt man eine höhere Genauigkeit als im Fernbereich. Gegeben eine maximale Disparität d_max hängt auch die minimal bestimmbare Distanz z_min von Cl ab.
Aus den Anforderungen an ein Kamerasystem ist z_min
vorgegeben. Eine minimale, bestimmbare Distanz muss erreicht werden können. In der Praxis hat sich die Genauigkeit im Fernbereich als besonders kritisch herausgestellt. Die Genauigkeit im
Nahbereich ist für den Einsatz in Fahrerassistenzsystemen mehr als ausreichend.
Nach dem Stand der Technik gibt es mehrere Techniken, die Genauigkeit zu erhöhen. Diese werden mit ihren Vor- und
Nachteilen im Folgenden dargestellt:
1. Interpolation der Kosten
Für jeden Pixel wird die von SGM bestimmte Disparität
ausgewählt. Diese Disparität wird unter Betrachtung der
Kosten der benachbarten Disparitäten verfeinert. Dazu kann eine quadratische Interpolation mit Minima-Suche der drei Disparitäten erfolgen. Andere Interpolationsschema (equi- angular fit) sind auch möglich. Details sind in Heiko
Hirschmüller, Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information, in Proceedings of the IEEE Conference on Computer Vision and Pattern
Recognition, 20-26 June 2005, San Diego, CA, USA, Volume 2, pp . 807-814 beschrieben, Verbesserungen finden sich z.B. in Stefan K. Gehrig, Uwe Franke, Improving Stereo Sub-Pixel Accuracy for Long Range Stereo ICCV 2007.
Der Vorteil dieses Verfahrens ist die einfache und
ressourcensparende Implementierung. Nachteilig ist, dass dieses Verfahren oft die Ergebnisse nicht wesentlich
Verbessern kann. Einer der Hauptgründe ist der Effekt vom "Pixel-Locking" , eine Artefaktbildung bei der sub-Pixel Interpolation von Objekten, die durch eine relativ geringe Anzahl an Pixeln im Bild repräsentiert sind. Durch das Pixel- Locking sind bestimmte interpolierte Positionen (wie z.B. Mittelpunkte oder Kantenpunkte der Pixel) überrepräsentiert.
2. Feineres Abtasten der Disparitäten
In Stefan K. Gehrig, Uwe Franke, Improving Stereo Sub-Pixel Accuracy for Long Range Stereo ICCV 2007 wird auch
beschrieben, dass durch feineres Abtasten der Disparitäten die Genauigkeit der Tiefenkarte deutlich verbessert werden kann.
Das Kostenvolumen wird hierbei in die Dimension d der
Disparität feiner aufgelöst, es werden Zwischenschritte mit 0,5 oder 0,25 Disparitäten eingefügt. Die Kosten der
Zwischenschritte werden in dem Beispiel aus den benachbarten Kosten interpoliert. Als Ergebnis enthält das Kostenvolumen damit 2 bzw. 4 mal mehr Disparitäten.
Der Nachteil des feineren Abtastens ist, dass der Bedarf an Ressourcen, also Rechenleistung, Speicher und
Speicherbandbreite, linear mit der Anzahl der Disparitäten steigt .
3. Sub-Pixel Verfeinerung
Ausgehend von einer initialen Disparitätskarte können die Disparitäten lokal verfeinert werden. Dazu werden lokale Korrelationsverfahren auf den beiden Bildern eingesetzt. Diese Verfahren funktionieren allerdings nur in Bildbereichen mit einem hohen Kontrast, d. h. an Kanten, etc. In der Praxis ist es daher unrealistisch mit solchen Verfahren eine
Disparitätskarte dicht zu verfeinern. 4. Hierarchisches Verfeinerungsschema
In Stefan K. Gehrig, Clemens Rabe, Real-time Semi-Global Matching on the CPU, CVPR 2010 ist ein Verfahren beschrieben, bei dem die Disparitäten im Nahbereich mit einer geringeren Auflösung als im Fernbereich bestimmt werden.
Allerdings gilt dies nicht nur für die Disparitäten, sondern auch für die xy-Auflösung der Pixel. Kleinere Objekte im Nahbereich können so eventuell nicht erkannt werden.
In DE 103 10 849 AI wird ein Verfahren zur
photogrammmetrischen Abstands- und/oder Positionsbestimmung gezeigt, welches eine hierarchische Messbereichsanpassung umsetzt. Hierbei werden aus einem ursprünglichen Referenz- und Such-Grauwertbildpaar p neue Paare mit immer stärker reduzierter Auflösung erzeugt.
In allen Auflosungsstufen werden nun Ähnlichkeitsmaße für Referenzbildblöcke mit gleichgroßen Suchbildblöcken bestimmt, wobei die Suchbildblöcke im jeweiligen Such-Grauwertbildpaar jeweils in Zeilenrichtung mit einer Schrittweite von einem Pixel verschoben werden. Die Disparität für einen
Referenzblock wird bestimmt, indem Folgen von
Ähnlichkeitsmaßen für die diesen Referenzblock nach
Extremwerten durchsucht werden, wobei für alle
Auflosungsstufen außer der ursprünglichen Auflosungsstufe jeweils ein Bereich zu Beginn der Folge von
Ähnlichkeitsmaßen, der bereits in der vorhergehenden
Auflosungsstufe erfasst wurde, von der Suche ausgenommen wird. Aus dem Ort des ermittelten Extremwerts wird die
Position des zugehörigen Objektpunktes in an sich bekannter Weise bestimmt.
Nachteilig ist bei diesem lokalen Verfahren der hohe Aufwand bei der Generierung der p Bildpaare mit reduzierter Auflösung und der hohe Iterationsbedarf zur Disparitätsbestimmung. 5. Berechnung von Übersichts- und Lupenkarte
In DE 10 2008 015 535 AI wird beschrieben, dass man eine Übersichtskarte und eine Lupenkarte getrennt berechnen kann. Die Übersichtskarte arbeitet dabei auf der halben Auflösung über den gesamten Bildbereich und die Lupenkarte in der vollen Auflösung, allerdings nur in ein einem variablen
Ausschnitt des Bildes.
Die Nachteile des Verfahrens sind, dass die Lupenkarte nicht für das gesamte Bild vorliegt und dass der Aufwand an
Ressourcen durch die Berechnung der Lupenkarte verdoppelt wird bzw. dass in zwei separaten Schritten zunächst das Gesamtbild mit reduzierter Auflösung und anschließend die Lupenkarte mit erhöhter Auflösung berechnet werden.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Bestimmung einer Tiefenkarte aus Stereobildern anzugeben, welches über einen großen Entfernungsbereich eine bessere
Auflösung bietet, ohne dass dafür die Nachteile der aus dem Stand der Technik bekannten Verfahren in Kauf genommen werden müssen . Ein Ausgangspunkt für das erfindungsgemäße Verfahren ist das unter 2. beschriebene Verfahren, wobei allerdings dessen Nachteile bezüglich der Ressourcen vermieden werden sollen. Wie eingangs beschrieben bestehen die Genauigkeitsprobleme nur in einem einzelnen Bereich, z.B. im Fernbereich.
Eine Grundidee der Erfindung ist, nicht alle Disparitäten feiner abzutasten, sondern nur für Bereiche, bei denen die Genauigkeit erhöht werden soll. Eine alternative Grundidee der Erfindung besteht darin, aus einem Stereobildpaar ein Referenzbild und ein Suchbild zu erzeugen, wobei die Auflösung (insbesondere horizontal) des Referenzbilds um einen ganzzahligen Faktor k verkleinert ist gegenüber der des Suchbilds. Dadurch wird eine
Disparitätsbestimmung mit einer Genauigkeit von 1/k (Pixeln) mittels eines Vergleichs-/Ähnlichkeitsoperators direkt ohne Interpolation möglich. Ein erfindungsgemäßes Verfahren zur Bestimmung einer
Tiefenkarte aus Stereobildern sieht vor, dass die Disparität aus einer diskreten Menge von vorgegebenen Disparitätswerten bestimmt wird. Die vorgegebenen Disparitätswerte sind über den gesamten vorgegebenen Disparitätswertebereich verteilt und diese Verteilung weist zwischen benachbarten
Disparitätswerten mindestens zwei unterschiedliche Abstände auf. Als Disparität wird hier die Verschiebung gleicher
Bildobjekte zwischen linkem und rechtem Stereobild
bezeichnet. Vorteilhaft ist bei einer kalibrierten
Stereokamera nur die Verschiebung in einer Zeile zu
berücksichtigen. Die Disparität wird bevorzugt pixelweise (also bezogen auf einen Pixel des Ausgangsbildes, z.B. des rechten Stereobilds) ermittelt. Der Wert der ermittelten Disparität kann ein ganzzahliger Pixelwert sein, bevorzugt enthält die Menge an vorgegebenen Disparitätswerten aber auch sub-Pixelwerte, wie z.B. Verschiebungen um halbe oder viertel Pixel .
Mit anderen Worten kann das erfindungsgemäße Verfahren folgendermaßen beschrieben werden: Disparitäten werden aus mindestens einem Stereobildpaar bestimmt, wobei die
vorgegebenen möglichen (diskreten) Disparitätswerte nicht uniform über den gesamten Disparitätswertebereich verteilt sind . Der Vorteil des erfindungsgemäßen Verfahrens wird darin gesehen, dass die Abstufung der Disparitätswerte und damit die Tiefenauflösung an den Entfernungsbereich angepasst werden kann.
In einer vorteilhaften Ausführungsform sind die Abstände bzw. Intervalle zwischen zwei benachbarten Disparitätswerten, in denen Disparitäten für einen Fernbereich bestimmt werden, kleiner als die übrigen Abstände zwischen zwei benachbarten Disparitätswerten. Im Fernbereich sind die Verschiebungen bzw. Disparitäten klein, was die Tiefenauflösung begrenzt. Durch eine feinere Verteilung der vorgegebenen
Verschiebungswerte, insbesondere im sub-Pixelbereich, im Fernbereich kann hier die Tiefenauflösung gezielt verbessert werden .
Dies ist für eine Anwendung des Verfahrens in
stereokamerabasierten Fahrerassistenzsystemen besonders vorteilhaft, da hier eine höhere Auflösung im Fernbereich benötigt wird, um weiter entfernt befindliche Objekte besser räumlich auflösen zu können.
Um die insgesamt zu berechnende Anzahl an Disparitäten gleich zu halten und ohne die minimal berechenbare Nah-Grenze zu erhöhen, kann dazu vorteilhaft die Abtastung im Nahbereich verringert werden. Abstände bzw. Intervalle zwischen zwei benachbarten Disparitätswerten, in denen Disparitäten für einen Nahbereich bestimmt werden, können also größer als die übrigen Abstände zwischen zwei benachbarten Disparitätswerten sein (indem die diskreten Disparitätswerte entsprechend verteilt vorgegeben werden) . Ein Fernbereich kann insbesondere mindestens 10 Meter von der Stereokamera entfernt sein, mit der die Stereobilder
aufgenommen werden. Ein Nahbereich kann insbesondere maximal 5 Meter von der Stereokamera entfernt sein.
Vorteilhaft kann zumindest ein Intervall bzw. Abstand
zwischen zwei benachbarten Disparitätswerten eine Länge unterhalb eines Pixels aufweisen (sub-Pixel). Bevorzugt werden Vergleichs-/Ähnlichkeitskosten für eine Disparität in dem Stereo-Bildpaar durch einen geeigneten Vergleichsoperator bestimmt, vorteilhaft durch den Census- Operator. Der Disparitätswert für einen Pixel kann dann als derjenige mit den geringsten Vergleichs-/Ähnlichkeitskosten ermittelt werden.
Vorzugsweise werden Vergleichs-/Ähnlichkeitskosten für subPixel Disparitäten aus dem Vergleichs-/Ähnlichkeitskosten der benachbarten, ganzzahligen Disparitäten durch Interpolation bestimmt werden und die Vergleichs-/Ähnlichkeitskosten der ganzzahligen Disparitäten durch einen geeigneten
Vergleichsoperator aus dem Stereo-Bildpaar bestimmt.
Vorteilhaft werden bei der Vorgabe der Abstände bzw.
Intervalle innerhalb der vorgegebenen Disparitätswertemenge Effekte durch Über- bzw. Unterabtastung berücksichtigt.
In einer bevorzugten Ausführungsform werden die Disparitäten mittels eine globalen oder semiglobalen Matchings bzw.
Korrespondenzverfahrens bestimmt.
Bevorzugt wird zur Ermittlung sämtlicher Disparitäten der Tiefenkarte eines Stereobilds oder auch aller Stereobilder immer dieselbe (nicht uniforme) Disparitätswerteverteilung verwendet .
In einer vorteilhaften Ausführungsform werden aus einem Stereobildpaar ein Referenzbild und ein Suchbild erzeugt, wobei die Auflösung (insbesondere horizontal) des
Referenzbilds um einen ganzzahligen Faktor k verkleinert ist gegenüber der des Suchbilds. Disparitätswerte werden mit einer Genauigkeit von 1/k Pixeln auf Basis des Referenz- und des Suchbilds bestimmt.
Die Erfindung umfasst ferner eine Vorrichtung umfassend eine Stereokamera zur Aufnahme und eine Bestimmungseinheit, wobei die Bestimmungseinheit zur Auswertung von mit der
Stereokamera aufgenommenen Stereobildern gemäß dem
erfindungsgemäßen Verfahren ausgebildet ist.
Prinzipiell entsprechen die Disparitäten für einen Pixel im Kostenvolumen einem Satz von möglichen Labein für einen Pixel. SGM berechnet die Zuweisung der Labels zu den Pixeln. Für jedes Label werden die Kosten der Zuweisung des Labels für den Pixel bestimmt. Am Ende wird das Label mit den geringsten Kosten ausgewählt.
Bei SGM und allen bekannten Verfahren, die feste Label für die Disparitäten verwenden, sind die Label uniform über die Disparität verteilt.
Ein kontinuierlicher Wert, nämlich die Disparität wird damit in durch die Label vorgegebene, uniforme Intervalle
eingeteilt .
Durch das erfindungsgemäße Vorgehen sind die Intervalle über die Disparität nicht mehr uniform. Die Intervalle der Label (bzw. Abstände zwischen zwei benachbarten Disparitätswerten) werden im Prinzip frei wählbar. Effekte durch Unter- oder Überabtastung können bei der Wahl der Intervalle berücksichtigt werden. Alternativ können die Eingangsbilder auch entsprechend gefiltert werden. Dies ist besonders bei der Unterabtastung wichtig.
Die Kosten für die Disparitäten können wie in Stefan K.
Gehrig, Uwe Franke, Improving Stereo Sub-Pixel Accuracy for
Long Range Stereo ICCV 2007 beschrieben aus den Kosten der benachbarten Disparitäten interpoliert werden. Insbesondere kann durch das Fitten einer Parabel durch wertmäßig
benachbarte Kosten und Berechnung des Minimalwerts der Kosten eine sub-Pixel-genaue Bestimmung der Disparitäten erfolgen.
Alternativ können sie auch direkt im Bild bestimmt werden. Dabei ist es vorteilhaft wenn die Disparitäten und damit die
Kosten nur für Ganzzahlige Pixelindizes bestimmt werden.
Es sind auch Kombinationen beider Verfahren zur Bestimmung der Kosten für die Disparitäten denkbar. Anpassungen bei der Regularisierung können gegebenenfalls vorgenommen werden. Bei SGM werden als Regularisierung für Disparitätssprünge die (adaptiven) Strafterme PI (delta_d = 1) und P2 (delta_d > 1) verwendet (siehe Formel (11) in Heiko Hirschmüller, Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information, in Proceedings of the IEEE Conference on Computer Vision and Pattern
Recognition, 20-26 June 2005, San Diego, CA, USA, Volume 2, pp . 807-814) . Es kann von Vorteil sein, diese an die
Sampling-Intervalle zu adaptieren oder durch weitere
Strafterme zu ergänzen.
Im Folgenden werden Ausführungsbeispiele der Erfindung und die daraus folgenden Vorteile beispielhaft dargestellt und anhand von Figuren näher erläutert. Dafür wird die Genauigkeit der Ergebnisse zwischen uniformer Verteilung der Disparitäten und nicht-uniformer Verteilung gemäß eines Ausführungsbeispiels der Erfindung verglichen. Es werden folgende Annahmen getroffen:
Auflösung der Disparitätskarte: 512*256 Pixel
Auflösung des Bildes: 1024*512, 512*256
Anzahl der Disparitäten (Label): 64 (0..63)
Basisbreite b: 12cm
Fokale Länge f: 1145
Vergleichsoperator: Census (Fenstergröße x=9, y=7)
Uniformes Sampling:
Jede Disparität entspricht hier einer Verschiebung von einem Pixel im Bild. Die Bilder werden mit 512 Pixeln pro Zeile verwendet. Dieses Bild wird aus dem Originalbild mit einer Auflösung von 1024 Pixeln pro Zeile durch Filterung mit anschließender Unterabtastung erzeugt.
Nicht-uniformes Sampling:
Die Auflösung der Disparität (bzw. der Abstand zwischen zwei benachbarten Disparitätswerten) wird nach folgenden
Intervallen (bzw. Disparitätswertebereichen) festgelegt:
Intervalle in Auflösung der Disparität
Pixeln
(bezogen auf eine Auflösung von 512 Pixeln pro Zeile)
0-10.5 0.5
10.5-31.5 1
31.5-63 1.5 Das rechte Referenz-Bild wird wie für das uniforme Sampling verwendet .
Das linke Bild wird mit 1024 Pixeln pro Zeile verwendet.
Dieses Bild wird aus dem Originalbild mit einer Auflösung von 1024 Pixeln pro Zeile durch Filterung erzeugt. Es wird nur jede zweite Zeile berechnet.
Wegen der doppelten Auflösung pro Zeile kann im linken Bild der Census-Operator auch direkt ohne Interpolation für
Disparitäten von 0.5, 1.5, etc. bestimmt werden. Das wurde bei der Wahl der Intervalle und der Auflösung der Disparität berücksichtigt. Die maximale Disparität ist auch hier durch die Intervalle bzw. Abstände zwischen benachbarten
Disparitätswerten in den unterschiedlichen
Disparitätswertebereichen als 63 vorgegeben. Es kann also der gleiche Entfernungsbereich abgebildet werden.
Nachdem die Disparitäten berechnet sind, wird die Ausgabe auf ein neutrales Format zurückgerechnet.
Wie die Label für die Disparitäten dann belegt sind, ist bei der Ausgabe nicht sichtbar und transparent für die
nachfolgenden Verarbeitungsschritte. Transparent bedeutet hierbei, dass die auf der Disparitätskarte aufbauenden
Algorithmen das nicht-uniforme Sampling nicht berücksichtigen müssen.
Es zeigen
Fig. 1: Beispielhafte Darstellung des Kostenvolumens und Zuweisung der Label. Oben: Uniformes Sampling, Unten: Nichtuniformes Sampling gemäß der Erfindung;
Fig. 2: Entfernungen, die Disparitäten im Kostenvolumen entsprechen. Oben: Uniformes Sampling Unten: Nicht-uniformes Sampling gemäß der Erfindung;
Fig. 3: Zuordnung der Label zu den Disparitäten und Fig. 4: Vergleichsmessung zwischen uniformen und nichtuniformen Sampling.
Fig. 1 zeigt beispielhaft die Zuordnung der Label zu den Disparitäten im Kostenvolumen. Die xy-Ebene stellt die Pixel- Ebene im Bild dar. Die d-Achse entspricht der Disparität. Jeder Voxel (Volumen-Element x-y-d) beinhaltet einen
Kostenwert für ein Label. Oben ist die uniforme Verteilung der Label zu den Disparitäten dargestellt. Unten die nicht- uniforme Verteilung mit drei unterschiedlichen Sampling- Stufen .
Fig. 2 stellt die Entfernungen für die Disparitäts-Label dar.
Auf der Abszisse ist die Entfernung zur Stereokamera
angegeben. Auf der Ordinate ist eine Richtung senkrecht zur optischen Achse der Stereokamera angegeben. Die begrenzenden
Geraden charakterisieren also das Sichtfeld der Stereokamera.
Die vertikalen Linien entsprechen einzelnen vorgegebenen
Disparitäten. Es ist zu sehen, dass die Tiefenmessung für nicht-uniformes Sampling (unten) bei weiter entfernten
Bereichen doppelt so genau aufgelöst ist.
In Fig. 3 wird die Zuordnung der Label zu den Disparitäten für das gegebene Beispiel gezeigt (vgl. Werte in der
Tabelle) . Die Punkte, die eine diagonale Linie bilden, gelten für das uniforme Sampling, die Punkte, die oberhalb der diagonalen Linie verlaufen, für das nicht-uniforme Sampling.
Fig. 4 zeigt die Ergebnisse bei realen Messungen. Bei dem Test wurde mit einem Fahrzeug auf ein Target zugefahren.
Aufgetragen ist die gemessene Distanz in Metern über die Referenzdistanz (tatsächliche Distanz) in Metern. Die Distanz zu dem Target wurde mit einem Referenzsensor genau bestimmt (durchgezogene Gerade) . Die Messkurve ohne Hervorhebung der Messpunkte zeigen die Messungen von SGM mit uniformen
Sampling. Zu erkennen ist, dass die Entfernungsbestimmung im Bereich bis etwa 15 Meter ohne nennenswerte Abweichungen funktioniert. Bei größeren Entfernungen treten jedoch
zunehmend Abweichungen auf, wobei die Messkurve
typischerweise Stufen aufweist (ca. bei 20m, 27m, 47m und bei 118m) . Vor diesen Stufen ist jeweils die gemessene Distanz geringer als die tatsächliche und nach den Stufen ist die gemessene Distanz größer als die tatsächliche. Das liegt vor allem daran, dass bei der uniformen Abtastung für große
Entfernungen nur noch wenige Pixel für große
Distanzunterschiede maßgeblich sind.
Die Messkurve mit Hervorhebung der Messpunkte zeigt die
Messwerte von dem angepassten SGM mit nicht-uniformen
Sampling wie im Beispiel beschrieben. Die Abweichungen dieser Messungen sind stets geringer als beim uniformen Sampling. Die Verbesserung der Genauigkeit im Fernbereich ist deutlich zu sehen. Das Verfahren bietet den Vorteil, dass nur die Disparitäten genauer berechnet werden, für die auch eine genauere
Bestimmung notwendig ist. Bei verdoppelter Auflösung im
Fernbereich ergibt sich eine Ersparnis von nahezu 50% an Rechenressourcen gegenüber einer Implementierung mit einer insgesamt verdoppelten Auflösung. Bei vervierfachter
Auflösung sind es nahezu 75%.

Claims

Patentansprüche
1. Verfahren zur Bestimmung einer Tiefenkarte aus
Stereobildern, wobei die Disparität (für einen Pixel) aus einer diskreten Menge von vorgegebenen
Disparitätswerten bestimmt wird und diese
Disparitätswerte über den gesamten vorgegebenen
Disparitätswertebereich verteilt sind und diese
Verteilung zwischen benachbarten Disparitätswerten mindestens zwei unterschiedliche Abstände aufweist.
2. Verfahren nach Anspruch 1, wobei die Intervalle
(Abstände) zwischen den benachbarten Disparitäten im Fernbereich kleiner sind als die im Nahbereich.
3. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest ein Intervall (Abstand) eine Länge unterhalb eines Pixels aufweist (sub-Pixel).
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Vergleichs-/Ähnlichkeitskosten für eine Disparität in dem Stereo-Bildpaar durch einen geeigneten
Vergleichsoperator bestimmt werden.
5. Verfahren nach Anspruch 3, wobei die Vergleichs- /Ähnlichkeitskosten für sub-Pixel Disparitäten aus dem Vergleichs-/Ähnlichkeitskosten der benachbarten, ganzzahligen Disparitäten durch Interpolation bestimmt werden und die Vergleichs-/Ähnlichkeitskosten der ganzzahligen Disparitäten durch einen geeigneten
Vergleichsoperator aus dem Stereo-Bildpaar bestimmt werden .
6. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Vorgabe der Intervalle (Abstände) zwischen den Disparitäten Effekte durch Über- bzw. Unterabtastung berücksichtigt werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Disparitäten mittels eine globalen oder semiglobalen Matchings bzw. Korrespondenzverfahrens bestimmt werden.
8. Verfahren nach Anspruch 7, wobei die Disparitäten in
einem zweiten Schritt anhand der Vergleichs- /Ähnlichkeitskosten der benachbarten Disparitäten um die minimale Disparität sub-Pixel genau verfeinert werden.
9. Verfahren zur Bestimmung einer Tiefenkarte aus
Stereobildern, wobei Disparitäten aus mindestens einem Stereobildpaar bestimmt werden, wobei die vorgegebenen möglichen Disparitätswerte nicht uniform über den gesamten Disparitätswertebereich verteilt sind.
10. Verfahren nach Anspruch 9, wobei Abstände zwischen zwei benachbarten Disparitätswerten, in denen
Disparitäten für einen Fernbereich bestimmt werden, kleiner sind als die übrigen Abstände zwischen zwei benachbarten Disparitätswerten.
11. Verfahren nach Anspruch 10, wobei der Fernbereich mindestens 10 Meter von der Stereokamera entfernt ist, mit der die Stereobilder aufgenommen werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, wobei Abstände zwischen zwei benachbarten
Disparitätswerten, in denen Disparitäten für einen
Nahbereich bestimmt werden, größer sind als die übrigen Abstände zwischen zwei benachbarten Disparitätswerten.
13. Verfahren nach Anspruch 12, wobei der Nahbereich maximal 5 Meter von der Stereokamera entfernt ist, mit der die Stereobilder aufgenommen werden.
14. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Disparitäten mittels eine globalen oder semiglobalen Matchings bzw. Korrespondenzverfahrens bestimmt werden.
15. Verfahren nach einem der vorhergehenden Ansprüche, wobei zumindest ein Abstand zwischen zwei benachbarten Disparitätswerten kleiner als ein Pixel ist (sub-Pixel).
16. Verfahren nach einem der vorhergehenden Ansprüche, wobei bei der Vorgabe der Abstände zwischen zwei
benachbarten Disparitätswerten Effekte durch Über- bzw. Unterabtastung berücksichtigt werden.
17. Verfahren nach einem der Ansprüche 14 bis 16, wobei zu Disparitäten Ähnlichkeitskosten ermittelt werden.
18. Verfahren nach Anspruch 17, wobei die
Ähnlichkeitskosten einer Disparität aus den
Ähnlichkeitskosten der benachbarten Disparitäten
ermittelt werden.
19. Verfahren nach Anspruch 17, wobei die
Ähnlichkeitskosten einer Disparität direkt aus dem
Stereobildpaar ermittelt werden.
20. Verfahren nach Anspruch 19, wobei Disparitäten und deren Ähnlichkeitskosten nur für Abstände zwischen zwei benachbarten Disparitätswerten bestimmt werden, die einem oder mehreren (ganzen) Pixeln entsprechen.
21. Verfahren, insbesondere nach einem der
vorhergehenden Ansprüche, wobei aus einem Stereobildpaar ein Referenzbild und ein Suchbild erzeugt werden, wobei die Auflösung (insbesondere horizontal) des
Referenzbilds um einen ganzzahligen Faktor k verkleinert ist gegenüber der des Suchbilds und Disparitätswerte mit einer Genauigkeit von 1/k Pixeln auf Basis des Referenz- und des Suchbilds bestimmt werden.
22. Vorrichtung zur Bestimmung einer Tiefenkarte aus Stereobildern umfassend eine Stereokamera zur Aufnahme der Stereobilder und eine Bestimmungseinheit, wobei die Bestimmungseinheit zur Auswertung von mit der
Stereokamera aufgenommenen Stereobildern gemäß einem Verfahren nach einem der vorhergehenden Ansprüche ausgebildet ist.
PCT/DE2014/200001 2013-01-14 2014-01-14 Verfahren zur bestimmung von tiefenkarten aus stereobildern mit verbesserter tiefenauflösung in einem bereich Ceased WO2014108130A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112014000155.4T DE112014000155B4 (de) 2013-01-14 2014-01-14 Verfahren zur Bestimmung von Tiefenkarten aus Stereobildern mit verbesserter Tiefenauflösung in einem Bereich
US14/655,149 US9704253B2 (en) 2013-01-14 2014-01-14 Method for determining depth maps from stereo images with improved depth resolution in a range
US15/475,847 US10223802B2 (en) 2013-01-14 2017-03-31 Method for determining depth maps from stereo images with improved depth resolution in a range

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013100344.3A DE102013100344A1 (de) 2013-01-14 2013-01-14 Verfahren zur Bestimmung von Tiefenkarten aus Stereobildern mit verbesserter Tiefenauflösung im Fernbereich
DE102013100344.3 2013-01-14

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/655,149 A-371-Of-International US9704253B2 (en) 2013-01-14 2014-01-14 Method for determining depth maps from stereo images with improved depth resolution in a range
US15/475,847 Continuation US10223802B2 (en) 2013-01-14 2017-03-31 Method for determining depth maps from stereo images with improved depth resolution in a range

Publications (1)

Publication Number Publication Date
WO2014108130A1 true WO2014108130A1 (de) 2014-07-17

Family

ID=50433894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2014/200001 Ceased WO2014108130A1 (de) 2013-01-14 2014-01-14 Verfahren zur bestimmung von tiefenkarten aus stereobildern mit verbesserter tiefenauflösung in einem bereich

Country Status (3)

Country Link
US (2) US9704253B2 (de)
DE (2) DE102013100344A1 (de)
WO (1) WO2014108130A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2924655A3 (de) * 2014-02-28 2016-01-06 Ricoh Company, Ltd. Disparitätswertableitungsvorrichtung, Anlagesteuerungssystem, bewegliche Vorrichtung, Roboter, Disparitätswertableitungsverfahren und computerlesbares Speichermedium

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616578B2 (en) * 2015-01-30 2020-04-07 Texas Instruments Incorporated Semi-global matching (SGM) cost compression
EP3252713A1 (de) * 2016-06-01 2017-12-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur durchführung einer 3d- schätzung auf grundlage von lokal bestimmten hypothesen von 3d-informationen
KR102320198B1 (ko) 2017-04-05 2021-11-02 삼성전자주식회사 깊이 영상 보정 방법 및 장치
US10839539B2 (en) * 2017-05-31 2020-11-17 Google Llc System and method for active stereo depth sensing
CN109035321A (zh) * 2017-06-09 2018-12-18 河北卓达建材研究院有限公司 一种建筑物的体积估算方法
JP6810009B2 (ja) * 2017-09-29 2021-01-06 トヨタ自動車株式会社 視差算出装置
JP7005458B2 (ja) 2018-09-12 2022-01-21 株式会社東芝 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム
WO2021118386A1 (ru) * 2019-12-10 2021-06-17 федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" Способ получения набора объектов трехмерной сцены
CN113763269B (zh) * 2021-08-30 2023-11-24 上海工程技术大学 一种用于双目图像的立体匹配方法
WO2023191888A1 (en) * 2022-04-01 2023-10-05 Google Llc Correlation-based object anti-spoofing for dual-pixel cameras

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10310849A1 (de) 2003-03-11 2004-09-30 Inb Vision Ag Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung
DE102008015535A1 (de) 2007-12-19 2008-08-07 Daimler Ag Verfahren zur Bildverarbeitung von Stereobildern
US20120002866A1 (en) * 2009-03-12 2012-01-05 Deutsches Zentrum Fuer Luft- Und Raumfahrt E.V. Method and apparatus for reducing the memory requirement for determining disparity values for at least two stereoscopically recorded images

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
JP2010506482A (ja) * 2006-10-02 2010-02-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオストリームの視差回復方法及びフィルタ
DE102007027958A1 (de) * 2007-06-18 2008-12-24 Daimler Ag Verfahren zur Optimierung eines stereoskopischen Bildes
DE102008046505B4 (de) * 2008-09-09 2023-06-29 Mercedes-Benz Group AG Verfahren zur Bildverarbeitung von Stereobildern
DE102010006522A1 (de) 2010-02-02 2010-09-30 Daimler Ag Verfahren zur Analyse von korrespondierenden Bildpunkten in Bilddatensätzen
KR20130094626A (ko) * 2012-02-16 2013-08-26 한국전자통신연구원 스테레오 매칭 방법 및 장치
CN103366354B (zh) * 2012-03-27 2016-09-07 富士通株式会社 用于立体匹配的方法和系统
DE102012206329A1 (de) * 2012-04-17 2013-05-23 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Ermittlung eines Disparitätsbildes oder einer 3D-Punktwolke
DE102014017196A1 (de) 2014-11-21 2016-05-25 Daimler Ag Verfahren zur Bildverarbeitung von Stereobildern

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10310849A1 (de) 2003-03-11 2004-09-30 Inb Vision Ag Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung
DE102008015535A1 (de) 2007-12-19 2008-08-07 Daimler Ag Verfahren zur Bildverarbeitung von Stereobildern
US20120002866A1 (en) * 2009-03-12 2012-01-05 Deutsches Zentrum Fuer Luft- Und Raumfahrt E.V. Method and apparatus for reducing the memory requirement for determining disparity values for at least two stereoscopically recorded images

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
FELDMANN I ET AL: "NONLINEAR DEPTH SCALING FOR IMMERSIVE VIDEO APPLICATIONS", 9 April 2003 (2003-04-09), pages 1 - 6, XP002581663, ISBN: 978-981-238-355-6, Retrieved from the Internet <URL:http://ip.hhi.de/imedia_G3/assets/pdfs/wiamis03_depthscal.pdf> *
HEIKO HIRSCHMÜLLER: "Accurate and Efficient Stereo Processing by Semi-Global Matchihg and Mutual Information", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, vol. 2, 20 June 2005 (2005-06-20), pages 807 - 814
HEIKO HIRSCHMÜLLER: "Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information", PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, vol. 2, 20 June 2005 (2005-06-20), pages 807 - 814
INGO FELDMANN ET AL: "Navigation dependent nonlinear depth scaling", 23. PICTURE CODING SYMPOSIUM;23-4-2003 - 25-4-2003; SAINT MALO,, 23 April 2003 (2003-04-23), XP030080071 *
PASCAL STEINGRUBE ET AL: "Performance Evaluation of Stereo Algorithms for Automotive Applications", 13 October 2009, COMPUTER VISION SYSTEMS, SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 285 - 294, ISBN: 978-3-642-04666-7, XP019131958 *
STEFAN K GEHRIG ET AL: "Improving Stereo Sub-Pixel Accuracy for Long Range Stereo", COMPUTER VISION, 2007. ICCV 2007. IEEE 11TH INTERNATIONAL CONFERENCE O N, IEEE, PI, 1 October 2007 (2007-10-01), pages 1 - 7, XP031194701, ISBN: 978-1-4244-1630-1 *
STEFAN K. GEHRIG; UWE FRANKE, IMPROVING STEREO SUB-PIXEL : ACCURACY FOR LONG RANGE STEREO ICCV, 2007
STEFAN K. GEHRIG; UWE FRANKE, IMPROVING STEREO SUB-PIXEL ACCURACY FOR LONG RANGE STEREO ICCV, 2007

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2924655A3 (de) * 2014-02-28 2016-01-06 Ricoh Company, Ltd. Disparitätswertableitungsvorrichtung, Anlagesteuerungssystem, bewegliche Vorrichtung, Roboter, Disparitätswertableitungsverfahren und computerlesbares Speichermedium
US9747524B2 (en) 2014-02-28 2017-08-29 Ricoh Company, Ltd. Disparity value deriving device, equipment control system, movable apparatus, and robot

Also Published As

Publication number Publication date
DE102013100344A1 (de) 2014-07-17
US10223802B2 (en) 2019-03-05
US20150332467A1 (en) 2015-11-19
DE112014000155B4 (de) 2023-07-20
DE112014000155A5 (de) 2015-04-02
US9704253B2 (en) 2017-07-11
US20170270680A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
DE112014000155B4 (de) Verfahren zur Bestimmung von Tiefenkarten aus Stereobildern mit verbesserter Tiefenauflösung in einem Bereich
DE69624614T2 (de) Verfahren zur Stereoübereinstimmungs- und Ungleichheitsmessung
DE102021102233B4 (de) Vorrichtung und Verfahren zur Korrespondenzanalyse in Bildern
DE69521739T2 (de) Verfahren und Vorrichtung zur Bildverarbeitung
DE4444593C2 (de) Entfernungsmeßvorrichtung
DE112013004103B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE69431791T2 (de) Vorrichtung und verfahren zur automatischen bildentzerrung
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
DE102012221667A1 (de) Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten
DE112016005905T5 (de) Verfahren und System zum Verschmelzen erfasster Messungen
DE102009009551A1 (de) Verfahren zur Bestimmung von Strömungsverhältnissen
DE102015003666A1 (de) Verfahren zur Verarbeitung von erfassten Messdaten eines Sensors
DE102011008886A1 (de) Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen
DE102008015535B4 (de) Verfahren zur Bildverarbeitung von Stereobildern
DE102018123393A1 (de) Erkennung von Parkflächen
DE102014219423A1 (de) Dynamisches Modell zur Kompensation von Verzeichnungen einer Windschutzscheibe
EP3685352B1 (de) Verfahren und vorrichtung zum bewerten von bildern, betriebsassistenzverfahren und betriebsvorrichtung
DE19953063A1 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
DE102007027958A1 (de) Verfahren zur Optimierung eines stereoskopischen Bildes
DE102008046505A1 (de) Verfahren zur Bildverarbeitung von Stereobildern
DE10310849B4 (de) Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung
DE68906253T2 (de) Verfahren zur schaetzung der entfernung zwischen einem festen gegenstand und einem sich bewegenden fahrzeug und vorrichtung zur durchfuehrung dieses verfahrens.
EP2339531B1 (de) Verfahren und Vorrichtung zur adaptiven Filterung von dreidimensionalen Bilddaten
DE69713858T2 (de) Verfahren und gerät zum grafischen abbilden einer oberfläche auf ein zweidimensionales bild
EP4396532B1 (de) Verfahren zur kalibrierung einer strassenüberwachungseinrichtung und strassenüberwachungssystem

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14714926

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112014000155

Country of ref document: DE

Ref document number: 1120140001554

Country of ref document: DE

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112014000155

Country of ref document: DE

Effective date: 20150402

WWE Wipo information: entry into national phase

Ref document number: 14655149

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14714926

Country of ref document: EP

Kind code of ref document: A1