WO2010028718A2 - Verfahren zur bildverarbeitung von stereobildern - Google Patents

Verfahren zur bildverarbeitung von stereobildern Download PDF

Info

Publication number
WO2010028718A2
WO2010028718A2 PCT/EP2009/005414 EP2009005414W WO2010028718A2 WO 2010028718 A2 WO2010028718 A2 WO 2010028718A2 EP 2009005414 W EP2009005414 W EP 2009005414W WO 2010028718 A2 WO2010028718 A2 WO 2010028718A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
costs
paths
cost
Prior art date
Application number
PCT/EP2009/005414
Other languages
English (en)
French (fr)
Other versions
WO2010028718A3 (de
Inventor
Stefan Gehrig
Stefan Hahn
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Publication of WO2010028718A2 publication Critical patent/WO2010028718A2/de
Publication of WO2010028718A3 publication Critical patent/WO2010028718A3/de

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • the invention relates to a method for determining correspondences of pixels in at least two stereoscopically recorded images according to the preamble of claim 1.
  • the invention is therefore based on the object to provide an improved method for determining correspondences of pixels in stereoscopically recorded images, in which a memory requirement is reduced.
  • a calculation of costs of a dissimilarity is carried out for each pixel of one of the images based on intensities of the pixel and a pixel of the other image regarded as potentially corresponding. Along a number of one-dimensional paths that flow into the pixel, the costs are accumulated. From the pixels of the other image considered as potentially corresponding, the one to create a disparity map is selected in which a global energy is at least minimizing the cost of dissimilarity.
  • the costs are in each case summed on the basis of the determined disparities, in each case of at least four paths at each pixel, and the image-related disparity is determined that has the lowest cost value.
  • this eliminates external memory accesses, thereby avoiding external storage of intermediate results.
  • at least only one row in each case is determined in four directions of a cost cube and thus four paths, whereby only one row of the cost cube is stored for the calculation of the four directions.
  • the computation outlay increases, but the memory bandwidth is reduced, so that less memory is required. With less memory installed, both the cost of the memory itself and the power consumption of the memory are reduced.
  • the condition is that an internal memory of a Microprocessor or an FPGA in which the computation is performed is sufficiently large for the computation of all one-dimensional paths.
  • a size of the image detail can be predetermined and selected for the calculation in a development of the invention. If necessary, adjust the size of the image section.
  • the image is subdivided into image sections of size (n + 1) x (n + 1).
  • not all accumulated costs are stored, as is conventional in the art, but only the costs accumulated in each of the one-dimensional paths for every nth row and every nth column of the picture.
  • the storage takes place, for example, in an external memory, while the calculation takes place, for example, in an FPGA.
  • one of the image sections is loaded in each case.
  • the stored accumulated costs which relate to an edge of the image section are loaded.
  • the costs accumulated in each of the one-dimensional paths for an interior of the image section are recalculated.
  • 1 is a schematic representation of an image with a pixel and eight one-dimensional paths that terminate in the pixel and a corresponding image
  • Fig. 2 is a diagram of a disparity of a pixel in response to a
  • Fig. 3 shows an embodiment of a flowchart for the determination of
  • Fig. 4 shows an alternative embodiment of a flowchart for the
  • the figure shows an image 1 and a pixel p and an image V corresponding to this image 1 and pixels p 'corresponding to the pixel p.
  • the method can be compared with superimposing the images 1 and 1 'and moving the images 1, 1' relative to one another to determine a match in a pixel p, p '.
  • the method is used to determine correspondences of pixels (pixels p, p ') in at least two stereoscopically recorded images 1, 1'.
  • the cost of disparity is the cost of matching p to d.
  • the one for creating a disparity map D (p) is selected in which a global energy is at least that includes at least the cost C (p, d) of the dissimilarity.
  • the global energy may also include penalty terms p1, p2 that take into account the changes in adjacent disparities d + 1, d, d-1, as shown in FIG. 2, and as shown in the formula:
  • a small penalty term p1 is taken into account when the disparity d between adjacent pixels p, p 'changes slightly and a large penalty term p2 when there is a sudden change in disparity d between adjacent pixels p, p'. This is also called a smoothness constraint.
  • the image 1 is subdivided into image sections of size (n + 1) x (n + 1) to determine the correspondences.
  • the costs S (p, d) accumulated in each of the one-dimensional paths L1 to L8 for every nth row and every nth column of the picture 1 are stored in an accumulated cost matrix, the complexity of the algorithm Time (WHD) is (WHD - width, height, disparity, width, height, disparity range).
  • the storage takes place, for example, in an external memory, while the calculation takes place, for example, in an FPGA or a microcontroller. Subsequently, one of the image sections is loaded in each case. In this case, the stored accumulated costs S (p, d) which relate to an edge of the image section are loaded. The costs S (p, d) accumulated in each of the one-dimensional paths L1 to L8 and determined by summation for an interior of the image section are recalculated.
  • FIG. 3 shows an exemplary embodiment of a flow chart for determining costs C (p, d), CXp'.d 1 ) and accumulated costs S (p, d), S '(p', d ') determined per summation by summation 1, 1 'based on image and path disparity cost calculations.
  • a cost cube C (1), C (V) is determined on the basis of the determined disparity cubes D (1), D '(V) by the costs C (p, d) and C' (p ', d') along a number of predeterminable paths L1 to L8 and LV to L8 'image-related at each pixel p, p 1 are determined.
  • the calculated costs C (p, d), C '(p', d ') are then calculated on each pixel p, p 1 by summation to the individual accumulated cost value S (p, d), S' ( p ', d').
  • that disparity dmin or d'min is determined which has the smallest accumulated cost value Smin (pd) or S'min (p ', d'). As shown, this calculation is performed separately for both images 1 and V.
  • the disparities dmin and d'min respectively associated with this smallest accumulated cost value Smin (pd) and S'min (p ', d') are compared with each other and pixels p and p 1, respectively a resulting comparative value is analyzed.
  • the determined comparison value is compared with a predefinable difference value. If the comparison value exceeds the predetermined difference value and thus the difference of the disparities dmin and d'min of the pixels p and p 'corresponding to one another is too large, the determined disparities dmin and d'min are set to invalid and thus not taken into account; otherwise they will be retained.
  • the corresponding images 1 and V of a stereo pair and the resulting disparity cubes D (1) and D '(V) are executed in an analogous manner as described in the exemplary embodiment according to FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von Bildpunkten (p, p') in mindestens zwei stereoskopisch aufgenommenen Bildern (1, 1'), bei dem für jedes Pixel (p, p') eines der Bilder (1, 1') eine Berechnung von Kosten (C(p,d), C'(p',d')) einer Unähnlichkeit anhand von Intensitäten des Pixels (p) und eines als potentiell korrespondierend betrachteten Pixels (p') des anderen Bildes (1') durchgeführt wird, wobei entlang einer Anzahl von eindimensionalen Pfaden (L1 bis L8, L1' bis L8'), die im Pixel (p,p') münden, eine Akkumulierung der Kosten (C(p,d),C'(p',d')) zu akkumulierten Kosten (S(p,d), S'(p',d')) für diesen Pixel (p,p') erfolgt, wobei aus den als potentiell korrespondierend betrachteten Pixeln (p') des anderen Bildes (1') dasjenige zur Erstellung einer Disparitätskarte (D(1), D'(1)) ausgewählt wird, bei dem eine globale Energie minimal ist, die zumindest die Kosten (C(p,d), C'(p',d')) der Unähnlichkeit umfasst. Erfindungsgemäß werden bildbezogen die Kosten (C(p,d), C'(p',d')) jeweils von zumindest vier Pfaden (L1 bis L4, L5' bis L8' oder L1' bis L4', L5 bis L8) an jedem Pixel (p, p') summiert und bildbezogen diejenige Disparität (dmin, d'min) ermittelt, die den kleinsten Kostenwert (Cmin, C'min) aufweist.

Description

Verfahren zur Bildverarbeitung von Stereobildern
Die Erfindung betrifft ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen Bildern gemäß dem Oberbegriff des Anspruchs 1.
Die Bestimmung von Korrespondenzen von Pixeln, auch Bildpunkte genannt, in stereoskopisch aufgenommenen Bildern ist ein Standardproblem der Bildverarbeitung. Zur Lösung dieses Problems sind bereits zahlreiche Algorithmen bekannt geworden. Zur Lösung werden häufig einschränkende Annahmen getroffen, z. B. Epipolar Constraint, Ordering Constraint, Smoothness Assumption, Uniqueness Constraint. Ein häufig auftretendes Problem ist die unterschiedliche Helligkeit, auch Intensität genannt, korrespondierender Pixel in den stereoskopisch aufgenommenen Bildern. Eine Korrespondenzbildung wird in diesem Fall dadurch erschwert, dass für globale Stereoverfahren meist ein pixelbasiertes Ähnlichkeitskriterium verwendet wird, das sensitiv auf unterschiedliche Helligkeiten reagiert. In (H. Hirschmüller, Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814) wird Transinformation (mutual information) als Ähnlichkeitskriterium, das globale Helligkeitsschwankungen kompensiert, beschrieben. Zur Tiefenberechnung von Eingangsbildern in Embedded-Echtzeit-Systemen muss der Algorithmus in programmierbarer Hardware oder anderer Spezialhardware implementiert und diese Hardware mit externem Speicher versehen werden. Um die Leistungsfähigkeit des Verfahrens hoch und die elektrische Leistungsaufnahme gering zu halten, muss die Speicherbandbreite minimiert werden.
Aus der älteren Anmeldung DE 102008017834.9 ist ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern bekannt. Um Speicherbedarf zu reduzieren, werden bei dem bekannten Verfahren nur die in jedem eindimensionalen Pfad akkumulierten Kosten für jede n-te Zeile und jede n-te Spalte eines Bildes gespeichert.
Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern anzugeben, bei dem ein Speicherbedarf reduziert ist.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Bei einem erfindungsgemäßen Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen Bildern wird für jedes Pixel eines der Bilder eine Berechnung von Kosten einer Unähnlichkeit anhand von Intensitäten des Pixels und eines als potentiell korrespondierend betrachteten Pixels des anderen Bildes durchgeführt. Entlang einer Anzahl von eindimensionalen Pfaden, die im Pixel münden, erfolgt eine Akkumulierung der Kosten. Aus den als potentiell korrespondierend betrachteten Pixeln des anderen Bildes wird dasjenige zur Erstellung einer Disparitätskarte ausgewählt, bei dem eine globale Energie minimal ist, die zumindest die Kosten der Unähnlichkeit umfasst.
Erfindungsgemäß werden anhand der ermittelten Disparitäten bildbezogen die Kosten jeweils von zumindest vier Pfaden an jedem Pixel summiert und bildbezogen diejenige Disparität ermittelt, die den kleinsten Kostenwert aufweist.
Im Vergleich zum Stand der Technik werden hierdurch externe Speicherzugriffe eliminiert, wodurch eine externe Speicherung von Zwischenergebnissen vermieden wird. Dabei wird zumindest nur noch jeweils eine Zeile in vier Richtungen eines Kosten-kubus und somit vier Pfade ermittelt, wobei für die Berechnung der vier Richtungen nur noch jeweils eine Zeile des Kostenkubus gespeichert wird.
Im Vergleich mit dem aus dem Stand der Technik bekannten Speichern aller akkumulierten Kosten erhöht sich zwar der Berechnungsaufwand, jedoch wird die Speicherbandbreite reduziert, so dass weniger Speicher benötigt wird. Bei weniger installiertem Speicher sinken sowohl die Kosten für den Speicher selbst als auch für die Leistungsaufnahme des Speichers. Voraussetzung ist, dass ein interner Speicher eines Mikroprozessors oder eines FPGA, in dem die Berechnung durchgeführt wird, hinreichend groß für die Berechnung aller eindimensionalen Pfade ist. Hierbei kann für die Berechnung in einer Weiterbildung der Erfindung eine Größe des Bildausschnitts vorgegeben und gewählt werden. Gegebenenfalls ist die Größe des Bildausschnitts anzupassen.
Beispielsweise wird das Bild zur Bestimmung der Korrespondenzen in Bildausschnitte der Größe (n+1)x(n+1) unterteilt. Zur Weiterberechnung werden nicht alle akkumulierten Kosten gespeichert, wie im Stand der Technik gebräuchlich, sondern nur die in jedem der eindimensionalen Pfade akkumulierten Kosten für jede n-te Zeile und jede n-te Spalte des Bildes. Die Speicherung erfolgt zum Beispiel in einem externen Speicher, während die Berechnung beispielsweise in einem FPGA stattfindet. Anschließend wird jeweils einer der Bildausschnitte geladen. Dabei werden die gespeicherten akkumulierten Kosten, die einen Rand des Bildausschnitts betreffen, geladen. Die in jedem der eindimensionalen Pfade akkumulierten Kosten für ein Inneres des Bildausschnitts werden neu berechnet.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand von Zeichnungen näher erläutert.
Dabei zeigt:
Fig. 1 eine schematische Darstellung eines Bildes mit einem Pixel und acht eindimensionalen Pfaden, die in dem Pixel münden, und eines zu diesem korrespondierenden Bildes,
Fig. 2 ein Diagramm einer Disparität eines Pixels in Abhängigkeit von einer
Richtung des eindimensionalen Pfades,
Fig. 3 ein Ausführungsbeispiel für ein Ablaufdiagramm für die Ermittlung von
Kosten bildbezogenen anhand von bild- und pfadweisen Disparitäts- Kostenberechnungen, und
Fig. 4 ein alternatives Ausführungsbeispiel für ein Ablaufdiagramm für die
Ermittlung von Kosten bildbezogenen anhand von bild- und pfadweisen Disparitäts- Kostenberechnungen. Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
Die Figur zeigt ein Bild 1 und einen Pixel p und ein zu diesem Bild 1 korrespondierendes Bild V und zu dem Pixel p korrespondierenden Pixel p'. Zur Veranschaulichung lässt sich das Verfahren mit dem Übereinanderlegen der Bilder 1 und 1' und dem Verschieben der Bilder 1 , 1' relativ zueinander zur Ermittlung einer Übereinstimmung in einem Pixel p, p' vergleichen.
Das Verfahren wird zur Bestimmung von Korrespondenzen von Bildpunkten (Pixeln p, p') in mindestens zwei stereoskopisch aufgenommenen Bildern 1 , 1' angewandt. Dabei wird für jedes Pixel p, p' eines der Bilder 1 , 1' eine Berechnung der Kosten der Unähnlichkeit C(p, d), C'(p',d') (= Kosten der Disparität) zu einem als potentiell korrespondierend betrachteten Pixel p', p des anderen Bildes 1', 1 durchgeführt. Dies geschieht beispielsweise anhand von Intensitäten des Pixels p und des als potentiell korrespondierend betrachteten Pixels p' des anderen Bildes 1'. Mit anderen Worten: Kosten der Disparität sind Kosten, die beim Matchen von p auf d entstehen.
Entlang einer Anzahl von eindimensionalen Pfaden L1 bis L8, die aus verschiedenen Richtungen r im Pixel p münden, erfolgt eine Akkumulierung der Kosten C(p,d) zu akkumulierten Kosten S(p,d) durch Summation. Dabei werden die niedrigsten Kosten Cmin(p.d) entlang des jeweiligen eindimensionalen Pfades L1 bis L8 fortgepflanzt, ähnlich wie bei dynamischer Programmierung (ohne Zurückverfolgung).
In Figur 1 werden acht eindimensionale Pfade L1 bis L8 zugrunde gelegt. Es ist aber auch eine andere Anzahl denkbar, beispielsweise sechzehn. Die akkumulierten, durch Summation ermittelten Kosten S(p, d) werden gemäß folgender Formel ermittelt:
S{p,d) = ∑Lr{p,d) [1] r
Aus den als potentiell korrespondierend betrachteten Pixel p' des anderen Bildes 1' wird dasjenige zur Erstellung einer Disparitätskarte D(p) ausgewählt, bei dem eine globale Energie minimal ist, die zumindest die Kosten C(p,d) der Unähnlichkeit umfasst. Die globale Energie kann auch Strafterme p1 , p2 enthalten, die die Änderungen einander benachbarter Disparitäten d+1 , d, d-1 zueinander berücksichtigen, wie aus Figur 2 deutlich wird und wie in folgender Formel gezeigt ist:
Figure imgf000007_0001
Beispielsweise wird bei der Bestimmung der globalen Energie ein kleiner Strafterm p1 berücksichtigt, wenn sich die Disparität d zwischen benachbarten Pixeln p, p' geringfügig ändert und ein großer Strafterm p2, wenn eine sprungartige Änderung der Disparität d zwischen benachbarten Pixeln p, p' vorliegt. Man spricht hierbei auch von einer Glattheitsbeschränkung (smoothness constraint).
Das Bild 1 wird zur Bestimmung der Korrespondenzen in Bildausschnitte der Größe (n+1)x(n+1) unterteilt. Zur Weiterberechnung werden nur die in jedem der eindimensionalen Pfade L1 bis L8 akkumulierten Kosten S(p, d) für jede n-te Zeile und jede n-te Spalte des Bildes 1 in einer Akkumulierte-Kosten-Matrix gespeichert, wobei die Komplexität des Algorithmus bezüglich der Zeit 0(WHD) ist (WHD - width, height, disparity ränge; Breite, Höhe, Disparitätsbereich).
Die Speicherung erfolgt zum Beispiel in einem externen Speicher, während die Berechnung beispielsweise in einem FPGA oder einem MikroController stattfindet. Anschließend wird jeweils einer der Bildausschnitte geladen. Dabei werden die gespeicherten akkumulierten Kosten S(p, d), die einen Rand des Bildausschnitts betreffen, geladen. Die in jedem der eindimensionalen Pfade L1 bis L8 akkumulierten und durch Summation ermittelten Kosten S(p, d) für ein Inneres des Bildausschnitts werden neu berechnet.
Figur 3 zeigt ein Ausführungsbeispiel für ein Ablaufdiagramm zur Ermittlung von Kosten C(p,d), CXp'.d1) und durch Summation ermittelten, akkumulierten Kosten S(p,d), S'(p',d') je Bild 1 , 1' anhand von bild- und pfadweisen Disparitäts- Kostenberechnungen.
Dabei wird für die ursprünglich aufgenommenen Bilder 1 und 1' jeweils pixelbezogen die zugehörige Disparität d bzw. d', z. B. je Bild 1 und 1' 128 Disparitäten d bzw. d' in einem Disparitätskubus D(1) bzw. D(1') (auch Disparitätsbild oder Disparitätskarte genannt) ermittelt. Der jeweilige Disparitätskubus D(I 1 d) (= D(x,y,d)) oder D(T1 d1) (= D'(x', y1, d1) umfasst als Ähnlichkeitsmaß die Disparität d bzw. d1 bezogen auf die miteinander korrespondierenden Pixel p(x,y) und p'(x\ y') im jeweiligen Bild 1 , z. B. im rechten Bild R bezogen auf das linke Bild L, bzw. V1 z. B. im linken Bild L bezogen auf das rechte Bild R, oder umgekehrt wie durch die gestrichelte Linie angedeutet.
Anschließend wird anhand der ermittelten Disparitätskuben D(1), D'(V) jeweils ein Kostenkubus C(1), C(V) ermittelt, indem die Kosten C(p,d) bzw. C'(p',d') entlang einer Anzahl von vorgebbaren Pfaden L1 bis L8 bzw. LV bis L8' bildbezogen an jedem Pixel p, p1 ermittelt werden. Zur Reduzierung des Speicherbedarfs werden anschließend bildbezogen an jedem Pixel p, p1 die ermittelten Kosten C(p,d), C'(p',d') durch Summation zu dem einzelnen akkumulierten Kostenwert S(p,d), S'(p',d') ermittelt. Anschließend wird diejenige Disparität dmin bzw. d'min ermittelt, welche den kleinsten akkumulierten Kostenwert Smin(p.d) bzw. S'min(p',d') aufweist. Wie dargestellt, wird diese Berechnung für beide Bilder 1 und V separat durchgeführt.
In einem weiteren Schritt werden dann die zu diesem kleinsten akkumulierten Kostenwert Smin(p.d) und S'min(p',d') zugehörig ermittelten Disparitäten dmin bzw. d'min der miteinander korrespondierenden Bildpunkte oder Pixel p bzw. p1 miteinander verglichen und ein daraus resultierender Vergleichswert analysiert.
Zweckmäßigerweise wird der ermittelte Vergleichswert mit einem vorgebbaren Differenzwert verglichen. Wenn der Vergleichswert den vorgegebenen Differenzwert überschreitet und somit die Differenz der Disparitäten dmin und d'min der miteinander korrespondierenden Pixel p bzw. p' zu groß ist, werden die ermittelten Disparitäten dmin und d'min auf ungültig gesetzt und somit nicht berücksichtigt; anderenfalls werden sie beibehalten.
Mit anderen Worten: Die Disparitäts- und Kostenberechnung erfolgt einmal für das rechte und einmal für das linke Bild 1 bzw. V eines Stereopaares. Bildbereiche, insbesondere Pixel p und p', in denen unterschiedliche Disparitäten d bzw. d', insbesondere dmin und d'min ermittelt werden, stellen so genannte "Stereo-Schatten" dar, die durch Setzen auf ungültig eliminiert und somit unberücksichtigt bleiben. Dies geschieht zu Lasten der Dichte des Stereobildes. Es hat sich aber überraschenderweise in der Darstellung von Straßenszenen gezeigt, dass der Verlust an Stereoinformation für 3D-Szenarien vernachlässigbar klein ist. Dabei ist die Ermittlung und Eliminierung von Stereo-Schatten ohne externe Speicherung von Zwischenergebnissen möglich. Hierdurch kann die genutzte Speicherbandbreite weiter reduziert werden. Figur 4 zeigt ein alternatives Ausführungsbeispiel für ein Ablaufdiagramm für die Ermittlung von Kosten bildbezogenen anhand von bild- und pfadweisen Disparitäts- Kostenberechnungen.
Dabei werden die miteinander korrespondierenden Bilder 1 und V eines Stereopaares und die daraus resultierenden Disparitätskuben D(1) bzw. D'(V) in analoger Weise, wie im Ausführungsbeispiel nach Figur 3 beschrieben, ausgeführt. Die Ermittlung des jeweiligen Kostenkubus C(1) und C'(1') je Bild 1 bzw. 1' unterscheidet sich darin, dass für das eine Bild 1 , z. B. das rechte Bild R, zunächst vier Pfade L1 bis L4 von oben und links, und für das andere Bild 1', z. B. das linke Bild L, vier andere Pfade L5' bis L81 von unten und rechts ausgewählt und deren zugehörige Kosten C(p,d) bzw. C'(p',d') sowie pfadbezogen die zugehörigen durch Summation ermittelten und als ein Summenwert akkumulierten Kosten S(p,d) bzw. S'(p',dd') ermittelt werden und in analoger Weise die zugehörige Disparität dmin bzw. d'min mit dem kleinsten Kostenwert Cmin bzw. C'min ermittelt wird. Anschließend werden in einem zweiten Schritt die Teilsummen der vier Pfade L1 bis L4 und L51 bis L81 wieder eingelesen und die restlichen vier Pfade L5 bis L8 bzw. L1 bis L4 hinzuaddiert. Dabei muss für die jeweilige Kostenermittlung der vier Pfade L1 bis L4, L5 bis L8, L11 bis L4' und/oder L5' bis L81 jeweils nur eine Zeile des Kostenkubus S(1), S'(1'), insbesondere der kleinste Kostenwert Cmin, C'min mit der zugehörigen Disparität dmin, d'min gespeichert werden.
Auch kann je Bild 1 , 1' eine waagerechte fünfte Richtung, wie durch die gestrichelte Linie angedeutet, je Kostenkubus C(1) und C'(1') ermittelt werden. Dies führt zu einem verbesserten Ergebnis mit einer höheren Dichte.
Bezugszeichenliste
1 , V Bild
C(p,d), C'(p',d') Kosten der Unähnlichkeit
C(I)1 C(I1) Kostenkubus
D, d1 Disparität bei ausgerichteten Bildern
D(1), D(I1) Disparitätskubus
L1 bis L8 eindimensionale Pfade p, p1 korrespondierende Pixel p1 Strafte rm 1 p2 Strafterm 2
S(p,d), S'(p',d') durch Summation ermittelte, akkumulierte Kosten der Unähnlichkeit

Claims

Patentansprüche
1. Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (p, p') in mindestens zwei stereoskopisch aufgenommenen Bildern (1 , V)1 bei dem für jedes Pixel (p, p1) eines der Bilder (1 , V) eine Berechnung von Kosten (C(p,d), C'(p',d')) einer Unähnlichkeit anhand von Intensitäten des Pixels (p) und eines als potentiell korrespondierend betrachteten Pixels (p1) des anderen Bildes (V) durchgeführt wird, wobei entlang einer Anzahl von eindimensionalen Pfaden (L1 bis L8, LV bis L81), die im Pixel (p,p') münden, eine Akkumulierung der Kosten (C(p,d),C'(p',d')) zu akkumulierten Kosten (S(p,d), S'(p',d')) für diesen Pixel (p,p') erfolgt, wobei aus den als potentiell korrespondierend betrachteten Pixeln (p1) des anderen Bildes (V) dasjenige zur Erstellung einer Disparitätskarte (D(1), D'(1)) ausgewählt wird, bei dem eine globale Energie minimal ist, die zumindest die Kosten (C(p,d), C'(p',d')) der Unähnlichkeit umfasst, dadurch gekennzeichnet, dass bildbezogen die Kosten (C(p,d), C'(p,d)) jeweils von zumindest vier Pfaden (L1 bis L4, L5' bis L8' oder LV bis L4', L5 bis L8) an jedem Pixel (p, p1) summiert werden und bildbezogen diejenige Disparität (dmin, d'min) ermittelt wird, die den kleinsten Kostenwert (Cmin, C'min) aufweist.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die ermittelten Disparitäten (dmin, d'min) für miteinander korrespondierende Pixel (p, p1) verglichen und ein daraus resultierender Vergleichswert analysiert wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Vergleichswert anhand eines vorgebbaren Differenzwertes analysiert wird, wobei wenn der Vergleichswert den Differenzwert überschreitet, die ermittelten Disparitäten (dmin, d'min) ungültig gesetzt werden, anderenfalls beibehalten werden.
4. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass in einem ersten Schritt die Kosten (C(p, d) von acht Pfaden (L1 bis L8) in einem der beiden Bilder (1) und in einem zweiten Schritt die Kosten (C'φ'.d1) von zu diesen acht Pfaden (L1 bis L8) korrespondierenden Pfaden (L1' bis L8') im anderen Bild (V) ermittelt werden.
5. Verfahren nach einem der vorhergehenden Ansprüchen, dadurch gekennzeichnet, dass in einem ersten Schritt die Kosten (C(p, d) von vier der acht Pfade (L1 bis L4) in einem der beiden Bilder (1) und in einem zweiten Schritt die Kosten (C'fp'.d1) der restlichen vier Pfade (L5' bis L8') im anderen Bild (V) ermittelt werden.
PCT/EP2009/005414 2008-09-09 2009-07-27 Verfahren zur bildverarbeitung von stereobildern WO2010028718A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008046505.4 2008-09-09
DE102008046505.4A DE102008046505B4 (de) 2008-09-09 2008-09-09 Verfahren zur Bildverarbeitung von Stereobildern

Publications (2)

Publication Number Publication Date
WO2010028718A2 true WO2010028718A2 (de) 2010-03-18
WO2010028718A3 WO2010028718A3 (de) 2011-05-12

Family

ID=41650829

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/005414 WO2010028718A2 (de) 2008-09-09 2009-07-27 Verfahren zur bildverarbeitung von stereobildern

Country Status (2)

Country Link
DE (1) DE102008046505B4 (de)
WO (1) WO2010028718A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190327A1 (en) 2014-06-12 2015-12-17 Toyota Jidosha Kabushiki Kaisha Disparity image generating device, disparity image generating method, and image
JP2019159708A (ja) * 2018-03-12 2019-09-19 株式会社東芝 画像処理装置、及び、画像処理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010024666A1 (de) 2010-06-18 2011-12-22 Hella Kgaa Hueck & Co. Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens
DE102013100344A1 (de) 2013-01-14 2014-07-17 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung von Tiefenkarten aus Stereobildern mit verbesserter Tiefenauflösung im Fernbereich

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008015535A1 (de) * 2007-12-19 2008-08-07 Daimler Ag Verfahren zur Bildverarbeitung von Stereobildern

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509373C1 (de) 1995-03-15 1996-08-08 Siemens Ag Verfahren und Anordnung zur objektbasierten Bildkodierung
DE102008017834A1 (de) 2008-04-08 2008-10-30 Daimler Ag Verfahren zur Bildverarbeitung von Stereobildern

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008015535A1 (de) * 2007-12-19 2008-08-07 Daimler Ag Verfahren zur Bildverarbeitung von Stereobildern

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIRSCHMULLER H: "Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information", COMPUTER VISION AND PATTERN RECOGNITION, 2005 IEEE COMPUTER SOCIETY CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, Bd. 2, 20. Juni 2005 (2005-06-20), Seiten 807-814, XP010817537, DOI: DOI:10.1109/CVPR.2005.56 ISBN: 978-0-7695-2372-9 in der Anmeldung erwähnt *
HIRSCHMULLER H: "Stereo Processing by Semiglobal Matching and Mutual Information", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, Bd. 30, Nr. 2, 1. Februar 2008 (2008-02-01), Seiten 328-341, XP011246438, ISSN: 0162-8828 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015190327A1 (en) 2014-06-12 2015-12-17 Toyota Jidosha Kabushiki Kaisha Disparity image generating device, disparity image generating method, and image
US10116918B2 (en) 2014-06-12 2018-10-30 Toyota Jidosha Kabushiki Kaisha Disparity image generating device, disparity image generating method, and image
JP2019159708A (ja) * 2018-03-12 2019-09-19 株式会社東芝 画像処理装置、及び、画像処理方法

Also Published As

Publication number Publication date
WO2010028718A3 (de) 2011-05-12
DE102008046505A1 (de) 2010-03-11
DE102008046505B4 (de) 2023-06-29

Similar Documents

Publication Publication Date Title
DE69812882T2 (de) Verfahren zur bewegungskompensierten Mehrhalbbildverbesserung von Videostandbildern
DE60109858T2 (de) System zur Ungleichheitsmessung von stereoskopischen Bildern
EP2406769B1 (de) Verfahren und vorrichtung zur reduktion des speicherbedarfs bei der bestimmung von disparitätswerten für mindestens zwei stereoskopisch aufgenommene bilder
DE60217589T2 (de) Vorrichtung und Verfahren zur Detektion von weissen Linien
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
DE102019101482A1 (de) Erkennungsvorrichtung für die äussere umgebung eines fahrzeugs
WO2010028718A2 (de) Verfahren zur bildverarbeitung von stereobildern
DE102008015535B4 (de) Verfahren zur Bildverarbeitung von Stereobildern
DE102006045828B4 (de) Verfahren und Vorrichtung zum Erkennen eines Gesichts sowie ein Gesichtserkennungsmodul
WO2009124663A1 (de) Semi-globale korrespondenzsuche in stereobildern
DE102018114229A1 (de) Verfahren zum Bestimmen eines Bewegungszustands eines Objekts in Abhängigkeit einer erzeugten Bewegungsmaske und eines erzeugten Begrenzungsrahmens, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020207695A1 (de) Tiefenschätzung aus Monokamerabildern mittels künstlicher Intelligenz
DE2816839C3 (de) Schaltungsanordnung zum Aufbereiten eines abgetasteten Musters
DE112019002126T5 (de) Positionsschätzungsvorrichtung, positionsschätzungsverfahren und programm dafür
EP3685352A1 (de) Verfahren und vorrichtung zum bewerten von bildern, betriebsassistenzverfahren und betriebsvorrichtung
DE102016223074B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Schreibprozess in mehreren Korrespondenztabellen
DE102009006125A1 (de) Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern
DE102008048257B4 (de) Verfahren zur Detektion eines Blockrasters
DE102017203608A1 (de) Verfahren zur Erzeugung von Histogrammen
DE19934904C2 (de) Verfahren und Vorrichtung zur Bildzuordnung
AT504372B1 (de) Verfahren und vorrichtung zur ermittlung von interpolationswerten in datenfeldern
DE102017216065A1 (de) Verfahren und Vorrichtung zum Bewerten von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung
DE102009042463A1 (de) Verfahren zur 3D-Modellierung von Objekten
DE102009029744A1 (de) Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern
DE102021119951A1 (de) Verfahren, System und Computerprogrammprodukt zur Erkennung der Umgebung eines Kraftfahrzeugs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09777449

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09777449

Country of ref document: EP

Kind code of ref document: A2