WO2008154989A1 - Verfahren zur optimierung eines stereoskopischen bildes - Google Patents
Verfahren zur optimierung eines stereoskopischen bildes Download PDFInfo
- Publication number
- WO2008154989A1 WO2008154989A1 PCT/EP2008/003830 EP2008003830W WO2008154989A1 WO 2008154989 A1 WO2008154989 A1 WO 2008154989A1 EP 2008003830 W EP2008003830 W EP 2008003830W WO 2008154989 A1 WO2008154989 A1 WO 2008154989A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- disparity
- image
- pixels
- term
- determined
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Definitions
- the invention relates to a method for optimizing a stereoscopic image.
- Stereoscopic methods for spatially true imaging are usually based on the comparison of at least two corresponding fields (also called stereoscopic fields or image pairs), which are recorded from at least two different viewing angles, for example two different camera positions, whereby corresponding partial image points of the fields are assigned to one another by suitable methods.
- corresponding fields also called stereoscopic fields or image pairs
- a deviation between coordinate values of the X coordinate of the corresponding subpixels represents a so-called transverse disparity and a deviation between coordinate values of the Z coordinate of the corresponding subpixels is a so-called depth or spatial depth disparity.
- the two fields are, for example, in a common image plane is projected such that all the distance vectors of corresponding subpixels run parallel to the X coordinate of the image plane, the Y coordinate being identical.
- disparity techniques such as correlation-based techniques or globally optimizing approaches, such as semi-global matching, determine the disparities pixel-accurately.
- Dispari ⁇ did that usually leads to intolerable quantization effects in determining the distance or depth, which affects the quality of the data. That's why often trying to estimate the disparity more accurately, ie subpixel-exact.
- disparity values of neighboring pixels of a disparity image are processed on the basis of a smoothing term and a smoothed disparity image is generated.
- smoothness constraints e.g. B.
- the underlying disparity image is conventionally formed for example on the basis of at least two partial images of an object, which are recorded by different recording points and converted in such a way that corresponding in a spatial point, and a disparity corresponding to a deviation between coordinate values of the corresponding partial pixels is determined , on the basis of which a disparity image is generated with corresponding pixels.
- the smoothing term is weighted.
- the disparity values of the neighboring pixels are weighted.
- the smoothing term can enter as a smoothness weight or an edge weight in the energy minimization function, wherein the weighting factor is a constant, in particular an integer positive constant.
- the weighting factor is a constant, in particular an integer positive constant.
- an optimum for the reproduction of smooth surfaces ⁇ weighting factor is preferably determined, in which case disabled in this embodiment, the smoothing term to the object or Disparticianskanten representing pixels or reduced.
- the smoothing term takes into account depth differences and / or transverse differences.
- a contrast term in particular a gray value image, can be taken into account.
- the smoothing at object boundaries can likewise be correspondingly reduced or optionally deactivated.
- the smoothed disparity image is determined from an optimization method based on a global energy minimization function by taking into account the smoothing term in the estimation of sub-pixel exact disparities and formulating the estimation problem as local energy minimization.
- SSD Sum of Squared Differences or Sum of Squared Differences. rences.
- the energy minimization process is performed iteratively, with a so-called "least squares problem" being solved in each iteration step. This makes possible a gradual optimization of the stereoscopic image on the basis of the disparity images.
- FIG. 2 shows schematically two depth maps with an associated depth distribution for the object identified in the spatial depth according to FIG. 1, wherein the left depth map was generated by means of a conventional interpolation method and the right depth map was generated by means of the optimization method according to the invention, and
- FIG. 3 schematically shows an exemplary embodiment of an iterative optimization method of stereoscopic images on the basis of disparity images in the form of a block diagram.
- FIG. 1 schematically shows two fields 1.1, 1.2 recorded by different camera positions with an object O identified in the spatial depth, z.
- noise also called "stereo cloud” in a disparity image DBl determined in a conventional manner is shown, for example, in the left-hand image in FIG. 2 and frequently leads to erroneous object detections.
- the object O is positioned at a distance of 40 m.
- E D and a smoothing term E G is formed from a given data by correlation term.
- the following object properties or object parameters are taken into account by means of the new smoothing term E G compared to conventional methods:
- the optimization problem can be solved for example by simple relaxation.
- the local disparity do is given as an energy minimization problem according to:
- E ges error term
- E D data term
- E G smoothing term
- do local disparity value. It is considered that a sufficiently accurate estimation of the disparity of the disparity images DB1 should have a certain smoothness in the estimated disparities or distances. This means that the estimation of the disparity at one pixel BP (x, y) (BP also called position x) from the other pixels BP (x + 1, y + 1) and BP (xl, y-1), respectively, of a local Neighborhood must depend on a factor x. It should be taken into account in the optimization of the disparity image DBl that at object boundaries disparity jumps and thus disparate disparities and / or image points BP depending on the local contrast different disparities occur.
- the number of neighboring pixels BP to be taken into account is predetermined.
- a 3x3 mask is specified with the following numbering of the pixels BP:
- the smoothness of the solution is defined for example by a disparity variance ⁇ , other energy formulations are conceivable. This results in a smoothing term E G to Be ⁇ mood smoothness:
- N 9 for the 3x3 system
- d average pixel disparity value
- do local disparity
- ⁇ estimated disparity variance
- Equation [8] also allows for smoothing and thus smoothness across disparity edges. It is desirable to have a formulation which excludes or greatly reduces the influence of the smoothing term E G on disparity edges.
- the smoothing term E G is modified, for example, as follows:
- a smoothed disparity image DB2 (n) with a homogeneity H is determined which corresponds to a function of the disparity d and the variance of the disparity d_var in this region, e.g. In the 3x3 matrix.
- the next smoothed disparity image DB2 (n + 1) for the respectively considered area with, for example, 3 ⁇ 3 pixels BP is then determined on the basis of the mean disparity d_mean and the constant a 0 and the homogeneity H, where for all examples considered a convergence is assumed for ao> 0.
- the case ao 0 can occur only in areas with constant gray values and is excluded as "disparity d not measurable".
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Optimierung eines stereoskopischen Bildes, wobei mindestens zwei Teilbilder (1.1, 1.2) eines Objektes (0) von unterschiedlichen Aufnahmepunkten aufgenommen und die Teilbilder (1.1, 1.2) derart umgewandelt werden, dass korrespondierende Teilbildpunkte (TP1.1, TP1.2) der beiden Teilbilder (1.1, 1.2) bezüglich einer Koordinate in einem Raumpunkt zusammenfallen und eine einer Abweichung zwischen Koordinatenwerten der korrespondierenden Teilbildpunkte (T1.1, T1.2) entsprechende Disparität ermittelt wird, anhand der ein Disparitätsbild (DB) mit entsprechenden Bildpunkten (BP) erzeugt wird. Erfindungsgemäß werden Disparitätswerte (d_mess) benachbarter Bildpunkte (BP) des ermittelten Disparitätsbildes (DB1) anhand eines Glättungsterms (EG) verarbeitet und ein geglättetes Disparitätsbild (DB2) erzeugt.
Description
Verfahren zur Optimierung eines stereoskopischen Bildes
Die Erfindung betrifft ein Verfahren zur Optimierung eines stereoskopischen Bildes.
Stereoskopieverfahren zur raumtreuen Abbildung beruhen üblicherweise auf dem Vergleich von mindestens zwei korrespondierenden Halbbildern (auch stereoskopische Halbbilder oder Bildpaar genannt) , die aus mindestens zwei unterschiedlichen Blickwinkeln, beispielsweise zwei unterschiedlichen Kamerapositionen, aufgenommen werden, wobei korrespondierende Teilbildpunkte der Halbbilder durch geeignete Verfahren einander zugeordnet werden. Im Folgenden wird die Erfindung und der Stand der Technik anhand von zwei, mittels zwei hinsichtlich Orientierung und Brennweite abgestimmten Kameras aufgenommener Halbbilder beschrieben (= Standard-Stereo mit stereoskopischen Bildern) ; die Erfindung ist aber auch auf Systeme mit mehr als 2 Kameras nutzbringend anwendbar (= Multi-Stereo mit MultiStereobildern) .
Die aus mindestens zwei unterschiedlichen Blickwinkeln aufgenommenen Halbbilder können zum Beispiel durch einfache Trian¬ gulation der Rekonstruktion von Tiefenwerten (auch Raumwerte) dienen gemäß :
Abstand = normierte Brennweite x Basisbreite / Disparität.
Unter Tiefenwerten wird dabei die Tiefe eines Bildpunktes (= Raumpunkt der korrespondierenden Teilbildpunkte) verstanden, welche den Abstand des Bildpunktes vom Projektionszentrum der entsprechenden Kamera beschreibt. Durch Rekonstruktion von Tiefenwerten für sämtliche Bildpunkte des aus den zwei Halbbildern gebildeten stereoskopischen Bildes erhält man ein stereoskopisches Bild mit so genannter dichter Tiefenschätzung und somit ein dreidimensionales Bild.
Die Disparität des stereoskopischen Bildes wird üblicherweise pixelgenau ermittelt, indem eine Abweichung (= Abstand) zwischen Koordinatenwerten von korrespondierenden Teilbildpunkten der Halbbilder ermittelt wird. Dabei stellt eine Abweichung zwischen Koordinatenwerten der X-Koordinate der korrespondierenden Teilbildpunkte eine so genannte Querdisparität und eine Abweichung zwischen Koordinatenwerten der Z- Koordinate der korrespondierenden Teilbildpunkte eine so genannte Tiefen- oder Raumtiefendisparität dar. Beim Rektifizieren werden dazu die zwei Halbbilder beispielsweise in eine gemeinsame Bildebene derart projiziert, dass alle Abstandsvektoren korrespondierender Teilbildpunkte parallel zur X- Koordinate der Bildebene verlaufen, wobei die Y-Koordinate identisch ist.
Die meisten Verfahren zur Bestimmung von Disparitäten, wie z.B. korrelationsbasierte Techniken oder global optimierende Ansätze, wie das so genannte Semi-Global-Matching, bestimmen die Disparitäten pixel-genau. Vor allem bei kleinen Dispari¬ täten führt das in der Regel zu nicht tolerierbaren Quantisierungseffekten bei der Bestimmung der Entfernung oder Tiefe, welche die Qualität der Daten beeinflusst. Deshalb wird
oft versucht, die Disparität genauer, d.h. subpixel-genau, zu schätzen. Dazu benutzt man eine so genannte "goodness-of-fit- Funktion", die man im Rahmen der Stereoanalyse für verschiedene Disparitäten ausgewertet hat und passt (auch fitten genannt) eine geeignete Funktion, meist eine Parabel, an das Optimum und die Funktionswerte der angrenzenden Disparitäten an. Der Ort des Minimums dieser Funktion wird dann als verbesserte Schätzung der Disparität angesehen. Eine derartige Funktion ist beispielsweise in D. Scharstein, R.Szeliski: "A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspon- dence Algorithms", Proceedings of the IEEE Workshop on Stereo and Multi-Baseline Vision, Kauai, HI, 12/2001, beschrieben. Diese Operation wird an allen Bildpunkten durchgeführt, für die vorab eine Disparität ermittelt wurde. Auch wenn dadurch die extremen Quantisierungseffekte vermieden werden, ist diese Vorgehensweise nicht befriedigend, da die unabhängige Auswertung der betrachteten Bildpunkte in einem starken Rauschen resultiert.
Darüber hinaus sind Ansätze bekannt, die die Schätzung eines dichten Disparitätsbildes als Variationsaufgabe auffassen, wobei ein globaler Energieterm bestehend aus Ähnlichkeitsmaß der Stereobilder und Glattheitsmaß minimiert wird, wie dies beispielsweise aus X.Huang, E.Dubois: "Disparity estimation for the intermediate view interpolation of stereoscopic im- ages", ICASSP 2005, bekannt ist. Diese Verfahren sind sehr rechenintensiv und neigen zu unerwünschten Glättungen an Tie¬ fensprüngen mit geringen Grauwertunterschieden. Somit sind Objektdetektionen mit wachsender Entfernung oder Tiefe erschwert.
Der Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zur Optimierung eines stereoskopischen Bildes anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch die im Patentanspruch 1 angegebenen Merkmale. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.
Beim erfindungsgemäßen Verfahren zur Optimierung eines stereoskopischen Bildes werden Disparitätswerte von benachbarten Bildpunkte eines Disparitätsbildes, wobei die Disparitätswerte in einem herkömmlichen Verfahren ermittelt werden, anhand eines Glättungsterms verarbeitet und ein geglättetes Disparitätsbild erzeugt. Hierdurch wird die Qualität einer Pixelkorrespondenz bewertet, indem dabei Glattheitsbedingungen berücksichtigt werden, z. B. derart, dass benachbarte Bildpunkte meist glatte Oberflächen mit weitgehend gleicher Entfernung aufweisen. Mit anderen Worten: Der Tiefenunterschied benachbarter Bildpunkte wird als Bewertungskriterium für die Glattheit des Objekts genommen, wobei benachbarte Bildpunkte insbesondere ohne Rücksicht auf lokale Pixelkontraste (= Kanten und somit Tiefenunterschiede), d.h. über Disparitätskanten hinweg, stückweise geglättet werden. Hierdurch sind unerwünschte Verschmierungseffekte an Objektgrenzen (= Dispari¬ tätssprünge) vermieden, so dass eine bei der Stereoanalyse ermittelte Tiefenkarte oder ein Tiefenbild extrem rauschfrei ist. Hierdurch kann die Auflösungsgrenze von Stereosystemen gesteigert werden.
Das zugrunde liegende Disparitätsbild wird herkömmlich beispielsweise anhand von mindestens zwei Teilbilder eines Objektes gebildet, die von unterschiedlichen Aufnahmepunkten aufgenommen und derart umgewandelt werden, dass korrespondie-
rende Teilbildpunkte der beiden Teilbilder bezüglich einer Koordinate (z. B. der X-Koordinate für die so genannte Querdisparität oder der Z-Koordinate für die so genannte Tiefenabweichung) in einem Raumpunkt zusammenfallen und eine einer Abweichung zwischen Koordinatenwerten der korrespondierenden Teilbildpunkte entsprechende Disparität ermittelt wird, anhand der ein Disparitätsbild mit entsprechenden Bildpunkten erzeugt wird.
Im Detail erfolgt die Optimierung der lokalen Disparität durch Energieminimierung, insbesondere so genannte globale Minimierung, bei der ein Raummodell durch einen Datenterm, der die Annahme der Bildkonsistenz umsetzt, und durch den Glättungsterm, der die stückweise Glättung benachbarter Bildpunkte umsetzt, vorgegeben wird.
Vorzugsweise wird der Glättungsterm gewichtet. Insbesondere werden die Disparitätswerte der benachbarten Bildpunkte gewichtet. Dabei kann der Glättungsterm als ein Glattheitsge- wicht oder ein Kantengewicht bei der Energieminimierungsfunk- tion eingehen, wobei der Wichtungsfaktor eine Konstante, insbesondere eine ganzzahlige positive Konstante ist. Mit stei¬ gendem, insbesondere einem hohen Wichtungsfaktor wird die Nachbildung von glatten Oberflächen verbessert, wobei ein mittlerer Wichtungsfaktor die genaue Kantennachbildung verbessert, welche frei von Lücken sein sollte. Dabei kann durch Variation des Wichtungsfaktors ein entsprechend optimaler Wichtungsfaktor sowohl für die Nachbildung von glatten Ober¬ flächen als auch von Kanten ermittelt werden. Bevorzugt wird ein für die Nachbildung glatter Oberflächen optimaler Wich¬ tungsfaktor vorgegeben, wobei in diesem Ausführungsbeispiel dann der Glättungsterm an Objekt- oder Disparitätskanten repräsentierenden Bildpunkten deaktiviert oder reduziert wird.
In einer weiteren Ausführungsform berücksichtigt der Glät- tungsterm Tiefenunterschiede und/oder Querunterschiede. Dabei wird mittels des vorgebbaren Wichtungsfaktors die Glättung beispielsweise derart entfernungsabhängig (= Tiefenunterschied) eingestellt, dass Objekte in großer Entfernung oder Raumtiefe stärker geglättet werden als Objekte in naher Entfernung zur Kamera. Alternativ kann der Wichtungsfaktor auch in Abhängigkeit vom Seitenabstand des Objektes zur Kamera entsprechend vorgegeben werden (= Querunterschiede) .
In einer weiteren Ausführungsform kann zusätzlich zu den Teilbildern des Objektes ein Kontrastterm, insbesondere ein Grauwertbild berücksichtigt werden. Hierdurch kann ebenfalls die Glättung an Objektgrenzen entsprechend reduziert oder gegebenenfalls deaktiviert werden.
Als eine mögliche Ausführungsform wird das geglättete Disparitätsbild anhand eines auf einer globalen Energieminimie- rungsfunktion basierendes Optimierungsverfahrens bestimmt, indem bei der Schätzung von subpixel-genauen Disparitäten der Glättungsterm berücksichtiget und das Schätzproblem als lokale Energieminimierung formuliert wird. Dabei wird die Ener- gieminimierungsfunktion aus einem Datenterm und dem Glättungsterm gebildet, wobei als Datenterm ein Ähnlichkeitsmaß der Ähnlichkeit von Disparitätswerten der Bildpunkte ermittelt wird. Dabei weisen aufgrund der Bildkonsistenz des Rau¬ mes deren zugehörigen Raumpunkte (= Bildpunkte) annähernd gleiche Teilbildpunkte mit gleichen Werten, insbesondere Farbwerte, Helligkeitswerte, auf.
In einer möglichen Ausführungsform wird das Ähnlichkeitsmaß anhand einer gewichteten quadrierten Disparitätsdifferenz, insbesondere anhand einer so genannten SSD-Funktion (SSD = Summe der quadrierten Differenzen oder Sum of Squared Diffe-
rences) gebildet. Hierdurch werden lineare Helligkeits- und Kontrastunterschiede von benachbarten Bildpunkten berücksichtigt. Der Vorteil der SSD-Funktion liegt in der Einfachheit und effizienten Implementierung.
Darüber hinaus wird das Energieminimierungsverfahren iterativ ausgeführt, wobei in jedem Iterationsschritt ein so genanntes "kleinstes-Quadrat-Problem" gelöst wird. Hierdurch ist eine stufenweise Optimierung des stereoskopischen Bildes anhand der Disparitätsbilder ermöglicht.
Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert. Dabei zeigen:
Fig. 1 schematisch zwei, von unterschiedlichen Kamerapositionen aufgenommene Halbbilder mit einem in der Raumtiefe identifizierten Objekt,
Fig. 2 schematisch zwei Tiefenkarten mit einer zugehörigen Tiefenverteilung für das in der Raumtiefe identifizierte Objekt gemäß Figur 1, wobei die linke Tiefenkarte mittels eines herkömmlichen Interpolationsverfahrens erzeugt wurde und die rechte Tiefenkarte mittels des erfindungsgemäßen Optimierungsverfahren erzeugt wurde, und
Fig. 3 schematisch ein Ausführungsbeispiel für ein iteratives Optimierungsverfahren von stereoskopischen Bildern anhand von Disparitätsbildern in Form eines Blockdiagramms .
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
Figur 1 zeigt schematisch zwei, von unterschiedlichen Kamerapositionen aufgenommene Halbbilder 1.1, 1.2 mit einem in der Raumtiefe identifizierten Objekt O, z. B. ein senkrechtes Heckteil eines Kraftfahrzeuges.
Anhand der aufgenommenen Halbbilder 1.1, 1.2 wird mittels einer Datenverarbeitungseinheit 2 (siehe Figur 3), z. B. ein Steuergerät eines Fahrassistenzsystems, ein Disparitätsbild in herkömmlicher Art und Weise ermittelt. Im nachfolgenden Beispiel stellt das ermittelte Disparitätsbild DB ein Tiefenbild (auch Tiefenkarte genannt) dar, welches die Entfernung des Objektes O darstellt, wobei eine Tiefenabweichung (= Tiefendisparität) von in einem Raum- oder Bildpunkt BP des Disparitätsbildes DB zusammenfallenden, korrespondierenden Teilbildpunkten TPl.1, TPl.2 der Halbbilder 1.1, 1.2 aufgrund der unabhängigen Bearbeitung der korrespondierenden Teilbildpunkte TPl.1, TPl.2 des Bildpunktes BP zu einem starken Rauschen führen. D.h. die übliche Schätzung der Disparität, insbesondere einer subpixelgenauen Disparität beispielsweise durch lokalen Parabelfit, ignoriert die Tatsache, dass benachbarte Bildpunkte BP des Disparitätsbildes DB meist zu glatten Oberflächen mit gleicher Entfernung gehören. Gerade bei kleinen Disparitäten ergibt sich ein dieser Tatsache widersprechendes starkes Tiefenrauschen, was eine Objektdetektion mit wachsender Entfernung erschwert. Ein derartiges Rauschen (auch "Stereowolke" genannt) in einem auf herkömmlicher Art und Weise ermittelten Disparitätsbild DBl ist beispielsweise in der Figur 2 im linken Bild gezeigt und führt häufig zu fehlerhaften Objektdetektionen. Im Beispiel ist das Objekt O in einer Entfernung von 40 m positioniert. Die geschätzten räumlichen Bildpunkte BP des Disparitätsbildes DBl (= Tiefenkarte) rauschen in diesem Beispiel in ihrer Entfernung oder Tiefe um +/- 1 m.
Zur Reduzierung des Rauschens in ermittelten Disparitätsbildern DBl ist beim erfindungsgemäßen Verfahren ein Optimierungsproblem formuliert, welches aus einem durch Korrelation gegebenen Datenterm ED und einem Glättungsterm EG gebildet wird. Dabei werden mittels des gegenüber herkömmlichen Verfahren neuen Glättungsterms EG folgenden Objekteigenschaften bzw Objektparameter berücksichtigt:
- Objekte und somit deren Bilder oder Bildbereiche weisen näherungsweise glatte Oberflächen auf, so dass daraus resultierend
- benachbarte Bildpunkte von Disparitätsbildern, welche dasselbe detektierte Objekt 0 repräsentieren, sehr ähnliche oder gleiche Disparitätswerte aufweisen sollten.
Dabei wird das Optimierungsproblem derart formuliert, dass unerwünschte Verschmierungseffekte (= Tiefenrauschen) an Objektgrenzen (= Disparitätssprüngen) reduziert oder vermieden werden. Hierzu kann das Optimierungsproblem beispielsweise durch einfache Relaxation gelöst werden.
Bei der Optimierung des Disparitätsbildes DBl wird die lokale Disparität do als ein Energieminimierungsproblem vorgegeben gemäß :
Mit Eges = Fehlerterm, ED = Datenterm, EG = Glättungsterm, do = lokaler Disparitätswert.
Dabei wird berücksichtigt, dass eine hinreichend genaue Schätzung der Disparität der Disparitätsbilder DBl eine gewisse Glattheit in den geschätzten Disparitäten bzw. Entfernungen aufweisen sollte. Das bedeutet, dass die Schätzung der Disparität an einem Bildpunkt BP(x,y) (BP auch Stelle x genannt) von den anderen Bildpunkten BP(x+l, y+1) bzw. BP(x-l, y-1) einer lokalen Nachbarschaft um einen Faktor x abhängen muss. Dabei soll bei der Optimierung des Disparitätsbildes DBl berücksichtigt werden, dass an Objektgrenzen Disparitätssprünge und somit unstetige Disparitäten und/oder bei Bildpunkten BP abhängig vom lokalen Kontrast unterschiedliche Disparitäten auftreten.
Je nach Vorgabe wird dabei die Anzahl von zu berücksichtigenden benachbarten Bildpunkten BP vorgegeben. Beispielsweise wird eine 3x3 Maske mit nebenstehender Nummerierung der Bildpunkte BP vorgegeben:
Die Glattheit der Lösung wird beispielsweise durch eine Disparitätsvarianz σ definiert, andere Energieformulierungen sind denkbar. Somit ergibt sich als Glättungsterm EG zur Be¬ stimmung der Glattheit:
Bei der so genannten SPG-Schätzung wird eine Parabel an die Werte einer so genannten SSD-Funktion {d_,do,d+} (mit SSD = Summe quadrierter Disparitätsdifferenzen) gefiltert, wobei dann d0 das Minimum der Fehlerfunktion darstellt. Die dabei resultierende Parabelöffnung ergibt ein Maß für die Zunahme einer Fehlerenergie, wenn man das Optimum verlässt. Damit kann der Datenterm ED wie folgt formuliert werden:
ED~ao(do-dmess)2 [3]
mit a0 = Konstante, d0 = Minimum der Fehlerfunktion, dmeSs = lokale Disparität.
Der Fehlerterm Eges (= Gesamtenergie) ergibt sich dann gemäß:
mit λ = Wichtungsfaktor für eine entfernungsabhängige Wich- tung.
Einer Steigerung der Glättung und somit der Glattheit der Ob¬ jektoberfläche durch Variation von do steht damit eine Zunah¬ me der Energie im Datenterm ED gegenüber. Das Optimum ergibt sich zu:
^i = O H2ao(do -dmess) + A[λ.2do -λ.2.dy0 [5]
H do = ao . dmess + Ä/N . d [ 8 ]
mit folgenden Variationen:
ao→0: do=d, [9] ao→∞: do=dmess oder [10]
Ä→∞: do=d. [11]
Die Gleichung [8] ermöglicht dabei auch eine Glättung und somit Glattheit über Disparitätskanten hinweg. Wünschenswert ist eine Formulierung, die den Einfluss des Glättungsterms EG an Disparitätskanten ausschließt bzw. stark mindert. Hierzu wird der Glättungsterm EG beispielsweise wie folgt modifiziert :
£G~σπ 2atan (?<&) . [12]
'Norm
Je größer die Disparitätsvarianz σ, desto weniger wirkt eine Änderung der lokalen Disparität d0. Schreibt man zusätzlich λ = λ\d), ergibt sich für den Fehlerterm Eges :
Dabei entspricht die Gleichung [16] für σ„=l und kleine Varianzen der Gleichung [8], reduziert aber mit zunehmender Varianz den Einfluss der mittleren Disparitätsvarianz d .
Wählt man einen konstanten Wichtungsfaktor mit λ(d)= konstant, werden alle Disparitäten gleich behandelt, wobei mittels des vorgebbaren Wichtungsfaktor λ die Glättung entfer-
nungsabhängig einstellbar ist. Die Wahl von λ(d)= — glättet dι
Objekte 0 in großer Entfernung stärker, was in vielen Fällen erwünscht ist.
In Figur 2, rechtes Bild ist ein mittels des beschriebenen Optimierungsverfahrens erzeugtes geglättetes Disparitätsbild DB2 (= Tiefenkarte) dargestellt, in welchem das Tiefenrauschen weitgehend reduziert ist und somit die glatte Ob-
jektoberflache des detektierten Objektes O deutlich erkennbar ist.
Da sich bei Variation der lokalen Disparität d0 die lokale
Varianz ändert, ist das Verfahren in der bekannten iterativen Form anzuwenden, wie dies in Figur 3 beispielhaft an einem Blockdiagramm gezeigt ist.
Dabei wird anhand von gemessenen Disparitäten dmess in einer ersten Iterationsstufe n gemäß dem oben beschriebenen Verfahren ein geglättetes Disparitätsbild DB2 (n) mit einer Homogenität H ermittelt, welche einer Funktion der Disparität d und der Varianz der Disparität d_var in diesem Bereich, z. B. in der 3x3 Matrix, entspricht. In einer weiteren Iterationsstufe n+1 wird dann das nächste geglättete Disparitätsbild DB2(n+l) für den jeweils betrachteten Bereich mit beispielsweise 3x3 Bildpunkten BP anhand der mittleren Disparität d_mean und der Konstanten a0 und der Homogenität H ermittelt, wobei für alle betrachteten Beispiele eine Konvergenz für ao > 0 angenommen wird. Der Fall ao = 0 kann nur in Bereichen mit konstanten Grauwerten auftreten und wird als "Disparität d nicht messbar" ausgeschlossen.
Sind darüber hinaus beispielsweise nicht alle benachbarten Disparitäten d von benachbarten Bildpunkten BP bekannt, sind die Varianzen σ bzw. N und d entsprechend zu berechnen.
Bezugszeichenliste
1.1, 1.2 Halbbilder
2 Datenverarbeitungseinheit
BP Bildpunkt d_mess Disparitätswert
DBl Disparitätsbild
DB2 geglättes Disparitätsbild
H Homogenität
O Objekt
TPl.1 Teilbildpunkt
TPl.2 Teilbildpunkt
Claims
1. Verfahren zur Optimierung eines stereoskopischen Bildes, wobei mindestens zwei Teilbilder (1.1, 1.2) eines Objektes (O) von unterschiedlichen Aufnahmepunkten aufgenommen und die Teilbilder (1.1, 1.2) derart umgewandelt werden, dass korrespondierende Teilbildpunkte (TPl.1, TPl.2) der beiden Teilbilder (1.1, 1.2) bezüglich einer Koordinate in einem Raumpunkt zusammenfallen und eine einer Abweichung zwischen Koordinatenwerten der korrespondierenden Teilbildpunkte (Tl.1, Tl.2) entsprechende Disparität ermittelt wird, anhand der ein Disparitätsbild (DB) mit entsprechenden Bildpunkten (BP) erzeugt wird, dadurch gekennzeichnet, dass Disparitätswerte (d_mess) benachbarter Bildpunk¬ te (BP) des ermittelten Disparitätsbildes (DBl) anhand eines Glättungsterms (EG) verarbeitet werden und ein ge¬ glättetes Disparitätsbild (DB2) erzeugt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der Glättungsterm (EG) gewichtet wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Glättungsterra (EG) Tiefenunterschiede und/oder Querunterschiede berücksichtigt.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Glättungsterm (EG) für Objektkanten repräsentierende Bildpunkte (BP) deaktiviert oder reduziert wird.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass zusätzlich ein Kontrastterm, insbesondere ein Grauwertbild bei der Ermittlung des geglätteten Disparitätsbildes (DB2) berücksichtigt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das geglättete Disparitätsbild (DB2) anhand eines auf einer globalen Energieminimierungsfunktion (Eges) basierenden OptimierungsVerfahrens bestimmt wird.
7. Verfahren nach Anspruch 6 , dadurch gekennzeichnet, dass die Energieminimierungsfunktion (Eges) aus einem Da- tenterm (ED) und dem Glättungsterm (EG) gebildet wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass als Datenterm (ED) ein Ähnlichkeitsmaß der Ähnlichkeit von Disparitätswerten (d_mess) der Bildpunkte (BP) ermittelt wird.
9. Verfahren nach Anspruch 8 , dadurch gekennzeichnet, dass das Ähnlichkeitsmaß anhand einer gewichteten quadrierten Disparitätsdifferenz gebildet wird.
10. Verfahren nach einem der Ansprüche 6 bis 9, dadurch gekennzeichnet, dass das Energieminimierungsverfahren iterativ ausgeführt wird, wobei in jedem Iterationsschritt ein kleinstes- Quadrat-Problem gelöst wird.
11. System zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass mindestens eine Datenverarbeitungseinheit (2) vorgesehen ist, die Disparitätswerte (d_mess) benachbarter Bildpunkte (BP) mindestens eines ermittelten Disparitätsbildes (DBl) anhand eines Glättungsterms (EG) verarbeitet und ein geglättetes Disparitätsbild (DB2) erzeugt.
12. Computerprogrammprodukt zur Verarbeitung von Disparitätsbildern zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 10 auf einer Datenverarbeitungseinheit (2) .
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102007027958.4 | 2007-06-18 | ||
| DE102007027958A DE102007027958A1 (de) | 2007-06-18 | 2007-06-18 | Verfahren zur Optimierung eines stereoskopischen Bildes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2008154989A1 true WO2008154989A1 (de) | 2008-12-24 |
Family
ID=39805356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2008/003830 WO2008154989A1 (de) | 2007-06-18 | 2008-05-13 | Verfahren zur optimierung eines stereoskopischen bildes |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102007027958A1 (de) |
| WO (1) | WO2008154989A1 (de) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111339A (zh) * | 2019-04-28 | 2019-08-09 | 航天智造（上海）科技有限责任公司 | 条纹图像目标区域提取方法 |
| CN110211053A (zh) * | 2019-04-28 | 2019-09-06 | 航天智造（上海）科技有限责任公司 | 用于三维测量的快速精确相位匹配方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013100344A1 (de) * | 2013-01-14 | 2014-07-17 | Conti Temic Microelectronic Gmbh | Verfahren zur Bestimmung von Tiefenkarten aus Stereobildern mit verbesserter Tiefenauflösung im Fernbereich |
| DE102015111120A1 (de) | 2015-07-09 | 2017-01-12 | Chromasens Gmbh | Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6084979A (en) * | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
| US20020110272A1 (en) * | 2001-02-12 | 2002-08-15 | Tomas Brodsky | Method and apparatus for improving object boundaries extracted from stereoscopic images |
| US20020175921A1 (en) * | 1999-12-10 | 2002-11-28 | Li-Qun Xu | Image processing |
-
2007
- 2007-06-18 DE DE102007027958A patent/DE102007027958A1/de not_active Withdrawn
-
2008
- 2008-05-13 WO PCT/EP2008/003830 patent/WO2008154989A1/de active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6084979A (en) * | 1996-06-20 | 2000-07-04 | Carnegie Mellon University | Method for creating virtual reality |
| US20020175921A1 (en) * | 1999-12-10 | 2002-11-28 | Li-Qun Xu | Image processing |
| US20020110272A1 (en) * | 2001-02-12 | 2002-08-15 | Tomas Brodsky | Method and apparatus for improving object boundaries extracted from stereoscopic images |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110111339A (zh) * | 2019-04-28 | 2019-08-09 | 航天智造（上海）科技有限责任公司 | 条纹图像目标区域提取方法 |
| CN110211053A (zh) * | 2019-04-28 | 2019-09-06 | 航天智造（上海）科技有限责任公司 | 用于三维测量的快速精确相位匹配方法 |
| CN110111339B (zh) * | 2019-04-28 | 2023-08-15 | 航天智造（上海）科技有限责任公司 | 条纹图像目标区域提取方法 |
| CN110211053B (zh) * | 2019-04-28 | 2023-09-15 | 航天智造（上海）科技有限责任公司 | 用于三维测量的快速精确相位匹配方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102007027958A1 (de) | 2008-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102014222617B4 (de) | Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem | |
| DE112018000332T5 (de) | Dichtes visuelles slam mit probabilistic-surfel-map | |
| DE112018005656T5 (de) | Bordinterne Umgebungserkennungsvorrichtung | |
| EP1173749A2 (de) | Bildbearbeitung zur vorbereitung einer texturnalyse | |
| WO2015173092A1 (de) | Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs | |
| DE102016104729A1 (de) | Verfahren zur extrinsischen Kalibrierung einer Kamera, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug | |
| DE102016104732A1 (de) | Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug | |
| EP3308361B1 (de) | Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung | |
| DE102016104730A1 (de) | Verfahren zum Detektieren eines Objekts entlang einer Straße eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug | |
| DE102021102233A1 (de) | Vorrichtung und Verfahren zur Korrespondenzanalyse in Bildern | |
| DE102019104310A1 (de) | System und Verfahren zur simultanen Betrachtung von Kanten und normalen bei Bildmerkmalen durch ein Sichtsystem | |
| EP2562681B1 (de) | Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem | |
| EP2528042A1 (de) | Verfahren und Vorrichtung zum Re-Meshing von 3D-Polygonmodellen | |
| WO2008154989A1 (de) | Verfahren zur optimierung eines stereoskopischen bildes | |
| DE102008036219A1 (de) | Verfahren zur Erkennung von Objekten im Umfeld eines Fahrzeugs | |
| WO2014009406A1 (de) | VERFAHREN UND VORRICHTUNG ZUM BERECHNEN EINER VERÄNDERUNG EINES ABBILDUNGSMAßSTABS EINES OBJEKTS | |
| DE102014225848A1 (de) | Vorrichtung, Verfahren und computerlesbares Medium zum Korrigieren eines Interpolationskoeffizienten für einen Stereoabgleich | |
| WO2010028718A2 (de) | Verfahren zur bildverarbeitung von stereobildern | |
| EP1425709A2 (de) | Modellbasierte objektklassifikation und zielerkennung | |
| DE102014219418B4 (de) | Verfahren zur Stereorektifizierung von Stereokamerabildern und Fahrerassistenzsystem | |
| DE102004007049A1 (de) | Verfahren zur Klassifizierung eines Objekts mit einer Stereokamera | |
| WO2010083970A1 (de) | Verfahren zur bestimmung von korrespondenzen von bildpunkten in stereoskopisch aufgenommenen bildern | |
| WO2012150150A1 (de) | Verfahren zur rechnergestützten lageschätzung eines objekts | |
| DE19934904C2 (de) | Verfahren und Vorrichtung zur Bildzuordnung | |
| WO2022218795A1 (de) | Verfahren zur kalibrierung von sensorinformationen eines fahrzeugs sowie fahrassistenzsystem |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 08758489 Country of ref document: EP Kind code of ref document: A1 |
|
| DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) | ||
| DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) | ||
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 08758489 Country of ref document: EP Kind code of ref document: A1 |