WO2010083970A1 - Method for determining correspondences of pixels in stereoscopically recorded images - Google Patents
Method for determining correspondences of pixels in stereoscopically recorded images Download PDFInfo
- Publication number
- WO2010083970A1 WO2010083970A1 PCT/EP2010/000248 EP2010000248W WO2010083970A1 WO 2010083970 A1 WO2010083970 A1 WO 2010083970A1 EP 2010000248 W EP2010000248 W EP 2010000248W WO 2010083970 A1 WO2010083970 A1 WO 2010083970A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- images
- cameras
- pixels
- costs
- stereoscopically
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Definitions
- the invention has for its object to provide a method for determining correspondences of pixels in at least two stereoscopically recorded images, based on which a high-quality three-dimensional reconstruction is possible even with non-optimal calibration of cameras.
- a disparity image is determined on the basis of a comparison of coordinates of corresponding pixels of the images.
- horizontal edges are filtered out of the stereoscopic images in an image preprocessing with horizontally juxtaposed cameras by means of an edge filter. Due to the filtering out of the horizontal edges, very good results in the three-dimensional reconstruction are achieved even with decalibrations of the cameras, since with horizontally juxtaposed cameras generation of inaccuracies on horizontal edges, which in this case run parallel to the stereo base line, are avoided by decalibrations.
- FIGURE 1 shows a first method sequence for determining correspondences of pixels P1, P2 (also called pixels) in stereoscopic images recorded by means of non-illustrated, horizontally juxtaposed cameras.
Abstract
The invention relates to a method for determining correspondences of pixels (P1, P2) in images (B1, B2) recorded stereoscopically by means of cameras, wherein a disparity image (D) is determined on the basis of a comparison of coordinates of corresponding pixels (P1, P2) of the images (B1, B2). In this case, in an image preprocessing with cameras arranged horizontally alongside one another, horizontal edges (H1, H2) are filtered from the stereoscopically recorded images (B1, B2) by means of an edge filter.
Description
Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern Method for determining correspondences of pixels in stereoscopically recorded images
Die Erfindung betrifft ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch mittels Kameras aufgenommenen Bildern, bei dem anhand eines Vergleiches von Koordinaten korrespondierender Bildpunkte der Bilder ein Disparitätsbild ermittelt wird.The invention relates to a method for determining correspondences of pixels in images taken stereoscopically by means of cameras, in which a disparity image is determined on the basis of a comparison of coordinates of corresponding pixels of the images.
Systeme zu stereoskopischen Bilderfassung erfordern eine präzise Kalibrierung der Kameras, da bereits geringste Kalibrierfehler, auch als Dekalibrierungen bezeichnet, zu einer ungenauen dreidimensionalen Rekonstruktion aus zweidimensionalen Bildern, vor allem an Kanten, welche parallel zu einer Stereobasislinie verlaufen, führen.Stereoscopic image capture systems require precise calibration of the cameras because even the slightest calibration error, also referred to as decalibrations, results in inaccurate three-dimensional reconstruction from two-dimensional images, particularly at edges parallel to a stereo base line.
Aus der JP 2001 116 545 A ist eine Vorrichtung zur Erfassung von Objekten in einer Umgebung eines Fahrzeuges bekannt. Dabei sind zwei Kameras an dem Fahrzeug angeordnet, anhand welcher Bilddaten von Objekten einer Fahrzeugumgebung erfassbar sind. Zur Filterung von Kanten aus den Bilddaten ist ein Kantenfilter vorgesehen, wobei auf Kantenlinien ein Suchbereich gesetzt wird. Weiterhin ist eine stereoskopische Zuordnungseinheit zur Zuordnung von Bilddaten eines linken und eines rechten Bildes und einer Z-Koordinate zu dem spezifizierten Suchbereich vorgesehen, wobei die Z- Koordinate einen Abstand jedes Kantenpunktes einer vertikalen Kantenlinie von der jeweiligen Kamera darstellt und aus einer Parallaxe der Kameras ermittelt wird. Für eine horizontale Kantenlinie, für welche die Parallaxe der Kameras nicht ermittelbar ist, ist eine Interpolationseinheit vorgesehen, anhand derer die Z-Koordinate basierend auf den vertikalen Kantenlinien interpoliert wird. Allen Kantenpunkten, welche horizontale Kantenlinien und Umrisskantenlinien des Objektes umfassen, sind dreidimensionale Koordinaten zuordbar. Ferner ist eine Objekterkennungseinheit vorgesehen, mittels welcher eine Größe, eine Form und eine Lage des Objektes aus den Koordinaten des
Kantenbildes ableitbar sind. Weiterhin ist aus einer Kontinuität der horizontalen und vertikalen Kantenlinien ein Einbezug des Objektes einschätzbar.From JP 2001 116 545 A a device for detecting objects in an environment of a vehicle is known. In this case, two cameras are arranged on the vehicle, based on which image data of objects of a vehicle environment can be detected. For the purpose of filtering edges from the image data, an edge filter is provided, wherein a search area is set on edge lines. Furthermore, a stereoscopic allocation unit for assigning image data of a left and a right image and a Z coordinate to the specified search area is provided, wherein the Z coordinate represents a distance of each edge point of a vertical edge line from the respective camera and determined from a parallax of the cameras becomes. For a horizontal edge line, for which the parallax of the cameras can not be determined, an interpolation unit is provided on the basis of which the Z coordinate is interpolated based on the vertical edge lines. All edge points, which include horizontal edge lines and outline edge lines of the object, can be assigned three-dimensional coordinates. Furthermore, an object recognition unit is provided, by means of which a size, a shape and a position of the object can be determined from the coordinates of the object Edge image are derivable. Furthermore, from a continuity of the horizontal and vertical edge lines an inclusion of the object can be estimated.
Die US 2007/0291992 A1 offenbart eine Vorrichtung zur Entfernungsmessung, welche eine Bildverarbeitung nutzt. Mittels der Vorrichtung ist eine Entfernung zu einem Objekt, welches viele schiefe Kanten aufweist, ermittelbar. Zu der Ermittlung der Entfernung wird zumindest ein von zwei erfassten Bildern horizontal verkleinert, so dass die schrägen Kanten vertikalen Kanten ähneln, aus welchen charakteristische Endpunkte ermittelt werden. Aus einem Vergleich von Koordinaten der charakteristischen Endpunkte in beiden Bildern wird eine Entfernung zu dem Objekt ermittelt.US 2007/0291992 A1 discloses a device for distance measurement, which uses image processing. By means of the device, a distance to an object, which has many oblique edges, can be determined. For the determination of the distance, at least one of two acquired images is reduced horizontally, so that the oblique edges are similar to vertical edges, from which characteristic end points are determined. From a comparison of coordinates of the characteristic endpoints in both images, a distance to the object is determined.
Ferner ist aus "H. Hirschmüller: Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814" ein Semi-Global- Matching-Algorithmus bekannt, welcher darauf basiert, Transinformation (mutual information) als Ähnlichkeitskriterium zu nutzen. Transinformation oder mutual information ist ein Maß, das die Stärke des statistischen Zusammenhangs zweier Größen, in diesem Fall zweier Bilder angibt. Dabei wird für jede der Größen die Entropie, meist die Shannonentropie und die Vereinigungsentropie (englisch: Joint entropy) beider Größen ermittelt. Die Transinformation ergibt sich aus der Summe der Entropien der Größen abzüglich ihrer Vereinigungsentropie. Weiterhin wird ein Disparitätsbild anhand einer Akkumulation von Kosten entsprechend einer Ähnlichkeit von einzelnen Bildpunkten in zwei erfassten Bildern erzeugt. Sprünge von Disparitäten werden mit Straftermen belegt, wobei ein kleiner Strafterm berücksichtigt wird, wenn sich die Disparität zwischen benachbarten Bildpunkten geringfügig ändert und ein großer Strafterm, wenn eine sprungartige Änderung der Disparität zwischen benachbarten Bildpunkten vorliegt. Man spricht hierbei auch von einer Glattheitsbeschränkung (smoothness constraint).Further, from "H. Hirschmuller: Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814", a Semi -Global matching algorithm is known, which is based on using mutual information as a similarity criterion. Transinformation or mutual information is a measure that indicates the strength of the statistical relationship between two quantities, in this case two images. For each of the quantities, the entropy, usually the shone and the Entropy Entropy (joint entropy) of both sizes are determined. The transinformation results from the sum of the entropies of the quantities minus their union entropy. Furthermore, a disparity image is generated based on an accumulation of costs corresponding to a similarity of individual pixels in two acquired images. Cracks of disparities are given penalties, with a small penalty taken into account when the disparity between adjacent pixels changes slightly and a large penalty when there is a sudden change in disparity between adjacent pixels. This is also called a smoothness constraint.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch aufgenommenen Bildern anzugeben, anhand welchem eine qualitativ hochwertige dreidimensionale Rekonstruktion auch bei nicht optimaler Kalibrierung von Kameras möglich ist.The invention has for its object to provide a method for determining correspondences of pixels in at least two stereoscopically recorded images, based on which a high-quality three-dimensional reconstruction is possible even with non-optimal calibration of cameras.
Die Erfindung wird erfindungsgemäß durch ein Verfahren gelöst, welches die in den beiden unabhängigen Ansprüchen 1 und 2 Verfahrens angegebenen Merkmale aufweist.The invention is achieved by a method which has the features specified in the two independent claims 1 and 2 method.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Bei dem erfindungsgemäßen Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in mindestens zwei stereoskopisch mittels Kameras aufgenommenen Bildern wird anhand eines Vergleiches von Koordinaten korrespondierender Bildpunkte der Bilder ein Disparitätsbild ermittelt. Erfindungsgemäß werden in einer Bildvorverarbeitung bei horizontal nebeneinander angeordneten Kameras mittels eines Kantenfilters horizontale Kanten aus den stereoskopischen Bildern gefiltert. Aufgrund des Herausfilterns der horizontalen Kanten werden auch bei Dekalibrierungen der Kameras sehr gute Ergebnisse bei der dreidimensionalen Rekonstruktion erreicht, da bei horizontal nebeneinander angeordneten Kameras eine Erzeugung von Ungenauigkeiten an horizontalen Kanten, welche in diesem Fall parallel zu der Stereobasislinie verlaufen, durch Dekalibrierungen vermieden werden.Advantageous embodiments of the invention are the subject of the dependent claims. In the method according to the invention for determining correspondences of pixels in at least two images recorded stereoscopically by means of cameras, a disparity image is determined on the basis of a comparison of coordinates of corresponding pixels of the images. According to the invention, horizontal edges are filtered out of the stereoscopic images in an image preprocessing with horizontally juxtaposed cameras by means of an edge filter. Due to the filtering out of the horizontal edges, very good results in the three-dimensional reconstruction are achieved even with decalibrations of the cameras, since with horizontally juxtaposed cameras generation of inaccuracies on horizontal edges, which in this case run parallel to the stereo base line, are avoided by decalibrations.
Alternativ oder zusätzlich werden entsprechend einer Ähnlichkeit der korrespondierenden Bildpunkte in den stereoskopisch aufgenommenen Bildern Kosten horizontal, vertikal und diagonal akkumuliert, wobei die Kosten entlang von Kanten erhöht werden. Hieraus resultiert in vorteilhafter Weise, dass Tiefensprünge (=Sprünge der Disparitäten) entlang von horizontalen Kanten verhindert werden und somit ebenfalls eine hohe Robustheit gegenüber Dekalibrierungen horizontal nebeneinander angeordneter Kameras erreicht wird, da angenommen wird, dass sich derartige Strukturen immer in einer gleichen Entfernung bzw. in sich langsam ändernder Entfernung zu den Kameras befindet, was in der Praxis sehr gut zutrifft.Alternatively or additionally, in accordance with a similarity of the corresponding pixels in the stereoscopically recorded images, costs are accumulated horizontally, vertically and diagonally, whereby the costs are increased along edges. This results in an advantageous manner that depth jumps (= jumps of the disparities) are prevented along horizontal edges and thus also a high robustness against decalibrations horizontally juxtaposed cameras is achieved, since it is assumed that such structures always at an equal distance or is slowly changing distance to the cameras, which is very good in practice.
Daraus folgend eignet sich das erfindungsgemäße insbesondere zu einem Einsatz in einem Fahrzeug, bei welchem beispielsweise durch Erschütterungen geringfügige Dekalibrierungen der Kameras auftreten können. Auch ergibt sich in besonders vorteilhafter Weise, dass eine Qualität und Dichte der dreidimensionalen Rekonstruktion steigt sowie eine geringe Anzahl falscher Korrespondenzen zwischen Bildpunkten der stereoskopisch erfassten Bilder sinkt.As a result, the invention is particularly suitable for use in a vehicle, in which, for example, by shaking slight decalibrations of the cameras can occur. It also results in a particularly advantageous manner that a quality and density of the three-dimensional reconstruction increases and a small number of false correspondences between pixels of the stereoscopically recorded images decreases.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.
Dabei zeigt:
Fig. 1 schematisch einen ersten Verfahrensablauf zur Bestimmung vonShowing: Fig. 1 shows schematically a first process sequence for the determination of
Korrespondenzen von Bildpunkten in stereoskopisch mittels Kameras aufgenommenen Bildern.Correspondences of pixels in images recorded stereoscopically by means of cameras.
Die einzige Figur 1 zeigt einen ersten Verfahrensablauf zur Bestimmung von Korrespondenzen von Bildpunkten P1 , P2 (auch Pixel genannt) in stereoskopisch mittels nicht näher dargestellter, horizontal nebeneinander angeordneten Kameras aufgenommenen Bildern.The sole FIGURE 1 shows a first method sequence for determining correspondences of pixels P1, P2 (also called pixels) in stereoscopic images recorded by means of non-illustrated, horizontally juxtaposed cameras.
Dabei werden in einem ersten Verfahrensschritt S1 , welcher als Bildvorverarbeitung vor einer eigentlichen Bildverarbeitung stattfindet, mittels eines nicht näher dargestellten Kantenfilters horizontale Kanten H1 , H2 aus den stereoskopischen aufgenommenen Bildern B1 , B2 gefiltert. Bei dem Kantenfilter handelt es sich insbesondere um einen Sobel-Operator, einen Prewitt-Operator oder einen anderen geeigneten, aus der Literatur bekannten Kantenfilter, welcher vorzugsweise nur auf vertikale Kanten V1 , V2 anspricht, so dass die horizontalen Kanten H1 , H2 in einfacher Art und Weise gefiltert werden können.In this case, in a first method step S1, which takes place as image preprocessing before an actual image processing, horizontal edges H1, H2 are filtered out of the stereoscopic recorded images B1, B2 by means of an edge filter (not shown). The edge filter is in particular a Sobel operator, a Prewitt operator or another suitable edge filter known from the literature, which preferably responds only to vertical edges V1, V2, so that the horizontal edges H1, H2 are of a simple type and can be filtered.
Zur eigentlichen Bildverarbeitung werden die Bilder B1 , B2, welche nur noch vertikale Kanten V1 , V2 aufweisen, in einem zweiten Verfahrensschritt S2 derart verarbeitet, dass mittels zumindest eines der zahlreichen aus dem Stand der Technik bekannten Stereoalgorithmen Koordinaten des Bildpunktes P1 des einen Bildes B1 mit Koordinaten des als potentiell korrespondierend betrachteten Bildpunktes P2 des anderen Bildes B2 verglichen werden. Aus einem Abstand der Bildpunkte P1 und P2 zueinander, einer so genannten Disparität wird der Abstand eines Objektes, welches die Bildpunkte P1 und P2 aufweist, zu den Kameras bestimmt. Nach diesem Algorithmus werden Disparitäten für alle Bildpunkte der Bilder B1 , B2, welche auf den vertikalen Kanten V1 und V2 liegen, erzeugt und ein Disparitätsbild D bzw. eine Disparitätskarte erzeugt, welche eine dreidimensionale Repräsentation des Objekts in seinem Kontext darstellen. Auf diese Weise kann die Entfernung und räumliche Lage des Objekts im Verhältnis zu den Kameras ermittelt werden.For the actual image processing, the images B1, B2, which have only vertical edges V1, V2, are processed in a second method step S2 such that by means of at least one of the numerous stereo algorithms known from the prior art coordinates of the pixel P1 of the one image B1 Coordinates of the potentially correspondingly considered pixel P2 of the other image B2 are compared. From a distance of the pixels P1 and P2 from each other, a so-called disparity, the distance of an object which comprises the pixels P1 and P2 is determined to the cameras. According to this algorithm, disparities are generated for all the pixels of the images B1, B2 which lie on the vertical edges V1 and V2, and a disparity image D or a disparity map is generated which represents a three-dimensional representation of the object in its context. In this way, the distance and spatial position of the object relative to the cameras can be determined.
Alternativ zu der Filterung der horizontalen Kanten H1 , H2 mittels des Kantenfilters werden die stereoskopisch erfassten Bilder B1 , B2 im ersten Verfahrensschritt S1 mittels eines Semi-Global-Matching-Algorithmus gemäß "H. Hirschmüller: Accurate and Efficient
Stereo Processing by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814" abgetastet und Kosten entsprechend der Ähnlichkeit der Bildpunkte P1 , P2 horizontal, vertikal und diagonal akkumuliert. Die Kostenberechnung basiert dabei auf einer Berechnung der Transinformation auf die einzelnen Bildpunkte P1 , P2 der Bilder B1 , B2 bezogen.As an alternative to the filtering of the horizontal edges H1, H2 by means of the edge filter, the stereoscopically recorded images B1, B2 in the first method step S1 are determined by means of a semi-global matching algorithm according to "H. Hirschmüller: Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814 "and costs are accumulated horizontally, vertically and diagonally in accordance with the similarity of the pixels P1, P2. The cost calculation is based on a calculation of the transinformation on the individual pixels P1, P2 of the images B1, B2.
Abweichend zu dem aus "H. Hirschmüller: Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814" bekannten Semi-Global-Matching-Algorithmus, bei welchem Sprünge in Disparitäten benachbarter Bildpunkte, wie sie beispielsweise an Grauwertkanten auftreten, je nach ihrer Größe mit einem kleinen oder einem großen Strafterm belegt werden, werden erfindungsgemäß die Kosten entlang von Kanten H1 , H2, V1 , V2 erhöht, da sich an diesen die Disparitäten nur gering ändern. Somit sind alle Kanten H1 , H2, V1 , V2, jedoch insbesondere die horizontalen Kanten H1 , H2 erfassbar, so dass die horizontalen Kanten H1 , H2 aufgrund der hohen Kosten nicht bei der Erstellung des Disparitätsbildes D berücksichtigt werden.Contrary to what is known from "H. Hirschmüller: Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information; 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Volume 2, pp. 807-814" Semi-global matching algorithm, in which jumps in disparities of adjacent pixels, as occur, for example, on gray value edges, are assigned a small or a large penalty depending on their size, according to the invention the costs along edges H1, H2, V1, V2 increases, since the disparities change only slightly. Thus, all edges H1, H2, V1, V2, but in particular the horizontal edges H1, H2 can be detected, so that the horizontal edges H1, H2 are not taken into account when creating the disparity image D due to the high costs.
Weiterhin werden zusätzlich beide Strafterme an den horizontalen Kanten H1 , H2 deutlich erhöht, so dass glatte Lösungen bevorzugt werden. Diese Vorgehensweise nutzt insbesondere den Aspekt, dass horizontale Kanten H1 , H2 insbesondere dann vorliegen, wenn eine Kamera rechtwinklig auf Flächen blickt.Furthermore, in addition both strains of the horizontal edges H1, H2 are significantly increased, so that smooth solutions are preferred. This approach uses in particular the aspect that horizontal edges H1, H2 are present, in particular, when a camera looks at surfaces at right angles.
Zusätzlich ist es möglich, die beiden Verfahren, d. h. mittels der Bildvorverarbeitung die Filterung der horizontalen Kanten H1 , H2 anhand des Kantenfilters und die Erhöhung der Kosten bzw. der Strafterme, zu kombinieren. Dabei wird zunächst die Filterung der horizontalen Kanten H1 , H2 im ersten Verfahrenschritt S1 und anschließend im zweiten Verfahrensschritt S2 die Abtastung der Bilder B1 , B2 mittels des Semi-Global-Matching- Algorithmus und die Erhöhung der Kosten bzw. Strafterme durchgeführt. Diese Kombination stellt ein besonders leistungsfähiges, einfach und schnell durchführbares sowie gegen Dekalibrierungen der Kameras nahezu unempfindliches Verfahren dar, da die horizontalen Kanten H1 , H2 unterdrückt und gleichzeitig die Glattheitsbeschränkung, der so genannte smoothness constraint, welche durch die Berücksichtigung der Strafterme realisiert wird, genutzt werden.
In addition, it is possible to use the two methods, i. H. using image preprocessing to combine the filtering of the horizontal edges H1, H2 on the basis of the edge filter and the increase of the costs or the penalty term. In this case, first the filtering of the horizontal edges H1, H2 in the first method step S1 and then in the second method step S2 the scanning of the pictures B1, B2 by means of the semi-global matching algorithm and the increase of the costs or penalty terms is performed. This combination is a particularly powerful, easy and fast to perform as well as against decalibrations of the cameras almost insensitive process, since the horizontal edges H1, H2 suppressed while the smoothness constraint, the so-called smoothness constraint, which is realized by the consideration of Strafterme used become.
Claims
1. Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (P1 , P2) in stereoskopisch mittels Kameras aufgenommenen Bildern (B1 , B2), bei dem anhand eines Vergleiches von Koordinaten korrespondierender Bildpunkte (P1 , P2) der Bilder (B1 , B2) ein Disparitätsbild (D) ermittelt wird, dadurch gekennzeichnet, dass in einer Bildvorverarbeitung bei horizontal nebeneinander angeordneten Kameras mittels eines Kantenfüters horizontale Kanten (H1 , H2) aus den stereoskopisch aufgenommenen Bildern (B1 , B2) gefiltert werden.1. A method for determining correspondences of picture elements (P1, P2) in images recorded stereoscopically by means of cameras (B1, B2), in which a disparity image (B, B2) is obtained by comparing coordinates of corresponding pixels (P1, P2) of the images (B1, B2). D), characterized in that horizontal edges (H1, H2) are filtered out of the stereoscopically recorded images (B1, B2) in an image preprocessing with horizontally juxtaposed cameras by means of an edge feeder.
2. Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten (P1 , P2) in stereoskopisch mittels Kameras aufgenommenen Bildern (B1 , B2), bei dem anhand eines Vergleiches von Koordinaten korrespondierender Bildpunkte (P1 , P2) der Bilder (B1 , B2) ein Disparitätsbild (D) ermittelt wird, dadurch gekennzeichnet, dass entsprechend einer Ähnlichkeit der korrespondierenden Bildpunkte (P1 , P2) in den stereoskopisch aufgenommenen Bildern (B1 , B2) Kosten horizontal, vertikal und diagonal akkumuliert werden, wobei die Kosten entlang von Kanten (H1 , H2, V1 , V2) erhöht werden.2. Method for determining correspondences of picture elements (P1, P2) in images recorded stereoscopically by means of cameras (B1, B2), in which a disparity image (B, B2) is determined by comparing coordinates of corresponding pixels (P1, P2) of the images (B1, B2) D), characterized in that according to a similarity of the corresponding pixels (P1, P2) in the stereoscopically recorded images (B1, B2) costs are accumulated horizontally, vertically and diagonally, the costs being along edges (H1, H2, V1, V2) are increased.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass in einer Bildvorverarbeitung bei horizontal nebeneinander angeordneten Kameras mittels eines Kantenfilters horizontale Kanten (H1 , H2) aus den stereoskopischen Bildern (B1 , B2) gefiltert werden und anschließend entsprechend einer Ähnlichkeit der korrespondierenden Bildpunkte (P1 , P2) Kosten horizontal, vertikal und diagonal akkumuliert werden, wobei die Kosten entlang von Kanten (H1 , H2, V1 , V2) erhöht werden. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass bei der Ermittlung der Kosten Strafterme berücksichtigt werden, wobei eine Größe der Strafterme in Abhängigkeit von einer Größe der Disparität benachbarter Bildpunkte vorgegeben wird, wobei bei der horizontalen Akkumulation der Kosten die Strafterme an horizontalen Kanten (H1 , H2) erhöht werden. 3. The method of claim 1 or 2, characterized in that in an image preprocessing horizontally juxtaposed cameras by means of an edge filter horizontal edges (H1, H2) from the stereoscopic images (B1, B2) are filtered and then according to a similarity of the corresponding pixels (P1, P2) Costs are accumulated horizontally, vertically, and diagonally, increasing costs along edges (H1, H2, V1, V2). Method according to claim 2 or 3, characterized in that the determination of the costs takes into account penalty terms, wherein a size of the penalty term is predefined as a function of a size of the disparity of adjacent pixels, whereby in the horizontal accumulation of the costs the penalty term on horizontal edges ( H1, H2).
BezugszeichenlisteLIST OF REFERENCE NUMBERS
B1, B2 BildB1, B2 picture
D DisparitätsbildD disparity picture
H1, H2 Horizontale KanteH1, H2 Horizontal edge
P1, P2 BildpunktP1, P2 pixel
S1, S2 VerfahrensschrittS1, S2 process step
V1, V2 Vertikale Kante V1, V2 Vertical edge
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102009006125A DE102009006125A1 (en) | 2009-01-26 | 2009-01-26 | Method for determining correspondence of image points in stereoscopically captured images, involves filtering horizontal edges from stereoscopically captured images by horizontal edge filter during image pre-processing |
| DE102009006125.8 | 2009-01-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2010083970A1 true WO2010083970A1 (en) | 2010-07-29 |
Family
ID=40936483
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2010/000248 WO2010083970A1 (en) | 2009-01-26 | 2010-01-18 | Method for determining correspondences of pixels in stereoscopically recorded images |
Country Status (2)
| Country | Link |
|---|---|
| DE (1) | DE102009006125A1 (en) |
| WO (1) | WO2010083970A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102012014113A1 (en) | 2012-07-17 | 2013-01-17 | Daimler Ag | Method for determining stereo disparity data for producing stereo card of environment of vehicle, involves representing edges, which are detected as elliptical line segments in individual image, as elliptical line segments in disparity card |
| WO2014065159A1 (en) | 2012-10-22 | 2014-05-01 | ヤマハ発動機株式会社 | Distance measurement device and vehicle using same |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5719954A (en) * | 1994-06-07 | 1998-02-17 | Matsushita Electric Industrial Co., Ltd. | Stereo matching method and disparity measuring method |
| JP2001116545A (en) | 1999-10-18 | 2001-04-27 | Toyota Central Res & Dev Lab Inc | Distance image calculator |
| EP1865729A2 (en) * | 2006-06-07 | 2007-12-12 | Samsung Electronics Co., Ltd. | Method and device for generating a disparity map from stereo images and stereo matching method and device therefor |
| US20070291992A1 (en) | 2001-09-25 | 2007-12-20 | Fujitsu Ten Limited | Ranging device utilizing image processing |
| US20080285799A1 (en) * | 2007-05-16 | 2008-11-20 | Institute Of Technology, National Defense University | Apparatus and method for detecting obstacle through stereovision |
-
2009
- 2009-01-26 DE DE102009006125A patent/DE102009006125A1/en active Pending
-
2010
- 2010-01-18 WO PCT/EP2010/000248 patent/WO2010083970A1/en active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5719954A (en) * | 1994-06-07 | 1998-02-17 | Matsushita Electric Industrial Co., Ltd. | Stereo matching method and disparity measuring method |
| JP2001116545A (en) | 1999-10-18 | 2001-04-27 | Toyota Central Res & Dev Lab Inc | Distance image calculator |
| US20070291992A1 (en) | 2001-09-25 | 2007-12-20 | Fujitsu Ten Limited | Ranging device utilizing image processing |
| EP1865729A2 (en) * | 2006-06-07 | 2007-12-12 | Samsung Electronics Co., Ltd. | Method and device for generating a disparity map from stereo images and stereo matching method and device therefor |
| US20080285799A1 (en) * | 2007-05-16 | 2008-11-20 | Institute Of Technology, National Defense University | Apparatus and method for detecting obstacle through stereovision |
Non-Patent Citations (7)
| Title |
|---|
| ATSUSHI MARUGAME ET AL: "Focused Object Extraction with Multiple Cameras", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 10, no. 4, 1 July 2000 (2000-07-01), XP011014063, ISSN: 1051-8215 * |
| CHEN ET AL: "Visual surface segmentation from stereo", IMAGE AND VISION COMPUTING, ELSEVIER, GUILDFORD, GB LNKD- DOI:10.1016/S0262-8856(96)01116-X, vol. 15, no. 2, 1 February 1997 (1997-02-01), pages 95 - 106, XP022037342, ISSN: 0262-8856 * |
| GOULERMAS J Y ET AL: "Hybrid symbiotic genetic optimisation for robust edge-based stereo correspondence", PATTERN RECOGNITION, ELSEVIER, GB LNKD- DOI:10.1016/S0031-3203(00)00163-1, vol. 34, no. 12, 1 December 2001 (2001-12-01), pages 2477 - 2496, XP004508371, ISSN: 0031-3203 * |
| H. HIRSCHMÜLLER: "Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information", IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, vol. 2, 2005, pages 807 - 814 |
| H. HIRSCHMÜLLER: "Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information", IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, vol. 2, pages 807 - 814 |
| HEIKO HIRSCHMULLER: "Stereo Processing by Semiglobal Matching and Mutual Information", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US LNKD- DOI:10.1109/TPAMI.2007.1166, vol. 30, no. 2, 1 February 2008 (2008-02-01), pages 328 - 341, XP011195575, ISSN: 0162-8828 * |
| MOUSAVI M S ET AL: "A parallel distributed algorithm for feature extraction and disparity analysis of computer images", PARALLEL AND DISTRIBUTED PROCESSING, 1990. PROCEEDINGS OF THE SECOND I EEE SYMPOSIUM ON DALLAS, TX, USA 9-13 DEC. 1990, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US LNKD- DOI:10.1109/SPDP.1990.143578, 9 December 1990 (1990-12-09), pages 428 - 435, XP010021265, ISBN: 978-0-8186-2087-4 * |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102009006125A1 (en) | 2009-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2275990B1 (en) | 3D sensor | |
| EP2275989B1 (en) | Stereoscopic 3D camera | |
| EP2430837A1 (en) | Image processing method for determining depth information from at least two input images recorded using a stereo camera system | |
| DE112011103452T5 (en) | Method for matching pixels of a distance representation | |
| DE112016000356T5 (en) | Self-rectification of stereo cameras | |
| DE102012209316A1 (en) | Method and device for processing sensor data of a stereo sensor system | |
| DE102012023060A1 (en) | Method for detecting moving object in surrounding region of motor vehicle e.g.passenger car, involves determining vector values within the respective interval values, such movable object is detected based on histogram | |
| EP3292023B1 (en) | Method for displaying an area surrounding a vehicle | |
| WO2010083970A1 (en) | Method for determining correspondences of pixels in stereoscopically recorded images | |
| DE102008046505B4 (en) | Process for image processing of stereo images | |
| DE102007027958A1 (en) | Method for optimizing a stereoscopic image | |
| DE102013018561A1 (en) | Method for data acquisition and data processing for lane identification of vehicle, involves filtering and discarding self-similarities of environment characteristics for non-relevant correspondence in generating road shape hypotheses | |
| EP3465608B1 (en) | Method and device for determining a transfer between two display images, and vehicle | |
| DE102009029744A1 (en) | Motor vehicle environment camera scanning determines correspondence between pixels in stereoscopic images to give a three-dimensional reconstruction | |
| DE102014211709B4 (en) | Method for the computer-aided three-dimensional reconstruction of a surface of an object from digital image data | |
| DE102004007049A1 (en) | Method for classifying an object with a stereo camera | |
| DE102013016032A1 (en) | Method for detecting e.g. robot in stereoscopically detected images by two different perspectives using image capture unit, involves performing time filtering or optimization for estimation of disparity images by filter | |
| WO2019072451A1 (en) | Method for processing images | |
| DE102012025463A1 (en) | Method for determining e.g. pitch angle change of passenger car to determine proper motion of car in six different degrees of freedom, involves determining parameter based on pair of image features and associated image features of images | |
| DE102010006522A1 (en) | Method for analyzis of corresponding pixels in two graphic data sets, involves determining signature information for each pixel of graphic data set, where correspondence hypothesis provided for determination of corresponding pixels | |
| EP2942752B1 (en) | Method for determining the distance of an imaged object | |
| DE102016124989A1 (en) | Curb representation with a three-dimensional body in a driver assistance system for a motor vehicle | |
| DE102015209284A1 (en) | A method for generating a view of a vehicle environment | |
| DE112022002620T5 (en) | IMAGE RECOGNITION APPARATUS, IMAGE RECOGNITION APPARATUS METHOD AND IMAGE RECOGNITION APPARATUS PROGRAM | |
| DE102021113111A1 (en) | Method for calibrating sensor information of a vehicle and driver assistance system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10703615 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 10703615 Country of ref document: EP Kind code of ref document: A1 |