WO2010130657A1 - Bildverarbeitungsverfahren zur bestimmung von tiefeninformation aus wenigstens zwei mittels eines stereokamerasystems aufgenommenen eingangsbildern - Google Patents

Bildverarbeitungsverfahren zur bestimmung von tiefeninformation aus wenigstens zwei mittels eines stereokamerasystems aufgenommenen eingangsbildern Download PDF

Info

Publication number
WO2010130657A1
WO2010130657A1 PCT/EP2010/056270 EP2010056270W WO2010130657A1 WO 2010130657 A1 WO2010130657 A1 WO 2010130657A1 EP 2010056270 W EP2010056270 W EP 2010056270W WO 2010130657 A1 WO2010130657 A1 WO 2010130657A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
input
images
processing method
Prior art date
Application number
PCT/EP2010/056270
Other languages
English (en)
French (fr)
Inventor
Henning Von Zitzewitz
Wolfgang Niehsen
Axel Wendt
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to JP2012510232A priority Critical patent/JP2012527026A/ja
Priority to EP10718177A priority patent/EP2430837A1/de
Priority to CN2010800209905A priority patent/CN102422644A/zh
Priority to US13/320,236 priority patent/US20120127275A1/en
Publication of WO2010130657A1 publication Critical patent/WO2010130657A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Definitions

  • the invention relates to an image processing method for determining depth information from at least two input images recorded by means of a stereo camera system, the depth information being calculated from a disparity map incorporating geometric properties of the stereo camera system. Furthermore, the invention relates to a computer program, a computer program product and a device for such a
  • the depth calculation based on two stereo images is a standard problem in image processing, to solve which numerous algorithms are known.
  • Disparities d between temporally synchronized and rectified stereo image pairs or stereo video image pairs are determined with the aid of stereo evaluation methods.
  • the disparity d is defined as a one-dimensional displacement vector in the direction of the image line and, starting from a pixel xi in the left image A1, indicates the corresponding image point xj in the right image A2.
  • the depth information of the stereo image can then be calculated using the disparity map, taking into account the geometric properties of the stereo camera system.
  • Decisive in the determination of the disparities d is the determination of correspondences of pixels in the stereo images.
  • To determine the disparities d feature-based methods or algorithms are often proposed. An overview and comparison of these methods is M. Z. Brown, D.
  • the algorithmic process steps V, S1-S3 (in dashed lines), N shown in FIG. 2 are generally run through.
  • the original image data can be manipulated with the aid of preparatory steps V with regard to the selected stereo method (eg median filtering, rank transformation).
  • the first method step S1 the calculation of a distance measure takes place. Distance measures or correlation-based measures are often used.
  • the aggregation of the costs carried out in method step S2 can be performed pixel-by-pixel directly or else using windows.
  • assumptions about the smoothness, the uniqueness or the order of the disparities are considered as a secondary condition within the correspondence search in method step S3.
  • the SAD and SSD criteria implicitly assume the constancy of the mean of the data, which is generally not the case under real conditions.
  • Mean value versions of these criteria do not have this disadvantage.
  • the invariance properties continue to be inadequate because even a simple scaling of the data, such as may be caused by global lighting changes, is not compensated.
  • This can only be achieved by using the comparatively computationally intensive CCC criterion mentioned above, which, however, again fails in the case of non-linear disturbances of the data, which can be caused, for example, by local changes in illumination.
  • Methods based on Hamming distances between codewords of transformed, quantized data are generally based on heuristic approaches so that the corresponding invariance properties can not be determined analytically.
  • the nonparametric rank transformation mentioned in [1] also represents only a heuristic.
  • the computational complexity exceeds the computing power of embedded systems used by one or more orders of magnitude.
  • the disparity estimates are only available for a fraction of, for example, less than 10% of the pixels.
  • the disparity estimates show a significant proportion of gross incorrect measurements.
  • the disparity estimates have insufficient accuracy, e.g. For example, there is one standard deviation on the order of several disparity levels.
  • an image processing method for determining depth information from at least two, in particular stereoscopically by means of a stereo camera system, in particular with at least two image sensors, recorded, in particular temporally synchronized and / or rectified, input images, the depth information from a disparity map with the inclusion of geometric properties of Stereocamera system is calculated or determined, proposed, which is characterized by the following method steps for determining the Disparticians juice:
  • Cost calculation on the basis of the signature images by means of a parameter-free or nonparametric statistical rank correlation measure for determining a cost space for predetermined disparity levels with respect to at least one of the at least two input images;
  • the image processing method according to the invention for determining the stereo-video disparities or the disparity on the basis of a static rank correlation measure has none of the restrictions mentioned.
  • the used parameter-free and non-parametric statistics of the data are invariant with respect to monotonic, non-linear transformations.
  • the parameter-free statistics deals with parameter-free statistical models and parameter-free statistical tests.
  • Other commonly used terms are nonparametric statistics or distribution-free statistics.
  • the model structure is not fixed in advance. No assumptions are made about the probability distribution made of the variables studied.
  • a rank correlation coefficient or a rank correlation measure accordingly represents a parameter-free measure of correlations, with which it is possible to measure how good the match between two stochastic variables is without making assumptions about the parametric structure of the probability distribution of the variables.
  • Method allows implementation on current embedded systems, eg. On programmable integrated circuits (FPGAs), a dense estimate of disparities for more than 90% of the relevant pixels in general, a robust estimate of disparities with an outlier fraction of generally less than 1% and a disparity estimate of one Accuracy in the range of subpixels.
  • a statistical measure or a statistical metric is used instead of deterministic distance measures.
  • the use of a statistical rank correlation can be strictly mathematically motivated, since the method can be reduced to a normalized correlation coefficient.
  • the input images may not be rectified, partially rectified or non-rectified.
  • Under rectification or correction is generally the elimination of geometric distortions in image data, for example, due to non-ideal
  • a signature image is understood to be an input image transformed by means of a predetermined operator.
  • the default operator can be a sign operator.
  • Image data, in particular gray values, of different pixels of the respective input images are determined in an arbitrarily selectable subarea of the input images and stored in the signature images.
  • a viewed image data pair with first image data of a first pixel at corresponding positions of a first input image and a second input image and second image data of a second pixel at corresponding positions of the first input image and the second input image in the arbitrary subregion of the first and second input image is compatible when the sign of the difference of the image data of the first pixel in the first input image from the image data of the second pixel in the first input image and the sign of the difference of the image data of the first pixel in the second input image from the image data of second pixel in the second input image matches or the signs at the corresponding positions of the first and second pixels in the signature images of the first and second input images match.
  • the rank correlation measure according to Kendall can therefore be used as follows. Given are pairs (Al i, A2i), (A1j, A2j) of observed data, e.g. B. gray values of pixels in an arbitrarily selectable portion of the images A1 and A2 of a stereo video image pair. As an essential arithmetic operation are only the signs of the differences sign (A1 j - A1 i), sign (A2j - A2i) determine. If these signs agree, then the considered data pair is compatible, otherwise not compatible. Now f denotes the number of compatible data pairs and g the number of incompatible data pairs
  • the stereo camera system may be implemented as a stereo video system and the input images as input video images.
  • the input images may be correspondingly suitable as image sensors CCD or CMOS cameras in question.
  • image sensors in other wavelength ranges, for example the infrared range, and accordingly to use thermal imaging cameras.
  • a computer program with program code means or a computer program product with program code means which are stored on a computer-readable data carrier in order to carry out the image processing method according to the invention is proposed.
  • a device in particular a driver information system or a driver assistance system of a motor vehicle with at least one stereo camera system or stereo video system, which has an image processing device which is set up to carry out the image processing method according to the invention or to execute the corresponding computer program, is indicated.
  • the image processing method according to the invention is preferably realized as a computer program on an image processing device of a stereo camera system or stereo video system, in particular in the context of a driver information system or driver assistance system of a motor vehicle, although other solutions are of course also possible.
  • the computer program can be stored in a memory element (eg ROM, EEPROM or the like). the same) of the image processing device to be stored.
  • the image processing method is executed.
  • the image processing device may include a microcomputer with a microprocessor, a Programmable Integrated Circuit (FP), an Application Specific Integrated Circuit (ASIC), a Digital Synthesis Processor (DSP), or the like.
  • the computer program can be stored on a computer-readable data carrier (floppy disk, CD, DVD, hard disk, USB memory stick, memory card or the like) or an Internet server as a computer program product and can be transferred from there into the memory element of the image processing device.
  • Fig. 1 is a schematic representation of a stereo image pair to illustrate the disparity according to the prior art
  • FIG. 2 is a simplified flowchart of the operation of the disparity estimation in stereo evaluation methods according to the prior art
  • FIG. 3 is a simplified schematic block diagram of a driver information system with a stereo video system
  • Fig. 4 is a simplified schematic diagram of an inventive
  • FIG. 3 shows a stereo camera system designed as a stereo video system 10 with two image sensors 11 and 12, two image sensor signal lines 13, 14, one Evaluation unit or image processing device 15, an output signal line 16 and a subsequent system 17.
  • image sensors 1 1, 12 for example, CCD or CMOS cameras, but also thermal imaging devices or the like can be used. Both image sensors 1 1, 12 are arranged such that they image the same scene, but at a slightly different viewing angle.
  • the image sensors 1 1, 12 transmit images of the observed scene to the image processing device 15.
  • the image processing device 15 generates on the output signal line 16 an output signal which is electrically, digitally, acoustically and / or visually for display, information and / or storage to the subsequent system 17 is transmitted.
  • the following system is a driver information system 17 of a motor vehicle, not shown, which has the stereo video system 10.
  • the subsequent system 17 could also be a driver assistance system of a motor vehicle or the like.
  • FIG. 4 shows an image processing method according to the invention for determining depth information from at least two input images A1, A2 recorded stereoscopically by means of the stereo camera system 10 with the two image sensors 11, 12, which are preferably synchronized in time and rectified, the depth information being from a disparity map including geometric properties (in particular the base distance between the two image sensors 1 1, 12) of the stereo camera system 10 is determined or calculated, shown schematically.
  • the image processing method according to the invention is used for the execution of a real-time stereo video system on the basis of a statistical rank correlation method.
  • the rectified stereo video images or input video images A1, A2 are present as input data for real-time processing of the disparity map.
  • the image processing method according to the invention is characterized by the following method steps for determining the disparity card:
  • the input images A1, A2 are transformed into signature images B1, B2 by means of a predetermined operator.
  • the gray values of the video images A1, A2 are transformed into signature images B1, B2.
  • a sign operator is used as the given operator.
  • more complex Operators are used, which z. B. encode an epsilon environment of the zero point separately and adapt the respective threshold for this purpose to the local image information and / or z. B. for reasons of computing time, only determine a suitable subset of the signatures.
  • a cost calculation is carried out on the basis of the signature images B1, B2 by means of a nonparametric statistical rank correlation measure for determining a cost space for predetermined disparity levels with respect to at least one of the at least two input images A1, A2.
  • B2 is based on the statistical rank correlation measure or obvious variants of this metric, which, for. B. in further embodiments, for reasons of computing time, only a subset of the available signatures can evaluate.
  • the resulting cost space also referred to as JDisparity Space Jmage / DSI
  • the nonparametric statistical rank correlation measure used is a Kendall-Tau rank correlation coefficient or its variants.
  • each disparity d to be determined has the least cost correspondence, after which in a fourth process step the disparity map is determined from the previously determined disparities d.
  • the correspondence analysis or correspondence search runs within the cost area for each point in the direction of the disparity dimension.
  • the determined disparity d corresponds to the correspondence with the lowest cost and is, so to speak, optimal.
  • secondary conditions such. B. the uniqueness of the minimum cost or even the local character of the cost function, are taken into account.
  • the image processing method according to the invention initially provides pixel-precise disparities d, which can be refined in a further processing step as post-processing to determine a subpixel-precise disparity map.
  • Image data in particular gray values, of different pixels of the respective Input video images A1, A2 determined in an arbitrarily selectable portion of the input video images and stored in the signature images B1, B2.
  • a viewed image data pair having first image data of a first pixel at respective positions of the first input video image A1 and the second one
  • Input video image A2 and second image data of a second pixel at respective positions of the first input video image A1 and the second input video image A2 in the arbitrarily selectable portion of the first and second input video images A1, A2 is compatible or correspondent, if the sign of the difference of the image data of the first pixel in the first input video image A1 from the image data of the second pixel in the first input video image A2 and the sign of the difference of the image data of the first pixel in the second input video image A2 from the image data of the second pixel in the second input video image and the signs at the corresponding positions of the first and second pixels in the
  • Signature images B1, B2 of the first and second input video images A1, A2 match.
  • the image processing method according to the invention is preferably realized as a computer program on the image processing device 15 of the stereo video system 10, in particular within the context of the driver information system 17 of the motor vehicle, although other solutions are of course also possible.
  • the computer program can be stored in a memory element (eg ROM, EEPROM or the like) of the image processing device 15.
  • the image processing device 15 may include a microcomputer with a microprocessor, a Programmable Integrated Circuit (FP), an Application Specific Integrated Circuit (FPGA), an application specific integrated circuit. ASIC), a digital signal processor (DSP) or the like.
  • the computer program can be stored on a computer-readable data carrier (floppy disk, CD, DVD, hard disk, USB memory stick, memory card or the like) or an Internet server as a computer program product and can be transferred from there into the memory element of the image processing device 15.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Ein Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern (A1, A2), wobei die Tiefeninformation aus einer Disparitätskarte unter Einbeziehung von geometrischen Eigenschaften des Stereokamerasystems bestimmt wird, gekennzeichnet durch folgende Verfahrensschritte zur Ermittlung der Disparitätskarte: Transformation der Eingangsbilder (A1, A2) in Signaturbilder (B1, B2) mittels eines vorgegebenen Operators; - Kostenberechnung (C) anhand der Signaturbilder (B1, B2) mittels eines parameterfreien statistischen Rangkorrelationsmaßes zur Ermittlung eines Kostenraums für vorgegebene Disparitätsstufen in Bezug zu wenigstens einem der wenigstens zwei Eingangsbilder (A1, A2); Durchführung einer Korrespondenzanalyse (D) für jeden Punkt des Kostenraums für die vorgegebenen Disparitätsstufen, wobei die jeweils zu bestimmende Disparität die Korrespondenz mit den geringsten Kosten aufweist; und Ermitteln der Disparitätskarte aus den zuvor bestimmten Disparitäten.

Description

Beschreibung
Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern
Die Erfindung betrifft ein Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformationen aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern, wobei die Tiefeninformation aus einer Disparitätskarte unter Einbeziehung von geometrischen Eigenschaften des Stereokamerasystems berechnet wird. Des weiteren betrifft die Erfindung ein Computerpro- gramm, ein Computerprogrammprodukt und eine Vorrichtung, um ein derartiges
Verfahren auszuführen bzw. durchzuführen.
Stand der Technik
Die Tiefenberechnung auf Basis zweier Stereobilder ist ein Standardproblem in der Bildverarbeitung, zu dessen Lösung zahlreiche Algorithmen bekannt sind. Dabei werden mit Hilfe von Stereoauswertungsverfahren Disparitäten d zwischen zeitlich synchronisierten und rektifizierten Stereobildpaaren bzw. Stereovideobildpaaren bestimmt. Wie aus Fig. 1 ersichtlich, ist die Disparität d als eindimen- sionaler Verschiebungsvektor in Richtung der Bildzeile definiert und gibt ausgehend von einem Pixel bzw. Bildpunkt xi in dem linken Bild A1 den korrespondierenden Bildpunkt xj in dem rechten Bild A2 an. Die Menge aller Disparitäten d mit d = xj - xi' wird auch als Disparitätskarte bezeichnet, xi' bezeichnet den von dem linken Bild A1 in das rechte Bild A2 projizierten Bildpunkt. Die Tiefeninformation des Stereobilds lässt sich dann mit Hilfe der Disparitätskarte unter Einbeziehung der geometrischen Eigenschaften des Stereokamerasystems berechnen. Maßgeblich bei der Bestimmung der Disparitäten d ist die Ermittlung von Korrespondenzen von Bildpunkten in den Stereobildern. Zur Bestimmung der Disparitäten d werden häufig merkmalsbasierte Verfahren bzw. Algorithmen vorgeschlagen. Ei- ne Übersicht und Gegenüberstellung dieser Verfahren ist M. Z. Brown, D.
Burschka, und G. D. Hager "Advances in computational Stereo", IEEE Transacti- ons on Pattern Analysis and Machine Intelligence, Vol. 25, Nr. 8, Seiten 993 - 1008, August 2003 [1] und D. Scharstein und R. Szeliski "A taxonomy and evalu- ation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision, Vol. 47, Seiten 7 - 42, April 2002 [2] zu entnehmen.
Zur Berechnung der Disparitätskarte werden im Allgemeinen die in Fig. 2 dargestellten algorithmischen Verfahrensschritte V, S1 - S3 (in gestricheltem Rahmen), N durchlaufen. Die Originalbilddaten lassen sich mit Hilfe von Vorbereitungsschritten V hinsichtlich des gewählten Stereoverfahrens manipulieren (z. B. Me- dian-Filterung, Rangtransformation). In dem ersten Verfahrensschritt S1 erfolgt die Berechnung eines Distanzmaßes. Dabei werden häufig Distanzmaße oder korrelationsbasierte Maße verwendet. Abhängig von dem jeweils verwendeten Distanzmaß kann die in dem Verfahrensschritt S2 durchgeführte Aggregation der Kosten pixelweise direkt oder aber unter Verwendung von Fenstern erfolgen. Insbesondere in dem zuerst genannten Fall werden innerhalb der Korrespondenzsuche in Verfahrensschritt S3 Annahmen über die Glattheit, die Eindeutigkeit oder auch die Ordnung der Disparitäten als Nebenbedingung berücksichtigt. Der Aufwand, der innerhalb der Korrespondenzsuche im Verfahrensschritt S3 betrieben wird, ist oftmals für die Dichte, die Robustheit und die Zuverlässigkeit der Ergebnisse ausschlaggebend und durch die verwendete Optimierungstechnik definiert. Dabei sind aus dem Stand der Technik zum Beispiel die folgenden Optimierungstechniken bekannt: Dynamic Programming, Scan-Line Optimization, Graph-Based Techniques, Simulated Annealing und klassische lokale Methoden. Anschließend kann in einem Verfahrensschritt N eine Nachbearbeitung bzw. ein Post-Processing durchgeführt werden, insbesondere um offensichtlich fehlerhafte
Bereiche, welche etwa durch Verdeckungen entstehen können, aus der Disparitätskarte zu entfernen oder um durch Interpolation in dem zuvor ermittelten Kostenraum eine Subpixel-Genauigkeit der Disparitätsschätzung zu erreichen.
Die bekannten Stereo-Verfahren bzw. Stereo-Auswertungsverfahren basieren im
Kern auf der Minimierung von Kostenfunktionen (siehe hierzu Veröffentlichung [2]), welche die Differenz zwischen Bildblöcken aus zeitlich synchron aufgenommenen Bildpaaren des Stereokamerasystems quantifizieren. Hierzu werden häufig Distanzmaße, wie die Summe der absoluten Differenzen (Sum of Absolute Differences / SAD), die Summe der quadrierten Differenzen (Sum of Squared Dif- ferences / SSD) und der Kreuzkorrelationskoeffizient (Cross Correlation Coeffi- cient / CCC) oder auch einfache Hamming-Distanzen zwischen Codeworten nach einer geeigneten Transformation und Quantisierung der Bilddaten verwendet (siehe Veröffentlichungen [1 ] und [2]). Das Distanzmaß stellt ein Maß für die Unähnlichkeit bzw. Unterschiedlichkeit dar. Der entscheidende Nachteil dieser Verfahren zur Schätzung von Stereodisparitäten auf realen Bildsequenzdaten besteht in den unzureichenden Invarianz- bzw. Robustheitseigenschaften. So setzen das SAD- und das SSD-Kriterium implizit die Konstanz des Mittelwerts der Daten voraus, was unter realen Bedingungen im Allgemeinen nicht gegeben ist. Mittelwertfreie Versionen dieser Kriterien weisen diesen Nachteil zwar nicht auf. Dennoch sind die Invarianzeigenschaften weiterhin unzureichend, da bereits eine einfache Skalierung der Daten, wie sie beispielsweise durch globale Beleuchtungsänderungen verursacht werden kann, nicht kompensiert wird. Dies gelingt erst durch Verwendung des verhältnismäßig rechenaufwändigen vorstehend genannten CCC-Kriteriums, welches jedoch wiederum bei nicht linearen Störun- gen der Daten, die etwa durch lokale Beleuchtungsänderungen hervorgerufen werden können, versagt. Verfahren auf der Basis von Hamming-Distanzen zwischen Codeworten transformierter, quantisierter Daten basieren im Allgemeinen auf heuristischen Ansätzen, so dass die entsprechenden Invarianzeigenschaften nicht analytisch bestimmt werden können. Auch die in [1 ] erwähnte nichtpara- metrische Rangtransformation stellt lediglich eine Heuristik dar.
Somit lässt sich zusammenfassen, dass die bekannten Verfahren zur Stereoauswertung zur Bestimmung von Tiefeninformation bzw. zur 3D-Rekonstruktion auf Basis von Stereokamerasystemen bzw. Stereovideosystemen je nach Imp- lementierungsvariante einen oder mehrere der folgenden Nachteile aufweisen:
Die Rechenkomplexität übersteigt die Rechenleistung von verwendeten eingebetteten Systemen (Embedded Systems) um eine oder mehrere Größenordnungen. - Die Disparitätsschätzungen liegen nur für einen Bruchteil von beispielsweise weniger als 10% der Bildpunkte vor.
Die Disparitätsschätzungen weisen einen signifikanten Anteil von groben Fehlmessungen auf. Die Disparitätsschätzungen weisen eine unzureichende Genauigkeit, z. B. ei- ne Standardabweichung in der Größenordnung von mehreren Disparitätsstufen auf. Zum allgemeinen Stand der Technik wird auf die DE 102 19 788 C1 verwiesen.
Offenbarung der Erfindung
Erfindungsgemäß wird ein Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei, insbesondere stereoskopisch mittels eines Stereokamerasystems, insbesondere mit wenigstens zwei Bildsensoren, aufgenommenen, insbesondere zeitlich synchronsierten und/oder rektifizierten, Ein- gangsbildern, wobei die Tiefeninformation aus einer Disparitätskarte unter Einbeziehung von geometrischen Eigenschaften des Stereokamerasystems berechnet bzw. bestimmt wird, vorgeschlagen, welches durch folgende Verfahrensschritte zur Ermittlung der Disparitätskarte gekennzeichnet ist:
- Transformation der Eingangsbilder in Signaturbilder mittels eines vorgegebenen Operators;
Kostenberechnung anhand der Signaturbilder mittels eines parameterfreien bzw. nichtparametrischen statistischen Rangkorrelationsmaßes zur Ermittlung eines Kostenraums für vorgegebene Disparitätsstufen in Bezug zu we- nigstens einem der wenigstens zwei Eingangsbilder;
Durchführung einer Korrespondenzanalyse für jeden Punkt des Kostenraums für die vorgegebenen Disparitätsstufen, wobei die jeweils zu bestimmende Disparität die Korrespondenz mit den geringsten Kosten aufweist; und Ermitteln der Disparitätskarte aus den zuvor bestimmten Disparitäten.
In vorteilhafter weise werden die eingangs erwähnten Mängel der bekannten Verfahren durch das erfindungsgemäße Bildverarbeitungsverfahren vollständig behoben. Das erfindungsgemäße Bildverarbeitungsverfahren zur Ermittlung der Stereo-Video-Disparitäten bzw. der Disparität auf Basis eines statischen Rang- korrelationsmaßes besitzt keine der genannten Einschränkungen. Die eingesetzte parameterfreie bzw. nichtparametrische Statistik der Daten ist invariant gegenüber monotonen, nichtlinearen Transformationen. Die parameterfreie Statistik beschäftigt sich mit parameterfreien statistischen Modellen und parameterfreien statistischen Tests. Andere gebräuchliche Bezeichnungen sind nichtparametri- sehe Statistik oder verteilungsfreie Statistik. Die Modellstruktur ist dabei nicht vorab festgelegt. Es werden keine Annahmen über die Wahrscheinlichkeitsvertei- lung der untersuchten Variablen gemacht. Ein Rangkorrelationskoeffizient bzw. ein Rangkorrelationsmaß stellt dementsprechend ein parameterfreies Maß für Korrelationen dar, womit gemessen werden kann, wie gut die Übereinstimmung zwischen zwei stochastischen Variablen ist, ohne Annahmen über die parametri- sehe Struktur der Wahrscheinlichkeitsverteilung der Variablen zu machen. Das
Verfahren ermöglicht eine Implementierung auf aktuellen eingebetteten Systemen, z. B. auf programmierbaren integrierten Schaltkreisen (Field Programmable Gate Arrays / FPGA), eine dichte Schätzung von Disparitäten für allgemein mehr als 90% der relevanten Bildpunkte, eine robuste Schätzung von Disparitäten mit einem Ausreißeranteil von im Allgemeinen weniger als 1 % und eine Disparitätsschätzung mit einer Genauigkeit im Bereich von Subpixeln. Bei dem erfindungsgemäßen Bildverarbeitungsverfahren wird ein statistisches Maß bzw. eine statistische Metrik statt deterministischer Distanzmaße eingesetzt. Die Verwendung einer statistischen Rangkorrelation lässt sich streng mathematisch motivieren, da das Verfahren auf einen normierten Korrelationskoeffizienten zurückgeführt werden kann.
Die Eingangsbilder können nicht rektifiziert, teilrektifiziert oder nichtrektifiziert sein. Unter Rektifizierung bzw. Berichtigung wird allgemein die Eliminierung ge- ometrischer Verzerrungen in Bilddaten, beispielsweise bedingt durch nicht ideale
Abbildungseigenschaften der Optik oder kleine geometrische Herstellungstoleranzen des Imagers, verstanden.
Sehr vorteilhaft ist es, wenn als nicht parametrisches statistisches Rangkorrelati- onsmaß der Kendalls-Tau-Rangkorrelationskoeffizient bzw. eine Variante dieses
Koeffizienten verwendet wird. Das Rangkorrelationsmaß von Kendall ist beispielsweise in H. Abdi, Kendall rank correlation. In N. J. Salkind (Ed.): Εncyclo- pedia of Measurement and Statistics" Thousand Oaks (CA), 2007 [3] beschrieben, welches bereits 1938 in der mathematischen Statistik eingeführt wurde. Aufgrund des verhältnismäßig hohen Rechenaufwands für hochdimensionale Daten hat das Verfahren jedoch für praktische Implementierungen im Bereich der Signalverarbeitung bislang keine Anwendung gefunden. Erst die Leistungsfähigkeit moderner eingebetteter Systeme sowie die applikationsspezifische Ausgestaltung des erfindungsgemäßen Bildverarbeitungsverfahrens erschließt das hier beschriebene sowie benachbarte Anwendungsfelder. Unter einem Signaturbild wird ein mittels eines vorgegebenen Operators transformiertes Eingangsbild verstanden. Als vorgegebener Operator kann ein Vorzeichenoperator verwendet werden.
Mittels des Vorzeichenoperators können die Vorzeichen der Differenzen von
Bilddaten, insbesondere Grauwerten, unterschiedlicher Bildpunkte der jeweiligen Eingangsbilder in einem beliebig wählbaren Teilbereich der Eingangsbilder bestimmt und in den Signaturbildern abgespeichert werden.
Erfindungsgemäß kann ferner vorgesehen sein, dass ein betrachtetes Bilddatenpaar mit ersten Bilddaten eines ersten Bildpunkts an entsprechenden Positionen eines ersten Eingangsbilds und eines zweiten Eingangsbilds und zweiten Bilddaten eines zweiten Bildpunkts an entsprechenden Positionen des ersten Eingangsbilds und des zweiten Eingangsbilds in dem beliebig wählbaren Teilbereich der ersten und zweiten Eingangsbilder verträglich ist bzw. korrespondiert, wenn das Vorzeichen der Differenz der Bilddaten des ersten Bildpunkts in dem ersten Eingangsbild von den Bilddaten des zweiten Bildpunkts in dem ersten Eingangsbild und das Vorzeichen der Differenz der Bilddaten des ersten Bildpunkts in dem zweiten Eingangsbild von den Bilddaten des zweiten Bildpunkts in dem zweiten Eingangsbild übereinstimmt bzw. die Vorzeichen an den entsprechenden Positionen der ersten und zweiten Bildpunkte in den Signaturbildern der ersten und zweiten Eingangsbilder übereinstimmen.
In einer Ausgestaltung des erfindungsgemäßen Bildverarbeitungsverfahrens kann vorgesehen sein, dass in dem beliebig wählbaren Teilbereich der Kendalls-
Tau-Rangkorrelationskoeffizient durch t = mit - 1 < t < 1 gegeben ist, n (n - 1 ) wobei f die Anzahl der verträglichen Bilddatenpaare, g die Anzahl der nicht verträglichen Bilddatenpaare und n die Anzahl sämtlicher betrachteter Bilddatenpaare des beliebig wählbaren Teilbereichs ist.
Das Rangkorrelationsmaß nach Kendall kann sonach wie folgt eingesetzt werden. Gegeben sind Paare (Al i, A2i), (A1j, A2j) von beobachteten Daten, z. B. Grauwerten von Bildpunkten in einem beliebig wählbaren Teilbereich der Bilder A1 und A2 eines Stereovideobildpaares. Als wesentliche Rechenoperation sind lediglich die Vorzeichen der Differenzen sign (A1 j - A1 i), sign (A2j - A2i) zu bestimmen. Stimmen diese Vorzeichen überein, so ist das betrachtete Datenpaar verträglich, ansonsten nicht verträglich. Bezeichnet nun f die Anzahl der verträglichen Datenpaare und g die Anzahl der nicht verträglichen Datenpaare, so ist
2 - s durch t = ; s = f - g; -1 < t < 1 das Rangkorrelationsmaß nach Kendall n (n - 1 ) definiert, welches zur Realisierung des erfindungsgemäßen robusten Bildverarbeitungsverfahrens genutzt werden kann. Varianten des Verfahrens, welche den Fall verschwindender Differenzen explizit behandeln, sind ebenfalls zur Umsetzung des beschriebenen Stereoverfahrens geeignet, werden jedoch nicht näher betrachtet.
Das Stereokamerasystem kann als Stereovideosystem und die Eingangsbilder als Eingangsvideobilder ausgeführt sein. Selbstverständlich kommen dementsprechend als Bildsensoren CCD- oder CMOS-Kameras in Frage. Darüber hinaus ist es möglich, auch Bildsensoren in anderen Wellenlängenbereichen, bei- spielsweise dem Infrarotbereich zu verwenden und dementsprechend Wärmebildkameras einzusetzen.
Erfindungsgemäß wird ein Computerprogramm mit Programmcodemitteln bzw. ein Computerprogrammprodukt mit Programmcodemitteln, die auf einem compu- terlesbaren Datenträger gespeichert sind, um das erfindungsgemäße Bildverarbeitungsverfahren auszuführen, vorgeschlagen.
Des Weiteren ist eine Vorrichtung, insbesondere ein Fahrerinformationssytem oder ein Fahrerassistenzsystem eines Kraftfahrzeugs mit wenigstens einem Ste- reokamerasystem oder Stereovideosystem, welches eine Bildverarbeitungseinrichtung aufweist, welche zur Durchführung des erfindungsgemäßen Bildverarbeitungsverfahrens bzw. zur Ausführung des entsprechenden Computerprogramms eingerichtet ist, angegeben.
Das erfindungsgemäße Bildverarbeitungsverfahren ist vorzugsweise als Computerprogramm auf einer Bildverarbeitungseinrichtung eines Stereokamera Systems oder Stereovideosystems, insbesondere im Rahmen eines Fahrerinformationssystems bzw. Fahrerassistenzsystems eines Kraftfahrzeugs, realisiert, wobei auch andere Lösungen selbstverständlich in Frage kommen. Dazu kann das Computerprogramm in einem Speicherelement (z. B. ROM, EEPROM oder der- gleichen) der Bildverarbeitungseinrichtung gespeichert sein. Durch Abarbeitung auf der Bildverarbeitungseinrichtung wird das Bildverarbeitungsverfahren ausgeführt. Die Bildverarbeitungseinrichtung kann einen Mikrocomputer mit einem Mikroprozessor, einen programmierbaren integrierten Schaltkreis (ReId P_rogram- mable Gate Array / FPGA), einen anwendungsspezifischen integrierten Schaltkreis (Application Specific Jntegrated Circuit / ASIC), einen [Digitalen Sjgnalp_ro- zessor (DSP) oder dergleichen aufweisen. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB- Memorystick, Speicherkarte oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung übertragen werden.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen. Nachfolgend ist anhand der Zeichnungen ein Ausfüh- rungsbeispiel der Erfindung prinzipmäßig beschrieben.
Kurzbeschreibung der Zeichnungen
Es zeigen:
Fig. 1 eine schematische Darstellung eines Stereobildpaars zur Veranschaulichung der Disparität gemäß dem Stand der Technik ;
Fig. 2 ein vereinfachtes Flussdiagramm des Ablaufs der Disparitätsschätzung in Stereoauswertungsverfahren gemäß dem Stand der Technik;
Fig. 3 ein vereinfachtes schematisches Blockdiagramm eines Fahrerinformationssystems mit einem Stereovideosystem; und
Fig. 4 ein vereinfachtes schematisches Diagramm eines erfindungsgemäßen
Bildverarbeitungsverfahrens.
Beschreibung von Ausführungsbeispielen
Figur 3 zeigt ein als Stereovideosystem 10 ausgebildetes Stereokamerasystem mit zwei Bildsensoren 1 1 und 12, zwei Bildsensorsignalleitungen 13, 14, einer Auswerteeinheit bzw. Bildverarbeitungseinrichtung 15, einer Ausgangssignalleitung 16 und einem nachfolgenden System 17. Als Bildsensoren 1 1 , 12 sind beispielsweise CCD- oder CMOS-Kameras, aber auch Wärmebildgeräte oder dergleichen einsetzbar. Beide Bildsensoren 1 1 , 12 sind derart angeordnet, dass sie dieselbe Szenen abbilden, allerdings unter einem etwas unterschiedlichen Sichtwinkel. Die Bildsensoren 1 1 , 12 übermitteln Bilder der beobachteten Szene an die Bildverarbeitungseinrichtung 15. Die Bildverarbeitungseinrichtung 15 erzeugt auf der Ausgangssignalleitung 16 ein Ausgangssignal, welches elektrisch, digital, akustisch und/oder visuell zur Anzeige, Information und/oder Speicherung an das nachfolgende System 17 übertragen wird. Im vorliegenden Ausführungsbeispiel ist das nachfolgende System ein Fahrerinformationssystem 17 eines nicht dargestellten Kraftfahrzeugs, welches das Stereovideosystem 10 aufweist. In weiteren Ausführungsbeispielen könnte das nachfolgende System 17 auch ein Fahrassistenzsystem eines Kraftfahrzeugs oder dergleichen sein.
In Fig. 4 ist ein erfindungsgemäßes Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei stereoskopisch mittels des Stereokamerasystems 10 mit den zwei Bildsensoren 1 1 , 12 aufgenommenen, vorzugsweise zeitlich synchronisierten und rektifizierten, Eingangsbildern A1 , A2, wobei die Tiefeninformation aus einer Disparitätskarte unter Einbeziehung von geometrischen Eigenschaften (insbesondere der Basisabstand zwischen den beiden Bildsensoren 1 1 , 12) des Stereokamerasystems 10 bestimmt bzw. berechnet wird, schematisch dargestellt. Das erfindungsgemäße Bildverarbeitungsverfahren wird für den Ablauf eines Echtzeit-Stereovideosystems auf Basis eines statisti- sehen Rangkorrelationsverfahrens verwendet. Als Eingangsdaten zur Echtzeit- prozessierung der Disparitätskarte liegen die rektifizierten Stereovideobilder bzw. Eingangsvideobilder A1 , A2 vor. Das erfindungsgemäße Bildverarbeitungsverfahren ist durch folgende Verfahrensschritte zur Ermittlung der Disparitätskarte gekennzeichnet:
In einem ersten Verfahrensschritt erfolgt eine Transformation der Eingangsbilder A1 , A2 in Signaturbilder B1 , B2 mittels eines vorgegebenene Operators. In dem ersten Verfahrensschritt werden sozusagen die Grauwerte der Videobilder A1 , A2 zu Signaturbildern B1 , B2 transformiert. Dazu wird als vorgegebener Operator ein Vorzeichenoperator verwendet. Neben dem einfachen Vorzeichenoperator können in weiteren, nicht dargestellten Ausführungsbeispielen auch komplexere Operatoren eingesetzt werden, welche z. B. eine Epsilon-Umgebung des Nullpunktes separat kodieren und den jeweiligen Schwellwert hierzu an die lokale Bildinformation adaptieren und/oder z. B. aus Rechenzeitgründen nur eine geeignete Teilmenge der Signaturen bestimmen.
In einem zweiten Verfahrensschritt C wird eine Kostenberechnung anhand der Signaturbilder B1 , B2 mittels eines nichtparametrischen statistischen Rangkorrelationsmaßes zur Ermittlung eines Kostenraums für vorgegebene Disparitätsstufen in Bezug zu wenigstens einem der wenigstens zwei Eingangsbilder A1 , A2 durchgeführt. Die anschließende Kostenberechnung auf den Signaturbildern B1 ,
B2 basiert auf dem statistischen Rangkorrelationsmaß bzw. naheliegenden Varianten dieser Metrik, welche z. B. in weiteren Ausführungsbeispielen aus Rechenzeitgründen nur eine Teilmenge der verfügbaren Signaturen auswerten kann. Der resultierende Kostenraum (auch als JDisparity Space Jmage / DSI be- zeichnet) wird schichtweise für die einzelnen Disparitätsstufen, z. B. im Bezug zum linken Ausgangsbild A1 , ermittelt. Als nichtparametrisches statistisches Rangkorrelationsmaß wird ein Kendalls-Tau-Rangkorrelationskoeffizient bzw. dessen Varianten verwendet.
Anschließend erfolgt in einem dritten Verfahrensschritt D die Durchführung einer
Korrespondenzanalyse für jeden Punkt des Kostenraums für die vorgegebenen Disparitätsstufen, wobei die jeweils zu bestimmende Disparität d die Korrespondenz mit den geringsten Kosten aufweist, wonach anschließend in einem vierten Verfahrensschritt die Disparitätskarte aus den zuvor bestimmten Disparitäten d ermittelt wird. Die Korrespondenzanalyse bzw. Korrespondenzsuche verläuft innerhalb des Kostenraums für jeden Punkt in Richtung der Disparitätsdimension. Die ermittelte Disparität d entspricht der Korrespondenz mit den geringsten Kosten und ist sozusagen optimal. Zur Vermeidung von Ausreißern können Nebenbedingungen, wie z. B. die Eindeutigkeit des Kostenminimums oder auch die lo- kale Ausprägung der Kostenfunktion, berücksichtigt werden. Das erfindungsgemäße Bildverarbeitungsverfahren liefert zunächst pixelgenaue Disparitäten d, welche in einem weiteren Verarbeitungsschritt als Nachbereitung zur Bestimmung einer subpixelgenauen Disparitätskarte verfeinert werden können.
Mittels des Vorzeichenoperators werden die Vorzeichen der Differenzen von
Bilddaten, insbesondere Grauwerten, unterschiedlicher Bildpunkte der jeweiligen Eingangsvideobilder A1 , A2 in einem beliebig wählbaren Teilbereich der Eingangsvideobilder bestimmt und in den Signaturbildern B1 , B2 abgespeichert.
Ein betrachtetes Bilddatenpaar mit ersten Bilddaten eines ersten Bildpunkts an entsprechenden Positionen des ersten Eingangsvideobilds A1 und des zweiten
Eingangsvideobilds A2 und zweiten Bilddaten eines zweiten Bildpunkts an entsprechenden Positionen des ersten Eingangsvideobilds A1 und des zweiten Eingangsvideobilds A2 in dem beliebig wählbaren Teilbereich der ersten und zweiten Eingangsvideobilder A1 , A2 ist verträglich bzw. korrespondiert, wenn das Vorzeichen der Differenz der Bilddaten des ersten Bildpunkts in dem ersten Eingangsvideobild A1 von den Bilddaten des zweiten Bildpunkts in dem ersten Eingangsvideobild A2 und das Vorzeichen der Differenz der Bilddaten des ersten Bildpunkts in dem zweiten Eingangsvideobild A2 von den Bilddaten des zweiten Bildpunkts in dem zweiten Eingangsvideobild übereinstimmt bzw. die Vorzeichen an den entsprechenden Positionen der ersten und zweiten Bildpunkte in den
Signaturbildern B1 , B2 der ersten und zweiten Eingangsvideobilder A1 , A2 übereinstimmen.
In dem beliebig wählbaren Teilbereich ist der Kendalls-Tau- Rangkorrelationskoeffizient durch t = mit - 1 < t < gegeben, wo- n • (n - 1 ) bei f die Anzahl der verträglichen Bilddatenpaare, g die Anzahl der nicht verträglichen Bilddatenpaare und n die Anzahl sämtlicher betrachteter Bilddatenpaare des beliebig wählbaren Teilbereichs ist.
Das erfindungsgemäße Bildverarbeitungsverfahren ist vorzugsweise als Computerprogramm auf der Bildverarbeitungseinrichtung 15 des Stereovideosystems 10, insbesondere im Rahmen des Fahrerinformationssystems 17 des Kraftfahrzeugs, realisiert, wobei auch andere Lösungen selbstverständlich in Frage kommen. Dazu kann das Computerprogramm in einem Speicherelement (z. B. ROM, EEPROM oder dergleichen) der Bildverarbeitungseinrichtung 15 gespeichert sein. Durch Abarbeitung auf der Bildverarbeitungseinrichtung 15, wird das Bildverarbeitungsverfahren ausgeführt. Die Bildverarbeitungseinrichtung 15 kann einen Mikrocomputer mit einem Mikroprozessor, einen programmierbaren integrierten Schaltkreis (ReId P_rogrammable Gate Array / FPGA), einen anwendungs- spezifischen integrierten Schaltkreis (Application Specific |ntegrated Circuit / ASIC), einen Digitalen Signalp/ozessor (DSP) oder dergleichen aufweisen. Das Computerprogramm kann auf einem computerlesbaren Datenträger (Diskette, CD, DVD, Festplatte, USB-Memorystick, Speicherkarte oder dergleichen) oder einem Internetserver als Computerprogrammprodukt gespeichert sein und von dort aus in das Speicherelement der Bildverarbeitungseinrichtung 15 übertragen werden.
Nichtpatentliteratur:
[1] M. Z. Brown, D. Burschka, und G. D. Hager "Advances in computational ste- reo", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25,
Nr. 8, Seiten 993 - 1008, August 2003
[2] D. Scharstein und R. Szeliski "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", International Journal of Computer Vision,
Vol. 47, Seiten 7 - 42, April 2002 [3] H. Abdi, Kendall rank correlation. In N. J. Salkind (Ed.): Εncyclopedia of
Measurement and Statistics" Thousand Oaks (CA), 2007

Claims

Ansprüche
1 . Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems (10) aufgenommenen Eingangsbildern (A1 ,A2), wobei die Tiefeninformation aus einer Disparitäts- karte unter Einbeziehung von geometrischen Eigenschaften des Stereokamerasystems (10) bestimmt wird, gekennzeichnet durch folgende Verfahrensschritte zur Ermittlung der Disparitätskarte:
1 .1 Transformation der Eingangsbilder (A1 ,A2) in Signaturbilder (B1 ,B2) mittels eines vorgegebenen Operators; 1 .2 Kostenberechnung (C) anhand der Signaturbilder (B1 ,B2) mittels eines parameterfreien statistischen Rangkorrelationsmaßes zur Ermittlung eines Kostenraums für vorgegebene Disparitätsstufen in Bezug zu wenigstens einem der wenigstens zwei Eingangsbilder (A1 ,A2);
1 .3 Durchführung einer Korrespondenzanalyse (D) für jeden Punkt des Kos- tenraums für die vorgegebenen Disparitätsstufen, wobei die jeweils zu bestimmende Disparität (d) die Korrespondenz mit den geringsten Kosten aufweist; und
1 .4 Ermitteln der Disparitätskarte aus den zuvor bestimmten Disparitäten (d).
2. Bildverarbeitungsverfahren nach Anspruch 1 , dadurch gekennzeichnet, dass als nichtparametrisches statistisches Rangkorrelationsmaß der Kendalls- Tau-Rangkorrelationskoeffizient bzw. dessen Varianten verwendet wird.
3. Bildverarbeitungsverfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als vorgegebener Operator ein Vorzeichenoperator verwendet wird.
4. Bildverarbeitungsverfahren nach Anspruch 3, dadurch gekennzeichnet, dass mittels des Vorzeichenoperators die Vorzeichen der Differenzen von Bilddaten, insbesondere Grauwerten, unterschiedlicher Bildpunkte der jeweiligen Eingangsbilder (A1 , A2) in einem beliebig wählbaren Teilbereich der Eingangsbilder (A1 , A2) bestimmt und in den Signaturbildern (B1 , B2) abgespeichert werden.
5. Bildverarbeitungsverfahren nach Anspruch 4, dadurch gekennzeichnet, dass ein betrachtetes Bilddatenpaar mit ersten Bilddaten eines ersten Bildpunkts an entsprechenden Positionen eines ersten Eingangsbilds (A1 ) und eines zweiten Eingangsbilds (A2) und zweiten Bilddaten eines zweiten Bildpunkts an entsprechenden Positionen des ersten Eingangsbilds (A1 ) und des zwei- ten Eingangsbilds (A2) in dem beliebig wählbaren Teilbereich der ersten und zweiten Eingangsbilder (A1 , A2) verträglich ist bzw. korrespondiert, wenn das Vorzeichen der Differenz der Bilddaten des ersten Bildpunkts in dem ersten Eingangsbild (A1 ) von den Bilddaten des zweiten Bildpunkts in dem ersten Eingangsbild (A1 ) und das Vorzeichen der Differenz der Bilddaten des ersten Bildpunkts in dem zweiten Eingangsbild (A2) von den Bilddaten des zweiten Bildpunkts in dem zweiten Eingangsbild (A2) übereinstimmt bzw. die Vorzeichen an den entsprechenden Positionen der ersten und zweiten Bildpunkte in den Signaturbildern (B1 , B2) der ersten und zweiten Eingangsbilder (A1 , A2) übereinstimmen.
6. Bildverarbeitungsverfahren nach Anspruch 5, dadurch gekennzeichnet, dass in dem beliebig wählbaren Teilbereich der Kendalls-Tau-
Rangkorrelationskoeffizient durch t = — - — — mit - 1 < t < 1 gegeben ist, n (n - 1 ) wobei f die Anzahl der verträglichen Bilddatenpaare, g die Anzahl der nicht verträglichen Bilddatenpaare und n die Anzahl sämtlicher betrachteter Bilddatenpaare des beliebig wählbaren Teilbereichs ist.
7. Bildverarbeitungsverfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Stereokamerasystem als Stereovideosystem (10) und die Eingangsbilder als Eingangsvideobilder (A1 ,A2) ausgeführt sind.
8. Computerprogramm mit Programmcodemitteln, um ein Bildverarbeitungsverfahren gemäß einem der Ansprüche 1 bis 7 durchzuführen, wenn dass Programm auf einer Bildverarbeitungseinrichtung (15) eines Stereokamerasys- tems (10), insbesondere auf einem Mikroprozessor eines Mikrocomputers, einem programmierbaren integrierten Schaltkreis, einem anwendungsspezifischen integrierten Schaltkreis oder einem digitalen Signalprozessor, ausgeführt wird.
9. Computerprogrammprodukt mit Programmcodemitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um ein Bildverarbeitungsverfahren gemäß einem der Ansprüche 1 bis 7 durchzuführen, wenn dass Programm auf einer Bildverarbeitungseinrichtung (15) eines Stereokamerasystems (10), insbesondere auf einem Mikroprozessor eines Mikrocomputers, einem programmierbaren integrierten Schaltkreis, einem anwendungsspezifischen integrierten Schaltkreis oder einem digitalen Signalprozessor, ausgeführt wird.
10. Vorrichtung, insbesondere Fahrerinformationssystem (17) eines Kraftfahr- zeugs mit wenigstens einem Stereokamerasystem (10), welches eine Bildverarbeitungseinrichtung (15) aufweist, welche zur Ausführung eines Computerprogramms gemäß Anspruch 8 eingerichtet ist.
PCT/EP2010/056270 2009-05-14 2010-05-07 Bildverarbeitungsverfahren zur bestimmung von tiefeninformation aus wenigstens zwei mittels eines stereokamerasystems aufgenommenen eingangsbildern WO2010130657A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012510232A JP2012527026A (ja) 2009-05-14 2010-05-07 ステレオカメラシステムを用いて撮影された少なくとも二つの入力画像から深度情報を検出するための画像処理方法
EP10718177A EP2430837A1 (de) 2009-05-14 2010-05-07 Bildverarbeitungsverfahren zur bestimmung von tiefeninformation aus wenigstens zwei mittels eines stereokamerasystems aufgenommenen eingangsbildern
CN2010800209905A CN102422644A (zh) 2009-05-14 2010-05-07 用于由至少两个借助于立体摄像机系统拍摄的输入图像确定深度信息的图像处理方法
US13/320,236 US20120127275A1 (en) 2009-05-14 2010-05-07 Image processing method for determining depth information from at least two input images recorded with the aid of a stereo camera system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009003110.3 2009-05-14
DE102009003110A DE102009003110A1 (de) 2009-05-14 2009-05-14 Bildverarbeitungsverfahren zur Bestimmung von Tiefeninformation aus wenigstens zwei mittels eines Stereokamerasystems aufgenommenen Eingangsbildern

Publications (1)

Publication Number Publication Date
WO2010130657A1 true WO2010130657A1 (de) 2010-11-18

Family

ID=42262327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/056270 WO2010130657A1 (de) 2009-05-14 2010-05-07 Bildverarbeitungsverfahren zur bestimmung von tiefeninformation aus wenigstens zwei mittels eines stereokamerasystems aufgenommenen eingangsbildern

Country Status (6)

Country Link
US (1) US20120127275A1 (de)
EP (1) EP2430837A1 (de)
JP (1) JP2012527026A (de)
CN (1) CN102422644A (de)
DE (1) DE102009003110A1 (de)
WO (1) WO2010130657A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013206468A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd ステレオマッチングのための方法及びステレオマッチングのためのシステム
CN103460705A (zh) * 2011-03-30 2013-12-18 英特尔公司 利用立体对应性的实时深度提取
US9665793B2 (en) 2013-03-15 2017-05-30 Hunter Engineering Company Method for determining parameters of a rotating object within a projected pattern

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
CN102037717B (zh) 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2502115A4 (de) 2009-11-20 2013-11-06 Pelican Imaging Corp Aufnahme und verarbeitung von bildern mittels eines monolithischen kameraarrays mit heterogenem bildwandler
KR101824672B1 (ko) 2010-05-12 2018-02-05 포토네이션 케이맨 리미티드 이미저 어레이 구조 및 어레이 카메라
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US9251562B1 (en) * 2011-08-04 2016-02-02 Amazon Technologies, Inc. Registration of low contrast images
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
WO2013049699A1 (en) 2011-09-28 2013-04-04 Pelican Imaging Corporation Systems and methods for encoding and decoding light field image files
US9661310B2 (en) * 2011-11-28 2017-05-23 ArcSoft Hanzhou Co., Ltd. Image depth recovering method and stereo image fetching device thereof
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
DE102012209316A1 (de) 2012-06-01 2013-12-05 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN104662589B (zh) 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
TWI526045B (zh) 2012-12-10 2016-03-11 聯詠科技股份有限公司 立體影像的調整方法與影像處理裝置
CN103888744B (zh) * 2012-12-21 2016-08-17 联咏科技股份有限公司 立体影像的调整方法与影像处理装置
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (de) 2013-11-26 2018-06-13 FotoNation Cayman Limited Zeilenkamerakonfigurationen mit mehreren zeilenkameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
EP3201877B1 (de) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systeme und verfahren zur dynamischen kalibrierung von array-kameras
EP3323237A4 (de) * 2015-08-26 2019-07-31 Zhejiang Dahua Technology Co., Ltd Verfahren und systeme zur verkehrsüberwachung
CN105357519B (zh) * 2015-12-02 2017-05-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法
DE102016200660A1 (de) * 2015-12-23 2017-06-29 Robert Bosch Gmbh Verfahren zur Erstellung einer Tiefenkarte mittels einer Kamera
KR102502451B1 (ko) 2016-01-07 2023-02-22 삼성전자주식회사 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치
DE102016208056A1 (de) * 2016-05-11 2017-11-16 Robert Bosch Gmbh Verfahren und Vorrichtung zur Verarbeitung von Bilddaten und Fahrerassistenzsystem für ein Fahrzeug
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
CN114766003B (zh) 2019-10-07 2024-03-26 波士顿偏振测定公司 用于利用偏振增强传感器系统和成像系统的系统和方法
EP4066001A4 (de) 2019-11-30 2024-01-24 Boston Polarimetrics Inc Systeme und verfahren zur transparenten objektsegmentierung unter verwendung von polarisationshinweisen
KR20220132620A (ko) 2020-01-29 2022-09-30 인트린식 이노베이션 엘엘씨 물체 포즈 검출 및 측정 시스템들을 특성화하기 위한 시스템들 및 방법들
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
WO2021213650A1 (en) 2020-04-22 2021-10-28 Huawei Technologies Co., Ltd. Device and method for depth estimation using color images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04283881A (ja) * 1991-03-13 1992-10-08 Takaoka Electric Mfg Co Ltd 画像処理装置
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
US20040247157A1 (en) * 2001-06-15 2004-12-09 Ulrich Lages Method for preparing image information
US6748341B2 (en) * 2002-04-12 2004-06-08 George E. Crowder, Jr. Method and device for machinery diagnostics and prognostics
DE10219788C1 (de) 2002-05-03 2003-11-13 Bosch Gmbh Robert Verfahren und Vorrichtung zur Sichtweitenmessung mit Bildsensorsystemen
JP4112357B2 (ja) * 2002-12-20 2008-07-02 シャープ株式会社 画像処理方法および装置
WO2007105176A2 (en) * 2006-03-15 2007-09-20 Koninklijke Philips Electronics N.V. Method for determining a depth map from images, device for determining a depth map
JP5047658B2 (ja) * 2007-03-20 2012-10-10 株式会社日立製作所 カメラ装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
AMBROSCH K ET AL: "Extending two non-parametric transforms for FPGA based stereo matching using bayer filtered cameras", COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, 2008. CVPR WORKSHOPS 2008. IEEE COMPUTER SOCIETY CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 23 June 2008 (2008-06-23), pages 1 - 8, XP031285702, ISBN: 978-1-4244-2339-2 *
CRIMINISI ET AL: "Gaze manipulation for one-to-one teleconferencing", PROCEEDINGS OF THE EIGHT IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION. (ICCV). NICE, FRANCE, OCT. 13 - 16, 2003; [INTERNATIONAL CONFERENCE ON COMPUTER VISION], LOS ALAMITOS, CA : IEEE COMP. SOC, US, 13 October 2003 (2003-10-13), pages 191 - 198VOL.1, XP031213049, ISBN: 978-0-7695-1950-0 *
D. SCHARSTEIN; R. SZELISKI: "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 47, April 2002 (2002-04-01), pages 7 - 42
M. Z. BROWN; D. BURSCHKA; G. D. HAGER: "Advances in computational stereo", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 25, no. 8, August 2003 (2003-08-01), pages 993 - 1008, XP011099378, DOI: doi:10.1109/TPAMI.2003.1217603
PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 25, no. 8, August 2003 (2003-08-01), pages 993 - 1008
RAMIN ZABIH AND JOHN WOODFILL: "Non-parametric Local Transforms for Computing Visual Correspondence", LECTURE NOTES IN COMPUTER SCIENCE, vol. 801, 1994, London, UK, pages 151 - 158, XP002589271, ISBN: 3-540-57957-5 *
SCHARSTEIN D ET AL: "A taxonomy and evaluation of dense two-frame stereo correspondence algorithms", STEREO AND MULTI-BASELINE VISION, 2001. (SMBV 2001). PROCEEDINGS. IEEE WORKSHOP ON KAUAI, HI, USA 9-10 DEC. 2001, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US LNKD- DOI:10.1109/SMBV.2001.988771, 9 December 2001 (2001-12-09), pages 131 - 140, XP010582733, ISBN: 978-0-7695-1327-0 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103460705A (zh) * 2011-03-30 2013-12-18 英特尔公司 利用立体对应性的实时深度提取
EP2692140A2 (de) * 2011-03-30 2014-02-05 Intel Corporation Echtzeit-tiefenextraktion mit stereoübereinstimmung
EP2692140A4 (de) * 2011-03-30 2014-10-01 Intel Corp Echtzeit-tiefenextraktion mit stereoübereinstimmung
CN103460705B (zh) * 2011-03-30 2016-12-07 英特尔公司 利用立体对应性的实时深度提取
JP2013206468A (ja) * 2012-03-27 2013-10-07 Fujitsu Ltd ステレオマッチングのための方法及びステレオマッチングのためのシステム
US9665793B2 (en) 2013-03-15 2017-05-30 Hunter Engineering Company Method for determining parameters of a rotating object within a projected pattern

Also Published As

Publication number Publication date
DE102009003110A1 (de) 2010-11-18
US20120127275A1 (en) 2012-05-24
CN102422644A (zh) 2012-04-18
EP2430837A1 (de) 2012-03-21
JP2012527026A (ja) 2012-11-01

Similar Documents

Publication Publication Date Title
WO2010130657A1 (de) Bildverarbeitungsverfahren zur bestimmung von tiefeninformation aus wenigstens zwei mittels eines stereokamerasystems aufgenommenen eingangsbildern
DE102014114061A1 (de) Verfahren und Vorrichtung zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms
DE112016005905T5 (de) Verfahren und System zum Verschmelzen erfasster Messungen
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
DE112016002995T5 (de) Verfahren zum Bestimmen einer Bewegung zwischen einem ersten Koordinatensystem und einem zweiten Koordinatensystem
EP3788552A1 (de) Verfahren und vorrichtung zum ermitteln eines tiefeninformationsbilds aus einem eingangsbild
EP3089106A1 (de) Verfahren zur reflexionskorrektur von abbildungen und diesbezügliche vorrichtungen
WO2010028718A2 (de) Verfahren zur bildverarbeitung von stereobildern
EP1756748B1 (de) Verfahren zur klassifizierung eines objekts mit einer stereokamera
EP3465608B1 (de) Verfahren und vorrichtung zum bestimmen eines übergangs zwischen zwei anzeigebildern, und fahrzeug
DE102020126954A1 (de) System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung
DE102015010264A1 (de) Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
DE102015011674A1 (de) Verfahren zur Tiefenfilterung von Tiefenbildern
DE102014211709B4 (de) Verfahren zur rechnergestützten dreidimensionalen Rekonstruktion einer Oberfläche eines Objekts aus digitalen Bilddaten
DE102010006522A1 (de) Verfahren zur Analyse von korrespondierenden Bildpunkten in Bilddatensätzen
DE102012025463A1 (de) Verfahren zum Bestimmen eines Bewegungsparameters eines Kraftfahrzeugs durch Auffinden von invarianten Bildregionen in Bildern einer Kamera des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
WO2010083970A1 (de) Verfahren zur bestimmung von korrespondenzen von bildpunkten in stereoskopisch aufgenommenen bildern
DE102020211670A1 (de) Verfahren und System zur monokularen Tiefenschätzung
DE102015209284A1 (de) Verfahren zum Erzeugen einer Ansicht einer Fahrzeugumgebung
DE102022120240A1 (de) Verfahren zum Erzeugen von Trainingsdaten durch Bildtransformation, Verfahren zum Trainieren eines Maschinenlernmodells und Assistenzsystem
DE102020207695A1 (de) Tiefenschätzung aus Monokamerabildern mittels künstlicher Intelligenz
DE102016220079B4 (de) Verfahren zur Ermittlung von Entfernungsdaten
DE102022123295A1 (de) Stereovisions-System, Fahrerassistenzsystem und Verfahren zur Erzeugung einer Stereovision aus zwei 2D-Darstellungen
EP2942752B1 (de) Verfahren zur Bestimmung des Abstands eines abgebildeten Gegenstands
DE102021204411A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Disparität und Fahrzeug

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080020990.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10718177

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010718177

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012510232

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13320236

Country of ref document: US