WO2005048195A2 - Verfahren zur korrespondenzanalyse in bilddatensätzen - Google Patents

Verfahren zur korrespondenzanalyse in bilddatensätzen Download PDF

Info

Publication number
WO2005048195A2
WO2005048195A2 PCT/EP2004/011633 EP2004011633W WO2005048195A2 WO 2005048195 A2 WO2005048195 A2 WO 2005048195A2 EP 2004011633 W EP2004011633 W EP 2004011633W WO 2005048195 A2 WO2005048195 A2 WO 2005048195A2
Authority
WO
WIPO (PCT)
Prior art keywords
signature
image data
string
stored
correspondence
Prior art date
Application number
PCT/EP2004/011633
Other languages
English (en)
French (fr)
Other versions
WO2005048195A3 (de
Inventor
Fridtjof Stein
Original Assignee
Daimlerchrysler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimlerchrysler Ag filed Critical Daimlerchrysler Ag
Priority to US10/578,414 priority Critical patent/US7664314B2/en
Publication of WO2005048195A2 publication Critical patent/WO2005048195A2/de
Publication of WO2005048195A3 publication Critical patent/WO2005048195A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for correspondence analysis in image data sets and a device suitable for carrying out the method according to the preambles of claims 1 and 11.
  • the optical flow describes the shift of the pixels of an object recorded at a time i with respect to the pixels recorded at time j.
  • the problem that arises here is to determine which of the pixels at time i correspond with which pixels of the camera image at time j, that is to say they belong to the same object.
  • hypotheses are made as to which pairs of pixels (image pixels) from the image to Time i and from the picture at time j belong together. These hypotheses are then stored in a hypothesis list for further processing, such as geometric object formation and object tracking.
  • the known methods are usually based on computation-intensive correlation approaches and are generally only able to move small objects (small op- flow) from one image to the next.
  • small op- flow small objects
  • the problem arises that the control devices used there have only limited computing resources and large optical flows occur in the image data in particular when there are strong steering movements or high driving speeds.
  • correspondence analysis when determining the optical flow of objects from image data records that follow one another in time, it is also necessary in stereo image processing to identify those data areas in two images taken at substantially the same time from different angles that correspond to one another. The areas identified as corresponding are then assigned to an object, so that the distance and position of this object can be inferred from the known geometric relationships of the camera positions and viewing directions. Since the functional principle of stereo image processing is based on the fact that one and the same object in the image data recorded essentially at the same time differs from one another. Correspondence analysis forms the most computing-intensive part of the image evaluation and is the performance-limiting factor, especially in applications in which only a limited amount of computing resource can be made available.
  • image data set i (20) and j (21) are compared in order to identify corresponding image points (pixels) u-j_v-j_ and JVJ.
  • the image data set i (20) is transformed in a first step in accordance with the invention with a signature operator in such a way that a signature string (27) is calculated for each pixel u-j_v-j_ and together with the ones in a signature table (22) Pixel coordinates is stored.
  • each pixel UV of the other image data set j (21) is then transformed in a next step by means of the same signature operator, whereupon the resulting signature strings (27) together with the respective pixel coordinates in a further signature table (23) assigned to the image data set j (21). be filed.
  • the entries in the two signature tables (22, 23) are then examined to determine whether there are signature strings (27) that can be found in both tables, whereupon a correspondence hypothesis (25) is generated for the coordinates assigned to these signature strings (27) and is stored in a hypothesis list (26) for further processing.
  • the correspondence hypothesis can be defined in the simplest way such that if matching signature strings (27) have been found in both signature tables (22, 23), it is assumed that the respective pixels of the pair of pixels correspond to images of the same object or parts thereof. It is irrelevant for the inventive method whether within the scope of the configuration according to the invention the device for correspondence analysis, the storage unit for storing the signature tables (22, 23) assigned to the image data sets i and j is divided physically or virtually into two storage areas. In any case, a device for generating correspondence hypotheses associated with the signature strings is connected downstream of such a device in this device, which is provided with a memory for storing these correspondence hypotheses (25) in the form of a list of hypotheses (26).
  • the invention advantageously enables a correspondence analysis which is very efficient with regard to the computing time and which is also able to process image pairs quickly even if individual objects are depicted in very different places in the two image data sets.
  • the signature operator for transforming the individual pixels is designed as a census operator, which corresponds to a non-linear transformation of the image data surrounding a pixel. Based on Figure 1, they exemplify the functionality of
  • FIG. Scheme depicted schematically.
  • Each of the 9 pixels contains a specific gray value, which is specified here as a value at the corresponding position of the pixel; with a gray value range of 0-255, a value of 157 corresponds to a fairly light pixel, while a gray value of 18 describes a very dark, almost black pixel.
  • gray value 64 a census transformation
  • its gray value is compared with the gray values of the neighboring pixels. The difference between the gray values is formed and compared with threshold values, the respective neighboring image points being assigned a special value on the basis of this comparison:
  • - 1 if the gray value of the neighboring pixel deviates from the pixel to be transformed by less than a certain value (generally by less than 16).
  • - 2 if the gray value of the neighboring pixel is larger than that of the pixel to be transformed.
  • a signature string (27) describing the central image point can then be generated in a simple manner, for example by arranging the values in a clockwise order starting from the top, on the left; this would result in a signature string (27) with the value "21002222".
  • this signature string again transform to better adapt it to a specific algorithm or storage hardware.
  • the signature string (27) could, for example, be transformed from the 3-number system into a 10-number system (here: “5183”).
  • the signature tables (22, 23) can be created and processed in a particularly efficient manner if they are organized in the form of a hash table.
  • a hash table enables the individual table entry to be addressed directly on the basis of a specific value to be entered there (here: signature string (27)); i.e. a specific table or memory location is assigned to each signature string (27). Regardless of the number of different signature strings (27), the length of the table can be limited to the extent that a single table space within the
  • Hash table multiple entries are shown with each other.
  • the individual entries are assigned to the existing table spaces using a calculation rule and linked with a sale with the entries already there. This modification has the advantage that a large number of different signature ⁇ strings must be (27) pre-booked only a limited storage area.
  • a signature string (27) with its assigned pixel coordinates in a signature table (22, 23) prior to storing a signature string (27) with its assigned pixel coordinates in a signature table (22, 23), it can be examined to determine whether a signature string corresponding to the signature string is already present (27) is stored in the table. If this is the case, the new signature string is not saved as a result. Instead, only the pixel coordinates assigned to this signature string are added as additional pixel coordinates to the already existing table entry of the same signature string.
  • the correspondence analysis can be made more efficient by adding filters to the procedure before the signature strings (27) are entered in the signature tables (22, 23) or before the correspondence hypotheses (25) are generated, which only enter meaningful signature strings or only allow plausible correspondence hypotheses.
  • a static, application-specific filter can be created by accessing a memory in which signature strings are stored in the context of the correspondence analysis before the entry of a signature string (27) in the signature tables (22, 23) are, when they occur it can be assumed that the pixel assigned to such a signature string (27) need not be taken into account in the correspondence analysis.
  • This can be, for example, signature strings typical of sky or street areas, which do not need to be evaluated further in most applications. It is also very conceivable for application-specific, typical signature strings of geometrical objects or object fragments which cannot be evaluated further in the memory for non-observable ones Filing signature strings. This could be a signature string, for example, which corresponds to an edge fragment without any corner or closing information.
  • edge fragments cannot be uniquely assigned to other edge fragments in subsequent images (each edge fragment with the same signature in a corresponding image could be an image of this one edge fragment), so that " no meaningful correspondence analysis can be carried out for these image data sections. It is therefore in Before storing a signature string (27) with its assigned pixel coordinates in a signature table (22, 23), the latter advantageously checks whether it matches a signature string stored in this memory. If this is the case, the signature string ( 27) and its associated pixel coordinates are not stored in the signature table (22, 23).
  • a filter with a dynamic effect is also conceivable, which rather increases the efficiency of the correspondence analysis with regard to the generation of the correspondence hypotheses (25).
  • the entries of the signature strings (27) in the signature tables (22, 23) are checked to see whether a signature string occurs frequently in one of the signature tables (22, 23). In this case, the relevant signature string (27) is not used to generate a correspondence hypothesis. In this way it is avoided that a myriad of similar correspondence hypotheses (25) are generated.
  • the number of identical signature strings (27) to be designated as frequent depends in particular on the type of signature operator. If the census operator is used as the signature operator, an operator who only looks at the closest neighbors has a threshold value for the frequency of 10, while a neighborhood analysis with the neighbors after next has shown that frequent occurrence when a frequency threshold value is exceeded offers from 3.
  • a further dynamic filter with regard to the generation of the correspondence hypotheses (25) can be created in that before the generation of the correspondence hypothesis from signature strings that match in both signature tables (22, 23), additional image data associated with these signature strings and / or the Parameters relevant to the image recording situation.
  • a correspondence hypothesis is generated only if these additional parameters to be observed do not differ from each other by a certain amount.
  • the signature operator like the census operator, usually only evaluates the relative differences in brightness of the pixel to be transformed to the pixels adjacent to it.
  • the absolute brightness value of the image point is lost in the course of the transformation, so that it is conceivable that two image areas which are clearly different in their basic brightness have the same signature string (27).
  • the pixel coordinates assigned to the signature strings (27) could also be used as the parameter to be observed. It would be of particular interest to know whether the relevant pixels are in the center or in the edge area of the image described by the image data i (20) or j (21). This is because, due to the known image recording and imaging geometries, those objects which are located in the edge area of the image data sets (20, 21) move at an identical relative speed with respect to the image recording device in the same time period by a larger area than this for objects , which is the case before it continues to appear in the center of the image data sets.
  • the signature strings of pixels in the edge area of the image data record may have greater deviations in their respective pixel coordinates in the case of successive images than is tolerated for the pixel coordinates of signature strings, which pixels are to be assigned to image centers close to the center, with respect to a plausible correspondence hypothesis could.
  • the correspondence analysis according to the invention is not limited to the analysis of camera image data (stereo image data recorded in parallel or sequential image information as part of object tracking), but can also be carried out in a manner which is obvious to the person skilled in the art transmit other imaging sensor systems; for example, radar or lidar systems or combined systems Sen ⁇ sorfusion of radar and the camera.
  • the method may of course be used with suitable obvious adaptation to the correspondence analysis of the camera image data corresponding to the camera systems have been generated by working in different wavelength ranges ⁇ .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

Bei der Verarbeitung von Bilddaten bewegter Szenarien, insbesondere um darin befindlich Objekte zu erkennen und zu verfolgen (Tracking) ist es notwendig, in den einzelnen zeitlich aufeinanderfolgenden Bilddatensätze miteinander korrespondierende Bildpunkte bzw. Bildbereiche zu identifizieren. Gleichsam ist es auch bei der Stereobildverarbeitung notwendig in zwei im wesentlichen zum selben Zeitpunkt aus unterschiedlichen Blickwinkeln aufgenommenen Bildern diejenigen Datenbereiche zu identifizieren, welche miteinander korrespondieren. Bei dem neuartigen Verfahren zur Korrespondenzanalyse in Bilddatensätzen wird in einem ersten Schritt die zu vergleichenden Bilddatensätze mit einem Signaturoperator derart transformiert, dass für jedes Pixel ein Signaturstring berechnet und in einer den einzelnen Bilddatensätzen zugeordneten Signaturtabelle gemeinsam mit den Pixelkoordinaten abgelegt wird. Nachfolgend werden für diejenigen Signaturstrings, welche in beiden Tabellen aufzufinden sind, eine Korrespondenzhypothese generiert und in einer Hypothesenliste zur Weiterverarbeitung gespeichert wird. Durch die Erfindung wird in vorteilhafter Weise eine in Bezug auf die Rechenzeit sehr effiziente Korrespondenzanalyse ermöglicht, welche auch in der Lage ist Bildpaare auch dann noch schnell zu verarbeiten, wenn sich einzelne Objekte in den beiden Bilddatensätzen an stark unterschiedlichen Stellen abbilden.

Description

Verfahren zur Korrespondenzanalyse in Bilddatensätzen
Die Erfindung betrifft ein Verfahren zur Korrespondenzanalyse in Bilddatensätzen und eine zur Durchführung des Verfahrens geeignete Vorrichtung nach den Oberbegriffen der Patentansprüche 1 und 11.
Bei der Verarbeitung von Bilddaten bewegter Szenarien, insbesondere um darin befindliche Objekte zu erkennen und zu ver- folgen (Tracking) ist es notwendig, in den einzelnen zeitlich aufeinanderfolgenden Bilddatensätze miteinander korrespondierende Bildpunkte bzw. Bildbereiche zu identifizieren.
Es ist jedoch insbesondere bei monokularen Kamerasystemen schwer Objekte in von der Umgebung gewonnen Bilddaten zu erkennen und deren Bewegungsparameter zu vermessen. Eine Möglichkeit bietet sich jedoch durch die Analyse des Optischen Flusses von Objekten innerhalb der Bilddaten. Der Optische Fluss beschreibt die Verschiebung der zu einem Zeitpunkt i aufgenommenen Bildpunkte eines Objektes in Bezug zu den zum Zeitpunkt j aufgenommenen Bildpunkten. Das Problem welches sich hierbei stellt, besteht darin, festzulegen, welche der Bildpunkte zum Zeitpunkt i, mit welchen Bildpunkten des Kamerabildes zum Zeitpunkt j korrespondieren, also zum selben Ob- jekt gehören. Im Zusammenhang mit' diesem zu lösenden Korrespondenzproblem werden Hypothesen dahingehend aufgestellt, welche Paare von Bildpunkten (Bildpixel) aus den Bild zum Zeitpunkt i und aus dem Bild zum Zeitpunkt j zusammengehören. Diese Hypothesen werden sodann zu weiteren Verarbeitung, wie der geometrischen Objektbildung und Objektverfolgung, in einer Hypothesen Liste abgelegt .
In den vergangen Jahren wurden eine Vielzahl von unterschiedlichen Algorithmen zum Optischen Fluss entwickelt, deren bekannteste Vertreter in einem Übersichtsartikel von Barron et . all () gegenübergestellt wurden. Barron unterscheidet - Differentielle Techniken, bei welchen der Optische Fluss auf Grundlage von örtlich und zeitlich begrenzten Intensitätsveränderungen („spatio-temporal derivatives of image in- tensities") der Bildpunkte berechnet wird,
- Matching-Techniken, bei welchen die Lageänderung von zu- meist mehrere Bildpunkte umfassenden Objekten im Bild beobachtet wird und in definierten Zeitabständen anhand der Lageverschiebung dieser Objekte deren Geschwindigkeit und somit der Optische Fluss bestimmt wird,
- Energie-basierte Techniken, bei welchen die Berechnung des Optischen Flusses auf der Ausgangsenergie von geschwindig- keits-optimierten Filtern basiert. Derartige Techniken werden auch als frequenz-basierte Techniken bezeichnet, da die geschwindigkeits-angepassten Filter im Frequenzbereich (Fou- rier Domain) definiert sind, - Phasen-basierte Techniken, welche auf dem Grundsatz basieren, dass sich Geschwindigkeit in Bilddaten in dem Phasenverhalten der AusgangsSignale von Bandpassfiltern wiederspiegelt .
Die bekannten Methoden beruhen in der Regel beruhen auf rechenintensiven Korrelationsansätzen und sind im allgemeinen nur in Lage kleine Verschiebungen von Objekten (geringer op- tischer Fluss) von einer Bildaufnahme zur nächsten zu messen. Insbesondere bei der Verwendung derartiger Algorithmik bei der Bilderkennung in Kraftfahrzeugen stellt sich das Problem, dass die dort verwandten Steuergeräte nur begrenzte Rechen- ressourcen aufweisen und insbesondere bei starken Lenkbewegungen oder hohen Fahrgeschwindigkeiten große Optische Flüsse in den Bilddaten auftreten.
Neben der Verwendung der Korrespondenzanalyse bei der Bestimmung des Optischen Flusses von Objekten aus zeitlich aufein- ander folgenden Bilddatensätzen, ist es auch bei der Stereobildverarbeitung notwendig in zwei im wesentlichen zum selben Zeitpunkt aus unterschiedlichen Blickwinkeln aufgenommenen Bildern diejenigen Datenbereiche zu identifizieren, welche miteinander korrespondieren. Die als korrespondierend identi- fizierten Bereiche werden sodann einem Objekt zugeordnet, so dass aus den bekannten geometrischen Verhältnissen der Kamerapositionen und -blickrichtungen auf die Entfernung und Position dieses Objektes geschlossen werden kann. Da das Funktionsprinzip der Stereobildverarbeitung eben gerade darauf basiert, dass sich ein und dasselbe Objekt in den im wesentlich zeitgleich aufgenommenen Bilddaten an unterschiedlicher . Stelle abbildet, bildet die Korrespondenzanalyse den rechenintensivsten Teil der Bildauswertung und ist der Leistungsbeschränkende Faktor, insbesondere bei Anwendungen bei welchen nur eine begrenzte Menge an Rechenressource zur Verfügung gestellt werden kann.
Aufgabe der Erfindung ist es somit ein Verfahren zur Korrespondenzanalyse in Bilddatensätzen und ein zur Durchführung dieses Verfahrens geeignete Vorrichtung zu finden, welche Rechenzeit effizient arbeitet und auch in der Lage ist, große Optische Flüsse zu verarbeiten. Die Aufgabe wird durch ein Verfahren und eine Vorrichtung zur Korrespondenzanalyse in Bilddatensätzen mit den Merkmalen der Patentansprüche 1 und 11 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprü- chen beschrieben.
Bei dem neuartigen Verfahren zur Korrespondenzanalyse in Bilddatensätzen werden einzelne Bildpunkte innerhalb von zwei Bilddatensätzen i (20) und j (21) verglichen, um miteinander korrespondierende Bildpunkte (Pixel) u-j_v-j_ und JVJ zu identifizieren. Hierzu wird in erfinderischer Weise in einem ersten Schritt der Bilddatensatz i (20) mit einem Signaturoperator derart transformiert, dass für jedes Pixel u-j_v-j_ ein Signatur- string (27) berechnet und in einer Signaturtabelle (22) ge- meinsam mit den Pixelkoordinaten abgelegt wird. In besonderer Weise wird sodann in einem nächsten Schritt jedes Pixel U V des andere Bilddatensatzes j (21) mittels desselben Signaturoperators transformiert, worauf die resultierenden Signaturstrings (27) gemeinsam mit den jeweiligen Pixelkoordinaten in einer weiteren dem Bilddatensatz j (21) zugeordneten Signaturtabelle (23) abgelegt werden. Nachfolgend werden sodann die Einträge der beiden Signaturtabellen (22, 23) dahingehend untersucht, ob Signaturstrings (27) vorliegen, welche in beiden Tabellen aufzufinden sind, worauf in diesen Fällen für die diesen Signaturstrings (27) zugeordneten Koordinaten eine Korrespondenzhypothese (25) generiert und in einer Hypothesenliste (26) zur Weiterverarbeitung gespeichert wird. In einfachster Weise kann die Korrespondenzhypothese dergestalt definiert sein, dass dann wenn in beiden Signaturtabellen (22, 23) übereinstimmende Signaturstrings (27) aufgefunden wurden, davon ausgegangen wird, dass die jeweiligen Bildpunkte des Bildpunktpaares Abbilder des selben Objektes bzw. Teilen davon entsprechen. Es ist für das erfinderische Verfahren unerheblich, ob im Rahmen der erfindungsgemäßen Ausgestaltung der Vorrichtung zur Korrespondenzanalyse die Speichereinheit zur Speicherung der den Bilddatens tzen i und j zugeordnete Signaturtabellen (22, 23) physikalisch oder virtuell in zwei Speicherbereiche gegliedert ist. Auf jeden Fall ist in einer solchen Vorrichtung dieser Speichereinheit eine Einheit zur Generierung von den Signaturstrings zugeordneten Korrespondenzhypothesen nachgeschaltet sein, welche mit einem Speicher zur Speicherung dieser Korrespondenzhypothesen (25) in Form einer Hypothesenliste (26) versehen ist.
Durch die Erfindung wird in vorteilhafter Weise eine in Bezug auf die Rechenzeit sehr effiziente Korrespondenzanalyse ermöglicht, welche auch in der Lage ist Bildpaare auch dann noch schnell zu verarbeiten, wenn sich einzelne Objekte in den beiden Bilddatensätzen an stark unterschiedlichen Stellen abbilden.
Nachfolgend soll anhand von Ausführungsbeispielen und mit Hilfe von Figuren die Erfindung und deren vorteilhaften Aus- gestaltungen näher erläutert werden.
Fig. 1 erläutert die Census-Transformation und die hieraus resultierenden Signaturstrings
Fig. 2 beschreibt schematisch den Ablauf der Korrespondenz- analyse .
In besonders vorteilhafter Weise wird der Signaturoperator zur Transformation der einzelnen Bildpunkte als Census- Operator ausgestaltet, welcher einer nichtlinearen Transformation der einen Bildpunkt umgebenden Bilddaten entspricht. Anhand der Figur 1 sie beispielhaft die Funktionalität der
Census-Transformation erläutert. Hierzu ist in Figur la) ein 3x3 Bildpunkte (Pixel) umfassender Ausschnitt aus einem Grau- wertbild schematisch dargestellt. Jeder der 9 Bildpunkte beinhaltet einen bestimmten Grauwert, welcher hier als Wert an der entsprechenden Stelle des Bildpunktes angegeben ist; bei einem Grauwertebereich von 0-255 entspricht ein Wert von 157 einem recht hellen Pixel, während mit einem Grauwert von 18 ein sehr dunkles, annähernd Schwarzes Pixel beschrieben wird. Soll nun in Bezug auf den mittleren Bildpunkt eine Census- Transformation (hier: Grauwert 64) erfolgen, so wird dessen Grauwert mit den Grauwerten der benachbarten Bildpunkte ver- glichen. Hierbei wird die Differenz der Grauwerte gebildet und mit Schwellwerten verglichen, wobei die jeweiligen benachbarten Bildpunkt auf Grundlage dieses Vergleichs mit einem speziellen Wert belegt werden:
-> 0 , wenn der Grauwert des benachbarten Pixels kleiner als der des zu transformierenden Pixels ist,
- 1, wenn der Grauwert des benachbarten Pixels um weniger als einen bestimmten Wert (im allgemeinen um weniger als 16) vom zu transformierenden Pixel abweicht. - 2 , wenn der Grauwert des benachbarten Pixels größer als der des zu transformierenden Pixels ist.
Bei dem vorliegenden Beispiel ergibt sich im Rahmen der Transformation des zentralen Bildpunktes mit dem Gräuwert 64 die in Figur lb aufgezeigte Zuweisung von Werten zu den benachbarten Bildpunkten. Ausgehend von diesen Werten kann sodann auf einfache Weise ein den zentralen Bildpunkt beschreibender Signaturstring (27) generiert werden, indem beispielsweise die Werte reihum im Uhrzeigersinn ausgehend von oben, links aneinander gereiht werden; hier ergäbe sich somit ein Signaturstring (27) mit dem Wert „21002222". Selbstverständlich ist es auch möglich diesen Signaturstring nochmals zu transformieren um, ihn an eine bestimmte Algorithmik oder Speicherhardware besser anzupassen. So könnte in diesem Fall der Signaturstring (27) beispielsweise von dem 3 -erZahlensystem in ein 10-er-Zahlensystem transformiert werden (hier: „5183") .
Selbstverständlich ist es denkbar den Vergleich des zu transformierenden Bildpunktes mit dessen Nachbarn auf Basis einer Anzahl andersgestufter Schwellwerten durchzuführen oder auch die Nachbarschaft anders zu definieren. So wäre es in gewinnbringender Weise auch möglich nicht die direkt benachbarten Bildpunkte sondern erst die übernächsten 15 Bildpunkte (Nachbarschaftsabstand 2) zur Transformation heranzuziehen. Hierdurch würde zwar ein längerer Signaturstring entstehen, die Grauwerte der miteinander verglichenen Bildpunkte wären jedoch wesentlich unkorrelierter. Auch besteht die Möglichkeit, dass benachbarte Bildpunkte nur teilweise herangezogen werden, wobei beispielsweise sternförmig nur jeder 2. Nachbarwert zur Transformation herangezogen- ird.
In besonders effizienter Weise lassen sich die Signaturtabellen (22,23) erstellen und verarbeiten, wenn sie in Form einer Hash-Tabelle organisiert werden. Eine Hash-Tabelle ermöglicht es den einzelnen Tabelleneintrag direkt ausgehend von einem bestimmten dort einzutragenden Wert (hier: Signaturstring (27)) zu adressieren; d.h. jedem Signaturstring (27) ist ein spezifischer Tabellen bzw. Speicherplatz zugeordnet. Die Länge der Tabelle kann jedoch unabhängig von der Anzahl unterschiedlicher Signaturstrings (27) dahingehend begrenzt wer- den, dass in einen einzelnen Tabellenplatz innerhalb der
Hash-Tabelle mehrere Eintrage miteinander verzeigert eingetragen werden. Die einzelnen Einträge werden hierbei mittels einer Rechenregel den vorhandenen Tabellenplätzen zugeordnet und mit einer Verzeigerung mit den bereits dort vorhandenen Einträgen verbunden. Diese Abwandlung bietet den Vorteil, dass bei einer großen Anzahl unterschiedlicher Signatur¬ strings (27) nur ein begrenzter Speicherbereich vorreserviert werden muss.
Um den für die erfindungsgemäße Korrespondenzanalyse notwendigen Speicherplatz weiter zu optimieren kann in vorteilhafter Weise vor dem Ablegen eines Signaturstrings (27) mit des- sen zugeordneten Pixelkoordinaten in einer Signaturtabelle (22, 23), diese dahingehend untersucht wird, ob bereits ein dem Signaturstring entsprechender Signaturstring (27) in der Tabelle abgelegt ist. Ist dies der Fall, so wird infolge der neuerliche Signaturstring nicht abgelegt. Es werden stattdes- sen nur die diesem Signaturstring zugeordneten Pixelkoordinaten als zusätzliche Pixelkoordinaten zu dem bereits vorhanden Tabelleneintrag des gleichen Signaturstrings hinzugefügt .
In besonders gewinnbringender Weise lässt sich die Korrespondenzanalyse dadurch effizienter gestalten, dass dem Verfahren vor der dem Eintrag der Signaturstrings (27) in die Signaturtabellen (22, 23) beziehungsweise vor der Generierung der Korrespondenzhypothesen (25) Filter eingebaut werden, welche nur sinnvolle Signaturstrings eintragen bzw. nur plausible Korrespondenzhypothesen zulassen.
In diesem Sinne kann in besonderer Weise ein statischer, ap- plikations-spezifischer Filter geschaffen werden, indem im Rahmen der Korrespondenzanalyse vor dem Eintrag eines Signaturstrings (27) in die Signaturtabellen (22, 23) auf einen Speicher zugegriffen wird, in welchem Signaturstrings abgelegt sind, bei deren Auftreten davon ausgegangen werden kann, dass das einem solchen Signaturstring (27) zugeordnete Pixel bei der Korrespondenzanalyse nicht beachtet werden braucht . Hierbei kann es sich beispielsweise um für Himmel- oder Straßenbereiche typische Signaturstrings handeln, welche in den meisten Anwendungen nicht weiter ausgewertet werden brauchen.. Auch ist es sehr wohl denkbar anwendungsspezifisch typische Signaturstrings nicht weiter auswertbarer geometrischer Objekte oder Objektfragmente in dem Speicher für nicht zu beachtende Signaturstrings abzulegen. Hierbei könnte es sich beispielsweise um einen Signaturstring handeln, welcher einem Kantenfragment ohne eine Eck- oder Abschlussinformation ent- spricht. Solche Kantenfragmente können anderen Kantenfragmenten in nachfolgenden Bildern nicht eindeutig zugeordnet werden (jedes Kantenfragment mit gleicher Signatur in einem korrespondierenden Bild könnte ein Abbild dieses einen Kantenfragmentes sein), so "dass keine sinnvolle Korrespondenzanaly- se für diese Bilddatenausschnitte durchgeführt werden kann. Es wird deshalb in vorteilhafter Weise vor de Ablegen eines Signaturstrings (27) mit dessen zugeordneten Pixelkoordinaten in einer Signaturtabelle (22,23), dieser dahingehend überprüft, ob er mit einem in diesem Speicher abgelegten Signa- turstring übereinstimmt. Ist dies der Fall, so wird der Signaturstring (27) und seine zugehörigen Pixelkoordinaten nicht in der Signaturtabelle (22, 23) abgelegt.
Es ist weiterhin ein dynamisch wirkender Filter denkbar, wel- eher die Effizienz der Korrespondenzanalyse im Hinblich auf die Generierung der Korrespondenzhypothesen (25) weiter steigert. Hierzu werden vor der Generierung der Korrespondenz- hypothesen die Einträge der Signaturstrings (27) in den Signaturtabellen (22, 23) daraufhin überprüft, ob ein Signatur- string in einer der Signaturtabellen (22, 23) häufig vorkommt. In diese Fall wird der betreffende Signaturstring (27) nicht zur Generierung einer Korrespondenzhypothese herangezogen wird. Auf diese Weise wird vermieden, dass eine Unzahl gleichartiger Korrespondenzhypot esen (25) generiert wird. Welche Anzahl gleichartiger Signaturstrings (27) als häufig zu bezeichnen ist, ist insbesondere von der Art des Signaturoperators abhängig. Wird als Signaturoperator der Census- Operator verwendet, so hat sich bei einem Operator, welcher nur die nächsten Nachbarn betrachtet ein Schwellwert für die Häufigkeit von 10 bewährt, während es sich bei einer Nachbarschaftsbetrachtung mit den übernächsten Nachbarn ein Schluss auf häufiges Auftreten bei Überschreiten eines Häufigkeitsschwellwertes von 3 anbietet.
Ein weiterer dynamischer Filter im Hinblick auf die Generierung der Korrespondenzhypothesen (25) kann dadurch geschaffen werden, dass vor der Generierung der Korrespondenzhypothese aus in beiden Signaturtabellen (22, 23) übereinstimmend vor- kommenden Signaturstrings, zusätzliche die diesen Signaturstrings zugehörigen Bilddaten und/oder die Bildaufnahmesituation betreffenden Parameter beachtet werden. Als Ergebnis dieser Betrachtung wird nur dann, wenn diese zusätzlich zu beachtenden Parameter nicht über ein bestimmtes Maß voneinan- der abweichen, eine Korrespondenzhypothese generiert.
Hierbei könnte in besondere Weise einer der zusätzlich zu beachtenden Parameter die Helligkeit des einzelnen transformierten Bildpunktes beschreiben. Meist wertet der Signatur- Operator, so auch der Census-Operator, nur die relativen Helligkeitsunterschiede des zu transformierenden Bildpunktes zu den diesem benachbarten Bildpunkten aus. Der absolute Helligkeitswert des Bildpunktes geht hierbei im Rahmen der Transformation verloren, so dass es denkbar ist, dass zwei in ih- rer Grundhelligkeit deutlich unterschiedlichen Bildbereich denselben Signaturstring (27) aufweisen. Es ist jedoch in der Regel davon auszugehen, dass in diesem Fall diese beiden Bildbereiche in den beiden zur Korrespondenzanalyse herange- zogenen Bilddatensätzen nicht tatsächlich miteinander korrespondieren, so dass eine auf diese beiden Bildpunkte basierende Korrespondenzhypothese (25) nicht sinnvoll und plausibel erscheint. Insbesondere aus den Gesichtspunkten der Effektivität der Korrespondenzanalyse sollte deshalb auf die Erzeugung einer einsprechenden Korrespondenzhpothese verzichtet werden.
In besonderer Weise könnte als zu beachtender Parameter auch die den Signaturstrings (27) zugeordneten Pixelkoordinaten herangezogen werden. Hierbei wäre von besonderem Interesse zu wissen, ob sich die betreffenden Bildpunkte im Zentrum oder im Randbereich des durch die Bilddaten i (20) oder j (21) beschriebenen Bildes befinden. Dies deshalb, da sich auf Grund der bekannten Bildaufnahme- und Abbildungsgeometrien diejenigen Objekte, welche sich im Randbereich der Bilddatensätze (20, 21) befinden bei identischer relativer Geschwindigkeit in Bezug auf die Bildaufnahmeeinrichtung im gleichen Zeitraum um einen größeren Bereich bewegen, als dies für Objekte, wel- ehe sich weiter im Zentrum der Bilddatensätze abbilden, der Fall ist. Dies bedeutet, dass die den Signaturstrings von Bildpunkten im Randbereich der Bilddatens tze bei aufeinanderfolgenden Bildern größere Abweichungen in ihren jeweiligen Pixelkoordinaten aufweisen dürfen, als dies für die Pixelko- ordinaten von Signaturstrings, welche Bildzentrumsnahen Bildpunkten zuzuordnen sind, in Bezug auf eine plausible Korrespondenzhypothese toleriert werden könnte.
Selbstverständlich ist die erfindungsgemäße Korrespondenzana- lyse nicht auf die Analyse von Kamerabilddaten (parallel aufgenommene Stereobilddaten oder sequentielle Bildinformation im Rahmen einer Objektverfolgung) beschränkt, sondern läßt sich in einer für den Fachmann naheliegender Weise auch auf andere abbildenden Sensorsysteme übertragen; beispielsweise Radar- oder Lidar-Systeme oder kombinierte Systeme zur Sen¬ sorfusion von Radar und Kamera. Auch kann das Verfahren selbstverständlich durch geeignete naheliegende Adaption zur Korrespondenzanalyse von Kamerabilddaten genutzt werden, welche mit in unterschiedlichen Wellenlängenbereichen arbeiten¬ den Kamerasystemen erzeugt wurden.

Claims

Patentansprüche
Verfahren zur Korrespondenzanalyse in Bilddatensätzen um innerhalb von zwei Bilddatensätzen i (20) und j (21) miteinander korrespondierende Bildpunkte (Pixel) U£ -j_ und U VJ zu identifizieren, wobei in einem ersten Schritt der Bilddatensatz i mit ei- nem Signaturoperator derart transformiert wird, dass für jedes Pixel U;J_V ein Signaturstring (27) berechnet und in einer Signaturtabelle (22) gemeinsam mit' den Pixelkoordinaten abgelegt wird, wobei in einem nächsten Schritt jedes Pixel UJVJ des an- deren Bilddatensatzes j mittels desselben Signaturoperators transformiert wird, worauf die resultierenden Signaturstrings gemeinsam mit den jeweiligen Pixelkoordinaten in einer weiteren Signaturtabelle (23) abgelegt werden, und wobei die Einträge der beiden Signaturtabellen (22,23) dahingehend untersucht werden, ob Signaturstrings vorliegen, welche in beiden Tabellen aufzufinden sind, worauf in diesen Fällen für die diesen Signaturstrings (27) zugeordneten Koordinaten eine Korrespondenzhypothese (25) generiert und in einer Hypothesenliste (26) zur Weiterverarbeitung gespeichert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet , dass der Signaturoperator als Census-Operator ausgestaltet ist, welcher einer nichtlinearen Transformation der einen Bildpunkt umgebenden Bilddaten (20,21) entspricht.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Signaturtabellen (22,23) in Form einer Hash- Tabelle organisiert werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor dem Ablegen eines Signaturstrings (27) mit dessen zugeordneten Pixelkoordinaten in einer Signaturtabelle (22, 23), diese dahingehend untersucht wird, ob be- reits ein dem Signaturstring entsprechender Signaturstring (27) in der Tabelle abgelegt ist, worauf in den Fällen, in welchen ein entsprechender Signaturstring (27) bereits abgelegt .wurde, der neuerliche Signaturstring nicht abgelegt wird, sondern nur dessen zugeordnete Pixelkoordinaten als zusätzliche Pixelkoordinaten zu dem bereits vorhanden Tabelleneintrag des entsprechenden Signaturstrings hinzugefügt werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren auf einen Speicher zugreift, in welchem insbesondere applikations-spezifische Signaturstrings abgelegt sind, bei deren Auftreten davon ausgegangen werden kann, dass das einem solchen Signatur- string (27) zugeordnete Pixel bei der Korrespondenzanalyse nicht beachtet werden braucht, und dass vor dem Ablegen eines Signaturstrings (27) mit dessen zugeordneten Pixelkoordinaten in einer Signaturtä- belle (22,23) , dieser dahingehend überprüft wird, ob er mit einem in diesem Speicher abgelegten Signaturstring ü- bereinstimmt, worauf in diesem Fall, der Signaturstring (27) und seine zugehörigen Pixelkoordinaten nicht in der Signaturtabelle (22, 23) abgelegt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der Generierung der Korrespondenzhypothesen die Einträge der Signaturstrings (27) in den Signaturtabellen (22, 23) daraufhin überprüft werden, ob ein Signatur- string in einer der Signaturtabellen (22, 23) häufig vorkommt, worauf in diesem Fall, der betreffende Signaturstring (27) nicht zur Generierung einer Korrespondenz- hypothese herangezogen wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor der Generierung der Korrespondenzhypothese aus in beiden Signaturtabellen (22, 23) übereinstimmend vor- kommenden Signaturstrings zusätzliche die Bilddaten und/oder die Bildaufnahmesituation betreffende Parameter beachtet werden, und dass nur dann, wenn diese zusätzlich zu beachtenden Parameter der beiden einzelnen bei der Korrespondenzana- lyse herangezogenen Bildpunkten nicht über ein bestimmtes Maß voneinander abweichen, eine Korrespondenzhypothese generiert wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass einer der zusätzlich zu beachtenden Parameter die Helligkeit des einzelnen Bildpunktes beschreibt.
9. Verfahren nach Anspruch 7 oder 8 , dadurch gekennzeichnet, dass einer der zusätzlich zu beachtenden Parameter die Pixelkoordinaten in Bezug auf den Signaturstring (27) ü- bereinstimmenden Bildpunkte beschreibt.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet , dass hierbei zusätzlich beachtet wird, ob sich die betreffenden Bildpunkte im Zentrum oder im Randbereich des durch die Bilddaten i (20) oder j (21) beschriebenen Bildes befinden, Wobei bei Bilddaten, welche sich im Randbereich des Bild- datensatzes (20,21) befinden größere Abweichungen bei den Pixelkoordinaten zulässig sind.
11. Vorrichtung zur Korrespondenzanalyse in Bilddatens tzen um innerhalb von zwei Bilddatensätzen i und j miteinander korrespondierende Bildpunkte (Pixel) U-J_VJ_ und U VJ zu i- dentifizieren, wobei die Vorrichtung einen Signaturoperator umfasst, mittels welchem sowohl der Bilddatensatz i (20) als auch der Bilddatensatz j (21) derart transformiert werden, dass für jeden der Pixel u-j_v^ und UJVJ ein Signaturstring (27) berechnet wird, wobei die Einheit des weiteren eine Speichereinrichtung beinhaltet, welche so ausgestaltet ist, dass sie physikalisch oder virtuell in zwei Speicherbereiche gegliedert ist, welche jeweils eine den Bilddatensätzen i und j zu- geordnete Signaturtabellen (22, 23) umfassen, in welche die mittels dem Signaturoperator ermittelten Signaturstrings (27) mit ihren zugehörigen Pixelkoordinaten abgelegt werden können, und wobei die Vorrichtung dieser Speichereinrichtung nachgeschaltet eine Einheit zur Generierung von den Signaturstrings (27) zugeordneten Korrespondenzhypothesen (25) umfasst, welche mit einem Speicher (26) zur Speicherung dieser Korrespondenzhypothesen in Form einer Hypothesenliste versehen ist.
12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass der Signaturoperator mit einer Speichereinheit in Verbindung steht, in welcher insbesondere applikations- spezifische Signaturstrings abgelegt sind, bei deren Auftreten davon ausgegangen werden kann, dass das einem solchen Signaturstring (27) zugeordnete Pixel bei der Korrespondenzanalyse nicht beachtet werden braucht, wobei bei vorliegen eines solchen Signaturstrings (27) eine Übertragung des Signaturstrings in eine der Signaturtabellen (27) verhindert wird.
13. Verwendung des Verfahrens oder der Vorrichtung nach einem der vorhergehend Ansprüche zur Korrespondenzanalyse bei der Berechnung des Optischen Flusses innerhalb einer Sequenz von Kamerabilddaten.
4. Verwendung des Verfahrens oder der Vorrichtung nach einem der vorhergehend Ansprüche zur Korrespondenzanalyse innerhalb eines Bildpaares bei der Stereobildverarbeitung.
PCT/EP2004/011633 2003-11-06 2004-10-15 Verfahren zur korrespondenzanalyse in bilddatensätzen WO2005048195A2 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US10/578,414 US7664314B2 (en) 2003-11-06 2004-10-15 Method for the analysis of correspondences in image data sets

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10351778A DE10351778A1 (de) 2003-11-06 2003-11-06 Verfahren zur Korrespondenzanalyse in Bilddatensätzen
DE10351778.2 2003-11-06

Publications (2)

Publication Number Publication Date
WO2005048195A2 true WO2005048195A2 (de) 2005-05-26
WO2005048195A3 WO2005048195A3 (de) 2005-09-01

Family

ID=34559374

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/011633 WO2005048195A2 (de) 2003-11-06 2004-10-15 Verfahren zur korrespondenzanalyse in bilddatensätzen

Country Status (3)

Country Link
US (1) US7664314B2 (de)
DE (1) DE10351778A1 (de)
WO (1) WO2005048195A2 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3327672A1 (de) * 2016-11-23 2018-05-30 Robert Bosch GmbH Verfahren und vorrichtung zur ermittlung einer zuordnung zwischen einem matrixelement einer matrix und einem vergleichsmatrixelement einer vergleichsmatrix mittels schreibprozess in mehreren korrespondenztabellen
EP3327671A1 (de) * 2016-11-23 2018-05-30 Robert Bosch GmbH Verfahren und vorrichtung zur ermittlung einer zuordnung zwischen einem matrixelement einer matrix und einem vergleichsmatrixelement einer vergleichsmatrix mittels lesen aus mehreren korrespondenztabellen
WO2021008926A1 (de) * 2019-07-18 2021-01-21 Robert Bosch Gmbh VERFAHREN ZUM ERMITTELN EINER POSITION EINES ERSTEN BILDBEREICHS IN EINEM KORRESPONDENZ-BILD, SoC UND STEUERVORRICHTUNG UND SYSTEM ZUR DURCHFÜHRUNG DES VERFAHRENS, SOWIE COMPUTERPROGRAMM
US12033337B2 (en) 2019-07-18 2024-07-09 Robert Bosch Gmbh Method for determining the position of a first image region in a correspondence image, SOC and control device, and system for carrying out the method, and computer program

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007049706A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Verfahren zur Schätzung der Relativbewegung von Video-Objekten und Fahrerassistenzsystem für Kraftfahrzeuge
JP5340029B2 (ja) * 2008-06-27 2013-11-13 キヤノン株式会社 情報処理装置及びその制御方法、検証装置及びその制御方法
DE102008042223A1 (de) 2008-09-19 2010-04-01 Robert Bosch Gmbh Anordnung zum Erfassen und Auswerten einer Fahrzeugbewegung in einem vorgegebenen Überwachungsbereich
DE102008042446A1 (de) 2008-09-29 2010-04-01 Robert Bosch Gmbh Sicherheitssystem
DE102009009100A1 (de) 2009-02-14 2010-08-19 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren zur Prädiktion einer Position eines Objekts
DE102010006522A1 (de) 2010-02-02 2010-09-30 Daimler Ag Verfahren zur Analyse von korrespondierenden Bildpunkten in Bilddatensätzen
DE102010055867A1 (de) 2010-12-22 2011-07-28 Daimler AG, 70327 Verfahren zur Ermittlung eines optischen Flusses von korrespondierenden Bildpunkten
DE102011013776A1 (de) 2011-03-12 2011-11-10 Daimler Ag Verfahren zur Erfassung und/oder Verfolgung von Objekten
DE102011013765A1 (de) 2011-03-12 2011-11-10 Daimler Ag Verfahren zur Ermittlung eines optischen Flusses in Videodaten
DE102012001858A1 (de) 2012-02-01 2012-09-27 Daimler Ag Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
US9429650B2 (en) * 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
US8879829B2 (en) * 2012-10-23 2014-11-04 Intel Corporation Fast correlation search for stereo algorithm
DE102013003117A1 (de) 2013-02-25 2013-08-29 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs
DE102013018561A1 (de) 2013-09-05 2014-06-18 Daimler Ag Verfahren zur Datenerfassung und Datenverarbeitung für eine Fahrspurkennung eines Fahrzeugs
US9400939B2 (en) 2014-04-13 2016-07-26 International Business Machines Corporation System and method for relating corresponding points in images with different viewing angles
US20160093069A1 (en) * 2014-09-26 2016-03-31 Subramaniam Maiyuran Method and apparatus for pixel hashing
DE102014019078A1 (de) 2014-12-18 2015-06-18 Daimler Ag Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102015006571A1 (de) 2015-05-21 2015-12-10 Daimler Ag Vorrichtung und Verfahren zur Ermittlung einer Verwindung einer Karosserie und/oder eines Fahrgestells
US11010910B2 (en) * 2015-12-18 2021-05-18 Iris Automation, Inc. Systems and methods for dynamic object tracking using a single camera mounted on a moving object
US10764561B1 (en) * 2016-04-04 2020-09-01 Compound Eye Inc Passive stereo depth sensing
DE102016218852A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion von Objekten aus Bildern einer Kamera
DE102016218853A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Validierung von Objekten aus Bildern einer Kamera
DE102016218849A1 (de) 2016-09-29 2018-03-29 Conti Temic Microelectronic Gmbh Detektion und Tracking von Objekten aus Bildern einer Kamera
DE102016223079B4 (de) 2016-11-23 2024-03-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Korrespondenztabelle
DE102017216065A1 (de) 2017-09-12 2019-03-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bewerten von Bildern, Betriebsassistenzverfahren und Betriebsvorrichtung
DE102017221839A1 (de) 2017-12-04 2019-06-06 Robert Bosch Gmbh Verfahren zur Positionsbestimmung für ein Fahrzeug, Steuergerät und Fahrzeug
US11017540B2 (en) * 2018-04-23 2021-05-25 Cognex Corporation Systems and methods for improved 3-d data reconstruction from stereo-temporal image sequences
DE102018209898A1 (de) 2018-06-19 2019-12-19 Robert Bosch Gmbh Verfahren zur Bestimmung von zueinander korrespondierenden Bildpunkten, SoC zur Durchführung des Verfahrens, Kamerasystem mit dem SoC, Steuergerät und Fahrzeug
US11107268B2 (en) * 2018-09-07 2021-08-31 Cognex Corporation Methods and apparatus for efficient data processing of initial correspondence assignments for three-dimensional reconstruction of an object
US11030478B1 (en) 2019-11-27 2021-06-08 Compound Eye, Inc. System and method for correspondence map determination
WO2021150784A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for camera calibration
WO2021150779A1 (en) 2020-01-21 2021-07-29 Compound Eye Inc. System and method for egomotion estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998003021A1 (en) * 1996-06-28 1998-01-22 Sri International Small vision module for real-time stereo and motion analysis
US6456737B1 (en) * 1997-04-15 2002-09-24 Interval Research Corporation Data processing system and method
US20030179951A1 (en) * 2002-03-25 2003-09-25 Christiansen Bernd O. Method and apparatus for fast block motion detection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5390359A (en) * 1992-03-20 1995-02-14 International Business Machines Corporation Storing and retrieving records in a computer system
US5721788A (en) * 1992-07-31 1998-02-24 Corbis Corporation Method and system for digital image signatures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998003021A1 (en) * 1996-06-28 1998-01-22 Sri International Small vision module for real-time stereo and motion analysis
US6456737B1 (en) * 1997-04-15 2002-09-24 Interval Research Corporation Data processing system and method
US20030179951A1 (en) * 2002-03-25 2003-09-25 Christiansen Bernd O. Method and apparatus for fast block motion detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
STEIN F.: "Efficient Computation of Optical Flow Using the Census Transform" LECTURE NOTES IN COMPUTER SCIENCE (PROCEEDINGS OF 26TH DAGM SYMPOSIUM), Bd. 3175, August 2004 (2004-08), Seiten 79-86, XP002334021 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3327672A1 (de) * 2016-11-23 2018-05-30 Robert Bosch GmbH Verfahren und vorrichtung zur ermittlung einer zuordnung zwischen einem matrixelement einer matrix und einem vergleichsmatrixelement einer vergleichsmatrix mittels schreibprozess in mehreren korrespondenztabellen
EP3327671A1 (de) * 2016-11-23 2018-05-30 Robert Bosch GmbH Verfahren und vorrichtung zur ermittlung einer zuordnung zwischen einem matrixelement einer matrix und einem vergleichsmatrixelement einer vergleichsmatrix mittels lesen aus mehreren korrespondenztabellen
WO2021008926A1 (de) * 2019-07-18 2021-01-21 Robert Bosch Gmbh VERFAHREN ZUM ERMITTELN EINER POSITION EINES ERSTEN BILDBEREICHS IN EINEM KORRESPONDENZ-BILD, SoC UND STEUERVORRICHTUNG UND SYSTEM ZUR DURCHFÜHRUNG DES VERFAHRENS, SOWIE COMPUTERPROGRAMM
US12033337B2 (en) 2019-07-18 2024-07-09 Robert Bosch Gmbh Method for determining the position of a first image region in a correspondence image, SOC and control device, and system for carrying out the method, and computer program

Also Published As

Publication number Publication date
WO2005048195A3 (de) 2005-09-01
US20070121998A1 (en) 2007-05-31
US7664314B2 (en) 2010-02-16
DE10351778A1 (de) 2005-06-09

Similar Documents

Publication Publication Date Title
WO2005048195A2 (de) Verfahren zur korrespondenzanalyse in bilddatensätzen
DE102018116111A1 (de) Ein einheitliches tiefes faltendes neuronales Netzwerk für die Abschätzung von Freiraum, die Abschätzung der Objekterkennung und die der Objektstellung
DE102019100575A1 (de) Verfahren und system zum erzeugen eines bereichsbildes unter verwendung von daten mit geringer tiefe
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
WO2018158020A1 (de) Verfahren und vorrichtung zur ermittlung einer trajektorie in off-road-szenarien
DE102018132805A1 (de) Verfahren für eine verbesserte Objekterfassung
EP0564858B1 (de) Verfahren zur Auflösung von Clustern bewegter Segmente
EP2483834B1 (de) Verfahren und Vorrichtung zum Erkennen einer Fehldetektion eines Objekts in einem Bild
DE102019207711A1 (de) Verfahren und Vorrichtung zur Detektion von Rauch
DE102021207613A1 (de) Verfahren zur Qualitätssicherung eines Systems
EP3714398A1 (de) Verfahren zur objekterkennung für ein fahrzeug mit einer thermografiekamera und modifizierter entrauschungsfilter
DE102021200643B3 (de) Verfahren zur Umfelderkennung für teilautonome oder autonome Fahrfunktionen eines Kraftfahrzeugs mittels eines neuronalen Netzes
DE102018208481A1 (de) Abschätzen eines Verlaufs eines Schienenpfads
DE102018100738A1 (de) Selektive Merkmalsextraktion
DE102021133977A1 (de) Verfahren und System zur Klassifikation von Szenarien eines virtuellen Tests sowie Trainingsverfahren
WO2021180470A1 (de) Verfahren zur qualitätssicherung eines beispielbasierten systems
DE102021201833A1 (de) Vorrichtung zur Verarbeitung von mindestens einem Eingangsdatensatz unter Verwendung eines neuronalen Netzes sowie Verfahren
EP4118620A1 (de) Verfahren und vorrichtung zum verarbeiten von bildern
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
DE102020203047A1 (de) Effiziente gleichzeitige Inferenzberechnung für mehrere neuronale Netzwerke
DE102020202974A1 (de) Detektion von Adversarial Attacks durch einen Bildsignalvorverarbeitungsprozessor
WO2019072451A1 (de) Verfahren zum verarbeiten von bildern
DE102017215051A1 (de) Vorrichtung und Verfahren zum Reduzieren des Einflusses von Streulicht und Reflexionen auf optische Bilderkennung
DE102017217156B4 (de) Verfahren und Vorrichtung zur Ansteuerung eines Fahrerassistenzsystems unter Verwendung eines Stereokamerasystems mit einer ersten und einer zweiten Kamera
DE102021204895A1 (de) Verfahren zur dreidimensionalen Positionserkennung von Objekten mit einem Kamerasystem

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007121998

Country of ref document: US

Ref document number: 10578414

Country of ref document: US

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10578414

Country of ref document: US