WO2012052308A1 - Bestimmung der basisbreite eines stereobild-erfassungssystems - Google Patents
Bestimmung der basisbreite eines stereobild-erfassungssystems Download PDFInfo
- Publication number
- WO2012052308A1 WO2012052308A1 PCT/EP2011/067565 EP2011067565W WO2012052308A1 WO 2012052308 A1 WO2012052308 A1 WO 2012052308A1 EP 2011067565 W EP2011067565 W EP 2011067565W WO 2012052308 A1 WO2012052308 A1 WO 2012052308A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- stereo
- detection system
- distance
- dimension
- determining
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems (102), insbesondere eines Stereokamerasystems. Das Verfahren umfasst einen Schritt des Bestimmens der Basisbreite basierend auf einer erfassten Abmessung eines von dem Stereo-Erfassungssystem (102) erfassten Objekts (104), wobei die erfasste Abmessung einen durch das Stereo-Erfassungssystem ermittelten Wert repräsentiert,einer für das Objekt vorbestimmten Referenzabmessung des Objekts bei einer Referenzentfernung des Objekts von dem Stereo-Erfassungssystem, der Referenzentfernung und einem auf das Objekt bezogenen Disparitätswert des Stereo-Erfassungssystems.
Description
Beschreibung Titel
BESTIMMUNG DER BASISBREITE EINES STEREOBILD ERFASSUNGSSYSTEMS
Stand der Technik
Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
Die video-basierte Umfeldwahrnehmung für Fahrerassistenzsysteme gewinnt zunehmend an Bedeutung. Zum Einsatz kommen u.a. Sensoren bestehend aus einer oder mehreren Kameras. Durch äußere Einflüsse, wie Temperaturänderungen oder mechanische Kräfte, ist es möglich, dass ein zuvor kalibriertes Kamerasystem dekalibriert wird. Dabei können sowohl die Orientierung der Kameras zueinander als auch die Basisbreite eines Stereo-Kamera-Systems, im folgenden "Stereo-Basisbreite" genannt, verstellt werden. Die nun falschen Parameter des Kameramodells führen zu einer fehlerbehafteten Tiefenmessung auf Basis der Stereo-Triangulation und sämtlichen daraus abgeleiteten Größen.
Die DE 10 2005 039 561 A1 beschreibt dazu ein Verfahren zur Temperaturkompensation optischer Systeme.
Offenbarung der Erfindung
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den unabhängigen Patentansprüchen
vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
Das erfindungsgemäße Verfahren kann auf bekannte Verfahren zur Bestimmung der intrinsischen und extrinsischen Kameraparameter mit Hilfe eines Referenzobjektes aufbauen. Dabei wird ein Referenzobjekt, dessen geometrische Merkmale bekannt sind, in einem oder mehreren Videobildern detektiert. Aus den Detektio- nen der geometrischen Merkmale können mit bekannten Verfahren, wie sie beispielsweise bei SCHREER, O.: Stereoanalyse und Bildsynthese. Springer Berlin Heidelberg, 2005. ISBN 978-3-540-23439-5 (Print) beschrieben sind, die Kameraparameter berechnet werden. Bei bekannten Kameraparametern kann mit Hilfe der Stereo-Triangulation die Entfernung von Weltpunkten, also Punkte aus der aufgenommenen Szene, zum Kamerasystem ermittelt werden.
Der erfindungsgemäße Ansatz basiert nun darauf, dass die Stereo-Basisbreite basierend auf einem erfassten Objekt bestimmt wird. Für das Anwendungsgebiet eines Stereo-Kamerasystems kann durch die Messung bekannter geometrischer Größen in einem Bild die Stereo-Basisbreite bestimmt werden. Bekannte geometrische Größen können dabei z.B. die Höhe von Nummernschildern, der Durchmesser von Verkehrszeichen oder auch die Breite von Verkehrspfosten sein. Diese Werte sind im Allgemeinen genormt und deshalb bekannt. Ein erfindungsgemäßes System kann durch das Stereo-Messprinzip diese Größen ermitteln und bei Abweichungen die Kameraparameter korrigieren. Die relative Orientierung der beiden Kameras zueinander kann dabei durch bekannte Verfahren bestimmt werden. Die Stereo-Basisbreite kann dagegen sowohl zeitgleich oder auch in einem zweiten Schritt separat durch den erfindungsgemäßen Ansatz neu ermittelt werden.
Bekannte Verfahren zur automatischen Bestimmung der Orientierung der Kame- ras umfassen nicht die Korrektur der Stereo-Basisbreite. Vorteilhafterweise kann mittels des erfindungsgemäßen Ansatzes eine bisher erforderliche Durchführung einer kompletten Neukalibrierung des Kamera-Systems mit dem Referenzobjekt vermieden werden. Dieser zeitaufwendige Schritt musste bislang "offline" durchgeführt werden. Vorteilhafterweise ermöglicht der erfindungsgemäße Ansatz eine automatische Korrektur der Tiefenmessung während des Betriebs des Kamerasystems ("online"-Modus). So kann während des Betriebes des Kamerasystems
die Stereo-Basisbreite eines eventuell veränderten Systemaufbaus erfindungsgemäß durch eine automatische Bestimmung der Basisbreite des Stereo- Kamera-Systems gemessen werden. Sowohl im Offline- Modus als auch im Online-Modus arbeiten die Kameras. Das Fahrzeug kann sich dabei jeweils in Be- wegung befinden. Somit kann die Bestimmung der Basisbreite während der Fahrt des Fahrzeugs durchgeführt werden. Im Offline-Modus arbeitet jedoch, im Unterschied zum Online-Modus, der nachgeschaltete Bildverarbeitungsalgorithmus z.B. zur Detektion von Fahrzeugen oder Fußgängern nicht.
Die vorliegende Erfindung schafft ein Verfahren zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems, insbesondere eines Stereokamerasystems, das den folgenden Schritt umfasst:
Bestimmen der Basisbreite basierend auf einer erfassten Abmessung eines von dem Stereo-Erfassungssystem erfassten Objekts, wobei die erfasste Abmessung einen durch das Stereo-Erfassungssystem ermittelten Wert repräsentiert, einer für das Objekt vorbestimmten Referenzabmessung des Objekts bei einer Referenzentfernung des Objekts von dem Stereo-Erfassungssystem, der Referenzentfernung und einem auf das Objekt bezogenen Disparitätswert des Stereo- Erfassungssystems.
Somit kann ein Bestimmen der Basisbreite basierend auf einer Ausdehnung im Bild, beispielsweise einer Breite, Höhe oder Tiefe, eines von dem Stereo- Erfassungssystem erfassten Objekts in einem bestimmten Abstand zu dem Stereo-Erfassungssystem und einem auf das Objekt bezogenen Disparitätswerts des Stereo-Erfassungssystems erfolgen. Der Abstand kann dabei vorteilhafterweise aus der Ausdehnung im Bild ermittelt werden, kann aber alternativ z.B. auch über eine separate Anlage zur Entfernungsmessung, z.B. einen Radar-, Laser- oder PMD-Sensor, gewonnen werden.
Das Stereo-Erfassungssystem kann zwei benachbart zueinander angeordnete Erfassungseinrichtungen, beispielsweise zwei Kameras mit Objektiven aufweisen. Mit den beiden Erfassungseinrichtungen kann jeweils ein Bild desselben Bereichs einer Umgebung des Stereo-Erfassungssystems generiert werden. Ein Abstand zwischen optischen Achsen der beiden Erfassungseinrichtungen kann hier der Basisbreite entsprechen. Bei dem Objekt kann es sich um einen Ge-
genstand oder eine Markierung handeln, die in der Umgebung des Stereo- Erfassungssystems angeordnet sind und sich in einem Erfassungsbereich des Stereo-Erfassungssystems befinden. In einem Schritt des Bestimmens kann die erfasste Abmessung basierend auf einer von dem Stereo-Erfassungssystem er- zeugten Aufnahme erfolgen. Die erfasste Abmessung des Objekts kann beispielsweise einem Abstand oder einer Anzahl von Bildpunkten zwischen zwei die Ränder des Objekts kennzeichnenden Bildpunkten auf einem Sensorelement des Stereo-Erfassungssystems entsprechen. Wird mit Sub-Pixeln gearbeitet, so kann der Abstand auch nicht ganzzahlig sein. In entsprechender Weise kann die Refe- renzabmessung in Sub-Pixeln angegeben werden. Unter einem Sub-Pixel kann ein Bruchteil eines Bildpunktes verstanden werden. Wrd das Objekt in einer Referenzentfernung erfasst, so entspricht die erfasste Abmessung der vorbestimmten Referenzabmessung. Das Objekt kann im Vorfeld vermessen worden sein, so dass die Referenzabmessung bei der entsprechenden Referenzentfernung bekannt ist. Die Referenzabmessung und die Referenzentfernung können in einem Speicher abgespeichert sein und aus diesem ausgelesen werden. Eine Information über eine Entfernung zu dem Objekt zum Zeitpunkt einer Bildaufnahme, aus der die erfasste Abmessung des Objekts bestimmt wird, kann über eine geeignete Schnittstelle empfangen werden. Die Entfernung kann durch Auswer- ten von Informationen erfolgen, die von dem Stereo-Erfassungssystem bereitgestellt werden, z.B. durch die Ausdehnung des Objekts im Bild. Alternativ kann die Entfernung auf eine andere geeignete Art bestimmt werden, beispielsweise mit einem Radar-, Laser- oder PM D-Sensor. Der Disparitätswert kann aus Bildern oder Bildinformationen bestimmt werden, die von den beiden Erfassungseinrich- tungen bereitgestellt werden. Dabei kann unter Disparität ein Versatz zwischen zwei korrespondierenden Bildpunkten der beiden Erfassungseinrichtungen verstanden werden, die jeweils den gleichen realen Punkt in der Umgebung des Stereo-Erfassungssystems abbilden. Es können auch mehrere auf das Objekt bezogene Disparitätswerte oder eine bezüglich des gesamten Objekts ermittelte Disparitätsinformation eingesetzt werden. Das Stereo-Erfassungssystem kann beispielsweise an einem Fahrzeug angeordnet sein und ausgebildet sein, um die Umgebung des Fahrzeugs zu erfassen. Im Online-Betrieb können fortlaufend Aufnahmen der Umgebung von dem Stereo-Erfassungssystem erzeugt werden. Eine oder mehrere während des Online-Betriebs erzeugte Aufnahmen können als Grundlage zur Bestimmung der Basisbreite des Stereo-Erfassungssystem herangezogen werden.
Um zu Bestimmen, ob eine Korrektur der Basisbreite erforderlich ist, kann ein aktueller Abstand zu dem erfassten Objekt auf zwei unterschiedliche Arten bestimmt werden. Stimmen beide Abstandswerte überein, so ist keine Korrektur erforderlich. Stimmen die beiden Abstandswerte dagegen nicht überein, so ist eine Korrektur erforderlich. Zum einen kann der Abstand basierend auf der zu einem bestimmten Zeitpunkt erfassten Abmessung des Objekts, der Referenzabmessung des Objekts und der Referenzentfernung des Objekts, die der Referenzabmessung zugrunde liegt bestimmt werden. Zum anderen kann der Abstand basierend auf der aktuell eingestellten Basisbreite und einem zu dem bestimmten Zeitpunkt ermittelten Disparitätswert ermittelt werden.
Die Basisbreite kann ferner basierend auf einer Brennweite und einer Größe eines Sensorelements des Stereo-Erfassungssystems bestimmt werden. Der Sensor kann dabei einen Bildaufnehmer darstellen. Insbesondere kann die Basisbreite aus einem Quotienten aus dem Produkt aus der Entfernung, des Disparitätswerts und der Größe des Sensorelements sowie der Brennweite bestimmt werden. Gemäß einer Ausführungsform kann die Basisbreite basierend auf einer Entfernung des erfassten Objekts zu dem Stereo-Erfassungssystem und dem Disparitätswert ermittelt werden, wobei die Entfernung basierend auf der erfassten Abmessung, der Referenzabmessung und der Referenzentfernung bestimmt wird. Vorteilhafterweise ist somit keine weitere Einrichtung zum Bestimmen eines ak- tuellen Abstands zu dem Objekt erforderlich.
Ferner kann das Verfahren einen Schritt des Erkennens des Objekts in einer von dem Stereo-Erfassungssystem erfassten Aufnahme des Umfelds des Stereo- Erfassungssystems und einen Schritt des Zuordnens der Referenzabmessung und der Referenzentfernung zu dem Objekt umfassen. Vorteilhafterweise kann das Objekt mittels eines Objekterkennungsverfahrens in einer während des Online-Betriebs des Stereo-Erfassungssystem erfassten Aufnahme erkannt werden. In einer Nachschlagetabelle können zu mehreren Referenzobjekten entsprechende Referenzabmessungen und Referenzentfernungen hinterlegt sein. Pro Referenzobjekt können jeweils eine Mehrzahl unterschiedlicher Referenzabmessungen und zugehörige Referenzentfernungen hinterlegt sein. Ferner können
geeignete Merkmale des oder der Referenzobjekte hinterlegt sein, die eine Erkennung des Referenzobjekts ermöglichen.
Dabei kann in dem Schritt des Erkennens das Objekt als eines einer Mehrzahl bekannter Referenzobjekte erkannt werden, zu denen jeweils mindestens eine Referenzabmessung und mindestens eine Referenzentfernung bekannt ist. Pro Referenzobjekt können somit ein oder mehrere Referenzpaare hinterlegt sein, wobei jedes Referenzpaar jeweils einen Wert für eine Referenzabmessung und einen Wert für einen Referenzabstand umfasst. Ist das Stereo-Erfassungssystem an einem Fahrzeug angeordnet, so können die Referenzobjekte typischerweise in dem Umfeld des Fahrzeugs auftretende Objekte, beispielsweise einer Verkehrsinfrastruktur oder Bereiche anderer Fahrzeuge, sein. Somit kann es sich bei den Referenzobjekten um Objekte handeln, die von dem Stereo- Erfassungssystem ohnehin während des Normal-Betriebs erfasst werden.
Gemäß einer Ausführungsform kann der Schritt des Bestimmens der Basisbreite ansprechend auf das Erkennen des Objekts in der Aufnahme ausgeführt werden. Somit kann das Verfahren durch das Erkennen eines geeigneten Objekts automatisch ausgelöst werden.
Das Verfahren kann einen Schritt des Bestimmens des Disparitätswerts basierend auf einem dem Stereo-Erfassungssystem zugeordneten Stereoalgorithmus umfassen. Mittels des Stereoalgorithmus kann eine Tiefeninformation der Aufnahme des Stereo-Erfassungssystems bestimmt werden. Der Disparitätswert des Objekts kann auf einen Punkt oder eine Kante bezogen sein, die dem Objekt zugeordnet ist.
Die vorliegende Erfindung schafft ferner eine Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems, insbesondere eines Stereokamerasystems, das das folgende Merkmal umfasst: eine Einrichtung zum Bestimmen der Basisbreite basierend auf einer erfassten Abmessung eines von dem Stereo-Erfassungssystem erfassten Objekts, wobei die erfasste Abmessung einen durch das Stereo-Erfassungssystem ermittelten Wert repräsentiert, einer für das Objekt vorbestimmten Referenzabmessung des Objekts bei einer Referenzentfernung des Objekts von dem Stereo-
Erfassungssystem, der Referenzentfernung und einem auf das Objekt bezogenen Disparitätswert des Stereo-Erfassungssystems
Die Vorrichtung kann Teil des Stereo-Erfassungssystems sein. Die Vorrichtung ist ausgebildet, um die Schritte des erfindungsgemäßen Verfahrens in entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuersignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs oder eines sogenannten FPGAs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, in tegrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programm auf einem, einem Computer entsprechenden Gerät ausgeführt wird.
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispiel- haft näher erläutert. Es zeigen:
Fig. 1 eine Übersichtsdarstellung eines Ausführungsbeispiels der vorliegenden Erfindung; Fig. 2 ein Ablaufdiagramm eines Ausführungsbeispiels der vorliegenden Erfindung; und
Fig. 3 eine schematische Darstellung eines Stereo-Erfassungssystems, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird. Fig. 1 zeigt ein Fahrzeug 100 mit einem Stereokamerasystem 102, gemäß einem
Ausführungsbeispiel der vorliegenden Erfindung. Das Stereokamerasystem 102 kann als ein Stereo-Mess-System eingesetzt werden. Das Stereokamerasystem 102 ist ausgebildet, um Bilder der Umgebung des Fahrzeugs 100 aufzunehmen, während sich das Fahrzeug 100 in Bewegung befindet, als auch bei einem Still- stand des Fahrzeugs 100. Beispielsweise kann sich das Fahrzeug auf einer
Fahrbahn befinden und ein Verkehrszeichen 104 kann sich in einem Erfassungsbereich des Stereokamerasystems 102 befinden. Somit kann das Stereokamerasystem 102 das Verkehrszeichen 104 erfassen. Die von dem Stereokamerasystem erfassten Bilder können beispielsweise an eine Fahrerassistenzfunktion be- reitgestellt und von dieser ausgewertet werden. Beispielsweise kann das Verkehrszeichen 104 mittels einer Objekterkennung erkannt werden. Ferner können die Bilder oder vereinzelte Bilder des Stereokamerasystems 102 an eine Vorrichtung 106 zur Bestimmung einer Basisbreite des Stereokamerasystems 102 bereitgestellt werden. Die Vorrichtung 106 kann Teil des Stereokamerasystems 102 sein oder als eine separate Einheit ausgeführt sein, die über eine Schnittstelle mit dem Stereokamerasystem 102 verbunden ist. Die Vorrichtung 106 ist ausgebildet, um beispielsweise anhand des Verkehrszeichens 104 die Basisbreite zu bestimmen. Dazu kann die Vorrichtung 106 von dem Stereokamerasystem 102 ermittelte Disparitätsinformationen bezüglich des Verkehrszeichens 104 verarbei- ten. Die durch die Vorrichtung 106 bestimmte Basisbreite kann eingesetzt werden, um einen bestehenden Wert für die Basisbreite des Stereokamerasystems 102 zu aktualisieren.
Fig. 2 zeigt ein Ablaufdiagramm eines Verfahrens zur Bestimmung einer Basis- breite eines Stereo-Erfassungssystems, insbesondere eines Stereokamerasystems, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Ver-
fahren kann zur Bestimmung der Basisbreite des in Fig. 1 gezeigten Kamerasystems eingesetzt werden.
In einem Schritt 210 wird eine von dem Stereo-Erfassungssystem aufgenomme- ne Aufnahme im Hinblick auf ein oder eine Mehrzahl vorbestimmter Objekte analysiert. Dazu kann eine geeignete Objekterkennung ausgeführt werden. Wird ein entsprechendes Objekt erkannt, beispielsweise das in Fig. 1 gezeigte Verkehrszeichen, so kann in einem Schritt 212 eine Entfernung zu dem Objekt bestimmt werden. Dies kann beispielsweise erfolgen, indem eine Abmessung eines be- stimmten Merkmals des Objekts gemessen wird und mit einer hinterlegten Referenzabmessung ins Verhältnis gesetzt wird. Die Abmessung kann einer Ausdehnung des Merkmals in der Aufnahme oder dem Bild des Stereo- Erfassungssystems entsprechen. Das Merkmal kann beispielsweise eine Höhe, Breite oder eine andere Größe des Verkehrsschildes repräsentieren. Die Refe- renzabmessung ist auf das entsprechende Merkmal bezogen. Die Referenzabmessung kann beispielsweise in einem Speicher hinterlegt sein und im Fall der Erkennung des Objekts ausgelesen werden. In einem Schritt 214 kann ein dem Objekt zugeordneter Disparitätswert bestimmt werden. Anschließend kann in einem Schritt 216 eine aktuell bestehende Basisbreite basierend auf dem Dispari- tätswert und der Entfernung bestimmt werden. In einem Schritt 218 kann eine bisher angenommene Basisbreite des Stereo-Erfassungssystems durch die aktuell bestimmte Basisbreite ersetzt werden.
Fig. 3 zeigt eine Aufsicht auf eine achsparallele Stereogeometrie eines Stereo- Erfassungssystems, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Stereo-Erfassungssystem weist ein erstes Erfassungssystem mit einer ersten Linse 321 oder einem ersten Objektiv bestehend aus einer oder mehreren Linsen und einem ersten Sensorelement 323 sowie ein zweites Erfassungssystem mit einer zweiten Linse 325 oder einem zweiten Objektiv bestehend aus ei- ner oder mehreren Linsen und einem zweiten Sensorelement 327 auf. Die optischen Achsen des ersten und zweiten Erfassungssystems sind parallel zueinander, verlaufen durch die Punkte 331 , 333 und sind durch die Basisweite B voneinander beabstandet. Das erste und zweite Erfassungssystem weisen jeweils denselben Fokus f auf. Gezeigt ist ein Punkt 341 eines von dem Stereo- Erfassungssystem erfassten Objekts, der auf einen ersten Bildpunkt 343 des ersten Sensorelements 323 und auf einen zweiten Bildpunkt 345 des zweiten Sen-
sorelements 327 abgebildet wird. Die Vektoren ui , u2 kennzeichnen einen Abstand zwischen den Bildpunkten 343, 345 und den entsprechenden optischen Achsen. Auch ist eine Entfernung p des Punkts 341 von dem Stereo- Erfassungssystems und insbesondere von einer Ebene in der die Sensorelemente 323, 327 angeordnet sind, gezeigt.
Gemäß einem Ausführungsbeispiel ist es für ein Verfahren zur automatischen Bestimmung der Basisbreite eines Stereo-Kamera-Systems Voraussetzung, dass die Ausdehnung von bekannten Objekten, wie z.B. einem Nummernschild oder einem Verkehrszeichen, im Bild bei einer oder mehreren gegebenen Referenzentfernungen bekannt ist. Zur Beschreibung des Verfahrens bezeichnet h0 im folgenden Verlauf exemplarisch die Höhe von Nummernschildern im Kamerabild, angegeben in Pixel, bei einer Referenzentfernung von p0 = 10m. Wie oben schon beschrieben sind auch andere Objekte mit bekannten geometrischen Merkmalen möglich. Andere Referenzentfernungen sind ebenfalls möglich.
Damit lässt sich die aktuelle Entfernung eines Objektes p^ über das Verhältnis von aktueller Höhe hi und Referenzhöhe h0 sowie der Referenzentfernung p0 beschreiben.
A = ? - Po (1)
Dabei stellt p^ die aktuelle Entfernung, hi die aktuell gemessene Höhe, p0 die Referenzentfernung und h0 die Referenzhöhe dar.
Gleichzeitig wird der Abstand p [m] eines Objektes zum Stereokamerasystem (im Fall der achsparallelen Stereogeometrie) durch die folgende Formel beschrieben.
B - f
δ - ά,,
Dabei ist B die Stereo-Basisbreite in Metern, f die Brennweite einer Kamera in Metern, δ die Disparität in Pixeln und du die Breite eines Sensor-Elements (Skalierungsfaktor) in Metern pro Pixel. Fig. 3 skizziert diesen Zusammenhang für den Fall der achsparallelen Stereogeometrie.
Die Formel (2) gilt für den Fall der achsparallelen Stereogeometrie. Für den Fall der allgemeinen Stereogeometrie wird δ ersetzt durch 51 und 52, die jeweils eine Funktion von der Orientierung des Referenzobjekts in der Kamera 1 und der Kamera 2 sind.
Bis auf die Stereo-Basisbreite, die sich z.B. auf Grund von mechanischen oder temperaturbedingten Einflüssen ändern kann, werden die weiteren Parameter aus Gleichung (2), also die Brennweite f und Sensorelementgröße du, als konstant angenommen bzw. im Falle der Disparität 5 durch einen Stereo- Algorithmus korrekt bestimmt. Dadurch lässt sich eine fehlerhafte Messung der Entfernung p^ eines Objektes mit Gleichung (2) auf einen fehlerbehafteten Wert der Stereo-Basisbreite B zurückführen.
Um den wahren Wert der Stereo-Basisbreite B zu bestimmen, wird nun Gleichung (2) nach B aufgelöst p - δ - d„
B = "- (3)
/ und mittels Gleichung (1) die aktuelle Entfernung p^ eines Referenzobjektes, z.B. eines Nummernschilds, bestimmt. Gleichzeitig liefert ein Stereoalgorithmus die aktuelle Disparität 5 für das Objekt, dessen Entfernung p^ gerade bestimmt wurde. Dann wird die aktuelle Disparität 5 und die aktuelle Entfernung p^ zum Referenzobjekt in Gleichung (3) eingesetzt, woraus sich dann die aktuelle Stereo- Basisbreite B berechnen lässt.
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
Claims
Ansprüche
1. Verfahren zur Bestimmung einer Basisbreite eines Stereo- Erfassungssystems (102) angeordnet an einem Fahrzeug, insbesondere eines Stereokamerasystems, das die folgenden Schritte umfasst:
Erfassen einer Abmessung eines von dem Stereo-Erfassungssystem (102) erfassten Objekts (104),
wobei die erfasste Abmessung einen durch das Stereo-Erfassungssystem ermittelten Wert repräsentiert,
ins Verhältnis setzen dieser Abmessung mit einer für das Objekt vorbestimmten Referenzabmessung des Objekts bei einer Referenzentfernung des Objekts von dem Stereo-Erfassungssystem und
der Referenzentfernung
zur Bestimmung einer Entfernung des erfassten Objekts (104) zu dem Ste- reo-Erfassungssystem und
Bestimmung der Basisbreite aufgrund der Entfernung und
einem auf das Objekt bezogenen Disparitätswert des Stereo- Erfassungssystems. wobei im Betrieb fortlaufend Aufnahmen der Umgebung von dem Stereo-
Erfassungssystem erzeugt werden, die als Grundlage für die Bestimmung der Basisbreite herangezogen werden und
die Bestimmung der Basisbreite während der Fahrt des Fahrzeugs durchgeführt werden.
2. Verfahren gemäß Anspruch 1 , bei dem die Basisbandbreite ferner basierend auf einer Brennweite und einer Größe eines Sensorelements des Stereo- Erfassungssystems bestimmt wird. 3. Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem die Basisbreite dann korrigiert wird, wenn ein aktueller Abstand zu dem erfassten
Objekt auf zwei unterschiedliche Arten bestimmt werden und diese nicht übereinstimmen, wobei
der eine Abstand basierend auf der zu einem bestimmten Zeitpunkt erfass- ten Abmessung des Objekts, der Referenzabmessung des Objekts und der Referenzentfernung des Objekts, die der Referenzabmessung zugrunde liegt bestimmt wird und
der andere Abstand basierend auf der aktuell eingestellten Basisbreite und einem zu dem bestimmten Zeitpunkt ermittelten Disparitätswert ermittelt werden.
Verfahren gemäß einem der vorangegangenen Ansprüche, wobei die Entfernung alternativ über eine separate Anlage zur Entfernungsmessung, z.B. einen Radar-, Laser- oder PM D-Sensor, gewonnen wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Erkennens des Objekts (104) in der Aufnahme und einem Schritt des Zuordnens der Referenzabmessung und der Referenzentfernung zu dem Objekt.
Verfahren gemäß einem der vorangegangenen Ansprüche, bei dem in dem Schritt des Erkennens das Objekt (104) als eines einer Mehrzahl bekannter Referenzobjekte erkannt wird, zu denen jeweils mindestens eine Referenzabmessung und mindestens eine Referenzentfernung bekannt ist.
Verfahren gemäß einem der Ansprüche 5 oder 6, bei dem der Schritt des Bestimmens der Basisbreite ansprechend auf das Erkennen des Objekts (104) in der Aufnahme ausgeführt wird.
Verfahren gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Bestimmens des Disparitätswerts basierend auf einem dem Stereo- Erfassungssystem (102) zugeordneten Stereoalgorithmus.
Verfahren gemäß einem der vorangegangenen Ansprüche, wobei die Referenzobjekte typischerweise in dem Umfeld des Fahrzeugs auftretende Objekte, beispielsweise eine Verkehrsinfrastruktur oder Bereiche anderer Fahrzeuge, sind, z.B. ein Nummernschild oder ein Verkehrszeichen.
0. Verfahren gemäß einem der vorangegangenen Ansprüche, wobei die Referenzabmessung in einem Speicher hinterlegt und im Fall der Erkennung des Objekts ausgelesen wird.
1. Vorrichtung zur Bestimmung einer Basisbreite eines Stereo- Erfassungssystems (102) angeordnet an einem Fahrzeug, insbesondere eines Stereokamerasystems, das das folgende Merkmal umfasst: eine Einrichtung (106) zum Erfassen einer Abmessung eines von dem Stereo-Erfassungssystem (102) erfassten Objekts (104),
wobei die erfasste Abmessung einen durch das Stereo-Erfassungssystem ermittelten Wert repräsentiert,
welche diese Abmessung mit einer für das Objekt vorbestimmten Referenzabmessung des Objekts bei einer Referenzentfernung des Objekts von dem Stereo-Erfassungssystem und
der Referenzentfernung ins Verhältnis setzt,
zur Bestimmung einer Entfernung des erfassten Objekts (104) zu dem Stereo-Erfassungssystem mit folgender
Bestimmung der Basisbreite aufgrund der Entfernung und
einem auf das Objekt bezogenen Disparitätswert des Stereo- Erfassungssystems, die im Betrieb fortlaufend Aufnahmen der Umgebung von dem Stereo- Erfassungssystem erzeugt, die als Grundlage für die Bestimmung der Basisbreite und
die Bestimmung der Basisbreite während der Fahrt des Fahrzeugs durchführt.
12. Computer-Programmprodukt mit Programmcode zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 1 1 , wenn das Programm auf einer Vorrichtung ausgeführt wird.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011800505960A CN103180877A (zh) | 2010-10-22 | 2011-10-07 | 立体图像检测系统的基础宽度的确定 |
| EP11770406.4A EP2630632A1 (de) | 2010-10-22 | 2011-10-07 | Bestimmung der basisbreite eines stereobild-erfassungssystems |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102010042821.3 | 2010-10-22 | ||
| DE102010042821.3A DE102010042821B4 (de) | 2010-10-22 | 2010-10-22 | Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2012052308A1 true WO2012052308A1 (de) | 2012-04-26 |
Family
ID=44802044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/EP2011/067565 WO2012052308A1 (de) | 2010-10-22 | 2011-10-07 | Bestimmung der basisbreite eines stereobild-erfassungssystems |
Country Status (4)
| Country | Link |
|---|---|
| EP (1) | EP2630632A1 (de) |
| CN (1) | CN103180877A (de) |
| DE (1) | DE102010042821B4 (de) |
| WO (1) | WO2012052308A1 (de) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017210112A1 (de) | 2017-06-16 | 2018-12-20 | Robert Bosch Gmbh | Verfahren und System zur Durchführung einer Kalibrierung eines Sensors |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9066085B2 (en) * | 2012-12-13 | 2015-06-23 | Delphi Technologies, Inc. | Stereoscopic camera object detection system and method of aligning the same |
| US9619934B2 (en) | 2013-01-21 | 2017-04-11 | Vricon Systems Aktiebolag | Method and an apparatus for estimating values for a set of parameters of an imaging system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050225479A1 (en) * | 2004-04-09 | 2005-10-13 | Noriaki Shirai | Device for detecting object in front of vehicle |
| DE102005039561A1 (de) | 2005-08-22 | 2007-03-01 | Robert Bosch Gmbh | Temperaturkompensation optischer Systeme |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102006044615A1 (de) * | 2006-09-19 | 2008-03-27 | Daimler Ag | Verfahren zur Kalibrierung von Bilderfassungseinrichtungen in Fahrzeugen |
| WO2009119229A1 (ja) * | 2008-03-26 | 2009-10-01 | コニカミノルタホールディングス株式会社 | ３次元撮像装置及び３次元撮像装置の校正方法 |
| US8326022B2 (en) * | 2008-05-22 | 2012-12-04 | Matrix Electronic Measuring Properties, Llc | Stereoscopic measurement system and method |
| CN101840146A (zh) * | 2010-04-20 | 2010-09-22 | 夏佳梁 | 自动矫正视差的立体图像拍摄方法及装置 |
-
2010
- 2010-10-22 DE DE102010042821.3A patent/DE102010042821B4/de active Active
-
2011
- 2011-10-07 WO PCT/EP2011/067565 patent/WO2012052308A1/de active Application Filing
- 2011-10-07 CN CN2011800505960A patent/CN103180877A/zh active Pending
- 2011-10-07 EP EP11770406.4A patent/EP2630632A1/de not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050225479A1 (en) * | 2004-04-09 | 2005-10-13 | Noriaki Shirai | Device for detecting object in front of vehicle |
| DE102005039561A1 (de) | 2005-08-22 | 2007-03-01 | Robert Bosch Gmbh | Temperaturkompensation optischer Systeme |
Non-Patent Citations (4)
| Title |
|---|
| MORAT J ET AL: "Evaluation Method for Automotive Stereo-Vision Systems", INTELLIGENT VEHICLES SYMPOSIUM, 2007 IEEE, IEEE, PI, 1 June 2007 (2007-06-01), pages 202 - 208, XP031126945, ISBN: 978-1-4244-1067-5 * |
| R. DAVID ARNOLD: "Automated Stereo Perception, Dissertation, Report No. STAN-CS-83-961", 1 March 1983, DEPARTMENT OF COMPUTER SCIENCE, STANFORD UNIVERSITY, Stanford, CA 94305, USA, pages: 1-2,69 - 71, XP002666579 * |
| SCHREER, 0.: "Stereoanalyse und Bildsynthese", 2005, SPRINGER |
| ZHAOZHENG HU ET AL: "Homography-Based Vision Algorithm for Traffic Sign Attribute Computation", COMPUTER-AIDED CIVIL AND INFRASTRUCTURE ENGINEERING, vol. 24, no. 6, 1 August 2009 (2009-08-01), pages 385 - 400, XP055015596, ISSN: 1093-9687, DOI: 10.1111/j.1467-8667.2009.00598.x * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102017210112A1 (de) | 2017-06-16 | 2018-12-20 | Robert Bosch Gmbh | Verfahren und System zur Durchführung einer Kalibrierung eines Sensors |
| US10698084B2 (en) | 2017-06-16 | 2020-06-30 | Robert Bosch Gmbh | Method and system for carrying out a calibration of a sensor |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103180877A (zh) | 2013-06-26 |
| EP2630632A1 (de) | 2013-08-28 |
| DE102010042821B4 (de) | 2014-11-20 |
| DE102010042821A1 (de) | 2012-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102008030555B4 (de) | Vorrichtung zur Verarbeitung von Stereobildern | |
| DE102011053052B3 (de) | Verfahren und Vorrichtung zur Identifikation von Kraftfahrzeugen zur Verkehrsüberwachung | |
| DE102018108027B4 (de) | Objekterfassungsvorrichtung | |
| EP2150939B1 (de) | Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens | |
| WO2015173092A1 (de) | Verfahren und vorrichtung zur kalibrierung eines kamerasystems eines kraftfahrzeugs | |
| DE102008058279A1 (de) | Verfahren und Vorrichtung zur Kompensation eines Rollwinkels | |
| DE102013224502A1 (de) | Verfahren zur Kalibrierung einer Stereokamera eines Fahrzeugs | |
| DE102009019399B4 (de) | Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße | |
| DE102012009577A1 (de) | Verfahren zur Kalibrierung und Verfahren zur Justierung von Einzelbildkameras einer Kameraanordnung | |
| WO2019110156A1 (de) | Verfahren zum ermitteln eines knickwinkels eines fahrzeug-gespanns, ermittlungseinrichtung sowie fahrzeug-gespann | |
| DE102018123393A1 (de) | Erkennung von Parkflächen | |
| DE102018204451A1 (de) | Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems | |
| DE102008026876A1 (de) | Stereokamerasystem und Verfahren zum Ermitteln mindestens eines Kalibrierfehlers eines Stereokamerasystems | |
| DE102010042821B4 (de) | Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems | |
| DE102014219423B4 (de) | Dynamisches Modell zur Kompensation von Verzeichnungen einer Windschutzscheibe | |
| EP2394247B1 (de) | Verfahren und vorrichtung zum betrieb eines videobasierten fahrerassistenzsystems in einem fahrzeug | |
| DE102020215420A1 (de) | Verfahren zum Kalibrieren mindestens einer Kamera | |
| DE102016203959A1 (de) | Infrastrukturerkennungsvorrichtung für ein Fahrzeug, Verfahren zum Erzeugen eines Signals und Verfahren zum Bereitstellen einer Reparaturinformation | |
| EP2467826A1 (de) | Verfahren und steuergerät zur bestimmung einer bewegungsinformation eines objekts | |
| DE102011056948A1 (de) | Verfahren zur Kalibrierung einer Kamera zu einem Lagesensor | |
| DE102012018471A1 (de) | Verfahren zur Erkennung einer Begrenzung eines Fahrbahnrandes für ein Fahrzeug | |
| DE102018202753A1 (de) | Verfahren zur Ermittlung einer Entfernung zwischen einem Kraftfahrzeug und einem Objekt | |
| DE102017217063A1 (de) | Erkennungssystem, Arbeitsverfahren und Trainingsverfahren zum Erzeugen eines 3D-Modells mit Referenzdaten | |
| DE102010044112B4 (de) | Fluchtpunktbestimmungsvorrichtung und Fluchtpunktbestimmungsprogramm | |
| DE102015101190A1 (de) | Verfahren zum Bestimmen eines Bildtiefenwerts abhängig von einem Bildbereich, Kamerasystem und Kraftfahrzeug |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11770406 Country of ref document: EP Kind code of ref document: A1 |
|
| REEP | Request for entry into the european phase |
Ref document number: 2011770406 Country of ref document: EP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2011770406 Country of ref document: EP |