WO1996036180A1

WO1996036180A1 - Verfahren zur erstellung einer objektmaske für videoüberwachungsanlagen

Info

Publication number: WO1996036180A1
Application number: PCT/DE1996/000717
Authority: WO
Inventors: Werner Pöchmüller; Rudolf Mester; Michael Hötter
Original assignee: Robert Bosch Gmbh
Priority date: 1995-05-10
Filing date: 1996-04-25
Publication date: 1996-11-14
Also published as: EP0824827B1; EP0824827A1; HUP9800700A3; DE19517028A1; DE59600745D1; HUP9800700A2

Abstract

Es wird ein Verfahren zur Erstellung einer Objektmaske für Videoüberwachungsanlagen vorgestellt, anhand derer räumliche Objekte von einem Hintergrundbild, das im wesentlichen in einer Ebene liegt, deutlich unterscheidbar sind. Dabei wird das zu überwachende Gebiet von zwei räumlich getrennten Videokameras (4, 5) aufgenommen. Es wird dann eine 10-Parameter-Abbildung von dem einen Videobild (2) in das Koordinatensystem des anderen Videobildes (1) vorgenommen. Anschließend wird noch das projizierte Videobild (8) mit dem korrespondierenden anderen Videobild (1) verglichen.

Description

Verfahren zur Erstellung einer Objektmaske für Videoüberwachungsanlagen

Stand der Technik

Die Erfassung und Verfolgung von Objekten in Videobildsequenzen setzt eine möglichst exakte und schnelle Segmentierung der zu beobachtenden Objekte von ihrem Hintergrund und umgebenden Objekten voraus. In der Regel geschieht dies durch Differenzdetektionsverfahren, die

Änderungen zwischen einem gegenwärtigen und einem zeitlich vorangegangenen Bild oder Änderungen zwischen einem Szenenbild und einem Hintergrundbild detektieren. Diese einfachen Segmentierungsverfahren können jedoch nicht zwischen dem Objekt und von diesem Objekt in seiner unmittelbaren Umgebung hervorgerufenen Helligkeitsänderungen durch Schattenwurf, Reflektion, künstliche Beleuchtung etc. unterscheiden. Im Falle eines Fahrzeugs bedeutet dies, daß nicht nur das Fahrzeug selbst sondern auch Teile seiner Umgebung segmentiert werden, deren Helligkeit z.B. durch Schattenwurf oder Scheinwerfer des Fahrzeugs zeitlich kurzfristig verändert werden. In allen Fällen in denen eine möglichst exakte Lokalisierung des Fahrzeugs notwendig ist, muß daher eine aufwendige Nachbearbeitung erfolgen, die diese Umgebungsteile erkennt und vom Fahrzeug segmentiert. Eine derartige Vorgehensweise ist für Anwendungsfälle z.B. auch für Alarmanlagen mit Videoüberwachungskameras an Gebäuden unakzeptabel. Fehlauslösungen der Alarmanlage können durch Schattenwürfe und Lichtwechsel z.B. bei auch für Alarmanlagen mit Videoüberwachungskameras an Gebäuden unakzeptabel. Fehlauslösungen der Alarmanlage können durch Schattenwürfe und Lichtwechsel z.B. bei vorbeiziehenden Wolken entstehen, wenn keine automatische Nachbearbeitung des Videobildes erfolgt.

In der Literatur ist bereits eine 8-Parameter-Methode zur Erkennung von Objekten auf Ebenen publiziert (s. hierzu Faugeras, 0., Three-Dimensional Computer Vision, The MIT Press, Cambridge, 1993) , die die genannten Nachteile nicht aufweist. Diese Methode besitzt jedoch den Nachteil, daß durch Kopplung der Transformationsgleichungen

und

über die Parameter ag und a.η nicht eine optimale

Kompensation von Schatteneffekten in realen Szenen erreichbar ist.

Ziele und Vorteile der Erfindung

Die vorgestellte Methode erlaubt eine einfache Segmentierung von Fahrzeugen auf einer ebenen Fahrbahn von durch diffuser Lichtstreuung erzeugten Beleuchtungseffekten, ohne aufwendige Verarbeitung mit komplexen Algorithmen. Der Vorteil gegenüber bereits pub¬ lizierten 8-Parameter-Methoden ist die einfache, schnelle und robuste Berechnung der 10 Parameter bei exakterer Abbildung durch eine Entkopplung der Tranformationen für die x- und die y-Achse.

Beschreibung der Zeichnungen

1. Abbildung 1 zeigt die Aufnahme einer Ebene (Ziffer 3) in einer dreidimensionalen Szene durch eine Videokamera (Ziffer 4). Das empfangene Bild wird auf einem zweidimensionalen Bildschirm (Ziffer 1) dargestellt.

2. Abbildung 2 stellt eine Erweiterung des Aufnahmesystems in Abbildung 1 dar. Durch eine zweite Kamera (Ziffer 5), die zu denselben Zeitpunkten wie die erste Kamera aber von einem anderen Standpunkt aus Bilder derselben Szene auf einen zweiten Bildschirm (Ziffer 2) liefert, erhält man ein Stereosystem.

3. Abbildung 3 zeigt Korrespondenzpunkte (Ziffer 7) der betrachteten Ebene, d.h. Punk¬ te der Ebene, die in beiden Bildschirmen gleichzeitig zu sehen sind und die sich räumlich exakt bestimmen und zuordnen lassen.

4. Abbildung 4 zeigt die Aufnahme eines Fahrzeugs (Ziffer 10) in der betrachteten Szene.

5. Abbildung 5 skizziert die Vorgehensweise zur Objektmaskenerstellung. Ein Fahrzeug (Ziffer 10) ist auf dem ersten (Ziffer 1) und zweiten (Ziffer 2) Bildschirm aus verschie¬ denen Blickwinkeln zu sehen. Nach Erstellung der 10-Parameter- Abbildung wird das rechte Bild in das Koordinatensystem des linken Bildes transformiert (Ziffer 8). Alle Punkte der Ebene befinden dann auf derselben Position wie die korrespondierenden Punkte im ersten Kamerabild. Das Fahrzeug wird jedoch verzerrt abgebildet (Ziffer 11). Nun subtrahiert man dieses verzerrte Bild der zweiten Kamera vom Bild der ersten Kamera und erhält damit ein Resultat, daß ungefähr so aussieht, wie in Ziffer 9 dargestellt.

Beschreibung der Erfindung

Die Abbildung einer Ebene in einer dreidimensionalen Szenerie auf den zweidimensionalen Bildschirm läßt sich mit einer 8-Parameter-Transformation durchführen (siehe z.B. Hoetter, M., Thoma, R., "Image Segmentation Based on Object Oriented Mapping Parameter Estimation", Signal Processing, Vol. 15, No. 3, pp. 315-334, October 1988). Bild 1 skizziert diesen Sachverhalt. Dabei sind x_\ und ι/ι die Koordinaten eines Punktes in der Ebene der dreidimensionalen Szenerie, während x₂, y₂ die Koordinaten des entsprechenden Punktes im Videobild darstellen. Die Abbildung ist umkehrbar und führt dabei wieder zu einer 8-Parameter- Abbildung nach Gleichungen 1 und 2 (mit anderen Koeffizienten ao — - a₇).

Bild 2 zeigt eine Erweiterung dieses Falles. Bei einer Stereoaufnahme beobachten zwei Kameras zum selben Zeitpunkt eine gemeinsame Szenerie. Hier lassen sich zwei 8- Parameter- Abbildungen von der Ebene x , y_\ in der dreidimensionalen Szene in die Bild¬ schirmkoordinaten X₂, yi bzw. 2:₃, j_/3 bilden. Hoetter et al. zeigen in "Image Segmentation Based on Object Oriented Mapping Parameter Estimation", Signal Frocessing, Vol. 15, No. 3, pp. 315-334, October 1988, daß zwei aufeinanderfolgende Abbildungen dieser Art wieder durch eine 8-Parameter- Abbildung beschrieben werden können Dies bedeutet aber, daß auch eine direkte Abbildung eines Punktes x₃, 2/₃ im rechten Videobild in einen Punkt x₂, y₂ im linken Videobild nach

_ b₀x₃ + b y₃ + b₂ . . b₆x + b₇y₃ + 1 und

_ b₃x₃ + b₄y₃ + z. . .

^{V2 ~} b₆x₃ + b₇y₃ -1- 1 möglich ist Diese Abbildung ist nur für all die Punkte korrekt, die auf einer Ebene in der dreidimensionalen Szene liegen.

Diese Tatsache läßt sich für die Objektdetektion unter Berücksichtigung von Schatten und Effekten diffuser Lichtstreuung nutzen. Dabei geht man so vor, daß die 8-Parameter- Transformation vom rechten Kamerabild in das linke Kamerabild aufgestellt wird. Dann transformiert man das rechte Kamerabild mit Hilfe dieser Abbildung in das Koordinaten¬ system x , y₂ des linken Bildes (siehe Abbildung 5, Ziffer 8). Durch einfachen Vergleich des linken Bildes mit dem transformierten rechten Bild lassen sich Objekte segmentieren, die nicht auf der Ebene liegen, da für diese die berechnete Transformation falsch ist (siehe Ziffer 9).

Eine Verbesserung der Schattenkompensation läßt sich erreichen, indem man die beiden Abbildungen für die x— und y— Koordinate entkoppelt. Durch die Entkopplung ist eine genauere Abbildung möglich. Resultat ist eine 10-Parameter-Abbildung b₀x₃ + y₃ + b₂ ... x₂ = (oj b₆x₃ + b₇y₃ + l

_ b₃x₃ + b₄y₃ + b₀- ^{2 2 ~} ό₈Z3 + b₉y₃ + 1 ^{' l }}

Die Bestimmung der Parameter &o, 6ι, - - - , &₉ erfolgt über eine lineare Regression aus m Ebenenkorrespondenzpunktkoordinaten (siehe Abbildung 3, wobei m > $ Sei b_x = (ό₀, δι, ₂, &₃, ό₄)^τ und b_y — (b₅, b₆, b , b₈, b ,)^τ dann bedeutet dies die Lösung der beiden Gleichungen

und

K_yK7b_y = K_yy₃. (8) mit

κ~κ- Σ (9)

und

*2ι X - 2iy2iV3i

X2iV2i

i -y vzi

K_yK_y Σ -y2iy₃i (10) ^χ2iy2iyiι

i vl Äi

Dabei stellt z.B. x₂j die x-Koordinate des i-ten Meßpunktes aus dem linken Bild (Ziffer 1 in Abbildungen) und y { die y-Koordinate des i-ten Meßpunktes aus dem rechten Bild (Ziffer 2 in Abbildungen) dar. Die Vektoren x₃ = (a.₃ι, a;₃₂, ^{• • •} , x_3m)^T, ϊT* = (y₃ι, 23₂, • • • , ϊ/3_m)^T setzen sich aus den Meßwerten der Koirespondenzpunkte in einem Bildschirm zusammen. Die Lösung dieser Gleichungssysteme liefert die Parameter -o, öι, - • - , 6g.

Zusammenfassende Vorgehensweise zur Erzeugung einer Objekt maske

1. Bestimme mindestens 10 korrespondierende Punkte auf der in beiden Videobildern beobachteten Ebene. Abbildung 3 zeigt einige Punkte, die sich hierfür eignen (Ziffer 7, z.B. Ecken an Fahrbahnmarkierungen und Teerflecken (Ziffer 6)).

2. Berechne aus den Korrespondenzpunkten die Parameter &o_. &ι, ^■ • •6₉, der 10-Parame- ter- Abbildung der betrachteten Ebene vom rechten Videobild in das Koordinaten¬ system des linken Videobilds nach Gleichungen 7 und 8.

3. Projiziere das rechte Videobild mit Hilfe der 10-Parameter- Abbildung in das Koor¬ dinatensystem des linken Videobilds. Abbildung 5 zeigt diese Projektion in Ziffer 8. Alle Punkte der Ebene (Straße) werden korrekt abgebildet und sehen so aus, wie im linken Bild. Alle Punkte, die von der Ebene abweichen, wie z.B. das Fahrzeug (Ziffer 11), werden verzerrt abgebildet, da die 10-Parameter- Abbildung nur für Punkte der Ebene gültig ist.

4. Vergleiche das linke Videobild mit dem projizierten rechten Videobild. Unterschiede deuten auf Objektpunkte hin, die nicht in der Fahrbahnebene liegen. In Abbildung 5, Ziffer 9 wurden das pro izierte rechte Bild (Ziffer 8) von dem linken Bild (Ziffer 1) subtrahiert. Alle Punkte der Ebene verschwinden, da sie in beiden Bildern denselben Grauwert an derselben Stelle besitzen, während Punkte außerhalb der Ebene nicht verschwinden (soweit diese Objekte eine strukturierte Oberfläche besitzen).

Claims

Ansprüche

1. Verfahren zur Erstellung einer Objektmaske für

Videoüberwachungsanlagen , anhand derer räumliche Objekte von einem Hintergrundbild deutlich unterscheidbar sind, dadurch gekennzeichnet, daß das zu überwachende Gebiet von zwei räumlich getrennt angeordneten Videokameras aufgenommen wird, so daß eine Stereoaufnahme entsteht, daß das eine

Videobild der Stereoaufnahme mit Hilfe einer 10-Parameter- Abbildung in das Koordinatensystem des anderen Videobildes projiziert wird, wobei die 10 Parameter für die 10-Parameter-Abbildung über eine lineare Regression aus m Ebenenkorrespondenzpunkt-Koordinaten bestimmt werden, mit m>=5 und daß das projizierte Videobild mit dem korrespondierenden anderen Videobild verglichen wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die 10-Parameter-Abbildung nach den folgenden Formeln geschieht,

_ b₀x₃ + 612/3 + b₂ ^{2 '~} b₆x₃ + b₇y₃ + 1

wobei x₂, Y₂ die Koordinaten eines projizierten Punktes, X₃, y₃ die Koordinaten des unprojizierten Punktes und b_g bis bg die 10 Parameter für die 10-Parameter-Abbildung sind.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß der Vergleich des projizierten Videobildes mit dem korrespondierenden anderen Videobild jeweils durch Subtraktion des Graubildwertes eines Punktes des projizierten Videobildes von dem Graubildwert des Punktes mit den gleichen Koordinaten in dem anderen Videobild geschieht.