Verfahren zur Erkennung der räumlichen Lage und Drehlage von in geeigneter Weise markierten Objekten in digitalen Bildfol¬ gen
Die Erfindung betrifft ein Verfahren zur Erkennung der räum¬ lichen Lage und Drehlage von in geeigneter Weise markierten Objekten in digitalen Bildfolgen, insbesondere auch zur De- tektion und Verfolgung der Bewegungen einer menschlichen Hand, auf der, z.B. mit Hilfe eines speziell hierfür angefer¬ tigten Handschuhs, geeignete Markierungen angebracht sind. Solche Verfahren werden zur Steuerung von Datenverarbeitungε- anlagen oder damit zusammenhängenden Einrichtungen mit Hilfe von Handzeichen (Gesten) in verschiedenen Bereichen der Tech¬ nik, in denen eine möglichst einfache Mensch-Maschine-Kommu¬ nikation wichtig ist, benötigt. In dem Aufsatz [Cla91] von M.A. Clarkson, An easier interface, BYTE 16(2), Februar 1991, wird "3D-Rooms" ein eindrucksvolles Beispiel eines dreidimen¬ sionalen Systems, einer Erweiterung der bekannten zweidimen- sionalen "Desktop"-Benutzeroberflächen für die heute üblichen Computer mit graphischer Benutzeroberfläche, beschrieben, welches den Wert dreidimensionaler Eingabegeräte besonders verdeutlicht. Ein Verfahren zur Erkennung der räumlichen Lage und Drehlage von in geeigneter Weise markierten Objekten in digitalen Bildfolgen stellt also einen wichtigen Baustein für zukünftige, dem Menschen besser gerecht werdende Benutzer¬ schnittstellen für Datenverarbeitungssysteme dar.
Aus der Literatur bekannte Ansätze [Kru91] , [Vin91] , [Wel 91] und [Seg92] auf der Grundlage der Bildverarbeitung weisen al¬ le den Nachteil auf, daß sie nur zweidimensionale Gesten er¬ kennen können und daß ein gleichförmiger Bildhintergrund mit vorgegebenen Eigenschaften vorausgesetzt werden muß.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erkennung der räumlichen Lage und Drehlage von in geeigneter Weise markierten Objekten in digitalen Bildfolgen anzugeben, welches diesen Beschränkungen nicht unterliegt, sondern die Erfassung dreidimensionaler Gesten vor beliebigem Bildhinter¬ grund ermöglicht.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Erkennung der räumlichen Lage und Drehlage von in geeigneter Weise markierten Objekten in digitalen Bildfolgen mit Merkma¬ len nach Anspruch 1 gelöst.
Die Bilder einer Bildfolge werden durch Anwendung einer Schwellwertoperation binarisiert. Die Momente der einzelnen Segmente jedes einzelnen Binärbildes der Binärbildfolge bis zu einer vorgegebenen Ordnung ermittelt. Aus den Momenten werden Parameter ermittelt, die die Lage und Drehlage der Segmente im Raum beschreiben; anhand dieser Parameter und der Momente werden die Markierungen und ihre Lage und Drehlage im Raum bestimmt. Unter Verwendung der bekannten Anordnung der
Markierungen auf den markierten Objekten wird schließlich die Lage und Drehlage der markierten Objekte im Raum ermittelt.
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.
Figur 1 zeigt ein von einer CCD-Kamera aufgenommenes, gera¬ stertes Grauwertbild einer für die Durchführung des erfin¬ dungsgemäßen Verfahrens mit Markierungen versehenen menschli- chen Hand.
Figur 2 zeigt das Bild der Figur 1 in binarisierter Form.
Figur 3 zeigt in schematischer Weise eine Konturverfolgung der Konturen eines binären Segments, wie sie bei einer bevor¬ zugten Ausführungsform des erfindungsgemäßen Verfahrens zur Anwendung kommt.
Figur 4 zeigt das Ergebnis der durch Figur 3 illustrierten Konturverfolgung am Beispiel des Bildes aus Figur 2.
Figur 5 zeigt in schematischer Weise eine bevorzugte Ausfüh¬ rungsform von Objektmarkierungen, wie sie im Zusammenhang mit dem erfindungsgemäßen Verfahren vorteilhaft verwendet werden können.
Figur 6 zeigt ein Schema zur Verdeutlichung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens.
Figur 7 zeigt in schematischer Weise einen projezierten Kreis, also eine Elipse mit den Hauptachsen und weiteren Parametern.
Figur 8 zeigt in schematischer Weise zwei kreisförmige, projezierte Markierungen.
Figur 9 zeigt in schematischer Weise die adaptive Schwell- wertbildung am Beispiel zweier kreisförmiger, projezierter Markierungen.
Figur 10 zeigt in schematischer Weise die Einschränkung des Suchraumes mit Hilfe einer Bewegungsschätzung.
Im folgenden wird die Erfindung anhand bevorzugter Ausfüh¬ rungsbeispiele und mit Hilfe der Figuren näher beschrieben.
Die Aufgabe der Bildverarbeitung bei der Steuerung von Daten¬ verarbeitungssystemen mit Hilfe von Gesten einer menschlichen Hand ist die Erkennung der Bewegungen und Gesten der mensch¬ lichen Hand. Das dazu im folgenden beschriebene Verfahren kann aber über den Bereich der Handgestenerkennung hinaus auf die Erkennung der räumlichen Lage und Position beliebiger markierter Objekte angewendet werden. Die dabei eingesetzten Bildverarbeitungsverfahren müssen vor allem unabhängig gegen-
über Störungen im Bildfolgenmaterial sein, unabhängig sein gegenüber Schwankungen der Umgebungshelligkeit, gegenüber Bewegungen im Bildhintergrund und dabei eine Verarbeitungsge¬ schwindigkeit zwischen 10 und 25 Bildern pro Sekunde aufwei- sen.
Besonderes Augenmerk gilt hierbei bei der Geschwindigkeit der Bildverarbeitung. Ist diese nämlich zu gering, so entsteht eine große Verzögerung zwischen den Handbewegungen des Benut- zers und den damit gesteuerten Auswirkungen in Bezug auf die jeweils gesteuerte Anwendung. Es hat sich durch Experimente herausgestellt, daß dabei eine Reaktionszeit von 1/10 Sekunde nicht überschritten werden darf, wobei eine Reaktionszeit von 1/25 Sekunde optimal erscheint.
Durch diese einschränkende Anforderung an die Verarbeitungs- geschwindigkeit der verwendeten Hardware erschien in vielen Veröffentlichungen die Verwendung relativ kostspieliger Spezialhardware zur Bildverarbeitung in Echtzeit oder aber sehr schneller und dennoch leistungsfähiger Bildverarbei¬ tungsalgorithmen unausweichlich. Die im Rahmen dieser Patent¬ anmeldung beschriebenen Bildverarbeitungsalgorithmen nutzen anwendungspezifisches Wissen in hohem Maße aus, ohne daß jedoch ihre allgemeine Anwendbarkeit hierdurch eingeschränkt würde. Bei einem bevorzugten Ausführungsbeispiel der erfin¬ dungsgemäßen Verfahren wird in Bildern, die mit einer Grau¬ wertkamera aufgenommen sind, eine menschliche Hand und deren Bewegungen erkannt, wobei diese Hand mit einem schwarzen Handschuh und darauf angebrachten Markierungen besonders markiert ist. Durch den Umstand, daß die Größe und die Form dieser Markierungen im voraus bekannt sind, lassen sich Verfahren zur Bildverarbeitung stark vereinfachen.
In einem Grauwertbild mit sich verändertem Hintergrund eine menschliche Hand in Echzeit zu erkennen ist in dieser Allge¬ meinheit ein sehr schwieriges Problem. Dieses Problem wird bedeutend vereinfacht, wenn die Hand sich deutlich vom Hin-
tergrund abhebt und auf der Han 1 Markierungen angebracht sind, deren Form und Größe bekannt sind. Aus diesem Grund ist es vorteilhaft im Zusammenhang mit dem erfindungsgemäßen Verfahren z. B. einen schwarzen Handschuh mit darauf ange- brachten weißen Markierungen zu verwenden, den der Benutzer des erfindungsgemäßen Verfahrens über seine Hand zieht. Das Bild der menschlichen Hand wird in diesem Verfahren mit Hilfe einer Grauwertkamera aufgenommen, einer adaptiven Schwellwer¬ toperation unterzogen und so in ein segmentiertes Binärbild umgewandelt. Anschließend werden zu allen Bildobjekten Merk¬ male berechnet und anhand dieser Merkmale die Markierungen erkannt und ihre Lage im Raum berechnet. Figur 6 verdeutlicht in schematischer Weise den Ablauf des erfindungsgemäßen Verfahrens.
Die Bilder werden z. B. mit Hilfe einer CCD-Kamera aufgenom¬ men, die sich vorzugsweise auf dem Computermonitor oder in seiner Nähe befindet. Sie wird zu Beginn des Verfahrens so eingestellt, daß ihr Aufnahmebereich mit einem dem Benutzer für seine Handbewegungen angenehmen Raumbereich überein¬ stimmt. In Versuchen hat sich hierfür ein Zoomobjektiv als sinnvoll, aber nicht unbedingt nötig herausgestellt.
Das von der Kamera gelieferte Bild in Form eines Videosignals wird z. B. durch einen Framegrabber digitalisiert und liegt anschließend im Speicher des Rechners als digitales Bild, z. B. der Größe 512 x 512 Bildpunkte vor, wobei jeder Bildpunkt (Pixel) durch eine 8-Bit breite Zahl, welche den Grauwert dieses Bildpunktes beschreibt, dargestellt wird.
Fig. 1 zeigt ein Beispiel eines gerasterten Grauwertbildes, auf dem eine schwarze Hand mit darauf angebrachten Markierun¬ gen dargestellt ist. Da die Kamera vom Benutzer nach seinen Wünschen ausgerichtet wird, ist die Lage ihrer optischen Achse im Raum nicht sofort bekannt. Deshalb wird nach dem
Einstellen der Kamera im allgemeinen ein Kalibrierungsschritt nötig sein. In diesem Kalibrierungsschritt, wird z. B. die
Lage der optischen Achse der Kamera bestimmt und es wird z. B. die Größe der Markierungen in einer vorgegebenen Entfer¬ nung vom Objektiv vermessen, so daß später die Entfernung der Hand mit Hilfe der Größe der Markierungen bestimmt werden kann.
Nach der Aufnahme des Bildes einer menschlichen Hand oder eines anderen bewegten Objektes mit Hilfe einer CCD-Kamera, der anschließenden Digitalisierung und Speicherung dieses Bildes im Computer wird zur Datenreduktion eine Binarisierung dieses Grauwertbildes durchgeführt. Eine dazu benutzte Schwelle wird zu Beginn vorgegeben oder interaktiv bestimmt und dann adaptiv an die vorhandenen Lichtbedingungen ange¬ paßt. Die Adaption der Schwelle wird noch später beschrieben werden.
Das von der Kamera aufgenommene Grauwertbild wird als Binär¬ bild nun weiterverarbeitet mit dem Ziel die auf dem Objekt, z. B. der Hand angebrachten Markierungen zu segmentieren. Hierzu wird ein an sich bekannter Algorithmus von T. Pavli- dis: "Algorithms for Graphics and Image Processing", Springer 1982 angewandt. Dabei wird das Binärbild zeilenweise abgeta¬ stet. Wird ein Sprung von 0 nach 1, d. h. z. B. von dunkel nach hell detektiert, und wurde der aktuelle Bildpunkt noch nicht aufgesucht, so wird die Kontur im Uhrzeigersinn abge¬ laufen, wobei die Koordinaten der Bildpunkte in einer Liste gespeichert und die dabei aufgesuchten Bildpunkte als schon verarbeitet markiert werden. Bei einem Sprung von 1 nach 0 wird die Kontur entgegengesetzt zum Uhrzeigersinn abgetastet. Am Ende dieses Verarbeitungsschrittes steht im Speicher des Computers eine Liste der Objektkonturen zur Verfügung, wobei zusätzlich bekannt ist, ob es sich um ein schwarzes Objekt auf weißem Grund oder um den umgekehrten Fall handelt. Figur 3 verdeutlicht in schematischer Weise die Durchführung der Konturverfolgung nach Pavlidis.
Figur 4 zeigt das Ergebnis der durch Figur 3 illustrierten Konturverfolgung am Beispiel des Bildes aus Figur 2.
Zur weiteren Durchführung des erfindungsgemäßen Verfahrens ist die Erkennung der markierten Objekte unabhängig von ihrer Lage, Größe und Orientierung im Raum erforderlich. In der Bildverarbeitung wurden Verfahren entwickelt, die es ermögli¬ chen, Merkmale aus Bildern zu extrahieren, die invariant gegenüber den obengenannten Transformationen sind. Zu diesem Zweck sind besonders die sogenannten Momente geeignet, welche z. B. in der Veröffentlichung von Zhou et al "Morphological Skeleton Transfor s for Determining position and orientation of Pre-Marked Objects", aus IEEE Pacific Rim Conference on Communication, Computers ans Signal Processing, pp. 301 - 305, 1989 beschrieben wurden. Das Moment mpq der Ordnung p,q einer Funktion f(x,y) wird dabei definiert als
wobei f(x,y) z.B. der Grauwert eines Bildpunktes an der
Stelle (x,y) ist. In der für die Bildverarbeitung geeigneten diskreten Form lautet die Definition dieses Moments
M N mp.q = ∑ ∑χpyqf(χ.y)ΔχΔy, x=1 y=1
wobei M und N die Anzahl der Bildpunkte in x- und y-Richtung, also die Bildgröße bezeichnen. Die oben definierten Momente wurden für den Fall für Grauwertbildern definiert, wobei über den Wertebereich der Funktion f keine einschränkenden Annah- men gemacht wurden. Im Falle des vorliegenden erfindungsgemä¬ ßen Verfahrens wurden die Bilder bereits binarisiert wodurch f lediglich die binären Werte 1 oder 0 annimmt. Damit verein¬ facht sich die Definition des Moments zu
Den Momenten niederer Ordnung kann dabei leicht eine anschau¬ liche Interpretation zugeordnet werden: Das Moment mgo ist gleich der Fläche eines Objektes. Die Quotienten —m1—0 bzw. m0,0 m0—1 geben die x- bzw. y-Koordmaten des Ob ektSchwerpunkts m0,0 an. Mit Hilfe dieser Schwerpunktkoordinaten kann der Schwer¬ punkt jedes Objektes in den Ursprung transformiert gedacht werden. Berechnet man die weiteren Momente in Bezug auf diese Koordinatenursprungswahl, so werden sie auch Zentralmomente genannt. Die Zentralmomente sind also wie folgt definiert:
ffiP,q= ∑(x- )p(y-y)qΔxΔy. (χ,y)eD
Zur Berechnung eines Momentes sind genausoviele Operationen nötig wie die Fläche des Objektes Bildpunkte enthält. Die Fläche eines Objektes wächst im allgemeinen quadratisch mit seiner Größe. Mit Hilfe des Satzes von Green ist es jedoch möglich die Definition der Momente so umzuformen, daß die Momente einer Menge D (ohne innere Löcher) nur aufgrund ihrer Umrißlinie U berechnet werden können. Die Zahl der Bildpunkte auf der Umrißlinie steigt nur linear mit der Objektgröße an. Die Komplexität und der Rechenaufwand zur Berechnung der Momente ermäßigen sich daher um eine ganze Größenordnung. Enthält ein Objekt Löcher, so können die Momente trotzdem mit Hilfe des Green'sehen Satzes berechnet werden, wenn man die Brandungskurven der Löcher, im gegenläufigen Sinn zur äußeren Brandung des Objektes durchlaufen, als weitere Bestandteile der Umrißlinie des Objektes behandelt.
Seien nun D eine Menge und U ihre Umrißlinie, so können die Momente der Menge D nach dem Green*sehen Satz auch wie folgt berechnet werden:
mP,q = Σ(a Pyq+1Ax+bxp+1yqΔy) (χ,y)eD
hierbei müssen die Koeffizienten a und b der Gleichung
b(p+1)-a(q+1)=1
genügen. Wichtige Spezialfälle dieser allgemeinen Formel sind
oder
Die äußeren Umrißkurven sind dabei im Uhrzeigersinn, die inneren Umrißkurven - im Fall von Löchern - im Gegenuhrzei¬ gersinn zu durchlaufen. Bei dem erfindungsgemäßen Verfahren werden die ersten drei Momente zusammen mit der Konturverfol- gung berechnet. Außerdem werden die maximale Ausdehnung der
Objekte in x- und y-Richtung erfaßt. In einem zweiten Schritt werden die höheren Zentralmomente, so weit benötigt, berech¬ net.
Zur Identifikation der markierten Objekte gilt es nun dieje¬ nigen Objekte zu finden, welche den Markierungen entsprechen. Bei einem bevorzugten Ausführungsbeispiel des erfindungsgemä¬ ßen Verfahrens werden als Markierungen zwei exzentrisch zueinander angeordnete Kreise verwendet, von denen der eine möglichst hell (weiß) der andere möglichst dunkel (schwarz) ist. Diese Anordnung der Markierungsstrukturen hat den Vor¬ teil, daß die gesamte Anordnung nicht rotationsinvariant ist, und daß perspektivische Projektionen dieser Anordnung leicht zu berechnen sind. Diese Eigenschaften der bevorzugten Aus-
führungsform der Objektmarkierunc sn sind für das erfindungs¬ gemäße Verfahren besonders geeignet. Hierdurch kann die Drehlage der markierten Objekte besonders zuverlässig detek- tiert werden.
• Nachdem die Konturverfolgung und die Berechnung der Momente abgeschlossen ist, werden nacheinander verschiedene Tests durchgeführt um die Markierungen im Bild zu identifizieren:
Da die Größe der Markierungen auf der Handfläche (bzw. auf den Objekten) bekannt ist und da ein minimaler und maximaler Abstand von der Kamera leicht vorgegeben werden kann (z. B. 20 cm bis 4000 cm) ist es möglich eine untere Schranke für die Fläche dieser Markierungen im Bild anzugeben. Das Moment TÜQ Q gibt aber gerade die Fläche des Objekts an. Also können alle Objekte die größer oder kleiner sind sofort aussortiert werden.
Zur Bestimmung der Kreisförmigkeit wird als grober Anhalts- punkt die maximale Ausdehnung der detektierten Objekte in x- und y-Richtung benutzt um die Ähnlichkeit jedes Objektes mit einem Kreis zu berechnen. Ferner wird nach einem großen schwarzen Objekt gesucht, in dem sich ein kleineres weißes Objekt (oder umgekehrt) befindet und deren Größenverhältniεse innerhalb gewisser Grenzen liegen. Es ist für den Fachmann leicht möglich noch weitere und unter Umständen bessere Kriterien zur Detektion der Markierungsstrukturen zu finden. Es hat sich jedoch in Experimenten gezeigt, daß es mit den oben angegebenen Kriterien fast immer möglich war die Markie- rungen eindeutig im Bild zu identifizieren.
Nach der Identifikation der Markierungsstrukturen kann die Position der Schwerpunkte der Markierungsεtrukturen und damit über die bekannte Anordnung der Markierungsstrukturen auf den Objekt (Hand) auch die Position der Hand im Raum in x- und y- Richtung ermittelt werden. Die Größe der Markierungsstruktur gibt über die bekannte Fläche den Abstand von der Kamera und
damit die Position in z-Richtung an. Damit ist die Lage des Objektes im Raum bekannt.
Nachdem so die Lageparameter der Markierungen und damit der Objektschwerpunkte ermittelt wurden geht es im folgenden um die Bestimmung der Winkel um welches das Objekt bezüglich der drei räumlichen Achsen gedreht angeordnet ist. Zur Bestimmung dieser Drehwinkel wird die Tatsache ausgenutzt, daß der Mittelpunkt des inneren Kreises der in Figur 5 gezeigten Markierung und der des äußeren Kreises nicht zentrisch zuein¬ ander sind, sowie der Umstand das ein Kreis unter räumlicher Projektion in eine Ellipse überführt wird, aus deren Parame¬ tern man auf den Projektionswinkel schließen kann. Es sind also die Parameter einer Ellipse zu bestimmen und daraus die Neigungswinkel der Kreisebene zur Bildebene zu berechnen. Der Flächennormalenvektor der Kreisebene der Markierung sei n = (A,B,C) so daß für alle Punkte (x,y,z) auf dem Kreis im Raum gilt
Ax+By+Cz=0,
wobei der Radius R des Kreises gegeben ist durch
Figur 7 veranschaulicht in schematischer Weise die geometri¬ schen Parameter eines projezierten Kreises, d. h. einer Ellipse mit den Hauptachsen M und N, dem Winkel θ , den die Hauptachse M mit der x-Achse bildet und dem Flächennormalen- Vektor n. Sind die Zentralmomente des Objektes welches der
Ellipse entspricht bekannt, so kann man die Hauptachsen M und N dieser Ellipse und den Winkel θ , welchen die Hauptachse M mit der x-Achse bildet gemäß den Formeln
θ=—arctan -2- m.,1 2 m2.o+mo,2
berechnen. Zur Berechnung der Hauptachsen und des Winkels sind also lediglich die Momente bis zur zweiten Ordnung erforderlich. Zwischen den genannten Parametern gelten die folgenden nützlichen Beziehungen.
und
A=-B tan(θ)
Durch Umformung erhält man
und weil n ein Normalenvektor ist, gilt
A2+B2+C2=1
Mit Hilfe einiger Umformungen lassen sich die Komponenten A, B und C des Normalenvektors n wie folgt berechnen:
A=-Btanθ, B= er- -+(tanθr+1, C=Vl-A2+B2
(tanθsinθ+cos)'
Besteht die kreisförmige Markierung aus zwei Kreisringen deren Mittelpunkte um (dx,dy) gegeneinander verschoben sind, dann kann man die Rotation φ um die Z-Achse berechnen als:
Die Parameter A und B müssen nun entsprechend der Z-Achsen Rotation φ wie folgt transformiert werden :
Ä = Acosφ- Bsinφ B = Asinφ+Bcosφ '
Bezüglich der Rotation um die Z-Achse befindet sich die Ellipse nach dieser Transformation in Normallage. Damit sind nun noch die Winkel für die Rotationen um die x-Achse α und die y-Achse ß aus der bekannten Flächennormalen
n=(A,B,C)
zu berechnen. Dazu transformiert man zweckmäßig die durch n bestimmte Ebene so, daß n anschließend parallel zum Vektor (0,0,1), d. h. parallel zur Z-Achse liegt. Zuerst findet eine Rotation um die X-Achse statt, gefolgt von einer Rotation um die Y-Achse:
ß = arccosf v +C2 ] = arcsin(-A) .
Um ein Modell des Objektes, bzw. der Hand in Normallage, d. h. parallel zur XY-Ebene in die Lage der kreisförmigen Mar¬ kierung zu bringen, müssen die obigen Drehungen in umgekehr-
ter Reihenfolge angew mdt werden. Also zuerst um die Y-Achse, dann die X-Achse und zuletzt um die Z-Achse.
Aus verschiedenen Gründen kann es erforderlich sein bei einem bevorzugten Ausführungsbeispiel des erfindungsgemäßen Verfah¬ rens die zur Binarisierung des aufgenommenen Grauwertbildes benutzte Schwelle während des Verfahrens fortlaufend neu zu bestimmen. Zum einen gibt es Schwankungen der Raumbeleuchtung (z. B. Wolken, zusätzliche Lampen), zum anderen werden durch Bewegungen der Hand lokale Helligkeitsschwankungen auf der
Markierungsstruktur selbst verursacht. Letzteres tritt auf z. B. bei einer Deckenbeleuchtung und einer Neigung der Hand um die X-Achse. Die Finger werfen dann einen Schatten auf die auf der Handfläche angebrachte Markierungsstruktur. Zur Bewältigung dieser Schwierigkeiten ist es daher zweckmäßig die Schwelle an Helligkeitsschwankungen zu adaptieren.
Hierbei wird ausgenutzt, daß das Verhältnis der Durchmesser beider Kreise der Markierungsstruktur bekannt ist. Es wird nun eine Linie berechnet, die durch beide Mittelpunkte der Markierungskreise verläuft. Ihr Startpunkt ist der erste Schnittpunkt der Linie mit dem äußeren Markierungskreis und ihr Endpunkt der zweite Schnittpunkt. Figur 9 veranschaulicht in schematischer Weise die geometrischen Verhältnisse. Hier- bei bedeutet th die Schwelle welche zu adaptieren ist, IC den Mittelpunkt des inneren Markierungskreises (4 da projeziert als Ellipse dargestellt) und UC den Mittelpunkt des äußeren Markierungskreises. L bedeutet die Linie durch beide Mittel¬ punkte. Die n Grauwerte im Bild entlang dieser Linie werden nun in ein Feld sortiert. Ist der äußere Markierungskreis beispielsweise weiß, so müssen im Fall einer optimalen Schwelle n x r Punkte unterhalb der Schwelle und n x (1-r) Punkte oberhalb der Schwelle liegen, wobei r das Verhältnis aus dem Durchmesser des kleinen Markierungskreises und dem Durchmesser des großen Markierungskreises, ist. Eine solche Schwelle ist genau das n-te Element des sortierten Grauwert- feldes. Die Benutzung dieser Schwelle erscheint jedoch in der
wirklichen Anwendung nicht immer op' imal, statt dessen kann in einem bevorzugten Ausführungsbeispiel der Erfindung auch der Mittelwert der durchschnit lichen Grauwerte beider Clu- ster als neue Schwelle verwendet werden. Die alte Binarisie- rungsschwelle wird dann in Richtung der neu berechneten Schwelle verändert:
toneu = hait + K • (thopt - th^), < 1 .
Mit unter kommt es vor, daß in einzelnen Bildern keine Mar¬ kierungsstrukturen gefunden werden können. In diesem Fall kann es sein, daß sich z. B. die Beleuchtung sehr stark verändert hat. Deshalb wird nach einer bestimmten Anzahl von Bildern ohne gefundene Markierungsstruktur die Schwellwert- bildung z. B. mit Zufallszahlen fortgesetzt. Wird dann der Markierer erfolgreich detektiert, dann treten die oben be¬ schriebenen Mechanismen zur Schwellwertadaption wieder in Kraft. Ist die Markierungsstruktur erst einmal gefunden, ist es häufig nicht nötig in den folgenden Bildern jeweils die gesamte Bildebene nach einer Markierungsstruktur abzusuchen. Stattdessen wird ein Suchbereich definiert und nur in diesem Suchbereich werden die Schritte Binarisierung, Konturverfol¬ gung und Objektidentifikation durchgeführt. Da der Suchbe¬ reich typischerweise klein gegenüber dem gesamten Bild ist, ergibt sich eine signifikante Reduzierung der Anzahl der zu untersuchenden Bildpunkte und damit eine Erhöhung der Rechen¬ geschwindigkeit.
Figur 10 zeigt in schematischer Weise die Verwendung eines eingeschränkten Suchbereichs im Zusammenhang mit einer einfa¬ chen Form der Bewegungsschätzung. Die Aufgabe der Bewegungs¬ schätzung ist es nun vorherzusagen, wo sich die Markierung im nächsten Bild befinden wird, um das Zentrum des neuen Suchbe¬ reichs dort positionieren zu können. Für Zwecke des erfin- dungsgemäßen Verfahren reicht häufig eine recht einfache Art der BewegungsSchätzung, ein sogenannter linearer Prädiktor, vollkommen aus. Die Geschwindigkeit der Markierungsstruktur
wird aus den letzten beiden Bildern geschätzt un^_ es wird angenommen, die Geschwindigkeit der Markierungsstruktur sei näherungsweise konstant. Damit kann ihre neue Position im folgenden Bild geschätzt und der Suchbereich dort zentriert werden. Je nach Geschwindigkeit der Markierungsstruktur wird der Suchbereich vergrößert, da bei hoher Geschwindigkeit der Hand die Wahrscheinlichkeit von plötzlichen Richtungsänderun¬ gen und damit einem Verschwinden aus einem zu kleinen Suchbe¬ reich steigt. Kann die Markierungsstruktur im festgelegten Suchbereich nicht gefunden werden, wird der Suchbereich in mehreren Schritten solange vergrößert, bis die Markierung wieder gefunden werden kann, gegebenenfalls solange bis der Suchbereich die gesamte Bildgröße umfaßt.
Natürlich sind im Zusammenhang mit dem erfindungsgemäßen Verfahren auch andere Methoden zur Bewegungsschätzung ver¬ wendbar, die z. B. die geschätzte Objektgeschwindigkeit und die Beschleunigung, sowie Wissen über die detektierte Objekt¬ bewegung allgemein, in die Bestimmung eines neuen Suchberei- ches mit einbeziehen. Dem Fachmann sind aus der Literatur verschiedene Methoden zur Bewegungsschätzung die im Zusammen¬ hang mit dem erfindungsgemäßen Verfahren vorteilhaft einge¬ setzt werden können bekannt.
Im Rahmen dieser Patentanmeldung wurden die folgenden Veröf¬ fentlichungen zitiert:
[Cla91] M.A. Clarkson, An easier interface, BYTE 16(2), Fe¬ bruar 1991.
[Kru91] M.W. Krueger, "Artificial Reality II", Addison- Wesley, 1991.
[Vin91] V.J. Vincent, Dwelving in the deph of the ind, Proc. Interface to real & Virtual worlds, Montpellier, 1991.
[Wel91] P. Wellner, The DigitalDesk Calculator: Tangible Manipulation on a Desk Top Display, Proceedings of the ACM Symposium on User Interface Software and Technology (UIST
•91), November 1991, Hilton Head, USA.
[Seg92] J. Segen, Gest: A learning Computer vision system that recognizes gestures, to appear in Machine Learning 4.
[Pav82] T. Pavlidis: Algorithmns for Graphics and Image Processing, Springer 1982.
[Zhou89] Z. Zhou et al, Morphological Skeleton Transforms for Deter ining position and orientation of Pre-Marked Ob¬ jects, IEEE Pacific Rim Conference on Communication, Compu- ters and Signal Processing, pp. 301 - 305, 1989.