Verfahren zur Bewertung von Ähnlichkeiten realer Objekte
Die Erfindung betrifft ein Verfahren zur Bewertung von Ähnlichkeiten realer Objekte anhand der Bewertung der Ähnlichkeit von Merkmalsvektoren.
Auf dem Gebiet der Bildverarbeitung sind Verfahren bekannt, die eine Erkennung von Objekten aus einzelnen Ansichten (Bildern) dieser Objekte erlauben. Die Erkennung von Objekten wird mittels digitaler Bildsignalaufnahmetechnik ausgeführt, der Bild- und Signalverarbeitungsroutinen für die Klassifizierung der Objekte oder Muster hinzugefügt werden. Die Routinen verwenden Verfahren, bei denen die in den digitalen Bildern vorkommenden Bildobjekte anhand von spezifischen Merkmalen analysiert werden. Aufgrund der extrahierten Merkmale erfolgt ein Abgleich verschiedener Objekte, um Ähnlichkeiten festzustellen.
In der DE 44 06 020 C1 wird ein Bild verarbeitendes Verfahren zur automatisierten Erkennung oder Verifikation von Objekten aus digitalen Bildern dieser Objekte beschrieben. Dieses Verfahren ist dadurch gekennzeichnet, dass man aus einem digitalen Bild mit 2-D-Gabor-Filtern verschiedener Größe und Orientierung Gabor-
Merkmale extrahiert, welche auf einem verschieb-, skalier-, und deformierbaren Gitter, dem so genannten Graphen, angeordnet werden, dessen optimale Form durch eine zweiphasige Minimierung einer Graphenvergleichsfunktion bestimmt wird. In der ersten Phase werden sowohl Größe als auch Position des Graphen simultan optimiert. In der zweiten Phase wird die intrinsische Form des Graphen optimiert. Zur Bewertung der Ähnlichkeit zweier Graphen wird eine Graphenvergleichsfunktion E=Esin+ÄEtop eingeführt, die umso niedrigere Werte annimmt, je ähnlicher die beiden Graphen sind. Ein erster Term dieser Graphenvergleichsfunktion bewertet die Ähnlichkeit der Jets (Gesamtheit der Gabor-Merkmale an einem bestimmten Pixel) an jeweils korrespondierenden Knoten der beiden Graphen, wobei die jeweils korrespondierenden Gabor-Merkmale miteinander verglichen werden (negativer Kosinus des Winkels zwischen beiden Jets). Der zweite Term bewertet die topologische Ähnlichkeit beider Graphen, indem die Beträge der Differenzvektoren jeweils korrespondierender Links aufsummiert werden. Als Links werden die horizontalen und vertikalen Verbindungen zwischen benachbarten Knoten bezeichnet. Ein anschauliches Modell besteht darin, sich die Links als mechanische Federn vorzustellen, die in ihren Ruhelagen den ersten der beiden Graphen bilden. Der zweite Faktor der Graphenvergleichsfunktion ist dann proportional zur Arbeit, die gegen die Federkräfte aufgebracht werden muss, um die Links mit der Topologie des zweiten Graphen zur Deckung zu bringen. Werden beim Vergleich eines neuen Objektbildes mit gespeicherten Objekten entsprechende Werte der Graphenvergleichsfunktionen ermittelt, so ist das Objekt mit dem kleinsten Wert der Graphenvergleichsfunktion im Sinne der Vergleichsfunktion das ähnlichste Objekt. Dieses Verfahren basiert auf der Extraktion von 2-D-Gabor-Koeffizienten, die nicht nur verschiedenen Sigmas (Größen) entsprechen, sondern auch noch verschiedene Orientierungen im Raum haben. Dieses Verfahren eignet sich besonders gut für Objekte mit charakteristischen Texturmerkmalen, wie z.B. Gesichtern. An den Rändern der Objekte ist dieses Verfahren weniger leistungsstark, da der 2- dimensionale Gabor-Filter zur einen Hälfte das zu erkennende Objekt bedeckt und zur anderen Hälfte den Hintergrund bedeckt, so dass die Ränder des Objekts, z.B. eine Kontur eines Gesichts nur unscharf erkannt werden können.
Aus der WO 02/43004 A2 ist es bekannt, Objektkonturen mittels Basisfunktionen, wie z.B. Gabor-Wavelets zu transformieren und die Ähnlichkeit der Objekte mittels der Phasen und Amplituden der Transformierten zu ermitteln. Weitere Verfahren zur Bewertung der Ähnlichkeit realer Objekte sind aus der US 6,618,501 B1 und aus dem Artikel "Shape recognition based on wavelet-transform modulus maxima" (Cheikh, F.; Quddus, A.; Gabbouj, M.; Electronics, Circuits and Systems, 2000. ICECS 2000. The 7th IEEE International Conference on, Volume: 1 , 17-20 Dec. 2000) bekannt. Bei diesem Verfahren wird eine Kette von Stützpunkten entlang der Objektkontur erzeugt. Die Stützpunkte werden nach einem Satz von Basisfunktionen transformiert und die Ähnlichkeit anhand der Transformierten bestimmt.
Hiervon ausgehend liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zur Bewertung der Ähnlichkeit von Merkmalsvektoren zur Beschreibung realer Objekte in Form von Signalen mit ortsabhängig variierenden Eigenschaften, insbesondere für eine 2-D-Konturerkennung bereit zu stellen, bei welchem die Konturen der Objekte bzw. dessen Randlinien ähnlich zur menschlichen Wahrnehmung vergleichbar sind. Eine weitere Aufgabe der Erfindung ist es, einen Weg aufzuzeigen, wie die Konturdaten in Form von Merkmalsvektoren besonders effektiv miteinander verglichen werden können, so dass ein gegenüber dem Stand der Technik verbessertes Verfahren zur Erkennung von Objekten zur Verfügung gestellt werden kann.
Diese Aufgaben werden bei einem Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst.
Vorteilhafte Ausgestaltungen und Weiterbildungen dieses Verfahrens sind Gegenstand der abhängigen Patentansprüche.
Das erfindungsgemäße Verfahren umfasst im ersten Verfahrensschritt die Bildung von Sätzen 1-dimensionaler parametrisierter Daten (Stützpunktvektoren) für miteinander zu vergleichende erste und zweite Objekte. Ziel dabei ist es, ein neues Objekt mit einem einzelnen Objekt aus einer Gruppe von bereits erfassten Objekten zu vergleichen und die Ähnlichkeit des neuen Objekts mit den bereits gespeicherten Objekten zu bewerten. Grundlage der Bewertung ist die Kontur des neuen Objekts,
die aus einer Bildsignalinformation gewonnen wird. In der Bildverarbeitung ist die Erkennung von Konturen eines Objekts, d.h. die Bereitsteilung der Konturdaten Stand der Technik. Beispielsweise kann ein farbiges Bild in ein Grauwertbild umgewandelt werden. Aus dem Grauwertbild kann z.B. durch Anwendung weiterer Filter Rauschen entfernt werden. Über die Einstellung von Helligkeit und Kontrast ist es möglich, Konturen eines Objektes hervorzuheben. Im Rahmen der Patentanmeldung wird davon ausgegangen, dass diese Kontur grundsätzlich zur Verfügung steht.
Diese Kontur wird abgetastet, wobei auf der Kontur eine Kette von n=no,...,nN.! aufeinander folgender Stützpunkte erzeugt wird. In einem kartesischen Koordinatensystem besitzt jeder dieser Stützpunkte einen x-Wert und einen y-Wert, die jeweils mit dem Index des Stützpunkts versehen als Stützpunktvektoren X =
(X0,...,XN-I) und 7= (yo,...,yN-ι) abgespeichert werden. Diese Stützpunktvektoren enthalten jeweils N Komponenten. Wichtig für die Leistungsfähigkeit des erfindungsgemäßen Verfahrens ist die Aufteilung einer 2-D-Kontur in zwei einzelne 1-dimensionale Datensätze, d.h. in zwei Vektoren der Dimension Ν, die Grundlage der Vergleichsoperation sind. Zweckmäßig ist die Transformation der Stützpunktvektoren in den Frequenzraum, wobei ein Satz von m Basisfunktionen verwendet wird. Dies erfolgt insbesondere durch die Anwendung einer Gabor- Filterung, wobei für jeden angewendeten Gabor-Filter das Resultat in den Ortsraum rücktransformiert wird, um auf diese Weise komplexe Koeffizienten in den
Basisfunktionen zu bestimmen, die wiederum in Merkmalsvektoren ( der Länge m für jeden der Stützpunkte erfasst werden können. Diese Merkmalsvektoren f. der
Dimension 2 x mx enthalten komplexe Koeffizienten für den x-Wert als auch für den y- Wert.
Die Berechnung der Ähnlichkeit der Merkmalsvektoren erfolgt unter Berücksichtigung der Phasenähnlichkeit der einzelnen Vektorkomponenten (Koeffizienten) in der komplexen Ebene. Wesentlich ist bei dem erfindungsgemäßen Verfahren ist, dass nicht zuerst für die Ähnlichkeit aller x-Koeffizienten der miteinander zu vergleichenden Merkmalsvektoren und anschließend ein Maß für die Ähnlichkeit aller
y-Koeffizienten der miteinander zu vergleichenden Merkmalsvektoren berechnet und anschließend diese Ähnlichkeiten miteinander kombiniert werden, sondern dass für jede Basisfunktion, d.h. für jeden komplexen Koeffizienten des Merkmalsvektors jeweils getrennt nach x- und y-Merkmalen die Ähnlichkeit berechnet wird und anschließend die Ergebnisse multipliziert werden, so dass sich eine hohe Ähnlichkeit nur dann ergibt, wenn sowohl die Ähnlichkeit der jeweiligen komplexwertigen x- Koeffizienten in Verbindung mit der Ähnlichkeit der komplexwertigen y-Koeffizienten hoch ist. Die Berechnung der Ähnlichkeit erfolgt Komponentenweise, wobei im ersten Schritt die jeweiligen x- bzw. y-Koeffizienten der jeweiligen Merkmalsvektoren miteinander kombiniert werden. Als besonders leistungsstark hat es sich heraus gestellt, wenn bei der Berechnung der Ähnlichkeit der Merkmalsvektoren die Phasenähnlichkeit der miteinander zu vergleichenden komplexwertigen Koeffizienten berücksichtigt wird. Die Ähnlichkeit zweier komplexwertiger Koeffizienten wird also dadurch berechnet, dass der Betrag, d.h. die Länge der Vektoren miteinander multipliziert wird, wobei die Phaseninformation als Winkelfunktion, insbesondere als Kosinusfunktion der Phasendifferenz einfließt. Dieses Verfahren hat sich als wesentlich genauer herausgestellt als beispielsweise die Berücksichtigung des absoluten Abstands der Komponenten in der komplexen Zahlenebene. Auf diese Weise wird die Phasenähnlichkeit zwischen allen zu vergleichenden Koeffizienten der Merkmalsvektoren berechnet. Schließlich werden diese Werte für jede Komponente, d.h. für jede Basisfunktion miteinander multipliziert und schließlich aufsummiert, wobei sich ein Maß Ps für Phasenähnlichkeit ergibt. Dieser Wert wird zweckmäßigerweise in Relation zu einem Maximalwert Ms von Ps gesetzt, wobei der Maximalwert Ms dann gegeben ist, wenn die Phasendifferenz Null ist. Entsprechend berechnet sich der Maximalwert als Summe der Produkte der Beträge der einzelnen komplexzahiigen Komponenten der Merkmalsvektoren. Durch Division des Wertes für die Phasenähnlichkeit Ps durch den Maximalwert Ms erhält man einen normierten Ähnlichkeitswert Ss im Intervall [-1 , 1].
Da Ähnlichkeitswerte in Form von Wahrscheinlichkeiten üblicherweise in einem Intervall [0, 1] angegeben werden, kann optional eine zusätzliche Normierung des Ähnlichkeitswerts Ss gemäß der Gleichung in Patentanspruch 2 erfolgen.
Die Transformation der jeweiligen Stützpunktvektoren kann grundsätzlich nach unterschiedlichen 1-dimensionalen Basisfunktionen erfolgen, wobei sich durch die Aufspaltung der Stützpunktinformationen in Stützpunktvektoren für die x-Richtung als auch für die y-Richtung 1-dimensionale Gabor-Filter als besonders günstig herausgestellt haben. Gegenüber 2-D-Gabor-Filtem, bei denen eine Sinuswelle mit bestimmten Frequenzen und Richtungen im Gauß-Raum angewendet wird, gelingt es durch Verwendung eines 1 -D-Gabor-Filters Konturbereiche besonders gut zu erfassen. Der Grund ist darin zu sehen, dass bei dem erfindungsgemäßen Verfahren Texturinformationen ausgeblendet werden. Durch die Verwendung 1-dimensionaler Datensätze und entsprechend 1 -D-Gabor-Filter können die einzelnen Gabor- Koeffizienten für die x- und für die y-Werte der Stützpunkte separat berechnet werden, ohne dass die Textur des Objektes oder des an die Objektkontur angrenzenden Hintergrundes die in die Ähnlichkeitsbetrachtung einfließenden Merkmale, d.h. die komplexen Koeffizienten der Merkmalsvektoren, beeinflussen würde.
Die Durchführung der von Transformationen äquivalent zur 1 -D-Gabor-Wavelet- Transformation ist im Rahmen der Erfindung Gegenstand des Patentanspruchs 4. Hierzu wird zunächst eine Fourier-Transformation für jeden der Stützpunktvektoren
X und Y innerhalb der gewählten Grenzen durchgeführt. Die Grenzen der Fouriertransformation sind durch die Anzahl der Stützpunkte auf den zu vergleichenden Konturen vorgegeben. Die 1-D-Gabor-Wavelet-Transformation wird dadurch vollzogen, dass die fouriertransformierten Stützpunkte im Fourierraum mit dem Gabor-Kernel multipliziert werden und das Resultat einer Fourier- Rücktransformation unterzogen wird. Bei dem Gabor-Wavelet handelt es sich um eine ebene Welle mit der Frequenz k, die von einer Gauß-Funktion eingehüllt wird. Bei dem erfindungsgemäßen Verfahren beschreibt der Merkmalsvektor an einem bestimmten Stützpunkt der Kontur die benachbarte Verteilung der x-Werte bzw. y- Werte. Durch eine Mehrzahl von Merkmalsvektoren einer Kontur lässt sich die Kontur in parametrisierter Weise sehr gut beschreiben. Bei dem Gabor-Kernel gemäß Patentanspruch 4 ist m der Index eines jeden Gabor-Levels. Zweckmäßigerweise wird bei rechnergestützten Verfahren eine Maximalfrequenz kmax= 2π/λmin vorgegeben. Die einzelnen Frequenzen liegen in einem Abstand zueinander, der
durch den so genannten Größenfaktor / nach der Gleichung km= kmax (l/f)m beschrieben werden kann. Typische Werte für den Größenfaktor/sind 2 für Oktavenintervalle, Λ/2 oder 2 um ein sehr dichtes Sampeln im Frequenzraum zu erreichen. Wieviele unterschiedliche Gabor-Levels (mmax +1) verwendet werden sollten wird nach folgender Gleichung berechnet,
wobei mmax auf den nächstliegende ganze Zahl gerundet wird, und cD eine von einem Anwender vorgebbare Konstante ist. Die Konstante cD wird normalerweise auf den Wert 6 gesetzt, wobei der Abstand von 2 • σ links und rechts desjenigen Gabors mit der größten Wellenlänge fast ein Drittel der gesamten Kontur bedeckt. Durch eine höhere Konstante cD kann die Bedeutung bzw. der Einfluss kleinerer Konturdetails erhöht werden. In jedem Fall nimmt die Anzahl der Gabor-Level linear mit dem Logarithmus von Nzu.
Anschließend erfolgt eine Rücktransformation der Daten in den Ortsraum. Auf diese Weise erhält man sowohl für die x- als auch für die y-Richtung Konturvektoren. Die Konturvektoren besitzen N Komponenten entsprechend der Anzahl der Stützpunkte. Um bei einem Berechnungsverfahren einen Stützpunkt zu identifizieren, erfolgt dies nicht über seine absoluten x- und y-Werte, sondern lediglich über den Index n, d.h. seine Stellung innerhalb der Konturvektoren. Die Komponenten dieser Konturvektoren sind die jeweiligen Merkmalsvektoren der einzelnen Stützpunkte. Die Dimension dieser Merkmalsvektoren beträgt 2 x m entsprechend der Anzahl der x- und y- Koeffizienten.
Im Falle von geschlossenen 2-dimensionaien Konturen kann eine rotatorische Invarianz dadurch erzielt werden, dass die fouriertransformierten Stützpunktvektoren normalisiert werden. Hierzu muss ein Standardverschiebungswinkel gemäß der Gleichung in Patentanspruch 5 berechnet werden. In dieser Gleichung ist die
Phase des i-ten Fourier-Koeffizienten. Durch Rotation der Stützpunktvektoren X und
Y um den Winkel -p kann die Kontur in eine normalisierte Orientierung gedreht werden. Dies Verfahren kann durch die, Verwendung einer Rotationsmatrix Q beschrieben werden, wobei der Winkel p zwischen der Hauptachse der Kontur und der horizontalen Achse gemessen wird. Nach der Fourier-Transformation können X und Y unter Verwendung von Xrot und Yrot berechnet werden.
Es kann im Rahmen der Erfindung vorgesehen sein, eine Kontur um einen Vielzahl von Winkeln zu drehen, z.B. in Schritten von 5° bis 10° in einem Bereich von 0° bis 180°. Es ist auch denkbar ein Objekt um mehrere Raumachsen zu rotieren. Auf diese Weise kann von einem Objekt ein Datensatz mehrerer unterschiedlicher Konturen generiert werden, so dass die auf diese Weise gewonnen Konturdaten Grundlage eines späteren Abgleichprozesses sein können.
Eine weitere Aufgabe der Erfindung ist es, eine Möglichkeit aufzuzeigen, Merkmalsvektoren unterschiedlicher Länge sinnvoll miteinander zu vergleichen. Der Vergleich von Merkmalsvektoren identischer Länge ist unproblematisch. Die unterschiedliche Länge bedeutet, dass die Anzahl der Gabor-Level, d.h. der Index m für die einzelnen Merkmalsvektoren unterschiedlich ist. Am besten lässt sich die Problematik an einem Beispiel erläutern. Zwei miteinander zu vergleichende Konturen besitzen Ni und N2 Stützpunkte und eine dementsprechende Anzahl von Merkmalsvektoren an den einzelnen Stützpunkten. Um die Ähnlichkeit zweier Stützpunkte an einem Konturindex nj und n2 zu berechnen, betrachtet man die Merkmalsvektoren// undjS. Jeder dieser Merkmalsvektoren besitzt 2 x m bzw. 2 x m komplexzahlige Koeffizienten entsprechend der Anzahl der Basisfunktionen. Wenn die erste Kontur mit dem Index 1 neun Basisfunktionen und die zweite Kontur mit dem Index 2 sechs Basisfunktionen aufweist, ergeben sich vier unterschiedliche Möglichkeiten, die beiden Merkmalsvektoren miteinander zu vergleichen, d.h. der MerkmalsvektorjS kann an vier Positionen dem Merkmalsvektor/; gegenüber gestellt werden. Wenn dann bei der Vergleichsberechnung das Koeffizientenpaar x0, yo des ersten Merkmalsvektors und x0, yo des zweiten Merkmalsvektors gegenüber gestellt werden, dann handelt es sich um einen Vergleich auf der Skala s = 0. Wenn zuerst das Koeffizientenpaar x0, yo des zweiten Merkmalsvektors mit dem Koeffizientenpaar x3, y3 des ersten Merkmalsvektors für die Berechnung der Ähnlichkeit herangezogen
wird, dann handelt es sich um einen Vergleich auf der Skala 3. Die weiteren möglichen Positionen sind Vergleiche auf den Skalen 1 und 2.
Im Rahmen der Erfindung ist es vorgesehen, einen Iterationsprozess auf allen möglichen Skalen durchzuführen, wobei die Ähnlichkeit einer Gruppe von Merkmalsvektoren einer neuen Kontur auf einer festgelegten Skala zu einer bereits bekannten Kontur bestimmt wird und das Verfahren für alle möglichen Skalen wiederholt wird, wobei anschließend eine Entscheidung erfolgt, bei welcher Skala die größte Übereinstimmung zwischen den Merkmalsvektoren gegeben ist.
Im Rahmen der Erfindung ist es zur Berechnung der Ähnlichkeit von zwei Merkmalsvektoren auf einer Skala s vorgesehen, zuerst die maximale Anzahl der zur Verfügung stehenden Vergleichslevel zu berechnen. Hierzu wird der Minimalwert der Indizes der miteinander zu vergleichenden Vektoren berechnet: mm\n = min (mmaχ , mmax 2). Für jedes Level, d.h. für jeden Index m wird nun ein nicht normalisierter Ähnlichkeitswert Ss für die x- und die y-Koeffizienten des Merkmalsvektors berechnet. Wie bei dieser Berechnung die Phasendifferenz der komplexwertigen Koeffizienten einfließt und welche optionalen Möglichkeiten zur Normalisierung des Ähnlichkeitswerts möglich sind wurden bereits erläutert (vgl. Patentanspruch 1 und 2).
Im Rahmen des erfindungsgemäßen Verfahrens wird es als vorteilhaft angesehen, wenn die Sätze 1-dimensionaler parametrisierter Daten, d.h. die Stützpunktvektoren für die x- und die y-Richtung Stützpunkte einer die Kontur möglichst gut beschreibenden Funktion sind. Das heißt, dass die diskreten Konturpunkte durch äquidistant verteilte Stützpunkte eines interpolierten Funktionsgraphen ersetzt sind.
Im Rahmen der Erfindung kann ein im Gegenuhrzeigersinn orientierter geschlossener Graph sequentiell in eine Kette von benachbarten Knoten unterteilt werden, wobei jeder Knotenpunkt einem Pixel entspricht. Die Position eines solchen Pixels wird in einem kartesischen Koordinatensystem beschrieben. Um die diskreten Konturpunkte zu beschreiben, ist ein Interpolationsverfahren erforderlich, um die Kette von Pixel-Koordinaten in Funktionen sowohl für die x-Koordinate als auch für die y-Koordinate umzuwandeln. Die Länge des Graphs berechnet sich aus der
Summe der Abstände zwischen aufeinander folgenden Pixeln und wird dabei als Abszisse für die Parametrisierung verwendet. Das gewählte Interpolationsverfahren ist grundsätzlich beliebig und dient lediglich zur Vereinfachung der anschließenden Transformation der Stützpunktvektoren aus dem Ortsraum in den Frequenzraum. Im Rahmen der Erfindung wurde beispielsweise der B-Spline-Algorithmus verwendet. Hierbei handelt es sich um eine parametrisierte kubische Kurve, die durch Basisfunktionen darstellbar ist. Der Algorithmus arbeitet heuristisch, um automatisch eine ausreichende Anzahl von Knotenpunkten zu finden, um den B-Spline zu beschreiben. Da der maximale Abstand zweier benachbarter Pixel einer dicht abgetasteten Kontur 2 beträgt und bei einer Vorgabe, dass ein einzelnes
Knotenpunktintervall maximal die Länge 2 x 2 besitzt, ergeben sich N-7 Knotenpunktintervalle entsprechend N Knotenpunkten. Die Anzahl der Interpolationspunkte kann variieren. Welche Knotenpunkte als Stützpunkte tatsächlich zur Bewertung der Ähnlichkeit der Konturen herangezogen werden sollen, kann durch den Anwender des Verfahrens gesteuert werden. Zweckmäßigerweise sind die einzelnen Stützpunkte äquidistant auf den jeweiligen B-Spline angeordnet. Im Rahmen der Erfindung wird unter dem Begriff "Stützpunkt" einer Kontur sowohl der diskrete Konturpunkt innerhalb einer aufeinander folgenden Kette von Konturpunkten verstanden, als auch ein Interpolationspunkt eines B-Splines, der die diskrete Kette von Konturpunkten beschreibt.
Bei dem erfindungsgemäßen Verfahren werden alle Punkte einer Kontur oder einer die Kontur beschreibenden Funktion mit Hilfe eines Indizierungsvorgangs in eine sequentielle Reihenfolge gebracht, wobei der Index, beginnend bei 0, einen bestimmten Stützpunkt der Kontur bezeichnet. Um auf einen bestimmten Merkmalsvektor eines Stützpunktes zuzugreifen, erfolgt die Identifizierung über den entsprechenden Index dieses Stützpunktes. Um Ähnlichkeiten zwischen einem Merkmalsvektor eines bestimmten Konturpunktes mit Merkmalsvektoren einer anderen Kontur zu berechnen, ist es daher erforderlich, auf der neuen Kontur einen Indexbereich festzulegen, um die einzelnen Merkmalsvektoren bzw. Stützpunkte der Kontur zu identifizieren. Der Indexbereich repräsentiert einen Abschnitt der Kontur. Ein Abgleich erfolgt lediglich innerhalb des ausgewählten Indexbereiches. Die Alternative, nämlich jeden einzelnen Merkmalsvektor mit allen Merkmalsvektoren der
anderen Kontur zu vergleichen, erfordert einen erheblichen Rechenaufwand und ist nicht effektiv. Anstelle dessen wird ein begrenzter Indexbereich einer bereits gespeicherten Kontur (Galerie-Kontur) ausgewählt. Durch die Verwendung eines Indexbereichs ist es möglich, das erfindungsgemäße Verfahren sehr flexibel auf unterschiedlichste Konturen anzuwenden, wobei bei diesem Verfahren die Bestimmung von Ähnlichkeiten zweier Konturen allein anhand signifikanter Teilkonturen möglich ist.
Das erfindungsgemäße Verfahren ermöglicht eine translations- und skalierungsinvariante, d.h. mit der menschlichen Wahrnehmung vergleichbare Erkennung von partiell vorhandenen Konturen, selbst wenn diese bis zu einem bestimmten Grad durch zusätzliche Informationen bzw. Störungen überlagert sind. Bestehende Verfahren, die in der Lage sind, starre komplette Konturen unter verschiedenen Invarianzbedingungen wieder zu erkennen, haben Probleme, falls Teile der Kontur verdeckt sind oder von einem anderen Objekt überlagert sind. Umgekehrt können bei Verfahren, die Teilkonturen erkennen, nur schwer Normalisierungen erfolgen, da diese ja von Konturteilen maßgeblich abhängen können, die gar nicht bekannt sind. Insbesondere bei artikulierten Objekten, wie im Fall von "Quasi-Stabilen-Konturen" z.B. Menschen, bei denen die einzelnen Körperteile unterschiedliche Relativlagen einnehmen können, kann es schwierig sein, zu versuchen, dieses Objekt "Mensch" mit Hilfe seiner Gesamtkontur wieder zu erkennen, da es zu viele Kombinationen einzelner Stellungen von Körperteilen gibt. Durch die Erkennung von Teilkonturen, insbesondere von Konturen einzelner Körperteile kann dieses Problem mit dem erfindungsgemäßen Verfahren gelöst werden. Eine wesentliche Aufgabe der Erfindung ist daher, ein verbessertes Verfahren zur Konturerkennung aufzuzeigen.
Herkömmliche Komplett-Kontur-Erkennungsverfahren versagen weiterhin, falls die Daten der Kontur unvollständig sind, z.B. nur ein halber Mensch oder nur ein halbes Auto zu sehen ist. Des Weiteren versagen bekannte Verfahren auch dann, wenn sich zwei Objekte überlagern, wenn z.B. noch ein Mensch, noch ein Fisch, etc. einen anderen überdeckt. So lange allerdings noch signifikante Teilkonturen vorhanden sind, kann das erfindungsgemäße Verfahren das teilverdeckte Objekt identifizieren bzw. verschiedene Objekte voneinander unterscheiden. Mit einer Datenbank aus Konturen von bestimmten Profilen, wie z.B. Gesichtskonturen kann das Verfahren
die einzelnen Gesichtskonturen und damit die Gesichter einzelner Menschen anhand der Konturen identifizieren. Das Verfahren leistet insbesondere eine Klassifizierung von Objekten anhand der Auswertung von Teilkonturen als ähnlich, genau so wie ein Mensch Objekte anhand ihrer Teilkonturen erkennt und ebenfalls als ähnlich klassifizieren würde. Insbesondere ist das erfindungsgemäße Verfahren auf beliebig konturierte Objekte anwendbar und nicht ausschließlich auf einen bestimmten Objekttyp, wie beispielsweise auf das Profil eines Gesichts beschränkt.
Ein wichtiges Merkmal des erfindungsgemäßen Verfahrens ist die Topologie- erhaltung der miteinander zu vergleichenden Konturen. Topologieerhaltung bedeutet im Rahmen der Erfindung, dass eine neue Kontur mit einer Galerie-Kontur verglichen werden kann, wobei die relative Länge, entsprechend der Anzahl der Stützpunkte, der jeweils miteinander zu vergleichenden Konturen, auch im Ergebnis erhalten bleibt. Es ist vorgesehen, die Proportionalität der Konturen bei der Berechnung der Ähnlichkeiten dadurch zu berücksichtigen, dass ein Merkmalsvektor der einen Kontur mit einer größeren Anzahl von Merkmalsvektoren in einem bestimmten Bereich der anderen Kontur verglichen wird. Die unterschiedliche Länge der Konturen bzw. die unterschiedliche Anzahl der Stützpunkte wird durch die Skala der Merkmalsvektoren deutlich. Die Skalendifferenz ist umso größer, je größer der Längenunterschied der miteinander zu vergleichenden Konturen oder Konturabschnitte ist. Die Skala ergibt sich aus der Gesamtkonturlänge der miteinander zu vergleichenden Konturen sowie der Anzahl der Gabor-Levels. Anschaulich kann man sich vorstellen, dass bei einem beispielhaft gewählten Größenfaktor von 1 ,4142 mit der nächstkleineren Frequenz eine Verbreiterung der Gabor-Funktion um diesen Faktor einhergeht, so dass eine um 41 ,42% längere Kontur erfasst werden kann. Vergleicht man diese beiden Konturen miteinander, würde der zusätzliche Größenfaktor zu einem weiteren Gabor- Level und damit zu einer Skala s = 1 führen. Je größer die Längenunterschiede der miteinander zu vergleichenden Konturen oder Konturabschnitte, desto größer ist grundsätzlich auch die maximale Skalendifferenz der Merkmalsvektoren. Große Skalendifferenzen bedeuten allerdings einen erhöhten Rechenaufwand, so dass grundsätzlich ein Abgleich auf der Skala 0 angestrebt wird. Insbesondere kann bei dem erfindungsgemäßen Verfahren von vornherein die gewünschte Skala festgelegt werden, auf welcher ein Abgleich erfolgen soll. Insbesondere wenn es sich um gleich
lange oder im Wesentlichen gleich lange Konturen handelt, ist ein Abgleich auf der Skala 0 zu empfehlen, da mit dem erfindungsgemäßen Verfahren bereits bei einer Skala 0 sehr gute Ähnlichkeitswerte berechenbar sind.
Nachfolgend wird das erfindungsgemäße Verfahren an einem Beispiel erläutert. Es sollen zwei Konturen miteinander verglichen werden. Die eine Kontur ist die so genannte Galerie-Kontur, die in einem Datenspeicher abgelegt ist. Die Galerie- Kontur weist nG äquidistant verteilte Stützpunkte auf. nc ist die Anzahl der Stützpunkte der neuen Kontur, die mit der Galerie-Kontur verglichen werden soll. Die Indizes der Stützpunkte der neuen Kontur können in Rs Regionen mit der Größe nf=nc/R aufgeteilt werden, wobei alle Regionen gleich groß sind. Mit dr (nj) wird der Mittelpunkt der jeweiligen Region beschrieben. Ziel ist es nun, einen Bereich von Indizes der Galerie-Kontur zu finden, mit welcher der ausgewählte Merkmalsvektor der neuen Kontur verglichen werden soll. Die Breite eines Bereichs bzw. der Abstand zwischen den Mittelpunkten zweier Bereiche wird als Δdr bezeichnet. Für die Bestimmung der Lage eines Bereichs wird zunächst ein Basisindex cMdr eines Bereichs Rs gemäß den Gleichungen in Patentanspruch 6 berechnet. Die Berechnung der Bereichsgrenzen erfolgt unter Verwendung des Größenfaktors wobei die Bereichsgrenzen in Abhängigkeit von der Skalendifferenz der miteinander zu vergleichenden Konturen gewählt werden. Die entsprechenden Gleichungen finden sich in Patentanspruch 6. Je nachdem, ob die Galerie-Kontur oder die neue Kontur mehr Stützpunkte aufweist, ergeben sich eine erste und eine zweite Gleichung für die Berechnung des Basisindex cM sowie für die Faktoren pmar und pfar. In diesen Gleichungen ist cc ein durch einen Benutzer festsetzbarer Sicherheitsfaktor, der einen Toleranzbereich eines Bereichs definieren kann. c0 ist ein zusätzlicher konstanter Korrekturfaktor. Aus den Gleichungen geht hervor, dass mit zunehmender Skala die Bereichsgrenzen um einen bestimmten Faktor kleiner werden, so dass bei einem Abgleich auf unterschiedlichen Skalen jeweils unterschiedliche Bereiche für jede Skala berechnet werden.
Wesentlich bei dem erfindungsgemäßen Verfahren ist, dass die Indizes dr(nj) nicht nur für einen Grobabgieich, sondern auch für den kompletten Konturabgleich verwendet werden. Die berechneten Indizes dienen gleichzeitig als Grundlage für
den Offset, das heißt für die Indexverschiebung des Index 0, der wiederum gleichzusetzen ist mit dem Startpunkt der Kontur.
Beim Abgleich von Konturen ist grundsätzlich vorgesehen, dass in einem ersten Schritt ein Grobabgleich und in einem sich anschließenden zweiten Schritt ein Feinabgleich durchgeführt wird. Durch den Grobabgleich soll festgestellt werden, in welchem Bereich voraussichtlich die größten Übereinstimmungen der Merkmalsvektoren festzustellen sind. Diese gestaffelte Vorgehensweise ist wesentlich effektiver als jeden Merkmalsvektor der einen Kontur mit jedem Merkmalsvektor der anderen Kontur unmittelbar zu vergleichen. Bei dem Grobabgleich wird im Anschluss an die Bereichsbildung, wie sie in den Schritten a) bis c) des Patentanspruchs 6 beschrieben ist, für jeden Merkmalsvektor jedes i-ten Stützpunkts aus dem gewählten Bereich der zweiten Kontur ein Ähnlichkeitswert mit dem Merkmalsvektor am ausgewählten Stützpunkt dr der ersten Kontur berechnet. Die Berechnung des Ähnlichkeitswerts erfolgt gemäß den Gleichungen in den Patentansprüchen 1 oder 2. Der höchste sich in einem Bereich ergebende Ähnlichkeitswert wird ausgewählt und zwischengespeichert. Der Grobabgleich besteht darin, dass nicht jeder Stützpunkt des Bereichs zur Berechnung eines Ähnlichkeitswerts herangezogen wird, sondern eine Anzahl, die kleiner ist als die Gesamtzahl der Stützpunkte in dem Bereich. Für alle Stützpunkte dr werden entsprechende Bereiche und höchste Ähnlichkeitswerte berechnet und abschließend wird der arithmetische Mittelwert aus den jeweils höchsten Ähnlichkeitswerten der einzelnen Bereiche berechnet. Dieser Mittelwert ist ein Maß für die Ähnlichkeit der beiden Konturen, allerdings in Abhängigkeit von der gewählten Bereichsbildung und Anordnung. Dieser Ähnlichkeitswert ist somit abhängig von der Wahl der Startindizes der jeweiligen Konturen. Um einen Ähnlichkeitswert unabhängig von dem willkürlich festgesetzten Startindex zu erhalten, ist im Rahmen des Patentanspruchs 7 vorgesehen, dass die berechneten Bereiche um einen wählbaren Offset O verschoben werden. Die Lage des Offsets wird durch eine Indexverschiebung bestimmt. Es ergeben sich abhängig von dem gewählten Offset unterschiedliche Ähnlichkeitswerte, wobei aus allen errechneten Ähnlichkeitswerten der höchste Ähnlichkeitswert ausgewählt wird. Auf diese Weise wird ein finales Offset 0Fiml für finale Suchbereiche definiert, in denen der Feinabgleich erfolgt. Im Unterschied zum
Grobabgleich wird bei einem topologieerhaltenden Feinabgleich jeder Stützpunkt aus den entsprechenden Bereichen zur Berechnung des Ähnlichkeitswerts herangezogen und auf dieser Basis die Gesamtähnlichkeit berechnet. Die verschiedenen Offsets werden mit einem Inkrement ine > 1 gestestet. Wenn ein finales Offset cfιnal gefunden wurde wird ine = 1 gesetzt und noch mal verglichen.
Im Rahmen des Patentanspruchs 8 ist vorgesehen, dass der Feinabgleich für jede sinnvolle Skala durchgeführt wird und nicht ausschließlich auf der Skala Null erfolgt, wenn die Skalendifferenz größer als Null ist. Der skalenabhängig höchste Ähnlichkeitswert wird zur Angabe der Gesamtähnlichkeit herangezogen.
Im Rahmen des Patentanspruchs 9 wird eine Ähnlichkeit zwischen zwei Konturen bei Überschreiten eines vorgebbaren Schwellenwerts dann bejaht, wenn ein vorgebbarer prozentualer Anteil von einander benachbarten Merkmalsvektoren der einen Kontur einen hinreichenden Ähnlichkeitswert mit einander benachbarten Merkmalsvektoren der anderen Kontur aufweist. Dieses Verfahren wird im Rahmen der Erfindung als Percent-matching bezeichnet. Beim Percent-matching geht man davon aus, dass eine Ähnlichkeit angenommen werden kann, wenn eine bestimmte Anzahl von benachbarten zueinander im Abstand angeordneten Merkmalsvektoren mit Merkmalsvektoren einer anderen Kontur mit hinreichender Wahrscheinlichkeit korrespondieren. Bei einer kompletten Konturerkennung mit gleichmäßig beabstandeten Merkmalsvektoren entspricht der prozentuale Anteil der Kontur dem prozentualen Anteil der Merkmalsvektoren der Kontur. Wenn die Merkmalsvektoren hingegen nicht gleichmäßig beabstandet sind, kommt es ausschließlich auf den prozentualen Anteil der Merkmalsvektoren an, die in diesem Fall nicht mit einem prozentualen Anteil der Konturlänge deckungsgleich sein müssen.
Das Percent-matching bietet sich beispielsweise an, wenn zwei Objekte überlagert sind und nur das teilweise sichtbare Objekt analysiert werden soll. Von dem Gesamtobjekt ist nur ein Teil der Gesamtkontur erkennbar, der als prozentualer Anteil ausgedrückt werden kann. Es ist möglich, dass der prozentuale Anteil der Gesamtkontur signifikante Merkmale aufweist, so dass eine Identifizierung der Gesamtkontur anhand dieser signifikanten Konturmerkmale möglich ist. Es kann nun durch Benutzervorgabe festgelegt werden, dass die Ähnlichkeit mit einer Galerie-
Kontur bejaht wird, wenn ein bestimmter prozentualer Anteil der Konturlänge der neuen Kontur mit einem entsprechenden prozentualen Anteil der Galerie-Kontur übereinstimmt. Auf diese Weise kann eine bestimmte Wahrscheinlichkeit angegeben werden, dass die neue Kontur der in der Galerie-Kontur gespeicherten Gesamtkontur entspricht, obwohl die neue Kontur teilweise verdeckt ist. Versuche haben gezeigt, dass die Erfolgsquoten bei diesem Verfahren bei über 80 % liegen.
Mit dem erfindungsgemäßen Verfahren ist es möglich, Konturen aufgrund vorgebbarer Ähnlichkeitskriterien zu gruppieren.
Eine andere Vorgehensweise ist es, bestimmte Konturabschnitte vorzugeben, sei es durch diskrete Auswahl der Abschnittsgrenzen, durch die Angabe der Abschnittsbreite und Festlegung eines Startpunkts, wie z.B. des Mittelpunkts eines Abschnitts oder einer Abschnittsober- bzw. -untergrenze mit zusätzlicher Richtungsangabe. Im Unterschied zum Percent-matching, bei welchem automatisch derjenige Bereich herausgesucht wird, in dem sich die größten Übereinstimmungen herausstellen, wird bei der diskreten Eingabe eines Konturabschnitts ausschließlich in diesem Bereich das erfindungsgemäße Verfahren zu Bewertung von Merkmalsvektoren angewendet (Patentansprüche 9 bis 12).
Die technische Verwendung dieses Verfahrens ist z.B. im Bereich eines Erkennungssystems für auf einem Transportmittel an einer Kamera vorbeigeführten Objekten zu sehen, deren Konturen zumindest teilweise sichtbar sind und bei welchem anhand der Gesamtkontur oder Teilkontur eine Objektidentifizierung mit einer gewissen Wahrscheinlichkeit möglich ist. Eine Weiterbildung eines solchen Erkennungssystems ist darin zu sehen, dass anhand der identifizierten Teilkontur auf die räumliche Lage des Gesamtobjekts geschlossen werden kann, bzw. Informationen für ein nachfolgendes Bearbeitungssystem, wie z.B. ein Mittel zu Handhabung des Objekts zur Verfügung gestellt werden können. Grundsätzlich kann die Kamera auch relativ zu einem zu erfassenden Objekt bewegt werden, wie z.B. bei einem digitalen Erkennungssystem zur Auswertung von Luftbildinformationen, insbesondere im Rahmen einer Steuerung eines Flugobjekts, das entsprechende technische Mittel zur Erfassung von Luftbildern und Mittel zur technischen Durchführung des erfindungsgemäßen Verfahrens beinhaltet, wobei die Ergebnisse
der Objekterkennung in die Berechnung der Flugverlaufs, d.h. die Steuerung des Flugobjekts einfließen. Umgekehrt kann die technische Verwendung des erfindungsgemäßen Verfahrens auch in einer Auswertung von Bildinformationen von Flugobjekten zu sehen sind, die von einer stationären Kamera erfasst worden sind, und mit verbesserter Trefferwahrscheinlichkeit mit Referenzbildern einer Datenbank rechnergestützt abgleichbar sind, um in Abhängigkeit von der Ähnlichkeit in möglichst kurzer Zeit Informationen für einen insbesondere militärischen ggf. technisch automatisierten Entscheidungsprozess bereitzustellen.
Ein weiterer Anwendungsbereich des erfindungsgemäßen Verfahrens ist in der Extraktion von biologischen Strukturen anhand ihrer Konturen zu sehen, wie z.B. bei der Auswertung von Bildern, insbesondere von Schnittbildern, hinsichtlich ggf. enthaltener Anomalitäten, wie z.B. Tumore, Einschlüsse etc.
Anhand der nachfolgenden Beispiele werden beispielhaft weitere mögliche Anwendungsfälle des erfindungsgemäßen Verfahrens erläutert.
Figur 1 zeigt eine rotierte und skalierte Silhouette eines Meerestiers. Mit dem erfindungsgemäßen Verfahren soll festgestellt werden, ob eine Ähnlichkeit zu einer bereits gespeicherten Galerie-Kontur besteht. Bei diesem Beispiel werden die kompletten Konturen miteinander verglichen. Die Anzahl der Interpolationspunkte, d.h. die Anzahl der Merkmalsvektoren wurde auf den benutzerdefinierten Wert 1.536 gesetzt. Des Weiteren wurde eine Konstante von 25 vorgegeben. Teilt man die Anzahl der Interpolationspunkte durch 25, erhält man die Anzahl der Merkmalsvektorpositionen, die bei einem Grobabgleich miteinander verglichen werden sollen. Das Vergleichsverfahren selbst wurde auf der Skala 0 durchgeführt. Die Parameter der Gabor-Transformation sind σ= 3,1414 und/= 1 ,414, wobei /der Größenfaktor zwischen zwei Gabor-Levels in der Gabor-Transformation ist. Bei diesem Versuch wurden 100 Silhouetten von Meerestieren rotiert und skaliert und mit 1.100 in einer Datenbank gespeicherten Silhouetten verglichen. Es hat sich gezeigt, dass die Erkennungsrate bei 99% liegt. Figur 2 zeigt Punkt-zu-Punkt-Verbindungen zwischen den zu vergleichenden Silhouetten. Die Verbindungslinien verbinden diejenigen Punkte, bei denen die besten Abgleichergebnisse ermittelt werden konnten.
Im zweiten Ausführungsbeispiel (Figuren 3 und 4) gilt es, ein Profil eines menschlichen Gesichts zu erkennen. Hierbei wird ein bestimmter Teilbereich der Kontur herangezogen und mit einer neuen Kontur verglichen. Figur 4 zeigt, dass das rechte Profil insgesamt größer ist d.h., dass der interessierende Bereich der Gesichtskontur insgesamt länger ist. Um die Konturen zu vergleichen, wurde ein signifikanter Konturabschnitt dadurch selektiert, dass ein Pixel ausgewählt wurde und derjenige Punkt der Kontur, der diesem Pixel am nächsten liegt, als Startpunkt bzw. Basismerkmalsvektor dient. Es handelt sich um den Basisindex. Zehn zusätzliche Merkmalsvektoren, d.h. fünf zur linken Seite und fünf zur rechten Seite des Basisindexes werden in diesem Fall für das Abgleichverfahren verwendet. Der Abstand vom Basisindex ist durch eine benutzergegebene Konstante (in diesem Fall 50) definiert, so dass nur eine reduzierte Anzahl von Merkmalsvektoren in die Vergleichsbetrachtung einfließt. Der Abgleichalgorithmus selbst wurde auf allen möglichen Skalen durchgeführt, da in diesem Ausführungsbeispiel eine unterschiedliche Konturlänge vorhanden war. Die Parameter der Gabor- Transformation waren σ = 3,1414 und = 1 ,414. Grundsätzlich ist die Länge der Konturen nicht so stark unterschiedlich, dass ein Abgleich auf allen möglichen Skalen erforderlich ist. Vielmehr wäre auch ein Abgleich auf den Skalen 0 und 1 ausreichend gewesen. Grundsätzlich ist im Rahmen des erfindungsgemäßen Verfahrens jedoch vorgesehen, bei Konturen unterschiedlicher Länge einen Abgleich auf allen relevanten Skalen durchzuführen.
Ein weiteres Beispiel zur Auswahl eines diskreten zu untersuchenden Konturabschnitts zeigen die Figuren 5 und 6. Hierbei soll eine neue Handgeste, wie sie in Figur 5 gezeigt ist, mit einer bekannten, d.h. bereits gespeicherten Handgeste verglichen werden. Auch in diesem Fall wurde ein Pixel in der Nähe der zu untersuchenden Kontur ausgewählt, wobei der nächstliegende Konturpunkt als Basisindex dient. Beiderseits um diesen Basisindex herum wurden insgesamt zehn zusätzliche Merkmalsvektoren, d.h. fünf zur linken und fünf zur rechten Seite für das Abgleichsverfahren ausgewählt. Der Abstand der Merkmalsvektoren ergibt sich durch eine benutzergegebene Konstante. Auch in diesem Beispiel wurden Abgleiche auf allen möglichen Skalen durchgeführt, da die Größe der Konturen wiederum unterschiedlich war.