Bildregistrierung
Die vorliegende Erfindung betrifft ein Verfahren zur Definition eines gemeinsamen Bezugsystems in einem Satz von Volumendaten, die einen Bereich des Kiefers eines Patienten repräsentieren und die mit einem durchleuchtenden bildgebenden Verfahren aufgenommen sind, und einem Satz Oberflächendaten, die zumindest zum Teil denselben Bereich des Kiefers des Patienten repräsentieren und die mit einem Verfahren zur Aufnahme sichtbarer Oberflächen aufgenommen sind.
Eine solche „Registrierung" zweier Datensätze ist immer dann nötig, wenn diese mit verschiedenen Systemen und/oder zu unterschiedlichen Zeiten erstellt wurden und sich aus der Überlagerung der Datensätze für die Behandlung relevante Informationen ergeben. So werden beispielsweise zur Planung einer Operationen, beispielsweise einer Implantation, computertomographische (CT) oder Cone- Beam Röntgen-Aufnahmen vom Kiefer eines Patienten angefertigt, die detaillierte anatomische Information enthalten. Andererseits werden zur Planung und Fertigung der dentalen prothetischen Versorgungen unmittelbar vom Kiefer oder von einem Abdruck des Kiefers 3D Oberflächen Aufnahmen mit einer optischen Aufnahmeeinheit, beispielsweise einer CEREC Messkamera der Firma Sirona Dental Systems GmbH, angefertigt. Im Gegensatz zu den tomographischen Aufnahmen enthalten diese Oberflächendaten genaue Information über den Verlauf der sichtbaren Oberfläche des Kiefers, insbesondere der Oberfläche der
Zähne und der Schleimhaut. Durch diese Verfahren wird somit die sichtbare Oberfläche exakt erfasst.
Die Kombination (Fusion) dieser beiden Datensätze erbringt wertvolle Zusatzinformation, die sowohl bei der Planung und Umsetzung der Operation als auch bei der Planung und Fertigung der prothetischen Versorgungen genutzt werden kann. Es sind bislang nur Verfahren zur Registrierung solcher Datensätze bekannt, die sich der Hilfe von Modellen, Markern oder ähnlicher mechanischer Hilfsmittel bedienen.
Aus einer Veröffentlichung (Nkenke E., Zachow, S. et al.: Fusion of Computer tomography data and optical 3D images of the dentition for streak artefact correction in the Simulation of Orthognathie surgery. Dentomaxillofacial Radiology (2004), 33, 226-232) ist ein Prototyp der Registrierung eines Röntgendatensatzes des Kiefers und des Oberflächendatensatz eines entsprechenden Gipsmodells bekannt. Dabei wird zunächst aus der Röntgenaufnahme des Gipsmodells die sichtbare Oberfläche, also die Oberfläche der Zähne und der Schleimhaut, extrahiert, bevor diese anschließend mit der Oberfläche aus der optischen Aufnahme mit Hilfe eines ICP-Algorithmus („Iterative Closest Point") registriert wird. Dieses Verfahren ist in der Praxis jedoch kaum einsetzbar, weil die Extraktion der Oberfläche aus dem Röntgendatensatz eines realen Patienten ungenau ist, so dass die Anforderungen an eine präzise Registrierung der Oberflächen nicht erfüllt sind.
Zudem ist die Verwendung von Referenzkörpern (Markern) bekannt. Allerdings werden Marker wegen der damit verbundenen Probleme der Befestigung und der Unannehmlichkeiten für den Patienten nur eingesetzt, wenn keine einfachere Möglichkeit gegeben ist. So offenbart beispielsweise das US 5,842,858 ein Verfahren, bei dem der Patient während der Röntgenaufnahme eine Schablone mit Markern trägt, die anschließend auf das Modell, an das ein Sensor zur SD- Lageerfassung angebracht ist, gesetzt wird. Nach der Bestimmung der Lagebeziehung zwischen dem Sensor und den Markem kann die Schablone
abgenommen und eine optische Aufnahme durchgeführt werden. Dabei ermöglicht der 3D-Sensor die Registrierung im Verhältnis zur Patientenaufnahme.
Aufgabe der Erfindung ist es nunmehr, ein Verfahren zur Registrierung eines Satzes von Volumendaten eines realen Patienten und einem Satz entsprechender Oberflächendaten zu schaffen, das sich einfach und komfortabel ohne weitere Hilfsmittel auch unmittelbar vom behandelnden Arzt umsetzen lässt.
Diese Aufgabe wird durch das Verfahren nach Anspruch 1 gelöst. Vorteilhafte Ausführungsformen sind in den Unteransprüchen genannt.
Der wesentliche Grundgedanke der Erfindung lässt sich folgendermaßen umschreiben: Ausgehend von den tomographisch aufgenommenen Volumendaten und den Oberflächendaten werden beide Datensätze vorteilhafterweise gemeinsam in einem Bild oder gegebenenfalls auch in zwei getrennten Bildern auf einem Bildschirm dargestellt, wobei die gegenseitige Orientierung der darin ersichtlichen Objekte zunächst noch relativ unerheblich ist. Bei den Objekten handelt es sich idealerweise um Zähne, die in beiden Darstellungen gut erkennbar sind. Am Bildschirm wird in einer Art Vorpositionierung eine Darstellung eines markantes Objektes „manuell", beispielsweise durch Führen mittels eines Cursers, so gut wie möglich über die andere Darstellung des Objektes gelegt. Daraufhin wird mittels einer Transformationsfunktion eine aus den Volumendaten extrahierte markante Volumenstruktur, die beispielsweise von Kanten des Objektes gebildet wird, mit der entsprechenden Struktur der Oberflächendaten, nachfolgend Oberflächenstruktur genannt, möglichst weitgehend in Deckung gebracht, wobei ein Maß für die Güte der Deckungsgleichheit definiert wird und wobei die extrahierte Struktur in iterativen Schritten unter Optimierung des Gütemaßes an die in den Oberflächendaten ersichtliche Oberflächenstruktur angepasst wird.
Der erfindungswesentliche Gedanke liegt somit darin, die komplette relevante Information aus dem Röntgen Volumen-Datensatz zu behalten und in eine andere Volumen-Form, nämlich die der markanten Volumenstruktur, zu wandeln. Diese ermöglicht dann den direkten Vergleich mit der entsprechenden Stelle auf der
Oberfläche der optischen Aufnahme. Auf die erfindungsgemäße Weise werden die Koordinaten der optischen Aufnahme mit den Koordinaten der Röntgenaufnahme automatisch durch Iteration zur Deckung gebracht. Die Erfindung stellt damit ein Verfahren dar, das eine präzise und automatisierte Registrierung einer optischen Aufnahme mit einer Röntgen-Aufnahme eines Patienten ermöglicht. Mit diesem Verfahren kann die Registrierung, bei der die optische Aufnahme mit der tomographischen Aufnahme räumlich in Deckung gebracht wird, ohne Verwendung von jeglichen externen Referenzkörpern, physikalischen Modellen, wie Gipsmodellen, oder mechanischen Vorrichtungen durchgeführt werden. Diese Registrierung ist weitgehend automatisiert und kann mit einem Zeitaufwand in der Größenordnung von etwa 15-30 Sekunden durchgeführt werden.
Die solchermaßen durchgeführte Fusion der beiden Datensätze ist hilfreich sowohl für die Planung als auch für die Durchführung der Operation und kann ebenso bei prothetischen Versorgungen genutzt werden. So kann beispielsweise bei Implantatplanung zusätzlich zu der anatomischen Information aus dem Röntgen- Datensatz auch der genaue Verlauf der Oberfläche der Schleimhaut berücksichtigt werden, der, wie schon gesagt, in den mit Röntgen Strahlen aufgenommenen Volumendaten nicht in dem gewünschten Maß erkennbar ist. Eine andere Anwendung liegt darin, beim Einsatz des CEREC Systems auch die prothetische Information einzublenden und eine sowohl anatomie- als auch prothetikbasierte Implantatplanung durchzuführen. Außerdem können Artefakte in Röntgen- Datensätzen reduziert werden, die beispielsweise durch metallische Füllungen verursacht werden. Durch die Fusion des Datensatzes mit einer optischen Aufnahme des Kiefers die komplett frei von jeglichen metallischen Artefakten ist können die äußeren Konturen des Patientendatensatzes bei gleichzeitiger Darstellung der relevanten Volumeninformation korrekt wiedergegeben werden.
Für eine weitgehend automatische Vorpositionierung ist es besonders vorteilhaft, wenn der Nutzer in der ersten Darstellung der beiden Datensätze Referenzpunkte auf dem oder den Objekten definiert. Diese können dann durch das Grafikprogramm übereinandergelegt werden, so dass schon eine erste Nährung
einer Überdeckung der Datensätze gegeben ist. Die Genauigkeit braucht in diesem Stadium noch nicht sonderliche genau sein, sondern muss nur innerhalb einer gewissen Toleranz liegen. Für diese automatische Vorpositionierung wird mindestens ein erster Referenzpunkt auf der Oberfläche des in den Volumendaten dargestellten Objektes, insbesondere auf der Oberfläche eines Zahnes, und mindestens ein zweiter Referenzpunkt an zumindest nahezu derselben Stelle auf der Oberfläche desselben auch in den Oberflächendaten sichtbaren Objektes, insbesondere desselben Zahnes, definiert. Wie dargelegt, werden in der automatischen Vorpositionierung die sich auf dem Objekt entsprechenden Referenzpunkte mittels einer automatisch berechneten Transformation möglichst weitgehend übereinander gelegt. Je nach Anzahl der Referenzpunkte entspricht diese Transformation vorteilhafterwise einer analytisch ermittelten Verschiebung (ein Referenzpunkt) oder Verschiebung mit Rotation (zwei Referenzpunkte) oder einer mittels eines Least-Square-Minimierungsverfahren (auch als "Punkt-basierte Registrierung" bekannt) ermittelten Verschiebung mit Rotation (drei und mehr Referenzpunkte). Vorteilhafterweise werden die Referenzpunkte vom betrachtenden Nutzer am Bildschirm mittels eines über den Bildschirm beweglichen Cursors, insbesondere mittels Maus-Klicks, definiert.
Der Nutzer kann beim Setzen der Referenzpunkte von der Software unterstützt werden. So können beispielsweise geeignete Referenzpunkte in den Oberflächendaten automatisch von der Software vorschlagen werden, wobei es dann die Aufgabe des Nutzers ist, die korrespondierende Referenzpunkte in dem Volumendatensatz zu markieren.
Nachfolgend wird die erfindungsgemäße Vorgehensweise anhand der Figuren 1 bis 9 näher erläutert. Dabei zeigen
Figur 1 die initiale Position der optischen Oberflächen-Aufnahme und der Röntgen-Aufnahme im Raum,
Figur 2 das Markieren der Position der Nachbarzähne auf der Oberfläche der optischen Aufnahme und im Volumen der Röntgen-Aufnahme,
Figur 3 die Extraktion der 3D Test-Punkte aus der optischen Oberflächen- Aufnahme,
Figur 4 die Extraktion des 3D Test-Volumens aus der tomographischen Aufnahme,
Figur 5 die Generierung eines optional geglätteten 3D Kantenbildes aus dem 3D Test-Volumen,
Figur 6 die Übertragung der extrahierten Test-Punkten in das Test-Volumen,
Figur ? die Automatische Suche nach einer geeigneten Transformation (Verschiebung in 3D + Rotation in 3D), die die extrahierten Punkte mit den Kanten im Test-Volumen in Deckung bringt,
Figur 8 das Ergebnis der automatischen Optimierung und
Figur 9 die Übertragung der berechneten Transformation auf die komplette optische Aufnahme.
Figur 1 zeigt die anfängliche Situation. Auf einem Bildschirm sind tomographisch aufgenommene Volumendaten des Kieferbereiches eines Patienten dargestellt. In diese Darstellung sind mit einem optischen Verfahren aufgenommene Oberflächendaten eines Teilbereiches eingeblendet, wobei diese Oberflächendaten ersichtlich an der „falschen" Stelle sitzen, da sie zwei Zahnfragmente aus dem Unterkiefer zeigen. Die Daten werden mittels eines Programms eingelesen, die es auch ermöglicht, beide Datensätze in einer 3D Ansicht in deren ursprünglichen Position interaktiv aus verschiedenen Blickwinkeln zu betrachten.
In Figur 2 wird der nächste Schritt dargestellt: Der Benutzer markiert in beiden Datensätzen die jeweilige Darstellung des jeweils gleichen Zahnes. Dabei erfolgt die Markierung durch einen Mausklick in der 3D Ansicht und ist durch einen Punkt dargestellt. Die markierten Punkte (Pfeile) bilden Referenzpunkte, die zu einer groben Vorpositionierung der Datensätze dienen und dabei helfen, die Menge an Information, die in den Datensätzen vorhanden ist, auf das Wesentliche zu reduzieren. Mit Hilfe der Referenzpunkte wird eine initiale Transformation als Vorpositionierung durchgeführt, bei der die beiden Datensätze grob in Deckung gebracht werden. Diese Vorpositionierung ist nicht sonderlich genau. Sie liegt aber in einem „Fangbereich" der nachfolgenden automatischen Optimierung.
In Figur 3 ist die Extraktion von 3D Test-Punkten aus den Oberflächendaten gezeigt. Dazu werden aus den Oberflächendaten für jeden Referenzpunkt alle Punkte extrahiert, deren Entfernung zu dem jeweiligen Referenzpunkt kleiner ist als ein vorgegebener Schwellwert, der hier bei etwa einem cm liegt. Diese Punkte bilden die „Test-Punkte", die in diesem Fall den einen vollständigen der beiden markierten unteren Backenzähne beschreiben. Die Gesamtheit der Testpunkte bildet die Oberflächenstruktur, die später zum Vergleich mit der Volumenstruktur herhält.
Ähnlich wird in dem nächsten, in Figur 4 dargestellten Schritt vorgegangen, bei dem zunächst für jeden Referenzpunkt ein 3D Test-Volumen aus der tomographischen Aufnahme extrahiert wird. Dazu wird um jeden der in den Volumendaten gesetzten Referenzpunkte ein kleiner quaderförmiger Bereich, das Test-Volumen, extrahiert, das hier axial a) und sagittal b) dargestellt ist. Dieses Test-Volumen wird durch eine Convolution mit mehreren geeigneten Convolutionsfiltern in 3D-Kantenbilder umgewandelt, wobei in diesen Kantendarstellungen deutlich die Ränder der fraglichen Zähne zu erkennen sind (Figur 5). Diese Kantendarstellungen bilden die das Objekt charakterisierende geometrische Volumenstruktur, die mit der Oberflächenstruktur verglichen wird.
Da das Rauschen im originalen Bild eine solche Kantendetektion beeinflusst, kann anschließend eine 3D Glättung mit einem geeigneten Glättungsfilter, wie einem
Gauss-Filter oder einem Median-Filter, vorgenommen werden. Dadurch vergrößert sich der Fangbereich des Optimierungs-Algorithmus. Die hellsten Bereiche in der folgenden Abbildung entsprechen den markantesten Kanten im Test-Volumen.
Im nächsten Schritt nach Figur 6 werden die extrahierten Test-Punkte in das Test- Volumen übertragen, bevor eine Transformation gesucht wird, welche die Test- Punkte so transformiert, dass sie mit den Kanten in den Kantenbildern übereinstimmen (Figur 7). Die automatische Suche nach einer geeigneten Transformation geschieht durch eine dreidimensionale Verschiebung und eine dreidimensionale Rotation, die die extrahierten Punkte mit den Kanten im Test- Volumen in Deckung bringt.
Dann wird eine Kostenfunktion definiert, die angibt, wie gut die Test- Punkte aus den Oberflächendaten mit dem entsprechenden Kantenbild übereinstimmen. Die Kostenfunktion ist eine Funktion der sechs Parameter einer Starrkörper- Transformation, wobei drei Parameter für die Verschiebung und drei Parameter für die Rotation benötigt werden. Die Kostenfunktion wird in diesem Fall für eine bestimmte Transformation T wie folgt definiert und berechnet: Zuerst werden alle extrahierten Punkte mit der Transformation T in das entsprechende extrahierte Volumen transformiert. Für jeden Punkt aus der optischen Aufnahme wird der entsprechende Wert („Helligkeit") im Kantenbild durch Interpolation bestimmt. Die Summe der Werte von allen Test-Punkten, gemittelt durch die Anzahl der Punkte, gibt den Gesamtwert der Kostenfunktion für die Transformation T.
Die Kostenfunktion kann auch andere Formen haben, die die Robustheit, Geschwindigkeit oder Präzision der Optimierung verbessern respektive die Optimierung unempfindlich gegen Ausreißer in den Daten machen. So kann beispielsweise nur ein Teil der Punkte mit in die Berechnung einbezogen werden, die die höchsten Helligkeitswerten aufweisen.
Im nächsten Schritt wird die Transformation gesucht, für die die Kostenfunktion ihren maximalen Wert einnimmt. Die Suche erfolgt mit Hilfe eines iterativen
Optimierungs-Algorithmus. Figur 8 zeigt das Ergebnis der automatischen Optimierung.
Figur 9 zeigt die Übertragung der berechneten Transformation auf die komplette optische Aufnahme und damit das Ergebnis der Bildregistrierung eines realen Patientendatensatzes: Wie die mit der weißen Linie gezeigten Konturen nach a), c) und d) zeigen, wurde der Oberflächen-Datensatz mit den Zähnen in Deckung gebracht. Ebenfalls ersichtlich ist, dass der Verlauf der sichtbaren Oberfläche, der von der Schleimhaut gebildet wird, eine zusätzliche Information darstellt. Gerade in Figur 9 c) ist zu sehen, dass die weiße Linie im Bereich des Zahnes ausgezeichnet „passt", wobei sich am Zahnhals die Schleimhaut abhebt.
Die automatischen Schritte dauern dabei unter Nutzung eines handelsüblichen PC nicht länger als wenige Sekunden.