Verfahren zur Bestimmung einer Koordinatentransformation von Bildkoordinaten verschiedener Bilder eines Objekts
Die Erfindung betrifft ein Verfahren zur Bestimmung einer Ko¬ ordinatentransformation von Bildkoordinaten verschiedener Bilder eines Objekts, bei dem einander zugeordnete Orientie¬ rungshilfen gesucht und die Koordinatentransformation mit Hilfe der Bildkoordinaten der Orientierungshilfen berechnet wird.
Derartige Verfahren sind in dem Bereich der Medizintechnik allgemein bekannt. Sie werden insbesondere dazu verwendet, Bilder, die mit unterschiedlichen Untersuchungsmethoden ge¬ wonnen wurden, zur Deckung zu bringen. Bei den Bildern kann es sich sowohl um Volumenbilder als auch um Projektionsbilder handeln. Beispielsweise kann das Bild eines Patienten, das mit einem Computer-Tomographiegerät aufgenommen worden ist, über ein weiteres Bild gelegt werden, das von einem Kernspin- Tomographen erzeugt wurde. Ein weiteres Beispiel stellt die Kombination eines Fluoreszenzbildes mit einem Bild dar, das mit Hilfe eines Computer-Tomographen aufgenommen worden ist.
Die Berechnung der dazu notwendigen Koordinatentransformation wird auch als Registrierung bezeichnet. Die Darstellung der registrierten Bilddaten wird auch Fusion genannt. Die Regist¬ rierung und die Fusion kann mit Bilddaten gleicher oder ver¬ schiedener Modalitäten durchgeführt werden. Unter Modalität wird dabei die Art der Datengewinnung verstanden. Bilddaten gleicher Modalität sind insbesondere mit der gleichen Diagno¬ sevorrichtung aufgenommen worden.
Die Registrierung von Bilddaten gleicher oder verschiedener Modalitäten kann mit Hilfe von Orientierungshilfen (= land- marks) durchgeführt werden. Diese Orientierungshilfen, die . auch als Landmarken bezeichnet werden, können leicht identi-
fizierbare Bereiche des abgebildeten Objekts oder am Objekt angebrachte zusätzliche Markierungen (=fiducials) sein.
Daneben gibt es Verfahren, -die sich an der Gesamtstruktur des abgebildeten Objekts orientieren. Bei diesem Verfahren han¬ delt es sich um Verfahren mit visuellem Lageabgleich und um Verfahren, die Korrelationen zwischen den Voxeln der zu re¬ gistrierenden Bildern berechnen sowie um Verfahren, die sich an der Oberfläche des abgebildeten Objekts orientieren. Unter Voxel sind dabei Bildelemente eines Volumenbilds zu verste¬ hen.
Bei der Registrierung von Bilddaten wird eine gewisse Anzahl von Freiheitsgraden einer Transformationsmatrix bestimmt, die jede Bildkoordinate des einen Bilds auf eine zugeordnete
Bildkoordinate des anderen Bilds abbildet. Das eine Bild wird im Folgenden als Modellbild und das andere Bild als Referenz¬ bild bezeichnet .
Wenn die Orientierungshilfen in den Bilddaten aufgefunden werden können, kann die Transformationsmatrix auf einfache Weise durch Lösen eines linearen Gleichungssystems berechnet werden. Insofern sind keine fehleranfälligen oder zeitaufwän- digen Optimierungsprozesse notwendig. Außerdem kann die Transformationsmatrix innerhalb kurzer Zeit berechnet werden.
Ein Nachteil der auf Orientierungshilfen gestützten Berech¬ nung der Transformationsmatrix ist, dass die Orientierungs¬ hilfen häufig in den Bildern nicht auffindbar sind. Dies führt zu Ungenauigkeiten bei der Registrierung.
Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, ein verbessertes Verfahren zur Regi¬ strierung von Bildern zu schaffen.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Anspruchs gelöst . In davon abhängigen Ansprüchen
sind vorteilhafte Ausgestaltungen und Weiterbildungen angege¬ ben.
Bei dem Verfahren wird zunächst wenigstens ein Paar von ein- ander zugeordneten Orientierungshilfen gesucht . Anschließend wird die Lage des in den verschiedenen Bildern enthaltenen Objekts bezüglich der verbleibenden Freiheitsgrade mit Hilfe eines nicht auf die Orientierungshilfen gestützten Lageab- gleichs bestimmt. Mit den dabei gewonnenen Informationen lässt sich schließlich die Koordinatentransformation berech¬ nen.
Bei dem Verfahren wird die in den Orientierungshilfen enthal¬ tene Information effektiv für den Lageabgleich genutzt. Im Vergleich zu herkömmlichen auf Orientierungshilfen gestützten Verfahren versagt das Verfahren allerdings auch dann nicht, wenn die Orientierungshilfen nicht vollständig aufgefunden werden können. Mit dem Verfahren werden somit die von den Orientierungshilfen gebotenen Informationen so weit wie mög- lieh genutzt und die fehlenden Informationen durch ein Ver¬ fahren gewonnen, das nicht auf Orientierungshilfen angewiesen ist.
Das Verfahren ist nicht auf den Lageabgleich zwischen VoIu- menbildern beschränkt, sondern kann auch zum Lageabgleich von Projektionsbildern verwendet werden. Ferner ist es möglich, die Projektion eines Volumenbilds mit einem Projektionsbild abzugleichen.
Vorzugsweise wird der nicht auf die Orientierungshilfen ge¬ stützte Lageabgleich durchgeführt, indem ein Extremwert einer für die Korrelation zwischen den Bildern charakteristischen Maßzahl gesucht wird. In diesem Fall kann der nicht auf Ori¬ entierungshilfen gestützte Lageabgleich automatisiert werden.
Dieser Teil des Verfahrens kann aber auch durchgeführt wer¬ den, indem ein Benutzer anhand von auf einer Anzeigeeinheit
dargestellten Bildern eine Koordinatentransformation sucht, die zu einer möglichst großen Übereinstimmung führt.
Weitere Vorteile und Einzelheiten gehen aus der nachfolgenden Beschreibung hervor, in der Ausführungsbeispiele der Erfin¬ dung anhand der Zeichnung im Einzelnen erläutert werden. Es zeigen:
Figur 1 zwei Bilder mit unterschiedlichen Ansichten eines Objekts, wobei zwischen den Bildern ein Lageab- gleich durchgeführt werden soll;
Figur 2 eine Darstellung mit den bei einem ersten Ausfüh¬ rungsbeispiel des Verfahrens für den Lageabgleich ausgeführten Transformationen;
Figur 3 eine Darstellung mit den bei einem weiteren Ausfüh¬ rungsbeispiel der Erfindung für den Lageabgleich ausgeführten Transformationen; und
Figur 4 eine Darstellung einer weiteren Ausführungsform der Erfindung, bei der ein Lageabgleich zwischen der Projektion eines Volumenbilds und einem Projekti¬ onsbild durchgeführt wird.
Figur 1 zeigt ein Objekt 1, das in unterschiedlichen Volumen¬ bildern 2 und 3 enthalten ist . Die Volumenbilder 2 und 3 sind auf Koordinatensysteme 4 und 5 bezogen. Die Lage des Objekts 1 in den Volumenbildern 2 und 3 kann in Bezug auf die Koordi- natensysteme 4 und 5 unterschiedlich sein. Wenn daher die Vo¬ lumenbilder 2 und 3 zur Deckung gebracht werden sollen, um dem medizinischen Personal die Diagnose zu erleichtern, muss eine Koordinatentransformation T gefunden werden, durch die die Bildkoordinaten des Objekts 1 im Volumenbild 2 auf die Bildkoordinaten des Objekts 1 im Volumenbild 3 umgerechnet werden können. In homogenen Koordinaten hat die Transformati¬ onsmatrix beispielsweise folgende Gestalt:
Die Elemente der Transformationsmatrix ru bis r33 beschreiben eine Drehung des Objekts 1 bezüglich der Koordinatenachsen des Koordinatensystems 4 oder 5. Die Elemente der Transforma¬ tionsmatrix tx bis tz beschreiben eine eventuell erforderli¬ che Translation entlang den Koordinatenachsen des Koordina¬ tensystems 4 oder 5.
Es sei angemerkt, dass die Volumenbilder 2 und 3 bei medizi¬ nischen Anwendungen üblicherweise im DICOM-Format abgespei¬ chert sind. Das DICOM-Format schreibt einen einheitlichen Maßstab für die Volumenbilder 2 und 3 vor. Es ist daher im Allgemeinen nicht erforderlich, eine Streckung auszuführen, um das Volumenbild 2 mit dem Volumenbild 3 abzugleichen.
Zur Berechnung der Koordinatentransformation werden Informa¬ tionen zu drei Freiheitsgraden der Translation und drei Frei- heitsgraden der Rotation benötigt. Insgesamt stehen somit sechs Freiheitsgrade zur Verfügung.
Die Bestimmung der Transformationsmatrix T kann nun wie folgt vorgenommen werden. Wie in Figur 2 dargestellt, kann sowohl im Volumenbild 2 als auch im Volumenbild 3 jeweils eine Land¬ marke 6 enthalten sein, die ohne weiteres sowohl im Volumen¬ bild 2 als auch im Volumenbild 3 identifiziert werden kann. Die sowohl im Volumenbild 2 als auch im Volumenbild 3 auf¬ findbare Landmarke 6 kann dann unmittelbar dazu verwendet werden, die Freiheitsgrade bezüglich der Translation zu eli¬ minieren. Damit sind die drei translatorischen Elemente tx bis tz der Transformationsmatrix T bereits bekannt. Im weite¬ ren Verlauf brauchen daher nur noch Informationen bezüglich der drei Freiheitsgrade der Rotation gewonnen zu werden, da-
mit die restlichen rotatorischen Elemente ru bis r33 berech¬ net werden können.
Die drei rotatorischen Freiheitsgrade sind in Figur 2 durch Drehungen 7, 8 und 9 um die x-Achse, y-Achse und die z-Achse des Koordinatensystems 5 veranschaulicht. Die Drehungen 7, 8 und 9 sind diejenigen Drehungen, um die die Bilddaten des Vo¬ lumenbilds 2 um die Achsen des Koordinatensystems 5 rotiert werden.
Das Volumenbild 2 wird auch als Modellvolumenbild und das Vo¬ lumenbild 3 als Referenzvolumenbild bezeichnet . Der Vorgang, durch den die Transformationsmatrix T bestimmt wird, wird Re¬ gistrierung genannt. Die Anwendung der Transformationsmatrix T auf die Bilddaten des Volumenbilds 2 heißt schließlich Fu¬ sion.
Für die Bestimmung der rotatorischen Elemente der Transforma¬ tionsmatrix T können verschiedene Registrierungsverfahren verwendet werden, die nicht auf Landmarken angewiesen sind.
Beispielsweise kann die restliche Registrierung nach dem Auf¬ finden der Landmarke 6 mit einem automatischen Registrie¬ rungsverfahren erfolgen, das die Voxel der Volumenbilder 2 und 3 auswertet. Typischerweise wird dabei eine für die Kor¬ relation zwischen den Bilddaten der Volumenbilder 2 und 3 charakteristische Maßzahl verwendet. Dies kann beispielsweise ein Korrelationskoeffizienten sein, der anhand von Grauwerten berechnet worden ist.
Die Registrierung bezüglich der rotatorischen Elemente der Transformationsmatrix T kann auch durch ein Registrierungs¬ verfahren erfolgen, das sich an der Oberfläche des Objekt 1 orientiert. Daneben kommen Registrierungsverfahren in Frage, bei denen ein Benutzer die an einem Bildschirm angezeigten Volumenbilder 2 und 3 so lange verändert, bis eine ausrei¬ chende Übereinstimmung erzielt ist.
Nach der Registrierung der rotatorischen Elemente der Trans¬ formationsmatrix T kann nochmals ein Registrierungsverfahren auf die Bilddaten angewendet werden, das nicht auf Landmarken gestützt ist und das ohne Verwendung des anfangs identifi¬ zierten Paares der Landmarken 6 auskommt. Durch das erneute Anwenden des nicht auf Landmarken gestützten Registrierungs¬ verfahrens kann das vorhergehende Ergebnis optimiert oder ve¬ rifiziert werden.
Figur 3 zeigt ein weiteres Registrierungsverfahren, bei dem nach der Identifizierung zweier Paare von Landmarken 10 und 11 die drei translatorischen Elemente tx bis tz bekannt sind. Auch die rotatorischen Elemente der Transformationsmatrix T sind weitgehend festgelegt, da nur noch ein Freiheitsgrad be¬ züglich der Rotation 7 um eine durch die Landmarkenpaare 10 und 11 festgelegten Drehachse 12 übrig bleibt. Der nach der Identifikation der Landmarkenpaare 10 und 11 noch unbekannte Drehwinkel um die Drehachse 12 wird durch ein Registrierungs- verfahren ermittelt, das nicht auf Landmarken gestützt ist. Dies kann sowohl manuell als automatisch erfolgen. Ferner können oberflächenorientierte oder volumenorientierte Regist¬ rierungsverfahren verwendet werden. Ferner ist es möglich, das Ergebnis der Registrierung durch ein weiteres Registrie- rungsverfahren zu verbessern, das nicht auf Landmarken ge¬ stützt ist und die anfangs identifizierten Paare von Landmar¬ ken 10 und 11 nicht verwendet.
Das anhand der Figuren 2 und 3 beschriebene Verfahren kann auch auf Projektionsbilder oder auf eine Kombination von Pro¬ jektionsbildern mit Projektion von Volumenbildern angewandt werden. Ein derartiges Registrierungsverfahren ist in Figur 4 dargestellt. Bei dem in Figur 4 dargestellten Registrierungs¬ verfahren wird die Registrierung eines Volumenbilds 13 mit einem Projektionsbild 14 dargestellt. Die Transformationsmat¬ rix P hat allgemein die Form:
Bei der Berechnung der Transformationsmatrix P sind 11 Frei- heitsgrade zu berücksichtigen: sechs intrinsische und fünf extrinsische. Die extrinsischen Freiheitsgrade beziehen sich auf die Translation Tl, T2 und T3 in Richtung einer x-Achse, eine y-Achse und einer z-Achse und um die Rotationen Rl, R2 und R3 um die x-Achse, y-Achse und die z-Achse. Die intrisi- chen Freiheitsgrade sind die Freiheitsgrade der Projektion. Insbesondere werden die Quotienten f/dx, f/dγ, das Produkt f*s sowie U0 und v0 als Freiheitsgrade bezeichnet. Die Größe f ist dabei der Abstand f zwischen dem einen Projektions¬ zentrum 15 und dem Projektionsbild 14, dx und dy die Pixel- große im Projektionsbild 14, s ein Streckungsfaktor und U0 und v0 die Koordinaten des so genannten Durchstoßpunktes.
Auch in diesem Fall wird die Aufgabe der Registrierung ver¬ einfacht, wenn zunächst die von einer Landmarke 16 vermittel- ten Lageinformationen ausgewertet werden. Denn im Prinzip sind bei bekannten intrinsischen Parametern vier Paare von Landmarken erforderlich, um die Lage des Objekts 1 in Bezug auf die sechs extrinsischen Freiheitsgrade zu bestimmen. Im Falle unbekannter intrinsischer Parameter sind sechs Paare von Landmarken erforderlich um die elf Freiheitsgrade zu bestimmen. Auch wenn weniger als vier oder weniger als sechs Paar von Landmarken identifizierbar sind, können die identi¬ fizierten Landmarken dazu verwendet werden, die Zahl der Freiheitsgrade zu verringern, was die Registrierung erleich- tert. Denn durch die Identifikation der Landmarke 16 kann der verbleibende Registrierungsvorgang einfacher von Hand an ei¬ ner Anzeigeeinheit durchgeführt werden und der Optimierungs¬ aufwand und damit die Rechenzeit und die Fehleranfälligkeit von optimierenden Registrierungsverfahren, die auf Voxel oder
Oberflächen gestützt sind, sinkt mit der Reduktion der zu er¬ mittelnden Freiheitsgrade.
Die hier beschriebenen Verfahren zeichnen sich somit dadurch aus, dass zunächst eine Anzahl von Landmarken in den zu re¬ gistrierenden Bildern identifiziert wird. Die Anzahl der Landmarken reicht jedoch nicht aus, um ein Gleichungssystem zu bilden, dessen Lösung die gesuchte Transformationsmatrix ist. Im Anschluss an die Identifikation der Landmarken werden die restlichen zu ermittelnden Freiheitsgrade durch interak¬ tive, semiautomatische oder vollautomatische Registrierungs¬ verfahren bestimmt. Diese Registrierungsverfahren können ein visueller Lageabgleich (= Visual position alignment) , ein o- berflächenorientierter Lageabgleich (= surface matching) oder ein vollautomatisches Registrierungsverfahren, zum Beispiel ein auf die Auswertung von Voxeln gestütztes Registrierungs¬ verfahren sein.
In einem dritten Verfahrensschritt kann schließlich optional durch ein nicht auf Landmarken gestütztes Registrierungsver¬ fahren, beispielsweise durch eine automatische auf Voxel ge¬ stützte Registrierung, das vorhergehende Ergebnis ohne die Verwendung der anfangs identifizierten Landmarken optimiert oder verifiziert werden. Bei einer Vorrichtung zur Ausführung des Verfahrens kann auch eine Funktion vorgesehen sein, die den letzten Verfahrensschritt rückgängig macht.