WO2005052864A1 - Verfahren zur navigation in 3-dimensionalen bilddaten - Google Patents

Verfahren zur navigation in 3-dimensionalen bilddaten Download PDF

Info

Publication number
WO2005052864A1
WO2005052864A1 PCT/EP2004/053041 EP2004053041W WO2005052864A1 WO 2005052864 A1 WO2005052864 A1 WO 2005052864A1 EP 2004053041 W EP2004053041 W EP 2004053041W WO 2005052864 A1 WO2005052864 A1 WO 2005052864A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
dimensional
projection
partial
data sets
Prior art date
Application number
PCT/EP2004/053041
Other languages
English (en)
French (fr)
Inventor
Sebastian Budz
Robert Schneider
Original Assignee
Siemens Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Aktiengesellschaft filed Critical Siemens Aktiengesellschaft
Priority to JP2006540455A priority Critical patent/JP2007512064A/ja
Priority to US10/580,687 priority patent/US7889894B2/en
Publication of WO2005052864A1 publication Critical patent/WO2005052864A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Definitions

  • the invention relates to a method for navigation in 3-dimensional electronic image data.
  • Image data in more than two spatial dimensions (2D) are widely used for a wide variety of applications.
  • Image data in three spatial dimensions (3D) are used, for example, for SD simulations of processes, design and construction of spatial objects and for the metrological recording and optical reproduction of such objects.
  • hot spots are image areas with increased intensity that indicate the presence of a tumor in the area (increased
  • 3D image data of the same body from different imaging methods can be combined in a common representation, a process which is called fusion in order to obtain a more informative, more meaningful image data set.
  • Data from hot spots can play a special role in the fusion, since they make it possible to view the image data of precisely these body volumes from one imaging method in the context of the image data of another imaging method.
  • An image data record merged in this way contains the hot spots as a particularly identifiable partial image data record.
  • An example of this can be, for example, the fusion of image data from positron emission tomography (PET) and computer tomography (CT).
  • PET positron emission tomography
  • CT computer tomography
  • the PET data represent a diagnostic data record that contains information about certain metabolic functions of the patient's body and is therefore also referred to as functional image data or functional data record.
  • PET data essentially depict soft tissues.
  • the CT data also represent anatomical features, such as the bone structure, of the patient's body and therefore enable a viewer to obtain a significantly better orientation based on the patient's anatomy. A fusion of the functional PET data with the CT data therefore considerably simplifies the anatomical assignment of hot spots identified by means of PET.
  • VRT Volume Rendering Technic
  • a maximum intensity Projection can be used, which defines the brightest image point along each line of sight from the (virtual) viewer through the 3D object as a 2D projection image point, or a multi-planar reformatting (MPR) can be carried out at different 2D projections of the object are displayed, for example projections perpendicular to each other.
  • MIP maximum intensity Projection
  • MPR multi-planar reformatting
  • Partial volume can be understood as a region of interest (ROI) or voxel of interest (VOI).
  • ROI region of interest
  • VOI voxel of interest
  • the partial volume selected in this way can then be used as an independent observation volume within which the exploration is continued.
  • Another 3D object proposed there is the so-called Prober, which is a 3-dimensional geometric object, for example a cube, represents.
  • the Prober can be positioned like a cursor. It is used to determine samples of the volume enclosed by the Prober; in the case of a cube, these samples can be 2D projections of the volume onto the cube surfaces.
  • the tools proposed in the work of M. Jahnke are used for manual exploration of partial volumes.
  • the invention is based on the object of specifying a method for navigating in 3D image data sets which automates the finding and determination of the 3D position of 3D partial image data sets of particular interest and their visualization and thereby facilitates them.
  • the invention solves this problem by a method with the features of the first claim.
  • a basic idea of the invention is to create a method for navigation in 3-dimensional electronic image data sets, in which the image data sets contain 3-dimensional partial image data sets.
  • the process comprises the following process steps:
  • Optical representation of at least one 2-dimensional projection of an image data record which comprises a 2-dimensional partial projection of at least one partial image data record
  • the user does not have to create the further projection manually by placing a cutting plane in the original projection.
  • the projection of the partial image data set is used, as it were, as an active link that, for example, can be selected by the user with a mouse or another pointing device, that is to say clicked on.
  • the creation of the sectional images required for identification and for determining the position of the partial image data set is thus designed and simplified intuitively.
  • Image data set used which was formed by a fusion of at least two original image data sets. In this way, navigation can be made easier for a user, in particular in image data records which have an expanded information content as a result of the merger.
  • the extended one
  • Information content can be used to automatically identify partial image data records that may be of interest, from which the user can then make a manual selection.
  • partial image data sets are used which have all been formed from the same original image data set.
  • original image data sets can be used which are particularly suitable for identifying possible partial image data sets, and a user automatically knows that the partial image data sets are among the special aspects of the original image data set used for identification were selected.
  • At least one is used as the original image data record
  • Image data set from a computer tomography method and one from a positron emission tomography method are used. This combination is of particular interest with regard to medical diagnostics in cancer therapy, since CT image data sets enable a viewer to find a particularly good orientation within the anatomy of a patient, while PET image data sets are particularly well suited for identifying body volumes that may be at risk of cancer ,
  • the method can be carried out on a computer.
  • it can either be installed on the computer, or it can be designed as a computer program product that enables the method to be executed or installed on a computer.
  • FIG. 2 screen view with cutting plane and hot spots
  • FIG. 3 shows a schematic view of a sectional plane with hot spots
  • 5 shows a schematic view of a cut layer with hot spots
  • FIG. 7 shows a schematic screen view with sectional images through a hot spot
  • FIG. 1 shows a screen view of a medical image processing work station with 2D projections of a 3D image data record.
  • a CT image data set is shown which has been fused with a PET image data set.
  • the image data sets have been registered beforehand, that is to say oriented to one another in the correct scale and position, and recorded with all 3D information.
  • the CT data record stands for an example of a volume data record that contains anatomical information
  • the PET data record stands for an example of a volume data record of the same patient with functional information.
  • the projection shown was obtained with the rendering methods VRT and MIP, which are examples for every type of 3D volume rendering, and with the method MPR, which is examples for each type of section plane rendering.
  • the methods support two forms of so-called clipping objects: clip planes (cutting planes) and slabs (cutting layers of defined thickness).
  • the images of the functional data set can both be sectional images (are on the cutting plane of the clip plane or of the slab) as well as volume images, which are then projected into the clip tarpaulin or the slab just like the anatomical data set.
  • a user can switch between the volume display (MIP) and the sectional image display (MPR).
  • Parameter setting of the rendering methods used parameters such as color, transparency or tissue assignment can be changed in the CT at any time in order to achieve the optimal view of the CT data record.
  • parameters such as windowing, color LUT, masking (i.e. threshold values that determine the visibility of information components) can be changed at any time.
  • Masking in particular is very important in order to limit the display to the hot spots as far as possible, but to hide (to “mask”) further information components of the data record that contains the hot spots so as not to over-display the anatomical information of the CT scanner.
  • a blending factor that describes the mixing ratio of CT and PET display can also be set. The various parameter settings are not discussed further below.
  • FIG. 2 shows a screen view 1 with a sectional plane and hot spots in a data record which in turn is fused from CT and PET data.
  • the screen 1 shows only a single viewport 11, in which a sectional image through the merged image data record is indicated by dashed lines.
  • the projection in the viewport 11 comprises a hot spot which can be recognized as an optically highlighted image part in the abdominal cavity of the patient's body shown.
  • the highlighted part of the image can be e.g. selected with a click of the mouse to generate additional screen views. Further manual actions by a user are not necessary, therefore the screen segment 7 contains only a reduced number of buttons and tools.
  • the projection from the previous figure is shown schematically. It shows the section plane 13 through the merged image data set, which consists of a projection of the CT data set 14 and the PET data set 15.
  • hot spots 19 are visually highlighted by a user, e.g. through particularly bright or eye-catching coloring.
  • the sectional plane 13 shown is positioned and oriented so that a user can see the hot spots 19.
  • the visualization of the hot spots 19 is functionalized in such a way that the user can select one of them manually, e.g. by clicking with a mouse.
  • the hot spots 19 are relatively close together and therefore cannot be analyzed by an automated method.
  • FIGS. 4 and 5 show representations analogous to the previous FIGS. 2 and 3 using the same reference numerals. Instead of a cutting plane (clip plane), however, a cutting layer 16 (slab) is shown, recognizable from the illustration in FIG. 5 as a box. For the rest, reference is made to the description of the preceding figures.
  • a screen view 1 with four viewports 3, 4, 5, 11 is shown schematically in FIG. According to the above description, the viewport 11 shows a functionalized projection in such a way that a user can select the hot spots 19 in the sectional plane 13, for example by clicking the mouse.
  • the viewports 3, 4, 5 show sectional images 14, 15 of the merged data set in randomly selected sectional planes which do not contain the hot spots 19. These are only contained in the sectional view 17 in the sectional plane 13. For an exact localization of the hot spots 19, a representation must be selected which also shows the hot spots 19 in the further, different projections in the viewports 3, 4, 5.
  • the user first selects one of the forms of representation described above in order to get an optimal view of the hot spots 19.
  • a spatial rotation into the correct view and a shift of the cutting plane 13 is possible in order to focus in the hot spot 19.
  • SD depth information is indirectly provided on this navigation image, which makes it possible to select the hot spot 19 with a mouse click.
  • the so-called volume picking is triggered by a mouse click on the hot spot 19, which automatically focuses the screen view 1 on the hot spot 19 for the user.
  • the clip tarpaulin 13 or, if applicable, the center of gravity of the slab in the viewport 11 is moved in the fusion view into the selected hot spot 19, on the other hand, all other images displayed in the other viewports 3, 4, 5 on the screen are also moved to the hot Spot 19 postponed.
  • This automatically creates a screen view 1 that is optimal for the identification of the hot spots 19 for the user, without having to manually set suitable projections in rotation angle and depth in all viewports 3, 4, 5.
  • the images from the viewports 3, 4, 5 are shifted into the selected hot spot 19, as is the section plane 13 in the viewport 11.
  • the hot spot 19 can therefore be searched very easily in the viewport 11, and then all four viewports 3, 4, 5, 6 can be focused on the hot spot 19 with one mouse click.
  • FIG. 7 shows the screen view 1 obtained as a result of the volume picking and optimized with regard to the hot spot 19 selected by the user, using the same reference numerals as in the previous figure.
  • the sectional plane 13 in the viewport 11 is positioned such that the sectional image 17 shows a projection including the hot spot 19.
  • the remaining images now show other mutually referencing sectional images of either an individual or the merged data records, which also each contain the hot spot 19.
  • the sectional images reference each other, which is indicated by marking lines A, B, C, which run through all viewports 3, 4, 5 and through the selected hot spot 19.
  • the hot spot 19 is thus localized and is optimally visible to the user.
  • FIGS. 8 and 9 illustrate the focusing process, which was explained in the previous FIGS. 6 and 7 in relation to the viewport 11 there.
  • FIG. 8 shows the sectional image of the merged image data record 14, 15, which contains a hot spot 19.
  • the sectional plane 13 is positioned randomly and contains no projection of the hot spot 19.
  • the sectional plane 13 has been shifted such that it intersects the hot spot 19 and contains a projection 17 of the merged image data set.

Abstract

Die Erfindung betrifft ein Verfahren zur Navigation in 3-­dimensionalen elektronischen Bilddatensätzen, wobei die Bilddatensätze 3-dimensionale Teil-Bilddatensätze enthalten, umfassend die Verfahrensschritte: optisches Darstellen von mindestens einer 2-dimensionalen Projektion eines Bilddatensatzes, die eine 2-dimensionale Teil-Projektion von mindestens einem Teil-Bilddatensatz umfasst, optisches Hervorheben der mindestens einen 2-dimensionalen Teil-Projektion, Empfangen einer auf die Auswahl einer bestimmten Teil-­Projektion gerichteten Nutzer-Eingabe, in Abhängigkeit von der Nutzer-Eingabe optisches Darstellen von mindestens einer weiteren 2-dimensionalen Projektion des Bilddatensatzes, die eine 2-dimensionale Projektion des ausgewählten Teil-Bilddatensatz umfasst. Das Verfahren kann für einen Bilddatensatz verwendet werden, der durch eine Fusion von mindestens zwei Ursprungs­-Bilddatensätzen gebildet wurde. Die Ursprungs-Bilddatensätze können insbesondere einen Computer-Tomografie- und einen Positronen-Emissions-Tomografie-Bilddatensatz umfassen.

Description

Beschreibung
Verfahren zur Navigation in 3-dimensionalen Bilddaten
Die Erfindung betrifft ein Verfahren zur Navigation in 3- dimensionalen elektronischen Bilddaten.
Elektronische Bilddaten in mehr als zwei räumlichen Dimensionen (2D) finden weit verbreitet für unterschiedlichste Anwendungszwecke Verwendung. Bilddaten in drei räumlichen Dimensionen (3D) werden zum Beispiel für SD- Simulationen von Vorgängen, Design und Konstruktion von räumlichen Objekten und zur messtechnischen Erfassung und optischen Wiedergabe solcher Objekte.
Eine besondere Anwendung stellen Verfahren der bildgebenden Medizintechnik dar, wo Patientenkörper, zum Beispiel anhand radiologischer Bildgebungsverfahren, 3-dimensional untersucht und die 3D-Untersuchungsdaten für weitere Verarbeitungsschritte erfasst werden. In der Diagnostik können dabei zum einen untersuchte Körpervolumina von besonderem Interesse, so genannte Hot Spots, identifiziert werden. Als Hot Spots werden in der Nuklearmedizin Bildbereiche mit erhöhter Intensität bezeichnet, die auf das Vorhandensein eines Tumors in dem Bereich hindeuten (erhöhte
Gewebeaktivität) . Zum anderen können 3D-Bilddaten desselben Körpers aus verschiedenen Bildgebungsverfahren in einer gemeinsamen Darstellung zusammengeführt werden, ein Vorgang, der Fusion genannt wird, um einen informativeren, aussagekräftigeren Bilddatensatz zu erhalten. Bei der Fusion können Daten von Hot Spots eine besondere Rolle spielen, da sie es ermöglichen, die Bilddaten ebendieser Körpervolumina aus einem Bildgebungsverfahren im Kontext der Bilddaten eines anderen Bildgebungsverfahrens zu betrachten. Ein derart fusionierter Bilddatensatz enthält die Hot Spots als besonders kennzeichenbaren Teil-Bilddatensatz. Ein Beispiel hierfür kann zum Beispiel die Fusion von Bilddaten aus einer Positronen-Emissions-Tomografie (PET) und einer Computer-Tomografie (CT) sein. Die PET-Daten stellen einen diagnostischen Datensatz dar, der Information über bestimmte Stoffwechsel-Funktionen des Patientenkörpers beinhaltet und daher auch als funktionale Bilddaten bzw. funktionaler Datensatz bezeichnet wird. PET-Daten bilden im wesentlichen Weichteile ab. Die CT-Daten bilden dagegen auch anatomische Merkmale, wie Knochenbau, des Patientenkörpers ab und ermöglichen einem Betrachter daher eine deutlich bessere Orientierung anhand der Anatomie des Patienten. Eine Fusion der funktionalen PET-Daten mit den CT-Daten erleichtert daher wesentlich die anatomische Zuordnung von mittels PET identifizierten Hot Spots.
Ein besonderes Problem 3D-Bilddaten sämtlicher Anwendungen liegt in den begrenzten optischen Darstellungsmöglichkeiten. Üblicherweise werden 2D-Darstellungsgeräte verwendet, in der Regel Computer-Bildschirme, die nur eingeschränkte Möglichkeiten der Visualisierung in 3D bieten. Bekannt sind zum Beispiel perspektivische Darstellungen, Schnittbilder durch Ebenen des darzustellenden Objektes oder rotierende Darstellungen des entweder teilweise transparent oder vollständig kompakt visualisierten Objektes. Für die Visualisierung von 3D-Objekten steht eine Reihe von Techniken zur Verfügung, die in der beschriebenen Weise eingesetzt werden können, und die als Volume Rendering Technic (VRT, „Volumen-Wiedergabe-Verfahren") bezeichnet werden. Unter anderem kann eine Maximum Intensity Projection (MIP) eingesetzt werden, die jeweils den hellsten Bildpunkt entlang jedem vom (virtuellen) Betrachter aus durch das 3D-Objekt gehenden Sehstrahl als 2D-Projektions-Bildpunkt definiert. Oder es kann eine Multi-Planare Reformatierung (MPR) vorgenommen werden, bei der unterschiedliche 2D-Projektionen des Objekts dargestellt werden, zum Beispiel zu einander senkrechte Projektionen. Die begrenzten optischen Darstellungsmöglichkeiten für 3D- Bilddaten erschweren zum einen die Orientierung in den dargestellten Objekten, da dem Betrachter die Tiefen- Information nicht unmittelbar zugänglich ist, und damit einhergehend zum anderen die Navigation innerhalb der Daten. Dieses Problem stellt sich bei der Betrachtung, beispielsweise in der diagnostischen Auswertung, wie bei der Erzeugung, beispielsweise in der 3D-Konstruktion, gleichermaßen .
In der medizinischen Diagnostik gibt es Verfahren, die für die Navigation ein rotierendes MIP eines funktionalen Datensatzes verwenden. Der Nachteil daran ist, dass die anatomische Zuordnung dadurch noch nicht immer eindeutig ist, zum Beispiel dann, wenn zwei Hot Spots sehr dicht beieinander liegen. Deswegen erfordert diese Verfahren ein zweistufiges und damit umständliches Vorgehen: Erst wird auf dem rotierenden MIP eine Schnittebene durch den interessierenden Hot Spot gelegt (lD-Informati-on) , dann muss dieser Schnitt zusätzlich dargestellt und darin die Position des Hot Spots bestimmt werden. Erst dann liegt die 3D-Information über die Position vor.
Aus der Diplomarbeit „3D-EXPLORATION VON VOLUMENDATEN; Werkzeuge zur interaktiven Erkundung medizinischer
Bilddaten", 21. Oktober 1998, von M. Jahnke sind Werkzeuge zur Exploration von Volumentdatensätzen bekannt, die 2D- und 3D-Eingabegeräte umfassen. Zum Beispiel wird ein SD- Cursorobjekt vorgeschlagen, mittels dessen ein Teil—Volumen eines Volumendatensatzes ausgewählt werden kann; dieses
Teilvolumen kann als Region of Interest (ROI) oder Voxel of Interest (VOI) aufgefasst werden. Das derart ausgewählte Teilvolumen kann im weiteren dann als eigenständiges Betrachtungsvolumen verwendet werden, innerhalb dessen die Exploration fortgesetzt wird. Ein weiteres dort vorgeschlagenes 3D-Objekt ist der sogenannte Prober, der ein 3-dimensionales geometrisches Objekt, z.B. einen Würfel, darstellt. Der Prober kann wie ein Cursor positioniert werden. Er dient dazu, Abtastwerte des jeweils vom Prober umschlossenen Volumens zu ermitteln; bei einem Würfel können diese Abtastwerte 2D-Projektionen des Volumens auf die Würfelflächen sein. Die in der Arbeit von M. Jahnke vorgeschlagenen Werkzeuge dienen jeweils der manuellen Exploration von Teilvolumina.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Navigation in 3D-Bilddatensätzen anzugeben, das das Auffinden und Bestimmen der 3D-Position von 3D-Teil-Bilddatensätzen von besonderem Interesse sowie deren Visualisierung automatisiert und dadurch erleichtert .
Die Erfindung löst diese Aufgabe durch ein Verfahren mit den Merkmalen des ersten Patentanspruchs.
Ein Grundgedanke der Erfindung besteht darin, ein Verfahren zur Navigation in 3-dimensionalen elektronischen Bilddatensätzen zu schaffen, bei dem die Bilddatensätze 3- dimensionale Teil-Bilddatensätze enthalten. Das Verfahren umfasst folgende Verfahrensschritte:
- Optisches Darstellen von mindestens einer 2-dimensionalen Projektion eines Bilddatensatzes, die eine 2-dimensionale Teil-Projektion von mindestens einem Teil-Bilddatensatz umfasst,
- Optisches Hervorheben der mindestens einen 2-dimensionalen Teil-Projektion,
- Funktionalisieren der mindestens einen optisch hervorgehobenen Teil-Projektion derart, dass diese durch eine Nutzer-Eingabe ausgewählt werden kann, .
- Empfangen einer auf die Auswahl mindestens einer derart funktionalisierten Teil-Projektion gerichteten Nutzer- Eingabe und — in Abhängigkeit von der Nutzer-Eingabe automatisches optisches Darstellen von mindestens einer weiteren 2- dimensionalen Projektion des Bilddatensatzes, die eine 2- dimensionale Projektion des ausgewählten Teil-Bilddatensatz umfasst .
Dadurch ergibt sich der Vorteil, dass ein Nutzer anhand einer herkömmlichen 2-dimensionalen Projektion einen Teil- Bilddatensatz besonderen Interesses auswählen kann, und dadurch automatisch eine weitere Projektion des Bilddatensatzes erhält, die ebenfalls wieder den Teil- Bilddatensatz enthält. Die weitere Projektion muss der Nutzer nicht erst manuell erzeugen, in dem er eine Schnittebene in die ursprüngliche Projektion legt. In diesem Sinne wird die Projektion des Teil-Bilddatensatzes gleichsam als aktives Link verwendet, dass zum Beispiel durch den Nutzer mit einer Maus oder einem sonstigen Zeigegerät ausgewählt, also angeklickt werden kann. Die Erzeugung der zur Identifikation und zur Bestimmung der Position des Teil-Bilddatensatzes benötigten Schnittbilder wird damit intuitiv gestaltet und vereinfacht .
In einer vorteilhaften Ausgestaltung der Erfindung wird ein
Bilddatensatz verwendet, der durch eine Fusion von mindestens zwei Ursprungs-Bilddatensätzen gebildet wurde. Damit kann die Navigation für einen Nutzer insbesondere in Bilddatensätzen, die einen durch die Fusion erweiterten Informationsgehalt besitzen, erleichtert werden. Der erweiterte
Informationsgehalt wiederum kann gerade dazu dienen, möglicherweise interessierende Teil-Bilddatensätze automatisch zu identifizieren, aus denen der Nutzer dann eine manuelle Auswahl treffen kann.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung werden Teil-Bilddatensätze verwendet, die sämtlich aus demselben Ursprungs-Bilddatensatz gebildet wurden. Damit können Usprungs-Bilddatensätze herangezogen werden, die besonders geeignet zur Identifikation möglicherweise interessierender Teil-Bilddatensätze sind, und ein Nutzer weiß automatisch, dass die Teil-Bilddatensätze unter den besonderen Aspekten des zur Identifikation herangezogenen Ursprungs-Bilddatensatzes ausgewählt wurden.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung werden als Ursprungs-Bilddatensätze zumindest ein
Bilddatensatz aus einem Computer-Tomografie-Verfahren und einer aus einem Positronen-Emissions-Tomografie-Verfahren herangezogen. Diese Kombination ist im Hinblick auf die medizinische Diagnostik in der Krebs-Therapie von besonderem Interesse, da CT-Bilddatensätze einem Betrachter eine besonders gute Orientierung innerhalb der Anatomie eines Patienten ermöglichen, während PET-Bilddatensätze besonders gut zur Identifikation möglicherweise Krebs-gefährdeter Körpervolumina geeignet sind.
Das Verfahren ist auf einer Computer ausführbar. Es kann dazu entweder auf dem Computer installiert sein, oder es kann als Computer-Programm-Produkt ausgebildet sein, dass eine Ausführung oder Installation des Verfahrens auf einem Computer ermöglicht.
Weiter vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Patentansprüchen und der Figuren- Beschreibung.
Nachfolgend werden Ausführungsbeispiele der Erfindung anhand von Figuren näher erläutert. Es zeigen:
FIG 1 Bildschirmansicht mit 2D-Projektionen eines 3D- Bilddatensatz,
FIG 2 Bildschirmansicht mit Schnittebene und Hot Spots,
FIG 3 schematische Ansicht einer Schnittebene mit Hot Spots, IG 4 Bildschirmansicht mit Schnittschicht und Hot Spots, FIG 5 schematische Ansicht einer Schnittschicht mit Hot Spots,
FIG 6 schematische Bildschirmansicht mit zufälligen Schnittbildern,
FIG 7 schematische Bildschirmansicht mit Schnittbildern durch Hot Spot,
FIG 8 schematische Ansicht von zufälliger Schnittebene und
FIG 9 schematische Ansicht von Schnittebene durch Hot Spot.
In Figur 1 ist eine Bildschirmansicht eines medizinischen Bildverarbeitungs-Arbeitsplatzes mit 2D-Projektionen eines 3D-Bilddatensatz dargestellt. Es wird ein CT-Bilddatensatz gezeigt, der fusioniert wurde mit einem PET-Bilddatensatz .
Die Bilddatensätze sind vorher registriert worden, das heißt maßstabs- und positionsrichtig zueinander orientiert und mit allen 3D-Informationen erfasst worden. Der CT-Datensatz steht beispielhaft für einen Volumendatensatz der anatomische Information enthält, der PET-Datensatz steht beispielhaft für einen Volumendatensatz des gleichen Patienten mit funktionaler Information. Die dargestellte Projektion wurde mit den Rendering Verfahren VRT und MIP gewonnen, die beispielhaft für jede Art von 3D Volumen-Rendering stehen, und mit dem Verfahren MPR, das beispielhaft für jede Art von Schnittebenen-Rendering steht.
Die Verfahren unterstützen zwei Formen von sogenannten Clipping Objekten: Clip Planes (Schnittebenen) sowie Slabs (Schnittschichten definierter Dicke) . Entsprechend dazu können die Bilder des funktionalen Datensatzes sowohl Schnittbilder (werden auf die Schnittebene der Clip Plane bzw. des Slabs abgebildet) als auch Volumenbilder sein, die dann in die Clip Plane bzw. das Slab genau wie der anatomische Datensatz projiziert werden. Ein Benutzer kann zwischen der Volumendarstellung (MIP) und der Schnittbilddarstellung (MPR) hin- und herschalten.
Ein wichtiger Aspekt sind auch die möglichen
Parametereinstellung der verwendeten Renderingverfahren. Bei VRT können im CT Parameter wie Farbe, Durchsichtigkeit oder Gewebezuordnung jederzeit geändert werden, um die optimale Ansicht auf den CT Datensatz zu erreichen. Bei MPR oder MIP können Parameter wie Fensterung, Color LUT, Masking (d.h. Schwellwerte die die Sichtbarkeit von Informationsbestandteilen bestimmen) jederzeit geändert werden. Insbesondere das Masking ist sehr wichtig, um die Darstellung möglichst nur auf die Hot Spots zu beschränken, weitere Informationsbestandteile des Datensatzes, der die Hot Spots enthält, jedoch auszublenden (zu „masken") , um nicht zu viel von der anatomischen Information des CT-Datensatzes zu verdecken. Außerdem kann ein Blending Faktor, der das Mischverhältnis von CT- und PET-Darstellung beschreibt eingestellt werden. Auf die verschiedenen Parametereinstellungen wird nachfolgend nicht weiter eingegangen .
Dargestellt ist eine Bildschirmansicht 1 mit vier sogenannten Viewports 3, 4, 5, 6, also Bildschirmsegmenten, die jeweils unterschiedliche Schnittebenen oder Schnittschichten zeigen können. Anhand dieser unterschiedlichen Projektionen, die von einem Nutzer anhand der Werkzeuge und Buttons in dem
Bildschirmsegment 7 manuell ausgerichtet und erzeugt werden müssen, kann ein Benutzer interessierende Teil-Bilddatensätze oder Hot Spots darstellen und deren 3D~Position ermitteln. Zur besseren Orientierung bietet Viewport 6 eine manuell zu bedienende Rotations-Sicht 8 des PET-Datensatzes . In Figur2 ist eine Bildschirmansicht 1 mit Schnittebene und Hot Spots in einem wiederum aus CT- und PET-Daten fusionierten Datensatz dargestellt. Der Bildschirm 1 zeigt nur einen einzigen Viewport 11, in dem ein Schnittbild durch den fusionierten Bilddatensatz strichliert angedeutet ist.
Die Projektion im Viewport 11 umfasst einen Hot Spot, der als optisch hervorgehobener Bildteil im Bauchraum des abgebildeten Patientenkörpes erkennbar ist. Der hervorgehobene Bildteil kann durch einen Nutzer z.B. durch Mausklick ausgewählt werden, um weitere Bildschirmansichten zu erzeugen. Weitere manuelle Aktionen eines Nutzers werden nicht erforderlich, daher enthält das Bildschirmsegment 7 nur eine reduzierte Anzahl von Buttons und Werkzeugen.
In Figur 3 ist die Projektion aus der vorangehenden Abbildung schematisch dargestellt. Sie zeigt die Schnittebene 13 durch den fusionierten Bilddatensatz, der aus einer Projektion des CT-Datensatz 14 und des PET-Datensatzes 15 besteht. Innerhalb des PET-Datensatzes 15 sind Hot Spots 19 für einen Nutzer erkennbar optisch hervorgehoben, z.B. durch besonders helle oder auffällige Farbgebung. Die dargestellte Schnittebene 13 ist so positioniert und orientiert, dass ein Nutzer die Hot Spots 19 sehen kann. Die Visualisierung der Hot Spots 19 ist in Art funktionalisiert, dass der Nutzer einen davon manuell auswählen kann, z.B. durch anklicken mit einer Maus. Die Hot Spots 19 liegen verhältnismäßig dicht beieinander und sind daher nicht durch ein automatisiertes Verfahren zu analysieren.
In den Figuren 4 und 5 sind Darstellungen analog zu den vorangehenden Figuren 2 und 3 unter Verwendung der selben Bezugszeichen abgebildet. Anstelle einer Schnittebene (Clip Plane) ist jedoch eine Schnittschicht 16 (Slab) dargestellt, erkennbar an der Darstellung in Figur 5 als Kasten. Im übrigen wird auf die Beschreibung der vorangehenden Figuren Bezug genommen. In Figur 6 ist eine Bildschirmsicht 1 mit vier Viewports 3, 4, 5, 11 schematisch dargestellt. Der Viewport 11 zeigt entsprechend der vorangehenden Beschreibung eine funktionalisierte Projektion in so fern, als ein Nutzer die Hot Spots 19 in der Schnittebene 13 z.B. durch Mausklick auswählen kann. Die Viewports 3, 4, 5 zeigen Schnittbilder 14, 15 des fusionierten Datensatzes in zufällig gewählten Schnittebenen, die nicht die Hot Spots 19 enthalten. Diese sind nur in dem Schnittbild 17 in der Schnittebene 13 enthalten. Für eine exakte Lokalisation der Hot Spots 19 muss eine Darstellung gewählt werden, die die Hot Spots 19 auch in den weiteren, unterschiedlichen Projektionen in den Viewports 3, 4, 5 zeigt.
Dazu wählt der Benutzer zunächst eine der oben beschriebenen Darstellungsformen aus, um eine optimale Ansicht auf die Hot Spots 19 zu bekommen. Auf dem Viewport 11 ist ein räumliches Drehen in die richtige Ansicht und ein Verschieben der Schnittebene 13 möglich, um in den Hot Spot 19 zu fokussieren. Auf diesem Navigationsbild wird indirekt SD- Tiefeninformation bereitgestellt, die es möglich macht mit einem Mausklick den Hot Spot 19 zu selektieren. Durch einen Mausklick auf den Hot Spot 19 wird das so genannte Volume Picking ausgelöst, das die Bildschirmsicht 1 für den Benutzer automatisch auf den Hot Spot 19 fokussiert. Zum einen wird die Clip Plane 13 oder gegebenenfalls der Schwerpunkt des Slabs im Viewport 11 in der Fusionsdarstellung in den angewählten Hot Spot 19 verschoben, zum anderen werden alle sonstigen angezeigten Bilder in den anderen Viewports 3, 4, 5 auf dem Bildschirm ebenfalls in den Hot Spot 19 verschoben. Damit wird für den Nutzer automatisch eine zur Identifizierung der Hot Spots 19 optimale Bildschirmsicht 1 erzeugt, ohne dass er manuell in allen Viewports 3, 4, 5 in Drehwinkel und Tiefe geeignete Projektionen einstellen müsste. Im Ergebnis des Volume Pickings werden die Bilder aus den Viewports 3, 4, 5 in den ausgewählten Hot Spot 19 verschoben, ebenso die Schnittebene 13 in dem Viewport 11. Der Hot Spot 19 kann also sehr einfach in dem Viewport 11 gesucht werden, und dann können mit einem Mausklick alle vier Viewports 3, 4, 5, 6 auf den Hot Spot 19 fokussiert werden.
In Figur 7 ist die als Ergebnis des Volume Picking erhaltene, im Hinblick auf den vom Nutzer ausgewählten Hot Spot 19 optimierte Bildschirmsicht 1 unter Verwendung der selben Bezugszeichen wie in der vorangehenden Figur dargestellt. Die Schnittebene 13 im Viewport 11 ist so positioniert, dass das Schnittbild 17 eine Projektion samt Hot Spot 19 zeigt. Die restlichen Bilder zeigen nun andere sich gegenseitig referenzierende Schnittbilder entweder eines einzelnen oder der fusionierten Datensätze, die ebenfalls jeweils den Hot Spot 19 enthalten. Die Schnittbilder referenzieren sich gegenseitig, was durch Markierungslinien A, B, C angedeutet ist, die durch alle Viewports 3, 4, 5 hindurch jeweils durch den ausgewählten Hot Spot 19 verlaufen. Damit ist der Hot Spot 19 lokalisiert und für den Nutzer optimal einsehbar dargestellt .
In den Figuren 8 und 9 ist der Vorgang des Fokussierens, der in den vorangehenden Figuren 6 und 7 in Bezug auf den dortigen Viewport 11 erläutert wurde, noch mal illustriert. In Figur 8 ist das Schnittbild des fusionierten Bilddatensatzes 14, 15, der einen Hot Spot 19 enthält, dargestellt. Die Schnittebene 13 ist zufällig positioniert und enthält keine Projektion des Hot Spots 19. In Figur 9 wurde die Schnittebene 13 so verschoben, dass sie den Hot Spot 19 schneidet und eine Projektion 17 des fusionierten Bilddatensatzes beinhaltet.

Claims

Patentansprüche
1. Verfahren zur Navigation in 3-dimensionalen elektronischen Bilddatensätzen, wobei die Bilddatensätze 3-dimensionale Teil-Bilddatensätze enthalten, umfassend die Verfahrensschritte :
- Optisches Darstellen von mindestens einer 2-dimensionalen Projektion eines Bilddatensatzes, die eine 2-dimensionale Teil-Projektion von mindestens einem Teil-Bilddatensatz umfasst,
- Optisches Hervorheben der mindestens einen 2-dimensionalen Teil-Projektion,
- Funktionalisieren der mindestens einen optisch hervorgehobenen Teil-Projektion derart, dass diese durch eine Nutzer-Eingabe ausgewählt werden kann,
- Empfangen einer auf die Auswahl mindestens einer derart funktionalisierten Teil-Projektion gerichteten Nutzer- Eingabe,
- in Abhängigkeit von der Nutzer-Eingabe automatisches optisches Darstellen von mindestens einer weiteren 2- dimensionalen Projektion des Bilddatensatzes, die eine 2- dimensionale Projektion des ausgewählten Teil-Bilddatensatz umfasst .
2. Verfahren nach Anspruch 1, d a d u r c h g e k e n n z e i c h n e t , dass der Bilddatensatz durch einer Fusion von mindestens zwei Ursprungs-Bilddatensätzen gebildet wurde.
3. Verfahren nach Anspruch 2, d a d u r c h g e k e n n z e i c h n e t , dass sämtliche Teil-Bilddatensätze aus demselben Ursprungs-Bilddatensatz gebildet wurden.
4. Verfahren nach einem der Ansprüche 2 oder 3, d a d u r c h g e k e n n z e i c h n e t , dass die Ursprungs-Bilddatensätze einen aus einem Computer-Tomografie- Verfahren und einen aus einem Positronen-Emissions- Tomografie-Verfahren erhaltenen Usrprungs-Bilddatensatz umfassen.
5. Computer-Programm-Produkt, dass eine Ausführung oder Installation des Verfahrens nach einem der vorhergehenden Ansprüche auf einem Computer ermöglicht.
PCT/EP2004/053041 2003-11-28 2004-11-22 Verfahren zur navigation in 3-dimensionalen bilddaten WO2005052864A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006540455A JP2007512064A (ja) 2003-11-28 2004-11-22 ３次元画像データにおけるナビゲーションのための方法
US10/580,687 US7889894B2 (en) 2003-11-28 2004-11-22 Method of navigation in three-dimensional image data

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US52577503P 2003-11-28 2003-11-28
DE10356272A DE10356272B4 (de) 2003-11-28 2003-11-28 Verfahren zur Navigation in 3-dimensionalen Bilddaten
US60/525,775 2003-11-28
DE10356272.9 2003-11-28

Publications (1)

Publication Number Publication Date
WO2005052864A1 true WO2005052864A1 (de) 2005-06-09

Family

ID=34638261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2004/053041 WO2005052864A1 (de) 2003-11-28 2004-11-22 Verfahren zur navigation in 3-dimensionalen bilddaten

Country Status (4)

Country Link
US (1) US7889894B2 (de)
JP (1) JP2007512064A (de)
DE (1) DE10356272B4 (de)
WO (1) WO2005052864A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005031123A1 (de) * 2005-07-04 2007-01-11 Siemens Ag Verfahren und Einrichtung zur Röntgenbildgebung

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005032523B4 (de) * 2005-07-12 2009-11-05 Siemens Ag Verfahren zur prä-interventionellen Planung einer 2D-Durchleuchtungsprojektion
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US9980691B2 (en) * 2006-12-28 2018-05-29 David Byron Douglas Method and apparatus for three dimensional viewing of images
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
US10403039B2 (en) 2014-12-08 2019-09-03 Koninklijke Philips N.V. Virtual interactive definition of volumetric shapes
WO2018081354A1 (en) 2016-10-27 2018-05-03 Progenics Pharmaceuticals, Inc. Network for medical image analysis, decision support system, and related graphical user interface (gui) applications
US10973486B2 (en) 2018-01-08 2021-04-13 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
CN113272859A (zh) 2019-01-07 2021-08-17 西尼诊断公司 用于平台中立性全身图像分段的系统及方法
JP2022530039A (ja) 2019-04-24 2022-06-27 プロジェニクス ファーマシューティカルズ， インコーポレイテッド 転移を検出するための骨スキャン画像の自動化された対話型の分析のためのシステムおよび方法
US11564621B2 (en) 2019-09-27 2023-01-31 Progenies Pharmacenticals, Inc. Systems and methods for artificial intelligence-based image analysis for cancer assessment
US11900597B2 (en) 2019-09-27 2024-02-13 Progenics Pharmaceuticals, Inc. Systems and methods for artificial intelligence-based image analysis for cancer assessment
US11386988B2 (en) 2020-04-23 2022-07-12 Exini Diagnostics Ab Systems and methods for deep-learning-based segmentation of composite images
US11321844B2 (en) 2020-04-23 2022-05-03 Exini Diagnostics Ab Systems and methods for deep-learning-based segmentation of composite images
US11721428B2 (en) 2020-07-06 2023-08-08 Exini Diagnostics Ab Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170347A (en) * 1987-11-27 1992-12-08 Picker International, Inc. System to reformat images for three-dimensional display using unique spatial encoding and non-planar bisectioning
US6246784B1 (en) * 1997-08-19 2001-06-12 The United States Of America As Represented By The Department Of Health And Human Services Method for segmenting medical images and detecting surface anomalies in anatomical structures
US6633686B1 (en) * 1998-11-05 2003-10-14 Washington University Method and apparatus for image registration using large deformation diffeomorphisms on a sphere
DE19854131A1 (de) * 1998-11-24 2000-05-31 Siemens Ag Verfahren zum Darstellen und Bearbeiten eines an einem Anzeigemonitor wiedergebbaren Bilds, sowie Vorrichtung zum Verarbeiten und Wiegergeben digitaler Bilder
WO2001093745A2 (en) * 2000-06-06 2001-12-13 The Research Foundation Of State University Of New York Computer aided visualization, fusion and treatment planning
US7324104B1 (en) * 2001-09-14 2008-01-29 The Research Foundation Of State University Of New York Method of centerline generation in virtual objects
DE10344805A1 (de) * 2003-09-26 2005-04-28 Siemens Ag Verfahren zur automatischen Objektmarkierung in der medizinischen Bildgebung
US7327872B2 (en) * 2004-10-13 2008-02-05 General Electric Company Method and system for registering 3D models of anatomical regions with projection images of the same
US7643662B2 (en) * 2006-08-15 2010-01-05 General Electric Company System and method for flattened anatomy for interactive segmentation and measurement

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GERING D T: "A System for Surgical Planning and Guidance using Image Fusion and Interventional MR", THESIS AT THE MASSACHUSETTS INSTITUTE OF TECHNOLOGY, XX, XX, December 1999 (1999-12-01), pages 26 - 42, XP002293852 *
GOLLAND P ET AL: "Anatomy Browser: a novel approach to visualization and integration of medical information", COMPUTER ASSISTED SURGERY, XX, XX, vol. 4, 1999, pages 129 - 143, XP002280194 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005031123A1 (de) * 2005-07-04 2007-01-11 Siemens Ag Verfahren und Einrichtung zur Röntgenbildgebung
DE102005031123B4 (de) * 2005-07-04 2010-12-30 Siemens Ag Verfahren zur Röntgenbildgebung

Also Published As

Publication number Publication date
DE10356272A1 (de) 2005-07-07
US7889894B2 (en) 2011-02-15
DE10356272B4 (de) 2006-02-23
JP2007512064A (ja) 2007-05-17
US20070115204A1 (en) 2007-05-24

Similar Documents

Publication Publication Date Title
DE10356272B4 (de) Verfahren zur Navigation in 3-dimensionalen Bilddaten
DE69733265T2 (de) Verbesserter Diagnosebetrachter
DE102009035441B4 (de) Verfahren und Bildverarbeitungssystem zur Erzeugung eines Volumenansichtsbilds vom Inneren eines Körpers
DE69737720T2 (de) Verbessertes bildverarbeitungsverfahren für ein dreidimensionales bilderzeugungssystem
DE69819557T2 (de) Volumendarstellungsleuchten mit punktkodemethodologie
EP1025520B1 (de) Verfahren und vorrichtung zur bearbeitung von bildobjekten
DE102006003609B4 (de) Tomographie-System und Verfahren zur Visualisierung einer tomographischen Darstellung
DE102004043676B4 (de) Verfahren zur Visualisierung von Plaqueablagerungen aus 3D-Bilddatensätzen von Gefäßstrukturen
DE102004063053A1 (de) Verfahren und System zum Visualisieren dreidimensionaler Daten
DE102007008022A1 (de) Röntgengerät und Bildverarbeitungsverfahren
DE102005035012A1 (de) Hochleistungsschattierung von großen volumetrischen Daten unter Verwendung von partiellen Schirmraumableitungen
DE102008037453A1 (de) Verfahren und System zur Visualisierung von registrierten Bildern
DE102005035929A1 (de) Verfahren zur Darstellung mehrerer Bilder sowie ein Bildsystem zur Durchführung des Verfahrens
DE112004000377T5 (de) Bildsegmentierung in einer dreidimensionalen Umgebung
DE102007057096A1 (de) Verfahren und Vorrichtung zur automatischen Registrierung von Läsionen zwischen Untersuchungen
DE102017214447B4 (de) Planare Visualisierung von anatomischen Strukturen
DE102005045602B4 (de) Verfahren zum Unterstützen eines interventionellen medizinischen Eingriffs
DE112012002671T5 (de) Anzeigen einer Vielzahl von registrierten Bildern
DE10254908B4 (de) Verfahren zum Herstellen eines Bildes
DE10256659A1 (de) Engabevorrichtung zur Orientierung in einer dreidimensionalen Visualisierung, Verfahren zur Visualisierung von dreidimensionalen Datensätzen, Darstellungsvorrichtung zur Darstellung einer Visualisierung von dreidimensionalen Datensätzen, Verfahren zum Betrieb eines bildgebenden medizinischen Üntersuchungsgeräts und Verfahren zur graphischen Positionierung einer mittels eines bildgebenden medizinischen Untersuchungsgeräts zu messenden Schicht in einem dreidimensionalen Datensatz einer Vorbereitungsmessung
EP1235049A2 (de) Verfahren und Anordnung zur Abbildung und Vermessung mikroskopischer dreidimensionaler Strukturen
DE10149556A1 (de) Verfahren zur Erzeugung eines zweidimensionalen Bildes aus einem 3D-Datensatz eines Tomographie-Geräts und medizinisches Tomographie-Gerät
DE102005040016A1 (de) 3D-Auswertungsdarstellung zur Erkennung von Tumoren in Organen
DE10253617B4 (de) Verfahren zur Darstellung eines ineinem Volumendatensatz abgebildeten Objektes
DE102007027738B4 (de) Verfahren und Vorrichtung zur Visualisierung eines tomographischen Volumendatensatzes unter Nutzung der Gradientenmagnitude

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480035377.5

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007115204

Country of ref document: US

Ref document number: 2006540455

Country of ref document: JP

Ref document number: 10580687

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10580687

Country of ref document: US