WO2002075255A2 - Method for generating an image representation and a device for carrying out said method - Google Patents

Method for generating an image representation and a device for carrying out said method Download PDF

Info

Publication number
WO2002075255A2
WO2002075255A2 PCT/EP2002/002863 EP0202863W WO02075255A2 WO 2002075255 A2 WO2002075255 A2 WO 2002075255A2 EP 0202863 W EP0202863 W EP 0202863W WO 02075255 A2 WO02075255 A2 WO 02075255A2
Authority
WO
WIPO (PCT)
Prior art keywords
tissue
volume data
simulation
assigned
data
Prior art date
Application number
PCT/EP2002/002863
Other languages
German (de)
French (fr)
Other versions
WO2002075255A3 (en
Inventor
Ludwig M. Auer
Original Assignee
Ism Austria Institute Of Applied Sciences In Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ism Austria Institute Of Applied Sciences In Medicine filed Critical Ism Austria Institute Of Applied Sciences In Medicine
Publication of WO2002075255A2 publication Critical patent/WO2002075255A2/en
Publication of WO2002075255A3 publication Critical patent/WO2002075255A3/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering

Definitions

  • the invention relates on the one hand to a method for generating an image representation of tissue of a living being on the basis of volume data assigned to the tissue.
  • Such methods are known, for example, in connection with simulation devices. They essentially use two types of image display, namely on the one hand the display of images of anatomical models and on the other hand the display of images on the basis of individually recorded volume data of the patient.
  • the volume data are obtained, for example, with the aid of a computer tomograph or a magnetic resonance tomograph.
  • the anatomy relevant to the simulation is usually designed by modeling with a three-dimensional CAD tool according to the requirements of surgeons and / or with the help of anatomical atlases. Many organ models designed in this way are, for example, freely available on the Internet. Since the three-dimensional
  • onal models of the organs are only one color, they have to be provided with a surface texture to make them more realistic.
  • images of real organs usually obtained by endoscopic images, are processed and applied to the surface representations of the organs.
  • the resulting increase in the impression of reality is enormous.
  • the image representation of the organs represented by means of these models is possible with conventional computer systems at a sufficient speed.
  • the organs shown are only models, i.e. typically a virtual anatomy created according to the anatomy of a healthy person, and not the anatomy of a real patient.
  • volume rendering is usually used to perform a virtual endoscopy, that is to say an endoscopy of the patient's volume data (three-dimensional data records) stored in the computer.
  • the volume data (three-dimensional data records) of the patients recorded by means of computer tomography or magnetic resonance imaging are displayed directly, which means that every single spatial point, whether visible from the direction of view or not, is taken into account for the three-dimensional representation, whereas "surface rendering” means that Surfaces of the objects are displayed in the form of triangular sets.
  • the representation by means of "volume rendering” is only possible on the most expensive high-end computer hardware and the manipulation of
  • the object of the invention is to further develop the method of the type mentioned at the outset in such a way that it can also be used in surgery simulation with the aid of computers with low computing capacity.
  • the volume data are changed by means of a first simulation of the action in order to change the image representation with regard to an action changing the tissue, the simulation being based on selected first volume data from the entirety of the tissue assigned volume data takes place, whereas others
  • Volume data are ignored in the first simulation.
  • the invention is based on the astonishingly simple finding that computers with only a limited computing capacity are sufficient if the amount of data to be handled by them is not too large. Therefore, they can be used if not all volume data, but only a selected part of it, is used for the first simulation. Which part is selected and how large the part of the volume data that is not taken into account in the simulation may represent an optimization problem that must take into account the available computing capacity on the one hand and the accuracy of the image display on the other. The decision must therefore be made by
  • the selected first volume data are assigned to a predetermined partial volume of the tissue.
  • the simulation is performed on part of the tissue.
  • the part is advantageously the part that is directly affected by the action of changing the tissue.
  • it can be expected that these remote parts of the tissue will hardly be affected by the impact anyway, which is why the simulation is nevertheless very realistic.
  • the predetermined partial volume is preferably circular-cylindrical, cuboid, hemispherical or frustoconical.
  • the choice of the shape of the partial volume depends on the particular circumstances of the individual case. It is namely to be decided whether the effects of an action changing the tissue spread, for example, in a hemispherical manner, or whether a circular-cylindrical, cuboid or frustum-shaped spread is to be expected.
  • an optimization tion on the one hand with regard to the greatest possible realism of the simulation and on the other hand to the possible saving of computational effort through particularly simple geometries of the partial volume.
  • the image representation is preferably in the form of a plan view of a predetermined surface of the tissue. This shape comes particularly close to what the surgeon is used to in his daily work, which is why this image representation is perceived as particularly realistic.
  • the predetermined surface is preferably a limitation of the predetermined partial volume.
  • the partial volume is chosen such that its boundary surface facing the viewer coincides with that surface which is shown in the top view.
  • the first simulation is carried out at a predetermined first speed and a second simulation for changing the volume data is carried out, on the basis of selected second volume data from the totality of the volume data assigned to the tissue and with a second speed that is lower than the first speed, the result of the second simulation being used to correct the result of the first simulation.
  • any errors that are due to the partial consideration of the volume data in the first simulation are at least partially corrected again by means of a second simulation.
  • the computing capacity for this second simulation at the same speed as the first simulation may not be sufficient, it is envisaged that the second simulation will run more slowly than the first simulation.
  • the correction of the image display generated on the basis of the first simulation can only take place with a delay. If such a correction is considered to be absolutely necessary, breaks have to be made every now and then - for example during an operation to give the computer used the opportunity to make the corrections based on the second simulation.
  • the selected second volume data is the entirety of the volume data assigned to the tissue.
  • the second simulation is carried out taking into account all volume data, so that errors due to a selection of volume data are eliminated.
  • a method for generating an image representation of a predetermined surface of tissue of a living being is created, which is characterized in that
  • Volume data are determined that are assigned to the tissue
  • the surface data changed in accordance with c) serve as the basis for the image representation including the influence.
  • a virtual image is not generated from the volume data and displayed, the volume data being changed by means of simulation, which would lead to a corresponding change in the virtually generated surface representation, but a pattern of the predetermined surface is shown in the top view and the pattern is changed by means of simulation based on the volume data.
  • This combination of the simulation of the three-dimensional volume data and the image representation on the basis of the view of the surface pattern results in a particularly realistic representation of the tissue surface modified in accordance with the effect on the tissue.
  • the extent to which the pattern of the predetermined surface deviates from the predetermined surface assigned to the volume data is checked before the simulation by comparing the surface data assigned to the pattern of the predetermined surface of the tissue with the volume data assigned to the tissue , wherein in the event of a deviation exceeding a predetermined dimension, the surface data are changed in the sense of, for example, bending, smoothing, compressing and / or stretching the predetermined surface to at least partially compensate for the deviation.
  • a check is provided to determine whether the surface image of the tissue coincides with the surface assigned to the volume data determined. If this is not the case, the pattern surface is changed in such a way that there is coverage at least to a predetermined degree. It is thereby achieved that the representation of the predetermined surface which is based on the pattern also largely corresponds to the surface of the tissue from which the volume data have been determined.
  • the predetermined surface of the fabric shown in the top view can serve as a pattern.
  • a “picture” of the tissue is made in the top view. This "recording" is the basis for the surface data. Since individual tissues, such as the brain, kidney, liver, etc., are not all too different from one living being to another living being of the same type, it is particularly preferably provided according to the invention that a surface of the same type of tissue from another living being is used as a pattern.
  • surface data of the corresponding tissue of another living being are stored, for example, in a database and used for the image display according to the invention. If several patterns are stored in such a database, the pattern that most closely matches the determined volume data can be selected for further use.
  • the surface data assigned to the pattern can also be generated synthetically. This can be done, for example, by "standardizing" changes to surface data that have been obtained from other, similar living beings. Of course, other methods for synthesizing the surface data are also conceivable.
  • the simulation is preferably carried out on the basis of viscoelastic models. These simulations lead to a particularly realistic result.
  • the simulation can preferably be based on
  • Tetrahedra are preferably used as elements in the context of a finite element method.
  • the simulation is carried out using a neuro-fuzzy system with a feedback neural network.
  • the computer used is learnable, i.e. he can train the simulation and thereby achieve results that are more and more realistic.
  • the invention therefore also has the task of specifying a method for generating an image representation of tissue, with which it is also possible to include fine structures.
  • this object is achieved by a method for generating an image representation of tissue of a living being, the method being characterized in that
  • Volume data are determined that are assigned to the tissue
  • Fine structure data are provided, which are assigned to a pattern of the tissue, and
  • volume data are changed in the sense of adding the fine structure of the pattern to the tissue associated with the volume data, wherein
  • the changed volume data serve as the basis for the image display.
  • the fine structures that cannot be represented with the aforementioned methods for determining the volume data are simply added later for the purpose of image representation, their position and configuration being selected in accordance with a pattern. Since there is now very detailed information about the location and type of fine structures in all possible tissues in the form of anatomical atlases and the like, the errors that occur in the image display are comparatively small.
  • the image is preferably three-dimensional. This increases the realism even more.
  • the invention also provides a device for carrying out the method for generating an image representation in accordance with the above explanations.
  • the invention is explained in more detail below with the aid of a preferred exemplary embodiment and with reference to the accompanying drawing. Show
  • FIG. 6 schematically shows manipulation of the volume data by means of a virtual surgical instrument.
  • the following description relates to an exemplary embodiment of the device according to the invention for performing an imaging method.
  • a device can serve a variety of purposes. On the one hand, it can be used to simulate an operation for the purpose of practicing as part of a surgical training. In addition, it can be used for preoperative simulation with the aim of finding an optimal way for the planned intervention. Finally, the device can also be used for imaging during the operation. It is referred to below as NAVSIM (navigation simulator).
  • the NAVSIM optionally allows operation with the manipulator Laparoscopic Impulse Engine (Immersion Corporation, San Jose, USA), which is already equipped with simple force feedback mechanisms, and the robot NEUROBOT (development within the framework of the EU project ROBOSCOPE) ,
  • the user interface and operating software use an Onyx-2-Infinite reality from Silicon Graphics as a platform.
  • visualization hardware Either a conventional PC screen or a so-called holobench for 3D display of the operation area (TAN, Düsseldorf, Germany) can be used.
  • OpenGL Volumizer The basis for the "volume rendering" that is used in NAVSIM using the Onyx-IR is OpenGL Volumizer from Silicon Graphics or a successor technology.
  • OpenGL Volumizer is a graphics library for SGI graphic computers that allows conventional graphics applications to use volume data and surface data in a similar way.
  • OpenGL Volumizer introduces the concept of "volumetric primitives", which uses the tetrahedron as a volumetric graphic primitive; Similar to surface representation, the smallest unit is defined by the triangle. Each tetrahedron contains parts of the volume data of the MR data set.
  • the Flight Volumizer was developed based on OpenGL Volumizer.
  • the flight volumizer accelerates the "volume rendering" for virtual endoscopy images by using only the data within the field of view for the simulation. Flight Volumizer also enables the simulation of deformations and fragmentations directly on the patient's MR data record at around 7 to 10 images per second, which has never been achieved before, regardless of the hardware used.
  • the NAVSIM user interface allows you to plan and simulate an intervention in the following steps:
  • Pre-operative planning usually begins with the definition of an access point in the skull for trepanation and with the definition of a target point that is placed in the area to be operated on.
  • Several different planning windows consisting of several components, are integrated in NAVSIM. These components are two editors with axial, coronal and sagittal sections of the patient for planning the access and destination point, a virtual endoscopic view optionally in "volume rendering” or “surface rendering", a planning view with a camera that can be positioned anywhere, a global view (External view, position of the endoscope relative to the patient's skull) and several views with sections along the endoscope as well as a pseudo-3D view of the sections. All views are interactive and can be changed in size and position. New windows can also be defined with the help of the components.
  • a planning window contains position markers for the access and the
  • a movement of the position marker results in the change of the cuts in the other windows of the component, the virtual endoscopic view and the position of the endoscope.
  • the position markers are moved using the computer mouse.
  • the next step is to check whether the trajectory from the start point to the destination point avoids areas of the brain that should not be injured by inserting the endoscope.
  • the relevant standard window for checking the trajectory consists of a global view, a virtual endoscopic view and the axial, coronal and sagittal slices of the patient, in which the trajectory is indicated by red lines and a red dot in which the trajectory intersects the slice.
  • All layers can be changed interactively with a single movement while the lines and points are continuously displayed. If necessary, the trajectory can be changed by moving spheres shown at the beginning and at the end of the trajectory. 5
  • the virtual trepanation can be carried out, which is a planning of the size, the depth and the
  • the window for the virtual craniotomy has a similar
  • the next step is to define the permitted areas in the skull, which 20 must not be left in a real operation.
  • Such areas can e.g. be formed by one or more brain tumors. This ensures that a surgeon does not accidentally injure healthy brain areas.
  • Any ellipsoid can be defined as a go area. The size, position and orientation of the ellipsoids can be changed as desired using the sliders shown in the illustration.
  • a view with "volume rendering” can be used for virtual, interactive endoscopy.
  • a simulation tool based on deformable surface models is also integrated. These surface models are based on the use of simplex grids (Delingette, H. General Object Reconstruction based on Simplex Meshes, in: Inter- National Journal of Computer Vision, Boston, MA, 1999, 1-32) have been generated semi-automatically for a number of patients.
  • the simulation of the deformations is based on physical models (viscoelastic models), which are performed by neuro-fuzzy systems (D. Nauck, F. Klawonn, and R.
  • OBB trees Gottschalk S, Lin M, Manocha D, OBB-Tree: A Hirarchical Structure for Rapid Interference Detection, in: Computer Graphics Proceedings, Annual
  • the core of the device according to the invention is, according to FIG. 1, a computer system 4, which consists, for example, of a PC with a mid-range graphics card, which contains two Pentium IV processors, each with at least 2 GHz system clock.
  • a data reading module 2 In direct connection with the computer system 4 is a data reading module 2, via which three-dimensional volume data sets representing the brain tissue of real patients are read in. These volume data records are recorded on the patient with the aid of a computer tomograph or magnetic resonance tomograph 1. Data sets obtained using both methods can also be used to increase the image quality can be combined, which can be advantageous, since one or the other method delivers better images for different parts of the anatomy.
  • an operation manipulator 3 in which the surgeon can clamp his usual surgical instruments.
  • the movements of these surgical elements in real space are coupled with virtual movements in the volume data set.
  • the computer system can fall back on a database 5, which contains both a collection of two-dimensional colored endoscopic images of real brain tissue and a collection of three-dimensional representations of fine tissue structures, such as thin membranes and small blood vessels, from one below the resolution limit of the Volume data of the patient are falling size.
  • two visualization devices are connected to the computer system, which can be used alternatively, namely a conventional screen 6 and a holobench 7 for three-dimensional reconstruction of virtual images, which enables the operator to see the virtual operating area in space.
  • the preoperative planning begins with the definition of an access point 8 on the patient's skull via which the virtual endoscope is to be inserted into the brain in order to bring the surgical instruments into the target area of the brain.
  • the system according to FIG. 2 shows various sectional views of the skull in interactively changeable representation types and perspectives.
  • the access point 8 is defined by selecting a suitable coordinate with the computer mouse.
  • a target point 9 is defined according to FIG. 3, which is one end of the endoscope after the
  • Insertion process The computer system then displays the trajectory between access point 8 and target point 9 as an endoscopic access path, which can be changed interactively by the surgeon in order to avoid injuries to sensitive areas of the brain.
  • permitted areas 10 can be defined in the patient's virtual brain, which must not be left during the operation in order to avoid injuries from surrounding areas. This is again done using sectional views of the brain, cf. Fig. 4.
  • the volume data are reformatted in such a way that they represent the structure of the tissue volume in a coordinate system having tetrahedral basic cells. This means that the volume shown consists of tetrahedral volume units according to FIG. 5.
  • the computer system analyzes the anatomical structure of the tissue represented by the volume data by means of a predefined model and inserts three-dimensional representations of fine tissue structures stored in the database 5 into the tissue representation for the simulation, for example, at the locations of the anatomy typical of the occurrence of such structures thin membranes or small blood vessels.
  • the three-dimensionally configured surfaces of the tissue lying in an image field 12 are shown on the screen 6 and / or during the operation simulation
  • Holobench 7 shown.
  • the image field 12 according to FIG. 6 is defined by the surgeon via the operation manipulator 3 in terms of position, size and viewing direction in the coordinate system of the volume data set and can be changed as required during the operation simulation.
  • the designed surfaces are generated by applying selected images or parts thereof from the colored two-dimensional endoscopic images of real brain tissue stored in the database 5 to the surfaces of the volume data representations in accordance with the anatomical structure represented by them.
  • the computer system shows the corresponding virtual operating element 13 and its current spatial position relative to the tissue on the

Abstract

The invention relates to a method for generating an image representation of the tissue of a living thing, based on volumetric data assigned to the tissue. According to said method, in order to modify the image representation with regard to an action that alters the tissue, the volumetric data is modified using a first simulation of said action. The simulation is based on selected first volumetric data from the total volumetric data assigned to the tissue, whereas other volumetric data is not taken into consideration during the first simulation.

Description

VERFAHREN ZUM ERZEUGEN EINER BILDDARSTELLUNG SOWIE VORRICHTUNG METHOD FOR GENERATING AN IMAGE REPRESENTATION AND DEVICE
ZUM DURCHFÜHREN DES VERFAHRENSFOR IMPLEMENTING THE PROCEDURE
Die Erfindung betrifft zum einen ein Verfahren zum Erzeugen einer Bilddarstellung von Gewebe eines Lebewesens auf der Grundlage von dem Gewebe zugeordneten Volumendaten.The invention relates on the one hand to a method for generating an image representation of tissue of a living being on the basis of volume data assigned to the tissue.
Solche Verfahren sind beispielsweise im Zusammenhang mit Simulationsvorrichtungen bekannt. Sie bedienen sich im wesentlichen zweier Arten der Bilddarstellung, nämlich einerseits der Darstellung von Bildern anatomischer Modelle und andererseits dem Anzeigen von Bildern auf der Grundlage individuell aufgenommener Volumendaten des Patienten. Die Volumendaten werden dabei beispielsweise mit Hilfe eines Computertomographen oder eines Kernspintomographen gewonnen. Meist wird durch Modellieren mit einem dreidimensionalen CAD-Werkzeug die für die Simulation relevante Anatomie nach Vorgaben von Chirurgen und/oder unter Zuhilfenahme von Anatomieatlanten entworfen. Viele auf diese Art entworfenen Organmodelle sind z.B. frei im Internet erhältlich. Da die dreidimensi- Such methods are known, for example, in connection with simulation devices. They essentially use two types of image display, namely on the one hand the display of images of anatomical models and on the other hand the display of images on the basis of individually recorded volume data of the patient. The volume data are obtained, for example, with the aid of a computer tomograph or a magnetic resonance tomograph. The anatomy relevant to the simulation is usually designed by modeling with a three-dimensional CAD tool according to the requirements of surgeons and / or with the help of anatomical atlases. Many organ models designed in this way are, for example, freely available on the Internet. Since the three-dimensional
onalen Modelle der Organe nur einfarbig sind, müssen sie zur realistischeren Gestaltung mit einer Oberflächentextur versehen werden. Bei diesem Vorgang, der "texture mapping" genannt wird, werden Aufnahmen realer Organe, meist gewonnen durch endoskopische Aufnahmen, aufbereitet und auf die Oberflächendarstellungen der Organe aufgebracht. Je nach Auflösung der verwendeten Textur ist die dadurch gewonnene Steigerung des Realitätseindrucks enorm. Die Bilddarstellung der mittels dieser Modelle dargestellten Organe ist mit herkömmlichen Computersystemen in ausreichender Geschwindigkeit möglich. Jedoch handelt es sich bei den dargestellten Organen nur um Modelle, d.h. typischerweise um eine der Anatomie eines gesunden Menschen entsprechend erzeugte virtuelle Anatomie, und nicht um die Anatomie eines realen Patienten. Zwar ist eine Manipulation von Objekten auf teuersten High-End Computersystemen zumindest technisch möglich, dazu muss jedoch jeder pathologische Fall zuerst einzeln modelliert werden, weshalb eine virtuelle Endosko- pie oder sogar ein vorheriges Durchspielen der eigentlichen Operation am Computer unter Verwendung der aktuellen vor der Operation aufgenommenen Patientendaten damit nicht möglich ist.onal models of the organs are only one color, they have to be provided with a surface texture to make them more realistic. In this process, which is called "texture mapping", images of real organs, usually obtained by endoscopic images, are processed and applied to the surface representations of the organs. Depending on the resolution of the texture used, the resulting increase in the impression of reality is enormous. The image representation of the organs represented by means of these models is possible with conventional computer systems at a sufficient speed. However, the organs shown are only models, i.e. typically a virtual anatomy created according to the anatomy of a healthy person, and not the anatomy of a real patient. Although manipulation of objects on the most expensive high-end computer systems is at least technically possible, each pathological case must first be modeled individually, which is why a virtual endoscopy or even a previous run-through of the actual operation on the computer using the current one before the operation recorded patient data is therefore not possible.
Zum Durchführen einer virtuellen Endoskopie, also einer Endoskopie an den im Computer gespeicherten Volumendaten (dreidimensionale Datensätze) des Patienten, wird meist das sogenannte "volume rendering" verwendet. Hierbei werden die mittels Compu- tertomographie oder Kernspintomographie aufgenommenen Volumendaten (dreidimensionale Datensätze) der Patienten direkt dargestellt, das bedeutet, dass jeder einzelne Raumpunkt, ob aus der Blickrichtung sichtbar oder nicht, für die dreidimensionale Darstellung berücksichtigt wird, wohingegen beim "surface rendering" die Oberflächen der Objekte in Form von Dreiecksmengen angezeigt werden. Die Darstellung mittels "volume rendering" ist jedoch nur auf teuerster High-End Computerhardware möglich und das Manipulieren vonThe so-called "volume rendering" is usually used to perform a virtual endoscopy, that is to say an endoscopy of the patient's volume data (three-dimensional data records) stored in the computer. The volume data (three-dimensional data records) of the patients recorded by means of computer tomography or magnetic resonance imaging are displayed directly, which means that every single spatial point, whether visible from the direction of view or not, is taken into account for the three-dimensional representation, whereas "surface rendering" means that Surfaces of the objects are displayed in the form of triangular sets. The representation by means of "volume rendering" is only possible on the most expensive high-end computer hardware and the manipulation of
Objekten in Echtzeit, wie es für die Chirurgie-Simulation unabdingbar ist, ist bisher nur in Ansätzen und mit nicht ausreichender Qualität möglich.Objects in real time, as is essential for surgery simulation, have so far only been possible in part and with insufficient quality.
Der Erfindung liegt die Aufgabe zugrunde, das Verfahren der eingangs genannten Art derart weiterzuentwickeln, dass es auch mit Hilfe von Computern mit geringer Rechenkapazität bei der Chirurgie-Simulation einsetzbar ist. Erfindungsgemäß ist bei dem Verfahren der eingangs genannten Art vorgesehen, dass zur Veränderung der Bilddarstellung im Hinblick auf eine das Gewebe verändernde Einwirkung die Volumendaten mittels einer ersten Simulation der Einwirkung verändert werden, wobei die Simulation auf der Grundlage ausgewählter erster Volumendaten aus der Gesamtheit der dem Gewebe zugeordneten Volumendaten erfolgt, wohingegen andereThe object of the invention is to further develop the method of the type mentioned at the outset in such a way that it can also be used in surgery simulation with the aid of computers with low computing capacity. According to the invention, in the method of the type mentioned at the outset, the volume data are changed by means of a first simulation of the action in order to change the image representation with regard to an action changing the tissue, the simulation being based on selected first volume data from the entirety of the tissue assigned volume data takes place, whereas others
Volumendaten bei der ersten Simulation unberücksichtigt bleiben.Volume data are ignored in the first simulation.
Dabei liegt der Erfindung die verblüffend einfache Erkenntnis zugrunde, dass Rechner mit nur eingeschränkter Rechenkapazität ausreichen, wenn die von ihnen zu bewälti- gende Datenmenge nicht zu groß ist. Daher können sie eingesetzt werden, wenn für die erste Simulation nicht etwa alle Volumendaten, sondern eben nur ein ausgewählter Teil davon verwendet wird. Welcher Teil ausgewählt wird und wie groß der nicht bei der Simulation berücksichtigte Teil der Volumendaten sein darf, stellt ein Optimierungsproblem dar, das einerseits die zur Verfügung stehende Rechenkapazität und andererseits die Genauig- keit der Bilddarstellung berücksichtigen muss. Die Entscheidung muss daher jeweils vomThe invention is based on the astonishingly simple finding that computers with only a limited computing capacity are sufficient if the amount of data to be handled by them is not too large. Therefore, they can be used if not all volume data, but only a selected part of it, is used for the first simulation. Which part is selected and how large the part of the volume data that is not taken into account in the simulation may represent an optimization problem that must take into account the available computing capacity on the one hand and the accuracy of the image display on the other. The decision must therefore be made by
Einzelfall abhängig gemacht werden.Be made dependent in individual cases.
Nach einer bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass die ausgewählten ersten Volumendaten einem vorbestimmten Teilvolumen des Gewebes zu- geordnet sind. Mit anderen Worten wird die Simulation auf Grund eines Teils des Gewebes durchgeführt. Bei dem Teil handelt es sich vorteilhafterweise um denjenigen Teil, der unmittelbar von der das Gewebe verändernden Einwirkung betroffen ist. Dadurch, dass weit von der Einwirkung abliegende Gewebeteile bei der Simulation nicht berücksichtigt werden, kann erheblicher Rechenaufwand gespart werden. Im übrigen ist zu erwarten, dass diese weit abgelegenen Teile des Gewebes ohnehin von der Einwirkung kaum verändert werden, weshalb die Simulation dennoch sehr wirklichkeitsnah ist.According to a preferred embodiment of the invention, it is provided that the selected first volume data are assigned to a predetermined partial volume of the tissue. In other words, the simulation is performed on part of the tissue. The part is advantageously the part that is directly affected by the action of changing the tissue. The fact that tissue parts that are far away from the influence are not taken into account in the simulation can save considerable computing effort. In addition, it can be expected that these remote parts of the tissue will hardly be affected by the impact anyway, which is why the simulation is nevertheless very realistic.
Das vorbestimmte Teilvolumen ist erfindungsgemäß bevorzugt kreiszylindrisch, qua- derförmig, halbkugelförmig oder kegelstumpfförmig. Wiederum hängt die Wahl der Form des Teilvolumens von den jeweiligen Gegebenheiten des Einzelfalls ab. Es ist nämlich zu entscheiden, ob die Auswirkungen einer das Gewebe verändernden Einwirkung sich beispielsweise halbkugelförmig ausbreiten, oder ob eher mit einer kreiszylindrischen, quader- förmigen oder kugelstumpfförmigen Ausbreitung zu rechnen ist. Wiederum ist eine Optimie- rung vorzunehmen, und zwar im Hinblick einerseits auf eine möglichst große Wirklichkeitsnähe der Simulation und andererseits auf das mögliche Einsparen von Rechenaufwand durch besonders einfache Geometrien des Teilvolumens.According to the invention, the predetermined partial volume is preferably circular-cylindrical, cuboid, hemispherical or frustoconical. Again, the choice of the shape of the partial volume depends on the particular circumstances of the individual case. It is namely to be decided whether the effects of an action changing the tissue spread, for example, in a hemispherical manner, or whether a circular-cylindrical, cuboid or frustum-shaped spread is to be expected. Again, an optimization tion, on the one hand with regard to the greatest possible realism of the simulation and on the other hand to the possible saving of computational effort through particularly simple geometries of the partial volume.
Die Bilddarstellung hat erfindungsgemäß bevorzugt die Form einer Draufsicht auf eine vorbestimmte Oberfläche des Gewebes. Diese Form kommt demjenigen besonders nahe, was der Chirurg bei seiner täglichen Arbeit gewöhnt ist, weshalb diese Bilddarstellung als besonders wirklichkeitsnah empfunden wird.According to the invention, the image representation is preferably in the form of a plan view of a predetermined surface of the tissue. This shape comes particularly close to what the surgeon is used to in his daily work, which is why this image representation is perceived as particularly realistic.
Erfindungsgemäß bevorzugt ist die vorbestimmte Oberfläche eine Begrenzung des vorbestimmten Teilvolumens. Mit anderen Worten wird das Teilvolumen derart gewählt, dass seine dem Betrachter zugewendete Begrenzungsfläche mit derjenigen Oberfläche zusammenfällt, die in der Draufsicht dargestellt wird. Bei dieser Gestaltung wird die Simulation in demjenigen Bereich vorgenommen, der zur Darstellung gebracht wird, was wiederum große Wirklichkeitsnähe der simulierten Darstellung bedeutet.According to the invention, the predetermined surface is preferably a limitation of the predetermined partial volume. In other words, the partial volume is chosen such that its boundary surface facing the viewer coincides with that surface which is shown in the top view. With this design, the simulation is carried out in the area that is displayed, which in turn means that the simulated display is very realistic.
Nach einer besonders bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass die erste Simulation mit einer vorbestimmten ersten Geschwindigkeit ausgeführt wird und eine zweite Simulation zur Veränderung der Volumendaten ausgeführt wird, und zwar auf der Grundlage ausgewählter zweiter Volumendaten aus der Gesamtheit der dem Gewebe zugeordneten Volumendaten und mit einer zweiten Geschwindigkeit, die geringer ist als die erste Geschwindigkeit, wobei das Ergebnis der zweiten Simulation zur Korrektur des Ergebnisses der ersten Simulation dient.According to a particularly preferred embodiment of the invention, it is provided that the first simulation is carried out at a predetermined first speed and a second simulation for changing the volume data is carried out, on the basis of selected second volume data from the totality of the volume data assigned to the tissue and with a second speed that is lower than the first speed, the result of the second simulation being used to correct the result of the first simulation.
Mit anderen Worten werden eventuelle Fehler, die auf die nur teilweise Berücksichtigung der Volumendaten bei der ersten Simulation zurückgehen, im Wege einer zweiten Simulation zumindest teilweise wieder korrigiert. Da aber u.U. die Rechenkapazität für diese zweite Simulation mit der gleichen Geschwindigkeit wie die erste Simulation nicht ausreicht, ist vorgesehen, dass die zweite Simulation langsamer abläuft als die erste Simulation. Da- durch kann die Korrektur der auf der Grundlage der ersten Simulation erzeugten Bilddarstellung nur verzögert erfolgen. Hält man eine solche Korrektur für unbedingt erforderlich, so müssen - beispielsweise im Rahmen einer Operation - hin und wieder Pausen eingelegt werden, um dem eingesetzten Rechner die Möglichkeit zu geben, die Korrekturen auf der Grundlage der zweiten Simulation auszuführen.In other words, any errors that are due to the partial consideration of the volume data in the first simulation are at least partially corrected again by means of a second simulation. However, since the computing capacity for this second simulation at the same speed as the first simulation may not be sufficient, it is envisaged that the second simulation will run more slowly than the first simulation. As a result, the correction of the image display generated on the basis of the first simulation can only take place with a delay. If such a correction is considered to be absolutely necessary, breaks have to be made every now and then - for example during an operation to give the computer used the opportunity to make the corrections based on the second simulation.
Damit zumindest nach Korrektur eine besonders wirklichkeitsnahe Bilddarstellung erhalten wird, ist erfindungsgemäß bevorzugt vorgesehen, dass die ausgewählten zweiten Volumendaten die Gesamtheit der dem Gewebe zugeordneten Volumendaten ist. Mit anderen Worten wird die zweite Simulation unter Berücksichtigung sämtlicher Volumendaten ausgeführt, so dass auf eine Auswahl von Volumendaten zurückgehende Fehler eliminiert sind.In order that a particularly realistic image representation is obtained at least after correction, it is preferably provided according to the invention that the selected second volume data is the entirety of the volume data assigned to the tissue. In other words, the second simulation is carried out taking into account all volume data, so that errors due to a selection of volume data are eliminated.
Nach einem weiteren Aspekt der Erfindung wird ein Verfahren zum Erzeugen einer Bilddarstellung einer vorbestimmten Oberfläche von Gewebe eines Lebewesens geschaffen, das dadurch gekennzeichnet ist, dassAccording to a further aspect of the invention, a method for generating an image representation of a predetermined surface of tissue of a living being is created, which is characterized in that
Volumendaten ermittelt werden, die dem Gewebe zugeordnet sind,Volume data are determined that are assigned to the tissue,
Oberflächendaten bereitgestellt werden, die einer Draufsicht auf ein Muster einer vorbestimmten Oberfläche des Gewebes zugeordnet sind,Surface data are provided which are assigned to a plan view of a pattern of a predetermined surface of the tissue,
zur Veränderung der Bilddarstellung im Hinblick auf eine das Gewebe veränderndeto change the image display with a view to changing the tissue
Einwirkungeffect
a) die Volumendaten mittels Simulation der Einwirkung verändert werden,a) the volume data are changed by simulating the action,
b) die Auswirkungen der Veränderung der Volumendaten auf die den Volumendaten zugeordnete vorbestimmte Oberfläche ermittelt werden,b) the effects of the change in the volume data on the predetermined surface assigned to the volume data are determined,
c) die Oberflächendaten entsprechend den Auswirkungen gemäß b) verändert werden undc) the surface data are changed in accordance with the effects according to b) and
d) die gemäß c) geänderten Oberflächendaten als Grundlage für die Bilddarstellung unter Einbeziehung der Einwirkung dienen. Mit anderen Worten wird erfindungsgemäß nicht etwa aus den Volumendaten ein virtuelles Bild erzeugt und zur Darstellung gebracht, wobei die Volumendaten im Wege der Simulation verändert werden, was zu einer entsprechenden Veränderung der virtuell erzeugten Oberflächendarstellung führen würde, sondern es wird ein Muster der vorbestimmten Oberfläche in der Draufsicht dargestellt und das Muster wird im Wege der Simulation auf der Grundlage der Volumendaten verändert. Durch diese Kombination der Simulation der dreidimensionalen Volumendaten und der Bilddarstellung auf der Grundlage der Ansicht des Oberflächenmusters wird eine besonders wirklichkeitsnahe Darstellung der entsprechend der Einwirkung auf das Gewebe veränderten Gewebeoberfläche erzielt.d) the surface data changed in accordance with c) serve as the basis for the image representation including the influence. In other words, according to the invention, a virtual image is not generated from the volume data and displayed, the volume data being changed by means of simulation, which would lead to a corresponding change in the virtually generated surface representation, but a pattern of the predetermined surface is shown in the top view and the pattern is changed by means of simulation based on the volume data. This combination of the simulation of the three-dimensional volume data and the image representation on the basis of the view of the surface pattern results in a particularly realistic representation of the tissue surface modified in accordance with the effect on the tissue.
Nach einer besonders bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass vor der Simulation durch einen Vergleich der dem Muster der vorbestimmten Oberfläche des Gewebes zugeordneten Oberflächendaten mit den dem Gewebe zugeordneten Volumendaten geprüft wird, inwieweit das Muster der vorbestimmten Oberfläche von der den Volumendaten zugeordneten vorbestimmten Oberfläche abweicht, wobei im Falle einer ein vorbestimmtes Maß überschreitenden Abweichung die Oberflächendaten im Sinne etwa einer Biegung, Glättung, Stauchung und/oder Streckung der vorbestimmten Oberfläche zur zumindest teilweisen Kompensation der Abweichung verändert werden.According to a particularly preferred embodiment of the invention, the extent to which the pattern of the predetermined surface deviates from the predetermined surface assigned to the volume data is checked before the simulation by comparing the surface data assigned to the pattern of the predetermined surface of the tissue with the volume data assigned to the tissue , wherein in the event of a deviation exceeding a predetermined dimension, the surface data are changed in the sense of, for example, bending, smoothing, compressing and / or stretching the predetermined surface to at least partially compensate for the deviation.
Mit anderen Worten ist eine Prüfung dahingehend vorgesehen, ob sich das Oberflächenbild des Gewebes mit der den ermittelten Volumendaten zugeordneten Oberfläche deckt. Ist dies nicht der Fall, wird die Musteroberfläche derart verändert, dass eine Deckung zumindest bis zu einem vorbestimmten Grade vorliegt. Dadurch wird erreicht, dass die auf das Muster zurückgehende Darstellung der vorbestimmten Oberfläche auch weitestgehend der Oberfläche desjenigen Gewebes entspricht, von dem die Volumendaten ermittelt worden sind.In other words, a check is provided to determine whether the surface image of the tissue coincides with the surface assigned to the volume data determined. If this is not the case, the pattern surface is changed in such a way that there is coverage at least to a predetermined degree. It is thereby achieved that the representation of the predetermined surface which is based on the pattern also largely corresponds to the surface of the tissue from which the volume data have been determined.
Erfindungsgemäß kann als Muster die vorbestimmte Oberfläche des in der Draufsicht dargestellten Gewebes selbst dienen. Bei dieser Ausgestaltung werden also nicht nur die Volumendaten des darzustellenden Gewebes ermittelt, sondern es wird auch eine "Aufnahme" des Gewebes in der Draufsicht hergestellt. Diese "Aufnahme" stellt die Grundlage für die Oberflächendaten dar. Da einzelne Gewebe, wie etwa Gehirn, Niere, Leber etc. von einem Lebewesen zu einem anderen Lebewesen der gleichen Art nicht allzu unterschiedlich voneinander sind, ist es erfindungsgemäß besonders bevorzugt vorgesehen, dass als Muster eine Oberfläche von artgleichem Gewebe eines anderen Lebewesens dient. Bei dieser Ausgestaltung werden also Oberflächendaten von entsprechendem Gewebe eines anderen Lebewesens beispielsweise in einer Datenbank gespeichert und für die erfindungsgemäße Bilddarstellung verwendet. Sind in einer solchen Datenbank mehrere Muster gespeichert, so kann für die weitere Verwendung das sich am ehesten mit den ermittelten Volumendaten deckende Muster ausgesucht werden.According to the invention, the predetermined surface of the fabric shown in the top view can serve as a pattern. In this embodiment, not only are the volume data of the tissue to be displayed determined, but also a “picture” of the tissue is made in the top view. This "recording" is the basis for the surface data. Since individual tissues, such as the brain, kidney, liver, etc., are not all too different from one living being to another living being of the same type, it is particularly preferably provided according to the invention that a surface of the same type of tissue from another living being is used as a pattern. In this embodiment, surface data of the corresponding tissue of another living being are stored, for example, in a database and used for the image display according to the invention. If several patterns are stored in such a database, the pattern that most closely matches the determined volume data can be selected for further use.
Die dem Muster zugeordneten Oberflächendaten können aber auch synthetisch erzeugt werden. Das kann beispielsweise durch "standardisierende" Veränderung von Oberflächendaten erfolgen, die von anderen, gleichartigen Lebewesen gewonnen worden sind. Selbstverständlich sind noch andere Methoden zur Synthetisierung der Oberflächendaten denkbar.The surface data assigned to the pattern can also be generated synthetically. This can be done, for example, by "standardizing" changes to surface data that have been obtained from other, similar living beings. Of course, other methods for synthesizing the surface data are also conceivable.
Die Simulation erfolgt erfindungsgemäß bevorzugt auf der Grundlage viskoelasti- scher Modelle. Diese Simulationen führen zu einem besonders wirklichkeitsnahen Ergebnis.According to the invention, the simulation is preferably carried out on the basis of viscoelastic models. These simulations lead to a particularly realistic result.
Weiter kann die Simulation erfindungsgemäß bevorzugt auf der Grundlage vonFurthermore, according to the invention, the simulation can preferably be based on
Tetraedern als Elemente weiter bevorzugt im Rahmen einer Finite-Eiemente-Methode erfolgen.Tetrahedra are preferably used as elements in the context of a finite element method.
Nach einer weiter bevorzugten Ausführungsform der Erfindung ist vorgesehen, dass die Simulation unter Verwendung eines Neuro-Fuzzy-Systems mit einem rückgekoppelten neuronalen Netz erfolgt. Bei dieser Ausgestaltung ist der verwendete Rechner lernfähig, d.h. er kann die Simulation trainieren und dadurch zu immer wirklichkeitsnäheren Ergebnissen kommen.According to a further preferred embodiment of the invention, the simulation is carried out using a neuro-fuzzy system with a feedback neural network. In this embodiment, the computer used is learnable, i.e. he can train the simulation and thereby achieve results that are more and more realistic.
Bekannte Verfahren zum Ermitteln der Volumendaten des darzustellenden Gewebes, wie etwa die Computertomographie und die Kernspiπtomographie, sind bisweilen nicht in der Lage, Feinstrukturen, wie etwa Membranen und kleine Blutgefäße wiederzugeben. Der Erfindung stellt sich mithin weiter die Aufgabe, ein Verfahren zum Erzeugen einer Bilddarstellung von Gewebe anzugeben, mit dem es auch möglich ist, Feinstrukturen mitdarzustellen.Known methods for determining the volume data of the tissue to be displayed, such as computer tomography and nuclear spin tomography, are sometimes unable to reproduce fine structures, such as membranes and small blood vessels. The invention therefore also has the task of specifying a method for generating an image representation of tissue, with which it is also possible to include fine structures.
Erfindungsgemäß wird diese Aufgabe gelöst durch ein Verfahren zum Erzeugen einer Bilddarstellung von Gewebe eines Lebewesens, wobei das Verfahren dadurch gekennzeichnet ist, dassAccording to the invention, this object is achieved by a method for generating an image representation of tissue of a living being, the method being characterized in that
Volumendaten ermittelt werden, die dem Gewebe zugeordnet sind,Volume data are determined that are assigned to the tissue,
Feinstrukturdaten bereitgestellt werden, die einem Muster des Gewebes zugeordnet sind, undFine structure data are provided, which are assigned to a pattern of the tissue, and
die Volumendaten im Sinne eines Hinzufügens der Feinstruktur des Musters zu dem den Volumendaten zugeordneten Gewebe verändert werden, wobeithe volume data are changed in the sense of adding the fine structure of the pattern to the tissue associated with the volume data, wherein
die veränderten Volumendaten als Grundlage der Bilddarstellung dienen.the changed volume data serve as the basis for the image display.
Mit anderen Worten werden die mit den genannten Verfahren zur Ermittlung der Volumendaten nicht darstellbaren Feinstrukturen zum Zwecke der Bilddarstellung einfach später hinzugefügt, wobei deren Lage und Ausgestaltung entsprechend einem Muster gewählt werden. Da es mittlerweile in Form von Anatomieatlanten und dgl. sehr detaillierte Informationen über die Lage und Art von Feinstrukturen bei allen möglichen Geweben gibt, sind die dabei auftretenden Fehler bei der Bilddarstellung vergleichsweise gering.In other words, the fine structures that cannot be represented with the aforementioned methods for determining the volume data are simply added later for the purpose of image representation, their position and configuration being selected in accordance with a pattern. Since there is now very detailed information about the location and type of fine structures in all possible tissues in the form of anatomical atlases and the like, the errors that occur in the image display are comparatively small.
Erfindungsgemäß bevorzugt ist die Bilddarstellung dreidimensional. Dadurch wird die Wirklichkeitsnähe noch einmal erhöht.According to the invention, the image is preferably three-dimensional. This increases the realism even more.
Schließlich schafft die Erfindung auch eine Vorrichtung zur Durchführung des Verfahrens zum Erzeugen einer Bilddarstellung entsprechend den obigen Erläuterungen. Im folgenden ist die Erfindung anhand eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die beiliegende Zeichnung mit weiteren Einzelheiten näher erläutert. Dabei zeigenFinally, the invention also provides a device for carrying out the method for generating an image representation in accordance with the above explanations. The invention is explained in more detail below with the aid of a preferred exemplary embodiment and with reference to the accompanying drawing. Show
Fig. 1 schematisch ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung,1 schematically shows an embodiment of the device according to the invention,
Fig. 2 schematisch das Auswählen eines Zugangspunktes für ein endoskopisches Instrument in einem menschlichen Schä- del,2 schematically shows the selection of an access point for an endoscopic instrument in a human skull,
Fig. 3 schematisch das Auswählen eines Zielpunktes für das endoskopische Instrument in dem Schädel,3 schematically shows the selection of a target point for the endoscopic instrument in the skull,
Fig. 4 schematisch das Auswählen innerhalb des Schädels gelegener erlaubter Bereiche, die für einen operativen Eingriff freigegeben sind,4 schematically shows the selection of permitted areas located within the skull that are released for a surgical intervention,
Fig. 5 eine schematische Darstellung von Volumendaten mittels tetraederförmiger Volumenelemente und5 shows a schematic representation of volume data using tetrahedral volume elements and
Fig. 6 schematisch eine Manipulation der Volumendaten mittels eines virtuellen Operationsinstrumentes.6 schematically shows manipulation of the volume data by means of a virtual surgical instrument.
Die folgende Beschreibung bezieht sich auf ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung zum Durchführen eines Bildgebungsverfahrens. Eine solche Vorrichtung kann vielerlei Zwecken dienen. Zum einen kann sie der Simulation einer Operation zum Zwecke des Übens im Rahmen einer chirurgischen Ausbildung dienen. Darüber hinaus kann sie der präoperativen Simulation mit dem Ziel dienen, einen optimalen Weg für den geplanten Eingriff zu finden. Schließlich kann die Vorrichtung auch zur Bildge- bung während der Operation Verwendung finden. Sie ist im folgenden als NAVSIM (Navigations-Simulator) bezeichnet.The following description relates to an exemplary embodiment of the device according to the invention for performing an imaging method. Such a device can serve a variety of purposes. On the one hand, it can be used to simulate an operation for the purpose of practicing as part of a surgical training. In addition, it can be used for preoperative simulation with the aim of finding an optimal way for the planned intervention. Finally, the device can also be used for imaging during the operation. It is referred to below as NAVSIM (navigation simulator).
Der NAVSIM erlaubt wahlweise den Betrieb mit dem Manipulator Laparoscopic Im- pulse Engine (Immersion Corporation, San Jose, U.S.A.), der bereits mit einfachen Force- Feedback-Mechanismen ausgerüstet ist, und dem Roboter NEUROBOT (Entwicklung im Rahmen von EU-Projekt ROBOSCOPE). User-Interface und Bedienungs-Software nutzen als Plattform eine Onyx-2-lnfinite-Reality von Silicon Graphics. Als Visualisierungshardware kann entweder ein herkömmlicher PC-Bildschirm oder eine sogenannte Holobench für 3D- Darstellung des Operationsgebietes (TAN, Düsseldorf, Deutschland) verwendet werden.The NAVSIM optionally allows operation with the manipulator Laparoscopic Impulse Engine (Immersion Corporation, San Jose, USA), which is already equipped with simple force feedback mechanisms, and the robot NEUROBOT (development within the framework of the EU project ROBOSCOPE) , The user interface and operating software use an Onyx-2-Infinite reality from Silicon Graphics as a platform. As visualization hardware Either a conventional PC screen or a so-called holobench for 3D display of the operation area (TAN, Düsseldorf, Germany) can be used.
Grundlage für das "volume rendering", das in NAVSIM unter Verwendung der Onyx- IR zur Anwendung kommt, ist OpenGL Volumizer von Silicon Graphics oder eine Nachfolgetechnologie. OpenGL Volumizer ist eine Grafik-Bibliothek für SGI Graphic Computer, die herkömmlichen Grafikanwendungen erlaubt, Volumendaten und Oberflächendaten in einer ähnlichen Art und Weise zu benutzen. Dafür führt OpenGL Volumizer das Konzept der "volumetric primitives" ein, das als volumetrisches Grafikprimitiv das Tetraeder benutzt; ähnlich wie bei Oberflächendarstellung die kleinste Einheit durch das Dreieck definiert wird. Jedes Tetraeder enthält Teile der Volumendaten des MR- Datensatzes. Aufbauend auf OpenGL Volumizer ist der Flight-Volumizer entwickelt worden. Der Flight-Volumizer beschleunigt das "volume rendering" für virtuelle Endoskopie-Bilder, indem nur diejenigen Daten innerhalb des Sichtfeldes für die Simulation verwendet werden. Außerdem ist mit Flight-Volumizer die Simulation von Deformationen und Fragmentierungen direkt am MR-Datensatz des Patienten mit etwa 7 bis 10 Bildern pro Sekunde möglich, was bisher unabhängig von der verwendeten Hardware unerreicht ist.The basis for the "volume rendering" that is used in NAVSIM using the Onyx-IR is OpenGL Volumizer from Silicon Graphics or a successor technology. OpenGL Volumizer is a graphics library for SGI graphic computers that allows conventional graphics applications to use volume data and surface data in a similar way. For this, OpenGL Volumizer introduces the concept of "volumetric primitives", which uses the tetrahedron as a volumetric graphic primitive; Similar to surface representation, the smallest unit is defined by the triangle. Each tetrahedron contains parts of the volume data of the MR data set. The Flight Volumizer was developed based on OpenGL Volumizer. The flight volumizer accelerates the "volume rendering" for virtual endoscopy images by using only the data within the field of view for the simulation. Flight Volumizer also enables the simulation of deformations and fragmentations directly on the patient's MR data record at around 7 to 10 images per second, which has never been achieved before, regardless of the hardware used.
Vergleichsversuche haben gezeigt, dass die besten Ergebnisse mit dem sogenann- ten "surface rendering" mit dem Navigator erzielt werden, gefolgt von dem "volume rendering" mit Navigator. Beim Flight-Volumizer sind immerhin noch ca. .50% der anatomischen Strukturen sichtbar. "Surface rendering" mit "free flight" ist hingegen von wesentlich schlechterer Qualität.Comparative tests have shown that the best results are achieved with the so-called "surface rendering" with the Navigator, followed by the "volume rendering" with the Navigator. At least about 50% of the anatomical structures are still visible with the flight volumizer. "Surface rendering" with "free flight", however, is of much poorer quality.
Die Benutzeroberfläche von NAVSIM erlaubt das Planen und Simulieren eines Eingriffs in folgenden Schritten:The NAVSIM user interface allows you to plan and simulate an intervention in the following steps:
1. Definition eines Start- und Zielpunkts für den geplanten Eingriff,1. Definition of a start and end point for the planned intervention,
2. Überprüfen und gegebenenfalls Ändern der Trajektorie vom Start- zum Zielpunkt,2. Check and, if necessary, change the trajectory from the start to the destination,
3. Simulation einer Trepanation (Öffnung des Schädels), 4. Definition von Go- und No-Go-Areas für die robotergestützte Chirurgie, d.h. von erlaubten und nicht erlaubten Bereichen innerhalb des Schädels, und3. simulation of a trepanation (opening of the skull), 4. Definition of go and no-go areas for robot-assisted surgery, ie of allowed and not allowed areas within the skull, and
5. Simulation der eigentlichen Operation im Zielgebiet unter Verwendung der Planungsdaten.5. Simulation of the actual operation in the target area using the planning data.
Definition des Zugangs- und ZielpunktesDefinition of the access and destination point
Üblicherweise beginnt die prä-operative Planung mit der Definition eines Zugangs- punktes in den Schädel für die Trepanation sowie mit der Festlegung eines Zielpunktes, der in den zu operierenden Bereich gelegt wird. Mehrere verschiedene Planungsfenster, beste- hend aus mehreren Komponenten, sind in NAVSIM integriert. Diese Komponenten sind zwei Editoren mit axialen, coronalen und sagittalen Schnitten des Patienten für die Planung des Zugangs- und Zielpunktes, eine virtuelle endoskopische Ansicht wahlweise in "volume rendering" oder "surface rendering", eine Planungsansicht mit einer beliebig positionierbaren Kamera, eine globale Ansicht (Außenansicht, Position des Endoskops relativ zum Schädel des Patienten) und mehreren Ansichten mit Schnitten entlang des Endoskops sowie eine Pseudo-3D-Ansicht der Schnitte. Alle Ansichten sind interaktiv und veränderbar in Größe und Position. Neue Fenster können ebenfalls unter Zuhilfenahme der Komponenten definiert werden. Ein Planungsfenster beinhaltet Positionsmarker für den Zugangs- und denPre-operative planning usually begins with the definition of an access point in the skull for trepanation and with the definition of a target point that is placed in the area to be operated on. Several different planning windows, consisting of several components, are integrated in NAVSIM. These components are two editors with axial, coronal and sagittal sections of the patient for planning the access and destination point, a virtual endoscopic view optionally in "volume rendering" or "surface rendering", a planning view with a camera that can be positioned anywhere, a global view (External view, position of the endoscope relative to the patient's skull) and several views with sections along the endoscope as well as a pseudo-3D view of the sections. All views are interactive and can be changed in size and position. New windows can also be defined with the help of the components. A planning window contains position markers for the access and the
Zielpunkt. Eine Bewegung der Positionsmarker resultiert in der Veränderung der Schnitte in den anderen Fenstern der Komponente, der virtuellen endoskopischen Ansicht und der Position des Endoskops. Das Verschieben der Positionsmarker erfolgt mittels der Computermaus.Destination point. A movement of the position marker results in the change of the cuts in the other windows of the component, the virtual endoscopic view and the position of the endoscope. The position markers are moved using the computer mouse.
Überprüfen der Trajektorie vom Start- zum ZielpunktCheck the trajectory from the start to the destination
Der nächste Schritt ist die Überprüfung, ob die Trajektorie vom Start- zum Zielpunkt Gebiete des Gehirns vemeidet, die nicht durch Einführen des Endoskops verletzt werden sollten. Das einschlägige Standardfenster zum Überprüfen der Trajektorie besteht aus einer globalen Ansicht, einer virtuellen endoskopischen Ansicht und den axialen, coronalen und sagittalen Schichten des Patienten, in denen die Trajektorie durch rote Linien und einen roten Punkt angezeigt ist, in dem die Trajektorie die Schicht schneidet. Mit der Computer- maus können alle Schichten durch eine einzige Bewegung interaktiv verändert werden, während ständig die Linien und Punkte neu angezeigt werden. Die Trajektorie kann gegebenenfalls durch ein Verschieben von am Anfang und am Ende der Trajektorie dargestellten Kugeln verändert werden. 5The next step is to check whether the trajectory from the start point to the destination point avoids areas of the brain that should not be injured by inserting the endoscope. The relevant standard window for checking the trajectory consists of a global view, a virtual endoscopic view and the axial, coronal and sagittal slices of the patient, in which the trajectory is indicated by red lines and a red dot in which the trajectory intersects the slice. With the computer All layers can be changed interactively with a single movement while the lines and points are continuously displayed. If necessary, the trajectory can be changed by moving spheres shown at the beginning and at the end of the trajectory. 5
Virtuelle KraniotomieVirtual craniotomy
Nachdem die Trajektorie vom Start- zum Zielpunkt überprüft worden ist, kann die virtuelle Trepanation durchgeführt werden, was eine Planung der Größe, der Tiefe und derAfter the trajectory has been checked from the start to the destination, the virtual trepanation can be carried out, which is a planning of the size, the depth and the
10 Position der Trepanation einschließt. Das Fenster für die virtuelle Kraniotomie hat ein ähnli-10 Includes position of trepanation. The window for the virtual craniotomy has a similar
| ches Layout wie das Fenster zur Überprüfung der Trajektorie, jedoch wird in der Außenan- j sieht die virtuelle Trepanation gezeigt. Außerdem gibt es Bildschirmfunktionen zur Variation der Trepanation. Jede Änderung der Einstellung wird sofort angezeigt. Darüber hinaus sind in der Darstellung, die auf einen fRMI-Datensatz zurückgeht, funktionelle Bereich im Gehirn| Layout like the window for checking the trajectory, but the virtual trepanation is shown on the outside. There are also screen functions for varying the trepanation. Any change to the setting is displayed immediately. In addition, the representation, which goes back to an fRMI data set, shows functional areas in the brain
15 farbig gekennzeichnet.15 marked in color.
Definition der erlaubten Bereiche im SchädelDefinition of the permitted areas in the skull
Der nächste Schritt besteht in der Definition der erlaubten Bereiche im Schädel, die 20 bei einer realen Operation nicht verlassen werden dürfen. Solche als "Go-Area" bezeichnete Bereiche können z.B. von einem oder mehreren Gehirntumoren gebildet sein. Damit wird erreicht, dass ein Chirurg nicht versehentlich gesunde Gehirnbereiche verletzt. Es können beliebige Ellipsoide als Go-Area definiert werden. Die Ellipsoide können durch in der Darstellung enthaltene Regler in Größe, Position und Orientierung beliebig verändert 25 werden.The next step is to define the permitted areas in the skull, which 20 must not be left in a real operation. Such areas, referred to as "go area", can e.g. be formed by one or more brain tumors. This ensures that a surgeon does not accidentally injure healthy brain areas. Any ellipsoid can be defined as a go area. The size, position and orientation of the ellipsoids can be changed as desired using the sliders shown in the illustration.
Simulationsimulation
Nachdem die Planungsschritte durchgeführt sind, kann die Simulation gestartet wer- 30 den. Eine Ansicht mit "volume rendering" kann für virtuelle, interaktive Endoskopie benutzt werden. Darüber hinaus ist ein Simulationstool auf der Basis von deformierbaren Oberflächenmodellen integriert. Diese Oberflächenmodelle sind über die Verwendung von Simplex- Gittern (Delingette, H. General Object Reconstruction based on Simplex Meshes, in: Inter- national Journal of Computer Vision, Boston, MA, 1999, 1-32) für eine Anzahl von Patienten semi-automatisch erzeugt worden. Die Simulation der Deformationen basiert auf physikalischen Modellen (viskoelastische Modelle), die durch Neuro-Fuzzy-Systeme (D. Nauck, F. Klawonn, and R. Kruse, Foundations of Neuro-Fuzzy Systems, John Wiley & Sons Inc., New York, 1997) berechnet werden. Mit Neuro-Fuzzy Systemen ist es möglich, die Eigenschaften realer Gewebe zu erlernen. Außerdem können diese Eigenschaften durch die Angabe einfacher, umgangssprachlicher Regeln (z.B. "das Gewebe ist weich") beschrieben werden. Ein Chirurg mit langjähriger Erfahrung hat so die Möglichkeit, die Gewebeeigenschaften zu charakterisieren, ohne Wissen über die verwendeten Verfahren zu besitzen. Die elastodynamische Struktur wird mit einem viskoelastischen Modell beschrieben, das direkt als neuronales Netz interpretiert werden kann.After the planning steps have been carried out, the simulation can be started. A view with "volume rendering" can be used for virtual, interactive endoscopy. A simulation tool based on deformable surface models is also integrated. These surface models are based on the use of simplex grids (Delingette, H. General Object Reconstruction based on Simplex Meshes, in: Inter- National Journal of Computer Vision, Boston, MA, 1999, 1-32) have been generated semi-automatically for a number of patients. The simulation of the deformations is based on physical models (viscoelastic models), which are performed by neuro-fuzzy systems (D. Nauck, F. Klawonn, and R. Kruse, Foundations of Neuro-Fuzzy Systems, John Wiley & Sons Inc., New York , 1997) can be calculated. With neuro-fuzzy systems it is possible to learn the properties of real tissue. In addition, these properties can be described by specifying simple, colloquial rules (eg "the fabric is soft"). A surgeon with many years of experience has the opportunity to characterize the tissue properties without having knowledge of the procedures used. The elastodynamic structure is described with a viscoelastic model that can be interpreted directly as a neural network.
Eine statische Kollision zwischen dem Ventrikel und dem Endoskop wird unter derA static collision between the ventricle and the endoscope is under the
Verwendung von OBB-Trees (Gottschalk S, Lin M, Manocha D, OBB-Tree: A Hirarchical Structure for Rapid Interference Detection, in: Computer Graphics Proceedings, AnnualUse of OBB trees (Gottschalk S, Lin M, Manocha D, OBB-Tree: A Hirarchical Structure for Rapid Interference Detection, in: Computer Graphics Proceedings, Annual
Conference Series, ACM SIGGRAPH, 1996, 171-180) durchgeführt. Dabei wird die Form des Objekts hierarchisch in kleinere Einheiten zerlegt, die einzeln bei Bedarf auf Kollision überprüft werden. Der Aufwand für die Berechnung ist dadurch nur noch logarithmisch von der Komplexität des Objekts abhängig. Um das statische Modell nach jeder Fragmentierung neu zu berechnen, werden beispielsweise zwei OBB-Trees des Oberflächenmodells erzeugt. Während ein Modell auf Kollision getestet wird, wird das andere im Hintergrund auf den neuesten Stand gebracht.Conference Series, ACM SIGGRAPH, 1996, 171-180). The shape of the object is broken down hierarchically into smaller units, which are individually checked for collisions if necessary. The effort for the calculation is therefore only logarithmically dependent on the complexity of the object. In order to recalculate the static model after each fragmentation, two OBB trees of the surface model are generated, for example. While one model is being tested for collision, the other is updated in the background.
Detaillierte Beschreibung der in den Figuren gezeigten GegenständeDetailed description of the items shown in the figures
Das Kernstück der erfindungsgemäßen Vorrichtung ist gemäß Fig. 1 ein Computersystem 4, welches beispielsweise aus einem zwei Pentium-IV-Prozessoren mit jeweils mindestens 2 GHz Systemtakt enthaltenden PC mit einer Grafikkarte mittlerer Preisklasse besteht. In direkter Verbindung mit dem Computersystem 4 steht ein Dateneinlesemodul 2, über welches das Gehirngewebe von realen Patienten darstellende dreidimensionale Volumendatensätze eingelesen werden. Diese Volumendatensätze werden mit Hilfe eines Computertomographen oder Kernspintomographen 1 am Patienten aufgezeichnet. Auch können mittels beider Methoden gewonnene Datensätze zur Steigerung der Bildqualität kombiniert werden, was vorteilhaft sein kann, da für unterschiedliche Teile der Anatomie jeweils das eine oder das andere Verfahren bessere Abbildungen liefert.The core of the device according to the invention is, according to FIG. 1, a computer system 4, which consists, for example, of a PC with a mid-range graphics card, which contains two Pentium IV processors, each with at least 2 GHz system clock. In direct connection with the computer system 4 is a data reading module 2, via which three-dimensional volume data sets representing the brain tissue of real patients are read in. These volume data records are recorded on the patient with the aid of a computer tomograph or magnetic resonance tomograph 1. Data sets obtained using both methods can also be used to increase the image quality can be combined, which can be advantageous, since one or the other method delivers better images for different parts of the anatomy.
In Verbindung mit dem Dateneinlesemodul 2 steht ein Operationsmanipulator 3, in welchen der Chirurg seine gewohnten Operationsinstrumente einspannen kann. Während der Operationssimulation werden die Bewegungen dieser Operationselemente im realen Raum mit virtuellen Bewegungen im Volumendatensatz gekoppelt. Weiterhin kann das Computersystem auf eine Datenbank 5 zurückgreifen, die sowohl eine Sammlung von zweidimensionalen farbigen endoskopischen Aufnahmen von realem Gehirngewebe als auch eine Sammlung von dreidimensionalen Darstellungen von Gewebefeinstrukturen, wie etwa dünnen Membranen und kleinen Blutgefäßen enthält, die von einer unter der Aufiö- sungsgrenze der Volumendaten der Patienten fallenden Größe sind. Schließlich sind mit dem Computersystem zwei Visualisierungsvorrichtungen verbunden, die alternativ genutzt werden können, nämlich ein herkömmlicher Bildschirm 6 und eine Holobench 7 zur dreidi- mensionalen Rekonstruktion virtueller Bilder, die dem Operateur räumliches Sehen des virtuellen Operationsgebietes ermöglicht.In connection with the data reading module 2 is an operation manipulator 3, in which the surgeon can clamp his usual surgical instruments. During the surgical simulation, the movements of these surgical elements in real space are coupled with virtual movements in the volume data set. Furthermore, the computer system can fall back on a database 5, which contains both a collection of two-dimensional colored endoscopic images of real brain tissue and a collection of three-dimensional representations of fine tissue structures, such as thin membranes and small blood vessels, from one below the resolution limit of the Volume data of the patient are falling size. Finally, two visualization devices are connected to the computer system, which can be used alternatively, namely a conventional screen 6 and a holobench 7 for three-dimensional reconstruction of virtual images, which enables the operator to see the virtual operating area in space.
Nach dem Einlesen der das Gehirn eines Patienten darstellenden Volumendaten beginnt die prä-operative Planung mit der Definition eines Zugangspunktes 8 am Schädel des Patienten, über den das virtuelle Endoskop in das Gehirn eingeführt werden soll, um die Operationsinstrumente in den Zielbereich des Gehirns zu bringen. Zu diesem Zweck zeigt das System gemäß Fig. 2 verschiedene Schnittansichten des Schädels in interaktiv veränderbaren Darstellungsarten und Perspektiven an. Die Definition des Zugangspunktes 8 erfolgt durch Anwählen einer geeigneten Koordinate mit der Computermaus. Auf ähnliche Weise wird gemäß Fig. 3 ein Zielpunkt 9 definiert, den ein Ende des Endoskopes nach demAfter reading in the volume data representing the brain of a patient, the preoperative planning begins with the definition of an access point 8 on the patient's skull via which the virtual endoscope is to be inserted into the brain in order to bring the surgical instruments into the target area of the brain. For this purpose, the system according to FIG. 2 shows various sectional views of the skull in interactively changeable representation types and perspectives. The access point 8 is defined by selecting a suitable coordinate with the computer mouse. In a similar manner, a target point 9 is defined according to FIG. 3, which is one end of the endoscope after the
Einführvorgang erreichen soll. Das Computersystem zeigt daraufhin die Trajektorie zwischen Zugangspunkt 8 und Zielpunkt 9 als endoskopischen Zugangsweg an, wobei dieser vom Operateur zur Vermeidung von Verletzungen sensibler Bereiche des Gehirns interaktiv verändert werden kann. Im nächsten Schritt können erlaubte Bereiche 10 im virtuellen Ge- hirn des Patienten definiert werden, die bei der Operation nicht verlassen werden dürfen, um Verletzungen von umliegenden Bereichen zu vermeiden. Dies geschieht wiederum mittels Schnittansichten des Gehirns, vgl. Fig. 4. Vor Beginn der eigentlichen Operationssimulation werden die Volumendaten so umformatiert, dass sie die Struktur des Gewebevolumens in einem tetraederförmige Grundzellen aufweisenden Koordinatensystem darstellen. Das heißt, dass das dargestellte Volumen aus tetraederförmigen Volumeneinheiten gemäß Fig. 5 besteht. Als nächstes analysiert das Computersystem die anatomische Struktur des von den Volumendaten dargestellten Gewebes mittels eines vorgegebenen Modells und fügt an das für das Auftreten solcher Strukturen typischen Stellen der Anatomie in der Datenbank 5 gespeicherte dreidimensionale Darstellungen von Gewebefeinstrukturen in die Gewebedarstellung für die Simulation ein, wie etwa dünne Membranen oder kleine Blutgefäße.Insertion process. The computer system then displays the trajectory between access point 8 and target point 9 as an endoscopic access path, which can be changed interactively by the surgeon in order to avoid injuries to sensitive areas of the brain. In the next step, permitted areas 10 can be defined in the patient's virtual brain, which must not be left during the operation in order to avoid injuries from surrounding areas. This is again done using sectional views of the brain, cf. Fig. 4. Before the actual surgical simulation begins, the volume data are reformatted in such a way that they represent the structure of the tissue volume in a coordinate system having tetrahedral basic cells. This means that the volume shown consists of tetrahedral volume units according to FIG. 5. Next, the computer system analyzes the anatomical structure of the tissue represented by the volume data by means of a predefined model and inserts three-dimensional representations of fine tissue structures stored in the database 5 into the tissue representation for the simulation, for example, at the locations of the anatomy typical of the occurrence of such structures thin membranes or small blood vessels.
Die in einem Bildfeld 12 liegenden dreidimensional ausgestalteten Oberflächen des Gewebes werden während der Operationssimulation auf dem Bildschirm 6 und/oder demThe three-dimensionally configured surfaces of the tissue lying in an image field 12 are shown on the screen 6 and / or during the operation simulation
Holobench 7 dargestellt. Das Bildfeld 12 gemäß Fig. 6 wird vom Operateur über den Operationsmanipulator 3 in Bezug auf Position, Größe und Blickrichtung im Koordinatensystem des Volumendatensatzes definiert und kann während der Operationssimulation nach Bedarf verändert werden. Die ausgestalteten Oberflächen werden erzeugt, indem aus den in der Datenbank 5 gespeicherten farbigen zweidimensionalen endoskopischen Aufnahmen von realem Gehirngewebe ausgewählte Bilder oder Teile davon auf die Oberflächen der Volumendatendarstellungen entsprechend der von diesen dargestellten anatomischen Struktur aufgebracht werden.Holobench 7 shown. The image field 12 according to FIG. 6 is defined by the surgeon via the operation manipulator 3 in terms of position, size and viewing direction in the coordinate system of the volume data set and can be changed as required during the operation simulation. The designed surfaces are generated by applying selected images or parts thereof from the colored two-dimensional endoscopic images of real brain tissue stored in the database 5 to the surfaces of the volume data representations in accordance with the anatomical structure represented by them.
Bei der eigentlichen Operationssimulation bedient der Operateur die in den Operationsmanipulator eingespannten realen Operationsinstrumente, indem er diese im dreidimensionalen Raum bewegt. Das Computersystem zeigt das entsprechende virtuelle Ope- rationselement 13 und dessen aktuelle räumliche Position relativ zum Gewebe auf demDuring the actual surgery simulation, the surgeon operates the real surgical instruments clamped in the surgical manipulator by moving them in three-dimensional space. The computer system shows the corresponding virtual operating element 13 and its current spatial position relative to the tissue on the
Bildschirm 6 und/oder der Holobench 7 an. Die Einwirkung des Operationsinstruments auf das Gewebe wird vom Computersystem 4 mittels eines auf neuronale Netze gestützten viskoelastischen Modells simuliert, und die im Bildfeld und im in Blickrichtung dahintergele- genen Volumenbereich liegenden Voiumendaten werden in Echtzeit neu berechnet. Ferner werden die ausgestalteten Oberflächen entsprechend neu erzeugt und auf dem Bildschirm und/oder der Holobench angezeigt. Die im weiteren Umfeld liegenden Volumendaten werden mit einer niedrigeren Aktualisierungsrate neu berechnet. Bei kleinen Deformationen genügt lediglich eine Transformation oder Verzerrung eines tetraederförmigen Volumenelements, was zu einem deformierten Volumenelement 14 führt.Screen 6 and / or the holobench 7 on. The influence of the surgical instrument on the tissue is simulated by the computer system 4 using a viscoelastic model based on neural networks, and the volume data lying in the image field and in the volume area behind it are recalculated in real time. Furthermore, the designed surfaces are newly generated accordingly and displayed on the screen and / or the holobench. The volume data in the wider environment are recalculated with a lower update rate. With small deformations only a transformation or distortion of a tetrahedral volume element is sufficient, which leads to a deformed volume element 14.
Die in der obigen Beschreibung, den Ansprüchen sowie der Zeichnung offenbarten Merkmale der Erfindung können sowohl einzeln als auch in beliebiger Kombination für die Verwirklichung der Erfindung in ihren verschiedenen Ausgestaltungen wesentlich sein. The features of the invention disclosed in the above description, the claims and the drawing can be essential both individually and in any combination for realizing the invention in its various configurations.

Claims

ANSPRUCHE EXPECTATIONS
1. Verfahren zum Erzeugen einer Bilddarstellung von Gewebe eines Lebewesens auf der Grundlage von dem Gewebe zugeordneten Volumendaten,1. Method for generating an image representation of tissue of a living being on the basis of volume data assigned to the tissue,
dadurch gekennzeichnet, dasscharacterized in that
zur Veränderung der Bilddarstellung im Hinblick auf eine das Gewebe veränderndeto change the image display with a view to changing the tissue
Einwirkung die Volumendaten mittels einer ersten Simulation der Einwirkung verändert werden, wobei die Simulation auf der Grundlage ausgewählter erster Volumendaten aus der Gesamtheit der dem Gewebe zugeordneten Volumendaten erfolgt, wohingegen andereAction, the volume data are changed by means of a first simulation of the action, the simulation taking place on the basis of selected first volume data from the totality of the volume data assigned to the tissue, whereas others
Volumendaten bei der ersten Simulation unberücksichtigt bleiben.Volume data are ignored in the first simulation.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die ausgewählten ersten Volumendaten einem vorbestimmten Teilvolumen des Gewebes zugeordnet sind.2. The method according to claim 1, characterized in that the selected first volume data are assigned to a predetermined partial volume of the tissue.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das vorbestimmte Teilvolumen kreiszylindrisch, quaderförmig, halbkugelförmig oder kegelstumpfförmig ist.3. The method according to claim 2, characterized in that the predetermined partial volume is circular-cylindrical, cuboid, hemispherical or frustoconical.
4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddarstellung die Form einer Draufsicht auf eine vorbestimmte Oberfläche des Gewebes hat.4. The method according to any one of the preceding claims, characterized in that the image has the shape of a plan view of a predetermined surface of the tissue.
5. Verfahren nach Anspruch 4 und einem der Ansprüche 2 und 3, dadurch gekennzeichnet, dass die vorbestimmte Oberfläche eine Begrenzung des vorbestimmten5. The method according to claim 4 and one of claims 2 and 3, characterized in that the predetermined surface a limitation of the predetermined
Teilvolumens ist.Partial volume is.
6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die erste Simulation mit einer vorbestimmten ersten Geschwindigkeit ausgeführt wird und eine zweite Simulation zur Veränderung der Volumendaten ausgeführt wird, und zwar auf der Grundlage ausgewählter zweiter Volumendaten aus der Gesamtheit der dem Gewebe zugeordneten Volumendaten und mit einer zweiten Geschwindigkeit, die geringer ist als die erste Geschwindigkeit, wobei das Ergebnis der zweiten Simulation zur Korrektur des Ergebnisses der ersten Simulation dient.6. The method according to any one of the preceding claims, characterized in that the first simulation is carried out at a predetermined first speed and a second simulation for changing the volume data is carried out, on the basis of selected second volume data from the totality of the volume data assigned to the tissue and at a second speed that is slower than the first speed, the result of the second simulation being used to correct the result of the first simulation.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die ausgewählten zwei- ten Volumendaten die Gesamtheit der dem Gewebe zugeordneten Volumendaten ist.7. The method according to claim 6, characterized in that the selected second volume data is the entirety of the volume data assigned to the tissue.
8. Verfahren zum Erzeugen einer Bilddarstellung einer vorbestimmten Oberfläche von Gewebe eines Lebewesens,8. A method for generating an image representation of a predetermined surface of tissue of a living being,
dadurch gekennzeichnet, dasscharacterized in that
Volumendaten ermittelt werden, die dem Gewebe zugeordnet sind,Volume data are determined that are assigned to the tissue,
Oberflächendaten bereitgestellt werden, die einer Draufsicht auf ein Muster der vorbestimmten Oberfläche des Gewebes zugeordnet sind,Surface data are provided which are assigned to a plan view of a pattern of the predetermined surface of the fabric,
zur Veränderung der Bilddarstellung im Hinblick auf eine das Gewebe verändernde Einwirkungto change the image display with regard to an action changing the tissue
a) die Volumendaten mittels Simulation der Einwirkung verändert werden,a) the volume data are changed by simulating the action,
b) die Auswirkungen der Veränderung der Volumendaten auf die den Volumendaten zugeordnete vorbestimmte Oberfläche ermittelt werden,b) the effects of the change in the volume data on the predetermined surface assigned to the volume data are determined,
c) die Oberflächendaten entsprechend den Auswirkungen gemäß b) verändert werden undc) the surface data are changed in accordance with the effects according to b) and
d) die gemäß c) geänderten Oberflächendaten als Grundlage für die Bilddarstellung unter Einbeziehung der Einwirkung dienen.d) the surface data changed in accordance with c) serve as the basis for the image representation including the influence.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass vor der Simulation durch einen Vergleich der dem Muster der vorbestimmten Oberfläche des Gewebes zugeordneten Oberflächendaten mit den dem Gewebe zugeordneten Volumendaten geprüft wird, inwie- weit das Muster der vorbestimmten Oberfläche von der den Volumendaten zugeordneten vorbestimmten Oberfläche abweicht, wobei im Falle einer ein vorbestimmtes Maß überschreitenden Abweichung die Oberflächendaten im Sinne etwa einer Biegung, Glättung, Stauchung und/oder Streckung der vorbestimmten Oberfläche zur zumindest teilweisen Kompensation der Abweichung verändert werden.9. The method according to claim 8, characterized in that before the simulation is checked by comparing the surface data assigned to the pattern of the predetermined surface of the tissue with the volume data assigned to the tissue, to what extent as far as the pattern of the predetermined surface deviates from the predetermined surface assigned to the volume data, whereby in the event of a deviation exceeding a predetermined dimension, the surface data are changed in the sense of, for example, bending, smoothing, compressing and / or stretching the predetermined surface to at least partially compensate for the deviation ,
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass als Muster die vorbestimmte Oberfläche des in der Draufsicht darzustellenden Gewebes selbst dient.10. The method according to claim 8 or 9, characterized in that the predetermined surface of the tissue to be displayed in the plan view itself serves as a pattern.
11. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass als Muster eine11. The method according to claim 8 or 9, characterized in that as a pattern
Oberfläche von artgleichem Gewebe eines anderen Lebewesens dient.Surface of the same tissue of another living being.
12. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass die dem Muster zugeordneten Oberflächendaten synthetisch erzeugt werden.12. The method according to claim 8 or 9, characterized in that the surface data assigned to the pattern are generated synthetically.
13. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Simulation auf der Grundlage viskoelastischer Modelle erfolgt.13. The method according to any one of the preceding claims, characterized in that the simulation takes place on the basis of viscoelastic models.
14. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Simulation auf der Grundlage von Tetraedern erfolgt.14. The method according to any one of the preceding claims, characterized in that the simulation is based on tetrahedra.
15. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, daß die Simulation auf der Grundlage einer Finite-Elemente-Methode erfolgt.15. The method according to any one of the preceding claims, characterized in that the simulation is carried out on the basis of a finite element method.
16. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Simulation unter Verwendung eines Neuro-Fuzzy-Systems mit einem rückgekoppelten neuronalen Netz erfolgt.16. The method according to any one of the preceding claims, characterized in that the simulation is carried out using a neuro-fuzzy system with a feedback neural network.
17. Verfahren zum Erzeugen einer Bilddarstellung von Gewebe eines Lebewesens,17. A method for generating an image representation of tissue of a living being,
dadurch gekennzeichnet, dasscharacterized in that
Volumendaten ermittelt werden, die dem Gewebe zugeordnet sind, Feinstrukturdaten bereitgestellt werden, die einem Muster des Gewebes zugeordnet sind, undVolume data are determined that are assigned to the tissue, Fine structure data are provided, which are assigned to a pattern of the tissue, and
die Volumendaten im Sinne eines Hinzufügens der Feinstruktur des Musters zu dem den Volumendaten zugeordneten Gewebe verändert werden, wobeithe volume data are changed in the sense of adding the fine structure of the pattern to the tissue associated with the volume data, wherein
die veränderten Volumendaten als Grundlage der Bilddarstellung dienen.the changed volume data serve as the basis for the image display.
18. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Bilddarstellung dreidimensional ist.18. The method according to any one of the preceding claims, characterized in that the image is three-dimensional.
19. Vorrichtung zur Durchführung des Verfahrens zum Erzeugen einer Bilddarstellung nach einem der vorangehenden Ansprüche. 19. Device for carrying out the method for generating an image representation according to one of the preceding claims.
PCT/EP2002/002863 2001-03-15 2002-03-14 Method for generating an image representation and a device for carrying out said method WO2002075255A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10112549.6 2001-03-15
DE2001112549 DE10112549A1 (en) 2001-03-15 2001-03-15 Tomography image representation method allows variation in image representation for simulation of surgery

Publications (2)

Publication Number Publication Date
WO2002075255A2 true WO2002075255A2 (en) 2002-09-26
WO2002075255A3 WO2002075255A3 (en) 2002-12-12

Family

ID=7677620

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2002/002863 WO2002075255A2 (en) 2001-03-15 2002-03-14 Method for generating an image representation and a device for carrying out said method

Country Status (2)

Country Link
DE (1) DE10112549A1 (en)
WO (1) WO2002075255A2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4240940A1 (en) * 1992-12-06 1994-06-09 Robert Prof Dr Ing Massen Mfg. individualised puppet or mask - optically scanning face or head with corresp. coordinate data converted into machining data
DE19620371A1 (en) * 1996-05-21 1997-12-04 Philips Patentverwaltung X-ray procedure
DE19757773A1 (en) * 1997-12-24 1999-07-01 Bernward Maehner Detailed simulation of plastic changes in human face to prepare cosmetic corrections using plastic surgery

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
COHEN M F ET AL: "VOLUME SEEDLINGS" PROCEEDINGS OF THE SYMPOSIUM ON INTERACTIVE 3D GRAPHICS. CAMBRIDGE, MA., MAR. 29 - APR. 1, 1992, NEW YORK, ACM, US, 29. M{rz 1992 (1992-03-29), Seiten 139-145, XP000308188 *
HONG L ET AL: "INTERACTIVE VISUALIZATION OF MIXED SCALAR AND VECTOR FIELDS" PROCEEDINGS OF THE VISUALIZATION CONFERENCE. ATLANTA, OCT. 29 - NOV. 3, 1995, LOS ALAMITOS, IEEE COMP. SOC. PRESS, US, 29. Oktober 1995 (1995-10-29), Seiten 240-247, XP000585414 ISBN: 0-7803-3127-3 *
WEGENKITTL R ET AL: "mastering interactive virtual bronchioscopy on a low-end pc" PROCEEDINGS VISUALIZATION 2000. VIS 2000. SALT LAKE CITY, UT, OCT. 8 - 13, 2000, ANNUAL IEEE CONFERENCE ON VISUALIZATION, LOS ALAMITOS, CA: IEEE COMP. SOC, US, 8. Oktober 2000 (2000-10-08), Seiten 461-464, XP002210964 ISBN: 0-7803-6478-3 *

Also Published As

Publication number Publication date
DE10112549A1 (en) 2002-09-26
WO2002075255A3 (en) 2002-12-12

Similar Documents

Publication Publication Date Title
DE69919157T2 (en) INTERACTIVE AND COMPUTER ASSISTED SURGICAL SYSTEM
DE4304571A1 (en) Procedures for planning and controlling a surgical procedure
DE19543410A1 (en) Non=invasive method for investigation of body cavities
EP2289061B1 (en) Ophthalmoscope simulator
EP3412242A1 (en) Dispensing of position information relating to a medical instrument
EP1897061B1 (en) Method and device for 3d-navigation on layers of images
DE112006003722B4 (en) Simulation system for surgical interventions in human and veterinary medicine
WO1998046120A2 (en) Endoscopic system
EP2082686A1 (en) Method to display orientated (overlap) images
DE102007055205A1 (en) Method for determining a place of installation and for setting up a detection device of a navigation system
DE202012011452U1 (en) Neurosurgical Training System for Planning and Conducting Craniotomy in Brain Tumors (Surgical Head Model)
DE102014200915A1 (en) A method of providing a spatial anatomical model of a body part of a patient
DE102015208804A1 (en) Apparatus and method for computer-aided simulation of surgical procedures
DE102013219470A1 (en) Procedure for preoperative planning of a surgical procedure and computer system
DE10334074A1 (en) Medical 3-D image virtual channel viewing unit processes preoperative tomography data to show virtual channel linked to instrument position
EP0681251B1 (en) Method of operating an operation microscope
DE102015119887B4 (en) Treatment device for subretinal injection and method for assisting in subretinal injection
EP4213755A1 (en) Surgical assistance system and display method
EP1464285B1 (en) Perspective registration and visualisation of internal body regions
DE19542605A1 (en) Interactive display system for showing internal organs of patient structures during medical operations
DE10222655A1 (en) Training system, especially for teaching use of a medical ultrasonic system, whereby a computer program is used to output medical sectional image data corresponding to the position of a control probe on a human body model
WO2002075255A2 (en) Method for generating an image representation and a device for carrying out said method
WO2021259627A1 (en) Medical training model having at least one blood vessel model
DE10242953A1 (en) Navigation supported surgery training unit uses tomography image model with substitute reference points to train and define best surgical instrument paths
WO2005001793A2 (en) Fixed birth simulator having an interactive optical display

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
AK Designated states

Kind code of ref document: A3

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: FESTSTELLUNG EINES RECHTSVERLUSTS NACH REGEL 69(1) EPUE. EPA FORM 1205A VOM 28.01.04

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP