WO2017017103A1 - System zur stereoskopischen darstellung von aufnahmen eines endoskops - Google Patents

System zur stereoskopischen darstellung von aufnahmen eines endoskops Download PDF

Info

Publication number
WO2017017103A1
WO2017017103A1 PCT/EP2016/067810 EP2016067810W WO2017017103A1 WO 2017017103 A1 WO2017017103 A1 WO 2017017103A1 EP 2016067810 W EP2016067810 W EP 2016067810W WO 2017017103 A1 WO2017017103 A1 WO 2017017103A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
dimensional
dimensional image
area
spatial area
Prior art date
Application number
PCT/EP2016/067810
Other languages
English (en)
French (fr)
Inventor
Matthias Triebel
Original Assignee
Universal Consulting Gmbh Unternehmensberatung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universal Consulting Gmbh Unternehmensberatung filed Critical Universal Consulting Gmbh Unternehmensberatung
Publication of WO2017017103A1 publication Critical patent/WO2017017103A1/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • the invention relates to a system for the stereoscopic display of images of an endoscope according to the preamble of claim 1, and to a method for the stereoscopic display of images of an endoscope according to the preamble of claim 15.
  • minimally invasive procedures in medicine and in investigations and processing of structures in Cavities of examination objects are often used to generate representations and to control tool movements endoscopes with a recording optics and illumination optics.
  • endoscopes with a recording optics and illumination optics.
  • the depth assigned to each pixel is summarized in a depth map from which a 3D image can be displayed together with the camera image.
  • the depth map is preferably calculated from at least two images of a stereo camera or from at least two images of a camera with different lighting arrangements or in different recording geometries, as described for example in the documents CN 203458365, CN 202801551 or EP 2522271 B1.
  • stereoscopic endoscopes or cameras are often not available for examination; However, there is a desire, even in these cases, to produce a 3D representation of individual recordings.
  • a depth map is generated from a single image of a camera, with which method certain assumptions about the image are included in the calculation of the depth map.
  • a simple assumption is, for example, that the brightness of individual image areas is related to the depth information in such a way that bright image parts are arranged in the foreground and darker image parts in the background and that all image parts of the same brightness lie in a depth plane of the image ("shape from shading").
  • a method for the conversion of a two-dimensional video into a three-dimensional video is known, wherein different methods for depth estimation are combined, which are based for example on the evaluation of contrast, chrominance, luminance or movement.
  • US application US 201 10128352 AI a method for fast 2D-3D registration for use in a continuously guided endoscope is known. In this case, a depth map is determined by comparing a video image with a back projection of a 3-D data set from a computed tomography.
  • a method for rendering anatomical structures from 3D data is known, wherein the depth map is determined with respect to a defined viewing point.
  • German patent application DE 10109880 AI a method for generating a depth map to a two-dimensional image and for the transmission of spatial image information is known in which the output image is converted into a format in which each pixel according to the red, green, blue information quantified and from the information of the color channels the depth map for each pixel is calculated.
  • German Patent DE 10348618 B4 discloses a method for generating a depth map in which a virtual three-dimensional image framework based on a presumption-based spatial image depth graduation is generated by edge detection.
  • the present invention is based on the object of providing a system and a method for the stereoscopic display of images of an endoscope, which enable stereoscopic display of images of a monocular endoscope and thereby image areas with reflections identify and improve stereoscopic visualization in these areas.
  • the invention will be described below with an endoscope as a capture unit for images.
  • the detection unit is preferably a camera of an endoscope.
  • the invention also includes the use of any other suitable sensor.
  • the essential idea of the invention is to provide a system for the stereoscopic display of images of an endoscope with an endoscope having a light source adapted and intended to illuminate a spatial area and a detection unit adapted and provided for this purpose receiving the light source light and converting it into a signal representing the received light, first memory means arranged and arranged to store the signals generated by the detection unit as a two-dimensional image of the spatial region, a second memory means adapted thereto and is provided to store a three-dimensional model l of the space area, a registration means which is set up and is provided to register the two-dimensional image of the space area with the three-dimensional model of the space area, calculating means arranged and provided to calculate stereoscopic image data from the two-dimensional image of the space area and the three-dimensional model of the space area, and a display means arranged therefor and is provided to visually display the calculated stereoscopic image data for a person.
  • a detection means which is adapted to detect overexposed areas in the two-dimensional image of the spatial area, and an analysis means, which is adapted to check on the basis of the three-dimensional model of the spatial area, if the detected over-radiation is a mirror of the light source emitted light by an object located in the space area, provided.
  • the detection unit is preferably a camera. But it is also the use of any other suitable sensor conceivable.
  • the first and the second storage means are permanent (eg ROM, PROM) or semi-permanent memories (eg EPROM, Flash EEPROM), since the latter also saves the stored data without a permanent power supply.
  • the three-dimensional model can preferably be a construction VCAD data set, a data set from a 3D atlas, or a 3D data record from an imaging process, such as a 3D data set.
  • the two-dimensional image is registered with the three-dimensional model in an automatic iteration process.
  • the calculation means is a microprocessor.
  • any other device conceivable consisting of the two-dimensional sional image of the spatial area and the three-dimensional model of the spatial area can calculate stereoscopic image data.
  • the display means is a stereo clear or a 3D screen.
  • a pixel shift for the left and the right eye is advantageously determined for each pixel of the two-dimensional image from the corresponding depth value of the depth map and displayed by means of the display means.
  • the detection means and the analyzing means are also microprocessors.
  • it is checked to identify the overexposed areas, whether their brightness is above a predetermined threshold.
  • a virtual mirror located on the three-dimensional model at the point defined by the shot geometry to calculate the orientation for which the reflection condition (angle of incidence to exit angles) for a beam of the point light source is satisfied compared with the tangent plane of the three-dimensional model at the specified point. If the plane of the virtual mirror is approximately parallel to the tangent plane of the three-dimensional model, the overexposed area is assumed to be a reflection on the surface of the adapted 3D model.
  • the detection of the overexposed areas and the analysis as to whether the detected overshoot is a reflection of the light emitted by the light source through an object located in the spatial area takes place simultaneously with the determination of the depth map, for example by means of a parallel processor .
  • second computing means is provided which is adapted to calculate a plurality of two-dimensional images of a virtual directed to the three-dimensional model lens.
  • virtual two-dimensional images of the three-dimensional model are advantageously calculated for different recording positions and recording directions of a virtual objective directed onto the three-dimensional model.
  • each of the computed two-dimensional images is compared with the two-dimensional image of the spatial region, and a score assigned to each computed two-dimensional image, wherein the height of the similarity value depends on the similarity of the computed two-dimensional image to the two-dimensional image of the spatial region.
  • the similarity value is preferably higher, the more similar the two images are.
  • size parameters and any elastic deformation of the three-dimensional model are advantageously varied as characterizing parameters in the determination of the similarity value.
  • a comparison means is provided, which is designed to compare the similarity values of the calculated two-dimensional images and to recognize the calculated two-dimensional image having the highest similarity value.
  • the comparison means is a differential filter.
  • Each of the calculated two-dimensional images is thus compared with the two-dimensional image of the spatial region, and a similarity value is assigned to each calculated two-dimensional image, the height of the similarity value depending on the similarity of the calculated two-dimensional image to the two-dimensional image of the spatial region.
  • the depth map for the respective recording position and -cardi determined and assigned this depth map the two-dimensional image by each pixel value is assigned a depth value of the depth map.
  • the punctiform light source arranged on the endoscope is fixed with regard to its position in the coordinate system of the detection unit.
  • Luminance is a measure of the brightness of pixels. Physically corresponds the luminance of the luminance with the unit cd / m2 * Chroma as the color of the pixels is called.
  • a first processing means is provided, which is designed to process an overspill detected as a reflection by an object located in the spatial area in the two-dimensional image of the spatial area in such a way that the area recognized as overspill is adjusted in brightness and / or color to the surroundings of the mirroring becomes. That is, the over-irradiated areas are replaced in the case of a detected reflection in the original recording by adjacent image structures and displayed in the stereoscopic view according to the determined depth map.
  • a second processing means is provided which is adapted to process an over-radiation, which is not recognized as a reflection by an object located in the spatial area, in the two-dimensional image of the spatial area in such a way that the area recognized as over-radiation is replaced by a defined image structure.
  • the originally overexposed area is preferably replaced by an image structure which signals to the observer that there is a discrepancy between the measured values and the assumed depth map at this point of the recording.
  • This image structure for discrepancy areas can advantageously consist of a pattern or an image color that does not occur in the natural image environment.
  • Each discrepancy area is assigned a predetermined, arbitrary depth value in the depth map used for the stereoscopic view. If the method is used in a medical procedure, the occurrence of a picture structure for discrepancy areas advantageously signals to the operator that, at this point in the recording, the depth information from the evaluation of the recording does not correspond to the three-dimensional model.
  • the first and the second processing means may be configured both as software and as hardware. It is also conceivable that both processing means are realized in one device.
  • the storage means and / or the registration means and / or the calculation means and / or the display means and / or the recognition means and / or the analysis means and / or the second calculation means and / or the comparison means and / or the assignment means and / or the first are advantageous Processing means and / or the second processing means arranged in a device.
  • This device may preferably be a set-top box, ie a device which can be connected to another device and which allows the other device to have additional functions.
  • This set top box preferably has an adapter, with the aid of which a connection to known imaging devices, such as X-ray machines, magnetic resonance tomographs, computer tomographs, ultrasound devices, positron emission tomographs or endoscopes, can advantageously be produced. These connections can be made by cable, wireless or otherwise be.
  • a radio transmission, an infrared communication or a communication by glass fiber are suitable.
  • a control means is provided which is adapted to control the display means such that the stereoscopic effect varies in the display of the image data.
  • This is preferably the possibility of a stepless adjustment, so that the presentation can be adapted to the viewing habits of the respective user.
  • the control means may be either software or hardware, such as a knob.
  • a rendering means is provided, which is set up to fit a spatially used tool whose shape is known by rendering in the stereoscopic image data.
  • the tools may be z. B. umsurgical instruments known form act.
  • a deep referencing between the instrument and a point of the three-dimensional model should be performed at least once in the course of the examination or the procedure.
  • a third memory means is provided, which is designed to store the stereoscopic image data. This saving preferably enables post-processing and / or printing of the image data.
  • the calculation of the depth map and the detection of the reflective image areas in the image processing processor of a graphics card done.
  • an input means is provided which is adapted to allow a person to mark an image structure, wherein the display means is adapted to display this mark.
  • the input means may be, for example, a computer mouse, a keyboard or a touchpad. Also an input by means of gestures or speech recognition is conceivable.
  • the display of the marking by the display means is advantageously carried out by coloring the marked area in the stereoscopic image data.
  • a method for stereoscopic imaging of an endoscope in particular using a system according to claims 1 to 14 is provided, wherein a spatial area is illuminated with a light source of an endoscope, the light emitted by the light source received by a detection unit and in a the signal representing the received light is converted, the signals generated by the detection unit are stored as a two-dimensional image of the spatial area by a first storage means, a three-dimensional model of the spatial area is stored by means of a second storage means, the two-dimensional image of the spatial area is related to the three-dimensional model of the spatial area is registered by means of a registration means, stereoscopic image data are calculated from the two-dimensional image of the space area and the three-dimensional model of the space area, the calculated stereoscopic image Data are displayed by means of a display means, over-radiated areas are recognized in the two-dimensional image of the space area by means of a detection means and is checked by means of an analysis means, whether it is a reflected over-irradiation is
  • the detection unit is preferably a camera. But it is also the use of any other suitable sensor conceivable.
  • the first and the second storage means are preferably a permanent (eg ROM, PROM) or semi-permanent memory (eg EPROM, Flash EEPROM), since the latter also stores the stored data without a permanent memory Power supply secures.
  • ROM read-only memory
  • EPROM EPROM
  • Flash EEPROM semi-permanent memory
  • the three-dimensional model can preferably be a design / CAD data set, a data set from a 3D atlas, or a 3D data record from an imaging process, such as a 3D data set. As computed tomography, nuclear magnetic resonance or U ltraschall act.
  • the two-dimensional image is registered with the three-dimensional model in an automatic iteration process.
  • the calculation means is a microprocessor.
  • the display means is a stereo clear or a 3D screen.
  • a pixel shift for the left and the right eye is advantageously determined for each pixel of the two-dimensional image from the corresponding depth value of the depth map and displayed by means of the display means.
  • the detection means and the analyzing means are also microprocessors.
  • it is checked to identify the overexposed areas, whether their brightness is above a predetermined threshold. If this is the case, they are recognized as an over-radiated area.
  • a virtual mirror located on the three-dimensional model at the point defined by the shot geometry to calculate the orientation for which the reflection condition (angle of incidence to exit angles) for a beam of the point light source is satisfied compared with the tangent plane of the three-dimensional model at the specified point. Is the plane of the virtual mirror approximately parallel to the tangent plane of the three-dimensional model, the overexposed area is assumed to be a reflection on the surface of the adapted three-dimensional model.
  • the detection of the overexposed areas and the analysis as to whether the detected overshoot is a reflection of the light emitted by the light source through an object located in the spatial area takes place simultaneously with the determination of the depth map, for example by means of a parallel processor ,
  • a plurality of two-dimensional images of a virtual objective directed onto the three-dimensional model is preferably calculated by means of a second calculation means. Further advantageously, each of the computed two-dimensional images is compared with the two-dimensional image of the spatial region and a similarity value is assigned to each computed two-dimensional image, the height of the similarity value being dependent on the similarity of the computed two-dimensional image to the two-dimensional image of the spatial region.
  • the similarity values of the calculated two-dimensional images are compared by means of a comparison means and the calculated two-dimensional image with the highest similarity value is recognized and the two-dimensional image of the spatial region is assigned a depth map by means of an allocation means, wherein the depth map by means of the calculated two-dimensional image the highest similarity value is calculated.
  • a second computing means is provided which is adapted to display a plurality of two-dimensional images of a virtual one on the three-dimensional model directed lens.
  • virtual two-dimensional images of the three-dimensional model are advantageously calculated for different acquisition positions and directions of a virtual objective directed onto the three-dimensional model.
  • each of the computed two-dimensional images is compared with the two-dimensional image of the spatial region, and a score assigned to each computed two-dimensional image, wherein the height of the similarity value depends on the similarity of the computed two-dimensional image to the two-dimensional image of the spatial region.
  • the similarity value is the higher the more similar the two images are.
  • size parameters and any elastic deformation of the three-dimensional model are advantageously varied as characterizing parameters in the determination of the similarity value.
  • a comparison means is provided, which is designed to compare the similarity values of the calculated two-dimensional images and to recognize the calculated two-dimensional image having the highest similarity value.
  • the comparison means is a differential filter.
  • the depth map for the respective recording position and direction is preferably determined and this depth map is assigned to the two-dimensional image by assigning each pixel value a depth value of the depth map.
  • These depth values correspond to z.
  • B. the distance of the imaged in the recording point of the illustrated surface of the camera lens of the endoscope, wherein from the imaging geometry of the recording, the direction is set, under which the imaged point on the surface of the three-dimensional model with respect to the coordinate system of the detection unit of the endoscope located.
  • the point-shaped light source arranged on the endoscope is fixed with regard to its position in the coordinate system of the detection unit.
  • the detection of the overexposed areas in the two-dimensional image of the spatial area is carried out by means of the evaluation of a luminance histogram and / or a chrominance histogram.
  • Luminance is a measure of the brightness of pixels. Physically, the luminance corresponds to the luminance with the unit cd / m2.
  • Chroma is the color of the pixels.
  • an overshoot in the two-dimensional image of the spatial area detected as a reflection by an object located in the spatial area is replaced by an image structure, whereby the image structure replacing the overexposed area is an environmental image structure and by means of a second processing means one not Mirroring in the two-dimensional image of the space area by a defined image structure detected by an object located in the space area detected over-radiation. That is, the over-irradiated areas are replaced in the case of a detected reflection in the original recording by adjacent image structures and displayed in the stereoscopic view according to the determined depth map.
  • the originally over-radiated area is preferably replaced by an image structure which signals to the observer that a discrepancy of the measured values with the assumed depth map occurs at this location of the recording consists.
  • This image structure for discrepancy areas can advantageously consist of a pattern or an image color that does not occur in the natural image environment.
  • Each discrepancy area is assigned a predetermined, arbitrary depth value in the depth map used for the stereoscopic view. Will that be Applied method in a medical intervention, so the occurrence of a picture structure for discrepancy ranges advantageously signals to the surgeon that at this point in the recording, the depth information from the evaluation of the recording does not match the three-dimensional model.
  • the first and the second processing means may be configured both as software and as hardware. It is also conceivable that both processing means are realized in one device.
  • the display means is controlled by means of a control means such that the stereoscopic effect varies in the display of the image data. This is preferably the possibility of a stepless adjustment, so that the presentation can be adapted to the viewing habits of the respective user.
  • the control means may be either software or hardware, such as a knob.
  • a tool used in the spatial area is fitted into the stereoscopic image data by rendering.
  • the tools may be z. B. act surgical instruments known form.
  • a deep referencing between the instrument and a point of the three-dimensional model should be undertaken at least once in the course of the examination or the procedure.
  • the stereoscopic image data are stored by means of a third storage means.
  • a third memory means is provided, which is designed to store the stereoscopic image data. This saving preferably enables post-processing and / or printing of the image data.
  • the stereoscopic image data on the first and / or the second storage means save.
  • the third memory means is a permanent (eg ROM, PROM) or semi-permanent memory (eg EPROM, Flash EEPROM), since it also saves the stored data without a permanent power supply.
  • EPROM eg EPROM, Flash EEPROM
  • an image structure is marked by a person by means of an input means, wherein the display means is designed to display this marking.
  • the input means may be, for example, a computer mouse, a keyboard or a touchpad. Also an input by means of gestures or speech recognition is conceivable.
  • the display of the marking by the display means is advantageously carried out by coloring the marked area in the stereoscopic image data.
  • FIG. 1 shows the schematic representation of a preferred embodiment of the system for the stereoscopic display of images of a
  • FIG. 2 shows a flowchart to illustrate a preferred embodiment of the method according to the invention.
  • FIG. 1 shows the schematic overview of a preferred embodiment of the system for the stereoscopic display of images of an endoscope whose central components are an endoscope 1, a light source 2, a detection unit 3, a first memory means 4, a second memory means 5, a registration means 6, a calculation means 7, a display means 9, a recognition means 8 and an analysis means 10 are.
  • the endoscope 1 comprises a light source 2 and a detection unit 3.
  • the detection unit 3 may be designed, for example, as a camera.
  • the endoscope 1 is connected to a set top box 11, in which the first storage means 4, the second storage means 5, the registration means 6, the calculation means 7, the recognition means 8 and the analysis means 10 are arranged.
  • the set top box 11 can also be connected to other devices, such as X-ray devices, magnetic resonance tomographs, computer tomographs, ultrasound I devices, positron emission tomographs or endoscopes.
  • This connection can be made by cable, wireless or otherwise.
  • a radio transmission, an infrared communication or a communication by glass fiber are suitable.
  • the set top box 11 is also connected to the display means 9.
  • the display means is a stereo clear or an SD screen.
  • a pixel shift for the left and the right eye is advantageously determined for each pixel of the two-dimensional image from the corresponding depth value of the depth map and displayed by means of the display means 9.
  • the flow chart according to FIG. 2 begins with block 21, in which the illumination of a spatial area with a light source 2 of an endoscope 1 is illustrated.
  • the light emitted by the light source 2 is received by the detection unit 3 and converted into a signal representing the received light.
  • the signals generated by the detection unit 3 are stored as a two-dimensional image in a first storage means 4.
  • block 24 in which the two-dimensional image is registered by means of a registration means 6 with the three-dimensional model.
  • a second calculating means is provided, which is designed to calculate a plurality of two-dimensional images of a virtual objective directed onto the three-dimensional model.
  • virtual two-dimensional images of the three-dimensional model are advantageously calculated for different acquisition positions and directions of a virtual objective directed onto the three-dimensional model.
  • each of the computed two-dimensional images is compared with the two-dimensional image of the spatial region, and a score assigned to each computed two-dimensional image, wherein the height of the similarity value depends on the similarity of the computed two-dimensional image to the two-dimensional image of the spatial region.
  • size parameters and any elastic deformation of the three-dimensional model are advantageously varied as characterizing parameters in the determination of the similarity value.
  • overexposed areas are detected.
  • the detection of the overexposed areas in the two-dimensional image of the spatial area is carried out by means of the evaluation of a luminance histogram and / or a chrominance histogram.
  • the overexposed area is replaced by an image structure, wherein the image structure replacing the overexposed area is an environmental image structure. That is, the over-irradiated areas are replaced in the case of a detected reflection in the original recording by adjacent image structures and displayed in the stereoscopic view according to the determined depth map. Otherwise, the overexposed area in the two-dimensional image of the spatial area is replaced by a defined image structure.
  • This image structure for discrepancy areas can advantageously consist of a pattern or an image color that does not occur in the natural image environment.
  • the calculation of the stereoscopic image data takes place in block 29.
  • a pixel shift for the left and for the right eye is advantageously determined for each pixel of the two-dimensional image from the corresponding depth value of the depth map.
  • the stereoscopic image data are finally displayed by means of a display means 9.
  • the display means is a stereo clear or a 3D screen.
  • a control means is provided, which is adapted to control the display means 9 such that the stereoscopic effect in the display of the image data varies. This provides the possibility of a continuous adjustment, so that the presentation can be adapted to the viewing habits of each user.
  • the control means may be either software or hardware, such as a knob.

Abstract

Die Erfindung betrifft ein System und ein Verfahren zur stereoskopischen Darstellung von Aufnahmen einer Kamera, wobei aus einer Hardware zur Generierung eines 2-dimensionalen Bildes ein 3-dimensionales Bild errechnet und angezeigt wird.

Description

System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
Die Erfindung betrifft ein System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops gemäß dem Oberbegriff des Anspruchs 1, sowie ein Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops gemäß dem Oberbegriff des Anspruchs 15. Bei minimalinvasiven Eingriffen in der Medizin und bei Untersuchungen und Bearbeitung von Strukturen in Hohlräumen von Untersuchungsobjekten werden zur Erzeugung von Darstellungen und zur Kontrolle von Werkzeugbewegungen häufig Endoskope mit einer Aufnahmeoptik und einer Beleuchtungsoptik eingesetzt. Insbesondere zur visuellen Kontrolle manueller Eingriffe, ist es zur Verbesserung der Qualität der Eingriffsbewegungen wünschenswert, in Echtzeit eine Information über die Lage und Orientierung eines Instruments in der jeweiligen Untersuchungsumgebung zu erhalten. Im Stand der Technik ist es bekannt, dies zu gewährleisten, indem der Bedienperson des Endoskops ein stereoskopisches Bild des Instruments und der Untersuchungsumgebung angebo- ten wird.
Dazu ist die Information über die Abstände einzelner Bildpunkte von der Kameraoptik des Endoskops erforderlich. Die jedem Bildpunkt zugeordnete Tiefe wird in einer Tiefenkarte zusammengefasst, aus der zusammen mit dem Kamerabild ein 3D-Bild dargestellt werden kann. Die Tiefenkarte wird dabei vorzugsweise aus wenigstens zwei Bildern einer Stereo-Kamera oder aus wenigstens zwei Bildern einer Kamera bei unterschiedlichen Beleuchtungsanordnungen oder in unterschiedlichen Aufnahmegeometrien errechnet, wie dies beispielsweise in den Dokumenten CN 203458365, CN 202801551 oder EP 2522271 B1 beschrieben ist. Aus Kostengründen stehen jedoch oft Stereoendoskope oder -kameras für eine Untersuchung nicht zur Verfügung; es besteht jedoch der Wunsch, auch in diesen Fällen eine 3D-Darstellung von einzelnen Aufnahmen zu erzeugen.
Die Erstellung einer Tiefenkarte aus einem von einer monokularen Kamera aufgenommenen zweidimensionalen Bild, ist jedoch mit vielfältigen Schwierigkeiten verbunden. Es sind im Stand der Technik verschiedene Verfahren bekannt, bei denen aus einem einzigen Bild einer Kamera eine Tiefenkarte erzeugt wird, wobei bei diesen Verfahren bestimmte Annahmen über das Bild in die Berechnung der Tiefenkarte einfließen. Eine einfache Annahme ist beispielsweise die, dass die Helligkeit einzelner Bildbereiche mit der Tiefeninformation derart zusammenhängt, dass helle Bildteile im Vordergrund und dunklere Bildteile im Hintergrund angeordnet sind und dass alle Bildteile gleicher Helligkeit in einer Tiefenebene des Bildes liegen ("shape from shading").
Es ist bekannt, als Erweiterung dieses Grundprinzips Formen oder Farben im Bild zu analysieren und in die Berechnung der Tiefenkarte einfließen zu lassen. Des Weiteren ist bekannt, eine erste errechnete Tiefenkarte durch Filterung oder Pixelmittelung in eine zweite Tiefenkarte mit weichen Übergängen zwischen den Tiefenebenen zu erzeugen. Aus der Veröffentlichung von Takayuki Okatani et al.: "Restructuring Shape from Shading with a Point Light Source an the Projection Center: Shape Reconstruction from an Endoscope Image", Proceedings oflCPR'96, IEEE (1 996)830-834 ist ein Verfahren zur Erzeugung einer Tiefenkarte einer Szene bekannt, bei dem eine Punktlichtquelle auf der optischen Achse eines Endoskops vorgesehen ist. Aus dem Dokument DE 60014420 T2 ist ein Verfahren zur Umwandlung eines zweidimensionalen Videos in ein dreidimensionales Video bekannt, wobei verschiedene Verfahren zur Tiefenschätzung kombiniert werden, die beispielsweise auf der Auswertung von Kontrast, Chrominanz, Luminanz oder Bewegung beruhen. Aus der US-Anmeldung US 201 10128352 AI ist ein Verfahren zur schnellen 2D-3D- Registrierung zur Anwendung bei einem kontinuierlich geführten Endoskop bekannt. Dabei wird eine Tiefenkarte durch Vergleich eines Videobildes mit einer Rückprojektion eines 3 D-Datensatzes aus einer Computertomografie ermittelt. Aus der deutschen Patentschrift DE 102006021 118 B4 ist ein Verfahren zum Rendern von anatomischen Strukturen aus 3D-Daten bekannt, wobei die Tiefenkarte bezüglich eines definierten Betrachtungspunktes ermittelt wird. Aus der deutschen Offenlegungsschrift DE 10109880 AI ist ein Verfahren zur Erzeugung einer Tiefenkarte zu einem zweidimensionalen Bild und zur Übertragung von räumlichen Bildinformationen bekannt, bei dem das Ausgangsbild in ein Format konvertiert wird, bei welchem jedes Bildelement entsprechend der Rot-, Grün-, Blauinformationen quantifiziert ist und aus den Informationen der Farbkanäle die Tiefenkarte für jeden Bildpunkt errechnet wird. Aus der deutschen Patentschrift DE 10348618 B4 ist ein Verfahren zur Erzeugung einer Tiefenkarte bekannt, bei der ein auf einer vermutungsbasierten räumlichen Bildtiefenabstufung beruhendes virtuelles dreidimensionales Bildgerüst durch Kantenerkennung erzeugt wird.
Diese Vorgehen weisen jedoch verschiedene Nachteile, insbesondere eine relativ große Ungenauigkeit auf. Darüber hinaus besteht das Problem, dass es bei Aufnahmen mit der monokularen Kamera eines Standard-Endoskops, bei der eine punktförmige Lichtquelle in der Nähe der optischen Achse des Kameraobjektivs zur Beleuchtung der aufzunehmenden Szene verwendet wird, zu Spiegelungen im Bild kommt, wenn spiegelnde Flächen geeigneter Orientierung in der Aufnahmeumgebung vorliegen. Diese Spiegelungen führen dazu, dass in den zugehörigen Bildbereichen alle Bildinformationen verloren gehen. Darüber hinaus führen Spiegelungen bei der Erzeugung einer Tiefenkarte aus Luminanz- oder Chrominanzinformationen regelmäßig dazu, dass die Bereiche mit Spiegelungen in der stereoskopischen Darstel lung so dargestel lt werden, als ob sie näher am Betrachter lägen. Hiervon ausgehend, l iegt der vorl iegenden Erfindung die Aufgabe zugrunde, ein System und ein Verfahren zur stereoskopischen Darstel lung von Aufnahmen eines Endoskops zur Verfügung zu stel len, welche eine stereoskopische Darstel lung von Aufnahmen eines monokularen Endoskops ermögl ichen und dabei Bildbereiche mit Spiegelungen zu identifizieren und die stereoskopische Darstel lung in diesen Bereichen zu verbessern.
Dies wird durch ein System mit den Merkmalen des Anspruchs 1 und ein Verfahren mit den Merkmalen des Anspruchs 1 7 gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der U nteransprüche.
Die Erfindung wird im Folgenden mit einem Endoskop als Erfassungseinheit für Bilder beschrieben. Bei der Erfassungseinheit handelt es sich vorzugsweise um eine Kamera eines Endoskopes. Die Erfindung umfasst jedoch auch die Verwendung jedes anderen geeigneten Sensors.
Der wesentl iche Gedanke der Erfindung besteht darin, ein System zur stereoskopischen Darstel lung von Aufnahmen eines Endoskops mit einem Endoskop mit einer Lichtquel le, die dazu eingerichtet und vorgesehen ist, einen Raumbereich zu beleuchten und einer Erfassungseinheit, die dazu eingerichtet und vorgesehen ist, durch die Lichtquel le emittiertes Licht zu empfangen und in ein das empfangene Licht repräsentierendes Signal umzuwandeln, einem ersten Speichermittel, welches dazu eingerichtet und vorgesehen ist, die durch die Erfassungseinheit erzeugten Signale als zweidimensionales Bild des Raumbereiches zu speichern, einem zweiten Speichermittel, welches dazu eingerichtet und vorgesehen ist, ein dreidimensionales Model l des Raumbereichs zu speichern, einem Registrierungsmittel, welches dazu eingerichtet und vorgesehen ist, das zweidimensionale Bild des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches zu registrieren, einem Berechnungsmittel, welches dazu eingerichtet und vorgesehen ist, aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches stereoskopische Bilddaten zu berechnen und einem Anzeigemittel, welches dazu eingerichtet und vorgesehen ist, die berechneten stereoskopischen Bilddaten für eine Person sichtbar anzuzeigen. Erfindungsgemäß sind ein Erkennungsmittel, welches dazu eingerichtet ist, überstrahlte Bereiche in dem zweidimensionalen Bild des Raumbereiches zu erkennen und ein Analysemittel, welches dazu eingerichtet ist, anhand des dreidimensionalen Modells des Raumbereiches zu überprüfen, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt, vorgesehen. Bei der Erfassungseinheit handelt es sich vorzugsweise um eine Kamera. Es ist aber auch die Verwendung jedes anderen geeigneten Sensors denkbar.
Vorzugsweise handelt es sich bei dem ersten und dem zweiten Speichermittel um einen permanenten (z. B. ROM, PROM) oder semipermanenten Speicher (z. B. EPROM, Flash- EEPROM), da dieser die gespeicherten Daten auch ohne andauernde Stromversorgung sichert. Allerdings ist auch die Verwendung jedes anderen geeigneten Speichers möglich, solange dieser die dauerhafte Speicherung der Daten gewährleistet. Bei dem dreidimensionalen Modell kann es sich bevorzugt um einen KonstruktionsVCAD- Datensatz, ein Datensatz aus einem 3D- Atlas, oder einen 3D-Datensatz aus einem bildgebenden Verfahren, wie z. B. Computertomografie, Kernspinresonanz oder U ltraschall handeln. Vorzugsweise wird das zweidimensionale Bild mit dem dreidimensionalen Modell in einem automatischen Iterationsprozess registriert. Bevorzugt handelt es sich bei dem Berechnungsmittel um einen Mikroprozessor. Es ist aber auch jede andere Vorrichtung denkbar, die aus dem zweidimen- sionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches stereoskopische Bilddaten berechnen kann. In einer vorteilhaften Ausgestaltung handelt es sich bei dem Anzeigemittel um ein Stereookuklar oder einen 3D- Bildschirm. Um eine stereoskopische Anzeige zu berechnen, wird vorteilhaft für jedes Pixel des zweidimensionalen Bildes aus dem entsprechenden Tiefenwert der Tiefenkarte eine Pixelverschiebung für das linke und für das rechte Auge ermittelt und mittels des Anzeigemittels dargestellt.
Vorzugsweise handelt es sich bei dem Erkennungsmittel und dem Analysemittel ebenfalls um Mikroprozessoren. Vorteilhaft wird zur Erkennung der überstrahlten Bereiche überprüft, ob deren Helligkeit über einem vorher festgelegten Schwellenwert liegt.
Für jeden der als überstrahlt erkannten Bereiche wird bevorzugt für einen virtuellen Spiegel, der auf dem dreidimensionalen Modell an dem durch die Aufnahmegeometrie festgelegten Punkt angeordnet ist, die Orientierung errechnet, für die die Reflexionsbedingung (Einfallswinkel zur Austrittswinkel) für einen Strahl der Punktlichtquelle erfüllt ist und mit der Tangentialebene des dreidimensionalen Modells in dem festgelegten Punkt verglichen. Ist die Ebene des virtuellen Spiegels annähernd parallel zu der Tangentialebene des dreidimensionalen Modells, so wird der überstrahlte Bereich als Spiegelung auf der Oberfläche des angepassten 3D-Modells angenommen.
Weiterhin vorteilhaft findet die Erkennung der überstrahlten Bereiche und die Analyse, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt, zeitgleich mit der Bestimmung der Tiefenkarte - beispielsweise mittels eines Parallel Prozessors - statt. Vorzugsweise ist zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches ein zweites Berechnungsmittel vorgesehen, welches dazu ausgebildet ist, eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs zu berechnen. Dabei werden vorteilhaft für verschiedene Aufnahmepositionen und Aufnahmerichtungen eines virtuellen, auf das dreidimensionale Modell gerichteten Objektivs virtuelle zweidimensionale Aufnahmen des dreidimensionalen Modells errechnet.
Weiterhin vorzugsweise wird jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert (Score) zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist. Dabei ist der Ähnlichkeitswert vorzugsweise umso höher, je ähnlicher sich die beiden Bilder sind. Neben der Aufnahmeposition und -richtung der virtuellen Aufnahme werden vorteilhaft Größenparameter und eine eventuelle elastische Verformung des dreidimensionalen Modells als charakterisierende Parameter bei der Ermittlung des Ähnlichkeitswertes variiert.
In einer weiteren vorteilhaften Ausgestaltung ist ein Vergleichsmittel vorgesehen, welches dazu ausgebildet ist, die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder zu vergleichen und das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert zu erkennen. Vorteilhaft handelt es sich bei dem Vergleichsmittel um einen Differenzfilter. Jedes der berechneten zweidimensionalen Bilder wird so mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild wird ein Ähnlichkeitswert zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist. Für das berechnete zweidimensionale Bild, das den höchsten Ähnlichkeitswert aufweist, wird vorzugsweise die Tiefenkarte für die jeweilige Aufnahmeposition und -richtung ermittelt und diese Tiefenkarte dem zweidimensionalen Bild zugeordnet, indem jedem Pixelwert ein Tiefenwert der Tiefenkarte zugeordnet wird. Diese Tiefenwerte entsprechen z. B. dem Abstand des in der Aufnahme abgebildeten Punktes der dargestellten Oberfläche des Kameraobjektivs des Endoskops, wobei aus der Abbildungsgeometrie der Aufnahme die Richtung festgelegt ist, unter der sich der abgebildete Punkt auf der Oberfläche des dreidimensionalen Modells in Bezug auf das Koordinatensystem der Erfassungseinheit des Endoskops befindet. Die am Endoskop angeordnete punktförmige Lichtquelle ist bezüglich ihrer Lage im Koordinatensystem der Erfassungs- einheit festgelegt.
Bevorzugt erfolgt die Erkennung der überstrahlten Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels der Auswertung eines Lumi- nanz-Histogramms und/oder eines Chrominanz-Histogramms. Als Luminanz wird dabei ein Maß für die Helligkeit von Bildpunkten bezeichnet. Physikalisch entspricht die Luminanz der Leuchtdichte mit der Einheit cd/m2* Als Chrominanz wird die Farbigkeit der Bildpunkte bezeichnet.
Vorteilhaft ist ein erstes Bearbeitungsmittel vorgesehen, welches dazu ausgebildet ist, eine als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches derart zu bearbeiten, dass der als Überstrahlung erkannte Bereich in Helligkeit und/oder Farbe der Umgebung der Spiegelung angepasst wird. Das heißt, die überstrahlten Bereiche werden im Falle einer erkannten Spiegelung in der ursprünglichen Aufnahme durch benachbarte Bildstrukturen ersetzt und in der stereoskopischen Darstellung gemäß der ermittelten Tiefenkarte angezeigt.
Weiter vorteilhaft ist ein zweites Bearbeitungsmittel vorgesehen, welches dazu eingerichtet ist, eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches derart zu bearbeiten, dass der als Überstrahlung erkannte Bereich durch eine definierte Bildstruktur ersetzt wird. Dabei wird der ursprünglich überstrahlte Bereich vorzugsweise durch eine Bildstruktur ersetzt, die der beobachtenden Person signalisiert, dass an dieser Stelle der Aufnahme eine Diskrepanz der Messwerte mit der angenommenen Tiefenkarte besteht. Diese Bildstruktur für Diskrepanzbereiche kann vorteilhaft aus einem Muster oder einer Bildfarbe bestehen, die in der natürlichen Bildumgebung nicht auftritt. Jedem Diskrepanzbereich wird ein vorher festgelegter, beliebiger Tiefenwert in der für die stereoskopische Darstellung verwendeten Tiefenkarte zugewiesen. Wird das Verfahren bei einem medizinischen Eingriff angewandt, so signalisiert das Auftreten einer Bildstruktur für Diskrepanzbereiche dem Operateur vorteilhaft, dass an dieser Stelle der Aufnahme die Tiefeninformation aus der Auswertung der Aufnahme nicht mit dem dreidimensionalen Modell übereinstimmt.
Vorzugsweise können das erste und das zweite Bearbeitungsmittel sowohl als Software, als auch als Hardware ausgebildet sein. Ebenso ist es denkbar, dass beide Bearbeitungsmittel in einem Gerät realisiert sind.
Vorteilhaft sind das Speichermittel und/oder das Registrierungsmittel und/oder das Berechnungsmittel und/oder das Anzeigemittel und/oder das Erkennungsmittel und/oder das Analysemittel und/oder das zweite Berechnungsmittel und/oder das Vergleichsmittel und/oder das Zuordnungsmittel und/oder das erste Bearbeitungsmittel und/oder das zweite Bearbeitungsmittel in einem Gerät angeordnet. Bei diesem Gerät kann es sich vorzugsweise um eine Set Top Box, also ein Gerät, welches sich an ein anderes Gerät anschließen lässt und dem anderen Gerät zusätzliche Funktionen ermöglicht, handeln. Diese Set Top Box weist vorzugsweise einen Adapter auf, mit dessen Hilfe sich vorteilhaft eine Verbindung zu bekannten bildgebenden Geräten, wie zum Beispiel Röntgengeräte, Kernspintomographen, Computertomographen, Ultraschallgeräten, Positronen-Emissionstomographen oder Endoskopen herstellen lässt. Diese Verbindungen können über Kabel, drahtlos oder auf sonstige Weise ausgeführt sein. Für die Übertragung der Daten sind zum Beispiel eine Funkübertragung eine Infrarotkommunikation oder eine Kommunikation per Glasfaser geeignet.
Bevorzugt ist ein Steuermittel vorgesehen, welches dazu eingerichtet ist, das Anzeigemittel derart zu steuern, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert. Dabei handelt es sich vorzugsweise um die Möglichkeit einer stufenlosen Einstellung, so dass die Darstellung den Sehgewohnheiten des jeweiligen Benutzers angepasst werden kann. Bei dem Steuermittel kann es sich entweder um Software oder um Hardware, beispielsweise einen Drehknopf handeln.
Vorzugsweise ist ein Render-Mittel vorgesehen, welches dazu eingerichtet ist, ein im Raumbereich verwendetes Werkzeug, dessen Form bekannt ist, durch Rendern in die stereoskopischen Bilddaten einzupassen. Bei den Werkzeugen kann es sich z. B. umchirurgische Instrumente bekannter Form handeln. Um die Werkzeuge in das dreidimensionale Modell einpassen zu können, sollte im Laufe der Untersuchung oder des Eingriffs wenigstens einmal eine Tiefenreferenzierung zwischen dem Instrument und einem Punkt des dreidimensionalen Modells vorgenommen werden.
Vorteilhaft ist ein drittes Speichermittel vorgesehen, welches dazu ausgebildet ist, die stereoskopischen Bilddaten zu speichern. Dieses Speichern ermöglicht vorzugsweise eine Nachbearbeitung und/oder ein Ausdrucken der Bilddaten. In einer weiteren vorteilhaften Ausgestaltung erfolgen die Errechnung der Tiefenkarte und die Erkennung der spiegelnden Bildbereiche im Bildverarbeitungsprozessor einer Grafikkarte.
Vorzugsweise ist ein Eingabemittel vorgesehen, welches dazu eingerichtet ist, einer Person die Markierung einer Bildstruktur zu ermöglichen, wobei das Anzeigemittel dazu ausgebildet ist, diese Markierung anzuzeigen. Bei dem Eingabemittel kann es sich beispielsweise um eine Computermaus, eine Tastatur oder ein Touchpad handeln. Auch ist eine Eingabe mittels Gesten oder mittels Spracherkennung denkbar. Die Anzeige der Markierung durch das Anzeigemittel erfolgt vorteilhaft durch eine Einfärbung des markierten Bereichs in den stereoskopischen Bilddaten.
Weiterhin ist ein Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops, insbesondere unter Verwendung eines Systems gemäß den Ansprüchen 1 bis 14 vorgesehen, wobei ein Raumbereich mit einer Lichtquelle eines Endoskops beleuchtet wird, das durch die Lichtquelle emittierte Licht durch eine Erfassungseinheit empfangen und in ein, das empfangene Licht repräsentierendes, Signal umgewandelt wird, die von der Erfassungseinheit erzeugten Signale mittels eines ersten Speichermittels als zweidimensionales Bild des Raumbereiches gespeichert werden, ein dreidimensionales Modell des Raumbereichs mittels eines zweiten Speichermittels gespeichert wird, das zweidimensionale Bild des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches mittels eines Registrierungsmittels registriert wird, stereoskopische Bilddaten aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches berechnet werden, die berechneten stereoskopischen Bilddaten mittels eines Anzeigemittels angezeigt werden, überstrahlte Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels eines Erkennungsmittels erkannt werden und mittels eines Analysemittels überprüft wird, ob es sich bei einer erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt. Vorzugsweise findet diese Überprüfung anhand des dreidimensionalen Modells statt.
Bei der Erfassungseinheit handelt es sich vorzugsweise um eine Kamera. Es ist aber auch die Verwendung jedes anderen geeigneten Sensors denkbar. Vorzugsweise handelt es sich bei dem ersten und dem zweiten Speichermittel um einen permanenten (z. B. ROM, PROM) oder semipermanenten Speicher (z. B. EPROM, Flash- EEPROM), da dieser die gespeicherten Daten auch ohne andauernde Stromversorgung sichert. Allerdings ist auch die Verwendung jedes anderen geeigneten Speichers möglich, solange dieser die dauerhafte Speicherung der Daten gewährleistet. Bei dem dreidimensionalen Modell kann es sich bevorzugt um einen Konstruktions-/CAD- Datensatz, ein Datensatz aus einem 3D-Atlas, oder einen 3D-Datensatz aus einem bildgebenden Verfahren, wie z. B. Computertomografie, Kernspinresonanz oder U ltraschall handeln.
Vorzugsweise wird das zweidimensionale Bild mit dem dreidimensionalen Modell in einem automatischen Iterationsprozess registriert. Bevorzugt handelt es sich bei dem Berechnungsmittel um einen Mikroprozessor. Es ist aber auch jede andere Vorrichtung denkbar, die aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches stereoskopische Bilddaten berechnen kann. In einer vorteilhaften Ausgestaltung handelt es sich bei dem Anzeigemittel um ein Stereookuklar oder einen 3D-Bildschirm. Um eine stereoskopische Anzeige zu berechnen, wird vorteilhaft für jedes Pixel des zweidimensionalen Bildes aus dem entsprechenden Tiefenwert der Tiefenkarte eine Pixelverschiebung für das linke und für das rechte Auge ermittelt und mittels des Anzeigemittels dargestellt. Vorzugsweise handelt es sich bei dem Erkennungsmittel und dem Analysemittel ebenfalls um Mikroprozessoren. Vorteilhaft wird zur Erkennung der überstrahlten Bereiche überprüft, ob deren Helligkeit über einem vorher festgelegten Schwellenwert liegt. Sofern dies der Fall ist, werden sie als überstrahlter Bereich erkannt.
Für jeden der als überstrahlt erkannten Bereiche wird bevorzugt für einen virtuellen Spiegel, der auf dem dreidimensionalen Modell an dem durch die Aufnahmegeometrie festgelegten Punkt angeordnet ist, die Orientierung errechnet, für die die Reflexionsbedingung (Einfallswinkel zur Austrittswinkel) für einen Strahl der Punktlichtquelle erfüllt ist und mit der Tangentialebene des dreidimensionalen Modells in dem festgelegten Punkt verglichen. Ist die Ebene des virtuellen Spiegels annähernd parallel zu der Tangentialebene des dreidimensionalen Modells, so wird der überstrahlte Bereich als Spiegelung auf der Oberfläche des angepassten dreidimensionalen Modells angenommen. Weiterhin vorteilhaft findet die Erkennung der überstrahlten Bereiche und die Analyse, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt, zeitgleich mit der Bestimmung der Tiefenkarte - beispielsweise mittels eines Parallel Prozessors - statt.
Bevorzugt wird zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches mittels eines zweiten Berechnungsmittels eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs berechnet. Weiterhin vorteilhaft wird jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist. In einer weiteren vorteilhaften Ausgestaltung werden die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder mittels eines Vergleichsmittels verglichen und das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert wird erkannt und dem zweidimensionalen Bild des Raumbereiches wird mittels eines Zuordnungsmittels eine Tiefenkarte zugeordnet, wobei die Tiefenkarte mittels des berechneten zweidimensionalen Bildes mit dem höchsten Ähnlichkeitswert errechnet wird.
Vorzugsweise ist zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches ein zweites Berechnungsmittel vorgesehen, welches dazu ausgebildet ist, eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs zu berechnen. Dabei werden vorteilhaft für verschiedene Aufnahmepositionen und - richtungen eines virtuellen, auf das dreidimensionale Modell gerichteten Objektivs virtuelle zweidimensionale Aufnahmen des dreidimensionalen Modells errechnet.
Weiterhin vorzugsweise wird jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert (Score) zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist. Dabei ist der Ähnlichkeitswert vorzugsweise desto höher, je ähnlicher sich die beiden Bilder sind. Neben der Aufnahmeposition und -richtung der virtuellen Aufnahme werden vorteilhaft Größenparameter und eine eventuelle elastische Verformung des dreidimensionalen Modells als charakterisierende Parameter bei der Ermittlung des Ähnlichkeitswertes variiert.
In einer weiteren vorteilhaften Ausgestaltung ist ein Vergleichsmittel vorgesehen, welches dazu ausgebildet ist, die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder zu vergleichen und das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert zu erkennen. Vorteilhaft handelt es sich bei dem Vergleichsmittel um einen Differenzfilter.
Für das zweidimensionale Bild, das den höchsten Ähnlichkeitswert aufweist, wird vorzugsweise die Tiefenkarte für die jeweilige Aufnahmeposition und -richtung ermittelt und diese Tiefenkarte dem zweidimensionalen Bild zugeordnet, indem jedem Pixelwert ein Tiefenwert der Tiefenkarte zugeordnet wird. Diese Tiefenwerte entsprechen z. B. dem Abstand des in der Aufnahme abgebildeten Punktes der dargestellten Oberfläche des Kameraobjektivs des Endoskops, wobei aus der Abbildungsgeometrie der Aufnahme die Richtung festgelegt ist, unter der sich der abgebildete Punkt auf der Oberfläche des dreidimensionalen Modells in Bezug auf das Koordinatensystem der Erfassungseinheit des Endoskops befindet. Die am Endoskop angeordnete punktförmige Lichtquelle ist bezüglich ihrer Lage im Koordinatensystem der Erfassungseinheit festgelegt.
Bevorzugt erfolgt die Erkennung der überstrahlten Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels der Auswertung eines Luminanz-Histogramms und/oder eines Chrominanz-Histogramms. Als Luminanz wird dabei ein Maß für die Helligkeit von Bildpunkten bezeichnet. Physikalisch entspricht die Luminanz der Leuchtdichte mit der Einheit cd/m2. Als Chrominanz wird die Farbigkeit der Bildpunkte bezeichnet.
Vorzugsweise werden mittels eines ersten Bearbeitungsmittels eine als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches durch eine Bildstruktur ersetzt, wobei es sich bei der den überstrahlten Bereich ersetzenden Bildstruktur um eine Umgebungsbildstruktur handelt und mittels eines zweiten Bearbeitungsmittels eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches durch eine definierte Bildstruktur ersetzt. Das heißt, die überstrahlten Bereiche werden im Falle einer erkannten Spiegelung in der ursprünglichen Aufnahme durch benachbarte Bildstrukturen ersetzt und in der stereoskopischen Darstellung gemäß der ermittelten Tiefenkarte angezeigt. Weiter vorteilhaft wird, wenn eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung erkannt wird, der ursprünglich überstrahlte Bereich vorzugsweise durch eine Bildstruktur ersetzt, die der beobachtenden Person signalisiert, dass an dieser Stelle der Aufnahme eine Diskrepanz der Messwerte mit der angenommenen Tiefenkarte besteht. Diese Bildstruktur für Diskrepanzbereiche kann vorteilhaft aus einem Muster oder einer Bildfarbe bestehen, die in der natürlichen Bildumgebung nicht auftritt. Jedem Diskrepanzbereich wird ein vorher festgelegter, beliebiger Tiefenwert in der für die stereoskopische Darstellung verwendeten Tiefenkarte zugewiesen. Wird das Verfahren bei einem medizinischen Eingriff angewandt, so signalisiert das Auftreten einer Bildstruktur für Diskrepanzbereiche dem Operateur vorteilhaft, dass an dieser Stelle der Aufnahme die Tiefeninformation aus der Auswertung der Aufnahme nicht mit dem dreidimensionalen Modell übereinstimmt.
Vorzugsweise können das erste und das zweite Bearbeitungsmittel sowohl als Software, als auch als Hardware ausgebildet sein. Ebenso ist es denkbar, dass beide Bearbeitungsmittel in einem Gerät realisiert sind. In einer weiteren voreilhaften Ausgestaltung wird das Anzeigemittel mittels eines Steuermittels derart gesteuert, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert. Dabei handelt es sich vorzugsweise um die Möglichkeit einer stufenlosen Einstellung, so dass die Darstellung den Sehgewohnheiten des jeweiligen Benutzers angepasst werden kann. Bei dem Steuermittel kann es sich entweder um Software oder um Hardware, beispielsweise einen Drehknopf handeln.
Bevorzugt wird mittels eines Render-Mittels ein im Raumbereich verwendetes Werkzeug, dessen Form bekannt ist, durch Rendern in die stereoskopischen Bilddaten eingepasst. Bei den Werkzeugen kann es sich z. B. um chirurgische Instrumente bekannter Form handeln. Um die Werkzeuge in das dreidimensionale Modell einpassen zu können sollte im Laufe der Untersuchung oder des Eingriffs wenigstens einmal eine Tiefenreferenzierung zwischen dem Instrument und einem Punkt des dreidimensionalen Modells vorgenommen werden.
Vorteilhaft werden die stereoskopischen Bilddaten mittels eines dritten Speichermittels gespeichert. Vorteilhaft ist ein drittes Speichermittel vorgesehen, welches dazu ausgebildet ist, die stereoskopischen Bilddaten zu speichern. Dieses Speichern ermöglicht vorzugsweise eine Nachbearbeitung und/oder ein Ausdrucken der Bilddaten. Selbstverständlich ist es auch möglich, die stereoskopischen Bilddaten auf dem ersten und/oder dem zweiten Speichermittel zu speichern. Vorzugsweise handelt es sich bei dem dritten Speichermittel um einen permanenten (z. B. ROM, PROM) oder semipermanenten Speicher (z. B. EPROM, Flash-EEPROM), da dieser die gespeicherten Daten auch ohne andauernde Stromversorgung sichert. Allerdings ist auch die Verwendung jedes anderen geeigneten Speichers möglich, solange dieser die dauerhafte Speicherung der Daten gewährleistet.
Vorzugsweise wird durch eine Person mittels eines Eingabemittels eine Bildstruktur markiert, wobei das Anzeigemittel dazu ausgebildet ist, diese Markierung anzuzeigen. Bei dem Eingabemittel kann es sich beispielsweise um eine Computermaus, eine Tastatur oder ein Touchpad handeln. Auch ist eine Eingabe mittels Gesten oder mittels Spracherkennung denkbar. Die Anzeige der Markierung durch das Anzeigemittel erfolgt vorteilhaft durch eine Einfärbung des markierten Bereichs in den stereoskopischen Bilddaten.
Im Folgenden wird die Erfindung anhand von Figuren näher erläutert. Dabei zeigen:
Fig.1 die schematische Darstellung einer bevorzugten Ausführungsform des Systems zur stereoskopischen Darstellung von Aufnahmen eines
Endoskops, und
Fig.2 ein Flussdiagramm zur Darstellung einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens.
In Figur 1 ist die schematische Übersicht einer bevorzugten Ausführungsform des Systems zur stereoskopischen Darstellung von Aufnahmen eines Endoskops dargestellt, deren zentrale Bestandteile ein Endoskop 1, eine Lichtquelle 2, eine Erfassungseinheit 3, ein erstes Speichermittel 4, ein zweites Speichermittel 5, ein Registrierungsmittel 6, ein Berechnungsmittel 7, ein Anzeigemittel 9, ein Erkennungsmittel 8 sowie ein Analysemittel 10 sind. Das Endoskop 1 umfasst eine Lichtquelle 2 und eine Erfassungseinheit 3. Die Erfassungseinheit 3 kann beispielsweise als Kamera ausgebildet sein. Das Endoskop 1 ist mit einer Set Top Box 11 verbunden, in welcher das erste Speichermittel 4, das zweite Speichermittel 5, das Registrierungsmittel 6, das Berechnungsmittel 7, das Erkennungsmittel 8 sowie das Analysemittel 10 angeordnet sind.
Selbstverständlich lässt sich die Set Top Box 11 auch an andere Geräte, wie zum Beispiel Röntgengeräte, Kernspintomographen, Computertomographen, Ultraschal Igeräten, Positronen-Emissionstomographen oder Endoskopen, anschließen. Diese Verbindung kann über Kabel, drahtlos oder auf sonstige Weise ausgeführt sein. Für die Übertragung der Daten sind zum Beispiel eine Funkübertragung eine Infrarotkommunikation oder eine Kommunikation per Glasfaser geeignet.
Die Set Top Box 11 ist ebenfalls mit dem Anzeigemittel 9, verbunden. Vorteilhaft handelt es sich bei dem Anzeigemittel um ein Stereookuklar oder einen SD- Bildschirm. Um zu eine stereoskopische Anzeige zu berechnen, wird vorteilhaft für jedes Pixel des zweidimensionalen Bildes aus dem entsprechenden Tiefenwert der Tiefenkarte eine Pixelverschiebung für das linke und für das rechte Auge ermittelt und mittels des Anzeigemittels 9 dargestellt.
Das Flussdiagramm nach Figur 2 beginnt mit Block 21, in welchem das Beleuchten eines Raumbereiches mit einer Lichtquelle 2 eines Endoskops 1 dargestellt ist. Im folgenden Block 22 wird das durch die Lichtquelle 2 emittierte Licht von der Erfassungseinheit 3 empfangen und in ein das empfangene Licht repräsentierendes Signal umgewandelt. Im folgenden Block 23 werden die von der Erfassungseinheit 3 erzeugten Signale als zweidimensionales Bild in einem ersten Speichermittel 4 gespeichert. Es folgt Block 24, in welchem das zweidimen- sionale Bild mittels eines Registrierungsmittels 6 mit dem dreidimensionalen Modell registriert wird. Vorzugsweise ist zum Registrieren des zweidimensionalen Bildes mit dem dreidimensionalen Modell ein zweites Berechnungsmittel vorgesehen, welches dazu ausgebildet ist, eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs zu berechnen. Dabei werden vorteilhaft für verschiedene Aufnahmepositionen und -richtungen eines virtuellen, auf das dreidimensionale Modell gerichteten Objektivs virtuelle zweidimensionale Aufnahmen des dreidimensionalen Modells errechnet. Weiterhin vorzugsweise wird jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert (Score) zugeordnet, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist. Neben der Aufnahmeposition und -richtung der virtuellen Aufnahme werden vorteilhaft Größenparameter und eine eventuelle elastische Verformung des dreidimensionalen Modells als charakterisierende Parameter bei der Ermittlung des Ähnlichkeitswertes variiert. Im folgenden Block 25 werden überstrahlte Bereiche erkannt. Bevorzugt erfolgt die Erkennung der überstrahlten Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels der Auswertung eines Luminanz-Histogramms und/oder eines Chrominanz-Histogramms. Im folgenden Block 26 wird ausgewertet, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle 2 emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt. Wenn dies der Fall ist 27, wird der überstrahlte Bereich durch eine Bildstruktur ersetzt wird, wobei es sich bei der den überstrahlten Bereich ersetzenden Bildstruktur um eine Umgebungsbildstruktur handelt. Das heißt, die überstrahlten Bereiche werden im Falle einer erkannten Spiegelung in der ursprünglichen Aufnahme durch benachbarte Bildstrukturen ersetzt und in der stereoskopischen Darstellung gemäß der ermittelten Tiefenkarte angezeigt. Ansonsten 28 wird der überstrahlte Bereich in dem zweidimensionalen Bild des Raumbereiches durch eine definierte Bildstruktur ersetzt. Diese Bildstruktur für Diskrepanzbereiche kann vorteilhaft aus einem Muster oder einer Bildfarbe bestehen, die in der natürlichen Bildumgebung nicht auftritt.
Gleichzeitig findet in Block 29 die Berechnung der stereoskopischen Bilddaten statt. Dazu wird vorteilhaft für jedes Pixel des zweidimensionalen Bildes aus dem entsprechenden Tiefenwert der Tiefenkarte eine Pixelverschiebung für das linke und für das rechte Auge ermittelt. Im folgenden Block 30 werden die stereoskopischen Bilddaten schließlich mittels eines Anzeigemittels 9 angezeigt. In einer vorteilhaften Ausgestaltung handelt es sich bei dem Anzeigemittel um ein Stereookuklar oder einen 3D-Bildschirm. Bevorzugt ist auch ein Steuermittel vorgesehen, welches dazu eingerichtet ist, das Anzeigemittel 9 derart zu steuern, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert. Dadurch besteht die Möglichkeit einer stufenlosen Einstellung, so dass die Darstellung den Sehgewohnheiten des jeweiligen Benutzers angepasst werden kann. Bei dem Steuermittel kann es sich entweder um Software oder um Hardware, beispielsweise einen Drehknopf handeln.
Bezugszeichenliste
1 Endoskop
2 Lichtquelle
5 3 Erfassungseinheit
4 erstes Speichermittel
5 zweites Speichermittel
6 Registrierungsmittel
7 Berechnungsmittel
10 8 Erkennungsmittel
9 Anzeigemittel
10 Analysemittel
11 Set Top Box
21 Beleuchten
15 22 Empfangen des Lichts
23 Speichern der erzeugten Signale als zweidimensionales Bild
24 Registrieren des zweidimensionalen Bildes
25 Erkennung von überstrahlten Bereichen
26 Auswertung, ob es sich um eine Spiegelung handelt 20 27 Ersetzen durch eine Umgebungs-Bildstruktur
28 Ersetzen durch eine definierte Bildstruktur
29 Berechnen der stereoskopischen Bilddaten
30 Anzeigen der stereoskopischen Bilddaten
25

Claims

Ansprüche: 1 . System zur stereoskopischen Darstel lung von Aufnahmen eines Endoskops (1 ), umfassend:
ein Endoskop (1 ) mit einer Lichtquel le (2), die dazu eingerichtet und vorgesehen ist, einen Raumbereich zu beleuchten und mit einer Erfassungseinheit (3), die dazu eingerichtet und vorgesehen ist, durch die Lichtquel le (2) emittiertes Licht zu empfangen und in ein das empfangene Licht repräsentierendes Signal umzuwandeln,
ein erstes Speichermittel (4), welches dazu eingerichtet und vorgesehen ist, die durch die Erfassungseinheit (3) erzeugten Signale als zweidimensionales Bild des Raumbereiches zu speichern,
- ein zweites Speichermittel (5), welches dazu eingerichtet und vorgesehen ist, ein dreidimensionales Model l des Raumbereichs zu speichern,
ein Registrierungsmittel (6), welches dazu eingerichtet und vorgesehen ist, das zweidimensionale Bild des Raumbereiches mit dem dreidimensionalen Model l des Raumbereiches zu registrieren,
- ein Berechnungsmittel (7), welches dazu eingerichtet und vorgesehen ist, aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Model l des Raumbereiches stereoskopische Bilddaten zu berechnen,
ein Anzeigemittel (9), welches dazu eingerichtet und vorgesehen ist, die berechneten stereoskopischen Bilddaten für eine Person sichtbar anzuzeigen, dadurch gekennzeichnet, dass ein Erkennungsmittel (8) vorgesehen ist, welches dazu eingerichtet ist, überstrahlte Bereiche in dem zweidimensionalen Bild des Raumbereiches zu erkennen und ein Analysemittel (1 0) vorgesehen ist, welches dazu eingerichtet ist, anhand des dreidimensionalen Model ls des Raumbereiches zu überprüfen, ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle (2) emittierten Lichts durch ein im Raumbereich befindl iches Objekt handelt.
2. System gemäß Anspruch 1, dadurch gekennzeichnet, dass zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches ein zweites Berechnungsmittel vorgesehen, welches dazu ausgebildet ist, eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs zu berechnen.
3. System gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Vergleichsmittel vorgesehen ist, welches dazu ausgebildet ist, die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder zu vergleichen und das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert zu erkennen.
4. System gemäß einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass ein Zuordnungsmittel vorgesehen ist, welches dazu ausgebildet ist, dem zweidimensionalen Bild des Raumbereiches eine Tiefenkarte zuzuordnen.
5. System gemäß Anspruch 3 und 4, wobei die Tiefenkarte mittels des berechneten zweidimensionalen Bildes mit dem höchsten Ähnlichkeitswert errechnet wird.
6. System gemäß einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass ein erstes Bearbeitungsmittel vorgesehen ist, welches dazu ausgebildet ist, eine als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Über- Strahlung in dem zweidimensionalen Bild des Raumbereiches derart zu bearbeiten, dass der als Überstrahlung erkannte Bereich durch eine Bildstruktur ersetzt wird.
7. System gemäß Anspruch 6, dadurch gekennzeichnet, dass es sich bei der den überstrahlten Bereich ersetzenden Bildstruktur um eine Umgebungsbildstruktur handelt.
8. System gemäß Anspruch 7, dadurch gekennzeichnet, dass ein zweites Bearbeitungsmittel vorgesehen ist, welches dazu eingerichtet ist, eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches derart zu bearbeiten, dass der als Überstrahlung erkannte Bereich durch eine zuvor definierte Bildstruktur ersetzt wird.
9. System gemäß einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das Speichermittel und/oder das Registrierungsmittel und/oder das Berechnungsmittel und/oder das Anzeigemittel und/oder das Erkennungsmittel und/oder das Analysemittel und/oder das zweite Berechnungsmittel und/oder das Vergleichsmittel und/oder das Zuordnungsmittel und/oder das erste Bearbeitungsmittel und/oder das zweite Bearbeitungsmittel in einem Gerät angeordnet sind.
10. System gemäß einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass ein Steuermittel vorgesehen ist, welches dazu eingerichtet ist, das Anzeigemittel 9 derart zu steuern, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert.
11. System gemäß einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass ein Render-Mittel vorgesehen ist, welches dazu eingerichtet ist, ein im Raumbereich verwendetes Werkzeug, dessen Form bekannt ist, durch Rendern in die stereoskopischen Bilddaten einzupassen.
12. System gemäß einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass ein drittes Speichermittel vorgesehen ist, welches dazu ausgebildet ist, die stereoskopischen Bilddaten zu speichern.
13. System gemäß einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Errechnung der Tiefenkarte und die Erkennung der spiegelnden Bildbereiche im Bildverarbeitungsprozessor einer Grafikkarte erfolgen.
14. System gemäß einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass ein Eingabemittel vorgesehen ist, welches dazu eingerichtet ist, einer Person die Markierung einer Bildstruktur zu ermöglichen, wobei das Anzeigemittel dazu ausgebildet ist, diese Markierung anzuzeigen.
15. Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops (1), insbesondere unter Verwendung eines Systems gemäß den Ansprüchen 1 bis 14, aufweisend die Schritte:
Beleuchten eines Raumbereiches mit einer Lichtquelle (2) eines Endoskops
(1),
- Empfangen von durch die Lichtquelle (2) emittiertem Licht durch eine Erfassungseinheit (3) und Umwandeln des Lichts in ein das empfangene Licht repräsentierendes Signal,
Speichern der von der Erfassungseinheit (3) erzeugten Signale als zweidimensionales Bild des Raumbereiches mittels eines ersten Speichermittels (4),
Speichern eines dreidimensionalen Modells des Raumbereichs mittels eines zweiten Speichermittels (5),
Registrieren, des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches mittels eines Registrierungsmittels (6),
Berechnen von stereoskopischen Bilddaten aus dem zweidimensionalen Bild des Raumbereiches und dem dreidimensionalen Modell des Raumbereiches, Anzeigen der berechneten stereoskopischen Bilddaten mittels eines Anzeigemittels (9),
- Erkennen von überstrahlten Bereiche in dem zweidimensionalen Bild des Raumbereiches mittels eines Erkennungsmittels (8), Überprüfung ob es sich bei der erkannten Überstrahlung um eine Spiegelung des durch die Lichtquelle (2) emittierten Lichts durch ein im Raumbereich befindliches Objekt handelt mittels eines Analysemittels (10).
16. Verfahren gemäß Anspruch 16, dadurch gekennzeichnet, dass
zum Registrieren des zweidimensionalen Bildes des Raumbereiches mit dem dreidimensionalen Modell des Raumbereiches mittels eines zweiten Berechnungsmittels eine Mehrzahl von zweidimensionalen Bildern eines virtuellen auf das dreidimensionale Modell gerichteten Objektivs berechnet wird, - jedes der berechneten zweidimensionalen Bilder mit dem zweidimensionalen Bild des Raumbereiches verglichen wird und jedem berechneten zweidimensionalen Bild ein Ähnlichkeitswert zugeordnet wird, wobei die Höhe des Ähnlichkeitswertes von der Ähnlichkeit des berechneten zweidimensionalen Bildes mit dem zweidimensionalen Bild des Raumbereiches abhängig ist,
- die Ähnlichkeitswerte der berechneten zweidimensionalen Bilder mittels eines Vergleichsmittels verglichen werden und dass das berechnete zweidimensionale Bild mit dem höchsten Ähnlichkeitswert erkannt wird,
dem zweidimensionalen Bild des Raumbereiches mittels eines Zuordnungsmittels eine Tiefenkarte zugeordnet wird, wobei die Tiefenkarte mittels des berechneten zweidimensionalen Bildes mit dem höchsten Ähnlichkeitswert errechnet wird.
17. Verfahren gemäß Anspruch 16, dadurch gekennzeichnet, dass die Erkennung der überstrahlten Bereiche in dem zweidimensionalen Bild des Raum- bereiches mittels der Auswertung eines Luminanz-Histogramms und/oder eines Chrominanz-Histogramms erfolgt.
18. Verfahren gemäß einem der Ansprüche 16 oder 17, dadurch gekennzeichnet, dass
- mittels eines ersten Bearbeitungsmittels eine als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimen- sionalen Bild des Raumbereiches durch eine Bildstruktur ersetzt wird, wobei es sich bei der den überstrahlten Bereich ersetzenden Bildstruktur um eine Umgebungsbildstruktur handelt,
mittels eines zweiten Bearbeitungsmittels eine nicht als Spiegelung durch ein im Raumbereich befindliches Objekt erkannte Überstrahlung in dem zweidimensionalen Bild des Raumbereiches durch eine zuvor definierte Bildstruktur ersetzt wird.
19. Verfahren gemäß einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass das Anzeigemittel (9) mittels eines Steuermittels derart gesteuert wird, dass der stereoskopische Effekt bei der Anzeige der Bilddaten variiert.
20. Verfahren gemäß einem der Ansprüche 16 bis 20, dadurch gekennzeichnet, dass mittels eines Render-Mittels ein im Raumbereich verwendetes Werkzeug, dessen Form bekannt ist, durch Rendem in die stereoskopischen Bilddaten eingepasst wird.
PCT/EP2016/067810 2015-07-29 2016-07-26 System zur stereoskopischen darstellung von aufnahmen eines endoskops WO2017017103A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015112411.4A DE102015112411A1 (de) 2015-07-29 2015-07-29 System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
DE102015112411.4 2015-07-29

Publications (1)

Publication Number Publication Date
WO2017017103A1 true WO2017017103A1 (de) 2017-02-02

Family

ID=56555385

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2016/067810 WO2017017103A1 (de) 2015-07-29 2016-07-26 System zur stereoskopischen darstellung von aufnahmen eines endoskops

Country Status (2)

Country Link
DE (1) DE102015112411A1 (de)
WO (1) WO2017017103A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110831537A (zh) * 2017-06-23 2020-02-21 奥瑞斯健康公司 用于确定医疗装置在内腔网络中的姿势的机器人系统
CN112330729A (zh) * 2020-11-27 2021-02-05 中国科学院深圳先进技术研究院 图像深度预测方法、装置、终端设备及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012100848A1 (de) * 2012-02-01 2013-08-01 Christian Hendrich System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001039512A1 (en) 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
DE10109880A1 (de) 2001-02-27 2002-09-05 4D Vision Gmbh Verfahren und Vorrichtung zur Erstellung einer Tiefenkarte zu einem zweidimensionalen Bild und zur Übertragung von räumlichen Bildinformationen
DE10348618B4 (de) 2003-09-15 2006-07-27 Armin Grasnick Verfahren zum Erstellen und Anzeigen einer Raumbildvorlage für Abbildungsverfahren mit räumlichen Tiefenwirkungen und Vorrichtung zum Anzeigen einer derartigen Raumbildvorlage
US7893938B2 (en) 2005-05-04 2011-02-22 Siemens Medical Solutions Usa, Inc. Rendering anatomical structures with their nearby surrounding area
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US20120289782A1 (en) 2011-05-13 2012-11-15 Tyco Healthcare Group Lp Twin camera endoscope
EP3073894B1 (de) * 2013-11-27 2022-03-30 Children's National Medical Center Korrigierte 3d-abbildung

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012100848A1 (de) * 2012-02-01 2013-08-01 Christian Hendrich System zur stereoskopischen Darstellung von Aufnahmen eines Endoskops

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110831537A (zh) * 2017-06-23 2020-02-21 奥瑞斯健康公司 用于确定医疗装置在内腔网络中的姿势的机器人系统
CN112330729A (zh) * 2020-11-27 2021-02-05 中国科学院深圳先进技术研究院 图像深度预测方法、装置、终端设备及可读存储介质
CN112330729B (zh) * 2020-11-27 2024-01-12 中国科学院深圳先进技术研究院 图像深度预测方法、装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
DE102015112411A1 (de) 2017-02-02

Similar Documents

Publication Publication Date Title
EP2467051B1 (de) Bildverarbeitungssystem mit einer zusätzlichen zusammen mit der bildinformation zu verarbeitenden massstabsinformation
AT508563B1 (de) Verfahren zur aufnahme dreidimensionaler abbilder
EP1693781B1 (de) Verfahren und Anordnung zur optischen Aufnahme biometrischer Fingerdaten
DE10137241A1 (de) Registrierung von Tiefenbildern mittels optisch projizierter Marken
DE102011104216A1 (de) Verfahren und Vorrichtung zum dreidimensionalen Erfassen von Objekten sowie Computerprogrammprodukt
DE112017001315T5 (de) Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes
DE102013206911A1 (de) Verfahren und Vorrichtung zur stereoskopischen Darstellung von Bilddaten
EP3931798A1 (de) Schätzung der bewegung einer bildposition
WO2017017103A1 (de) System zur stereoskopischen darstellung von aufnahmen eines endoskops
DE102012100848B4 (de) System und Verfahren zur stereoskopischen Darstellung von Aufnahmen eines Endoskops
EP4118628A2 (de) Verfahren und vorrichtung zum präzisen auswählen einer raumkoordinate mittels eines digitalen bildes
DE102007029888B4 (de) Bildgebendes Verfahren für die medizinische Diagnostik und nach diesem Verfahren arbeitende Einrichtung
EP2549431B1 (de) Bildfusion zur Überwachung eines Gefahrenbereichs
DE102013219134A1 (de) System und Verfahren zur Korrelation von Objektinformationen mit Röntgenbildern
DE4143193A1 (de) System zur mathematischen erfassung dreidimensionaler oberflaechen
DE102007027738A1 (de) Verfahren und Vorrichtung zur Visualisierung eines tomographischen Volumendatensatzes unter Nutzung der Gradientenmagnitude
DE102014107185A1 (de) Verfahren zur Bereitstellung eines dreidimensionalen Topographiemodells, Verfahren zur Betrachtung einer Topographiedarstellung eines Topographiemodells, Visualisierungsvorrichtung und Mikroskopiersystem
DE102008022922B4 (de) Vorrichtung und Verfahren zur Erstellung einer 3D Darstellung von einem Objekt
EP3089105A1 (de) Verfahren zum generieren eines kontrastbildes einer objektbeschaffenheit und diesbezügliche vorrichtungen
WO2018211057A1 (de) Marker basierter kamera-tracker
EP2817587B1 (de) Messverfahren und messvorrichtung zur herstellung eines 3d-ortaufgelösten messergebnisses in einem nicht-sichtbaren spektralbereich
EP0919784A2 (de) Vorrichtung zur Bestimmung von dreidimensionalen Daten von Objekten
DE102007055252A1 (de) Verfahren zur Bestimmung der Abstände eines Objekts innerhalb einer Struktur
DE102017000454B4 (de) Verfahren und System zum Kalibrieren von Bilddaten zweier Kameras
DE102008014381B4 (de) Bildverarbeitungsvorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16745097

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16745097

Country of ref document: EP

Kind code of ref document: A1