WO2012119687A1 - Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops mit diskreten blickrichtungen - Google Patents

Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops mit diskreten blickrichtungen Download PDF

Info

Publication number
WO2012119687A1
WO2012119687A1 PCT/EP2012/000600 EP2012000600W WO2012119687A1 WO 2012119687 A1 WO2012119687 A1 WO 2012119687A1 EP 2012000600 W EP2012000600 W EP 2012000600W WO 2012119687 A1 WO2012119687 A1 WO 2012119687A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
viewing direction
central viewing
intermediate images
central
Prior art date
Application number
PCT/EP2012/000600
Other languages
English (en)
French (fr)
Inventor
Matthias Bolz
Original Assignee
Olympus Winter & Ibe Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Winter & Ibe Gmbh filed Critical Olympus Winter & Ibe Gmbh
Publication of WO2012119687A1 publication Critical patent/WO2012119687A1/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A61B1/0052—Constructional details of control elements, e.g. handles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Definitions

  • the invention relates to a method for displaying video endoscopic image data of a video endoscope with discrete viewing directions, in which the viewing direction is switched from a first central viewing direction to a second central viewing direction due to a viewing direction switching command, a video endoscopy system with a video endoscope with switchable discrete viewing directions, an image processing unit and an image display device, wherein the video endoscope is configured to switch from a first central viewing direction to a second central viewing direction and a software program product with program code means based on a viewing direction switching command.
  • a video endoscope is used to connect an endoscope in conjunction with at least one image sensor which is designed to record a video recording.
  • CONFIRMATION COPY Det is understood, regardless of whether the image sensor is located distally in the endoscope shaft, proximally in a handle or externally in a camera head, which can be attached to an eyepiece in the proximal region of the endoscope, ie on the side of an operator.
  • viewing direction also referred to as “direction of view” (DOV)
  • DOV direction of view
  • a viewing angle of 0 ° means a straight-ahead view in the longitudinal direction of the endoscope shaft while, for example, 90 ° designates a viewing direction which deviates from the straight-line perspective at right angles .
  • Usual pairs of viewing directions in the case of endoscopes with reversible viewing direction in the sense of the polar angle are eg 0 ° and 30 °, 0 ° and 45 °, 12 ° and 70 ° or 30 ° and 80 °
  • Such objectives with two discrete viewing directions allow the surgeon, with an endoscope equipped therewith, to be able to see in different directions, depending on the type of endoscope, the azimuth angle of the viewing direction, ie the angle of rotation of the Viewing direction about the longitudinal axis of the endoscope to be fixed or changeable.
  • An endoscope with two viewing directions is known from the patent application DE 10 2009 020 262 A1 of the applicant.
  • the associated lenses are arranged in the distal end region of an endoscope shaft and receive the light coming from their respective field of view in order to forward it to an image sensor or to an eyepiece. You can switch between the two directions of view.
  • a prism is arranged in a crossing point of the two beam paths.
  • the switch between the directions is done by Removing or inserting a mirror into an intermediate gap between the first beam path and the prism. If no mirror is inserted in the gap, the light in the first beam path enters the prism unhindered and passes through the prism and reaches the eyepiece or an image sensor. The light of the second beam path is reflected at a first boundary surface of the prism, but exits at a second interface for lack of total reflection from the prism in a direction that does not lead to the eyepiece or the image sensor. If a mirror is inserted into the gap, the light in the first beam path is blocked, while the light of the second beam path is now reflected a second time and is thus forwarded to the correct side to the eyepiece or image sensor.
  • a distal objective part is provided for each viewing direction, which in each case directs the exit beam path into one of two parallel exit axes.
  • a proximal objective part is pivotable together with the image conductor which continues through the shaft of the endoscope in such a way that it is directed in two pivoting positions onto one or the other of the two exit axes.
  • an endoscope objective has two distal objective parts for two different viewing directions and a common proximal objective part.
  • Polarization filters with different, fixed polarization devices are arranged in the two distal objective parts and a polarization filter with adjustable polarization direction in the proximal objective part. This can be switched between the two directions of view. With a simple design, the image brightness is reduced compared to the other versions.
  • the surgeon For his orientation in the surgical field, which is also very important during examinations and operations, the surgeon relies on his sense of space.
  • the viewing direction is switched over in discrete steps so that displayed objects abruptly change their position.
  • this poses the challenge of showing, from one moment to the other, two very different images representing different sections of the current surgical field. The switching can therefore have a disorienting effect.
  • the images are usually displayed on a fixed screen, the displayed image does not necessarily correspond to the orientation of the endoscope in the room and in the surgical field.
  • the present invention is therefore based on the object of providing a method and a system for displaying video endoscopic image data of a video endoscope with discrete viewing directions, which makes it possible to orient the surgeon in the surgical field even when switching the viewing direction.
  • This object is achieved by a method for displaying video endoscopic image data of a video endoscope with discrete viewing directions, in which the viewing direction is switched from a first central viewing direction to a second central viewing direction due to a viewing direction switching command, which is further developed in that at least before switching the viewing direction a first image is taken in the first central viewing direction and after switching at least one second image is recorded in the second central viewing direction, wherein in the image representation between the first image and the second image, an image sequence of intermediate images is shown, of which at least some are generated as superimpositions of the at least one first image and the at least one second image, wherein the at least one first image and the at least one second image corresponding to the image angle between the first central viewing direction and the second central viewing direction is offset from each other, wherein the temporally successive intermediate images each have interpolated central viewing directions, which proceed from the first central viewing direction to the second central viewing direction.
  • a virtual "camera pan” is thus created between the first central viewing direction and the second central viewing direction
  • the virtual camera pan ensures that image structures shift until the second central viewing direction is reached in the intermediate images follow the structures of interest in the intermediate images with the eye. This tracking of the panning of the camera facilitates the operator's orientation in the surgical field.
  • the generation of intermediate images already begins before the at least one second image has been recorded.
  • the hitherto valid first image for example the last frame recorded in the first viewing direction, moves in the intermediate images even before the pivoting and before taking a second image or "frame" in the second central viewing direction the display area.
  • the switchover or recording of the at least one second image takes place, for example, after one of the first picture gradually replacing example, black area, for example, occupies a quarter of the screen.
  • the second picture can be taken and, if necessary, faded in.
  • This variant has the particular advantage of speed, since the virtual camera pan is already initiated before switching.
  • the direction of the virtual camera pans is known. This can be done, for example, by fixing the orientation of the first and second central viewing directions with respect to an image sensor, or by the video endoscope having means for determining the absolute spatial position, for example one or more gyroscopes, inclination sensors, rotary encoders, rotary potentiometers, rotation sensors or a rotation measure for determining the azimuth angle with respect to the axis between the two central viewing directions and the central axis of the image sensor.
  • the video endoscope having means for determining the absolute spatial position, for example one or more gyroscopes, inclination sensors, rotary encoders, rotary potentiometers, rotation sensors or a rotation measure for determining the azimuth angle with respect to the axis between the two central viewing directions and the central axis of the image sensor.
  • the superposition of the at least one first image and the at least one second image in the intermediate images comprises an interpolation of pixels in an overlap region between the at least one first image and the at least one second image. This assumes that there is an overlap area between the first image and the second image, which is usually the case.
  • the interpolation may be formed as equally weighted superimposition of the corresponding pixels of the first image and of the second image in the overlap region or as an interpolation in which the weightings of the pixels of the first image decrease in the course of the virtual camera scan.
  • linear or non-linear increases from 100% to 0%
  • the weighting of the pixels of the second image in the overlap area increases in the course of camera panning, for example linearly or nonlinearly from 0% to 100% progressing from the first central viewing direction to the second central viewing direction.
  • the sum of the weights for the first image and for the second image preferably gives 100% for each intermediate image.
  • edge distortions of the at least one first image and / or the at least one second image are corrected during the generation of the intermediate images. This ensures that the overlapping area of the first image and the second image is displayed in such a way that the structures contained therein are not distorted differently but match one another.
  • a distance and a radial offset between the at least one first image and the at least one second image are determined on the basis of a polar angle and an azimuth angle of the image angle between the first central viewing direction and the second central viewing direction.
  • the offset between the first image and the second image denotes the distance and the direction in which the second image is superimposed with the first image.
  • the polar angle determines the actual distance, the azimuth angle the direction of the offset.
  • the corresponding polar angle is the difference, namely 50 °, since the azimuth angle does not change when switching.
  • this is converted into an offset between the first image and the second image. net, whose size corresponds to a corresponding number of pixels in the intermediate images.
  • the azimuth angle of the offset corresponds to the angle by which the connecting line between the first central viewing angle and the second central viewing angle in space deviates from a central axis of an image sensor that captures the first and second images.
  • the determination of the azimuth angle consists in assigning it a fixed value, for example 0 °.
  • a structure mapping takes place between the at least one first image and the at least one second image for determining an overlapping region.
  • the structure mapping can be used as a stand-alone method for determining the offset or as a correction to preset values for the offset.
  • the at least one first image is hidden and / or the at least one second image is superimposed, wherein in particular the fading and / or the fade only after a predeterminable or predetermined number starting from intermediate images.
  • the fade-in, as well as fade-out can take place either in one stage directly from 0% to 100%, or in a longer gradation, ie a ramp.
  • the hiding of the first picture takes place preferably only after a predeterminable or predetermined number of intermediate images, which may optionally differ from the number of intermediate images before the fade-in.
  • first of all a virtual camera panning on the basis of intermediate images takes place only on the basis of the first image or a sequence of first images.
  • the image is actually swiveled to the second viewing direction.
  • the now existing second image or the sequence of second images is superimposed.
  • the intermediate images are still generated only on the basis of the first images during the virtual panning before the actual switching of the viewing direction, it is possible not only to produce a single first image and to use intermediate images, but for example the most recent latest recorded image . After the actual switching of the viewing direction, the last recorded image is then "frozen" in the first viewing direction and used for the further intermediate images.
  • the intermediate images are generated with a constant step size of the interpolated central viewing directions, or the step size is changed in the course of the image sequence of the intermediate images, wherein in particular the interpolated central viewing directions of the intermediate images are generated in a straight line or following a curved path.
  • the constant step size and the straight line of the central viewing directions of the intermediate images result in a particularly simple sequence of intermediate images which is easy for the surgeon and which is well suited for facilitating the orientation of the operator during the virtual camera movement.
  • a modified step size is advantageously carried out, for example, such that the first step sizes are selected to be small, larger step sizes are selected in the middle sequence of the intermediate images, while the last intermediate images of the sequence are again generated with smaller step sizes.
  • Curved paths of the central viewing directions of the intermediate images are particularly advantageous in situations in which a change in view direction is accompanied by a change in orientation of the second image relative to the first image due to the design. In this case, it is also advantageous to stepwise change the orientation of the intermediate images from the orientation of the first image to the orientation of the second image.
  • movements of the video endoscope are preferably included in the generation of the intermediate images.
  • the endoscope is moved during the virtual panning of the camera, which can be detected, for example, by gyroscopes, inclination or orientation sensors or acceleration sensors on the endoscope, this is preferably taken into account during the generation of the intermediate image sequence and the virtual camera panning is correspondingly corrected or tracked.
  • the image sequence of the intermediate images is preferably displayed within a time duration of 0.1 s to 5 s, in particular between 0.5 s and 2 s.
  • a video endoscope system having a video endoscope with switchable discrete viewing directions, an image processing unit and an image display device, wherein the video endoscope is adapted to switch from a first central viewing direction to a second central viewing direction due to a viewing direction switching command is further developed that the image processing unit is adapted to generate from at least one recorded before switching the viewing direction first image in the first central viewing direction and at least one recorded after the switching second image in the second central viewing direction, an image sequence of intermediate images, of which at least some are generated as superimpositions of the at least one first image and the at least one second image, in which the at least one first image and the at least one second image correspond nd the image angle between the first central viewing direction and the second central viewing direction is offset from each other, wherein the temporally successive intermediate images each have interpolated central viewing directions, from the first central viewing direction to the second proceed in a central direction.
  • the image processing unit is in particular advantageously designed to carry out the method according to the invention described above.
  • the video endoscope of the video endoscopy system according to the invention preferably also has one or more orientation sensors, in particular gyroscopes, inclination or orientation sensors, acceleration sensors, rotary encoders, rotary potentiometers, rotation sensors or a rotational measure.
  • orientation sensors in particular gyroscopes, inclination or orientation sensors, acceleration sensors, rotary encoders, rotary potentiometers, rotation sensors or a rotational measure.
  • the object on which the invention is based is also achieved by a software program product with program code means, the sequence of which is carried out on a data processing device, in particular an image processing unit, which is part of a previously described video endoscopy system according to the invention, the steps of the method according to the invention described above.
  • the software program product may include software and in particular also a data carrier with the program code means.
  • FIG. 1 is a schematic representation of a video endoscopy system according to the invention
  • Fig. 2 is a schematic representation of the invention
  • Fig. 3 is a further schematic representation of an inventive generation of intermediate images.
  • a video endoscope has a longitudinally extending endoscope shaft 1, at the distal tip of which a first objective lens 2 and a second objective lens 3 are arranged.
  • the viewing angle of the second objective lens 3 is approximately in the 0 ° direction, while the first objective lens 2 has a viewing direction (DOV) of approximately 50 °.
  • DOV viewing direction
  • the unillustrated fields of view of the first objective lens 2 and the second objective lens 3 may overlap.
  • a connection cable 6 With a connection cable 6, the video endoscope is connected to an image processing unit 7 and further via a connection cable with an image display device 9, on which images are taken, which have been taken by the video endoscope through either the first objective lens 2 or the second objective lens 3 and then through the Image processing unit 7 have been processed.
  • FIG. 2 a method according to the invention is shown schematically.
  • a first image 1 which has been taken for example by the first objective lens 2 from the video endoscope according to FIG. 1, is first displayed.
  • This first image 11 has a first central viewing direction 21. This is identified as "X.”
  • the first central viewing direction 21 is located in the center of the first image 11 whose boundaries are indicated by a solid line.
  • FIG. 2 Also shown in Fig. 2 is a second image 12 whose boundaries are shown with long dashes and dots.
  • This second image 12 has in its center a central viewing direction 22 which is marked with a bordered "X.”
  • the first image 11 and the second image 12 overlap in an overlapping region 14, which is shown vertically hatched in FIG.
  • a sequence of intermediate images is generated, one of which is shown by the reference numeral 13 with dashed edge boundaries.
  • the frames of the remaining intermediate images have been omitted for reasons of clarity.
  • the sequence of intermediate images in each case has central viewing directions 23.1 to 23.4 which progress in one direction with a constant step length from the first central one Viewing direction 21 away and on the second central viewing direction 22 to move.
  • the central viewing direction which belongs to this intermediate image 13, corresponds to the interpolated central viewing direction 23.3.
  • This intermediate image 13 has both an overlap region 15 with the first image 11 and an overlap region 16 with the second image 12.
  • the original overlap region 14 between the first image 11 and the second image 12 is also contained in the intermediate image 13.
  • the overlapping area 15 is marked with dots, the overlapping area 16 with short vertical hatching lines.
  • the change in direction coincides with the orientation of an image sensor of the video endoscope. This can either be set at free selectability of the azimuth angle or be structurally fixed.
  • the fade-out of the first image 11 and the fade-in of the second image 12 can be chosen freely become.
  • the steepness and the weighting factors with which the fade-in and fade-out also occur can be set so that, for example, a possible gliding transition occurs between the first image 11 and the second image 12.
  • FIG. 3 an alternative embodiment of the method according to the invention to Fig. 2 is shown schematically.
  • the situation of Fig. 2 differs in that there is an azimuth angle which deviates from 0 °.
  • interpolated central viewing directions 23.1 .- 23.7 On the basis of interpolated central viewing directions 23.1 .- 23.7, a sequence of intermediate images is generated, of which, as in FIG. 2, only an intermediate image 13 is shown with its edge for reasons of clarity.
  • the interpolated central viewing directions 23.1 - 23.7 are arranged on a connecting line between the first central viewing direction 21 and the second central viewing direction 22. In the intermediate images thus pushes in the process the first image 1 1 or the overlapping region 15 down to the left out of the field of view, while the second image 12 slides into the image from the top right corresponding to the increasing overlapping area 16.
  • FIG. 3 A special feature is shown in FIG. 3, such that the step size between the interpolated viewing directions 23.1 - 23.7 initially increases between the central viewing directions 23.1 - 23.4 in order to become smaller again in the central viewing directions 23.4 - 23.7. This corresponds to an acceleration of the panning up to an intermediate image 13, which corresponds to the central central viewing direction 23.4, and a subsequent deceleration of the virtual camera pans.
  • a sequence of intermediate images may also be generated whose interpolated central viewing directions lie on a curved path whose tangents at the beginning and at the end of the virtual camera pans with respect to the orientation of the first image and the second image respectively occupy the same angle.
  • the orientation of the intermediate images is also changed stepwise from the orientation of the first image 1 1 to the orientation of the second image 12. In this way not only a pivot between the first image 11 and the second image 12 is generated, but also an orientation-selecting sliding transition in the changing orientation of the images.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit diskreten Blickrichtungen (21, 22), bei dem die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten zentralen Blickrichtung (21) zu einer zweiten zentralen Blickrichtung (22) umgeschaltet wird, ein entsprechendes Videoendoskopiesystem und ein Softwareprogrammprodukt mit Programmcodemitteln. Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass vor dem Umschalten der Blickrichtung (21, 22) wenigstens ein erstes Bild (11) in der ersten zentralen Blickrichtung (21) aufgenommen wird und nach dem Umschalten wenigstens ein zweites Bild (12) in der zweiten zentralen Blickrichtung (22) aufgenommen wird, wobei in der Bilddarstellung zwischen dem ersten Bild (11) und dem zweiten Bild (12) eine Bildfolge aus Zwischenbildern (13) dargestellt wird, von denen wenigstens einige als Überlagerungen des wenigstens einen ersten Bildes (11) und des wenigstens einen zweiten Bildes (12) erzeugt werden, bei denen das wenigstens eine erste Bild (11) und das wenigstens eine zweite Bild (12) entsprechend dem Bildwinkel zwischen der ersten zentralen Blickrichtung (21) und der zweiten zentralen Blickrichtung (22) gegeneinander versetzt ist, wobei die zeitlich aufeinander folgenden Zwischenbilder (13) jeweils interpolierte zentrale Blickrichtungen (23.1 - 23.7) aufweisen, die von der ersten zentralen Blickrichtung (21) zur zweiten zentralen Blickrichtung (22) fortschreiten.

Description

Verfahren und System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit diskreten Blickrichtungen
Beschreibung
Die Erfindung betrifft ein Verfahren zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit diskreten Blickrichtungen, bei dem die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten zentralen Blickrichtung zu einer zweiten zentralen Blickrichtung umgeschaltet wird , ein Videoendosko- piesystem mit einem Videoendoskop mit umschaltbaren diskreten Blickrichtungen, einer Bildverarbeitungseinheit und einer Bildwiedergabevorrichtung, wobei das Videoendoskop ausgebildet ist, aufgrund eines Blickrichtungsumschaltbefehls von einer ersten zentralen Blickrichtung zu einer zweiten zentralen Blickrichtung umzuschalten und ein Softwareprogrammprodukt mit Programmcodemitteln.
Im Rahmen der vorliegenden Erfindung wird unter einem Videoendoskop ein Endoskop in Verbindung mit wenigstens einem Bildsensor, der zum Aufnehmen einer Videoaufzeichnung ausgebil-
BESTÄTIGUNGSKOPIE det ist, verstanden, unabhängig davon, ob der Bildsensor distal im Endoskopschaft, proximal in einem Handgriff oder extern in einem Kamerakopf angeordnet ist, der an ein Okular im proximalen Bereich des Endoskops, also auf der Seite eines Operateurs, ansetzbar ist.
Der Begriff der Blickrichtung, englisch auch als „direction of view" (DOV) bezeichnet, betrifft den von der Längsachse des Endoskops abweichenden Seitwärts- oder Rückwärtsblick, der als Polarwinkel dargestellt wird, wobei ein Blickwinkel von 0° einen Geradeausblick in Längsrichtung des Endoskopschafts bedeutet, während beispielsweise 90° eine Blickrichtung bezeichnet, die im rechten Winkel vom Geradeausblick abweicht. Übliche Paare von Blickrichtungen bei Endoskopen mit umschaltbarer Blickrichtung im Sinne des Polarwinkels sind z.B. 0° und 30°, 0° und 45°, 12° und 70° oder 30° und 80°. Solche Objektive mit zwei diskreten Blickrichtungen erlauben dem Operateur, mit einem damit ausgerüsteten Endoskop je nach Wunsch in die verschiedenen Blickrichtungen sehen zu können. Dabei kann je nach Typ des Endoskops der Azimutwinkel der Blickrichtung, also der Winkel der Drehung der Blickrichtung um die Längsachse des Endoskops herum, fixiert oder veränderbar sein.
Ein Endoskop mit zwei Blickrichtungen ist aus der Patentanmeldung DE 10 2009 020 262 A1 der Anmelderin bekannt. Die zugehörigen Objektive sind im distalen Endbereich eines Endoskopschaftes angeordnet und nehmen das aus ihrem jeweiligen Blickfeld kommende Licht auf, um es zu einem Bildsensor oder zu einem Okular weiterzuleiten. Zwischen den beiden Blickrichtungen kann umgeschaltet werden. In einem Kreuzungspunkt der beiden Strahlengänge ist ein Prisma angeordnet.
Die Umschaltung zwischen den Blickrichtungen geschieht durch Herausnehmen oder Einführen eines Spiegels in einen Zwischenspalt zwischen dem ersten Strahlengang und dem Prisma. Wenn kein Spiegel in den Spalt eingeführt ist, tritt das Licht im ersten Strahlengang ungehindert in das Prisma ein und durch das Prisma hindurch und gelangt zum Okular oder zu einem Bildsensor. Das Licht des zweiten Strahlengangs wird an einer ersten Grenzfläche des Prismas reflektiert, tritt aber an einer zweiten Grenzfläche mangels Totalreflektion aus dem Prisma in einer Richtung aus, die nicht zum Okular oder zum Bildsensor führt. Ist ein Spiegel in den Spalt eingeführt, wird das Licht im ersten Strahlengang blockiert, während das Licht des zweiten Strahlengangs nunmehr ein zweites Mal reflektiert wird und dadurch seitenrichtig zum Okular bzw. Bildsensor weitergeleitet wird.
Weitere Objektive mit zwei Blickrichtungen sind in EP 0 363 1 18 B1 und EP 0 347 140 B1 offenbart.
Gemäß EP 0 363 1 18 B1 ist für jede Blickrichtung ein distales Objektivteil vorgesehen, das jeweils den Austrittsstrahlengang in eine von zwei parallelen Austrittsachsen richtet. Ein proximales Objektivteil ist zusammen mit dem von diesen durch den Schaft des Endoskops weiterführenden Bildleiter derart verschwenkbar, dass es in zwei Schwenkstellungen auf die eine oder die andere der beiden Austrittsachsen gerichtet ist.
Gemäß EP 0 347 140 B1 weist ein Endoskopobjektiv zwei distale Objektivteile für zwei unterschiedliche Blickrichtungen auf und ein gemeinschaftliches proximales Objektivteil. In den beiden distalen Objektivteilen sind Polarisationsfilter mit unterschiedlicher, fester Polarisationseinrichtung angeordnet und im proximalen Objektivteil ein Polarisationsfilter mit verstellbarer Polarisationsrichtung. Damit kann zwischen den beiden Blickrichtungen umgeschaltet werden. Bei einfacher Konstruktion ist die Bildhelligkeit gegenüber den anderen Ausführungen reduziert.
Für seine Orientierung im Operationsfeld, die auch bei Untersuchungen und bei Operationen sehr wichtig ist, ist der Operateur auf sein Raumgefühl angewiesen. Bei den genannten Endoskopen mit umschaltbarer Blickrichtung wird die Blickrichtung in diskreten Schritten umgeschaltet, so dass angezeigte Objekte sprungartig ihre Position ändern. Für den Operateur stellt sich damit die Herausforderung, von einem Augenblick auf den anderen zwei sehr unterschiedliche Bilder gezeigt zu bekommen, die unterschiedliche Ausschnitte des aktuellen Operationsfeldes darstellen. Das Umschalten kann daher desorientierend wirken. Da die Bilder üblicherweise auf einem feststehenden Bildschirm angezeigt werden, korrespondiert das angezeigte Bild außerdem nicht notwendigerweise mit der Orientierung des Endoskops im Raum und im Operationsfeld.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und ein System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit diskreten Blickrichtungen zur Verfügung zu stellen, das eine Orientierung des Operateurs im Operationsfeld auch beim Umschalten der Blickrichtung ermöglicht.
Diese Aufgabe wird durch ein Verfahren zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit diskreten Blickrichtungen, bei dem die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten zentralen Blickrichtung zu einer zweiten zentralen Blickrichtung umgeschaltet wird, gelöst, das dadurch weitergebildet ist, dass vor dem Umschalten der Blickrichtung wenigstens ein erstes Bild in der ersten zentralen Blickrichtung aufgenommen wird und nach dem Umschalten wenigstens ein zweites Bild in der zweiten zentralen Blickrichtung aufgenommen wird, wobei in der Bilddarstellung zwischen dem ersten Bild und dem zweiten Bild eine Bildfolge aus Zwischenbildern dargestellt wird, von denen wenigstens einige als Überlagerungen des wenigstens einen ersten Bildes und des wenigstens einen zweiten Bildes erzeugt werden, bei denen das wenigstens eine erste Bild und das wenigstens eine zweite Bild entsprechend dem Bildwinkel zwischen der ersten zentralen Blickrichtung und der zweiten zentralen Blickrichtung gegeneinander versetzt ist, wobei die zeitlich aufeinander folgenden Zwischenbilder jeweils interpolierte zentrale Blickrichtungen aufweisen, die von der ersten zentralen Blickrichtung zur zweiten zentralen Blickrichtung fortschreiten.
Mit den Zwischenbildern wird somit ein virtueller„Kameraschwenk" zwischen der ersten zentralen Blickrichtung und der zweiten zentralen Blickrichtung erzeugt. Der virtuelle Kameraschwenk sorgt dafür, dass sich Bildstrukturen verschieben, bis in den Zwischenbildern die zweite zentrale Blickrichtung erreicht ist. Der Operateur kann so die Positionsänderung der interessierenden Strukturen in den Zwischenbildern mit dem Auge mitverfolgen. Dieses Mitverfolgen des Kameraschwenks erleichtert dem Operateur seine Orientierung im Operationsfeld.
In einer besonders einfachen und vorteilhaften Ausführungsform beginnt die Erzeugung von Zwischenbildern bereits, bevor das wenigstens eine zweite Bild aufgenommen worden ist. In diesem Fall schiebt sich für den Operateur das bislang gültige erste Bild, beispielsweise den letzten in der ersten Blickrichtung aufgenommenen „Frame" in den Zwischenbildern schon vor dem Umschwenken und vor dem Aufnehmen eines zweiten Bildes bzw. „Frames" in der zweiten zentralen Blickrichtung aus dem Anzeigebereich heraus. In diesem Fall erfolgt das Umschalten bzw. das Aufnehmen des wenigstens einen zweiten Bildes beispielsweise, nachdem eine das erste Bild nach und nach ersetzende beispielsweise schwarze Fläche etwa beispielsweise ein Viertel des Bildschirms einnimmt. Zu diesem Zeitpunkt kann das zweite Bild aufgenommen und gegebenenfalls eingeblendet werden. Diese Variante hat den besonderen Vorteil der Geschwindigkeit, da der virtuelle Kameraschwenk bereits vor dem Umschalten initiiert wird.
Hierzu ist es lediglich erforderlich, dass die Richtung des virtuellen Kameraschwenks bekannt ist. Dies kann beispielsweise dadurch erfolgen, dass die Orientierung der ersten und der zweiten zentralen Blickrichtung in Bezug auf einen Bildsensor fixiert ist, oder indem das Videoendoskop Mittel zur Bestimmung der absoluten Raumlage aufweist, beispielsweise einen oder mehrere Gyroskope, Neigungssensoren, Drehwertgeber, Drehpotentiometer, Rotationssensoren oder ein Rotationsmaß zur Bestimmung des Azimutwinkels bezüglich der Achse zwischen den beiden zentralen Blickrichtungen und der zentralen Achse des Bildsensors.
In einer bevorzugten Weiterbildung ist vorgesehen, dass die Überlagerung des wenigstens einen ersten Bildes und des wenigstens einen zweiten Bildes in den Zwischenbildern eine Interpolation von Bildpunkten in einem Überlappungsbereich zwischen dem wenigstens einen ersten Bild und dem wenigstens einen zweiten Bild um- fasst. Dies setzt voraus, dass es zwischen dem ersten Bild und dem zweiten Bild einen Überlappungsbereich gibt, was allerdings üblicherweise der Fall ist.
Die Interpolation kann als gleichgewichtete Überlagerung der einander entsprechenden Bildpunkte des ersten Bildes und des zweiten Bildes im Überlappungsbereich ausgebildet sein oder als eine Interpolation, bei der die Gewichtungen der Bildpunkte des ersten Bildes im Verlauf des virtuellen Kameraschwenks abnehmen, bei- spielsweise linear oder nichtlinear von 100% auf 0%, während die Gewichtung der Bildpunkte des zweiten Bildes im Überlappungsbereich im Laufe des Kameraschwenks zunimmt, beispielsweise linear oder nichtlinear von 0% auf 100%, fortschreitend von der ersten zentralen Blickrichtung zur zweiten zentralen Blickrichtung. Dabei ergibt die Summe der Gewichtungen für das erste Bild und für das zweite Bild vorzugsweise für jedes Zwischenbild 100%.
Vorteilhafterweise werden Randverzeichnungen des wenigstens einen ersten Bildes und/oder des wenigstens einen zweiten Bildes beim Erzeugen der Zwischenbilder korrigiert. Damit wird sichergestellt, dass der Überlappungsbereich des ersten Bildes und des zweiten Bildes so dargestellt ist, dass die darin enthaltenen Strukturen nicht unterschiedlich verzerrt sind, sondern aufeinander passen.
Ebenfalls vorzugsweise werden in den Zwischenbildern ein Abstand und ein radialer Versatz zwischen dem wenigstens einen ersten Bild und dem wenigstens einen zweiten Bild anhand eines Polarwinkels und eines Azimutwinkels des Bildwinkels zwischen der ersten zentralen Blickrichtung und der zweiten zentralen Blickrichtung ermittelt. Der Versatz zwischen dem ersten Bild und dem zweiten Bild bezeichnet den Abstand und die Richtung, in der das zweite Bild mit dem ersten Bild überlagert wird. Der Polarwinkel bestimmt dabei den eigentlichen Abstand, der Azimutwinkel die Richtung des Versatzes.
Bei einem beispielhaften umschaltbaren Endoskop, das zwei Blickrichtungen von beispielsweise 30° und 80° aufweist, ist der entsprechende Polarwinkel die Differenz, nämlich 50°, da sich der Azimutwinkel beim Umschalten nicht ändert. Je nach dem Vergrößerungsfaktor der Optik und dem dargestellten Blickfeld wird dies in einen Versatz zwischen dem ersten Bild und dem zweiten Bild umgerech- net, dessen Größe einer entsprechenden Anzahl von Pixeln in den Zwischenbildern entspricht.
Der Azimutwinkel des Versatzes entspricht dem Winkel, um den die Verbindungslinie zwischen dem ersten zentralen Blickwinkel und dem zweiten zentralen Blickwinkel im Raum von einer zentralen Achse eines Bildsensors abweicht, der die ersten und zweiten Bilder aufnimmt. Wenn der Azimutwinkel der Spitze des Endoskops, d.h. die Richtung der zentralen Blickrichtungen gegenüber dem Bildsensor fix ist, besteht die Ermittlung des Azimutwinkels darin, diesem einen festen Wert, beispielsweise 0°, zuzuweisen.
In einer vorteilhaften Weiterbildung des Verfahrens ist vorgesehen, dass bei der Erzeugung der Zwischenbilder ein Struktur-Mapping zwischen dem wenigstens einen ersten Bild und dem wenigstens einen zweiten Bild zur Ermittlung eines Überlappungsbereiches erfolgt. Das Struktur-Mapping kann als eigenständiges Verfahren zur Bestimmung des Versatzes verwendet werden oder als Korrektiv zu voreingestellten Werten für den Versatz.
In einer bevorzugten Weiterbildung des Verfahrens ist vorgesehen, dass im Verlauf der Bildfolge der Zwischenbilder das wenigstens eine erste Bild ausgeblendet wird und/oder das wenigstens eine zweite Bild eingeblendet wird, wobei insbesondere das Ausblenden und/oder das Einblenden erst nach einer vorbestimmbaren oder vorbestimmten Anzahl von Zwischenbildern begonnen wird. Dies bedeutet, dass bei dem virtuellen Kameraschwenk zunächst nur das wenigstens eine erste Bild zu sehen ist, während das zweite Bild erst im Verlauf des Schwenks eingeblendet wird. Das Einblenden, ebenso wie das Ausblenden, kann entweder in einer Stufe unmittelbar von 0% auf 100%, oder in einer längeren Abstufung, also einer Rampe, erfolgen. Auch das Ausblenden des ersten Bildes erfolgt vorzugsweise erst nach einer vorbestimmbaren oder vorbestimmten Anzahl von Zwischenbildern, die sich gegebenenfalls von der Anzahl der Zwischenbilder vor dem Einblenden unterscheiden kann.
Hierbei ist insbesondere umfasst, dass zunächst ein virtueller Kameraschwenk anhand von Zwischenbildern nur anhand des ersten Bildes bzw. einer Folge von ersten Bildern erfolgt. Während des virtuellen Kameraschwenks, also während die Zwischenbilder erzeugt werden, wird tatsächlich auf die zweite Blickrichtung umgeschwenkt. Im weiteren Verlauf des virtuellen Kameraschwenks wird das nunmehr vorhandene zweite Bild bzw. die Folge von zweiten Bildern eingeblendet. Da in diesem Fall noch während des virtuellen Schwenks vor dem eigentlichen Umschalten der Blickrichtung die Zwischenbilder nur anhand der ersten Bilder erzeugt werden, ist es möglich, nicht nur ein einziges erstes Bild zu erzeugen und Zwischenbilder zu verwenden, sondern beispielsweise das jeweils aktuelle neueste aufgenommene Bild. Nach dem eigentlichen Umschalten der Blickrichtung wird dann das letzte aufgenommene Bild in der ersten Blickrichtung „eingefroren" und für die weiteren Zwischenbilder verwendet.
Vorteilhafterweise werden die Zwischenbilder mit einer konstanten Schrittweite der interpolierten zentralen Blickrichtungen erzeugt, oder die Schrittweite wird im Verlauf der Bildfolge der Zwischenbilder geändert, wobei insbesondere die interpolierten zentralen Blickrichtungen der Zwischenbilder geradlinig oder einer gekrümmten Bahn folgend erzeugt werden. Die konstante Schrittweite und die geradlinige Bahn der zentralen Blickrichtungen der Zwischenbilder ergeben eine besonders einfache und leicht für den Operateur zu folgende Folge von Zwischenbildern, die gut geeignet ist, dem Operateur die Orientierung auch während des virtuellen Kameraschwenks zu erleichtern. Eine geänderte Schrittweite erfolgt beispielsweise vorteilhafterweise so, dass die ersten Schrittweiten klein gewählt werden, in der mittleren Sequenz der Zwischenbilder größere Schrittweiten gewählt werden, während die letzten Zwischenbilder der Sequenz wieder mit kleineren Schrittweiten erzeugt werden. Bei geeigneter Änderung der Schrittweiten lässt sich so eine Beschleunigung und Wieder- abbremsung des Kameraschwenks erzeugen, was für den Operateur dazu führt, dass er bei einer insgesamt gegebenenfalls kürzeren Bildfolge dennoch eine gute Orientierung behält. Gekrümmte Bahnen der zentralen Blickrichtungen der Zwischenbilder sind insbesondere in Situationen vorteilhaft, in denen eine Blickrichtungsänderung konstruktionsbedingt mit einer Orientierungsänderung des zweiten Bildes gegenüber dem ersten Bild einhergeht. In diesem Fall ist es außerdem vorteilhaft, die Orientierung der Zwischenbilder schrittweise von der Orientierung des ersten Bildes hin zur Orientierung des zweiten Bildes zu verändern bzw. zu drehen.
Vorzugsweise werden bei der Überlagerung des wenigstens einen ersten Bildes und des wenigstens einen zweiten Bildes bei der Ermittlung der ersten zentralen Blickrichtung, der zweiten zentralen Blickrichtung und/oder der interpolierten zentralen Blickrichtungen der Zwischenbilder Bewegungen des Videoendoskops in die Erzeugung der Zwischenbilder einbezogen. Wenn also während des virtuellen Kameraschwenks das Endoskop bewegt wird, was beispielsweise durch Gyroskope, Neigungs^ oder Orientierungssensoren o- der Beschleunigungssensoren am Endoskop feststellbar ist, wird dies bei der Erzeugung der Zwischenbildfolge vorzugsweise berücksichtigt und der virtuelle Kameraschwenk entsprechend korrigiert bzw. nachgeführt.
Das Ergebnis dieser Maßnahme ist, dass die Zwischenbildfolge, al- so der virtuelle Kameraschwenk, übergangslos in das tatsächliche zweite Bild mündet, das nach Beendigung des virtuellen Kameraschwenks tatsächlich angezeigt wird. Es wird somit vermieden, dass der virtuelle Kameraschwenk bei einer inzwischen nicht mehr gültigen Blickrichtung endet und sich ein desorientierender Schritt von dem letzten Bild der Bildfolge der Zwischenbilder zu dem nunmehr angezeigten zweiten Bild ergibt.
Die Bildfolge der Zwischenbilder wird vorzugsweise innerhalb einer Zeitdauer von 0, 1 s bis 5 s, insbesondere zwischen 0,5 s und 2 s dargestellt.
Die der Erfindung zugrunde liegende Aufgabe wird auch durch ein Videoendoskopiesystem mit einem Videoendoskop mit umschaltbaren diskreten Blickrichtungen, einer Bildverarbeitungseinheit und einer Bildwiedergabevorrichtung, wobei das Videoendoskop ausgebildet ist, aufgrund eines Blickrichtungsumschaltbefehls von einer ersten zentralen Blickrichtung zu einer zweiten zentralen Blickrichtung umzuschalten, gelöst, das dadurch weitergebildet ist, dass die Bildverarbeitungseinheit ausgebildet ist, aus wenigstens einem vor dem Umschalten der Blickrichtung aufgenommenen ersten Bild in der ersten zentralen Blickrichtung und wenigstens einem nach dem Umschalten aufgenommenen zweiten Bild in der zweiten zentralen Blickrichtung eine Bildfolge aus Zwischenbildern zu erzeugen, von denen wenigstens einige als Überlagerungen des wenigstens einen ersten Bildes und des wenigstens einen zweiten Bildes erzeugt werden, bei denen das wenigstens eine erste Bild und das wenigstens eine zweite Bild entsprechend dem Bildwinkel zwischen der ersten zentralen Blickrichtung und der zweiten zentralen Blickrichtung gegeneinander versetzt ist, wobei die zeitlich aufeinander folgenden Zwischenbilder jeweils interpolierte zentrale Blickrichtungen aufweisen, die von der ersten zentralen Blickrichtung zur zweiten zentralen Blickrichtung fortschreiten.
Bei diesem Videoendoskopiesystem ist die Bildverarbeitungseinheit insbesondere vorteilhafterweise ausgebildet, das zuvor beschriebene erfindungsgemäße Verfahren auszuführen.
Das Videoendoskop des erfindungsgemäßen Videoendoskopiesys- tems weist ferner vorzugsweise ein oder mehrere Orientierungssensoren auf, insbesondere Gyroskope, Neigungs- oder Orientierungssensoren, Beschleunigungssensoren, Drehwertgeber, Drehpotentiometer, Rotationssensoren oder ein Rotationsmaß.
Schließlich wird die der Erfindung zugrunde liegende Aufgabe auch durch ein Softwareprogrammprodukt mit Programmcodemitteln gelöst, bei deren Ablauf auf einer Datenverarbeitungsvorrichtung, insbesondere einer Bildverarbeitungseinheit, die insbesondere Teil eines zuvor beschriebenen erfindungsgemäßen Videoendoskopiesys- tems ist, die Schritte des zuvor beschriebenen erfindungsgemäßen Verfahrens ausgeführt werden. Das Softwareprogrammprodukt kann eine Software und insbesondere auch einen Datenträger mit den Programmcodemitteln umfassen.
Die in Verbindung mit dem erfindungsgemäßen Verfahren zuvor beschriebenen Merkmale, Eigenschaften und Vorteile gelten ohne Einschränkungen auch für die weiteren Erfindungsgegenstände, nämlich das erfindungsgemäße Videoendoskopiesystem und das erfindungsgemäße Softwareprogrammprodukt mit Programmcodemitteln, die die gleichen Merkmale, Eigenschaften und Vorteile aufweisen.
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:
Fig. 1 eine schematische Darstellung eines erfindungsgemäßen Videoendoskopiesystems,
Fig. 2 eine schematische Darstellung der erfindungsgemäßen
Erzeugung von Zwischenbildern und
Fig. 3 eine weitere schematische Darstellung einer erfindungsgemäßen Erzeugung von Zwischenbildern.
In den folgenden Figuren sind jeweils gleiche oder gleichartige Elemente bzw. entsprechende Teile mit denselben Bezugsziffern versehen, so dass von einer entsprechenden erneuten Vorstellung abgesehen wird.
In Fig. 1 ist ein erfindungsgemäßes Videoendoskopiesystem schematisch dargestellt. Ein Videoendoskop verfügt über einen längserstrecken Endoskopschaft 1 , an dessen distaler Spitze eine erste Objektivlinse 2 und eine zweite Objektivlinse 3 angeordnet sind. Der Blickwinkel der zweiten Objektivlinse 3 ist in etwa in 0°-Richtung, während die erste Objektivlinse 2 eine Blickrichtung (DOV) von etwa 50° aufweist. Die nicht dargestellten Blickfelder der ersten Objektivlinse 2 und der zweiten Objektivlinse 3 können überlappen.
Am proximalen Ende des Videoendoskops befindet sich ein Handgriff 4 mit einem Umschalttaster 5, bei dessen Betätigung ein Umschaltsignal erzeugt wird, auf das hin zwischen der Blickrichtung der ersten Objektlinse 2 und der zweiten Objektivlinse 3 umgeschaltet wird. Mit einem Verbindungskabel 6 ist das Videoendoskop mit einer Bildverarbeitungseinheit 7 und weiter über ein Verbindungskabel mit einer Bildwiedergabevorrichtung 9 verbunden, auf der Bilder dargestellt werden, die durch das Videoendoskop durch entweder die erste Objektivlinse 2 oder die zweite Objektivlinse 3 aufgenommen worden sind und anschließend durch die Bildverarbeitungseinheit 7 verarbeitet worden sind.
In Fig. 2 ist ein erfindungsgemäßes Verfahren schematisch dargestellt. Ein erstes Bild 1 1 , das beispielsweise durch die erste Objektivlinse 2 aus dem Videoendoskop gemäß Fig. 1 aufgenommen worden ist, wird zunächst angezeigt. Dieses erste Bild 1 1 weist eine erste zentrale Blickrichtung 21 auf. Diese ist als„X" kenntlich gemacht. Die erste zentrale Blickrichtung 21 befindet sich im Zentrum des ersten Bildes 1 1 , dessen Grenzen mit einem durchgezogenen Strich kenntlich gemacht sind.
Ebenfalls in Fig. 2 dargestellt ist ein zweites Bild 12, dessen Grenzen mit langen Strichen und Punkten dargestellt sind. Dieses zweite Bild 12 weist in seinem Zentrum eine zentrale Blickrichtung 22 auf, die mit einem umrandeten „X" markiert ist. Das erste Bild 11 und das zweite Bild 12 überlappen in einem Überlappungsbereich 14, der in Fig. 2 vertikal schraffiert dargestellt ist.
Um einen virtuellen Kameraschwenk zwischen dem ersten Bild 1 1 und dem zweiten Bild 12 zu erzeugen, wird eine Abfolge von Zwischenbildern erzeugt, von denen eines mit dem Bezugszeichen 13 mit gestrichelten Randbegrenzungen dargestellt ist. Die Rahmen der übrigen Zwischenbilder sind aus Gründen der Übersichtlichkeit weggelassen worden. Die Abfolge der Zwischenbilder weist jeweils zentrale Blickrichtungen 23.1 bis 23.4 auf, die sich in einer Richtung fortschreitend mit konstanter Schrittlänge von der ersten zentralen Blickrichtung 21 weg und auf die zweite zentrale Blickrichtung 22 zu bewegen.
Die zentrale Blickrichtung, die zu diesem Zwischenbild 13 gehört, entspricht der interpolierten zentralen Blickrichtung 23.3. Dieses Zwischenbild 13 weist sowohl einen Überlappungsbereich 15 mit dem ersten Bild 1 1 als auch einen Überlappungsbereich 16 mit dem zweiten Bild 12 auf. Auch der ursprüngliche Überlappungsbereich 14 zwischen dem ersten Bild 1 1 und dem zweiten Bild 12 ist in dem Zwischenbild 13 enthalten. Der Überlappungsbereich 15 ist mit Punkten markiert, der Überlappungsbereich 16 mit kurzen senkrechten Schraffurstrichen.
In der Abfolge von Zwischenbildern, die vom ersten Bild 11 zum zweiten Bild 12 fortschreiten, sind somit in jedem Zwischenbild neben dem Überlappungsbereich 14 auch Überlappungsbereiche 15 und 16 enthalten, wobei im Ablauf der Zwischenbilder fortschreitend der Anteil des Überlappungsbereiches 15 mit dem ersten Bild 1 1 abnimmt und der Anteil des Überlappungsbereiches 16 mit dem zweiten Bild 12 zunimmt. Auf die Zwischenbilder bezogen, bewegt sich der Überlappungsbereich 14 somit vom oberen Bildrand zum unteren Bildrand, die Überlappungsbereiche 15 und 16 bewegen sich entsprechend mit und laufen im Verlauf des virtuellen Kameraschwenks aus den Zwischenbildern heraus bzw. in diese hinein.
Bei der in Fig. 2 dargestellten Situation stimmt die Richtungsänderung mit der Orientierung eines Bildsensors des Videoendoskops überein. Dies kann entweder bei freier Wählbarkeit des Azimutwinkels eingestellt sein oder konstruktiv fixiert sein.
In dem Verlauf der Zwischenbilder kann das Ausblenden des ersten Bildes 11 und das Einblenden des zweiten Bildes 12 frei gewählt werden. So ist es möglich, zunächst das erste Bild 1 1 bzw. den Überlappungsbereich 15 um einen bestimmten Betrag aus den Zwischenbildern herauswandern zu lassen, bevor das zweite Bild 12 bzw. der Überlappungsbereich 16 eingeblendet wird.
Ebenso ist es möglich, das erste Bild 1 1 bzw. den Überlappungsbereich 15 auszublenden, bevor die Abfolge von Zwischenbildern bzw. der virtuelle Kameraschwenk vollendet ist. Auch die Steilheit und die Gewichtungsfaktoren, mit denen das Einblenden und Ausblenden geschieht, können so eingestellt werden, dass beispielsweise eine möglichst gleitende Überblendung zwischen dem ersten Bild 11 und dem zweiten Bild 12 erfolgt.
In Fig. 3 ist eine alternative Ausführung des erfindungsgemäßen Verfahrens zu Fig. 2 schematisch dargestellt. In Fig. 3 unterscheidet sich die Situation von Fig. 2 dadurch, dass ein Azimutwinkel vorhanden ist, der von 0° abweicht. Dies bedeutet, dass die Ver- schwenkung bzw. der Versatzwinkel zwischen dem ersten Bild 11 und dem zweiten Bild 12 nicht in der Symmetrieebene des Bildsensors erfolgt, sondern in einer anderen Ebene. Dies bedeutet auch, dass der Überlappungsbereich 14 zwischen dem ersten Bild und dem zweiten Bild 12 nicht den vollständigen oberen Rand beispielsweise des ersten Bildes 1 1 einnimmt, sondern nur die in Fig. 3 gezeigte rechte obere Ecke des ersten Bildes 1 1.
Anhand von interpolierten zentralen Blickrichtungen 23.1 .- 23.7 wird eine Folge von Zwischenbildern erzeugt, von denen wie in Figur 2 aus Gründen der Übersichtlichkeit nur ein Zwischenbild 13 mit seinem Rand dargestellt ist. Die interpolierten zentralen Blickrichtungen 23.1 - 23.7 sind auf einer Verbindungslinie zwischen der ersten zentralen Blickrichtung 21 und der zweiten zentralen Blickrichtung 22 angeordnet. In den Zwischenbildern schiebt sich somit im Ablauf das erste Bild 1 1 bzw. der Überlappungsbereich 15 nach unten links aus dem Sichtbereich heraus, während das zweite Bild 12 sich von oben rechts entsprechend dem größer werdenden Überlappungsbereich 16 in das Bild hineinschiebt.
Eine Besonderheit ist in Fig. 3 dargestellt, dergestalt, dass die Schrittweite zwischen den interpolierten Blickrichtungen 23.1 - 23.7 zunächst zwischen den zentralen Blickrichtungen 23.1 - 23.4 größer wird, um bei den zentralen Blickrichtungen 23.4 - 23.7 wieder kleiner zu werden. Dies entspricht einer Beschleunigung des Schwenks bis zu einem Zwischenbild 13, das der mittleren zentralen Blickrichtung 23.4 entspricht, und einer anschließenden Entschleunigung des virtuellen Kameraschwenks.
Beispielsweise für den Fall, dass konstruktionsbedingt die Orientierung des zweiten Bildes 12 sich von der Orientierung des ersten Bildes 1 1 unterscheidet, kann auch eine Folge von Zwischenbildern erzeugt werden, deren interpolierte zentrale Blickrichtungen auf einer gekrümmten Bahn liegen, deren Tangenten am Anfang und am Ende des virtuellen Kameraschwenks in Bezug auf die Orientierung des ersten Bildes bzw. des zweiten Bildes jeweils den gleichen Winkel einnehmen. In diesem Fall wird auch die Orientierung der Zwischenbilder schrittweise von der Orientierung des ersten Bildes 1 1 hin zur Orientierung des zweiten Bildes 12 verändert. Auf diese Weise wird nicht nur ein Schwenk zwischen dem ersten Bild 1 1 und dem zweiten Bild 12 erzeugt, sondern auch ein orientierungswah- render gleitender Übergang in der wechselnden Orientierung der Bilder.
Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombinati- on als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein.
Bezugszeichenliste
1 Endoskopschaft
2 erste Objektivlinse
3 zweite Objektivlinse
4 Handgriff
5 Umschalttaster
6 Verbindungskabel
7 Bildverarbeitungseinheit
8 Verbindungskabel
9 Bildwiedergabevorrichtung
1 1 erstes Bild
12 zweites Bild
13 Zwischenbild
14 Überlappungsbereich
15, 16 Überlappungsbereich im Zwischenbild
21 erste zentrale Blickrichtung
22 zweite zentrale Blickrichtung
23.1 - 23.7 zentrale Blickrichtungen der Zwischenbilder

Claims

Patentansprüche
1. Verfahren zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit diskreten Blickrichtungen (21 , 22), bei dem die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten zentralen Blickrichtung (21 ) zu einer zweiten zentralen Blickrichtung (22) umgeschaltet wird, dadurch gekennzeichnet, dass vor dem Umschalten der Blickrichtung (21 , 22) wenigstens ein erstes Bild (1 1 ) in der ersten zentralen Blickrichtung (21 ) aufgenommen wird und nach dem Umschalten wenigstens ein zweites Bild (12) in der zweiten zentralen Blickrichtung (22) aufgenommen wird, wobei in der Bilddarstellung zwischen dem ersten Bild (1 1 ) und dem zweiten Bild (12) eine Bildfolge aus Zwischenbildern (13) dargestellt wird, von denen wenigstens einige als Überlagerungen des wenigstens einen ersten Bildes (1 1 ) und des wenigstens einen zweiten Bildes (12) erzeugt werden, bei denen das wenigstens eine erste Bild (1 1 ) und das wenigstens eine zweite Bild (12) entsprechend dem Bildwinkel zwischen der ersten zentralen Blickrichtung (21 ) und der zweiten zentralen Blickrichtung (22) gegeneinander versetzt ist, wobei die zeitlich aufeinander folgenden Zwischenbilder (13) jeweils interpolierte zentrale Blickrichtungen (23.1 - 23.7) aufweisen, die von der ersten zentralen Blickrichtung (21 ) zur zweiten zentralen Blickrichtung (22) fortschreiten.
Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Erzeugung von Zwischenbildern (13) beginnt, bevor das wenigstens eine zweite Bild (12) aufgenommen worden ist.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Überlagerung des wenigstens einen ersten Bildes (11 ) und des wenigstens einen zweiten Bildes (12) in den Zwischenbildern (13) eine Interpolation von Bildpunkten in einem Überlappungsbereich (14) zwischen dem wenigstens einen ersten Bild (1 1 ) und dem wenigstens einen zweiten Bild (12) um- fasst.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass Randverzeichnungen des wenigstens einen ersten Bildes (1 1 ) und/oder des wenigstens zweiten Bildes (12) beim Erzeugen der Zwischenbilder (13) korrigiert werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass in den Zwischenbildern (13) ein Abstand und ein radialer Versatz zwischen dem wenigstens einen ersten Bild (1 1 ) und dem wenigstens einen zweiten Bild (12) anhand eines Polarwinkels und eines Azimutwinkels des Bildwinkels zwischen der ersten zentralen Blickrichtung (21 ) und der zweiten zentralen Blickrichtung (22) ermittelt werden. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass bei der Erzeugung der Zwischenbilder (13) ein Struktur-Mapping zwischen dem wenigstens einen ersten Bild (11) und dem wenigstens einen zweiten Bild (12) zur Ermittlung eines Überlappungsbereiches (14) erfolgt.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass im Verlauf der Bildfolge der Zwischenbilder (13) das wenigstens eine erste Bild (1 1 ) ausgeblendet wird und/oder das wenigstens eine zweite Bild (12) eingeblendet wird, wobei insbesondere das Ausblenden und/oder das Einblenden erst nach einer vorbestimmbaren oder vorbestimmten Anzahl von Zwischenbildern (13) begonnen wird.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Zwischenbilder (13) mit einer konstanten Schrittweite der interpolierten zentralen Blickrichtungen (23.1 - 23.7) erzeugt werden, oder dass die Schrittweite im Verlauf der Bildfolge der Zwischenbilder (13) geändert wird, wobei insbesondere die interpolierten zentralen Blickrichtungen (23.1 - 23.7) der Zwischenbilder (13) geradlinig oder einer gekrümmten Bahn folgend erzeugt werden, wobei insbesondere die Orientierung der Zwischenbilder (13) schrittweise an eine Orientierung des zweiten Bildes (12) angenähert wird.
Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass bei der Überlagerung des wenigstens einen ersten Bildes (1 1 ) und des wenigstens einen zweiten Bildes (12) bei der Ermittlung der ersten zentralen Blickrichtung (21 ), der zweiten zentralen Blickrichtung (22) und/oder der interpolierten zentralen Blickrichtungen (23.1 - 23.7) der Zwischenbilder (13) Bewegungen des Videoendoskops in die Erzeugung der Zwi- schenbilder (13) einbezogen werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Bildfolge der Zwischenbilder (13) innerhalb einer Zeitdauer von 0,1 s bis 5 s, insbesondere zwischen 0,5 s und 2 s, dargestellt wird.
1 1. Videoendoskopiesystem mit einem Videoendoskop mit umschaltbaren diskreten Blickrichtungen (21 , 22), einer Bildverar- beitungseinheit (7) und einer Bildwiedergabevorrichtung (9), wobei das Videoendoskop ausgebildet ist, aufgrund eines Blickrichtungsumschaltbefehls von einer ersten zentralen Blickrichtung (21 ) zu einer zweiten zentralen Blickrichtung (22) umzuschalten, dadurch gekennzeichnet, dass die Bildverarbei- tungseinheit (7) ausgebildet ist aus wenigstens einem vor dem
Umschalten der Blickrichtung (21 , 22) aufgenommenen ersten Bild (1 1 ) in der ersten zentralen Blickrichtung (21 ) und wenigstens einem nach dem Umschalten aufgenommenen zweiten Bild (12) in der zweiten zentralen Blickrichtung (22) eine Bild- folge aus Zwischenbildern (13) zu erzeugen, von denen wenigstens einige als Überlagerungen des wenigstens einen ersten Bildes (1 1 ) und des wenigstens einen zweiten Bildes (12) erzeugt werden, bei denen das wenigstens eine erste Bild (1 1 ) und das wenigstens eine zweite Bild (12) entsprechend dem Bildwinkel zwischen der ersten zentralen Blickrichtung (21 ) und der zweiten zentralen Blickrichtung (22) gegeneinander versetzt ist, wobei die zeitlich aufeinander folgenden Zwischenbilder (13) jeweils interpolierte zentrale Blickrichtungen (23.1 - 23.7) aufweisen, die von der ersten zentralen Blickrichtung (21 ) zur zweiten zentralen Blickrichtung (22) fortschreiten.
12. Videoendoskopiesystem nach Anspruch 1 1 , dadurch gekenn- zeichnet, dass die Bildverarbeitungseinheit (7) ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 10 auszuführen.
Softwareprogrammprodukt mit Programmcodemitteln, bei deren Ablauf auf einer Datenverarbeitungsvorrichtung, insbesondere einer Bildverarbeitungseinheit (7), die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 10 ausgeführt werden.
PCT/EP2012/000600 2011-03-08 2012-02-10 Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops mit diskreten blickrichtungen WO2012119687A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE201110005256 DE102011005256A1 (de) 2011-03-08 2011-03-08 Verfahren und System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit diskreten Blickrichtungen
DE102011005256.9 2011-03-08

Publications (1)

Publication Number Publication Date
WO2012119687A1 true WO2012119687A1 (de) 2012-09-13

Family

ID=45688417

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/000600 WO2012119687A1 (de) 2011-03-08 2012-02-10 Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops mit diskreten blickrichtungen

Country Status (2)

Country Link
DE (1) DE102011005256A1 (de)
WO (1) WO2012119687A1 (de)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0347140B1 (de) 1988-06-13 1993-02-24 MacAnally, Richard B. Endoskop mit zwei Sehrichtungen
EP0363118B1 (de) 1988-10-06 1995-04-12 Spectrum MedSystems Corp. Doppelblick-Arthroskop
US20020180761A1 (en) * 2001-05-31 2002-12-05 Edelson Steven D. Medical image display system
WO2008006180A1 (en) * 2006-07-10 2008-01-17 Katholieke Universiteit Leuven Endoscopic vision system
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
EP2145575A1 (de) * 2008-07-17 2010-01-20 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO System, Verfahren und Computerprogramm zur Prüfung einer dreidimensionalen Umgebung durch einen Benutzer
DE102009020262A1 (de) 2009-05-07 2010-11-11 Olympus Winter & Ibe Gmbh Objektiv mit zwei Blickrichtungen für ein Endoskop

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19800765A1 (de) * 1998-01-12 1999-04-08 Siemens Ag Verfahren zur Erzeugung von Bilddarstellungen sowie System hierfür

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0347140B1 (de) 1988-06-13 1993-02-24 MacAnally, Richard B. Endoskop mit zwei Sehrichtungen
EP0363118B1 (de) 1988-10-06 1995-04-12 Spectrum MedSystems Corp. Doppelblick-Arthroskop
US20020180761A1 (en) * 2001-05-31 2002-12-05 Edelson Steven D. Medical image display system
WO2008006180A1 (en) * 2006-07-10 2008-01-17 Katholieke Universiteit Leuven Endoscopic vision system
US20090278921A1 (en) * 2008-05-12 2009-11-12 Capso Vision, Inc. Image Stabilization of Video Play Back
EP2145575A1 (de) * 2008-07-17 2010-01-20 Nederlandse Organisatie voor toegepast-natuurwetenschappelijk Onderzoek TNO System, Verfahren und Computerprogramm zur Prüfung einer dreidimensionalen Umgebung durch einen Benutzer
DE102009020262A1 (de) 2009-05-07 2010-11-11 Olympus Winter & Ibe Gmbh Objektiv mit zwei Blickrichtungen für ein Endoskop

Also Published As

Publication number Publication date
DE102011005256A1 (de) 2012-09-13

Similar Documents

Publication Publication Date Title
DE10155884B4 (de) Bildsuchvorrichtung
WO2012041446A1 (de) Stereoendoskop
DE102004061875A1 (de) Einrichtung zur Diagnoseunterstützung
WO2012119694A1 (de) Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops
DE102005023461A1 (de) Überwachungsvorrichtung
DE102013008452B4 (de) Operationsmikroskop mit Positionierhilfe
DE4422522A1 (de) Beobachtungs- und/oder Dokumentationseinrichtung mit vorgeschaltetem Endoskop sowie Verfahren zu deren Betrieb
WO2012041445A1 (de) Sensoreinheit für ein stereoendoskop und stereoendoskopiesystem
DE102009035422B4 (de) Verfahren zur geometrischen Bildtransformation
EP3267235A1 (de) Optisches system eines stereo-videoendoskops, stereo-videoendoskop und verfahren zum betreiben eines optischen systems eines stereo-videoendoskops
DE102013211239A1 (de) Verfahren zur Bildunterstützung und Vorrichtung
DE102008024851B4 (de) Benutzerunterstützter Autofokus
DE102019114817B4 (de) Bildgebungssystem und Verfahren zur Beobachtung
DE102008045276A1 (de) Verfahren zur Ansteuerung einer medizintechnischen Anlage
DE102013210728A1 (de) Operationsmikroskopiesystem sowie Verfahren zu dessen Betrieb
EP3712670A1 (de) Verfahren zur hochauflösenden scanning-mikroskopie
DE102013217449A1 (de) Prismeneinheit und Stereo-Videoendoskop mit verstellbarer Blickrichtung
DE10246652A1 (de) Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug
DE10297590T5 (de) Fahrunterstützungssystem, Bildausgabevorrichtung und mit Kamera ausgestatteter Stab
DE102010039289A1 (de) Mikroskopsystem
EP2614635A1 (de) Kamerasystem und verfahren zur einstellung eines kamerasystems
WO2012119687A1 (de) Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops mit diskreten blickrichtungen
DE102006004006B3 (de) Verfahren und Vorrichtung zur Erzeugung eines hoch aufgelösten Bildes für faseroptische Systeme
EP3797053B1 (de) Verfahren und vorrichtung zum anzeigen einer fahrzeugumgebung
DE102020214824A1 (de) Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12704686

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12704686

Country of ref document: EP

Kind code of ref document: A1