WO2012119694A1 - Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops - Google Patents

Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops Download PDF

Info

Publication number
WO2012119694A1
WO2012119694A1 PCT/EP2012/000661 EP2012000661W WO2012119694A1 WO 2012119694 A1 WO2012119694 A1 WO 2012119694A1 EP 2012000661 W EP2012000661 W EP 2012000661W WO 2012119694 A1 WO2012119694 A1 WO 2012119694A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewing direction
orientation
video
image
endoscope
Prior art date
Application number
PCT/EP2012/000661
Other languages
English (en)
French (fr)
Inventor
Thorsten JÜRGENS
Peter Schouwink
Original Assignee
Olympus Winter & Ibe Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Winter & Ibe Gmbh filed Critical Olympus Winter & Ibe Gmbh
Priority to CN201280011833.7A priority Critical patent/CN103430078B/zh
Priority to JP2013556991A priority patent/JP5923119B2/ja
Publication of WO2012119694A1 publication Critical patent/WO2012119694A1/de
Priority to US14/021,144 priority patent/US9510735B2/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00181Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00183Optical arrangements characterised by the viewing angles for variable viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the invention relates to a method for displaying video endoscopic image data of a video endoscope with at least one lateral viewing direction, wherein at least one lens movable about the longitudinal axis of the shaft relative to an image sensor with at least one lateral viewing direction is arranged at the distal end of a shaft of the video endoscope, the viewing direction being based on a Viewing direction switching command is switched from a first viewing direction to a second viewing direction.
  • the invention further relates to a video endoscopy system having a video endoscope, an image processing unit and an image reproduction device, wherein the video endoscope has an image sensor and at least one lens arranged at the distal end of an endoscope shaft and movable about the longitudinal axis of the shaft relative to the image sensor with at least one lateral viewing direction, the viewing direction due to a view
  • CONFIRMATION COPY tion switching command from a first viewing direction to a second viewing direction is switchable.
  • the invention relates to a software program product with program code means.
  • a video endoscope is understood to mean an endoscope in conjunction with at least one image sensor which is designed to record a video recording, regardless of whether the image sensor is arranged distally in the endoscope shaft, proximally in a handle or externally in a camera head is, which is attachable to an eyepiece in the proximal region of the endoscope, ie on the side of an operator.
  • viewing direction also referred to as “direction of view” (DOV)
  • DOV direction of view
  • the present invention relates to endoscopes in which the azimuth angle of the viewing direction, that is to say the angle of rotation of the viewing direction about the longitudinal axis of the endoscope, can be changed.
  • endoscopes with a single sideways-looking lens at the distal end and endoscopes with multiple lenses are known, which are aligned in discrete directions, and formed switchable between the directions of view.
  • Usual pairs of viewing directions in endoscopes with reversible viewing direction in the sense of the polar angle are, for example, 0 ° and 30 °, 0 ° and 45 °, 12 ° and 70 ° or 30 ° and 80 °. At least one viewing direction of these pairs is thus a lateral viewing direction.
  • Such lenses with two discrete viewing directions allow the surgeon, with an endoscope equipped with it to be able to see in the different directions of view as desired. This, in the context of the present invention, adds to the variability of the azimuth angle of the viewing direction.
  • An endoscope with two viewing directions is known from the patent application DE 10 2009 020 262 A1 of the applicant.
  • the associated lenses are arranged in the distal end region of an endoscope shaft and receive the light coming from their respective field of view in order to forward it to an image sensor or to an eyepiece. You can switch between the two directions of view.
  • a prism is arranged in a crossing point of the two beam paths.
  • the switching between the viewing directions is done by removing or inserting a mirror in an intermediate gap between the first beam path and the prism. If no mirror is inserted in the gap, the light in the first beam path enters the prism unhindered and passes through the prism and reaches the eyepiece or an image sensor. The light of the second beam path is reflected at a first boundary surface of the prism, but exits at a second interface for lack of total reflection from the prism in a direction that does not lead to the eyepiece or the image sensor. If a mirror is inserted into the gap, the light in the first beam path is blocked, while the light of the second beam path is now reflected a second time and is thus forwarded to the correct side to the eyepiece or image sensor.
  • EP 0 363 118 B1 and EP 0 347 140 B1 Further lenses with two viewing directions are disclosed in EP 0 363 118 B1 and EP 0 347 140 B1.
  • a distal objective part is provided for each viewing direction, which in each case directs the exit beam path into one of two parallel exit axes.
  • a proximal objective part is pivotable together with the image conductor which continues through the shaft of the endoscope in such a way that it is directed in two pivoting positions onto one or the other of the two exit axes.
  • an endoscope objective has two distal objective parts for two different viewing directions and a common proximal objective part.
  • Polarization filters with different, fixed polarization devices are arranged in the two distal objective parts and a polarization filter with adjustable polarization direction in the proximal objective part. This can be switched between the two directions of view. With a simple design, the image brightness is reduced compared to the other versions.
  • EP 2 147 631 A1 relates to an endoscope with an objective and a vibrating prism, by means of which the lateral viewing direction is changed.
  • US 2006/0293565 A1 discloses an endoscope with a lens which is arranged on a platform that can be tilted in one direction or in different directions in the distal tip of the endoscope and is moved in different directions by tilting the platform.
  • the present invention is therefore based on the object of providing a method and a system for displaying video endoscopic image data of a video endoscope with switchable lateral viewing direction and with a variable azimuth angle, which makes it possible to permanently maintain the orientation of the surgeon in the surgical field.
  • This object is achieved by a method for displaying video endoscopic image data of a video endoscope with at least one lateral viewing direction, wherein at least one objective with at least one lateral viewing direction, which is movable about the longitudinal axis of the shaft relative to an image sensor, is arranged at the distal end of a shaft of the video endoscope, the viewing direction is solved on the basis of a viewing direction switching command from a first viewing direction to a second viewing direction, which is further characterized in that an orientation of the viewing direction is measured and in an image display of the image data recorded by the image sensor at least one orientation mark is displayed, which rotates in accordance with the measured orientation is or will.
  • an objective is a deflecting element, for example, a vibrating prism that provides a sideways glance, as well as the case where a lens looking in a zero position in the 0 ° direction can be tilted to a side view, as well as the case where a plurality of rigid polar angle lenses are present, of which at least one has a lateral line of sight.
  • the mobility of the lens about the longitudinal axis of the shaft can be achieved in the context of the present invention either by a rotation of the lens about the longitudinal axis or by tilting an arranged for example on a tiltable in different directions platform lens, for example according to US 2006/0293565 A1. This also results in a rotation of the viewing direction about the longitudinal axis of the endoscope shaft.
  • the method according to the invention can be applied both to video endoscopes with a built-in image sensor and to endoscopes with an attached camera head, i. with an external image sensor. Both cases are included in the scope of the invention under the term "video endoscope.” Also included are stereo video endoscopes which comprise two image sensors and suitable objectives and, if appropriate, light-guiding systems.
  • the at least one orientation mark is generated so as to indicate the direction corresponding to an azimuth angle difference between the current measured line of sight of the lens and the orientation of the image sensor
  • a representation particularly easy to be detected by the operator is selected.
  • the operator usually holds the part of the endoscope with the image sensor in one hand and the part of the endoscope with which a rotation of the distal tip, for example a lens head, or of the lens in the shaft is moved, in another hand.
  • the orientation mark is therefore directly useful for coordinating the left and right hand of the surgeon.
  • the viewing direction is switched from a first viewing direction to a second viewing direction due to a
  • a Mathraumsumschaltbetation or if, for example, a vibrating prism is provided, despite changing polar angles of the viewing directions
  • the orientation of the surgeon are preferably provided by alternatively or in addition to the aforementioned orientation markers that the at least one orientation mark or at least one second orientation mark is generated and displayed so that they one or more directions of possible change of sight, especially between the lenses or the ingestible directions of view, corresponds.
  • the surgeon is immediately informed in which direction the image will change if he switches the viewing direction, ie the polar angle of the viewing direction, for example between 30 ° and 80 °, or from 0 ° to 45 °.
  • the orientation mark indicating a direction of possible viewing direction change also corresponds to an azimuth angle difference between the instantaneous viewing direction of the lens and the orientation of the image sensor.
  • an orientation marking which corresponds to a direction of a possible change in sight direction is only displayed if the direction indicated by this orientation marking deviates from an orientation mark which also shows the azimuth angle between the objective and the image sensor or if the orientation marking which indicates the orientation direction Displaying azimuth angle between the lens and the image sensor, is only superimposed when the direction indicated by this orientation mark deviates from an also displayed orientation mark corresponding to a direction of a possible viewing direction change, a process management is achieved, which has a low redundancy, since not two in the the same direction indicating orientation marks are displayed. This keeps the field of view on the image display device clear. It can be selected whether a possible change of sight direction or the general azimuthal orientation of the line of sight is displayed by default.
  • the orientation of the surgeon in space if a further orientation marking is generated and displayed in such a way that it corresponds to a vertical in space parallel or antiparallel to the direction of gravity.
  • Such an orientation mark correlates directly with the orientation sensation of the surgeon and enables him to make direct movements of the endoscope in the correct direction and to detect and correlate the corresponding image change.
  • the at least one orientation mark is permanently or on demand for a predetermined or predeterminable period of time or on request to a shutdown command superimposed. In the case of a permanent display, the orientation marking is displayed continuously, which facilitates orientation for the surgeon at all times.
  • one or more landmarks may also be requested, either, which is very convenient for the operator, for a predetermined period of time after which the marker disappears, or until an operator's shutdown command. It may also be provided to permanently display, for example, a first orientation mark, another on request for a certain period of time and a third on request up to a switch-off command.
  • orientation marks can be displayed individually or in different combinations simultaneously or alternately.
  • the object on which the invention is based is also achieved by a video endoscopy system with a video endoscope, an image processing unit and an image display device, wherein the video endoscope has an image sensor and at least one objective arranged at the distal end of an endoscope shaft and movable about the longitudinal axis of the shaft relative to the image sensor with at least one lateral Viewing direction, wherein the viewing direction is switchable due to a Mathematicsraumsumschaltbeletss from a first viewing direction to a second viewing direction, which is further developed in that the video endoscope at least one measuring device for measuring an orientation of the lens and the image processing unit is adapted to generate at least one orientation mark and to superimpose it on the image data captured by the image sensor which is or will rotate in accordance with the measured orientation.
  • This video endoscopy system has all the device components that are necessary and configured, as described above, to measure the orientation of one or more imaging components of a video endoscope and to generate and display corresponding orientation markers in the image data processing.
  • At least one measuring device for measuring an orientation of the image sensor is additionally provided.
  • the image processing unit is preferably designed to carry out the method according to the invention described above.
  • the measuring device or the measuring devices is or are preferably designed as a gyroscopic sensor, as a tilt sensor, as an acceleration sensor, as a gravitational sensor, as a rotary encoder and / or as a rotary potentiometer.
  • the rotation of the viewing direction about the longitudinal axis of the shaft of the video endoscope takes place by mechanical means or by magnetic means, for example by a magnetic penetration, corresponding to a manipulator in the ultra-high vacuum technique.
  • the object on which the invention is based is also achieved by a software program product with program code means, the sequence of which is carried out on a data processing device, in particular an image processing unit, which is part of a previously described video endoscopy system according to the invention, the steps of the method according to the invention described above.
  • the software program product may include software and in particular also a data carrier with the program code means.
  • FIG. 1 is a schematic representation of a video endoscopy system according to the invention
  • Fig. 2 is a schematic representation of images with inventive orientation marks and Fig. 3 is a further schematic representation of images with orientation marks according to the invention.
  • a video endoscope has a longitudinally extending endoscope shaft 1, at the distal tip of which a first objective lens 2 and a second objective lens 3 are arranged.
  • the viewing angle of the second objective lens 3 is approximately in the 0 ° direction, while the first objective lens 2 has a viewing direction (DOV) of approximately 50 °.
  • DOV viewing direction
  • the unillustrated fields of view of the first objective lens 2 and the second objective lens 3 may overlap.
  • the endoscope shaft 1 also has an orientation sensor 1 a, by means of which the orientation of the endoscope shaft 1 and / or the objective lenses 2, 3 is measured.
  • It may be a gyroscopic sensor, a tilt sensor, an acceleration sensor or a gravitational sensor.
  • a design as a rotary encoder and / or as a rotary potentiometer for measuring the rotation of the objective lenses 2, 3 relative to the endoscope shaft 1 or shaft 1 with respect to a handle 4 can be used within the scope of the invention.
  • a handle 4 with a toggle button 5 upon actuation of a switching signal is generated, is switched over to the between the viewing direction of the first object lens 2 and the second objective lens 3.
  • the handle 4 has an orientation sensor 4 a, the is also designed as a gyroscopic sensor, inclination sensor, acceleration sensor or gravitational sensor, for example.
  • connection cable 6 With a connection cable 6, the video endoscope is connected to an image processing unit 7 and further via a connection cable with an image display device 9, on which images are taken, which have been taken by the video endoscope through either the first objective lens 2 or the second objective lens 3 and then through the Image processing unit 7 have been processed.
  • a first image 10 and a second image 11 are before and after switching between two viewing directions, i. before and after switching the polar angle of the viewing direction between two lenses 2, 3, shown. Since the azimuth angle of the viewing directions is rotated by approximately 60 ° with respect to the azimuth angle of the orientation of the image sensor, the two images are also 10,
  • an orientation mark 13 which represents the relative orientation of the viewing direction, ie, the azimuth angle of the viewing direction for orientation of the image sensor, which corresponds to the image orientation in the displayed image 10, 11. Since the viewing direction change from the first image 10 to the second image 1 1 is accompanied by a change in the polar angle of the viewing direction, but not with a change in the azimuth angle of the viewing direction, since the two lenses 2, 3 in the same radial plane with respect to the longitudinal axis of the shaft. 1 of the video endoscope, has the orientation mark 13, the is designed as an arrow, before and after switching in the same direction.
  • an orientation mark 14 can also be displayed instead, which indicates a possible change of sight direction. In this case, the arrow would be rotated in Fig. 1 1 by 180 ° relative to the arrow shown.
  • FIG. 3 again shows a first image 10 and a second image 11, in which, as in FIG. 2, a marking field 12 and the already described orientation marks 13, which are shown in black, are also shown in the upper right corner.
  • a further orientation mark 14 is shown, which represents the next switching direction.
  • pictures 10 and 11 is also in each case in the upper left Corner a marking field 15 with an orientation mark 16 formed in the manner of a wind rose for the spatial direction or spatial orientation of the viewing direction of the endoscope illustrated.
  • This orientation mark 16 makes the work easier for the surgeon since it indicates to him in which direction shown in the image the gravitational force acting on him acts.
  • the wind rose can be oriented so that it points vertically upwards in the gravitational direction or against the gravitational direction or directly indicates the gravitational direction downwards.
  • a tilt sensor or a gravitational sensor is used to measure the gravitational direction, with further sensors, which measure, for example, the azimuth angle between the viewing direction of the objectives and the image sensor, being used to correct the measurement and to insert this orientation marking into the displayed images.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit wenigstens einer seitlichen Blickrichtung, wobei am distalen Ende eines Schafts (1) des Videoendoskops wenigstens ein um die Längsachse des Schafts gegenüber einem Bildsensor bewegbares Objektiv (2, 3) mit wenigstens einer seitlichen Blickrichtung angeordnet ist, wobei die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten Blickrichtung zu einer zweiten Blickrichtung umgeschaltet wird. Die Erfindung betrifft weiter ein Videoendoskopiesystem mit einem Videoendoskop, einer Bildverarbeitungseinheit (7) und einer Bildwiedergabevorrichtung (9), wobei das Videoendoskop einen Bildsensor und wenigstens ein am distalen Ende eines Endoskopschafts (1) angeordnetes um die Längsachse des Schafts gegenüber dem Bildsensor bewegbares Objektiv (2, 3) mit wenigstens einer seitlichen Blickrichtung aufweist, wobei die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten Blickrichtung zu einer zweiten Blickrichtung umschaltbar ist sowie ein Softwareprogrammprodukt mit Programmcodemitteln. Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass eine Orientierung der Blickrichtung gemessen wird und in einer Bildwiedergabe der von dem Bildsensor aufgenommenen Bilddaten wenigstens eine Orientierungsmarkierung (13, 14) eingeblendet wird, die entsprechend der gemessenen Orientierung rotiert ist oder wird.

Description

Verfahren und System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops
Beschreibung
Die Erfindung betrifft ein Verfahren zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit wenigstens einer seitlichen Blickrichtung, wobei am distalen Ende eines Schafts des Videoendoskops wenigstens ein um die Längsachse des Schafts gegenüber einem Bildsensor bewegbares Objektiv mit wenigstens einer seitlichen Blickrichtung angeordnet ist, wobei die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten Blickrichtung zu einer zweiten Blickrichtung umgeschaltet wird.
Die Erfindung betrifft ferner ein Videoendoskopiesystem mit einem Videoendoskop, einer Bildverarbeitungseinheit und einer Bildwiedergabevorrichtung, wobei das Videoendoskop einen Bildsensor und wenigstens ein am distalen Ende eines Endoskopschafts angeordnetes um die Längsachse des Schafts gegenüber dem Bildsensor bewegbares Objektiv mit wenigstens einer seitlichen Blickrichtung aufweist, wobei die Blickrichtung aufgrund eines Blickrich-
BESTÄTIGUNGSKOPIE tungsumschaltbefehls von einer ersten Blickrichtung zu einer zweiten Blickrichtung umschaltbar ist. Schließlich betrifft die Erfindung ein Softwareprogrammprodukt mit Programmcodemitteln.
Im Rahmen der vorliegenden Erfindung wird unter einem Videoen- doskop ein Endoskop in Verbindung mit wenigstens einem Bildsensor, der zum Aufnehmen einer Videoaufzeichnung ausgebildet ist, verstanden, unabhängig davon, ob der Bildsensor distal im Endoskopschaft, proximal in einem Handgriff oder extern in einem Kamerakopf angeordnet ist, der an ein Okular im proximalen Bereich des Endoskops, also auf der Seite eines Operateurs, ansetzbar ist.
Der Begriff der Blickrichtung, englisch auch als„direction of view" (DOV) bezeichnet, betrifft den von der Längsachse des Endoskops abweichenden Seitwärts- oder Rückwärtsblick, der als Polarwinkel dargestellt wird, wobei ein Blickwinkel von 0° einen Geradeausblick in Längsrichtung des Endoskopschafts bedeutet, während beispielsweise 90° eine Blickrichtung bezeichnet, die im rechten Winkel vom Geradeausblick abweicht. Die vorliegende Erfindung betrifft Endoskope, bei denen der Azimutwinkel der Blickrichtung, also der Winkel der Drehung der Blickrichtung um die Längsachse des Endoskops herum, veränderbar ist.
Neben Endoskopen mit einem einzelnen seitwärts blickenden Objektiv am distalen Ende sind auch Endoskope mit mehreren Objektiven bekannt, die in diskreten Blickrichtungen ausgerichtet sind, und die zwischen den Blickrichtungen umschaltbar ausgebildet sind. Übliche Paare von Blickrichtungen bei Endoskopen mit umschaltbarer Blickrichtung im Sinne des Polarwinkels sind z.B. 0° und 30°, 0° und 45°, 12° und 70° oder 30° und 80°. Wenigstens eine Blickrichtung dieser Paare ist somit eine seitliche Blickrichtung. Solche Objektive mit zwei diskreten Blickrichtungen erlauben dem Operateur, mit einem damit ausgerüsteten Endoskop je nach Wunsch in die verschiedenen Blickrichtungen sehen zu können. Dies tritt im Rahmen der vorliegenden Erfindung zu der Veränderbarkeit des Azimutwinkels der Blickrichtung hinzu.
Ein Endoskop mit zwei Blickrichtungen ist aus der Patentanmeldung DE 10 2009 020 262 A1 der Anmelderin bekannt. Die zugehörigen Objektive sind im distalen Endbereich eines Endoskopschaftes angeordnet und nehmen das aus ihrem jeweiligen Blickfeld kommende Licht auf, um es zu einem Bildsensor oder zu einem Okular weiterzuleiten. Zwischen den beiden Blickrichtungen kann umgeschaltet werden. In einem Kreuzungspunkt der beiden Strahlengänge ist ein Prisma angeordnet.
Die Umschaltung zwischen den Blickrichtungen geschieht durch Herausnehmen oder Einführen eines Spiegels in einen Zwischenspalt zwischen dem ersten Strahlengang und dem Prisma. Wenn kein Spiegel in den Spalt eingeführt ist, tritt das Licht im ersten Strahlengang ungehindert in das Prisma ein und durch das Prisma hindurch und gelangt zum Okular oder zu einem Bildsensor. Das Licht des zweiten Strahlengangs wird an einer ersten Grenzfläche des Prismas reflektiert, tritt aber an einer zweiten Grenzfläche mangels Totalreflektion aus dem Prisma in einer Richtung aus, die nicht zum Okular oder zum Bildsensor führt. Ist ein Spiegel in den Spalt eingeführt, wird das Licht im ersten Strahlengang blockiert, während das Licht des zweiten Strahlengangs nunmehr ein zweites Mal reflektiert wird und dadurch seitenrichtig zum Okular bzw. Bildsensor weitergeleitet wird.
Weitere Objektive mit zwei Blickrichtungen sind in EP 0 363 118 B1 und EP 0 347 140 B1 offenbart. Gemäß EP 0 363 1 18 B1 ist für jede Blickrichtung ein distales Objektivteil vorgesehen, das jeweils den Austrittsstrahlengang in eine von zwei parallelen Austrittsachsen richtet. Ein proximales Objektivteil ist zusammen mit dem von diesen durch den Schaft des Endoskops weiterführenden Bildleiter derart verschwenkbar, dass es in zwei Schwenkstellungen auf die eine oder die andere der beiden Austrittsachsen gerichtet ist.
Gemäß EP 0 347 140 B1 weist ein Endoskopobjektiv zwei distale Objektivteile für zwei unterschiedliche Blickrichtungen auf und ein gemeinschaftliches proximales Objektivteil. In den beiden distalen Objektivteilen sind Polarisationsfilter mit unterschiedlicher, fester Polarisationseinrichtung angeordnet und im proximalen Objektivteil ein Polarisationsfilter mit verstellbarer Polarisationsrichtung. Damit kann zwischen den beiden Blickrichtungen umgeschaltet werden. Bei einfacher Konstruktion ist die Bildhelligkeit gegenüber den anderen Ausführungen reduziert.
EP 2 147 631 A1 betrifft ein Endoskop mit einem Objektiv und einem Schwingprisma, mittels dessen die seitliche Blickrichtung verändert wird.
Weiterhin ist beispielsweise aus US 2006/0293565 A1 ein Endoskop mit einem Objektiv bekannt, das auf einer in einer Richtung oder verschiedenen Richtungen verkippbaren Plattform in der distalen Spitze des Endoskops angeordnet ist und durch Verkippung der Plattform in verschiedene Blickrichtungen bewegt wird.
Für seine Orientierung im Operationsfeld, die auch bei Untersuchungen und bei Operationen sehr wichtig ist, ist der Operateur auf sein Raumgefühl angewiesen. Schon bei Endoskopen mit einer ein- zigen seitlichen Blickrichtung kann es passieren, dass der Operateur im Laufe einer endoskopischen Untersuchung oder eines endoskopischen Eingriffs nach einer Reihe von Drehungen und Bewegungen seine Orientierung verliert, zumal, wenn ein Teil des Endoskops, der für die Orientierung wichtig ist, von einem Assistenten gehalten wird.
Bei den genannten Endoskopen mit umschaltbarer Blickrichtung kommt hinzu, dass die Blickrichtung in diskreten Schritten umgeschaltet wird, so dass angezeigte Objekte sprungartig ihre Position ändern. Für den Operateur stellt sich damit die Herausforderung, von einem Augenblick auf den anderen zwei sehr unterschiedliche Bilder gezeigt zu bekommen, die unterschiedliche Ausschnitte des aktuellen Operationsfeldes darstellen. Das Umschalten kann daher desorientierend wirken. Da die Bilder üblicherweise auf einem feststehenden Bildschirm angezeigt werden, korrespondiert das angezeigte Bild außerdem nicht notwendigerweise mit der Orientierung des Endoskops im Raum und im Operationsfeld.
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren und ein System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit umschaltbarer seitlicher Blickrichtung und mit veränderlichem Azimutwinkel zur Verfügung zu stellen, das eine dauerhafte Beibehaltung der Orientierung des Operateurs im Operationsfeld ermöglicht.
Diese Aufgabe wird durch ein Verfahren zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit wenigstens einer seitlichen Blickrichtung, wobei am distalen Ende eines Schafts des Videoendoskops wenigstens ein um die Längsachse des Schafts gegenüber einem Bildsensor bewegbares Objektiv mit wenigstens einer seitlichen Blickrichtung angeordnet ist, wobei die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten Blickrichtung zu einer zweiten Blickrichtung umgeschaltet wird, gelöst, das dadurch weitergebildet ist, dass eine Orientierung der Blickrichtung gemessen wird und in einer Bildwiedergabe der von dem Bildsensor aufgenommenen Bilddaten wenigstens eine Orientierungsmarkierung eingeblendet wird, die entsprechend der gemessenen Orientierung rotiert ist oder wird.
Unter dem Merkmal, dass am distalen Ende des Schafts des Video- endoskops wenigstens ein um die Längsachse des Schafts gegenüber einem Bildsensor bewegbares Objektiv mit wenigstens einer seitlichen Blickrichtung angeordnet ist, wird im Rahmen der Erfindung sowohl der Fall verstanden, dass ein Objektiv ein Umlenkelement, beispielsweise ein Schwingprisma, umfasst, das für einen Seitwärtsblick sorgt, als auch den Fall, dass ein Objektiv, das in einer Nullstellung in 0°-Richtung blickt, zu einem Seitwärtsblick verkippt werden kann, als auch der Fall, dass mehrere Objektive mit starrem Polarwinkel vorhanden sind, von denen wenigstens eines eine seitliche Blickrichtung hat. Die Bewegbarkeit des Objektivs um die Längsachse des Schafts kann im Rahmen der vorliegenden Erfindung entweder durch eine Drehung des Objektivs um die Längsachse erreicht werden oder durch ein Verkippen eines beispielsweise auf einer in verschiedene Richtungen verkippbaren Plattform angeordneten Objektivs, beispielsweise gemäß US 2006/0293565 A1. Auch dies resultiert in einer Drehung der Blickrichtung um die Längsachse des Endoskopschafts.
Durch das Messen der Orientierung der Blickrichtung im Raum bzw. relativ zu der Orientierung des Messsensors und das Anzeigen von Orientierungsmarkierungen in dem wiedergegebenen Bild wird dem Operateur die Orientierung im Operationsfeld deutlich erleichtert. Auch bei komplizierten Untersuchungen oder Operationen, bei de- nen das Endoskop häufig Richtungswechsel und Drehungen um die Längsachse des Schafts erfährt, hat der Operateur, der dabei stets die bildliche Wiedergabe der aufgenommenen Bilder auf der Bildwiedergabevorrichtung, beispielsweise einem Monitor, im Blick hat, jederzeit einen Indikator für die Orientierung. Dies erleichtert die Hand-Auge-Koordination für den Operateur.
Das erfindungsgemäße Verfahren kann sowohl bei Videoendosko- pen mit eingebautem Bildsensor als auch bei Endoskopen mit angefügtem Kamerakopf, d.h. mit einem externen Bildsensor, angewendet werden. Beide Fälle sind im Rahmen der Erfindung unter dem Begriff „Videoendoskop" umfasst. Mit umfasst sind weiter Stereo- Videoendoskope, die zwei Bildsensoren und geeignete Objektive und gegebenenfalls Lichtleitsysteme umfassen.
Wenn vorzugsweise die wenigstens eine Orientierungsmarkierung so erzeugt wird, dass die Richtung angezeigt wird, die einer Azimutwinkeldifferenz zwischen der momentanen gemessenen Blickrichtung des Objektivs und der Orientierung des Bildsensors entspricht, wird eine besonders einfach für den Operateur zu erfassende Darstellung gewählt. Der Operateur hält in solchen Fällen üblicherweise den Teil des Endoskops mit dem Bildsensor in einer Hand und den Teil des Endoskops, mit dem eine Rotation der distalen Spitze, beispielsweise eines Objektivkopfes, oder des Objektivs im Schaft, bewegt wird, in einer anderen Hand. Die Orientierungsmarkierung ist daher direkt für die Koordination der linken und der rechten Hand des Operateurs nützlich. In Fällen, in denen die Azimutwinkelverstellung der Blickrichtung zusammen mit dem Halten des Endoskops einhändig erfolgt, gilt das gleiche für die Koordination derjenigen Finger mit der übrigen Hand, die die Azimutwinkelverstellung in Blickrichtung kontrollieren. Diese Art der Darstellung ist auch besonders vorteilhaft in einem Fall, in dem ein in verschiedene Richtungen verkippbares Objektiv vorliegt, da dem Operateur in diesem Fall mehr Freiheitsgrade für Kippbewegungen offen stehen und die Orientierung im Raum somit durch die Anzeige der momentan eingenommenen Blickrichtung besonders hilfreich ist.
Wenn am distalen Ende des Schafts mehrere Objektive angeordnet sind, die in verschiedene Blickrichtungen ausgerichtet sind, wobei die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten Blickrichtung zu einer zweiten Blickrichtung umgeschaltet wird, oder wenn hierfür beispielsweise ein Schwingprisma vorgesehen ist, kann trotz wechselnder Polarwinkel der Blickrichtungen die Orientierung des Operateurs gewährleistet werden, indem vorzugsweise alternativ oder zusätzlich zu den vorgenannten Orientierungsmarkierungen vorteilhafterweise vorgesehen, dass die wenigstens eine Orientierungsmarkierung oder wenigstens eine zweite Orientierungsmarkierung so erzeugt und angezeigt wird, dass sie einer oder mehreren Richtungen möglicher Blickrichtungswechsel, insbesondere zwischen den Objektiven bzw. den einnehmbaren Blickrichtungen, entspricht.
Mit einer solchen Orientierungsmarkierung wird dem Operateur unmittelbar mitgeteilt, in welche Richtung sich das Bild verändern wird, wenn er die Blickrichtung, d.h. den Polarwinkel der Blickrichtung, beispielsweise zwischen 30° und 80°, oder von 0° auf 45° umschaltet. Da die wenigstens zwei Objektive mit verschiedenen Blickrichtungen üblicherweise bezüglich des Azimutwinkels in einer Ebene liegen, was für den Fall der Verwendung eines Schwingprismas o- der eines Schwingspiegels ebenfalls gilt, entspricht auch die Orientierungsmarkierung, die eine Richtung eines möglichen Blickrichtungswechsels anzeigt, einer Azimutwinkeldifferenz zwischen der momentanen gemessenen Blickrichtung des Objektivs und der Orientierung des Bildsensors.
Wenn in einer vorteilhaften Weiterbildung eine Orientierungsmarkierung, die einer Richtung eines möglichen Blickrichtungswechsel entspricht, nur dann eingeblendet wird, wenn die durch diese Orientierungsmarkierung angezeigte Richtung von einer ebenfalls eingeblendeten Orientierungsmarkierung abweicht, die den Azimutwinkel zwischen Objektiv und Bildsensor anzeigt oder dass die Orientierungsmarkierung, die den Azimutwinkel zwischen Objektiv und Bildsensor anzeigt, nur dann eingeblendet wird, wenn die durch diese Orientierungsmarkierung angezeigte Richtung von einer ebenfalls eingeblendeten Orientierungsmarkierung abweicht, die einer Richtung eines möglichen Blickrichtungswechsel entspricht, ist eine Verfahrensführung erreicht, die eine geringe Redundanz aufweist, da nicht zwei in die gleiche Richtung weisenden Orientierungsmarkierungen angezeigt werden. Dies hält das Sichtfeld auf der Bildwiedergabevorrichtung übersichtlich. Dabei kann ausgewählt werden, ob eine mögliche Blickrichtungsänderung oder die allgemeine azimutale Orientierung der Blickrichtung standardmäßig angezeigt wird.
Vorteilhaft für die Orientierung des Operateurs im Raum ist es ferner, wenn eine weitere Orientierungsmarkierung so erzeugt und angezeigt wird, dass sie einer Vertikalen im Raum parallel oder antiparallel zur Schwerkraftsrichtung entspricht. Eine solche Orientierungsmarkierung korreliert unmittelbar mit dem Orientierungsempfinden des Operateurs und versetzt diesen in die Lage, unmittelbar Bewegungen des Endoskops in der korrekten Richtung vorzunehmen und die entsprechende Bildänderung zu erfassen und damit zu korrelieren. Vorzugsweise wird die wenigstens eine Orientierungsmarkierung permanent oder auf Anforderung für eine vorbestimmte oder vorbestimmbare Zeitdauer oder auf Anforderung bis zu einem Abschaltbefehl eingeblendet. Bei einer permanenten Anzeige ist die Orientierungsmarkierung durchgängig angezeigt, was dem Operateur zu jedem Zeitpunkt die Orientierung erleichtert. Falls dies nicht dauerhaft notwendig ist, kann eine oder mehrere Orientierungsmarkierungen auch angefordert werden, entweder, was für den Operateur sehr bequem ist, für eine vorbestimmte Zeitdauer, nach der die Markierung wieder ausgeblendet wird, oder bis zu einem Abschaltbefehl des Operateurs. Es kann auch vorgesehen sein, beispielsweise eine erste Orientierungsmarkierung permanent anzuzeigen, eine andere auf Anforderung für eine gewisse Zeitdauer und eine dritte auf Anforderung bis zu einem Abschaltbefehl. Diese Verfahrensweisen können im Rahmen der Erfindung sinnvoll kombiniert werden.
Die genannten Typen von Orientierungsmarkierungen können einzeln oder in verschiedenen Kombinationen gleichzeitig oder abwechselnd angezeigt werden.
Die der Erfindung zugrunde liegende Aufgabe wird auch durch ein Videoendoskopiesystem mit einem Videoendoskop, einer Bildverarbeitungseinheit und einer Bildwiedergabevorrichtung gelöst, wobei das Videoendoskop einen Bildsensor und wenigstens ein am distalen Ende eines Endoskopschafts angeordnetes um die Längsachse des Schafts gegenüber dem Bildsensor bewegbares Objektiv mit wenigstens einer seitlichen Blickrichtung aufweist, wobei die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten Blickrichtung zu einer zweiten Blickrichtung umschaltbar ist, das dadurch weitergebildet ist, dass das Videoendoskop wenigstens eine Messeinrichtung zur Messung einer Orientierung des Objektivs aufweist und die Bildverarbeitungseinheit ausgebildet ist, wenigstens eine Orientierungsmarkierung zu erzeugen und in den von dem Bildsensor aufgenommenen Bilddaten einzublenden, die entsprechend der gemessenen Orientierung rotiert ist oder wird. Dieses Vi- deoendoskopiesystem weist sämtliche Vorrichtungskomponenten auf, die nötig und ausgebildet sind, wie vorstehend beschrieben, die Orientierung eines oder mehrerer bildgebender Komponenten eines Videoendoskops zu messen und entsprechende Orientierungsmarkierungen in der Bilddatenverarbeitung zu erzeugen und einzublenden.
In einer vorteilhaften Weiterbildung ist zusätzlich wenigstens eine Messeinrichtung zur Messung einer Orientierung des Bildsensors vorgesehen. Dadurch lassen sich Differenzmessungen der Orientierung zwischen den Blickrichtungen des Objektivs oder der Objektive am distalen Ende des Schafts und dem Bildsensor erzeugen.
Vorzugsweise ist dabei die Bildverarbeitungseinheit ausgebildet, das zuvor beschriebene erfindungsgemäße Verfahren auszuführen.
Die Messeinrichtung bzw. die Messeinrichtungen ist oder sind vorzugsweise als gyroskopischer Sensor, als Neigungssensor, als Beschleunigungssensor, als Gravitationssensor, als Drehwertgeber und/oder als Drehpotentiometer ausgebildet.
Die Drehung der Blickrichtung um die Längsachse des Schafts des Videoendoskops erfolgt mit mechanischen Mitteln oder auf magnetischem Wege, beispielsweise durch einen Magnetdurchgriff, entsprechend einem Manipulator in der Ultrahochvakuumtechnik.
Die der Erfindung zugrunde liegende Aufgabe wird schließlich durch ein Softwareprogrammprodukt mit Programmcodemitteln gelöst, bei deren Ablauf auf einer Datenverarbeitungsvorrichtung, insbesondere einer Bildverarbeitungseinheit, die Schritte des oben beschriebenen erfindungsgemäßen Verfahrens ausgeführt werden.
Schließlich wird die der Erfindung zugrunde liegende Aufgabe auch durch ein Softwareprogrammprodukt mit Programmcodemitteln gelöst, bei deren Ablauf auf einer Datenverarbeitungsvorrichtung, insbesondere einer Bildverarbeitungseinheit, die insbesondere Teil eines zuvor beschriebenen erfindungsgemäßen Videoendoskopiesys- tem ist, die Schritte des zuvor beschriebenen erfindungsgemäßen Verfahrens ausgeführt werden. Das Softwareprogrammprodukt kann eine Software und insbesondere auch einen Datenträger mit den Programmcodemitteln umfassen.
Die in Verbindung mit dem erfindungsgemäßen Verfahren zuvor beschriebenen Merkmale, Eigenschaften und Vorteile gelten ohne Einschränkungen auch für die weiteren Erfindungsgegenstände, nämlich das erfindungsgemäße Videoendoskopiesystem und das erfindungsgemäße Softwareprogrammprodukt mit Programmcodemitteln, die die gleichen Merkmale, Eigenschaften und Vorteile aufweisen.
Die Erfindung wird nachstehend ohne Beschränkung des allgemeinen Erfindungsgedankens anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen beschrieben, wobei bezüglich aller im Text nicht näher erläuterten erfindungsgemäßen Einzelheiten ausdrücklich auf die Zeichnungen verwiesen wird. Es zeigen:
Fig. 1 eine schematische Darstellung eines erfindungsgemäßen Videoendoskopiesystems,
Fig. 2 eine schematische Darstellung von Bildern mit erfindungsgemäßen Orientierungsmarkierungen und Fig. 3 eine weitere schematische Darstellung von Bildern mit erfindungsgemäßen Orientierungsmarkierungen.
In den folgenden Figuren sind jeweils gleiche oder gleichartige Elemente bzw. entsprechende Teile mit denselben Bezugsziffern versehen, so dass von einer entsprechenden erneuten Vorstellung abgesehen wird.
In Fig. 1 ist ein erfindungsgemäßes Videoendoskopiesystem schematisch dargestellt. Ein Videoendoskop verfügt über einen längserstrecken Endoskopschaft 1 , an dessen distaler Spitze eine erste Objektivlinse 2 und eine zweite Objektivlinse 3 angeordnet sind. Der Blickwinkel der zweiten Objektivlinse 3 ist in etwa in 0°-Richtung, während die erste Objektivlinse 2 eine Blickrichtung (DOV) von etwa 50° aufweist. Die nicht dargestellten Blickfelder der ersten Objektivlinse 2 und der zweiten Objektivlinse 3 können überlappen. Der Endoskopschaft 1 weist außerdem einen Orientierungssensor 1 a auf, mittels dessen die Orientierung des Endoskopschafts 1 und/oder der Objektivlinsen 2, 3 gemessen wird. Es kann sich dabei um einen gyroskopischen Sensor, einen Neigungssensor, einen Beschleunigungssensor oder einen Gravitationssensor handeln. Auch eine Ausbildung als Drehwertgeber und/oder als Drehpotentiometer zur Messung der Verdrehung der Objektivlinsen 2, 3 gegenüber dem Endoskopschaft 1 oder es Schafts 1 gegenüber einem Handgriff 4 ist im Rahmen der Erfindung einsetzbar.
Am proximalen Ende des Videoendoskops befindet sich ein Handgriff 4 mit einem Umschalttaster 5, bei dessen Betätigung ein Umschaltsignal erzeugt wird, auf das hin zwischen der Blickrichtung der ersten Objektlinse 2 und der zweiten Objektivlinse 3 umgeschaltet wird. Der Handgriff 4 verfügt über einen Orientierungssensor 4a, der ebenfalls als gyroskopischer Sensor, Neigungssensor, Beschleunigungssensor oder Gravitationssensor beispielsweise ausgebildet ist.
Mit einem Verbindungskabel 6 ist das Videoendoskop mit einer Bildverarbeitungseinheit 7 und weiter über ein Verbindungskabel mit einer Bildwiedergabevorrichtung 9 verbunden, auf der Bilder dargestellt werden, die durch das Videoendoskop durch entweder die erste Objektivlinse 2 oder die zweite Objektivlinse 3 aufgenommen worden sind und anschließend durch die Bildverarbeitungseinheit 7 verarbeitet worden sind.
In Fig. 2 sind ein erstes Bild 10 und ein zweites Bild 1 1 vor und nach dem Umschalten zwischen zwei Blickrichtungen, d.h. vor und nach dem Umschalten des Polarwinkels der Blickrichtung zwischen zwei Objektiven 2, 3, dargestellt. Da der Azimutwinkel der Blickrichtungen gegenüber dem Azimutwinkel der Orientierung des Bildsensors um ca. 60° verdreht ist, sind auch die beiden Bilder 10,
1 1 um einen entsprechenden Winkel gegeneinander versetzt angeordnet.
In der jeweils rechten oberen Ecke ist jeweils ein Markierungsfeld
12 eingeblendet, in dem eine Orientierungsmarkierung 13 erscheint, die die relative Orientierung der Blickrichtung, d.h. dem Azimutwinkel der Blickrichtung zur Orientierung des Bildsensors darstellt, die in dem dargestellten Bild 10, 1 1 jeweils der Bildorientierung entspricht. Da die Blickrichtungsänderung von dem ersten Bild 10 zum zweiten Bild 1 1 zwar mit einer Änderung des Polarwinkels der Blickrichtung, nicht aber mit einer Änderung des Azimutwinkels der Blickrichtung einhergeht, da die beiden Objektive 2, 3 in derselben radialen Ebene bezüglich der Längsachse des Schafts 1 des Videoendo- skops angeordnet sind, weist die Orientierungsmarkierung 13, die als Pfeil ausgebildet ist, vor und nach dem Umschalten in die gleiche Richtung. Alternativ kann erfindungsgemäß auch stattdessen eine Orientierungsmarkierung 14 angezeigt werden, die einen möglichen Blickrichtungswechsel anzeigt. In dem Fall wäre der Pfeil im Bild 1 1 um 180° gegenüber dem gezeigten Pfeil gedreht.
In Fig. 3 sind wiederum ein erstes Bild 10 und ein zweites Bild 11 dargestellt, in dem, wie in Fig. 2, ebenfalls in der rechten oberen Ecke ein Markierungsfeld 12 und die bereits beschriebenen Orientierungsmarkierungen 13, die schwarz dargestellt sind, angezeigt werden. Zusätzlich hierzu wird beim Bild 12 nach dem Umschalten der Blickrichtung eine weitere Orientierungsmarkierung 14 dargestellt, die die nächstfolgende Umschaltrichtung darstellt.
In diesem Fall bedeutet dies, dass bei einem weiteren Umschalten die Richtung, in die sich das Bild 1 1 verändern würde, nämlich zum Bild 10 hin, der Richtung der allgemeinen Orientierungsmarkierung 13 bezüglich der Abweichung von der Längsachse des Schafts 1 entgegengesetzt ist. Um dies zu kennzeichnen, wird die Orientierungsmarkierung 14 zusätzlich eingeblendet. Da in dem Bild 10 die Richtungsänderung bei einem Umschalten mit der allgemeinen Orientierung, die durch die Orientierungsmarkierung 13 dargestellt wird, zusammenfällt, entfällt in Bild 10 die Notwendigkeit, eine weitere Orientierungsmarkierung 14 für die Richtungsänderung darzustellen. Alternativ ist es möglich, auch in diesem Fall in Bild 10 im oder am Markierungsfeld 12 eine Orientierungsmarkierung 14 für die Umschaltrichtung vorzusehen, die der Orientierungsmarkierung 13 überlagert oder angehängt ist. Sie kann auch parallel zur Orientierungsmarkierung 13 anordnet sein oder in geeigneter anderer Weise.
In den Bildern 10 und 11 ist außerdem jeweils in der linken oberen Ecke ein Markierungsfeld 15 mit einer in der Art einer Windrose ausgebildeten Orientierungsmarkierung 16 für die räumliche Richtung bzw. räumliche Orientierung der Blickrichtung des Endoskops dargestellt. Diese Orientierungsmarkierung 16 erleichtert dem Operateur seine Arbeit, da sie ihm anzeigt, in welche im Bild angezeigte Richtung die auf ihn einwirkende Schwerkraft wirkt. Die Windrose kann so ausgerichtet sein, dass sie in Gravitationsrichtung bzw. gegen die Gravitationsrichtung vertikal nach oben zeigt oder die Gravitationsrichtung nach unten direkt anzeigt.
Zur Messung der Gravitationsrichtung kommt insbesondere ein Neigungssensor oder ein Gravitationssensor zum Einsatz, wobei weitere Sensoren, die beispielsweise den Azimutwinkel zwischen der Blickrichtung der Objektive und dem Bildsensor messen, zur Korrektur der Messung und zur Einfügung diese Orientierungsmarkierung in die angezeigten Bilder verwendet werden.
Alle genannten Merkmale, auch die den Zeichnungen allein zu entnehmenden sowie auch einzelne Merkmale, die in Kombination mit anderen Merkmalen offenbart sind, werden allein und in Kombination als erfindungswesentlich angesehen. Erfindungsgemäße Ausführungsformen können durch einzelne Merkmale oder eine Kombination mehrerer Merkmale erfüllt sein.
Bezuqszeichenliste
1 Endoskopschaft
1 a Orientierungssensor
2 erste Objektivlinse
3 zweite Objektivlinse
4 Handgriff
4a Orientierungssensor
5 Umschalttaster
6 Verbindungskabel
7 Bildverarbeitungseinheit
8 Verbindungskabel
9 Bildwiedergabevorrichtung
10 erstes Bild
1 1 zweites Bild
12 Markierungsfeld
13 Orientierungsmarkierung
14 Orientierungsmarkierung für Umschaltrichtung
15 Markierungsfeld
16 Orientierungsmarkierung für räumliche Richtung

Claims

Verfahren und System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops Patentansprüche
1 . Verfahren zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops mit wenigstens einer seitlichen Blickrichtung, wobei am distalen Ende eines Schafts (1 ) des Videoendoskops wenigstens ein um die Längsachse des Schafts gegenüber einem Bildsensor bewegbares Objektiv (2, 3) mit wenigstens einer seitlichen Blickrichtung angeordnet ist, wobei die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten Blickrichtung zu einer zweiten Blickrichtung umgeschaltet wird, dadurch gekennzeichnet, dass eine Orientierung der Blickrichtung gemessen wird und in einer Bildwiedergabe der von dem Bildsensor aufgenommenen Bilddaten wenigstens eine Orientierungsmarkierung (13, 14) eingeblendet wird, die entsprechend der gemessenen Orientierung rotiert ist oder wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die wenigstens eine Orientierungsmarkierung (13, 14) so erzeugt wird, dass die Richtung angezeigt wird, die einer Azimutwinkeldifferenz zwischen der momentanen gemessenen Blickrichtung des Objektivs und der Orientierung des Bildsensors entspricht.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die wenigstens eine Orientierungsmarkierung (13, 14) o- der wenigstens eine zweite Orientierungsmarkierung (13, 14) so erzeugt und angezeigt wird, dass sie einer oder mehreren Richtungen möglicher Blickrichtungswechsel entspricht.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Orientierungsmarkierung (14), die einer Richtung eines möglichen Blickrichtungswechsel entspricht, nur dann eingeblendet wird, wenn die durch diese Orientierungsmarkierung (14) angezeigte Richtung von einer ebenfalls eingeblendeten Orientierungsmarkierung (13) abweicht, die den Azimutwinkel zwischen Objektiv und Bildsensor anzeigt oder dass die Orientierungsmarkierung (13), die den Azimutwinkel zwischen Objektiv und Bildsensor anzeigt, nur dann eingeblendet wird, wenn die durch diese Orientierungsmarkierung (13) angezeigte Richtung von einer ebenfalls eingeblendeten Orientierungsmarkierung (14) abweicht, die einer Richtung eines möglichen Blickrichtungswechsels entspricht.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die wenigstens eine Orientierungsmarkierung (13, 14) permanent oder auf Anforderung für eine vorbestimmte oder vorbestimmbare Zeitdauer oder auf Anforderung bis zu einem Abschaltbefehl eingeblendet wird. Videoendoskopiesystem mit einem Videoendoskop, einer Bildverarbeitungseinheit (7) und einer Bildwiedergabevorrichtung (9), wobei das Videoendoskop einen Bildsensor und wenigstens ein am distalen Ende eines Endoskopschafts (1 ) angeordnetes um die Längsachse des Schafts gegenüber dem Bildsensor bewegbares Objektiv (2, 3) mit wenigstens einer seitlichen Blickrichtung aufweist, wobei die Blickrichtung aufgrund eines Blickrichtungsumschaltbefehls von einer ersten Blickrichtung zu einer zweiten Blickrichtung umschaltbar ist, dadurch gekennzeichnet, dass das Videoendoskop wenigstens eine Messeinrichtung (1 a) zur Messung einer Orientierung des Objektivs (2, 3) aufweist und die Bildverarbeitungseinheit (7) ausgebildet ist, wenigstens eine Orientierungsmarkierung (13, 14, 16) zu erzeugen und in den von dem Bildsensor aufgenommenen Bilddaten einzublenden, die entsprechend der gemessenen Orientierung rotiert ist oder wird.
Videoendoskopiesystem nach Anspruch 6, dadurch gekennzeichnet, zusätzlich wenigstens eine Messeinrichtung (4a) zur Messung einer Orientierung des Bildsensors vorgesehen ist.
Videoendoskopiesystem nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (7) ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 5 auszuführen.
Videoendoskopiesystem nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Messeinrichtung (1 a, 4a) als gyroskopischer Sensor, als Neigungssensor, als Beschleunigungssensor, als Gravitationssensor, als Drehwertgeber oder als Drehpotentiometer ausgebildet ist. Softwareprogramm produkt mit Programmcodemitteln, bei deren Ablauf auf einer Datenverarbeitungsvorrichtung, insbesondere einer Bildverarbeitungseinheit, die Schritte eines Verfahrens nach einem der Ansprüche 1 bis 5 ausgeführt werden.
PCT/EP2012/000661 2011-03-08 2012-02-15 Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops WO2012119694A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280011833.7A CN103430078B (zh) 2011-03-08 2012-02-15 用于显示视频内窥镜的视频内窥镜图像数据的方法和系统
JP2013556991A JP5923119B2 (ja) 2011-03-08 2012-02-15 ビデオ内視鏡のビデオ内視鏡画像データを表示するための方法及びシステム
US14/021,144 US9510735B2 (en) 2011-03-08 2013-09-09 Method and system for displaying video-endoscopic image data of a video endoscope

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102011005259A DE102011005259A1 (de) 2011-03-08 2011-03-08 Verfahren und System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops
DE102011005259.3 2011-03-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/021,144 Continuation US9510735B2 (en) 2011-03-08 2013-09-09 Method and system for displaying video-endoscopic image data of a video endoscope

Publications (1)

Publication Number Publication Date
WO2012119694A1 true WO2012119694A1 (de) 2012-09-13

Family

ID=45722580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/000661 WO2012119694A1 (de) 2011-03-08 2012-02-15 Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops

Country Status (5)

Country Link
US (1) US9510735B2 (de)
JP (1) JP5923119B2 (de)
CN (1) CN103430078B (de)
DE (1) DE102011005259A1 (de)
WO (1) WO2012119694A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11147629B2 (en) * 2018-06-08 2021-10-19 Acclarent, Inc. Surgical navigation system with automatically driven endoscope

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106163371B (zh) * 2014-03-31 2018-09-28 奥林巴斯株式会社 内窥镜系统
IL295755A (en) * 2015-10-09 2022-10-01 Wave Life Sciences Ltd Oligonucleotide preparations and methods thereof
US20180007322A1 (en) * 2016-07-01 2018-01-04 Olympus Corporation Endoscope system
KR101821803B1 (ko) * 2016-07-28 2018-01-24 원종문 산업용 내시경 및 이를 이용한 배관 검사방법
US20190246884A1 (en) * 2018-02-14 2019-08-15 Suzhou Acuvu Medical Technology Co. Ltd Endoscopy system with off-center direction of view
US11596298B2 (en) 2018-08-27 2023-03-07 Meditrina, Inc. Endoscope and method of use
JP6856594B2 (ja) * 2018-09-25 2021-04-07 株式会社メディカロイド 手術システムおよび表示方法
DE102019130593B3 (de) * 2019-11-13 2021-05-20 Karl Storz Se & Co. Kg Stereo-Endoskope
DE102019131076A1 (de) * 2019-11-18 2021-05-20 Schölly Fiberoptic GmbH Endoskop und Endoskopanordnung

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0347140B1 (de) 1988-06-13 1993-02-24 MacAnally, Richard B. Endoskop mit zwei Sehrichtungen
EP0363118B1 (de) 1988-10-06 1995-04-12 Spectrum MedSystems Corp. Doppelblick-Arthroskop
WO2000060996A1 (en) * 1999-04-14 2000-10-19 Stereotaxis, Inc. Method and apparatus for magnetically controlling endoscopes in body lumens and cavities
US20060293565A1 (en) 2004-02-27 2006-12-28 Olympus Corporation Endoscope
JP2007130132A (ja) * 2005-11-09 2007-05-31 Pentax Corp 内視鏡挿入部形状把握システム
EP1844696A1 (de) * 2006-04-10 2007-10-17 Karl Storz Development Corp. Endoskopische Bildgebung mit Anzeige der Gravitationsrichtung
WO2008002830A2 (en) * 2006-06-29 2008-01-03 Intuitive Surgical, Inc. Surgical tool position and identification indicator displayed in a soundary area of a computer display screen
JP2010008483A (ja) * 2008-06-24 2010-01-14 Nisco Kk 撮像装置
EP2147631A1 (de) 2008-07-25 2010-01-27 Karl Storz Development Corp. Endoskop mit schwenkbarem Prisma
US20100249507A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
DE102009020262A1 (de) 2009-05-07 2010-11-11 Olympus Winter & Ibe Gmbh Objektiv mit zwei Blickrichtungen für ein Endoskop

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5538134B2 (de) * 1973-04-26 1980-10-02
JPH0358401U (de) * 1989-10-09 1991-06-06
JPH10165372A (ja) * 1996-12-10 1998-06-23 Canon Inc 立体映像装置
US6663559B2 (en) * 2001-12-14 2003-12-16 Endactive, Inc. Interface for a variable direction of view endoscope
JP3967731B2 (ja) * 2004-04-06 2007-08-29 オリンパス株式会社 カプセル型内視鏡
JP4231805B2 (ja) * 2004-02-27 2009-03-04 オリンパス株式会社 カプセル型内視鏡
US7967742B2 (en) * 2005-02-14 2011-06-28 Karl Storz Imaging, Inc. Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
US7956887B2 (en) * 2005-02-17 2011-06-07 Karl Storz Imaging, Inc. Image orienting coupling assembly
JP4847071B2 (ja) * 2005-08-26 2011-12-28 オリンパスメディカルシステムズ株式会社 内視鏡撮像装置
JP4607043B2 (ja) * 2006-04-05 2011-01-05 カール・ストーツ・デベロップメント・コーポレーション 重力方向の表示を伴う内視鏡画像形成方法
JP2009251574A (ja) * 2008-04-11 2009-10-29 I Systems:Kk 広視野内視鏡
JP2009297421A (ja) * 2008-06-17 2009-12-24 Fujinon Corp 内視鏡
JP2009297419A (ja) * 2008-06-17 2009-12-24 Fujinon Corp 内視鏡
US8814782B2 (en) * 2008-07-08 2014-08-26 Karl Storz Imaging, Inc. Solid state variable direction of view endoscope
DE102008057734B4 (de) * 2008-11-17 2016-07-28 Digital Endoscopy Gmbh Videoendoskop
EP3859682A1 (de) * 2009-03-26 2021-08-04 Intuitive Surgical Operations, Inc. System zur bereitstellung von visueller führung zum lenken einer spitze einer endoskopischen vorrichtung zu einer oder mehreren landmarken und unterstützung eines bedieners bei der endoskopischen navigation
EP2533678B1 (de) * 2010-02-11 2020-03-25 Intuitive Surgical Operations, Inc. System zur automatischen beibehaltung einer vom benutzer gewählten rollenausrichtung auf der distalen spitze eines robotischen endoskops
JP5551957B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0347140B1 (de) 1988-06-13 1993-02-24 MacAnally, Richard B. Endoskop mit zwei Sehrichtungen
EP0363118B1 (de) 1988-10-06 1995-04-12 Spectrum MedSystems Corp. Doppelblick-Arthroskop
WO2000060996A1 (en) * 1999-04-14 2000-10-19 Stereotaxis, Inc. Method and apparatus for magnetically controlling endoscopes in body lumens and cavities
US20060293565A1 (en) 2004-02-27 2006-12-28 Olympus Corporation Endoscope
JP2007130132A (ja) * 2005-11-09 2007-05-31 Pentax Corp 内視鏡挿入部形状把握システム
EP1844696A1 (de) * 2006-04-10 2007-10-17 Karl Storz Development Corp. Endoskopische Bildgebung mit Anzeige der Gravitationsrichtung
WO2008002830A2 (en) * 2006-06-29 2008-01-03 Intuitive Surgical, Inc. Surgical tool position and identification indicator displayed in a soundary area of a computer display screen
JP2010008483A (ja) * 2008-06-24 2010-01-14 Nisco Kk 撮像装置
EP2147631A1 (de) 2008-07-25 2010-01-27 Karl Storz Development Corp. Endoskop mit schwenkbarem Prisma
US20100249507A1 (en) * 2009-03-26 2010-09-30 Intuitive Surgical, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
DE102009020262A1 (de) 2009-05-07 2010-11-11 Olympus Winter & Ibe Gmbh Objektiv mit zwei Blickrichtungen für ein Endoskop

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11147629B2 (en) * 2018-06-08 2021-10-19 Acclarent, Inc. Surgical navigation system with automatically driven endoscope

Also Published As

Publication number Publication date
CN103430078A (zh) 2013-12-04
JP5923119B2 (ja) 2016-05-24
US20140012081A1 (en) 2014-01-09
US9510735B2 (en) 2016-12-06
CN103430078B (zh) 2017-06-23
DE102011005259A1 (de) 2012-09-13
JP2014508608A (ja) 2014-04-10

Similar Documents

Publication Publication Date Title
WO2012119694A1 (de) Verfahren und system zur darstellung videoendoskopischer bilddaten eines videoendoskops
DE102004061875A1 (de) Einrichtung zur Diagnoseunterstützung
DE102012025100A1 (de) Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie
WO2012107041A1 (de) Endoskopisches bildverarbeitungssystem mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische vermessungsinformation erzeugen
DE102012025102A1 (de) Endoskop mit einem Mehrkamerasystem für die minimal-invasive Chirurgie
DE102007030784A1 (de) Vermessungsgerät
DE3425534A1 (de) Endoskop
EP2082687A1 (de) Überlagerte Darstellung von Aufnahmen
WO2012041446A1 (de) Stereoendoskop
DE102019114817B4 (de) Bildgebungssystem und Verfahren zur Beobachtung
DE10243852B4 (de) Mikroskopiesystem und Mikroskopieverfahren
WO2012041445A1 (de) Sensoreinheit für ein stereoendoskop und stereoendoskopiesystem
EP2950130A1 (de) Mikroskop-system mit tiefenvorschau
DE10353961B4 (de) Mikroskopiesystem und Verfahren zum Steuern eines Mikroskopiesystems
WO2010105946A1 (de) Ein endoskop und eine bildaufnahmevorrichtung
DE102017219621A1 (de) Visualisierungssystem mit einem Beobachtungsgerät und einem Endoskop
DE102010039289A1 (de) Mikroskopsystem
DE102005032577A1 (de) Verfahren zur Positionsbestimmung eines Endroboters
EP3632294A1 (de) System und verfahren zum halten einer bildwiedergabevorrichtung
DE102015216573A1 (de) Digitales Operationsmikroskopiesystem
WO2022162217A1 (de) Chirurgisches assistenzsystem mit operationsmikroskop und kamera und darstellungsverfahren
DE102016100566B4 (de) Assistenzsystem für ein medizinisch optisches Beobachtungsgerät und Verfahren zum Verbessern der Sichtbarkeit einer Blutaustrittsstelle in einem mit einem medizinisch optischen Beobachtungsgerät gewonnenen Bild und medizinisch optisches Beobachtungsgerätesystem
DE102010013413A1 (de) Endoskop
DE4204601B4 (de) Vorrichtung zum Erfassen von Lageinformationen mit einer optischen Beobachtungseinheit und Verfahren zur Ermittlung von Lageinformationen
DE29718058U1 (de) Endoskop

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12705060

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013556991

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12705060

Country of ref document: EP

Kind code of ref document: A1