WO2022078558A1 - Verfahren zur wiedergabe eines mittels eines 3d-endoskops erzeugten stereoskopischen bildes und 3d-endoskop - Google Patents

Verfahren zur wiedergabe eines mittels eines 3d-endoskops erzeugten stereoskopischen bildes und 3d-endoskop Download PDF

Info

Publication number
WO2022078558A1
WO2022078558A1 PCT/DE2021/200150 DE2021200150W WO2022078558A1 WO 2022078558 A1 WO2022078558 A1 WO 2022078558A1 DE 2021200150 W DE2021200150 W DE 2021200150W WO 2022078558 A1 WO2022078558 A1 WO 2022078558A1
Authority
WO
WIPO (PCT)
Prior art keywords
image area
image
optical
area
axis
Prior art date
Application number
PCT/DE2021/200150
Other languages
English (en)
French (fr)
Inventor
Volkmar Freystein
Reinhold Blazejewski
Original Assignee
Blazejewski Medi-Tech Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Blazejewski Medi-Tech Gmbh filed Critical Blazejewski Medi-Tech Gmbh
Publication of WO2022078558A1 publication Critical patent/WO2022078558A1/de

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements

Definitions

  • the invention is based on methods for reproducing a stereoscopic image generated by means of a 3D endoscope and on a 3D endoscope.
  • Endoscopes and in particular 3D endoscopes are used both in the technical and in the medical field. They are used to examine structures on the surface or in cavities, channels or depressions that are difficult to access. These structures cannot be seen with the naked eye.
  • An illumination system serves to illuminate the structure to be examined. The light generated by an external light source is usually guided to the structure to be examined via optical fibers.
  • An imaging system is used to record the information contained in the light reflected and scattered by the structure as an image.
  • An image converter chip for example CMOS or CCD, serves as the camera or image recorder.
  • the image recorder is also referred to as an image sensor or image generator.
  • Electronic image recorders of this type have a large number of image points, which are also referred to as pixels. the Image recorders convert the optical signals into electrical signals, which are then made visible on a screen or monitor.
  • the images generated by the 3D endoscope are displayed for a user on a viewing device, for example on a monitor or screen.
  • the images are displayed on the viewing device in such a way that the viewer gets a three-dimensional impression of the scene.
  • a screen displays separate images for the right and left eye of the viewer.
  • the viewer usually requires special glasses so that the images intended for the viewer's left eye are only perceived by the left eye and the images intended for the viewer's right eye are only perceived by the right eye.
  • These include, for example, polarizing filter glasses, color filter glasses, interference filter glasses and LCD shutter glasses.
  • special viewing devices are known which the viewer arranges on his head in the immediate vicinity of his eyes. Such viewing devices are integrated into a 3D headset, for example. They are also known as 3D video glasses and are equipped with two displays.
  • the image recorder or recorders are arranged at the proximal or at the distal end.
  • a so-called rod lens system for image transmission is located between the distal lens and the image recorder.
  • the endoscope comprises a flexible or rigid shaft which is designed as an elongate hollow body. The light reflected and scattered by a structure to be examined is coupled in at the distal end via a left objective and a right objective and via two spatially separate optical systems with optical components such as lenses and prisms or through a rod lens system to the image recorder or recorders fed.
  • a left optical channel comprises a left optical imager or imager area, a left lens and a left optical axis.
  • a right optical channel includes a right optical imager or imager area, a right lens and a right optical axis.
  • An optical image line system can be provided between the lens and the image recorder.
  • a left image line optical system relays the image obtained from the left lens to the left imager.
  • a right optical channel comprises the right lens at the distal end of the shaft and a right image line optical system, the right image line optical system relaying the image obtained from the right lens to the right image sensor.
  • the left and right lenses are usually the same size and are arranged next to one another at the distal end of the shaft. Usually the essential or all optical characteristics of the left and right channels are identical.
  • the images recorded by the image recorders are combined by an image processing device to form a three-dimensional image and displayed on a viewing device for the user to see.
  • the sense of depth of a stereoscopic image consisting of pairs of a left image and a right image, appearing on an electronic display differs from the stereoscopic sense of depth of a viewer in the natural world.
  • An observer's left and right eyes have a fixed entrance pupil distance, also known as Inter Ocular Distance, abbreviated IOD.
  • IOD Inter Ocular Distance
  • the viewer's stereoscopic perception of depth is optimized in that the optical axis of the left eye and the optical axis of the right eye converge at a point that is fixed by the viewer. The convergence distance is adjusted to the object distance.
  • the accommodation of the lens of the left eye and the lens of the right eye is adjusted so that, from a physical point of view, the focal length of the two lenses is adjusted to the object distance with a constant image distance.
  • the alignment of Convergence distance to the object distance is continuously made by a movement of the eyes, which leads to a change in the alignment of the optical axis of the left eye and the optical axis of the right eye. This in turn causes a change in the convergence angle.
  • the human brain constantly controls the responsible muscles of the eyes, in particular the medial rectus and lateral rectus, in such a way that the best possible convergence is achieved. Physically, this means that for an object viewed at a certain distance, the disparity of the two optical channels of the left and right eye appears as small as possible in an area around the center.
  • the distance between the lenses is usually fixed, and thus the distance between the entrance pupils between the left optical channel and the right optical channel.
  • the left optical axis and the right optical axis are rigid.
  • the convergence angle is given by the two rigid optical axes. If an object is viewed with the 3D endoscope whose object distance from the 3D endoscope essentially corresponds to the convergence distance specified by the convergence angle, then the disparity is minimized and the three-dimensional representation is optimized. However, the more the object distance deviates from the convergence distance, the greater the disparity.
  • the left image generated with the left optical channel of the 3D endoscope and the right image generated with the right optical channel can no longer be made to coincide independently of the display device by the viewer.
  • the object of the invention is to provide a method for displaying a stereoscopic image generated by a 3D endoscope and a 3D endoscope, in which the convergence distance can be adjusted to an object distance of an object to be displayed without the optical Components of the 3D endoscope have to be adjusted.
  • the signals of a coherent partial area of the pixels of a left-hand optical image recorder are read out.
  • a left image area BT is generated from these signals from the left image recorder.
  • the signals of a coherent partial area of the pixels of a right-hand optical image recorder are read out.
  • a right-hand image area B2' is generated from these signals from the right-hand image recorder.
  • the left image area BT and the right image area B2' are then shifted relative to the image recorders, as a result of which the convergence distance is changed.
  • the convergence distance is adapted to an object distance of an object to be imaged with the 3D endoscope in such a way that the disparity is minimized.
  • the image areas BT, B2' are advantageously shifted in such a way that the disparity in relation to the object to be displayed is less than or equal to a predetermined threshold value.
  • the image areas B1' and B2' adapted in this way are displayed as a stereoscopic image on the display of a playback device. If the object distance of an object to be viewed with the 3D endoscope corresponds to the preset convergence distance of the 3D endoscope, the two image areas do not have to be shifted.
  • the two image areas BT, B2' are moved towards one another when shifting, for example by the center of the left image area BT being moved in the direction of the right image area B2'.
  • the two image areas B1' and B2' are moved away from one another.
  • Electronic image recorders have a predetermined number of image points, which are also referred to as pixels.
  • the left optical image recorder has a number n of pixels.
  • the right optical image recorder has a number m of pixels.
  • the number n can correspond to the number m. However, this is not absolutely necessary.
  • the coherent partial area of the pixels can include all pixels n of the left image recorder or a smaller number m of pixels.
  • An image area B1' is cut out of an image B1, as it were, which consists of the signals of all pixels of the left-hand optical image recorder. The same applies to the right optical image recorder.
  • the coherent partial area of the pixels can include all pixels m of the right image recorder or a smaller number rrn of pixels.
  • An image area B2' is cut out from the image B2 of the right optical image recorder, which consists of the signals of all pixels of the right optical image recorder. Moving the image area means that the pixels taken into account are moved by a specific number of pixels relative to the associated image recorder.
  • the center of the left image recorder and the right image recorder can be shifted by a certain number of pixels relative to the optical axes of the associated lenses, so that the rays emanating from the center of the two image recorders intersect at a point that is at a predetermined convergence distance CDo to the two entrance pupils of the 3D endoscope.
  • a certain number of pixels around the center or near the center of the convergence distance are read out by an image processing device for each optical channel, processed, possibly scaled by magnification with the factor V and for the left and right optical channel as a 3D video signal issued. In this case, a 3D image with the given convergence distance CDo is displayed.
  • the shifting of the two image areas B1', B2' relative to the image recorders with the resulting adjustment of the convergence distance CD can take place automatically using an image processing device or manually using an input device.
  • a left test area ROI1 of a predetermined size is in the left image area B1' and a right test area ROI2 of a predetermined size is in the right image area B2' definitely.
  • the disparity is determined between the left test area ROI1 and the right test area ROI2.
  • the disparity is used as a variable for evaluating an automatic adjustment of the convergence distance.
  • the left and right image areas B1', B2' cut out for the stereoscopic 3D display are continuously analyzed for disparity or difference within the defined test area ROI1, ROI2 around the center of each image of the two optical channels. Algorithms that can be used to calculate the size of the disparity are known and established in image processing. They are therefore not described further here.
  • a threshold value for the disparity can be specified for this purpose. Only when the threshold value is exceeded and the disparity is greater than this threshold value is the convergence distance readjusted. To readjust the convergence distance, the position of distinctive features is compared in the left and right optical channel in the defined test area (ROI). Numerous methods for the automatic recognition of features are known and established in image processing.
  • the left image area B1' and the right image area B2' are shifted until the disparity is less than or equal to a predetermined threshold value S.
  • the maximum disparity then corresponds to the threshold value from which the convergence distance is adjusted.
  • a threshold value S is specified for the disparity.
  • the convergence distance is only adjusted if the disparity between the left test area ROI1 and the right test area ROI2 is greater than the specified threshold value S.
  • an object contained in the left image area B1' and its position in the image area B1' is determined. Furthermore, this object is localized in the right-hand image area B2' and its position in the image area B2' is determined.
  • the object can be, for example, a distinctive feature that is contained in the left image area B1' and in the right image area B2'.
  • the displacement path by which the left image area B1' and/or the right image area B2' are displaced is derived from the position of this object determined in the left image area B1' and in the right image area B2'.
  • a characteristic feature is identified as an object, which is contained both in the left-hand image area B1' and in the right-hand image area B2'.
  • the left-hand image area B1' is equipped with a xiyi coordinate system, with the x-i axis and the yi axis running perpendicular to one another.
  • the right image area is provided with an X2y2 coordinate system, where the X2 axis is an extension of the xi axis or parallel to the xi axis and the y2 axis is parallel to the yi axis.
  • the xi-axis and the x2-axis point in the same direction.
  • At least one x i coordinate of this object in the left image area B1' is determined as x i , object in order to localize an object in the left image area B1'.
  • at least one X2 coordinate of this object in the second image area B2' is used to localize this object in the second image area B2' X2, object determined.
  • the convergence distance is changed as a function of Ax as follows:
  • the left image area B1' is shifted by 0.5*Ax in the direction of the xi axis and the right image area B2' is shifted by -0.5*Ax in the direction of the X2 axis, which leads to an enlargement the convergence distance leads
  • the left image area B, including the x-iy-i coordinate system assigned to it is shifted by 0.5*Ax.
  • the xi'yT coordinate system of the left imager and the X2'y2' coordinate system of the right imager are no longer relevant. After the shift has taken place, they are not required for further adjustment of the convergence distance and can be discarded. If the convergence is again adjusted according to the method according to the invention after a predetermined period of time has elapsed, the two image areas BT and B2′ may have to be shifted again depending on a new Ax. In this case, the x-iy-i coordinate system of the left image area BT is again projected onto the left image recorder. Correspondingly, the X2y2 coordinate system of the right image area B2' is again projected onto the right image recorder.
  • the size of the left-hand image area B1' and the size of the right-hand image area B2' are fixed.
  • the size of the left image area B1' corresponds to the size of the right image area B2'. This applies in particular when the size of the left image sensor and the right image sensor match.
  • the adaptation of the convergence distance is repeated at regular time intervals.
  • the time interval is selected in such a way that oscillation of the system is avoided. Perception should be possible and pleasant for the viewer.
  • An example of a suitable time delay between two adjustment processes is 200 ms.
  • the left image area B1' and/or the right image area B2' are shifted by manual actuation of an input device.
  • the user can use the input device to set the convergence distance he wants.
  • one or two buttons can be provided as an input device.
  • the 3D endoscope according to the invention with the features of claim 16 is characterized in that it has a left optical channel, a right optical channel and an image processing device.
  • the left optical channel includes a left optical image recorder with a number n of pixels, a left lens and a left optical axis.
  • the right optical channel includes a right optical image recorder with a number m of pixels, a right lens and a right optical axis.
  • the alignment of the left optical axis and the right optical axis to each other is fixed.
  • the distance between the left and right lens is also fixed.
  • the image processing device reads the signals of a coherent partial area of the pixels of the left optical image recorder and generates a left image area BT from these signals of the left optical image recorder.
  • the image processing device reads out the signals of a coherent partial area of the pixels of the right optical image recorder and generates a right image area B2′ from these signals of the right optical image recorder.
  • the image processor adjusts the convergence distance of the left image area BT and the right image area B2' by shifting the left image area B1' relative to the right image area B2'. From the convergence distance-adapted left image area BT and the convergence distance-adapted right image area B2′, the image processing device generates a stereoscopic image, which is output on an electronic display device.
  • Figure 1 first 3D endoscope
  • Figure 4 a schematic representation of the image areas B1', B2', the convergence point and the convergence distance
  • FIG. 5 optical image recorders in a top view with different positions of the associated image areas.
  • FIG. 1 shows a first 3D endoscope 1 with a left optical channel and a right optical channel.
  • the left optical channel comprises a left optical image sensor 6, a left plano-concave lens 7, a left objective 8 and a left optical axis 9.
  • the left optical axis 9 runs through the center of the plano-concave lens 7 and through the center of the left objective 8. You corresponds to the center line of the left lens 8.
  • the left optical Image recorder 6 is offset from left optical axis 9 .
  • the left optical axis 9 does not pass through the center of the left optical imager 6.
  • the right optical channel includes a right optical imager 2, a right plano-concave lens 3, a right objective lens 4 and a right optical axis 5.
  • the right optical axis 5 corresponds to the Center line through the right plano-concave lens 3.
  • the right optical imager 2 is offset from the right optical axis 5.
  • the right optical axis 5 does not pass through the center of the right optical imager 2.
  • a left ray 11 emanating from the left optical imager 6 and a right ray 10 emanating from the right optical imager 2 intersect at a point , which is called the convergence point 12.
  • the angle enclosed by the left ray 11 and the right ray 10 is called the convergence angle a.
  • the entrance pupil of the left optical channel is located between the left plano-concave lens 7 and the left objective 8 .
  • the entrance pupil of the right optical channel is located between the right plano-concave lens 3 and the left lens 4 .
  • the entrance pupils are not shown in the drawing.
  • the distance between the two entrance pupils and the convergence point 12 is the convergence distance CD. If an object is arranged at a distance from the entrance pupils that corresponds to the convergence distance, then the three-dimensional representation is optimized. If the object distance corresponds to the convergence distance, the disparity is small. The three-dimensional representation is particularly good when the object is arranged in the convergence point. If the object distance is greater or less than the convergence distance, the convergence distance CD is adjusted using the method according to the invention.
  • the components of the left optical channel and the right optical channel are arranged in such a way that the left optical axis 9 and the right optical axis 5 are parallel to one another.
  • An endoscope shaft surrounding the components is not shown in the drawing.
  • the left image recorder 6 and the right optical image recorder 2 each have a resolution of 1920 ⁇ 1080 pixels.
  • the center of each image recorder 2, 6 is shifted by a specific number of pixels relative to the optical axis 5, 9 assigned to it, so that the beams 10, 11 emanating from the center of the image recorder converge at the selected convergence distance (CD) of ⁇ 56 cross mm.
  • a 3D image with a convergence distance (CD) of 56 mm is displayed.
  • the processing of the signals read out from the pixels of the left-hand image recorder 6 and the right-hand image recorder 2 is carried out by means of an image processing device which is not shown in the drawing.
  • Figure 2 shows a second 3D endoscope 20. It has the same components: a left optical channel with a left optical image sensor 6, a left plano-concave lens 7, a left lens 8 and a left optical axis 9 and a right optical channel with a right one optical image recorder 2, a right plano-concave lens 3, a right lens 4 and a right optical axis 5. Since the components match the first 3D endoscope according to FIG. 1, the same reference numbers were used. The difference between the second 3D endoscope and the first 3D endoscope is that the left optical axis 9 and the right optical axis 5 do not run parallel to one another, but at an angle that differs from 0° and 180°.
  • the two plano-concave lenses 3, 7, the two objectives 4, 8 and the two image recorders 2, 6 are arranged accordingly. Furthermore, the two optical axes 5, 9 run through the center of the respective image sensor 2, 6. A ray emanating from the center of the left image sensor 6 runs along the left optical axis 9. A ray emerging from the center of the right image sensor 2 runs along the right optical axis 5. In contrast to the first 3D endoscope 1, in the second 3D endoscope 20 the centers of the two image recorders 2, 6 are not offset relative to the optical axes 5, 9. The two optical axes 5, 9 of the 3D endoscope 20 intersect at one point. This point corresponds to the convergence point 21 . The convergence angle ⁇ corresponds to the angle at which the two optical axes 5, 9 intersect.
  • the distance between the entrance pupils, not shown in the drawing, and the convergence point is the convergence distance.
  • the convergence distance is adjusted with the second 3D endoscope if the object distance of an object to be displayed deviates from the convergence distance.
  • the two image areas B1', B2' are shifted relative to one another. This takes place as described above with reference to the first 3D endoscope.
  • a third 3D endoscope 30 is shown in FIG. It has the same components as the first 3D endoscope 1 according to FIG. 1 and, in addition, a left and a right prism 32, 31.
  • the difference between the third 3D endoscope and the first 3D endoscope is that a left prism 32 is arranged on the left plano-concave lens 7 and a right prism 31 is arranged on the right plano-concave lens 3 .
  • the center line of the left lens 8 and the right lens 4 are parallel to each other.
  • the center line of the left lens 8 goes through the center of the left image sensor 6 and the center line of the right lens 4 through the center of the right image sensor 2.
  • the left prism 32 ensures that a beam 34 emanating from the center of the left-hand image recorder 6 bends.
  • the right prism 31 ensures that a beam 33 emanating from the center of the right image recorder 2 bends.
  • the two beams 33, 34 intersect at the convergence point 35.
  • the convergence angle ⁇ corresponds to the angle at which the two beams 33, 34 intersect.
  • the distance between the two entrance pupils, not shown in the drawing, and the convergence point is the convergence distance.
  • the convergence distance of the 3D endoscope 30 is adapted to an object distance of a Drawing not shown object by cutting out image areas B1 'and B2' and moving the two image areas relative to the two imagers.
  • FIG. 4 shows the adjustment of the convergence distance by shifting the image areas B1′ and B2′ for all three 3D endoscopes mentioned above.
  • the image areas B1' and B2' are drawn with dashed lines.
  • the image recorders 2, 6 are represented by continuous lines.
  • the image areas B1 'and B2' are shifted in an area which is delimited by the image recorders 2, 6.
  • FIG. 4a shows that the ray 11 running through the center of the left image area B1' and the ray 10 running through the center of the right image area B2' intersect at the convergence point Po, which is at a convergence distance CDo.
  • the convergence point Po corresponds to point 12 in FIG. 1, to point 21 in FIG. 2 and to point 35 in FIG 0. It is not necessary to shift the image areas B1' and B2'.
  • FIG. 4b shows that the convergence distance increases when the two image areas B1' and B2' are shifted inwards relative to the image recorders 6, 2.
  • the representation implies that the two image areas B1', B2' are brought closer together.
  • Ax xi, object - X2, object > 0 applies to an object to be displayed whose object distance is greater than the preset convergence distance CDo.
  • CDi the center of the image area B1 'around the amount of 0.5*Ax in the direction of the image area B2' and the center of the image area B2' by the amount of 0.5*Ax in Direction of the image area B1 '.
  • the increased convergence distance is denoted by CDi.
  • the two beams emanating from the centers of the shifted image areas B1' and B2' intersect at the convergence point Pi, which has the convergence distance CDi.
  • FIG. 4c shows that the convergence distance decreases when the two image areas B1' and B2' are shifted outwards relative to the image recorders 6, 2.
  • the representation implies that the two image areas B1', B2' are separated from each other.
  • Ax xi, object - X2, object ⁇ 0 applies to an object to be displayed whose object distance is smaller than the preset convergence distance CDo amount of 0.5*Ax in the direction opposite to the image area B2' and the center of the image area B2' by the amount 0.5*Ax in the direction opposite to the image area B1'.
  • the reduced convergence distance is denoted by CD2.
  • the two rays emanating from the centers of the shifted image areas B1' and B2' intersect at the convergence point P2, which has the convergence distance CD2.
  • FIG. 5 shows three different positions of the left image area B1' and the right image area B2' relative to the left optical image recorder 6 and to the right optical image recorder 2 in a plan view.
  • the representation also shows the x-iy-i coordinate system, which is assigned to the left image area B1' and the X2y2 coordinate system, which is assigned to the right image area B2'.
  • the X2 axis points in the same direction as the xi axis.
  • the left image area B1' is smaller than the left optical image recorder 6.
  • the right image area B2' is smaller than the right optical image recorder 2.
  • the left test area ROI1 and the right test area ROI2 are also shown in FIG.
  • the left test area is smaller than the left image area B1'.
  • Of the right test area R0I2 is smaller than the right image area B2'. In all representations, it is located in the center of the associated image area.
  • the two image areas BT, B2' are drawn in with a continuous line. This position of the image areas is referred to as the mean distance in a caption.
  • This position of the two image areas BT, B2' relative to the image recorders 6, 2 corresponds to the representation according to FIG. 4a . It is suitable for objects whose object distance matches the preset convergence distance of the 3D endoscope.
  • the two image areas BT, B2' are drawn in with a dashed line.
  • This position of the image areas BT, B2' is referred to as far distance in the caption.
  • This position of the two image areas B1', B2' corresponds to the representation according to FIG. 4b.
  • the two image areas BT, B2' are drawn in with a dotted line in the upper part of FIG.
  • This position of the image areas BT, B2' is referred to as near distance in the caption.
  • This position of the two image areas B1', B2' corresponds to the representation according to FIG. 4c.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

Es werden ein Verfahren zur Wiedergabe eines mittels eines 3D-Endoskops (1, 20, 30) erzeugten stereoskopischen Bildes auf der elektronischen Anzeige eines Wiedergabegerätes und ein 3D-Endoskop (1, 20, 30) vorgeschlagen. Das 3D-Endoskop (1, 20, 30) weist einen linken optischen Kanal mit einem linken optischen Bildaufnehmer (6), einem linken Objektiv (8) und einer linken optischen Achse (9) und einen rechten optischen Kanal mit einem rechten optischen Bildaufnehmer (2), einem rechten Objektiv (4) und einer rechten optischen Achse (5) auf. Aus den Signalen des linken optischen Bildaufnehmers (6) wird ein linker Bildbereichs (B1') erzeugt. Aus den Signalen des rechten optischen Bildaufnehmers (2) wird ein rechter Bildbereich (B2') erzeugt. Die Konvergenzdistanz des 3D Endoskops wird durch Verschieben des linken Bildbereichs (B1') relativ zu dem linken optischen Bildaufnehmer (6) und/ oder des rechten Bildbereichs (B2') relativ zu dem rechten optischen Bildaufnehmer (2) anpasst. Ein stereoskopisches Bild, das die Konvergenzdistanz-angepassten linken und rechten Bildbereiche (B1', B2') umfasst, wird auf der Anzeige des Wiedergabegerätes angezeigt.

Description

Titel: Verfahren zur Wiedergabe eines mittels eines 3D-Endoskops erzeugten stereoskopischen Bildes und 3D-Endoskop
B E S C H R E I B U N G
Die Erfindung geht aus von Verfahren zur Wiedergabe eines mittels eines 3D- Endoskops erzeugten stereoskopischen Bildes und von einem 3D-Endoskop.
Endoskope und insbesondere 3D-Endoskope werden sowohl im technischen als auch im medizinischen Bereich eingesetzt. Sie dienen der Untersuchung von Strukturen an der Oberfläche oder in schwer zugänglichen Hohlräumen, Kanälen oder Vertiefungen. Diese Strukturen sind mit bloßem Auge nicht einsehbar. Im medizinischen Bereich werden Endoskope in der minimalinvasiven Chirurgie zu Untersuchungszwecken oder in Kombination mit chirurgischen Instrumenten für Operationen unter Sichtkontrolle eingesetzt. Ein Beleuchtungssystem dient dazu, die zu untersuchende Struktur zu beleuchten. Das durch eine externe Lichtquelle erzeugte Licht wird üblicherweise über Lichtleitfasern an die zu untersuchende Struktur herangeführt. Ein Bildgebungssystem dient dazu, die Information, welche in dem von der Struktur reflektierten und gestreutem Licht enthalten ist, als Bild aufzunehmen. Als Kamera oder Bildaufnehmer dient ein Bildwandlerchip, beispielsweise CMOS oder CCD. Der Bildaufnehmer wird auch als Bildsensor oder Bildgeber bezeichnet. Derartige elektronische Bildaufnehmer weisen eine Vielzahl von Bildpunkten auf, die auch als Pixel bezeichnet werden. Die Bildaufnehmer wandeln die optischen Signale in elektrische Signale um, welche anschließend auf einem Bildschirm oder einem Monitor optisch sichtbar gemacht werden.
Um dem Benutzer einen möglichst anschaulichen Eindruck von dem Einsatzort des distalen Endes des Endoskops zu vermitteln, sind verschiedene Verfahren und Vorrichtungen bekannt. Die von dem 3D-Endoskop erzeugten Bilder werden für einen Benutzer auf einem Sichtgerät, beispielsweise auf einem Monitor oder Bildschirm angezeigt. Die Bilder werden auf dem Sichtgerät so dargestellt, dass der Betrachter einen dreidimensionalen Eindruck vom Einsatzort erhält. Ein Bildschirm zeigt hierzu für das rechte und linke Auge des Betrachters getrennte Bilder an. Der Betrachter benötigt in der Regel eine spezielle Brille, so dass die für das linke Auge des Betrachters bestimmten Bilder nur vom linken Auge wahrgenommen werden, und die für das rechte Auge des Betrachters bestimmten Bilder nur von dem rechten Auge wahrgenommen werden. Hierzu zählen beispielsweise Polfilterbrillen, Farbfilterbrillen, Interferenzfilterbrillen und LCD-Shutterbrillen. Darüber hinaus sind spezielle Sichtgeräte bekannt, die der Betrachter in unmittelbarer Nähe zu seinen Augen an seinem Kopf anordnet. Derartige Sichtgeräte sind beispielsweise in ein 3D-Headset integriert. Sie werden auch als 3D-Video-Brillen bezeichnet und sind mit zwei Displays ausgestattet.
Bei bekannten Endoskopen zur Erzeugung von dreidimensionalen Darstellungen sind der oder die Bildaufnehmer am proximalen oder am distalen Ende angeordnet. Im Falle der proximalen Anordnung befindet sich zwischen dem distalen Objektiv und dem Bildaufnehmer ein sogenanntes Stablinsen System zur Bildübertragung. Das Endoskop umfasst in der Regel einen flexiblen oder starren Schaft, der als länglicher Hohlkörper ausgebildet ist. Das von einer zu untersuchenden Struktur reflektierte und gestreute Licht wird am distalen Ende über ein linkes Objektiv und ein rechtes Objektiv eingekoppelt und über zwei räumlich getrennte optische Systeme mit optischen Komponenten wie Linsen und Prismen oder durch ein Stablinsensystem dem oder den Bildaufnehmern zugeführt. Ein linker optischer Kanal umfasst einen linken optischen Bildaufnehmer oder Bildaufnehmerbereich, ein linkes Objekiv und eine linke optische Achse. Ein rechter optischer Kanal umfasst einen rechten optischen Bildaufnehmer oder Bildaufnehmerbereich, ein rechtes Objektiv und eine rechte optische Achse. Zwischen dem Objektiv und dem Bildaufnehmer kann ein optisches Bildleitungssystem vorgesehen sein. In diesem Fall gibt ein linkes optisches Bildleitungssystem das von dem linken Objektiv erhaltene Bild an den linken Bildaufnehmer weiter. Entsprechend umfasst in diesem Fall ein rechter optischer Kanal das rechte Objektiv am distalen Ende des Schaftes und ein rechtes optisches Bildleitungssystem, wobei das rechte optische Bildleitungssystem das von dem rechten Objektiv erhaltene Bild an den rechten Bildsensor weitergibt. Dabei sind das linke und das rechte Objektiv in der Regel gleich groß und nebeneinander an dem distalen Ende des Schaftes angeordnet. Üblicherweise sind die wesentlichen oder alle optischen Merkmale des linken und rechten Kanals identisch. Die von den Bildaufnehmern dabei aufgenommenen Bilder werden durch eine Bildbearbeitungseinrichtung zu einem dreidimensionalen Bild zusammengefügt und auf einem Sichtgerät für den Benutzer sichtbar dargestellt.
Die Tiefenempfindung eines stereoskopischen Bildes, das aus Paaren jeweils eines linken Bildes und eines rechten Bildes besteht und auf einer elektronischen Anzeige erscheint, unterscheidet sich von der stereoskopischen Tiefenempfindung eines Betrachters in der natürlichen Welt. Linkes und rechtes Auge eines Betrachters haben einen festen Eintrittspupillenabstand, der auch als Inter Ocular Distance, abgekürzt IOD, bezeichnet wird. Die stereoskopische Tiefenempfindung wird beim Betrachter dadurch optimiert, dass die optische Achse des linken Auges und die optische Achse des rechten Auges in einem Punkt konvergieren, der von dem Betrachter fixiert wird. Die Konvergenzdistanz wird an die Objektdistanz angeglichen. Gleichzeitig wird die Akkommodation der Linse des linken Auges und der Linse des rechten Auges angepasst, so dass physikalisch betrachtet die Brennweite der beiden Linsen an die Objektdistanz bei konstanter Bildweite angeglichen wird. Die Angleichung der Konvergenzdistanz an die Objektdistanz erfolgt fortlaufend durch eine Bewegung der Augen, welche zu einer Änderung der Ausrichtung der optischen Achse des linken Auges und der optischen Achse des rechten Auges führt. Dies wiederum bewirkt eine Änderung des Konvergenzwinkels. Das menschliche Gehirn steuert fortwährend die verantwortlichen Muskeln der Augen, insbesondere Medial Rectus und Lateral Rectus, derart, dass bestmögliche Konvergenz erzielt wird. Physikalisch bedeutet dies, dass für ein in einer bestimmten Distanz betrachtetes Objekt die Disparität der beiden optischen Kanäle des linken und rechten Auges in einem Bereich um das Zentrum so gering wie möglich erscheint.
Bei einem 3D-Endoskop ist in der Regel der Abstand der Objektive fest vorgegeben und damit der Eintrittspupillenabstand zwischen dem linken optischen Kanal und dem rechten optischen Kanal. Darüber hinaus sind die linke optische Achse und die rechte optische Achse starr. In diesem Fall ist der Konvergenzwinkel durch die beiden starren optischen Achsen vorgegeben. Wird mit dem 3D-Endoskop ein Objekt betrachtet, dessen Objektdistanz zu dem 3D- Endoskop im wesentlichen der durch den Konvergenzwinkel vorgegebenen Konvergenzdistanz entspricht, so ist die Disparität minimiert und die dreidimensionale Darstellung optimiert. Je stärker jedoch die Objektdistanz von der Konvergenzdistanz abweicht, umso größer wird die Disparität. Das mit dem linken optischen Kanal des 3D-Endoskops erzeugte linke Bild und das mit dem rechten optischen Kanal erzeugte rechte Bild können vom Betrachter unabhängig von der Anzeigeeinrichtung nicht mehr zur Deckung gebracht werden.
Grundsätzlich besteht zwar die Möglichkeit, bei einem 3D-Endoskop den Abstand der Objektive variabel zu gestalten oder die optischen Komponenten des linken und rechte Kanals derart anzuordnen, dass die linke optische Achse und die rechte optische Achse verstellbar sind und der Konvergenzwinkel einstellbar ist. In der Praxis ist dies jedoch mit einem erheblichen Aufwand verbunden. Ferner besteht bei Endoskopen häufig die Anforderung, dass der Schaft einen möglichst kleinen Durchmesser aufweist, um in kleine Hohlräume eingeführt werden zu können. In einem Schaft mit kleiner Abmessung ist jedoch für mechanische Komponenten, die eine Einstellung des Konvergenzwinkels ermöglichen, kein Platz.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Wiedergabe eines mittels eines 3D-Endoskops erzeugten stereoskopischen Bildes und ein 3D- Endoskop zur Verfügung zu stellen, bei denen eine Anpassung der Konvergenzdistanz an eine Objektdistanz eines darzustellenden Objektes ermöglicht ist, ohne dass hierzu die optischen Komponenten des 3D-Endoskops verstellt werden müssen.
Diese Aufgabe wird mit einem Verfahren nach Anspruch 1 und mit einem 3D- Endoskop nach Anspruch 16 gelöst. Gemäß dem erfindungsgemäßen Verfahren werden die Signale eines zusammenhängenden Teilbereichs der Bildpunkte eines linken optischen Bildaufnehmers ausgelesen. Aus diesen Signalen des linken Bildaufnehmers wird ein linker Bildbereich BT erzeugt. Ferner werden die Signale eines zusammenhängenden Teilbereichs der Bildpunkte eines rechten optischen Bildaufnehmers ausgelesen. Aus diesen Signalen des rechten Bildaufnehmers wird ein rechter Bildbereich B2‘ erzeugt. Anschließend werden der linke Bildbereich BT und der rechte Bildbereich B2‘ relativ zu den Bildaufnehmern verschoben, wodurch die Konvergenzdistanz verändert wird. Dabei wird die Konvergenzdistanz an eine Objektdistanz eines mit dem 3D Endoskop abzubildenden Objektes derart angepasst, dass die Disparität minimiert ist. Vorteilhafterweise werden die Bildbereiche BT, B2‘ so verschoben, dass die Disparität in Bezug auf das darzustellende Objekt kleiner oder gleich einem vorgegebenen Schwellenwert ist. Die derart angepassten Bildbereiche B1 ‘ und B2‘ werden als stereoskopisches Bild auf der Anzeige eines Wiedergabegeräts angezeigt. Stimmt die Objektdistanz eines mit dem 3D- Endoskop zu betrachtenden Objektes mit der voreingestellten Konvergenzdistanz des 3D-Endoskops überein, müssen die beiden Bildbereiche nicht verschoben werden. Weicht die Objektdistanz jedoch von dieser voreingestellten Konvergenzdistanz ab, so erfolgt eine Anpassung durch Verschieben der beiden Bildbereiche BT und B2‘. Zur Einstellung einer Konvergenzdistanz, die größer ist als die voreingestellte Konvergenzdistanz des 3D-Endoskops, werden die beiden Bildbereiche BT, B2‘ beim Verschieben aufeinander zu bewegt, beispielsweise indem das Zentrum des linken Bildbereichs BT in Richtung des rechten Bildbereichs B2‘ bewegt wird. Zur Einstellung einer Konvergenzdistanz, die kleiner ist als die voreingestellte Konvergenzdistanz des 3D-Endoskops, werden die beiden Bildbereiche B1 ‘ und B2‘ voneinander weg bewegt. Durch das Verschieben der beiden Bildbereiche BT, B2‘ wird die Disparität in Bezug auf das fixierte Objekt reduziert. Auf der elektronischen Anzeige werden beim Zusammenfügen des linken Bildbereichs B1 ‘ und des rechten Bildbereichs B2‘ die beiden Darstellungen des Objektes zur Deckung gebracht, so dass zwischen den beiden Bildbereichen kein Versatz mehr gegeben ist. Der Mensch gewinnt den besten räumlichen Eindruck, wenn die Konvergenzdistanz, abgekürzt CD, mit der Objektdistanz, abgekürzt OD, bestmöglich identisch ist.
Elektronische Bildaufnehmer weisen eine vorgegebene Anzahl an Bildpunkten auf, die auch als Pixel bezeichnet werden. Der linke optische Bildaufnehmer weist eine Anzahl n an Bildpunkten auf. Der rechte optische Bildaufnehmer weist eine Anzahl m an Bildpunkten auf. Die Anzahl n kann mit der Anzahl m übereinstimmen. Dies ist jedoch nicht zwingend notwendig.
Der zusammenhängende Teilbereich der Bildpunkte kann alle Bildpunkte n des linken Bildaufnehmers umfassen oder eine kleinere Anzahl m an Bildpunkten. Es wird quasi ein Bildbereich B1 ‘ aus einem Bild B1 ausgeschnitten, das aus den Signalen aller Bildpunkte des linken optischen Bildaufnehmers besteht. Entsprechendes gilt für den rechten optischen Bildaufnehmer. Der zusammenhängende Teilbereich der Bildpunkte kann alle Bildpunkte m des rechten Bildaufnehmers umfassen oder eine kleinere Anzahl rrn an Bildpunkten. Es wird quasi ein Bildbereich B2‘ aus dem Bild B2 des rechten optischen Bildaufnehmers ausgeschnitten, das aus den Signalen aller Bildpunkte des rechten optischen Bildaufnehmers besteht. Verschieben des Bildbereichs bedeutet, dass die berücksichtigten Bildpunkte um eine bestimmte Anzahl an Bildpunkten relativ zu dem zugehörigen Bildaufnehmer bewegt werden.
Das Zentrum des linken Bildaufnehmers und des rechten Bildaufnehmers kann gegenüber den optischen Achsen der zugehörigen Objektive um eine bestimmte Anzahl von Bildpunkten verschoben sein, so dass sich die jeweils vom Zentrum der beiden Bildaufnehmer ausgehenden Strahlen in einem Punkt schneiden, der sich in einer vorgegebenen Konvergenzdistanz CDo zu den beiden Eintrittspupillen des 3D-Endoskops befindet. Von der nativen Auflösung der Bildaufnehmer werden je optischem Kanal eine bestimmte Anzahl an Bildpunkten um das Zentrum oder nahe des Zentrums der Konvergenzdistanz von einer Bildverarbeitungseinrichtung ausgelesen, verarbeitet, gegebenenfalls durch Vergrößerung mit dem Faktor V skaliert und für den linken und rechten optischen Kanal als 3D Videosignal ausgegeben. In diesem Fall wird also ein 3D Bild mit der vorgegebenen Konvergenzdistanz CDo angezeigt. Zur Einstellung einer Konvergenzdistanz CDi größer als CDo sind die Zentren der ausgelesenen Bildpunkte in den beiden optischen Kanälen näher zueinander zu wählen. Entsprechend sind zur Einstellung einer Konvergenzdistanz CD2 kleiner als CDo die Zentren der ausgelesenen Pixel in den beiden Kanälen weiter auseinander zu wählen. Mit einem angenommen Verschiebebereichen von jeweils einer Anzahl p Bildpunkten nach innen oder außen ergeben sich in diesem Fall Konvergenzdistanzen innerhalb eines von der Anzahl der Bildpunkte abhängigen Bereichs.
Das Verschieben der beiden Bildbereiche B1 ‘, B2‘ relativ zu den Bildaufnehmern mit der daraus resultierenden Anpassung der Konvergenzdistanz CD kann automatisch mittels einer Bildverarbeitungseinrichtung oder manuell mittels einer Eingabeeinrichtung erfolgen.
Nach einer vorteilhaften Ausgestaltung der Erfindung wird in dem linken Bildbereich B1 ‘ ein linker Prüfbereich ROI1 vorgegebener Größe und in dem rechten Bildbereich B2‘ ein rechter Prüfbereich ROI2 vorgegebener Größe bestimmt. Die Disparität wird zwischen dem linken Prüfbereich R0I1 und dem rechten Prüfbereich ROI2 bestimmt. Die Disparität dient als Größe zur Bewertung einer automatischen Anpassung der Konvergenzdistanz. Hierzu werden fortwährend die zur stereoskopischen 3D Darstellung ausgeschnittenen linken und rechten Bildbereiche B1 ‘, B2‘ innerhalb des definierten Prüfbereiches ROI1 , ROI2 um das Zentrum jedes Bildes der beiden optischen Kanäle auf Disparität oder Verschiedenheit analysiert. Verwendbare Algorithmen zur Berechnung der Größe der Disparität sind in der Bildverarbeitung bekannt und etabliert. Sie werden deshalb hier nicht weiter beschrieben. Vorteilhaft für die Bildbetrachtung ist, wenn eine Anpassung der Konvergenzdistanz bei Wahrnehmung einer sichtbaren Abweichung ausgeführt wird. Hierzu kann ein Schwellenwert für die Disparität vorgegeben werden. Erst wenn der Schwellenwert überschritten ist und die Disparität größer als dieser Schwellenwert ist, erfolgt eine Nachregelung der Konvergenzdistanz. Zur Nachregelung der Konvergenzdistanz wird im linken und rechten optischen Kanal in dem definierten Prüfbereich (ROI) die Lage markanter Merkmale verglichen. In der Bildverarbeitung sind zahlreiche Verfahren zur automatischen Erkennung von Merkmalen bekannt und etabliert.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung werden der linke Bildbereich B1 ‘ und der rechte Bildbereich B2‘ so weit verschoben, bis die Disparität kleiner oder gleich einem vorgegebenen Schwellenwert S ist. Die Maximaldisparität entspricht dann dem Schwellenwert, ab dem eine Anpassung der Konvergenzdistanz erfolgt.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung wird für die Disparität ein Schwellenwert S vorgegeben. Eine Anpassung der Konvergenzdistanz wird nur dann vorgenommen, wenn die Disparität zwischen dem linken Prüfbereich ROI1 und dem rechten Prüfbereich ROI2 größer ist als der vorgegebene Schwellenwert S.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung wird zur Anpassung der Konvergenzdistanz des linken Bildbereichs B1 ‘ und des rechten Bildbereichs B2‘ ein in dem linken Bildbereich B1 ‘ enthaltenes Objekt lokalisiert und dessen Position im Bildbereich B1 ‘ bestimmt. Ferner wird dieses Objekt in dem rechten Bildbereich B2‘ lokalisiert und dessen Position im Bildbereich B2‘ bestimmt. Bei dem Objekt kann es sich beispielsweise um ein markantes Merkmal handeln, welches in dem linken Bildbereich B1 ‘ und in dem rechten Bildbereich B2‘ enthalten ist. Der Verschiebeweg, um den der linke Bildbereich B1 ‘ und/ oder der rechte Bildbereich B2‘ verschoben werden, wird aus der im linken Bildbereich B1 ‘ und im rechten Bildbereich B2‘ bestimmten Position dieses Objektes abgeleitet.
Nach einerweiteren vorteilhaften Ausgestaltung der Erfindung wird als Objekt ein charakteristisches Merkmal identifiziert, das sowohl im linken Bildbereich B1 ‘ als auch im rechten Bildbereich B2‘ enthalten ist.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung wird der linke Bildbereich B1 ‘ mit einem xiyi -Koordinatensystem ausgestattet, wobei die x-i- Achse und die yi -Achse senkrecht zueinander verlaufen. Der Nullpunkt (xi, yi) = (0,0) liegt in der Mitte des linken Bildbereichs. Der rechte Bildbereich wird mit einem X2y2-Koordinatensystem ausgestattet, wobei die X2-Achse in Verlängerung zu der xi -Achse oder parallel zu der xi -Achse verläuft und die y2-Achse parallel zu der yi-Achse verläuft. Der Nullpunkt (X2, y2) = (0,0) liegt in der Mitte des linken Bildbereichs.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung weist die xi-Achse in Richtung des Nullpunkts (X2, y2) = (0, 0) und die X2-Achse in die gleiche Richtung. Damit zeigen die xi-Achse und die X2-Achse in die gleiche Richtung.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung wird zur Lokalisierung eines Objektes in dem linken Bildbereich B1 ‘ mindestens eine xi- Koordinate dieses Objektes im linken Bildbereich B1 ‘ als xi, Objekt bestimmt. Ferner wird zur Lokalisierung dieses Objektes in dem zweiten Bildbereich B2‘ mindestens eine X2-Koordinate dieses Objektes im zweiten Bildbereich B2‘ als X2, Objekt bestimmt. Bei perfekt eingestellter Konvergenz und einer verzeichnungsfreien Bilddarstellung wäre ein Objekt oder Merkmal, welches sich im linken optischen Kanal bei (xi .obkjekt, yi , Objekt) befindet, im rechten optischen Kanal bei (X2, Objekt, y2, Objekt), wobei xi, Objekt = X2, Objekt. Ist die Objektdistanz (OD) von der eingestellten Konvergenzdistanz (CD) abweichend, dann sind xi .Objekt und X2, Objekt verschieden: xi, Objekt + X2, Objekt.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung wird zur Anpassung der Konvergenzdistanz die Differenz gebildet wird aus der Koordinate xi, Objekt dieses Objektes und der Koordinate X2, Objekt dieses Objektes, nämlich AX = X1 .Objekt - X2, Objekt.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung wird die Konvergenzdistanz in Abhängigkeit von Ax wie folgt verändert:
- bei Ax > 0 wird der linke Bildbereich B1 ‘ um 0,5*Ax in Richtung der xi- Achse verschoben und der rechte Bildbereich B2‘ um -0,5*Ax in Richtung der der X2-Achse verschoben, was zu einer Vergrößerung der Konvergenzdistanz führt,
- bei Ax < 0 wird der linke Bildbereich B1 ‘ um 0,5*Ax in Richtung der x-i- Achse verschoben und der rechte Bildbereich B2‘ um -0,5*Ax in Richtung der X2-Achse verschoben, was zu einer Verkleinerung der Konvergenzdistanz führt. Da Ax kleiner als 0 und damit eine negative Zahl ist, erfolgt die Verschiebung der Bildbereiche B1 ‘ und B2‘ in die entgegengesetzte Richtung wie im Fall Ax>0.
- bei Ax = 0 bleiben der linke Bildbereich B1 ‘ und der rechte Bildbereich B2‘ unverändert, so dass die Konvergenzdistanz nicht verändert wird.
Da das x-iy-i-Koordinatensystem dem linken Bildbereich B1 ‘ zugeordnet ist, wird das Koordinatensystem einschließlich des Nullpunkts (xi ,yi )=(0,0) zusammen mit dem linken Bildbereich B1 ‘ verschoben. Man kann sich das so vorstellen, dass unmittelbar vor dem Verschieben des linken Bildbereichs B1‘ das x-iy-i- Koordinatensystem auf den linken Bildaufnehmer projiziert wird. Gegenüber diesem auf den linken Bildaufnehmer projizierten xi’yi‘-Koordinatenssystem wird der linke Bildbereich B einschließlich dem ihm zugeordneten x-iy-i- Koordinatensystem um 0,5*Ax verschoben. Entsprechendes gilt für den rechten Bildbereich B2‘ und den rechten Bildaufnehmer, dem unmittelbar vor dem Verschieben des Bildbereichs B2‘ ein projiziertes X2‘y2‘-Koordinatensystem zugeordnet wird. Nach dem Verschieben gilt für das darzustellenden Objekt Ax=0, da in Bezug auf die beiden zusammen mit den Bildbereichen B1 ‘ und B2‘ verschobenen x-iy-i- und X2y2-Koordinatensysteme die Koordinaten xi .Objekt und X2, Objekt gleich sind. Aufgrund der Verschiebung der beiden Bildbereiche B1 ‘ und B2‘ ist die Disparität signifikant vermindert und wäre bei idealen Bedingungen, insbesondere bei Verzeichnungsfreiheit, bei identischen Objektiven im linken und rechten optischen Kanal und bei einem Prüfbereich ROI ohne Tiefeninformation, sogar gleich null. Sobald die Verschiebung erfolgt ist, sind das xi‘yT- Koordinatensystem des linken Bildaufnehmers und das X2‘y2‘-Koordinatensystem des rechten Bildaufnehmers nicht mehr relevant. Sie werden nach erfolgter Verschiebung nicht zur weiteren Anpassung der Konvergenzdistanz benötigt und können verworfen werden. Sofern nach Ablauf eines vorgegebenen Zeitabschnitts erneut eine Anpassung der Konvergenz nach dem erfindungsgemäßen Verfahren durchgeführt wird, müssen in Abhängigkeit von einem neuen Ax die beiden Bildbereiche BT und B2‘ gegebenenfalls erneut verschoben werden. In diesem Fall wird das x-iy-i-Koordinatensystem des linken Bildbereichs BT erneut auf den linken Bildaufnehmer projiziert. Entsprechend wird das X2y2-Koordinatensystem des rechten Bildbereichs B2‘ erneut auf den rechten Bildaufnehmer projiziert. Diese projizierten Koordinatensysteme weichen jedoch von den vor der vorhergehenden Verschiebung projizierten Koordinatensystemen ab. Insbesondere ist der Nullpunkt ein anderer. Die Richtungen der xi- und y-i-Achse sowie der X2- und y2-Achse stimmen jedoch stets überein. Die Anpassung kann beliebig oft wiederholt werden.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung führt das Verschieben des linken Bildbereichs B1 ‘ und des rechten Bildbereichs B2‘
- bei Ax >0 zu einer Vergrößerung der Konvergenzdistanz und
- bei Ax < 0 zu einer Verkleinerung der Konvergenzdistanz. Nach einer vorteilhaften Ausgestaltung der Erfindung ist die Größe des linken Bildbereichs B1 ‘ und die Größe des rechten Bildbereichs B2‘ fest vorgegeben. Dabei stimmt die Größe des linken Bildbereichs B1 ‘ mit der Größe des rechten Bildbereichs B2‘ überein. Dies gilt insbesondere dann, wenn die Größe des linken Bildaufnehmers und des rechten Bildaufnehmers übereinstimmt. In diesem Fall stimmt in der Regel die Anzahl der Bildpunkte des linken und rechten Bildaufnehmers überein. Es gilt m=n. Sollten der linke Bildaufnehmer und der rechte Bildaufnehmer eine unterschiedliche Anzahl an Bildpunkten aufweisen, sind sie auch verschieden groß. Wenn dies der Fall ist, dann sind auch die Bildbereiche BT, B2‘ unterschiedlich groß. Für den Fall m ungleich n sind die Bildbereiche BT B2‘ derart gewählt, dass die abgebildeten horizontalen und vertikalen Bildwinkel der Gegenstandsebene identisch sind.
Nach einer weiteren vorteilhaften Ausgestaltung der Erfindung wird die Anpassung der Konvergenzdistanz in regelmäßigen Zeitabständen wiederholt. Der Zeitabstand wird dabei so gewählt, dass ein Schwingen des Systems vermieden wird. Die Wahrnehmung soll für den Betrachter möglich und angenehm sein. Ein Beispiel für einen geeignete Zeitverzögerung zwischen zwei Anpassungsvorgängen ist 200 ms.
Nach einer vorteilhaften Ausgestaltung der Erfindung werden der linke Bildbereich B1 ‘ und/ oder der rechte Bildbereich B2‘ durch manuelle Betätigung einer Eingabeeinrichtung in verschoben. Dies gilt beispielsweise, wenn ein Anwender mit einer automatisch eingestellten Konvergenzdistanz nicht zufrieden ist. Ein derartiger Fall kann zum Beispiel vorliegen, wenn der Anwender die beste Konvergenz nicht im Zentrum haben möchte. In diesem Fall kann der Anwender über die Eingabeeinrichtung die von ihm gewünschte Konvergenzdistanz einstellen. Als Eingabeeinrichtung können beispielweise ein oder zwei Taster vorgesehen sein. Das erfindungsgemäße 3D Endoskop mit den Merkmalen des Anspruchs 16 zeichnet sich dadurch aus, dass es einen linken optischen Kanal, einen rechten optischen Kanal und eine Bildverarbeitungseinrichtung aufweist. Der linke optische Kanal umfasst einen linken optischen Bildaufnehmer mit einer Anzahl n an Bildpunkten, ein linkes Objektiv und eine linke optische Achse. Der rechte optische Kanal umfasst einen rechten optischen Bildaufnehmer mit einer Anzahl m an Bildpunkten, ein rechtes Objektiv und eine rechte optische Achse. Dabei ist die Ausrichtung der linken optischen Achse und der rechten optischen Achse zueinander fest vorgegeben. Der Abstand zwischen dem linken und rechten Objektiv ist ebenfalls fest vorgegeben. Die Bildverarbeitungseinrichtung liest die Signale eines zusammenhängenden Teilbereichs der Bildpunkte des linken optischen Bildaufnehmers aus und erzeugt aus diesen Signalen des linken optischen Bildaufnehmers einen linken Bildbereich BT. Ferner liest die Bildverarbeitungseinrichtung die Signale eines zusammenhängenden Teilbereichs der Bildpunkte des rechten optischen Bildaufnehmers aus und erzeugt aus diesen Signalen des rechten optischen Bildaufnehmers einen rechten Bildbereich B2‘. Die Bildverarbeitungseinrichtung passt die Konvergenzdistanz des linken Bildbereichs BT und des rechten Bildbereichs B2‘ durch Verschieben des linken Bildbereichs B1 ‘ relativ zu dem rechten Bildbereich B2‘ an. Aus dem Konvergenzdistanz-angepassten linken Bildbereich BT und dem Konvergenzdistanz-angepassten rechten Bildbereich B2‘ erzeugt die Bildverarbeitungseinrichtung ein stereoskopisches Bild, das auf einem elektronischen Anzeigegerät ausgegeben wird.
Weitere Vorteile und vorteilhafte Ausgestaltungen sind in der nachfolgenden Beschreibung, der Zeichnung und den Ansprüchen enthalten. Zeichnung
In der Zeichnung sind exemplarisch drei verschiedene Endoskope dargestellt. Anhand dieser Endoskope ist das erfindungsgemäße Verfahren erläutert. Es zeigen:
Figur 1 erstes 3D Endoskop,
Figur 2 zweites 3D Endoskop,
Figur 3 drittes 3D Endoskop,
Figur 4a schematische Darstellung der Bildbereiche B1 ‘, B2‘, des Konvergenzpunktes und der Konvergenzdistanz,
Figur 4b schematische Darstellung der Vergrößerung der Konvergenzdistanz,
Figur 4c schematische Darstellung der Verkleinerung der Konvergenzdistanz,
Figur 5 optische Bildaufnehmer in einer Aufsicht mit unterschiedlichen Positionen der zugehörigen Bildbereiche.
Beschreibung des Ausführungsbeispiels
In Figur 1 ist ein erstes 3D Endoskop 1 mit einem linken optischen Kanal und einem rechten optischen Kanal dargestellt. Der linke optische Kanal umfasst einen linken optischen Bildaufnehmer 6, eine linke Plankonkavlinse 7, ein linkes Objektiv 8 und eine linke optische Achse 9. Dabei verläuft die linke optische Achse 9 durch die Mitte der Plankonkavlinse 7 und durch die Mitte des linken Objektivs 8. Sie entspricht der Mittellinie des linken Objektivs 8. Der linke optische Bildaufnehmer 6 ist gegenüber der linken optischen Achse 9 versetzt. Die linke optische Achse 9 verläuft nicht durch die Mitte des linken optischen Bildaufnehmers 6. Der rechte optischen Kanal umfasst einen rechten optischen Bildaufnehmer 2, eine rechte Plankonkavlinse 3, ein rechtes Objektiv 4 und eine rechte optische Achse 5. Die rechte optische Achse 5 entspricht der Mittellinie durch die rechte Plankonkavlinse 3. Der rechte optische Bildaufnehmer 2 ist gegenüber der rechten optischen Achse 5 versetzt. Die rechte optische Achse 5 verläuft nicht durch die Mitte des rechten optischen Bildaufnehmers 2. Ein linker Strahl 11 , der von dem linken optischen Bildaufnehmer 6 ausgeht, und ein rechter Strahl 10, der von dem rechten optischen Bildaufnehmer 2 ausgeht, schneiden sich in einem Punkt, der als Konvergenzpunkt 12 bezeichnet wird. Der Winkel, den der linke Strahl 1 1 und der rechte Strahl 10 einschließen, wird als Konvergenzwinkel a bezeichnet. Zwischen der linken Plankonkavlinse 7 und dem linken Objektiv 8 befindet sich die Eintrittspupille des linken optischen Kanals. Zwischen der rechten Plankonkavlinse 3 und dem linken Objektiv 4 befindet sich die Eintrittspupille des rechten optischen Kanals. Die Eintrittspupillen sind in der Zeichnung nicht dargestellt. Der Abstand zwischen den beiden Eintrittspupillen und dem Konvergenzpunkt 12 ist die Konvergenzdistanz CD. Ist ein Objekt in einer Distanz zu den Eintrittspupillen angeordnet, die der Konvergenzdistanz entspricht, so ist die dreidimensionale Darstellung optimiert. Entspricht die Objektdistanz der Konvergenzdistanz, ist die Disparität gering. Besonders gut ist die dreidimensionale Darstellung, wenn das Objekt im Konvergenzpunkt angeordnet ist. Ist die Objektdistanz größer oder kleiner als die Konvergenzdistanz, wird die Konvergenzdistanz CD mit dem erfindungsgemäßen Verfahren angepasst.
Die Bestandteile des linken optischen Kanals und des rechten optischen Kanals sind dabei so angeordnet, dass die linke optische Achse 9 und die rechte optische Achse 5 parallel zueinander sind. Ein Endoskop-Schaft, der die Bestandteile umgibt, ist in der Zeichnung nicht dargestellt. Bei dem in Figur 1 dargestellten 3D Endoskop besitzen der linke Bildaufnehmer 6 und der rechte optische Bildaufnehmer 2 jeweils eine Auflösung von 1920 x 1080 Bildpunkten. Das Zentrum jedes Bildaufnehmers 2, 6 ist gegenüber der ihm jeweils zugeordneten optischen Achse 5, 9 um eine bestimmte Anzahl von Bildpunkten verschoben, so dass die jeweils vom Zentrum der Bildaufnehmer ausgehenden Strahlen 10, 11 sich in der gewählten Konvergenzdistanz (CD) von ~ 56 mm kreuzen. Von der nativen Auflösung der Bildaufnehmer 2, 6 werden je optischem Kanal 1802 x 1014 Pixel um das Zentrum der Konvergenzdistanz einer in der Zeichnung nicht dargestellten Bildverarbeitungseinrichtung ausgelesen. Werden alle Bildpunkte des linken Bildaufnehmers 6 ausgelesen, so resultiert daraus ein linkes Bild B1. Wird nur ein Teil der Bildpunkte des linken Bildaufnehmers 6 ausgelesen, so resultiert daraus ein linker Bildbereich BT, der kleiner ist als das Bild B1 . Entsprechendes gilt für den rechten Bildaufnehmer 2, ein rechtes Bild B2 und ein rechter Bildbereich B2‘. Die Signale der ausgelesenen Bildpunkte werden verarbeitet, durch Vergrößerung mit dem Faktor V = 1 ,065 auf 1920 x 1080 skaliert und für den linken und rechten optischen Kanal als 3D Videosignal auf einem in der Zeichnung nicht dargestellten Wiedergabegerät ausgegeben. In diesem Fall wird also ein 3D Bild mit Konvergenzdistanz (CD) von 56 mm angezeigt. Das Verarbeiten der ausgelesenen Signale der Bildpunkte des linken Bildaufnehmers 6 und des rechten Bildaufnehmers 2 erfolgt mittels einer in der Zeichnung nicht dargestellten Bildverarbeitungseinrichtung.
Zur Einstellung einer Konvergenzdistanz (CD) größer als 56 mm sind die Zentren der ausgelesenen Teilbereiche der Bildpunkte in den beiden optischen Kanälen näher zueinander zu wählen. Dies entspricht einem Verschieben der beiden Bildbereiche BT, B2‘ relativ zu den beiden Bildaufnehmern 6, 2. Entsprechend sind zur Einstellung einer Konvergenzdistanz (CD) kleiner als 56 mm die Zentren der ausgelesenen Teilbereiche der Bildpunkte in den beiden Kanälen weiter auseinander zu wählen. Auch dies entspricht einem Verschieben der beiden Bildbereiche BT, B2‘ relativ zu den beiden Bildaufnehmern 6, 2. Mit Verschiebebereichen von jeweils 59 Bildpunkten nach innen oder außen ergeben sich in diesem Fall Konvergenzdistanzen (CD) von 35 mm bis 120 mm.
Figur 2 zeigt ein zweites 3D Endoskop 20. Es weist die gleichen Bestandteile auf: einen linken optischen Kanal mit einem linken optischen Bildaufnehmer 6, einer linken Plankonkavlinse 7, einem linken Objektiv 8 und einer linken optischen Achse 9 und einem rechten optischen Kanal mit einem rechten optischen Bildaufnehmer 2, einer rechten Plankonkavlinse 3, einem rechten Objektiv 4 und einer rechten optischen Achse 5. Da die Komponenten mit dem ersten 3D Endoskop gemäß Figur 1 übereinstimmen, wurden die übereinstimmenden Bezugszahlen verwendet. Der Unterschied zwischen dem zweiten 3D Endoskop und dem ersten 3D Endoskop besteht darin, dass die linke optische Achse 9 und die rechte optische Achse 5 nicht parallel zueinander verlaufen, sondern unter einem Winkel, der von 0° und 180° verschieden ist. Die beiden Plankonkavlinsen 3, 7, die beiden Objektive 4, 8 und die beiden Bildaufnehmer 2, 6 sind entsprechend angeordnet. Ferner verlaufen die beiden optischen Achsen 5, 9 durch die Mitte des jeweiligen Bildaufnehmers 2, 6. Ein von der Mitte des linken Bildaufnehmers 6 ausgehender Strahl verläuft entlang der linken optischen Achse 9. Ein von der Mitte des rechten Bildaufnehmers 2 aufgehender Strahl verläuft entlang der rechten optischen Achse 5. Im Unterschied zu dem ersten 3D Endoskop 1 sind bei dem zweiten 3D Endoskop 20 die Mitten der beiden Bildaufnehmer 2, 6 nicht gegenüber den optischen Achsen 5, 9 versetzt. Die beiden optischen Achsen 5, 9 des 3D Endoskops 20 schneiden sich in einem Punkt. Dieser Punkt entspricht dem Konvergenzpunkt 21 . Der Konvergenzwinkel ß entspricht dem Winkel, unter dem sich die beiden optischen Achsen 5, 9 schneiden. Der Abstand zwischen den in der Zeichnung nicht dargestellten Eintrittspupillen und dem Konvergenzpunkt ist die Konvergenzdistanz. Wie bei dem ersten 3D Endoskop wird bei dem zweiten 3D Endoskop die Konvergenzdistanz angepasst, wenn die Objektdistanz eines darzustellenden Objektes von der Konvergenzdistanz abweicht. Hierzu wird nur ein Teil der Bildpunkte des linken Bildaufnehmers 6 und nur ein Teil der Bildpunkte des rechten Bildaufnehmers 2 ausgelesen. Daraus ergibt sich ein linker Bildbereich B1 ‘ und ein rechter Bildbereich B2‘. Zum Anpassen der Konvergenzdistanz an die Objektdistanz werden die beiden Bildbereiche B1 ‘, B2‘ relativ zueinander verschoben. Dies geschieht entsprechend wie oben mit Bezug auf das erste 3D Endoskop beschrieben.
In Figur 3 ist ein drittes 3D Endoskop 30 dargestellt. Es weist die gleichen Bestandteile auf wie das erste 3D Endoskop 1 gemäß Figur 1 und zusätzlich ein linkes und ein rechtes Prisma 32, 31. Die Bestandteile, die mit dem ersten 3D Endoskop 1 gemäß Figur 1 übereinstimmen, sind: ein linker optischer Kanal mit einem linken optischen Bildaufnehmer 6, einer linken Plankonkavlinse 7, einem linken Objektiv 8 und einer linken optischen Achse 9 und ein rechter optischer Kanal mit einem rechten optischen Bildaufnehmer 2, einer rechten Plankonkavlinse 3, einem rechten Objektiv 4 und einer rechten optischen Achse 5. Da diese Komponenten mit dem ersten 3D Endoskop 1 gemäß Figur 1 übereinstimmen, wurden die übereinstimmenden Bezugszahlen verwendet. Der Unterschied zwischen dem dritten 3D Endoskop und dem ersten 3D Endoskop besteht darin, dass an der linken Plankonkavlinse 7 ein linkes Prisma 32 und an der rechten Plankonkavlinse 3 ein rechtes Prisma 31 angeordnet ist. Wie bei dem ersten Endoskop 1 verlaufen die Mittellinie des linken Objektivs 8 und des rechten Objektivs 4 parallel zueinander. Im Unterschied zu dem ersten 3D Endoskop 1 geht bei dem 3D Endoskop 30 die Mittellinie des linken Objektivs 8 durch die Mitte des linken Bildaufnehmers 6 und die Mittellinie des rechten Objektivs 4 durch die Mitte des rechten Bildaufnehmers 2. Das linke Prisma 32 sorgt dafür, dass ein von der Mitte des linken Bildaufnehmers 6 ausgehender Strahl 34 abknickt. Ferner sorgt das rechte Prisma 31 dafür, dass ein von der Mitte des rechten Bildaufnehmers 2 ausgehender Strahl 33 abknickt. Die beiden Strahlen 33, 34 schneiden sich im Konvergenzpunkt 35. Der Konvergenzwinkel y entspricht dem Winkel, unter dem sich die beiden Strahlen 33, 34 schneiden. Der Abstand zwischen den beiden in der Zeichnung nicht dargestellten Eintrittspupillen und dem Konvergenzpunkt ist der Konvergenzdistanz. Entsprechend zu dem ersten 3D Endoskop 1 erfolgt bei dem 3D Endoskop 30 eine Anpassung der Konvergenzdistanz an eine Objektdistanz eines in der Zeichnung nicht dargestellten Objekts durch das Ausschneiden von Bildbereichen B1 ‘ und B2‘ und dem Verschieben der beiden Bildbereiche relativ zu den beiden Bildaufnehmern.
In Figur 4 ist die Anpassung der Konvergenzdistanz durch Verschieben der Bildbereiche B1 ' und B2' für alle drei oben genannten 3D Endoskope dargestellt. Die Bildbereiche B1 ' und B2' sind gestrichelt gezeichnet. Die Bildaufnehmer 2, 6 sind durch durchgängig verlaufende Linien dargestellt. Die Bildbereiche B1 ' und B2' werden in einem Bereich verschoben, der durch die Bildaufnehmer 2, 6 abgegrenzt ist. In Figur 4a ist gezeigt, dass sich der durch das Zentrum des linken Bildbereichs B1 ' verlaufende Strahl 11 und der durch das Zentrum des rechten Bildbereichs B2' verlaufende Strahl 10 im Konvergenzpunkt Po schneiden, der sich bei einer Konvergenzdistanz CDo befindet. Der Konvergenzpunkt Po entspricht in Figur 1 dem Punkt 12, in Figur 2 dem Punkt 21 und in Figur 3 dem Punkt 35. Stimmt die Konvergenzdistanz CDo dabei mit dem Objektabstand eines darzustellenden Objektes überein, so gilt Ax = xi .Objekt - X2, Objekt = 0. Eine Verschiebung der Bildbereiche B1 ' und B2' ist nicht notwendig. Dies ist in Figur 4a dargestellt. Weicht der Objektabstand jedoch von der Konvergenzdistanz ab, so ist Ax = xi, Objekt - X2, Objekt größer oder kleiner null. In diesem Fall erfolgt eine Anpassung der Konvergenzdistanz durch Verschieben der Bildbereich B1 ‘ und B2‘. Dadurch wird die Konvergenzdistanz an den Objektabstand angepasst, um die Disparität zu verringern.
In Figur 4b ist gezeigt, dass sich die Konvergenzdistanz vergrößert, wenn die beiden Bildbereiche B1 ‘ und B2‘ relativ zu den Bildaufnehmern 6, 2 nach innen verschoben werden. Die Darstellung impliziert, dass die beiden Bildbereiche B1 ‘, B2‘ aneinander angenähert werden. Für ein darzustellendes Objekt, dessen Objektabstand größer ist als die voreingestellte Konvergenzdistanz CDo, gilt Ax = xi, Objekt - X2, Objekt > 0. Zur Anpassung der Konvergenzdistanz an den Objektabstand des darzustellenden Objekts wird in diesem Fall das Zentrum des Bildbereichs B1 ‘ um den Betrag von 0,5*Ax in Richtung des Bildbereichs B2‘ verschoben und das Zentrum des Bildbereichs B2‘ um den Betrag von 0,5*Ax in Richtung des Bildbereichs B1 ‘. Die vergrößerte Konvergenzdistanz ist mit CDi bezeichnet. Die beiden von den Zentren der verschobenen Bildbereiche B1 ‘ und B2‘ ausgehenden Strahlen schneiden sich in diesem Fall in dem Konvergenzpunkt Pi, der den Konvergenzabstand CDi aufweist.
In Figur 4c ist gezeigt, dass sich die Konvergenzdistanz verkleinert, wenn die beiden Bildbereiche B1 'und B2' relativ zu den Bildaufnehmern 6, 2 nach außen verschoben werden. Die Darstellung impliziert, dass die beiden Bildbereiche B1 ‘, B2‘ voneinander entfernt werden. Für ein darzustellendes Objekt, dessen Objektabstand kleiner ist als die voreingestellte Konvergenzdistanz CDo, gilt Ax = xi, Objekt - X2, Objekt < 0. Zur Anpassung der Konvergenzdistanz an den Objektabstand des darzustellenden Objekts wird in diesem Fall das Zentrum des Bildbereichs B1 ‘ um den Betrag von 0,5*Ax in die dem Bildbereich B2‘ entgegen gesetzte Richtung verschoben und das Zentrum des Bildbereichs B2‘ um den Betrag 0,5*Ax in die dem Bildbereich B1 ‘ entgegen gesetzte Richtung. Die verkleinerte Konvergenzdistanz ist mit CD2 bezeichnet. Die beiden von den Zentren der verschobenen Bildbereiche B1 ‘ und B2‘ ausgehenden Strahlen schneiden sich in diesem Fall in dem Konvergenzpunkt P2, der den Konvergenzabstand CD2 aufweist.
In Figur 5 sind drei verschiedene Positionen des linken Bildbereichs B1 ‘ und des rechten Bildbereichs B2‘ relativ zu dem linken optischen Bildaufnehmer 6 und zu dem rechten optischen Bildaufnehmer 2 in einer Aufsicht dargestellt. Die Darstellung zeigt ferner das x-iy-i-Koordinatensystem, welches dem linken Bildbereich B1 ‘ zugeordnet ist und das X2y2-Koordinatensystem, welches dem rechten Bildbereich B2‘ zugeordnet ist. Dabei zeigt die xi -Achse in Richtung des Nullpunkts (X2,y2) = (0,0). Die X2-Achse zeigt in die gleiche Richtung wie die x-i- Achse. Der linke Bildbereich B1 ‘ ist kleiner als der linke optische Bildaufnehmer 6. Der rechte Bildbereich B2‘ist kleiner als der rechte optische Bildaufnehmer 2. Ferner sind in Figur 5 der linke Prüfbereich ROI1 und der rechte Prüfbereich ROI2 dargestellt. Der linke Prüfbereich ist kleiner als der linke Bildbereich B1 ‘. Der rechte Prüfbereich R0I2 ist kleiner als der rechte Bildbereich B2‘. Er befindet sich bei allen Darstellungen im Zentrum des zugehörigen Bildbereichs.
Folgende Positionen der Bildbereiche B1 ‘ und B2‘ sind in Figur 5 dargestellt:
In der Darstellung in der Mitte der Figur 5 sind die beiden Bildbereiche BT, B2‘ mit einer durchgehenden Linie eingezeichnet. Diese Position der Bildbereiche ist in einer Bildunterschrift als mittlere Distanz bezeichnet. Das Zentrum des linken Bildbereichs B1 ‘ mit dem Nullpunkt (xi,yi) = (0,0) des ihm zugeordneten x-iy-i- Koordinatensystems befindet sich in der Mitte des linken Bildaufnehmers 6. Das Zentrum des rechten Bildbereichs B2‘ mit dem Nullpunkt (X2,y2) = (0,0) des ihm zugeordneten X2y2-Koordinatensystems befindet sich in der Mitte des rechten Bildaufnehmers 2. Diese Position der beiden Bildbereiche BT, B2‘ relativ zu den Bildaufnehmern 6, 2 entspricht der Darstellung gemäß Figur 4a. Sie ist geeignet für Objekte, deren Objektdistanz mit der voreingestellten Konvergenzdistanz des 3D-Endoskops übereinstimmt.
Im unteren Teil der Figur 5 sind die beiden Bildbereiche BT, B2‘ mit einer gestrichelten Linie eingezeichnet. Diese Position der Bildbereiche BT, B2‘ ist in der Bildunterschrift als ferne Distanz bezeichnet. In dieser Position befindet sich das Zentrum (xi,yi) = (0,0) des linken Bildbereichs BT näher am rechten Rand des linken Bildaufnehmers 6 und das Zentrum (X2,y2) = (0,0) des rechten Bildbereichs B2‘ näher am linken Rand des rechten Bildaufnehmers 2. Die Darstellung zeigt, dass die beiden Mittelpunkte (xi,yi) = (0,0) und (X2,y2) = (0,0) der den Bildbereichen BT und B2‘ zugeordneten Koordinatensysteme gegenüber ihrer Position in der mittleren Darstellung in Figur 5 nach innen verschoben sind. Diese Position der beiden Bildbereiche B1 ', B2‘ entspricht der Darstellung gemäß Figur 4b.
Im oberen Teil der Figur 5 sind die beiden Bildbereiche BT, B2‘ mit einer gepunkteten Linie eingezeichnet. Diese Position der Bildbereiche BT, B2‘ ist in der Bildunterschrift als nahe Distanz bezeichnet. In dieser Position befindet sich das Zentrum (xi,yi) = (0,0) des linken Bildbereichs B1 ‘ näher am linken Rand des linken Bildaufnehmers 6 und das Zentrum (X2,y2) = (0,0) des rechten Bildbereichs B2‘ näher am rechten Rand des rechten Bildaufnehmers 2. Die Darstellung zeigt, dass die beiden Mittelpunkte (xi,yi) = (0,0) und (X2,y2) = (0,0) der den Bildbereichen B1 ‘ und B2‘ zugeordneten Koordinatensysteme gegenüber ihrer Position in der mittleren Darstellung in Figur 5 nach außen verschoben sind. Diese Position der beiden Bildbereiche B1 ', B2‘ entspricht der Darstellung gemäß Figur 4c.
Sämtliche Merkmale der Erfindung können sowohl einzeln als auch in beliebiger Kombination miteinander erfindungswesentlich sein.
Bezugszahlen
1 erstes 3D Endoskop
2 rechter optischer Bildaufnehmer
3 rechte Plankonkavlinse
4 rechtes Objektiv
5 rechte optische Achse
6 linker optischer Bildaufnehmer
7 linke Plankonkavlinse
8 linkes Objektiv
9 linke optische Achse
10 von der Mitte des rechten Bildaufnehmers ausgehender Strahl
11 von der Mitte des linken Bildaufnehmers ausgehender Strahl
12 Konvergenzpunkt
20 zweites 3D Endoskop
21 Konvergenzpunkt
30 drittes 3D Endoskop
31 rechtes Prisma
32 linkes Prisma
33 von der Mitte des rechten Bildaufnehmers ausgehender Strahl
34 von der Mitte des linken Bildaufnehmers ausgehender Strahl
35 Konvergenzpunkt

Claims

24
A N S P R Ü C H E Verfahren zur Wiedergabe eines mittels eines 3D-Endoskops (1 , 20, 30) erzeugten stereoskopischen Bildes auf der elektronischen Anzeige eines Wiedergabegerätes, wobei das 3D-Endoskop (1 , 20, 30) einen linken optischen Kanal mit einem linken optischen Bildaufnehmer (6) mit einer Anzahl n an Bildpunkten, einem linken Objektiv (8) und einer linken optischen Achse (9) aufweist, und wobei das 3D-Endoskop einen rechten optischen Kanal mit einem rechten optischen Bildaufnehmer (2) mit einer Anzahl m an Bildpunkten, einem rechten Objektiv (4) und einer rechten optischen Achse (5) aufweist und wobei die Ausrichtung der linken optischen Achse und der rechten optischen Achse zueinander fest vorgegeben ist, mit folgenden Schritten
- Auslesen der Signale eines zusammenhängenden Teilbereichs der Bildpunkte des linken optischen Bildaufnehmers (6) und Erzeugen eines linken Bildbereichs BT aus diesen Signalen des linken optischen Bildaufnehmers (6),
- Auslesen der Signale eines zusammenhängenden Teilbereichs der Bildpunkte des rechten optischen Bildaufnehmers (2) und Erzeugen eines rechten Bildbereichs B2‘ aus diesen Signalen des rechten optischen Bildaufnehmers (2),
- Anpassen der Konvergenzdistanz des linken Bildbereichs B1 ‘ und des rechten Bildbereichs B2‘ durch Verschieben des linken Bildbereichs B1 ‘ relativ zu dem linken optischen Bildaufnehmer (6) und/ oder des rechten Bildbereichs B2‘ relativ zu dem rechten optischen Bildaufnehmer (2),
- Anzeigen eines stereoskopischen Bildes, das die Konvergenzdistanzangepassten linken und rechten Bildbereiche B1‘, B2‘ umfasst, auf der Anzeige des Wiedergabegerätes.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass in dem linken Bildbereich B1 ‘ ein linker Prüfbereich ROI1 vorgegebener Größe bestimmt wird, dass in dem rechten Bildbereich B2‘ ein rechter Prüfbereich ROI2 vorgegebener Größe bestimmt wird, und dass die Disparität zwischen dem linken Prüfbereich ROI1 und dem rechten Prüfbereich ROI2 bestimmt wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für die Disparität ein Schwellenwert S vorgegeben wird, und dass der linke Bildbereich B1 ‘ und der rechte Bildbereich B2‘ verschoben werden, bis die Disparität kleiner oder gleich dem vorgegebenen Schwellenwerts S ist.
4. Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass für die Disparität ein Schwellenwert S vorgegeben wird, und dass eine Anpassung der Konvergenzdistanz nur dann vorgenommen wird, wenn die Disparität zwischen dem linken Prüfbereich ROI1 und dem rechten Prüfbereich ROI2 größer ist als der vorgegebene Schwellenwert S.
5. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass zur Anpassung der Konvergenzdistanz zwischen dem linken Bildbereich B1 ‘ und dem rechten Bildbereich B2‘ ein in dem linken Bildbereich B1 ‘ enthaltenes Objekt lokalisiert und dessen Position im Bildbereich B1 ‘ bestimmt wird, dass dieses Objekt in dem rechten Bildbereich B2‘ lokalisiert und dessen Position im Bildbereich B2‘ bestimmt wird, und dass der Verschiebeweg, um den der linke Bildbereich B1 ‘und/ oder der rechte Bildbereich B2‘ verschoben werden, aus der im linken Bildbereich B1 ‘ und im rechten Bildbereich B2‘ bestimmten Position dieses Objektes abgeleitet wird. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als Objekt ein charakteristisches Merkmal identifiziert wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der linke Bildbereich B1 ‘ mit einem x-iy-i- Koordinatensystem ausgestattet wird, wobei die xi-Achse und die y-i- Achse senkrecht zueinander verlaufen und wobei der Nullpunkt (xi, yi) = (0,0) in der Mitte des linken Bildbereichs B1 ‘ liegt, dass der rechte Bildbereich B2‘ mit einem X2y2-Koordinatensystem ausgestattet wird, wobei die X2-Achse in Verlängerung zu der xi-Achse oder parallel zu der xi-Achse verläuft und die y2-Achse parallel zu der y-i-Achse verläuft und wobei der Nullpunkt (X2, y2) = (0,0) in der Mitte des rechten Bildbereichs B2‘ liegt. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die xi-Achse in Richtung des Nullpunkts (X2, y2) = (0, 0) weist, und dass die X2-Achse in die gleiche Richtung wie die xi-Achse weist. Verfahren nach einem der Ansprüche 5 oder 6 und nach einem der Ansprüche 7 oder 8, dadurch gekennzeichnet, dass zur Lokalisierung eines Objektes in dem linken Bildbereich B1 ‘ mindestens eine x-i- Koordinate dieses Objektes im linken Bildbereich B1 ‘ als xi .Objekt bestimmt wird, dass zur Lokalisierung dieses Objektes in dem rechten Bildbereich B2‘ mindestens eine X2-Koordinate dieses Objektes im rechten Bildbereich B2‘ als X2, Objekt bestimmt wird. 27 Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass zur Anpassung der Konvergenzdistanz die Differenz gebildet wird aus der Koordinate xi , Objekt dieses Objektes und der Koordinate X2, Objekt dieses Objektes, nämlich Ax = xi .Objekt - X2, Objekt. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass
- bei Ax > 0 der linke Bildbereich B1‘ um 0,5*Ax in Richtung der xi- Achse verschoben wird und der rechte Bildbereich B2‘ um -0,5*Ax in Richtung der X2-Achse verschoben wird,
- bei Ax < 0 der linke Bildbereich B1‘ um 0,5*Ax in Richtung der xi- Achse verschoben wird und der rechte Bildbereich B2‘ um -0,5*Ax in Richtung der der X2-Achse verschoben wird,
- bei Ax = 0 der linke Bildbereich B1‘ und der rechte Bildbereich B2‘ unverändert bleiben. Verfahren nach Anspruch 10 oder 11 , dadurch gekennzeichnet, dass das Verschieben des linken Bildbereichs B1 ‘ und des rechten Bildbereichs B2‘
- bei Ax >0 zu einer Vergrößerung der Konvergenzdistanz führt und
- bei Ax < 0 zu einer Verkleinerung der Konvergenzdistanz führt. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Größe des linken Bildbereichs B1‘ und die Größe des rechten Bildbereichs B2‘ fest vorgegeben ist und die Größe des linken Bildbereichs B1‘ mit der Größe des rechten Bildbereichs B2‘ übereinstimmt. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Anpassung der Konvergenzdistanz in regelmäßigen Zeitabständen wiederholt wird. Verfahren nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass der linke Bildbereich B1 ‘ und/ oder der rechte 28
Bildbereich B2‘durch manuelle Betätigung einer Eingabeeinrichtung verschoben wird. 3D-Endoskop zur Erzeugung stereoskopischer Bilder, mit einem linken optischen Kanal, welcher einen linken optischen Bildaufnehmer (6) mit einer Anzahl n an Bildpunkten, ein linkes Objektiv (8) und eine linke optische Achse (9) aufweist, mit einem rechten optischen Kanal, welcher einen rechten optischen Bildaufnehmer (2) mit einer Anzahl m an Bildpunkten, ein rechtes Objektiv (4) und eine rechte optische Achse (5) aufweist, wobei die Ausrichtung der linken optischen Achse (9) und der rechten optischen Achse (5) zueinander fest vorgegeben ist, mit einer Bildverarbeitungseinrichtung, welche
- die Signale eines zusammenhängenden Teilbereichs der Bildpunkte des linken optischen Bildaufnehmers (6) ausliest und aus diesen Signalen des linken optischen Bildaufnehmers (6) einen linken Bildbereich BT erzeugt,
- die Signale eines zusammenhängenden Teilbereichs der Bildpunkte des rechten optischen Bildaufnehmers (2) ausliest und aus diesen Signalen des rechten optischen Bildaufnehmers (2) einen rechten Bildbereich B2‘ erzeugt,
- die Konvergenzdistanz zwischen dem linken Bildbereich BT und dem rechten Bildbereich B2‘ durch Verschieben des linken Bildbereichs B1 ‘ relativ zu dem linken optischen Bildaufnehmer (6) und/ oder des rechten Bildbereichs B2‘ relativ zu dem rechten optischen Bildaufnehmer (2) anpasst, und
- aus dem Konvergenzdistanz-angepassten linken Bildbereich BT und dem Konvergenzdistanz-angepassten rechten Bildbereich B2‘ ein stereoskopisches Bild erzeugt, das auf einer elektronische Anzeige eines Wiedergabegerätes ausgegeben wird.
PCT/DE2021/200150 2020-10-13 2021-10-12 Verfahren zur wiedergabe eines mittels eines 3d-endoskops erzeugten stereoskopischen bildes und 3d-endoskop WO2022078558A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020126875.0A DE102020126875A1 (de) 2020-10-13 2020-10-13 Verfahren zur Wiedergabe eines mittels eines 3D-Endoskops erzeugten stereoskopischen Bildes und 3D-Endoskop
DE102020126875.0 2020-10-13

Publications (1)

Publication Number Publication Date
WO2022078558A1 true WO2022078558A1 (de) 2022-04-21

Family

ID=78676249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2021/200150 WO2022078558A1 (de) 2020-10-13 2021-10-12 Verfahren zur wiedergabe eines mittels eines 3d-endoskops erzeugten stereoskopischen bildes und 3d-endoskop

Country Status (2)

Country Link
DE (1) DE102020126875A1 (de)
WO (1) WO2022078558A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1408703A2 (de) * 2002-10-10 2004-04-14 Fuji Photo Optical Co., Ltd. Elektronisches stereoskopisches Bildaufnahmesystem
US20120098938A1 (en) * 2010-10-25 2012-04-26 Jin Elaine W Stereoscopic imaging systems with convergence control for reducing conflicts between accomodation and convergence
DE102012108249A1 (de) * 2012-09-05 2014-06-12 NET GmbH Verfahren und Vorrichtung zur Verbesserung der Wiedergabe stereoskopischer Bilder
US20160295194A1 (en) * 2015-03-30 2016-10-06 Ming Shi CO., LTD. Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
DE102016124069A1 (de) * 2015-12-12 2017-06-14 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zur Erzeugung einer Stereoabbildung
EP3560413A1 (de) * 2016-12-21 2019-10-30 Intromedic Co., Ltd. Kapselendoskopvorrichtung zur wiedergabe eines 3d-bildes, betriebsverfahren für das kapselendoskop, empfänger zur wiedergabe eines 3d-bildes in verbindung mit einem kapselendoskop, verfahren zur wiedergabe eines 3d-bildes durch den empfänger in verbindung mit einem kapselendoskop und kapselendoskopsystem

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1408703A2 (de) * 2002-10-10 2004-04-14 Fuji Photo Optical Co., Ltd. Elektronisches stereoskopisches Bildaufnahmesystem
US20120098938A1 (en) * 2010-10-25 2012-04-26 Jin Elaine W Stereoscopic imaging systems with convergence control for reducing conflicts between accomodation and convergence
DE102012108249A1 (de) * 2012-09-05 2014-06-12 NET GmbH Verfahren und Vorrichtung zur Verbesserung der Wiedergabe stereoskopischer Bilder
US20160295194A1 (en) * 2015-03-30 2016-10-06 Ming Shi CO., LTD. Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
DE102016124069A1 (de) * 2015-12-12 2017-06-14 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zur Erzeugung einer Stereoabbildung
EP3560413A1 (de) * 2016-12-21 2019-10-30 Intromedic Co., Ltd. Kapselendoskopvorrichtung zur wiedergabe eines 3d-bildes, betriebsverfahren für das kapselendoskop, empfänger zur wiedergabe eines 3d-bildes in verbindung mit einem kapselendoskop, verfahren zur wiedergabe eines 3d-bildes durch den empfänger in verbindung mit einem kapselendoskop und kapselendoskopsystem

Also Published As

Publication number Publication date
DE102020126875A1 (de) 2022-04-14

Similar Documents

Publication Publication Date Title
EP3108282B1 (de) Operationsmikroskop und erzeugung eines beobachtungsbildes eines objektbereichs in einem operationsmikroskop
DE69531707T2 (de) Medizinisches Beobachtungsinstrument
DE4422522B4 (de) Beobachtungs- und/oder Dokumentationseinrichtung mit vorgeschaltetem Endoskop sowie Verfahren zu deren Betrieb
DE102017105941B3 (de) Operationsmikroskop mit einem Bildsensor und einem Display und Verfahren zum Betrieb eines Operationsmikroskops
DE102005040473B4 (de) Stereomikroskop
DE10226382A1 (de) Kataraktchirurgie-Mikroskopiesystem und Verfahren hierzu
DE102017103721B4 (de) Vorrichtung zur Erfassung eines Stereobilds mit einer rotierbaren Blickrichtungseinrichtung
DE102017102922A1 (de) Kameravorrichtung
DE102016203487A1 (de) Augenmikroskopsystem
DE102017108371B4 (de) Medizinisch-optisches Darstellungssystem und Verfahren zum Betreiben desselben
EP1441249A1 (de) Operationsmikroskop
DE102016212470A1 (de) Optisches System eines Stereo-Videoendoskops, Stereo-Videoendoskop und Verfahren zum Betreiben eines optischen Systems eines Stereo-Videoendoskops
EP3747345B1 (de) Bildgebungssystem und verfahren zur beobachtung
DE4241938B4 (de) Endoskop insbesondere mit Stereo-Seitblickoptik
WO2019029772A1 (de) 3d-video-endoskop
DE19720851A1 (de) Ophthalmologisches Untersuchungsgerät sowie Verfahren zu dessen Betrieb
DE19532400B4 (de) Stereoendoskop mit abgewinkelter Blickrichtung
WO2022078558A1 (de) Verfahren zur wiedergabe eines mittels eines 3d-endoskops erzeugten stereoskopischen bildes und 3d-endoskop
DE102016124069B4 (de) Verfahren und Vorrichtung zur Erzeugung einer Stereoabbildung
DE102020115257B3 (de) Endoskop mit schwenkbarer Bilderfassungseinrichtung
DE102012108249A1 (de) Verfahren und Vorrichtung zur Verbesserung der Wiedergabe stereoskopischer Bilder
DE10240826B3 (de) Verfahren zum Betreiben eines Endoskops
DE102017012427B3 (de) Vorrichtung zur Erfassung eines Stereobilds mit einer rotierbaren Blickrichtungseinrichtung
DE102008008325B4 (de) Verfahren und Vorrichtung zur Bearbeitung von Quellbildern eines Bildsensors eines Videoendoskops
DE102016125075B3 (de) Verfahren zur Reduktion von Wahrnehmungskonflikten in stereomikroskopischen Bilddaten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21810280

Country of ref document: EP

Kind code of ref document: A1

WD Withdrawal of designations after international publication

Designated state(s): DE

122 Ep: pct application non-entry in european phase

Ref document number: 21810280

Country of ref document: EP

Kind code of ref document: A1