WO2018003349A1 - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
WO2018003349A1
WO2018003349A1 PCT/JP2017/019205 JP2017019205W WO2018003349A1 WO 2018003349 A1 WO2018003349 A1 WO 2018003349A1 JP 2017019205 W JP2017019205 W JP 2017019205W WO 2018003349 A1 WO2018003349 A1 WO 2018003349A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
image
image processing
distortion
optical system
Prior art date
Application number
PCT/JP2017/019205
Other languages
English (en)
French (fr)
Inventor
菅武志
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP17819716.6A priority Critical patent/EP3476270A4/en
Priority to CN201780026464.1A priority patent/CN109068954B/zh
Priority to JP2017554421A priority patent/JP6250257B1/ja
Publication of WO2018003349A1 publication Critical patent/WO2018003349A1/ja
Priority to US16/171,232 priority patent/US10552948B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2415Stereoscopic endoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • G02B23/243Objectives for endoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Definitions

  • the present invention relates to an endoscope apparatus.
  • the endoscope is a device that is widely used in the medical field and the industrial field.
  • images of various parts in a body cavity can be obtained by an endoscope inserted into the body cavity. Using this image, diagnosis (screening and detailed examination) and treatment (treatment) of the observation site are performed.
  • the endoscope is used for diagnosis (screening and detailed examination) and treatment (therapy) of various parts in the body cavity.
  • a plurality of images with parallax are picked up, and a plurality of images are thereby fused to perform stereoscopic display (3D display) of the images.
  • Patent Documents 1 and 2 propose an endoscope apparatus capable of switching between 3D observation with a stereoscopic effect and 2D observation for planar view.
  • Patent Document 3 proposes a stereoscopic imaging system that performs distortion correction (distortion correction) in 3D observation.
  • the observer can observe a wide angle range in 2D observation.
  • 3D observation it is desirable to reduce the fatigue of the observer and to display the correct depth.
  • Patent Documents 1 to 3 it is difficult to satisfactorily achieve both 2D observation and 3D observation.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an endoscope apparatus that can observe both 2D observation and 3D observation satisfactorily.
  • an endoscope apparatus has a function capable of switching between 2D observation for planar view and 3D observation for stereoscopic view.
  • the endoscope apparatus includes an image processing unit that reduces distortion of the imaging optical system during 3D observation, and the image processing unit performs image processing that satisfies the following conditional expression (1). 0.1 ⁇ B / A ⁇ 0.8 and A ⁇ 0 (1) here, A is the distortion of the maximum image height during 2D observation, B is the maximum image height distortion during 3D observation. It is.
  • the present invention has an effect that it is possible to provide an endoscope apparatus that can observe both 2D observation and 3D observation satisfactorily.
  • Example 1 is a diagram illustrating a schematic configuration of an endoscope apparatus according to an embodiment of the present invention. It is a figure explaining the photographic subject space of the endoscope apparatus concerning an embodiment. It is a figure explaining the reproduction
  • Example 1 it is a figure which shows the observation image of the state corrected. It is a figure which shows the characteristic of the correction type
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope apparatus 1 according to the present embodiment.
  • an endoscope apparatus 1 includes an electronic endoscope 2 that includes an image pickup device 12 (see FIG. 2) as an image pickup apparatus, and a light source that supplies illumination light to the electronic endoscope 2.
  • a light source device 3 an image processing unit 4 that performs signal processing on the image sensor 12 of the electronic endoscope 2, a monitor 5 that displays an endoscopic image based on a video signal output through the image processing unit 4, It consists of
  • the electronic endoscope 2 includes an elongated and flexible insertion portion 21 having a built-in image pickup device 12, a thick operation portion 22 formed at the rear end of the insertion portion 21, a distal end rigid portion 10, and an operation. And a universal cord 23 extending from the side of the portion 22.
  • a connector portion 24 that can be detachably connected to the light source device 3 is provided at the end of the universal cord 23.
  • an electrical connector section 26 that can be detachably connected to the image processing section 4 is provided.
  • FIG. 2 is a diagram illustrating the subject space of the endoscope apparatus 1 according to the embodiment.
  • the endoscope apparatus 1 of the present embodiment includes two optical systems, a right-eye optical system 11R and a left-eye optical system 11L. The detailed configuration of the two optical systems will be described later.
  • the subject OB1 has a right eye image and a left eye image formed on the imaging surface of the image sensor 12 by the right eye optical system 11R and the left eye optical system 11L, respectively.
  • the image processing unit 4 performs image processing to be described later on the output signal from the image sensor 12. Then, the image processing unit 4 outputs the image signal for the right eye and the signal for the left eye image that have undergone image processing to the monitor 5.
  • An angle ⁇ a formed by a point and a straight line connecting the subject OB1 is defined as an inward angle.
  • FIG. 3 is a diagram for explaining the reproduction of the subject image OB1 ′ in the present embodiment.
  • the reproduction space 40 the right-eye image and the left-eye image are displayed on the monitor surface 5 a of the monitor 5 based on the signal from the image processing unit 4.
  • FIG. 3 shows a case where the subject image OB1 ′ is displayed on the monitor surface 5a of the monitor 5.
  • An angle ⁇ b formed by a straight line connecting the line of sight of the right eye ER of the observer and the subject image OB1 ′ and a straight line connecting the line of sight of the left eye EL and the subject image OB1 ′ is defined as a convergence angle.
  • the central portion protrudes as a convex, and the peripheral portion appears to be retracted to the placing side.
  • the subject (object) OB2 in the peripheral portion is reproduced as a subject image OB2 ′ displayed in the periphery of the monitor surface 5a in the back direction from the monitor surface 5a.
  • the endoscope apparatus 1 has an image processing unit 4 that reduces the distortion of the imaging optical system at the time of 3D observation in an endoscope apparatus having a function of switching between 2D observation for plane view and 3D observation for stereoscopic view.
  • the image processing unit 4 performs image processing that satisfies the following conditional expression (1). 0.1 ⁇ B / A ⁇ 0.8 and A ⁇ 0 (1) here, A is the distortion of the maximum image height during 2D observation, B is the maximum image height distortion during 3D observation. It is.
  • FIG. 4 is a diagram showing an observation image in an uncorrected state when a square lattice is used as an object.
  • screening it is important not to overlook lesions with a wide field of view.
  • the object distance may be longer in screening, there may be a case where sufficient stereoscopic effect cannot be obtained in 3D observation. Therefore, in screening, it is necessary to observe a wide-angle range by wide-angle 2D observation.
  • the image processing unit 4 reduces distortion (FIG. 4) of the optical system by image processing during 3D observation.
  • the image processing unit 4 performs image processing that satisfies the following conditional expression (1). 0.1 ⁇ B / A ⁇ 0.8 and A ⁇ 0 (1) here, A is the distortion of the maximum image height during 2D observation, B is the maximum image height distortion during 3D observation. It is.
  • conditional expression (1) By falling below the upper limit value of the conditional expression (1), it is possible to prevent the depth display from being displaced, and the vertical displacement is reduced around the image, thereby reducing the fatigue of the observer.
  • conditional expression (2) 0.6 ⁇ D / C ⁇ 1 and 100 degrees ⁇ C (2) here, C is the maximum angle of view during 2D observation, D is the maximum angle of view during 3D observation, It is.
  • the image processing unit 4 reduces distortion according to the following equation (3).
  • Y E ⁇ X 3 + F ⁇ X 2 + G ⁇ X + H (3)
  • X is the image height before image processing
  • Y is (image height before image processing) / (image height after image processing)
  • E, F, G, H are coefficients, It is.
  • conditional expression (4) Below the upper limit value of conditional expression (4), the image quality of the visual field range and the peripheral portion can be secured.
  • the treatment tool 13 inserted from the distal end portion of the endoscope can be played back from the monitor 5. For this reason, the observer can reduce fatigue without getting blinded.
  • FIG. 9 is a diagram illustrating a schematic configuration of the imaging apparatus according to the embodiment.
  • FIG. 10 is a diagram illustrating a lens cross-sectional configuration of the imaging apparatus according to the present embodiment.
  • the present embodiment includes a first optical system LNS1 and a second optical system LNS2 that generate two optical images having parallax with each other.
  • Each optical system includes, in order from the object side, a plano-concave negative lens L1 having a concave surface facing the image side, a positive meniscus lens L2 having a convex surface facing the image side, a parallel plate F1, an aperture stop S, Consists of a convex positive lens L3, a flare stop FS, a biconvex positive lens L4, a negative meniscus lens L5 having a convex surface facing the image side, a parallel plate F2, a parallel plate CG, and an image sensor IMG.
  • AX1 and AX2 are optical axes, respectively.
  • the first lens L1 is composed of an integral member with respect to the first optical system LNS1 (for example, secondary optical system) and the second optical system LNS2 (for example, main optical system).
  • the positive lens L4 and the negative meniscus lens L5 are cemented.
  • the parallel plate F2, the parallel plate CG, and the image sensor IMG are joined.
  • I is an image plane (imaging plane).
  • the lens configuration of the first optical system LNS1 and the lens configuration of the second optical system LNS2 are the same. *
  • r are the radii of curvature of the lens surfaces
  • d is the spacing between the lens surfaces
  • nd is the refractive index of the d-line of each lens
  • ⁇ d is the Abbe number of each lens.
  • S is an aperture stop
  • FS is a flare stop.
  • Embodiments 1 to 5 of the imaging apparatus will be described.
  • the above-described objective optical system is used in common.
  • DT indicates distortion.
  • the unit of image height is mm.
  • DT DT DT DT DT Angle of view (degree) Angle of view (degree) Angle of view (degree) Correction formula 2D observation 3D observation (after correction) 2D observation At 3D observation At 3D observation A B B / A C D D / C Y
  • YH Example 1 0.43 0.4 0.
  • FIG. 5 shows the characteristics of the correction formula A.
  • FIG. 6 shows observation images in Examples 1 and 2. As can be seen from a comparison between FIG. 4 and FIG. 6, the distortion is reduced in the first and second embodiments. In Examples 1 and 2, the amount of distortion reduction when the endoscope tip is placed in water is equivalent.
  • FIG. 7 shows the characteristics of the correction formula B.
  • FIG. 8 shows observation images in Examples 3, 4, and 5. As can be seen from a comparison between FIG. 4 and FIG. 8, in the third, fourth, and fifth embodiments, the distortion is greatly reduced.
  • the correction formula for image processing to reduce distortion is a distortion that does not give the viewer a sense of incongruity, and that there are no problems in the scenes used by the observer (two scenes in air and water).
  • the distortion correction formula is created so that the space between the subject and the imaging optical system (objective optical system) is the same as the image when immersed in water (refractive index 1.33). Since an observer may perform underwater observation and is accustomed to the image, the image does not feel strange.
  • the correction formula when applied, when underwater observation is performed, the distortion becomes 0, so that positive reverse distortion does not occur. Further, the coefficient of the correction formula is stored in the electronic endoscope 2. The image processing unit 4 reads the coefficient and calculates a correction formula. With this configuration, the optimum correction formula can be applied to each electronic endoscope, and only the coefficients are stored inside the electronic endoscope, so that the necessary storage area can be reduced, and the endoscope The cost of the mirror can also be reduced.
  • the above-described endoscope apparatus may satisfy a plurality of configurations at the same time. This is preferable in obtaining a good endoscope apparatus. Moreover, the combination of a preferable structure is arbitrary. For each conditional expression, only the upper limit value or lower limit value of the numerical range of the more limited conditional expression may be limited.
  • the present invention is not limited to these embodiments, and may be implemented by appropriately combining the configurations of these embodiments without departing from the spirit of the present invention.
  • the form is also within the scope of the present invention.
  • the present invention may be applied to a decentered optical system in which the lens is decentered.
  • the distortion correction in the image processing unit 4 may be performed using a rotationally asymmetric expression instead of the rotationally symmetric expression of Expression (3).
  • the present invention is useful for an endoscope apparatus that can satisfactorily observe both 2D observation and 3D observation.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Geometry (AREA)

Abstract

2D観察と3D観察とをいずれも良好に観察できる内視鏡装置を提供すること。 平面視用の2D観察と立体視用の3D観察を切り替えられる機能を有する内視鏡装置1において、3D観察時には、撮像光学系のディストーションを低減する画像処理部4を有し、画像処理部4は、以下の条件式(1)を満足する画像処理を行うことを特徴とする内視鏡装置である。 0.1<B/A<0.8、かつ、A<0 (1) ここで、 Aは、2D観察時の最大像高のディストーション、 Bは、3D観察時の最大像高のディストーション、 である。

Description

内視鏡装置
 本発明は、内視鏡装置に関するものである。
 内視鏡は、医療用分野及び工業用分野で広く使用されている装置である。医療用分野においては、体腔内に挿入された内視鏡により、体腔内の様々な部位の画像が得られる。この画像を用いて観察部位の診断(スクリーニングと精査)、及び、処置(治療)が行われる。このように、内視鏡は、体腔内の様々な部位の診断(スクリーニングと精査)、及び、処置(治療)に利用されている。
 内視鏡による観察では、視差のある複数の像を撮像し、それにより複数の画像を融合して画像の立体表示(3D表示)が行われるようになってきている。
 このような、立体感のある3D観察と、平面視用の2D観察とを切り替えることができる内視鏡装置が、例えば、特許文献1、2に提案されている。
 また、3D観察において、歪み補正(ディスト―ション補正)を行う立体撮像システムが、特許文献3に提案されている。
特開2015-220643号公報 特許第5818265号公報 特開2003-52057号公報
 観察者は、2D観察では広角な範囲を観察できる。これに対して、3D観察では、観察者の疲労を低減し、正しい奥行き表示ができることが望ましい。
 特許文献1から3は、いずれも2D観察と3D観察とを良好に両立させることは困難である。
 本発明は、上記に鑑みてなされたものであって、2D観察と3D観察とをいずれも良好に観察できる内視鏡装置を提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係る内視鏡装置は、平面視用の2D観察と立体視用の3D観察を切り替えられる機能を有する内視鏡装置において、3D観察時には、撮像光学系のディストーションを低減する画像処理部を有し、画像処理部は、以下の条件式(1)を満足する画像処理を行うことを特徴とする。
 0.1<B/A<0.8、かつ、A<0   (1)
 ここで、
 Aは、2D観察時の最大像高のディストーション、
 Bは、3D観察時の最大像高のディストーション、
である。
 本発明は、2D観察と3D観察とをいずれも良好に観察できる内視鏡装置を提供できるという効果を奏する。
本発明の実施形態に係る内視鏡装置の概略構成を示す図である。 実施形態に係る内視鏡装置の被写体空間を説明する図である。 実施形態に係る内視鏡装置の再生空間を説明する図である。 正方格子を物体とした場合の、補正していない状態の観察像を示す図である。 実施例1、2における補正式の特性を示す図である。 実施例1において、補正した状態の観察像を示す図である。 実施例3、4、5における補正式の特性を示す図である。 実施例4において、補正した状態の観察像を示す図である。 実施例に係る内視鏡装置の概略構成を示す図である。 実施例に係る内視鏡装置のレンズ断面構成を示す図である。
 以下に、実施形態に係る内視鏡装置を図面に基づいて詳細に説明する。なお、この実施形態により、この発明が限定されるものではない。
 図1は、本実施形態に係る内視鏡装置1の概略構成を示す図である。図1に示すように本実施形態の内視鏡装置1は、撮像装置として撮像素子12(図2参照)を内蔵した電子内視鏡2と、電子内視鏡2に照明光を供給する光源を有する光源装置3と、電子内視鏡2の撮像素子12に対する信号処理を行う画像処理部4と、画像処理部4を経て出力される映像信号による内視鏡画像を表示するモニタ5と、で構成されている。
  電子内視鏡2は、撮像素子12を内蔵した細長で可撓性を有する挿入部21と、挿入部21の後端に形成された太幅の操作部22と、先端硬性部10と、操作部22の側部から延出されたユニバーサルコード23と、から構成されている。ユニバーサルコード23の端部には、光源装置3に着脱自在に接続可能なコネクタ部24が設けられている。コネクタ部24側に延出した接続コード25の端部には、画像処理部4に着脱自在に接続可能な電気コネクタ部26が設けられている。
 図2は、実施形態に係る内視鏡装置1の被写体空間を説明する図である。本実施形態の内視鏡装置1は、右眼用光学系11Rと、左眼用光学系11Lとの2つの光学系を有している。2つの光学系の詳細な構成は、後述する。
 被写体空間30において、被写体OB1は、右眼用光学系11Rと左眼用光学系11Lとにより、それぞれ右眼像、左眼像が撮像素子12の撮像面に結像される。画像処理部4は、撮像素子12からの出力信号に対して、後述する画像処理を行う。そして、画像処理部4は、画像処理された右眼用画像の信号と、左眼用画像の信号をモニタ5へ出力する。
 図2において、右目用光学系11Rの光軸と最も物体側のレンズ面が交差する点と被写体OB1とを結ぶ直線と、左目用光学系11Lの光軸と最も物体側のレンズ面が交差する点と被写体OB1とを結ぶ直線とがなす角度θaを内向角とする。
 図3は、本実施形態における被写体像OB1´の再生について説明する図である。再生空間40において、画像処理部4からの信号に基づいて、モニタ5のモニタ面5aに、右眼用画像と左眼用画像とが表示される。
 図3は、被写体像OB1´が、モニタ5のモニタ面5a上に表示されている場合を示す。観察者の右眼ERの視線と被写体像OB1´とを結ぶ直線と、左眼ELの視線と被写体像OB1´とを結ぶ直線とがなす角度θbを輻輳角とする。
 図2、図3を比較してわかるように、平面物体を観察した場合でも、3D観察では、中心部が手前に凸として出っ張り、周辺部は置く側へ引っ込むように見える。例えば、周辺部の被写体(物体)OB2は、モニタ面5aの周辺に表示される被写体像OB2´として、モニタ面5aよりも奥方向に再生される。
 内視鏡装置1は、平面視用の2D観察と立体視用の3D観察を切り替えられる機能を有する内視鏡装置において、3D観察時には、撮像光学系のディストーションを低減する画像処理部4を有し、画像処理部4は、以下の条件式(1)を満足する画像処理を行うことを特徴とする。
 0.1<B/A<0.8、かつ、A<0   (1)
 ここで、
 Aは、2D観察時の最大像高のディストーション、
 Bは、3D観察時の最大像高のディストーション、
である。
 ここで、例えば消化器、気管支、膀胱等を観察対象とする内視鏡装置では、スクリーニング、精査、処置の使い方がある。
 図4は、正方格子を物体とした場合の、補正していない状態の観察像を示す図である。
 スクリーニングにおいては、広画角の視野で、病変を見落とさないことが重要となる。そのためには、図4に示すように、大きな負のディストーションを有する光学系を使うことが一般的である。また、スクリーニングでは物体距離が遠くなる場合があるため、3D観察では十分な立体感を得られない場合がある。よって、スクリーニングでは広角の2D観察で、広角な範囲を観察する必要がある。
 次に、精査、処置においては、病変に近接して観察するため、必要な立体感を得られる。よって、3D観察を使えるようにすることが必要である。しかしながら、大きな負のディストーションを有する光学系の画像で3D観察を行うと、図2、3に示すように、3D再生空間が変形し、奥行き表示にズレが生じてしまう、また、画像周辺では上下ズレが発生し、観察者に疲労が発生してしまうことがある。
 このため、本実施形態では、画像処理部4では、3D観察時には画像処理にて光学系のディストーション(図4)を低減する。画像処理部4は、以下の条件式(1)を満足する画像処理を行う。
 0.1<B/A<0.8、かつ、A<0   (1)
 ここで、
 Aは、2D観察時の最大像高のディストーション、
 Bは、3D観察時の最大像高のディストーション、
である。
 条件式(1)の上限値を下回ることで、奥行き表示にズレが生じないようにでき、また、画像周辺において上下ズレが減少し、観察者の疲労を低減できる。
 条件式(1)の下限値を上回ることで、負のディストーションを少し残す構成としている。これにより、広い画角の視野を確保しやすくなり、かつ、補正量を小さくできるため、画像処理による周辺部分の画質劣化を最低限にすることができる。また、内視鏡先端部から挿出している処置具13(図2参照)がモニタ5より奥側に再生できる。このため、観察者は寄り目になることなく、疲労を低減できる。例えば、負のディストーションを完全に補正すると、3D再生空間の変形がなくなるため、処理具の再生位置がモニタより前になり、疲労が発生する。本実施形態は、負のディストーションを少し残すことにより、この問題を回避している。
 また、本実施形態の好ましい態様によれば、以下の条件式(2)を満足することが望ましい。
 0.6<D/C≦1、かつ、100度<C   (2)
 ここで、
 Cは、2D観察時の最大画角、
 Dは、3D観察時の最大画角、
である。
 条件式(2)の上限値を下回ることで、3D観察の画角を狭く設定し、光学系のディストーション量を低減している。これにより、画像処理による補正量を小さくすることができ、画像処理による周辺部分の画質劣化を最小限にできる。
 条件式(2)の下限値を上回ることで、3D観察で必要な視野範囲を確保できる。
 また、本実施形態の好ましい態様によれば、画像処理部4は、以下の式(3)に従って、ディストーションを低減することが望ましい。
 Y=E×X+F×X+G×X+H   (3)
 Xの最大値において、0.4<Y<0.8であり、
 Xは、画像処理前の像高、
 Yは、(画像処理前の像高)/(画像処理後の像高)、
 E、F、G、Hは、係数、
である。
 パラメータYを0.8以下にすることで、奥行き表示のズレを低減し、観察者の疲労を低減できる。
 パラメータYの下限値を0.4以上にすることで、画像処理による周辺部分の画質劣化を最小限にして、観察者が許容できるレベルにしている。すなわち、画像処理により画像中心から周辺方向に画像を拡大し、その拡大量は画像周辺部になるほど大きい。よって、画像周辺部では大きく拡大されるため、観察者は画像がボケていると認識する。また、画像ノイズも周辺方向のみに引き伸ばされるので、ノイズが楕円形状になり、画像品位が低下する。本実施形態では、これらの課題を対策している。
 また、本実施形態の好ましい態様によれば、以下の条件式(4)を満足することが望ましい。
 -0.7<B<-0.1   (4)
 ここで、
 Bは、3D観察時の最大像高のディストーション、
である。
 条件式(4)の下限値を上回ることで、奥行き表示にズレが生じないようにでき、また、画像周辺において上下ズレが減少し、観察者の疲労を低減できる。
 条件式(4)の上限値を下回ることで、視野範囲と周辺部分の画質を確保できる。また、内視鏡先端部から挿出している処置具13がモニタ5より奥側に再生できる。このため、観察者は寄り目になることなく、疲労を低減できる。
(対物光学系)
 初めに、後述する実施例1から実施例5に共通する対物光学系について説明する。
 図9は、実施例に係る撮像装置の概略構成を示す図である。図10は、本実施例に係る撮像装置のレンズ断面構成を示す図である。
 図9、10に示すように本実施例は、互いに視差を有する2つの光学像を生成する、第1の光学系LNS1と、第2の光学系LNS2と、を有する。それぞれの光学系は、物体側から順に、像側に凹面を向けた平凹負レンズL1と、像側に凸面を向けた正メニスカスレンズL2と、平行平板F1と、明るさ絞りSと、両凸正レンズL3と、フレア絞りFSと、両凸正レンズL4と、像側に凸面を向けた負メニスカスレンズL5と、平行平板F2と、平行平板CGと、撮像素子IMGと、から構成される。AX1、AX2は、それぞれ光軸である。
 第1のレンズL1は、第1の光学系LNS1(例えば、従光学系)と第2の光学系LNS2(例えば、主光学系)とに対して一体の部材で構成されている。正レンズL4と、負メニスカスレンズL5と、は接合されている。平行平板F2と、平行平板CGと、撮像素子IMGと、は接合されている。Iは、像面(撮像面)である。
 第1の光学系LNS1のレンズ構成と、第2の光学系LNS2のレンズ構成と、は同一である。   
 以下に、本実施例の数値データを示す。記号は、rは各レンズ面の曲率半径、dは各レンズ面間の間隔、ndは各レンズのd線の屈折率、νdは各レンズのアッベ数である。また、Sは明るさ絞り、FSはフレア絞りである。
数値実施例1
単位  mm
 
面データ
  面番号            r         d          nd       νd
    1               ∞       0.2500    1.88815    40.76            
    2              0.5920    0.5700                    
    3             -4.5711    0.8554    1.85504    23.78            
    4             -3.3786    0.1100                     
    5               ∞       0.4000    1.49557    75.00            
    6               ∞       0.1000                      
    7(S)           ∞       0.1016                    
    8              7.9475    0.7436    1.83932    37.16            
    9             -1.8802    0.3135                
    10(FS)          ∞       0.0000             
    11             1.3149    0.7438    1.69979    55.53            
    12            -0.8298    0.3347    1.93429    18.90            
    13            -5.6819    0.2635                
    14              ∞       0.5000    1.51825    64.14            
    15              ∞       0.3500    1.50700    63.26            
撮像面              ∞ 
      
 全系焦点距離f1   0.4249 
 視差  1mm
 
 以下、撮像装置の実施例1から実施例5について説明する。なお、以下の5つの実施例では、上述した対物光学系を共通して使用する。
補正式の内容
補正式 Y
実施例1、2
A Y=-1.1583X-1.1544X-0.0069X+1.0021
 
実施例3、4、5
B Y=-5.1946X-0.186X-0.2106X+1.0081
 
 以下、各実施例の値を示す。DTは、ディストーションを示す。像高の単位は、mmである。
 
 
   DT        DT       DT    画角(度)  画角(度)    画角(度) 補正式 
  2D観察   3D観察(補正後)    2D観察  3D観察時  3D観察時
           A      B      B/A         C      D      D/C   Y 
実施例1  -84.8%    -45.7%     0.54      163.7     134.9    0.82   A
実施例2   -84.8%   -62.3%     0.73      163.7     150.8    0.92   A 
実施例3   -84.8%   -10.0%     0.12      163.7     99.98    0.61   B
実施例4   -84.8%   -28.6%     0.34      163.7     134.9    0.82   B
実施例5   -84.8%   -67.1%     0.79      163.7     163.7    1.00   B
 
 
  計算データ                              
      2D観察    3D観察  3D観察  3D観察     3D観察    3D観察
      像高        像高      像高      像高         DT        画角 
                  補正前    補正後    逆倍率       補正前      補正前  
                                       Y           H          
実施例1   0.43        0.4       0.54      0.7407407   -59.80%   134.9     
実施例2   0.43        0.42      0.593     0.7082631   -73.30%   150.8  
実施例3   0.43        0.33      0.45      0.7333333   -34.00%   99.98     
実施例4   0.43        0.4       0.71      0.5633803   -59.80%   134.9     
実施例5   0.43        0.43      0.93      0.4623656   -84.80%   163.7     
                                                                           
 3D観察のディストーション(DT)値Bの計算式を以下に示す。
 DT補正前のディストーション定義
 (|I´|-|β×I|)/|β×I|=H   (AA)
 ここで、
 Iは、物体面における物体高、
 I´は、撮像面(CCD面)における像高、
 βは、前記物体(物体高I)を撮影したときの、横倍率、
である。
 また、DT補正後のディストーション定義を以下に示す。
 (|I´/Y|-|β×I|)/|β×I|=B   (BB)
 ここで、
 Iは、物体面における物体高、
 I´は、撮像面(CCD面)における像高、
 βは、前記物体(物体高I)を撮影したときの、横倍率、
 Yは、補正前像高/補整後像高、
である。
 そして、上記式(AA)と式(BB)より、次式を得られる。
 |I´|=(H+1)×|β×I|
 B=(H+1)/Y-1        
 図5は、補正式Aの特性を示す。図6は、実施例1、2における観察像を示す。図4と図6とを比較してわかるように、実施例1、2ではディスト―ションが低減されている。実施例1、2は、内視鏡先端を水中に入れた際のディストーション低減量と同等としている。
 図7は、補正式Bの特性を示す。図8は、実施例3、4、5における観察像を示す。図4と図8とを比較してわかるように、実施例3、4、5ではディスト―ションが大きく低減されている。
 また、ディストーションを低減する画像処理の補正式については、観察者に違和感の無いディストーションであること、観察者が使用する場面(空気中と水中の2つの場面)で問題が出ないことが望ましい。
 実施例1では、被写体と撮像光学系(対物光学系)の間の空間を水(屈折率1.33)に浸した場合の画像と同じになるように、ディストーション補正式を作成している。観察者は水中観察を行う場合があり、その画像に慣れているため、違和感のない画像となる。
 また、補正式を適用している場合に、水中観察を行うと、ディストーションが0になり、正の逆ディストーションが発生しないようにしている。また、補正式の係数を電子内視鏡2の中に保存しておく。画像処理部4はその係数を読み取り、補正式を計算する。このように構成することで、電子内視鏡毎に最適な補正式を適用でき、かつ、電子内視鏡内部に係数のみを保存するので、必要な記憶領域を小さくすることができ、内視鏡のコスト低減も可能となる。
 なお、上述の内視鏡装置は、複数の構成を同時に満足してもよい。このようにすることが、良好な内視鏡装置を得る上で好ましい。また、好ましい構成の組み合わせは任意である。また、各条件式について、より限定した条件式の数値範囲の上限値あるいは下限値のみを限定しても構わない。
 以上、本発明の種々の実施形態について説明したが、本発明は、これらの実施形態のみに限られるものではなく、その趣旨を逸脱しない範囲で、これら実施形態の構成を適宜組合せて構成した実施形態も本発明の範疇となるものである。例えば、本発明をズーム光学系に適用する場合には、各状態で光学ディストーションが異なる為、各状態に応じてディストーション補正を変えれば良い。また、レンズを偏心させた偏心光学系に適用しても良い。この場合、光学系のディストーションは回転非対称となる為、画像処理部4でのディストーション補正は、式(3)の回転対称な式を適用するのではなく、回転非対称な式を適用すれば良い。
 以上のように、本発明は、2D観察と3D観察とをいずれも良好に観察できる内視鏡装置に有用である。
 1 内視鏡装置
 2 電子内視鏡
 3 光源装置
 4 画像処理部
 5 モニタ
 5a モニタ面
 10 先端硬性部
 11R 右眼用光学系
 11L 左眼用光学系
 12 撮像素子
 13 処置具
 21 挿入部
 22 操作部
 23 ユニバーサルコード
 24 コネクタ部
 25 接続コード
 26 電気コネクタ部
 30 被写体空間
 40 再生空間
 ER 右眼
 EL 左眼
 S  明るさ絞り
 FS フレア絞り
 AX1、AX2 光軸
 LNS1 第1の光学系
 LNS2 第2の光学系
 IMG 撮像素子
 I 像面(撮像面)
 L1~L5 レンズ
 F1、F2、CG 平行平板
 OB1 被写体
 OB1´ 被写体像
 OB2 被写体(物体)
 OB2´ 被写体像

Claims (4)

  1.  平面視用の2D観察と立体視用の3D観察を切り替えられる機能を有する内視鏡装置において、
     3D観察時には、撮像光学系のディストーションを低減する画像処理部を有し、
     前記画像処理部は、以下の条件式(1)を満足する画像処理を行うことを特徴とする内視鏡装置。
     0.1<B/A<0.8、かつ、A<0   (1)
     ここで、
     Aは、2D観察時の最大像高のディストーション、
     Bは、3D観察時の最大像高のディストーション、
    である。
  2.  以下の条件式(2)を満足することを特徴とする請求項1に記載の内視鏡装置。
     0.6<D/C≦1、かつ、100度<C   (2)
     ここで、
     Cは、2D観察時の最大画角、
     Dは、3D観察時の最大画角、
    である。
  3.  前記画像処理部は、以下の式(3)に従って、ディストーションを低減することを特徴とする請求項2に記載の内視鏡装置。
     Y=E×X+F×X+G×X+H   (3)
     Xの最大値において、0.4<Y<0.8であり、
     Xは、画像処理前の像高、
     Yは、(画像処理前の像高)/(画像処理後の像高)、
     E、F、G、Hは、係数、
    である。
  4.  以下の条件式(4)を満足することを特徴とする請求項1に記載の内視鏡装置。
     -0.7<B<-0.1   (4)
     ここで、
     Bは、3D観察時の最大像高のディストーション、
    である。
     
     
PCT/JP2017/019205 2016-06-27 2017-05-23 内視鏡装置 WO2018003349A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17819716.6A EP3476270A4 (en) 2016-06-27 2017-05-23 ENDOSCOPY DEVICE
CN201780026464.1A CN109068954B (zh) 2016-06-27 2017-05-23 内窥镜装置
JP2017554421A JP6250257B1 (ja) 2016-06-27 2017-05-23 内視鏡装置
US16/171,232 US10552948B2 (en) 2016-06-27 2018-10-25 Endoscope apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-126629 2016-06-27
JP2016126629 2016-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/171,232 Continuation US10552948B2 (en) 2016-06-27 2018-10-25 Endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2018003349A1 true WO2018003349A1 (ja) 2018-01-04

Family

ID=60785406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/019205 WO2018003349A1 (ja) 2016-06-27 2017-05-23 内視鏡装置

Country Status (4)

Country Link
US (1) US10552948B2 (ja)
EP (1) EP3476270A4 (ja)
CN (1) CN109068954B (ja)
WO (1) WO2018003349A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0856891A (ja) * 1994-08-23 1996-03-05 Olympus Optical Co Ltd 立体視硬性内視鏡
JP2003052057A (ja) * 2001-08-08 2003-02-21 Hitachi Ltd 映像変換による立体視映像生成装置
US20150062299A1 (en) * 2013-08-30 2015-03-05 The Regents Of The University Of California Quantitative 3d-endoscopy using stereo cmos-camera pairs
JP2015220643A (ja) * 2014-05-19 2015-12-07 株式会社東芝 立体観察装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05323186A (ja) * 1992-04-08 1993-12-07 Olympus Optical Co Ltd 内視鏡
DE102010050227A1 (de) * 2010-11-04 2012-05-10 Siemens Aktiengesellschaft Endoskop mit 3D-Funktionalität
JP2013244362A (ja) * 2012-05-29 2013-12-09 Olympus Corp 立体視内視鏡システム
JP5818265B2 (ja) 2012-09-28 2015-11-18 富士フイルム株式会社 立体内視鏡装置
JP6150583B2 (ja) * 2013-03-27 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
EP3015895A4 (en) * 2013-06-26 2017-01-04 Olympus Corporation Endoscope objective optical system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0856891A (ja) * 1994-08-23 1996-03-05 Olympus Optical Co Ltd 立体視硬性内視鏡
JP2003052057A (ja) * 2001-08-08 2003-02-21 Hitachi Ltd 映像変換による立体視映像生成装置
US20150062299A1 (en) * 2013-08-30 2015-03-05 The Regents Of The University Of California Quantitative 3d-endoscopy using stereo cmos-camera pairs
JP2015220643A (ja) * 2014-05-19 2015-12-07 株式会社東芝 立体観察装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3476270A4 *

Also Published As

Publication number Publication date
US20190066278A1 (en) 2019-02-28
CN109068954A (zh) 2018-12-21
EP3476270A4 (en) 2020-03-04
CN109068954B (zh) 2021-03-19
US10552948B2 (en) 2020-02-04
EP3476270A1 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
US8647260B2 (en) Image apparatus for endoscopes
US10552948B2 (en) Endoscope apparatus
EP3767364B1 (en) Wide field of view endoscope
US10105034B2 (en) Endoscope apparatus
JP6873741B2 (ja) 撮像装置
JPH07294827A (ja) 内視鏡
JP6250257B1 (ja) 内視鏡装置
WO2018185955A1 (ja) 変倍光学系及び撮像装置
CN110678115B (zh) 立体内窥镜系统
JP2002365558A (ja) 硬性ビデオ内視鏡システム
US10842360B2 (en) Objective optical system
WO2022259420A1 (ja) 対物光学系、撮像装置及び内視鏡
JP4246510B2 (ja) 立体内視鏡システム
WO2018143381A1 (ja) 内視鏡
WO2021176717A1 (ja) 内視鏡装置、内視鏡画像用プロセッサ、内視鏡画像の生成方法
WO2018225613A1 (ja) 撮像光学系及び内視鏡
JP2013254124A (ja) 立体撮像光学系及びそれを備えた内視鏡
CN117793322A (zh) 一种解决3d摄像头兼容不同镜头时发生眩晕的操作方法
JP2009297308A (ja) 撮像レンズ及びカプセル型内視鏡
JP2009297307A (ja) 撮像レンズ及びカプセル型内視鏡

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017554421

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17819716

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017819716

Country of ref document: EP

Effective date: 20190128