WO2013161485A1 - 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法 - Google Patents

電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法 Download PDF

Info

Publication number
WO2013161485A1
WO2013161485A1 PCT/JP2013/058691 JP2013058691W WO2013161485A1 WO 2013161485 A1 WO2013161485 A1 WO 2013161485A1 JP 2013058691 W JP2013058691 W JP 2013058691W WO 2013161485 A1 WO2013161485 A1 WO 2013161485A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax
distance
subject
electronic endoscope
Prior art date
Application number
PCT/JP2013/058691
Other languages
English (en)
French (fr)
Inventor
有一 大島
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Publication of WO2013161485A1 publication Critical patent/WO2013161485A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • the present invention relates to an electronic endoscope, an image processing apparatus, an electronic endoscope system, and a stereoscopic image generation method that acquire a stereoscopically viewable image.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 8-822752
  • the electronic endoscope system described in Patent Document 1 includes a pair of image sensors and a pair of image fibers corresponding to the image sensors.
  • the exit end of each image fiber is coupled to the corresponding image sensor at the proximal end of the electronic endoscope, and the incident end of each image fiber is coupled to the corresponding objective lens at the distal end of the electronic endoscope.
  • the mechanism incorporated in the distal end portion of the electronic endoscope changes the direction of the incident end of each image fiber, thereby changing the convergence angle ⁇ by the pair of image fibers. .
  • the surgeon can observe a stereoscopic image of an object at an arbitrary distance by changing the convergence angle ⁇ .
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a three-dimensional object suitable for suppressing an increase in the length of the rigid portion of the electronic endoscope and the outer diameter of the electronic endoscope.
  • An electronic endoscope, an image processing apparatus, and an electronic endoscope system that are compatible with vision are provided.
  • Another object of the present invention is to provide a stereoscopic image generation method suitable for suppressing an increase in the size of an imaging apparatus such as an electronic endoscope.
  • An electronic endoscope includes an imaging unit that captures a pair of subject images with parallax, an image analysis unit that analyzes at least one of the captured pair of subject images, and an analysis by the image analysis unit.
  • Distance estimation means for estimating the distance from the predetermined reference position to the subject based on the result
  • parallax adjustment means for adjusting the parallax of the pair of subject images on the predetermined display screen according to the estimated distance It is characterized by.
  • the parallax can be adjusted without arranging an adjustment mechanism for adjusting the convergence angle ⁇ in the distal end portion of the electronic endoscope.
  • the increase in the length of the rigid portion of the electronic endoscope and the outer diameter of the electronic endoscope can be suppressed.
  • the parallax adjustment means may be configured to calculate the parallax adjustment amount using a predetermined function with the distance estimated by the distance estimation means as a variable.
  • the electronic endoscope may include an operation unit that changes a value of a predetermined parameter that defines a predetermined function in accordance with an operation by a user.
  • the image analysis means may be configured to detect the luminance of the subject image.
  • the distance estimation unit can estimate the distance to the subject based on the luminance of the subject image detected by the image analysis unit.
  • the parallax adjusting means may be configured to adjust the amount of displacement between a pair of subject images on the display screen (adjust the parallax), for example.
  • An image processing apparatus is an apparatus that can be connected to an electronic endoscope that can capture a pair of subject images with parallax, and that can receive a pair of subject images input from the electronic endoscope.
  • a pair of image analysis means for analyzing at least one, distance estimation means for estimating a distance from a predetermined reference position to a subject based on an analysis result by the image analysis means, and a pair on a predetermined display screen according to the estimated distance Parallax adjusting means for adjusting the parallax of the subject image.
  • An electronic endoscope system includes the above-described image processing device and an electronic endoscope that is connected to the image processing device and can capture a pair of subject images with parallax. It is characterized by that.
  • a stereoscopic image generation method includes a shooting step of shooting a pair of subject images with parallax, an image analysis step of analyzing at least one of the pair of shot subject images, A distance estimation step for estimating a distance from a predetermined reference position to a subject based on an analysis result in the analysis step, and a parallax adjustment for adjusting a parallax between a pair of subject images on a predetermined display screen according to the estimated distance And a step.
  • a stereoscopic-compatible electronic endoscope, an image processing apparatus, and an electronic device that are suitable for suppressing an increase in the length of the rigid portion of the electronic endoscope and the outer diameter of the electronic endoscope.
  • An endoscope system is provided.
  • a stereoscopic image generation method suitable for suppressing an increase in the size of an imaging apparatus such as an electronic endoscope is provided.
  • FIG. 1 is a block diagram illustrating a configuration of an electronic endoscope system according to a first embodiment of the present invention. It is a figure which shows the flowchart of the image generation process for stereoscopic vision performed with an electronic endoscope system during a stereoscopic vision mode. It is a figure explaining adjustment of the parallax by the image generation process for stereoscopic vision of FIG. It is a block diagram which shows the structure of the electronic endoscope system which concerns on 2nd embodiment of this invention.
  • FIG. 1 is a block diagram showing a configuration of an electronic endoscope system 1 according to the first embodiment of the present invention.
  • the electronic endoscope system 1 is a stereoscopic imaging system, and includes an electronic scope 100, a processor 200, and a monitor 300.
  • the proximal end of the electronic scope 100 is optically and electrically connected to the processor 200.
  • the processor 200 integrally includes an image processing device that processes an imaging signal input from the electronic scope 100 to generate an image, and a light source device that illuminates a body cavity that does not reach natural light via the electronic scope 100. It is a body processor.
  • the image processing device and the light source device may be configured as separate devices instead of an integrated device.
  • the processor 200 includes a system controller 202 and a timing controller 204.
  • the system controller 202 controls each element constituting the electronic endoscope system 1.
  • the timing controller 204 outputs a clock pulse for adjusting the signal processing timing to various circuits in the electronic endoscope system 1.
  • the lamp 208 radiates white light after being started by the lamp power igniter 206.
  • a high-intensity lamp such as a xenon lamp, a halogen lamp, a mercury lamp, or a metal halide lamp is suitable.
  • the illumination light radiated from the lamp 208 is collected by the condenser lens 210 and is limited to an appropriate amount of light through the stop 212 and is incident on an incident end of an LCB (Light Carrying Bundle) 102.
  • LCB Light Carrying Bundle
  • the motor 214 is mechanically connected to the diaphragm 212 via a transmission mechanism such as an arm or gear not shown.
  • the motor 214 is a DC motor, for example, and is driven under the drive control of the driver 216.
  • the diaphragm 212 is operated by the motor 214 to change the opening degree so that the image scheduled to be displayed on the display screen of the monitor 300 has an appropriate brightness, and the amount of illumination light emitted from the lamp 208 Is limited according to the opening.
  • the appropriate reference for the brightness of the image is changed according to the brightness adjustment operation performed on the user interface 218 by the operator.
  • the dimming circuit that controls the brightness by controlling the driver 216 is a well-known circuit and is omitted in this specification.
  • the illumination light incident on the incident end of the LCB 102 propagates by repeating total reflection in the LCB 102.
  • the illumination light propagated in the LCB 102 is emitted from the emission end of the LCB 102 disposed in the distal end portion of the electronic scope 100.
  • the illumination light emitted from the exit end of the LCB 102 illuminates the subject via the light distribution lens 104.
  • a pair of imaging systems corresponding to the left and right eyes are arranged.
  • the imaging system corresponding to the right eye includes an objective lens 106R and a solid-state imaging element 108R
  • the imaging system corresponding to the left eye includes an objective lens 106L and a solid-state imaging element 108L.
  • the solid-state imaging devices 108R and 108L are general imaging devices such as a CCD (Charge-Coupled Device) image sensor and a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • a parallel method in which the optical axes of the left and right cameras are arranged in parallel is employed. Therefore, the objective lenses 106R and 106L are arranged so that their optical axes are parallel to each other, and the solid imaging elements 108R and 108L are arranged so that the perpendicular lines of their light receiving surfaces are parallel.
  • a crossing method in which the optical axes of the left and right cameras are crossed may be employed.
  • the present invention is not limited to a twin-lens type including two solid-state imaging devices, but is a single-lens type (for example, after distributing reflected light from a subject to two optical paths by an optical path distribution prism in the previous stage, May be employed in which a parallax image is received by a single solid-state imaging device.
  • the convergence point is located at infinity. Therefore, the surgeon perceives that all the subjects in the display screen of the monitor 300 are positioned on the near side of the display screen, and more specifically, the subject that is actually closer to the distal end surface of the electronic scope 100 is closer to the eyes. Perceived to be located. However, if the surgeon has to continue to adjust the eye because the subject is located in front of the eye, the burden on the surgeon is great. In addition, when the parallax is large, a motility fusion is necessary, or the fusion cannot be performed in the first place, which places a heavy burden on the operator. Therefore, it is desirable to be able to adjust the convergence point so that the stereoscopic effect perceived by the operator can be changed. Note that the same problem may occur when the convergence point is fixed even in a method other than the parallel method employed in the present embodiment.
  • the electronic endoscope system 1 When the mode switch button 114 of the electronic scope 100 or the user interface 218 installed on the front panel of the processor 200 is operated by the operator, the electronic endoscope system 1 is switched to the normal mode or the stereoscopic mode.
  • the electronic endoscope system 1 displays a subject image (two-dimensional image) obtained by processing an imaging signal from one imaging system in the normal mode on the display screen of the monitor 300, and a pair of imaging in the stereoscopic mode.
  • a subject image (stereoscopic image) obtained by processing the imaging signal by the system is displayed on the display screen of the monitor 300. Since processing of a two-dimensional image is well known, it will be omitted in this specification. Further, in FIG. 1, the connection between the mode switching button 114 and other blocks is omitted in order to simplify the drawing.
  • FIG. 2 is a diagram illustrating a flowchart of stereoscopic image generation processing executed in the electronic endoscope system 1 during the stereoscopic mode.
  • the processing step is abbreviated as “S” in the description and drawings in this specification.
  • the subject After switching to the stereoscopic mode, the subject is imaged.
  • the solid-state imaging devices 108R and 108L respectively store the subject images (optical images) connected by the respective pixels on the light receiving surface via the objective lenses 106R and 106L as charges corresponding to the amount of light, thereby obtaining imaging signals.
  • Convert to The imaging signals output from the solid-state imaging devices 108R and 108L are input to the signal processing circuit 220 via the driver signal processing circuit 112 after signal amplification by the preamplifiers 110R and 110L, respectively.
  • the timing controller 204 supplies clock pulses to the driver signal processing circuit 112 according to the timing control by the system controller 202.
  • the driver signal processing circuit 112 drives and controls the solid-state imaging devices 108R and 108L at a timing synchronized with the frame rate of the video processed on the processor 200 side, according to the clock pulse supplied from the timing controller 204.
  • the signal processing circuit 220 includes a pre-processing circuit 220a, an image processing circuit 220b, a field memory 220c, an output circuit 220d, and a distance estimation unit 220e.
  • the pre-stage processing circuit 220a performs predetermined pre-stage processing such as sample hold on the pair of imaging signals corresponding to the left and right eyes input from the driver signal processing circuit 112.
  • the signal after the pre-stage processing is input to the image processing circuit 220b and subjected to white balance processing, interpolation processing, enhancement processing, ⁇ correction, color matrix processing, and the like.
  • the distance estimation unit 220e analyzes the signal after the previous stage processing by the previous stage processing circuit 220a. Specifically, the distance estimation unit 220e detects the luminance value of the subject image from the signal after the previous stage processing by the previous stage processing circuit 220a.
  • the luminance value to be detected is the luminance value of the left-eye image, the luminance value of the right-eye image, or the average luminance value of both images.
  • the brightness value detected here for example, an average brightness value of the entire subject image, a spot brightness value at the center of the subject image, or the like is assumed.
  • the distance estimation unit 220e estimates the distance D from the predetermined reference position to the subject based on the detected luminance value.
  • the predetermined reference position here is, for example, the position of the light receiving surfaces of the solid-state image sensors 108R and 108L, and the subject indicates, for example, a subject located at the center of the image. That is, the distance D is defined as a distance between a plane on which the light receiving surfaces of the solid-state image sensors 108R and 108L are located and a point on the subject located at the center of the image (for example, the center point of the image).
  • the distance D is shorter as the luminance value is higher. That is, when the luminance value is high, it is estimated that the tip surface of the electronic scope 100 is close to the subject, and when the luminance value is low, the tip surface of the electronic scope 100 is far from the subject. Information on the estimated distance D is output to the image processing circuit 220b.
  • the distance estimation unit 220e may perform image analysis different from the above and estimate the distance D to the subject.
  • the distance estimation unit 220e for example, identifies a common feature point in the left and right parallax images, and performs triangulation based on the shift amount of the feature point between the left and right parallax images and the baseline length of the solid-state imaging devices 108R and 108L. To estimate the distance D to the subject.
  • the image processing circuit 220b is a predetermined linear function f (x) with the distance D input from the distance estimation unit 220e as a variable x.
  • f (x) ax + b (a and b are predetermined coefficients) Is used to calculate the relative shift amount S (unit: dot) of the left and right parallax images.
  • f (x) is the shift amount S. Since the shift amount S defines the shift amount of the parallax image on the display screen of the monitor 300, the unit is dots.
  • the image processing circuit 220b performs coordinate conversion processing corresponding to the calculated shift amount S on each of the pair of signals corresponding to the left and right parallax images, and writes the result in the field memory 220c. Specifically, the image processing circuit 220b writes a signal (after coordinate conversion processing) corresponding to the parallax image for the right eye to the field memory 220c at a timing corresponding to the odd field, and at a timing corresponding to the even field. A signal (after coordinate conversion processing) corresponding to the parallax image for the left eye is written in the field memory 220c.
  • a pair of signals corresponding to the left and right parallax images written in the field memory 220c are swept from the field memory 220c at a timing controlled by the timing controller 204 and input to the output circuit 220d, and HDTV 1080 / 60i line-by-line Or a video signal conforming to a predetermined stereoscopic image transmission method such as HDTV 1080 / 60i side-by-side.
  • this signal is input to the monitor 300, left and right parallax images are displayed on the display screen of the monitor 300.
  • the monitor 300 is stereoscopically compliant, and can display, for example, a left-eye video signal with left-handed circularly polarized light on odd lines and a right-eye video signal with right-handed circularly polarized light on even lines. .
  • the operator wears polarized glasses in which the left and right lenses have different polarization rotation directions, and only the left eye video signal reaches the left eye and only the right eye video signal reaches the right eye.
  • only the right-eye parallax image is visible to the surgeon's right eye, and only the left-eye parallax image is visible to the surgeon's left eye.
  • the surgeon perceives a parallax image displayed on the display screen of the monitor 300 that forms an image at a non-corresponding point on the retina in the fusion area of Panam as a three-dimensional image.
  • the display format of the stereoscopic image employed in the electronic endoscope system 1 is not limited to the polarization method using polarized glasses.
  • a frame sequential method in which left and right parallax images alternately displayed in frame units are stereoscopically viewed through synchronously controlled liquid crystal shutter glasses, and left and right parallax images are displayed through red and blue color filter glasses.
  • An anaglyph method for stereoscopic viewing may be employed.
  • a so-called naked eye method such as a parallax barrier method or a lenticular lens method may be employed.
  • FIG. 3A is a diagram illustrating the left and right parallax images GL and GR in a state where the parallax is not adjusted
  • FIG. 3B is a diagram illustrating the left and right parallax images GL and GR in a state where the parallax is adjusted.
  • FIG. 3 for convenience, the parallax image GL is indicated by a thick line, and the parallax image GR is indicated by a thin line.
  • the image processing circuit 220b performs coordinate conversion processing on the signal corresponding to the parallax image GR for the right eye so that the parallax image GR is shifted by 20 dots in the direction of the arrow A1, and the parallax image for the left eye A coordinate conversion process is performed on the signal corresponding to GL so that the parallax image GL is shifted by 20 dots in the arrow A2 direction (see FIG. 3A).
  • the image processing circuit 220b performs coordinate conversion processing on the signal corresponding to the parallax image GR for the right eye so that the parallax image GR is shifted by 20 dots in the direction of the arrow A1
  • the parallax image for the left eye A coordinate conversion process is performed on the signal corresponding to GL so that the parallax image GL is shifted by 20 dots in the arrow A2 direction (see FIG. 3A).
  • the lesioned portions LL and LR of the left and right parallax images GL and GR overlap, and a convergence point is virtually set on the lesioned portions (LL and LR).
  • the lesioned part (LL, LR) is reproduced on the display screen of the monitor 300 in the surgeon's eyes, and other subjects remain. It is played back and forth (depth direction) of the display screen according to the parallax. Note that the parallax images GL and GR are larger in size than the effective display area actually displayed on the display screen of the monitor 300 in consideration of the shift amount S, as shown in FIG.
  • the parallax can be adjusted without arranging an adjustment mechanism for adjusting the convergence angle ⁇ in the distal end portion of the electronic scope 100, An increase in the length of the rigid portion and the outer diameter of the electronic scope 100 is suppressed.
  • the mechanical elements such as the adjustment mechanism described in Patent Document 1 have an operation characteristic that the follow-up is delayed with respect to a sudden change. For this reason, even if a configuration for automatically adjusting parallax is added in Patent Document 1, for example, parallax adjustment cannot be tracked in real time with respect to sudden distance fluctuations with the subject.
  • the parallax adjustment can be followed in real time even when the distance to the subject changes rapidly. Further, in the present embodiment, since the parallax can be adjusted by a simple process of shifting the parallax image based on the detected luminance value, the parallax adjustment is made to follow even when the frame rate is high, for example. be able to.
  • the shift amount S corresponding to the distance D also changes, and the stereoscopic effect perceived by the operator also changes.
  • the coefficient a and the coefficient b are obtained through the operation of the hand operating unit of the electronic scope 100 and the user interface 218. The value of can be changed.
  • FIG. 4 is a block diagram showing the configuration of the electronic endoscope system 1z according to the second embodiment of the present invention.
  • the same or similar components as those of the electronic endoscope system 1 of FIG.
  • the electronic endoscope system 1z includes an electronic scope 100z, a processor 200z, and a monitor 300.
  • the electronic scope 100z includes a signal processing circuit 220z and a user interface 218z in addition to the configuration of the electronic scope 100 of the first embodiment.
  • the processor 200z of the second embodiment is an existing processor that does not support stereoscopic vision, and includes a signal processing circuit 230.
  • the signal processing circuit 230 is a well-known circuit that processes an imaging signal from a single solid-state imaging device to generate a two-dimensional image.
  • the signal processing circuit 220z directly analyzes the pair of imaging signals input from the driver signal processing circuit 112 and adjusts the parallax.
  • the signal processing circuit 220z includes a pre-processing circuit 220a, an image processing circuit 220b, and a distance estimation unit 220e, which perform the same processing as in the first embodiment, but newly include a signal restoration circuit 220f.
  • the signal restoration circuit 220f converts the image signal that has undergone parallax adjustment received from the image processing circuit 220b into an image signal format that is output by a single solid-state image sensor. This imaging signal is thinned in half in the vertical direction, for example, and converted into line-by-line (an odd line is an imaging signal for the left eye and an even line is an imaging signal for the right eye). Therefore, a pair of imaging signals can be transmitted to the subsequent stage in the same format as a single imaging signal.
  • the processor 200z processes the image pickup signal received from the signal processing circuit 220z without distinguishing the image pickup signal from an endoscope that cannot perform conventional stereoscopic vision, so that the disparity information included in the odd and even lines remains unchanged. It is held and output to the monitor 300 to enable stereoscopic viewing.
  • the user interface 218z has the same function as the user interface 218 regarding parallax adjustment. As described above, according to the second embodiment, since the electronic endoscope system 1z can be configured using the existing processor 200z, the introduction cost can be suppressed.
  • Embodiments of the present invention are not limited to those described above, and various modifications are possible within the scope of the technical idea of the present invention.
  • the embodiment of the present application also includes an embodiment that is exemplarily specified in the specification or a combination of obvious embodiments and the like as appropriate.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　電子内視鏡を、視差のある一対の被写体画像を撮影する撮影手段と、撮影された一対の被写体画像の少なくとも一方を解析する画像解析手段と、画像解析手段による解析結果に基づいて所定の基準位置から被写体までの距離を推定する距離推定手段と、推定された距離に応じて所定の表示画面上における一対の被写体画像の視差を調節する視差調節手段とで構成する。

Description

電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
　本発明は、立体視可能な画像を取得する電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法に関する。
　一般的な電子内視鏡による撮影画像は、奥行きに関する情報が乏しいという問題がある。そこで、従来より、立体視可能な画像を生成する電子内視鏡システムが提案されている。この種の電子内視鏡システムの具体的構成は、例えば、特開平８－８２７５２号公報（以下、「特許文献１」と記す。）に記載されている。
　特許文献１に記載の電子内視鏡システムは、一対の撮像素子と、各撮像素子に対応する一対のイメージファイバを備えている。各イメージファイバの射出端は、電子内視鏡の基端部にて対応する撮像素子と結合し、各イメージファイバの入射端は、電子内視鏡の先端部にて対応する対物レンズと結合している。術者が手元の操作部を操作すると、電子内視鏡の先端部内に組み込まれた機構が各イメージファイバの入射端の向きを変化させ、これにより、一対のイメージファイバによる輻輳角θが変化する。術者は、輻輳角θを変化させることにより、任意の距離にある対象物の立体画像を観察することができる。
　しかし、輻輳角θを変化させるための機構を電子内視鏡の先端部内に組み込むと、硬性部分である先端部の長さが長くなると共に電子内視鏡の外径が大きくなる。そのため、電子内視鏡を体腔内に挿入した際の患者の負担が増加するという問題が指摘される。
　本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、電子内視鏡の硬性部分の長さ及び電子内視鏡の外径の増大を抑えるのに好適な、立体視対応の電子内視鏡、画像処理装置及び電子内視鏡システムを提供することである。また、電子内視鏡等の撮像装置の大型化を抑えるのに好適な立体視用画像生成方法を提供することである。
　本発明の一形態に係る電子内視鏡は、視差のある一対の被写体画像を撮影する撮影手段と、撮影された一対の被写体画像の少なくとも一方を解析する画像解析手段と、画像解析手段による解析結果に基づいて所定の基準位置から被写体までの距離を推定する距離推定手段と、推定された距離に応じて所定の表示画面上における一対の被写体画像の視差を調節する視差調節手段とを備えることを特徴とする。
　本発明の一形態によれば、輻輳角θを調節するための調節機構を電子内視鏡の先端部内に配置することなく視差を調節することができるため、立体視に対応させたことに伴う、電子内視鏡の硬性部分の長さ及び電子内視鏡の外径の増大が抑えられる。
　視差調節手段は、距離推定手段により推定される距離を変数とした所定の関数を用いて視差の調節量を算出する構成としてもよい。
　また、本発明の一形態に係る電子内視鏡は、ユーザによる操作に従い、所定の関数を定義する所定のパラメータの値を変更する操作手段を備える構成としてもよい。
　画像解析手段は、被写体画像の輝度を検出する構成であってもよい。この場合、距離推定手段は、画像解析手段により検出された被写体画像の輝度に基づいて被写体までの距離を推定することができる。
　また、視差調節手段は、例えば表示画面上における一対の被写体画像の互いのズレ量を調節（視差を調節）する構成としてもよい。
　また、本発明の一形態に係る画像処理装置は、視差のある一対の被写体画像を撮影可能な電子内視鏡と接続可能な装置であり、電子内視鏡より入力される一対の被写体画像の少なくとも一方を解析する画像解析手段と、画像解析手段による解析結果に基づいて所定の基準位置から被写体までの距離を推定する距離推定手段と、推定された距離に応じて所定の表示画面上における一対の被写体画像の視差を調節する視差調節手段とを備えることを特徴とする。
　また、本発明の一形態に係る電子内視鏡システムは、上記画像処理装置と、この画像処理装置と接続されており、視差のある一対の被写体画像を撮影可能な電子内視鏡とを備えることを特徴とする。
　また、本発明の一形態に係る立体視用画像生成方法は、視差のある一対の被写体画像を撮影する撮影ステップと、撮影された一対の被写体画像の少なくとも一方を解析する画像解析ステップと、画像解析ステップでの解析結果に基づいて所定の基準位置から被写体までの距離を推定する距離推定ステップと、推定された距離に応じて所定の表示画面上における一対の被写体画像の視差を調節する視差調節ステップとを含む方法である。
　本発明の一形態によれば、電子内視鏡の硬性部分の長さ及び電子内視鏡の外径の増大を抑えるのに好適な、立体視対応の電子内視鏡、画像処理装置及び電子内視鏡システムが提供される。また、電子内視鏡等の撮像装置の大型化を抑えるのに好適な立体視用画像生成方法が提供される。
本発明の第一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 立体視モード中に電子内視鏡システムにて実行される立体視用画像生成処理のフローチャートを示す図である。 図２の立体視用画像生成処理による視差の調節を説明する図である。 本発明の第二実施形態に係る電子内視鏡システムの構成を示すブロック図である。
　以下、図面を参照して、本発明の実施形態に係る電子内視鏡システムについて説明する。
（第一実施形態）
　図１は、本発明の第一実施形態の電子内視鏡システム１の構成を示すブロック図である。図１に示されるように、電子内視鏡システム１は、立体視対応の撮像システムであり、電子スコープ１００、プロセッサ２００及びモニタ３００を備えている。電子スコープ１００の基端は、プロセッサ２００と光学的・電気的に接続されている。プロセッサ２００は、電子スコープ１００より入力される撮像信号を処理して画像を生成する画像処理装置と、自然光の届かない体腔内を電子スコープ１００を介して照明する光源装置とを一体に備えた一体型プロセッサである。別の実施形態では、画像処理装置と光源装置とを一体型装置でなく別体の装置で構成してもよい。
　図１に示されるように、プロセッサ２００は、システムコントローラ２０２及びタイミングコントローラ２０４を有している。システムコントローラ２０２は、電子内視鏡システム１を構成する各要素を制御する。タイミングコントローラ２０４は、信号の処理タイミングを調整するクロックパルスを電子内視鏡システム１内の各種回路に出力する。
　ランプ２０８は、ランプ電源イグナイタ２０６による始動後、白色光を放射する。ランプ２０８には、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプが適している。ランプ２０８から放射された照明光は、集光レンズ２１０によって集光されると共に絞り２１２を介して適正な光量に制限されて、ＬＣＢ（Light Carrying Bundle）１０２の入射端に入射する。
　絞り２１２には、図示省略されたアームやギヤ等の伝達機構を介してモータ２１４が機械的に連結している。モータ２１４は例えばＤＣモータであり、ドライバ２１６のドライブ制御下で駆動する。絞り２１２は、モニタ３００の表示画面上での表示が予定される映像を適正な明るさにするため、モータ２１４によって動作して開度が変化して、ランプ２０８より放射される照明光の光量を開度に応じて制限する。適正とされる映像の明るさの基準は、術者によるユーザインタフェース２１８に対する輝度調節操作に応じて設定変更される。なお、ドライバ２１６を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。
　ＬＣＢ１０２の入射端に入射した照明光は、ＬＣＢ１０２内を全反射を繰り返すことによって伝播する。ＬＣＢ１０２内を伝播した照明光は、電子スコープ１００の先端部内に配されたＬＣＢ１０２の射出端から射出する。ＬＣＢ１０２の射出端から射出した照明光は、配光レンズ１０４を介して被写体を照明する。
　電子スコープ１００の先端部内には、左右の眼に対応する一対の撮像系が配置されている。具体的には、右眼に対応する撮像系は、対物レンズ１０６Ｒ及び固体撮像素子１０８Ｒを備えており、左眼に対応する撮像系は、対物レンズ１０６Ｌ及び固体撮像素子１０８Ｌを備えている。固体撮像素子１０８Ｒ及び１０８Ｌは、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の一般的な撮像素子である。
　本実施形態では、立体視用画像を撮像するため、左右のカメラの光軸を平行に配置する平行法（parallel camera configuration）を採用している。そのため、対物レンズ１０６Ｒと１０６Ｌは互いの光軸が平行に配置されており、かつ固体撮像素子１０８Ｒと１０８Ｌは互いの受光面の垂線が平行に配置されている。
　なお、別の実施形態では、左右のカメラの光軸を交差させる交差法（toed-in camera configuration）を採用してもよい。また、別の実施形態では、固体撮像素子を２つ備える二眼タイプに限らず、一眼タイプ（例えば被写体からの反射光を前段の光路分配用のプリズムにて２つの光路に分配した後、後段の光路合成用のプリズムにて合成し、単一の固体撮像素子により視差画像を受像するタイプ）を採用してもよい。
　本実施形態では平行法を採用するため、コンバージェンスポイントが無限遠に位置する。そのため、術者は、モニタ３００の表示画面内の全ての被写体が表示画面よりも手前側に位置するように知覚し、より詳細には、実際に電子スコープ１００の先端面に近い被写体ほど眼前に位置するように知覚する。しかし、被写体が眼前に位置することによって術者が眼の調節を働かせ続けなければならない場合、術者に対する負担が大きい。また、視差が大きい場合には、運動性融像が必要となったり、そもそも融像することができなかったりするため、術者に対する負担が大きい。そこで、コンバージェンスポイントを調節可能とし、術者が知覚する立体感を変えられるようにすることが望ましい。なお、本実施形態で採用する平行法以外の他の方式でも、コンバージェンスポイントを固定した場合には同様の問題が発生し得る。
　電子スコープ１００のモード切替ボタン１１４又はプロセッサ２００のフロントパネルに設置されたユーザインタフェース２１８が術者によって操作されると、電子内視鏡システム１が通常モード又は立体視モードに切り替えられる。電子内視鏡システム１は、通常モード中、一方の撮像系による撮像信号を処理して得た被写体像（二次元画像）をモニタ３００の表示画面に表示し、立体視モード中、一対の撮像系による撮像信号を処理して得た被写体像（立体視用画像）をモニタ３００の表示画面に表示する。なお、二次元画像の処理については周知であるため、本明細書においては省略することとする。また、図１においては、図面を簡明化するため、モード切替ボタン１１４と他のブロックとの結線は省略している。
［立体視用画像生成処理］
　図２は、立体視モード中に電子内視鏡システム１にて実行される立体視用画像生成処理のフローチャートを示す図である。説明の便宜上、本明細書中の説明並びに図面において、処理ステップは「Ｓ」と省略して記す。
［図２のＳ１（被写体の撮像）］
　立体視モードへの切替後、被写体の撮像が行われる。具体的には、固体撮像素子１０８Ｒ、１０８Ｌはそれぞれ、対物レンズ１０６Ｒ、１０６Ｌを介して受光面上の各画素で結ばれた被写体像（光学像）を光量に応じた電荷として蓄積して撮像信号に変換する。固体撮像素子１０８Ｒ、１０８Ｌより出力される撮像信号はそれぞれ、プリアンプ１１０Ｒ、１１０Ｌによる信号増幅後、ドライバ信号処理回路１１２を介して信号処理回路２２０に入力される。
　タイミングコントローラ２０４は、システムコントローラ２０２によるタイミング制御に従って、ドライバ信号処理回路１１２にクロックパルスを供給する。ドライバ信号処理回路１１２は、タイミングコントローラ２０４から供給されるクロックパルスに従って、固体撮像素子１０８Ｒ及び１０８Ｌをプロセッサ２００側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
　信号処理回路２２０は、前段処理回路２２０ａ、画像処理回路２２０ｂ、フィールドメモリ２２０ｃ、出力回路２２０ｄ、距離推定部２２０ｅを備えている。前段処理回路２２０ａは、ドライバ信号処理回路１１２より入力される左右の眼に対応する一対の撮像信号に対し、サンプルホールド等の所定の前段処理を施す。前段処理後の信号は、画像処理回路２２０ｂに入力され、ホワイトバランス処理、補間処理、エンハンス処理、γ補正、色マトリクス処理等が施される。
［図２のＳ２（被写体画像の輝度値の検出）］
　距離推定部２２０ｅは、前段処理回路２２０ａによる前段処理後の信号を解析する。具体的には、距離推定部２２０ｅは、前段処理回路２２０ａによる前段処理後の信号から被写体画像の輝度値を検出する。検出対象の輝度値は、左眼用画像の輝度値、又は右眼用画像の輝度値、若しくは両方の画像の平均の輝度値である。ここで検出される輝度値には、例えば被写体画像全体の平均輝度値や、被写体画像中央部のスポット輝度値等が想定される。
［図２のＳ３（被写体までの距離Ｄの推定）］
　距離推定部２２０ｅは、検出された輝度値に基づいて所定の基準位置から被写体までの距離Ｄを推定する。ここでいう所定の基準位置とは、例えば固体撮像素子１０８Ｒ及び１０８Ｌの受光面の位置であり、被写体は、例えば画像の中央に位置する被写体を指す。すなわち、距離Ｄは、固体撮像素子１０８Ｒ及び１０８Ｌの受光面が位置する平面と、画像の中央に位置する被写体上の点（例えば画像の中心の点）との距離と定義される。本実施形態では、被写体が照明光にて照射されることから、輝度値が高いほど距離Ｄが短いものと推定される。すなわち、輝度値が高いときには電子スコープ１００の先端面が被写体に近く、輝度値が低いときには電子スコープ１００の先端面が被写体から離れていると推定される。推定された距離Ｄの情報は、画像処理回路２２０ｂに出力される。
　なお、距離推定部２２０ｅは、上記とは別の画像解析を行い、被写体までの距離Ｄを推定してもよい。距離推定部２２０ｅは、例えば、左右の視差画像内の共通の特徴点を特定し、左右の視差画像間における特徴点のズレ量、及び固体撮像素子１０８Ｒと１０８Ｌとの基線長に基づき、三角測量により被写体までの距離Ｄを推定する。
［図２のＳ４（視差の調節）］
　画像処理回路２２０ｂは、距離推定部２２０ｅより入力される距離Ｄを変数ｘとした所定の一次関数ｆ（ｘ）
ｆ（ｘ）＝ａｘ＋ｂ（ａ、ｂは所定の係数）
を用いて左右の視差画像の相対的なシフト量Ｓ（単位：ドット）を算出する。ｆ（ｘ）がシフト量Ｓである。シフト量Ｓは、モニタ３００の表示画面上での視差画像のシフト量を定義するため、単位がドットとなっている。画像処理回路２２０ｂは、左右の視差画像に対応する一対の信号のそれぞれに対し、算出されたシフト量Ｓに応じた座標変換処理を施して、フィールドメモリ２２０ｃに書き込む。具体的には、画像処理回路２２０ｂは、奇数フィールドに対応するタイミングにて右眼用の視差画像に対応する信号（座標変換処理後）をフィールドメモリ２２０ｃに書き込み、偶数フィールドに対応するタイミングにて左眼用の視差画像に対応する信号（座標変換処理後）をフィールドメモリ２２０ｃに書き込む。
　フィールドメモリ２２０ｃに書き込まれた左右の視差画像に対応する一対の信号はそれぞれ、タイミングコントローラ２０４によって制御されたタイミングでフィールドメモリ２２０ｃから掃き出されて出力回路２２０ｄに入力され、ＨＤＴＶ１０８０／６０ｉラインバイラインやＨＤＴＶ１０８０／６０ｉサイドバイサイド等の所定の立体画像伝送方式に準拠した映像信号に変換される。この信号がモニタ３００に入力することにより、左右の視差画像がモニタ３００の表示画面に表示される。
　モニタ３００は立体視対応であり、例えば奇数ラインに左回転の円偏光をさせた左眼用映像信号を、偶数ラインに右回転の円偏光をさせた右眼用映像信号を表示することができる。術者は、手技中、左右のレンズで偏光の回転方向が異なり、左眼に左眼用映像信号のみが到達し、右眼に右眼用映像信号のみが到達する偏光めがねを装用する。これにより、術者の右眼には右眼用の視差画像だけが見え、術者の左眼には左眼用の視差画像だけが見える。術者は、パナムの融像域圏内であって網膜上の非対応点に結像する、モニタ３００の表示画面に表示される視差画像を立体として知覚する。
　なお、電子内視鏡システム１で採用される立体視用画像の表示形式は、偏光めがねを使用する偏光方式に限らない。別の実施形態では、例えばフレーム単位で交互に表示される左右の視差画像を、同期制御された液晶シャッタめがねを通じて立体視させるフレームシーケンシャル方式や、左右の視差画像を赤と青のカラーフィルタめがねを通じて立体視させるアナグリフ方式を採用してもよい。また、別の実施形態では、パララックスバリア方式やレンチキュラーレンズ方式等のいわゆる裸眼式を採用してもよい。
　図３（ａ）は、視差が調節されていない状態の左右の視差画像ＧＬ、ＧＲを示す図であり、図３（ｂ）は、視差が調節された状態の左右の視差画像ＧＬ、ＧＲを示す図である。図３においては、便宜上、視差画像ＧＬを太線で示し、視差画像ＧＲを細線で示す。
　ここでは、例えば、視差が左右方向にのみ存在し、画像処理回路２２０ｂにて算出されるシフト量Ｓが４０ドットである場合を考える。この場合、画像処理回路２２０ｂは、右眼用の視差画像ＧＲに対応する信号に対し、視差画像ＧＲが矢印Ａ１方向に２０ドットシフトするように座標変換処理を施すと共に、左眼用の視差画像ＧＬに対応する信号に対し、視差画像ＧＬが矢印Ａ２方向に２０ドットシフトするように座標変換処理を施す（図３（ａ）参照）。これにより、例えば図３（ｂ）に示されるように、左右の視差画像ＧＬ、ＧＲの病変部ＬＬとＬＲとが重なり合い、コンバージェンスポイントが病変部（ＬＬ、ＬＲ）上に仮想的に設定される。視差調節後の視差画像ＧＬ及びＧＲを表示画面に表示させることにより、術者の眼には、病変部（ＬＬ、ＬＲ）がモニタ３００の表示画面上に再生され、他の被写体については残存する視差に応じて表示画面の前後（奥行き方向）に再生される。なお、視差画像ＧＬ及びＧＲは、図３（ｂ）に示されるように、シフト量Ｓを考慮して、モニタ３００の表示画面に実際に表示される有効表示領域よりもサイズが大きい。
　本実施形態では、輻輳角θを調節するための調節機構を電子スコープ１００の先端部内に配置することなく視差を調節することができるため、立体視に対応させたことに伴う、電子スコープ１００の硬性部分の長さ及び電子スコープ１００の外径の増大が抑えられる。
　また、特許文献１に記載の調節機構等の機械的要素は、急激な変動に対して追従が遅れる動作特性を持っている。そのため、例えば特許文献１にて視差を自動調節する構成を追加したとしても、被写体との急激な距離変動に対して視差の調節をリアルタイムに追従させることができない。一方、本実施形態によれば、視差の調節を電子的に行うことにより、被写体との距離が急激に変動した場合であっても視差の調節をリアルタイムに追従させることができる。更に、本実施形態では、検出された輝度値に基づいて視差画像をシフトさせるという簡易な処理で視差を調節することができるため、例えばフレームレートが高い場合であっても視差の調節を追従させることができる。
　上記においては視差を自動で調節する内容を説明したが、例えば電子スコープ１００の手元操作部やユーザインタフェース２１８を操作することにより、手動での調節に切り替えることができる。手動での視差調節は、例えばボリュームタイプの操作部を操作してアナログ的に行うことができ、また、デジタル的（例えば予め設定された複数の調節量の中から一つをボタン操作にて選択）に行うこともできる。
　また、一次関数ｆ（ｘ）＝ａｘ＋ｂの係数ａや係数ｂの値が変わると、距離Ｄに応じたシフト量Ｓも変化するため、術者が知覚する立体感も変わる。例えば係数ｂが大きいほど距離Ｄに応じたシフト量Ｓも大きくなるため、相対的に、コンバージェンスポイントが術者側に近くなり、その結果、被写体がモニタ３００の表示画面の奥側へ移動する。本実施形態では、術者に適正な立体感を提供して眼の負担をより一層軽減できるようにするため、電子スコープ１００の手元操作部やユーザインタフェース２１８の操作を介して係数ａや係数ｂの値を設定変更することができる。
（第二実施形態）
　図４は、本発明の第二実施形態の電子内視鏡システム１ｚの構成を示すブロック図である。第二実施形態の電子内視鏡システム１ｚにおいて、図１の電子内視鏡システム１と同一の又は同様の構成には同一の又は同様の符号を付して説明を簡略又は省略する。
　図４に示されるように、電子内視鏡システム１ｚは、電子スコープ１００ｚ、プロセッサ２００ｚ及びモニタ３００を備えている。電子スコープ１００ｚは、第一実施形態の電子スコープ１００の構成に加えて信号処理回路２２０ｚ及びユーザインタフェース２１８ｚを備えている。第二実施形態のプロセッサ２００ｚは、立体視非対応の既存のプロセッサであり、信号処理回路２３０を備えている。信号処理回路２３０は、単一の固体撮像素子による撮像信号を処理して二次元画像を生成する周知の回路である。第二実施形態では、信号処理回路２２０ｚがドライバ信号処理回路１１２より入力される一対の撮像信号を直接解析して視差の調整を行う。信号処理回路２２０ｚは前段処理回路２２０ａ、画像処理回路２２０ｂ、距離推定部２２０ｅを含み、これらは第一実施形態と同様の処理を行うが、新たに信号復元回路２２０ｆを備えている。信号復元回路２２０ｆは、画像処理回路２２０ｂから受け取る視差の調整が成された画像信号を、単一の固体撮像素子が出力する撮像信号の形式へと変換する。この撮像信号は、例えば左右それぞれ縦方向に半分に間引かれて、ラインバイライン（奇数ラインが左眼用撮像信号、偶数ラインが右眼用撮像信号）に変換される。そのため一対の撮像信号を、単一の撮像信号と見かけ上同じ形式で後段に伝送可能である。プロセッサ２００ｚは、信号処理回路２２０ｚから受け取るこの撮像信号について、従来の立体視のできない内視鏡からの撮像信号と区別せずに処理を行うため、奇数ラインと偶数ラインに含まれる視差情報はそのまま保持され、モニタ３００へと出力され立体視が可能となる。ユーザインタフェース２１８ｚは視差調整に関してユーザインタフェース２１８と同様の機能を持つ。このように、第二実施形態によれば、既存のプロセッサ２００ｚを利用して電子内視鏡システム１ｚを構成することができるため、導入コストが抑えられる。
　以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
　例えば、本実施形態では、一次関数ｆ（ｘ）＝ａｘ＋ｂを用いてシフト量Ｓを算出しているが、別の実施形態では、他の関数を用いてシフト量Ｓを算出してもよい。また、別の実施形態では、関数に代えて、ルックアップテーブル（距離Ｄとシフト量Ｓとを関連付けたもの）を用いてシフト量Ｓを決定してもよい。

Claims (16)

  1. 　視差のある一対の被写体画像を撮影する撮影手段と、
    　前記撮影された一対の被写体画像の少なくとも一方を解析する画像解析手段と、
    　前記画像解析手段による解析結果に基づいて所定の基準位置から前記被写体までの距離を推定する距離推定手段と、
    　前記推定された距離に応じて所定の表示画面上における前記一対の被写体画像の視差を調節する視差調節手段と、
    を備えることを特徴とする、電子内視鏡。
  2. 　前記視差調節手段は、前記距離推定手段により推定される距離を変数とした所定の関数を用いて、前記視差の調節量を算出することを特徴とする、請求項１に記載の電子内視鏡。
  3. 　ユーザによる操作に従い、前記所定の関数を定義する所定のパラメータの値を変更する操作手段
    を備えることを特徴とする、請求項２に記載の電子内視鏡。
  4. 　前記画像解析手段は、前記被写体画像の輝度を検出し、
    　前記距離推定手段は、前記検出された被写体画像の輝度に基づいて前記被写体までの距離を推定することを特徴とする、請求項１から請求項３の何れか一項に記載の電子内視鏡。
  5. 　前記視差調節手段は、前記表示画面上における前記一対の被写体画像の互いのズレ量を調節することを特徴とする、請求項１から請求項４の何れか一項に記載の電子内視鏡。
  6. 　視差のある一対の被写体画像を撮影可能な電子内視鏡と接続可能な画像処理装置において、
    　前記電子内視鏡より入力される前記一対の被写体画像の少なくとも一方を解析する画像解析手段と、
    　前記画像解析手段による解析結果に基づいて所定の基準位置から前記被写体までの距離を推定する距離推定手段と、
    　前記推定された距離に応じて所定の表示画面上における前記一対の被写体画像の視差を調節する視差調節手段と、
    を備えることを特徴とする、画像処理装置。
  7. 　前記視差調節手段は、前記距離推定手段により推定される距離を変数とした所定の関数を用いて、前記視差の調節量を算出することを特徴とする、請求項６に記載の画像処理装置。
  8. 　ユーザによる操作に従い、前記所定の関数を定義する所定のパラメータの値を変更する操作手段
    を備えることを特徴とする、請求項７に記載の画像処理装置。
  9. 　前記画像解析手段は、前記被写体画像の輝度を検出し、
    　前記距離推定手段は、前記検出された被写体画像の輝度に基づいて前記被写体までの距離を推定することを特徴とする、請求項６から請求項８の何れか一項に記載の画像処理装置。
  10. 　前記視差調節手段は、前記表示画面上における前記一対の被写体画像の互いのズレ量を調節することを特徴とする、請求項６から請求項９の何れか一項に記載の画像処理装置。
  11. 　請求項６から請求項１０の何れか一項に記載の画像処理装置と、
    　前記画像処理装置と接続されており、視差のある一対の被写体画像を撮影可能な電子内視鏡と、
    を備えることを特徴とする、電子内視鏡システム。
  12. 　視差のある一対の被写体画像を撮影する撮影ステップと、
    　前記撮影された一対の被写体画像の少なくとも一方を解析する画像解析ステップと、
    　前記画像解析ステップでの解析結果に基づいて所定の基準位置から前記被写体までの距離を推定する距離推定ステップと、
    　前記推定された距離に応じて所定の表示画面上における前記一対の被写体画像の視差を調節する視差調節ステップと、
    を含む、立体視用画像生成方法。
  13. 　前記視差調節ステップにて、前記距離推定ステップで推定される距離を変数とした所定の関数を用いて、前記視差の調節量を算出する、請求項１２に記載の立体視用画像生成方法。
  14. 　ユーザによる操作に従い、前記所定の関数を定義する所定のパラメータの値を変更する値変更ステップ
    を含む、請求項１３に記載の立体視用画像生成方法。
  15. 　前記画像解析ステップにて、前記被写体画像の輝度を検出し、
    　前記距離推定ステップにて、前記画像解析ステップで検出された被写体画像の輝度に基づいて前記被写体までの距離を推定する、請求項１２から請求項１４の何れか一項に記載の立体視用画像生成方法。
  16. 　前記視差調節ステップにて、前記表示画面上における前記一対の被写体画像の互いのズレ量を調節する、請求項１２から請求項１５の何れか一項に記載の立体視用画像生成方法。
PCT/JP2013/058691 2012-04-23 2013-03-26 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法 WO2013161485A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012097975A JP2013223666A (ja) 2012-04-23 2012-04-23 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
JP2012-097975 2012-04-23

Publications (1)

Publication Number Publication Date
WO2013161485A1 true WO2013161485A1 (ja) 2013-10-31

Family

ID=49482819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/058691 WO2013161485A1 (ja) 2012-04-23 2013-03-26 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法

Country Status (2)

Country Link
JP (1) JP2013223666A (ja)
WO (1) WO2013161485A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106455948A (zh) * 2014-12-15 2017-02-22 奥林巴斯株式会社 摄像系统
JP2018007840A (ja) * 2016-07-13 2018-01-18 オリンパス株式会社 画像処理装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10561304B2 (en) * 2015-06-24 2020-02-18 Sony Olympus Medical Solutions Inc. Medical stereoscopic observation device, medical stereoscopic observation method, and program
CN108601511B (zh) * 2016-02-12 2021-07-27 索尼公司 医疗图像处理装置、系统、方法以及程序
JP7356697B2 (ja) * 2019-06-11 2023-10-05 国立大学法人静岡大学 画像観察システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153808A (ja) * 2002-10-10 2004-05-27 Fuji Photo Optical Co Ltd 立体電子映像装置
JP2005064727A (ja) * 2003-08-08 2005-03-10 Ricoh Co Ltd 画像処理方法、画像処理装置、画像形成システム、コンピュータプログラム及び記録媒体
JP2009005020A (ja) * 2007-06-20 2009-01-08 Olympus Corp 画像抽出装置および画像抽出プログラム
JP2010092283A (ja) * 2008-10-08 2010-04-22 Chiba Univ 立体画像作成装置及び方法並びに内視鏡検査システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153808A (ja) * 2002-10-10 2004-05-27 Fuji Photo Optical Co Ltd 立体電子映像装置
JP2005064727A (ja) * 2003-08-08 2005-03-10 Ricoh Co Ltd 画像処理方法、画像処理装置、画像形成システム、コンピュータプログラム及び記録媒体
JP2009005020A (ja) * 2007-06-20 2009-01-08 Olympus Corp 画像抽出装置および画像抽出プログラム
JP2010092283A (ja) * 2008-10-08 2010-04-22 Chiba Univ 立体画像作成装置及び方法並びに内視鏡検査システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106455948A (zh) * 2014-12-15 2017-02-22 奥林巴斯株式会社 摄像系统
US10326944B2 (en) 2014-12-15 2019-06-18 Olympus Corporation Image pickup system and signal processing apparatus
JP2018007840A (ja) * 2016-07-13 2018-01-18 オリンパス株式会社 画像処理装置

Also Published As

Publication number Publication date
JP2013223666A (ja) 2013-10-31

Similar Documents

Publication Publication Date Title
US9507141B2 (en) Stereoscopic endoscope device
JP2001339742A (ja) 立体映像プロジェクション装置、及びその補正量演算装置
JP6010895B2 (ja) 撮像装置
US9253470B2 (en) 3D camera
JP5420075B2 (ja) 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置
WO2013161485A1 (ja) 電子内視鏡、画像処理装置、電子内視鏡システム及び立体視用画像生成方法
TWI480017B (zh) 立體影像內視鏡、包含其之系統、及醫學立體影像之顯示方法
JPWO2018211854A1 (ja) ３ｄ内視鏡装置、及び、３ｄ映像処理装置
JP2019029876A (ja) 画像処理装置、カメラ装置及び出力制御方法
WO2019026929A1 (ja) 医療用観察装置
WO2015056701A1 (ja) 画像出力装置
US20120307016A1 (en) 3d camera
WO2018088215A1 (ja) 内視鏡システムおよび処理装置
JP4208351B2 (ja) 撮像装置、輻輳距離決定方法および記憶媒体
JP2005173270A (ja) 立体撮影用光学装置、撮影装置、立体撮影システム及び立体撮影装置
JP5818265B2 (ja) 立体内視鏡装置
JP3506766B2 (ja) 立体内視鏡撮像装置
JP2716936B2 (ja) 立体内視鏡撮像装置
JP2001016619A (ja) 撮像装置、その輻輳距離決定方法、記憶媒体および光学装置
JP4598717B2 (ja) 観察システム及び観察映像信号の伝送方法
WO2012001958A1 (ja) 画像処理装置および方法並びにプログラム
JP2002077944A (ja) 立体映像装置
CN110650669A (zh) 摄像装置
KR100974351B1 (ko) 스테레오스코픽 카메라 모듈 및 이를 위한 영상신호의 처리방법
JP2004222937A (ja) 立体視内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13782400

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13782400

Country of ref document: EP

Kind code of ref document: A1