WO2018225377A1 - 内視鏡撮像システム - Google Patents

内視鏡撮像システム Download PDF

Info

Publication number
WO2018225377A1
WO2018225377A1 PCT/JP2018/015261 JP2018015261W WO2018225377A1 WO 2018225377 A1 WO2018225377 A1 WO 2018225377A1 JP 2018015261 W JP2018015261 W JP 2018015261W WO 2018225377 A1 WO2018225377 A1 WO 2018225377A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
imaging
optical
light
Prior art date
Application number
PCT/JP2018/015261
Other languages
English (en)
French (fr)
Inventor
本間博之
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2018561282A priority Critical patent/JP6463573B1/ja
Publication of WO2018225377A1 publication Critical patent/WO2018225377A1/ja
Priority to US16/702,289 priority patent/US11375882B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2446—Optical details of the image relay
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/12—Beam splitting or combining systems operating by refraction only
    • G02B27/126—The splitting element being a prism or prismatic array, including systems based on total internal reflection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Definitions

  • the present invention relates to an endoscope imaging system.
  • the high dynamic range is a technique for reducing the subject image from flying white and crushed black.
  • a bright image taken with a long exposure time and a dark image taken with a short exposure time are combined. Thereby, an image with a high dynamic range can be obtained.
  • Patent Document 1 discloses a configuration for obtaining a high dynamic range moving image using a dimming device that periodically changes light incident on an image sensor.
  • Patent Document 2 and Patent Document 3 in an endoscope optical system, one optical image is separated into two optical images by a light beam separation unit, and two separated optical images are captured as one image.
  • a configuration for forming an image on an imaging surface of an element is disclosed.
  • Patent Document 4 discloses a configuration that can obtain an image with desired image characteristics without requiring complicated image processing by illuminating a subject with optimal illumination characteristics according to the desired image characteristics. Yes.
  • Patent Document 5 discloses a configuration that includes two light receiving portions and improves the dynamic range.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an endoscope imaging system that can obtain a small image with a wide dynamic range, particularly a moving image.
  • an endoscope imaging system simultaneously obtains two optical images with different brightness for the same subject.
  • An imaging optical system an illumination unit that switches between the first illumination light amount and the second illumination light amount in synchronization with the timing at which the first frame data and the second frame data are alternately imaged, and the first A combining unit that generates two images with different brightness obtained from the frame data and two images with different brightness obtained from the second frame data, and generates an image with a high dynamic range.
  • the ratio between the first illumination light amount and the second illumination light amount is 1 / ⁇ , where ⁇ is the brightness ratio of two images having different values.
  • the present invention produces an effect that it is possible to provide an endoscope imaging system that can obtain a small image with a wide dynamic range.
  • FIG. 1 is a diagram illustrating a schematic configuration of an endoscope imaging system according to an embodiment. It is a schematic block diagram of the optical path division part and image pick-up element in embodiment.
  • A is a figure showing an image sensor which an endoscope imaging system concerning an embodiment has.
  • B is another figure which shows the image pick-up element which the endoscope imaging system which concerns on embodiment has.
  • 1 is a diagram illustrating a schematic configuration of an endoscope imaging system according to Embodiment 1.
  • FIG. FIG. 3 is a schematic configuration diagram of an optical path dividing unit and an imaging element included in the endoscope imaging system according to the first embodiment. It is a schematic block diagram of the optical path division part and imaging device which the endoscope imaging system which concerns on Example 2 has. It is a figure explaining increasing the depth of field in the endoscope imaging system which concerns on a modification.
  • FIG. 1 is a diagram illustrating a schematic configuration of an endoscope imaging system 100 according to the embodiment.
  • the endoscope imaging system 100 alternately captures the imaging optical system 10 that simultaneously obtains two optical images with different brightness for the same subject, and first frame data and second frame data.
  • the illumination unit 28 switches between the first illumination light amount and the second illumination light amount, two images having different brightness obtained by the first frame data, and the second frame data.
  • the ratio of the second illumination light quantity is 1 / ⁇ .
  • the synchronization signal generator 25 outputs a synchronization signal to the image sensor 22 and the light source controller 26. Then, the light source unit 27 irradiates illumination light having a luminance necessary for imaging the first frame. The light source unit 27 emits illumination light having a luminance necessary for imaging the second frame. Thereby, the 1st illumination light quantity and the 2nd illumination light quantity can be switched.
  • the light source control unit 26 and the light source unit 27 constitute an illumination unit 28.
  • two optical images of EXP ⁇ ⁇ and EXP ⁇ 1 can be obtained in the first frame data.
  • two optical images of EXP ⁇ 1 and EXP ⁇ 1 / ⁇ can be obtained.
  • a high dynamic range image can be obtained by combining the optical images of two frames.
  • FIG. 2 is a schematic configuration diagram of the optical path dividing unit 20 and the image sensor 22.
  • the imaging optical system 10 includes an objective optical system OBL for imaging a light beam from an object, and one imaging element 22 disposed in the vicinity of the imaging position of the objective optical system OBL.
  • an optical path splitting unit 20 that is disposed between the objective optical system OBL and the image sensor 22 and has an optical path splitting surface 21d for splitting the light beam from the objective optical system OBL into two light beams, a reflected light beam and a transmitted light beam.
  • the optical path dividing unit 20 includes a first reflecting surface REF1 for turning back and reflecting the light beam reflected by the optical path dividing surface 21d, and a second reflecting surface REF2 for reflecting the light transmitted through the optical path dividing surface 21d. .
  • the first optical image is formed in the first region 22a of the image sensor 22 by the light beam reflected by the first reflecting surface REF1 through the optical path dividing surface 21d.
  • the second optical image includes a second region 22b (FIG. 3A), which is different from the first region 22a (FIGS. 3A and 3B) in the image sensor 22 of the light beam reflected by the second reflecting surface REF2.
  • the image is formed in (b)).
  • the imaging signal generation unit 23a (FIG. 1) photoelectrically converts the first optical image and the second optical image, and outputs them as a first imaging signal and a second imaging signal, respectively.
  • the reflectance of the first reflecting surface REF1 and the reflectance of the second reflecting surface REF2 are different from each other, one reflecting surface has a reflecting mirror having a reflectance r1, and the other reflecting surface has a reflectance r1 ⁇ ⁇ .
  • the following conditional expressions (1) and (2) are satisfied. 80 ⁇ r1 ⁇ 99 (1) 0.2 ⁇ ⁇ ⁇ 0.7 (2) here, r1 is the reflectance (%) in the visible light region ⁇ is a coefficient, It is.
  • the visible light region means an average value in a wavelength region from 400 nm to 700 nm.
  • the lower limit value of conditional expression (1) is a value in the case of a reflective surface of aluminum vapor deposition.
  • the upper limit of conditional expression (1) is a value in the case of the reflective surface of silver vapor deposition. Since there is an optical path dividing part, the brightness is halved. For this reason, a bright image of two images having different brightnesses needs to be a bright optical system. If the lower limit of conditional expression (1) is not reached, the brightness becomes insufficient.
  • conditional expression (2) if the lower limit of conditional expression (2) is not reached, the effect of expanding the dynamic range will be reduced. If the upper limit value of conditional expression (2) is exceeded, dark noise from the image sensor becomes more conspicuous in a dark image of two images having different brightness.
  • the optical path splitting unit 20 of this embodiment is an example that splits a light beam using polarized light.
  • the light emitted from the objective optical system OBL enters the optical path dividing unit 20.
  • the optical path splitting unit 20 includes a polarization beam splitter 21 that splits a subject image into two optical images, and an image sensor 22 that captures two optical images and acquires two images.
  • the polarization beam splitter 21 includes an object-side prism 21a, an image-side prism 21c, a mirror 21b, and a ⁇ / 4 plate 21e. Both the object-side prism 21a and the image-side prism 21c have an optical path dividing surface having an inclination of 45 degrees with respect to the optical axis AX.
  • a polarization separation film 21d is formed on the optical path dividing surface of the object-side prism 21a.
  • the object-side prism 21a and the image-side prism 21c constitute a polarization beam splitter 21 with their optical path splitting surfaces in contact with each other via a polarization separation film 21d.
  • the mirror 21b is provided near the end face of the object-side prism 21a via a ⁇ / 4 plate 21e.
  • An image sensor 22 is attached to the end face of the image-side prism 21c via a cover glass CG.
  • I is an imaging plane (imaging plane).
  • the subject image from the objective optical system OBL is separated into a P-polarized component (transmitted light) and an S-polarized component (reflected light) by the polarization separation film 21d provided on the optical path dividing surface in the object-side prism 21a, and reflected light.
  • the optical image is separated into two optical images, ie, an optical image on the side and an optical image on the transmitted light side.
  • the optical image of the S-polarized component is reflected to the imaging element 22 by the polarization separation film 21d, passes through the A optical path, passes through the ⁇ / 4 plate 21e, is reflected by the mirror 21b, and is folded back to the imaging element 22 side. It is.
  • the folded optical image is transmitted through the ⁇ / 4 plate 21e again to rotate the polarization direction by 90 °, passes through the polarization separation film 21d, and is formed on the image sensor 22.
  • the optical image of the P-polarized component is reflected by a mirror surface provided on the opposite side of the optical path dividing surface of the image-side prism 21c that passes through the polarization separation film 21d, passes through the B optical path, and is folded vertically toward the image sensor 22. Then, an image is formed on the image sensor 22.
  • the object-side prism 21a and the image-side prism 21c separate the subject image into two optical images having different brightness.
  • FIG. 3A is a diagram illustrating first frame data of the image sensor 22 included in the endoscope imaging system 100 according to the embodiment.
  • FIG. 3B is a diagram illustrating second frame data of the imaging element 22 included in the endoscope imaging system 100 according to the embodiment.
  • the image sensor 22 receives and captures two optical images having different brightnesses individually to capture all the pixel regions of the image sensor 22.
  • Two light receiving areas (effective pixel areas) 22a and 22b are provided therein.
  • the reflectance of the first reflecting surface REF1 and the reflectance of the second reflecting surface REF2 are different from each other, and one reflecting surface has a reflecting mirror having a reflectance r1 (%) and the other reflecting surface.
  • the surface has a reflection mirror with reflectivity r1 (%) ⁇ ⁇ .
  • the two optical images having different brightness mean two optical images of EXP ⁇ ⁇ and EXP ⁇ 1 in FIG. 3A when the standard brightness is EXP.
  • FIG. 3B two optical images of EXP ⁇ 1 and EXP ⁇ 1 / ⁇ are shown.
  • the light receiving regions 22a and 22b are arranged so as to coincide with the image planes of these optical images in order to capture two optical images.
  • a correction pixel area 22c for correcting a geometric shift of the optical image divided into two is provided around the light receiving areas 22a and 22b.
  • a correction pixel area 22c for correcting a geometric shift of the optical image divided into two is provided.
  • manufacturing errors are suppressed, and correction by image processing is performed by an image correction processing unit 23c (FIG. 1) described later, so that the above-described geometric misalignment of the optical image is eliminated. It has become.
  • the light attenuation member ATN (FIG. 2) is provided on the back surface side of the reflective surface having the lower reflectivity among the first reflective surface REF1 and the second reflective surface REF2 having different reflectivities. It is desirable to install.
  • the light reducing member ATN for example, an absorption filter such as an ND filter, a light shielding member, a black cloth, or a paint can be used. Further, the light may be reduced by rotating the ⁇ / 4 plate 21e. Further, the light reducing member may be configured by coating the absorption filter itself with a dielectric film mirror.
  • the optical path dividing surface is the polarization separation film 21d (polarization beam splitter surface), and the light beam is reflected by the polarization beam splitter 21 between the polarization beam splitter 21 and the first reflection surface REF1.
  • a ⁇ / 4 plate 21e for changing the phase of the light beam is provided, and the light beam reflected by the first reflecting surface REF1 is coupled to the first region 22a of the image sensor 22 via the ⁇ / 4 plate 21e and the polarization beam splitter 21. Imaged.
  • the synthesis unit 23 (FIG. 1) will be described.
  • the synthesizing unit 23 is an imaging signal generation unit 23a that reads out images related to two optical images with different brightness captured by the imaging element 22, and a frame that stores the two images read out by the imaging signal generation unit 23a. It has a memory 23b, an image correction processing unit 23c for performing image correction, an image composition processing unit 23d for performing image composition processing for combining the two corrected images, and an image output unit 23e.
  • the image correction processing unit 23c has two images so that the relative position, angle, and magnification are substantially the same with respect to the images related to the two optical images formed on the light receiving regions 22a and 22b of the image sensor 22, respectively. Is corrected.
  • the respective optical images formed in the light receiving regions 22a and 22b (FIGS. 3A and 3B) of the image pickup device 22 are relatively shifted in magnification, shifted in position, shifted in angle, that is, in the rotation direction, and the like. May occur.
  • the synthesizing unit 23 performs post-stage image processing such as color matrix processing, contour enhancement, and gamma correction on one image synthesized by the image synthesizing processing unit 23c.
  • the image output unit 23e outputs an image that has been subjected to subsequent image processing.
  • the image output from the image output unit 23e is output to the image display unit 24.
  • FIG. 4 is a diagram illustrating a schematic configuration of the endoscope imaging system 200.
  • the objective optical system OBL includes, in order from the object side, a planoconcave negative lens L1 having a plane facing the object side, a parallel flat plate L2, a biconcave negative lens L3, and a positive meniscus lens L4 having a convex surface facing the image side.
  • a positive meniscus lens L5 having a convex surface facing the object side
  • a biconvex positive lens L6 having a negative meniscus lens L7 having a convex surface facing the image side
  • an aperture stop S a biconvex positive lens L8, and a biconvex positive lens L9 and a negative meniscus lens L10 having a convex surface facing the image side.
  • the negative lens L3 and the positive meniscus lens L4 are cemented.
  • the positive lens L6 and the negative meniscus lens L7 are cemented.
  • the positive lens L9 and the negative meniscus lens L10 are cemented.
  • the optical path dividing unit 20a is disposed on the image side of the objective optical system OBL. In the prism in the optical path dividing unit 20a, the optical path is bent.
  • the parallel flat plate L2 is a filter provided with a coating for cutting a specific wavelength, for example, 1060 nm of a YAG laser, 810 nm of a semiconductor laser, or an infrared region.
  • I is an imaging plane (imaging plane).
  • the numerical data of each of the above examples is shown below. Symbols r are the radius of curvature of each lens surface, d is the distance between the lens surfaces, nd is the refractive index of the d-line of each lens, ⁇ d is the Abbe number of each lens, FNO is the F number, and ⁇ is the half field angle It is.
  • the back focus fb represents the distance from the most image-side optical surface to the paraxial image surface in terms of air. The total length is obtained by adding back focus to the distance (not converted to air) from the lens surface closest to the object side to the optical surface closest to the image side.
  • the aperture is a brightness aperture.
  • FIG. 5 is a schematic configuration diagram of the optical path splitting unit 20a and the imaging element 22 included in the endoscope imaging system 200 according to the first embodiment.
  • the same parts as those in the embodiment described above are denoted by the same reference numerals, and redundant description is omitted.
  • a polarizing prism 30 is bonded to the slope of the prism 21c on the image side of the optical path dividing unit 20a.
  • the polarizing prism 30 has a function of a light reducing member ATN2. Thereby, the stray light by reflection by a mechanical member can be reduced.
  • FIG. 6 is a schematic configuration diagram of the optical path splitting unit 20b and the imaging element 22 included in the endoscope imaging system 200 according to the second embodiment.
  • the same parts as those in the embodiment described above are denoted by the same reference numerals, and redundant description is omitted.
  • the objective optical system OBL is the same as that of the first embodiment.
  • the optical path dividing unit 20b is composed of three right-angle prisms P1, P2, and P3, and the slopes of P1 and P2 are arranged with a gap between them, and P2 and P3 are joined.
  • the light beams separated into the two optical paths A and B by the half mirror 21f (P2 image plane side) are incident on the image sensor 22 by total reflection on the slopes of the prisms P2 and P3, respectively. In this way, the above-described two images with different brightness can be obtained by intensity division without using polarized light.
  • the modified example is a configuration that can achieve the high dynamic range as described above and can increase the depth of field.
  • the apparatus configuration is the same as that shown in FIGS. And the processing flow of the obtained optical image differs from the above-mentioned embodiment.
  • the object-side prism 21a and the image-side prism 21c are separated from the subject image into two optical images with different focus positions.
  • the optical path length on the reflected light side is shorter (smaller) than (long).
  • the light receiving regions 22a and 22b are arranged so as to coincide with the image planes of these optical images in order to capture two optical images.
  • the light receiving area 22a is relatively shifted (shifted) to the near point side with respect to the light receiving area 22b, and the light receiving area 22b is in focus with respect to the light receiving area 22a.
  • the position is relatively shifted to the far point side. Thereby, two optical images with different focus are formed on the light receiving surface of the image sensor 22.
  • the optical path length to the image sensor 22 is changed to relatively shift the focus position with respect to the light receiving regions 22a and 22b.
  • the image composition processing unit 23d selects a relatively high contrast image in a corresponding area between two images and generates a composite image. That is, by comparing the contrast in each spatially identical pixel area in two images and selecting a pixel area having a relatively higher contrast, a composite image as one image synthesized from the two images Is generated.
  • the image output unit 23e outputs the image subjected to the subsequent image processing.
  • the image output from the image output unit 23e is output to the image display unit 24.
  • the image sensor 22 individually receives and captures two optical images with different focus positions.
  • the brightness of the image surrounded by the dotted line in the first frame data in FIG. 7A is the same as the brightness of the image surrounded by the dotted line in the second frame data in FIG. 7B.
  • the dark side is the near point and the bright side is the far point on the near point side and the far point side. This is because the near point side is brighter than the far point side, so that EXP ⁇ 1 / ⁇ information is not necessary, and because the far point side is darker than the near point side, EXP ⁇ ⁇ information is not necessary. is there.
  • the above-described endoscope imaging system may satisfy a plurality of configurations at the same time. This is preferable for obtaining a good endoscope imaging system.
  • the combination of a preferable structure is arbitrary. For each conditional expression, only the upper limit value or lower limit value of the numerical range of the more limited conditional expression may be limited.
  • An imaging optical system that simultaneously obtains two optical images of different brightness for the same subject;
  • An illumination unit that switches between the first illumination light amount and the second illumination light amount in synchronization with the timing at which the first frame data and the second frame data are alternately captured;
  • a high dynamic range image is generated by two images having different brightness obtained from the first frame data and two images having different brightness obtained from the second frame data;
  • An endoscope optical system wherein a ratio between the first illumination light quantity and the second illumination light quantity is 1 / ⁇ , where ⁇ is a brightness ratio between two images having different brightnesses. .
  • the present invention is useful for an endoscope imaging system capable of obtaining a small image with a wide dynamic range, particularly a moving image.
  • Endoscope imaging system 10 Imaging optical system 20, 20a, 20b Optical path splitting unit 21 Polarizing beam splitter 21a Object side prism 21b Mirror 21c Image side prism 21d Optical path splitting surface, polarization separating film 21e ⁇ / 4 plate 21f Half mirror 22 Image sensor 22a 1st area, light-receiving area 22b 2nd area, light-receiving area 22c Correction pixel area 23 Composition part 23a Imaging signal generation part 23b Frame memory 23c Image correction process part 23d Image composition process part 23e Image output part 24 Image Display unit 25 Sync signal generation unit 26 Light source control unit 27 Light source unit 28 Illumination unit 30 Polarizing prism AX Optical axis CG Cover glass OBL Objective optical system S Brightness stop L1-L10 Lens I Imaging surface

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Lenses (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

小型でダイナミックレンジの広い画像、特に動画を得ることができる内視鏡撮像システムを提供すること。　同一の被写体に対して、明るさが異なる２つの光学像を同時に得る撮像光学系と、第１のフレームデータと第２のフレームデータが、交互に撮像されるタイミングと同期して、第１の照明光量と第２の照明光量とに切り替える照明部２８と、第１のフレームデータで得られる明るさの異なる２つの画像と、第２のフレームデータで得られる明るさの異なる２つの画像と、によりハイダイナミックレンジの画像を生成する合成部２３と、を有し、明るさの異なる２つの画像の明るさ比をαとするとき、第１の照明光量と第２の照明光量の比は１／αである。

Description

内視鏡撮像システム
　本発明は、内視鏡撮像システムに関するものである。
　従来、スマートフォン等では、輝度の明暗差が大きい被写体を撮影するために、ハイダイナミックレンジと呼ばれる技術が開発されている。ハイダイナミックレンジでは、被写体像が、白く飛ぶこと、黒くつぶれることを低減するための技術である。ハイダイナミックレンジでは、長い露光時間にて撮影した明るい画像と、短い露光時間にて撮影した暗い画像とを合成する。これにより、ハイダイナミックレンジの画像を得ることができる。
　ハイダイナミックレンジは、静止画だけでなく動画生成にも応用できる。例えば、特許文献１には、撮像素子に入射する光を周期的に変化させる減光装置を用いてハイダイナミックレンジの動画を得る構成が開示されている。
　また、特許文献２、特許文献３には、内視鏡用の光学系において、１つの光学像を光束分離部により２つの光学像に分離して、分離された２つの光学像を１つの撮像素子の撮像面に結像させる構成が開示されている。
　特許文献４は、取得したい画像特性に応じた最適な照明特性で被写体を照明することにより、複雑な画像処理を必要とせずに取得したい画像特性の画像を得ることが可能な構成が開示されている。
　特許文献５は、２つの受光部を有し、ダイナミックレンジを向上させる構成が開示されている。
特開２００７－２７４２８５号公報 特開２００５－１７６９４０号公報 特許第６０１７７３５号公報 特開２０１３－２５５６５５号公報 特開２００４－３１３５２３号公報
　安定したハイダイナミックレンジを得るためには３枚以上の複数画像を合成させることが好ましいことが一般に知られている。また、内視鏡では、動画の生成が必須である。このため、内視鏡による動画において、周期的に減光させる構成を採用すると、３フレーム以上を用いて動画を得るためには、フレームレートが速くなってしまうという問題がある。一方で、１つの撮像素子で３枚以上の画像を得ようとすると、撮像系が大型化してしまう。また、２つの画像の明るさを変えるために一方の画像に関してＮＤフィルターのような吸収フィルターを使用すると、装置は大型化してしまう。上記いずれの文献に開示された構成では、このような問題を解決できない。
　本発明は、上記に鑑みてなされたものであって、小型でダイナミックレンジの広い画像、特に動画を得ることができる内視鏡撮像システムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明の少なくとも幾つかの実施形態に係る内視鏡撮像システムは、同一の被写体に対して、明るさが異なる２つの光学像を同時に得る撮像光学系と、第１のフレームデータと第２のフレームデータが、交互に撮像されるタイミングと同期して、第１の照明光量と第２の照明光量とに切り替える照明部と、第１のフレームデータで得られる明るさの異なる２つの画像と、第２のフレームデータで得られる明るさの異なる２つの画像と、によりハイダイナミックレンジの画像を生成する合成部と、を有し、明るさの異なる２つの画像の明るさ比をαとするとき、第１の照明光量と第２の照明光量の比は１／αであることを特徴とする。
　本発明は、小型でダイナミックレンジの広い画像を得ることができる内視鏡撮像システムを提供できるという効果を奏する。
実施形態に係る内視鏡撮像システムの概略構成を示す図である。 実施形態における光路分割部と撮像素子との概略構成図である。 （ａ）は実施形態に係る内視鏡撮像システムが有する撮像素子を示す図である。（ｂ）は実施形態に係る内視鏡撮像システムが有する撮像素子を示す他の図である。 実施例１に係る内視鏡撮像システムの概略構成を示す図である。 実施例１に係る内視鏡撮像システムが有する光路分割部と撮像素子との概略構成図である。 実施例２に係る内視鏡撮像システムが有する光路分割部と撮像素子との概略構成図である。 変形例に係る内視鏡撮像システムにおいて被写界深度を大きくすることを説明する図である。
　以下に、実施形態に係る内視鏡撮像システムを図面に基づいて詳細に説明する。なお、この実施形態により、この発明が限定されるものではない。
　図１は、実施形態に係る内視鏡撮像システム１００の概略構成を示す図である。内視鏡撮像システム１００は、同一の被写体に対して、明るさが異なる２つの光学像を同時に得る撮像光学系１０と、第１のフレームデータと第２のフレームデータが、交互に撮像されるタイミングと同期して、第１の照明光量と第２の照明光量とに切り替える照明部２８と、第１のフレームデータで得られる明るさの異なる２つの画像と、第２のフレームデータで得られる明るさの異なる２つの画像と、によりハイダイナミックレンジの画像を生成する合成部２３と、を有し、明るさの異なる２つの画像の明るさ比をαとするときに、第１の照明光量と第２の照明光量の比は１／αであることを特徴とする。
　図１において、同期信号発生部２５は、撮像素子２２と光源制御部２６とに対して同期信号を出力する。そして、光源部２７は、第１のフレームを撮像する際に必要な輝度の照明光を照射する。光源部２７は、第２のフレームを撮像する際に必要な輝度の照明光を照射する。これにより、第１の照明光量と第２の照明光量を切替えできる。光源制御部２６と光源部２７とで照明部２８を構成する。
　これにより、第１のフレームデータにおいて、ＥＸＰ×αとＥＸＰ×１との２つの光学像を得られる。第２のフレームデータにおいて、ＥＸＰ×１とＥＸＰ×１／αとの２つの光学像を得られる。
　そして、２つのフレームの光学像を合成することで、ハイダイナミックレンジな画像を得ることができる。
　図２は、光路分割部２０と撮像素子２２との概略構成図である。本実施形態の好ましい態様によれば、撮像光学系１０は、物体からの光束を結像させるための対物光学系ＯＢＬと、対物光学系ＯＢＬの結像位置近傍に配置された１つの撮像素子２２と、対物光学系ＯＢＬと撮像素子２２との間に配置され、対物光学系ＯＢＬからの光束を反射光束と透過光束の２つの光束に分割するための光路分割面２１ｄを有する光路分割部２０と、を有する。
　光路分割部２０は、光路分割面２１ｄで反射した光束を折り返して反射させるための第１反射面ＲＥＦ１と、光路分割面２１ｄを透過した光を反射させるための第２反射面ＲＥＦ２と、を有する。
　第１の光学像は、光路分割面２１ｄを介して第１反射面ＲＥＦ１で反射した光束を撮像素子２２における第１領域２２ａに結像される。第２の光学像は、第２反射面ＲＥＦ２で反射した光束を撮像素子２２における第１領域２２ａ（図３（ａ）、（ｂ））とは異なる第２領域２２ｂ（図３（ａ）、（ｂ））に結像される。撮像信号生成部２３ａ（図１）は、第１の光学像と第２の光学像とを光電変換し、それぞれ第１の撮像信号と第２の撮像信号として出力する。
　ここで、第１反射面ＲＥＦ１の反射率と第２反射面ＲＥＦ２の反射率は互いに異なり、一方の反射面は反射率ｒ１の反射ミラーを有し、他方の反射面は反射率ｒ１×αの反射ミラーを有し、
　以下の条件式（１）、（２）を満たすことを特徴とする。
　８０≦ｒ１≦９９　　　　（１）
　０．２≦α≦０．７　　　（２）
　ここで、
　ｒ１は、可視光領域における反射率（％）、
　αは、係数、
　である。
　ここで、反射率ｒ１に関して、可視光領域とは、４００ｎｍから７００ｎｍまでの波長領域の平均値をいう。例えば、反射率ｒ１の代表値として、波長５５０ｎｍ時の値を用いることが望ましい。
　条件式（１）の下限値は、アルミニウム蒸着の反射面の場合の値である。また、条件式（１）の上限値は、銀蒸着の反射面の場合の値である。光路分割部があるために、明るさは半減する。このために明るさの異なる２つの画像のうち、明るい画像は明るい光学系であることが必要である。条件式（１）の下限値を下回ると、明るさ不足になる。
　さらに、条件式（２）の下限値を下回ると、ダイナミックレンジを拡げる効果が低減してしまう。条件式（２）の上限値を上回ると、明るさの異なる２つの画像のうち暗い画像はイメージセンサーによるダークノイズが目立ちやすくなってしまう。
　図２を参照して、光路分割部２０の構成をさらに説明する。本実施形態の光路分割部２０は、偏光を利用して光束を分割する例である。
　対物光学系ＯＢＬを射出した光は、光路分割部２０に入射する。光路分割部２０は、被写体像を２つの光学像に分割する偏光ビームスプリッタ２１と、２つの光学像を撮像して２つの画像を取得する撮像素子２２と、を有する。
　偏光ビームスプリッタ２１は、図２に示すように、物体側のプリズム２１ａ、像側のプリズム２１ｃ、ミラー２１ｂ、及びλ／４板２１ｅを有している。物体側のプリズム２１ａ及び像側のプリズム２１ｃは共に光軸ＡＸに対して４５度の斜度である光路分割面を有している。
　物体側のプリズム２１ａの光路分割面には偏光分離膜２１ｄが形成されている。そして、物体側のプリズム２１ａ及び像側のプリズム２１ｃは、互いの光路分割面を偏光分離膜２１ｄを介して当接させて偏光ビームスプリッタ２１を構成している。
　また、ミラー２１ｂは、物体側のプリズム２１ａの端面近傍にλ／４板２１ｅを介して設けられている。像側のプリズム２１ｃの端面には、カバーガラスＣＧを介して撮像素子２２が取り付けられている。Ｉは、結像面（撮像面）である。
　対物光学系ＯＢＬからの被写体像は、物体側のプリズム２１ａにおいて光路分割面に設けられた偏光分離膜２１ｄによりＰ偏光成分（透過光）とＳ偏光成分（反射光）とに分離され、反射光側の光学像と透過光側の光学像との２つの光学像に分離される。
　Ｓ偏光成分の光学像は、偏光分離膜２１ｄで撮像素子２２に対して対面側に反射されＡ光路を通り、λ／４板２１ｅを透過後、ミラー２１ｂで反射され、撮像素子２２側に折り返される。折り返された光学像は、λ／４板２１ｅを再び透過する事で偏光方向が９０°回転し、偏光分離膜２１ｄを透過して撮像素子２２に結像される。
　Ｐ偏光成分の光学像は、偏光分離膜２１ｄを透過してＢ光路を通り、撮像素子２２に向かって垂直に折り返す像側のプリズム２１ｃの光路分割面と反対側に設けられたミラー面によって反射され、撮像素子２２に結像される。
　このように、物体側のプリズム２１ａ及び像側のプリズム２１ｃは、被写体像を明るさが異なる２つの光学像に分離する。
　図３（ａ）は実施形態に係る内視鏡撮像システム１００が有する撮像素子２２の第１のフレームデータを示す図である。図３（ｂ）は実施形態に係る内視鏡撮像システム１００が有する撮像素子２２の第２のフレームデータを示す図である。
　撮像素子２２は、図３（ａ）、図３（ｂ）にそれぞれ示すように、明るさが異なる２つの光学像を各々個別に受光して撮像するために、撮像素子２２の全画素領域の中に、２つの受光領域（有効画素領域）２２ａ、２２ｂが設けられている。
　ここで、上述のように、第１反射面ＲＥＦ１の反射率と第２反射面ＲＥＦ２の反射率は互いに異なり、一方の反射面は反射率ｒ１（％）の反射ミラーを有し、他方の反射面は反射率ｒ１（％）×αの反射ミラーを有している。
　明るさが異なる２つの光学像とは、基準の明るさをＥＸＰとしたとき、図３（ａ）では、ＥＸＰ×αとＥＸＰ×１との２つの光学像をいう。また、図３（ｂ）では、ＥＸＰ×１とＥＸＰ×１／αとの２つの光学像をいう。
　受光領域２２ａ、２２ｂは、２つの光学像を撮像するために、これらの光学像の結像面と各々一致するように配置されている。
　また、受光領域２２ａ、２２ｂの周囲には、２つに分割された光学像の幾何的なズレを補正するための補正画素領域２２ｃが設けられている。補正画素領域２２ｃ内において製造上の誤差を抑え、後述する画像補正処理部２３ｃ（図１）にて画像処理による補正を行うことで、上記した光学像の幾何学的なズレを解消するようになっている。
　また、本実施形態の好ましい態様によれば、反射率が異なる第１反射面ＲＥＦ１と第２反射面ＲＥＦ２のうち、反射率の低い方の反射面の裏面側に減光部材ＡＴＮ（図２）を設置することが望ましい。
　減光部材ＡＴＮは、例えば、ＮＤフィルターのような吸収フィルター、遮光部材、黒い布や塗料を用いることができる。また、λ／４板２１ｅを回転することで減光しても良い。さらに、減光部材は、吸収フィルター自体に誘電体膜ミラーコートして構成しても良い。
　上述のように、本実施形態では、光路分割面が、偏光分離膜２１ｄ（偏光ビームスプリッタ面）であり、偏光ビームスプリッタ２１と第１反射面ＲＥＦ１との間に、偏光ビームスプリッタ２１で反射した光束の位相を変更するためのλ／４板２１ｅを有し、第１反射面ＲＥＦ１で反射した光束がλ／４板２１ｅ、偏光ビームスプリッタ２１を介して撮像素子２２における第１領域２２ａに結像される。これにより、より有効な光量を用いながら、光束を分割できる。
　合成部２３（図１）について説明する。
　合成部２３は、撮像素子２２により撮像された明るさが異なる２つの光学像に係る画像を各々読み出す撮像信号生成部２３ａと、撮像信号生成部２３ａにより読み出された２つの画像を記憶するフレームメモリ２３ｂと、画像補正を行う画像補正処理部２３ｃと、補正された２つの画像を合成する画像合成処理を行う画像合成処理部２３ｄと、画像出力部２３ｅと、を有する。
　画像補正処理部２３ｃは、撮像素子２２の受光領域２２ａ、２２ｂにそれぞれ結像される２つの光学像に係る画像に対し、相対的な位置、角度及び倍率が略同一となるように２つの画像に対して補正を行う。
　被写体像を２つに分離して撮像素子２２に各々結像させる場合、幾何的な差異が生じる場合がある。すなわち、撮像素子２２の受光領域２２ａ、２２ｂ（図３（ａ）、（ｂ））にそれぞれ結像される各々の光学像は、相対的に倍率ズレ、位置ズレ、角度すなわち回転方向のズレ等が発生する場合がある。
　これらの差異を製造時などにおいて、完全に解消することは困難であるが、それらのズレ量が大きくなると、合成画像が２重画像となったり、不自然な明るさムラ等を生じたりする。このため、画像補正処理部２３ｃにて上述した幾何的な差異、明るさ差異を補正する。
　また、合成部２３は、画像合成処理部２３ｃにより合成された１つの画像に対して、色マトリクス処理、輪郭強調、ガンマ補正等の後段画像処理を行う。画像出力部２３ｅは、後段画像処理された画像を出力する。画像出力部２３ｅから出力される画像は画像表示部２４に出力される。
　以下、各実施例について説明する。
　（実施例１）
　次に、実施例１に係る内視鏡撮像システム２００が有する対物光学系ＯＢＬについて説明する。図４は、内視鏡撮像システム２００の概略構成を示す図である。
　対物光学系ＯＢＬは、物体側から順に、物体側に平面を向けた平凹負レンズＬ１と、平行平板Ｌ２と、両凹負レンズＬ３と、像側に凸面を向けた正メニスカスレンズＬ４と、物体側に凸面を向けた正メニスカスレンズＬ５と、両凸正レンズＬ６と、像側に凸面を向けた負メニスカスレンズＬ７と、明るさ絞りＳと、両凸正レンズＬ８と、両凸正レンズＬ９と、像側に凸面を向けた負メニスカスレンズＬ１０と、からなる。
　ここで、負レンズＬ３と正メニスカスレンズＬ４とは接合されている。正レンズＬ６と負メニスカスレンズＬ７とは接合されている。正レンズＬ９と負メニスカスレンズＬ１０とは接合されている。
　対物光学系ＯＢＬの像側に、光路分割部２０ａを配置している。光路分割部２０ａ中のプリズムでは、光路が折り曲げられる。なお、平行平板Ｌ２は、特定の波長、例えばＹＡＧレーザーの１０６０ｎｍ、半導体レーザーの８１０ｎｍ、あるいは赤外域をカットするためのコーティングが施されたフィルターである。Ｉは、結像面（撮像面）である。
　以下に、上記各実施例の数値データを示す。記号は、ｒは各レンズ面の曲率半径、ｄは各レンズ面間の間隔、ｎｄは各レンズのｄ線の屈折率、νｄは各レンズのアッベ数、ＦＮＯはＦナンバー、ωは半画角である。また、バックフォーカスｆｂは、最も像側の光学面から近軸像面までの距離を空気換算して表したものである。全長は、最も物体側のレンズ面から最も像側の光学面までの距離（空気換算しない）にバックフォーカスを加えたものである。絞りは明るさ絞りである。
数値実施例１
単位  ｍｍ
 
面データ
  面番号       r          d         nd       νd
      1        ∞        0.49     1.88300    40.76
      2       1.812      0.79
      3        ∞        0.84     1.52100    65.12
      4        ∞        0.34
      5      -4.881      0.56     1.88300    40.76
      6       1.866      2.13     1.84666    23.78
      7      77.332      可変
      8       2.010      0.81     1.48749    70.23
      9       2.149      可変
     10       3.354      1.13     1.64769    33.79
     11      -1.665      0.32     2.00330    28.27
     12      -9.987      0.04
     13(絞り)  ∞        0.56
     14     512.363      0.95     1.69895    30.13
     15      -3.552      0.36
     16       9.128      0.94     1.48749    70.23
     17      -2.180      0.39     1.92286    18.90
     18      -4.093      4.59
     19(撮像面) ∞        
 
各種データ
    焦点距離        1.00 
    ＦＮＯ．        3.58 
    画角２ω      144.9  
    fb (in air)     4.59 
    全長 (in air)  17.15 
      d7            0.47 
      d9            1.43  
 
　図５は、実施例１に係る内視鏡撮像システム２００が有する光路分割部２０ａと撮像素子２２との概略構成図である。上述した実施形態と同一の部分には同一の符号を付し、重複する説明は、省略する。
　光路分割部２０ａの像側のプリズム２１ｃの斜面には、偏光プリズム３０が接合されている。偏光プリズム３０は、減光部材ＡＴＮ２の機能を有する。これにより、機械的な部材での反射による迷光を低減できる。
（実施例２）
　図６は、実施例２に係る内視鏡撮像システム２００が有する光路分割部２０ｂと撮像素子２２との概略構成図である。上述した実施形態と同一の部分には同一の符号を付し、重複する説明は、省略する。対物光学系ＯＢＬは、実施例１と同一である。
　光路分割部２０ｂは、３つの直角プリズムＰ１、Ｐ２、Ｐ３から成り、Ｐ１とＰ２の斜面同士は空隙を空けて配置され、Ｐ２とＰ３は接合されている。ハーフミラー２１ｆ（Ｐ２の像面側）によって２つの光路Ａ、光路Ｂに分離された光束は、それぞれプリズムＰ２、Ｐ３の斜面における全反射により、撮像素子２２に入射する。このように、偏光を利用せずに、強度分割して、上述の２つの明るさの異なる像を得ることもできる。
（変形例）
　変形例は、上述したようなハイダイナミックレンジを達成し、かつ被写界深度を大きくすることができる構成である。装置構成は、図１、図２に示す構成と同じである。そして、得られた光学像の処理フローが上述の実施形態とは異なる。
　物体側のプリズム２１ａ及び像側のプリズム２１ｃを、被写体像をピント位置が異なる２つの光学像に分離できるように、物体側のプリズム２１ａにおける撮像素子２２に至る透過光側の光路長（硝路長）に対して反射光側の光路長が短く（小さく）なるように配置する。
　受光領域２２ａ、２２ｂは、２つの光学像を撮像するために、これらの光学像の結像面と各々一致するように配置されている。そして、撮像素子２２において、受光領域２２ａは受光領域２２ｂに対してそのピント位置が相対的に近点側にシフトしており（ずれており）、受光領域２２ｂは受光領域２２ａに対してそのピント位置が相対的に遠点側にシフトしている。これにより、ピントが異なる２つの光学像を撮像素子２２の受光面に結像させるように構成されている。
　なお、物体側のプリズム２１ａと像側のプリズム２１ｃにおける両者の硝材の屈折率を異ならせることにより、撮像素子２２に至る光路長を変えて受光領域２２ａ、２２ｂに対するピント位置を相対的にずらすようにしても良い。
　画像合成処理部２３ｄは、上述したハイダイナミックレンジの機能に加えて、２つの画像間の対応する所定領域において、相対的にコントラストが高い画像を選択して合成画像を生成する。つまり、２つの画像における空間的に同一の画素領域それぞれにおけるコントラストを比較し、相対的にコントラストが高い方の画素領域を選択することにより、２つの画像から合成された１つの画像としての合成画像を生成する。
　画像出力部２３ｅは、後段画像処理された画像を出力する。画像出力部２３ｅから出力される画像は画像表示部２４に出力される。
　これにより、ピントの異なる２つの光学像に係る画像を取得し、これら画像を画像合成処理部２３ｄで合成して合成被写界深度を得ることができる。内視鏡検査で広い範囲を俯瞰してスクリーニングする際には遠方観察が適しており、病変の詳細を観察したり、診断したりする際には、近接観察が適している。
　撮像素子２２は、図７（ａ）、（ｂ）に示すように、ピント位置が異なる２つの光学像を各々個別に受光して撮像する。ここで、図７（ａ）の第１のフレームデータおいて点線で囲んだ画像の明るさと、図７（ｂ）の第２のフレームデータにおいて点線で囲んだ画像の明るさとは同じである。
　ここで、近点側と遠点側とで、暗い側を近点に、明るい側を遠点にすることが好ましい。この理由は、近点側は、遠点側よりも明るいためＥＸＰ×１／αの情報が必要無くなることと、遠点側は近点側よりも暗いためＥＸＰ×αの情報は必要無くなるためである。
　このような構成をとることで、ハイダイナミックレンジを達成しつつ、より多画素化した撮像素子を使用しても解像力を落とすことなく被写界深度を拡大することが可能となる。
　なお、上述の内視鏡撮像システムは、複数の構成を同時に満足してもよい。このようにすることが、良好な内視鏡撮像システムを得る上で好ましい。また、好ましい構成の組み合わせは任意である。また、各条件式について、より限定した条件式の数値範囲の上限値あるいは下限値のみを限定しても構わない。
　以上、本発明の種々の実施形態について説明したが、本発明は、これらの実施形態のみに限られるものではなく、その趣旨を逸脱しない範囲で、これら実施形態の構成を適宜組合せて構成した実施形態も本発明の範疇となるものである。
（付記）
　なお、これらの実施例から以下の構成の発明が導かれる。
（付記項１）
　同一の被写体に対して、明るさが異なる２つの光学像を同時に得る撮像光学系と、
　第１のフレームデータと第２のフレームデータが、交互に撮像されるタイミングと同期して、第１の照明光量と第２の照明光量に切り替える照明部と、を有し、
　前記第１のフレームデータで得られる明るさの異なる２つの画像と、前記第２のフレームデータで得られる明るさの異なる２つの画像と、によりハイダイナミックレンジの画像を生成し、
　前記明るさの異なる２つの画像の明るさ比をαとするとき、前記第１の照明光量と前記第２の照明光量の比は１／αであることを特徴とする内視鏡用光学系。
（付記項２）
　反射率が異なる第１反射面と第２反射面とにより前記明るさの異なる２つの画像が形成され、反射率の低い方の反射面の裏面側に減光部材を有し、
　前記減光部材は、吸収フィルター、誘電体多層膜、黒色部材のうちの少なくともいずれか一つであることを特徴とする付記項１に記載の内視鏡用光学系。
　以上のように、本発明は、小型でダイナミックレンジの広い画像、特に動画を得ることができる内視鏡撮像システムに有用である。
　１００、２００　内視鏡撮像システム
　１０　撮像光学系
　２０、２０ａ、２０ｂ　光路分割部
　２１　偏光ビームスプリッタ
　２１ａ　物体側のプリズム
　２１ｂ　ミラー
　２１ｃ　像側のプリズム
　２１ｄ　光路分割面、偏光分離膜
　２１ｅ　λ／４板
　２１ｆ　ハーフミラー
　２２　撮像素子
　２２ａ　第１領域、受光領域
　２２ｂ　第２領域、受光領域
　２２ｃ　補正画素領域
　２３　合成部
　２３ａ　撮像信号生成部
　２３ｂ　フレームメモリ
　２３ｃ　画像補正処理部
　２３ｄ　画像合成処理部
　２３ｅ　画像出力部
　２４　画像表示部
　２５　同期信号発生部
　２６　光源制御部
　２７　光源部
　２８　照明部
　３０　偏光プリズム
　ＡＸ　光軸
　ＣＧ　カバーガラス
　ＯＢＬ　対物光学系
　Ｓ　　明るさ絞り
　Ｌ１－Ｌ１０　レンズ
　Ｉ　結像面

Claims (4)

  1. 　同一の被写体に対して、明るさが異なる２つの光学像を同時に得る撮像光学系と、
    　第１のフレームデータと第２のフレームデータが、交互に撮像されるタイミングと同期して、第１の照明光量と第２の照明光量とに切り替える照明部と、
    　前記第１のフレームデータで得られる明るさの異なる２つの画像と、前記第２のフレームデータで得られる明るさの異なる２つの画像と、によりハイダイナミックレンジの画像を生成する合成部と、を有し、
    　前記明るさの異なる２つの画像の明るさ比をαとするとき、前記第１の照明光量と前記第２の照明光量の比は１／αであることを特徴とする内視鏡撮像システム。
  2. 　前記撮像光学系は、
    　物体からの光束を結像させるための対物光学系と、
    　前記対物光学系の結像位置近傍に配置された１つの撮像素子と、
    　前記対物光学系と前記撮像素子との間に配置され、前記対物光学系からの光束を反射光束と透過光束の２つの光束に分割するための光路分割面を有する光路分割部と、
    　前記光路分割面で反射した光束を折り返して反射させるための第１反射面と、
    　前記光路分割面を透過した光を反射させるための第２反射面と、を有し、
    　前記光路分割面を介して前記第１反射面で反射した光束を前記撮像素子における第１領域に結像される第１の光学像と、前記第２反射面で反射した光束を前記撮像素子における前記第１領域とは異なる第２領域に結像される第２の光学像と、を光電変換し、それぞれ第１の撮像信号と第２の撮像信号として出力する撮像信号生成部と、を有し、
    　前記第１反射面の反射率と前記第２反射面の反射率は互いに異なり、一方の反射面は反射率ｒ１の反射ミラーを有し、他方の反射面は反射率ｒ１×αの反射ミラーを有し、
    　以下の条件式（１）、（２）を満たすことを特徴とする請求項１に記載の内視鏡撮像システム。
    　８０≦ｒ１≦９９　　　　（１）
    　０．２≦α≦０．７　　　（２）
    　ここで、
    　ｒ１は、可視光領域に対する反射率（％）、
    　αは、係数、
    である。
  3. 　前記反射率が異なる前記第１反射面と前記第２反射面のうち、反射率の低い方の反射面の裏面側に減光部材を設置することを特徴とする請求項２に記載の内視鏡撮像システム。
  4. 　前記光路分割面が、偏光ビームスプリッタであり、 
    　前記偏光ビームスプリッタと前記第１反射面との間に、前記偏光ビームスプリッタで反射した光束の位相を変更するためのλ／４板を有し、
    　前記第１反射面で反射した光束が前記λ／４板と、前記偏光ビームスプリッタとを介して前記撮像素子における第１領域に結像されることを特徴とする請求項２に記載の内視鏡撮像システム。
     
     
PCT/JP2018/015261 2017-06-07 2018-04-11 内視鏡撮像システム WO2018225377A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018561282A JP6463573B1 (ja) 2017-06-07 2018-04-11 内視鏡撮像システム
US16/702,289 US11375882B2 (en) 2017-06-07 2019-12-03 Endoscope system which generates an image of high dynamic range

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017112518 2017-06-07
JP2017-112518 2017-06-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/702,289 Continuation US11375882B2 (en) 2017-06-07 2019-12-03 Endoscope system which generates an image of high dynamic range

Publications (1)

Publication Number Publication Date
WO2018225377A1 true WO2018225377A1 (ja) 2018-12-13

Family

ID=64567033

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/015261 WO2018225377A1 (ja) 2017-06-07 2018-04-11 内視鏡撮像システム

Country Status (3)

Country Link
US (1) US11375882B2 (ja)
JP (1) JP6463573B1 (ja)
WO (1) WO2018225377A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
DE102017113274A1 (de) * 2017-06-16 2018-12-20 avateramedical GmBH Kameraobjektiv für ein Endoskop und Endoskop
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155808A (ja) * 1997-11-27 1999-06-15 Olympus Optical Co Ltd 内視鏡撮像装置
JP2005176940A (ja) * 2003-12-16 2005-07-07 Olympus Corp 電子内視鏡
JP2014524290A (ja) * 2011-08-12 2014-09-22 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 外科手術器具の画像取込み装置
WO2016059983A1 (ja) * 2014-10-14 2016-04-21 オリンパス株式会社 撮像システム
WO2017073292A1 (ja) * 2015-10-29 2017-05-04 オリンパス株式会社 内視鏡撮像ユニット

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69822958T2 (de) * 1997-10-23 2005-03-10 Olympus Corporation Bildaufnahmevorrichtung mit Mitteln zur Erweiterung des Dynamikbereichs
JP2004313523A (ja) 2003-04-17 2004-11-11 Pentax Corp 固体撮像素子、電子内視鏡
JP2007274285A (ja) 2006-03-31 2007-10-18 Seiko Precision Inc 撮像装置
US8684914B2 (en) 2011-08-12 2014-04-01 Intuitive Surgical Operations, Inc. Image capture unit and an imaging pipeline with enhanced color performance in a surgical instrument and method
US8764633B2 (en) 2011-08-12 2014-07-01 Intuitive Surgical Operations, Inc. Feature differentiation image capture unit and method in a surgical instrument
US8784301B2 (en) 2011-08-12 2014-07-22 Intuitive Surgical Operations, Inc. Image capture unit and method with an extended depth of field
US8672838B2 (en) 2011-08-12 2014-03-18 Intuitive Surgical Operations, Inc. Image capture unit in a surgical instrument
US8734328B2 (en) * 2011-08-12 2014-05-27 Intuitive Surgical Operations, Inc. Increased resolution and dynamic range image capture unit in a surgical instrument and method
JP5996287B2 (ja) 2012-06-12 2016-09-21 オリンパス株式会社 撮像装置、顕微鏡装置、内視鏡装置
JP5593004B2 (ja) * 2012-06-28 2014-09-17 オリンパスメディカルシステムズ株式会社 内視鏡システム
EP3260903A4 (en) * 2015-02-17 2018-10-31 Olympus Corporation Endoscope system
US11163169B2 (en) * 2016-06-07 2021-11-02 Karl Storz Se & Co. Kg Endoscope and imaging arrangement providing improved depth of field and resolution
JP7095693B2 (ja) * 2017-05-30 2022-07-05 ソニーグループ株式会社 医療用観察システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11155808A (ja) * 1997-11-27 1999-06-15 Olympus Optical Co Ltd 内視鏡撮像装置
JP2005176940A (ja) * 2003-12-16 2005-07-07 Olympus Corp 電子内視鏡
JP2014524290A (ja) * 2011-08-12 2014-09-22 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 外科手術器具の画像取込み装置
WO2016059983A1 (ja) * 2014-10-14 2016-04-21 オリンパス株式会社 撮像システム
WO2017073292A1 (ja) * 2015-10-29 2017-05-04 オリンパス株式会社 内視鏡撮像ユニット

Also Published As

Publication number Publication date
JP6463573B1 (ja) 2019-02-06
US20200138275A1 (en) 2020-05-07
JPWO2018225377A1 (ja) 2019-06-27
US11375882B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
US9030543B2 (en) Endoscope system
EP2476021B1 (en) Whole beam image splitting system
JP3338837B2 (ja) 複合表示装置
JP6498364B2 (ja) 内視鏡システム及び内視鏡システムの調整方法
WO2016132639A1 (ja) 内視鏡システム
JP2019179242A (ja) 光学システムおよび光学システムを有する装置
JP6463573B1 (ja) 内視鏡撮像システム
US11857158B2 (en) Optical system, endoscope apparatus and endoscope
US10914936B2 (en) Endoscope and image pickup apparatus
WO2017183371A1 (ja) 内視鏡システム
JP2001042230A (ja) 撮像光学系
JP6257874B1 (ja) 対物光学系及びそれを備えた内視鏡装置
JP6854908B2 (ja) 光学系、投影装置及び撮像装置
JP2017209154A (ja) 内視鏡システム
JP2004264714A (ja) 撮像光学系及び撮像光学系を用いた光学装置
US20240192479A1 (en) Objective optical system, imaging unit, endoscope and endoscope apparatus
KR20040050351A (ko) 접합 렌즈 및 이를 채용한 줌 렌즈 광학계 및 이를 채용한카메라
WO2023047458A1 (ja) 対物光学系、撮像ユニット、内視鏡及び内視鏡装置
WO2018123847A1 (ja) 内視鏡システム
JP2000310736A (ja) 紫外線顕微鏡光学系
JP2004271682A (ja) 撮像光学系及び撮像光学系を用いた光学装置
JP2021036257A (ja) 可視光・近赤外光撮像システム
JP2005292641A (ja) 結像光学系を用いた光学装置および投写光学系を用いた光学装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018561282

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18814221

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18814221

Country of ref document: EP

Kind code of ref document: A1