WO2018012096A1 - 内視鏡装置及び内視鏡装置の画像合成方法 - Google Patents

内視鏡装置及び内視鏡装置の画像合成方法 Download PDF

Info

Publication number
WO2018012096A1
WO2018012096A1 PCT/JP2017/017768 JP2017017768W WO2018012096A1 WO 2018012096 A1 WO2018012096 A1 WO 2018012096A1 JP 2017017768 W JP2017017768 W JP 2017017768W WO 2018012096 A1 WO2018012096 A1 WO 2018012096A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reflected image
light
polarizer
reflected
Prior art date
Application number
PCT/JP2017/017768
Other languages
English (en)
French (fr)
Inventor
山口　健太
岳志 宮井
健太郎 深沢
浩司 鹿島
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/314,232 priority Critical patent/US20200183145A1/en
Priority to EP17827230.8A priority patent/EP3482672A4/en
Priority to JP2018527411A priority patent/JP6822475B2/ja
Publication of WO2018012096A1 publication Critical patent/WO2018012096A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00112—Connection or coupling means
    • A61B1/00121—Connectors, fasteners and adapters, e.g. on the endoscope handle
    • A61B1/00126—Connectors, fasteners and adapters, e.g. on the endoscope handle optical, e.g. for light supply cables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present disclosure relates to an endoscope apparatus and an image composition method of the endoscope apparatus.
  • Patent Document 1 As a technique for improving the low visibility caused by the magnitude of contrast in endoscopic observation, for example, in Patent Document 1 below, the amount of irradiation light and the light distribution pattern are changed according to the distance information, and gain correction is performed. It describes that light unevenness is adjusted and an image with proper exposure is presented.
  • first illumination light that is illumination light from a first light source is polarized by a first polarizing plate and hits an object. From the image light, a configuration is described in which surface reflection light is blocked when passing through the first polarizing plate and the polarizing plate in which the direction of polarization is orthogonal.
  • Patent Document 1 has a problem that even if the illuminance to the subject can be made appropriate, an image suitable for observation cannot be presented due to the specular reflection component from the subject.
  • a reflected image acquisition unit that acquires a reflected image including a specular reflection component from a subject
  • a non-reflective image acquisition unit that acquires a non-reflective image that does not include the specular reflection component from the subject
  • An endoscopic device includes a reflection processing image and a synthesis processing unit that combines the non-reflection image.
  • a reflected image including a specular reflection component is acquired from a subject, a non-reflective image not including the specular reflection component is acquired from the subject, and the reflected image and the non-reflected image are acquired.
  • An image synthesis method for an endoscope apparatus comprising: synthesizing reflection images.
  • the present disclosure it is possible to optimally adjust the specular reflection component without reducing the luminance.
  • the above effects are not necessarily limited, and any of the effects shown in the present specification, or other effects that can be grasped from the present specification, together with or in place of the above effects. May be played.
  • FIG. 1 a schematic configuration of a system according to an embodiment of the present disclosure will be described with reference to FIG.
  • an endoscopic surgery system 10 disposed in an operating room as shown in FIG. 1 is used.
  • several opening devices called trocars 12a and 12b are attached to the abdominal wall, and the laparoscope (hereinafter referred to as the internal (Also referred to as an endoscope) 2, the energy treatment tool 3, the forceps 4 and the like are inserted into the body.
  • the laparoscope hereinafter referred to as the internal (Also referred to as an endoscope) 2
  • the energy treatment tool 3 the forceps 4 and the like
  • a treatment such as excision of the affected part 16 with the energy treatment tool 3 or the like is performed while viewing an image of the affected part (tumor or the like) 16 imaged by the endoscope 2 in real time.
  • the endoscope 2, the energy treatment tool 3, and the forceps 4 are held by an operator, an assistant, a scopist, a robot, or the like.
  • a rigid endoscope is exemplified as the endoscope 2, but the endoscope 2 may be a flexible endoscope.
  • the system according to the present disclosure relates to an imaging apparatus including an imaging device and an illumination device that acquire an image in a dark environment where external light such as ambient light is blocked, such as the endoscope system illustrated in FIG.
  • an observation apparatus such as an industrial endoscope apparatus, a medical endoscope apparatus, or a microscope apparatus is included.
  • a cart 14 equipped with devices for endoscopic operation, a patient bed 13 on which a patient lies, a foot switch 15 and the like are arranged.
  • the cart 14 includes devices such as a camera control unit (CCU) 5, a light source device 6, a treatment instrument device 7, a pneumoperitoneum device 8, a display device 9, a recorder 17, and a printer 11 as medical devices.
  • CCU camera control unit
  • An image image signal of the affected area 16 imaged through the observation optical system of the endoscope 2 is transmitted to the CCU 5 via the camera cable, processed in the CCU 5, and then output to the display device 9. A mirror image is displayed.
  • the CCU 5 may be connected wirelessly.
  • the light source device 6 is connected to the endoscope 2 via a light guide cable, and can switch and irradiate the affected part 16 with light of various wavelengths.
  • the treatment instrument device 7 is a high-frequency output device that outputs a high-frequency current to the energy treatment instrument 3 that cuts the affected part 16 using electric heat.
  • the pneumoperitoneum device 8 is provided with air supply and intake means, and supplies air to, for example, the abdominal region in the patient's body.
  • the foot switch 15 controls the CCU 5, the treatment instrument device 7 and the like by using a foot operation of an operator or an assistant as a trigger signal.
  • FIG. 2 is an explanatory diagram showing an example of the hardware configuration of the CCU 5 in FIG.
  • the CCU 5 includes, for example, an FPGA board 21, a CPU 22, GPU boards 231 and 232, a memory 24, an IO controller 25, a recording medium 26, and an interface 27. Further, the FPGA board 21, the CPU 22, and the GPU boards 231 and 232 are connected by a bus 28, for example.
  • the FPGA board 21 includes, for example, an FPGA (Field Programmable Gate Array), an input interface (input IF) to which an input image signal is input from the endoscope 2 in FIG. 1, and an output image signal to the display device 9 in FIG. An output interface (output IF) for output is included. An input image signal is input to the input interface (input IF) from an image sensor provided in the endoscope 2.
  • FPGA Field Programmable Gate Array
  • the CPU 22 and the GPU boards 231 and 232 perform various processes by executing various software such as related software.
  • the CPU 22 includes a processor.
  • Each of the GPU boards 231 and 232 includes a GPU (Graphics Processing Unit) and a DRAM (Dynamic Random Access Memory).
  • the memory 24 stores various data such as data corresponding to the input image signal from the endoscope 2 and data corresponding to the output image signal to the display device 9.
  • the CPU 22 serves to control writing and reading of various data to the memory 24.
  • the CPU 22 divides the image data stored in the memory 24 according to the data stored in the memory 24, the processing capabilities of the GPU boards 231 and 232, and the processing content. Then, the GPUs of the GPU boards 231 and 232 perform predetermined processing on the divided and supplied data, and output the processing result to the CPU 22.
  • the IO controller 25 serves to control transmission of signals between the CPU 22, the recording medium 26 and the interface 27, for example.
  • the recording medium 26 functions as a storage unit (not shown) and stores various data such as image data and various applications.
  • examples of the recording medium 26 include a solid state drive.
  • the recording medium 26 may be detachable from the CCU 5.
  • Examples of the interface 27 include a USB (Universal Serial Bus) terminal and processing circuit, a LAN (Local Area Network) terminal, and a transmission / reception circuit.
  • USB Universal Serial Bus
  • LAN Local Area Network
  • FIG. 2 shows an example in which there are two GPU boards 231 and 232, but the number may be two or more. Further, when the CPU 22 has a GPU function, the CCU 5 may not include the GPU boards 231 and 232.
  • FIG. 3A is a schematic diagram illustrating a state in which a subject is illuminated with uniform illuminance by sunlight as in a natural environment.
  • FIG. 3B is a schematic diagram illustrating a state in which a subject is illuminated by a single light source in a state where external light is blocked as in observation under an endoscope.
  • the upper diagram shows a state in which the objects A, B, and C are viewed from the line-of-sight direction
  • the lower diagram shows a state in which the line-of-sight direction is viewed from above.
  • an object having the same reflectance that is uniformly illuminated by sunlight is visible with the same brightness regardless of the distance.
  • the state shown in FIG. 3B since the illuminance greatly changes depending on the distance from the light source device to the subject, it is difficult to make the entire field of view an appropriate exposure state.
  • FIG. 4 is a schematic diagram showing the structure of the endoscope apparatus.
  • the angle (optical axis) formed by the incident light vector v1 from the light source and the image light vector v2 to the image pickup unit is likely to be parallel and structural. Specular reflection is likely to occur for the reason.
  • the intensity of the specular reflection component with respect to the intensity of the diffuse reflection component having color information of the subject is very large.
  • the specular reflection component is mixed with the light beam of the image light incident on the imaging unit (reflected light from the subject), the pixel The value is easily saturated and information about the subject cannot be acquired. If the exposure amount is adjusted so that the specular reflection component does not saturate, the intensity of the diffuse reflection component including subject color information that is important information for observation becomes too small, and the diffuse reflection component cannot be acquired. Further, if the specular reflection occurs frequently, it not only hinders observation but also causes great stress on the viewer's eyes. Therefore, it is necessary to consider the specular reflection component in providing an appropriate observation environment.
  • the image light from the subject is composed of only the first reflection light composed of the specular reflection component and the diffuse reflection component and the diffuse reflection component while blocking the specular reflection component.
  • a reflected image from the first reflected light a non-reflective image from the second reflected light, and a composite image suitable for observation from the reflected and non-reflected images.
  • FIG. 5A to FIG. 5C are schematic diagrams showing the relationship between irradiation light and incident light during endoscope observation during normal imaging.
  • FIG. 5A shows the case of the endoscope apparatus 500. Incident light irradiated from the light guide unit 100 toward the subject 300 is reflected by the subject 300, and image light resulting from the reflection is captured by the imaging unit 200.
  • the imaging unit 200 includes an imaging element such as a CMOS sensor.
  • FIG. 5B shows a state where the endoscope apparatus 500 of FIG. 5A is viewed from the subject side. As shown in FIG.
  • FIG. 5B shows an example of a microscopic surgery apparatus 600, in which a plurality of units each having a light guide unit 100 and an imaging unit 200 are provided.
  • the incident light is unpolarized light (non-polarized light).
  • the image light generated when the irradiated light hits the subject 300 is immediately reflected on the object surface by a diffuse reflection component (unpolarized light, indicated by a one-dot chain line in FIGS. 5A and 5C) that is diffusely reflected inside the object and depolarized.
  • a specular reflection component non-polarized light, indicated by a two-dot chain line in FIGS. 5A and 5C).
  • FIGS. 5A to 5B external light (environment light) is not included in the light source that illuminates the subject during imaging.
  • the optical axis directions of irradiation light and incident light are parallel.
  • the present embodiment is not limited to the configuration of the endoscope apparatus 500, and the same applies to the microscope operation apparatus 600 as shown in FIG. 5C and other apparatus configurations as long as the observation apparatus satisfies such conditions. Applicable to.
  • the configuration of the endoscope apparatus 500 will be described as an example.
  • FIG. 6 is a schematic diagram showing a method using a space division method.
  • incident light non-polarized light, indicated by a thick broken line in FIG. 6
  • This incident light is polarized by a first polarizer (polarizing plate) 400 having a first polarization angle, and becomes incident light having a first polarization angle (polarized light, indicated by a thin broken line in FIG. 6).
  • Incident light strikes the subject 300 and image light from the subject 300 is generated.
  • the image light generated at this time is diffusely reflected within the object and diffused and depolarized (non-polarized light, indicated by a thick dashed line in FIG. 6), and immediately reflected on the object surface to maintain the first polarization angle.
  • a specular reflection component composed of polarized light polarized light, indicated by a thick two-dot chain line in FIG. 6.
  • the diffuse reflection component having the color information of the image is diffusely reflected inside the object, so that the polarization state is eliminated.
  • the specular reflection component maintains the polarization state and has the same first polarization angle as the incident light.
  • the imaging unit 200 installed in the lens barrel 510 has a second polarization angle as shown in FIG.
  • Polarized pixels 204 including the two polarizers 202 and normal pixels 206 not including the second polarizer 202 are arranged spatially dispersed.
  • the second polarizer 202 has a second polarization angle orthogonal to the first polarization angle.
  • a diffuse reflection component (non-polarized light, indicated by a thick one-dot chain line in FIG. 6) is transmitted and a diffuse reflection component (non-polarized light, indicated by a thin one-dot chain line in FIG. 6). It becomes.
  • the specular reflection component (polarized light, indicated by a thick two-dot chain line in FIG. 6) is blocked by the second polarizer 202.
  • the diffuse reflection component non-polarized light, indicated by a thick one-dot chain line in FIG.
  • the specular reflection component (polarized light, indicated by a thick two-dot chain line in FIG. 6) are usually normal.
  • the pixel 206 is reached. As described above, the specular reflection component is blocked from the light beam reaching the polarization pixel 204, and the specular reflection component is included in the light beam reaching the normal pixel 206.
  • FIG. 7 is a schematic diagram illustrating an example of a spatial arrangement of the polarization pixel 204 and the normal pixel 206.
  • the arrangement of the polarization pixel 204 and the normal pixel 206 may be arranged in a zigzag shape as shown in FIG. 6, or may be divided into horizontal and vertical divisions more simply as shown in FIG.
  • the image information acquired by the imaging unit 200 is sent to the reflected image acquisition unit 650 and the non-reflective image acquisition unit 660.
  • the reflected image acquisition unit 650 acquires a reflected image generated from the normal pixel 206.
  • the non-reflective image acquisition unit 660 acquires a non-reflective image from the polarization pixel 204.
  • the acquired reflected image and non-reflected image are combined in the combining processing unit 700. The processing of the composition processing unit 700 will be described later.
  • FIG. 8 is a schematic diagram showing a method of combining a reflected image and a non-reflected image acquired by the space division method.
  • FIG. 8 shows a flow for generating an interpolation pixel by a low-pass filter
  • an interpolation pixel may be generated by applying a higher algorithm such as IGV or LMMSE.
  • the result of demosaicing from a state where information is included in all phases by mixing a reflective image and a non-reflective image, combined with a demosaic of a reflective image + a non-reflective image may be used as the output image.
  • Example of time division method 9A and 9B are schematic diagrams for explaining a method using a time division method.
  • the time division method is roughly divided into two methods, a first method shown in FIG. 9A and a second method shown in FIG. 9B.
  • incident light that is illumination light from the first light source is irradiated from the light guide unit 100.
  • This incident light is polarized by the first polarizer 400 having the first polarization angle, and becomes incident light having the first polarization angle (polarized light, indicated by a thin broken line in FIG. 9A).
  • Incident light strikes the subject 300 and image light from the subject 300 is generated.
  • the image light generated at this time is diffusely reflected within the object and diffused and depolarized (non-polarized light, indicated by a thick dashed line in FIG. 9A), and immediately reflected on the object surface to maintain the first polarization angle.
  • a specular reflection component polarized light, indicated by a thick two-dot chain line in FIG. 9A.
  • the first polarizer 400 is always provided.
  • the image light reaches the observation window 514 at the tip of the lens barrel 510, but the second polarizer 202 is provided on the subject side of the imaging unit 200 only during 2n frames (even frames) in accordance with the shutter timing. Appears and the second polarizer 202 does not appear in 2n + 1 frames (odd frames). For this reason, in the 2n frame, since the specular reflection component of the image light does not pass through the second polarizer 202, a non-reflective image is acquired. On the other hand, in the 2n + 1 frame, the specular reflection component reaches the imaging unit 200 and a reflected image is acquired.
  • incident light as illumination light from the first light source reaches the irradiation window 512, and at this time, 2n frames (even frames) in accordance with the timing of the shutter. Only when the first polarizer 400 appears.
  • the second polarizer 202 is always provided.
  • the illumination light polarized by the first polarizer 400 hits the subject 300 to generate image light including a specular reflection component that maintains the polarization state, and this specular reflection component is blocked by the second polarizer 202. .
  • the first polarizer 400 since the first polarizer 400 does not appear in 2n + 1 frames (odd frames), image light including a non-polarized specular reflection component is generated, and the non-polarized specular reflection component passes through the second polarizer 202.
  • a non-reflective image is acquired in 2n frames in which the specular reflection component of image light does not pass through the second polarizer 202, and a reflected image is acquired in 2n + 1 frames in which the specular reflection component of image light passes through the second polarizer 202.
  • the first polarizer 400 does not appear at the shutter timing, but the illumination light from the first light source is switched to the second light source that irradiates linearly polarized light having the same polarization angle as the first polarizer 400. Also good. Note that the appearance and retreat of the first polarizer 400 and the second polarizer 202 can be controlled by providing a mechanical shutter.
  • FIG. 10 shows an example in which switching between the first polarizer 400 and the second polarizer 202 is performed together with switching of the color filters (R, G, B) in order to acquire a reflected image and a non-reflected image in the time division method.
  • It is a schematic diagram.
  • the color filter (R, G, B, polarization R, polarization G, polarization B) is changed in the surface order instead of the IN / OUT of the polarization filter, so that the reflected image x3 and the non-reflective image x 3 may be acquired.
  • the surface sequential permutation of the color filter may be in the format 1 shown in FIG. 10 or may be R ⁇ polarized light R ⁇ G ⁇ polarized light G ⁇ B ⁇ polarized light B as in the case of the format 2.
  • FIG. 11A and FIG. 11B are schematic diagrams for explaining a technique using a light beam splitting method.
  • FIG. 11A shows a case where a normal prism is used as a beam splitter
  • FIG. 11B shows a case where a polarization beam splitter is used.
  • incident light from the first light source non-polarized light, indicated by a thick broken line in FIG. 11A
  • This incident light is polarized by the first polarizer 400 having the first polarization angle, and becomes incident light having the first polarization angle (polarized light, indicated by a thin broken line in FIG. 11A).
  • Incident light strikes the subject 300 and image light from the subject 300 is generated.
  • the image light generated at this time is diffusely reflected within the object and diffused and depolarized (unpolarized, indicated by a thick dashed line in FIG. 11A), and immediately reflected on the object surface to maintain the first polarization angle.
  • a specular reflection component polarized light, indicated by a thick two-dot chain line in FIG. 11A).
  • the image light reaches the observation window 514 at the tip of the lens barrel 510, but the image light is equally divided into two by the beam splitter 210 installed inside the lens barrel 510, and one light beam is directly taken as the first imaging.
  • a reflected image is acquired by entering the unit 212, and the other light beam passes through the second polarizer 216 disposed immediately after the beam splitter 210 and then enters the second imaging unit 214. Since the second polarizer 216 has a polarization angle orthogonal to the first polarization angle, a non-reflective image can be acquired.
  • the beam splitter 210 may be a normal prism, but may also be a polarizing beam splitter 218 having a horizontal or vertical polarization angle orthogonal to the first polarization angle of the first polarizer 400, as shown in FIG. 11B. .
  • the specular reflection component included in one of the light beams is parallel to the polarization angle of the polarization beam splitter 218, and thus passes through and reaches one of the first imaging unit 212 or the second imaging unit 214 to obtain a reflected image. Is done.
  • the specular reflection component of the other light beam is cut off because it is perpendicular to the polarization angle of the polarization beam splitter 218 and reaches the other of the first imaging unit 212 or the second imaging unit 214 to obtain a non-reflective image. Is done.
  • the said method was demonstrated as one form of the method of acquiring a non-reflective image and a reflective image, you may acquire a non-reflective image and a reflective image by methods other than the above.
  • FIG. 12 is a schematic diagram showing an example in which the direction of polarization is changed using the phase difference plate 401 instead of the first polarizer 40 instead of preparing two polarizers (for example, 0 ° and 90 °).
  • FIG. 12 When the liquid crystal is used as a retardation plate, no charge is given to the liquid crystal when a reflected image is acquired. Thereby, the polarized light passes through the second polarizer 202 and a reflected image can be obtained.
  • an electric charge is applied to the liquid crystal and the polarization direction is moved by 90 °. Thereby, the polarized light is blocked by the second polarizer 202.
  • the amount of light (diffuse reflection component) of the reflected image decreases according to the light attenuation rate of the polarizer.
  • the same amount of light as that obtained by using a polarization beam splitter in the light beam splitting method is acquired.
  • FIG. 13 illustrates a method for displaying a specular reflection control image adaptive to the observation purpose as a composite image.
  • the reflected image and the non-reflected image acquired by the imaging unit 200 are acquired by the reflected image acquiring unit 650 and the non-reflected image acquiring unit 660 and input to the synthesis processing unit 700.
  • the composition processing unit 700 includes a specular reflection separation unit 702, a specular reflection control unit 704, and a luminance correction unit 706.
  • the reflected image is input to the specular reflection separation unit 702, and the non-reflected image is input to the luminance correction unit 760.
  • the luminance correction unit 706 adjusts the overall luminance of the non-reflective image.
  • the luminance level of the non-reflective image is adjusted to the reflected image from the dimming rate when a non-polarized light beam passes through the polarizer.
  • the luminance to be adjusted at this time may be uniform on the screen, or may be determined and applied for each region or pixel.
  • a method of determining for each region or pixel it is preferable to use, for example, a pixel of interest (phase) or a ratio of the region of interest of a reflected image and a non-reflective image.
  • the pixel or region of the reflected image includes a specular reflection component, the pixel value is excluded because it is extremely high, and the pixel or region when calculating the ratio does not include the specular reflection component.
  • the non-reflective image whose luminance is adjusted is input to the specular reflection separation unit 702 and the specular reflection control unit 704.
  • the specular reflection separation unit 702 calculates the difference between the reflected image and the non-reflected image whose luminance is adjusted, and extracts it as a specular reflection image.
  • the extracted specular reflection image is input to the specular reflection control unit 704.
  • the specular reflection control unit 704 multiplies the extracted specular reflection image by the first coefficient A and adds it to the non-reflective image whose luminance level is adjusted.
  • the composite image is output.
  • the first coefficient A multiplied by the specular reflection image is 0.0 or more and less than 1.0, an image in which the specular reflection is attenuated or lost is suppressed, and saturation of image information is suppressed and visibility is improved. it can.
  • the first coefficient A is 1.0 or more, the specular reflection is emphasized, and an image with a strong texture and stereoscopic effect can be obtained.
  • a composite image generation unit 700 illustrated in FIG. 14 includes a luminance correction unit 712 and an image composition unit 714.
  • the reflected image is input to the image composition unit 714, and the non-reflected image is input to the luminance correction unit 712.
  • the luminance level of the non-reflective image is adjusted by the luminance correction unit 712.
  • the second coefficient added as the gain of the brightness to be adjusted is a unique value uniformly across the screen. The second coefficient is obtained, for example, from the light attenuation rate when an unpolarized light beam passes through the polarizer.
  • the image composition unit 714 composes the non-reflective image and the reflected image with adjusted brightness.
  • a reflected image is used for a portion without specular reflection because the reflected image has a higher S / N ratio.
  • the non-reflective image has image information even if the S / N ratio is low, and therefore the non-reflective image is used.
  • FIGS. 15A and 15B are characteristic diagrams showing the utilization factors ⁇ 1 and ⁇ 2 of the reflected image at the time of synthesis.
  • the utilization rate ⁇ 1 of the reflected image or the non-reflected image can be determined by the luminance of the reflected image, for example. Since the specular reflection is large in the portion where the luminance of the reflected image is high, the usage factor ⁇ 1 of the reflected image is decreased and the usage rate of the non-reflective image is increased. On the other hand, since the specular reflection is small in the portion where the luminance of the reflected image is low, the usage factor ⁇ 1 of the reflected image is increased and the usage rate of the non-reflective image is decreased.
  • Such composition can be performed for each region of the image or for each pixel.
  • both reflection images of the non-reflective image and the reflective image have different reflection components, so the luminance of the non-reflective image adjusted by the luminance correction unit 706 is It does not necessarily match the reflected image. For this reason, the combination of both reflection images may not be achieved only by the concept as shown in FIG. 15A.
  • a coefficient ⁇ 2 weighted by the difference between the two reflection images can be used as a coefficient for obtaining the synthesis ratio.
  • the difference between the non-reflected image and the reflected image with adjusted luminance is large, it can be considered that the difference is caused by the specular reflection component. Since the difference between the two reflected images is considered to be a difference derived from the specular reflection component, the larger the difference is, the higher the use ratio of the image with less specular reflection component, that is, the non-reflective image, is increased by the coefficient ⁇ 2.
  • a ratio may be used instead of the difference. However, it is preferable to devise so that the utilization rate of the non-reflective image in the dark portion does not increase at that time.
  • the specular reflection component can be optimally adjusted by synthesizing the reflected image and the non-reflected image, unlike the synthesis of the normal long / short exposure photographed image (HDR synthesis).
  • HDR synthesis synthesis of the normal long / short exposure photographed image
  • the S / N of the image can be made higher than the synthesis of the normal long / short exposure photographed image, and the deterioration of the image quality due to the specular reflection component can be surely suppressed.
  • a reflected image and a non-reflected image are acquired, and both reflected images are combined to adjust the intensity of the specular reflection component of the subject according to the purpose.
  • the image suitable for can be presented.
  • the specular reflection component is strong, it is possible to reliably suppress deterioration in image quality by suppressing the specular reflection component.
  • an image with high S / N and high visibility can be presented in the dark part.
  • a reflected image acquisition unit that acquires a reflected image including a specular reflection component from a subject
  • a non-reflective image acquisition unit that acquires a non-reflective image that does not include the specular reflection component from the subject
  • a synthesis processing unit that synthesizes the reflected image and the non-reflected image
  • An endoscopic device comprising: (2) The composition unit described above in (1), wherein the difference between the reflected image and the non-reflected image is added to the non-reflected image to synthesize the reflected image and the non-reflected image. Endoscope device.
  • composition processing unit performs the composition based on the brightness of the reflected image, by lowering the utilization rate of the reflected image as the brightness of the reflected image is higher.
  • the synthesis processing unit Based on the difference between the luminance of the reflected image and the luminance of the non-reflected image, the synthesis processing unit performs the synthesis by reducing the utilization rate of the reflected image as the difference increases.
  • the endoscope apparatus according to 1).
  • synthesis processing unit includes a luminance correction unit that adjusts the luminance of the non-reflective image to the luminance of the reflective image.
  • the reflected image acquisition unit acquires the reflected image in a first predetermined frame divided in time
  • the non-reflective image acquisition unit acquires the non-reflective image in a second predetermined frame divided in time
  • In the first predetermined frame one of the first polarizer and the second polarizer appears
  • the endoscope apparatus according to (7) or (8), wherein both the first polarizer and the second polarizer appear in the second predetermined frame.
  • the second polarizer is disposed in a polarization pixel among the plurality of pixels,
  • the reflected image acquisition unit acquires the reflected image from a normal pixel in which the second polarizer is not disposed,
  • a beam splitter that splits the light beam reflected from the subject into two, The second polarizer transmits one of the light beams split into two, The reflected image acquisition unit acquires the reflected image from a light beam that has not passed through the second polarizer among the light beams that are split into two; The endoscope apparatus according to (7), wherein the reflected image acquisition unit acquires the non-reflected image from a light beam that has passed through the second polarizer among the two light beams that are split into two.
  • a first polarizer that makes light emitted from the light source unit linearly polarized light and enter the subject;
  • a polarizing beam splitter that splits the light beam reflected from the subject into two; With The polarizing beam splitter changes the polarization state of one of the light beams split into two,
  • the reflected image acquisition unit acquires the reflected image from a light beam whose polarization state is not changed by the polarization beam splitter among the light beams split into two,
  • the reflected image acquisition unit acquires the non-reflected image from a light beam whose polarization state has been changed by the polarization beam splitter among the two light beams that have been split into two beams.
  • Second Polarizer 204 Polarized Pixel 206 Normal Pixel 210 Beam Splitter 218 Polarized Beam Splitter 400
  • First Polarizer 650 Reflected Image Acquisition Unit 660

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】輝度を低下させることなく、鏡面反射成分を最適に調整する。 【解決手段】本開示に係る内視鏡装置は、被写体から鏡面反射成分を含む有反射像を取得する有反射像取得部と、前記被写体から前記鏡面反射成分を含まない無反射像を取得する無反射像取得部と、前記有反射像と前記無反射像を合成する合成処理部と、を備える。この構成により、輝度を低下させることなく、鏡面反射成分を最適に調整することが可能となり、被写体の観察を最適に行うことができる。

Description

内視鏡装置及び内視鏡装置の画像合成方法
　本開示は、内視鏡装置及び内視鏡装置の画像合成方法に関する。
　内視鏡観察における明暗差の大きさに起因する視認性の低さを改善する技術として、例えば下記の特許文献１には、距離情報に応じて照射光量や配光パターンを変え、ゲイン補正によって配光ムラを調整し、適正露出の映像を提示することが記載されている。
　また、下記の特許文献２には、鏡面反射画像を取り除くイメージングの技術として、第１光源からの照明光である第１照明光が第１偏光板で偏光化されて対象物に当たり、対象物からの像光からは、第１偏光板とその偏光の方向が直行する偏光板を通過する際に、表面反射光が遮断されるようにした構成が記載されている。
特開２０１５－８７８５号公報 特開２０１４－１８４３９号公報
　しかしながら、特許文献１に記載された方法では、被写体への照度を適正にすることは出来ても、被写体からの鏡面反射成分によって観察に適した映像を提示できないという問題がある。
　また、特許文献２に記載された技術においては、取得される表面反射波（鏡面反射成分）の無い無反射像は、鏡面反射成分のある通常画像に対して被写体の質感や印象が異なるため、通常の観察用途で利用することが困難である。
　更に、特許文献２に記載された技術においては、鏡面反射成分を除去するための構成として、照射光と反射光に対してそれぞれ偏光子を介在させているため、偏光板を介さない場合に比べて、照射光量に対して撮像部へ入射する光量が１/４未満となってしまう。このため、映像のＳ／Ｎが大きく損なわれるという問題がある。
　そこで、輝度を低下させることなく、鏡面反射成分を最適に調整することが望まれていた。
　本開示によれば、被写体から鏡面反射成分を含む有反射像を取得する有反射像取得部と、前記被写体から前記鏡面反射成分を含まない無反射像を取得する無反射像取得部と、前記有反射像と前記無反射像を合成する合成処理部と、を備える、内視鏡装置が提供される。
　また、本開示によれば、被写体から鏡面反射成分を含む有反射像を取得することと、前記被写体から前記鏡面反射成分を含まない無反射像を取得することと、前記有反射像と前記無反射像を合成することと、を備える、内視鏡装置の画像合成方法が提供される。
　以上説明したように本開示によれば、輝度を低下させることなく、鏡面反射成分を最適に調整することが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの概略構成について説明するための模式図である。 図１におけるＣＣＵのハードウェア構成の一例を示す説明図である。 自然環境下のように、太陽光線によって均一な照度で被写体が照らされている状態を示す模式図である。 内視鏡下観察のように外光の遮断された状態で単一の光源によって被写体を照らす状態を示す模式図である。 内視鏡装置の構造を示す模式図である。 通常撮影時における内視鏡観察時の照射光と入射光の関係を示す模式図である。 通常撮影時における内視鏡観察時の照射光と入射光の関係を示す模式図である。 通常撮影時における内視鏡観察時の照射光と入射光の関係を示す模式図である。 空間分割方式を用いた手法を示す模式図である。 偏光画素と通常画素の空間的な配置の例を示す模式図である。 空間分割方式で取得された有反射像と無反射像を合成する手法を示す模式図である。 時間分割方式を用いた手法を説明するための模式図である。 時間分割方式を用いた手法を説明するための模式図である。 時間分割方式における有反射像、無反射像の取得のため、第１偏光子と第２偏光子の切り替えをカラーフィルタ（Ｒ，Ｇ，Ｂ）の切り替えとともに行う例を示す模式図である。 光線分割方式を用いた手法を説明するための模式図である。 光線分割方式を用いた手法を説明するための模式図である。 位相差板を利用して偏光の方向を変える例を示す模式図である。 無反射像と有反射像から合成像を生成する合成像生成部を説明するための模式図である。 無反射像と有反射像から合成像を生成する合成像生成部を説明するための模式図である。 合成の際の有反射像の使用率係数α１を示す特性図である。 合成の際の有反射像の使用率係数α２を示す特性図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．システムの全体構成
　２．本実施形態に係る内視鏡の構成
　３．空間分割方式の例
　４．時間分割方式の例
　５．光線分割方式の例
　６．無反射像と有反射像の合成
　［１．システムの全体構成］
　まず、図１を参照して、本開示の一実施形態に係るシステムの概略構成について説明する。近年では、医療現場において従来の開腹手術に代わって内視鏡による手術が行われている。例えば、腹部の手術を行う場合、図１に示すような手術室に配置される内視鏡手術システム１０を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ１２ａ,１２ｂと称される開孔器具が腹壁に数か所取り付けられ、トロッカ１２ａ,１２ｂに設けられている孔から腹腔鏡（以下、内視鏡とも称する）２、エネルギ処置具３や鉗子４等が体内に挿入される。そして、内視鏡２によってビデオ撮像された患部（腫瘍等）１６の画像をリアルタイムに見ながら、エネルギ処置具３等によって患部１６を切除するなどの処置が行われる。内視鏡２、エネルギ処置具３や鉗子４は、術者、助手、スコピスト、またはロボット等が保持している。なお、本実施形態では内視鏡２として硬性内視鏡を例示するが、内視鏡２は軟性内視鏡であっても良い。また、本開示に係るシステムは、図１に示す内視鏡システムのような、環境光などの外光が遮断された暗環境化において画像を取得する撮像装置と照明装置を備えるイメージング機器に関するもので、工業用内視鏡装置や医用内視鏡装置、または顕微鏡装置といった観察装置を含む。
　このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート１４、患者が横たわる患者ベッド１３、フットスイッチ１５等が配置される。カート１４は、医療機器として例えばカメラコントロールユニット(ＣＣＵ)５、光源装置６、処置具用装置７、気腹装置８、表示装置９、レコーダ１７及びプリンタ１１等の装置類を搭載している。
　内視鏡２の観察光学系を通じて撮像された患部１６の画像像信号がカメラケーブルを介してＣＣＵ５に伝送され、ＣＣＵ５内で信号処理された後に、表示装置９に出力され、患部１６の内視鏡画像が表示される。ＣＣＵ５は、カメラケーブルを介して内視鏡２に接続される他、無線で接続してもよい。光源装置６は、ライトガイドケーブルを介して内視鏡２に接続され、患部１６に対してさまざまな波長の光を切り替えて照射することができる。処置具用装置７は、電気熱を用いて患部１６を切断するエネルギ処置具３に対して高周波電流を出力する高周波出力装置である。気腹装置８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。フットスイッチ１５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ５や処置具用装置７等を制御する。
　図２は、図１におけるＣＣＵ５のハードウェア構成の一例を示す説明図である。ＣＣＵ５は、例えば、ＦＰＧＡボード２１と、ＣＰＵ２２と、ＧＰＵボード２３１,２３２と、メモリ２４と、ＩＯコントローラ２５と、記録媒体２６と、インタフェース２７とを備える。また、ＦＰＧＡボード２１、ＣＰＵ２２、およびＧＰＵボード２３１，２３２は、例えばバス２８で接続される。ＦＰＧＡボード２１は、例えば、ＦＰＧＡ（Field　Programmable　Gate　Array）と、図１の内視鏡２から入力画像信号が入力される入力インタフェース（入力ＩＦ）と、図１の表示装置９に出力画像信号を出力する出力インタフェース（出力ＩＦ）を含む。入力インタフェース（入力ＩＦ）には、内視鏡２が備える撮像素子から入力画像信号が入力される。
　ＣＰＵ２２と、ＧＰＵボード２３１,２３２とは、例えば関連するソフトフェアなどの各種ソフトウェアを実行して様々な処理を行う。ＣＰＵ２２は、プロセッサを備えている。ＧＰＵボード２３１,２３２のそれぞれは、ＧＰＵ（Graphics　Processing　Unit）とＤＲＡＭ（Dynamic　Random　Access　Memory）を備えている。
　メモリ２４には、例えば、内視鏡２から入力画像信号に対応するデータや、表示装置９への出力画像信号に対応するデータなど様々なデータが記憶される。ＣＰＵ２２は、メモリ２４への各種データの書き込みや読み出しを制御する役目を果たす。
　ＣＰＵ２２は、メモリ２４に記憶させたデータと、ＧＰＵボード２３１，２３２の処理能力と、処理内容に応じて、メモリ２４に記憶された画像データを分割する。そして、ＧＰＵボード２３１，２３２のそれぞれのＧＰＵは、分割されて供給されてくるデータに所定の処理を施し、処理結果をＣＰＵ２２に出力する。
　ＩＯコントローラ２５は、例えば、ＣＰＵ２２と、記録媒体２６およびインタフェース２７との間の信号の伝達を制御する役目を果たす。
　記録媒体２６は、記憶部（図示せず）として機能し、画像データや各種アプリケーションなど様々なデータを記憶する。ここで、記録媒体２６としては、例えば、ソリッドステートドライブなどが挙げられる。また、記録媒体２６は、ＣＣＵ５から着脱可能であってもよい。
　インタフェース２７としては、例えば、ＵＳＢ（Universal　Serial　Bus）端子および処理回路や、ＬＡＮ（Local　Area　Network）端子および送受信回路などが挙げられる。
　なお、ＣＣＵ５のハードウェア構成は、図２に示す構成に限られない。例えば、図２では、ＧＰＵボード２３１，２３２が２枚である例が示されているが、２枚以上の枚数であってもよい。また、ＣＰＵ２２がＧＰＵの機能を有している場合には、ＣＣＵ５は、ＧＰＵボード２３１，２３２を備えていなくてもよい。以上のような内視鏡手術システム１０を用いることで、外科手術における大きなデメリットである侵襲性を抑えた手術手技を実現することが可能となっている。
　以上のような内視鏡観察を含め、外光（環境光）の遮断された閉空間を単一の照明装置によって動的に観察する装置全般における普遍的な第１の課題として、被写体の広大なダイナミックレンジ（ＤＲ）を確保することが挙げられる。図３Ａは、自然環境下のように、太陽光線によって均一な照度で被写体が照らされている状態を示す模式図である。また、図３Ｂは、内視鏡下観察のように外光の遮断された状態で単一の光源によって被写体を照らす状態を示す模式図である。図３Ａ及び図３Ｂにおいて、上段の図は物体Ａ，Ｂ，Ｃを視線方向から見た状態を示しており、下段の図は視線方向を上から見た状態を示している。図３Ａに示す状態では、太陽光線で均一に照らされる反射率の同じ物体であれば、距離によらず同じ明るさで目に映る。一方、図３Ｂに示す状態では、光源装置と被写体までの距離によって照度が大きく変化するために、視野全体を適正な露出状態にすることが困難となる。
　この第１の課題に対する既存の技術として、例えば前述した特許文献１のように、距離情報に応じて適正露出の映像を提示する技術がある。しかし、この方法では、被写体への照度を適正にすることは出来ても、被写体からの鏡面反射成分によって観察に適した映像を提示できない。
　また、図１に示すようなシステムを用いた観察における第２の課題として、鏡面反射成分による照り返しがある。図４は、内視鏡装置の構造を示す模式図である。例えば図４に示すような内視鏡装置を具体例として挙げると、光源からの入射光ベクトルｖ１と撮像部への像光ベクトルｖ２のなす角度（光軸）が平行になり易く、構造的な理由から鏡面反射が生じやすい。この時、被写体の色情報を有する拡散反射成分の強度に対する鏡面反射成分の強度は非常に大きく、撮像部に入射する像光の光線（被写体からの反射光）に鏡面反射成分が混じると、画素値は容易に飽和してしまい、被写体の情報を取得できなくなる。仮に鏡面反射成分が飽和しないように露光量を調整すると、観察において重要な情報となる被写体色情報等を含む拡散反射成分の強度が小さくなり過ぎ、拡散反射成分を取得できない。また、鏡面反射が高い頻度で生じると観察の妨げになるだけではなく、視聴者の眼にも大きなストレスとなる。そのため、適正な観察環境を提供するに当たって、鏡面反射成分についても考慮する必要がある。
　第２の課題に対する既存の技術として、例えば前述した特許文献２のように偏光板を利用して鏡面反射成分が遮断する技術がある。しかし、特許文献２に記載された技術においては、取得される鏡面反射成分の無い無反射像は、鏡面反射成分のある通常撮影の像（有反射像）に対して被写体の質感や印象が異なるため、通常の観察用途で利用することは困難である。また、特許文献２に記載された技術においては、鏡面反射成分を除去するための構成として、照射光と反射光に対してそれぞれ偏光板を介在させているため、照射光量に対して撮像部へ入射する光量が１/４未満となってしまい、映像のＳ／Ｎが大きく損なわれるという問題がある。
　上記の点に鑑み、本実施形態では、被写体からの像光を、鏡面反射成分と拡散反射成分から構成される第１の反射光、及び鏡面反射成分を遮断して拡散反射成分のみで構成される第２の反射光に分解し、第１反射光からは有反射像を、第２反射光からは無反射像をそれぞれ取得し、有反射像及び無反射像から観察に適した合成像を生成する。
　以下では、被写体からの像光を第１及び第２反射光に分解してそれぞれ有反射像及び無反射像として取得する構成例について説明する。
　［２．本実施形態に係る内視鏡の構成］
　図５Ａ～図５Ｃは、通常撮影時における内視鏡観察時の照射光と入射光の関係を示す模式図である。図５Ａは内視鏡装置５００の場合を示しており、導光部１００から被写体３００に向けて照射された入射光は、被写体３００で反射し、反射による像光が撮像部２００にて撮像される。撮像部２００は、ＣＭＯＳセンサ等の撮像素子から構成される。図５Ｂは、図５Ａの内視鏡装置５００を被写体側から見た状態を示している。図５Ｂに示すように、内視鏡装置５００の鏡筒５１０には、入射光が照射される照射窓５１２と像光が入射する観察窓５１４が設けられている。図５Ｃは、顕微鏡手術装置６００の例を示しており、導光部１００と撮像部２００を有するユニットが複数設けられている。
　図５Ａ、図５Ｂに示す通常の撮影では、入射光は偏光されていない光（非偏光）である。照射光が被写体３００に当たって生じた像光は、物体内部で乱反射して偏光が解消された拡散反射成分（非偏光、図５Ａ、図５Ｃ中に一点鎖線で示す）と、物体表面で直ちに反射した鏡面反射成分（非偏光、図５Ａ、図５Ｃ中に二点鎖線で示す）とを含む。
　前提として、図５Ａ～図５Ｂにおいて、撮像に際して被写体を照明する光源に外光（環境光）は含まれない。また、図４に示したように、照射光と入射光の光軸方向は平行である。本実施形態は内視鏡装置５００の構成に限定されるものではなく、このような条件を満たす観察装置であれば、図５Ｃに示したような顕微鏡手術装置６００やその他の装置構成においても同様に適用できる。以下では、内視鏡装置５００の構成を例に挙げて説明を行う。
　［３．空間分割方式の例］
　第１反射光及び第２反射光を取得する手法として、空間分割方式を用いた方法、時間分割方式を用いた方法、が挙げられる。図６は、空間分割方式を用いた手法を示す模式図である。まず、第１光源からの照明光である入射光（非偏光、図６中に太い破線で示す）が導光部１００から照射される。この入射光は、第１偏光角度を有する第１偏光子（偏光板）４００で偏光化されて、第１偏光角度を有する入射光（偏光、図６中に細い破線で示す）となる。入射光は、被写体３００に当たり、被写体３００からの像光が生じる。この時生じた像光は、物体内部で乱反射し偏光が解消された拡散反射成分（非偏光、図６中に太い一点鎖線で示す）と、物体表面で直ちに反射し第１の偏光角度を保った偏光で構成される鏡面反射成分（偏光、図６中に太い二点鎖線で示す）とを含む。このように、画像の色情報を有する拡散反射成分は、物体内部で乱反射することで偏光状態が解消される。一方、鏡面反射成分は、偏光状態が保たれ、入射光と同じ第１偏光角度を有している。
　続いて、像光は鏡筒５１０の先端の観察窓５１４に到達するが、この際に鏡筒５１０の内部に設置された撮像部２００に、図６に示すように第２偏光角度を有する第２偏光子２０２を備える偏光画素２０４と、第２偏光子２０２を備えない通常画素２０６とが空間的に分散して配置されている。第２偏光子２０２は、第１偏光角度に直交する第２偏光角度を有する。
　第２偏光子２０２を備える偏光画素２０４では、拡散反射成分（非偏光、図６中に太い一点鎖線で示す）が透過して拡散反射成分（非偏光、図６中に細い一点鎖線で示す）となる。また、鏡面反射成分（偏光、図６中に太い二点鎖線で示す）は第２偏光子２０２によって遮断される。一方、偏光子を備えない通常画素２０６では、拡散反射成分（非偏光、図６中に太い一点鎖線で示す）と鏡面反射成分（偏光、図６中に太い二点鎖線で示す）はそのまま通常画素２０６に到達する。以上により、偏光画素２０４に到達する光線からは鏡面反射成分が遮断され、通常画素２０６に到達する光線には鏡面反射成分が含まれる。
　従って、偏光画素２０４のみから生成された画像は無反射像となり、通常画素２０６のみから生成される画像は有反射像となる。図７は、偏光画素２０４と通常画素２０６の空間的な配置の例を示す模式図である。偏光画素２０４と通常画素２０６の配置は、図６に示す様にジグザグ状に配置しても良いし、図７に示すように、より単純に水平、垂直に分割して配置しても良い。
　図６に示すように、撮像部２００で取得された画像情報は、有反射像取得部６５０と無反射像取得部６６０に送られる。有反射像取得部６５０では、通常画素２０６から生成された有反射像が取得される。また、無反射像取得部６６０では、偏光画素２０４から無反射像が取得される。取得された有反射像及び無反射像は、合成処理部７００において合成される。合成処理部７００の処理については、後述する。
　図８は、空間分割方式で取得された有反射像と無反射像を合成する手法を示す模式図である。空間分割方式で有反射像、無反射像を取得する場合、それぞれの信号で位相（画素）が不足する状態になるため、デモザイク処理によって位相を補間する必要がある。また、無反射像については、第２偏光子２０２を通過することにより有反射像よりも輝度が低下するため、露光比倍のゲインを乗算し、輝度低下分を増加させる。そして、有反射像、輝度を増加させた無反射像のそれぞれについて、ローパスフィルタを通した後、合成部にて合成を行う。なお、合成の際の有反射像と無反射像の利用率については後述する。図８では、ローパスフィルタによって補間画素を生成するフローを記しているが、ＩＧＶやＬＭＭＳＥなどのより高等なアルゴリズムを適用し、補間画素を生成しても良い。また、解像度を補償する目的で、有反射像と無反射像を混ぜて全ての位相に情報を持った状態から、デモザイクを行った結果に対し、有反射像＋無反射像のデモザイクを併せ、有反射像と無反射像と併せて合成した結果を出力画像としても良い。
　［４．時間分割方式の例］
　図９Ａ及び図９Ｂは、時間分割方式を用いた手法を説明するための模式図である。時間分割方式は大別して、図９Ａに示す第１方式と図９Ｂに示す第２方式の２方式に分かれる。
　まず、第１方式においては、図９Ａに示すように、第１光源からの照明光である入射光（非偏光、図９Ａ中に太い破線で示す）が導光部１００から照射される。この入射光は、第１偏光角度を有する第１偏光子４００で偏光化されて、第１偏光角度を有する入射光（偏光、図９Ａ中に細い破線で示す）となる。入射光は、被写体３００に当たり、被写体３００からの像光が生じる。この時生じた像光は、物体内部で乱反射し偏光が解消された拡散反射成分（非偏光、図９Ａ中に太い一点鎖線で示す）と、物体表面で直ちに反射し第１の偏光角度を保った偏光で構成される鏡面反射成分（偏光、図９Ａ中に太い二点鎖線で示す）とを含む。第１方式では、第１偏光子４００は常に設けられている。
　続いて、像光は鏡筒５１０の先端の観察窓５１４に到達するが、シャッターのタイミングに合わせて、２ｎフレーム（偶数フレーム）の際にのみ撮像部２００の被写体側に第２偏光子２０２が出現し、２ｎ＋１フレーム（奇数フレーム）では第２偏光子２０２は出現しない。このため、２ｎフレームでは、像光の鏡面反射成分が第２偏光子２０２を通過しないため、無反射像が取得される。一方、２ｎ＋１フレームでは、鏡面反射成分が撮像部２００に到達し、有反射像が取得される。
　一方の第２方式では、図９Ｂに示すように、第１光源からの照明光である入射光が照射窓５１２に到達し、この際にシャッターのタイミングに合わせて、２ｎフレーム（偶数フレーム）の際にのみ第１偏光子４００が出現する。第２偏光子２０２は常に設けられている。２ｎフレームでは第１偏光子４００で偏光化された照明光が被写体３００に当り、偏光状態を保持した鏡面反射成分を含む像光が生じ、この鏡面反射成分は第２偏光子２０２で遮断される。一方、２ｎ＋１フレーム（奇数フレーム）では第１偏光子４００が出現しないため、非偏光の鏡面反射成分を含む像光が生じ、この非偏光の鏡面反射成分は第２偏光子２０２を通過する。像光の鏡面反射成分が第２偏光子２０２を通過しない２ｎフレームでは無反射像が取得され、像光の鏡面反射成分が第２偏光子２０２を通過する２ｎ＋１フレームでは有反射像が取得される。この時、シャッタータイミングに合せて第１偏光子４００が出現するのではなく、第１光源からの照明光が第１偏光子４００と同じ偏光角度を有する直線偏光を照射する第２光源に切り替わっても良い。なお、第１偏光子４００、第２偏光子２０２は機械的なシャッターを設けることで、その出現、退避を制御することができる。
　図１０は、時間分割方式における有反射像、無反射像の取得のため、第１偏光子４００と第２偏光子２０２の切り替えをカラーフィルタ（Ｒ，Ｇ，Ｂ）の切り替えとともに行う例を示す模式図である。時間分割方式の場合、偏光フィルタのＩＮ／ＯＵＴではなく、カラーフィルタ（Ｒ,Ｇ,Ｂ，偏光Ｒ，偏光Ｇ，偏光Ｂ）を面順次に変えることで、反射像×３と無反射像×３を取得しても良い。図１０に示す形式１は、６つのカラーフィルタをＲ→Ｇ→Ｂ→偏光Ｒ→偏光Ｇ→偏光Ｂ→、のように切り換えるフィールドシーケンシャルを示している。カラーフィルタの面順次の順列は図１０に示す形式１でもよいし、形式２の様に、Ｒ→偏光Ｒ→Ｇ→偏光Ｇ→Ｂ→偏光Ｂとしても良い。
　［５．光線分割方式の例］
　図１１Ａ及び図１１Ｂは、光線分割方式を用いた手法を説明するための模式図である。図１１Ａは、ビームスプリッターとして通常のプリズムを用いた場合を示しており、図１１Ｂは、偏光ビームスプリッターを用いた場合を示している。図１１Ａに示す例では、最初に、第１光源からの入射光（非偏光、図１１Ａ中に太い破線で示す）が導光部１００から照射される。この入射光は、第１偏光角度を有する第１偏光子４００で偏光化されて、第１偏光角度を有する入射光（偏光、図１１Ａ中に細い破線で示す）となる。入射光は、被写体３００に当たり、被写体３００からの像光が生じる。この時生じた像光は、物体内部で乱反射し偏光が解消された拡散反射成分（非偏光、図１１Ａ中に太い一点鎖線で示す）と、物体表面で直ちに反射し第１の偏光角度を保った偏光で構成される鏡面反射成分（偏光、図１１Ａ中に太い二点鎖線で示す）とを含む。
　続いて、像光は鏡筒５１０の先端の観察窓５１４に到達するが、鏡筒５１０の内部に設置されたビームスプリッター２１０によって像光は均等に二分割され、一方の光線はそのまま第１撮像部２１２に入射して有反射像が取得され、もう一方の光線はビームスプリッター２１０の直後に配置された第２偏光子２１６を通過した後に第２撮像部２１４へ入射する。第２偏光子２１６は第１偏光角度と直交する偏光角度を有するため、無反射像を取得することができる。
　ビームスプリッター２１０は通常のプリズムでも良いが、図１１Ｂに示すように、第１偏光子４００の第１偏光角度に対して直交する水平または垂直な偏光角度を有する偏光ビームスプリッター２１８であっても良い。この場合、一方の光線が含む鏡面反射成分は偏光ビームスプリッター２１８の偏光角度に対して平行なため素通りして第１撮像部２１２または第２撮像部２１４の一方へ到達して有反射像が取得される。また、もう一方の光線が有する鏡面反射成分は偏光ビームスプリッター２１８の偏光角度に対して垂直となるため遮断され第１撮像部２１２又は第２撮像部２１４の他方へ到達して無反射像が取得される。なお、無反射像と有反射像を取得する方法の一形態として上記手法を説明したが、上記以外の方法で無反射像と有反射像を取得しても良い。
　図１２は、偏光子を２枚（例えば、０°と９０°）を用意するのではなく、第１偏光子４０の代わりに位相差板４０１を利用して偏光の方向を変える例を示す模式図である。液晶を位相差板として利用する場合、有反射像を取得する場合は液晶に電荷を与えない。これにより、偏光は第２偏光子２０２を素通りし、有反射像を取得できる。無反射像を取得する場合は、液晶に電荷を加え、偏光方向を９０°だけ動かす。これにより、偏光は第２偏光子２０２で遮断される。反射像の光量（拡散反射成分）は偏光子の減光率に応じて低下する。原理としては、光線分割方式で偏光ビームスプリッターを利用する方式と同等の光量を取得する。
　［６．無反射像と有反射像の合成］
　次に、図１３及び図１４に基づいて、無反射像と有反射像から合成像を生成する合成処理部７００について説明する。図１３では、観察目的に適応的な鏡面反射制御像を合成像として表示する方法を説明する。撮像部２００にて取得された有反射像及び無反射像は、有反射像取得部６５０、無反射像取得部６６０にて取得され、合成処理部７００へ入力される。図１３に示すように、合成処理部７００は、鏡面反射分離部７０２、鏡面反射制御部７０４、輝度補正部７０６、を有して構成される。
　図１３に示すように、有反射像は鏡面反射分離部７０２に入力され、無反射像は輝度補正部７６０に入力される。先ず、取得した無反射像の輝度レベルを有反射像に合わせる目的で、輝度補正部７０６によって無反射像の大局的な輝度を調整する。ここでは、例えば無偏光の光線が偏光子を透過する際の減光率から、無反射像の輝度レベルを有反射像に合わせる。この際に調整する輝度は、画面均一に行っても良いし、領域または画素毎に決定して適用しても良い。領域または画素毎に決定する方法としては、例えば有反射像と無反射像の注目画素（位相）または注目領域の比率を用いるのが好ましい。この際、有反射像の画素または領域が鏡面反射成分を含む場合は画素値が極端に高くなるため除外し、比率を算出する際の画素または領域が鏡面反射成分を含まないようにする。輝度が調整された無反射像は、鏡面反射分離部７０２及び鏡面反射制御部７０４へ入力される。
　続いて、鏡面反射成分を抽出する目的で、鏡面反射分離部７０２が、有反射像と輝度を調整した無反射像の差分を算出し、鏡面反射像として抽出する。抽出した鏡面反射像は、鏡面反射制御部７０４に入力される。
　次に、観察目的に応じた画像を生成する目的で、鏡面反射制御部７０４が、抽出した鏡面反射像に第１係数Ａを乗算し、輝度レベルが調整された無反射像へ加算することで、合成像を出力する。この時、鏡面反射像に乗算する第１係数Ａが０．０以上１．０未満であれば、鏡面反射が減弱または喪失した画像となり、画像情報の飽和を抑えるとともに、視認性を高めることができる。一方、第１係数Ａが１．０以上になると、鏡面反射が強調され質感や立体感の強い画像を得ることができる。
　次に、図１４に基づいて、無反射像を短露光画像、有反射像を長露光画像として扱い、ＨＤＲ合成を行うことで暗部（低輝度領域）Ｓ／Ｎの高い合成像を提供する方法を説明する。図１４に示す合成画像生成部７００は、輝度補正部７１２と画像合成部７１４を有して構成されている。図１４に示すように、有反射像は画像合成部７１４に入力され、無反射像は輝度補正部７１２に入力される。先ず、原理的な露光量を無反射像と合せる目的で、輝度補正部７１２によって無反射像の輝度レベルを調整する。この際、調整する輝度のゲインとして加わる第２係数は画面均一に一意の値とする。第２係数は例えば無偏光の光線が偏光子を透過する際の減光率から求める。
　次に、画像合成部７１４によって、輝度を調整した無反射像と有反射像を合成する。合成に際しては、鏡面反射の無い部分に関しては、有反射像の方がＳ／Ｎ比が高いため、有反射像を使う。一方、反射があって被写体が見えない部分に関しては、Ｓ／Ｎ比が低くても無反射像の方が画像情報を持っているため、無反射像を使う。このような観点で合成を行うことで、高いＳ／Ｎ比を有する無反射像を得ることができる。
　図１５Ａ及び図１５Ｂは、合成の際の有反射像の使用率係数α１，α２を示す特性図である。上記の観点から、図１５Ａに示すように、有反射像または無反射像の利用率α１は、例えば有反射像の輝度によって決定することができる。有反射像の輝度が高い部分では、鏡面反射が大きいため、有反射像の使用率係数α１を低くし、無反射像の使用率を高くする。一方、有反射像の輝度が低い部分では、鏡面反射が小さいため、有反射像の使用率係数α１を高くし、無反射像の使用率を低くする。このような合成は、画像の領域毎又は画素毎に行うことができる。
　一方、通常の長短露光撮影画像の合成とは異なり、無反射像と有反射像の両反射像は、含んでいる反射成分が異なるため、輝度補正部７０６によって調整された無反射像の輝度は必ずしも有反射像と一致しない。このため、両反射像の合成は図１５Ａに示すような考え方だけでは達成できない場合がある。
　そこで、図１５Ｂに示すように、合成比を求める係数として、両反射像の差分を重みにした係数α２を用いることができる。輝度を調整した無反射像と有反射像の差分が大きい場合は、鏡面反射成分に起因して差分が生じていると考えることができる。両反射像の差分は鏡面反射成分に由来する差異だと考えられるので、差分が大きくなる程、鏡面反射成分の少ない画像、即ち無反射像の使用率が高くなるように、係数α２によって合成比の重み付けをする。係数α２を算出する際、差分ではなく比率を使用しても良い。但し、その際に暗部での無反射像の利用率が高くならないように工夫をする方が好ましい。
　本実施形態では、有反射像と無反射像を合成することにより、通常の長短露光撮影画像の合成（ＨＤＲ合成）とは異なり、鏡面反射成分を最適に調整することができる。これにより、特に鏡面反射成分が大きい場合に、画素値が飽和してしまうことを抑止できる。一方、通常の長短露光撮影画像の合成では、鏡面反射成分により画素値が飽和してしまうと画像情報が得られなくなり、また、画素値が飽和しない場合であっても十分な画像情報を得ることが困難となる。従って、本実施形態によれば、通常の長短露光撮影画像の合成よりも画像のＳ／Ｎを高くすることができ、鏡面反射成分による画質の劣化を確実に抑止することが可能となる。
　以上説明したように本実施形態によれば、有反射像と無反射像を取得し、両反射像を合成することで、被写体の鏡面反射成分の強度を目的に応じて調整することで、観察に適した画像を提示できる。これにより、鏡面反射成分が強い場合であっても、鏡面反射成分を抑えることで、画質の劣化を確実に抑えることが可能となる。また、目的に応じて鏡面反射成分の利用率を高くすることで、画像の質感を高めることも可能となる。また、両反射像を合成することで、暗部においてＳ／Ｎが高く視認性の高い画像を提示できる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　被写体から鏡面反射成分を含む有反射像を取得する有反射像取得部と、
　前記被写体から前記鏡面反射成分を含まない無反射像を取得する無反射像取得部と、
　前記有反射像と前記無反射像を合成する合成処理部と、
　を備える、内視鏡装置。
（２）　前記合成処理部は、前記有反射像と前記無反射像の差分を前記無反射像に加算することで、前記有反射像と前記無反射像を合成する、前記（１）に記載の内視鏡装置。
（３）　前記合成処理部は、前記有反射像の輝度に基づいて、前記有反射像の輝度が高いほど前記有反射像の利用率を下げて前記合成を行う、前記（１）に記載の内視鏡装置。
（４）　前記合成処理部は、前記有反射像の輝度と前記無反射像の輝度の差分に基づいて、前記差分が大きいほど前記有反射像の利用率を下げて前記合成を行う、前記（１）に記載の内視鏡装置。
（５）　前記合成処理部は、前記無反射像の輝度を前記有反射像の輝度に合わせる輝度補正部を有する、前記（１）～（４）のいずれかに記載の内視鏡装置。
（６）　前記合成処理部は、画像の領域毎又は画素毎に前記合成を行う、請求項１～（５）のいずれかに記載の内視鏡装置。
（７）　光源部から出射された光を直線偏光にして前記被写体へ入射させる第１の偏光子と、
　前記被写体から反射した光線が透過し、前記第１の偏光子と異なる偏光角度を有する第２の偏光子と、
　を備える、前記（１）～（６）のいずれかに記載の内視鏡装置。
（８）　前記第２の偏光子は、前記第１の偏光子の偏光角度と直交する偏光角度を有する、前記（７）に記載の内視鏡装置。
（９）　前記有反射像取得部は、時間分割された第１の所定フレームで前記有反射像を取得し、
　前記無反射像取得部は、時間分割された第２の所定フレームで前記無反射像を取得し、
　前記第１の所定フレームでは前記第１の偏光子及び前記第２の偏光子の一方が出現し、
　前記第２の所定フレームでは前記第１の偏光子及び前記第２の偏光子の双方が出現する、前記（７）又は（８）に記載の内視鏡装置。
（１０）　前記第２の偏光子は複数の画素のうち偏光画素に配置され、
　前記有反射像取得部は、前記第２の偏光子が配置されていない通常画素から前記有反射像を取得し、
　前記無反射像取得部は、前記第２の偏光子が配置された前記偏光画素から前記無反射像を取得する、前記（７）又は（８）に記載の内視鏡装置。
（１１）　前記被写体から反射した光線を２つに分光するビームスプリッターを備え、
　前記第２の偏光子は２つに分光された光線の一方が透過し、
　前記有反射像取得部は、２つに分光された光線のうち前記第２の偏光子を通過していない光線から前記有反射像を取得し、
　前記有反射像取得部は、２つに分光された光線のうち前記第２の偏光子を通過した光線から前記無反射像を取得する、前記（７）に記載の内視鏡装置。
（１２）　光源部から出射された光を直線偏光にして前記被写体へ入射させる第１の偏光子と、
　前記被写体から反射した光線を２つに分光する偏光ビームスプリッターと、
　を備え、
　前記偏光ビームスプリッターは、２つに分光された光線の一方の偏光状態を変化させ、
　前記有反射像取得部は、２つに分光された光線のうち前記偏光ビームスプリッターによって偏光状態が変化されていない光線から前記有反射像を取得し、
　前記有反射像取得部は、２つに分光された光線のうち前記偏光ビームスプリッターによって偏光状態が変化された光線から前記無反射像を取得する、前記（１）～（５）のいずれかに記載の内視鏡装置。
（１３）　前記被写体へ入射する光線の光軸と前記被写体から反射する光線の光軸が平行である、前記（１）～（１２）のいずれかに記載の内視鏡装置。
（１４）　被写体から鏡面反射成分を含む有反射像を取得することと、
　前記被写体から前記鏡面反射成分を含まない無反射像を取得することと、
　前記有反射像と前記無反射像を合成することと、
　を備える、内視鏡装置の画像合成方法。
　２０２　　第２偏光子
　２０４　　偏光画素
　２０６　　通常画素
　２１０　　ビームスプリッター
　２１８　　偏光ビームスプリッター
　４００　　第１偏光子
　６５０　　有反射像取得部
　６６０　　無反射像取得部
　７００　　合成処理部
　７０６，７１２　　輝度補正部

Claims (14)

  1. 　被写体から鏡面反射成分を含む有反射像を取得する有反射像取得部と、
    　前記被写体から前記鏡面反射成分を含まない無反射像を取得する無反射像取得部と、
    　前記有反射像と前記無反射像を合成する合成処理部と、
    　を備える、内視鏡装置。
  2. 　前記合成処理部は、前記有反射像と前記無反射像の差分を前記無反射像に加算することで、前記有反射像と前記無反射像を合成する、請求項１に記載の内視鏡装置。
  3. 　前記合成処理部は、前記有反射像の輝度に基づいて、前記有反射像の輝度が高いほど前記有反射像の利用率を下げて前記合成を行う、請求項１に記載の内視鏡装置。
  4. 　前記合成処理部は、前記有反射像の輝度と前記無反射像の輝度の差分に基づいて、前記差分が大きいほど前記有反射像の利用率を下げて前記合成を行う、請求項１に記載の内視鏡装置。
  5. 　前記合成処理部は、前記無反射像の輝度を前記有反射像の輝度に合わせる輝度補正部を有する、請求項１に記載の内視鏡装置。
  6. 　前記合成処理部は、画像の領域毎又は画素毎に前記合成を行う、請求項１に記載の内視鏡装置。
  7. 　光源部から出射された光を直線偏光にして前記被写体へ入射させる第１の偏光子と、
    　前記被写体から反射した光線が透過し、前記第１の偏光子と異なる偏光角度を有する第２の偏光子と、
    　を備える、請求項１に記載の内視鏡装置。
  8. 　前記第２の偏光子は、前記第１の偏光子の偏光角度と直交する偏光角度を有する、請求項７に記載の内視鏡装置。
  9. 　前記有反射像取得部は、時間分割された第１の所定フレームで前記有反射像を取得し、
    　前記無反射像取得部は、時間分割された第２の所定フレームで前記無反射像を取得し、
    　前記第１の所定フレームでは前記第１の偏光子及び前記第２の偏光子の一方が出現し、
    　前記第２の所定フレームでは前記第１の偏光子及び前記第２の偏光子の双方が出現する、請求項７に記載の内視鏡装置。
  10. 　前記第２の偏光子は複数の画素のうち偏光画素に配置され、
    　前記有反射像取得部は、前記第２の偏光子が配置されていない通常画素から前記有反射像を取得し、
    　前記無反射像取得部は、前記第２の偏光子が配置された前記偏光画素から前記無反射像を取得する、請求項７に記載の内視鏡装置。
  11. 　前記被写体から反射した光線を２つに分光するビームスプリッターを備え、
    　前記第２の偏光子は２つに分光された光線の一方が透過し、
    　前記有反射像取得部は、２つに分光された光線のうち前記第２の偏光子を通過していない光線から前記有反射像を取得し、
    　前記有反射像取得部は、２つに分光された光線のうち前記第２の偏光子を通過した光線から前記無反射像を取得する、請求項７に記載の内視鏡装置。
  12. 　光源部から出射された光を直線偏光にして前記被写体へ入射させる第１の偏光子と、
    　前記被写体から反射した光線を２つに分光する偏光ビームスプリッターと、
    　を備え、
    　前記偏光ビームスプリッターは、２つに分光された光線の一方の偏光状態を変化させ、
    　前記有反射像取得部は、２つに分光された光線のうち前記偏光ビームスプリッターによって偏光状態が変化されていない光線から前記有反射像を取得し、
    　前記有反射像取得部は、２つに分光された光線のうち前記偏光ビームスプリッターによって偏光状態が変化された光線から前記無反射像を取得する、請求項１に記載の内視鏡装置。
  13. 　前記被写体へ入射する光線の光軸と前記被写体から反射する光線の光軸が平行である、請求項１に記載の内視鏡装置。
  14. 　被写体から鏡面反射成分を含む有反射像を取得することと、
    　前記被写体から前記鏡面反射成分を含まない無反射像を取得することと、
    　前記有反射像と前記無反射像を合成することと、
    　を備える、内視鏡装置の画像合成方法。
PCT/JP2017/017768 2016-07-12 2017-05-11 内視鏡装置及び内視鏡装置の画像合成方法 WO2018012096A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/314,232 US20200183145A1 (en) 2016-07-12 2017-05-11 Endscope device, and image synthesis method for endoscope device
EP17827230.8A EP3482672A4 (en) 2016-07-12 2017-05-11 ENDOSCOPE DEVICE AND IMAGE SYNTHESIS PROCESS FOR ENDOSCOPE DEVICE
JP2018527411A JP6822475B2 (ja) 2016-07-12 2017-05-11 内視鏡装置及び内視鏡装置の作動方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016138036 2016-07-12
JP2016-138036 2016-07-12

Publications (1)

Publication Number Publication Date
WO2018012096A1 true WO2018012096A1 (ja) 2018-01-18

Family

ID=60952926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017768 WO2018012096A1 (ja) 2016-07-12 2017-05-11 内視鏡装置及び内視鏡装置の画像合成方法

Country Status (4)

Country Link
US (1) US20200183145A1 (ja)
EP (1) EP3482672A4 (ja)
JP (1) JP6822475B2 (ja)
WO (1) WO2018012096A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924689B1 (en) * 2019-11-22 2021-02-16 Karl Storz Imaging, Inc. Method and apparatus to improve high dynamic range image capture using image sensor with polarization

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047588A (ja) * 2001-08-03 2003-02-18 Olympus Optical Co Ltd 内視鏡装置
JP2009240676A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 光学システム、方法、およびプログラム
WO2012081618A1 (ja) * 2010-12-14 2012-06-21 オリンパスメディカルシステムズ株式会社 撮像装置
WO2013175686A1 (ja) * 2012-05-22 2013-11-28 パナソニック株式会社 撮像処理装置および内視鏡
WO2014017092A1 (ja) * 2012-07-25 2014-01-30 パナソニック株式会社 撮像システム
JP2014018439A (ja) 2012-07-18 2014-02-03 Scalar Corp カメラ
JP2015008785A (ja) 2013-06-27 2015-01-19 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2016036388A (ja) * 2014-08-05 2016-03-22 Hoya株式会社 画像信号生成装置及び電子内視鏡システム
WO2016043107A1 (ja) * 2014-09-18 2016-03-24 オリンパス株式会社 内視鏡システム
JP2016063928A (ja) * 2014-09-24 2016-04-28 パナソニックＩｐマネジメント株式会社 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9645074B2 (en) * 2014-02-06 2017-05-09 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus
JP6485078B2 (ja) * 2014-02-18 2019-03-20 パナソニックＩｐマネジメント株式会社 画像処理方法および画像処理装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003047588A (ja) * 2001-08-03 2003-02-18 Olympus Optical Co Ltd 内視鏡装置
JP2009240676A (ja) * 2008-03-31 2009-10-22 Fujifilm Corp 光学システム、方法、およびプログラム
WO2012081618A1 (ja) * 2010-12-14 2012-06-21 オリンパスメディカルシステムズ株式会社 撮像装置
WO2013175686A1 (ja) * 2012-05-22 2013-11-28 パナソニック株式会社 撮像処理装置および内視鏡
JP2014018439A (ja) 2012-07-18 2014-02-03 Scalar Corp カメラ
WO2014017092A1 (ja) * 2012-07-25 2014-01-30 パナソニック株式会社 撮像システム
JP2015008785A (ja) 2013-06-27 2015-01-19 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2016036388A (ja) * 2014-08-05 2016-03-22 Hoya株式会社 画像信号生成装置及び電子内視鏡システム
WO2016043107A1 (ja) * 2014-09-18 2016-03-24 オリンパス株式会社 内視鏡システム
JP2016063928A (ja) * 2014-09-24 2016-04-28 パナソニックＩｐマネジメント株式会社 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3482672A4

Also Published As

Publication number Publication date
EP3482672A1 (en) 2019-05-15
EP3482672A4 (en) 2019-06-26
JP6822475B2 (ja) 2021-01-27
US20200183145A1 (en) 2020-06-11
JPWO2018012096A1 (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
US9858666B2 (en) Medical skin examination device and method for processing and enhancing an image of a skin lesion
JP5450826B2 (ja) 画像処理装置
WO2017145788A1 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
US11531151B2 (en) Imaging apparatus and image generating method that detects an orientation of an imaging section and generates an image corresponding to a polarization direction corresponding to the orientation the imaging section
EP3534620B1 (en) Signal processing device and method, and program
JP2001312718A (ja) 画像合成装置
WO2017168986A1 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP7095693B2 (ja) 医療用観察システム
JP2009246770A (ja) 撮像装置、撮像方法、およびプログラム
US11045090B2 (en) Apparatus and method for augmented visualization employing X-ray and optical data
JP2016209466A (ja) 内視鏡装置及び内視鏡装置の制御方法
JP5851656B2 (ja) 画像信号出力装置及び画像信号送受信システム
WO2018012096A1 (ja) 内視鏡装置及び内視鏡装置の画像合成方法
JP5456893B2 (ja) 拡張現実感装置及びその制御方法
WO2020008920A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US7822247B2 (en) Endoscope processor, computer program product, endoscope system, and endoscope image playback apparatus
US11244478B2 (en) Medical image processing device, system, method, and program
US10849482B2 (en) Endoscopic system, image processing apparatus, and image processing method
WO2018225346A1 (ja) 医療用システム及び制御ユニット
JPWO2018211970A1 (ja) 内視鏡
JP5712055B2 (ja) 電子内視鏡システム
WO2012043547A1 (ja) 立体視画像表示方法および立体視画像表示装置
JP2018130375A (ja) 映像データ表示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018527411

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17827230

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017827230

Country of ref document: EP

Effective date: 20190205