WO2017158692A1 - 内視鏡装置、画像処理装置、画像処理方法およびプログラム - Google Patents

内視鏡装置、画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2017158692A1
WO2017158692A1 PCT/JP2016/058002 JP2016058002W WO2017158692A1 WO 2017158692 A1 WO2017158692 A1 WO 2017158692A1 JP 2016058002 W JP2016058002 W JP 2016058002W WO 2017158692 A1 WO2017158692 A1 WO 2017158692A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image
filter
wavelength band
light source
Prior art date
Application number
PCT/JP2016/058002
Other languages
English (en)
French (fr)
Inventor
直 菊地
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2016/058002 priority Critical patent/WO2017158692A1/ja
Priority to PCT/JP2017/005175 priority patent/WO2017159165A1/ja
Priority to CN201780017384.XA priority patent/CN108778091B/zh
Priority to JP2018505351A priority patent/JPWO2017159165A1/ja
Priority to DE112017001293.7T priority patent/DE112017001293T5/de
Publication of WO2017158692A1 publication Critical patent/WO2017158692A1/ja
Priority to US16/039,802 priority patent/US11045079B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0676Endoscope light sources at distal tip of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device

Definitions

  • the present invention relates to an endoscope apparatus, an image processing apparatus, an image processing method, and a program that are introduced into a subject and acquire an image in the subject.
  • a medical endoscope apparatus is configured by inserting a flexible insertion portion having an elongated shape in which an imaging element having a plurality of pixels is provided at a tip into a body cavity of a subject such as a patient. Since an in-vivo image in a body cavity can be acquired without incising the subject, the burden on the subject is small, and the spread is increasing.
  • a white light observation method (WLI: White Light Imaging) using white illumination light (white light) and two narrow bands included in the blue and green wavelength bands, respectively.
  • a narrow-band light observation method (NBI: Narrow Band Imaging) using illumination light (narrow-band light) composed of light is widely known.
  • the narrow-band light observation method can obtain an image that highlights capillaries and mucous membrane fine patterns existing on the surface of the mucous membrane of a living body. According to the narrow-band light observation method, a lesion in the mucosal surface layer of a living body can be found more accurately.
  • a color filter generally called a Bayer array is provided on the light receiving surface of the image sensor in order to obtain a captured image by a single-plate image sensor.
  • filters that transmit light in the wavelength bands of red (R), green (G), and blue (B) (hereinafter referred to as “R filter”, “G filter”, and “B filter”) are combined into one filter. These are arranged for each pixel as a unit.
  • each pixel receives light in the wavelength band that has passed through the filter, and the image sensor generates an electrical signal of a color component corresponding to the light in that wavelength band.
  • an interpolation process for interpolating the signal value of the missing color component without passing through the filter in each pixel is performed. Such interpolation processing is called demosaicing processing.
  • a high resolution can be obtained by using a signal value of a pixel that receives light transmitted through the G filter.
  • the G filter and the B filter are used.
  • the number of B filters is only 1 ⁇ 4 of the total, so that even if the same processing as in the white light observation method is performed, a high resolution image cannot be obtained.
  • a technique is known in which the positions of the G filters and the B filters in the Bayer array are interchanged and the number of the B filters is arranged most in one filter unit (see Patent Document 1).
  • Patent Document 1 in the narrow-band light observation method, an image having a higher resolution than that of the Bayer array image can be obtained, while the number of G pixels is smaller than that of the conventional Bayer array, so that white In the light observation method, there is a problem that the resolution is lower than that of a conventional Bayer array image.
  • the present invention has been made in view of the above, and is an endoscope apparatus, an image processing apparatus, and the like that can obtain a high-resolution image in both the white light observation system and the narrow-band light observation system.
  • An object is to provide an image processing method and program.
  • an endoscope apparatus includes a first illumination light including light in each of the red, green, and blue wavelength bands, or light in the green wavelength band. And a light source unit that emits second illumination light including light in the blue wavelength band or light in the red wavelength band, and a plurality of pixels arranged in a two-dimensional grid form each receiving and photoelectrically converting the light.
  • An imaging device that generates an imaging signal, at least one first filter that transmits light in any one of the red, green, and blue wavelength bands, and transmits light in the green wavelength band.
  • a second filter that transmits light in one wavelength band of the red color and the blue color, the filter unit including a plurality of filters having the second filter.
  • a color filter in which a filter unit having a number equal to or more than the number of the first filters of the type arranged at most among the at least one type of the first filters is arranged corresponding to the plurality of pixels;
  • the resolution of the first image when the first illumination light is emitted by the light source unit is higher than the resolution of the first image when the second illumination light is emitted by the light source unit,
  • the resolution of the second image when the second illumination light is emitted by the light source unit is higher than the resolution of the second image when the first illumination light is emitted by the light source unit.
  • the light source unit when the light source unit emits the first illumination light, the light source unit emits light in the green wavelength band stronger than light in the one wavelength band.
  • the second illumination light when the second illumination light is emitted, the light in the one wavelength band is emitted more strongly than the light in the green wavelength band.
  • the endoscope apparatus is characterized in that, in the above invention, the filter unit has a number of the second filters equal to or greater than the total number of other filters arranged in the filter unit. To do.
  • the filter unit transmits light in the green wavelength band and transmits light in the other wavelength band different from the light in the one wavelength band. It has the 3rd filter which permeate
  • the second filter is a cyan filter
  • the third filter is a magenta filter or a yellow filter.
  • the second filter is a yellow filter
  • the third filter is a cyan filter or a magenta filter.
  • the image processing unit performs an interpolation process on an electrical signal generated by the imaging device based on light received by the pixel via the second filter.
  • a first interpolated image for interpolating the imaging signal of the pixel in which a filter other than the second filter is arranged, and based on the first interpolated image, other than the second filter
  • a second interpolated image obtained by interpolating the image pickup signal of the pixel in which a filter other than the second filter is arranged with respect to the image pickup signal generated by the image pickup element based on the light received by the pixel through the filter Is generated.
  • the image processing unit converts light received by the pixel through the second filter.
  • the first image is generated by regarding the electrical signal generated by the imaging device as light received by the pixel through the first filter.
  • the image processing apparatus is an image processing apparatus to which an endoscope having a light source unit, an imaging element, and a color filter is connected, and the light source unit includes red, green, and blue colors, respectively.
  • the first illuminating light including the light of the wavelength band or the second illuminating light composed of the light of the green wavelength band and the light of the blue wavelength band or the red wavelength band is emitted.
  • a plurality of pixels arranged in a three-dimensional lattice receive and photoelectrically convert each pixel to generate an imaging signal, and the color filter emits light in any one wavelength band of the red, green, and blue
  • a unit is arranged corresponding to the plurality of pixels, and when the first illumination light is emitted by the light source unit, the resolution of the first image is emitted by the light source unit.
  • the resolution of the second image when the second illumination light is emitted by the light source unit is higher than the resolution of the first image when the first illumination light is emitted by the light source unit. In this case, the resolution is higher than the resolution of the second image.
  • An image processing method is an image processing method executed by an image processing apparatus to which an endoscope having a light source unit, an image sensor, and a color filter is connected, and the light source unit includes: Emitting first illumination light including light in each wavelength band of red, green and blue, or second illumination light composed of light in the green wavelength band and light in the blue wavelength band or light in the red wavelength band;
  • the imaging element receives a plurality of pixels arranged in a two-dimensional lattice and photoelectrically converts light, and generates an imaging signal.
  • the color filter is any of red, green, and blue At least one first filter that transmits light in one wavelength band; light in the green wavelength band; and light in one of the red and blue wavelengths
  • a filter unit comprising a plurality of filters having a second filter that transmits the second filter, wherein the number of the second filters is the most arranged among the at least one type of the first filters.
  • the number of filter units equal to or greater than the number of filters is arranged corresponding to the plurality of pixels, and the resolution of the first image when the first illumination light is emitted by the light source unit is the light source unit.
  • the resolution of the second image when the second illumination light is emitted by the light source unit is determined by the light source unit.
  • the resolution is higher than the resolution of the second image when the first illumination light is emitted.
  • the program according to the present invention includes an image processing apparatus to which an endoscope having a light source unit, an image sensor, and a color filter is connected, and the light source unit has red, green, and blue wavelength bands.
  • the first illumination light including light, or the second illumination light composed of the light in the green wavelength band and the light in the blue wavelength band or the red wavelength band is emitted, and the imaging element is in a two-dimensional lattice shape
  • the plurality of arranged pixels each receive light and photoelectrically convert light to generate an imaging signal, and the color filter transmits light in any one of the red, green, and blue wavelength bands, respectively.
  • a plurality of filters wherein the number of the second filters is equal to or greater than the number of the first filters of the type that is most disposed among the at least one type of the first filters.
  • a unit is arranged corresponding to the plurality of pixels, and when the first illumination light is emitted by the light source unit, the resolution of the first image is emitted by the light source unit.
  • the resolution of the second image when the second illumination light is emitted by the light source unit is higher than the resolution of the first image when the first illumination light is emitted by the light source unit. In this case, the resolution is higher than the resolution of the second image.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the endoscope apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a schematic diagram illustrating a configuration of a pixel of the image sensor according to Embodiment 1 of the present invention.
  • FIG. 4 is a schematic diagram showing an example of the configuration of the color filter according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram showing an example of transmission characteristics of each filter constituting the color filter according to Embodiment 1 of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the endoscope apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a schematic diagram illustrating a configuration of a pixel of the image
  • FIG. 6 is a diagram illustrating an example of spectral characteristics of white light emitted from the light source unit according to Embodiment 1 of the present invention.
  • FIG. 7 is a diagram illustrating an example of spectral characteristics of narrowband light emitted from the light source unit according to Embodiment 1 of the present invention.
  • FIG. 8 is a diagram illustrating an example of transmission characteristics of the Cy filter when white light is emitted to the Cy filter by the light source unit according to Embodiment 1 of the present invention.
  • FIG. 9 is a diagram illustrating an example of transmission characteristics of the Cy filter when narrowband light is emitted to the Cy filter by the light source unit according to Embodiment 1 of the present invention.
  • FIG. 9 is a diagram illustrating an example of transmission characteristics of the Cy filter when narrowband light is emitted to the Cy filter by the light source unit according to Embodiment 1 of the present invention.
  • FIG. 10A is a diagram illustrating an example of an image when a Cy filter is arranged on the light receiving surface of each pixel P.
  • FIG. 10B is a diagram illustrating an example of an image when the Cy filter is arranged on the light receiving surface of each pixel P.
  • FIG. 10C is a diagram illustrating an example of an image when the Cy filter is arranged on the light receiving surface of each pixel P.
  • FIG. 10D is a diagram illustrating an example of an image when the Cy filter is disposed on the light receiving surface of each pixel P.
  • FIG. 10E is a diagram illustrating an example of an image when the Cy filter is arranged on the light receiving surface of each pixel P.
  • FIG. 11 is a flowchart showing an outline of processing executed by the endoscope apparatus according to Embodiment 1 of the present invention.
  • FIG. 12 is a flowchart showing an overview of the image generation processing according to Embodiment 1 of the present invention.
  • FIG. 13 is a schematic diagram for explaining an overview of image generation processing executed by the image processing unit according to Embodiment 1 of the present invention.
  • FIG. 14 is a diagram illustrating an example of a color image generated by the image processing unit according to the first modification of the first embodiment of the present invention when the narrow-band light observation method is used.
  • FIG. 15 is a schematic diagram illustrating an example of a configuration of a color filter according to the second modification of the first embodiment of the present invention.
  • FIG. 16 is a schematic diagram illustrating an example of a configuration of a color filter according to Embodiment 2 of the present invention.
  • FIG. 17 is a diagram illustrating an example of transmission characteristics of each filter constituting the color filter according to Embodiment 2 of the present invention.
  • FIG. 18 is a schematic diagram for explaining an overview of image generation processing executed by the image processing unit according to Embodiment 2 of the present invention.
  • FIG. 19 is a schematic diagram illustrating an example of the configuration of a color filter according to Modification 1 of Embodiment 2 of the present invention.
  • FIG. 20 is a schematic diagram showing another example of the configuration of the color filter according to Embodiment 3 of the present invention.
  • FIG. 21 is a diagram showing an example of transmission characteristics of each filter constituting the color filter according to Embodiment 3 of the present invention.
  • FIG. 22 is a schematic diagram for explaining an overview of image generation processing executed by the image processing unit according to Embodiment 3 of the present invention.
  • FIG. 23 is a schematic diagram showing an example of the configuration of a color filter according to Embodiment 4 of the present invention.
  • FIG. 24 is a diagram showing an example of transmission characteristics of each filter constituting the color filter according to Embodiment 4 of the present invention.
  • FIG. 25 is a diagram illustrating an example of spectral characteristics of white light emitted from the light source unit according to Embodiment 4 of the present invention.
  • FIG. 22 is a schematic diagram for explaining an overview of image generation processing executed by the image processing unit according to Embodiment 3 of the present invention.
  • FIG. 23 is a schematic diagram showing an example of the configuration of a color filter according to Embodiment 4 of the present invention.
  • FIG. 24 is
  • FIG. 26 is a diagram illustrating an example of spectral characteristics of narrowband light emitted from the light source unit according to Embodiment 4 of the present invention.
  • FIG. 27 is a schematic diagram for explaining an overview of image generation processing executed by the image processing unit according to Embodiment 4 of the present invention.
  • FIG. 28 is a diagram showing a list in which variations of color filters according to other embodiments of the present invention are associated with wavelength bands of illumination light emitted from the light source unit and effects.
  • FIG. 29 is a diagram showing an example of the configuration of a color filter according to another embodiment of the present invention.
  • FIG. 30 is a diagram illustrating an example of the configuration of a color filter according to another embodiment of the present invention.
  • FIG. 31 is a diagram showing an example of the configuration of a color filter according to another embodiment of the present invention.
  • FIG. 32 is a diagram illustrating an example of a configuration of a color filter according to another embodiment of the present invention.
  • FIG. 33 is a diagram illustrating an example of transmission characteristics of a Cy filter according to another embodiment of the present invention.
  • FIG. 1 is a diagram showing a schematic configuration of an endoscope apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram showing a schematic configuration of the endoscope apparatus according to Embodiment 1 of the present invention.
  • the endoscope apparatus 1 shown in FIGS. 1 and 2 is inserted into a subject such as a patient, images the inside of the subject, and displays this in-vivo image.
  • a user such as a doctor examines the presence or absence of each of a bleeding site, a tumor site (lesion site S), and an abnormal site, which are detection target sites, by observing the displayed in-vivo images.
  • the endoscope apparatus 1 includes an endoscope 2 that captures an in-vivo image of an observation site by being inserted into a subject and generates an electrical signal, and a light source unit that generates illumination light emitted from the distal end of the endoscope 2 3, a predetermined image processing is performed on the electrical signal generated by the endoscope 2, and a processor unit 4 that comprehensively controls the operation of the entire endoscope apparatus 1, and an internal body in which the processor unit 4 performs the image processing. And a display unit 5 for displaying an image.
  • the endoscope 2 includes an insertion portion 21 having an elongated shape having flexibility, an operation portion 22 that is connected to a proximal end side of the insertion portion 21 and receives input of various operation signals, and an insertion portion from the operation portion 22. And a universal cord 23 including various cables that extend in a direction different from the direction in which 21 extends and are connected to the light source unit 3 and the processor unit 4.
  • the insertion unit 21 includes pixels (photodiodes) that receive light in a two-dimensional matrix, and includes an image sensor 201 that generates an image signal by performing photoelectric conversion on the light received by each pixel.
  • the operation section 22 includes a bending knob 221 that bends the bending section 25 in the vertical direction and the left-right direction, a treatment instrument insertion section 222 that inserts a treatment instrument such as a biological forceps, an electric knife, and a test probe into the body cavity of the subject. And a plurality of switches 223 for receiving an input of an instruction signal or the like for causing the light source unit 3 to switch the illumination light.
  • the universal cord 23 includes at least a light guide 203 and an aggregate cable in which one or a plurality of signal lines are collected.
  • the collective cable is a signal line for transmitting and receiving signals between the endoscope 2 and the light source unit 3 and the processor unit 4, and is a signal line for transmitting and receiving setting data, a signal line for transmitting and receiving image signals, A signal line for transmitting and receiving a driving timing signal for driving the image sensor 201 is included.
  • the endoscope 2 includes an imaging optical system 200, an imaging element 201, a color filter 202, a light guide 203, an illumination lens 204, an A / D conversion unit 205, an imaging information storage unit 206, Is provided.
  • the imaging optical system 200 is provided at the distal end portion 24 of the insertion portion 21 and collects light from at least an observation site.
  • the imaging optical system 200 is configured using one or a plurality of lenses.
  • the imaging optical system 200 may be provided with an optical zoom mechanism that changes the angle of view and a focus mechanism that changes the focus.
  • the imaging element 201 is provided perpendicular to the optical axis of the imaging optical system 200, and receives an object image formed by the imaging optical system 200 and performs photoelectric conversion to generate an electrical signal (image signal).
  • the electrical signal is output to the A / D converter 205.
  • the image sensor 201 is realized by using an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). The detailed configuration of the image sensor 201 will be described later.
  • the color filter 202 is disposed on the light receiving surface of the image sensor 201, and has a plurality of filters that each transmit light in a wavelength band set individually. The detailed configuration of the color filter 202 will be described later.
  • the light guide 203 is configured using glass fiber or the like, and serves as a light guide path for light emitted from the light source unit 3.
  • the illumination lens 204 is provided at the tip of the light guide 203, diffuses the light guided by the light guide 203, and emits the light to the outside of the tip 24.
  • the illumination lens 204 is configured using one or a plurality of lenses.
  • the A / D conversion unit 205 performs A / D conversion on the analog electrical signal generated by the image sensor 201 and outputs the converted digital electrical signal to the processor unit 4.
  • the imaging information storage unit 206 stores data including various programs for operating the endoscope 2, various parameters necessary for the operation of the endoscope 2, and identification information of the endoscope 2. Further, the imaging information storage unit 206 includes an identification information storage unit 261 that records identification information.
  • the identification information includes unique information (ID) of the endoscope 2, year type, specification information, transmission method, filter arrangement information in the color filter 202, and the like.
  • the imaging information storage unit 206 is realized using a flash memory or the like.
  • the light source unit 3 includes an illumination unit 31 and an illumination control unit 32.
  • the illumination unit 31 switches a plurality of illumination lights and emits them to the light guide 203 under the control of the illumination control unit 32.
  • the illumination unit 31 includes a light source 31a, a light source driver 31b, a switching filter 31c, a drive unit 31d, and a drive driver 31e.
  • the light source 31a emits white light including light in the wavelength bands H R , wavelength bands H G, and wavelength bands H B of red, green, and blue in accordance with the current input from the light source driver 31b.
  • the light source 31a is realized using a white LED, a xenon lamp, or the like.
  • the light source driver 31b supplies white light to the light source 31a by supplying a current to the light source 31a under the control of the illumination control unit 32.
  • the switching filter 31c is detachably disposed on the optical path of white light emitted from the light source 31a, and transmits light in a predetermined wavelength band among the white light emitted from the light source 31a.
  • the switching filter 31c transmits blue narrow band light and green narrow band light. That is, in the first embodiment, the switching filter 31c transmits two narrowband lights when arranged on the optical path of white light.
  • the switching filter 31c includes a narrow band T B (for example, 390 nm to 445 nm) included in the wavelength band H B and a narrow band T G (for example, 530 nm to 550 nm) included in the wavelength band H G. Of light.
  • the light transmitted through the switching filter 31c is a narrow band illumination light comprising narrowband T B and narrowband T G.
  • These narrow bands T B and TG are wavelength bands of blue light and green light that are easily absorbed by hemoglobin in blood.
  • This image observation with narrow-band illumination light is called a narrow-band light observation method (NBI).
  • the driving unit 31d is configured using a stepping motor, a DC motor, or the like, and arranges or retracts the switching filter 31c on the optical path of white light emitted from the light source 31a under the control of the illumination control unit 32.
  • the drive unit 31d sets the switching filter 31c to the light source 31a.
  • the endoscope apparatus 1 performs the narrow-band light observation method (NBI method) that is the second illumination light
  • the white light emitted from the light source 31a is emitted from the light source 31a. Place on the optical path.
  • the drive driver 31e supplies a predetermined current to the drive unit 31d under the control of the illumination control unit 32.
  • the condensing lens 31 f condenses the white light emitted from the light source 31 a and emits it to the light guide 203.
  • the condensing lens 31 f condenses the light transmitted through the switching filter 31 c and emits it to the light guide 203.
  • the condenser lens 31f is configured using one or a plurality of lenses.
  • the illumination control unit 32 is configured using a CPU or the like.
  • the illumination control unit 32 controls the light source driver 31b based on the instruction signal input from the processor unit 4 to turn on and off the light source 31a.
  • the illumination control unit 32 controls the drive driver 31e based on the instruction signal input from the processor unit 4, and arranges or retracts the switching filter 31c on the optical path of white light emitted from the light source 31a. By doing so, the type of illumination light emitted by the illumination unit 31 is controlled.
  • the processor unit 4 includes an image processing unit 41, an input unit 42, a storage unit 43, and a control unit 44.
  • the image processing unit 41 performs predetermined image processing on the electrical signal input from the endoscope 2 to generate a display image to be displayed by the display unit 5. Specifically, when the light source unit 3 emits white light (first illumination light) or narrowband light (second illumination light), the image processing unit 41 is based on the imaging signal generated by the imaging element 201. A first image corresponding to light in the green wavelength band and a second image corresponding to light in one wavelength band (in the first embodiment, light in the blue wavelength band) are generated.
  • the resolution of the first image when white light is emitted by the light source unit 3 is higher than the resolution of the first image when narrow-band light is emitted by the light source unit 3.
  • the image processing unit 41 includes a guide image generation unit 411, an interpolation image generation unit 412, a color image generation unit 413, and a display image generation unit 414.
  • the guide image generation unit 411 Based on the electrical signal input from the endoscope 2, the guide image generation unit 411 generates a guide image that serves as a guide for interpolating the electrical signals of other pixels when the interpolation image generation unit 412 performs an interpolation process.
  • the guide image is generated and output to the interpolation image generation unit 412 and the color image generation unit 413.
  • the guide image functions as the first interpolation image.
  • the interpolation image generation unit 412 performs an interpolation process on the electrical signal input from the endoscope 2 based on the guide image input from the guide image generation unit 411 to generate an interpolation image. (Second interpolation image) is output to the color image generation unit 413.
  • the color image generation unit 413 generates a color image using the interpolation image input from the interpolation image generation unit 412 based on the guide image input from the guide image generation unit 411, and displays the color image as a display image generation unit. To 414.
  • the display image generation unit 414 performs gradation conversion, enlargement processing, or structure enhancement processing of structures such as capillaries and mucous membrane fine patterns on the mucosal surface layer, on the electrical signal generated by the color image generation unit 413.
  • the display image generation unit 414 performs predetermined processing and then outputs the display image signal to the display unit 5 as a display image signal for display.
  • the input unit 42 is an interface for performing input from the user to the processor unit 4, a power switch for turning on / off the power, a mode switching button for switching shooting modes and other various modes, a light source
  • the illumination light switching button for switching illumination light of the unit 3 is included.
  • the storage unit 43 records various programs for operating the endoscope apparatus 1 and data including various parameters necessary for the operation of the endoscope apparatus 1.
  • the storage unit 43 may store information related to the endoscope 2, for example, a relationship table between unique information (ID) of the endoscope 2 and information related to the filter arrangement of the color filter 202a.
  • the storage unit 43 is realized by using a semiconductor memory such as a flash memory or a DRAM (Dynamic Random Access Memory).
  • the control unit 44 is configured using a CPU or the like, and performs drive control of each component including the endoscope 2 and the light source unit 3, input / output control of information with respect to each component, and the like.
  • the control unit 44 transmits setting data (for example, pixels to be read) recorded in the storage unit 43, timing signals related to imaging timing, and the like via a predetermined signal line to the endoscope. 2 to send.
  • the control unit 44 outputs the color filter information (identification information) acquired via the imaging information storage unit 206 to the image processing unit 41, and transmits information related to the arrangement of the switching filter 31c based on the color filter information. Output to.
  • the display unit 5 receives the display image signal generated by the processor unit 4 via the video cable, and displays an in-vivo image corresponding to the display image signal.
  • the display unit 5 is configured using liquid crystal or organic EL (Electro Luminescence).
  • FIG. 3 is a schematic diagram illustrating the configuration of the pixels of the image sensor 201.
  • the image sensor 201 includes a plurality of pixels P that receive light from the imaging optical system 200 arranged in a two-dimensional lattice (two-dimensional matrix). Each pixel P receives the light incident from the imaging optical system 200 and performs photoelectric conversion to generate an electrical signal. This electric signal includes a luminance value (pixel value) of each pixel, pixel position information, and the like.
  • a pixel arranged in the i-th row and the j-th column is expressed as a pixel P ij .
  • FIG. 4 is a schematic diagram illustrating an example of the configuration of the color filter 202.
  • the color filter 202 is a filter unit U1 composed of 25 filters arranged in a 5 ⁇ 5 two-dimensional grid and arranged according to the arrangement of the pixels P ij. .
  • the pixel P ij provided with the filter receives light in the wavelength band that has passed through the filter.
  • the pixel P ij provided with a filter that transmits light in the red wavelength band receives light in the red wavelength band.
  • the pixel Pij that receives light in the red wavelength band is referred to as an R pixel.
  • G pixel pixel P ij for receiving light in the green wavelength band B pixel pixel P ij for receiving light of blue wavelength band, the light and blue wavelength band of the green wavelength band and light
  • the pixel P ij that receives light is called a Cy pixel.
  • Filter unit as shown in FIG. 4 U1 transmits light in a wavelength band H R in a blue wavelength band H B of (B), wavelength band H G and red green (G) (R).
  • blue, green and red wavelength bands H B, H G and H R the wavelength band H B is 390 nm ⁇ 500 nm
  • the wavelength band H G is 500 nm ⁇ 600 nm
  • the wavelength band H R is 600 nm ⁇ 700 nm.
  • the filter unit U1 includes one R filter, four B filters, and 20 Cy filters. Furthermore, the filter unit U1 is provided more than the number of types of B filters provided most in the color filter 202 among the plurality of types of first filters. Specifically, the ratio between the number of Cy filters and the number of B filters is 5: 1.
  • the R filter has Cy filters arranged at all adjacent positions. Hereinafter, when a B filter is arranged at a position corresponding to the pixel P ij , this B filter is referred to as B ij .
  • this R filter when an R filter is disposed at a position corresponding to the pixel P ij , this R filter is R ij , and when a Cy filter is disposed at a position corresponding to the pixel P ij , this Cy filter is Cy ij. .
  • the B filter and the R filter function as a first filter, and the Cy filter functions as a second filter.
  • FIG. 5 is a diagram illustrating an example of the transmission characteristics of each filter constituting the color filter 202.
  • the transmittance curve is normalized in a simulated manner so that the maximum values of the transmittances of the respective filters are equal.
  • the curve L B represents the transmittance curve of the B filter
  • curve L R represents the transmittance curve of the R filter
  • a curve L Cy indicates the transmittance curve of Cy filter.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the transmittance.
  • the B filter transmits light in the wavelength band H B.
  • Cy filter transmits the wavelength band H B and the wavelength band H G each light, light in a wavelength band H R absorbs (shading). That is, the Cy filter transmits light in the cyan wavelength band which is a complementary color.
  • R filter transmits light in the wavelength band H R.
  • complementary colors refers to the color composed by light including at least two wavelength bands of the wavelength band H B, H G, H R .
  • FIG. 6 is a diagram illustrating an example of spectral characteristics of white light emitted from the light source unit 3.
  • FIG. 7 is a diagram illustrating an example of spectral characteristics of narrowband light emitted from the light source unit 3. 6 and 7, the horizontal axis indicates the wavelength, and the vertical axis indicates the intensity. 6 shows the spectral characteristics of the white light curve L W is emitted by the light source unit 3. In FIG. 7, a curved line L 1 and a curved line L 2 indicate the spectral characteristics of narrowband light emitted by the light source unit 3.
  • the white light source unit 3 is emitted is larger intensity of the wavelength band H G than the intensity of the green and blue wavelength band H B.
  • the narrowband light source unit 3 is emitted is larger intensity of the blue wavelength band H B than the intensity of the green wavelength band H G.
  • the light received by each pixel P ij is information obtained by multiplying the spectral characteristics of the light emitted by the light source unit 3 and the transmission characteristics of each filter.
  • the light source unit 3 to emit white light as the first illumination light, strongly emit light in the green wavelength band H G than the light of the blue wavelength band H B, narrowband light as the second illumination light Is emitted more strongly in the blue wavelength band H B than in the green wavelength band H G.
  • FIG. 8 is a diagram illustrating an example of transmission characteristics of the Cy filter when white light is emitted to the Cy filter by the light source unit 3.
  • FIG. 9 is a diagram illustrating an example of the transmission characteristics of the Cy filter when narrowband light is emitted to the Cy filter by the light source unit 3. 8 and 9, the horizontal axis indicates the wavelength, and the vertical axis indicates the intensity.
  • a curve L CyW indicates the transmission characteristics of the Cy filter when white light is emitted to the Cy filter by the light source unit 3.
  • a curve L CyB and a curve L CyG indicate the transmission characteristics of the Cy filter when narrowband light is emitted to the Cy filter by the light source unit 3.
  • Cy filter if the white light is emitted in the Cy filter by the light source unit 3, the transmittance of the blue wavelength band H green wavelength range H G than the transmittance of the B is large and transmits more light in the relatively green wavelength range H G. That is, the Cy ij pixel acquires more information on the green wavelength band H G than information on the blue wavelength band H B.
  • the Cy filter has a transmittance of the green wavelength band H G when the light source unit 3 emits narrow band light to the Cy filter.
  • the transmittance of the blue wavelength band H B is large, and a relatively large amount of light in the blue wavelength band H B is transmitted. That, Cy ij pixel obtains much information a blue wavelength band H B from the information in the green wavelength band H G.
  • 10A to 10E are diagrams illustrating examples of images when the Cy filter is disposed on the light receiving surface of each pixel P ij .
  • the Cy pixel has sensitivity in each of the blue wavelength band H B and the green wavelength band H G. Therefore, Cy pixel, blue information of a wavelength band H capillaries of a surface layer of B1 is information B (see FIG. 10A), the green wavelength band H G information in a thick blood vessel B2 information (FIG. 10E Information) can be obtained. In the sensitivity characteristics including light emitted from the light source unit 3 illustrated in FIGS. 8 and 9, the Cy pixel has a ratio of the blue wavelength band H B to the green wavelength band H G of 1: 1. As illustrated in FIG. 10C, information obtained by averaging the image W11 illustrated in FIG. 10A and the image W15 illustrated in FIG. 10E is obtained as the image W13.
  • the second image generated by the image processing unit 41 has the blue wavelength band information obtained from the B pixel and the information of the blue wavelength band H B obtained from the Cy pixel when the second illumination light is irradiated by the light source unit 3. a the result of the addition of the information in the wavelength band H B.
  • the resolution of the second image when the second illumination light (narrowband light) is emitted by the light source unit 3 is the second image when the first illumination light (white light) is emitted by the light source unit 3. Higher than the resolution.
  • the second image is an information image W12 that is close to the image W11 in FIG. 10A, as shown in FIG. 10B.
  • Cy pixel when the first illumination light by the light source unit 3 is emitted, it is possible to obtain many green information wavelength band H G obtained from Cy pixel.
  • the first image generated by the image processing unit 41 when the first illumination light is irradiated by the light source unit 3, the blue obtained from the information and G pixel in the green wavelength band H G obtained from Cy pixel a the result of the addition of the information in the wavelength band H G.
  • the resolution of the first image when the first illumination light is emitted by the light source unit 3 is higher than the resolution of the first image when the second illumination light is emitted by the light source unit 3.
  • the first image becomes an information image W14 that is close to the image W15 in FIG. 10E as illustrated in FIG. 10D.
  • the resolution of the first image when the first illumination light (white light) is emitted by the light source unit 3 is the first resolution when the second illumination light (narrow band light) is emitted by the light source unit 3. It becomes higher than the resolution of the image. Furthermore, the resolution of the second image when the second illumination light (narrow band light) is emitted by the light source unit 3 is the same as that of the second image when the first illumination light (white light) is emitted by the light source unit 3. It becomes higher than the resolution.
  • FIG. 11 is a flowchart illustrating an outline of processing executed by the endoscope apparatus 1.
  • the illumination control unit 32 determines whether or not the observation method is a white light observation method based on information from the processor unit 4 (step S101). (Step S101: Yes), the illumination control unit 32 retreats the switching filter 31c from the optical path of the white light emitted by the light source 31a by driving the drive unit 31d (Step S102), and causes the light source unit 3 to emit white light. Is emitted (step S103). After step S103, the endoscope apparatus 1 proceeds to step S106 described later.
  • step S101 when the white light observation method is not used (step S101: No), the illumination control unit 32 inserts the switching filter 31c from the optical path of the white light emitted by the light source 31a by driving the drive unit 31d (In step S104, the light source unit 3 emits narrowband light (step S105). After step S105, the endoscope apparatus 1 proceeds to step S106 described later.
  • step S106 the endoscope 2 images the subject.
  • the endoscope 2 outputs the electrical signal generated by the image sensor 201 to the processor unit 4.
  • the processor unit 4 executes image generation processing for generating an image to be displayed on the display unit 5 by performing image processing on the electrical signal input from the endoscope 2 (step S107). Details of the image generation process will be described later.
  • step S108: Yes the endoscope apparatus 1 ends this process.
  • step S108: No the endoscope apparatus 1 returns to step S101 described above.
  • FIG. 12 is a flowchart showing an outline of the image generation process.
  • FIG. 13 is a schematic diagram for explaining an outline of the image generation processing executed by the image processing unit 41.
  • the image processing unit 41 acquires image data from the endoscope 2 (step S201). Specifically, as illustrated in FIG. 13, the image processing unit 41 acquires an image F ⁇ b> 1 corresponding to the image data from the endoscope 2.
  • the guide image generation unit 411 generates an interpolation image of Cy pixels arranged with the highest density in the image sensor 201 as a guide image (step S202). Specifically, as illustrated in FIG. 13, the guide image generation unit 411 performs imaging based on the luminance value (pixel value) of each Cy pixel in the separated image F Cy1 obtained by separating the luminance value of the Cy pixel from the image F1.
  • an interpolated image F Cy2 having the luminance value of the Cy pixel at all pixel positions is obtained as a guide image (hereinafter referred to as “guide image”) , “Guide image F Cy2 ”).
  • guide image a guide image
  • Guide image F Cy2 the adjacent eight directions (horizontal method, vertical direction, and diagonal direction) are all surrounded by Cy pixels.
  • the guide image generation unit 411 generates the guide image F Cy2 using well-known bilinear interpolation, cubic interpolation, direction discrimination interpolation, or the like. Accordingly, the guide image generation unit 411 can generate a highly accurate guide image FCy2 .
  • the interpolated image generation unit 412 determines each of the other color pixels, that is, the R pixel and the B pixel in the first embodiment, based on the guide image F Cy2 generated by the guide image generation unit 411 in step S202 described above.
  • An interpolation image is generated (step S203). Specifically, as illustrated in FIG. 13, the interpolation image generation unit 412 has the Cy pixel and the R pixel in the separated image F B1 arranged based on the guide image F Cy2 generated by the guide image generation unit 411.
  • an interpolated image F B2 (second image) having the luminance value of the B pixel at all pixel positions is generated.
  • the interpolation image generating unit 412 based on the guide image F Cy2 the guide image generating unit 411 has generated, the pixel positions respectively Cy and B pixels in the separation image F R1 is arranged By calculating the luminance value of the R pixel by interpolation processing, an interpolated image FR2 having the luminance value of the R pixel at all pixel positions is generated.
  • the interpolation method based on the guide image FCy2 by the interpolation image generation unit 412 is a known joint bilateral interpolation process or a guided filter interpolation process.
  • the interpolation image generation unit 412 can generate the interpolation image F FB2 and the interpolation image F R2 with high accuracy of the B pixel and the R pixel, which are arranged at a low density in the image sensor 201, respectively.
  • the interpolation image generation unit 412 can perform the interpolation processing based on the guide image F Cy2 with high accuracy.
  • high-frequency components in white light have a high correlation between the R pixel, the G pixel, and the B pixel.
  • the interpolation image generation unit 412 can perform the interpolation process with high accuracy even when the R pixel is interpolated using the Cy image as the guide image FCy2 .
  • the interpolation image generation unit 412 generates a color image using the B image and the G image, and thus does not need to generate an R interpolation image.
  • the image processing unit 41 is sensitive to light in the green wavelength band and light in the blue wavelength band based on the imaging signal generated by the imaging element 201. It is possible to generate an interpolated image F B2 (an image obtained by adding the guide image F Cy2 and the separated image F B1 in FIG. 13) as a second image having a higher resolution than in the case of the white light observation method. Furthermore, the image processing unit 41 can generate an interpolated image F B2 as a second image having a higher resolution than the interpolated image FG2 that is the first image in the narrowband light observation method.
  • the color image generation unit 413 uses the guide image F Cy2 generated by the guide image generation unit 411 in step S202 and the interpolation image F B2 generated by the interpolation image generation unit 412 in step S203 to set all pixel values to G.
  • An interpolated image F G2 (first image) having the luminance value of the pixel is generated.
  • the color image generation unit 413 separates the G component from the guide image F Cy2 by subtracting the luminance value of the B pixel interpolation image F B2 from the Cy pixel guide image F Cy2 for each pixel. , to generate an interpolated image F G2 of the G pixel. More specifically, the color image generation unit 413 generates an interpolation image FG2 of G pixels by the following equation (1).
  • G (i, j) Cy (i, j) ⁇ ⁇ B (i, j) (1)
  • G (i, j) represents the luminance value of each G pixel in the interpolated image F G2 (pixel value)
  • Cy (i, j) is the brightness value of each Cy pixel in the interpolation image
  • Cy2 (pixel B) (i, j) indicates the luminance value (pixel value) of each B pixel in the interpolated image F CB2
  • is a G correction coefficient, and in the spectral characteristics of the light source 31a and the Cy pixel. This is a parameter calculated in advance from the ratio of the blue wavelength band H B and the green wavelength band H G.
  • the color image generation unit 413 when the endoscope apparatus 1 performs the white light observation method, the color image generation unit 413 generates a color image FW using the interpolation image F G2 , the interpolation image F B2, and the interpolation image F R2 . In contrast, when the endoscope apparatus 1 performs the narrow-band light observation method, the color image generation unit 413 generates a color image using the interpolation image F G2 and the interpolation image F B2 (step S204).
  • the display image generation unit 414 generates a display image using the color image Fw generated by the color image generation unit 413 (step S205). Specifically, the display image generation unit 414 performs gradation modulation processing, enlargement processing, denoising processing, structure enhancement processing of structures such as capillaries and mucous membrane fine patterns on the mucosal surface layer, and the like on the color image FW . To generate a display image for display. In this case, the display image generation unit 414 may perform structure enhancement processing using information of the guide image FCy2 , for example, edge information or luminance information, in step S202. Since the interpolated image F Cy2 has a high resolution regardless of the observation method, various processes such as a structure enhancement process can be performed with high accuracy. After step S205, the endoscope apparatus 1 returns to the main routine of FIG.
  • the color filter 202 is provided with the Cy filter, the B filter, and the R filter, and the number of Cy filters provided with the largest number of Cy filters is the number of the B filters.
  • a high-resolution image can be obtained by both the white light observation method and the narrow-band light observation method.
  • Embodiment 1 of the present invention when the light source unit 3 emits white light as the first illumination light, the light in the green wavelength band H G is emitted more strongly than the light in the blue wavelength band H B.
  • the narrow-band light is emitted as the second illumination light, the light of the blue wavelength band H B is emitted more strongly than the light of the green wavelength band H G. Therefore, the white light observation method and the narrow-band light observation method are used. In either observation method, an image with high resolution can be obtained.
  • the interpolation image generation unit 412 arranges each of the Cy pixel and the R pixel in the separated image F B1 based on the guide image F Cy2 generated by the guide image generation unit 411.
  • an interpolated image F B2 having the B pixel luminance value at all pixel positions is generated, and the Cy pixel and the B pixel in the separated image F R1 are respectively
  • the interpolated image FR2 having the luminance value of the R pixel at all pixel positions is generated, so that the interpolation process can be performed with high accuracy.
  • FIG. 14 is a diagram illustrating an example of a color image generated by the image processing unit according to the first modification of the first embodiment of the present invention when the narrow-band light observation method is used.
  • the interpolation image generation unit 412 can acquire information in which the Cy pixel is very close to the G pixel or the B pixel.
  • the interpolation image F B2 may be generated by regarding the Cy pixel as the B pixel.
  • the color image generation unit 413 may generate a color image of narrowband light using the interpolation image F B2 and the interpolation image F G2 generated by the interpolation image generation unit 412.
  • the interpolation image generation unit 412 may generate the interpolation image F G2 by regarding the Cy pixel as a G pixel as in the narrow-band light observation method. .
  • the image processing by the image processing unit 41 can be simplified as compared with the first embodiment described above.
  • FIG. 15 is a schematic diagram illustrating an example of a configuration of a color filter according to the second modification of the first embodiment of the present invention.
  • a color filter 202a shown in FIG. 15 is a filter unit U2 composed of 16 filters arranged in a 4 ⁇ 4 two-dimensional grid, arranged in accordance with the arrangement of the pixels Pij .
  • the filter unit U2 is a conventional Bayer arrangement in which a Cy filter is disposed instead of the G filter at a position where the G filter is disposed.
  • the filter unit U2 includes four R filters, four B filters, and eight Cy filters.
  • the filter unit U2 is provided more than the number of B filters or R filters provided most in the color filter 202a. That is, the filter unit U2 includes Cy filters arranged in a checkered pattern. Further, the ratio between the number of Cy filters and the number of B filters is 2: 1.
  • a high-resolution image can be obtained in both the white light observation method and the narrow-band light observation method. Obtainable.
  • FIG. 16 is a schematic diagram illustrating an example of a configuration of a color filter according to Embodiment 2 of the present invention.
  • the color filter 202b is configured by a filter unit U3 in which a magenta filter (hereinafter referred to as “Mg filter”) is arranged instead of the R filter described above.
  • Mg filter magenta filter
  • the Mg filter functions as the third filter.
  • FIG. 17 is a diagram illustrating an example of transmission characteristics of each filter constituting the color filter 202b.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the transmittance.
  • the curve L B represents the transmittance curve of the B filter
  • curve L Cy represents a transmittance curve of Cy filter
  • the curve L Mg indicates the transmittance curve of Mg filter.
  • Mg filter transmitting red wavelength band H R and the blue wavelength bands H B each light. That is, the Mg filter transmits light in a magenta wavelength band that is a complementary color.
  • Pixel Mg ij when the narrow-band light emitted by the light source unit 3, it is not possible to obtain information in the red wavelength band H R, it can be regarded as a pixel to obtain information similar to the B pixel. Thereby, when the endoscope apparatus 1 performs the narrow-band light observation method, an image having a higher resolution can be obtained by increasing the information of the B pixel.
  • FIG. 18 is a schematic diagram for explaining an overview of the image generation processing executed by the image processing unit 41.
  • the guide image generation unit 411 performs the luminance value (pixel value) of each Cy pixel of the separated image F Cy1 obtained by separating the luminance value of the Cy pixel from the image F2, as in the first embodiment. Based on the above, by calculating the luminance value of the Cy pixel at the pixel position where each of the B pixel and the Mg pixel in the image sensor 201 is arranged by interpolation processing, the guide image F Cy2 having the luminance value of the Cy pixel at all pixel positions. Is generated.
  • the interpolation image generation unit 412 interpolates the luminance value of the B pixel at the pixel position where each of the Cy pixel and the Mg pixel in the separated image F B1 is based on the guide image F Cy2 generated by the guide image generation unit 411.
  • an interpolated image F B2 (second image) having a luminance value of B pixels at all pixel positions is generated.
  • the image processing unit 41 calculates the interpolated image F B2 as the second image having a higher resolution than that in the case of the white light observation method based on the imaging signal generated by the imaging element 201. Can be generated.
  • the image processing unit 41 can generate an interpolated image F B2 as a second image having a higher resolution than the interpolated image FG2 that is the first image in the narrowband light observation method.
  • the interpolation image generation unit 412 calculates, based on the interpolation image F B2 , the luminance value of the Mg pixel at the pixel position where each of the Cy pixel and the B pixel in the separated image F Mg1 is calculated by interpolation processing.
  • An interpolated image F Mg2 having a luminance value of Mg pixels at all pixel positions is generated.
  • the color image generation unit 413 subtracts the luminance value for each pixel from the interpolation image F B2 of the B pixel from the interpolation image F Mg2 of the Mg pixel generated by the interpolation image generation unit 412, thereby obtaining the interpolation image F Mg2 from the interpolation image F Mg2.
  • the R component is separated to generate an interpolated image FR2 of R pixels.
  • the color image generation unit 413 by the interpolation image generating unit 412 generates an interpolated image F R2 from interpolated image F Mg2 generated using the interpolated image F B2, subjected to subtraction processing at the time of color image generation process Since interpolation processing using color information is performed, an increase in noise during subtraction processing can be reduced.
  • a high-resolution image can be obtained in both the white light observation method and the narrow-band light observation method, as in the first embodiment. .
  • the Mg filter is arranged in the filter unit U3, so that the interpolation process using the color information to be subtracted during the color image generation process is performed.
  • the increase in noise during the subtraction process can be reduced.
  • FIG. 19 is a schematic diagram illustrating an example of the configuration of a color filter according to Modification 1 of Embodiment 2 of the present invention.
  • a color filter 202c shown in FIG. 19 is a filter unit U4 composed of 16 filters arranged in a 4 ⁇ 4 two-dimensional lattice and arranged in accordance with the arrangement of the pixels Pij.
  • the filter unit U4 replaces the G filter at the place where the G filter is arranged, and arranges the Cy filter, and at the place where the R filter is arranged, replaces the R filter with the Mg filter. Is arranged.
  • the filter unit U4 includes four Mg filters, four B filters, and eight Cy filters.
  • the filter unit U4 is provided more than the number of B filters or Mg filters provided with the largest number of Cy filters in the color filter 202a.
  • the Cy filters are arranged in a checkered pattern. Furthermore, the ratio of the number of Cy filters, the number of B filters, and the number of Mg filters is 2: 1: 1.
  • a high-resolution image can be obtained in both the white light observation method and the narrow-band light observation method, as in the second embodiment.
  • Embodiment 3 Next, a third embodiment of the present invention will be described.
  • the filter unit is configured using three types of filters.
  • the filter unit is configured using four types of filters.
  • the image processing executed by the image processing unit according to the third embodiment will be described.
  • symbol is attached
  • FIG. 20 is a schematic diagram showing another example of the configuration of the color filter according to Embodiment 3 of the present invention.
  • the color filter 202d shown in FIG. 20 is obtained by placing the filter unit U5 consisting 25 of the filter arranged in a two-dimensional grid pattern in 5 ⁇ 5 are arranged according to the arrangement of the pixel P ij.
  • the filter unit U5 includes one R filter, four B filters, four G filters, and 16 Cy filters. Furthermore, the filter unit U5 is provided in a number equal to or greater than the number of each of the B filter and the G filter provided in the color filter 202d with the largest number of Cy filters.
  • FIG. 21 is a diagram illustrating an example of the transmission characteristics of each filter constituting the color filter 202d.
  • the curve L B represents the transmittance curve of the B filter
  • curve L R represents the transmittance curve of the R filter
  • a curve L G represents a transmittance curve of G filters
  • the curve L Cy is Cy filter The transmittance curve is shown.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the transmittance.
  • G filter transmits light in the wavelength band H G.
  • FIG. 22 is a schematic diagram for explaining an outline of the image generation processing executed by the image processing unit 41.
  • the interpolation image generation unit 412 generates interpolated images of other color pixels, that is, R pixels and B pixels in the third embodiment, based on the guide image generated by the guide image generation unit 411. Generate. Specifically, the interpolation image generation unit 412 is based on the guide image F Cy2 generated by the guide image generation unit 411, the interpolation image F FB2 (second image) , the interpolation image F FR2, and the interpolation image F FG2 (first image) . Each image) is generated. Thus, the color image generation unit 413 can be omitted subtraction processing for subtracting the luminance value from the guide image F Cy2 the interpolated image F B2 of B pixels for each pixel.
  • the image processing unit 41 generates an interpolated image F B2 as a second image having a higher resolution than that in the case of the white light observation method, based on the imaging signal generated by the imaging element 201. can do. Further, in the narrowband light observation method, it is possible to generate the interpolated image F B2 as the second image having a higher resolution than the interpolated image FG2 that is the first image.
  • a high-resolution image can be obtained in both the white light observation method and the narrow-band light observation method as in the first embodiment. .
  • the color image generation unit 413 can omit the subtraction process for subtracting the luminance value for each pixel of the interpolation image F B2 of B pixels from the guide image F Cy2 .
  • the endoscope apparatus 1 performs the white light observation method, high color reproducibility can be ensured.
  • FIG. 23 is a schematic diagram showing an example of the configuration of a color filter according to Embodiment 4 of the present invention.
  • a color filter 202e shown in FIG. 23 is a filter unit U6 composed of 25 filters arranged in a two-dimensional grid of 5 ⁇ 5, arranged in accordance with the arrangement of the pixels Pij .
  • the filter unit U6 includes four R filters, one B filter, and 20 Ye filters. Further, the filter unit U6 is provided with a number of Ye filters equal to or more than the number of R filters provided in the color filter 202e.
  • FIG. 24 is a diagram illustrating an example of transmission characteristics of each filter constituting the color filter 202e.
  • the curve L B represents the transmittance curve of the B filter
  • curve L R represents the transmittance curve of the R filter
  • a curve L Ye shows the transmittance curve of the Ye filter.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the transmittance.
  • Ye filter transmitting red wavelength band H R and green wavelength range H G each light. That is, the Ye filter transmits light in a yellow wavelength band that is a complementary color.
  • FIG. 25 is a diagram illustrating an example of spectral characteristics of white light emitted from the light source unit 3.
  • FIG. 26 is a diagram illustrating an example of spectral characteristics of narrowband light emitted from the light source unit 3. 25 and 26, the horizontal axis indicates the wavelength, and the vertical axis indicates the intensity. In FIG 25, illustrates a spectral characteristic of the white light curve L W is emitted by the light source unit 3. In FIG. 26, two curves L 2 and L 11 indicate the spectral characteristics of the narrowband light emitted by the light source unit 3.
  • the white light source unit 3 is emitted, the larger the intensity of the blue wavelength band H wavelength band H G than the intensity of green B. Further, as shown by the curve L 2 and curve L 11 in FIG. 26, the narrow-band light source unit 3 is emitted is larger intensity of red wavelength band H R than the intensity of the green wavelength band H G.
  • FIG. 27 is a schematic diagram for explaining an overview of the image generation processing executed by the image processing unit 41.
  • the guide image generation unit 411 generates an interpolation image of Ye pixels as a guide image. Specifically, as illustrated in FIG. 27, the guide image generation unit 411 includes the B pixel and the R pixel based on the luminance value of each Ye pixel in the separated image F Ye1 obtained by separating the luminance value of the Ye pixel from the image F4. By calculating the luminance value of the Ye pixel at the pixel position where each pixel is arranged by interpolation processing, the guide image F Ye2 having the luminance value of the Ye pixel at all pixel positions is generated. As shown in FIG.
  • the guide image generation unit 411 generates the guide image F Ye2 using well-known bilinear interpolation, cubic interpolation, direction discrimination interpolation, or the like. Thereby, the guide image generation unit 411 can generate a highly accurate guide image F Ye2 .
  • the interpolation image generation unit 412 calculates the luminance value of the R pixel at the pixel position where the Ye pixel and the B pixel in the separated image F R1 are arranged. By calculating by interpolation processing, an interpolated image F R2 (second image) having R pixel luminance values at all pixel positions is generated. Furthermore, the interpolation image generation unit 412 interpolates the luminance value of the B pixel at the pixel position where the Ye pixel and the R pixel in the separated image F B1 are arranged based on the guide image F Ye2 generated by the guide image generation unit 411.
  • an interpolated image F B2 having a luminance value of B pixels at all pixel positions is generated.
  • the interpolation method based on the guide image F Ye2 by the interpolation image generation unit 412 is a known joint bilateral interpolation process or a guided filter interpolation process.
  • the interpolation image generation unit 412 can generate the interpolation image FR2 and the interpolation image FB2 with high accuracy of the R pixel and the B pixel, which are arranged at a low density in the image sensor 201, respectively.
  • the image processing unit 41 is based on the image pickup signal generated by the image pickup device 201, and the interpolated image F R2 as the second image having a higher resolution than in the case of the white light observation method (see FIG. 27 of the guide image F Ye2 and separation images F R1 can generate image) obtained by adding the. Further, in the narrow band light observation method, it is possible to generate the interpolated image FR2 as the second image having a higher resolution than the interpolated image FG2 that is the first image.
  • the color image generation unit 413 by subtracting the luminance value from the guide image F Ye2 of Ye pixels interpolated image F R2 R pixels for each pixel, to separate the R component from the guide image F Ye2, G pixel
  • the interpolated image FG2 is generated.
  • the color image generation unit 413 when the endoscope apparatus 1 performs the white light observation method, the color image generation unit 413 generates a color image FW using the interpolation image F G2 , the interpolation image F B2, and the interpolation image F R2 .
  • the color image generation unit 413 when the endoscope apparatus 1 performs fluorescence observation, the color image generation unit 413 generates a color image using the interpolation image FG2 and the interpolation image FR2 .
  • FIG. 28 is a diagram showing a list in which variations of color filters according to other embodiments of the present invention are associated with wavelength bands of illumination light emitted from the light source unit 3 and effects.
  • a Ye filter may be disposed instead of the Mg filter at the position where the Mg filter of FIG. 16 described above is disposed.
  • a Cy filter may be disposed in place of the B filter at the position where the B filter of FIG. 23 is disposed.
  • an Mg filter may be disposed in place of the B filter at the position where the B filter of FIG. 23 is disposed.
  • a color filter 202f shown in FIG. 29 may be used.
  • the color filter 202f is obtained by placing the filter unit U7 consisting 25 of the filter arranged in a two-dimensional grid pattern in 5 ⁇ 5 are arranged according to the arrangement of the pixel P ij.
  • the filter unit U7 includes four G filters, four B filters, one Mg filter, and 16 Cy filters. Further, the filter unit U7 is arranged to have a larger number of Cy filters than the number of G filters or B filters provided most in the filter unit U7.
  • a color filter 202g shown in FIG. 30 may be used.
  • the color filter 202g is obtained by placing the filter unit U8 consisting 36 filters arranged in a 6 ⁇ 6 in a two-dimensional lattice form are arranged according to the arrangement of the pixel P ij.
  • the filter unit U8 includes nine G filters, five B filters, four Mg filters, and 18 Cy filters. Further, the filter unit U8 is arranged so that the number of Cy filters is more than the number of G filters provided most in the filter unit U8.
  • a color filter 202h shown in FIG. 31 may be used.
  • the color filter 202h is obtained by placing the filter unit U9 of 16 filters that are arranged in a two-dimensional grid pattern in 4 ⁇ 4 are arranged according to the arrangement of the pixel P ij.
  • the filter unit U9 includes four G filters, two B filters, two Mg filters, and eight Cy filters. Further, the filter unit U9 is arranged so that the number of Cy filters is more than the number of G filters provided most in the filter unit U9.
  • a color filter 202i shown in FIG. 32 may be used.
  • the color filter 202i is obtained by placing the filter unit U10 of 16 filters that are arranged in a two-dimensional grid pattern in 4 ⁇ 4 are arranged according to the arrangement of the pixel P ij.
  • the filter unit U10 includes four G filters, two B filters, two R filters, and eight Cy filters. Further, the filter unit U10 is arranged so that the number of Cy filters is more than the number of G filters provided most in the filter unit U10.
  • the transmission characteristics of the Cy filter transmit light in the entire band of the blue wavelength band H B and the green wavelength band H G , but this is shown by a curve L Cy2 in FIG. As such, it may have a bimodal transmission characteristic.
  • the image processing unit 41 can perform the color image generation process with high accuracy, it can generate a color image with less noise.
  • the illumination light emitted from the light source unit 3 is converted into white light or narrow light by inserting / removing the switching filter 31c into / from the optical path with respect to white light emitted from one light source 31a.
  • a light source that emits white light and a light source that emits narrow band light may be provided, and white light or narrow band light may be emitted while switching the lighting of the two light sources.
  • the present invention can be applied to a capsule endoscope that can be introduced into a subject.
  • the image processing unit generates an interpolation image of pixels of other colors using the Cy interpolation image or the Ye interpolation image as a guide image.
  • the Cy interpolation image when generating a B interpolation image, the Cy interpolation image
  • the direction of the edge in the image may be determined for each pixel position, and a B-interpolated image may be generated from only the information of the B pixel based on the determined result.
  • the endoscope apparatus 1 has been described as having the A / D conversion unit 205 provided in the distal end portion 24, it may be provided in the processor unit 4. Further, the configuration relating to image processing may be provided in the endoscope 2, the connector that connects the endoscope 2 and the processor unit 4, the operation unit 22, or the like. In the endoscope apparatus 1 described above, the endoscope unit 2 connected to the processor unit 4 is identified using the identification information stored in the identification information storage unit 261. However, the processor unit 4 An identification means may be provided at a connection portion (connector) between the endoscope 2 and the endoscope 2. For example, an identification pin (identification means) is provided on the endoscope 2 side to identify the endoscope 2 connected to the processor unit 4.
  • section module, unit
  • control unit can be read as control means or a control circuit.

Abstract

白色光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる内視鏡装置、画像処理装置、画像処理方法およびプログラムを提供する。内視鏡装置1は、光源部3が第1照明光または第2照明光を出射した場合、撮像素子201が生成した撮像信号に基づいて、緑色の波長帯域の光に対応する第1画像および前記一方の波長帯域の光に対応する第2画像を生成する画像処理部41を備え、前記光源部によって前記第1照明光が出射された場合における前記第1画像の解像度は、前記光源部によって前記第2照明光が出射された場合における前記第1画像の解像度よりも高くなり、前記光源部によって前記第2照明光が出射された場合における前記第2画像の解像度は、前記光源部によって前記第1照明光が出射された場合における前記第2画像の解像度よりも高くなることを特徴とする。

Description

内視鏡装置、画像処理装置、画像処理方法およびプログラム
 本発明は、被検体に導入され、該被検体内の画像を取得する内視鏡装置、画像処理装置、画像処理方法およびプログラムに関する。
 従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体の体腔内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても体腔内の体内画像を取得できるため、被検体への負担が少なく、普及が進んでいる。
 このような内視鏡装置の観察方式として、白色の照明光(白色光)を用いた白色光観察方式(WLI:White Light Imaging)と、青色および緑色の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光(狭帯域光)を用いた狭帯域光観察方式(NBI:Narrow Band Imaging)が広く知られている。このうち、狭帯域光観察方式は、生体の粘膜表層に存在する毛細血管および粘膜微細模様等を強調表示する画像を得ることができる。狭帯域光観察方式によれば、生体の粘膜表層における病変部をより的確に発見することができる。このような内視鏡装置の観察方式に関して、白色光観察方式と、狭帯域光観察方式とを切り替えて観察することも知られている。
 上述した観察方式でカラー画像を生成して表示するため、単板の撮像素子により撮像画像を取得すべく、撮像素子の受光面上には、一般的にベイヤ配列と呼ばれるカラーフィルタが設けられている。ベイヤ配列は、赤色(R)、緑色(G)および青色(B)の波長帯域の光を透過するフィルタ(以下、「Rフィルタ」、「Gフィルタ」および「Bフィルタ」という)を1つのフィルタ単位(ユニット)として画素毎に配列したものである。この場合、各画素は、フィルタを透過した波長帯域の光を受光し、撮像素子は、その波長帯域の光に応じた色成分の電気信号を生成する。この電気信号を用いてカラー画像を生成する処理では、各画素においてフィルタを透過せずに欠落した色成分の信号値を補間する補間処理が行われる。このような補間処理は、デモザイキング処理と呼ばれる。
 デモザイキング処理において、白色光観察方式では、Gフィルタを透過した光を受光する画素の信号値を用いることによって高い解像度を得ることができるものの、狭帯域光観察方式では、GフィルタとBフィルタとの相関が低いことに加えて、Bフィルタの数が全体の1/4しか配置されていないため、白色光観察方式と同様の処理を行っても高い解像度の画像を得ることができない。この問題を解決するため、ベイヤ配列におけるGフィルタとBフィルタの位置を入れ替えて、1つのフィルタユニットにおいてBフィルタの数を最も多く配置する技術が知られている(特許文献1参照)。
特開2006-297093号公報
 しかしながら、上述した特許文献1では、狭帯域光観察方式において、ベイヤ配列の画像と比べて解像度の高い画像を得ることができる一方、G画素の数が従来のベイヤ配列に比べて少ないため、白色光観察方式において従来のベイヤ配列の画像と比べて解像度が低くなるという問題点があった。
 本発明は、上記に鑑みてなされたものであって、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる内視鏡装置、画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明に係る内視鏡装置は、赤色、緑色および青色それぞれの波長帯域の光を含む第1照明光、または前記緑色の波長帯域の光および前記青色の波長帯域の光もしくは前記赤色の波長帯域の光を含む第2照明光を出射する光源部と、2次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成する撮像素子と、前記赤色、前記緑色および前記青色のいずれか1つの波長帯域の光をそれぞれ透過する少なくとも1種類の第1フィルタと、前記緑色の波長帯域の光を透過し、かつ、前記赤色および前記青色のうち一方の波長帯域の光を透過する第2フィルタと、を有する複数のフィルタによって構成されたフィルタユニットであって、前記第2フィルタの数が少なくとも1種類の前記第1フィルタのうち一番多く配置されてなる種類の前記第1フィルタの数以上であるフィルタユニットを、前記複数の画素に対応させて配置してなるカラーフィルタと、前記光源部によって前記第1照明光が出射された場合における前記第1画像の解像度は、前記光源部によって前記第2照明光が出射された場合における前記第1画像の解像度よりも高くなり、前記光源部によって前記第2照明光が出射された場合における前記第2画像の解像度は、前記光源部によって前記第1照明光が出射された場合における前記第2画像の解像度よりも高くなることを特徴とする。
 また、本発明に係る内視鏡装置は、上記発明において、前記光源部は、前記第1照明光を出射する場合、前記一方の波長帯域の光よりも前記緑色の波長帯域の光を強く出射する一方、前記第2照明光を出射する場合、前記緑色の波長帯域の光よりも前記一方の波長帯域の光を強く出射することを特徴とする。
 また、本発明に係る内視鏡装置は、上記発明において、前記フィルタユニットは、前記第2フィルタの数が当該フィルタユニットに配置してなる他のフィルタを合算した数以上であることを特徴とする。
 また、本発明に係る内視鏡装置は、上記発明において、前記フィルタユニットは、前記緑色の波長帯域の光を透過し、かつ、前記一方の波長帯域の光と異なる他方の波長帯域の光を透過する第3フィルタを有することを特徴とする。
 また、本発明に係る内視鏡装置は、上記発明において、前記第2フィルタは、シアンフィルタであり、前記第3フィルタは、マゼンダフィルタまたはイエローフィルタであることを特徴とする。
 また、本発明に係る内視鏡装置は、上記発明において、前記第2フィルタは、イエローフィルタであり、前記第3フィルタは、シアンフィルタまたはマゼンダフィルタであることを特徴とする。
 また、本発明に係る内視鏡装置は、上記発明において、前記画像処理部は、前記第2フィルタを介して前記画素が受光した光に基づき前記撮像素子が生成した電気信号に対して補間処理を行って、前記第2フィルタ以外のフィルタが配置された前記画素の前記撮像信号を補間するための第1補間画像を生成し、かつ、該第1補間画像に基づいて、前記第2フィルタ以外のフィルタを介して前記画素が受光した光に基づき前記撮像素子が生成した前記撮像信号に対して、前記第2フィルタ以外のフィルタが配置された前記画素の前記撮像信号を補間した第2補間画像を生成することを特徴とする。
 また、本発明に係る内視鏡装置は、上記発明において、前記画像処理部は、前記光源部が前記第1照明光を出射した場合、前記第2フィルタを介して前記画素が受光した光に基づき前記撮像素子が生成した電気信号を、前記第1フィルタを介して前記画素が受光した光とみなして前記第1画像を生成することを特徴とする。
 また、本発明に係る画像処理装置は、光源部と、撮像素子と、カラーフィルタと、を有する内視鏡が接続される画像処理装置であって、前記光源部は、赤色、緑色および青色それぞれの波長帯域の光を含む第1照明光、または前記緑色の波長帯域の光および前記青色の波長帯域あるいは前記赤色の波長帯域の光からなる第2照明光を出射し、前記撮像素子は、2次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成し、前記カラーフィルタは、前記赤色、前記緑色および前記青色のいずれか1つの波長帯域の光をそれぞれ透過する少なくとも1種類の第1フィルタと、前記緑色の波長帯域の光を透過し、かつ、前記赤色および前記青色のうち一方の波長帯域の光を透過する第2フィルタと、を有する複数のフィルタによって構成されたフィルタユニットであって、前記第2フィルタの数が少なくとも1種類の前記第1フィルタのうち一番多く配置されてなる種類の前記第1フィルタの数以上であるフィルタユニットを、前記複数の画素に対応させて配置してなり、前記光源部によって前記第1照明光が出射された場合における前記第1画像の解像度は、前記光源部によって前記第2照明光が出射された場合における前記第1画像の解像度よりも高くなり、前記光源部によって前記第2照明光が出射された場合における前記第2画像の解像度は、前記光源部によって前記第1照明光が出射された場合における前記第2画像の解像度よりも高くなることを特徴とする。
 また、本発明に係る画像処理方法は、光源部と、撮像素子と、カラーフィルタと、を有する内視鏡が接続される画像処理装置が実行する画像処理方法であって、前記光源部は、赤色、緑色および青色それぞれの波長帯域の光を含む第1照明光、または前記緑色の波長帯域の光および前記青色の波長帯域あるいは前記赤色の波長帯域の光からなる第2照明光を出射し、前記撮像素子は、2次元格子状に配置されてなる複数の画素がそれぞれ受光して光を光電変換することによって撮像信号を生成し、前記カラーフィルタは、前記赤色、前記緑色および前記青色のいずれか1つの波長帯域の光をそれぞれ透過する少なくとも1種類の第1フィルタと、前記緑色の波長帯域の光を透過し、かつ、前記赤色および前記青色のうち一方の波長帯域の光を透過する第2フィルタと、を有する複数のフィルタによって構成されたフィルタユニットであって、前記第2フィルタの数が少なくとも1種類の前記第1フィルタのうち一番多く配置されてなる種類の前記第1フィルタの数以上であるフィルタユニットを、前記複数の画素に対応させて配置してなり、前記光源部によって前記第1照明光が出射された場合における前記第1画像の解像度は、前記光源部によって前記第2照明光が出射された場合における前記第1画像の解像度よりも高くなり、前記光源部によって前記第2照明光が出射された場合における前記第2画像の解像度は、前記光源部によって前記第1照明光が出射された場合における前記第2画像の解像度よりも高くなることを特徴とする。
 また、本発明に係るプログラムは、光源部と、撮像素子と、カラーフィルタと、を有する内視鏡が接続される画像処理装置に、前記光源部は、赤色、緑色および青色それぞれの波長帯域の光を含む第1照明光、または前記緑色の波長帯域の光および前記青色の波長帯域あるいは前記赤色の波長帯域の光からなる第2照明光を出射し、前記撮像素子は、2次元格子状に配置されてなる複数の画素がそれぞれ受光して光を光電変換することによって撮像信号を生成し、前記カラーフィルタは、前記赤色、前記緑色および前記青色のいずれか1つの波長帯域の光をそれぞれ透過する少なくとも1種類の第1フィルタと、前記緑色の波長帯域の光を透過し、かつ、前記赤色および前記青色のうち一方の波長帯域の光を透過する第2フィルタと、を有する複数のフィルタによって構成されたフィルタユニットであって、前記第2フィルタの数が少なくとも1種類の前記第1フィルタのうち一番多く配置されてなる種類の前記第1フィルタの数以上であるフィルタユニットを、前記複数の画素に対応させて配置してなり、前記光源部によって前記第1照明光が出射された場合における前記第1画像の解像度は、前記光源部によって前記第2照明光が出射された場合における前記第1画像の解像度よりも高くなり、前記光源部によって前記第2照明光が出射された場合における前記第2画像の解像度は、前記光源部によって前記第1照明光が出射された場合における前記第2画像の解像度よりも高くなることを特徴とする。
 本発明によれば、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができるという効果を奏する。
図1は、本発明の実施の形態1に係る内視鏡装置の概略構成を示す図である。 図2は、本発明の実施の形態1に係る内視鏡装置の概略構成を示す模式図である。 図3は、本発明の実施の形態1に係る撮像素子の画素の構成を示す模式図である。 図4は、本発明の実施の形態1に係るカラーフィルタの構成の一例を示す模式図である。 図5は、本発明の実施の形態1に係るカラーフィルタを構成する各フィルタの透過特性の一例を示す図である。 図6は、本発明の実施の形態1に係る光源部が出射する白色光の分光特性の一例を示す図である。 図7は、本発明の実施の形態1に係る光源部が出射する狭帯域光の分光特性の一例を示す図である。 図8は、本発明の実施の形態1に係る光源部によって白色光がCyフィルタに出射された際のCyフィルタの透過特性の一例を示す図である。 図9は、本発明の実施の形態1に係る光源部によって狭帯域光がCyフィルタに出射された際のCyフィルタの透過特性の一例を示す図である。 図10Aは、Cyフィルタを各画素Pの受光面に配置した際の画像の一例を示す図である。 図10Bは、Cyフィルタを各画素Pの受光面に配置した際の画像の一例を示す図である。 図10Cは、Cyフィルタを各画素Pの受光面に配置した際の画像の一例を示す図である。 図10Dは、Cyフィルタを各画素Pの受光面に配置した際の画像の一例を示す図である。 図10Eは、Cyフィルタを各画素Pの受光面に配置した際の画像の一例を示す図である。 図11は、本発明の実施の形態1に係る内視鏡装置が実行する処理の概要を示すフローチャートである。 図12は、本発明の実施の形態1に係る画像生成処理の概要を示すフローチャートである。 図13は、本発明の実施の形態1に係る画像処理部が実行する画像生成処理の概要を説明する模式図である。 図14は、本発明の実施の形態1の変形例1に係る画像処理部が狭帯域光観察方式の際に生成するカラー画像の一例を示す図である。 図15は、本発明の実施の形態1の変形例2に係るカラーフィルタの構成の一例を示す模式図である。 図16は、本発明の実施の形態2に係るカラーフィルタの構成の一例を示す模式図である。 図17は、本発明の実施の形態2に係るカラーフィルタを構成する各フィルタの透過特性の一例を示す図である。 図18は、本発明の実施の形態2に係る画像処理部が実行する画像生成処理の概要を説明する模式図である。 図19は、本発明の実施の形態2の変形例1に係るカラーフィルタの構成の一例を示す模式図である。 図20は、本発明の実施の形態3に係るカラーフィルタの構成の別の一例を示す模式図である。 図21は、本発明の実施の形態3に係るカラーフィルタを構成する各フィルタの透過特性の一例を示す図である。 図22は、本発明の実施の形態3に係る画像処理部が実行する画像生成処理の概要を説明する模式図である。 図23は、本発明の実施の形態4に係るカラーフィルタの構成の一例を示す模式図である。 図24は、本発明の実施の形態4に係るカラーフィルタを構成する各フィルタの透過特性の一例を示す図である。 図25は、本発明の実施の形態4に係る光源部が出射する白色光の分光特性の一例を示す図である。 図26は、本発明の実施の形態4に係る光源部が出射する狭帯域光の分光特性の一例を示す図である。 図27は、本発明の実施の形態4に係る画像処理部が実行する画像生成処理の概要を説明する模式図である。 図28は、本発明のその他の実施の形態に係るカラーフィルタのバリエーションと光源部が出射する照明光の波長帯域と効果とを対応付けた一覧を示す図である。 図29は、本発明のその他の実施の形態に係るカラーフィルタの構成の一例を示す図である。 図30は、本発明のその他の実施の形態に係るカラーフィルタの構成の一例を示す図である。 図31は、本発明のその他の実施の形態に係るカラーフィルタの構成の一例を示す図である。 図32は、本発明のその他の実施の形態に係るカラーフィルタの構成の一例を示す図である。 図33は、本発明のその他の実施の形態に係るCyフィルタの透過特性の一例を示す図である。
 以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
 〔内視鏡装置の構成〕
 図1は、本発明の実施の形態1に係る内視鏡装置の概略構成を示す図である。図2は、本発明の実施の形態1に係る内視鏡装置の概略構成を示す模式図である。図1および図2に示す内視鏡装置1は、患者等の被検体に挿入して被検体の体内を撮像し、この体内画像を表示する。医師等の使用者は、表示された体内画像の観察を行うことによって、検出対象部位である出血部位、腫瘍部位(病変部S)および異常部位それぞれの有無を検査する。
 内視鏡装置1は、被検体に挿入することによって観察部位の体内画像を撮像して電気信号を生成する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源部3と、内視鏡2が生成した電気信号に所定の画像処理を施すとともに、内視鏡装置1全体の動作を統括的に制御するプロセッサ部4と、プロセッサ部4が画像処理を施した体内画像を表示する表示部5と、を備える。
 〔内視鏡の構成〕
 まず、内視鏡2(内視鏡スコープ)の構成について説明する。内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、光源部3およびプロセッサ部4に接続される各種ケーブルを内蔵するユニバーサルコード23と、を備える。
 挿入部21は、光を受光する画素(フォトダイオード)が2次元マトリックス状に配置されてなり、各画素が受光した光に対して光電変換を行うことによって画像信号を生成する撮像素子201を内蔵した先端部24と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
 操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、光源部3に照明光の切替動作を行わせるための指示信号等の入力を受け付ける複数のスイッチ223と、を有する。
 ユニバーサルコード23は、ライトガイド203と、一または複数の信号線をまとめた集合ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡2および光源部3とプロセッサ部4との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像信号を送受信するための信号線、撮像素子201を駆動するための駆動用のタイミング信号を送受信するための信号線等を含む。
 また、内視鏡2は、撮像光学系200と、撮像素子201と、カラーフィルタ202と、ライトガイド203と、照明用レンズ204と、A/D変換部205と、撮像情報記憶部206と、を備える。
 撮像光学系200は、挿入部21の先端部24に設けられ、少なくとも観察部位からの光を集光する。撮像光学系200は、一または複数のレンズを用いて構成される。なお、撮像光学系200には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構を設けてもよい。
 撮像素子201は、撮像光学系200の光軸に対して垂直に設けられ、撮像光学系200によって結像された被写体像を受光して光電変換を行うことによって電気信号(画像信号)を生成し、この電気信号をA/D変換部205へ出力する。撮像素子201は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて実現される。なお、撮像素子201の詳細な構成は、後述する。
 カラーフィルタ202は、撮像素子201の受光面上に配置されてなり、各々が個別に設定された波長帯域の光を透過する複数のフィルタを有する。なお、カラーフィルタ202の詳細な構成については、後述する。
 ライトガイド203は、グラスファイバ等を用いて構成され、光源部3が出射した光の導光路をなす。
 照明用レンズ204は、ライトガイド203の先端に設けられ、ライトガイド203によって、導光された光を拡散して先端部24の外部に出射する。照明用レンズ204は、一または複数のレンズを用いて構成される。
 A/D変換部205は、撮像素子201が生成したアナログの電気信号をA/D変換し、この変換したデジタルの電気信号をプロセッサ部4へ出力する。
 撮像情報記憶部206は、内視鏡2を動作させるための各種プログラム、内視鏡2の動作に必要な各種パラメータおよび内視鏡2の識別情報を含むデータを記憶する。また、撮像情報記憶部206は、識別情報を記録する識別情報記憶部261を有する。識別情報には、内視鏡2の固有情報(ID)、年式、スペック情報、伝送方式およびカラーフィルタ202におけるフィルタの配列情報等が含まれる。撮像情報記憶部206は、フラッシュメモリ等を用いて実現される。
 〔光源部の構成〕
 次に、光源部3の構成について説明する。光源部3は、照明部31と、照明制御部32と、を備える。
 照明部31は、照明制御部32の制御のもと、複数の照明光を切り替えてライトガイド203へ出射する。照明部31は、光源31aと、光源ドライバ31bと、切替フィルタ31cと、駆動部31dと、駆動ドライバ31eと、を有する。
 光源31aは、光源ドライバ31bから入力される電流に応じて、赤色、緑色および青色それぞれの波長帯域H、波長帯域Hおよび波長帯域Hの光を含む白色光を出射する。光源31aは、白色LEDやキセノンランプ等を用いて実現される。
 光源ドライバ31bは、照明制御部32の制御のもと、光源31aに対して電流を供給することによって、光源31aに白色光を出射させる。
 切替フィルタ31cは、光源31aが出射する白色光の光路上に挿脱自在に配置されてなり、光源31aが出射した白色光のうち所定の波長帯域の光を透過する。本実施の形態1において、切替フィルタ31cは、青色の狭帯域光および緑色の狭帯域光を透過する。即ち、本実施の形態1において、切替フィルタ31cは、白色光の光路上に配置された場合、2つの狭帯域光を透過する。具体的には、切替フィルタ31cは、波長帯域Hに含まれる狭帯域T(例えば、390nm~445nm)の光と、波長帯域Hに含まれる狭帯域T(例えば、530nm~550nm)の光と、を透過する。切替フィルタ31cを透過した光は、狭帯域Tおよび狭帯域Tからなる狭帯域照明光となる。この狭帯域T,Tは、血液中のヘモグロビンに吸収されやすい青色光および緑色光の波長帯域である。この狭帯域照明光による画像の観察を狭帯域光観察方式(NBI)という。
 駆動部31dは、ステッピングモータやDCモータ等を用いて構成され、照明制御部32の制御のもと、切替フィルタ31cを光源31aが出射する白色光の光路上に配置または退避させる。具体的には、駆動部31dは、照明制御部32の制御のもと、内視鏡装置1が第1照明光である白色光観察方式(WLI方式)を行う場合、切替フィルタ31cを光源31aが出射する白色光の光路上から退避させる一方、内視鏡装置1が第2照明光である狭帯域光観察方式(NBI方式)を行う場合、切替フィルタ31cを光源31aが出射する白色光の光路上に配置する。
 駆動ドライバ31eは、照明制御部32の制御のもと、駆動部31dに所定の電流を供給する。
 集光レンズ31fは、光源31aが発した白色光を集光してライトガイド203へ出射する。また、集光レンズ31fは、切替フィルタ31cを透過した光を集光してライトガイド203へ出射する。集光レンズ31fは、一または複数のレンズを用いて構成される。
 照明制御部32は、CPU等を用いて構成される。照明制御部32は、プロセッサ部4から入力される指示信号に基づいて、光源ドライバ31bを制御して光源31aをオンオフ動作させる。また、照明制御部32は、プロセッサ部4から入力される指示信号に基づいて、駆動ドライバ31eを制御して切替フィルタ31cを光源31aが出射する白色光の光路上に配置したり、退避させたりすることによって、照明部31が出射する照明光の種類を制御する。
 〔プロセッサ部の構成〕
 次に、プロセッサ部4の構成について説明する。プロセッサ部4は、画像処理部41と、入力部42と、記憶部43と、制御部44と、を備える。
 画像処理部41は、内視鏡2から入力された電気信号に対して、所定の画像処理を施して表示部5が表示する表示画像を生成する。具体的には、画像処理部41は、光源部3が白色光(第1照明光)または狭帯域光(第2照明光)を出射した場合、撮像素子201が生成した撮像信号に基づいて、緑色の波長帯域の光に対応する第1画像および一方の波長帯域の光(本実施の形態1では、青色の波長帯域の光)に対応する第2画像を生成する。ここで,光源部3によって白色光が出射された場合における第1画像の解像度は、光源部3によって狭帯域光が出射された場合における第1画像の解像度よりも高くなる。また、光源部3によって狭帯域光が出射された場合における第2画像の解像度は、光源部3によって白色光が出射された場合における第2画像の解像度よりも高くなる。画像処理部41は、ガイド画像生成部411と、補間画像生成部412と、カラー画像生成部413と、表示画像生成部414と、を有する。
 ガイド画像生成部411は、内視鏡2から入力される電気信号に基づいて、補間画像生成部412が補間処理を行う際に他の画素の電気信号を補間するためのガイドとなるガイド画像を生成し、このガイド画像を補間画像生成部412およびカラー画像生成部413へ出力する。なお、本実施の形態1では、ガイド画像が第1補間画像として機能する。
 補間画像生成部412は、内視鏡2から入力される電気信号に対して、ガイド画像生成部411から入力されたガイド画像に基づいて、補間処理を行って補間画像を生成し、この補間画像(第2補間画像)をカラー画像生成部413へ出力する。
 カラー画像生成部413は、ガイド画像生成部411から入力されたガイド画像に基づいて、補間画像生成部412から入力される補間画像を用いてカラー画像を生成し、このカラー画像を表示画像生成部414へ出力する。
 表示画像生成部414は、カラー画像生成部413によって生成された電気信号に対して、階調変換、拡大処理、または粘膜表層の毛細血管や粘膜微細模様などの構造の構造強調処理などを施す。表示画像生成部414は、所定の処理を施した後、表示用の表示画像信号として表示部5に出力する。
 入力部42は、プロセッサ部4に対するユーザからの入力等を行うためのインターフェースであり、電源のオン/オフを行うための電源スイッチ、撮影モードやその他各種のモードを切り替えるためのモード切替ボタン、光源部3の照明光を切り替えるための照明光切替ボタンなどを含んで構成されている。
 記憶部43は、内視鏡装置1を動作させるための各種プログラム、および内視鏡装置1の動作に必要な各種パラメータ等を含むデータを記録する。また、記憶部43は、内視鏡2に係る情報、例えば内視鏡2の固有情報(ID)とカラーフィルタ202aのフィルタ配置に係る情報との関係テーブルなどを記憶してもよい。記憶部43は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。
 制御部44は、CPU等を用いて構成され、内視鏡2および光源部3を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部44は、記憶部43に記録されている撮像制御のための設定データ(例えば、読み出し対象の画素など)や、撮像タイミングに係るタイミング信号等を、所定の信号線を介して内視鏡2へ送信する。制御部44は、撮像情報記憶部206を介して取得したカラーフィルタ情報(識別情報)を画像処理部41に出力するとともに、カラーフィルタ情報に基づいて切替フィルタ31cの配置に係る情報を光源部3に出力する。
 〔表示部の構成〕
 次に、表示部5について説明する。表示部5は、映像ケーブルを介してプロセッサ部4が生成した表示画像信号を受信し、この表示画像信号に対応する体内画像を表示する。表示部5は、液晶または有機EL(Electro Luminescence)を用いて構成される。
 〔撮像素子の構成〕
 次に、撮像素子201の詳細な構成について説明する。図3は、撮像素子201の画素の構成を示す模式図である。
 図3に示すように、撮像素子201は、撮像光学系200からの光を受光する複数の画素Pが2次元格子状(2次元マトリックス状)に配置されてなる。各画素Pは、撮像光学系200から入射された光を受光して光電変換を行うことによって電気信号を生成する。この電気信号には、各画素の輝度値(画素値)および画素の位置情報等が含まれる。図3において、i行j列目に配置されてなる画素を画素Pijと記して表現する。
 〔カラーフィルタの構成〕
 次に、カラーフィルタ202の詳細な構成について説明する。図4は、カラーフィルタ202の構成の一例を示す模式図である。
 図4に示すように、カラーフィルタ202は、5×5で2次元格子状に並べられた25個のフィルタからなるフィルタユニットU1を画素Pijの配置に応じて並べられて配置したものである。フィルタが設けられた画素Pijは、フィルタを透過した波長帯域の光を受光する。具体的には、赤色の波長帯域の光を透過するフィルタが設けられた画素Pijは、赤色の波長帯域の光を受光する。以下、赤色の波長帯域の光を受光する画素PijをR画素という。同様に、緑色の波長帯域の光を受光する画素PijをG画素、青色の波長帯域の光を受光する画素PijをB画素、緑色の波長帯域の光と青色の波長帯域の光とを受光する画素PijをCy画素という。
 図4に示すようにフィルタユニットU1は、青色(B)の波長帯域H、緑色(G)の波長帯域Hおよび赤色(R)の波長帯域Hの光を透過する。ここで、青色、緑色および赤色の波長帯域H,HおよびHは、波長帯域Hが390nm~500nm、波長帯域Hが500nm~600nm、波長帯域Hが600nm~700nmである。また、フィルタユニットU1は、赤色の波長帯域Hの光を透過するRフィルタと、青色の波長帯域の光を透過するBフィルタと、青色の波長帯域の光および緑色の波長帯域の光を透過するCyフィルタと、を有する。具体的には、フィルタユニットU1は、1個のRフィルタ、4個のBフィルタおよび20個のCyフィルタによって構成される。さらに、フィルタユニットU1は、Cyフィルタの数が複数種類の第1フィルタのうち、カラーフィルタ202に一番多く設けられた種類のBフィルタの数以上に設けられている。具体的には、Cyフィルタの数とBフィルタの数との比が5:1となる。また、Rフィルタは、隣接する全ての位置において、Cyフィルタが配置されてなる。以下、画素Pijに対応する位置にBフィルタが配置されている場合、このBフィルタをBijと記す。同様に、画素Pijに対応する位置にRフィルタが配置されている場合、このRフィルタをRij、画素Pijに対応する位置にCyフィルタが配置されている場合、このCyフィルタをCyijと記す。なお、本実施の形態1では、BフィルタおよびRフィルタが第1フィルタとして機能し、Cyフィルタが第2フィルタとして機能する。
 〔各フィルタの透過特性〕
 次に、カラーフィルタ202を構成する各フィルタの透過特性について説明する。図5は、カラーフィルタ202を構成する各フィルタの透過特性の一例を示す図である。図5において、各フィルタの透過率の最大値が等しくなるように透過率曲線を模擬的に規格化している。図5において、曲線LがBフィルタの透過率曲線を示し、曲線LがRフィルタの透過率曲線を示し、曲線LCyがCyフィルタの透過率曲線を示す。また、図5において、横軸が波長を示し、縦軸が透過率を示す。
 図5に示すように、Bフィルタは、波長帯域Hの光を透過する。Cyフィルタは、波長帯域Hおよび波長帯域Hそれぞれの光を透過し、波長帯域Hの光を吸収(遮光)する。即ち、Cyフィルタは、補色であるシアン色の波長帯域の光を透過する。Rフィルタは、波長帯域Hの光を透過する。なお、本明細書において、補色とは、波長帯域H,H,Hのうち少なくとも二つの波長帯域を含む光により構成される色のことをいう。
 〔光源部が出射する光の分光特性〕
 次に、光源部3が出射する光の分光特性について説明する。図6は、光源部3が出射する白色光の分光特性の一例を示す図である。図7は、光源部3が出射する狭帯域光の分光特性の一例を示す図である。図6および図7において、横軸が波長を示し、縦軸が強度を示す。図6において、曲線Lが光源部3によって出射される白色光の分光特性を示す。また、図7において、曲線Lおよび曲線Lが光源部3によって出射される狭帯域光の分光特性を示す。
 図6の曲線Lに示すように、光源部3が出射する白色光は、青色の波長帯域Hの強度より緑色の波長帯域Hの強度が大きい。また、図7の曲線Lおよび曲線Lに示すように、光源部3が出射する狭帯域光は、緑色の波長帯域Hの強度よりも青色の波長帯域Hの強度が大きい。このように各画素Pijが受光する光は、光源部3によって出射される光の分光特性と各フィルタの透過特性とを掛け合わせた情報である。即ち、光源部3は、第1照明光として白色光を出射する場合、青色の波長帯域Hの光よりも緑色の波長帯域Hの光を強く出射し、第2照明光として狭帯域光を出射する場合、緑色の波長帯域Hの光よりも青色の波長帯域Hの光を強く出射する。
 〔各光とCyフィルタとの関係〕
 次に、光源部3によって各光がCyフィルタに出射された際におけるCyフィルタの透過特性について説明する。図8は、光源部3によって白色光がCyフィルタに出射された際のCyフィルタの透過特性の一例を示す図である。図9は、光源部3によって狭帯域光がCyフィルタに出射された際のCyフィルタの透過特性の一例を示す図である。図8および図9において、横軸が波長を示し、縦軸が強度を示す。図8において、曲線LCyWが光源部3によって白色光がCyフィルタに出射された際のCyフィルタの透過特性を示す。また、図9において、曲線LCyBおよび曲線LCyGが光源部3によって狭帯域光がCyフィルタに出射された際のCyフィルタの透過特性を示す。
 図8の曲線LCyWに示すように、Cyフィルタは、光源部3によって白色光がCyフィルタに出射された場合、青色の波長帯域Hの透過率より緑色の波長帯域Hの透過率が大きく、かつ、相対的に緑色の波長帯域Hの光を多く透過する。即ち、Cyij画素は、青色の波長帯域Hの情報より緑色の波長帯域Hの情報を多く取得する。
 これに対して、図9の曲線LCyBおよび曲線LCyGに示すように、Cyフィルタは、光源部3によって狭帯域光がCyフィルタに出射された場合、緑色の波長帯域Hの透過率より青色の波長帯域Hの透過率が大きく、かつ、相対的に青色の波長帯域Hの光を多く透過する。即ち、Cyij画素は、緑色の波長帯域Hの情報より青色の波長帯域Hの情報を多く取得する。
 〔Cy画素が取得する情報〕
 次に、Cy画素が取得する情報について説明する。図10A~図10Eは、Cyフィルタを各画素Pijの受光面に配置した際の画像の一例を示す図である。
 Cy画素は、青色の波長帯域Hおよび緑色の波長帯域Hそれぞれに感度を有する。このため、Cy画素は、青色の波長帯域Hの情報である表層の毛細血管B1の情報(図10Aを参照)と、緑色の波長帯域Hの情報である太い血管B2の情報(図10Eを参照)とが混在する情報を得ることができる。Cy画素は、図8および図9に示す光源部3によって出射される光を含めた感度特性において、青色の波長帯域Hと緑色の波長帯域Hとの割合が1:1である場合、図10Cのように、図10Aに示す画像W11と図10Eに示す画像W15とを平均した情報が画像W13として得られる。
 Cy画素は、撮像素子201上において、一番多く配置されている。このため、Cy画素は、光源部3によって第2照明光が出射された場合、Cy画素から得られる青色の波長帯域Hの情報を多く取得することができる。即ち、画像処理部41によって生成される第2画像は、光源部3によって第2照明光が照射された場合、Cy画素から得られる青色の波長帯域Hの情報とB画素から得られる青色の波長帯域Hの情報とを加算したものとなる。このため、光源部3によって第2照明光(狭帯域光)が出射された場合における第2画像の解像度は、光源部3によって第1照明光(白色光)が出射された場合における第2画像の解像度よりも高くなる。具体的には、第2画像は、光源部3によって第2照明光が照射された場合、図10Bに示すように、図10Aの画像W11に近い情報の画像W12となる。
 これに対して、Cy画素は、光源部3によって第1照明光が出射された場合、Cy画素から得られる緑色の波長帯域Hの情報を多く取得することができる。即ち、画像処理部41によって生成される第1画像は、光源部3によって第1照明光が照射された場合、Cy画素から得られる緑色の波長帯域Hの情報とG画素から得られる青色の波長帯域Hの情報とを加算したものとなる。このため、光源部3によって第1照明光が出射された場合の第1画像の解像度は、光源部3によって第2照明光が出射された場合における第1画像の解像度よりも高くなる。具体的には、第1画像は、光源部3によって第1照明光が照射された場合、図10Dに示すように図10Eの画像W15に近い情報の画像W14となる。
 このように、光源部3によって第1照明光(白色光)が出射された場合における第1画像の解像度は、光源部3によって第2照明光(狭帯域光)が出射された場合の第1画像の解像度よりも高くなる。さらに、光源部3によって第2照明光(狭帯域光)が出射された場合における第2画像の解像度は、光源部3によって第1照明光(白色光)が出射された場合の第2画像の解像度よりも高くなる。さらにまた、光源部3によって第1照明光(白色光)が出射された場合、第1画像は、第2画像の解像度よりも高くなる一方、光源部3によって第2照明光(挟帯域光)が出射された場合、第1画像は、第2画像の解像度よりも低くなる。
 〔内視鏡装置の処理〕
 次に、内視鏡装置1の処理について説明する。図11は、内視鏡装置1が実行する処理の概要を示すフローチャートである。
 図11に示すように、まず、照明制御部32は、プロセッサ部4からの情報に基づいて、観察方式が白色光観察方式か否かを判断し(ステップS101)、白色光観察方式である場合(ステップS101:Yes)、照明制御部32は、駆動部31dを駆動することによって切替フィルタ31cを光源31aによって出射される白色光の光路上から退避させ(ステップS102)、光源部3に白色光を出射させる(ステップS103)。ステップS103の後、内視鏡装置1は、後述するステップS106へ移行する。
 ステップS101において、白色光観察方式でない場合(ステップS101:No)、照明制御部32は、駆動部31dを駆動することによって切替フィルタ31cを光源31aによって出射される白色光の光路上から挿入し(ステップS104)、光源部3に狭帯域光を出射させる(ステップS105)。ステップS105の後、内視鏡装置1は、後述するステップS106へ移行する。
 ステップS106において、内視鏡2は、被検体の撮像を行う。この場合、内視鏡2は、撮像素子201が生成した電気信号をプロセッサ部4へ出力する。
 続いて、プロセッサ部4は、内視鏡2から入力された電気信号に対して、画像処理を行うことによって、表示部5に表示するための画像を生成する画像生成処理を実行する(ステップS107)。なお、画像生成処理の詳細は、後述する。
 その後、入力部42から被検体の観察を終了する指示信号が入力された場合(ステップS108:Yes)、内視鏡装置1は、本処理を終了する。これに対して、入力部42から被検体の観察を終了する指示信号が入力されていない場合(ステップS108:No)、内視鏡装置1は、上述したステップS101へ戻る。
 〔画像生成処理〕
 次に、図11のステップS107において説明した画像生成処理の詳細について説明する。図12は、画像生成処理の概要を示すフローチャートである。図13は、画像処理部41が実行する画像生成処理の概要を説明する模式図である。
 図12に示すように、まず、画像処理部41は、内視鏡2から画像データを取得する(ステップS201)。具体的には、図13に示すように、画像処理部41は、内視鏡2から画像データに対応する画像F1を取得する。
 続いて、ガイド画像生成部411は、撮像素子201において最も密度が高く配置されているCy画素の補間画像をガイド画像として生成する(ステップS202)。具体的には、図13に示すように、ガイド画像生成部411は、画像F1からCy画素の輝度値を分離した分離画像FCy1における各Cy画素の輝度値(画素値)に基づいて、撮像素子201におけるB画素およびR画素それぞれが配置された画素位置のCy画素の輝度値を補間処理によって算出することによって、全画素位置にCy画素の輝度値を有する補間画像FCy2をガイド画像(以下、「ガイド画像FCy2」という)として生成する。図10に示すように、分離画像FCy1におけるB画素およびR画素それぞれが配置された画素位置は、隣接する8方向(水平方法、垂直方向および斜め方向)が全てCy画素によって囲まれている。このため、ガイド画像生成部411は、周知のバイリニア補間、キュービック補間および方向判別補間等を用いてガイド画像FCy2を生成する。これにより、ガイド画像生成部411は、高精度なガイド画像FCy2を生成することができる。
 続いて、補間画像生成部412は、上述したステップS202においてガイド画像生成部411が生成したガイド画像FCy2に基づいて、他の色の画素、本実施の形態1においてR画素およびB画素それぞれの補間画像を生成する(ステップS203)。具体的には、図13に示すように、補間画像生成部412は、ガイド画像生成部411が生成したガイド画像FCy2に基づいて、分離画像FB1におけるCy画素およびR画素それぞれが配置された画素位置のB画素の輝度値を補間処理によって算出することによって、全画素位置にB画素の輝度値を有する補間画像FB2(第2画像)を生成する。さらに、図13に示すように、補間画像生成部412は、ガイド画像生成部411が生成したガイド画像FCy2に基づいて、分離画像FR1におけるCy画素およびB画素それぞれが配置された画素位置のR画素の輝度値を補間処理によって算出することによって、全画素位置にR画素の輝度値を有する補間画像FR2を生成する。ここで、補間画像生成部412によるガイド画像FCy2に基づく補間方法としては、既知のジョイントバイラテラル補間処理またはガイデッドフィルタ補間処理等である。これにより、補間画像生成部412は、撮像素子201において密度が低く配置されているB画素およびR画素それぞれの高精度な補間画像FFB2および補間画像FR2を生成することができる。
 また、本実施の形態1において、ガイド画像FCy2は、Cy画素によって構成されるため、B成分も含まれており、Cy画素とB画素との相関が非常に高い。このため、補間画像生成部412は、ガイド画像FCy2に基づく補間処理を精度よく行うことができる。また、一般的に白色光において高周波成分は、R画素、G画素およびB画素それぞれの相関が高い。このため、補間画像生成部412は、Cy画像をガイド画像FCy2としてR画素を補間する場合であっても、補間処理を精度よく行うことができる。なお、補間画像生成部412は、狭帯域光観察方式の場合、B画像およびG画像を用いてカラー画像を生成するため、R補間画像を生成する必要がない。さらに、画像処理部41は、狭帯域光観察方式の場合、撮像素子201が生成した撮像信号に基づいて、Cy画素が緑色の波長帯域の光および青色の波長帯域の光に感度を有するため、白色光観察方式の場合よりも解像度が高い第2画像としての補間画像FB2(図13のガイド画像FCy2と分離画像FB1とを加算した画像)を生成することができる。さらにまた、画像処理部41は、挟帯域光観察方式において、第1画像である補間画像FG2よりも解像度が高い第2画像としての補間画像FB2を生成することができる。
 その後、カラー画像生成部413は、上述したステップS202においてガイド画像生成部411が生成したガイド画像FCy2およびステップS203において補間画像生成部412が生成した補間画像FB2を用いて全画素値にG画素の輝度値を有する補間画像FG2(第1画像)を生成する。具体的には、カラー画像生成部413は、Cy画素のガイド画像FCy2からB画素の補間画像FB2を画素毎に輝度値を減算処理することによって、ガイド画像FCy2からG成分を分離し、G画素の補間画像FG2を生成する。より具体的には、カラー画像生成部413は、以下の式(1)によって、G画素の補間画像FG2を生成する。
 G(i,j)=Cy(i,j)-α×B(i,j)   ・・・(1)
ここで、G(i,j)は、補間画像FG2における各G画素の輝度値(画素値)を示し、Cy(i,j)は、補間画像FCy2における各Cy画素の輝度値(画素値)を示し、B(i,j)は、補間画像FCB2における各B画素の輝度値(画素値)を示し、αは、G補正係数であり、光源31aとCy画素との分光特性における青色の波長帯域Hおよび緑色の波長帯域Hの比率から予め算出されたパラメータである。
 続いて、カラー画像生成部413は、内視鏡装置1が白色光観察方式を行う場合、補間画像FG2、補間画像FB2および補間画像FR2を用いてカラー画像Fを生成する。これに対して、カラー画像生成部413は、内視鏡装置1が狭帯域光観察方式を行う場合、補間画像FG2および補間画像FB2を用いてカラー画像を生成する(ステップS204)。
 その後、表示画像生成部414は、カラー画像生成部413が生成したカラー画像Fwを用いて表示画像を生成する(ステップS205)。具体的には、表示画像生成部414は、カラー画像Fに対して、階調変調処理、拡大処理、デノイズ処理、および粘膜表層の毛細血管や粘膜微細模様等の構造の構造強調処理等を施して表示用の表示画像を生成する。この場合において、表示画像生成部414は、ステップS202においてガイド画像FCy2の情報、例えばエッジ情報や輝度情報を用いて構造強調処理を行ってもよい。補間画像FCy2は、観察方式に関わらず、高い解像度を有しているため、構造強調処理等の各種処理を高精度に行うことができる。ステップS205の後、内視鏡装置1は、図11のメインルーチンへ戻る。
 以上説明した本発明の実施の形態1によれば、カラーフィルタ202にCyフィルタ、BフィルタおよびRフィルタを設け、Cyフィルタの数がカラーフィルタ202に一番多く設けられた種類のBフィルタの数以上に設けているので、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる。
 さらに、本発明の実施の形態1によれば、光源部3が第1照明光として白色光を出射する場合、青色の波長帯域Hの光よりも緑色の波長帯域Hの光を強く出射し、第2照明光として狭帯域光を出射する場合、緑色の波長帯域Hの光よりも青色の波長帯域Hの光を強く出射するので、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる。
 また、本発明の実施の形態1によれば、補間画像生成部412がガイド画像生成部411によって生成されたガイド画像FCy2に基づいて、分離画像FB1におけるCy画素およびR画素それぞれが配置された画素位置のB画素の輝度値を補間処理によって算出することによって、全画素位置にB画素の輝度値を有する補間画像FB2を生成するとともに、分離画像FR1におけるCy画素およびB画素それぞれが配置された画素位置のR画素の輝度値を補間処理によって算出することによって、全画素位置にR画素の輝度値を有する補間画像FR2を生成するので、補間処理を精度よく行うことができる。
(実施の形態1の変形例1)
 次に、本発明の実施の形態1に係る変形例1について説明する。図14は、本発明の実施の形態1の変形例1に係る画像処理部が狭帯域光観察方式の際に生成するカラー画像の一例を示す図である。
 図14に示すように、補間画像生成部412は、内視鏡装置1が狭帯域光観察方式を行う場合、Cy画素がG画素またはB画素と非常に近い情報を取得することができるため、Cy画素をB画素とみなして補間画像FB2を生成してもよい。そして、カラー画像生成部413は、補間画像生成部412が生成した補間画像FB2および補間画像FG2を用いて狭帯域光のカラー画像を生成してもよい。また、補間画像生成部412は、内視鏡装置1が白色光観察方式を行う場合、狭帯域光観察方式と同様に、Cy画素をG画素とみなして補間画像FG2を生成してもよい。
 以上説明した本発明の実施の形態1の変形例1によれば、上述した実施の形態1と比べて、画像処理部41による画像処理を簡略化することができる。
(実施の形態1の変形例2)
 次に、本発明の実施の形態1に係る変形例2について説明する。図15は、本発明の実施の形態1の変形例2に係るカラーフィルタの構成の一例を示す模式図である。
 図15に示すカラーフィルタ202aは、4×4で2次元格子状に並べられた16個のフィルタからなるフィルタユニットU2を画素Pijの配置に応じて並べて配置したものである。フィルタユニットU2は、従来のベイヤ配列において、Gフィルタが配置されている箇所にGフィルタに換えて、Cyフィルタを配置したものである。具体的には、フィルタユニットU2は、4個のRフィルタ、4個のBフィルタおよび8個のCyフィルタによって構成される。さらに、フィルタユニットU2は、Cyフィルタの数がカラーフィルタ202aに一番多く設けられたBフィルタまたはRフィルタの数以上に設けられている。即ち、フィルタユニットU2は、Cyフィルタが市松模様で配置されてなる。さらに、Cyフィルタの数とBフィルタの数との比が2:1となる。
 以上説明した本発明の実施の形態1の変形例2によれば、上述した実施の形態1と同様に、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる。
(実施の形態2)
 次に、本発明の実施の形態2について説明する。上述した実施の形態1では、フィルタユニットにおいて1種類の補色フィルタが配置されていたが、本実施の形態2では、他の種類の補色フィルタをフィルタユニットに配置してなる。以下においては、本実施の形態2に係るカラーフィルタの構成を説明後、本実施の形態2に係る画像処理部が実行する画像処理について説明する。なお、上述した実施の形態1に係る内視鏡装置1と同一の構成には同一の符号を付して説明を省略する。
 〔カラーフィルタの構成〕
 図16は、本発明の実施の形態2に係るカラーフィルタの構成の一例を示す模式図である。図16に示すように、カラーフィルタ202bは、上述したRフィルタに換えて、マゼンタフィルタ(以下、「Mgフィルタ」という)が配置されてなるフィルタユニットU3によって構成される。画素Pijに対応する位置にMgフィルタが配置されている場合、このMgフィルタをMgijと記す。なお、本実施の形態2では、Mgフィルタが第3フィルタとして機能する。
 〔各フィルタの透過特性〕
 次に、カラーフィルタ202bを構成する各フィルタの透過特性について説明する。図17は、カラーフィルタ202bを構成する各フィルタの透過特性の一例を示す図である。図17において、横軸が波長を示し、縦軸が透過率を示す。また、図17において、曲線LがBフィルタの透過率曲線を示し、曲線LCyがCyフィルタの透過率曲線を示し、曲線LMgがMgフィルタの透過率曲線を示す。
 図17に示すように、Mgフィルタは、赤色の波長帯域Hおよび青色の波長帯域Hそれぞれの光を透過する。即ち、Mgフィルタは、補色であるマゼンタ色の波長帯域の光を透過する。画素Mgijは、光源部3によって狭帯域光が出射された場合、赤色の波長帯域Hの情報を得ることができないため、B画素と同様の情報を取得する画素とみなすことができる。これにより、内視鏡装置1が狭帯域光観察方式を行う場合、B画素の情報が増加することによって、さらに高い解像度を有する画像を得ることができる。
 〔画像生成処理〕
 次に、画像処理部41が実行する画像生成処理について説明する。図18は、画像処理部41が実行する画像生成処理の概要を説明する模式図である。
 図18に示すように、ガイド画像生成部411は、上述した実施の形態1と同様に、画像F2からCy画素の輝度値を分離した分離画像FCy1の各Cy画素の輝度値(画素値)に基づいて、撮像素子201におけるB画素およびMg画素それぞれが配置された画素位置のCy画素の輝度値を補間処理によって算出することによって、全画素位置にCy画素の輝度値を有するガイド画像FCy2を生成する。
 その後、補間画像生成部412は、ガイド画像生成部411が生成したガイド画像FCy2に基づいて、分離画像FB1におけるCy画素およびMg画素それぞれが配置された画素位置のB画素の輝度値を補間処理によって算出することによって、全画素位置にB画素の輝度値を有する補間画像FB2(第2画像)を生成する。これにより、画像処理部41は、狭帯域光観察方式の場合、撮像素子201が生成した撮像信号に基づいて、白色光観察方式の場合よりも解像度が高い第2画像としての補間画像FB2を生成することができる。さらにまた、画像処理部41は、挟帯域光観察方式において、第1画像である補間画像FG2よりも解像度が高い第2画像としての補間画像FB2を生成することができる。
 続いて、補間画像生成部412は、補間画像FB2に基づいて、分離画像FMg1におけるCy画素およびB画素それぞれが配置された画素位置のMg画素の輝度値を補間処理によって算出することによって、全画素位置にMg画素の輝度値を有する補間画像FMg2を生成する。
 そして、カラー画像生成部413は、補間画像生成部412が生成したMg画素の補間画像FMg2からB画素の補間画像FB2を画素毎に輝度値を減算処理することによって、補間画像FMg2からR成分を分離し、R画素の補間画像FR2を生成する。これにより、カラー画像生成部413は、補間画像生成部412が補間画像FB2を用いて生成した補間画像FMg2から補間画像FR2を生成することによって、カラー画像生成処理時における減算処理を施す色の情報を用いた補間処理が行われているため、減算処理時のノイズ増加を軽減することができる。
 以上説明した本発明の実施の形態2によれば、上述した実施の形態1と同様に、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる。
 さらに、本発明の実施の形態2によれば、フィルタユニットU3においてMgフィルタを配置することによって、カラー画像生成処理時における減算処理を施す色の情報を用いた補間処理が行われているため、減算処理時のノイズ増加を軽減することができる。
(実施の形態2の変形例1)
 次に、本発明の実施の形態2の変形例1について説明する。図19は、本発明の実施の形態2の変形例1に係るカラーフィルタの構成の一例を示す模式図である。
 図19に示すカラーフィルタ202cは、4×4で2次元格子状に並べられた16個のフィルタからなるフィルタユニットU4を画素Pijの配置に応じて並べて配置したものである。フィルタユニットU4は、従来のベイヤ配列において、Gフィルタが配置されている箇所にGフィルタに換えて、Cyフィルタを配置するとともに、Rフィルタが配置されている箇所にRフィルタに換えて、Mgフィルタを配置したものである。具体的には、フィルタユニットU4は、4個のMgフィルタ、4個のBフィルタおよび8個のCyフィルタによって構成される。さらに、フィルタユニットU4は、Cyフィルタの数がカラーフィルタ202aに一番多く設けられたBフィルタまたはMgフィルタの数以上に設けられている。さらに、フィルタユニットU4において、Cyフィルタが市松模様になるように配置されてなる。さらにまた、Cyフィルタの数、Bフィルタの数およびMgフィルタの数それぞれの比は、2:1:1となる。
 このように構成されたカラーフィルタ202cによれば、上述した実施の形態2と同様に、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる。
(実施の形態3)
 次に、本発明の実施の形態3について説明する。上述した実施の形態1では、フィルタユニットにおいて3種類のフィルタを用いて構成されていたが、本実施の形態3では、フィルタユニットにおいて4種類のフィルタを用いて構成する。以下においては、本実施の形態3に係るカラーフィルタの構成を説明後、本実施の形態3に係る画像処理部が実行する画像処理について説明する。なお、上述した実施の形態1に係る内視鏡装置1と同一の構成には同一の符号を付して説明を省略する。
 〔カラーフィルタの構成〕
 図20は、本発明の実施の形態3に係るカラーフィルタの構成の別の一例を示す模式図である。
 図20に示すカラーフィルタ202dは、5×5で2次元格子状に並べられた25個のフィルタからなるフィルタユニットU5を画素Pijの配置に応じて並べられて配置したものである。フィルタユニットU5は、1個のRフィルタ、4個のBフィルタ、4個のGフィルタおよび16個のCyフィルタによって構成される。さらに、フィルタユニットU5は、Cyフィルタの数がカラーフィルタ202dに一番多く設けられたBフィルタおよびGフィルタそれぞれの数以上に設けられている。
 〔各フィルタの透過特性〕
 次に、カラーフィルタ202dを構成する各フィルタの透過特性について説明する。図21は、カラーフィルタ202dを構成する各フィルタの透過特性の一例を示す図である。図21において、曲線LがBフィルタの透過率曲線を示し、曲線LがRフィルタの透過率曲線を示し、曲線LがGフィルタの透過率曲線を示し、曲線LCyがCyフィルタの透過率曲線を示す。また、図21において、横軸が波長を示し、縦軸が透過率を示す。図21に示すように、Gフィルタは、波長帯域Hの光を透過する。
 〔画像生成処理〕
 次に、画像処理部41が実行する画像生成処理について説明する。図22は、画像処理部41が実行する画像生成処理の概要を説明する模式図である。
 図22に示すように、補間画像生成部412は、ガイド画像生成部411が生成したガイド画像に基づいて、他の色の画素、本実施の形態3においてR画素およびB画素それぞれの補間画像を生成する。具体的には、補間画像生成部412は、ガイド画像生成部411が生成したガイド画像FCy2に基づいて、補間画像FFB2(第2画像)補間画像FFR2および補間画像FFG2(第1画像)それぞれを生成する。これにより、カラー画像生成部413は、ガイド画像FCy2からB画素の補間画像FB2を画素毎に輝度値を減算する減算処理を省略することができる。この結果、内視鏡装置1が白色光観察方式を行う場合において、高い色再現性を確保することができる。さらに、画像処理部41は、狭帯域光観察方式の場合、撮像素子201が生成した撮像信号に基づいて、白色光観察方式の場合よりも解像度が高い第2画像としての補間画像FB2を生成することができる。また、挟帯域光観察方式において、第1画像である補間画像FG2よりも解像度が高い第2画像としての補間画像FB2を生成することができる。
 以上説明した本発明の実施の形態3によれば、上述した実施の形態1と同様に、白色光観察方式および狭帯域光観察方式のどちらの観察方式においても高い解像度の画像を得ることができる。
 さらに、本発明の実施の形態3によれば、カラー画像生成部413がガイド画像FCy2からB画素の補間画像FB2を画素毎に輝度値を減算する減算処理を省略することができるので、内視鏡装置1が白色光観察方式を行う場合において、高い色再現性を確保することができる。
(実施の形態4)
 次に、本発明の実施の形態4について説明する。上述した実施の形態1では、補色フィルタとしてCyフィルタが配置されていたが、本実施の形態4では、補色フィルタとして黄色のYeフィルタを配置してなる。以下においては、本実施の形態4に係るカラーフィルタの構成を説明後、画像処理部が実行する画像生成処理について説明する。なお、上述した実施の形態1に係る内視鏡装置1と同一の構成には同一の符号を付して説明を省略する。
 〔カラーフィルタの構成〕
 図23は、本発明の実施の形態4に係るカラーフィルタの構成の一例を示す模式図である。
 図23に示すカラーフィルタ202eは、5×5で2次元格子状に並べられた25個のフィルタからなるフィルタユニットU6を画素Pijの配置に応じて並べられて配置したものである。フィルタユニットU6は、4個のRフィルタ、1個のBフィルタおよび20個のYeフィルタによって構成される。さらに、フィルタユニットU6は、Yeフィルタの数がカラーフィルタ202eに一番多く設けられたRフィルタの数以上に設けられている。
 〔各フィルタの透過特性〕
 次に、カラーフィルタ202eを構成する各フィルタの透過特性について説明する。図24は、カラーフィルタ202eを構成する各フィルタの透過特性の一例を示す図である。図24において、曲線LがBフィルタの透過率曲線を示し、曲線LがRフィルタの透過率曲線を示し、曲線LYeがYeフィルタの透過率曲線を示す。また、図26において、横軸が波長を示し、縦軸が透過率を示す。
 図24に示すように、Yeフィルタは、赤色の波長帯域Hおよび緑色の波長帯域Hそれぞれの光を透過する。即ち、Yeフィルタは、補色である黄色の波長帯域の光を透過する。
 〔光源部が出射する光の分光特性〕
 次に、光源部3が出射する光の分光特性について説明する。図25は、光源部3が出射する白色光の分光特性の一例を示す図である。図26は、光源部3が出射する狭帯域光の分光特性の一例を示す図である。図25および図26において、横軸が波長を示し、縦軸が強度を示す。図25において、曲線Lが光源部3によって出射される白色光の分光特性を示す。また、図26において、2つの曲線Lおよび曲線L11が光源部3によって出射される狭帯域光の分光特性を示す。
 図25の曲線Lに示すように、光源部3が出射する白色光は、青色の波長帯域Hの強度より緑色の波長帯域Hの強度のほうが大きい。また、図26の曲線Lおよび曲線L11に示すように、光源部3が出射する狭帯域光は、緑色の波長帯域Hの強度よりも赤色の波長帯域Hの強度が大きい。
 〔画像生成処理〕
 次に、画像処理部41が実行する画像生成処理について説明する。図27は、画像処理部41が実行する画像生成処理の概要を説明する模式図である。
 図27に示すように、まず、ガイド画像生成部411は、Ye画素の補間画像をガイド画像として生成する。具体的には、図27に示すように、ガイド画像生成部411は、画像F4からYe画素の輝度値を分離した分離画像FYe1における各Ye画素の輝度値に基づいて、B画素およびR画素それぞれが配置された画素位置のYe画素の輝度値を補間処理によって算出することによって、全画素位置にYe画素の輝度値を有するガイド画像FYe2を生成する。図27に示すように、分離画像FYe1におけるB画素およびR画素それぞれが配置された画素位置は、隣接する8方向(水平方法、垂直方向および斜め方向)が全てCy画素によって囲まれている。このため、ガイド画像生成部411は、周知のバイリニア補間、キュービック補間および方向判別補間等を用いてガイド画像FYe2を生成する。これにより、ガイド画像生成部411は、高精度なガイド画像FYe2を生成することができる。
 続いて、補間画像生成部412は、ガイド画像生成部411が生成したガイド画像FYe2に基づいて、分離画像FR1におけるYe画素およびB画素それぞれが配置された画素位置のR画素の輝度値を補間処理によって算出することによって、全画素位置にR画素の輝度値を有する補間画像FR2(第2画像)を生成する。さらに、補間画像生成部412は、ガイド画像生成部411が生成したガイド画像FYe2に基づいて、分離画像FB1におけるYe画素およびR画素それぞれが配置された画素位置のB画素の輝度値を補間処理によって算出することによって、全画素位置にB画素の輝度値を有する補間画像FB2を生成する。ここで、補間画像生成部412によるガイド画像FYe2に基づく補間方法としては、既知のジョイントバイラテラル補間処理またはガイデッドフィルタ補間処理等である。これにより、補間画像生成部412は、撮像素子201において密度が低く配置されているR画素およびB画素それぞれの高精度な補間画像FR2および補間画像FB2を生成することができる。さらに、画像処理部41は、狭帯域光観察方式の場合、撮像素子201が生成した撮像信号に基づいて、白色光観察方式の場合よりも解像度が高い第2画像としての補間画像FR2(図27のガイド画像FYe2と分離画像FR1とを加算した画像)を生成することができる。また、挟帯域光観察方式において、第1画像である補間画像FG2よりも解像度が高い第2画像としての補間画像FR2を生成することができる。
 その後、カラー画像生成部413は、Ye画素のガイド画像FYe2からR画素の補間画像FR2を画素毎に輝度値を減算処理することによって、ガイド画像FYe2からR成分を分離し、G画素の補間画像FG2を生成する。そして、カラー画像生成部413は、内視鏡装置1が白色光観察方式を行う場合、補間画像FG2、補間画像FB2および補間画像FR2を用いてカラー画像Fを生成する。これに対して、カラー画像生成部413は、内視鏡装置1が蛍光観察を行う場合、補間画像FG2および補間画像FR2を用いてカラー画像を生成する。
 以上説明した本発明の実施の形態4によれば、蛍光観察において重要となる赤色の波長帯域Hの光および白色光観察方式において重要となる緑色の波長帯域Hの光それぞれを透過可能なYeフィルタを設けることによって、白色光観察方式および蛍光観察方式それぞれにおいて高い解像度の画像を得ることができる。
(その他の実施の形態)
 本発明の実施の形態では、様々なフィルタの組み合わせを用いることができる。図28は、本発明のその他の実施の形態に係るカラーフィルタのバリエーションと光源部3が出射する照明光の波長帯域と効果とを対応付けた一覧を示す図である。図28において、補色画素を2種類用いる場合において、Cy画素とYe画素とを用いるとき、上述した図16のMgフィルタが配置された位置に、Mgフィルタに換えてYeフィルタを配置すればよい。さらに、図28において、補色画素を2種類用いる場合において、Ye画素とCy画素とを用いるとき、図23のBフィルタが配置された位置に、Bフィルタに換えてCyフィルタを配置すればよい。同様に、補色画素を2種類用いる場合において、Ye画素とMg画素とを用いるとき、図23のBフィルタが配置された位置に、Bフィルタに換えてMgフィルタを配置すればよい。
 また、本発明の実施の形態では、図29に示すカラーフィルタ202fを用いてもよい。カラーフィルタ202fは、5×5で2次元格子状に並べられた25個のフィルタからなるフィルタユニットU7を画素Pijの配置に応じて並べられて配置したものである。フィルタユニットU7は、4個のGフィルタ、4個のBフィルタ、1個のMgフィルタおよび16個のCyフィルタによって構成される。さらに、フィルタユニットU7は、Cyフィルタの数がフィルタユニットU7に一番多く設けられたGフィルタまたはBフィルタの数以上に配置されてなる。
 また、本発明の実施の形態では、図30に示すカラーフィルタ202gを用いてもよい。カラーフィルタ202gは、6×6で2次元格子状に並べられた36個のフィルタからなるフィルタユニットU8を画素Pijの配置に応じて並べられて配置したものである。フィルタユニットU8は、9個のGフィルタ、5個のBフィルタ、4個のMgフィルタおよび18個のCyフィルタによって構成される。さらに、フィルタユニットU8は、Cyフィルタの数がフィルタユニットU8に一番多く設けられたGフィルタの数以上に配置されてなる。
 また、本発明の実施の形態では、図31に示すカラーフィルタ202hを用いてもよい。カラーフィルタ202hは、4×4で2次元格子状に並べられた16個のフィルタからなるフィルタユニットU9を画素Pijの配置に応じて並べられて配置したものである。フィルタユニットU9は、4個のGフィルタ、2個のBフィルタ、2個のMgフィルタ、8個のCyフィルタによって構成される。さらに、フィルタユニットU9は、Cyフィルタの数がフィルタユニットU9に一番多く設けられたGフィルタの数以上に配置されてなる。
 また、本発明の実施の形態では、図32に示すカラーフィルタ202iを用いてもよい。カラーフィルタ202iは、4×4で2次元格子状に並べられた16個のフィルタからなるフィルタユニットU10を画素Pijの配置に応じて並べられて配置したものである。フィルタユニットU10は、4個のGフィルタ、2個のBフィルタ、2個のRフィルタ、8個のCyフィルタによって構成される。さらに、フィルタユニットU10は、Cyフィルタの数がフィルタユニットU10に一番多く設けられたGフィルタの数以上に配置されてなる。
 また、本発明の実施の形態では、Cyフィルタの透過特性が青色の波長帯域Hおよび緑色の波長帯域Hそれぞれの全帯域の光を透過させていたが、図33の曲線LCy2に示すように、2峰性の透過特性を有してもよい。この場合、画像処理部41は、カラー画像生成処理を高精度に行うことができるので、よりノイズの少ないカラー画像を生成することができる。
 また、本実施の形態では、1つの光源31aから出射された白色光に対して、切替フィルタ31cを光路上に挿脱することによって、光源部3から出射される照明光を、白色光または狭帯域光に切り替えていたが、白色光を出射する光源および狭帯域光を出射する光源をそれぞれ設け、2つの光源の点灯を切り替えながら白色光または狭帯域光を出射してもよい。この2つの光源、カラーフィルタおよび撮像素子をカプセル型の筐体内に設けることによって、被検体に導入可能なカプセル型内視鏡に適用することができる。
 また、本実施の形態では、画像処理部がCy補間画像またはYe補間画像をガイド画像として他の色の画素の補間画像を生成していたが、例えばB補間画像を生成する場合、Cy補間画像から画像内のエッジの方向を画素位置毎に判別し、この判別した結果に基づいてB画素の情報のみからB補間画像を生成してもよい。これにより、特にBフィルタが多く配置されているカラーフィルタを用いる場合、より信頼性の高い補間画像を生成することができる。
 また、本実施の形態に係る内視鏡装置1は、A/D変換部205が先端部24に設けられているものとして説明したが、プロセッサ部4に設けられるものであってもよい。また、画像処理に係る構成を、内視鏡2や、内視鏡2とプロセッサ部4とを接続するコネクタ、操作部22などに設けるものであってもよい。また、上述した内視鏡装置1では、識別情報記憶部261に記憶された識別情報などを用いてプロセッサ部4に接続されている内視鏡2を識別するものとして説明したが、プロセッサ部4と内視鏡2との接続部分(コネクタ)に識別手段を設けてもよい。例えば、内視鏡2側に識別用のピン(識別手段)を設けて、プロセッサ部4に接続された内視鏡2を識別する。
 以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 
 また、上記してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
 1 内視鏡装置
 2 内視鏡
 3 光源部
 4 プロセッサ部
 5 表示部
 21 挿入部
 22 操作部
 23 ユニバーサルコード
 24 先端部
 25 湾曲部
 26 可撓管部
 31 照明部
 31a 光源
 31b 光源ドライバ
 31c 切替フィルタ
 31d 駆動部
 31e 駆動ドライバ
 31f 集光レンズ
 32 照明制御部
 41 画像処理部
 42 入力部
 43 記憶部
 44 制御部
 200 撮像光学系
 201 撮像素子
 202~202i カラーフィルタ
 203 ライトガイド
 204 照明用レンズ
 205 A/D変換部
 206 撮像情報記憶部
 221 湾曲ノブ
 222 処置具挿入部
 223 スイッチ
 261 識別情報記憶部
 411 ガイド画像生成部
 412 補間画像生成部
 413 カラー画像生成部
 414 表示画像生成部
 U1~U10 フィルタユニット

Claims (11)

  1.  赤色、緑色および青色それぞれの波長帯域の光を含む第1照明光、または前記緑色の波長帯域の光および前記青色の波長帯域の光もしくは前記赤色の波長帯域の光を含む第2照明光を出射する光源部と、
     2次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成する撮像素子と、
     前記赤色、前記緑色および前記青色のいずれか1つの波長帯域の光をそれぞれ透過する少なくとも1種類の第1フィルタと、前記緑色の波長帯域の光を透過し、かつ、前記赤色および前記青色のうち一方の波長帯域の光を透過する第2フィルタと、を有する複数のフィルタによって構成されたフィルタユニットであって、前記第2フィルタの数が少なくとも1種類の前記第1フィルタのうち一番多く配置されてなる種類の前記第1フィルタの数以上であるフィルタユニットを、前記複数の画素に対応させて配置してなるカラーフィルタと、
     前記光源部が前記第1照明光または前記第2照明光を出射した場合、前記撮像素子が生成した前記撮像信号に基づいて前記緑色の波長帯域の光に対応する第1画像および前記一方の波長帯域の光に対応する第2画像を生成する画像処理部と、
     を備え、
     前記光源部によって前記第1照明光が出射された場合における前記第1画像の解像度は、前記光源部によって前記第2照明光が出射された場合における前記第1画像の解像度よりも高くなり、
     前記光源部によって前記第2照明光が出射された場合における前記第2画像の解像度は、前記光源部によって前記第1照明光が出射された場合における前記第2画像の解像度よりも高くなることを特徴とする内視鏡装置。
  2.  前記光源部は、前記第1照明光を出射する場合、前記一方の波長帯域の光よりも前記緑色の波長帯域の光を強く出射する一方、前記第2照明光を出射する場合、前記緑色の波長帯域の光よりも前記一方の波長帯域の光を強く出射することを特徴とする請求項1に記載の内視鏡装置。
  3.  前記フィルタユニットは、前記第2フィルタの数が当該フィルタユニットに配置してなる他のフィルタを合算した数以上であることを特徴とする請求項1または2に記載の内視鏡装置。
  4.  前記フィルタユニットは、前記緑色の波長帯域の光を透過し、かつ、前記一方の波長帯域の光と異なる他方の波長帯域の光を透過する第3フィルタを有することを特徴とする請求項1~3のいずれか一つに記載の内視鏡装置。
  5.  前記第2フィルタは、シアンフィルタであり、
     前記第3フィルタは、マゼンダフィルタまたはイエローフィルタであることを特徴とする請求項4に記載の内視鏡装置。
  6.  前記第2フィルタは、イエローフィルタであり、
     前記第3フィルタは、シアンフィルタまたはマゼンダフィルタであることを特徴とする請求項4に記載の内視鏡装置。
  7.  前記画像処理部は、前記第2フィルタを介して前記画素が受光した光に基づき前記撮像素子が生成した電気信号に対して補間処理を行って、前記第2フィルタ以外のフィルタが配置された前記画素の前記撮像信号を補間するための第1補間画像を生成し、かつ、該第1補間画像に基づいて、前記第2フィルタ以外のフィルタを介して前記画素が受光した光に基づき前記撮像素子が生成した前記撮像信号に対して、前記第2フィルタ以外のフィルタが配置された前記画素の前記撮像信号を補間した第2補間画像を生成することを特徴とする請求項1~6のいずれか一つに記載の内視鏡装置。
  8.  前記画像処理部は、前記光源部が前記第1照明光を出射した場合、前記第2フィルタを介して前記画素が受光した光に基づき前記撮像素子が生成した電気信号を、前記第1フィルタを介して前記画素が受光した光とみなして前記第1画像を生成することを特徴とする請求項1~6のいずれか一つに記載の内視鏡装置。
  9.  光源部と、撮像素子と、カラーフィルタと、を有する内視鏡が接続される画像処理装置であって、
     前記光源部は、赤色、緑色および青色それぞれの波長帯域の光を含む第1照明光、または前記緑色の波長帯域の光および前記青色の波長帯域あるいは前記赤色の波長帯域の光からなる第2照明光を出射し、
     前記撮像素子は、2次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成し、
     前記カラーフィルタは、前記赤色、前記緑色および前記青色のいずれか1つの波長帯域の光をそれぞれ透過する少なくとも1種類の第1フィルタと、前記緑色の波長帯域の光を透過し、かつ、前記赤色および前記青色のうち一方の波長帯域の光を透過する第2フィルタと、を有する複数のフィルタによって構成されたフィルタユニットであって、前記第2フィルタの数が少なくとも1種類の前記第1フィルタのうち一番多く配置されてなる種類の前記第1フィルタの数以上であるフィルタユニットを、前記複数の画素に対応させて配置してなり、
     前記光源部が前記第1照明光または前記第2照明光を出射した場合、前記撮像素子が生成した前記撮像信号に基づいて前記緑色の波長帯域の光に対応する第1画像および前記一方の波長帯域の光に対応する第2画像を生成する画像処理部を備え、
     前記光源部によって前記第1照明光が出射された場合における前記第1画像の解像度は、前記光源部によって前記第2照明光が出射された場合における前記第1画像の解像度よりも高くなり、
     前記光源部によって前記第2照明光が出射された場合における前記第2画像の解像度は、前記光源部によって前記第1照明光が出射された場合における前記第2画像の解像度よりも高くなることを特徴とする画像処理装置。
  10.  光源部と、撮像素子と、カラーフィルタと、を有する内視鏡が接続される画像処理装置が実行する画像処理方法であって、
     前記光源部は、赤色、緑色および青色それぞれの波長帯域の光を含む第1照明光、または前記緑色の波長帯域の光および前記青色の波長帯域あるいは前記赤色の波長帯域の光からなる第2照明光を出射し、
     前記撮像素子は、2次元格子状に配置されてなる複数の画素がそれぞれ受光して光を光電変換することによって撮像信号を生成し、
     前記カラーフィルタは、前記赤色、前記緑色および前記青色のいずれか1つの波長帯域の光をそれぞれ透過する少なくとも1種類の第1フィルタと、前記緑色の波長帯域の光を透過し、かつ、前記赤色および前記青色のうち一方の波長帯域の光を透過する第2フィルタと、を有する複数のフィルタによって構成されたフィルタユニットであって、前記第2フィルタの数が少なくとも1種類の前記第1フィルタのうち一番多く配置されてなる種類の前記第1フィルタの数以上であるフィルタユニットを、前記複数の画素に対応させて配置してなり、
     前記光源部が前記第1照明光または前記第2照明光を出射した場合、前記撮像素子が生成した前記撮像信号に基づいて前記緑色の波長帯域の光に対応する第1画像および前記一方の波長帯域の光に対応する第2画像を生成する画像処理ステップを含み、
     前記光源部によって前記第1照明光が出射された場合における前記第1画像の解像度は、前記光源部によって前記第2照明光が出射された場合における前記第1画像の解像度よりも高くなり、
     前記光源部によって前記第2照明光が出射された場合における前記第2画像の解像度は、前記光源部によって前記第1照明光が出射された場合における前記第2画像の解像度よりも高くなることを特徴とする画像処理方法。
  11.  光源部と、撮像素子と、カラーフィルタと、を有する内視鏡が接続される画像処理装置に、
     前記光源部は、赤色、緑色および青色それぞれの波長帯域の光を含む第1照明光、または前記緑色の波長帯域の光および前記青色の波長帯域あるいは前記赤色の波長帯域の光からなる第2照明光を出射し、
     前記撮像素子は、2次元格子状に配置されてなる複数の画素がそれぞれ受光して光を光電変換することによって撮像信号を生成し、
     前記カラーフィルタは、前記赤色、前記緑色および前記青色のいずれか1つの波長帯域の光をそれぞれ透過する少なくとも1種類の第1フィルタと、前記緑色の波長帯域の光を透過し、かつ、前記赤色および前記青色のうち一方の波長帯域の光を透過する第2フィルタと、を有する複数のフィルタによって構成されたフィルタユニットであって、前記第2フィルタの数が少なくとも1種類の前記第1フィルタのうち一番多く配置されてなる種類の前記第1フィルタの数以上であるフィルタユニットを、前記複数の画素に対応させて配置してなり、
     前記光源部が前記第1照明光または前記第2照明光を出射した場合、前記撮像素子が生成した前記撮像信号に基づいて前記緑色の波長帯域の光に対応する第1画像および前記一方の波長帯域の光に対応する第2画像を生成する画像処理ステップを実行させ、
     前記光源部によって前記第1照明光が出射された場合における前記第1画像の解像度は、前記光源部によって前記第2照明光が出射された場合における前記第1画像の解像度よりも高くなり、
     前記光源部によって前記第2照明光が出射された場合における前記第2画像の解像度は、前記光源部によって前記第1照明光が出射された場合における前記第2画像の解像度よりも高くなることを特徴とするプログラム。
PCT/JP2016/058002 2016-03-14 2016-03-14 内視鏡装置、画像処理装置、画像処理方法およびプログラム WO2017158692A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2016/058002 WO2017158692A1 (ja) 2016-03-14 2016-03-14 内視鏡装置、画像処理装置、画像処理方法およびプログラム
PCT/JP2017/005175 WO2017159165A1 (ja) 2016-03-14 2017-02-13 内視鏡装置、画像処理装置、画像処理方法およびプログラム
CN201780017384.XA CN108778091B (zh) 2016-03-14 2017-02-13 内窥镜装置、图像处理装置、图像处理方法和记录介质
JP2018505351A JPWO2017159165A1 (ja) 2016-03-14 2017-02-13 内視鏡装置、画像処理装置、画像処理方法およびプログラム
DE112017001293.7T DE112017001293T5 (de) 2016-03-14 2017-02-13 Endoskop, vorrichtung zur bildverarbeitung, verfahren zur bildverarbeitung und programm
US16/039,802 US11045079B2 (en) 2016-03-14 2018-07-19 Endoscope device, image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/058002 WO2017158692A1 (ja) 2016-03-14 2016-03-14 内視鏡装置、画像処理装置、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2017158692A1 true WO2017158692A1 (ja) 2017-09-21

Family

ID=59850808

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2016/058002 WO2017158692A1 (ja) 2016-03-14 2016-03-14 内視鏡装置、画像処理装置、画像処理方法およびプログラム
PCT/JP2017/005175 WO2017159165A1 (ja) 2016-03-14 2017-02-13 内視鏡装置、画像処理装置、画像処理方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005175 WO2017159165A1 (ja) 2016-03-14 2017-02-13 内視鏡装置、画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US11045079B2 (ja)
JP (1) JPWO2017159165A1 (ja)
CN (1) CN108778091B (ja)
DE (1) DE112017001293T5 (ja)
WO (2) WO2017158692A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155815A1 (ja) * 2018-02-06 2019-08-15 富士フイルム株式会社 内視鏡システム
WO2021152704A1 (ja) * 2020-01-28 2021-08-05 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
JPWO2019069414A1 (ja) 2017-10-04 2020-11-05 オリンパス株式会社 内視鏡装置、画像処理方法およびプログラム
JP7176855B2 (ja) * 2018-04-23 2022-11-22 株式会社エビデント 内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体
JP2019191321A (ja) * 2018-04-23 2019-10-31 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体
WO2020075227A1 (ja) * 2018-10-10 2020-04-16 オリンパス株式会社 画像信号処理装置、画像信号処理方法、プログラム
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015116328A (ja) * 2013-12-18 2015-06-25 オリンパス株式会社 内視鏡装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003010114A (ja) * 2001-06-29 2003-01-14 Fuji Photo Film Co Ltd 電子内視鏡装置およびその制御方法
EP1709476A4 (en) * 2003-09-26 2010-08-04 Tidal Photonics Inc DEVICES AND METHODS RELATING TO IMAGING ENDOSCOPY SYSTEMS WITH ADVANCED DYNAMIC SCOPE
US20060232668A1 (en) 2005-04-18 2006-10-19 Given Imaging Ltd. Color filter array with blue elements
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
EP2441374B1 (en) * 2009-06-10 2016-11-16 Olympus Corporation Capsule endoscope device
CN102883650B (zh) * 2010-06-25 2015-04-08 奥林巴斯医疗株式会社 内窥镜装置
JP2012081048A (ja) * 2010-10-12 2012-04-26 Fujifilm Corp 電子内視鏡システム、電子内視鏡、及び励起光照射方法
JP6230409B2 (ja) * 2013-12-20 2017-11-15 オリンパス株式会社 内視鏡装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015116328A (ja) * 2013-12-18 2015-06-25 オリンパス株式会社 内視鏡装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155815A1 (ja) * 2018-02-06 2019-08-15 富士フイルム株式会社 内視鏡システム
JPWO2019155815A1 (ja) * 2018-02-06 2021-01-14 富士フイルム株式会社 内視鏡システム
JP7057381B2 (ja) 2018-02-06 2022-04-19 富士フイルム株式会社 内視鏡システム
WO2021152704A1 (ja) * 2020-01-28 2021-08-05 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム

Also Published As

Publication number Publication date
WO2017159165A1 (ja) 2017-09-21
US11045079B2 (en) 2021-06-29
DE112017001293T5 (de) 2018-12-13
US20180344136A1 (en) 2018-12-06
CN108778091A (zh) 2018-11-09
JPWO2017159165A1 (ja) 2019-01-24
CN108778091B (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
US10159404B2 (en) Endoscope apparatus
WO2017158692A1 (ja) 内視鏡装置、画像処理装置、画像処理方法およびプログラム
JP6196900B2 (ja) 内視鏡装置
JP5670264B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP6588043B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
JP6471173B2 (ja) 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置
US10070771B2 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
JP6230409B2 (ja) 内視鏡装置
WO2016084257A1 (ja) 内視鏡装置
WO2016117036A1 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
US11571111B2 (en) Endoscope scope, endoscope processor, and endoscope adaptor
CN111093459A (zh) 内窥镜装置、图像处理方法以及程序
JPWO2019175991A1 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16894316

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16894316

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP