WO2019069414A1 - 内視鏡装置、画像処理方法およびプログラム - Google Patents

内視鏡装置、画像処理方法およびプログラム Download PDF

Info

Publication number
WO2019069414A1
WO2019069414A1 PCT/JP2017/036189 JP2017036189W WO2019069414A1 WO 2019069414 A1 WO2019069414 A1 WO 2019069414A1 JP 2017036189 W JP2017036189 W JP 2017036189W WO 2019069414 A1 WO2019069414 A1 WO 2019069414A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
light source
light
image
simultaneous
Prior art date
Application number
PCT/JP2017/036189
Other languages
English (en)
French (fr)
Inventor
直 菊地
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2019546475A priority Critical patent/JPWO2019069414A1/ja
Priority to PCT/JP2017/036189 priority patent/WO2019069414A1/ja
Priority to CN201780094903.2A priority patent/CN111093459A/zh
Publication of WO2019069414A1 publication Critical patent/WO2019069414A1/ja
Priority to US16/827,777 priority patent/US10980409B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A61B1/051—Details of CCD assembly
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body

Definitions

  • the present invention relates to an endoscope apparatus, an image processing method, and a program introduced into a subject and acquiring an image in the subject.
  • an endoscope apparatus is widely used for various examinations in the medical field and the industrial field.
  • the medical endoscope apparatus is configured by inserting a flexible insertion portion having an elongated shape in which an imaging element having a plurality of pixels is provided at the tip into a body cavity of a subject such as a patient. Since the in-vivo image in the body cavity can be acquired without incising the subject, the burden on the subject is small, and the spread is progressing.
  • a field sequential method of acquiring color information by irradiating illumination of different wavelength bands for each frame, and a simultaneous method of acquiring color information by a color filter provided on an imaging device are available. It is used.
  • the field sequential system is excellent in color separation performance and resolution, but causes color shift in a dynamic scene.
  • the simultaneous method color shift does not occur, but the color separation performance and resolution are inferior to the surface sequential method.
  • a white light observation method (WLI: White Light Imaging) using white illumination light (white light) and two narrow bands respectively included in blue and green wavelength bands
  • a narrow band imaging method (NBI: Narrow Band Imaging) using illumination light (narrow band light) composed of band light
  • WLI White Light Imaging
  • NBI Narrow Band Imaging
  • a signal in the green wavelength band is used as a luminance signal to generate a color image
  • a signal in the blue wavelength band is used as a luminance signal to generate a pseudo color image.
  • the narrow band light observation method can obtain an image in which the capillary blood vessels and the fine pattern of mucous membrane existing in the mucous membrane surface of the living body are highlighted. According to the narrow band light observation method, a lesion in the mucous membrane surface of a living body can be detected more accurately. It is also known to switch and observe the white light observation method and the narrow band light observation method regarding the observation method of such an endoscope apparatus.
  • a color filter generally called a Bayer array is provided on the light receiving surface of the imaging device in order to acquire a captured image by the imaging device of a single plate.
  • each pixel receives the light of the wavelength band transmitted through the filter, and generates an electrical signal of a color component according to the light of the wavelength band. Therefore, in the process of generating a color image, interpolation processing is performed to interpolate the signal value of the missing color component without passing through the filter in each pixel. Such interpolation processing is called demosaicing processing.
  • a color filter generally called Bayer array is provided on the light receiving surface of the imaging element.
  • filters that transmit light in red (R), green (G), and blue (B) wavelength bands are one filter. It arranges for every pixel as a unit (unit).
  • the present invention has been made in view of the above, and even when using an imaging device in which primary color pixels and complementary color pixels are mixed, an image of excellent image quality of both simultaneous type and surface sequential type is generated. It is an object of the present invention to provide an endoscope apparatus, an image processing method, and a program that can be performed.
  • an endoscope apparatus simultaneously emits a plurality of light beams having different wavelength bands at the same time, and a plurality of light beams having at least different wavelength bands.
  • a light source unit for performing any one of a surface sequential method of individually irradiating each of the plurality of pixels, and an imaging device for generating an imaging signal by receiving and photoelectrically converting a plurality of pixels arranged in a two-dimensional grid shape.
  • a color filter formed by arranging a filter unit configured by a plurality of filters having a complementary color filter that transmits through the plurality of pixels in correspondence with the plurality of pixels;
  • An image processing unit that generates an output image by performing interpolation processing according to at least the simultaneous expression or the surface sequential expression on the image pickup signal; and for the light source unit, the simultaneous expression and the surface sequential expression
  • a light source drive switching unit for switching to either one, and an image processing control unit for causing the image processing unit to switch the interpolation processing method based on the result of switching by the light source drive switching unit, and generating the output image; And the like.
  • the image processing method according to the present invention is any one of a simultaneous method of simultaneously irradiating a plurality of light beams having different wavelength bands at the same time or a surface sequential method of individually irradiating a plurality of light beams of at least different wavelength bands.
  • a light source unit that performs one process, an imaging device that generates an imaging signal by receiving and photoelectrically converting a plurality of pixels arranged in a two-dimensional grid, and one wavelength band of any of red, green, and blue
  • a plurality of filters each having at least one primary color filter that transmits each of the lights and a complementary color filter that transmits light in the green wavelength band and transmits light in one of the red and blue wavelength bands
  • Image processing executed by an endoscope apparatus comprising: a color filter formed by arranging the configured filter unit in correspondence with the plurality of pixels
  • An image in which the method of the interpolation processing of the image processing step is switched to generate the output image based on the light source drive switching step of switching the simultaneous type and the surface sequential type and the switching result of the light source drive switching step.
  • processing control steps are possible to control steps.
  • the program according to the present invention may be either simultaneous type of simultaneously irradiating a plurality of light having different wavelength bands at the same time or plane sequential type of individually irradiating each of a plurality of light having at least different wavelength bands.
  • a light source unit to perform, a plurality of pixels arranged in a two-dimensional grid shape receive light respectively and perform photoelectric conversion to generate an imaging signal, and light of any one wavelength band of red, green and blue
  • An endoscope apparatus comprising: a color filter in which a plurality of filter units are arranged in correspondence with the plurality of pixels; And an image processing step of generating and outputting an output image by performing interpolation processing according to at least the simultaneous expression or the surface sequential expression, and switching the simultaneous expression and the surface sequential expression to the light source unit. Executing a light source drive switching step and an image
  • FIG. 1 is a view showing a schematic configuration of an endoscope apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram schematically showing a functional configuration of the endoscope apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a schematic view showing a configuration of a pixel of the imaging device according to Embodiment 1 of the present invention.
  • FIG. 4 is a schematic view showing an example of the configuration of a color filter according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram showing an example of the transmission characteristic of each of the filters constituting the color filter according to Embodiment 1 of the present invention.
  • FIG. 6 is a schematic view showing a schematic configuration of an endoscope apparatus according to a second embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of the spectral characteristics of each light emitted from the light source unit according to Embodiment 2 of the present invention.
  • FIG. 8 is a diagram showing an example of the spectral characteristics of narrowband light emitted by the light source unit according to Embodiment 2 of the present invention.
  • FIG. 9 is a view schematically showing lighting control of the illumination unit performed by the illumination control unit according to Embodiment 2 of the present invention at the time of simultaneous white light observation.
  • FIG. 10 is a view schematically showing lighting control of the illumination unit performed by the illumination control unit according to Embodiment 2 of the present invention at the time of simultaneous narrow band light observation.
  • FIG. 9 is a view schematically showing lighting control of the illumination unit performed by the illumination control unit according to Embodiment 2 of the present invention at the time of simultaneous narrow band light observation.
  • FIG. 11 is a diagram schematically showing lighting control of the illumination unit performed by the illumination control unit according to Embodiment 2 of the present invention at the time of field-sequential white light observation.
  • FIG. 12 is a diagram schematically showing lighting control of the illumination unit performed by the illumination control unit according to Embodiment 2 of the present invention at the time of field-sequential narrow band light observation.
  • FIG. 13 is a flowchart showing an outline of processing performed by the endoscope apparatus according to the second embodiment of the present invention.
  • FIG. 14 is a schematic view showing an outline of simultaneous image generation processing performed by the simultaneous image generation unit at the time of white light observation of the endoscope apparatus according to the second embodiment of the present invention.
  • FIG. 15 is a schematic view showing an outline of simultaneous image generation processing performed by the simultaneous image generation unit at the time of narrow band light observation of the endoscope apparatus according to the second embodiment of the present invention.
  • FIG. 16 shows an outline of a surface sequential type image generation process performed by a surface sequential type image generation unit when the illumination light is irradiated by the LED_B during white light observation of the endoscope apparatus according to the second embodiment of the present invention It is a schematic diagram.
  • FIG. 17 is an outline of surface sequential type image generation processing performed by a surface sequential type image generation unit when illumination light is irradiated by LED_G and LED_R during white light observation of the endoscope apparatus according to the second embodiment of the present invention FIG. FIG.
  • FIG. 18 is an outline of surface sequential type image generation processing performed by a surface sequential type image generation unit when illumination light is irradiated by the LED_B during narrowband light observation of the endoscope apparatus according to the second embodiment of the present invention It is a schematic diagram shown.
  • FIG. 19 is a surface sequential type image generation process performed by the surface sequential type image generation unit when illumination light is irradiated by LED_G and LED_R during narrowband light observation of the endoscope apparatus according to the second embodiment of the present invention It is a schematic diagram which shows an outline.
  • FIG. 20 is a schematic view showing a schematic configuration of an endoscope apparatus according to Embodiment 3 of the present invention.
  • FIG. 21 is a flowchart showing an outline of processing performed by the endoscope apparatus according to the third embodiment of the present invention.
  • FIG. 22 is a schematic view showing an example of the configuration of a color filter according to a modification of the first to third embodiments.
  • FIG. 23 is a diagram showing an example of the transmission characteristic of each filter constituting the color filter according to the modification of the first to third embodiments.
  • FIG. 24 is a diagram showing an example of spectral characteristics of the light sources of the light source unit according to the modification of the first to third embodiments.
  • FIG. 1 is a view showing a schematic configuration of an endoscope apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram schematically showing a functional configuration of the endoscope apparatus according to the first embodiment of the present invention.
  • the endoscope apparatus 1 shown in FIGS. 1 and 2 is inserted into a subject such as a patient to image the inside of the subject and outputs the in-vivo image to an external display device.
  • a user such as a doctor examines the in-vivo image displayed on the display device to examine the presence / absence of each of a bleeding site, a tumor site, and an abnormal site as a detection target site.
  • the endoscope apparatus 1 captures an in-vivo image of an observation site by inserting the subject into a subject to generate an imaging signal, and a light source unit that generates illumination light emitted from the tip of the endoscope 2 3 and a processor unit 4 that performs predetermined image processing on an imaging signal generated by the endoscope 2 and generally controls the operation of the entire endoscope apparatus 1, and an inside of the body where the processor unit 4 performs image processing And a display unit 5 for displaying an image.
  • the endoscope 2 includes an imaging unit 20 that generates at least an imaging signal.
  • the imaging unit 20 includes pixels (photodiodes) that receive light, arranged in a two-dimensional matrix, and an imaging element 201 that generates an imaging signal by performing photoelectric conversion on light received by each pixel. And a color filter 202 disposed on the light receiving surface of the imaging device 201 and having a plurality of filters each transmitting light of a wavelength band set individually.
  • the imaging device 201 is realized using an image sensor such as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD). The detailed configurations of the imaging element 201 and the color filter 202 will be described later.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the light source unit 3 simultaneously irradiates a plurality of light of at least different wavelength bands simultaneously, and individually (time-divisionally) irradiates each of a plurality of light of at least different wavelength bands.
  • the illumination light is irradiated by a surface sequential method. Specifically, the light source unit 3 simultaneously emits illumination light at the same time by simultaneously emitting at least two types of light having different wavelength bands, or alternatively, alternately emits at least two types of light having different wavelength bands. The illumination light is emitted in a sequential manner.
  • the light source unit 3 includes a plurality of light sources, for example, a red LED (Light Emitting Diode) lamp that generates light in a red wavelength band, a green LED lamp that generates light in a green wavelength band, and light in a blue wavelength band. Constructed using the generated blue LED lamp.
  • a red LED Light Emitting Diode
  • the processor unit 4 performs image processing on the imaging signal input from the imaging unit 20 to generate an output image and outputs the image to the display unit 5, and an instruction signal for instructing various operations.
  • the image processing unit 41 is configured using a GPU (Graphics Processing Unit) or the like.
  • the image processing unit 41 performs the interpolation process on the imaging signal generated by the imaging unit 20 to generate an output image, and the light source
  • the planar sequential image generation unit 412 performs interpolation processing on the imaging signal generated by the imaging unit 20 to generate an output image.
  • the input unit 42 is configured using a switch, a button, a touch panel, and the like, receives an input of an instruction signal that instructs the operation of the endoscope apparatus 1, and outputs the received instruction signal to the control unit 44. Specifically, the input unit 42 receives an input of an instruction signal to switch the method of the illumination light emitted by the light source unit 3. For example, when the light source unit 3 simultaneously emits illumination light, the input unit 42 receives an input of an instruction signal that causes the light source unit 3 to emit illumination light in a surface sequential manner.
  • the storage unit 43 is configured using a volatile memory and a non-volatile memory, and stores various information related to the endoscope apparatus 1 and a program executed by the endoscope apparatus 1.
  • the control unit 44 is configured using a CPU (Central Processing Unit).
  • the control unit 44 switches the method of illumination light emitted by the light source unit 3 based on an instruction signal to switch the method of illumination light emitted by the light source unit 3 input from the input unit 42, and the light source
  • the image processing control unit 442 switches the method of the interpolation processing by the image processing unit 41 based on the method of the light source unit 3 switched by the drive switching unit 441.
  • the display unit 5 receives the output image signal generated by the processor unit 4 via the video cable, and displays the in-vivo image corresponding to the output image signal.
  • the display unit 5 is configured using liquid crystal or organic EL (Electro Luminescence).
  • FIG. 3 is a schematic view showing a configuration of a pixel of the imaging device 201. As shown in FIG.
  • a plurality of pixels P that receive light are arranged in a two-dimensional grid (two-dimensional matrix).
  • Each pixel P receives an incident light from the imaging optical system 200 and performs photoelectric conversion to generate an imaging signal.
  • the imaging signal includes the luminance value (pixel value) of each pixel P, the positional information of the pixel, and the like.
  • the pixel arranged in the i-th row and the j-th column is expressed as a pixel P ij .
  • i and j show an integer greater than or equal to 1.
  • FIG. 4 is a schematic view showing an example of the configuration of the color filter 202. As shown in FIG. 4
  • the color filter 202 is a filter unit U1 consisting of 16 filters arranged in a two-dimensional grid by 4 ⁇ 4, arranged in accordance with the arrangement of the pixels P ij. .
  • the pixel P ij provided with the filter receives the light of the wavelength band transmitted through the filter.
  • the pixel P ij provided with the filter R transmitting light in the red wavelength band receives light in the red wavelength band.
  • the pixel P ij that receives light in the red wavelength band is referred to as an R pixel.
  • G pixel pixel P ij for receiving light in the green wavelength band B pixel pixel P ij for receiving light of blue wavelength band, the light and blue wavelength band of the green wavelength band and light
  • the light receiving pixel P ij is called a Cy pixel.
  • the R pixel, the G pixel, and the B pixel are described as primary color pixels, and the Cy pixel is described as a complementary color pixel.
  • the filter unit U1 transmits light in the blue (B) wavelength band H B , the green (G) wavelength band H G and the red (R) wavelength band H R.
  • the blue, green and red wavelength bands H B , H G and H R have a wavelength band H B of 390 nm to 500 nm, a wavelength band H G of 500 nm to 600 nm, and a wavelength band H R of 600 nm to 700 nm.
  • B Filter Filter unit U1 which passes through the R filter for transmitting light in a red wavelength range H R, and G filter transmitting light in a green wavelength band H G, light in a blue wavelength range H B And a Cy filter that transmits light in the blue wavelength band and light in the green wavelength band.
  • Cy filters are arranged in a checkered manner at a ratio (eight) of one half of the whole, and G filters are arranged at a ratio of one quarter (four) of the whole;
  • Each of the filter and the R filter is arranged at a ratio of 1/8 (two).
  • FIG. 5 is a view showing an example of the transmission characteristic of each filter constituting the color filter 202.
  • the transmittance curve is simulated and standardized so that the maximum value of the transmittance of each filter becomes equal.
  • the curve L B represents the transmittance curve of the B filter
  • curve L G represents a transmittance curve of G filters
  • the curve L R represents the transmittance curve of the R filter
  • a curve L Cy is Cy filter The transmittance curve is shown.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the transmittance.
  • B filter transmits light in the wavelength band H B.
  • Cy filter transmits the wavelength band H B and the wavelength band H G each light, light in a wavelength band H R absorbs (shading). That is, the Cy filter transmits light in the cyan wavelength band which is a complementary color.
  • the G filter transmits light in the wavelength band H G.
  • R filter transmits light in the wavelength band H R.
  • the complementary color refers to a color constituted by light including at least two wavelength bands among the wavelength bands H B , H G , and H R.
  • the endoscope apparatus 1 configured in this manner captures an image of the subject illuminated with illumination light by the light source unit 3 through the endoscope 2 with the endoscope 2, and generates an imaging signal generated by the endoscope 2.
  • the processor unit 4 are subjected to various signal processing by the processor unit 4 to generate a color image and display it on the display unit 5.
  • the light source drive switching unit 441 causes the light source unit 3 to simultaneously emit illumination light, while the light source drive switching unit 441 transmits the surface sequential expression from the input unit 42.
  • indicate is input, illumination light is irradiated to the light source part 3 surface-sequentially.
  • the image processing control unit 442 switches the interpolation processing method by the image processing unit 41 based on the method of the light source unit 3 switched by the light source drive switching unit 441. Specifically, when the method of the light source unit 3 is simultaneous, the image processing control unit 442 causes the simultaneous image generation unit 411 to perform interpolation processing on the imaging signal generated by the imaging unit 20, and outputs an output image. If it is generated and output to the display unit 5 and the method of the light source unit 3 is plane sequential, the plane sequential image generation unit 412 executes interpolation processing on the imaging signal generated by the imaging unit 20 and an output image is generated. Are generated and output to the display unit 5.
  • the image processing control unit 442 transmits the imaging signal generated by the imaging unit 20 to the simultaneous image generation unit 411. While the interpolation processing is performed to generate an output image and output it to the display unit 5, when the method of the light source unit 3 is a plane sequential method, the image processing control unit 442 applies an imaging signal generated by the imaging unit 20 Since the field sequential image generation unit 412 executes interpolation processing to generate an output image and outputs the generated output image to the display unit 5, imaging is performed using the imaging device 201 in which the color filter 202 in which primary color pixels and complementary color pixels are mixed is arranged. Even if this is the case, it is possible to generate an output image without color misregistration captured simultaneously and an output image excellent in color separation and resolution captured in a surface sequential method.
  • FIG. 6 is a schematic view showing a schematic configuration of an endoscope apparatus according to a second embodiment of the present invention.
  • the endoscope apparatus 1A shown in FIG. 6 captures an in-vivo image of an observation site by inserting the subject into an object to generate an imaging signal, and an illumination light emitted from the tip of the endoscope 2A.
  • a light source unit 3A to be generated, a processor unit 4, and a display unit 5 are provided.
  • a user such as a doctor examines the in-vivo image displayed on the display unit 5 to examine the presence or absence of a bleeding site, a tumor site (lesion site S), and an abnormal site, which are detection target sites.
  • the endoscope 2A includes an imaging optical system 200, an imaging element 201, a color filter 202, a light guide 203, an illumination lens 204, an A / D converter 205, an imaging information storage unit 206, and an operation unit. And 207.
  • the imaging optical system 200 condenses at least light from the observation site.
  • the imaging optical system 200 is configured using one or more lenses.
  • the imaging optical system 200 may be provided with an optical zoom mechanism for changing the angle of view and a focusing mechanism for changing the focus.
  • the light guide 203 is configured using a glass fiber or the like, and forms a light guide path of the light emitted from the light source unit 3A.
  • the illumination lens 204 is provided at the tip of the light guide 203, and diffuses the light guided by the light guide 203 and emits the light from the tip of the endoscope 2A to the outside.
  • the illumination lens 204 is configured using one or more lenses.
  • the A / D conversion unit 205 A / D converts the analog imaging signal generated by the imaging element 201 and outputs the converted digital imaging signal to the processor unit 4.
  • the imaging information storage unit 206 stores data including various programs for operating the endoscope 2A, various parameters necessary for the operation of the endoscope 2A, and identification information of the endoscope 2A.
  • the imaging information storage unit 206 also includes an identification information storage unit 261 that records identification information.
  • the identification information includes unique information (ID) of the endoscope 2A, year, spec information, transmission method, arrangement information of filters in the color filter 202, and the like.
  • the imaging information storage unit 206 is realized using a flash memory or the like.
  • the operation unit 207 receives an instruction signal for switching the operation of the endoscope 2A and an instruction signal for causing the light source unit 3A to perform the switching operation of the illumination light, and outputs the received instruction signal to the processor unit 4 .
  • the operation unit 207 is configured using a switch, a jog dial, a button, a touch panel, and the like.
  • the light source unit 3A includes an illumination unit 31 and an illumination control unit 32.
  • the illumination unit 31 emits illumination light having different wavelength bands to the light guide 203 under the control of the illumination control unit 32.
  • the illumination unit 31 includes a light source 31a, a light source driver 31b, a switching filter 31c, a drive unit 31d, and a drive driver 31e.
  • the light source 31 a emits illumination light under the control of the illumination control unit 32.
  • the illumination light emitted from the light source 31a is emitted from the tip of the endoscope 2A to the outside via the switching filter 31c, the condenser lens 31f and the light guide 203.
  • the light source 31 a is realized by using a plurality of LED lamps or a plurality of laser light sources that emit light of different wavelength bands.
  • the light source 31a is configured using three LED lamps of an LED 31a_B, an LED 31a_G, and an LED 31a_R.
  • FIG. 7 is a view showing an example of spectral characteristics of each light emitted from the light source 31a.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the intensity.
  • the curve L LEDB shows the spectral characteristic of the blue illumination light irradiated by the LED 31 a_B
  • the curve L LEDG shows the spectral characteristic of the green illumination light irradiated by the LED 31 a_G
  • the curve L LEDR is irradiated by the LED 31 a_R.
  • Spectral characteristics of red illumination light Spectral characteristics of red illumination light.
  • the LED 31a_B has a peak intensity in the blue wavelength band H B (for example, 380 nm to 480 nm). Further, as shown by the curve L LEDG in FIG. 7, the LED 31a_G has a peak intensity in the green wavelength band H G (for example, 480 nm to 580 nm). Furthermore, as shown by the curve L LEDR in FIG. 7, the LED 31a_R has a peak intensity in the red wavelength band H R (eg, 580 nm to 680 nm).
  • the light source driver 31 b causes the light source 31 a to emit illumination light by supplying a current to the light source 31 a under the control of the illumination control unit 32.
  • the switching filter 31c is detachably disposed on the optical path of the illumination light emitted by the light source 31a, and transmits light in a predetermined wavelength band among the illumination light emitted by the light source 31a. Specifically, the switching filter 31c transmits blue narrow band light and green narrow band light. That is, when the switching filter 31 c is disposed on the light path of the illumination light, the switching filter 31 c transmits two narrow band lights. More specifically, switching filter 31c is narrowband T B included in the wavelength band H B (e.g., 390 nm ⁇ 445 nm) and light, narrow-band T G included in the wavelength band H G (e.g., 530 nm ⁇ 550 nm And light).
  • the wavelength band H B e.g., 390 nm ⁇ 445 nm
  • narrow-band T G included in the wavelength band H G (e.g., 530 nm ⁇ 550 nm And light).
  • FIG. 8 is a view showing an example of the spectral characteristic of the narrow band light emitted from the light source unit 3A.
  • the horizontal axis indicates the wavelength
  • the vertical axis indicates the intensity.
  • FIG. 8 shows the spectral characteristics of the narrow-band light in the narrow band T B to the curve L NB has passed through the switching filter 31c, the spectral narrowband light in a narrow band T G of curve L NG is transmitted through the switching filter 31c Show the characteristics.
  • switching filter 31c passes light that is light and green narrow-band T G blue narrowband T B.
  • the light transmitted through the switching filter 31c is a narrow band illumination light comprising narrowband T B and narrowband T G.
  • the narrow bands T B and T G are wavelength bands of blue light and green light which are easily absorbed by hemoglobin in blood. Observation of the image by this narrow band illumination light is called narrow band light observation method (NBI method).
  • the driving unit 31 d is configured using a stepping motor, a DC motor, or the like, and inserts the switching filter 31 c into the light path of the illumination light emitted by the light source 31 a or retracts the switching filter 31 c from the light path under the control of the illumination control unit 32.
  • the drive unit 31d controls the illumination light emitted from the light source 31a of the switching filter 31c.
  • the switching filter 31c is inserted (arranged) on the optical path of the illumination light emitted from the light source 31a.
  • the drive driver 31 e supplies a predetermined current to the drive unit 31 d under the control of the illumination control unit 32.
  • the condensing lens 31 f condenses the illumination light emitted by the light source 31 a and emits the condensed light to the light guide 203. Further, the condensing lens 31 f condenses the illumination light transmitted through the switching filter 31 c and emits it to the light guide 203.
  • the condenser lens 31 f is configured using one or more lenses.
  • the illumination control unit 32 is configured using a CPU or the like.
  • the illumination control unit 32 controls the light source driver 31 b based on the instruction signal input from the processor unit 4 to turn on and off the light source 31 a. Further, the illumination control unit 32 controls the drive driver 31 e based on the instruction signal input from the processor unit 4 to insert or retract the switching filter 31 c on the optical path of the illumination light emitted by the light source 31 a. By doing this, the type (band) of the illumination light emitted by the illumination unit 31 is controlled. Specifically, the illumination control unit 32 turns on at least two LED lamps of the light source 31a individually in the case of the surface sequential type, and simultaneously turns on at least two LED lamps of the light source 31a in the case of simultaneous type. Thus, control is performed to switch the illumination light emitted from the illumination unit 31 to one of the surface sequential method and the simultaneous method.
  • FIG. 9 is a view schematically showing lighting control of the illumination unit 31 performed by the illumination control unit 32 at the time of simultaneous white light observation.
  • FIG. 10 is a view schematically showing lighting control of the illumination unit 31 performed by the illumination control unit 32 at the time of simultaneous narrow band light observation.
  • FIG. 11 is a view schematically showing lighting control of the illumination unit 31 performed by the illumination control unit 32 at the time of field-sequential white light observation.
  • FIG. 12 is a diagram schematically illustrating lighting control of the illumination unit 31 performed by the illumination control unit 32 at the time of field-sequential narrow band light observation. 9 to 12, the horizontal axis indicates time, and the vertical axis indicates the lighting timing of each LED.
  • the illumination control unit 32 simultaneously turns on the LEDs 31a_B, the LEDs 31a_G, and the LEDs 31a_R at predetermined intervals. Further, as shown in FIG. 10, when the endoscope apparatus 1A performs simultaneous narrow-band light observation as shown in FIG. 10, the illumination control unit 32 simultaneously turns on the LEDs 31a_B and the LEDs 31a_G at predetermined intervals.
  • the illumination control unit 32 performs a first period in which only the LED 31a_B is turned on, and a second period in which the LED 31a_G and the LED 31a_R are turned on, when the endoscope apparatus 1A performs field-sequential white light observation.
  • the illumination control unit 32 turns on only the LED 31 a_G and the first period in which only the LED 31 a_B is turned on.
  • FIG. 13 is a flowchart showing an outline of the process performed by the endoscope apparatus 1A.
  • each of the endoscope 2A, the light source unit 3A, and the processor unit 4 is connected, and when preparation for starting imaging is ready, the control unit 44 controls the light source unit 3A. , And reading of imaging settings regarding imaging of the imaging element 201 (step S101).
  • the light source drive switching unit 441 determines whether the observation method is white light observation (step S102), and when the observation method is white light observation (step S102: Yes), the light source drive switching unit 441
  • the drive control unit 31 d drives the drive unit 31 d via the illumination control unit 32 to retract the switching filter 31 c from the light path of the illumination light emitted by the light source 31 a (step S 103).
  • the observation method is not white light observation (step S102: No)
  • the light source drive switching unit 441 irradiates the switching filter 31c with the light source 31a by driving the drive unit 31d via the illumination control unit 32. It inserts in the optical path of the illumination light which is made (step S104).
  • the light source drive switching unit 441 causes the light source unit 3A to emit illumination light according to the method set in step S101 described above (step S105).
  • the endoscope 2A performs imaging of the subject irradiated with the illumination light by the light source unit 3A (step S106).
  • the image processing control unit 442 determines whether or not the method of the light source unit 3A is simultaneous (step S107), and when the method of the light source unit 3A is simultaneous (step S107: Yes), the image processing The control unit 442 causes the simultaneous image generation unit 411 to execute a simultaneous image generation process of generating an output image using the imaging signal generated by the endoscope 2A (step S108). After step S108, the endoscope apparatus 1A proceeds to step S110 described later. The details of the simultaneous image generation process will be described later.
  • step S107 when the method of the light source unit 3A is not simultaneous (step S107: No), the image processing control unit 442 outputs an output image using the imaging signal generated by the endoscope 2A to the field sequential image generation unit 412.
  • step S109 a surface sequential image generation process is performed to generate the image data.
  • the endoscope apparatus 1A proceeds to step S110 described later. The details of the field sequential image generation process will be described later.
  • step S110 the endoscope apparatus 1A ends the present process.
  • FIG. 14 is a schematic view showing an outline of simultaneous image generation processing performed by the simultaneous image generation unit 411 at the time of white light observation of the endoscope apparatus 1A.
  • simultaneous type image generating unit 411 the image F 1 corresponding to the imaging signals primary color pixel and complementary color pixels endoscope 2A were generated are mixed, Most number of pixels greater the Cy pixel generating a Cy interpolated image F Cy2 of Cy pixel by performing interpolation processing using the image F Cy1. Then, as shown in FIG. 14, the simultaneous image generation unit 411 performs interpolation processing on each of the image F G1 , the image F B1, and the image F R1 using the information of the Cy interpolation image F Cy2 (guide image) as a guide. To generate each of the B-interpolated image F G2 , the G-interpolated image F B2, and the R-interpolated image F R2 .
  • the interpolation processing using the guide image there are known joint bilateral interpolation processing, guided filter interpolation processing, and the like.
  • FIG. 15 is a schematic view showing an outline of simultaneous image generation processing performed by the simultaneous image generation unit 411 at the time of narrow band light observation of the endoscope apparatus 1A.
  • simultaneous type image generating unit 411 the image F 10 corresponding to the imaging signals primary color pixel and complementary color pixels endoscope 2A were generated are mixed, Most number of pixels greater the Cy pixel generating a Cy interpolated image F Cy2 of Cy pixel by performing interpolation processing using the image F Cy1. Then, as illustrated in FIG. 15, the simultaneous image generation unit 411 performs interpolation processing on each of the image F G1 and the image F B1 using the information of the Cy interpolation image F Cy2 (guide image) as a guide. Each of the B interpolation image F G2 and the G interpolation image F B2 is generated.
  • the narrow-band light observation as shown in FIG.
  • the simultaneous image generation unit 411 does not generate the R-interpolated image FR2 .
  • the simultaneous image generation unit 411 generates a G-interpolated image and a B-interpolated image from an imaging signal corresponding to one frame.
  • the simultaneous image generation unit 411 generates a G-interpolated image and a B-interpolated image from an imaging signal corresponding to one frame.
  • step S109 Details of the surface sequential type image generation process described in step S109 described above will be described. Since the surface sequential image generation processing performed by the surface sequential image generation unit 412 is different for each frame, the surface sequential image processing will be described for each frame.
  • FIG. 16 is a schematic view showing an outline of the surface sequential type image generation process performed by the surface sequential type image generation unit 412 when the illumination light is irradiated by the LED 31a_B during white light observation of the endoscope apparatus 1A.
  • FIG. 17 is a schematic view showing an outline of the surface sequential type image generation process performed by the surface sequential type image generation unit 412 when the illumination light is irradiated by the LEDs 31a_G and 31a_R during white light observation of the endoscope apparatus 1A.
  • the image F 20 corresponding to the image signal of the frame to irradiate only the LED31a_B light source unit 3A, pixels obtained image information (signal value) is only Cy and B pixels.
  • Cy pixels because it has a sensitivity only the blue wavelength band H B, can be considered a Cy pixel and B pixel.
  • the field sequential image generation unit 412 can not acquire image information of each of the G pixel and the R pixel. Therefore, sequential type image generation unit 412 uses the image F B21 and image F B1, known bilinear interpolation, the position of the entire field pixels by performing an interpolation process such as cubic interpolation and direction discrimination interpolation B interpolation image FB22 which has the image information of B information to is generated.
  • the pixels from which image information (signal value) can be obtained are Cy pixels, G pixels and R It is only a pixel. Since the Cy pixel has sensitivity in the green wavelength band H G , the Cy pixel can be regarded as a G pixel.
  • the field sequential type image generation unit 412 performs the same interpolation processing as the frame in which only the LED 31a_B is irradiated with the light source unit 3A described above using the image F G 32 to obtain the image information of G information at the position of all pixels.
  • the G interpolation image FG33 having is generated.
  • sequential type image generation unit 412 uses the image F R1, by carrying out the same interpolation process and the frame of irradiating only the LED31a_B light source unit 3A as described above, the R information on the position of the entire field pixel image An R-interpolated image FR33 having information is generated.
  • An output image is generated using FR 33 and output to the display unit 5.
  • FIG. 18 is a schematic view showing an outline of the surface sequential type image generation process performed by the surface sequential type image generation unit 412 when the illumination light is irradiated by the LED 31a_B during narrowband light observation of the endoscope apparatus 1A.
  • FIG. 19 is a schematic view showing an outline of the surface sequential type image generation process performed by the surface sequential type image generation unit 412 when the illumination light is irradiated by the LEDs 31a_G and 31a_R during narrow band light observation of the endoscope apparatus 1A. .
  • the image F 30 corresponding to the image signal of the frame to irradiate only the LED31a_B light source unit 3A pixels obtained image information (signal value) is only Cy and B pixels.
  • Cy pixels because it has a sensitivity only the blue wavelength band H B, can be considered a Cy pixel and B pixel.
  • the field sequential image generation unit 412 can not acquire image information of each of the G pixel and the R pixel. Therefore, sequential type image generation unit 412 uses the image F B21 and image F B1, known bilinear interpolation, the position of the entire field pixels by performing an interpolation process such as cubic interpolation and direction discrimination interpolation B interpolation image FB22 which has the image information of B information to is generated.
  • the pixels from which the image information (signal value) can be obtained are only Cy pixels and G pixels. is there. Since the Cy pixel has sensitivity in the green wavelength band H G , the Cy pixel can be regarded as a G pixel.
  • the field sequential type image generation unit 412 performs the same interpolation processing as the frame in which only the LED 31a_B is irradiated with the light source unit 3A described above using the image F G 32 to obtain the image information of G information at the position of all pixels.
  • the G interpolation image FG33 having is generated.
  • the sequential type image generation unit 412 pseudo-color with G interpolated image F G33 frame irradiating only LED31a_G in B interpolated image F B23 and the light source portion 3A of the frame to irradiate only the LED31a_B by the light source unit 3A
  • An output image is generated and output to the display unit 5.
  • the surface sequential type image generation unit 412 irradiates each of the LED 31 a_B, the LED 31 a_G, and the LED 31 a_R in another frame in the light source unit 3A, color separation is performed compared to the output image generated by the simultaneous image generation unit 411. It is possible to generate an output image with excellent performance.
  • the field sequential image generation unit 412 performs interpolation processing by regarding Cy pixels as B pixels or G pixels, the number of pixels that needs to be calculated by correction processing as compared to the processing of the simultaneous image generation unit 411 Since interpolation is small, interpolation processing can also be performed with high accuracy. That is, the field sequential image generation unit 412 can generate an output image having an excellent resolution as compared with the output image generated by the simultaneous image generation unit 411. The reason why the resolution of the output image generated by the field sequential image generation unit 412 is excellent is that a large number of complementary color filters are arranged on the imaging element 201. Therefore, the resolution can not be improved in a general Bayer arrangement.
  • the configuration of the present third embodiment is different from the configuration of the endoscope apparatus 1A according to the second embodiment described above. Specifically, in the third embodiment, the state of the endoscope is detected based on the imaging signal, and switching to either the plane sequential method or the simultaneous method is performed according to the detection result.
  • processing performed by the endoscope apparatus according to the third embodiment will be described.
  • the same components as those of the second embodiment described above are denoted by the same reference numerals and the description thereof will be omitted.
  • FIG. 20 is a schematic view showing a schematic configuration of an endoscope apparatus according to Embodiment 3 of the present invention.
  • An endoscope apparatus 1B shown in FIG. 20 includes a processor unit 4B in place of the processor unit 4 according to the second embodiment described above.
  • the processor unit 4B includes a control unit 44B in place of the control unit 44 according to the second embodiment described above.
  • the control unit 44B further includes a scene information detection unit 443 in addition to the configuration of the control unit 44 according to the second embodiment described above.
  • the scene information detection unit 443 detects the amount of movement based on the imaging signal generated by the endoscope 2A. For example, the scene information detection unit 443 detects the amount of movement of the scene being imaged by the endoscope 2 based on the temporally successive imaging signals generated by the endoscope 2A.
  • FIG. 21 is a flowchart showing an outline of the process performed by the endoscope apparatus 1B. Steps S201 to S206 in FIG. 21 correspond to steps S101 to S106 in FIG. 13 described above.
  • step S207 the scene information detection unit 443 calculates the difference between the imaging information of the previous frame and the imaging information of the current frame, and compares the calculated motion amount with a preset threshold (step S207).
  • step S207: Yes the light source drive switching unit 441 selects the simultaneous method as the light source drive method of the next frame (step S208).
  • step S208 the endoscope apparatus 2B proceeds to step S210 described later.
  • step S207 when it is determined by the scene information detection unit 443 that the movement amount is not equal to or more than the preset threshold (step S207: No), the light source drive switching unit 441 uses the surface sequential method as the light source drive method of the next frame. Is selected (step S209). After step S209, the endoscope apparatus 2B proceeds to step S210 described later.
  • step S210 the light source drive switching unit 441 stores the light source driving method of the next frame in the storage unit 43.
  • the endoscope apparatus 2B proceeds to step S211.
  • step S211 if the light source driving method of the current frame is simultaneous (step S211: Yes), the endoscope apparatus 1B proceeds to step S212, and the light source driving method of the current frame is not simultaneous (step S211). No), the endoscope apparatus 1B proceeds to step S213.
  • Steps S212 to S214 correspond to steps S108 to S110 in FIG. 13 described above. After step S214, the endoscope apparatus 2B ends the present process.
  • the light source drive switching unit 441 switches the method of the light source unit 3A according to the amount of movement detected by the scene information detection unit 443. be able to.
  • the scene information detection unit 443 detects the amount of movement, but the present invention is not limited to this.
  • the scene information detection unit 443 may detect an edge amount by performing an edge extraction process on the imaging signal generated by the endoscope 2A.
  • the edge amount detected by the scene information detection unit 443 is equal to or greater than a preset threshold, that is, the light source drive switching unit 441 has a small movement in the scene imaged by the endoscope 2A And so on, so that the light source unit 3A executes the surface-sequential expression, while if the edge amount detected by the scene information detection unit 443 is not equal to or more than the preset threshold, the light source unit 3A is simultaneously operated. Run the expression
  • the scene information detection unit 443 may automatically detect an abnormal area included in an image corresponding to the imaging signal generated by the endoscope 2A.
  • the scene information detection unit 443 is configured to continuously use the endoscope 2A for the image corresponding to the imaging signal generated by the endoscope 2A using the model or pattern matching of the abnormal region learned in advance. It may be detected whether or not there is an abnormal area in the image corresponding to the generated imaging signal.
  • the abnormal area is an area having a lesion area, a hemorrhage area, and luminance or saturation equal to or higher than a predetermined threshold.
  • the scene information detection unit 443 detects an abnormal area, that is, the light source drive switching unit 441 has a small amount of movement in the scene captured by the endoscope 2A, and the possibility of observing an abnormal part, such as a lesion, is high. Therefore, while causing the light source unit 3A to execute the surface sequential expression, when the scene information detection unit 443 does not detect the abnormal area, the light source unit 3A is caused to execute the simultaneous expression.
  • an endoscope is not limited to this.
  • a detection sensor such as an acceleration sensor or a gyro sensor is provided at the distal end (not shown) of 2A, and based on the detection result detected by the scene information detection unit 443 by the detection sensor, The amount of movement may be detected.
  • the light source drive switching unit 441 causes the light source unit 3A to execute the simultaneous method when the motion amount detected by the scene information detection unit 443 is equal to or greater than a preset threshold, while the scene information detection unit 443 detects it. If the amount of movement is not equal to or greater than the preset threshold value, the light source unit 3A is made to execute the surface sequential expression.
  • the scene information detection unit 443 may detect the focal length of the imaging optical system 200.
  • the light source drive switching unit 441 determines that the focal length detected by the scene information detection unit 443 is equal to or greater than a preset threshold (for example, the focal length of the imaging optical system 200) Is doubled, and when the endoscope 2A is performing magnified observation), the simultaneous operation is performed by the light source unit 3A, while the focal length detected by the scene information detection unit 443 is not equal to or more than a preset threshold.
  • a preset threshold for example, the focal length of the imaging optical system 200
  • the imaging optical system 200 performs 2 ⁇ normal magnification observation
  • the light source unit 3A Make the field-sequential expression execute.
  • the scene information detection unit 443 may detect the use condition of the treatment tool.
  • the light source drive switching unit 441 causes the light source unit 3A to execute the simultaneous method, while the scene information detection unit 443 detects the use of the treatment tool.
  • the light source unit 3A does not turn on (when the imaging optical system 200 normally performs twice as large magnification observation), the light source unit 3A is made to execute the surface sequential expression.
  • FIG. 22 is a schematic view showing an example of the configuration of a color filter according to a modification of the first to third embodiments.
  • the color filter 202C is a filter unit U2 composed of 16 filters arranged in a two-dimensional grid by 4 ⁇ 4, arranged according to the arrangement of the pixels P ij .
  • an Mg filter is disposed in place of the R filter of the color filter 202 described above.
  • Mg pixel as shown by the curve L Mg in FIG 23, for receiving light in a blue wavelength range H B light and red wavelength bands H G.
  • the type of illumination light emitted by the light source unit may be four or more.
  • the type of illumination light emitted by the light source unit may be four or more.
  • five or more LEDs are added, for example, a light source capable of irradiating a wavelength band of violet and a light source capable of irradiating a wavelength band of yellow May be
  • the flexible endoscope apparatus has been described as an example, but the present invention is not limited to this, and a rigid endoscope apparatus can also be applied.
  • a capsule endoscope apparatus or a microscope apparatus can be applied.
  • section (module, unit)" described above can be read as “means” or “circuit”.
  • control unit can be read as control means or a control circuit.

Abstract

原色画素および補色画素が混在した撮像素子を用いるときであっても、同時式および面順次式のどちらも優れた画質の画像を生成することができる内視鏡装置、画像処理方法およびプログラムを提供する。内視鏡装置は、カラーフィルタが受光面に配置された撮像素子によって生成された撮像信号に対して、少なくとも同時式または面順次式に応じた補間処理を行って出力画像を生成して出力する画像処理部と、光源部に対して、同時式と面順次式とを切り替える光源駆動切り替え部と、光源駆動切り替え部が切り替えた結果に基づいて、画像処理部に補間処理の方法を切り替えさせて出力画像を生成させる画像処理制御部と、を備える。

Description

内視鏡装置、画像処理方法およびプログラム
　本発明は、被検体に導入され、該被検体内の画像を取得する内視鏡装置、画像処理方法およびプログラムに関する。
　従来、医療分野および工業分野において、各種検査のために内視鏡装置が広く用いられている。このうち、医療用の内視鏡装置は、患者等の被検体の体腔内に、複数の画素を有する撮像素子が先端に設けられた細長形状をなす可撓性の挿入部を挿入することによって、被検体を切開しなくても体腔内の体内画像を取得できるため、被検体への負担が少なく、普及が進んでいる。
　内視鏡装置の撮像方式として、フレーム毎に異なる波長帯域の照明を照射することでカラー情報を取得する面順次式と、撮像素子上に設けたカラーフィルタによりカラー情報を取得する同時式とが用いられている。面順次式は、色分離性能および解像度に優れるが、動的シーンでは色ズレが発生する。これに対して、同時式は、色ズレが発生しないが、色分離性能および解像度において面順次式に対して劣る。
　また、従来の内視鏡装置の観察方式として、白色の照明光（白色光）を用いた白色光観察方式（ＷＬＩ：White　Light　Imaging）と、青色および緑色の波長帯域にそれぞれ含まれる二つの狭帯域光からなる照明光（狭帯域光）を用いた狭帯域光観察方式（ＮＢＩ：Narrow　Band　Imaging）が広く知られている。白色光観察方式では緑色の波長帯域の信号を輝度信号としてカラー画像を生成し、挟帯域光観察方式では青色の波長帯域の信号を輝度信号として擬似カラー画像を生成する。このうち、狭帯域光観察方式は、生体の粘膜表層に存在する毛細血管および粘膜微細模様等を強調表示する画像を得ることができる。狭帯域光観察方式によれば、生体の粘膜表層における病変部をより的確に発見することができる。このような内視鏡装置の観察方式に関して、白色光観察方式と、狭帯域光観察方式とを切り替えて観察することも知られている。
　上述した観察方式でカラー画像を生成して表示するため、単板の撮像素子により撮像画像を取得すべく、撮像素子の受光面上には、一般的にベイヤ配列と呼ばれるカラーフィルタが設けられている。この場合、各画素は、フィルタを透過した波長帯域の光を受光し、その波長帯域の光に応じた色成分の電気信号を生成する。このため、カラー画像を生成する処理では、各画素においてフィルタを透過せずに欠落した色成分の信号値を補間する補間処理が行われる。このような補間処理は、デモザイキング処理と呼ばれる。また、撮像素子の受光面上には、一般的にベイヤ配列と呼ばれるカラーフィルタが設けられている。ベイヤ配列は、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の波長帯域の光を透過するフィルタ（以下、「Ｒフィルタ」、「Ｇフィルタ」および「Ｂフィルタ」という）を１つのフィルタ単位（ユニット）として画素毎に配列したものである。
　近年、生体内において、白色光観察方式および狭帯域光観察方式のどちらでも高い解像感を得るために、原色カラーフィルタだけでなく、シアン（Ｃｙ）またはマゼンタ（Ｍｇ）のような補色カラーフィルタ（以下、「Ｃｙフィルタ」および「Ｍｇフィルタ」という）を混在させたフィルタ配置の技術が知られている（特許文献１）。この技術によれば、補色画素を混在させることによって、原色画素のみの場合に比べて青色波長帯域の情報を多く取得することができるので、狭帯域光観察方式の場合において毛細血管等の解像度を向上させることができる。
特開２０１５－１１６３２８号公報
　しかしながら、上述した特許文献１では、補色画素の情報を参照してデモザイキング処理を行うため、被写体の動きが少ない状況や色ズレが発生しづらい状況において、面順次式と比べて色分離性能や解像度が劣化することで、面順次式と比べて画質の差が顕著になるという問題点があった。
　本発明は、上記に鑑みてなされたものであって、原色画素および補色画素が混在した撮像素子を用いるときであっても、同時式および面順次式のどちらも優れた画質の画像を生成することができる内視鏡装置、画像処理方法およびプログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る内視鏡装置は、少なくとも互いに波長帯域が異なる複数の光を同時に照射する同時式および、少なくとも互いに異なる波長帯域の複数の光の各々を個別に照射する面順次式のいずれか一方を行う光源部と、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成する撮像素子と、赤色、緑色および青色のいずれか１つの波長帯域の光をそれぞれ透過する少なくとも１種類の原色フィルタと、緑色の波長帯域の光を透過し、かつ、赤色および青色のうち一方の波長帯域の光を透過する補色フィルタと、を有する複数のフィルタによって構成されたフィルタユニットを、前記複数の画素に対応させて配置してなるカラーフィルタと、前記撮像信号に対して、少なくとも前記同時式または前記面順次式に応じた補間処理を行って出力画像を生成する画像処理部と、前記光源部に対して、前記同時式および前記面順次式のどちらか一方に切り替える光源駆動切り替え部と、前記光源駆動切り替え部が切り替えた結果に基づいて、前記画像処理部に前記補間処理の方法を切り替えさせて前記出力画像を生成させる画像処理制御部と、を備えることを特徴とする。
　また、本発明に係る画像処理方法は、少なくとも互いに波長帯域が異なる複数の光を同時に照射する同時式および、少なくとも互いに異なる波長帯域の複数の光の各々を個別に照射する面順次式のいずれか一方を行う光源部と、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成する撮像素子と、赤色、緑色および青色のいずれか１つの波長帯域の光をそれぞれ透過する少なくとも１種類の原色フィルタと、緑色の波長帯域の光を透過し、かつ、赤色および青色のうち一方の波長帯域の光を透過する補色フィルタと、を有する複数のフィルタによって構成されたフィルタユニットを、前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡装置が実行する画像処理方法であって、前記撮像信号に対して、少なくとも前記同時式または前記面順次式に応じた補間処理を行って出力画像を生成して出力する画像処理ステップと、前記光源部に対して、前記同時式と前記面順次式とを切り替える光源駆動切り替えステップと、前記光源駆動切り替えステップで切り替えた結果に基づいて、前記画像処理ステップの前記補間処理の方法を切り替えさせて前記出力画像を生成させる画像処理制御ステップと、を含むことを特徴とする。
　また、本発明に係るプログラムは、少なくとも互いに波長帯域が異なる複数の光を同時に照射する同時式および、少なくとも互いに異なる波長帯域の複数の光の各々を個別に照射する面順次式のいずれか一方を行う光源部と、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成する撮像素子と、赤色、緑色および青色のいずれか１つの波長帯域の光をそれぞれ透過する少なくとも１種類の原色フィルタと、緑色の波長帯域の光を透過し、かつ、赤色および青色のうち一方の波長帯域の光を透過する補色フィルタと、を有する複数のフィルタによって構成されたフィルタユニットを、前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡装置に、前記撮像信号に対して、少なくとも前記同時式または前記面順次式に応じた補間処理を行って出力画像を生成して出力する画像処理ステップと、前記光源部に対して、前記同時式と前記面順次式とを切り替える光源駆動切り替えステップと、前記光源駆動切り替えステップで切り替えた結果に基づいて、前記画像処理ステップの前記補間処理の方法を切り替えさせて前記出力画像を生成させる画像処理制御ステップと、を実行させることを特徴とする。
　本発明によれば、原色画素および補色画素が混在した撮像素子を用いるときであっても、同時式および面順次式のどちらも優れた画質の画像を生成することができるという効果を奏する。
図１は、本発明の実施の形態１に係る内視鏡装置の概略構成を示す図である。 図２は、本発明の実施の形態１に係る内視鏡装置の機能構成を模式的に示すブロック図である。 図３は、本発明の実施の形態１に係る撮像素子の画素の構成を示す模式図である。 図４は、本発明の実施の形態１に係るカラーフィルタの構成の一例を示す模式図である。 図５は、本発明の実施の形態１に係るカラーフィルタを構成する各フィルタの透過特性の一例を示す図である。 図６は、本発明の実施の形態２に係る内視鏡装置の概略構成を示す模式図である。 図７は、本発明の実施の形態２に係る光源部が出射する各光の分光特性の一例を示す図である。 図８は、本発明の実施の形態２に係る光源部が出射する狭帯域光の分光特性の一例を示す図である。 図９は、本発明の実施の形態２に係る照明制御部が同時式の白色光観察時に行う照明部の点灯制御を模式的に示す図である。 図１０は、本発明の実施の形態２に係る照明制御部が同時式の狭帯域光観察時に行う照明部の点灯制御を模式的に示す図である。 図１１は、本発明の実施の形態２に係る照明制御部が面順次式の白色光観察時に行う照明部の点灯制御を模式的に示す図である。 図１２は、本発明の実施の形態２に係る照明制御部が面順次式の狭帯域光観察時に行う照明部の点灯制御を模式的に示す図である。 図１３は、本発明の実施の形態２に係る内視鏡装置が実行する処理の概要を示すフローチャートである。 図１４は、本発明の実施の形態２に係る内視鏡装置の白色光観察時に同時式画像生成部が行う同時式画像生成処理の概要を示す模式図である。 図１５は、本発明の実施の形態２に係る内視鏡装置の狭帯域光観察時に同時式画像生成部が行う同時式画像生成処理の概要を示す模式図である。 図１６は、本発明の実施の形態２に係る内視鏡装置の白色光観察時にＬＥＤ＿Ｂによって照明光が照射された際の面順次式画像生成部が行う面順次式画像生成処理の概要を示す模式図である。 図１７は、本発明の実施の形態２に係る内視鏡装置の白色光観察時にＬＥＤ＿ＧおよびＬＥＤ＿Ｒによって照明光が照射された際の面順次式画像生成部が行う面順次式画像生成処理の概要を示す模式図である。 図１８は、本発明の実施の形態２に係る内視鏡装置の狭帯域光観察時にＬＥＤ＿Ｂによって照明光が照射された際の面順次式画像生成部が行う面順次式画像生成処理の概要を示す模式図である。 図１９は、本発明の実施の形態２に係る内視鏡装置の狭帯域光観察時にＬＥＤ＿ＧおよびＬＥＤ＿Ｒによって照明光が照射された際の面順次式画像生成部が行う面順次式画像生成処理の概要を示す模式図である。 図２０は、本発明の実施の形態３に係る内視鏡装置の概略構成を示す模式図である。 図２１は、本発明の実施の形態３に係る内視鏡装置が実行する処理の概要を示すフローチャートである。 図２２は、本実施の形態１～３の変形例に係るカラーフィルタの構成の一例を示す模式図である。 図２３は、本実施の形態１～３の変形例に係るカラーフィルタを構成する各フィルタの透過特性の一例を示す図である。 図２４は、本実施の形態１～３の変形例に係る光源部の各光源の分光特性の一例を示す図である。
　以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。本実施の形態では、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡装置について説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
（実施の形態１）
　〔内視鏡装置の構成〕
　図１は、本発明の実施の形態１に係る内視鏡装置の概略構成を示す図である。図２は、本発明の実施の形態１に係る内視鏡装置の機能構成を模式的に示すブロック図である。図１および図２に示す内視鏡装置１は、患者等の被検体に挿入して被検体の体内を撮像し、この体内画像を外部の表示装置へ出力する。医者等の使用者は、表示装置で表示された体内画像の観察を行うことによって、検出対象部位である出血部位、腫瘍部位および異常部位それぞれの有無を検査する。
　内視鏡装置１は、被検体に挿入することによって観察部位の体内画像を撮像して撮像信号を生成する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３と、内視鏡２が生成した撮像信号に所定の画像処理を施すとともに、内視鏡装置１全体の動作を統括的に制御するプロセッサ部４と、プロセッサ部４が画像処理を施した体内画像を表示する表示部５と、を備える。
　内視鏡２は、少なくとも撮像信号を生成する撮像部２０を備える。撮像部２０は、光を受光する画素（フォトダイオード）が２次元マトリックス状に配置されてなり、各画素が受光した光に対して光電変換を行うことによって撮像信号を生成する撮像素子２０１と、撮像素子２０１の受光面上に配置されてなり、各々が個別に設定された波長帯域の光を透過する複数のフィルタを有するカラーフィルタ２０２と、を有する。撮像素子２０１は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）やＣＣＤ（Charge　Coupled　Device）等のイメージセンサを用いて実現される。なお、撮像素子２０１およびカラーフィルタ２０２の詳細な構成については、後述する。
　光源部３は、プロセッサ部４の制御のもと、少なくとも互いに異なる波長帯域の複数の光を同時に照射する同時式および少なくとも互いに異なる波長帯域の複数の光の各々を個別（時分割）に照射する面順次式で照明光を照射する。具体的には、光源部３は、少なくとも互いに波長帯域が異なる２種類の光を同時に照射する同時式で照明光を照射する、または少なくとも互いに波長帯域が異なる２種類の光を交互に照射する面順次式で照明光を照射する。光源部３は、複数の光源、例えば赤色の波長帯域の光を発生する赤色のＬＥＤ（Light　Emitting　Diode）ランプ、緑色の波長帯域の光を発生する緑色のＬＥＤランプおよび青色の波長帯域の光を発生する青色のＬＥＤランプを用いて構成される。
　プロセッサ部４は、撮像部２０から入力された撮像信号に対して画像処理を行って出力画像を生成して表示部５へ出力する画像処理部４１と、各種動作を指示する指示信号の入力を受け付ける入力部４２と、内視鏡装置１が実行する各種のプログラムや処理中のデータ等を記憶する記憶部４３と、内視鏡装置１を構成する各部を統括的に制御する制御部４４と、を備える。
　画像処理部４１は、ＧＰＵ（Graphics　Processing　Unit）等を用いて構成される。画像処理部４１は、光源部３が同時式で照明光を照射した場合、撮像部２０が生成した撮像信号に対して補間処理を行って出力画像を生成する同時式画像生成部４１１と、光源部３が面順次式で照明光を照射した場合、撮像部２０が生成した撮像信号に対して補間処理を行って出力画像を生成する面順次式画像生成部４１２と、を有する。
　入力部４２は、スイッチ、ボタンおよびタッチパネル等を用いて構成され、内視鏡装置１の動作を指示する指示信号の入力を受け付け、この受け付けた指示信号を制御部４４へ出力する。具体的には、入力部４２は、光源部３が照射する照明光の方式を切り替える指示信号の入力を受け付ける。例えば、入力部４２は、光源部３が同時式で照明光を照射している場合、光源部３に面順次式で照明光を照射させる指示信号の入力を受け付ける。
　記憶部４３は、揮発性メモリや不揮発性メモリを用いて構成され、内視鏡装置１に関する各種情報や内視鏡装置１が実行するプログラムを記憶する。
　制御部４４は、ＣＰＵ（Central　Processing　Unit）を用いて構成される。制御部４４は、入力部４２から入力された光源部３が照射する照明光の方式を切り替える指示信号に基づいて、光源部３が照射する照明光の方式を切り替える光源駆動切り替え部４４１と、光源駆動切り替え部４４１が切り替えた光源部３の方式に基づいて、画像処理部４１による補間処理の方法を切り替える画像処理制御部４４２と、を有する。
　表示部５は、映像ケーブルを介してプロセッサ部４が生成した出力画像信号を受信し、この出力画像信号に対応する体内画像を表示する。表示部５は、液晶または有機ＥＬ（Electro　Luminescence）を用いて構成される。
　〔撮像素子の構成〕
　次に、撮像素子２０１の詳細な構成について説明する。図３は、撮像素子２０１の画素の構成を示す模式図である。
　図３に示すように、撮像素子２０１は、光を受光する複数の画素Ｐが２次元格子状（２次元マトリックス状）に配置されてなる。各画素Ｐは、撮像光学系２００から入射された光を受光して光電変換を行うことによって撮像信号を生成する。この撮像信号には、各画素Ｐの輝度値（画素値）および画素の位置情報等が含まれる。図３において、ｉ行ｊ列目に配置されてなる画素を画素Ｐｉｊと記して表現する。なお、ｉおよびｊは、１以上の整数を示す。
　〔カラーフィルタの構成〕
　次に、カラーフィルタ２０２の詳細な構成について説明する。図４は、カラーフィルタ２０２の構成の一例を示す模式図である。
　図４に示すように、カラーフィルタ２０２は、４×４で２次元格子状に並べられた１６個のフィルタからなるフィルタユニットＵ１を画素Ｐｉｊの配置に応じて並べられて配置したものである。フィルタが設けられた画素Ｐｉｊは、フィルタを透過した波長帯域の光を受光する。具体的には、赤色の波長帯域の光を透過するフィルタＲが設けられた画素Ｐｉｊは、赤色の波長帯域の光を受光する。以下、赤色の波長帯域の光を受光する画素ＰｉｊをＲ画素という。同様に、緑色の波長帯域の光を受光する画素ＰｉｊをＧ画素、青色の波長帯域の光を受光する画素ＰｉｊをＢ画素、緑色の波長帯域の光と青色の波長帯域の光とを受光する画素ＰｉｊをＣｙ画素という。なお、以下においては、Ｒ画素、Ｇ画素およびＢ画素が原色画素とし、Ｃｙ画素を補色画素として説明する。
　図４に示すようにフィルタユニットＵ１は、青色（Ｂ）の波長帯域ＨＢ、緑色（Ｇ）の波長帯域ＨＧおよび赤色（Ｒ）の波長帯域ＨＲの光を透過する。ここで、青色、緑色および赤色の波長帯域ＨＢ，ＨＧおよびＨＲは、波長帯域ＨＢが３９０ｎｍ～５００ｎｍ、波長帯域ＨＧが５００ｎｍ～６００ｎｍ、波長帯域ＨＲが６００ｎｍ～７００ｎｍである。また、フィルタユニットＵ１は、赤色の波長帯域ＨＲの光を透過するＲフィルタと、緑色の波長帯域ＨＧの光を透過するＧフィルタと、青色の波長帯域ＨＢの光を透過するＢフィルタと、青色の波長帯域の光および緑色の波長帯域の光を透過するＣｙフィルタと、を有する。具体的には、フィルタユニットＵ１は、Ｃｙフィルタが全体の１／２の割合（８つ）で市松状に配置され、Ｇフィルタが全体の１／４の割合（４つ）で配置され、ＢフィルタおよびＲフィルタの各々が１／８（２つ）の割合で配置されている。
　〔各フィルタの透過特性〕
　次に、カラーフィルタ２０２を構成する各フィルタの透過特性について説明する。図５は、カラーフィルタ２０２を構成する各フィルタの透過特性の一例を示す図である。図５において、各フィルタの透過率の最大値が等しくなるように透過率曲線を模擬的に規格化している。図５において、曲線ＬＢがＢフィルタの透過率曲線を示し、曲線ＬＧがＧフィルタの透過率曲線を示し、曲線ＬＲがＲフィルタの透過率曲線を示し、曲線ＬＣｙがＣｙフィルタの透過率曲線を示す。また、図５において、横軸が波長を示し、縦軸が透過率を示す。
　図５に示すように、Ｂフィルタは、波長帯域ＨＢの光を透過する。Ｃｙフィルタは、波長帯域ＨＢおよび波長帯域ＨＧそれぞれの光を透過し、波長帯域ＨＲの光を吸収（遮光）する。即ち、Ｃｙフィルタは、補色であるシアン色の波長帯域の光を透過する。Ｇフィルタは、波長帯域ＨＧの光を透過する。Ｒフィルタは、波長帯域ＨＲの光を透過する。なお、本明細書において、補色とは、波長帯域ＨＢ，ＨＧ，ＨＲのうち少なくとも二つの波長帯域を含む光により構成される色のことをいう。
　このように構成された内視鏡装置１は、内視鏡２を介して光源部３によって照明光が照射された被写体を内視鏡２で撮像し、内視鏡２で生成された撮像信号をプロセッサ部４で各種信号処理を施してカラー画像を生成して表示部５に表示する。この場合において、光源駆動切り替え部４４１は、入力部４２から同時式を指示する指示信号が入力された場合、光源部３に同時式で照明光を照射させる一方、入力部４２から面順次式を指示する指示信号が入力された場合、光源部３に面順次式で照明光を照射させる。このとき、画像処理制御部４４２は、光源駆動切り替え部４４１が切り替えた光源部３の方式に基づいて、画像処理部４１による補間処理の方法を切り替える。具体的には、画像処理制御部４４２は、光源部３の方式が同時式の場合、撮像部２０が生成した撮像信号に対して同時式画像生成部４１１に補間処理を行わせて出力画像を生成させて表示部５へ出力させる一方、光源部３の方式が面順次式の場合、撮像部２０が生成した撮像信号に対して面順次式画像生成部４１２に補間処理を実行させて出力画像を生成させて表示部５へ出力させる。
　以上説明した本発明の実施の形態１によれば、光源部３の方式が同時式の場合、画像処理制御部４４２が撮像部２０によって生成された撮像信号に対して同時式画像生成部４１１に補間処理を行わせて出力画像を生成させて表示部５へ出力させる一方、光源部３の方式が面順次式の場合、画像処理制御部４４２が撮像部２０によって生成された撮像信号に対して面順次式画像生成部４１２に補間処理を実行させて出力画像を生成させて表示部５へ出力させるので、原色画素および補色画素が混在したカラーフィルタ２０２を配置した撮像素子２０１を用いて撮像する場合であっても、同時式で撮像した色ズレのない出力画像および面順次式で撮像した色分離および解像度に優れた出力画像を生成することができる。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。本実施の形態２は、上述した実施の形態１と構成および処理が異なる。以下においては、本実施の形態２に係る内視鏡装置の構成を説明後、内視鏡装置が実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
　〔内視鏡装置の構成〕
　図６は、本発明の実施の形態２に係る内視鏡装置の概略構成を示す模式図である。図６に示す内視鏡装置１Ａは、被検体に挿入することによって観察部位の体内画像を撮像して撮像信号を生成する内視鏡２Ａと、内視鏡２Ａの先端から出射する照明光を発生する光源部３Ａと、プロセッサ部４と、表示部５と、を備える。医師等の使用者は、表示部５で表示された体内画像の観察を行うことによって、検出対象部位である出血部位、腫瘍部位（病変部Ｓ）および異常部位それぞれの有無を検査する。
　〔内視鏡の構成〕
　まず、内視鏡２Ａの構成について説明する。
　内視鏡２Ａは、撮像光学系２００と、撮像素子２０１と、カラーフィルタ２０２と、ライトガイド２０３と、照明用レンズ２０４と、Ａ／Ｄ変換部２０５と、撮像情報記憶部２０６と、操作部２０７と、を備える。
　撮像光学系２００は、少なくとも観察部位からの光を集光する。撮像光学系２００は、一または複数のレンズを用いて構成される。なお、撮像光学系２００には、画角を変化させる光学ズーム機構および焦点を変化させるフォーカス機構を設けてもよい。
　ライトガイド２０３は、グラスファイバ等を用いて構成され、光源部３Ａが出射した光の導光路をなす。
　照明用レンズ２０４は、ライトガイド２０３の先端に設けられ、ライトガイド２０３によって、導光された光を拡散して内視鏡２Ａの先端から外部に出射する。照明用レンズ２０４は、一または複数のレンズを用いて構成される。
　Ａ／Ｄ変換部２０５は、撮像素子２０１が生成したアナログの撮像信号をＡ／Ｄ変換し、この変換したデジタルの撮像信号をプロセッサ部４へ出力する。
　撮像情報記憶部２０６は、内視鏡２Ａを動作させるための各種プログラム、内視鏡２Ａの動作に必要な各種パラメータおよび内視鏡２Ａの識別情報を含むデータを記憶する。また、撮像情報記憶部２０６は、識別情報を記録する識別情報記憶部２６１を有する。識別情報には、内視鏡２Ａの固有情報（ＩＤ）、年式、スペック情報、伝送方式およびカラーフィルタ２０２におけるフィルタの配列情報等が含まれる。撮像情報記憶部２０６は、フラッシュメモリ等を用いて実現される。
　操作部２０７は、内視鏡２Ａの動作を切り替える指示信号や光源部３Ａに照明光の切替動作を行わせるための指示信号等の入力を受け付け、この受け付けた指示信号をプロセッサ部４へ出力する。操作部２０７は、スイッチ、ジョグダイヤル、ボタンおよびタッチパネル等を用いて構成される。
　〔光源部の構成〕
　次に、光源部３Ａの構成について説明する。光源部３Ａは、照明部３１と、照明制御部３２と、を備える。
　照明部３１は、照明制御部３２の制御のもと、波長帯域が互いに異なる照明光をライトガイド２０３へ出射する。照明部３１は、光源３１ａと、光源ドライバ３１ｂと、切替フィルタ３１ｃと、駆動部３１ｄと、駆動ドライバ３１ｅと、を有する。
　光源３１ａは、照明制御部３２の制御のもと、照明光を出射する。光源３１ａが出射した照明光は、切替フィルタ３１ｃや、集光レンズ３１ｆおよびライトガイド２０３を経由して内視鏡２Ａの先端から外部に出射される。光源３１ａは、互いに異なる波長帯域の光を照射する複数のＬＥＤランプまたは複数のレーザ光源を用いて実現される。具体的には、光源３１ａは、ＬＥＤ３１ａ＿Ｂ、ＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒの３つのＬＥＤランプを用いて構成される。
　図７は、光源３１ａが出射する各光の分光特性の一例を示す図である。図７において、横軸が波長を示し、縦軸が強度を示す。図７において、曲線ＬＬＥＤＢがＬＥＤ３１ａ＿Ｂによって照射される青色の照明光の分光特性を示し、曲線ＬＬＥＤＧがＬＥＤ３１ａ＿Ｇによって照射される緑色の照明光の分光特性を示し、曲線ＬＬＥＤＲがＬＥＤ３１ａ＿Ｒによって照射される赤色の照明光の分光特性を示す。
　図７の曲線ＬＬＥＤＢに示すように、ＬＥＤ３１ａ＿Ｂは、青色の波長帯域ＨＢ（例えば３８０ｎｍ～４８０ｎｍ）にピーク強度を有する。また、図７の曲線ＬＬＥＤＧに示すように、ＬＥＤ３１ａ＿Ｇは、緑色の波長帯域ＨＧ（例えば４８０ｎｍ～５８０ｎｍ）にピーク強度を有する。さらに、図７の曲線ＬＬＥＤＲに示すように、ＬＥＤ３１ａ＿Ｒは、赤色の波長帯域ＨＲ（例えば５８０ｎｍ～６８０ｎｍ）にピーク強度を有する。
　図６に戻り、内視鏡装置１Ａの構成の説明を続ける。
　光源ドライバ３１ｂは、照明制御部３２の制御のもと、光源３１ａに対して電流を供給することによって、光源３１ａに照明光を出射させる。
　切替フィルタ３１ｃは、光源３１ａが出射する照明光の光路上に挿脱自在に配置されてなり、光源３１ａが出射した照明光のうち所定の波長帯域の光を透過する。具体的には、切替フィルタ３１ｃは、青色の狭帯域光および緑色の狭帯域光を透過する。即ち、切替フィルタ３１ｃは、照明光の光路上に配置された場合、２つの狭帯域光を透過する。より具体的には、切替フィルタ３１ｃは、波長帯域ＨＢに含まれる狭帯域ＴＢ（例えば、３９０ｎｍ～４４５ｎｍ）の光と、波長帯域ＨＧに含まれる狭帯域ＴＧ（例えば、５３０ｎｍ～５５０ｎｍ）の光と、を透過する。
　図８は、光源部３Ａが出射する狭帯域光の分光特性の一例を示す図である。図８において、横軸が波長を示し、縦軸が強度を示す。また、図８において、曲線ＬＮＢが切替フィルタ３１ｃを透過した狭帯域ＴＢにおける狭帯域光の分光特性を示し、曲線ＬＮＧが切替フィルタ３１ｃを透過した狭帯域ＴＧにおける狭帯域光の分光特性を示す。
　図８の曲線ＬＮＢおよび曲線ＬＮＧに示すように、切替フィルタ３１ｃは、青色の狭帯域ＴＢの光および緑色の狭帯域ＴＧの光を透過する。切替フィルタ３１ｃを透過した光は、狭帯域ＴＢおよび狭帯域ＴＧからなる狭帯域照明光となる。この狭帯域ＴＢ，ＴＧは、血液中のヘモグロビンに吸収されやすい青色光および緑色光の波長帯域である。この狭帯域照明光による画像の観察を狭帯域光観察方式（ＮＢＩ方式）という。
　図６に戻り、内視鏡装置１Ａの構成の説明を続ける。
　駆動部３１ｄは、ステッピングモータやＤＣモータ等を用いて構成され、照明制御部３２の制御のもと、切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上に挿入または光路上から退避させる。具体的には、駆動部３１ｄは、照明制御部３２の制御のもと、内視鏡装置１Ａが白色光観察方式（ＷＬＩ方式）を行う場合、切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上から退避させる一方、内視鏡装置１が狭帯域光観察方式（ＮＢＩ方式）を行う場合、切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上に挿入（配置）する。
　駆動ドライバ３１ｅは、照明制御部３２の制御のもと、駆動部３１ｄに所定の電流を供給する。
　集光レンズ３１ｆは、光源３１ａが発した照明光を集光してライトガイド２０３へ出射する。また、集光レンズ３１ｆは、切替フィルタ３１ｃを透過した照明光を集光してライトガイド２０３へ出射する。集光レンズ３１ｆは、一または複数のレンズを用いて構成される。
　照明制御部３２は、ＣＰＵ等を用いて構成される。照明制御部３２は、プロセッサ部４から入力される指示信号に基づいて、光源ドライバ３１ｂを制御して光源３１ａをオンオフ動作させる。また、照明制御部３２は、プロセッサ部４から入力される指示信号に基づいて、駆動ドライバ３１ｅを制御して切替フィルタ３１ｃを光源３１ａが出射する照明光の光路上に挿入したり、退避させたりすることによって、照明部３１が出射する照明光の種類（帯域）を制御する。具体的には、照明制御部３２は、面順次式の場合、光源３１ａの少なくとも２つのＬＥＤランプを個別に点灯させる一方、同時式の場合、光源３１ａの少なくとも２つのＬＥＤランプを同時に点灯させることによって、照明部３１から出射される照明光を、面順次式および同時式のいずれか一方に切り替える制御を行う。
　〔照明制御部による照明部の点灯制御〕
　次に、照明制御部３２による照明部３１の点灯制御について説明する。
　図９は、照明制御部３２が同時式の白色光観察時に行う照明部３１の点灯制御を模式的に示す図である。図１０は、照明制御部３２が同時式の狭帯域光観察時に行う照明部３１の点灯制御を模式的に示す図である。図１１は、照明制御部３２が面順次式の白色光観察時に行う照明部３１の点灯制御を模式的に示す図である。図１２は、照明制御部３２が面順次式の狭帯域光観察時に行う照明部３１の点灯制御を模式的に示す図である。図９～図１２において、横軸が時間を示し、縦軸が各ＬＥＤの点灯タイミングを示す。
　図９に示すように、照明制御部３２は、内視鏡装置１Ａが同時式の白色光観察に行う場合、ＬＥＤ３１ａ＿Ｂ、ＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒを同時に所定の間隔で点灯させる。また、図１０に示すように、照明制御部３２は、内視鏡装置１Ａが同時式の狭帯域光観察を行う場合、ＬＥＤ３１ａ＿ＢおよびＬＥＤ３１ａ＿Ｇを所定の間隔で同時に点灯させる。
　図１１に示すように、照明制御部３２は、内視鏡装置１Ａが面順次式の白色光観察を行う場合、ＬＥＤ３１ａ＿Ｂのみを点灯させる第１の期間と、ＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒを点灯させる第２の期間と、を交互に繰り返させてＬＥＤ３１ａ＿Ｂ、ＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒの各々を個別のタイミングで点灯させる。また、図１２に示すように、照明制御部３２は、内視鏡装置１Ａが面順次式の狭帯域光観察を行う場合、ＬＥＤ３１ａ＿Ｂのみを点灯させる第１の期間と、ＬＥＤ３１ａ＿Ｇのみを点灯させる第２の期間と、を交互に繰り返させてＬＥＤ３１ａ＿ＢおよびＬＥＤ３１ａ＿Ｇの各々を個別のタイミングで点灯させる。
　〔内視鏡装置の処理〕
　次に、内視鏡装置１Ａが実行する処理について説明する。
　図１３は、内視鏡装置１Ａが実行する処理の概要を示すフローチャートである。
　図１３に示すように、まず、内視鏡２Ａ、光源部３Ａおよびプロセッサ部４の各々が接続され、撮像を開始する準備が整うと、制御部４４は、光源部３Ａの駆動方式や観察方式、および撮像素子２０１の撮像に関する撮像設定の読み込みを行う（ステップＳ１０１）。
　続いて、光源駆動切り替え部４４１は、観察方式が白色光観察であるか否かを判断し（ステップＳ１０２）、観察方式が白色光観察である場合（ステップＳ１０２：Ｙｅｓ）、光源駆動切り替え部４４１は、照明制御部３２を介して駆動部３１ｄを駆動することによって切替フィルタ３１ｃを光源３１ａによって照射される照明光の光路上から退避させる（ステップＳ１０３）。これに対して、観察方式が白色光観察でない場合（ステップＳ１０２：Ｎｏ）、光源駆動切り替え部４４１は、照明制御部３２を介して駆動部３１ｄを駆動することによって切替フィルタ３１ｃを光源３１ａによって照射される照明光の光路上に挿入する（ステップＳ１０４）。
　ステップＳ１０３またはステップＳ１０４の後、光源駆動切り替え部４４１は、光源部３Ａに上述したステップＳ１０１で設定された方式で照明光を出射させる（ステップＳ１０５）。
　続いて、内視鏡２Ａは、光源部３Ａによって照明光が照射された被検体の撮像を行う（ステップＳ１０６）。
　その後、画像処理制御部４４２は、光源部３Ａの方式が同時式であるか否かを判断し（ステップＳ１０７）、光源部３Ａの方式が同時式である場合（ステップＳ１０７：Ｙｅｓ）、画像処理制御部４４２は、同時式画像生成部４１１に内視鏡２Ａが生成した撮像信号を用いて出力画像を生成させる同時式画像生成処理を実行させる（ステップＳ１０８）。ステップＳ１０８の後、内視鏡装置１Ａは、後述するステップＳ１１０へ移行する。なお、同時式画像生成処理の詳細は後述する。
　ステップＳ１０７において、光源部３Ａの方式が同時式でない場合（ステップＳ１０７：Ｎｏ）、画像処理制御部４４２は、面順次式画像生成部４１２に内視鏡２Ａが生成した撮像信号を用いて出力画像を生成させる面順次式画像生成処理を実行させる（ステップＳ１０９）。ステップＳ１０９の後、内視鏡装置１Ａは、後述するステップＳ１１０へ移行する。なお、面順次式画像生成処理の詳細は後述する。
　続いて、同時式画像生成部４１１または面順次式画像生成部４１２が生成した出力画像を表示部５へ出力する（ステップＳ１１０）。ステップＳ１１０の後、内視鏡装置１Ａは、本処理を終了する。
　〔同時式画像生成処理の詳細〕
　次に、上述したステップＳ１０８で説明した同時式画像生成処理の詳細について説明する。
　まず、内視鏡装置１Ａの白色光観察時に同時式画像生成部４１１が行う同時式画像生成処理について説明する。図１４は、内視鏡装置１Ａの白色光観察時に同時式画像生成部４１１が行う同時式画像生成処理の概要を示す模式図である。
　図１４に示すように、同時式画像生成部４１１は、内視鏡２Ａが生成した原色画素および補色画素が混在した撮像信号に対応する画像Ｆ１に対して、最も画素数の多いＣｙ画素の画像ＦＣｙ１を用いて補間処理を行うことによってＣｙ画素のＣｙ補間画像ＦＣｙ２を生成する。そして、同時式画像生成部４１１は、図１４に示すように、Ｃｙ補間画像ＦＣｙ２（ガイド画像）の情報をガイドとして、画像ＦＧ１、画像ＦＢ１および画像ＦＲ１の各々に対して補間処理を行うことによってＢ補間画像ＦＧ２、Ｇ補間画像ＦＢ２およびＲ補間画像ＦＲ２の各々を生成する。ここで、ガイド画像を用いた補間処理としては、既知のジョイントバイラテラル補間処理およびガイデッドフィルタ補間処理等である。
　次に、内視鏡装置１Ａの狭帯域光観察時に同時式画像生成部４１１が行う同時式画像生成処理について説明する。図１５は、内視鏡装置１Ａの狭帯域光観察時に同時式画像生成部４１１が行う同時式画像生成処理の概要を示す模式図である。
　図１５に示すように、同時式画像生成部４１１は、内視鏡２Ａが生成した原色画素および補色画素が混在した撮像信号に対応する画像Ｆ１０に対して、最も画素数の多いＣｙ画素の画像ＦＣｙ１を用いて補間処理を行うことによってＣｙ画素のＣｙ補間画像ＦＣｙ２を生成する。そして、同時式画像生成部４１１は、図１５に示すように、Ｃｙ補間画像ＦＣｙ２（ガイド画像）の情報をガイドとして、画像ＦＧ１および画像ＦＢ１の各々に対して補間処理を行うことによってＢ補間画像ＦＧ２およびＧ補間画像ＦＢ２の各々を生成する。狭帯域光観察では、図１５に示すように、赤色の波長帯域ＨＲの照明光がないため、Ｒ画素が信号値を取得することができないうえ、Ｂ補間画像ＦＧ２およびＧ補間画像ＦＢ２の各々を疑似カラー画像として出力する。このため、同時式画像生成部４１１は、Ｒ補間画像ＦＲ２の生成を行わない。
　このように、同時式画像生成部４１１は、１フレームに対応する撮像信号からＧ補間画像およびＢ補間画像を生成する。この結果、同時式画像生成部４１１が出力する出力画像は、原理的に色ずれが発生することを防止することができる。
　〔面順次式画像生成処理の詳細〕
　次に、上述したステップＳ１０９で説明した面順次式画像生成処理の詳細について説明する。なお、面順次式画像生成部４１２が行う面順次式画像生成処理は、１フレーム毎に異なるため、１フレーム毎に面順次式画像処理について説明する。
　まず、内視鏡装置１Ａの白色光観察時に面順次式画像生成部４１２が行う面順次式画像生成処理について説明する。図１６は、内視鏡装置１Ａの白色光観察時にＬＥＤ３１ａ＿Ｂによって照明光が照射された際の面順次式画像生成部４１２が行う面順次式画像生成処理の概要を示す模式図である。図１７は、内視鏡装置１Ａの白色光観察時にＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒによって照明光が照射された際の面順次式画像生成部４１２が行う面順次式画像生成処理の概要を示す模式図である。
　図１６に示すように、光源部３ＡでＬＥＤ３１ａ＿Ｂのみを照射するフレームの撮像信号に対応する画像Ｆ２０では、画像情報（信号値）を得られる画素がＣｙ画素およびＢ画素のみである。Ｃｙ画素は、青色の波長帯域ＨＢのみ感度を有するため、Ｃｙ画素をＢ画素とみなすことができる。面順次式画像生成部４１２は、Ｇ画素およびＲ画素の各々の画像情報を取得することができない。このため、面順次式画像生成部４１２は、画像ＦＢ２１および画像ＦＢ１を用いて、既知のバイリニア補間処理、キュービック補間処理および方向判別補間処理等の補間処理を行うことによって全画画素の位置にＢ情報の画像情報を有するＢ補間画像ＦＢ２２を生成する。
　また、図１７に示すように、光源部３ＡでＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒのみを照射するフレームの撮像信号に対応する画像Ｆ３０では、画像情報（信号値）を得られる画素がＣｙ画素、Ｇ画素およびＲ画素のみである。Ｃｙ画素は、緑色の波長帯域ＨＧの感度を有するため、Ｃｙ画素をＧ画素とみなすことができる。面順次式画像生成部４１２は、画像ＦＧ３２を用いて、上述した光源部３ＡでＬＥＤ３１ａ＿Ｂのみを照射するフレームと同様の補間処理を行うことによって、全画画素の位置にＧ情報の画像情報を有するＧ補間画像ＦＧ３３を生成する。さらに、面順次式画像生成部４１２は、画像ＦＲ１を用いて、上述した光源部３ＡでＬＥＤ３１ａ＿Ｂのみを照射するフレームと同様の補間処理を行うことによって、全画画素の位置にＲ情報の画像情報を有するＲ補間画像ＦＲ３３を生成する。
　そして、面順次式画像生成部４１２は、光源部３ＡでＬＥＤ３１ａ＿Ｂのみを照射するフレームのＢ補間画像ＦＢ２２、光源部３ＡでＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒのみを照射するフレームのＧ補間画像ＦＧ３３およびＲ補間画像ＦＲ３３を用いて出力画像を生成して表示部５へ出力する。
　次に、内視鏡装置１Ａの狭帯域光観察時に面順次式画像生成部４１２が行う面順次式画像生成処理について説明する。図１８は、内視鏡装置１Ａの狭帯域光観察時にＬＥＤ３１ａ＿Ｂによって照明光が照射された際の面順次式画像生成部４１２が行う面順次式画像生成処理の概要を示す模式図である。図１９は、内視鏡装置１Ａの狭帯域光観察時にＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒによって照明光が照射された際の面順次式画像生成部４１２が行う面順次式画像生成処理の概要を示す模式図である。
　図１８に示すように、光源部３ＡでＬＥＤ３１ａ＿Ｂのみを照射するフレームの撮像信号に対応する画像Ｆ３０では、画像情報（信号値）を得られる画素がＣｙ画素およびＢ画素のみである。Ｃｙ画素は、青色の波長帯域ＨＢのみ感度を有するため、Ｃｙ画素をＢ画素とみなすことができる。面順次式画像生成部４１２は、Ｇ画素およびＲ画素の各々の画像情報を取得することができない。このため、面順次式画像生成部４１２は、画像ＦＢ２１および画像ＦＢ１を用いて、既知のバイリニア補間処理、キュービック補間処理および方向判別補間処理等の補間処理を行うことによって全画画素の位置にＢ情報の画像情報を有するＢ補間画像ＦＢ２２を生成する。
　また、図１９に示すように、光源部３ＡでＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒのみを照射するフレームの撮像信号に対応する画像Ｆ４０では、画像情報（信号値）を得られる画素がＣｙ画素およびＧ画素のみである。Ｃｙ画素は、緑色の波長帯域ＨＧの感度を有するため、Ｃｙ画素をＧ画素とみなすことができる。面順次式画像生成部４１２は、画像ＦＧ３２を用いて、上述した光源部３ＡでＬＥＤ３１ａ＿Ｂのみを照射するフレームと同様の補間処理を行うことによって、全画画素の位置にＧ情報の画像情報を有するＧ補間画像ＦＧ３３を生成する。
　そして、面順次式画像生成部４１２は、光源部３ＡでＬＥＤ３１ａ＿Ｂのみを照射するフレームのＢ補間画像ＦＢ２３および光源部３ＡでＬＥＤ３１ａ＿Ｇのみを照射するフレームのＧ補間画像ＦＧ３３を用いて疑似カラーの出力画像を生成して表示部５へ出力する。
　このように、面順次式画像生成部４１２は、光源部３ＡでＬＥＤ３１ａ＿Ｂ、ＬＥＤ３１ａ＿ＧおよびＬＥＤ３１ａ＿Ｒの各々が別のフレームで照射されるため、同時式画像生成部４１１が生成した出力画像に比べて色分離性能が優れた出力画像を生成することができる。
　さらに、面順次式画像生成部４１２は、Ｃｙ画素をＢ画素またはＧ画素としてみなして補間処理を行うため、同時式画像生成部４１１の処理に比べて補正処理により算出する必要がある画素の数が少ないので、補間処理も高精度に行うことができる。即ち、面順次式画像生成部４１２は、同時式画像生成部４１１が生成した出力画像に比べて解像度が優れた出力画像を生成することができる。面順次式画像生成部４１２によって生成された出力画像の解像度が優れる理由は、撮像素子２０１上に補色フィルタが多く配置されているからである。このため、一般的なベイヤ配列では、解像度を向上させることができない。
　以上説明した本発明の実施の形態２によれば、白色光観察方式および狭帯域光観察方式を行う場合において、原色画素および補色画素が混在した撮像素子を用いるときであっても、同時式で撮像した色ズレのない出力画像および面順次式で撮像した色分離および解像度に優れた出力画像を生成することができる。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。本実施の形態３は、上述した実施の形態２に係る内視鏡装置１Ａと構成が異なる。具体的には、本実施の形態３は、撮像信号に基づいて、内視鏡の状況を検出し、この検出結果に応じて面順次式および同時式のどちらか一方に切り替える。以下においては、本実施の形態３に係る内視鏡装置の構成を説明後、本実施の形態３に係る内視鏡装置が実行する処理について説明する。なお、上述した実施の形態２と同一の構成には同一の符号を付して説明を省略する。
　〔内視鏡装置の構成〕
　図２０は、本発明の実施の形態３に係る内視鏡装置の概略構成を示す模式図である。図２０に示す内視鏡装置１Ｂは、上述した実施の形態２に係るプロセッサ部４に換えて、プロセッサ部４Ｂを備える。プロセッサ部４Ｂは、上述した実施の形態２に係る制御部４４に換えて、制御部４４Ｂを備える。
　制御部４４Ｂは、上述した実施の形態２に係る制御部４４の構成に加えて、シーン情報検出部４４３をさらに備える。
　シーン情報検出部４４３は、内視鏡２Ａが生成した撮像信号に基づいて、動き量を検出する。例えば、シーン情報検出部４４３は、内視鏡２Ａが生成した時間的に前後する撮像信号に基づいて、内視鏡２が撮像しているシーンの動き量を検出する。
　〔内視鏡装置の処理〕
　次に、内視鏡装置１Ｂが実行する処理について説明する。
　図２１は、内視鏡装置１Ｂが実行する処理の概要を示すフローチャートである。図２１において、ステップＳ２０１～ステップＳ２０６は、上述した図１３のステップＳ１０１～ステップＳ１０６それぞれに対応する。
　ステップＳ２０７において、シーン情報検出部４４３は、前フレームの撮像情報と現フレームの撮像情報のフレーム間の差分を算出し、算出した動き量と予め設定された閾値とを比較し（ステップＳ２０７）、シーン情報検出部４４３によって動き量が予め設定された閾値以上であると判断された場合（ステップＳ２０７：Ｙｅｓ）、光源駆動切り替え部４４１は、次フレームの光源駆動方式として同時式を選択する（ステップＳ２０８）。ステップＳ２０８の後、内視鏡装置２Ｂは、後述するステップＳ２１０へ移行する。これに対して、シーン情報検出部４４３によって動き量が予め設定された閾値以上でないと判断された場合（ステップＳ２０７：Ｎｏ）、光源駆動切り替え部４４１は、次フレームの光源駆動方式として面順次式を選択する（ステップＳ２０９）。ステップＳ２０９の後、内視鏡装置２Ｂは、後述するステップＳ２１０へ移行する。
　ステップＳ２１０において、光源駆動切り替え部４４１は、次フレームの光源駆動方式を記憶部４３に保存する。ステップＳ２１０の後、内視鏡装置２Ｂは、ステップＳ２１１へ移行する。
　ステップＳ２１１において、現フレームの光源駆動方式が同時式である場合（ステップＳ２１１：Ｙｅｓ）、内視鏡装置１Ｂは、ステップＳ２１２へ移行し、現フレームの光源駆動方式が同時式でない場合（ステップＳ２１１：Ｎｏ）、内視鏡装置１Ｂは、ステップＳ２１３へ移行する。
　ステップＳ２１２～ステップＳ２１４は、上述した図１３のステップＳ１０８～ステップＳ１１０それぞれに対応する。ステップＳ２１４の後、内視鏡装置２Ｂは、本処理を終了する。
　以上説明した本発明の実施の形態３によれば、白色光観察方式および狭帯域光観察方式を行う場合において、原色画素および補色画素が混在した撮像素子を用いるときであっても、同時式および面順次式のどちらも優れた画質の画像を生成することができる。
　また、本発明の実施の形態３によれば、光源駆動切り替え部４４１がシーン情報検出部４４３によって検出された動き量に応じて、光源部３Ａの方式を切り替えるので、ユーザによる切り替え操作を省略することができる。
　なお、本発明の実施の形態３では、シーン情報検出部４４３が動き量を検出していたが、これに限定されることない。例えば、シーン情報検出部４４３は、内視鏡２Ａが生成した撮像信号に対してエッジ抽出処理を行うことによってエッジ量を検出してもよい。この場合、光源駆動切り替え部４４１は、シーン情報検出部４４３が検出したエッジ量が予め設定された閾値以上である場合、即ち、内視鏡２Ａが撮像するシーンにおいて動きが少なく異常箇所、例えば病変等の観察を行っている可能性が高いため、光源部３Ａに面順次式を実行させる一方、シーン情報検出部４４３が検出したエッジ量が予め設定された閾値以上でない場合、光源部３Ａに同時式を実行させる。
　また、本発明の実施の形態３では、シーン情報検出部４４３が内視鏡２Ａによって生成された撮像信号に対応する画像に含まれる異常領域を自動で検出してもよい。例えば、シーン情報検出部４４３は、内視鏡２Ａによって生成された撮像信号に対応する画像に対して、予め学習された異常領域のモデルやパターンマッチングを用いて、内視鏡２Ａによって連続的に生成される撮像信号に対応する画像に対して、異常領域があるか否かを検出してもよい。ここで、異常領域とは、病変領域、出血領域および所定の閾値以上の輝度や彩度を有する領域である。光源駆動切り替え部４４１は、シーン情報検出部４４３が異常領域を検出した場合、即ち、内視鏡２Ａが撮像するシーンにおいて動きが少なく異常箇所、例えば病変等の観察を行っている可能性が高いため、光源部３Ａに面順次式を実行させる一方、シーン情報検出部４４３が異常領域を検出していない場合、光源部３Ａに同時式を実行させる。
　また、本発明の実施の形態３では、内視鏡２Ａによって生成された撮像信号に基づいて、内視鏡装置１Ａのシーンを検出していたが、これに限定されることなく、内視鏡２Ａの先端部（図示せず）に加速度センサやジャイロセンサ等の検出センサ（図示せず）を設け、シーン情報検出部４４３が検出センサによって検出された検出結果に基づいて、内視鏡２Ａの動き量を検出してもよい。この場合、光源駆動切り替え部４４１は、シーン情報検出部４４３が検出した動き量が予め設定された閾値以上である場合、光源部３Ａに同時式を実行させる一方、シーン情報検出部４４３が検出した動き量が予め設定された閾値以上でない場合、光源部３Ａに面順次式を実行させる。
　また、本発明の実施の形態３では、シーン情報検出部４４３が撮像光学系２００の焦点距離を検出してもよい。撮像光学系２００が２倍の拡大観察できる場合において、光源駆動切り替え部４４１は、シーン情報検出部４４３が検出した焦点距離が予め設定された閾値以上であるとき（例えば撮像光学系２００の焦点距離が２倍であり、内視鏡２Ａが拡大観察を行っているとき）、光源部３Ａに同時式を実行させる一方、シーン情報検出部４４３が検出した焦点距離が予め設定された閾値以上でないとき（（例えば撮像光学系２００の焦点距離が１倍であり、内視鏡２が通常観察を行っているとき）、撮像光学系２００が通常拡大観察の２倍を行っている）、光源部３Ａに面順次式を実行させる。
　また、本発明の実施の形態３では、シーン情報検出部４４３が処置具の使用状況を検出してもよい。この場合において、光源駆動切り替え部４４１は、シーン情報検出部４４３が処置具の使用を検出したとき、光源部３Ａに同時式を実行させる一方、シーン情報検出部４４３が処置具の使用を検出していないとき（撮像光学系２００が通常拡大観察の２倍を行っている）、光源部３Ａに面順次式を実行させる。
（その他の実施の形態）
　上述した実施の形態１～３では、カラーフィルタの構成を適宜変更することができる。図２２は、本実施の形態１～３の変形例に係るカラーフィルタの構成の一例を示す模式図である。図２２に示すように、カラーフィルタ２０２Ｃは、４×４で２次元格子状に並べられた１６個のフィルタからなるフィルタユニットＵ２を画素Ｐｉｊの配置に応じて並べられて配置したものである。具体的には、上述したカラーフィルタ２０２のＲフィルタに換えて、Ｍｇフィルタを配置したものである。Ｍｇ画素は、図２３の曲線ＬＭｇに示すように、青色の波長帯域ＨＢの光および赤色の波長帯域ＨＧの光を受光する。
　また、上述した実施の形態１～３では、光源部が照射する照明光の種類を４種類以上としてもよい。例えば、図２４の曲線ＬＬＥＤＶおよび曲線ＬＬＥＤＹに示すように、光源部を５つ以上のＬＥＤ、例えばバイオレットの波長帯域を照射可能な光源およびイエローの波長帯域を照射可能な光源をさらに追加してもよい。
　以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
　また、本願の実施形態では、軟性の内視鏡装置を例に説明したが、これに限定されることなく、硬性の内視鏡装置であっても適用することができる。もちろん、カプセル型内視鏡装置や顕微鏡装置であっても適用することができる。
　また、上記してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
　１，１Ａ，１Ｂ　内視鏡装置
　２，２Ａ　内視鏡
　３，３Ａ　光源部
　４，４Ｂ　プロセッサ部
　５　表示部
　２０　撮像部
　３１　照明部
　３１ａ　光源
　３１ｂ　光源ドライバ
　３１ｃ　切替フィルタ
　３１ｄ　駆動部
　３１ｅ　駆動ドライバ
　３１ｆ　集光レンズ
　３２　照明制御部
　４１　画像処理部
　４２　入力部
　４３　記憶部
　４４，４４Ｂ　制御部
　２００　撮像光学系
　２０１　撮像素子
　２０２，２０２ｃ　カラーフィルタ
　２０３　ライトガイド
　２０４　照明用レンズ
　２０５　Ａ／Ｄ変換部
　２０６　撮像情報記憶部
　２０７　操作部
　２６１　識別情報記憶部
　４１１　同時式画像生成部
　４１２　面順次式画像生成部
　４４１　光源駆動切り替え部
　４４２　画像処理制御部
　４４３　シーン情報検出部

Claims (12)

  1. 　少なくとも互いに波長帯域が異なる複数の光を同時に照射する同時式および、少なくとも互いに異なる波長帯域の複数の光の各々を個別に照射する面順次式のいずれか一方を行う光源部と、
    　２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成する撮像素子と、
    　赤色、緑色および青色のいずれか１つの波長帯域の光をそれぞれ透過する少なくとも１種類の原色フィルタと、緑色の波長帯域の光を透過し、かつ、赤色および青色のうち一方の波長帯域の光を透過する補色フィルタと、を有する複数のフィルタによって構成されたフィルタユニットを、前記複数の画素に対応させて配置してなるカラーフィルタと、
    　前記撮像信号に対して、少なくとも前記同時式または前記面順次式に応じた補間処理を行って出力画像を生成する画像処理部と、
    　前記光源部に対して、前記同時式および前記面順次式のどちらか一方に切り替える光源駆動切り替え部と、
    　前記光源駆動切り替え部が切り替えた結果に基づいて、前記画像処理部に前記補間処理の方法を切り替えさせて前記出力画像を生成させる画像処理制御部と、
    　を備えることを特徴とする内視鏡装置。
  2. 　前記光源部は、青色の波長帯域にピーク強度を有する青色光および緑色の波長帯域にピーク強度を有する緑色光の各々を照射可能であり、
    　前記光源駆動切り替え部は、前記光源部に対して前記面順次式を実行させる場合、前記光源部に前記青色光および前記緑色光を交互に照射させることを特徴とする請求項１に記載の内視鏡装置。
  3. 　前記画像処理部は、
    　前記補色フィルタが配置された前記画素の前記撮像信号をガイドにして前記補間処理を行う同時式画像生成部と、
    　前記補色フィルタが配置された前記画素の前記撮像信号を前記原色フィルタが配置された前記画素とみなして前記補間処理を行う面順次式画像生成部と、
    　を有し、
    　前記画像処理制御部は、前記光源部が前記同時式を行っている場合、前記同時式画像生成部に前記出力画像を生成させる一方、前記光源部が前記面順次式を行っている場合、前記面順次式画像生成部に前記出力画像を生成させることを特徴とする請求項１または２に記載の内視鏡装置。
  4. 　前記同時式および前記面順次式のどちらか一方を指示する指示信号の入力を受け付ける入力部をさらに備え、
    　前記光源駆動切り替え部は、前記指示信号に応じて、前記光源部の方式を切り替えることを特徴とする請求項１～３のいずれか一つに記載の内視鏡装置。
  5. 　当該内視鏡装置のシーンを検出するシーン情報検出部をさらに備え、
    　前記光源駆動切り替え部は、前記シーン情報検出部の結果に基づいて、前記光源部の方式を切り替えることを特徴とする請求項１～３のいずれか一つに記載の内視鏡装置。
  6. 　前記シーン情報検出部は、前記撮像信号に基づいて、動き量を検出し、
    　前記光源駆動切り替え部は、前記動き量が予め設定された閾値以上である場合、前記光源部に前記同時式を実行させる一方、前記動き量が予め設定された閾値以上でない場合、前記光源部に前記面順次式を実行させることを特徴とする請求項５に記載の内視鏡装置。
  7. 　前記シーン情報検出部は、前記撮像信号に基づいて、エッジ量を検出し、
    　前記光源駆動切り替え部は、前記エッジ量が予め設定された閾値以上である場合、前記光源部に前記面順次式を実行させる一方、前記エッジ量が予め設定された閾値以上でない場合、前記光源部に前記同時式を実行させることを特徴とする請求項５に記載の内視鏡装置。
  8. 　前記シーン情報検出部は、前記撮像信号に対応する画像に含まれる異常領域を検出し、
    　前記光源駆動切り替え部は、前記シーン情報検出部が前記異常領域を検出した場合、前記光源部に前記面順次式を実行させる一方、前記シーン情報検出部が前記異常領域を検出していない場合、前記光源部に前記同時式を実行させることを特徴とする請求項５に記載の内視鏡装置。
  9. 　前記撮像素子を先端部に有する内視鏡と、
    　前記先端部に設けられ、前記先端部の動きを検出する検出部と、
    　をさらに備え、
    　前記シーン情報検出部は、前記検出部が検出した検出結果に基づいて、前記内視鏡の動き量を検出し、
    　前記光源駆動切り替え部は、前記動き量が予め設定された閾値以上である場合、前記光源部に前記同時式を実行させる一方、前記動き量が予め設定された閾値以上でない場合、前記光源部に前記面順次式を実行させることを特徴とする請求項５に記載の内視鏡装置。
  10. 　焦点距離を変更可能であり、前記撮像素子の受光面に被写体像を結像する撮像光学系をさらに備え、
    　前記シーン情報検出部は、前記撮像光学系の前記焦点距離を検出し、
    　前記光源駆動切り替え部は、前記焦点距離が予め設定された閾値以上である場合、前記光源部に前記同時式を実行させる一方、前記焦点距離が予め設定された閾値以上でない場合、前記光源部に前記面順次式を実行させることを特徴とする請求項５に記載の内視鏡装置。
  11. 　少なくとも互いに波長帯域が異なる複数の光を同時に照射する同時式および、少なくとも互いに異なる波長帯域の複数の光の各々を個別に照射する面順次式のいずれか一方を行う光源部と、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成する撮像素子と、赤色、緑色および青色のいずれか１つの波長帯域の光をそれぞれ透過する少なくとも１種類の原色フィルタと、緑色の波長帯域の光を透過し、かつ、赤色および青色のうち一方の波長帯域の光を透過する補色フィルタと、を有する複数のフィルタによって構成されたフィルタユニットを、前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡装置が実行する画像処理方法であって、
    　前記撮像信号に対して、少なくとも前記同時式または前記面順次式に応じた補間処理を行って出力画像を生成して出力する画像処理ステップと、
    　前記光源部に対して、前記同時式と前記面順次式とを切り替える光源駆動切り替えステップと、
    　前記光源駆動切り替えステップで切り替えた結果に基づいて、前記画像処理ステップの前記補間処理の方法を切り替えさせて前記出力画像を生成させる画像処理制御ステップと、
    　を含むことを特徴とする画像処理方法。
  12. 　少なくとも互いに波長帯域が異なる複数の光を同時に照射する同時式および、少なくとも互いに異なる波長帯域の複数の光の各々を個別に照射する面順次式のいずれか一方を行う光源部と、２次元格子状に配置されてなる複数の画素がそれぞれ受光して光電変換することによって撮像信号を生成する撮像素子と、赤色、緑色および青色のいずれか１つの波長帯域の光をそれぞれ透過する少なくとも１種類の原色フィルタと、緑色の波長帯域の光を透過し、かつ、赤色および青色のうち一方の波長帯域の光を透過する補色フィルタと、を有する複数のフィルタによって構成されたフィルタユニットを、前記複数の画素に対応させて配置してなるカラーフィルタと、を備える内視鏡装置に、
    　前記撮像信号に対して、少なくとも前記同時式または前記面順次式に応じた補間処理を行って出力画像を生成して出力する画像処理ステップと、
    　前記光源部に対して、前記同時式と前記面順次式とを切り替える光源駆動切り替えステップと、
    　前記光源駆動切り替えステップで切り替えた結果に基づいて、前記画像処理ステップの前記補間処理の方法を切り替えさせて前記出力画像を生成させる画像処理制御ステップと、
    　を実行させることを特徴とするプログラム。
     
     
     
PCT/JP2017/036189 2017-10-04 2017-10-04 内視鏡装置、画像処理方法およびプログラム WO2019069414A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019546475A JPWO2019069414A1 (ja) 2017-10-04 2017-10-04 内視鏡装置、画像処理方法およびプログラム
PCT/JP2017/036189 WO2019069414A1 (ja) 2017-10-04 2017-10-04 内視鏡装置、画像処理方法およびプログラム
CN201780094903.2A CN111093459A (zh) 2017-10-04 2017-10-04 内窥镜装置、图像处理方法以及程序
US16/827,777 US10980409B2 (en) 2017-10-04 2020-03-24 Endoscope device, image processing method, and computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/036189 WO2019069414A1 (ja) 2017-10-04 2017-10-04 内視鏡装置、画像処理方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/827,777 Continuation US10980409B2 (en) 2017-10-04 2020-03-24 Endoscope device, image processing method, and computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2019069414A1 true WO2019069414A1 (ja) 2019-04-11

Family

ID=65994471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036189 WO2019069414A1 (ja) 2017-10-04 2017-10-04 内視鏡装置、画像処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10980409B2 (ja)
JP (1) JPWO2019069414A1 (ja)
CN (1) CN111093459A (ja)
WO (1) WO2019069414A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626962A (zh) * 2020-05-27 2020-09-04 重庆邮电大学 一种cmos内窥镜图像增强方法
WO2021152704A1 (ja) * 2020-01-28 2021-08-05 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
KR20210137307A (ko) * 2020-05-08 2021-11-17 고려대학교 산학협력단 오브젝트 크기 측정 방법 및 장치
KR20210137280A (ko) * 2020-05-07 2021-11-17 고려대학교 산학협력단 오브젝트 검출 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284959A (ja) * 2008-05-27 2009-12-10 Hoya Corp 内視鏡装置
JP2015116328A (ja) * 2013-12-18 2015-06-25 オリンパス株式会社 内視鏡装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5925169B2 (ja) 1983-01-20 1984-06-15 三井造船株式会社 鋼管水圧テスタのシ−ル方法
JPH0617394Y2 (ja) * 1984-02-24 1994-05-02 オリンパス光学工業株式会社 撮像素子を用いた内視鏡
JP2537172B2 (ja) * 1984-12-27 1996-09-25 株式会社東芝 カラ−画像入力装置
US20060241496A1 (en) * 2002-01-15 2006-10-26 Xillix Technologies Corp. Filter for use with imaging endoscopes
KR100592106B1 (ko) * 2005-04-12 2006-06-21 엠텍비젼 주식회사 개별 메모리 접근 허용 방법 및 장치
JP5355846B2 (ja) * 2006-05-08 2013-11-27 オリンパスメディカルシステムズ株式会社 内視鏡用画像処理装置
JP5452242B2 (ja) * 2010-01-15 2014-03-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP5467967B2 (ja) * 2010-08-19 2014-04-09 Ｈｏｙａ株式会社 内視鏡システム
JP5655543B2 (ja) * 2010-12-20 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム。
US8698885B2 (en) * 2011-02-14 2014-04-15 Intuitive Surgical Operations, Inc. Methods and apparatus for demosaicing images with highly correlated color channels
JP5687676B2 (ja) * 2012-10-23 2015-03-18 オリンパス株式会社 撮像装置及び画像生成方法
JP5738904B2 (ja) * 2013-01-28 2015-06-24 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US10210599B2 (en) * 2013-08-09 2019-02-19 Intuitive Surgical Operations, Inc. Efficient image demosaicing and local contrast enhancement
JP5925169B2 (ja) 2013-09-27 2016-05-25 富士フイルム株式会社 内視鏡システム及びその作動方法並びに内視鏡用光源装置
JP5932748B2 (ja) * 2013-09-27 2016-06-08 富士フイルム株式会社 内視鏡システム
JP6008812B2 (ja) * 2013-09-27 2016-10-19 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2015093295A1 (ja) * 2013-12-20 2015-06-25 オリンパス株式会社 内視鏡装置
JP5771677B2 (ja) * 2013-12-24 2015-09-02 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法
US10594996B2 (en) * 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
CN107005683A (zh) * 2014-11-28 2017-08-01 奥林巴斯株式会社 内窥镜装置
JP6392891B2 (ja) 2014-12-05 2018-09-19 オリンパス株式会社 撮像装置、内視鏡およびカプセル型内視鏡
JP6529518B2 (ja) 2014-12-15 2019-06-12 オリンパス株式会社 撮像装置およびカプセル型内視鏡
JPWO2016098171A1 (ja) * 2014-12-15 2017-09-28 オリンパス株式会社 撮像装置およびカプセル型内視鏡
JP6588043B2 (ja) 2015-02-10 2019-10-09 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
WO2016143134A1 (ja) * 2015-03-12 2016-09-15 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN107405093A (zh) * 2015-04-08 2017-11-28 奥林巴斯株式会社 图像处理装置、摄像装置、图像处理方法和程序
WO2017064760A1 (ja) 2015-10-13 2017-04-20 オリンパス株式会社 積層型撮像素子、画像処理装置、画像処理方法およびプログラム
JP6670844B2 (ja) * 2015-10-22 2020-03-25 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN108476309A (zh) * 2016-01-08 2018-08-31 奥林巴斯株式会社 图像处理装置、图像处理方法以及程序
WO2017158692A1 (ja) 2016-03-14 2017-09-21 オリンパス株式会社 内視鏡装置、画像処理装置、画像処理方法およびプログラム
WO2017183339A1 (ja) * 2016-04-21 2017-10-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2017221335A1 (ja) * 2016-06-21 2017-12-28 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN109788891A (zh) 2016-10-21 2019-05-21 奥林巴斯株式会社 内窥镜镜体、内窥镜处理器和内窥镜用适配器
JP6989619B2 (ja) * 2017-12-28 2022-01-05 富士フイルム株式会社 内視鏡画像取得システム及び内視鏡画像取得システムの作動方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009284959A (ja) * 2008-05-27 2009-12-10 Hoya Corp 内視鏡装置
JP2015116328A (ja) * 2013-12-18 2015-06-25 オリンパス株式会社 内視鏡装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021152704A1 (ja) * 2020-01-28 2021-08-05 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
KR20210137280A (ko) * 2020-05-07 2021-11-17 고려대학교 산학협력단 오브젝트 검출 방법 및 장치
KR102386673B1 (ko) * 2020-05-07 2022-04-18 고려대학교 산학협력단 오브젝트 검출 방법 및 장치
KR20210137307A (ko) * 2020-05-08 2021-11-17 고려대학교 산학협력단 오브젝트 크기 측정 방법 및 장치
KR102378497B1 (ko) * 2020-05-08 2022-03-30 고려대학교 산학협력단 오브젝트 크기 측정 방법 및 장치
CN111626962A (zh) * 2020-05-27 2020-09-04 重庆邮电大学 一种cmos内窥镜图像增强方法

Also Published As

Publication number Publication date
JPWO2019069414A1 (ja) 2020-11-05
US10980409B2 (en) 2021-04-20
US20200221942A1 (en) 2020-07-16
CN111093459A (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
US10159404B2 (en) Endoscope apparatus
US9326664B2 (en) Endoscope apparatus
JP6196900B2 (ja) 内視鏡装置
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
JP6471173B2 (ja) 画像処理装置、内視鏡装置の作動方法、画像処理プログラムおよび内視鏡装置
US10980409B2 (en) Endoscope device, image processing method, and computer readable recording medium
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
US20170251915A1 (en) Endoscope apparatus
EP3085299A1 (en) Endoscopic device
JP2017131559A (ja) 医療用撮像装置、医療用画像取得システム及び内視鏡装置
US11571111B2 (en) Endoscope scope, endoscope processor, and endoscope adaptor
US10285631B2 (en) Light source device for endoscope and endoscope system
WO2015194204A1 (ja) 内視鏡装置
JP7068438B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
WO2019180983A1 (ja) 内視鏡システム、画像処理方法およびプログラム
US20230066301A1 (en) Medical observation system, control device, and control method
US11774772B2 (en) Medical image processing device, medical observation system, and image processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17927936

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019546475

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17927936

Country of ref document: EP

Kind code of ref document: A1