WO2017154353A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2017154353A1
WO2017154353A1 PCT/JP2017/001295 JP2017001295W WO2017154353A1 WO 2017154353 A1 WO2017154353 A1 WO 2017154353A1 JP 2017001295 W JP2017001295 W JP 2017001295W WO 2017154353 A1 WO2017154353 A1 WO 2017154353A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correction
measurement
amount
correction value
Prior art date
Application number
PCT/JP2017/001295
Other languages
English (en)
French (fr)
Inventor
拓明 山本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP17762699.1A priority Critical patent/EP3427637A4/en
Publication of WO2017154353A1 publication Critical patent/WO2017154353A1/ja
Priority to US16/038,195 priority patent/US10925476B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G02B23/243—Objectives for endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008—Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled

Definitions

  • the present invention relates to an endoscope system for calculating a biological feature such as oxygen saturation of an observation target and an operation method thereof.
  • diagnosis is generally performed using an endoscope system including a light source device, an endoscope, and a processor device.
  • an endoscope system including a light source device, an endoscope, and a processor device.
  • signal processing such as spectral estimation processing on the image signal obtained by imaging the observation target
  • Patent Document 1 since the calculation accuracy of oxygen saturation is affected by various factors such as various parts such as the esophagus, stomach and large intestine, and differences between patients such as men and women, adults and children, this measurement is disclosed in Patent Document 1. Before performing, the oxygen saturation is pre-measured. In Patent Document 1, an oxygen saturation calculation used for calculating oxygen saturation is based on a correction value obtained from a difference between oxygen saturation obtained by pre-measurement and a predetermined reference value of oxygen saturation. The table is corrected. By performing such correction, it is possible to accurately calculate the oxygen saturation regardless of various parts.
  • the calculation accuracy of oxygen saturation is affected by blurring and blurring in the image signal as well as differences in various parts such as the esophagus and stomach. Furthermore, in the case of using image signals for a plurality of frames obtained by imaging the observation target at different timings in the oxygen saturation calculation process, positional deviation between frames and fluctuations in the amount of light between frames also occur. Affects the calculation accuracy of saturation.
  • Patent Document 1 even if measurement is performed in a region where a reference value of oxygen saturation can be obtained when performing pre-measurement, during measurement, blur, blur, misalignment between frames and frames
  • various fluctuation factors such as fluctuations in the amount of light occur
  • the oxygen saturation cannot be calculated accurately in the pre-measurement.
  • the oxygen saturation cannot be accurately calculated in the pre-measurement, the oxygen saturation cannot be accurately calculated in the main measurement. Accordingly, there has been a demand for accurate calculation of biometric features such as oxygen saturation even under conditions in which various fluctuation factors such as positional deviation between frames occur.
  • An object of the present invention is to provide an endoscope system capable of accurately calculating a biological feature amount such as oxygen saturation and a method for operating the same even under a situation in which various fluctuation factors such as positional deviation between frames occur. .
  • the present invention relates to a biometric feature amount calculation unit that performs a biometric feature amount calculation process for calculating a biometric feature amount based on a measurement multiframe image obtained by imaging an observation target at different timings, and a biometric feature amount calculation process.
  • An endoscope system having a correction unit that corrects content, an image acquisition unit that acquires at least one set of correction multi-frame images by imaging an observation target at different timings, and a correction multi-frame image
  • a correction image fluctuation amount calculation unit that calculates a correction image fluctuation amount indicating a fluctuation amount from the reference image state for the image state based on the correction, and a measurement correction used for correction in the correction unit based on the correction image fluctuation amount
  • a correction value calculation unit that calculates a temporary correction value that is a candidate for a value, a correction value storage unit that stores the correction image variation amount and the temporary correction value in association with each other, a measurement multiframe
  • a measurement image fluctuation amount calculation unit for calculating a measurement image fluctuation amount indicating a fluctuation amount from the reference image state for an image state based on the image, and a correction image fluctuation amount stored in the correction value storage unit and the measurement image
  • a correction value determining unit that compares the amount of fluctuation and determines a temporary correction value satisfying
  • the correction value determination unit determines the temporary correction value associated with the correction image variation amount closest to the measurement image variation amount as the measurement correction value as the temporary correction value satisfying the specific condition.
  • the correction value determination unit calculates a variation index value from the correction image variation amount and the measurement image variation amount, and when the variation amount index value falls within a specific range as a temporary correction value that satisfies a specific condition. It is preferable to determine a temporary correction value associated with the calculated correction image fluctuation amount as a measurement correction value.
  • the variation index value is preferably a difference between the correction image variation amount and the measurement image variation amount, or a ratio between the correction image variation amount and the measurement image variation amount.
  • the correction value determining unit preferably determines a predetermined default temporary correction value as the measurement correction value when there is no temporary correction value that satisfies the specific condition.
  • the correction image fluctuation amount calculation unit calculates the fluctuation amount in the correction image fluctuation amount calculation region of the correction multi-frame image as the correction image fluctuation amount, and the measurement image fluctuation amount calculation unit calculates the measurement multi-frame image. Of these, it is preferable to calculate the variation amount in the measurement image variation amount calculation region as the measurement image variation amount.
  • the correction value determination unit preferably compares the correction image variation amount and the measurement image variation amount in a region where the correction image variation amount calculation region and the measurement image variation amount calculation region overlap.
  • the correction image variation calculation unit calculates a correction image variation for each of a plurality of types of variation factors that cause variation with respect to the reference image state, and the measurement image variation calculation unit calculates the reference image state.
  • the measurement image fluctuation amount is calculated for each of multiple types of fluctuation factors that cause fluctuations, and the correction value determination unit compares the correction image fluctuation amount and the measurement image fluctuation amount for each type of fluctuation factor. It is preferable to do.
  • the variation factors include the positional deviation between the correction multiframe images or the positional deviation between the measurement multiframe images, the movement in the correction multiframe image or the movement in the measurement multiframe image, and the correction multiframe image.
  • the correction unit may perform at least one of correction of a calculation table used for calculation of a biometric feature amount, correction based on a measurement multiframe image, and correction of a biometric feature amount as correction of the content of the biometric feature amount calculation process. preferable.
  • the biometric feature amount calculation unit performs a biometric feature amount calculation process for calculating a biometric feature amount based on a measurement multiframe image obtained by imaging an observation target at different timings
  • the correction unit An operation method of an endoscope system including a step of correcting the content of the biometric feature amount calculation processing, wherein the image acquisition unit captures at least one correction multi-frame image by imaging an observation target at different timings.
  • a step of acquiring a set or more, a step of calculating a correction image fluctuation amount indicating a fluctuation amount from the reference image state for an image state based on the correction multi-frame image, and a correction value calculation unit A step of calculating a temporary correction value that is a candidate for a correction value for measurement used for correction in the correction unit based on the amount of image fluctuation for correction, and an association unit
  • the step of storing the correction image fluctuation amount and the temporary correction value in association with each other in the correction value storage unit, and the measurement image fluctuation amount calculation for the image state based on the measurement multi-frame image from the reference image state The step of calculating the measurement image variation amount indicating the correction value determination unit, the correction image variation amount stored in the correction value storage unit and the measurement image variation amount, and based on the comparison result, Determining a temporary correction value satisfying a specific condition from the temporary correction values stored in the correction value storage unit as a measurement correction value.
  • the present invention it is possible to accurately calculate a biological feature amount such as oxygen saturation even under a situation in which various fluctuation factors such as positional deviation between frames occur.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a console 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the body to be observed, an operation portion 12b provided at the proximal end portion of the insertion portion 12a, a bending portion 12c provided at the distal end side of the insertion portion 12a, and a distal end. Part 12d.
  • the bending portion 12c bends by operating the angle knob 12e of the operation portion 12b.
  • the distal end portion 12d is directed in a desired direction by the bending operation of the bending portion 12c.
  • the tip portion 12d is provided with an ejection port (not shown) that ejects the cleaning liquid toward the observation target.
  • the operation unit 12b includes a mode switching SW (mode switching switch) 12f used for an observation mode switching operation, and a still image acquisition instruction unit 12g used for an instruction to acquire a still image to be observed. Is provided.
  • mode switching SW mode switching switch
  • still image acquisition instruction unit 12g used for an instruction to acquire a still image to be observed. Is provided.
  • the endoscope system 10 has three observation modes: a normal mode, an oxygen saturation mode (“measurement mode”), and a calibration mode.
  • a normal mode an image having a natural hue (hereinafter referred to as a normal image) obtained by capturing an observation target using white light as illumination light is displayed on the monitor 18.
  • the oxygen saturation mode the oxygen saturation of the observation target is calculated, and an image obtained by imaging the calculated oxygen saturation with a pseudo color or the like (hereinafter referred to as an oxygen saturation image) is displayed on the monitor 18.
  • an oxygen saturation image an image obtained by imaging the calculated oxygen saturation with a pseudo color or the like
  • the processor device 16 is electrically connected to the monitor 18 and the console 19.
  • the monitor 18 outputs and displays an image to be observed and information attached to the image to be observed.
  • the console 19 functions as a user interface that receives input operations such as function settings.
  • the processor device 16 may be connected to an external recording unit (not shown) for recording images and image information.
  • the light source device 14 includes a light source 20 and a light source control unit 21 that controls the light source 20.
  • the light source 20 includes, for example, a plurality of semiconductor light sources, which are turned on or off, and when illuminated, emit light that illuminates the observation target by controlling the light emission amount of each semiconductor light source.
  • the light source 20 includes a BS-LED (Blue Short-wavelength Light Emitting Diode) 20a, a BL-LED (Blue Long-wavelength Light Emitting Diode) 20b, a G-LED (Green Light Light Emitting Diode) 20c, and an R-LED (Red Light). (Emitting) Diode) 20d LED.
  • the BS-LED 20a emits first blue light BS having a wavelength band of 450 ⁇ 10 nm.
  • the BL-LED 20b emits second blue light BL having a wavelength band of 470 ⁇ 10 nm.
  • the G-LED 20c emits green light G having a wavelength band of 540 ⁇ 10 nm.
  • the R-LED 20d emits red light R having a wavelength band of 640 ⁇ 20 nm. Note that the center wavelength and the peak wavelength in each of the LEDs 20a to 20d may be the same or different.
  • the light source control unit 21 independently controls the lighting and extinction of each LED 20a to 20d, the light emission amount at the time of lighting, and the like by inputting a control signal to each LED 20a to 20d independently.
  • the on / off control in the light source control unit 21 differs depending on each mode.
  • the first blue light BS, the green light G, and the red light R are simultaneously emitted by simultaneously lighting the BS-LED 20a, the G-LED 20c, and the R-LED 20d.
  • the oxygen saturation mode the first blue light is emitted by simultaneously lighting the first measurement emission mode in which the BL-LED 20b emits the second blue light BL and the BS-LED 20a, the G-LED 20c, and the R-LED 20d.
  • the second measurement emission mode for simultaneously emitting BS, green light G, and red light R is repeated alternately.
  • the first blue light BS, the second blue light BL, the green light G, and the red light R are sequentially emitted by sequentially lighting the BS-LED 20a, the BL-LED 20b, the G-LED 20c, and the R-LED 20d.
  • the mode for emitting the first blue light BS is set as the first calibration emission mode
  • the mode for emitting the second blue light BL is set as the second calibration emission mode
  • the mode for emitting the green light G is set.
  • the third calibration emission mode is set
  • the mode for emitting the red light R is set as the fourth calibration emission mode.
  • the light emitted from each of the LEDs 20a to 20d is incident on the light guide 25 through the optical path coupling unit 23 composed of a mirror or a lens.
  • the light guide 25 is built in the endoscope 12 and the universal cord (a cord connecting the endoscope 12, the light source device 14, and the processor device 16).
  • the light guide 25 propagates light from the LEDs 20a to 20d to the distal end portion 12d of the endoscope 12.
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 32, and the illumination light propagated by the light guide 25 is irradiated to the observation object via the illumination lens 32.
  • the imaging optical system 30 b includes an objective lens 42 and an imaging sensor 44. The light from the observation target irradiated with the illumination light enters the image sensor 44 through the objective lens 42. As a result, an image to be observed is formed on the image sensor 44.
  • the image sensor 44 is a color image sensor that images an observation target under illumination with illumination light.
  • Each pixel of the image sensor 44 has a B pixel (blue pixel) having a B (blue) color filter, a G pixel (green pixel) having a G (green) color filter, and an R pixel having an R (red) color filter. Any one of (red pixels) is provided.
  • the B color filter mainly transmits light in the blue band, specifically, light in the wavelength band of 380 to 560 nm.
  • the peak wavelength at which the transmittance is maximum exists in the vicinity of 460 to 470 nm.
  • the G color filter mainly transmits light in the green band, specifically, light in the wavelength band of 450 to 630 nm.
  • the R color filter mainly transmits light in the red band, specifically, light of 580 to 760 nm.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CMYG four-color image signals are output.
  • the imaging sensor 44 is driven and controlled by the imaging control unit 45.
  • Control in the imaging control unit 45 differs depending on each mode. As shown in FIG. 4, in the normal mode, the imaging control unit 45 causes the imaging sensor 44 to capture the observation target under illumination with the first blue light BS, the green light G, and the red light R for each frame. Control. Thereby, a Bc image signal is output from the B pixel of the imaging sensor 44, a Gc image signal is output from the G pixel, and an Rc image signal is output from the R pixel.
  • the imaging control unit 45 includes a first measurement imaging mode that captures one frame of the observation target illuminated with the second blue light BL in the first measurement light emission mode.
  • the imaging sensor 44 is configured to alternately repeat the second measurement imaging mode in which the observation target being illuminated with the first blue light BS, green light G, and red light R is imaged for one frame. Control.
  • the B1 image signal is output from the B pixel of the imaging sensor 44
  • the G1 image signal is output from the G pixel
  • the R1 image signal is output from the R pixel.
  • the B2 image signal is output from the B pixel of the imaging sensor 44
  • the G2 image signal is output from the G pixel
  • the R2 image signal is output from the R pixel.
  • the imaging control unit 45 includes a first calibration imaging mode that captures one frame of the observation target illuminated with the first blue light BS in the first calibration light emission mode;
  • the second calibration imaging mode for imaging the observation target illuminated by the second blue light BL for one frame, and the observation target illuminated by the green light G in the third calibration emission mode is 1
  • the imaging sensor 44 is sequentially set so as to sequentially perform a third calibration imaging mode for imaging a frame and a fourth calibration imaging mode for imaging an observation target illuminated with red light R in the fourth calibration emission mode. Control.
  • the Bp image signal is output from the B pixel of the imaging sensor 44, the Gp image signal is output from the G pixel, and the Rp image signal is output from the R pixel.
  • the Bq image signal is output from the B pixel of the imaging sensor 44, the Gq image signal is output from the G pixel, and the Rq image signal is output from the R pixel.
  • the Br image signal is output from the B pixel of the imaging sensor 44, the Gr image signal is output from the G pixel, and the Rr image signal is output from the R pixel.
  • the Bs image signal is output from the B pixel of the imaging sensor 44, the Gs image signal is output from the G pixel, and the Rs image signal is output from the R pixel.
  • a CDS / AGC (CorrelatedampSampling / Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on an analog image signal obtained from the image sensor 44. .
  • the image signal that has passed through the CDS / AGC circuit 46 is converted into a digital image signal by an A / D (Analog / Digital) converter 48.
  • the digital image signal after A / D conversion is input to the processor device 16.
  • the processor device 16 includes an image signal acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, an image processing switching unit 56, a normal image generation unit 58, an oxygen saturation image generation unit 60, A calibration unit 62 and a video signal generation unit 64 are provided.
  • the image signal acquisition unit 50 (corresponding to the “image acquisition unit”) receives the image signal input from the endoscope 12 and transmits the received image signal to the DSP 52.
  • the processor device 16 includes a CPU (Central processing unit), which is an image signal acquisition unit 50, a noise reduction unit 54, an image processing switching unit 56, a normal image generation unit 58, an oxygen saturation image generation unit 60, It functions as a calibration unit 62 and a video signal generation unit 64.
  • CPU Central processing unit
  • the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, demosaic processing, and YC conversion processing on the received image signal.
  • defect correction process the signal of the defective pixel of the image sensor 44 is corrected.
  • offset process the dark current component is removed from the image signal subjected to the defect correction process, and an accurate zero level is set.
  • gain correction process the signal level of each image signal is adjusted by multiplying the image signal of each color after the offset process by a specific gain. The image signal of each color after the gain correction processing is subjected to linear matrix processing that improves color reproducibility.
  • each image signal After that, the brightness and saturation of each image signal are adjusted by gamma conversion processing.
  • the image signal after the linear matrix processing is subjected to demosaic processing (also referred to as isotropic processing or simultaneous processing), and a color signal with missing pixels is generated by interpolation. Through the demosaic processing, all pixels have signals of RGB colors.
  • the DSP 52 performs YC conversion processing on each image signal after the demosaic processing, and outputs the luminance signal Y, the color difference signal Cb, and the color difference signal Cr to the noise reduction unit 54.
  • the noise reduction unit 54 performs noise reduction processing by, for example, a moving average method or a median filter method on the image signal subjected to demosaic processing or the like by the DSP 56.
  • the image signal with reduced noise is input to the image processing switching unit 56.
  • the image processing switching unit 56 sets the transmission destination of the image signal from the noise reduction unit 54 to one of the normal image generation unit 58, the oxygen saturation image generation unit 60, and the calibration unit 62 depending on the set mode. Switch. Specifically, when the normal mode is set, the image signal from the noise reduction unit 54 is input to the normal image generation unit 58. When the oxygen saturation mode is set, the image signal from the noise reduction unit 54 is input to the oxygen saturation image generation unit 60. When the calibration mode is set, the image signal from the noise reduction unit 54 is input to the calibration unit 62.
  • the normal image generation unit 58 operates when the normal mode is set, and 3 ⁇ 3 matrix processing and gradation are further applied to the input Rc image signal, Gc image signal, and Bc image signal for one frame. Color conversion processing such as conversion processing and three-dimensional LUT (Look Up Table) processing is performed. Then, various color enhancement processes are performed on the RGB image data subjected to the color conversion process. Structure enhancement processing such as spatial frequency enhancement is performed on the RGB image data that has been subjected to the color enhancement processing. The RGB image data subjected to the structure enhancement process is input to the video signal generation unit 64 as a normal image.
  • the oxygen saturation image generation unit 60 uses a measurement multi-frame image signal (corresponding to “measurement multi-frame image”) obtained by performing illumination and imaging at different timings in the oxygen saturation mode, and performs oxygen saturation. Calculate the degree.
  • the multi-frame image signal for measurement includes the B1 image signal obtained in the first measurement emission mode and the imaging mode, and the G2 image signal and the R2 image signal obtained in the second measurement emission mode and the imaging mode.
  • the oxygen saturation image generation unit 60 performs an operation using a measurement correction value for correcting an oxygen saturation calculation error caused by a difference in a region to be observed or a patient, an influence of a yellow pigment, image blurring, or the like.
  • the oxygen saturation is accurately calculated regardless of a plurality of fluctuation factors such as image blurring.
  • a method for calculating the oxygen saturation by the oxygen saturation image generating unit 60 will be described later.
  • An oxygen saturation image obtained by imaging the calculated oxygen saturation with a pseudo color or the like is generated. This oxygen saturation image is input to the video signal generator 64.
  • the calibration unit 62 operates in the calibration mode before the oxygen saturation mode, and performs a correction multiframe image signal (“correction multiframe image” obtained by performing illumination and imaging at different timings in the calibration mode. At least one set is acquired.
  • the calibration unit 62 calculates a temporary correction value that can be a candidate for a measurement correction value used in the oxygen saturation mode for each correction multi-frame image signal, and calculates a correction image fluctuation amount. Then, the calibration unit 62 stores the calculated temporary correction value and the correction image variation amount of the correction multi-frame image corresponding to the temporary correction value in the correction value storage unit 66 in association with each other. Details of the calibration unit 62 will be described later.
  • the correction multi-frame image signal includes a BP image signal obtained in the first calibration emission mode and the imaging mode, a Bq image signal obtained in the second calibration emission mode and the imaging mode, and a third calibration emission.
  • the Gr image signal obtained in the mode and the imaging mode, the Rs image signal obtained in the fourth calibration emission mode and the imaging mode are included.
  • the video signal generator 64 enables full-color display of the image data of the normal image from the normal image generator 58 or the image data of the oxygen saturation image from the oxygen saturation image generator 60 on the monitor 18. Convert to video signal. The converted video signal is input to the monitor 18. As a result, a normal image or an oxygen saturation image is displayed on the monitor 18.
  • the calibration unit 62 calculates the temporary correction value and the correction image variation amount, and then the oxygen saturation image generation unit 60 uses the temporary correction value associated with the smallest correction image variation amount as the measurement correction value. use. Therefore, first, the calibration unit 62 will be described, and then the oxygen saturation image generation unit 60 will be described.
  • the calibration unit 62 includes a correction image fluctuation amount calculation unit 70, a correction value calculation unit 72, and an association unit 76.
  • the correction image fluctuation amount calculation unit 70 calculates the correction image fluctuation amount from the Bp image signal, the Bq image signal, the Gr image signal, and the Rs image signal that are correction multi-frame image signals. A specific example of the method of calculating the correction image fluctuation amount will be described later.
  • the correction image variation amount indicates how much the image state based on the correction multi-frame image signal varies from the reference image state due to various variation factors such as a positional deviation between frames. .
  • the image state refers to, for example, a pixel value of any image signal of the correction multi-frame image signal, and an operation value (for example, a signal ratio or the like) obtained by an operation combining the correction multi-frame image signal. ).
  • the reference image state refers to an image state based on an image signal obtained in a situation where there are no or almost no various variation factors such as no or almost no positional deviation between frames. From the above, the correction image fluctuation amount is represented by, for example, the difference or ratio between the image state based on the correction multi-frame image signal and the reference image state. Note that at least one set of multiframe image signals for correction is input to the correction image variation calculation unit 70, and the correction image variation is calculated for each of the input correction multiframe image signals. .
  • Variation factors include misalignment between correction multi-frame image signals, movement within the correction multi-frame image signal, change in the amount of illumination light when the correction multi-frame image signal is acquired, correction multi-frame Examples include a change in the pixel value of the image signal and a change in the amount of residual liquid in the correction multi-frame image signal.
  • the correction image fluctuation amount generated due to the fluctuation factors includes the amount of motion between the correction multi-frame image signals, the amount of motion in any one of the correction multi-frame image signals, and the correction multi-frame image. Examples include the amount of illumination light emitted when a signal is obtained, each pixel value of the correction multi-frame image signal, the amount of residual liquid on the observation target when the correction multi-frame image signal is obtained, and the like.
  • the correction image fluctuation amount calculation unit 70 may calculate all of the correction image fluctuation amounts described above, or may calculate only a part thereof.
  • the correction image fluctuation amount calculation unit 70 may calculate the correction image fluctuation amount in all the pixel areas in the correction multi-frame image signal, or may calculate a correction image fluctuation quantity for a part of the pixel areas.
  • the correction image fluctuation amount may be calculated within the set correction image fluctuation amount calculation area.
  • the correction image fluctuation amount calculation area may be set for each image signal of the correction multi-frame image signal, and only for one of the image signals (for example, an image signal in which the correction image fluctuation amount is significant). You may go.
  • the pixel area may be set by a UI (User Interface (User Interface)) of the console 19 or the like.
  • UI User Interface
  • the correction multi-frame image signal a portion having a large correction image variation amount may be automatically determined by image analysis, and the correction image variation amount of the automatically determined region may be calculated.
  • the correction multi-frame image signal for four frames is used to calculate the correction amount of the yellow dye correction image, etc., but it matches the type and number of correction image variations to be calculated. Thus, the number of frames of the correction multi-frame image may be increased or decreased.
  • the correction value calculation unit 72 calculates a temporary correction value based on the correction image fluctuation amount obtained by the correction image fluctuation amount calculation unit 70.
  • the temporary correction value is calculated for each correction image fluctuation amount calculated by the correction image fluctuation amount calculation unit 70, that is, for each correction multi-frame image signal. A specific example of the temporary correction value calculation method will be described later.
  • the association unit 76 associates the correction image fluctuation amount calculated by the correction image fluctuation amount calculation unit 70 with the temporary correction value calculated based on the correction image fluctuation amount, and stores the correction value storage unit. 66.
  • the correction value storage unit 66 stores, from the correction multi-frame image signal acquired at the first timing T1 in the calibration mode (described as “T1” in FIG. 8, the same applies hereinafter).
  • the obtained yellow pigment fluctuation amount X1 and the temporary correction value AX1 for yellow pigment corresponding to this are stored, and the second timing T2 after the first timing T1 in the calibration mode (“T2” in FIG. 8).
  • T2 the second timing T2 after the first timing T1 in the calibration mode
  • the correction value storage unit 66 not only the correction multi-frame image signals at the first timing T1 and the second timing T2, but also the correction image fluctuation amounts obtained from the correction multi-frame image signals at different timings.
  • the temporary correction value may be stored.
  • the correction value storage unit 66 may store other correction image fluctuation amounts and their temporary correction values in addition to or instead of the yellow pigment fluctuation amount and its temporary correction value.
  • the correction image fluctuation amount calculation unit 70 calculates in-vivo information that has information on the yellow pigment in the living body and is not affected by the oxygen saturation. Specifically, the signal ratio Bp / Gr between the Bp image signal and the Gr image signal is calculated for each pixel, the signal ratio Bq / Gr between the Bq image signal and the Gr image signal is calculated for each pixel, and the Rs image signal and Gr The signal ratio Rs / Gr of the image signal is calculated for each pixel.
  • Bp in the signal ratio Bp / Gr is an image signal corresponding to the first blue light BS.
  • the wavelength band 450 ⁇ 10 nm of the first blue light BS belongs to a blue band in which the absorption coefficient of hemoglobin is relatively high, and is an isosbestic wavelength in which the absorption coefficients of oxyhemoglobin and reduced hemoglobin are the same (see FIG. 13). Further, as shown in FIG. 9, the wavelength band 450 ⁇ 10 nm of the first blue light BS has an absorption peak wavelength at which the extinction coefficient of the yellow dye is the highest, so that the light absorption occurs according to the concentration of the yellow dye. The wavelength band is easy to change.
  • the signal value of the signal ratio Bp / Gr does not change depending on the oxygen saturation, but the signal value changes depending on the concentration of the yellow pigment and the blood volume.
  • the wavelength band 540 ⁇ 20 nm of the green light included in the Gr image signal is a wavelength band in which the amount of light absorption easily changes according to the blood volume as described above.
  • the wavelength band 470 ⁇ 10 nm of the second blue light BL belongs to the blue band in which the absorption coefficient of hemoglobin is relatively high, and is a different absorption wavelength in which the absorption coefficients of oxyhemoglobin and reduced hemoglobin are different (see FIG. 13), it is a wavelength band in which the amount of light absorption easily changes depending on the oxygen saturation of hemoglobin.
  • the center wavelength 470 nm of the second blue light BL has a large absorption coefficient compared to other wavelength bands although the absorption coefficient is slightly lower than the absorption peak wavelength of the yellow pigment (see FIG. 13).
  • the signal value of the signal ratio Bq / Gr varies depending on the oxygen saturation, the concentration of the yellow pigment, and the blood volume.
  • the signal value hardly changes depending on the oxygen saturation and the concentration of the yellow pigment, and the signal value changes depending on the blood volume.
  • ⁇ is adjusted so that the calculated value M obtained by the following formula A becomes constant even when the oxygen saturation changes.
  • Information including the calculated value M after the ⁇ adjustment and the signal ratio Rs / Gr is used as in-vivo information.
  • This in-vivo information is information that changes according to the concentration of the yellow pigment, and is information that does not change depending on the oxygen saturation.
  • the distribution is as shown in FIG.
  • a reference line 78 indicating the distribution of the reference information not affected by the yellow pigment and an actual measurement line 80 where the in-vivo information affected by the yellow pigment is distributed are substantially in the horizontal axis direction. It is formed along it.
  • the density of the yellow pigment is the same density line.
  • the reference line 78 is located above the actual measurement line 80.
  • the correction image fluctuation amount calculation unit 70 calculates the difference ⁇ Z between the reference line 78 and the actual measurement line 80 as the yellow pigment fluctuation amount.
  • the correction by the correction unit 93 includes correction of the signal ratio B1 / G2 used by the oxygen saturation calculation unit 88, correction of the signal ratio R2 / G2, or correction of the oxygen saturation calculated by the oxygen saturation calculation unit 88. Since there are three patterns, the conversion coefficient ⁇ has three patterns, which are different from each other.
  • the temporary correction value may be calculated by a conversion process that combines matrix processing and 1D-LUT (1 dimensional Look UP Tabel) for the Bp image signal, Bq image signal, Gr image signal, and Rs image signal. .
  • the oxygen saturation image generation unit 60 includes a signal ratio calculation unit 84, an oxygen saturation calculation table 86, an oxygen saturation calculation unit 88, an image generation unit 90, and a measurement image variation.
  • An amount calculation unit 91, a correction value determination unit 92, and a correction unit 93 are provided.
  • the signal ratio calculator 84 calculates a signal ratio used by the oxygen saturation calculator 88 to calculate the oxygen saturation.
  • the signal ratio calculation unit 84 includes a signal ratio B1 / G2 between the B1 image signal and the G2 image signal, a signal ratio R2 / G2 between the R2 image signal and the G2 image signal, and the G2 image signal and the B2 image signal.
  • the signal ratio G2 / B2 is calculated for each pixel.
  • the oxygen saturation calculation table 86 (corresponding to the “calculation table”) stores the correlation between each signal ratio calculated by the signal ratio calculation unit 84 and the oxygen saturation.
  • this correlation is expressed on the feature space N formed by the vertical axis Log (B1 / G2) and the horizontal axis Log (R2 / G2), as shown in FIG.
  • An isoline connecting parts having the same degree is formed substantially along the horizontal axis direction.
  • the isoline is located on the lower side with respect to the vertical axis direction as the oxygen saturation increases. For example, the isoline 95 with an oxygen saturation of 100% is located below the isoline 96 with an oxygen saturation of 0%. Information on the above isolines is created based on the image signal obtained in the reference image state.
  • the oxygen saturation calculation table 86 stores the correlation between the signal ratios B1 / G2 and R2 / G2 and the oxygen saturation, but is not limited to the correlation between the signal ratios B1 / G2 and R2 / G2. Instead, the correlation between the first calculation value obtained by performing a specific calculation (for example, difference processing) based on the B1 image signal, the G2 image signal, and the R2 image signal and the oxygen saturation may be stored.
  • the above correlation is closely related to the light absorption characteristics and light scattering characteristics of oxygenated hemoglobin (graph 97) and reduced hemoglobin (graph 98) shown in FIG.
  • the wavelength band where the difference in the extinction coefficient between oxyhemoglobin and reduced hemoglobin is large such as the wavelength band 470 ⁇ 10 nm of the second blue light BL
  • the amount of absorption changes depending on the oxygen saturation of hemoglobin.
  • the oxygen saturation can be calculated by using the signal ratio B1 / G2 including the B1 image signal corresponding to the light of the second blue light BL having the center wavelength of 470 nm.
  • the signal ratio B1 / G2 is highly dependent not only on the oxygen saturation but also on the blood volume.
  • the wavelength band 540 ⁇ 20 nm of the green light included in the G2 image signal is a wavelength band in which the amount of light absorption is likely to change depending on the blood volume because the absorption coefficient of hemoglobin is relatively high.
  • the oxygen saturation calculation unit 88 refers to the correlation stored in the oxygen saturation calculation table 86 and calculates the oxygen saturation corresponding to the signal ratio B1 / G2, R2 / G2 for each pixel. For example, as shown in FIG. 14, when referring to the correlation stored in the oxygen saturation calculation table 86, the oxygen saturation corresponding to the signal ratios B1 * / G2 * , R2 * / G2 * of the specific pixel is “ 40% ". Therefore, the oxygen saturation calculation unit 88 calculates the oxygen saturation as “40%”.
  • the signal ratios B1 / G2 and R2 / G2 are hardly increased or decreased very little. That is, combinations of the values of the signal ratios B1 / G2 and R2 / G2 are distributed below the upper limit isoline 95 (see FIG. 13) of the oxygen saturation 100%, or conversely, the oxygen saturation 0 It is rarely distributed above the lower limit isoline 96 (see FIG. 13). However, if the oxygen saturation is distributed below the upper limit isoline 95, the oxygen saturation is set to 100%. If the oxygen saturation is distributed above the lower limit isoline 96, the oxygen saturation calculation unit 88 sets the oxygen saturation to 0. %.
  • the image generation unit 90 uses the oxygen saturation calculated by the oxygen saturation calculation unit 88 to generate an oxygen saturation image obtained by imaging the oxygen saturation. Specifically, the image generation unit 90 acquires a B2 image signal, a G2 image signal, and an R2 image signal, and applies a gain corresponding to the oxygen saturation to these image signals for each pixel. Then, RGB image data is generated using the gained B2 image signal, G2 image signal, and R2 image signal. For example, the image generation unit 90 multiplies the B2 image signal, the G2 image signal, and the R2 image signal by the same gain “1” for a pixel having an oxygen saturation of 60% or more.
  • the B2 image signal is multiplied by a gain of less than “1”, and the G2 image signal and the R2 image signal are multiplied by a gain of “1” or more.
  • the RGB image data generated using the B2 image signal, G2 image signal, and R2 image signal after the gain processing is an oxygen saturation image.
  • the high oxygen region (region where the oxygen saturation is 60 to 100%) is expressed in the same color as the normal observation image.
  • a low oxygen region where the oxygen saturation is below a specific value (region where the oxygen saturation is 0 to 60%) is represented by a color (pseudo color) different from that of the normal observation image.
  • the image generation unit 90 multiplies the gain for pseudo-coloring only the low oxygen region, but the gain corresponding to the oxygen saturation is applied even in the high oxygen region, and the entire oxygen saturation image is obtained.
  • a pseudo color may be used.
  • the low oxygen region and the high oxygen region are separated by oxygen saturation 60%, this boundary is also arbitrary.
  • the measurement image variation calculation unit 91 calculates the measurement image variation from the B1 image signal, the G2 image signal, and the R2 image signal that are measurement multi-frame image signals.
  • the amount of measurement image fluctuation is the same as the amount of image fluctuation for correction. How much the image state based on the measurement multi-frame image signal has changed from the reference image state due to various fluctuation factors such as misalignment between frames. Is shown.
  • the measurement image fluctuation amount calculation unit 91 calculates measurement image fluctuation amounts for all types of correction image fluctuation amounts calculated by the correction image fluctuation amount calculation unit 70.
  • the variation amount of the yellow pigment and the positional deviation between the frames are calculated as the correction image variation amount
  • the variation amount of the yellow pigment and the positional deviation between the frames are similarly calculated as the measurement image variation amount. Is calculated.
  • the measurement image fluctuation amount calculated by the measurement image fluctuation amount calculation unit 91 is transmitted to the correction value determination unit 92.
  • the calculation method of the measurement image fluctuation amount is the same as the calculation method of the correction image fluctuation amount.
  • the measurement image fluctuation amount may be calculated in all pixel regions in the measurement multi-frame image signal, and a part of the pixel regions may be calculated. It may be set in the fluctuation amount calculation area, and the measurement image fluctuation quantity may be calculated within the set measurement image fluctuation quantity calculation area.
  • the measurement image variation calculation area is set by the same method as the correction image variation calculation area.
  • the correction value determination unit 92 compares the input measurement image variation amount with the correction image variation amount stored in the correction value storage unit 66. Then, the correction value determination unit 92 determines the temporary correction value associated with the correction image variation amount closest to the measurement image variation amount as the measurement correction value as a result of comparing the two variation amounts. The correction value determination unit 92 compares all types of correction image fluctuation amounts stored in the correction value storage unit 66 with the measurement image fluctuation amounts to determine measurement correction values. When the correction image variation calculation region and the measurement image variation calculation region are set, the correction image variation is calculated in the region where the correction image variation calculation region and the measurement image variation calculation region overlap. It is preferable to compare the amount and the image variation amount for measurement.
  • the determination method of the measurement correction value is as follows.
  • the correction value storage unit 66 stores the yellow dye variation amount X1 obtained from the correction multi-frame image signal at the first timing T1, the temporary correction value AX1 for yellow dye, the inter-frame position shift amount Y1, and the frame.
  • a temporary correction value AY1 for the inter-position shift is stored.
  • the correction value storage unit 66 stores the yellow dye variation amount X2 obtained from the correction multi-frame image signal at the second timing T2, the temporary correction value AX2 for yellow dye, the inter-frame position shift amount Y2, and the frame.
  • a temporary correction value AY2 for the inter-position shift is stored.
  • the temporary correction value AX1 for yellow pigment at the first timing T1 is determined as the measurement correction value for yellow pigment.
  • the temporary correction value AY2 for the inter-frame position shift at the second timing T2 is used as the measurement correction value for the inter-frame position shift. Is determined.
  • the correction unit 93 corrects the content of the oxygen saturation calculation process in the oxygen saturation calculation unit 88 based on the measurement correction value determined by the correction value determination unit 92.
  • the correction unit 93 corrects the content of the oxygen saturation calculation process by correcting the oxygen saturation calculation table 86, correcting the signal ratios B1 / G2 and R2 / G2 used by the oxygen saturation calculation unit 88, or oxygen.
  • One of the corrections of the oxygen saturation calculated by the saturation calculation unit 88 is performed.
  • the correction unit 93 sets the entire isoline in the feature space N in the vertical axis Log (B1 / G2) direction or the horizontal axis Log (R2 / G2) direction. A correction is made to move by the correction value for measurement for correction.
  • the correction unit 93 inputs before referring to the oxygen saturation calculation table 86 in the oxygen saturation calculation unit 88.
  • the signal ratio measurement correction value is added to at least one of the signal ratios B1 / G2 and R2 / G2.
  • the oxygen saturation calculation unit 88 calculates the oxygen saturation corresponding to the signal ratios B1 / G2 and R2 / G2 to which the measurement correction values for the signal ratio have been added from the oxygen saturation calculation table 86.
  • the oxygen saturation calculation unit 88 calculates the temporary oxygen saturation based on the oxygen saturation calculation table 86. And the correction
  • the oxygen saturation calculation unit 88 calculates the oxygen saturation to which the measurement correction value for oxygen saturation has been added as the official oxygen saturation.
  • the mode switching SW 12f is operated to set the calibration mode. Accordingly, the first blue light BS, the second blue light BL, the green light G, and the red light R are sequentially emitted by sequentially lighting the LEDs 20a to 20d. These four colors of light are applied to the observation target and imaged by the imaging sensor 44. As a result, a correction multi-frame image signal including a Bp image signal, a Bq image signal, a Gr image signal, and an Rs image signal is obtained.
  • the user can inject the cleaning liquid from the distal end portion 12d of the endoscope 12 to the observation target, Most of the influences such as the yellow pigment can be removed in advance.
  • This cleaning may be performed when there is a concern about contamination with a yellow pigment or the like, and is not necessarily performed if the cleaning is performed in advance reliably.
  • the correction image variation calculation unit 70 calculates the correction image variation based on the correction multi-frame image signal.
  • the correction value calculation unit 72 calculates a temporary correction value based on the correction image fluctuation amount.
  • the associating unit 76 associates the correction image variation amount with the temporary correction value calculated based on the correction image variation amount and stores them in the correction value storage unit 66.
  • a series of calibration processes for obtaining the correction multi-frame image signal, calculating the correction image fluctuation amount and its temporary correction value, and storing them in the correction value storage unit 66 described above are defined in advance. Repeat as many times as necessary.
  • the calibration mode is automatically switched to the oxygen saturation mode.
  • the oxygen saturation mode the second blue light BL and the light including the first blue light BS, the green light G, and the red light R are alternately irradiated on the observation target, and an image is picked up by the image sensor 44.
  • a measurement multi-frame image signal including a B1 image signal, a G2 image signal, and an R2 image signal necessary for calculating the oxygen saturation is obtained.
  • the measurement image variation calculation unit 91 calculates the measurement image variation based on the measurement multi-frame image signal.
  • the correction value determination unit 92 compares the measurement image fluctuation amount with the correction image fluctuation amount stored in the correction value storage unit 66. As a result of the comparison, the temporary correction value associated with the correction image variation amount closest to the measurement image variation amount is determined as the measurement correction value. Based on this measurement correction value, the oxygen saturation calculation table 86 is corrected.
  • the signal ratio B1 / G2 between the B1 image signal and the G2 image signal and the signal ratio R2 / G2 between the R2 image signal and the G2 image signal are calculated.
  • the oxygen saturation calculation unit 88 calculates the oxygen saturation by referring to the correlation stored in the corrected oxygen saturation calculation table 86 based on the calculated signal ratios B1 / G2 and R2 / G2. To do. An oxygen saturation image is generated based on the calculated oxygen saturation and displayed on the monitor 18. Note that the oxygen saturation calculation table 86 is corrected before the oxygen saturation is calculated, but the signal ratios B1 / G2 and R2 / G2 may be corrected. Alternatively, the provisional oxygen saturation may be corrected after the provisional oxygen saturation is calculated.
  • the observation target may be illuminated using a broadband light source such as a xenon lamp and a rotating filter instead of the four-color LEDs 20a to 20d described above.
  • a broadband light source such as a xenon lamp and a rotating filter
  • a filter switching unit 105 are provided instead of the four-color LEDs 20a to 20d.
  • the imaging optical system 30b is provided with a monochrome imaging sensor 106 without a color filter, instead of the color imaging sensor 44.
  • the broadband light source 102 is a xenon lamp, a white LED, or the like, and emits white light having a wavelength range from blue to red.
  • the rotary filter 104 includes an inner filter 108 provided on the inner side and an outer filter 109 provided on the outer side (see FIG. 19).
  • the filter switching unit 105 moves the rotary filter 104 in the radial direction.
  • the filter switching unit 105 inserts the inner filter 108 of the rotary filter 104 into the optical path of white light, and oxygen saturation
  • the outer filter 109 of the rotary filter 104 is inserted into the white light path.
  • the inner filter 108 includes a B1 filter 108 a that transmits the first blue light BS of the white light, a G filter 108 b that transmits the green light G of the white light, white An R filter 108c that transmits red light R out of the light is provided. Therefore, in the normal mode, the first blue light BS, the green light G, and the red light R are alternately irradiated on the observation target by the rotation of the rotary filter 104.
  • the outer filter 109 includes, along the circumferential direction, a B1 filter 109a that transmits the first blue light BS of white light, a B2 filter 109b that transmits the second blue light BL of white light, and of the white light
  • a G filter 109c that transmits green light G and an R filter 109d that transmits red light R out of white light are provided. Therefore, in the oxygen saturation mode or the calibration mode, the rotation filter 104 rotates, and the observation object is alternately irradiated with the first blue light BS, the second blue light BL, the green light G, and the red light R.
  • the observation target is imaged by the monochrome imaging sensor 106 every time the observation target is illuminated with the first blue light BS, the green light G, and the red light R. Thereby, a Bc image signal, a Gc image signal, and an Rc image signal are obtained. Then, based on the image signals of these three colors, a normal image is generated by the same method as in the first embodiment.
  • the observation target is imaged by the monochrome imaging sensor 106 every time the observation target is illuminated with the first blue light BS, the second blue light BL, the green light G, and the red light R.
  • a multi-frame image signal for measurement composed of the B2 image signal, the B1 image signal, the G2 image signal, and the R2 image signal is obtained.
  • an oxygen saturation image is generated in the same manner as described above.
  • a correction multi-frame image signal including a Bp image signal, a Bq image signal, a Gr image signal, and an Rs image signal is obtained. Based on these four color image signals, a temporary correction value is calculated in the same manner as described above.
  • the first blue light BS having a wavelength band of 450 ⁇ 10 nm is used to correct the correlation in the calibration mode.
  • light having a wavelength band in which the extinction coefficient of the yellow pigment is larger than that of other wavelength bands may be used.
  • green narrowband light having a wavelength band of 500 ⁇ 10 nm may be used instead of the first blue light BS.
  • the oxygen saturation as the functional biometric feature is described as an example.
  • the present invention also applies to the morphological biometric feature in addition to the functional biometric feature.
  • the morphological biometric features include, for example, the number of blood vessels, the number of branches, the branch angle, the distance between branch points, the number of intersections, the thickness, the change in thickness, the complexity of the change in thickness, the length, the interval, the mucosa Depth, height difference, slope, area, density, contrast, color, color change, meandering degree, blood concentration, arterial ratio, vein ratio, administered dye concentration, running pattern, or blood Flow rate.
  • the calibration mode is set, and the first shortwave light SL1 having the center wavelength of 405 nm and the second shortwave light SL2 having the center wavelength of 445 nm are alternately irradiated on the observation target. Image.
  • a correction multi-frame image signal including a Bx image signal corresponding to the first shortwave light SL1 and a By image signal corresponding to the second shortwave light SL2 is obtained.
  • at least one set of the correction multi-frame image signals is acquired.
  • the calibration unit 62 similar to the above calculates the correction image fluctuation amount and its provisional correction value, and the calculated correction image fluctuation amount and the provisional correction value. Are stored in the correction value storage unit 66 in association with each other.
  • the correction image fluctuation amount includes, for example, a positional deviation amount between the Bx image signal and the By image signal.
  • the first shortwave light SL1 and the second shortwave light SL2 are alternately irradiated on the observation target, and imaging is performed by the imaging sensor 44. Do.
  • a measurement multi-frame image signal including a Bx image signal corresponding to the first shortwave light SL1 and a By image signal corresponding to the second shortwave light SL2 is obtained.
  • a blood vessel density image generation unit 200 shown in FIG. 20 Based on the measurement multi-frame image signal, a blood vessel density image generation unit 200 shown in FIG. 20 generates a blood vessel density image.
  • the blood vessel density image generation unit 200 includes a calculation image signal generation unit 202, a specific depth blood vessel enhancement image generation unit 204, or an image generation unit 206, and a measurement image fluctuation amount calculation unit 91 similar to the above embodiment.
  • a correction value determination unit 92 or a correction unit 93 is provided.
  • the calculation image signal generation unit 202 performs calculation for each pixel using the Bx image signal and the By image signal, and generates a calculation image signal.
  • the calculation is preferably difference processing or ratio calculation.
  • the Bx image signal and the By image signal are logarithmically converted, and then the difference process between the Bx image signal and the By image signal after the logarithmic conversion is performed.
  • the ratio calculation the Bx image signal is divided by the By image signal or the By image signal is divided by the Bx image signal without logarithmically converting the Bx image signal and the By image signal.
  • the specific depth blood vessel enhancement image generation unit 204 assigns either the Bx image signal or the By image signal to the luminance channel Y, and assigns the calculation image signal to the two color difference channels Cb and Cr, whereby a blood vessel having a specific depth is obtained.
  • a specific depth blood vessel emphasis image in which the running pattern is emphasized by color is generated.
  • the generated specific depth blood vessel enhancement image is displayed on the monitor 18 together with a blood vessel density image described later.
  • the calculated image signal multiplied by the color coefficient p is assigned to the color difference channel Cb, and the color coefficient q (different from the color coefficient p) is assigned to the calculated image signal. It is preferable to assign the product to the color difference channel Cr.
  • the reason why the color coefficients p and q are used is to adjust the color of the blood vessel and the color of another observation target.
  • the image generation unit 206 calculates a blood vessel density for each predetermined region in the specific depth blood vessel enhancement image, and generates a blood vessel density image in which a color is assigned according to the calculated blood vessel density.
  • the blood vessel density image it is preferable to set the color so that the difference is clear between the high density region where the blood vessel density is high and the low density region where the blood vessel density is low.
  • the correction unit 93 corrects the content of the blood vessel density calculation process based on the measurement correction value.
  • the correction of the blood vessel density calculation process by the correction unit 93 is performed at least before blood vessel density calculation and after blood vessel density calculation. For example, after calculation of the blood vessel density, it is preferable that the correction unit 93 performs correction by adding a measurement correction value for blood vessel density to the calculated blood vessel density.
  • the correction image fluctuation amount and the measurement image fluctuation amount are directly compared, and the correction image fluctuation amount closest to the measurement image fluctuation amount is selected. Then, the difference between the correction image fluctuation amount and the measurement image fluctuation amount is quantified, and the correction image fluctuation amount is selected based on the quantified value. The rest is the same as in the first embodiment.
  • the correction value determining unit 92 in the oxygen saturation image generating unit 60 compares the correction image variation amount with the measurement image variation amount, the correction image variation amount and the measurement image variation are compared. By calculating a difference or a ratio with the amount, a variation index value that quantifies the difference between the two variations is calculated. Then, as shown in FIG. 21, when the fluctuation amount index value falls within a specific range, the correction value determination unit 92 sets a temporary correction value associated with the correction image fluctuation amount at that time. And determined as a measurement correction value. After the measurement correction value is determined, the correction unit 93 performs correction in the same manner as in the first embodiment.
  • representative values of the plurality of provisional correction values are determined as formal measurement correction values. It is preferable that The representative value is preferably an average value or a median value of a plurality of temporary correction values.
  • the “specific range” is smaller than a certain range including “0” (for example, “0”). A range from “dx” to “dy” larger than “0” is preferable.
  • the “specific range” is a certain range including “1” (for example, “ cx "to” cy "greater than” 1 ").
  • the correction value determination unit 92 reads a predetermined default temporary correction value from the correction value storage unit 66. Then, the correction value determining unit 92 determines the read default temporary correction value as the measurement correction value.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

フレーム間の位置ズレなど様々な変動要因が生ずる状況下においても、酸素飽和度などの生体特徴量を正確に算出できる内視鏡システム及びその作動方法を提供する。キャリブレーションモード時に得た補正用画像変動量と、計測モード時に得た計測用画像変動量とを比較する。比較した結果に基づいて、補正値用記憶部に記憶した仮補正値の中から、特定の条件を満たす仮補正値を、補正部での補正に用いる計測用補正値として決定する。

Description

内視鏡システム及びその作動方法
　本発明は、観察対象の酸素飽和度などの生体特徴量を算出する内視鏡システム及びその作動方法に関する。
　医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いて診断することが一般的になっている。特に、単に観察対象を撮像するだけでなく、観察対象に照射する照明光の波長を工夫したり、観察対象を撮像して得た画像信号に分光推定処理等の信号処理を施したりすることによって、血管や腺管構造等の特定の組織や構造を強調した観察画像を得る内視鏡システムが普及している。
　また、近年においては、観察対象を撮像して得られる画像信号に基づいて生体特徴量を得る内視鏡システムもある。例えば、生体特徴量の中でも、血中ヘモグロビンの酸素飽和度を用いた病変部の診断が行われつつある。特許文献１では、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる波長帯域の光を用いて、酸素飽和度の算出を行っている。
　また、酸素飽和度の算出精度は、食道、胃、大腸などの各種部位や、男女、大人と子供などの患者の違いなどの様々な要因によって影響を受けることから、特許文献１では、本計測を行う前に、酸素飽和度のプレ計測を行っている。この特許文献１では、プレ計測して得た酸素飽和度と、予め定めた酸素飽和度の基準値との差分から得られる補正値に基づいて、酸素飽和度の算出に用いる酸素飽和度用演算テーブルを補正している。このような補正を行うことで、各種部位等によらず、酸素飽和度を正確に算出することが可能になる。
特開２０１３－２２３４１号公報（特許５４２６６２０号公報）
　酸素飽和度の算出精度については、食道や胃など各種部位の違いなどの他に、画像信号中のブレやボケなどに影響を受ける。更には、酸素飽和度の算出処理に、異なるタイミングで観察対象を撮像して得られた複数フレーム分の画像信号を用いる場合には、フレーム間の位置ズレやフレーム間での光量の変動も酸素飽和度の算出精度に影響を与える。
　したがって、特許文献１に示すように、プレ計測を行う際に、酸素飽和度の基準値を得られる領域において計測を行ったとしても、計測中に、ブレやボケ、フレーム間の位置ズレやフレーム間の光量変動など、様々な変動要因が生じた場合には、プレ計測において正確に酸素飽和度を算出することができない。このように、プレ計測で酸素飽和度を正確に算出できない場合には、本計測においても酸素飽和度を正確に算出できないことになる。したがって、フレーム間の位置ズレなど様々な変動要因が生ずる状況下においても、酸素飽和度などの生体特徴量を正確に算出できるようにすることが求められていた。
　本発明は、フレーム間の位置ズレなど様々な変動要因が生ずる状況下においても、酸素飽和度などの生体特徴量を正確に算出できる内視鏡システム及びその作動方法を提供することを目的とする。
　本発明は、異なるタイミングで観察対象を撮像して得られた計測用マルチフレーム画像に基づいて生体特徴量を算出する生体特徴量算出処理を行う生体特徴量算出部と、生体特徴量算出処理の内容を補正する補正部とを有する内視鏡システムであって、異なるタイミングで観察対象を撮像することにより、補正用マルチフレーム画像を少なくとも１セット以上取得する画像取得部と、補正用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す補正用画像変動量を算出する補正用画像変動量算出部と、補正用画像変動量に基づいて、補正部での補正に用いる計測用補正値の候補となる仮補正値を算出する補正値算出部と、補正用画像変動量と仮補正値とを対応付けて記憶する補正値用記憶部と、計測用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す計測用画像変動量を算出する計測用画像変動量算出部と、補正値用記憶部に記憶した補正用画像変動量と計測用画像変動量とを比較し、比較した結果に基づいて、補正値用記憶部に記憶した仮補正値の中から、特定の条件を満たす仮補正値を計測用補正値として決定する補正値決定部とを備える。
　補正値決定部は、特定の条件を満たす仮補正値として、計測用画像変動量に最も近い補正用画像変動量に対応付けられた仮補正値を計測用補正値に決定することが好ましい。補正値決定部は、補正用画像変動量と計測用画像変動量から変動量指標値を算出し、特定の条件を満たす仮補正値として、変動量指標値が特定の範囲内に入った場合に算出した補正用画像変動量に対応付けられた仮補正値を計測用補正値に決定することが好ましい。変動量指標値は、補正用画像変動量と計測用画像変動量との差分、または、補正用画像変動量と計測用画像変動量との比であることが好ましい。補正値決定部は、特定の条件を満たす仮補正値が無い場合には、予め定めたデフォルトの仮補正値を計測用補正値として決定することが好ましい。
　補正用画像変動量算出部は、補正用マルチフレーム画像のうち補正用画像変動量算出領域における変動量を補正用画像変動量として算出し、計測用画像変動量算出部は、計測用マルチフレーム画像のうち計測用画像変動量算出領域における変動量を計測用画像変動量として算出することが好ましい。補正値決定部は、補正用画像変動量算出領域と計測用画像変動量算出領域とが重複する領域において、補正用画像変動量と計測用画像変動量の比較を行うことが好ましい。
　補正用画像変動量算出部は、基準画像状態に対して変動を生じさせる複数の種類の変動要因について、それぞれ補正用画像変動量を算出し、計測用画像変動量算出部は、基準画像状態に対して変動を生じさせる複数の種類の変動要因について、それぞれ計測用画像変動量を算出し、補正値決定部は、補正用画像変動量と計測用画像変動量について、変動要因の種類毎に比較することが好ましい。変動要因は、補正用マルチフレーム画像間の位置ズレ又は計測用マルチフレーム画像間の位置ズレ、補正用マルチフレーム画像内での動き又は計測用マルチフレーム画像内での動き、補正用マルチフレーム画像を取得した際の照明光の発光量の変化又は計測用マルチフレーム画像を取得した際の照明光の発光量の変化、補正用マルチフレーム画像の画素値の変化又は計測用マルチフレーム画像の画素値の変化、補正用マルチフレーム画像における残液の量の変化又は計測用マルチフレーム画像における残液の量の変化であることが好ましい。補正部は、生体特徴量算出処理の内容の補正として、生体特徴量の算出に用いる演算テーブルの補正、計測用マルチフレーム画像に基づく補正、又は生体特徴量の補正の少なくともいずれかを行うことが好ましい。
　本発明は、生体特徴量算出部が、異なるタイミングで観察対象を撮像して得られた計測用マルチフレーム画像に基づいて生体特徴量を算出する生体特徴量算出処理を行うステップと、補正部が、生体特徴量算出処理の内容を補正するステップとを有する内視鏡システムの作動方法であって、画像取得部が、異なるタイミングで観察対象を撮像することにより、補正用マルチフレーム画像を少なくとも１セット以上取得するステップと、補正用画像変動量算出部が、補正用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す補正用画像変動量を算出するステップと、補正値算出部が、補正用画像変動量に基づいて、補正部での補正に用いる計測用補正値の候補となる仮補正値を算出するステップと、対応付け部が、補正用画像変動量と仮補正値とを対応付けて補正値用記憶部に記憶するステップと、計測用画像変動量算出が、計測用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す計測用画像変動量を算出するステップと、補正値決定部が、補正値用記憶部に記憶した補正用画像変動量と計測用画像変動量とを比較し、比較した結果に基づいて、補正値用記憶部に記憶した仮補正値の中から、特定の条件を満たす仮補正値を計測用補正値として決定するステップとを有する。
　本発明によれば、フレーム間の位置ズレなど様々な変動要因が生ずる状況下においても、酸素飽和度などの生体特徴量を正確に算出することができる。
内視鏡システムの外観図である。 第１実施形態の内視鏡システムの機能を示すブロック図である。 撮像センサの分光感度を示すグラフである。 通常モードにおける照明光の発光及び観察対象の撮像を示す説明図である。 酸素飽和度モードにおける照明光の発光及び観察対象の撮像を示す説明図である。 キャリブレーションモードにおける照明光の発光及び観察対象の撮像を示す説明図である。 キャリブレーション部の機能を示すブロック図である。 補正値用記憶部で記憶する情報を示す説明図である。 黄色色素の吸光係数を示すグラフである。 縦軸が演算値M、横軸がLog（Ｒｓ／Ｇｒ）である特徴空間Mにおける基準線と実測線の位置を示すグラフである。 酸素飽和度画像生成部の機能を示すブロック図である。 縦軸がLog（Ｂ１／Ｇ２）、横軸がLog（Ｒ２／Ｇ２）である特徴空間Nにおける酸素飽和度の等値線の位置を示すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度の算出方法を示す説明図である。 計測用補正値の決定方法を示す説明図である。 酸素飽和度用演算テーブルの補正を示す説明図である。 第１実施形態における一連の流れを示すフローチャートである。 回転フィルタ式の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。 血管密度画像生成部の機能を示すブロック図である。 第２実施形態における一連の流れを示すフローチャートである。 第２実施形態において、図２１とは異なる一連の流れを示すフローチャートである。
　［第１実施形態］
　図１において、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。なお、先端部１２ｄには、観察対象に向けて洗浄液を噴射する噴射口（図示しない）が設けられている。
　また、操作部１２ｂには、アングルノブ１２ｅの他、観察モードの切り替え操作に用いるモード切替ＳＷ（モード切替スイッチ）１２ｆと、観察対象の静止画の取得指示に用いられる静止画取得指示部１２ｇとが設けられている。
　内視鏡システム１０は、通常モード、酸素飽和度モード（「計測モード」）、キャリブレーションモードの３つの観察モードを有している。通常モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像（以下、通常画像という）をモニタ１８に表示する。酸素飽和度モードは、観察対象の酸素飽和度を算出するとともに、算出した酸素飽和度を擬似カラーなどで画像化した画像（以下、酸素飽和度画像という）をモニタ１８に表示する。キャリブレーションモードでは、酸素飽和度の算出精度を向上させる補正に使用する補正値を取得する。
　プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。コンソール１９は、機能設定などの入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、画像や画像情報などを記録する外付けの記録部（図示省略）を接続してもよい。
　図２において、光源装置１４は、光源２０と、光源２０を制御する光源制御部２１とを備えている。光源２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。光源２０は、BS－ＬＥＤ（Blue Short-wavelength Light Emitting Diode）２０ａ、BL－ＬＥＤ（Blue Long-wavelength Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。
　BS－ＬＥＤ２０ａは、波長帯域４５０±１０ｎｍの第１青色光BSを発する。BL－ＬＥＤ２０ｂは、波長帯域４７０±１０ｎｍの第２青色光BLを発する。Ｇ－ＬＥＤ２０ｃは、波長帯域５４０±１０ｎｍの緑色光Gを発する。Ｒ－ＬＥＤ２０ｄは、波長帯域６４０±２０ｎｍの赤色光Ｒを発する。なお、各ＬＥＤ２０ａ～２０ｄにおける中心波長とピーク波長は、同じであってもよく、異なっても良い。
　光源制御部２１は、各ＬＥＤ２０ａ～２０ｄに対して独立に制御信号を入力することによって、各ＬＥＤ２０ａ～２０ｄの点灯や消灯、点灯時の発光量などを独立に制御する。光源制御部２１における点灯又は消灯制御は、各モードによって異なっている。通常モードでは、BS－ＬＥＤ２０ａ、Ｇ－ＬＥＤ２０ｃ、Ｒ－ＬＥＤ２０ｄを同時に点灯することによって、第１青色光BS、緑色光G、赤色光Rを同時に発光する。酸素飽和度モードでは、BL－ＬＥＤ２０ｂの点灯により第２青色光BLを発光する第１計測用発光モードと、BS－ＬＥＤ２０ａ、Ｇ－ＬＥＤ２０ｃ、Ｒ－ＬＥＤ２０ｄを同時に点灯することによって、第１青色光BS、緑色光G、赤色光Rを同時に発光する第２計測用発光モードを交互に繰り返す。
　キャリブレーションモードでは、BS－ＬＥＤ２０ａ、BL－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、Ｒ－ＬＥＤ２０ｄを順次点灯することによって、第１青色光BS、第２青色光BL、緑色光G、赤色光Rを順次発光する。このキャリブレーションモードにおいて、第１青色光BSを発光するモードを第１校正用発光モードとし、第２青色光BLを発光するモードを第２校正用発光モードとし、緑色光Gを発光するモードを第３校正用発光モードとし、赤色光Rを発光するモードを第４校正用発光モードとする。
　各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズなどで構成される光路結合部２３を介して、ライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６とを接続するコード）に内蔵されている。ライトガイド２５は、各ＬＥＤ２０ａ～２０ｄからの光を、内視鏡１２の先端部１２ｄまで伝搬する。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２と、撮像センサ４４とを有している。照明光が照射された観察対象からの光は、対物レンズ４２を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。
　撮像センサ４４は、照明光で照明中の観察対象を撮像するカラー撮像センサである。撮像センサ４４の各画素には、Ｂ（青色）カラーフィルタを有するB画素（青色画素）、Ｇ（緑色）カラーフィルタを有するG画素（緑色画素）、及びＲ（赤色）カラーフィルタを有するR画素（赤色画素）のいずれかが設けられている。図３に示すように、Ｂカラーフィルタは、主として青色帯域の光、具体的には、波長帯域が３８０～５６０ｎｍの光を透過させる。透過率が最大となるピーク波長は４６０～４７０nm付近に存在する。Ｇカラーフィルタは、主として緑色帯域の光、具体的には、波長帯域が４５０～６３０ｎｍの光を透過させる。Ｒカラーフィルタは、主として赤色帯域の光、具体的には５８０～７６０nmの光を透過させる。
　撮像センサ４４としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色の撮像センサ４４の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（グリーン）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるので、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４４と同様のＲＧＢ各色の画像信号を得ることができる。
　撮像センサ４４は、撮像制御部４５によって駆動制御される。撮像制御部４５における制御は、各モードによって異なっている。図４に示すように、通常モードでは、撮像制御部４５は、第１青色光BS、緑色光G、赤色光Rで照明中の観察対象を１フレーム毎に撮像するように、撮像センサ４４を制御する。これにより、撮像センサ４４のB画素からBc画像信号が出力され、G画素からGc画像信号が出力され、R画素からRc画像信号が出力される。
　図５に示すように、酸素飽和度モードでは、撮像制御部４５は、第１計測用発光モードにおいて第２青色光BLで照明中の観察対象を１フレーム分撮像する第１計測用撮像モードと、第２計測用発光モードにおいて第１青色光BS、緑色光G、赤色光Rで照明中の観察対象を１フレーム分撮像する第２計測用撮像モードとを交互に繰り返すように撮像センサ４４を制御する。これにより、第１計測用撮像モード時には、撮像センサ４４のB画素からB1画像信号が出力され、G画素からG1画像信号が出力され、R画素からR1画像信号が出力される。また、第２計測用撮像モード時には、撮像センサ４４のB画素からB2画像信号が出力され、G画素からG2画像信号が出力され、R画素からR2画像信号が出力される。
　図６に示すように、キャリブレーションモードでは、撮像制御部４５は、第１校正用発光モードにおいて第１青色光BSで照明中の観察対象を１フレーム分撮像する第１校正用撮像モードと、第２校正用発光モードにおいて第２青色光BLで照明中の観察対象を１フレーム分撮像する第２校正用撮像モードと、第３校正用発光モードにおいて緑色光Gで照明中の観察対象を１フレーム分撮像する第３校正用撮像モードと、第４校正用発光モードにおいて赤色光Rで照明中の観察対象を１フレーム分撮像する第４校正用撮像モードとを順次行うように撮像センサ４４を制御する。
　これにより、第１校正用撮像モード時には、撮像センサ４４のB画素からBｐ画像信号が出力され、G画素からGp画像信号が出力され、R画素からRp画像信号が出力される。また、第２校正用撮像モード時には、撮像センサ４４のB画素からBq画像信号が出力され、G画素からGq画像信号が出力され、R画素からRq画像信号が出力される。また、第３校正用撮像モード時には、撮像センサ４４のB画素からBr画像信号が出力され、G画素からGr画像信号が出力され、R画素からRr画像信号が出力される。また、第４校正用撮像モード時には、撮像センサ４４のB画素からBs画像信号が出力され、G画素からGs画像信号が出力され、R画素からRs画像信号が出力される。
　図２に示すように、ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。
　プロセッサ装置１６は、画像信号取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理切替部５６と、通常画像生成部５８と、酸素飽和度画像生成部６０と、キャリブレーション部６２と、映像信号生成部６４とを備えている。画像信号取得部５０（「画像取得部」に対応する）は、内視鏡１２から入力される画像信号を受信し、受信した画像信号をＤＳＰ５２に送信する。例えば、プロセッサ装置１６はＣＰＵ（Central processing unit）を有し、このＣＰＵが画像信号取得部５０、ノイズ低減部５４、画像処理切替部５６、通常画像生成部５８、酸素飽和度画像生成部６０、キャリブレーション部６２、及び映像信号生成部６４として機能する。
　ＤＳＰ５２は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることにより各画像信号の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるリニアマトリクス処理が施される。
　その後、ガンマ変換処理によって、各画像信号の明るさや彩度が整えられる。リニアマトリクス処理後の画像信号には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後の各画像信号にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。
　ノイズ低減部５４は、ＤＳＰ５６でデモザイク処理等を施した画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減した画像信号は、画像処理切替部５６に入力される。
　画像処理切替部５６は、設定されているモードによって、ノイズ低減部５４からの画像信号の送信先を、通常画像生成部５８、酸素飽和度画像生成部６０、及びキャリブレーション部６２のいずれかに切り替える。具体的には、通常モードにセットされている場合には、ノイズ低減部５４からの画像信号を通常画像生成部５８に入力する。また、酸素飽和度モードに設定されている場合、ノイズ低減部５４からの画像信号を酸素飽和度画像生成部６０に入力する。また、キャリブレーションモードに設定されている場合、ノイズ低減部５４からの画像信号をキャリブレーション部６２に入力する。
　通常画像生成部５８は、通常モードに設定されている場合に作動し、入力した１フレーム分のRc画像信号、Gc画像信号、Bc画像信号に対して、さらに３×３のマトリックス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理を施す。そして、色変換処理済みのＲＧＢ画像データに対して、各種色彩強調処理を施す。この色彩強調処理済みのＲＧＢ画像データに対して、空間周波数強調等の構造強調処理を施す。構造強調処理を施したＲＧＢ画像データは、通常画像として映像信号生成部６４に入力される。
　酸素飽和度画像生成部６０は、酸素飽和度モード時に異なるタイミングで照明及び撮像を行うことにより得られる計測用マルチフレーム画像信号（「計測用マルチフレーム画像」に対応する）を用いて、酸素飽和度を算出する。計測用マルチフレーム画像信号には、第１計測用発光モード及び撮像モードで得られたB1画像信号と、第２計測用発光モード及び撮像モードで得られたG2画像信号及びR2画像信号が含まれる。また、酸素飽和度画像生成部６０では、観察対象の部位や患者の違い、黄色色素の影響、及び画像ブレなどによって生じる酸素飽和度の算出誤差を補正するための計測用補正値を用いて演算を行うことで、画像ブレなど複数の変動要因によらず、酸素飽和度が正確に算出するようにしている。酸素飽和度画像生成部６０による酸素飽和度の算出方法については後述する。算出した酸素飽和度を疑似カラーなどで画像化した酸素飽和度画像を生成する。この酸素飽和度画像は、映像信号生成部６４に入力される。
　キャリブレーション部６２は、酸素飽和度モードを行う前のキャリブレーションモード時に作動し、キャリブレーションモード時に異なるタイミングで照明及び撮像を行うことにより得られる補正用マルチフレーム画像信号（「補正用マルチフレーム画像」に対応する）を少なくとも１セット以上取得する。このキャリブレーション部６２では、補正用マルチフレーム画像信号毎に、酸素飽和度モードで使用する計測用補正値の候補となり得る仮補正値を算出するとともに、補正用画像変動量を算出する。そして、キャリブレーション部６２は、算出した仮補正値とこの仮補正値に対応する補正用マルチフレーム画像の補正用画像変動量とを対応付けて補正値用記憶部６６に記憶する。以上のキャリブレーション部６２の詳細については後述する。
　なお、補正用マルチフレーム画像信号には、第１校正用発光モード及び撮像モードで得られたBP画像信号、第２校正用発光モード及び撮像モードで得られたBq画像信号、第３校正用発光モード及び撮像モードで得られたGr画像信号、第４校正用発光モード及び撮像モードで得られたRs画像信号が含まれる。
　映像信号生成部６４は、通常画像生成部５８からの通常画像の画像データ、又は酸素飽和度画像生成部６０からの酸素飽和度画像の画像データを、モニタ１８上においてフルカラーの表示を可能にする映像信号に変換する。変換済みの映像信号はモニタ１８に入力される。これにより、モニタ１８には通常画像または酸素飽和度画像が表示される。
　次に、酸素飽和度画像生成部６０とキャリブレーション部６２の詳細について説明する。キャリブレーション部６２で仮補正値と補正用画像変動量を算出し、その後に、酸素飽和度画像生成部６０で最も小さい補正用画像変動量に対応付けられた仮補正値を計測用補正値として使用する。そこで、まず、キャリブレーション部６２について説明し、その後に、酸素飽和度画像生成部６０について説明する。
　図７に示すように、キャリブレーション部６２は、補正用画像変動量算出部７０と、補正値算出部７２と、対応付け部７６とを備えている。補正用画像変動量算出部７０は、補正用マルチフレーム画像信号であるBp画像信号、Bq画像信号、Gr画像信号、Rs画像信号から、補正用画像変動量を算出する。この補正用画像変動量の算出方法の具体例については後述する。ここで、補正用画像変動量とは、補正用マルチフレーム画像信号に基づく画像状態が、フレーム間の位置ズレなど様々な変動要因によって、基準画像状態からどの程度変動しているかを示すものである。
　画像状態とは、例えば、補正用マルチフレーム画像信号のいずれかの画像信号の画素値のことをいい、また、補正用マルチフレーム画像信号を組み合わせた演算により得られる演算値（例えば、信号比など）の大きさのことをいう。また、基準画像状態とは、フレーム間の位置ズレが無い又はほとんど無いなど様々な変動要因が存在しない又はほとんど存在しない状況下で得られた画像信号に基づく画像状態のことをいう。以上から、補正用画像変動量は、例えば、補正用マルチフレーム画像信号に基づく画像状態と基準画像状態との差分又は比などで表される。なお、補正用画像変動量算出部７０には、少なくとも１セット以上の補正用マルチフレーム画像信号が入力され、これら入力される補正用マルチフレーム画像信号毎に補正用画像変動量の算出が行われる。
　変動要因としては、補正用マルチフレーム画像信号間の位置ズレ、補正用マルチフレーム画像信号内での動き、補正用マルチフレーム画像信号を取得した際の照明光の発光量の変化、補正用マルチフレーム画像信号の画素値の変化、補正用マルチフレーム画像信号における残液の量の変化などが挙げられる。
　したがって、上記変動要因によって発生する補正用画像変動量としては、補正用マルチフレーム画像信号間の動き量、補正用マルチフレーム画像信号のいずれかの画像信号内での動き量、補正用マルチフレーム画像信号が得られた時の照明光の発光量、補正用マルチフレーム画像信号の各画素値、補正用マルチフレーム画像信号が得られた時の観察対象上での残液の量などが挙げられる。補正用画像変動量算出部７０では、上記の補正用画像変動量の全てについて算出してもよく、一部のみを算出してもよい。
　また、補正用画像変動量算出部７０では、補正用マルチフレーム画像信号において、全ての画素領域にて補正用画像変動量を算出してもよく、一部の画素領域を補正用画像変動量算出領域に設定し、設定した補正用画像変動量算出領域内で補正用画像変動量を算出してもよい。補正用画像変動量算出領域の設定は、補正用マルチフレーム画像信号の各画像信号毎に行ってもよく、いずれかの画像信号（例えば、補正用画像変動量が顕著にでる画像信号）についてのみ行ってもよい。
　また、補正用画像変動量算出領域において補正用画像変動量を算出する場合には、画素領域の設定を、コンソール１９などのUI（User Interface（ユーザーインターフェース））により行ってもよい。また、補正用マルチフレーム画像信号において、補正用画像変動量が大きい部分を画像解析で自動判別し、その自動判別した領域の補正用画像変動量を算出するようにしてもよい。なお、本実施形態では、黄色色素の補正用画像変動量などを算出するために、４フレーム分の補正用マルチフレーム画像信号を使用するが、算出する補正用画像変動量の種類と数に合わせて、補正用マルチフレーム画像のフレーム数を増減してもよい。
　補正値算出部７２は、補正用画像変動量算出部７０で得られた補正用画像変動量に基づいて、仮補正値を算出する。仮補正値の算出は、補正用画像変動量算出部７０で算出された補正用画像変動量毎、即ち、補正用マルチフレーム画像信号毎に行われる。仮補正値の算出方法の具体例については後述する。対応付け部７６は、補正用画像変動量算出部７０で算出された補正用画像変動量と、この補正用画像変動量に基づいて算出された仮補正値とを対応付けて補正値用記憶部６６に記憶する。
　例えば、補正値用記憶部６６には、図８に示すように、キャリブレーションモード中の第１タイミングT１（図８では「Ｔ１」と記載。以下同様）に取得した補正用マルチフレーム画像信号から得られる黄色色素の変動量Ｘ１とこれに対する黄色色素用の仮補正値ＡＸ１が記憶されており、キャリブレーションモード中の第１タイミングT１よりも後の第２タイミングT２（図８では「Ｔ２」と記載。以下同様）に取得した黄色色素の変動量Ｘ２とこれに対する黄色色素用の仮補正値ＡＸ２が記憶されている。なお、補正値用記憶部６６には、第１タイミングT１と第２タイミングT２の補正用マルチフレーム画像信号のみならず、それら異なるタイミングの補正用マルチフレーム画像信号から得られる補正用画像変動量とその仮補正値を記憶してもよい。また、補正値用記憶部６６には、黄色色素の変動量とその仮補正値に加えて又は代えて、その他の補正用画像変動量とその仮補正値を記憶してもよい。
　以下においては、補正用画像変動量の算出方法と仮補正値の算出方法の一例として、黄色色素の変動量の算出方法と、黄色色素の変動量に基づく黄色色素用の仮補正値の算出方法について説明する。まず、補正用画像変動量算出部７０は、生体内における黄色色素に関する情報を持ち、且つ酸素飽和度によって影響を受けない生体内情報を算出する。具体的には、Bp画像信号とGr画像信号の信号比Ｂｐ／Ｇｒを画素毎に算出し、Bq画像信号とGr画像信号の信号比Ｂｑ／Ｇｒを画素毎に算出し、Rs画像信号とGr画像信号の信号比Ｒｓ／Ｇｒを画素毎に算出する。
　ここで、信号比Ｂｐ／ＧｒのうちＢｐについては第１青色光BSに対応する画像信号である。この第１青色光BSの波長帯域４５０±１０ｎｍは、ヘモグロビンの吸光係数が比較的高い青色帯域に属し、且つ酸化ヘモグロビンと還元ヘモグロビンの吸光係数が同じ等吸収波長である（図１３参照）。また、第１青色光BSの波長帯域４５０±１０ｎｍは、図９に示すように、黄色色素の吸光係数が最も高くなる吸収ピーク波長を有していることから、黄色色素の濃度に応じて吸光量が変化しやすい波長帯域である。したがって、信号比Ｂｐ／Ｇｒは、酸素飽和度によって信号値は変化しないものの、黄色色素の濃度や血液量によって信号値が変化する。なお、Ｇｒ画像信号に含まれる緑色光の波長帯域５４０±２０ｎｍは、上記したように、血液量に応じて吸光量が変化しやすい波長帯域である。
　信号比Ｂｑ／ＧｒのうちＢｑについては第２青色光BLに対応する画像信号である。この第２青色光BLの波長帯域４７０±１０ｎｍは、上記したように、ヘモグロビンの吸光係数が比較的高い青色帯域に属し、且つ酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる異吸収波長である（図１３参照）ことから、ヘモグロビンの酸素飽和度によって吸光量が変化しやすい波長帯域である。また、第２青色光BLの中心波長４７０ｎｍは、黄色色素の吸収ピーク波長からはやや吸収係数が低くなるものの、他の波長帯域と比較すると大きな吸収係数を有している（図１３参照）。したがって、信号比Ｂｑ／Ｇｒは、酸素飽和度、黄色色素の濃度、血液量によって信号値が変化する。これに対して、信号比Ｒｓ／Ｇｒについては、酸素飽和度及び黄色色素の濃度によって信号値はほとんど変化せず、血液量によって信号値が変化する。
　次に、下記式Aにより得られる演算値Mが、酸素飽和度が変化しても一定になるように、φを調整する。このφ調整後の演算値Mと信号比Ｒｓ／Ｇｒからなる情報を、生体内情報とする。この生体内情報は、黄色色素の濃度に応じて変化する情報であり、且つ酸素飽和度によって変化しない情報である。
（式A）演算値M＝信号比Ｂｐ／Ｇｒ×ｃｏｓφ－信号比Ｂｑ／Ｇｒ×ｓｉｎφ
　ここで、縦軸が式（A）に基づく演算値Mで形成される特徴空間M上において、黄色色素が無い状態で得られ、且つ酸素飽和度によって変化しない予め設定済みの基準情報と、上記の生体内情報を表した場合、図１０に示すような分布になる。図１０に示すように、黄色色素の影響が無い基準情報の分布を示す基準線７８と、黄色色素の影響を受けた生体内情報が分布する実測線８０とは、それぞれ、ほぼ横軸方向にそって形成されている。実測線８０においては、黄色色素の濃度は同じである等濃度線となっている。また、特徴空間Mにおいて、基準線７８は実測線８０よりも上方に位置している。また、特徴空間Mにおいて、黄色色素の影響が大きくなるほど、実測線８０は下方に位置するようになって、基準線７８と実測線８０との差が大きくなる。したがって、補正用画像変動量算出部７０は、基準線７８と実測線８０との差分ΔＺを、黄色色素の変動量として算出する。
　補正値算出部７２は、補正用画像変動量算出部７０で算出した黄色色素の変動量に対して、補正部９３での補正態様に対応させた変換係数αを掛け合わせることによって、仮補正値を算出する（仮補正値＝差分ΔＺ×係数α）。補正部９３での補正には、酸素飽和度算出部８８で使用する信号比Ｂ１／Ｇ２の補正、信号比Ｒ２／Ｇ２の補正、又は酸素飽和度算出部８８で算出した酸素飽和度の補正の３パターンあることから、上記の変換係数αも３パターンあり、それぞれ異なっている。なお、仮補正値は、Bp画像信号、Bq画像信号、Gr画像信号、Rs画像信号に対してマトリックス処理と１Ｄ－ＬＵＴ（1 dimensional Look UP Tabel）とを組み合わせた変換処理によって算出してもよい。
　図１１に示すように、酸素飽和度画像生成部６０は、信号比算出部８４と、酸素飽和度用演算テーブル８６と、酸素飽和度算出部８８と、画像生成部９０と、計測用画像変動量算出部９１と、補正値決定部９２と、補正部９３と、を備えている。信号比算出部８４は、計測用マルチフレーム画像信号であるB1画像信号、G2画像信号、R2画像信号に基づいて、酸素飽和度算出部８８で酸素飽和度の算出に用いる信号比を算出する。具体的には、信号比算出部８４は、B1画像信号とG2画像信号の信号比Ｂ１／Ｇ２と、R2画像信号とG2画像信号の信号比Ｒ２／Ｇ２と、G2画像信号とB2画像信号の信号比Ｇ２／Ｂ２とをそれぞれ画素毎に算出する。
　酸素飽和度用演算テーブル８６（「演算テーブル」に対応する）は信号比算出部８４が算出する各信号比と、酸素飽和度との相関関係を記憶している。この相関関係を、縦軸Log（Ｂ１／Ｇ２）、横軸Log（Ｒ２／Ｇ２）で形成される特徴空間N上で表した場合、図１２に示すように、特徴空間N上において、酸素飽和度が同じ部分を繋ぎあわせた等値線が、ほぼ横軸方向に沿って、形成されている。また、等値線は、酸素飽和度が大きくなるほど、縦軸方向に対して、より下方側に位置している。例えば、酸素飽和度が１００％の等値線９５は、酸素飽和度が０％の等値線９６よりも下方に位置している。以上の等値線に関する情報は、基準画像状態で得られた画像信号に基づいて作成されている。
　なお、特徴空間Nにおける等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。また、酸素飽和度用演算テーブル８６では、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２と酸素飽和度との相関関係を記憶しているが、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２との相関関係に限らず、B1画像信号、G2画像信号、R2画像信号に基づく特定の演算（例えば、差分処理）を行って得られる第１演算値と酸素飽和度との相関関係を記憶するようにしてもよい。
　上記相関関係は、図１３に示す酸化ヘモグロビン（グラフ９７）や還元ヘモグロビン（グラフ９８）の吸光特性や光散乱特性と密接に関連し合っている。例えば、第２青色光BLの波長帯域４７０±１０ｎｍのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長帯域では、ヘモグロビンの酸素飽和度によって吸光量が変化するため、酸素飽和度の情報を取り扱いやすい。したがって、中心波長４７０ｎｍの第２青色光ＢＬの光に対応するＢ１画像信号を含む信号比Ｂ１／Ｇ２を用いることで、酸素飽和度の算出が可能となる。しかしながら、信号比Ｂ１／Ｇ２は酸素飽和度だけでなく、血液量にも依存度が高い。そこで、信号比Ｂ１／Ｇ２に加えて、主として血液量に依存して変化する信号比Ｒ２／Ｇ２を用いることで、血液量に影響されることなく、酸素飽和度を正確に求めることができる。なお、Ｇ２画像信号に含まれる緑色光の波長帯域５４０±２０ｎｍは、ヘモグロビンの吸光係数が比較的高いため、血液量によって吸光量が変化しやすい波長帯域である。
　酸素飽和度算出部８８は、酸素飽和度用演算テーブル８６に記憶した相関関係を参照し、信号比Ｂ１／Ｇ２，Ｒ２／Ｇ２に対応する酸素飽和度を画素毎に算出する。例えば、図１４に示すように、酸素飽和度用演算テーブル８６に記憶した相関関係を参照した場合、特定画素の信号比Ｂ１*／Ｇ２*，Ｒ２*／Ｇ２*に対応する酸素飽和度は「４０％」である。したがって、酸素飽和度算出部８８は、酸素飽和度を「４０％」と算出する。
　なお、信号比Ｂ１／Ｇ２，Ｒ２／Ｇ２が極めて大きくなったり、極めて小さくなったりすることはほとんどない。すなわち、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２の各値の組み合わせが、酸素飽和度１００％の上限の等値線９５（図１３参照）よりも下方に分布したり、反対に、酸素飽和度０％の下限の等値線９６（図１３参照）よりも上方に分布したりすることはほとんどない。但し、上限の等値線９５より下方に分布する場合には酸素飽和度を１００％とし、下限の等値線９６より上方に分布する場合には酸素飽和度算出部８８は酸素飽和度を０％とする。また、信号比Ｂ１／Ｇ２，Ｒ２／Ｇ２に対応する点が上限の等値線９５と下限の等値線９６との間に分布しない場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示をし、酸素飽和度を算出しないようにしても良い。
　画像生成部９０は、酸素飽和度算出部８８で算出した酸素飽和度を用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。具体的には、画像生成部９０は、B2画像信号、G2画像信号、及びR2画像信号を取得し、これらの画像信号に対して酸素飽和度に応じたゲインを画素毎に施す。そして、ゲインを施したB2画像信号、G2画像信号、及びR2画像信号を用いてＲＧＢ画像データを生成する。例えば、画像生成部９０は、酸素飽和度が６０％以上の画素ではB2画像信号、G2画像信号、及びR2画像信号のいずれにも同じゲイン「１」を乗じる。これに対して、酸素飽和度が６０％未満の画素では、B2画像信号に対して「１」未満のゲインを乗じ、G2画像信号及びR2画像信号に対しては「１」以上のゲインを乗じる。このゲイン処理後のB2画像信号、G2画像信号、及びR2画像信号を用いて生成したＲＧＢ画像データが酸素飽和度画像である。
　画像生成部９０が生成した酸素飽和度画像では、高酸素の領域（酸素飽和度が６０～１００％の領域）では、通常観察画像と同様の色で表される。一方、酸素飽和度が特定値を下回る低酸素の領域（酸素飽和度が０～６０％の領域）は、通常観察画像とは異なる色（疑似カラー）で表される。
　なお、本実施形態では、画像生成部９０は、低酸素の領域のみ疑似カラー化するゲインを乗じているが、高酸素領域でも酸素飽和度に応じたゲインを施し、酸素飽和度画像の全体を疑似カラー化しても良い。また、低酸素領域と高酸素領域を酸素飽和度６０％で分けているがこの境界も任意である。
　計測用画像変動量算出部９１は、計測用マルチフレーム画像信号であるB1画像信号、G2画像信号、R2画像信号から、計測用画像変動量を算出する。計測用画像変動量とは、補正用画像変動量と同様、計測用マルチフレーム画像信号に基づく画像状態が、フレーム間の位置ズレなど様々な変動要因によって、基準画像状態からどの程度変動しているかを示すものである。計測用画像変動量算出部９１では、補正用画像変動量算出部７０で算出した補正用画像変動量の全ての種類について、計測用画像変動量の算出を行う。例えば、補正用画像変動量として、黄色色素の変動量とフレーム間の位置ズレを算出した場合には、計測用画像変動量として、同じようにして、黄色色素の変動量とフレーム間の位置ズレを算出する。計測用画像変動量算出部９１で算出した計測用画像変動量については、補正値決定部９２に送信される。
　なお、計測用画像変動量の算出方法については、補正用画像変動量の算出方法と同様である。また、補正用画像変動量を算出した場合と同様に、計測用マルチフレーム画像信号において、全ての画素領域にて計測用画像変動量を算出してもよく、一部の画素領域を計測用画像変動量算出領域に設定し、設定した計測用画像変動量算出領域内で計測用画像変動量を算出してもよい。計測用画像変動量算出領域については、補正用画像変動量算出領域と同様の方法で設定される。
　補正値決定部９２では、入力された計測用画像変動量と補正値用記憶部６６に記憶された補正用画像変動量とを比較する。そして、補正値決定部９２は、両変動量を比較した結果、計測用画像変動量に最も近い補正用画像変動量に対応付けられた仮補正値を、計測用補正値として決定する。補正値決定部９２では、補正値用記憶部６６に記憶された全種類の補正用画像変動量について、計測用画像変動量との比較を行い、計測用補正値の決定を行う。なお、補正用画像変動量算出領域と計測用画像変動量算出領域を設定した場合には、補正用画像変動量算出領域と計測用画像変動量算出領域とが重複する領域において、補正用画像変動量と計測用画像変動量とを比較することが好ましい。
　例えば、補正値用記憶部６６において、図１５に示すような変動量と仮補正値が記憶されている場合には、計測用補正値の決定方法は以下のようになる。なお、補正値用記憶部６６には、第１タイミングT１の補正用マルチフレーム画像信号から得られた黄色色素の変動量Ｘ１及び黄色色素用の仮補正値ＡＸ１とフレーム間位置ズレ量Ｙ１及びフレーム間位置ズレ用の仮補正値ＡＹ１とが記憶されている。また、補正値用記憶部６６には、第２タイミングT２の補正用マルチフレーム画像信号から得られた黄色色素の変動量Ｘ２及び黄色色素用の仮補正値ＡＸ２とフレーム間位置ズレ量Ｙ２及びフレーム間位置ズレ用の仮補正値ＡＹ２とが記憶されている。例えば、計測用画像変動量として、黄色色素の変動量Ｘ１が入力された場合には、黄色色素用の計測用補正値として、第１タイミングT１の黄色色素用の仮補正値ＡＸ１が決定される。また、計測用画像変動量として、フレーム間位置ズレ量Ｙ２が入力された場合には、フレーム間位置ズレ用の計測用補正値として、第２タイミングT２のフレーム間位置ズレ用の仮補正値ＡＹ２が決定される。
　補正部９３は、補正値決定部９２で決定した計測用補正値に基づいて、酸素飽和度算出部８８における酸素飽和度算出処理の内容を補正する。この補正部９３では、酸素飽和度算出処理の内容の補正として、酸素飽和度用演算テーブル８６の補正、酸素飽和度算出部８８で使用する信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２の補正、又は酸素飽和度算出部８８で算出した酸素飽和度の補正のいずれかを行う。酸素飽和度用演算テーブル８６の補正については、補正部９３が、特徴空間Nにおいて、等値線の全体を縦軸Log（Ｂ１／Ｇ２）方向又は横軸Log（Ｒ２／Ｇ２）方向に、テーブル補正用の計測用補正値分だけ移動させる補正を行う。
　例えば、補正用画像変動量として、図１０で示した差分ΔＺを黄色色素の変動量とする場合には、図１６に示すように、黄色色素用の計測用補正値分だけ、等値線の全体９９を縦軸Log（Ｂ１／Ｇ２）方向に移動させる補正を行う。これにより、酸素飽和度用演算テーブル８６の相関関係が更新される。この相関関係更新後の酸素飽和度用演算テーブル８６を用いて酸素飽和度を算出することで、各種部位や患者が異なる場合の他、観察対象上で黄色色素の影響や、フレーム間の位置ズレなどの様々な変動要因が発生する状況においても、酸素飽和度を正確に算出することができる。
　酸素飽和度算出部８８で使用する信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２の補正については、酸素飽和度算出部８８において、酸素飽和度用演算テーブル８６を参照する前に、補正部９３が、入力された信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２の少なくとも一方に対して、信号比用の計測用補正値分だけ加算する。そして、酸素飽和度算出部８８は、酸素飽和度用演算テーブル８６から、信号比用の計測用補正値を加算済みの信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２に対応する酸素飽和度を算出する。
　酸素飽和度算出部８８で算出した酸素飽和度の補正については、まず、酸素飽和度算出部８８において、酸素飽和度用演算テーブル８６に基づいて、仮の酸素飽和度を算出する。そして、補正部９３が、仮の酸素飽和度に対して、酸素飽和度用の計測用補正値分だけ加算する。酸素飽和度算出部８８は、酸素飽和度用の計測用補正値を加算済みの酸素飽和度を、正式な酸素飽和度として算出する。
　次に、一連の流れについて、図１７のフローチャートに沿って説明する。モード切替ＳＷ１２ｆを操作して、キャリブレーションモードに設定する。これにより、各ＬＥＤ２０ａ～２０ｄの順次点灯により、第１青色光BS、第２青色光BL、緑色光G、赤色光Rが順次発光される。これら４色の光は観察対象に照射され、撮像センサ４４によって撮像される。これにより、Bp画像信号、Bq画像信号、Gr画像信号、及びRｓ画像信号を含む補正用マルチフレーム画像信号が得られる。なお、キャリブレーションモードに設定した場合、観察対象上において、黄色色素などによる汚染が懸念される場合には、ユーザーは、洗浄液を内視鏡１２の先端部１２ｄから観察対象に噴射することにより、予め黄色色素などの影響の大部分を除去することができる。この洗浄は、黄色色素などによる汚染が懸念される場合に行えばよく、予め洗浄が確実に行われていれば、必ずしも行う必要はない。
　次に、補正用画像変動量算出部７０が、補正用マルチフレーム画像信号に基づいて、補正用画像変動量を算出する。補正用画像変動量を算出した後は、補正値算出部７２が、補正用画像変動量に基づいて、仮補正値を算出する。対応付け部７６は、補正用画像変動量と、この補正用画像変動量に基づいて算出された仮補正値とを対応付けて補正値用記憶部６６に記憶する。そして、以上に示した補正用マルチフレーム画像信号の取得、補正用画像変動量とその仮補正値の算出、及び補正値用記憶部６６への記憶の一連のキャリブレーション処理を、予め定めた規定回数分だけ、繰り返し行う。
　キャリブレーション処理の処理回数が規定回数に達した場合には、キャリブレーションモードから酸素飽和度モードに自動的に切り替える。酸素飽和度モードでは、第２青色光BLと、第１青色光BS、緑色光G、及び赤色光Rを含む光とを交互に観察対象に照射し、撮像センサ４４によって撮像する。これにより、酸素飽和度の算出に必要となるB1画像信号、G2画像信号、及びR2画像信号を含む計測用マルチフレーム画像信号が得られる。
　計測用マルチフレーム画像信号を取得した後は、計測用画像変動量算出部９１が、計測用マルチフレーム画像信号に基づいて、計測用画像変動量を算出する。計測用画像変動量を算出した後は、補正値決定部９２が、計測用画像変動量と、補正値用記憶部６６に記憶された補正用画像変動量とを比較する。比較した結果、計測用画像変動量に最も近い補正用画像変動量に対応付けられた仮補正値を、計測用補正値として決定する。この計測用補正値に基づいて、酸素飽和度用演算テーブル８６の補正を行う。
　次に、B1画像信号とG2画像信号の信号比Ｂ１／Ｇ２と、R2画像信号とG2画像信号の信号比Ｒ２／Ｇ２を算出する。そして、酸素飽和度算出部８８は、算出した信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２に基づいて、補正済みの酸素飽和度用演算テーブル８６に記憶した相関関係を参照して、酸素飽和度を算出する。算出した酸素飽和度に基づいて酸素飽和度画像を生成し、モニタ１８に表示する。なお、酸素飽和度の算出前に、酸素飽和度用演算テーブル８６の補正を行ったが、信号比Ｂ１／Ｇ２、Ｒ２／Ｇ２の補正を行ってもよい。または、仮の酸素飽和度の算出した後に、仮の酸素飽和度の補正を行うようにしてもよい。
　なお、上記で示した４色のＬＥＤ２０ａ～２０ｄの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行ってもよい。図１８に示すように、内視鏡システム１００では、光源装置１４において、４色のＬＥＤ２０ａ～２０ｄに代えて、広帯域光源１０２、回転フィルタ１０４、フィルタ切替部１０５が設けられている。また、撮像光学系３０ｂには、カラーの撮像センサ４４の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ１０６が設けられている。
　広帯域光源１０２はキセノンランプ、白色ＬＥＤなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ１０４は、内側に設けられた内側フィルタ１０８と、外側に設けられた外側フィルタ１０９とを備えている（図１９参照）。フィルタ切替部１０５は、回転フィルタ１０４を径方向に移動させるものであり、モード切替ＳＷ１２ｆにより通常モードにセットしたときに、回転フィルタ１０４の内側フィルタ１０８を白色光の光路に挿入し、酸素飽和度モード又はキャリブレーションモードにセットしたときに、回転フィルタ１０４の外側フィルタ１０９を白色光の光路に挿入する。
　図１９に示すように、内側フィルタ１０８には、周方向に沿って、白色光のうち第１青色光BSを透過させるＢ１フィルタ１０８ａ、白色光のうち緑色光Gを透過させるＧフィルタ１０８ｂ、白色光のうち赤色光Ｒを透過させるＲフィルタ１０８ｃが設けられている。したがって、通常モード時には、回転フィルタ１０４の回転により、第１青色光ＢＳ、緑色光Ｇ、赤色光Ｒが交互に観察対象に照射される。
　外側フィルタ１０９には、周方向に沿って、白色光のうち第１青色光ＢＳを透過させるＢ１フィルタ１０９ａと、白色光のうち第２青色光BLを透過させるB２フィルタ１０９ｂと、白色光のうち緑色光Gを透過させるGフィルタ１０９ｃと、白色光のうち赤色光Rを透過させるRフィルタ１０９ｄとが設けられている。したがって、酸素飽和度モード又はキャリブレーションモード時には、回転フィルタ１０４が回転することで、第１青色光BS、第２青色光BL、緑色光G、赤色光Rが交互に観察対象に照射される。
　内視鏡システム１００では、通常モード時には、第１青色光BS、緑色光G、赤色光Rで観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、Bc画像信号、Gc画像信号、Rc画像信号が得られる。そして、それら３色の画像信号に基づいて、上記第１実施形態と同様の方法で、通常画像が生成される。
　一方、酸素飽和度モード時には、第１青色光BS、第２青色光BL、緑色光G、赤色光Rで観察対象が照明される毎にモノクロの撮像センサ１０６で観察対象を撮像する。これにより、B2画像信号と、B1画像信号、G2画像信号、R2画像信号からなる計測用マルチフレーム画像信号が得られる。この計測用マルチフレーム画像信号に基づいて、上記と同様の方法で、酸素飽和度画像の生成が行われる。また、キャリブレーションモード時には、Bp画像信号、Bq画像信号、Gr画像信号、Rｓ画像信号からなる補正用マルチフレーム画像信号が得られる。これら４色の画像信号に基づいて、上記と同様の方法で、仮補正値の算出が行われる。
　なお、上記実施形態では、キャリブレーションモードにおいて相関関係の補正を行うために、波長帯域が４５０±１０ｎｍの第１青色光BSを用いているが、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が同じ波長帯域であり、且つ、黄色色素の吸光係数が他の波長帯域と比較して大きい波長帯域の光を用いてもよい。例えば、第１青色光BSの代わりに、波長帯域が５００±１０ｎｍの緑色狭帯域光を用いてもよい。
　なお、上記の実施形態では、機能的生体特徴量としての酸素飽和度を例に説明を行っているが、本発明は、機能的生体特徴量の他に、形態的生体特徴量に対しても適用可能である。形態的生体特徴量とは、例えば、血管の本数、分岐数、分岐角度、分岐点間距離、交差数、太さ、太さの変化、太さの変化の複雑度、長さ、間隔、粘膜を基準とした深さ、高低差、傾き、面積、密度、コントラスト、色、色の変化、蛇行度、血液濃度、動脈の割合、静脈の割合、投与した色素の濃度、走行パターン、または、血流量である。
　例えば、形態的生体特徴量として、血管密度を算出する場合には、以下のように行うことが好ましい。まず、キャリブレーションモードに設定して、中心波長４０５ｎｍの第１短波光SL１と、中心波長４４５ｎｍの第２短波光SL２とを交互に観察対象に照射し、照射毎に、撮像センサ４４によって観察対象の撮像を行う。これにより、第１短波光SL１に対応するBx画像信号と、第２短波光SL２に対応するBy画像信号からなる補正用マルチフレーム画像信号が得られる。この補正用マルチフレーム画像信号は、上記と同様に、少なくとも１セット以上取得する。
　そして、補正用マルチフレーム画像信号を用いて、上記と同様のキャリブレーション部６２により、補正用画像変動量とその仮補正値とを算出し、それら算出した補正用画像変動量とその仮補正値とを対応付けて補正値用記憶部６６に記憶する。なお、補正用画像変動量としては、例えば、Bｘ画像信号とBy画像信号間の位置ズレ量が挙げられる。
　次に、キャリブレーションモードに行われる血管密度モード（「計測モード」に対応する）では、第１短波光SL１と第２短波光SL２とを交互に観察対象に照射し、撮像センサ４４で撮像を行う。これにより、第１短波光SL１に対応するBx画像信号と、第２短波光SL２に対応するBy画像信号からなる計測用マルチフレーム画像信号が得られる。この計測用マルチフレーム画像信号に基づいて、図２０に示す血管密度画像生成部２００で血管密度画像を生成する。
　血管密度画像生成部２００は、演算画像信号生成部２０２、特定深さ血管強調画像生成部２０４、又は画像生成部２０６を備えるとともに、上記の実施形態と同様の計測用画像変動量算出部９１、補正値決定部９２、又は補正部９３を備えている。演算画像信号生成部２０２は、Bx画像信号とBy画像信号とを用いて演算を画素毎に行い、演算画像信号を生成する。演算は差分処理又は比率計算であることが好ましい。差分処理を行う場合には、Bx画像信号とBy画像信号を対数変換してから、対数変換後のBx画像信号とBy画像信号の差分処理を行う。また、比率計算の場合には、Bx画像信号とBy画像信号とを対数変換することなく、Bｘ画像信号をBy画像信号で除する、又はBy画像信号をBx画像信号で除する。
　特定深さ血管強調画像生成部２０４は、Bｘ画像信号又はBy画像信号のいずれかを輝度チャンネルYに割り当てるとともに、演算画像信号を二つの色差チャンネルCb、Crに割り当てることにより、特定深さの血管走行パターンを色で強調した特定深さ血管強調画像を生成する。生成された特定深さ血管強調画像は、後述の血管密度画像とともに、モニタ１８に表示される。なお、演算画像信号を色差チャンネルCb、Crに割り当てる際には、演算画像信号に色係数ｐを乗じたものを色差チャンネルCbに割り当て、演算画像信号に色係数ｑ（色係数ｐと異なる）を乗じたものを色差チャンネルCrに割り当てることが好ましい。このように色係数ｐ、ｑを用いるのは、血管の色味と他の観察対象の色とを調整するためである。
　画像生成部２０６は、特定深さ血管強調画像において所定の領域毎に血管密度を算出し、算出した血管密度に応じて色を割り当てた血管密度画像を生成する。血管密度画像においては、血管密度が大きい高密度領域と血管密度が低い低密度領域とで違いが明確になる色設定とすることが好ましい。以上のように血管密度を算出する場合においては、補正部９３は、計測用補正値に基づいて、血管密度の算出処理の内容を補正する。この補正部９３による血管密度の算出処理の内容の補正は、血管密度の算出前と血管密度の算出後の少なくともいずれかに補正を行う。例えば、血管密度の算出後であれば、補正部９３が、算出した血管密度に対して、血管密度用の計測用補正値を加算する補正を行うことが好ましい。
　［第２実施形態］
　第１実施形態では、補正用画像変動量と計測用画像変動量とを直接比較して、計測用画像変動量に最も近い補正用画像変動量を選択するようにしているが、第２実施形態では、補正用画像変動量と計測用画像変動量との違いを定量化し、定量化した値に基づいて、補正用画像変動量の選択を行う。それ以外については、第１実施形態と同様である。
　第２実施形態では、酸素飽和度画像生成部６０内の補正値決定部９２では、補正用画像変動量と計測用画像変動量とを比較する際に、補正用画像変動量と計測用画像変動量との差分又は比などの演算を行って、両者の変動量の違いを定量化した変動量指標値を算出する。そして、図２１に示すように、補正値決定部９２は、変動量指標値が特定の範囲内に入っている場合には、そのときの補正用画像変動量に対応付けられた仮補正値を、計測用補正値として決定する。計測用補正値の決定後は、第１実施形態と同様にして、補正部９３により補正を行う。なお、特定の範囲内の変動量指標値が複数存在して、複数の仮補正値を計測用補正値として決定した場合には、それら複数の仮補正値の代表値を正式な計測用補正値とすることが好ましい。代表値としては、複数の仮補正値の平均値や中央値とすることが好ましい。
　ここで、変動量指標値が補正用画像変動量と計測用画像変動量の差分である場合には、「特定の範囲」は「０」を含む一定の範囲（例えば、「０」よりも小さい「ｄｘ」から、「０」よりも大きい「ｄｙ」までの範囲）であることが好ましい。また、変動量指標値が補正用画像変動量と計測用画像変動量の比である場合には、「特定の範囲」は「１」を含む一定の範囲（例えば、「１」よりも小さい「ｃｘ」から、「１」よりも大きい「ｃｙ」までの範囲）であることが好ましい。
　一方、変動量指標値が特定の範囲に入っていない場合には、他の補正用画像変動量に代えて、変動量指標値を再計算し、特定の範囲に入っているかどうかの判定を行う。この判定は、変動量指標値が特定の範囲に入るまで繰り返し行われる。なお、補正値用記憶部６６に記憶された補正用画像変動量の全てについて、計測用画像変動量に対する変動量指標値が特定の範囲に入っていないと判定した場合には、図２２に示すように、補正値決定部９２は、予め定めたデフォルトの仮補正値を補正値用記憶部６６から読み込む。そして、補正値決定部９２は、読み込んだデフォルトの仮補正値を計測用補正値として決定する。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｅ　アングルノブ
１２ｆ　モード切替SW
１２ｇ　静止画取得指示部
１４　光源装置
１６　プロセッサ装置
１８　モニタ
１９　コンソール
２０　光源
２０ａ　ＢＳ－ＬＥＤ
２０ｂ　ＢＬ－ＬＥＤ
２０ｂ　ＢＬ－ＬＥＤ
２０ｃ　Ｇ－ＬＥＤ
２０ｄ　Ｒ－ＬＥＤ
２１　光源制御部
２３　光路結合部
２５　ライトガイド
３０ａ　照明光学系
３０ｂ　撮像光学系
３２　照明レンズ
４２　対物レンズ
４４　撮像センサ
４５　撮像制御部
４６　ＣＤＳ／ＡＧＣ回路
４８　Ａ／Ｄコンバータ
５０　画像信号取得部
５２　ＤＳＰ
５４　ノイズ低減部
５６　画像処理切替部
５８　通常画像生成部
６０　酸素飽和度画像生成部
６２　キャリブレーション部
６４　映像信号生成部
６６　補正値用記憶部
７０　補正用画像変動量算出部
７２　補正値算出部
７６　対応付け部
８４　信号比算出部
８６　酸素飽和度用演算テーブル
９０　画像生成部
９１　計測用画像変動量算出部
９２　補正値決定部
９３　補正部
９５　等値線
９６　等値線
９７　グラフ
９８　グラフ
９９　等値線の全体
１００　内視鏡システム
１０２　広帯域光源
１０４　回転フィルタ
１０５　フィルタ切替部
１０６　撮像センサ
１０８　内側フィルタ
１０８ａ　Ｂ１フィルタ
１０８ｂ　Ｇフィルタ
１０８ｃ　Ｒフィルタ
１０９　外側フィルタ
１０９ａ　Ｂ１フィルタ
１０９ｂ　Ｂ２フィルタ
１０９ｃ　Ｇフィルタ
１０９ｄ　Ｒフィルタ
２００　血管密度画像生成部
２０２　演算画像信号生成部
２０４　特定深さ血管強調画像生成部
２０６　画像生成部
 
 

Claims (11)

  1. 　異なるタイミングで観察対象を撮像して得られた計測用マルチフレーム画像に基づいて生体特徴量を算出する生体特徴量算出処理を行う生体特徴量算出部と、前記生体特徴量算出処理の内容を補正する補正部とを有する内視鏡システムであって、
    　異なるタイミングで観察対象を撮像することにより、補正用マルチフレーム画像を少なくとも１セット以上取得する画像取得部と、
    　前記補正用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す補正用画像変動量を算出する補正用画像変動量算出部と、
    　前記補正用画像変動量に基づいて、前記補正部での補正に用いる計測用補正値の候補となる仮補正値を算出する補正値算出部と、
    　前記補正用画像変動量と前記仮補正値とを対応付けて記憶する補正値用記憶部と、
    　前記計測用マルチフレーム画像に基づく画像状態について前記基準画像状態からの変動量を示す計測用画像変動量を算出する計測用画像変動量算出部と、
    　前記補正値用記憶部に記憶した前記補正用画像変動量と前記計測用画像変動量とを比較し、比較した結果に基づいて、前記補正値用記憶部に記憶した仮補正値の中から、特定の条件を満たす仮補正値を前記計測用補正値として決定する補正値決定部とを備える内視鏡システム。
  2. 　前記補正値決定部は、前記特定の条件を満たす仮補正値として、前記計測用画像変動量に最も近い補正用画像変動量に対応付けられた仮補正値を前記計測用補正値として決定する請求項１記載の内視鏡システム。
  3. 　前記補正値決定部は、前記補正用画像変動量と前記計測用画像変動量とから変動量指標値を算出し、前記特定の条件を満たす仮補正値として、前記変動量指標値が特定の範囲内に入った場合に算出した補正用画像変動量に対応付けられた仮補正値を前記計測用補正値として決定する請求項１記載の内視鏡システム。
  4. 　前記変動量指標値は、前記補正用画像変動量と前記計測用画像変動量との差分、または、前記補正用画像変動量と前記計測用画像変動量との比である請求項３記載の内視鏡システム。
  5. 　前記補正値決定部は、前記特定の条件を満たす仮補正値が無い場合には、予め定めたデフォルトの仮補正値を前記計測用補正値として決定する請求項３または４記載の内視鏡システム。
  6. 　前記補正用画像変動量算出部は、前記補正用マルチフレーム画像のうち補正用画像変動量算出領域における変動量を前記補正用画像変動量として算出し、
    　前記計測用画像変動量算出部は、前記計測用マルチフレーム画像のうち計測用画像変動量算出領域における変動量を前記計測用画像変動量として算出する請求項１ないし５いずれか１項記載の内視鏡システム。
  7. 　前記補正値決定部は、前記補正用画像変動量算出領域と前記計測用画像変動量算出領域とが重複する領域において、前記補正用画像変動量と前記計測用画像変動量の比較を行う請求項６記載の内視鏡システム。
  8. 　前記補正用画像変動量算出部は、前記基準画像状態に対して変動を生じさせる複数の種類の変動要因について、それぞれ補正用画像変動量を算出し、
    　前記計測用画像変動量算出部は、前記基準画像状態に対して変動を生じさせる前記複数の種類の変動要因について、それぞれ計測用画像変動量を算出し、
    　前記補正値決定部は、前記補正用画像変動量と前記計測用画像変動量について、変動要因の種類毎に比較する請求項１ないし７いずれか１項記載の内視鏡システム。
  9. 　前記変動要因は、前記補正用マルチフレーム画像間の位置ズレ、前記計測用マルチフレーム画像間の位置ズレ、前記補正用マルチフレーム画像内での動き、前記計測用マルチフレーム画像内での動き、前記補正用マルチフレーム画像を取得した際の照明光の発光量の変化、前記計測用マルチフレーム画像を取得した際の照明光の発光量の変化、前記補正用マルチフレーム画像の画素値の変化、前記計測用マルチフレーム画像の画素値の変化、前記補正用マルチフレーム画像における残液の量の変化、又は、前記計測用マルチフレーム画像における残液の量の変化である請求項８記載の内視鏡システム。
  10. 　前記補正部は、前記生体特徴量算出処理の内容の補正として、前記生体特徴量の算出に用いる演算テーブルの補正、前記計測用マルチフレーム画像に基づく補正、又は前記生体特徴量の補正の少なくともいずれかを行う請求項１ないし９いずれか１項記載の内視鏡システム。
  11. 　生体特徴量算出部が、異なるタイミングで観察対象を撮像して得られた計測用マルチフレーム画像に基づいて生体特徴量を算出する生体特徴量算出処理を行うステップと、補正部が、前記生体特徴量算出処理の内容を補正するステップとを有する内視鏡システムの作動方法であって、
    　画像取得部が、異なるタイミングで観察対象を撮像することにより、補正用マルチフレーム画像を少なくとも１セット以上取得するステップと、
    　補正用画像変動量算出部が、前記補正用マルチフレーム画像に基づく画像状態について基準画像状態からの変動量を示す補正用画像変動量を算出するステップと、
    　補正値算出部が、前記補正用画像変動量に基づいて、前記補正部での補正に用いる計測用補正値の候補となる仮補正値を算出するステップと、
    　対応付け部が、前記補正用画像変動量と前記仮補正値とを対応付けて補正値用記憶部に記憶するステップと、
    　計測用画像変動量算出が、前記計測用マルチフレーム画像に基づく画像状態について前記基準画像状態からの変動量を示す計測用画像変動量を算出するステップと、
    　補正値決定部が、前記補正値用記憶部に記憶した前記補正用画像変動量と前記計測用画像変動量とを比較し、比較した結果に基づいて、前記補正値用記憶部に記憶した仮補正値の中から、特定の条件を満たす仮補正値を前記計測用補正値として決定するステップとを有する内視鏡システムの作動方法。
     
PCT/JP2017/001295 2016-03-09 2017-01-17 内視鏡システム及びその作動方法 WO2017154353A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17762699.1A EP3427637A4 (en) 2016-03-09 2017-01-17 ENDOSCOPE SYSTEM AND METHOD OF USE
US16/038,195 US10925476B2 (en) 2016-03-09 2018-07-18 Endoscopic system and endoscopic system operating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-045505 2016-03-09
JP2016045505A JP6561000B2 (ja) 2016-03-09 2016-03-09 内視鏡システム及びその作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/038,195 Continuation US10925476B2 (en) 2016-03-09 2018-07-18 Endoscopic system and endoscopic system operating method

Publications (1)

Publication Number Publication Date
WO2017154353A1 true WO2017154353A1 (ja) 2017-09-14

Family

ID=59790371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/001295 WO2017154353A1 (ja) 2016-03-09 2017-01-17 内視鏡システム及びその作動方法

Country Status (4)

Country Link
US (1) US10925476B2 (ja)
EP (1) EP3427637A4 (ja)
JP (1) JP6561000B2 (ja)
WO (1) WO2017154353A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
JP7021183B2 (ja) * 2017-03-03 2022-02-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP3590402A4 (en) * 2017-03-03 2020-03-11 Fujifilm Corporation ENDOSCOPE SYSTEM, PROCESSOR DEVICE, AND OPERATION METHOD OF ENDOSCOPE SYSTEM
WO2018163570A1 (ja) * 2017-03-06 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法
JP6920931B2 (ja) * 2017-09-01 2021-08-18 富士フイルム株式会社 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
JP6866531B2 (ja) * 2018-03-06 2021-04-28 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
JP6999597B2 (ja) * 2019-03-27 2022-01-18 富士フイルム株式会社 プロセッサ装置及びその作動方法並びに内視鏡システム
EP4266973A1 (en) * 2020-12-22 2023-11-01 Stryker Corporation Systems and methods for medical imaging illumination
WO2023119856A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2023119795A1 (ja) * 2021-12-22 2023-06-29 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159603A (ja) * 2007-12-07 2009-07-16 Fujinon Corp 撮像システム、この撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器、並びに撮像システムの製造方法
JP2012066065A (ja) * 2010-08-24 2012-04-05 Fujifilm Corp 電子内視鏡システム及び血管情報取得方法
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX9702434A (es) * 1991-03-07 1998-05-31 Masimo Corp Aparato de procesamiento de señales.
US7123756B2 (en) * 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
US8139149B2 (en) * 2006-03-22 2012-03-20 Victor Company Of Japan, Limited Still image acquisition device, still image acquisition method, and image fluctuation correction device
JP2008276017A (ja) * 2007-05-01 2008-11-13 Sony Corp 撮像装置および方法、並びにプログラム
US8111318B2 (en) 2007-12-07 2012-02-07 Fujinon Corporation Imaging system, imaging apparatus, portable terminal apparatus, onboard apparatus, medical apparatus and method of manufacturing the imaging system
JP5278854B2 (ja) * 2007-12-10 2013-09-04 富士フイルム株式会社 画像処理システムおよびプログラム
US9654745B2 (en) * 2010-03-17 2017-05-16 Haishan Zeng Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization
JP5244164B2 (ja) * 2010-10-18 2013-07-24 富士フイルム株式会社 内視鏡装置
JP5302984B2 (ja) * 2011-01-12 2013-10-02 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5426620B2 (ja) * 2011-07-25 2014-02-26 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
CN103796566B (zh) * 2011-09-05 2017-06-06 富士胶片株式会社 内窥镜系统和图像显示方法
JP5853594B2 (ja) * 2011-10-31 2016-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5919533B2 (ja) * 2011-12-15 2016-05-18 パナソニックＩｐマネジメント株式会社 内視鏡およびこれを備えた内視鏡システム
JP5620932B2 (ja) * 2012-02-14 2014-11-05 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP6129686B2 (ja) * 2013-08-23 2017-05-17 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びにテーブル作成方法
JP5887367B2 (ja) * 2014-01-30 2016-03-16 富士フイルム株式会社 プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
JP5977772B2 (ja) * 2014-02-06 2016-08-24 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6039606B2 (ja) * 2014-06-24 2016-12-07 富士フイルム株式会社 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
US10702128B2 (en) * 2014-07-02 2020-07-07 Xenocor, Inc. Medical borescopes and related tip assemblies
JP2016192985A (ja) * 2015-03-31 2016-11-17 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6362274B2 (ja) * 2015-07-14 2018-07-25 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP6408457B2 (ja) * 2015-12-22 2018-10-17 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
WO2017122431A1 (ja) * 2016-01-15 2017-07-20 オリンパス株式会社 画像解析装置、画像解析システム、及び画像解析装置の作動方法
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2018092007A (ja) * 2016-12-02 2018-06-14 キヤノン株式会社 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP6513307B2 (ja) * 2017-03-24 2019-05-15 オリンパス株式会社 内視鏡システム
JP6904873B2 (ja) * 2017-10-10 2021-07-21 オリンパス株式会社 照明光学系、内視鏡光学系及び内視鏡
US10638921B2 (en) * 2018-07-20 2020-05-05 Arthrex, Inc. Medical imaging system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009159603A (ja) * 2007-12-07 2009-07-16 Fujinon Corp 撮像システム、この撮像システムを備えた撮像装置、携帯端末機器、車載機器、および医療機器、並びに撮像システムの製造方法
JP2012066065A (ja) * 2010-08-24 2012-04-05 Fujifilm Corp 電子内視鏡システム及び血管情報取得方法
JP2012217579A (ja) * 2011-04-07 2012-11-12 Olympus Corp 内視鏡装置及びブレ補正処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3427637A4 *

Also Published As

Publication number Publication date
JP6561000B2 (ja) 2019-08-14
EP3427637A4 (en) 2019-04-03
JP2017158782A (ja) 2017-09-14
EP3427637A1 (en) 2019-01-16
US10925476B2 (en) 2021-02-23
US20180317754A1 (en) 2018-11-08

Similar Documents

Publication Publication Date Title
JP6561000B2 (ja) 内視鏡システム及びその作動方法
JP6412252B2 (ja) プロセッサ装置及び内視鏡システム
JP6461739B2 (ja) 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
US8657737B2 (en) Electronic endoscope system, an electronic endoscope processor, and a method of acquiring blood vessel information
US20220322974A1 (en) Endoscope system and method of operating endoscope system
US10194849B2 (en) Endoscope system and method for operating the same
JP6013382B2 (ja) 内視鏡システム及びその作動方法
JP5190944B2 (ja) 内視鏡装置および内視鏡装置の作動方法
US20110237883A1 (en) Electronic endoscope system
US11185214B2 (en) Endoscope system with image data correction, processor device, and method for operating endoscope system
US20190222737A1 (en) Endoscope system and method of operating same
JP6392486B1 (ja) 内視鏡システム
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP7196016B2 (ja) 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法
WO2017104232A1 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
WO2023119856A1 (ja) 内視鏡システム及びその作動方法
WO2023119795A1 (ja) 内視鏡システム及びその作動方法
WO2022255072A1 (ja) プロセッサ装置及びその作動方法並びに内視鏡システム
JP6276149B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017762699

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017762699

Country of ref document: EP

Effective date: 20181009

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17762699

Country of ref document: EP

Kind code of ref document: A1