WO2017159059A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2017159059A1
WO2017159059A1 PCT/JP2017/002677 JP2017002677W WO2017159059A1 WO 2017159059 A1 WO2017159059 A1 WO 2017159059A1 JP 2017002677 W JP2017002677 W JP 2017002677W WO 2017159059 A1 WO2017159059 A1 WO 2017159059A1
Authority
WO
WIPO (PCT)
Prior art keywords
image signal
image
timing
illumination light
blur
Prior art date
Application number
PCT/JP2017/002677
Other languages
English (en)
French (fr)
Inventor
睦朗 今井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP17766067.7A priority Critical patent/EP3430969B1/en
Publication of WO2017159059A1 publication Critical patent/WO2017159059A1/ja
Priority to US16/109,797 priority patent/US11039732B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/044—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for absorption imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/125—Colour sequential image capture, e.g. using a colour wheel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an endoscope system and an operation method thereof.
  • diagnosis using an endoscope system including a light source device, an endoscope system, and a processor device is widely performed.
  • an insertion portion of an endoscope is inserted into a subject, and illumination light is irradiated from the distal end portion to an observation target. Then, the observation target irradiated with the illumination light is imaged by the imaging sensor at the tip, and an image of the observation target is generated using the obtained image signal and displayed on the monitor.
  • Patent Document 1 describes blood vessels having different depths such as surface blood vessels and middle blood vessels, which are blood vessel patterns important for diagnosis, among blood vessel running patterns.
  • imaging is performed by irradiating an observation target with blue narrow-band light for extracting surface blood vessels and green narrow-band light for extracting middle-deep blood vessels at different timings.
  • the calculation which weights and adds to the image based on a blue narrow-band light and the image based on a green narrow-band light is performed so that the blood vessel of the depth of attention may be emphasized. .
  • Patent Document 2 describes oxygen saturation having a high correlation with lesions such as cancer among biological information.
  • imaging is performed by irradiating observation objects at different timings with light in different wavelength bands including light in a wavelength band for measuring oxygen saturation. Then, the oxygen saturation is calculated by performing an operation using an image based on light in different wavelength bands.
  • Japanese Patent No. 5393525 Japanese Patent Laid-Open No. 2011-167349
  • Japanese Patent No. 5393554 Japanese Patent Laid-Open No. 2011-194151
  • a blurred image is generated in an image in an endoscope movie due to various blurs such as a blur caused by moving an endoscope scope or a blur caused by the movement of a subject. There is.
  • Such a blurred image is one of the factors that degrade the image quality of an endoscope moving image.
  • Patent Documents 1 and 2 based on image signals at a plurality of timings obtained by irradiating light of different wavelength bands at different timings, weighted addition calculation, oxygen saturation calculation calculation, etc.
  • the calculation cannot be performed accurately if a blurred image having a large blur is included in one of the image signals at a plurality of timings.
  • Patent Documents 1 and 2 As described above, there is no description or suggestion in any prior art documents including Patent Documents 1 and 2 regarding improvement in calculation accuracy when a blurred image occurs.
  • Patent Document 2 has a description of correcting positional misalignment by performing irradiation and imaging at different timings. However, there is a description regarding calculation accuracy when blurring occurs, and calculation when blurring occurs. There is no description on how to improve accuracy.
  • the calculation when various calculations are performed based on image signals at a plurality of timings obtained by irradiating light of different wavelength bands at different timings, the calculation can be accurately performed even under a situation where a blurred image has occurred. It is an object of the present invention to provide an endoscope system that can be operated and a method for operating the endoscope system.
  • the endoscope system sequentially images a light source that sequentially generates first illumination light and second illumination light, and an observation object that is sequentially illuminated by the first illumination light and the second illumination light at a first timing T1.
  • a multi-frame image signal at the first timing T1 is output, and an observation target that is sequentially illuminated with the first illumination light and the second illumination light at a specific timing before the first timing T1 is sequentially imaged.
  • the imaging sensor that outputs a multi-frame image signal at a specific timing, and the second image signal obtained when the second illumination light is illuminated among the first timing T1 and the multi-frame image signal at the specific timing.
  • An image selection unit that selects a second image signal whose image blur amount satisfies the first condition, and illuminates the first illumination light among the multi-frame image signals at the first timing T1.
  • a first image signal obtained when, by performing computation based on the second image signal selected by the image selecting section, and an operation image signal generating unit for generating an operation image signal.
  • the image selection unit selects a second image signal that is captured at a timing closest to the first timing T1 as the second image signal satisfying the first condition, the image blur amount being lower than a predetermined threshold.
  • the image selection unit preferably selects the second image signal with the smallest image blur amount as the second image signal satisfying the first condition.
  • the image selection unit performs the calculation without selecting the second image signal when the multi-frame image signal at the first timing T1 and the specific timing does not include the second image signal whose image blur amount satisfies the first condition.
  • the image signal generation unit preferably generates a calculation image signal based only on the first image signal.
  • the image selection unit performs the calculation without selecting the second image signal when the multi-frame image signal at the first timing T1 and the specific timing does not include the second image signal whose image blur amount satisfies the first condition. It is preferable that the image signal generation unit does not generate a calculation image signal.
  • a warning display control unit that performs control to display a warning when the second image signal whose image blur amount satisfies the first condition is not included in the multi-frame image signal at the first timing T1 and the specific timing.
  • An information display control unit for performing an automatic selection mode in which the second image signal satisfying the first condition is automatically selected, and a user selects a second image signal displayed on the display unit.
  • a manual selection mode for selecting the second image signal, and image selection is preferably performed in either the automatic selection mode or the manual selection mode.
  • the endoscope system sequentially images a light source that sequentially generates first illumination light and second illumination light, and an observation object that is sequentially illuminated by the first illumination light and the second illumination light at a first timing T1.
  • a multi-frame image signal at the first timing T1 is output, and an observation target that is sequentially illuminated with the first illumination light and the second illumination light at a specific timing before the first timing T1 is sequentially imaged.
  • an image sensor that outputs a multi-frame image signal at a specific timing and an image blur of the first image signal obtained when the first illumination light among the first frame T1 and the multi-frame image signal at the specific timing is illuminated.
  • the blur index value at the first timing T1 and the specific timing is calculated.
  • the image selection unit When the blur index value is a blur difference indicating a difference between the image blur amount of the first image signal and the image blur amount of the second image signal, the image selection unit performs the second image at a timing satisfying the second condition.
  • the second image signal at a timing when the blur difference is within the first specific range is selected, and the blur index value indicates a ratio between the image blur amount of the first image signal and the image blur amount of the second image signal.
  • the image selection unit selects the second image signal at the timing when the blur ratio is within the second specific range as the second image signal at the timing satisfying the second condition.
  • the image selection unit When the blur index value at any timing does not satisfy the second condition, the image selection unit does not select the second image signal, and the calculation image signal generation unit generates the calculation image signal based only on the first image signal. Is preferably generated.
  • the image selection unit When the blur index value at any timing does not satisfy the second condition, the image selection unit preferably does not select the second image signal and the calculation image signal generation unit does not generate the calculation image signal.
  • An information display control unit that performs control to display an image based on the second image signal included in the multi-frame image signal at the first timing T1 and the specific timing and the blur index value at the first timing T1 and the specific timing on the display unit.
  • the image selection unit automatically selects a second image signal that satisfies the second condition, and a second image signal selected and designated by the user from among the second image signals displayed on the display unit It is preferable to select an image in either the automatic selection mode or the manual selection mode.
  • the image blur amount is preferably calculated based on the blood vessel structure or mucosal structure in the first image signal or the second image signal.
  • the image blur amount is preferably calculated based on a central region in the first image signal or the second image signal.
  • the specific timing preferably includes a plurality of timings from the second timing T2 to the Nth timing TN (N represents an integer of 3 or more). It is preferable that the first illumination light and the second illumination light have different wavelength bands.
  • the light source sequentially generates the first illumination light and the second illumination light
  • the image sensor detects the first illumination light and the second illumination light at the first timing T1.
  • the multi-frame image signal at the first timing T1 is output, and the first illumination light and the second illumination light are sequentially transmitted at a specific timing before the first timing T1.
  • a step of outputting a multi-frame image signal at a specific timing by sequentially imaging the illuminated observation target, and a second image included in the multi-frame image signal at the first timing T1 and the specific timing by the image selection unit The step of selecting the second image signal in which the amount of image blur satisfies the first condition from the signal, and the calculation image signal generation unit A first image signal included in the over-time image signal by performing a computation based on the second image signal selected by the image selection unit, and a step of generating an operation image signal.
  • the light source sequentially generates the first illumination light and the second illumination light
  • the image sensor detects the first illumination light and the second illumination light at the first timing T1.
  • the multi-frame image signal at the first timing T1 is output, and the first illumination light and the second illumination light are sequentially transmitted at a specific timing before the first timing T1.
  • the step of outputting a multi-frame image signal at a specific timing by sequentially imaging the illuminated observation target, and the blur index value calculation unit includes a first image in the multi-frame image signal at the first timing T1 and the specific timing.
  • the step of calculating the blur index value at the first timing T1 and the specific timing Based on the image blur amount of the signal and the image blur amount of the second image signal, the step of calculating the blur index value at the first timing T1 and the specific timing. And an image selection unit selecting a second image signal at a timing when the blur index value satisfies the second condition among the second image signals included in the multi-frame image signal at the first timing T1 and the specific timing;
  • the calculation image signal generation unit performs a calculation based on the first image signal included in the multiframe image signal at the first timing T1 and the second image signal included in the multiframe image signal selected by the image selection unit. And a step of generating a calculation image signal.
  • the calculation when various calculations are performed based on image signals at a plurality of timings obtained by irradiating light of different wavelength bands at different timings, the calculation can be accurately performed even under a situation where a blurred image has occurred. It can be carried out.
  • FIG. 7 is an explanatory diagram showing a B1 image signal and a B2 image signal obtained when violet light V and blue light B are emitted at a first timing T1 to an Nth timing TN, respectively.
  • FIG. 3 is a graph schematically showing a relationship between a blood vessel depth and a blood vessel contrast. It is explanatory drawing which shows the production
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18 (display unit), and a console 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a proximal end portion of the insertion portion 12a, a bending portion 12c and a distal end portion provided at the distal end side of the insertion portion 12a. 12d.
  • the angle knob 12e of the operation unit 12b By operating the angle knob 12e of the operation unit 12b, the bending unit 12c performs a bending operation. By this bending operation, the distal end portion is directed in a desired direction.
  • the operation unit 12b is provided with a mode switch 13a, a zoom operation unit 13b, a still image acquisition instruction unit (not shown), and the like.
  • the mode change switch 13a is used for an observation mode change operation.
  • the endoscope system 10 has a normal observation mode and a special observation mode as observation modes.
  • a normal observation mode an image having a natural color (hereinafter referred to as a normal image) obtained by imaging an observation target using white light as illumination light is displayed on the monitor 18.
  • a specific depth blood vessel emphasis image obtained by extracting a blood vessel at a specific depth among blood vessels included in the observation target is displayed using an image signal obtained by imaging the observation target.
  • the processor device 16 is electrically connected to the monitor 18 and the console 19.
  • the monitor 18 outputs and displays an image to be observed, information attached to the image to be observed, and the like.
  • the console 19 functions as a user interface that receives input operations such as function settings.
  • the processor device 16 may be connected to an external recording unit (not shown) for recording images and image information.
  • the light source device 14 includes a light source 20 and a light source control unit 22 that controls the light source 20.
  • the light source 20 includes, for example, a plurality of semiconductor light sources, and these are turned on or off, and when they are turned on, the amount of light emitted from each semiconductor light source is controlled to generate illumination light that irradiates the observation target.
  • the light source 20 includes a V-LED (Violet Light Emitting Diode) 23a, a B-LED (Blue Light Emitting Diode) 23b, a G-LED (Green Light Light Emitting Diode) 23c, and an R-LED (Red Light Emitting Diode). ) It has 23d four-color LEDs.
  • the V-LED 23a is a violet light source that emits violet light V having a central wavelength of 405 nm and a wavelength band of 380 to 420 nm.
  • the B-LED 23b is a blue semiconductor light source that emits blue light B having a center wavelength of 460 nm and a wavelength band of 420 to 500 nm.
  • the G-LED 23c is a green semiconductor light source that emits green light G having a wavelength band ranging from 480 to 600 nm.
  • the R-LED 23d is a red semiconductor light source that emits red light R having a center wavelength of 620 to 630 nm and a wavelength band of 600 to 650 nm.
  • the center wavelength of the V-LED 23a and the B-LED 23b has a width of about ⁇ 5 nm to ⁇ 10 nm. In each of the LEDs 23a to 23d, the center wavelength and the peak wavelength may be different or the same.
  • LEDs 23a to 23d can be turned on / off, the amount of light emitted during lighting can be controlled by the light source control unit 22 by inputting an independent control signal.
  • the light source control unit 22 turns on all the V-LEDs 23a, B-LEDs 23b, G-LEDs 23c, and R-LEDs 23d. For this reason, in the normal observation mode, white light including purple light V, blue light B, green light G, and red light R is used as illumination light.
  • the light source control unit 22 turns on only the V-LED 23a and turns off the other LEDs such as the B-LED 23b, and turns off the V-LED 23a and turns off the B-LED 23b.
  • the light source 20 is controlled to alternately perform the second light emission mode in which the LED is turned on and the other LEDs such as the V-LED 23a are turned off. That is, in the special observation mode, the purple light V and the blue light B are sequentially generated by performing the first light emission mode and the second light emission mode.
  • the purple light V corresponds to “first illumination light”
  • the blue light B corresponds to “second illumination light” having a wavelength band different from that of the first illumination light.
  • the purple light V emitted from the V-LED 23a and the blue light B emitted from the B-LED 23a are used as they are as the first illumination light and the second illumination light.
  • the light source 20 is provided with an optical filter or the like for limiting the wavelength band to further limit the wavelength bands of the violet light V and the blue light B, and then used as illumination light in the special observation mode.
  • the scattering coefficient of the observation object in the wavelength band of each illumination light is related to the depth of the observation object, that is, the submucosal depth of the blood vessel that can be observed in the wavelength band.
  • the extinction coefficient of hemoglobin is related to the contrast of blood vessels that can be observed with each illumination light.
  • the condition that the scattering coefficient of the observation target required for the first illumination light and the second illumination light used in the special observation mode is different and the absorption coefficient of hemoglobin is almost equal is that the observable blood vessel has a deep submucosal depth. It is a condition that light of two wavelength bands that can be observed with the same contrast can be selected and used for blood vessels with different depths and submucosal depths.
  • the above conditions may not be completely satisfied. In such a case, at least within the range where the scattering coefficient of the observation target is different, as much as possible.
  • Light in two wavelength bands with close hemoglobin absorption coefficients may be used as the first illumination light and the second illumination light. If the first illumination light is light in a shorter wavelength band than the second illumination light, the scattering coefficient of the observation object is different from the ratio of the scattering coefficient of the second illumination light to the scattering coefficient of the first illumination light. Is 0.8 or less. Also, the difference in scattering coefficient between the first illumination light and the second illumination light is preferably 70 cm ⁇ 1 or more.
  • the light of each color emitted from each of the LEDs 23a to 23d is incident on a light guide 41 inserted into the insertion portion 12a through an optical path coupling portion (not shown) formed by a mirror, a lens, or the like. Is done.
  • the light guide 41 is built in the endoscope 12 and the universal cord (a cord connecting the endoscope 12, the light source device 14, and the processor device 16). The light guide 41 propagates the illumination light generated by the light source 20 to the distal end portion 12 d of the endoscope 12.
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 45, and the illumination light propagated by the light guide 41 is irradiated to the observation object via the illumination lens 45.
  • the imaging optical system 30 b includes an objective lens 46, a zoom lens 47, and an imaging sensor 48.
  • Various types of light such as reflected light, scattered light, and fluorescence from the observation target due to the irradiation of the illumination light enter the image sensor 48 via the objective lens 46 and the zoom lens 47.
  • an image to be observed is formed on the image sensor 48.
  • the zoom lens 47 is freely moved between the tele end and the wide end by operating the zoom operation unit 13b, and enlarges or reduces the reflected image of the observation target formed on the image sensor 48.
  • the image sensor 48 is a color image sensor, and the image sensor 48 includes an R pixel (blue pixel) provided with an R (red) color filter, a G pixel (green pixel) provided with a G (green) color filter, B pixels (blue pixels) provided with B (blue) color filters are provided. As shown in FIG. 6, the R color filter transmits light of 580 to 770 nm, the G color filter transmits light of 450 to 630 nm, and the B color filter transmits light of 380 to 560 nm.
  • the imaging sensor 48 outputs RGB color image signals from each color pixel in accordance with the illumination light emission.
  • the imaging sensor 48 In the normal observation mode, the imaging sensor 48 outputs an Rc image signal from the R pixel, outputs a Gc image signal from the G pixel, and outputs a Gc image signal from the B pixel by imaging an observation target illuminated with white light. Is output.
  • the imaging sensor 48 In the special observation mode, when the purple light V is emitted in the first light emission mode, the imaging sensor 48 outputs an R1 image signal from the R pixel by imaging the observation target illuminated with the purple light V, and the G pixel.
  • the G1 image signal is output from the B pixel, and the B1 image signal is output from the B pixel.
  • the B1 image signal (corresponding to the “first image signal”) includes a signal having a wavelength component corresponding to the violet light V.
  • the imaging sensor 48 When the blue light B is emitted in the second light emission mode, the imaging sensor 48 outputs an R2 image signal from the R pixel by imaging the observation target illuminated with the blue light B, and outputs a G2 image from the G pixel. A signal is output, and a B2 image signal is output from the B pixel.
  • the B2 image signal (corresponding to the “second image signal”) includes a signal having a wavelength component corresponding to the blue light B.
  • a plurality of image signals including the B1 image signal and the B2 image signal obtained by performing the first light emission mode and the second light emission mode as described above are hereinafter referred to as multiframe image signals.
  • CMOS Complementary Metal-Oxide Semiconductor
  • CMYG four-color image signals are output.
  • RGB image signal similar to that of the image sensor 48 can be obtained.
  • a monochrome sensor without a color filter may be used instead of the imaging sensor 48.
  • the CDS / AGC circuit 51 performs correlated double sampling (CDS; Correlated Double Sampling) and automatic gain control (AGC; Automatic Gain Control) on the analog image signal obtained from the image sensor 48.
  • CDS Correlated Double Sampling
  • AGC Automatic Gain Control
  • the image signal that has passed through the CDS / AGC circuit 51 is converted into a digital image signal by an A / D (Analog-to-Digital) converter 52.
  • a / D Analog-to-Digital
  • the processor device 16 includes an image signal acquisition unit 53, a DSP (Digital Signal Processor) 56, a noise removal unit 58, an image processing switching unit 61, a normal image processing unit 66, and a special image.
  • a processing unit 67 and a video signal generation unit 68 are provided.
  • the image signal acquisition unit 53 acquires a digital image signal from the imaging sensor 48 via the CDS / AGC circuit 51 and the A / D converter 52.
  • the processor device 16 includes a CPU (Central processing unit), and the CPU is an image signal acquisition unit 53, a noise removal unit 58, an image processing switching unit 61, a normal image processing unit 66, a special image processing unit 67, and a video. It functions as the signal generation unit 68.
  • the DSP 56 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, and demosaicing processing on the acquired image signal.
  • defect correction process the signal of the defective pixel of the image sensor 48 is corrected.
  • offset process the dark current component is removed from the image signal subjected to the defect correction process, and an accurate zero level is set.
  • gain correction process the signal level is adjusted by multiplying the image signal after the offset process by a specific gain.
  • the image signal after gain correction processing is subjected to linear matrix processing to improve color reproducibility. After that, brightness and saturation are adjusted by gamma conversion processing.
  • the image signal after the gamma conversion processing is subjected to demosaic processing (also referred to as isotropic processing or synchronization processing), and a signal of a color that is insufficient at each pixel is generated by interpolation. By this demosaic processing, all the pixels have RGB signals.
  • the noise removal unit 58 removes noise by performing noise removal processing (for example, using a moving average method, a median filter method, or the like) on the image signal that has been demosaiced by the DSP 56.
  • the image signal from which the noise has been removed is transmitted to the image processing switching unit 61.
  • the image processing switching unit 61 transmits the received image signal to the normal image processing unit 66, and when the special observation mode is set, The received image signal is transmitted to the special image processing unit 67.
  • the normal image processing unit 66 operates when the normal observation mode is set, and performs a color conversion process, a color enhancement process, and a structure enhancement process on the received image signal to generate a normal image signal.
  • color conversion processing color conversion processing is performed on RGB image signals by 3 ⁇ 3 matrix processing, gradation conversion processing, three-dimensional LUT (look-up table) processing, and the like.
  • the color enhancement process is performed on the image signal that has been subjected to the color conversion process.
  • the structure enhancement process is a process for enhancing a structure to be observed such as a surface blood vessel or a pit pattern, and is performed on the image signal after the color enhancement process.
  • a color image using a normal image signal that has been subjected to various types of image processing up to the structure enhancement processing is a normal image.
  • the special image processing unit 67 is an image processing unit that operates when the special observation mode is set, and extracts a blood vessel having a specific depth using a multi-frame image signal including a B1 image signal and a B2 image signal, An image representing a blood vessel extracted with respect to another blood vessel by a color difference is generated.
  • the special image processing unit 67 includes an image blur detection unit 70, an image signal storage unit 71, an image selection unit 72, an alignment processing unit 73, a brightness correction processing unit 74, and an arithmetic operation.
  • An image signal generation unit 76, a resolution reduction processing unit 77, an image generation unit 78, and a warning display control unit 79 are provided.
  • the B1 image signal is input to the alignment processing unit 73
  • the B2 image signal is input to the image blur detection unit 70.
  • the image blur detection unit 70 detects the image blur amount of the input B2 image signal.
  • the image blur amount is preferably a vector amount having the direction and size of the image blur.
  • the detected image blur amount is stored in the image signal storage unit 71 in association with the B2 image signal. Further, the B2 image signal associated with the image blur amount is transmitted to the image selection unit 72.
  • the image blur amount it is preferable to detect the image blur amount of the structure of interest in the B2 image signal.
  • structures of interest include vascular structures and mucosal structures.
  • the structure of interest is a blood vessel, it is preferable to determine the image blur amount based on the blood vessel structure.
  • a blood vessel position is specified by an image filter that extracts a blood vessel structure, and the image blur amount of the blood vessel at the specified blood vessel position is adopted by the representative value of the image blur amount of the entire image, that is, the image blur detection unit 70. It is preferable to set the image blur amount.
  • the image blur amount is preferably obtained based on the image center area of the B2 image signal.
  • the center area of the image is preferably determined arbitrarily such as “the middle where the image is divided into three vertically and horizontally” and “the area within the radius Rd pixel from the center of the image”. The reason why the image blur amount in the center area of the image is used in this way is that the user operates the endoscope 12 so that the area of interest is located at the center of the image.
  • image blur amount detection methods mainly include a method based on image analysis and a method based on the image sensor 48.
  • a point spread function (PSF (PointPSSpread Function)) is estimated for each of a plurality of regions in an image, and the direction and size of image blur are estimated with high accuracy from the point spread function.
  • PSF PointPSSpread Function
  • image blurs it is known that a camera shake image generated when the endoscope 12 is operated linearly appears as a power spectrum in which a sync function is convoluted in a frequency space.
  • the image signal is converted into a frequency domain image, and the amount of image blur is detected based on the degree of influence of the sync function that appears in the direction of camera shake in the frequency domain image. It is preferable (see JP 2009-230598 A).
  • There is also a method for detecting a movement vector from an image signal and detecting an image blur amount based on the movement vector see Japanese Patent Laid-Open No. 3-16470.
  • the image selection unit 72 selects a B2 image signal with less image blur from the B2 image signal input from the image blur detection unit 70 or the B2 image signal stored in the image signal storage unit 71.
  • the selected B2 image signal is input to the alignment processing unit 73.
  • the image selection unit 72 is a B2 image of the multi-frame image signal obtained when the purple light V and the blue light B are emitted at the first timing T1.
  • a signal and a plurality of second timings T2 ..., Nth timing,..., Nth timing TN before the first timing T1
  • violet light V and blue light B are emitted. Selection is made from among the B2 image signals of the obtained multi-frame image signals.
  • the B2 image signal at the first timing T1 is a signal input to the image selection unit 72 without passing through the image signal storage unit 71.
  • the B2 image signal at the second timing T2,..., Nth timing,..., Nth timing TN is a signal input to the image selection unit 72 via the image signal storage unit 71.
  • “B1” indicates a B1 image signal
  • “B2” indicates a B2 image signal.
  • one or a plurality of timings before the first timing T1 are collectively referred to as “specific timing”.
  • the second timing T2 to the Nth timing TN correspond to “specific timing”.
  • n and N are natural numbers of 2 or more, and n is an arbitrary natural number from 2 to N.
  • the first timing T1 is the timing at which the purple light V is emitted in the first light emission mode to obtain the B1 image signal, and the timing at which the blue light B is emitted in the second light emission mode to obtain the B2 image signal. Including both.
  • the second timing T2 to the Nth timing TN include both the timing when the B1 image signal is obtained and the timing when the B2 image signal is obtained.
  • the image selection unit 72 first determines whether or not the image blur amount of the B2 image signal at the first timing T1 exceeds the threshold value Th1. As a result of the determination, if the threshold value Th1 is below, the B2 image signal at the first timing T1 is transmitted to the alignment processing unit 73. On the other hand, when the threshold value Th1 is exceeded, it is determined whether or not the amount of image blur for the B2 image signal at the second timing T2 exceeds Th1. As a result of the determination, if it is below the threshold value Th1, the B2 image signal at the second timing T2 is transmitted to the alignment processing unit 73, and if it exceeds the threshold value Th1, the B2 image signal at the third timing T3.
  • the image blur amount is determined with respect to, and it is determined whether or not to transmit to the alignment processing unit 73.
  • the image selection unit 72 performs the same determination as described above until the B2 image signal whose image blur amount is less than the threshold Th1 is detected.
  • the “first condition” corresponds to “the image blur amount being less than a predetermined threshold Th1 and being imaged at a timing closest to the first timing T1”.
  • the B2 image signal at a timing too far from the first timing T1 often has a large positional deviation from the B1 image signal. For this reason, it is preferable to select the B2 image signal whose image blur amount is below the threshold Th1 and closest in time to the first timing T1.
  • the image selection unit 72 may not select any B2 image signal at any timing. preferable.
  • the calculated image signal generation unit 76 calculates the calculated image signal based only on the B1 image signal. Is preferably generated, or it is preferable not to generate an arithmetic image signal.
  • the warning display control unit 79 performs warning display control to monitor the warning display. 18 may be displayed.
  • the warning display includes a warning message and a warning mark.
  • the alignment processing unit 73 aligns the observation target represented by the sequentially acquired B1 image signal and the observation target represented by the B2 image signal.
  • the alignment processing unit 73 corrects at least one of the B1 image signal and the B2 image signal.
  • the brightness correction processing unit 74 has at least one of the B1 image signal and the B2 image signal so that the brightness of the B1 image signal and the B2 image signal aligned by the alignment processing unit 73 has a specific ratio. Correct the brightness. Specifically, since the light quantity ratio between the violet light V in the first light emission mode and the blue light B in the second light emission mode is known, the violet light V and the blue light B having the same light quantity are respectively obtained using these light quantity ratios. Gain correction is performed so that the brightness of the B1 image signal matches the brightness of the B2 image signal so that the brightness obtained when the observation target is irradiated is obtained.
  • the alignment processing unit 73 does not perform alignment, and the brightness correction processing unit 74 also performs brightness. Is not corrected. That is, only the B1 image signal is sent to the calculation image signal generation unit 76.
  • the calculation image signal generation unit 76 performs calculation using the B1 image signal and the B2 image signal to generate a calculation image signal. Specifically, the difference or ratio between the B1 image signal and the B2 image signal is calculated. In this embodiment, the calculation image signal generation unit 76 performs logarithmic conversion on the B1 image signal and the B2 image signal, and more specifically, the difference between the B1 image signal and the B2 image signal after logarithmic conversion, more specifically, from the B2 image signal to the B1 image. An arithmetic image signal ⁇ B obtained by subtracting the signal is generated.
  • a calculated image signal is generated by calculating the ratio of the B1 image signal and the B2 image signal for each pixel.
  • Each of the B1 image signal and the B2 image signal has a pixel value proportional to the amount of received light.
  • the pixel value is proportional to the density. A stable calculation result can be obtained regardless of the illuminance of light.
  • Calculating the calculated image signal ⁇ B corresponds to extracting a blood vessel at a specific depth below the mucous membrane.
  • the purple light V and the blue light B are used as illumination light, generally the superficial blood vessels (the blood vessels in the entire range of the depth As and the depth Ad) can be observed. Since the wavelength of the violet light V is shorter than that of the blue light B, the depth of penetration to the object to be observed is small, and only the blood vessel located at a shallow position As below the mucosa relative to the blue light B can be projected. Instead, the purple light V has a greater contrast (ratio of the amount of reflected light from the surrounding mucosa to the amount of reflected light from the blood vessel) of the blood vessel at the shallow position As than when the blue light B is used.
  • the blue light B since the wavelength of the blue light B is longer than that of the violet light V, the degree of penetration of the blue light B is large, and it is possible to project the blood vessel at a deep position Ad below the mucosa relative to the violet light V. Instead, the blue light B has a smaller contrast of the blood vessel at the shallow position As than when the purple light V is used. For this reason, if the B1 image signal corresponding to the violet light V is subtracted from the B2 image signal corresponding to the blue light B, the pixel value of the pixel representing the extreme superficial blood vessel in the shallow position As particularly under the mucous membrane is emphasized, Larger value (white). Conversely, the pixel value of the pixel representing the surface blood vessel located at a position Ad deeper than the extreme surface blood vessel is a small value (black).
  • the calculation image signal generation unit 76 performs the calculation based on the B2 image signal selected by the image selection unit 72 with less image blur, the calculation image signal ⁇ B obtained by extracting blood vessels on the observation target almost accurately. Can be generated.
  • the resolution reduction processing unit 77 is a so-called low-pass filter (hereinafter referred to as LPF), and lowers the resolution of the calculated image signal ⁇ B generated by the calculated image signal generation unit 76.
  • the strength of the resolution reduction processing applied to the calculation image signal ⁇ B by the resolution reduction processing unit 77 is determined by the cutoff frequency of the LPF.
  • the cut-off frequency of the LPF is set in advance, and at least lower than the resolution of the original calculation image signal ⁇ B.
  • the image generation unit 78 generates an image having a plurality of output channels by using either the B1 image signal or the B2 image signal received by the special image processing unit 67 and the operation image signal ⁇ B reduced in resolution. More specifically, the image generation unit 78 generates an image having a luminance channel Y and two color difference channels Cb and Cr related to color differences. The image generation unit 78 assigns either the B1 image signal or the B2 image signal to the luminance channel Y, and assigns the low-resolution operation image signal ⁇ B to the two color difference channels Cb and Cr, so that a blood vessel having a specific depth is obtained. An image in which the running pattern is emphasized by color (hereinafter referred to as a specific depth blood vessel emphasized image) is generated.
  • the calculation image signal ⁇ B assigned to the two color difference channels Cb and Cr is a signal obtained by extracting the blood vessel on the observation target almost accurately, a color corresponding to the blood vessel is displayed in a portion where there is no blood vessel. There is no risk of such artifacts.
  • the B1 image signal is assigned to the luminance channel Y because the extreme surface blood vessels are selected and emphasized from the surface blood vessels, and as shown in FIG. 10, the B1 image signal and the B2 image are assigned.
  • a B1 image signal corresponding to light in a relatively short wavelength band (purple light V) and having a high contrast of the blood vessel in the superficial layer is assigned to the luminance channel Y.
  • the calculated image signal ⁇ B is assigned to the color difference channels Cb and Cr. Further, when assigning the calculated image signal ⁇ B to the color difference channels Cb and Cr, they are multiplied by a coefficient ⁇ and a coefficient ⁇ , respectively. This is in order to align the color with the image displayed by the endoscope system that emphasizes and observes the surface blood vessels.
  • a narrow band of blue light is irradiated to capture an observation target to obtain a B image signal
  • a G-band image signal is obtained by irradiating narrow-band green light to image an observation target.
  • the B image signal is assigned to the B channel (blue channel) and G channel (green channel) of the display image
  • the G image signal is assigned to the R channel (red channel).
  • the deep blood vessels are highlighted in green (cyan) color
  • the superficial blood vessels in a shallow position under the mucous membrane are highlighted in red (magenta) color.
  • each RGB image signal the luminance channel Y, and the color difference channels Cb, Cr is expressed by the following equations (1), (2), and (3).
  • Y 0.299R + 0.587G + 0.114B
  • Cb ⁇ 0.169R ⁇ 0.331G + 0.5B
  • Cr 0.5R-0.419G-0.081B (3)
  • the color difference channels Cb, Cb, Cr when G is substituted for R and B is substituted for G, the color difference channels Cb, Cb, Cr can be represented by (GB).
  • the endoscope system 10 displays an image having almost the same color as that of the conventional endoscope system.
  • the coefficient ⁇ and the coefficient ⁇ may be further multiplied by a coefficient depending on the setting or the like.
  • the normal image generated by the normal image processing unit 66 and the specific depth blood vessel enhanced image generated by the special image processing unit 67 are input to the video signal generation unit 68.
  • the video signal generation unit 68 converts a normal image or a specific depth blood vessel emphasized image into a video signal for display as an image that can be displayed on the monitor 18. Using this video signal, the monitor 18 displays a normal image and a specific depth blood vessel emphasized image.
  • the first light emission mode and the second light emission mode are performed.
  • the light source 20 generates purple light V
  • the generated purple light V is irradiated on the observation target (S11).
  • the imaging sensor 48 images the observation target irradiated with the purple light V (S12), and the image signal acquisition unit 53 acquires a B1 image signal corresponding to the purple light V (S13).
  • the B1 image signal 110 is an image signal obtained by imaging the observation target with the purple light V, so that the extreme surface blood vessels 124 can be observed in addition to the shape 112 such as the undulation of the observation target.
  • the superficial blood vessel 123 at a deeper position below the mucosa than the extreme superficial blood vessel 124 can also be observed by the B1 image signal 110.
  • the B1 image signal at the first timing described above is transmitted to the alignment processing unit 73 via various processing units.
  • the light source 20 generates the blue light B, irradiates the generated blue light B to the observation target (S14), and the imaging sensor 48 images the observation target irradiated with the blue light B. (S15).
  • the image signal acquisition unit 53 acquires a B2 image signal corresponding to the blue light B (S16).
  • the B2 image signal 120 is an image signal obtained by imaging the observation target with the blue light B, and therefore the surface blood vessel 123 at a relatively deep position can be observed in addition to the shape 112 of the observation target. is there. Further, the polar surface blood vessel 124 can also be observed by the B2 image signal 120.
  • the B2 image signal at the first timing T1 is transmitted to the image blur detection unit 70 via various processing units.
  • the B1 image signal 110 and the B2 image signal 120 are compared, the B1 image signal 110 has a higher contrast of the extreme surface blood vessel 124, and the B2 image signal 120 has a relatively deeper position than the extreme surface blood vessel 124.
  • the contrast of a certain surface blood vessel 123 is high.
  • the image blur detection unit 70 detects the image blur amount for the B2 image signal at the first timing T1 (S17).
  • the B2 image signal from which the image blur amount is detected is transmitted to the image selection unit 72.
  • the image selection unit 72 selects a B2 image signal with little image blur used to generate the calculated image signal ⁇ B (S18).
  • the image selection unit 72 first determines whether the image blur amount is less than the threshold value Th1 for the B2 image signal at the first timing T1. As a result of the determination, if the threshold value Th1 is below, the image selection unit 72 selects the B2 image signal at the first timing T1.
  • the selected B2 image signal at the first timing T1 is transmitted to the alignment processing unit 73.
  • the image selection unit 72 is the most at the first timing T1 among the B2 image signals of the second timing T2 to the Nth timing TN stored in the image signal storage unit 71.
  • a B2 image signal that is close in time and whose image blur amount is lower than the threshold value Th1 is selected.
  • the selected B2 image signal is transmitted to the alignment processing unit 73.
  • the alignment processing unit 73 alignment of the B1 image signal and the B2 image signal is performed (S19). Then, after the brightness correction processing is performed by the brightness correction processing unit 74 (S20), it is input to the arithmetic image signal generation unit 76.
  • the calculated image signal generator 76 generates a calculated image signal ⁇ B (S21).
  • the calculated image signal ⁇ B is smaller than the original image signal (for example, the B1 image signal in FIG. 12 or the B2 image signal in FIG. 13), and the pixel value of the surface blood vessel 123 at a relatively deep position is small, and the extreme surface blood vessel.
  • the pixel value of 124 increases. For this reason, as shown in FIG.
  • the resolution reduction processing unit 77 further reduces the resolution of the calculation image signal ⁇ B (S22). As shown in FIG. 15, the surface blood vessel 123 and the extreme surface blood vessel 124 are blurred in the calculated image signal ⁇ B that has passed through the resolution reduction processing unit 77.
  • the special image processing unit 67 assigns the B1 image signal having high contrast of the polar surface blood vessel 124 to the luminance channel Y and assigns the low-resolution operation image signal ⁇ B to the color difference channels Cr and Cb by the image generation unit 78.
  • a specific depth blood vessel enhancement image is generated (S23).
  • the surface blood vessel 123 is displayed in a cyan color and the extreme surface blood vessel 124 is displayed in a magenta system.
  • the superficial blood vessel 123 and the polar superficial blood vessel 124 can be distinguished by color, and the polar superficial blood vessel 124 is displayed as an emphasized image that is substantially easy to observe.
  • the endoscope system 10 calculates the calculation image signal ⁇ B based on the difference (or ratio) between the B1 image signal corresponding to the violet light V and the B2 image signal corresponding to the blue light B, and the luminance channel Y
  • An image signal having a high contrast of the blood vessel to be emphasized is assigned, and a calculation image signal ⁇ B is assigned to the color difference channels Cb and Cr.
  • the specific-depth blood vessel emphasized image 130 has a color shift. May appear.
  • the calculation image signal ⁇ B when assigning the calculation image signal ⁇ B to the color difference channels Cb and Cr, the calculation image signal ⁇ B is assigned to the color difference channels Cb and Cr after the resolution is reduced by the resolution reduction processing unit 77. Color shift is reduced.
  • the calculated image signal ⁇ B is generated using the B2 image signal with less image blur selected by the image selection unit 72, and the specific depth blood vessel emphasized image 130 is generated based on the calculated image signal ⁇ B. Is generated. Thereby, in the specific depth blood vessel emphasis image 130, the occurrence of artifacts is suppressed.
  • the image generation unit 78 assigns a B1 image signal having a relatively high contrast of the extreme surface blood vessel 124 among the B1 image signal and the B2 image signal to the luminance channel Y, and the calculation image signal ⁇ B.
  • the specific depth blood vessel emphasis image 130 for selectively emphasizing the polar surface blood vessel 124 is generated, but the image generation unit 78 uses the surface blood vessel 123 at a relatively deep position. An enhanced specific depth blood vessel image may be generated.
  • the calculation image signal generation unit 76 subtracts the B2 image signal from the B1 image signal after logarithmic conversion to generate the calculation image signal ⁇ B, contrary to the above embodiment. Then, the image generation unit 78 assigns the B2 image signal having a high contrast of the surface blood vessel 123 at a relatively deep position between the B1 image signal and the B2 image signal to the luminance channel Y, and also assigns the B2 image signal from the B1 image signal.
  • the calculated image signal ⁇ B generated by the subtraction is assigned to the color difference channels Cb and Cr to generate a specific depth blood vessel enhanced image.
  • the specific depth blood vessel enhancement image 130 of the above embodiment can emphasize the polar surface blood vessel 124 by using a calculation image signal generated by subtracting the B1 image signal from the B2 image signal for the calculation image signal ⁇ B. Because. Therefore, in the above-described embodiment, when the image generation unit 78 generates the specific depth blood vessel enhancement image 130 that emphasizes the polar surface blood vessel 124, the contrast of the extreme surface blood vessel 124 of the B1 image signal and the B2 image signal is high. Although a high B1 image signal is assigned to the luminance channel Y, even when the B2 image signal is assigned to the luminance channel Y, it is possible to generate a specific depth blood vessel enhancement image that emphasizes the extreme surface blood vessel 124.
  • the image generation unit 78 can select which one of the B1 image signal and the B2 image signal is assigned to the luminance channel Y when generating the specific depth blood vessel emphasized image. For example, in the operation mode of the image generation unit 78, a first assignment mode for assigning the B1 image signal to the luminance channel Y and a second assignment mode for assigning the B2 image signal to the luminance channel Y are prepared. The image can be generated in a mode selected from the second allocation mode.
  • the image generation unit 78 may automatically select the image signal assigned to the luminance channel Y.
  • the B1 image signal and the B2 image signal may be compared, and the image signal having less noise in the entire image signal or in the designated region of interest may be automatically assigned to the luminance channel Y.
  • the image signal having the higher contrast in the entire signal or in the designated region of interest may be automatically assigned to the luminance channel Y.
  • the image generation unit 78 assigns the B1 image signal to the luminance channel Y and assigns the calculation image signal ⁇ B to the color difference channels Cb and Cr, and the specific depth blood vessel emphasized image 130 in the YCbCr format.
  • an RGB format image having an R channel, a G channel, and a B channel may be generated.
  • the image generation unit 78 assigns the B1 image signal to the G channel that contributes most to the luminance, and assigns the calculation image signal ⁇ B to the remaining B channel and R channel.
  • the cutoff frequency of the LPF used in the resolution reduction processing unit 77 is set in advance, but it is preferable to make the cutoff frequency of the LPF variable and dynamically set the cutoff frequency of the LPF.
  • the alignment accuracy of the B1 image signal and the B2 image signal is input from the alignment processing unit 73 to the resolution reduction processing unit 77.
  • the resolution reduction processing unit 77 changes the LPF cutoff frequency (the intensity of the resolution reduction processing) according to the alignment accuracy of the B1 image signal and the B2 image signal.
  • the higher the alignment accuracy of the B1 image signal and the B2 image signal the higher the cutoff frequency of the LPF is set to reduce the strength of the low resolution processing, and the alignment of the B1 image signal and B2 is performed.
  • the lower the accuracy the greater the strength of the resolution reduction processing by setting the LPF cutoff frequency to a lower frequency.
  • the degree of resolution reduction of the calculation image signal ⁇ B by the resolution reduction processing unit 77 is optimized, and a blood vessel (for example, the polar surface blood vessel 124) having a specific depth can be appropriately highlighted.
  • the image blur amount of the B2 image signal selected by the image selection unit 72 among the image blur amounts detected by the image blur detection unit 70 is input to the resolution reduction processing unit 77, and the input image blur amount is included in the input image blur amount.
  • the cut-off frequency of LPF intensity of resolution reduction processing
  • the degree of resolution reduction of the computed image signal ⁇ B by the resolution reduction processing unit 77 is optimized, so that it is possible to display a specific depth blood vessel emphasized image with fewer artifacts.
  • the cutoff frequency of the LFP is at least 1/8 or less of the Nyquist frequency on the basis of the resolution of the specific depth blood vessel emphasized image to be generated. It is preferable to set within the range to be left.
  • the resolution reduction processing unit 77 adjusts the strength of the resolution reduction processing according to the accuracy of the registration processing of the registration processing unit 73, but on the contrary, the resolution reduction processing
  • the alignment processing unit 73 may adjust the accuracy of the alignment processing according to the strength of the resolution reduction processing performed by the unit 77. In this case, the alignment processing unit 73 sets the alignment accuracy of the B1 image signal and the B2 image signal higher as the cutoff frequency of the LPF is larger and the resolution reduction processing intensity is set smaller.
  • the accuracy of the alignment processing between the B1 image signal and the B2 image signal performed by the alignment processing unit 73 is variable, and a still image of the specific depth blood vessel emphasized image is displayed or stored, and a moving image of the specific depth blood vessel emphasized image It is preferable to change the accuracy of the alignment process depending on whether or not is displayed. For example, when displaying a moving image composed of a blood vessel image having a specific depth on the monitor 18, the alignment processing unit 73 displays (or stores) a still image of the blood vessel image having a specific depth on the monitor 18. The B1 image signal and the B2 image signal are aligned with a low first accuracy.
  • the alignment processing unit 73 when displaying a still image of the specific depth blood vessel image on the monitor 18, the alignment processing unit 73 has higher second accuracy than when displaying the moving image of the specific depth blood vessel image on the monitor 18. , B1 image signal and B2 image signal are aligned. In this way, when displaying a moving image, a specific depth blood vessel emphasis image can be generated at high speed within a range where color misregistration is not noticeable, and when acquiring a still image in which color misregistration is conspicuous, a specific depth without color misregistration can be obtained. A blood vessel enhanced image can be generated.
  • the alignment processing unit 73 may change the alignment accuracy between the B1 image signal and the B2 image signal according to the size of the specific depth blood vessel image to be generated. For example, when the specific depth blood vessel image to be generated is large, a slight misalignment is also conspicuous, so that the alignment processing unit 73 aligns the B1 image signal and the B2 image signal with high accuracy and generates the specific depth. When the blood vessel image is small, the positional deviation is not conspicuous, and the B1 image signal and the B2 image signal are aligned with low accuracy.
  • the alignment processing unit 73 aligns the B1 image signal and the B2 image signal with low accuracy when the specific depth blood vessel image to be generated is large, and the specific depth blood vessel image to be generated is If it is small, the B1 image signal and the B2 image signal may be aligned with high accuracy. In this way, the processing load on the processor device 16 can be optimized.
  • the alignment processing unit 73 changes the accuracy of the alignment processing between when displaying a moving image and when acquiring a still image, or when changing the alignment accuracy according to the size of the specific depth blood vessel image.
  • the resolution reduction processing unit 77 preferably changes the cutoff frequency of the LPF according to the alignment accuracy. For example, when displaying a moving image, the alignment processing unit 73 lowers the alignment accuracy of the B1 image signal and the B2 image signal, and instead, the resolution reduction processing unit 77 shifts the cutoff frequency of the LPF to the lower frequency side. And good.
  • the alignment processing unit 73 increases the alignment accuracy of the B1 image signal and the B2 image signal, and instead, the low resolution processing unit 77 shifts the cutoff frequency of the LFP to the high frequency side. And good. That is, it is preferable to give priority to the LPF of the resolution reduction processing unit 77 that places a small processing burden on the processor device 16 when displaying a moving image, and to give priority to accurate alignment by the alignment processing unit 73 when acquiring a still image.
  • the alignment processing unit 73 may change the alignment accuracy between the B1 image signal and the B2 image signal in accordance with the image blur amount of the B2 image signal selected by the image selection unit 72. For example, when the amount of image blur is large, it is difficult to align the B1 image signal and the B2 image signal. Therefore, the alignment processing unit 73 preferably aligns the B1 image signal and the B2 image signal with high accuracy. . On the other hand, when the image blur amount is small, the B1 image signal and the B2 image signal are easily aligned because the B1 image signal and the B2 image signal are easily aligned. As described above, the processing load on the processor device 16 can be optimized by changing the alignment accuracy according to the image blur amount.
  • the alignment processing unit 73 may perform alignment between the B1 image signal and the B2 image signal only when acquiring a still image without performing alignment between the B1 image signal and the B2 image signal when displaying a moving image.
  • the resolution reduction processing unit 77 reduces the resolution of the calculated image signal ⁇ B by the LPF.
  • the resolution reduction processing unit 77 reduces the calculated image signal ⁇ B and then expands it to the original size.
  • the resolution can be reduced.
  • purple light V is used as illumination light in the first light emission mode
  • blue light B is used as illumination light in the second light emission mode
  • two illumination lights having different wavelength bands used in the special observation mode are used. May be light of other wavelength bands.
  • the B color filter of the image sensor 48 is also sensitive to green light G (see FIG. 6).
  • the observation target green light G is irradiated and G G image signal G pixel, and outputs the imaging, can be used instead of the B1 image signal and B2 image signal of the above embodiment.
  • B G image signal and G G image signal for example, deep within in a relatively deep position of the deep vascular or medium-deep blood vessel in which a relatively shallow position of the medium-deep blood vessel A blood vessel can be selected and highlighted from the middle and deep blood vessels.
  • the R color filter of the image sensor 48 is also sensitive to the green light G (FIG. 6).
  • the reflected light of the green light G the light in the wavelength band that can be received by the G pixel and the reflection of the green light G Among the light and the like, the light in the wavelength band that can be received by the R pixel has a difference in the scattering coefficient of the observation target, and the absorption coefficient of hemoglobin is almost equal.
  • the light source 20 uses broadband green light G including the first illumination light and the second illumination light used in the special observation mode as illumination light, and the G pixel images the observation target irradiated with the green light G.
  • the GG image signal (first image signal) to be output and the RG image signal (second image signal) output by the R pixel imaging and observing the observation target irradiated with the green light G are described in the above embodiment.
  • signals corresponding to the purple light V and blue light B received by the image sensor 48 may be supplemented.
  • the signal value obtained from the G pixel is added to the signal value obtained from the B pixel, whereby the signal value corresponding to the purple light V can be increased.
  • the signal value corresponding to the blue light B can be increased by adding the signal values obtained from the G pixels when the blue light B is irradiated.
  • the wavelength bands of the first illumination light and the second illumination light are both within a wavelength range of 500 nm or less. Is preferred. Specifically, as described in the above embodiment, violet light V having a central wavelength of 405 ⁇ 10 nm and blue light B having a central wavelength of 460 ⁇ 10 nm are used as the first illumination light and the second illumination light. Is preferred. More preferably, violet light V having a center wavelength of 405 ⁇ 10 nm and blue light having a center wavelength of 445 ⁇ 10 nm are used as the first illumination light and the second illumination light.
  • Blue light having a central wavelength of 445 ⁇ 10 nm can be generated from the blue light B by using, for example, an optical filter that cuts the long wavelength side of the B-LED 23b in the optical path of the B-LED 23b.
  • the B-LED 23b may be replaced with another LED that emits blue light having a central wavelength of 445 ⁇ 10 nm.
  • the wavelength bands of the first illumination light and the second illumination light are: Both are preferably 500 nm or more. Specifically, it is preferable to use light having a wavelength of about 500 nm and light having a wavelength of about 600 nm as the first illumination light and the second illumination light.
  • the calculation image signal generation unit 76 generates the calculation image signal ⁇ B representing the traveling pattern of the extreme surface blood vessel 124 at a specific depth below the mucous membrane, but represents the blood vessel density instead.
  • a calculation image signal S representing the oxygen saturation of hemoglobin contained in the calculation image signal D or blood vessel (hereinafter referred to as blood vessel oxygen saturation) may be generated.
  • the calculation image signal D representing the blood vessel density can be calculated using the calculation image signal ⁇ B of the above embodiment.
  • the calculated image signal ⁇ B of the above embodiment is an image signal obtained by extracting the polar surface blood vessel 124 (see FIG. 14)
  • the calculated image signal ⁇ B is used to calculate the area of the polar surface blood vessel 124 in the unit area.
  • a calculation image signal D representing the blood vessel density of the polar surface blood vessel 124 can be generated.
  • the image generation unit 78 assigns the B1 image signal to the luminance channel Y and assigns the calculation image signal D to the color difference channels Cb and Cr, so that the polar surface blood vessel 124 can be generated.
  • a blood vessel density image representing the blood vessel density is generated.
  • the blood vessel density image can give a direct suggestion to diagnosis such as stage discrimination of Barrett's adenocarcinoma.
  • the first blue light having the central wavelength of 445 ⁇ 10 nm, the green light G, and the red light R are irradiated to image the observation target, and The observation object is imaged by irradiating the second blue light, the green light G, and the red light R having a center wavelength of 473 ⁇ 10 nm.
  • the first blue light (first illumination light) is a first optical filter that limits the wavelength band of the blue light B emitted from the B-LED 23b so that the center wavelength is 445 ⁇ 10 nm (for example, the long wavelength side of the blue light B) Can be generated from blue light B.
  • the second blue light (second illumination light) is a second optical filter that restricts the wavelength band of the blue light B emitted from the B-LED 23b so that the center wavelength is 473 ⁇ 10 nm (for example, the blue light B It can be generated from the blue light B by using an optical filter that cuts the short wavelength side.
  • the first blue light has a wavelength band (isoabsorption wavelength) in which there is almost no difference in the extinction coefficient between oxyhemoglobin and reduced hemoglobin.
  • the second blue light has a wavelength band (different absorption wavelength) in which there is a difference in the absorption coefficient between oxyhemoglobin and reduced hemoglobin.
  • the B pixel captures the image signal (first image signal) of the equal absorption wavelength obtained by the B pixel imaging the observation target irradiated with the first blue light and the observation target irradiated with the second blue light.
  • the ratio or difference with the image signal (second image signal) of the different absorption wavelength obtained is correlated with the oxygen saturation.
  • a correlation that associates the ratio or difference between the image signal of the equal absorption wavelength and the image signal of the different absorption wavelength with the oxygen saturation is obtained in advance by experiments or the like, and the arithmetic image signal generation unit 76 holds this correlation in advance. Keep it. Then, the calculation image signal generation unit 76 calculates the ratio or difference between the image signal of the equal absorption wavelength and the image signal of the different absorption wavelength, and compares it with the correlation, so that each pixel has the oxygen saturation level of the observation target. An arithmetic image signal S representing the value of is generated.
  • the image generation unit 78 irradiates the first blue light, the green light G, and the red light R, and uses each image signal obtained by imaging the observation target to generate a normal image signal. Is generated. Then, by assigning the normal image signal to the luminance channel Y and assigning the calculation image signal S representing the oxygen saturation to the color difference channels Cb and Cr, an oxygen saturation image representing the oxygen saturation of the observation target is generated.
  • the oxygen saturation image generated in this way can display information useful for diagnosis of oxygen saturation.
  • the image blur amount is detected for either one of the image signal of the equal absorption wavelength and the image signal of the different absorption wavelength, and the image blur is detected. It is preferable to select an image signal whose amount is below the threshold Th1.
  • the image blur detection unit 70 detects an image blur amount for an image signal having a different absorption wavelength at the first timing. Then, the image selection unit 72 selects a threshold value from the image signal having the different absorption wavelength at the first timing T1 and the image signal having the different absorption wavelength from the second timing T2 to the Nth timing TN stored in the image signal storage unit 71. Select an image signal with a different absorption wavelength below Th1.
  • the calculation image signal generation unit 76 generates the calculation image signal S based on the image signal of the equal absorption wavelength and the image signal of the selected different absorption wavelength. Since the calculated image signal S is obtained by calculation based on an image signal having a different absorption wavelength with less image blur, the calculated image signal S accurately represents information on the oxygen saturation. Therefore, the oxygen saturation image generated on the basis of the above calculated image signal S is an image with few artifacts that is accurately colored according to the oxygen saturation.
  • the present invention is implemented by the endoscope system 10 that performs observation by inserting the endoscope 12 provided with the imaging sensor 48 into the subject.
  • the present invention is also suitable.
  • the capsule endoscope system includes at least a capsule endoscope 400 and a processor device (not shown).
  • the capsule endoscope 400 includes a light source 402, a light source control unit 403, an image sensor 404, a signal processing unit 406, and a transmission / reception antenna 408.
  • the light source 402 is configured similarly to the light source 20 of each of the above embodiments.
  • the light source control unit 403 controls the driving of the light source 402 in the same manner as the light source control unit 22 of the above embodiments.
  • the light source control unit 403 can wirelessly communicate with the processor device of the capsule endoscope system by the transmission / reception antenna 408.
  • the processor device of the capsule endoscope system is substantially the same as the processor device 16 of each of the above embodiments, but the signal processing unit 406 has functions of a normal image processing unit 66 and a special image processing unit 67.
  • the blood vessel emphasized image signal generated by the signal processing unit 406 is transmitted to the processor device via the transmission / reception antenna 408.
  • the image sensor 404 is configured in the same manner as the image sensor 48 of each of the above embodiments.
  • the image selection method in the image selection unit 72 is different from that in the first embodiment. Other than that, it is almost the same as the first embodiment.
  • the image selection unit 72 compares the image blur amount of the B2 image signal at the first timing T1 with the image blur amount of the B2 image signal at the second timing T2 stored in the image signal storage unit 71. Then, the B2 image signal with the smaller image blur amount is selected.
  • the image selection unit 72 may include a B2 image signal at the first timing T1, a B2 image signal at the second timing T2,..., A B2 image signal at the nth timing,. The B2 image signal with the smallest image blur amount is selected from the above.
  • the image blur amount has a preset threshold Th2 (first If it exceeds the threshold (which may be the same as or different from Th1 in the embodiment), it is preferable that the image selection unit 72 does not select any B2 image signal at any timing.
  • the calculation image signal generation unit 76 preferably generates the calculation image signal based only on the B1 image signal, or preferably does not generate the calculation image signal.
  • the warning display control unit 79 may perform control to display a warning.
  • the image selection method in the image selection unit 72 is different from those in the first and second embodiments. Other than that, it is almost the same as the first embodiment.
  • the special observation mode is set, as shown in FIG. 20, among the image signals output from the image processing switching unit 61, the B1 image signal and the B2 image signal are image blur detection units.
  • the B1 image signal is transmitted to the alignment processing unit 73.
  • the image blur detection unit 70 detects not only the image blur amount Blur2 of the B2 image signal but also the image blur amount Blur1 of the B1 image signal at all timings from the first timing T1 to the Nth timing TN.
  • the blur index value calculation unit 200 then calculates the difference between the image blur amount Blur1 of the B1 image signal and the image blur amount Blur2 of the B2 image signal (
  • ) (Hereinafter referred to as “blur difference”)) or ratio (Blur1 / Blur2) (hereinafter referred to as “blur ratio”) is calculated as a blur index value.
  • the blur difference is closer to “0”, both image blur amounts Blur1 and Blur2 are closer in time.
  • the blur ratio is closer to “1”, both image blur amounts Blur1 and Blur2 are closer in time.
  • the one associated with the blur index value at the first timing T1 is transmitted to the image selection unit 72. Further, the B2 image signal from the second timing T2 to the Nth timing TN is stored in the image signal storage unit 71 in association with the blur index value from the second timing T2 to the Nth timing TN. Then, the image selection unit 72 determines whether or not the blurring index value at the first timing T1 satisfies a predetermined reference ST. As a result of the determination, if the reference ST is satisfied, the B2 image signal at the first timing T1 is selected and transmitted to the alignment processing unit 73.
  • the “second condition” corresponds to “when the blurring index value at a certain timing satisfies the reference ST”.
  • the blur index value when the blur index value is a blur difference, it is preferable to be within a range of “0” or a value close to “0” (corresponding to “first specific range”).
  • the blur index value when the blur index value is the blur ratio, it is preferable that the blur index value be within the range of “1” or a value close to “1” (corresponding to the “second specific range”).
  • the blur index value when either one of the B1 image signal and the B2 image signal has a large image blur amount, an artifact is likely to occur on the specific depth blood vessel emphasized image.
  • the blur difference since the blur difference is out of the first specific range and the blur ratio is out of the second specific range, the occurrence of the artifact can be detected from the blur difference and the blur ratio.
  • the shake index value at the first timing T1 does not satisfy the reference ST
  • the B2 image signal at the second timing T2 is transmitted to the alignment processing unit 73. If the reference ST is not satisfied, the B2 image signal at the third timing T3 is transmitted.
  • a determination based on the same blur index value is performed to determine whether or not to transmit to the alignment processing unit 73.
  • the image selection unit 72 performs the same determination as described above until a B2 image signal whose blurring index value satisfies the criterion is detected.
  • the B2 image signal at a timing that is too far away from the first timing T1 often has a large positional deviation from the B1 image signal, so that the blur index value satisfies the reference ST. It is preferable to select the B2 image signal that is closest in time to the first timing T1. Further, the image selection unit 72 does not select the B2 image signal at any timing when the blur index value does not satisfy the reference ST for all of the B2 image signals from the second timing T2 to the Nth timing TN. Is preferred.
  • the calculated image signal generation unit 76 calculates the calculated image based only on the B1 image signal. It is preferable to generate the signal ⁇ B, or it is preferable not to generate the calculation image signal ⁇ B. Further, for all of the B2 image signals from the second timing T2 to the Nth timing, when the blurring index value does not satisfy the reference ST, the warning display control unit 79 may perform control to display a warning.
  • the resolution reduction processing unit 77 may change the cutoff frequency of the LPF according to the blur index value associated with the B2 image signal selected by the image selection unit 72.
  • the blur index value is a blur difference
  • the closer the blur difference is to “0” the lower the LPF cutoff frequency is set to a higher frequency to reduce the strength of the resolution reduction processing. It is better to set the cutoff frequency of the LPF to a lower frequency and increase the strength of the resolution reduction process as the distance from “0” increases.
  • the alignment processing unit 73 may change the alignment accuracy between the B1 image signal and the B2 image signal in accordance with the blur index value associated with the B2 image signal selected by the image selection unit 72. For example, when the blur index value is a blur difference, if the blur difference is away from “0”, the alignment processing unit 73 performs the alignment of the B1 image signal and the B2 image signal with high accuracy. Is preferred. On the other hand, when the blur difference is close to “0”, it is preferable to align the B1 image signal and the B2 image signal with low accuracy.
  • the image selection method in the image selection unit 72 is different from those in the first to third embodiments. The rest is almost the same as in the third embodiment.
  • the blur index value associated with the B2 image signal at the first timing T1 and the B2 image signal at the second timing T2 stored in the image signal storage unit 71 are associated. The blur index value is compared, and the B2 image signal with the smaller blur index value is selected.
  • the image selection unit 72 may include a B2 image signal at the first timing T1, a B2 image signal at the second timing T2,..., A B2 image signal at the nth timing,. The B2 image signal with the smallest blur index value is selected from among the above.
  • the blurring index value is set to a reference ST (third The image selection unit 72 preferably does not select any B2 image signal at any timing when it does not satisfy (which may be the same as or different from “ST” in the embodiment).
  • the calculation image signal generation unit 76 preferably generates the calculation image signal based only on the B1 image signal, or preferably does not generate the calculation image signal.
  • the warning display control unit 79 may perform control to display a warning.
  • the image selection unit 72 in addition to the automatic selection mode in which the image selection unit 72 automatically selects the B2 image signal based on the image blur amount, the first timing T1 to the Nth timing displayed on the monitor 18 by the user.
  • a manual selection mode for manually selecting a B2 image signal by looking at an image based on the TN B2 image signal and its image blur amount is provided, and the B2 image signal is selected in one of the set selection modes.
  • the image selection method in the automatic selection mode is the same as the image selection method shown in the first and second embodiments.
  • an information display control unit 300 that performs control to display information on the amount of image blur is included in the special image processing unit 67 shown in the first and second embodiments. Is provided.
  • the information display control unit 300 uses the first timing T1 to the Nth timing B2 image signal input to the image signal storage unit 71 and the first timing associated therewith. Based on the image blur amount of the B2 image signal at the timings T1 to N, the image based on the B2 image signal at each timing (shown as “B2 image” in FIG. 2) and the image blur amount at that timing are combined. Control to display a list on the monitor 18 is performed.
  • the user looks at the image based on the B2 image signal at each timing displayed on the monitor 18 and the amount of image blur, and is suitable for generating a specific depth blood vessel emphasized image.
  • Select a signal is preferably performed by the console 19.
  • the selected B2 image signal is transmitted to the alignment processing unit 73 as in the first and second embodiments.
  • the image selection by the user when the user selects an image based on the amount of image blur, the concept of image selection by the image selection unit 72 shown in the first embodiment and the second embodiment is the same. Will be selected.
  • subjective image selection based on an empirical rule of the user is possible.
  • a blur index value may be displayed as information to be displayed on the monitor 18, instead of the image blur amount.
  • an information display control unit 300 that performs control to display a blurring index value is provided in the special image processing unit 67 shown in the third and fourth embodiments.
  • the information display control unit 300 When the manual selection mode is set, the information display control unit 300 outputs the B2 image signal at the first timing T1 to the Nth timing input to the image signal storage unit 71 and the associated second image signals. Based on the blur index value at the 1st timing T1 to the Nth timing, control is performed to display a list of images based on the B2 image signal at each timing and the blur index value at that timing on the monitor 18.
  • the list display including the blur index value is displayed in the same manner as the list display (see FIG. 22) that displays the image blur amount.
  • the image selection method by the user is performed in the same manner as the image selection method based on the image blur amount.
  • the violet light V and the blue light B having different wavelength bands are sequentially irradiated, but the first illumination light and the second illumination light having the same wavelength bands are sequentially irradiated. May be.
  • the image selection unit among the first image signal obtained when the first illumination light is irradiated and the second image signal obtained when the second illumination light is irradiated It is possible to reduce the noise of the image after the averaging process by performing an arithmetic operation that performs an averaging process on the second image signal selected in 72.
  • it is preferable that the first image signal and the second image signal each have a small image blur amount.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

ブレ画像が発生した状況下でも、正確に演算を行うことができる内視鏡システム及びその作動方法を提供する。画像選択部は、第１タイミングＴ１のB２画像信号、又は第２タイミングＴ２～第ＮタイミングＴＮのB２画像信号の中から、画像ブレ量が第１条件を満たすB２画像信号を選択する。演算画像信号生成部は、第１タイミングＴ１のB１画像信号と、画像選択部で選択された第２画像信号に基づく演算を行うことにより、演算画像信号を生成する。

Description

内視鏡システム及びその作動方法
　本発明は、内視鏡システム及びその作動方法に関する。
　医療分野においては、光源装置、内視鏡システム、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムを用いる医療診断においては、内視鏡の挿入部を被検体内に挿入し、その先端部から観察対象に照明光を照射する。そして、照明光で照射中の観察対象を先端部の撮像センサで撮像し、得られた画像信号を用いて観察対象の画像を生成してモニタに表示する。
　また、近年では、血管の走行パターンや、生体情報を用いた新しい診断が行われつつある。例えば、特許文献１では、血管の走行パターンの中でも、診断上重要な血管パターンである表層血管や中層血管など異なる深さの血管について記載されている。この特許文献１では、表層血管を抽出するための青色の狭帯域光と、中深層血管を抽出するための緑色の狭帯域光とを、異なるタイミングで観察対象に照射し、撮像を行っている。そして、特許文献１では、注目する深さの血管が強調されるように、青色の狭帯域光に基づく画像と緑色の狭帯域光に基づく画像に対して重み付けして加算する演算を行っている。
　また、特許文献２では、生体情報の中でも、癌などの病変部との相関が高い酸素飽和度について記載されている。この特許文献２では、酸素飽和度を測定するための波長帯域の光を含む異なる波長帯域の光を、それぞれ異なるタイミングで観察対象に照射し、撮像を行っている。そして、異なる波長帯域の光に基づく画像を用いる演算を行うことによって、酸素飽和度を算出している。
特許第５３９３５２５号（特開２０１１－１６７３４９号公報） 特許第５３９３５５４号（特開２０１１－１９４１５１号公報）
　内視鏡を用いて観察を行う場合においては、内視鏡スコープを動かすことによるブレや被写体の体動によるブレなど様々なブレによって、内視鏡の動画中の画像にはブレ画像が生ずることがある。このようなブレ画像は、内視鏡の動画の画質を低下させる要因の一つとなる。さらには、上記特許文献１、２に示すように、異なる波長帯域の光を異なるタイミングで照射して得られた複数のタイミングの画像信号に基づいて、重み付け加算演算や酸素飽和度算出演算などの各種演算を行う場合には、複数のタイミングの画像信号のうち一つでもブレの大きいブレ画像が含まれると、正確に演算を行うことができないという問題がある。
　以上のように、ブレ画像が発生した場合の演算精度の改善については、特許文献１、２を含むいずれの従来技術文献に記載及び示唆はない。なお、特許文献２には、異なるタイミングで照射と撮像を行うことによる位置ズレを補正することについての記載があるが、ブレが生じたときの演算精度に関する記載や、ブレが生じたときの演算精度の改善方法に関する記載はない。
　本発明は、異なる波長帯域の光を異なるタイミングで照射して得られた複数のタイミングの画像信号に基づいて各種演算を行う場合において、ブレ画像が発生した状況下でも、正確に演算を行うことができる内視鏡システム及びその作動方法を提供することを目的とする。
　本発明の内視鏡システムは、第１照明光と第２照明光とを順次発生する光源と、第１タイミングＴ１において第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、第１タイミングＴ１よりも前の特定のタイミングにおいて第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、特定のタイミングのマルチフレーム画像信号を出力する撮像センサと、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号のうち第２照明光を照明した場合に得られる第２画像信号の中から、画像ブレ量が第１条件を満たす第２画像信号を選択する画像選択部と、第１タイミングＴ１のマルチフレーム画像信号のうち第１照明光を照明した場合に得られる第１画像信号と、画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成する演算画像信号生成部とを備える。
　画像選択部は、第１条件を満たす第２画像信号として、画像ブレ量が予め定めた閾値を下回り、且つ第１タイミングＴ１に最も近いタイミングに撮像された第２画像信号を選択することが好ましい。画像選択部は、第１条件を満たす第２画像信号として、画像ブレ量が最も小さい第２画像信号を選択することが好ましい。
　画像選択部は、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に画像ブレ量が第１条件を満たす第２画像信号が含まれない場合には、第２画像信号を選択せず、演算画像信号生成部は、第１画像信号のみに基づいて、演算画像信号を生成することが好ましい。画像選択部は、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に画像ブレ量が第１条件を満たす第２画像信号が含まれない場合には、第２画像信号を選択せず、演算画像信号生成部は、演算画像信号を生成しないことが好ましい。
　第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に画像ブレ量が第１条件を満たす第２画像信号が含まれない場合に、警告表示する制御を行う警告表示制御部を備えることが好ましい。第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号に基づく画像と、第１タイミングＴ１及び特定のタイミングの第２画像信号の画像ブレ量を表示部に表示する制御を行う情報表示制御部を備え、画像選択部は、第１条件を満たす第２画像信号を自動的に選択する自動選択モードと、表示部に表示された第２画像信号のうち、ユーザーが選択指示した第２画像信号を選択する手動選択モードとを有し、自動選択モードまたは手動選択モードのいずれかで画像選択を行うことが好ましい。
　本発明の内視鏡システムは、第１照明光と第２照明光とを順次発生する光源と、第１タイミングＴ１において第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、第１タイミングＴ１よりも前の特定のタイミングにおいて第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、特定のタイミングのマルチフレーム画像信号を出力する撮像センサと、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号のうち第１照明光を照明した場合に得られる第１画像信号の画像ブレ量及び第２照明光を照明した場合に得られる第２画像信号の画像ブレ量に基づいて、第１タイミングＴ１及び特定のタイミングのブレ指標値を算出するブレ指標値算出部と、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号のうち、ブレ指標値が第２条件を満たすタイミングの第２画像信号を選択する画像選択部と、第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成する演算画像信号生成部とを備える。
　ブレ指標値が、第１画像信号の画像ブレ量と第２画像信号の画像ブレ量との差分を示すブレ差分である場合には、画像選択部は、第２条件を満たすタイミングの第２画像信号として、ブレ差分が第１特定範囲内にあるタイミングの第２画像信号を選択し、ブレ指標値が、第１画像信号の画像ブレ量と第２画像信号の画像ブレ量との比を示すブレ比である場合には、画像選択部は、第２条件を満たすタイミングの第２画像信号として、ブレ比が第２特定範囲内にあるタイミングの第２画像信号を選択するが好ましい。
　画像選択部は、いずれのタイミングのブレ指標値も第２条件を満たさない場合は、第２画像信号を選択せず、演算画像信号生成部は、第１画像信号のみに基づいて、演算画像信号を生成することが好ましい。画像選択部は、いずれのタイミングのブレ指標値も第２条件を満たさない場合は、第２画像信号を選択せず、演算画像信号生成部は、演算画像信号を生成しないことが好ましい。
　いずれのタイミングのブレ指標値も第２条件を満たさない場合に、警告表示する制御を行う警告表示制御部を備えることが好ましい。第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号に基づく画像と、第１タイミングＴ１及び特定のタイミングのブレ指標値を表示部に表示する制御を行う情報表示制御部を備え、画像選択部は、第２条件を満たす第２画像信号を自動的に選択する自動選択モードと、表示部に表示された第２画像信号のうち、ユーザーが選択指示した第２画像信号を選択する手動選択モードとを有し、自動選択モードまたは手動選択モードのいずれかで画像選択を行うことが好ましい。
　画像ブレ量は、第１画像信号または第２画像信号内の血管構造または粘膜構造に基づいて算出されることが好ましい。画像ブレ量は、第１画像信号または第２画像信号内の中央領域に基づいて算出されることが好ましい。特定のタイミングには、第２タイミングＴ２～第ＮタイミングＴＮの複数のタイミングが含まれることが好ましい（Ｎは３以上の整数を表す）。第１照明光と第２照明光とはそれぞれ波長帯域が異なっていることが好ましい。
　本発明の内視鏡システムの作動方法は、光源が、第１照明光と第２照明光とを順次発生するステップと、撮像センサが、第１タイミングＴ１において第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、第１タイミングＴ１よりも前の特定のタイミングにおいて第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、特定のタイミングのマルチフレーム画像信号を出力するステップと、画像選択部が、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号の中から、画像ブレ量が第１条件を満たす第２画像信号を選択するステップと、演算画像信号生成部が、第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成するステップとを有する。
　本発明の内視鏡システムの作動方法は、光源が、第１照明光と第２照明光とを順次発生するステップと、撮像センサが、第１タイミングＴ１において第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、第１タイミングＴ１よりも前の特定のタイミングにおいて第１照明光と第２照明光が順次照明された観察対象を順次撮像することにより、特定のタイミングのマルチフレーム画像信号を出力するステップと、ブレ指標値算出部が、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号における第１画像信号の画像ブレ量及び第２画像信号の画像ブレ量に基づいて、第１タイミングＴ１及び特定のタイミングのブレ指標値を算出するステップと、画像選択部が、第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号のうち、ブレ指標値が第２条件を満たすタイミングの第２画像信号を選択するステップと、演算画像信号生成部が、第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、画像選択部で選択されたマルチフレーム画像信号に含まれる第２画像信号とに基づく演算を行うことにより、演算画像信号を生成するステップとを有する。
　本発明によれば、異なる波長帯域の光を異なるタイミングで照射して得られた複数のタイミングの画像信号に基づいて各種演算を行う場合において、ブレ画像が発生した状況下でも、正確に演算を行うことができる。
内視鏡システムの外観図である。 内視鏡システムの機能を示すブロック図である。 紫色光、青色光、緑色光、及び赤色光の分光スペクトルを示すグラフである。 観察対象の散乱係数を示すグラフである。 ヘモグロビンの吸光係数を示すグラフである。 カラーフィルタの分光特性を示すグラフである。 第１実施形態の特殊画像処理部の機能を示すブロック図である。 第１タイミングＴ１～第ＮタイミングＴＮにおいてそれぞれ紫色光Vと青色光Bの発光を行ったときに得られるB１画像信号及びB２画像信号を示す説明図である。 血管の深さと血管のコントラストの関係を模式的に表すグラフである。 特定深さ血管強調画像の生成方法を示す説明図である。 特殊観察モード時のフローチャートである。 B１画像信号の模式図である。 B２画像信号の模式図である。 演算画像信号の模式図である。 低解像度化処理後の演算画像信号の模式図である。 特定深さ血管強調画像の模式図である。 変形例の特定深さ血管強調画像の生成方法を示す説明図である。 位置合わせ処理部と低解像度化処理部の連携関係、及び画像選択部７２と低解像化処理部の連携関係を示すブロック図である。 カプセル内視鏡の概略図である。 第３実施形態の特殊画像処理部の機能を示すブロック図である。 画像ブレ量の一覧表示制御機能を備えた第５実施形態の特殊画像処理部の機能を示すブロック図である。 各タイミングのＢ２画像信号に基づく画像と、各タイミングの画像ブレ量とを一覧表示するモニタの画像図である。 ブレ指標値の一覧表示制御機能を備えた第５実施形態の特殊画像処理部の機能を示すブロック図である。
　［第１実施形態］
　図１に示すように、第１実施形態の内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、モニタ１８（表示部）と、コンソール１９とを有する。内視鏡１２は、光源装置１４と光学的に接続されるとともに、プロセッサ装置１６と電気的に接続される。内視鏡１２は、被検体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄを有している。操作部１２ｂのアングルノブ１２ｅを操作することにより、湾曲部１２ｃは湾曲動作する。この湾曲動作によって、先端部が所望の方向に向けられる。
　また、操作部１２ｂには、アングルノブ１２ｅの他、モード切り替えスイッチ１３ａ、ズーム操作部１３ｂ、静止画取得指示部（図示しない）等が設けられている。モード切り替えスイッチ１３ａは、観察モードの切り替え操作に用いられる。内視鏡システム１０は、観察モードとして通常観察モードと特殊観察モードとを有している。通常観察モードは、照明光に白色光を用いて観察対象を撮像して得た自然な色合いの画像（以下、通常画像という）をモニタ１８に表示する。特殊観察モードでは、観察対象を撮像して得た画像信号を用いて、観察対象に含まれる血管のうち、特定深さにある血管を抽出した特定深さ血管強調画像を表示する。
　プロセッサ装置１６は、モニタ１８及びコンソール１９と電気的に接続される。モニタ１８は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。コンソール１９は、機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。なお、プロセッサ装置１６には、画像や画像情報等を記録する外付けの記録部（図示省略）を接続しても良い。
　図２に示すように、光源装置１４は、光源２０と、光源２０を制御する光源制御部２２と、を備えている。光源２０は、例えば複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象に照射する照明光を発生する。本実施形態では、光源２０は、Ｖ－ＬＥＤ（Violet LightEmitting Diode）２３ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２３ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２３ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２３ｄの四色のＬＥＤを有する。
　図３に示すように、Ｖ－ＬＥＤ２３ａは、中心波長４０５ｎｍ、波長帯域３８０～４２０ｎｍの紫色光Ｖを発光する紫色光源である。Ｂ－ＬＥＤ２３ｂは、中心波長４６０ｎｍ、波長帯域４２０～５００ｎｍの青色光Ｂを発する青色半導体光源である。Ｇ－ＬＥＤ２３ｃは、波長帯域が４８０～６００ｎｍに及ぶ緑色光Ｇを発する緑色半導体光源である。Ｒ－ＬＥＤ２３ｄは、中心波長６２０～６３０ｎｍで、波長帯域が６００～６５０ｎｍに及ぶ赤色光Ｒを発光する赤色半導体光源である。なお、Ｖ－ＬＥＤ２３ａとＢ－ＬＥＤ２３ｂの中心波長は±５ｎｍから±１０ｎｍ程度の幅を有する。また、各ＬＥＤ２３ａ～２３ｄにおいて、中心波長とピーク波長とは異なってもよく同じであってもよい。
　これらの各ＬＥＤ２３ａ～２３ｄの点灯や消灯、点灯時の発光量等は、光源制御部２２が各々に独立した制御信号を入力することによって各々に制御することができる。通常観察モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２３ａ、Ｂ－ＬＥＤ２３ｂ、Ｇ－ＬＥＤ２３ｃ、及びＲ－ＬＥＤ２３ｄを全て点灯させる。このため、通常観察モードでは、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒを含む白色光が照明光として用いられる。
　一方、特殊観察モードの場合、光源制御部２２は、Ｖ－ＬＥＤ２３ａだけを点灯し、Ｂ－ＬＥＤ２３ｂ等の他のＬＥＤを消灯する第１発光モードと、Ｖ－ＬＥＤ２３ａを消灯し、Ｂ－ＬＥＤ２３ｂを点灯し、Ｖ－ＬＥＤ２３ａ等の他のＬＥＤを消灯する第２発光モードとを交互に行うように、光源２０を制御する。すなわち、特殊観察モードでは、第１発光モードと第２発光モードを行うことにより、紫色光Ｖと青色光Ｂとを順次発生する。なお、紫色光Ｖが「第１照明光」に対応し、青色光Ｂが、第１照明光とは波長帯域が異なる「第２照明光」に対応する。
　本実施形態では、上記のように、特殊観察モードにおいて、Ｖ－ＬＥＤ２３ａが発する紫色光Ｖと、Ｂ－ＬＥＤ２３ａが発する青色光Ｂとを、第１照明光及び第２照明光としてそのまま用いているが、光源２０に波長帯域を制限する光学フィルタ等を設けることによって、紫色光Ｖ及び青色光Ｂそれぞれの波長帯域をさらに制限してから、特殊観察モードの照明光として利用することが好ましい。
　これは第１照明光と第２照明光とが、観察対象の散乱係数が互いに異なり、かつ、ヘモグロビンの吸光係数がほぼ等しい二つの波長帯域の光であると、特定深さの血管の抽出を特に鮮明に抽出することができるからである。例えば、各照明光の波長帯域における観察対象の散乱係数は、観察対象への深達度、すなわち、その波長帯域で観察可能な血管の粘膜下の深さに関連する。一方、ヘモグロビンの吸光係数は、各照明光で観察可能な血管のコントラストに関連する。したがって、特殊観察モード時に用いる第１照明光と第２照明光に要求する、観察対象の散乱係数が異なり、かつ、ヘモグロビンの吸光係数がほぼ等しいという条件は、観察可能な血管の粘膜下の深さがそれぞれ異なり、かつ、粘膜下での深さが異なる血管が同程度のコントラストに観察可能である二つの波長帯域の光を選択して用いるという条件である。
　光源２０に用いるＬＥＤ等の特性（中心波長）等によっては、上記条件を完全には満たせない場合があるが、このような場合には、少なくとも観察対象の散乱係数が異なる範囲内で、できる限りヘモグロビンの吸光係数が近い二つの波長帯域の光を第１照明光及び第２照明光とすれば良い。なお、第１照明光が第２照明光よりも短波長帯域の光であるとすると、観察対象の散乱係数が異なるとは、第１照明光の散乱係数に対する第２照明光の散乱係数の比が０．８以下であることを言う。また、第１照明光と第２照明光の散乱係数の差は７０ｃｍ-1以上あると良い。
　特殊観察モード時に照明光として用いる紫色光Ｖと青色光Ｂとでは、図４に示すように、紫色光Ｖの散乱係数に対する青色光Ｂの散乱係数の比は０．７５である。また、図５に示すように、ヘモグロビンの吸光係数（酸化ヘモグロビンの吸光係数：還元ヘモグロビンの吸光係数＝３：７）は概ね同程度である。
　図２に示すように、各ＬＥＤ２３ａ～２３ｄが発する各色の光は、ミラーやレンズ等で形成される光路結合部（図示しない）を介して、挿入部１２ａ内に挿通されたライトガイド４１に入射される。ライトガイド４１は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド４１は、光源２０が発生した照明光を、内視鏡１２の先端部１２ｄまで伝搬する。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ４５を有しており、ライトガイド４１によって伝搬された照明光は照明レンズ４５を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４６、ズームレンズ４７、撮像センサ４８を有している。照明光を照射したことによる観察対象からの反射光、散乱光、及び蛍光等の各種の光は、対物レンズ４６及びズームレンズ４７を介して撮像センサ４８に入射する。これにより、撮像センサ４８に観察対象の像が結像される。なお、ズームレンズ４７は、ズーム操作部１３ｂを操作することでテレ端とワイド端との間で自在に移動され、撮像センサ４８に結像する観察対象の反射像を拡大または縮小する。
　撮像センサ４８はカラー撮像センサであり、この撮像センサ４８は、Ｒ（赤色）カラーフィルタが設けられたR画素（青色画素）、Ｇ（緑色）カラーフィルタが設けられたG画素（緑色画素）、Ｂ（青色）カラーフィルタが設けられたB画素（青色画素）を備えている。図６に示すように、Rカラーフィルタは５８０～７７０ｎｍの光を透過させ、Gカラーフィルタは４５０～６３０ｎｍの光を透過させ、Bカラーフィルタは３８０～５６０ｎｍの光を透過させる。
　撮像センサ４８は、照明光の発光に合わせて、各色の画素から、ＲＧＢ各色の画像信号を出力する。通常観察モードでは、撮像センサ４８は、白色光で照明された観察対象を撮像することで、R画素からRc画像信号を出力し、G画素からGc画像信号を出力し、B画素からBc画像信号を出力する。特殊観察モードでは、第１発光モードにおいて紫色光Vを発光した場合、撮像センサ４８は、紫色光Ｖが照明された観察対象を撮像することによって、R画素からR１画像信号を出力し、G画素からG１画像信号を出力し、B画素からB１画像信号を出力する。B１画像信号（「第１画像信号」に対応する）には、紫色光Vに対応する波長成分の信号が含まれている。
　また、第２発光モードにおいて青色光Bを発光した場合、撮像センサ４８は、青色光Bが照明された観察対象を撮像することによって、R画素からR２画像信号を出力し、G画素からG２画像信号を出力し、B画素からB２画像信号を出力する。B２画像信号（「第２画像信号」に対応する）には、青色光Bに対応する波長成分の信号が含まれている。
以上のように第１発光モードと第２発光モードを行うことにより得られるB１画像信号とB２画像信号を含む複数の画像信号を、以下、マルチフレーム画像信号という。
　撮像センサ４８としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色の撮像センサ４８の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（緑）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの四色の画像信号が出力されるので、補色－原色色変換によって、ＣＭＹＧの四色の画像信号をＲＧＢの三色の画像信号に変換することにより、撮像センサ４８と同様のＲＧＢ画像信号を得ることができる。また、撮像センサ４８の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
　ＣＤＳ／ＡＧＣ回路５１は、撮像センサ４８から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ；Correlated Double Sampling）や自動利得制御（ＡＧＣ；Automatic Gain Control）を行う。ＣＤＳ／ＡＧＣ回路５１を経た画像信号は、Ａ／Ｄ（Analog to Digital）コンバータ５２により、デジタル画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。
　図２に示すように、プロセッサ装置１６は、画像信号取得部５３と、ＤＳＰ（Digital Signal Processor）５６と、ノイズ除去部５８と、画像処理切替部６１と、通常画像処理部６６と、特殊画像処理部６７と、映像信号生成部６８と、を備えている。画像信号取得部５３は、ＣＤＳ／ＡＧＣ回路５１及びＡ／Ｄコンバータ５２を介して、撮像センサ４８からデジタルの画像信号を取得する。例えば、プロセッサ装置１６はＣＰＵ（Central processing unit）を有し、このＣＰＵが画像信号取得部５３、ノイズ除去部５８、画像処理切替部６１、通常画像処理部６６、特殊画像処理部６７、及び映像信号生成部６８として機能する。
　ＤＳＰ５６は、取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、デモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ４８の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。
　ゲイン補正処理後の画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。ガンマ変換処理後の画像信号には、デモザイク処理（等方化処理、または同時化処理とも言う）が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ノイズ除去部５８は、ＤＳＰ５６でデモザイク処理等が施された画像信号に対してノイズ除去処理（例えば移動平均法やメディアンフィルタ法等による）を施すことによってノイズを除去する。ノイズが除去された画像信号は、画像処理切替部６１に送信される。モード切り替えスイッチ１３ａの操作によって通常観察モードにセットされている場合、画像処理切替部６１は、受信した画像信号を通常画像処理部６６に送信し、特殊観察モードにセットされている場合には、受信した画像信号を特殊画像処理部６７に送信する。
　通常画像処理部６６は、通常観察モードに設定されている場合に作動し、受信した画像信号に対して、色変換処理、色彩強調処理、及び構造強調処理を行い、通常画像信号を生成する。色変換処理では、ＲＧＢ画像信号に対して３×３のマトリックス処理、階調変換処理、及び３次元ＬＵＴ（ルックアップテーブル）処理などにより色変換処理を行う。色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、例えば表層血管やピットパターン等の観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。上記のように、構造強調処理まで各種画像処理等を施した通常画像信号を用いたカラー画像が通常画像である。
　特殊画像処理部６７は、特殊観察モードに設定されている場合に作動する画像処理部であり、B１画像信号とB２画像信号を含むマルチフレーム画像信号を用いて特定深さの血管を抽出し、他の血管に対して抽出した血管を色の違いで表す画像を生成する。特殊画像処理部６７は、図７に示すように、画像ブレ検出部７０と、画像信号記憶部７１と、画像選択部７２と、位置合わせ処理部７３と、明るさ補正処理部７４と、演算画像信号生成部７６と、低解像度化処理部７７と、画像生成部７８と、警告表示制御部７９とを備えている。画像処理切替部６１から入力されるマルチフレーム画像信号のうち、B１画像信号は位置合わせ処理部７３に入力され、B２画像信号は画像ブレ検出部７０に入力される。
　画像ブレ検出部７０は、入力されたB２画像信号の画像ブレ量を検出する。画像ブレ量は、画像のブレの方向及び大きさを持つベクトル量であることが好ましい。検出した画像ブレ量は、B２画像信号と関連付けられて画像信号記憶部７１に記憶される。また、画像ブレ量と関連付けられたB２画像信号は、画像選択部７２に送信される。ここで、画像ブレ量としては、B２画像信号において注目する構造物の画像ブレ量を検出することが好ましい。例えば、注目する構造物としては血管構造や粘膜構造がある。本実施形態では、注目する構造物は血管であるので、血管構造に基づいて、画像ブレ量を求めることが好ましい。例えば、血管構造を抽出する画像フィルタによって血管位置を特定し、この特定した血管位置にある血管の画像ブレ量を、画像全体の画像ブレ量の代表値、即ち、画像ブレ検出部７０で採用する画像ブレ量とすることが好ましい。
　また、画像ブレ量は、B２画像信号の画像中央領域に基づいて求めることが好ましい。画像中央領域については、「画像を縦横共に３分割した真ん中」や「画像の中心点から半径Ｒｄピクセル内の領域」など任意に決めることが好ましい。なお、このように画像中央領域の画像ブレ量を採用するのは、ユーザーは、注目する領域が画像の中心に位置するように、内視鏡１２を操作しているためである。
　なお、画像ブレ量の検出方法としては、主として、画像解析に基づく方法と撮像センサ４８に基づく方法がある。画像解析に基づく方法としては、画像における複数の領域のそれぞれについて点拡がり関数（ＰＳＦ（Point Spread Function））を推定し、その点拡がり関数から画像ブレの方向及び大きさを高精度に推定する方法がある（特許５４９９０５０号公報参照）。また、画像ブレの中でも、内視鏡１２を直線的に操作したときに生ずる手ぶれ画像については、周波数空間上でシンク関数を畳み込んだパワースペクトルとして表れることが知られている。このような手ぶれ画像が多く発生するような状況下では、画像信号を周波数領域の画像に変換し、その周波数領域の画像において手ぶれ方向に表れるシンク関数の影響の度合いに基づいて画像ブレ量を検出することが好ましい（特開２００９－２３０５９８号公報参照）。また、画像信号から移動ベクトルを検出し、移動ベクトルを元に画像ブレ量を検出する方法がある（特開平３－１６４７０号公報参照）。
　一方、撮像センサ４８に基づく方法としては、内視鏡１２の湾曲部１２ｃに設けた移動量検出手段により角速度と移動方向を検出し、それら角速度や移動方向から画像ブレ量を検出する方法がある（特開平５－１６４７０号公報）。
　画像選択部７２は、画像ブレ検出部７０から入力されたＢ２画像信号、または、画像信号記憶部７１に記憶されたB２画像信号の中から、画像ブレの少ないB２画像信号を選択する。選択されたB２画像信号は、位置合わせ処理部７３に入力される。この画像選択部７２は、具体的には、図８に示すように、第１タイミングＴ１において紫色光Vと青色光Bの発光が行われたときに得られるマルチフレーム画像信号のうちのB２画像信号と、第１タイミングＴ１よりも前の複数の第２タイミングＴ２、・・・、第ｎタイミング、・・・、第ＮタイミングＴＮにおいて紫色光Vと青色光Bの発光が行われたときに得られるマルチフレーム画像信号のうちのB２画像信号の中から選択を行う。
　第１タイミングＴ１のB２画像信号は、画像信号記憶部７１を介さずに画像選択部７２に入力される信号である。第２タイミングＴ２、・・・、第ｎタイミング、・・・、第ＮタイミングＴＮのB２画像信号は、画像信号記憶部７１を介して画像選択部７２に入力される信号である。なお、図８において、「B１」はB１画像信号を、「B２」はB２画像信号を示している。また、本発明では、第１タイミングＴ１よりも前の１又は複数のタイミングを総称して、「特定のタイミング」という。本実施形態では、第２タイミングＴ２～第ＮタイミングＴＮが「特定のタイミング」に相当する。
　ここで、ｎ、Ｎは２以上の自然数であり、ｎは２～Ｎにおける任意の自然数である。第２タイミングＴ２が第１タイミングＴ１に一番時間的に近く、第ｎタイミングＴｎの「ｎ」が大きくなるほど、第１タイミングＴ１から時間的に離れていき、第ＮタイミングＴＮが第１タイミングＴ１から最も時間的に離れている。また、第１タイミングＴ１は、第１発光モードで紫色光Vが発光されてB１画像信号が得られたタイミングと、第２発光モードで青色光Bが発光されてB２画像信号が得られたタイミングの両方を含んでいる。第２タイミングＴ２～第ＮタイミングＴＮについても、第１タイミングと同様、B１画像信号が得られたタイミングとB２画像信号が得られたタイミングの両方を含んでいる。
　画像選択部７２では、まず、第１タイミングＴ１のB２画像信号について画像ブレ量が閾値Th1を超えているか否かを判定する。判定の結果、閾値Th1が下回っている場合には、第１タイミングＴ１のB２画像信号を位置合わせ処理部７３に送信する。これに対して、閾値Th１を超えている場合には、第２タイミングＴ２のB２画像信号について画像ブレ量がTh１を超えているか否かを判定する。判定の結果、閾値Th１を下回っている場合には、第２タイミングＴ２のB２画像信号を位置合わせ処理部７３に送信し、閾値Th１を超えている場合には、第３タイミングＴ３のB２画像信号について画像ブレ量の判定を行い、位置合わせ処理部７３に送信すべきかどうか判定する。画像選択部７２は、画像ブレ量が閾値Th１を下回るB２画像信号を検出するまで、上記と同様の判定を行う。なお、「第１条件」とは、「画像ブレ量が、予め定めた閾値Th1を下回り、且つ第１タイミングＴ１に最も近いタイミングに撮像されること」に対応している。
　なお、画像選択部７２では、第１タイミングＴ１から時間的に離れすぎるタイミングのB２画像信号については、B1画像信号との位置ずれが大きくなることが多い。このため、画像ブレ量が閾値Th1を下回り、且つ第１タイミングＴ１に最も時間的に近いB２画像信号を選択することが好ましい。また、画像選択部７２は、第２タイミングＴ２～第NタイミングＴＮのB２画像信号について画像ブレ量が全て閾値Th1を超えている場合には、いずれのタイミングのB２画像信号をも選択しないことが好ましい。
　このように、第２タイミングＴ２～第ＮタイミングのB２画像信号について画像ブレ量が全て閾値Th1を超えている場合には、演算画像信号生成部７６は、B１画像信号のみに基づいて演算画像信号を生成することが好ましく、又は、演算画像信号を生成しないことが好ましい。また、第２タイミングＴ２～第ＮタイミングのB２画像信号について画像ブレ量が全て閾値Th1を超えている場合には、警告表示制御部７９が、警告表示する制御を行うことによって、警告表示をモニタ１８上に表示するようにしてもよい。警告表示としては、警告メッセージや、警告マークなどがある。
　位置合わせ処理部７３は、順次取得されたB１画像信号が表す観察対象とB２画像信号が表す観察対象との位置合わせを行う。位置合わせ処理部７３は、B１画像信号、または、B２画像信号のうち少なくとも一方を補正する。
　明るさ補正処理部７４は、位置合わせ処理部７３によって位置合わせされたB１画像信号及びB２画像信号の明るさが特定比になるように、B１画像信号、または、B２画像信号のうち少なくとも一方の明るさを補正する。具体的には、第１発光モードの紫色光Vと第２発光モードの青色光Bの光量比は既知なので、これらの光量比を用いて、それぞれ同等の光量の紫色光V及び青色光Bを観察対象に照射して得る場合の明るさになるように、B１画像信号の明るさを、B２画像信号の明るさに一致させるようにゲイン補正をする。
　なお、画像選択部７２でいずれのタイミングＴ１～ＴＮのB２画像信号も選択されなかった場合には、位置合わせ処理部７３において位置合わせは行われず、また、明るさ補正処理部７４においても明るさの補正は行われない。即ち、B１画像信号だけが演算画像信号生成部７６に送られる。
　演算画像信号生成部７６は、B１画像信号とB２画像信号とを用いて演算をし、演算画像信号を生成する。具体的には、B１画像信号とB２画像信号の差または比を算出する。本実施形態では、演算画像信号生成部７６は、B１画像信号及びB２画像信号を対数変換し、対数変換後のB１画像信号とB２画像信号の差、より具体的にはB２画像信号からB１画像信号を減算した演算画像信号ΔＢを生成する。B１画像信号とB２画像信号を対数変換せずにそのまま用いる場合には、B１画像信号とB２画像信号の比を画素毎に演算することにより、演算画像信号を生成する。B１画像信号及びB２画像信号は、各画素が受光量に比例する画素値を有するが、対数変換をすると、濃度に比例する画素値を有することになるので、各画像信号を得たときの照明光の照度によらず、安定した演算結果を得ることができる。
　演算画像信号ΔＢを算出することは、粘膜下の特定深さにある血管を抽出することに対応する。例えば、図９に示すように、紫色光Vと青色光Bは、これらを照明光として用いると、概ね表層血管（深さＡｓ及び深さＡｄの全範囲の血管）を観察可能である。紫色光Vは青色光Bと比較して波長が短いので、観察対象への深達度が小さく、青色光Bに対して相対的に粘膜下の浅い位置Ａｓにある血管しか写し出せない。その代わりに、紫色光Vは、浅い位置Ａｓにある血管のコントラスト（血管からの反射光量に対する周辺の粘膜からの反射光量の比）が青色光Bを用いる場合よりも大きい。
　一方、青色光Bは紫色光Vと比較して波長が長いので、観察対象への深達度が大きく、紫色光Vに対して相対的に粘膜下の深い位置Ａｄにある血管まで写し出せる。その代わりに、青色光Bは、浅い位置Ａｓにある血管のコントラストが紫色光Ｖを用いる場合よりも小さい。このため、青色光Bに対応するB２画像信号から紫色光Vに対応するB１画像信号を減算すれば、特に粘膜下の浅い位置Ａｓにある極表層血管を表す画素の画素値は強調されて、大きい値（白色）になる。逆に、極表層血管よりも深い位置Ａｄにある表層血管を表す画素の画素値は小さい値（黒色）になる。
　また、演算画像信号生成部７６では、画像選択部７２で選択された画像ブレの少ないB２画像信号に基づいて演算を行っているため、観察対象上の血管をほぼ正確に抽出した演算画像信号ΔＢを生成することが可能となる。
　低解像度化処理部７７は、いわゆるローパスフィルタ（以下、ＬＰＦという）であり、演算画像信号生成部７６が生成した演算画像信号ΔＢを低解像度化する。低解像度化処理部７７が演算画像信号ΔＢに施す低解像度化処理の強度は、ＬＰＦのカットオフ周波数で定まる。ＬＰＦのカットオフ周波数は予め設定され、少なくとももとの演算画像信号ΔＢの解像度よりは低解像度化する。
　画像生成部７８は、特殊画像処理部６７が受信するB１画像信号またはB２画像信号のいずれかと、低解像度化された演算画像信号ΔＢとを用いて、複数の出力チャンネルを有する画像を生成する。より具体的には、画像生成部７８は、輝度チャンネルＹと色差に関する二つの色差チャンネルＣｂ，Ｃｒとを有する画像を生成する。画像生成部７８は、B１画像信号またはB２画像信号のいずれかを輝度チャンネルＹに割り当て、低解像度化された演算画像信号ΔＢを二つの色差チャンネルＣｂ，Ｃｒに割り当てることにより、特定深さの血管の走行パターンを色で強調した画像（以下、特定深さ血管強調画像という）を生成する。ここで、二つの色差チャンネルＣｂ，Ｃｒに割り当てる演算画像信号ΔＢは、観察対象上の血管がほぼ正確に抽出された信号であるため、血管が無い部分に、血管に相当する色が表示されるなどのアーチファクトが発生するおそれがない。
　なお、本実施形態の場合、輝度チャンネルＹにB１画像信号を割り当てるのは、表層血管の中から極表層血管を選り分けて強調するからであり、図１０に示すように、B１画像信号とB２画像信号のうち、相対的に短波長帯域の光（紫色光V）に対応し、極表層血管のコントラストが高いB１画像信号を輝度チャンネルＹに割り当てる。そして、色差チャンネルＣｂ，Ｃｒには演算画像信号ΔＢを割り当てる。また、演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てる際には、それぞれ係数αと係数βを乗じる。これは、表層血管等を強調観察する内視鏡システムが表示する画像と色味を揃えるためである。
　具体的には、表層血管を強調観察する従来の内視鏡システムでは、強調観察モードの場合に、狭帯域の青色光を照射して観察対象を撮像してＢ画像信号を取得し、かつ、狭帯域の緑色光を照射して観察対象を撮像してＧ画像信号を取得する。そして、Ｂ画像信号を表示用の画像のＢチャンネル（青色チャンネル）とＧチャンネル（緑色チャンネル）に割り当て、Ｇ画像信号をＲチャンネル（赤色チャンネル）に割り当てることにより、粘膜下の深い位置にある中深層血管を緑色系（シアン系）の色にし、粘膜下の浅い位置にある表層血管を赤色系（マゼンタ系）の色にして強調表示する。ＩＴＵ－Ｒ．６０１では、ＲＧＢ各画像信号と輝度チャンネルＹ及び色差チャンネルＣｂ，Ｃｒの関係は、下記式（１），（２），及び（３）で表される。
　Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ　・・・（１）
　Ｃｂ＝－０．１６９Ｒ－０．３３１Ｇ＋０．５Ｂ　・・・（２）
　Ｃｒ＝０．５Ｒ－０．４１９Ｇ－０．０８１Ｂ　　・・・（３）
　そして、色差チャンネルＣｂ，Ｃｒの式（２）及び式（３）において、ＲにＧを代入し、ＧにＢを代入すると、式（４）及び式（５）に示すように色差チャンネルＣｂ，Ｃｒを（Ｇ－Ｂ）で表すことができる。
　Ｃｂ＝－０．１６９Ｇ＋０．１６９Ｂ＝０．１６９（Ｇ－Ｂ）　・・・（４）
　Ｃｒ＝０．５Ｇ－０．５Ｂ＝０．５（Ｇ－Ｂ）　　　　　　　　・・・（５）
　本実施形態では、極表層血管を抽出及び表示するので、この（Ｇ－Ｂ）信号に代えて、演算画像信号ΔＢを用いる。すなわち、係数α＝０．１６９を乗じて演算画像信号ΔＢを色差信号Ｃｂに割り当て、係数β＝０．５を乗じて演算画像信号ΔＢを色差信号Ｃｒに割り当てる。これにより、内視鏡システム１０では、従来の内視鏡システムとほぼ同配色の画像を表示する。但し、極表層血管と、比較的深い位置にある表層血管との色の違いを強調するために、設定等に応じて、上記係数α及び係数βにさらに係数を乗じる場合がある。
　なお、輝度チャンネルＹ及び色差チャンネルＣｂ，ＣｒからＲＧＢの特定深さ血管強調画像を生成するには、ＩＴＵ－Ｒ．６０１の逆変換にしたがって、
　Ｒ＝Ｙ＋１．４０２Ｃｒ　　　　　　　　　・・・（７）
　Ｇ＝Ｙ－０．３４４Ｃｂ－０．７１４Ｃｒ　・・・（８）
　Ｂ＝Ｙ＋１．７７２Ｃｂ　　　　　　　　　・・・（９）
によって行う。
　通常画像処理部６６が生成する通常画像、及び、特殊画像処理部６７が生成する特定深さ血管強調画像は、映像信号生成部６８に入力される。映像信号生成部６８は、通常画像や特定深さ血管強調画像をモニタ１８で表示可能な画像として表示するための映像信号に変換する。この映像信号を用いて、モニタ１８は、通常画像や特定深さ血管強調画像を表示する。
　次に、特殊観察モードにおける画像処理の一連の流れを図１１に沿って説明する。この図１１に示す画像処理の一連の流れの最初の段階において、画像信号記憶部７１には、既に、第２タイミングＴ２～第ＮタイミングＴＮのB２画像信号とそれに対応する画像ブレ量とが記憶されていることが前提となっている。
　まず、第１タイミングＴ１において、第１発光モードと第２発光モードを行う。第１発光モードでは、光源２０が紫色光Vを発生し、発生した紫色光Vを観察対象に照射する（Ｓ１１）。撮像センサ４８は、紫色光Vが照射された観察対象を撮像し（Ｓ１２）、画像信号取得部５３は、紫色光Vに対応するB１画像信号を取得する（Ｓ１３）。図１２に示すように、B１画像信号１１０は、紫色光Vによって観察対象を撮像して得た画像信号なので、観察対象の起伏等の形状１１２の他、極表層血管１２４が観察可能である。また、極表層血管１２４よりも粘膜下の深い位置にある表層血管１２３も、B１画像信号１１０によって観察可能である。以上の第１タイミングのB１画像信号は、各種処理部を介して、位置合わせ処理部７３に送信される。
　次に、第２発光モードでは、光源２０が青色光Bを発生し、発生した青色光Bを観察対象に照射し（Ｓ１４）、撮像センサ４８は青色光Bが照射された観察対象を撮像する（Ｓ１５）。そして、画像信号取得部５３は、青色光Bに対応するB２画像信号を取得する（Ｓ１６）。図１３に示すように、B２画像信号１２０は、青色光Bによって観察対象を撮像して得た画像信号なので、観察対象の形状１１２の他、比較的深い位置にある表層血管１２３が観察可能である。また、極表層血管１２４もＢ２画像信号１２０によって観察可能である。第１タイミングＴ１のB２画像信号は、各種の処理部を介して、画像ブレ検出部７０に送信される。
　なお、B１画像信号１１０とB２画像信号１２０を比較すると、B１画像信号１１０の方が極表層血管１２４のコントラストが高く、B２画像信号１２０の方が極表層血管１２４に比べて比較的深い位置にある表層血管１２３のコントラストが高くなっている。
　次に、画像ブレ検出部７０は、第１タイミングＴ１のB２画像信号について画像ブレ量を検出する（Ｓ１７）。この画像ブレ量が検出されたB２画像信号は、画像選択部７２に送信される。画像選択部７２では、演算画像信号ΔＢの生成に用いる画像ブレの少ないB２画像信号を選択する（Ｓ１８）。画像選択部７２では、まず、第１タイミングＴ１のB２画像信号について画像ブレ量が閾値Th1を下回るか否かを判定する。判定の結果、閾値Th1が下回っている場合には、画像選択部７２は、第１タイミングＴ１のB２画像信号を選択する。選択された第１タイミングＴ１のB２画像信号は、位置合わせ処理部７３に送信される。一方、閾値Th1を上回っている場合には、画像選択部７２は、画像信号記憶部７１に記憶された第２タイミングＴ２～第ＮタイミングＴＮのB２画像信号の中から、第１タイミングＴ１に最も時間的に近く、且つ画像ブレ量が閾値Th1を下回るB２画像信号を選択する。選択されたB２画像信号は、位置合わせ処理部７３に送信される。
　位置合わせ処理部７３では、B１画像信号とB２画像信号の位置合わせが行われる（Ｓ１９）。そして、明るさ補正処理部７４によって明るさ補正処理が施された後（Ｓ２０）、演算画像信号生成部７６に入力される。演算画像信号生成部７６では、演算画像信号ΔＢを生成する（Ｓ２１）。演算画像信号ΔＢは、元の画像信号（例えば図１２のB１画像信号や図１３のB２画像信号）に対して、比較的深い位置にある表層血管１２３の画素値は小さく、かつ、極表層血管１２４の画素値は大きくなる。このため、図１４に示すように、演算画像信号ΔＢでは、極表層血管１２４と比較的深い位置にある表層血管１２３の違いが元の画像信号よりも顕著になる。演算画像信号生成部７６では、演算画像信号ΔＢを生成すると、さらに低解像度化処理部７７によって演算画像信号ΔＢを低解像度化する（Ｓ２２）。図１５に示すように、低解像度化処理部７７を経た演算画像信号ΔＢでは、表層血管１２３や極表層血管１２４はぼやけた状態になる。
　その後、特殊画像処理部６７は、画像生成部７８によって、極表層血管１２４のコントラストが高いB１画像信号を輝度チャンネルＹに割り当て、低解像度化された演算画像信号ΔＢを色差チャンネルＣｒ，Ｃｂを割り当てることにより、特定深さ血管強調画像を生成する（Ｓ２３）。図１６に示すように、特定深さ血管強調画像１３０では、表層血管１２３はシアン系の色に着色して表示され、極表層血管１２４がマゼンタ系に着色して表示される。このため、特定深さ血管強調画像１３０では、表層血管１２３と極表層血管１２４を色で識別可能であり、実質的に極表層血管１２４が観察しやすい強調画像として表示される。
　上記のように、内視鏡システム１０は、紫色光Vに対応するB１画像信号と青色光Bに対応するB２画像信号との差（または比）によって演算画像信号ΔＢを算出し、輝度チャンネルＹに強調したい血管のコントラストが高い画像信号を割り当て、かつ、色差チャンネルＣｂ，Ｃｒに演算画像信号ΔＢを割り当てる。これにより、従来では識別が難しかった極表層血管１２４と、極表層血管１２４に対して比較的深い位置にある表層血管１２３とを、色の違いで可視化し、強調表示することができる。
　また、B１画像信号とB２画像信号の取得タイミングの違いによって、輝度チャンネルＹに割り当てるB１画像信号と演算画像信号ΔＢとの間に齟齬が生じ、結果として、特定深さ血管強調画像１３０に色ずれが表れることがある。このため、内視鏡システム１０では、演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てるときに、低解像度化処理部７７によって低解像度化してから演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てるので色ずれは低減されている。
　また、B２画像信号の画像ブレ量が大きくなりすぎると、特定深さ血管強調画像上でアーチファクトが発生することがある。このため、内視鏡システム１０では、画像選択部７２で選択した画像ブレの少ないB２画像信号を用いて演算画像信号ΔＢを生成し、この演算画像信号ΔＢに基づいて特定深さ血管強調画像１３０を生成している。これにより、特定深さ血管強調画像１３０においては、アーチファクトの発生が抑えられている。
　なお、上記実施形態では、画像生成部７８は、B１画像信号とB２画像信号のうち相対的に極表層血管１２４のコントラストが高いB１画像信号を輝度チャンネルＹに割り当て、かつ、演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てることで、極表層血管１２４を選択的に強調する特定深さ血管強調画像１３０を生成しているが、画像生成部７８は、比較的深い位置にある表層血管１２３を強調した特定深さ血管画像を生成しても良い。
　この場合、演算画像信号生成部７６は、上記実施形態とは逆に、対数変換後のB１画像信号からB２画像信号を減算して演算画像信号ΔＢを生成する。そして、画像生成部７８は、B１画像信号とB２画像信号のうち比較的深い位置にある表層血管１２３のコントラストが高いB２画像信号を輝度チャンネルＹに割り当て、かつ、B１画像信号からB２画像信号を減算して生成された演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てて、特定深さ血管強調画像を生成する。
　上記実施形態の特定深さ血管強調画像１３０が極表層血管１２４を強調することができるのは、演算画像信号ΔＢをＢ２画像信号からＢ１画像信号を減算して生成した演算画像信号を用いているからである。このため、上記実施形態では、画像生成部７８は、極表層血管１２４を強調する特定深さ血管強調画像１３０を生成するときに、Ｂ１画像信号とＢ２画像信号のうち極表層血管１２４のコントラストが高いＢ１画像信号を輝度チャンネルＹに割り当てているが、Ｂ２画像信号を輝度チャンネルＹに割り当てた場合でも、極表層血管１２４を強調する特定深さ血管強調画像を生成することができる。
　画像生成部７８が、特定深さ血管強調画像を生成するときに、B１画像信号とB２画像信号のうちどちらを輝度チャンネルＹに割り当てるかを選択できるようにすることが好ましい。例えば、画像生成部７８の動作モードに、B１画像信号を輝度チャンネルＹに割り当てる第１割り当てモードと、B２画像信号を輝度チャンネルＹに割り当てる第２割り当てモードとを用意しておき、第１割り当てモードと第２割り当てモードのうち選択されたモードで画像を生成するようにしておくことができる。
　また、輝度チャンネルＹに割り当てる画像信号を選択可能にする場合には、画像生成部７８が輝度チャンネルＹに割り当てる画像信号を自動的に選択しても良い。例えば、B１画像信号とB２画像信号とを比較し、画像信号全体または指定された関心領域内のノイズが少ない方の画像信号を自動的に輝度チャンネルＹに自動的に割り当てても良いし、画像信号全体または指定された関心領域内のコントラストが高い方の画像信号を輝度チャンネルＹに自動的に割り当てても良い。
　また、上記実施形態では、画像生成部７８は、B１画像信号を輝度チャンネルＹに割り当て、かつ、演算画像信号ΔＢを色差チャンネルＣｂ，Ｃｒに割り当てて、ＹＣｂＣｒ形式の特定深さ血管強調画像１３０を生成しているが、ＲチャンネルとＧチャンネルとＢチャンネルを有するＲＧＢ形式の画像を生成しても良い。この場合、画像生成部７８は、図１７に示すように、輝度に最も寄与するＧチャンネルにB１画像信号を割り当て、残りのＢチャンネル及びＲチャンネルに演算画像信号ΔＢを割り当てる。
　上記実施形態では、低解像度化処理部７７で用いるＬＰＦのカットオフ周波数は予め設定されているが、ＬＰＦのカットオフ周波数を可変にし、ＬＰＦのカットオフ周波数を動的に設定することが好ましい。例えば、図１８に示すように、低解像度化処理部７７に、位置合わせ処理部７３からＢ１画像信号とＢ２画像信号の位置合わせ精度が入力されるようにする。そして、低解像度化処理部７７は、Ｂ１画像信号とＢ２画像信号の位置合わせ精度に応じてＬＰＦのカットオフ周波数（低解像度化処理の強度）を変更する。
　具体的には、B１画像信号とB２画像信号の位置合わせ精度が高いほど、ＬＰＦのカットオフ周波数を高周波数に設定して低解像度化処理の強度を小さくし、B１画像信号とB２の位置合わせ精度が低いほど、ＬＰＦのカットオフ周波数を低周波数に設定して低解像度化処理の強度を大きくすると良い。こうすると、低解像度化処理部７７による演算画像信号ΔＢの低解像度化の程度が最適化され、特定深さの血管（例えば、極表層血管１２４）を適切に強調表示することができる。
　また、低解像度化処理部７７に、画像ブレ検出部７０で検出した画像ブレ量のうち画像選択部７２で選択されたB２画像信号の画像ブレ量を入力し、その入力された画像ブレ量に応じてＬＰＦのカットオフ周波数（低解像度化処理の強度）を変更するようにしてもよい。具体的には、画像ブレ量が小さいほど、ＬＰＦのカットオフ周波数を高周波数に設定して低解像度化処理の強度を小さくし、画像ブレ量が大きいほど、ＬＰＦのカットオフ周波数を低周波数に設定して低解像度化処理の強度を大きくすると良い。これにより、低解像度化処理部７７による演算画像信号ΔＢの低解像度化の程度が最適化されるため、よりアーチファクトの少ない特定深さ血管強調画像を表示することができる。
　なお、特定深さ血管強調画像を静止画として表示または保存する場合、ＬＦＰのカットオフ周波数は、生成する特定深さ血管強調画像の解像度を基準として、少なくともナイキスト周波数の１／８以下の周波数を残す範囲内で設定することが好ましい。
　上記変形例では、位置合わせ処理部７３の位置合わせ処理の精度に応じて、低解像度化処理部７７が低解像度化処理の強度を調節しているが、これとは逆に、低解像度化処理部７７が行う低解像度化処理の強度に応じて、位置合わせ処理部７３が位置合わせ処理の精度を調節しても良い。この場合、位置合わせ処理部７３は、ＬＰＦのカットオフ周波数が大きく、低解像度化処理の強度が小さく設定されているほど、Ｂ１画像信号とＢ２画像信号の位置合わせ精度を高く設定する。
　位置合わせ処理部７３が行うB１画像信号とB２画像信号との位置合わせ処理の精度は可変にし、特定深さ血管強調画像の静止画を表示または保存する場合と、特定深さ血管強調画像の動画を表示する場合とで位置合わせ処理の精度を変えることが好ましい。例えば、モニタ１８に特定深さ血管画像で構成される動画を表示する場合には、位置合わせ処理部７３は、特定深さ血管画像の静止画をモニタ１８に表示する（あるいは保存する）場合よりも低い第１精度で、B１画像信号とB２画像信号との位置合わせをする。これとは逆に、特定深さ血管画像の静止画をモニタ１８に表示する場合、位置合わせ処理部７３は、特定深さ血管画像の動画をモニタ１８に表示する場合よりも高い第２精度で、B１画像信号とB２画像信号の位置合わせをする。こうすると、動画表示時には、色ずれが目立たない範囲内で高速に特定深さ血管強調画像を生成することができ、かつ、色ずれが目立ちやすい静止画の取得時には、色ずれがない特定深さ血管強調画像を生成することができる。
　また、位置合わせ処理部７３は、生成する特定深さ血管画像の大きさによって、B１画像信号とB２画像信号との位置合わせ精度を変更しても良い。例えば、生成する特定深さ血管画像が大きい場合には、僅かな位置ずれも目立つので、位置合わせ処理部７３は高精度にB１画像信号とB２画像信号の位置合わせをし、生成する特定深さ血管画像が小さい場合には、位置ずれは目立ち難いので、低精度でB１画像信号とB２画像信号の位置合わせをする。また、これとは逆に、位置合わせ処理部７３は、生成する特定深さ血管画像が大きい場合に低精度でB１画像信号とB２画像信号の位置合わせをし、生成する特定深さ血管画像が小さい場合には高精度でB１画像信号とB２画像信号の位置合わせをしても良い。こうすると、プロセッサ装置１６の処理負担を最適化することができる。
　上記のように、位置合わせ処理部７３が動画表示時と静止画取得時とで位置合わせ処理の精度を変更する場合や特定深さ血管画像の大きさに応じて位置合わせ精度を変更する場合に、低解像度化処理部７７は位置合わせ精度によってＬＰＦのカットオフ周波数を変更することが好ましい。例えば、動画表示時には、位置合わせ処理部７３はB１画像信号とB２画像信号の位置合わせ精度を低下させ、その代わりに、低解像度化処理部７７ではＬＰＦのカットオフ周波数を低周波数側にシフトさせると良い。また、静止画取得時には、位置合わせ処理部７３は、B１画像信号とB２画像信号の位置合わせ精度を上げ、その代わりに、低解像度化処理部７７ではＬＦＰのカットオフ周波数を高周波側にシフトさせると良い。すなわち、動画表示時にはプロセッサ装置１６の処理負担が小さい低解像度化処理部７７のＬＰＦを優先し、静止画取得時には位置合わせ処理部７３による正確な位置合わせを優先すると良い。
　また、位置合わせ処理部７３は、画像選択部７２で選択されたB２画像信号の画像ブレ量に応じて、B１画像信号とB２画像信号との位置合わせ精度を変更しても良い。例えば、画像ブレ量が大きい場合には、B１画像信号とB２画像信号を位置合わせし難くなるため、位置合わせ処理部７３は高精度にB１画像信号とB２画像信号の位置合わせを行うことが好ましい。これに対して、画像ブレ量が小さい場合には、B１画像信号とB２画像信号とを位置合わせし易いため、低精度でB１画像信号とB２画像信号の位置合わせをする。以上のように画像ブレ量に応じた位置合わせ精度の変更を行うことによって、プロセッサ装置１６の処理負担を最適化することができる。
　なお、位置合わせ処理部７３は、動画表示時にはB１画像信号とB２画像信号との位置合わせを行わず、静止画取得時にだけB１画像信号とB２画像信号との位置合わせを行っても良い。
　上記実施形態では、低解像度化処理部７７は、ＬＰＦによって演算画像信号ΔＢを低解像度化しているが、ＬＰＦの代わりに、演算画像信号ΔＢを縮小し、その後元の大きさにまで拡大することでも低解像度化することができる。このように、演算画像信号ΔＢを縮小及び拡大して低解像度化する場合、演算画像信号ΔＢの縮小時には、エリアジングの少ない縮小方法を採用することが好ましい。例えば、面積平均法によって縮小した後、キュービックスプライン補間によって拡大して、演算画像信号ΔＢを低解像度化することができる。
　上記実施形態では、第１発光モードでは紫色光Vを照明光として用い、第２発光モードでは青色光Bを照明光として用いているが、特殊観察モード時に用いる互いに波長帯域が異なる二つの照明光は、他の波長帯域の光でも良い。波長帯域を変えることにより、強調する血管の深さを任意に変更した特定深さ血管画像を得ることができる。
　また、撮像センサ４８のＢカラーフィルタは緑色光Gにも感度がある（図６参照）。そして、緑色光Gの反射光等のうちＢ画素で受光可能な波長帯域の光と、緑色光Gの反射光等のうちＧ画素で受光可能な波長帯域の光は、観察対象の散乱係数に差があり、かつ、ヘモグロビンの吸光係数がほぼ等しい。このため、例えば、緑色光Gだけを照明光として使用し、緑色光Gが照射された観察対象をＢ画素が撮像して出力するＢG画像信号と、緑色光Gが照射された観察対象をＧ画素が撮像して出力するＧG画像信号とを、上記実施形態のB１画像信号及びB２画像信号の代わりに用いることができる。このように、ＢG画像信号とＧG画像信号とを用いる場合、例えば、中深層血管のうち比較的浅い位置にある中深層血管、または、中深層血管のうち比較的深い位置にある中深層血管を、中深層血管の中から選り分けて強調表示することができる。
　同様に、撮像センサ４８のＲカラーフィルタは緑色光Gにも感度があり（図６）、緑色光Gの反射光等のうちＧ画素で受光可能な波長帯域の光と、緑色光Gの反射光等のうちＲ画素で受光可能な波長帯域の光は、観察対象の散乱係数に差があり、かつ、ヘモグロビンの吸光係数がほぼ等しい。このため、光源２０は特殊観察モードで使用する第１照明光と第２照明光とを含む広帯域の緑色光Gを照明光として使用し、緑色光Gが照射された観察対象をＧ画素が撮像して出力するＧG画像信号（第１画像信号）と、緑色光Gが照射された観察対象をＲ画素が撮像して出力するＲG画像信号（第２画像信号）とを、上記実施形態のB１画像信号及びB２画像信号の代わりに用いることができる。すなわち、光源２０が緑色光Gのように第１照明光と第２照明光を含む広帯域の照明光を発生する場合、画像信号取得部５３は、第１画像信号をＢ画素またはＧ画素から取得し、第２画像信号をＧ画素またはＲ画素から取得することができる。
　また、撮像センサ４８のＧカラーフィルタが紫色光Vや青色光Bにも感度があることを利用して、撮像センサ４８が受光する紫色光Vや青色光Bに対応する信号を補っても良い。例えば、紫色光Vを照射したときに、Ｂ画素から得られる信号値に、Ｇ画素から得られる信号値を加算することで、紫色光Vに対応する信号値を増大させることができる。同様に、青色光Bを照射したときに、Ｇ画素から得られる信号値を加算することで、青色光Bに対応する信号値を増大させることができる。
　上記実施形態のように、極表層血管１２４を表層血管１２３と峻別して強調表示する場合には、第１照明光及び第２照明光の波長帯域は、ともに波長５００ｎｍ以下の範囲内であることが好ましい。具体的には、上記実施形態の通り、４０５±１０ｎｍに中心波長を有する紫色光Vと、４６０±１０ｎｍに中心波長を有する青色光Bとを、第１照明光及び第２照明光として用いることが好ましい。４０５±１０ｎｍに中心波長を有する紫色光Vと４４５±１０ｎｍに中心波長を有する青色光を第１照明光及び第２照明光として用いることがさらに好ましい。４４５±１０ｎｍに中心波長を有する青色光は、例えば、Ｂ－ＬＥＤ２３ｂの長波長側をカットする光学フィルタをＢ－ＬＥＤ２３ｂの光路中に用いることで、上記青色光Bから生成することができる。また、Ｂ－ＬＥＤ２３ｂを４４５±１０ｎｍに中心波長を有する青色光を発する別のＬＥＤに替えても良い。
　中深層血管を、比較的浅い位置にある中深層血管と比較的深い位置にある中深層血管とに分けて強調表示をする場合には、第１照明光及び第２照明光の波長帯域は、ともに５００ｎｍ以上であることが好ましい。具体的には、波長が約５００ｎｍの光と、波長が約６００ｎｍの光とを、第１照明光及び第２照明光として用いることが好ましい。
　なお、上記実施形態では、演算画像信号生成部７６は、粘膜下の特定深さにある極表層血管１２４の走行パターンを表す演算画像信号ΔＢを生成しているが、代わりに、血管密度を表す演算画像信号Ｄや血管等に含まれるヘモグロビンの酸素飽和度（以下、血管の酸素飽和度という）を表す演算画像信号Ｓを生成しても良い。
　血管密度を表す演算画像信号Ｄは、上記実施形態の演算画像信号ΔＢを用いて算出することができる。例えば、上記実施形態の演算画像信号ΔＢは、極表層血管１２４を抽出した画像信号になっているので（図１４参照）、演算画像信号ΔＢを用いて単位面積中の極表層血管１２４の面積の割合を各画素について算出することにより、極表層血管１２４の血管密度を表す演算画像信号Ｄを生成することができる。このように演算画像信号Ｄを生成する場合、画像生成部７８は、輝度チャンネルＹにB１画像信号を割り当て、かつ、演算画像信号Ｄを色差チャンネルＣｂ，Ｃｒに割り当てることにより、極表層血管１２４の血管密度を表す血管密度画像を生成する。血管密度画像は、バレット腺癌のステージ判別等の診断に直接的な示唆を与えることができる。
　血管の酸素飽和度を表す演算画像信号Ｓを生成する場合は、例えば、中心波長４４５±１０ｎｍの第１青色光と緑色光Gと赤色光Rとを照射して観察対象を撮像し、かつ、中心波長４７３±１０ｎｍの第２青色光と緑色光Gと赤色光Rとを照射して観察対象を撮像する。第１青色光（第１照明光）は、上記中心波長４４５±１０ｎｍになるようにＢ－ＬＥＤ２３ｂが発する青色光Bの波長帯域を制限する第１光学フィルタ（例えば、青色光Bの長波長側をカットする光学フィルタ）を用いることで、青色光Bから生成することができる。同様に、第２青色光（第２照明光）は、上記中心波長４７３±１０ｎｍとなるようにＢ－ＬＥＤ２３ｂが発する青色光Bの波長帯域を制限する第２光学フィルタ（例えば、青色光Bの短波長側をカットする光学フィルタ）を用いることで、青色光Bから生成することができる。
　上記第１青色光は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差が殆どない波長帯域（等吸収波長）を有する。一方、上記第２青色光は、酸化ヘモグロビンと還元ヘモグロビンの吸光係数に差がある波長帯域（異吸収波長）を有する。第１青色光が照射された観察対象をＢ画素が撮像して得られる等吸収波長の画像信号（第１画像信号）と、第２青色光が照射された観察対象をＢ画素が撮像して得られる異吸収波長の画像信号（第２画像信号）との比または差は、酸素飽和度と相関がある。
　したがって、等吸収波長の画像信号と異吸収波長の画像信号との比または差を、酸素飽和度に対応付ける相関関係を実験等により予め求め、演算画像信号生成部７６はこの相関関係を予め保持しておく。そして、演算画像信号生成部７６は、等吸収波長の画像信号と異吸収波長の画像信号との比または差を算出して上記相関関係と照らし合わせることで、各画素が観察対象の酸素飽和度の値を表す演算画像信号Ｓを生成する。画像生成部７８は、通常画像処理部６６と同様にして、第１青色光と緑色光Gと赤色光Rとを照射して観察対象を撮像して得た各画像信号を用いて通常画像信号を生成する。そして、輝度チャンネルＹに通常画像信号を割り当て、かつ、酸素飽和度を表す演算画像信号Ｓを色差チャンネルＣｂ，Ｃｒに割り当てることにより、観察対象の酸素飽和度を表す酸素飽和度画像を生成する。こうして生成される酸素飽和度画像は、酸素飽和度という診断に有益な情報を表示することができる。
　なお、演算画像信号Ｓを用いて酸素飽和度画像を生成する場合には、等吸収波長の画像信号と異吸収波長の画像信号のうちいずれかの画像信号について画像ブレ量を検出し、画像ブレ量が閾値Th1を下回る画像信号を選択することが好ましい。例えば、異吸収波長の画像信号の選択を行う場合には、画像ブレ検出部７０では、第１タイミングの異吸収波長の画像信号について画像ブレ量を検出する。そして、画像選択部７２では、第１タイミングＴ１の異吸収波長の画像信号、及び画像信号記憶部７１に記憶した第２タイミングＴ２～第ＮタイミングＴＮの異吸収波長の画像信号の中から、閾値Th1を下回る異吸収波長の画像信号を選択する。
　そして、演算画像信号生成部７６では、等吸収波長の画像信号と選択された異吸収波長の画像信号とに基づいて、演算画像信号Ｓを生成する。この演算画像信号Ｓは、画像ブレの少ない異吸収波長の画像信号に基づく演算により得られたものであるため、酸素飽和度に関する情報を正確に表している。したがって、以上の演算画像信号Ｓに基づいて生成される酸素飽和度画像は、酸素飽和度に応じて正確に色付けされたアーチファクトの少ない画像となっている。
　なお、上記実施形態では、撮像センサ４８が設けられた内視鏡１２を被検体内に挿入して観察を行う内視鏡システム１０によって本発明を実施しているが、カプセル内視鏡システムにも本発明は好適である。例えば、図１９に示すように、カプセル内視鏡システムでは、カプセル内視鏡４００と、プロセッサ装置（図示しない）とを少なくとも有する。
　カプセル内視鏡４００は、光源４０２と光源制御部４０３と、撮像センサ４０４と、信号処理部４０６と、送受信アンテナ４０８とを備えている。光源４０２は、上記各実施形態の光源２０と同様に構成される。光源制御部４０３は、上記各実施形態の光源制御部２２と同様にして光源４０２の駆動を制御する。また、光源制御部４０３は、送受信アンテナ４０８によって、カプセル内視鏡システムのプロセッサ装置と無線で通信可能である。カプセル内視鏡システムのプロセッサ装置は、上記各実施形態のプロセッサ装置１６とほぼ同様であるが、信号処理部４０６は、通常画像処理部６６及び特殊画像処理部６７の機能を有している。信号処理部４０６が生成した血管強調画像信号等は、送受信アンテナ４０８を介してプロセッサ装置に送信される。撮像センサ４０４は上記各実施形態の撮像センサ４８と同様に構成される。
　［第２実施形態］
　第２実施形態では、画像選択部７２における画像選択方法が第１実施形態と異なっている。それ以外については、第１実施形態とほぼ同様である。第２実施形態では、画像選択部７２において、第１タイミングＴ１のB２画像信号の画像ブレ量と、画像信号記憶部７１に記憶された第２タイミングＴ２のB２画像信号の画像ブレ量とを比較し、画像ブレ量が小さい方のB２画像信号を選択する。または、画像選択部７２は、第１タイミングＴ１のB２画像信号、第２タイミングＴ２のB２画像信号、・・・、第ｎタイミングのB２画像信号、・・・、第ＮタイミングＴＮのB２画像信号の中から、画像ブレ量が最も小さいB２画像信号を選択する。
　なお、第１タイミングＴ１のB２画像信号～第ＮタイミングＴＮのB２画像信号の中で、画像ブレ量が最も小さいB２画像信号であっても、その画像ブレ量が予め設定した閾値Th2（第１実施形態のTh1と同じでも異なってもよい）を超えている場合には、画像選択部７２は、いずれのタイミングのB２画像信号をも選択しないことが好ましい。この場合には、演算画像信号生成部７６は、B１画像信号のみに基づいて演算画像信号を生成することが好ましく、又は、演算画像信号を生成しないことが好ましい。また、警告表示制御部７９が、警告表示する制御を行うようにしてもよい。
　［第３実施形態］
　第３実施形態では、画像選択部７２における画像選択方法が第１及び第２実施形態と異なっている。それ以外については、第１実施形態とほぼ同様である。第３実施形態では、特殊観察モードに設定されている場合に、図２０に示すように、画像処理切替部６１から出力される画像信号のうち、B１画像信号及びB２画像信号が画像ブレ検出部７０に送信され、B１画像信号は位置合わせ処理部７３に送信される。
　画像ブレ検出部７０において、第１タイミングＴ１から第ＮタイミングＴＮの全てのタイミングにおいて、B２画像信号の画像ブレ量Blur2だけでなく、B１画像信号の画像ブレ量Blur1も検出する。そして、ブレ指標値算出部２００は、第１タイミングＴ１から第ＮタイミングＴＮの全てのタイミングにおいて、B１画像信号の画像ブレ量Blur1とB２画像信号の画像ブレ量Blur2との差分（｜Blur1-Blur2｜）（以下「ブレ差分」という））又は比（Blur1/Blur2）（以下「ブレ比」という）を、ブレ指標値として算出する。なお、ブレ指標値において、ブレ差分については「０」に近いほど両者の画像ブレ量Blur1、Blur2が時間的に近いことを示している。また、ブレ比については「１」に近いほど両者の画像ブレ量Blur1、Blur2が時間的に近いことを示している。
　ここで、第１タイミングＴ１のB２画像信号については、第１タイミングＴ１のブレ指標値と関連付けられたものが画像選択部７２に送信される。また、第２タイミングＴ２～第ＮタイミングＴＮのB２画像信号は、第２タイミングＴ２～第ＮタイミングＴＮのブレ指標値と関連付けられて画像信号記憶部７１に記憶される。そして、画像選択部７２では、第１タイミングＴ１のブレ指標値が予め定めた基準ＳＴを満たしているか否かを判定する。判定の結果、基準ＳＴを満たしている場合には、第１タイミングＴ１のB２画像信号を選択し、位置合わせ処理部７３に送信する。なお、「第２条件」とは、「あるタイミングのブレ指標値が基準ＳＴを満たしている場合のこと」に対応する。
　ここで、基準ＳＴとしては、例えば、ブレ指標値がブレ差分である場合には「０」もしくは「０」に近い値の範囲（「第１特定範囲」に対応する）内とすることが好ましく、ブレ指標値がブレ比である場合には「１」もしくは「１」に近い値の範囲（「第２特定範囲」に対応する）内とすることが好ましい。例えば、B１画像信号とB２画像信号のうちいずれかの画像ブレ量が大きい場合には、特定深さ血管強調画像上でアーチファクトが発生し易くなる。この場合には、ブレ差分は第１特定範囲から外れ、また、ブレ比も第２特定範囲から外れることになるため、ブレ差分やブレ比からアーチファクトの発生を検出できる。一方、B１画像信号とB２画像信号の両方とも画像ブレ量が大きい場合には、ブレが発生しているにもかかわらず、特定深さ血管強調画像上ではアーチファクトになりにくい。この場合には、ブレ差分は第１特定範囲内に収まり、またブレ比も第２特定範囲に収まる。このため、ブレが生じたとしても、特定深さ血管強調画像では、演算に大きく影響を与えるアーチファクトの発生していないことを、ブレ差分やブレ比から検出することができる。
　これに対して、第１タイミングＴ１のブレ指標値が基準ＳＴを満たしていない場合には、第２タイミングＴ２のブレ指標値が基準ＳＴを満たしているか否かを判定する。判定の結果、基準ＳＴを満たしている場合には、第２タイミングT２のB２画像信号を位置合わせ処理部７３に送信し、基準を満たしていない場合には、第３タイミングT３のB２画像信号について同様のブレ指標値に基づく判定を行い、位置合わせ処理部７３に送信すべきかどうか判定する。画像選択部７２は、ブレ指標値が基準を満たすB２画像信号を検出するまで、上記と同様の判定を行う。
　なお、画像選択部７２では、第１タイミングＴ１から時間的に離れすぎるタイミングのB２画像信号については、B１画像信号との位置ずれが大きくなることが多いことから、ブレ指標値が基準ＳＴを満たし、且つ第１タイミングＴ１に最も時間的に近いB２画像信号を選択することが好ましい。また、画像選択部７２は、第２タイミングＴ２～第ＮタイミングＴＮのB２画像信号の全てについて、ブレ指標値が基準ＳＴを満たさない場合には、いずれのタイミングのB２画像信号をも選択しないことが好ましい。
　このように、第２タイミングT2～第NタイミングのB２画像信号の全てについて、ブレ指標値が基準ＳＴを満たさない場合には、演算画像信号生成部７６は、B１画像信号のみに基づいて演算画像信号ΔＢを生成することが好ましく、又は、演算画像信号ΔＢを生成しないことが好ましい。また、第２タイミングＴ２～第ＮタイミングのB２画像信号の全てについて、ブレ指標値が基準ＳＴを満たさない場合には、警告表示制御部７９により警告表示する制御を行うようにしてもよい。
　なお、第３実施形態では、低解像度化処理部７７において、画像選択部７２で選択されたB２画像信号に関連付けられたブレ指標値に応じて、ＬＰＦのカットオフ周波数を変更するようにしてもよい。例えば、ブレ指標値がブレ差分である場合には、ブレ差分が「０」に近いほど、ＬＰＦのカットオフ周波数を高周波数に設定して低解像度化処理の強度を小さくし、ブレ差分が「０」から離れているほど、ＬＰＦのカットオフ周波数を低周波数に設定して低解像度化処理の強度を大きくすると良い。
　また、位置合わせ処理部７３は、画像選択部７２で選択されたB２画像信号に関連付けられたブレ指標値に応じて、B１画像信号とB２画像信号との位置合わせ精度を変更しても良い。例えば、ブレ指標値がブレ差分である場合には、ブレ差分が「０」から離れている場合には、位置合わせ処理部７３は高精度にB１画像信号とB２画像信号の位置合わせを行うことが好ましい。これに対して、ブレ差分が「０」に近い場合には、低精度でB１画像信号とB２画像信号の位置合わせをすることが好ましい。
　［第４実施形態］
　第４実施形態では、画像選択部７２における画像選択方法が第１～第３実施形態と異なっている。それ以外については、第３実施形態とほぼ同様である。第３実施形態では、画像選択部７２において、第１タイミングＴ１のB２画像信号に関連付けられたブレ指標値と、画像信号記憶部７１に記憶中の第２タイミングＴ２のB２画像信号に関連付けられたブレ指標値とを比較し、ブレ指標値が小さい方のB２画像信号を選択する。または、画像選択部７２は、第１タイミングＴ１のB２画像信号、第２タイミングＴ２のB２画像信号、・・・、第ｎタイミングのB２画像信号、・・・、第ＮタイミングＴＮのB２画像信号の中から、ブレ指標値が最も小さいB２画像信号を選択する。
　なお、第１タイミングＴ１のB２画像信号～第ＮタイミングＴＮのB２画像信号の中で、ブレ指標値が最も小さいB２画像信号であっても、そのブレ指標値が予め設定した基準ＳＴ（第３実施形態の「ＳＴ」と同じであっても異なってもよい）を満たさない場合には、画像選択部７２は、いずれのタイミングのB２画像信号をも選択しないことが好ましい。この場合には、演算画像信号生成部７６は、B１画像信号のみに基づいて演算画像信号を生成することが好ましく、又は、演算画像信号を生成しないことが好ましい。また、警告表示制御部７９が、警告表示する制御を行うようにしてもよい。
　［第５実施形態］
　第５実施形態では、画像選択部７２が、画像ブレ量に基づいてB２画像信号を自動的に選択する自動選択モードに加えて、ユーザーがモニタ１８に表示された第１タイミングＴ１～第ＮタイミングＴＮのB２画像信号に基づく画像とその画像ブレ量を見て、B２画像信号を手動で選択する手動選択モードを備えており、いずれか設定された選択モードでB２画像信号の選択を行う。ここで、自動選択モードによる画像選択方法については、第１及び第２実施形態に示した画像選択方法と同様である。
　一方、第５実施形態では、図２１に示すように、第１及び第２実施形態で示した特殊画像処理部６７内に、画像ブレ量に関する情報を表示する制御を行う情報表示制御部３００が設けられている。手動選択モードに設定されている場合には、情報表示制御部３００では、画像信号記憶部７１に入力された第１タイミングＴ１～第ＮタイミングのB２画像信号と、これらに関連付けられた第１タイミングＴ１～第ＮタイミングのB２画像信号の画像ブレ量とに基づいて、各タイミングのB２画像信号に基づく画像（図２では「B２画像」と表示）と、そのタイミングにおける画像ブレ量とを合わせてモニタ１８に一覧表示する制御を行う。
　ユーザーは、図２２に示すように、モニタ１８に表示された各タイミングのB２画像信号に基づく画像と画像ブレ量を見て、特定深さ血管強調画像を生成するのに適した最適なB２画像信号を選択する。選択はコンソール１９により行うことが好ましい。選択されたB２画像信号は、第１及び第２実施形態と同様に、位置合わせ処理部７３に送信される。以上のようなユーザーによる画像選択については、ユーザーが画像ブレ量を元に画像選択を行う場合には、第１実施形態と第２実施形態で示した画像選択部７２による画像選択の考え方と同じようにして選択することになる。一方、B２画像信号に基づく画像を元に画像選択を行う場合には、ユーザーが持つ経験則に基づく主観的な画像選択が可能となる。
　なお、画像選択部７２で設定される手動選択モードにおいて、モニタ１８に表示する情報として、画像ブレ量に代えて、ブレ指標値を表示するようにしてもよい。この場合には、図２３に示すように、第３及び第４実施形態で示した特殊画像処理部６７内に、ブレ指標値を表示する制御を行う情報表示制御部３００が設けられている。
　そして、手動選択モードに設定されている場合には、情報表示制御部３００では、画像信号記憶部７１に入力された第１タイミングＴ１～第ＮタイミングのB２画像信号と、これらに関連付けられた第１タイミングＴ１～第Ｎタイミングのブレ指標値とに基づいて、各タイミングのB２画像信号に基づく画像と、そのタイミングにおけるブレ指標値とを合わせてモニタ１８に一覧表示する制御を行う。なお、ブレ指標値を含む一覧表示は、画像ブレ量を表示する一覧表示（図２２参照）と同様に表示される。また、ユーザーによる画像選択方法についても、画像ブレ量に基づく画像選択方法と同様にして行われる。
　なお、上記第１～第５実施形態では、波長帯域がそれぞれ異なる紫色光Vと青色光Bを順次照射しているが、波長帯域がそれぞれ同じ第１照明光と第２照明光を順次照射してもよい。この場合には、演算画像信号生成部７６において、第１照明光を照射した場合に得られる第１画像信号と、第２照明光を照射した場合に得られる第２画像信号のうち画像選択部７２で選択された第２画像信号とを加算平均処理する演算を行うことで、加算平均処理後の画像のノイズを低減することが可能となる。なお、加算平均処理を行う場合には、第１画像信号と第２画像信号は、それぞれ画像ブレ量が小さいものであることが好ましい。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｅ　アングルノブ
１３ａ　モード切り替えスイッチ
１３ｂ　ズーム操作部
１４　光源装置
１６　プロセッサ装置
１８　モニタ
１９　コンソール
２０　光源
２２　光源制御部
２３ａ　V-LED
２３ｂ　B-LED
２３ｃ　G-LED
２３ｄ　R-LED
３０ａ　照明光学系
３０ｂ　撮像光学系
４１　ライトガイド
４５　照明レンズ
４６　対物レンズ
４７　ズームレンズ
４８　撮像センサ
５１　CDS／AGC回路
５２　A／Dコンバータ
５３　画像信号取得部
５６　DSP
５８　ノイズ除去部
６１　画像処理切替部
６６　通常画像処理部
６７　特殊画像処理部
６８　映像信号生成部
７０　画像ブレ検出部
７１　画像信号記憶部
７２　画像選択部
７３　位置合わせ処理部
７４　明るさ補正処理部
７６　演算画像信号生成部
７７　低解像度化処理部
７８　画像生成部
７９　警告表示制御部
１１０　画像信号
２００　ブレ指標値算出部
３００　情報表示制御部
４００　カプセル内視鏡
４０２　光源
４０３　光源制御部
４０４　撮像センサ
４０６　信号処理部
４０８　送受信アンテナ
 
 

Claims (20)

  1. 　第１照明光と第２照明光とを順次発生する光源と、
    　第１タイミングＴ１において前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、前記第１タイミングＴ１よりも前の特定のタイミングにおいて前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、前記特定のタイミングのマルチフレーム画像信号を出力する撮像センサと、
    　前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号のうち前記第２照明光を照明した場合に得られる第２画像信号の中から、画像ブレ量が第１条件を満たす第２画像信号を選択する画像選択部と、
    　前記第１タイミングＴ１のマルチフレーム画像信号のうち前記第１照明光を照明した場合に得られる第１画像信号と、前記画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成する演算画像信号生成部と、
    を備える内視鏡システム。
  2. 　前記画像選択部は、前記第１条件を満たす第２画像信号として、前記画像ブレ量が予め定めた閾値を下回り、且つ前記第１タイミングＴ１に最も近いタイミングに撮像された第２画像信号を選択する請求項１記載の内視鏡システム。
  3. 　前記画像選択部は、前記第１条件を満たす第２画像信号として、前記画像ブレ量が最も小さい第２画像信号を選択する請求項１記載の内視鏡システム。
  4. 　前記画像選択部は、前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号に画像ブレ量が前記第１条件を満たす第２画像信号が含まれない場合には、第２画像信号を選択せず、
    　前記演算画像信号生成部は、前記第１画像信号のみに基づいて、前記演算画像信号を生成する請求項１ないし３いずれか１項記載の内視鏡システム。
  5. 　前記画像選択部は、前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号に画像ブレ量が前記第１条件を満たす第２画像信号が含まれない場合には、第２画像信号を選択せず、
    　前記演算画像信号生成部は、前記演算画像信号を生成しない請求項１ないし３いずれか１項記載の内視鏡システム。
  6. 　前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号に画像ブレ量が前記第１条件を満たす第２画像信号が含まれない場合に、警告表示する制御を行う警告表示制御部、
    を備える請求項１ないし５いずれか１項記載の内視鏡システム。
  7. 　前記第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号に基づく画像と、前記第１タイミングＴ１及び特定のタイミングの第２画像信号の画像ブレ量を表示部に表示する制御を行う情報表示制御部、
    を備え、
    　前記画像選択部は、
    前記第１条件を満たす第２画像信号を自動的に選択する自動選択モードと、前記表示部に表示された第２画像信号のうち、ユーザーが選択指示した第２画像信号を選択する手動選択モードとを有し、前記自動選択モードまたは前記手動選択モードのいずれかで画像選択を行う請求項１ないし６いずれか１項記載の内視鏡システム。
  8. 　第１照明光と第２照明光とを順次発生する光源と、
    　第１タイミングＴ１において前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、前記第１タイミングＴ１よりも前の特定のタイミングにおいて前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、前記特定のタイミングのマルチフレーム画像信号を出力する撮像センサと、
    　前記第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号のうち前記第１照明光を照明した場合に得られる第１画像信号の画像ブレ量及び前記第２照明光を照明した場合に得られる第２画像信号の画像ブレ量に基づいて、前記第１タイミングＴ１及び特定のタイミングのブレ指標値を算出するブレ指標値算出部と、
    　前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号のうち、前記ブレ指標値が第２条件を満たすタイミングの第２画像信号を選択する画像選択部と、
    　前記第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、前記画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成する演算画像信号生成部とを備える内視鏡システム。
  9. 　前記ブレ指標値が、前記第１画像信号の画像ブレ量と前記第２画像信号の画像ブレ量との差分を示すブレ差分である場合には、前記画像選択部は、前記第２条件を満たすタイミングの第２画像信号として、ブレ差分が第１特定範囲内にあるタイミングの第２画像信号を選択し、
    　前記ブレ指標値が、前記第１画像信号の画像ブレ量と前記第２画像信号の画像ブレ量との比を示すブレ比である場合には、前記画像選択部は、前記第２条件を満たすタイミングの第２画像信号として、ブレ比が第２特定範囲内にあるタイミングの第２画像信号を選択する請求項８記載の内視鏡システム。
  10. 　前記画像選択部は、いずれのタイミングのブレ指標値も前記第２条件を満たさない場合は、第２画像信号を選択せず、
    　前記演算画像信号生成部は、前記第１画像信号のみに基づいて、前記演算画像信号を生成する請求項８または９記載の内視鏡システム。
  11. 　前記画像選択部は、いずれのタイミングのブレ指標値も前記第２条件を満たさない場合は、第２画像信号を選択せず、
    　前記演算画像信号生成部は、前記演算画像信号を生成しない請求項８または９記載の内視鏡システム。
  12. 　いずれのタイミングのブレ指標値も前記第２条件を満たさない場合に、警告表示する制御を行う警告表示制御部を備える請求項８ないし１１いずれか１項記載の内視鏡システム。
  13. 　前記第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号に基づく画像と、前記第１タイミングＴ１及び特定のタイミングのブレ指標値を表示部に表示する制御を行う情報表示制御部を備え、
    　前記画像選択部は、前記第２条件を満たすマルチフレーム画像信号を自動的に選択する自動選択モードと、前記表示部に表示された第２画像信号のうち、ユーザーが選択指示した第２画像信号を選択する手動選択モードとを有し、前記自動選択モードまたは前記手動選択モードのいずれかで画像選択を行う請求項８ないし１２いずれか１項記載の内視鏡システム。
  14. 　前記画像ブレ量は、前記第１画像信号または第２画像信号内の血管構造または粘膜構造に基づいて算出される請求項１ないし１３いずれか１項記載の内視鏡システム。
  15. 　前記画像ブレ量は、前記第１画像信号または第２画像信号内の中央領域に基づいて算出される請求項１ないし１４いずれか１項記載の内視鏡システム。
  16. 　前記特定のタイミングには、第２タイミングＴ２～第ＮタイミングＴＮの複数のタイミングが含まれる請求項１ないし１５いずれか１項記載の内視鏡システム。
    　Ｎは３以上の整数を表す。
  17. 　前記第１照明光と前記第２照明光とはそれぞれ波長帯域が異なっている請求項１ないし１６いずれか１項記載の内視鏡システム。
  18. 　光源が、第１照明光と第２照明光とを順次発生するステップと、
    　撮像センサが、第１タイミングＴ１において前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、前記第１タイミングＴ１よりも前の特定のタイミングにおいて前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、前記特定のタイミングのマルチフレーム画像信号を出力するステップと、
    　画像選択部が、前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号の中から、画像ブレ量が第１条件を満たす第２画像信号を選択するステップと、
    　演算画像信号生成部が、前記第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、前記画像選択部で選択された第２画像信号とに基づく演算を行うことにより、演算画像信号を生成するステップと、
    を有する内視鏡システムの作動方法。
  19. 　光源が、第１照明光と第２照明光とを順次発生するステップと、
    　撮像センサが、第１タイミングＴ１において前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、第１タイミングＴ１のマルチフレーム画像信号を出力し、前記第１タイミングＴ１よりも前の特定のタイミングにおいて前記第１照明光と前記第２照明光が順次照明された観察対象を順次撮像することにより、前記特定のタイミングのマルチフレーム画像信号を出力するステップと、
    　ブレ指標値算出部が、前記第１タイミングＴ１及び特定のタイミングのマルチフレーム画像信号における第１画像信号の画像ブレ量及び第２画像信号の画像ブレ量に基づいて、前記第１タイミングＴ１及び特定のタイミングのブレ指標値を算出するステップと、
    　画像選択部が、前記第１タイミングＴ１及び前記特定のタイミングのマルチフレーム画像信号に含まれる第２画像信号のうち、前記ブレ指標値が第２条件を満たすタイミングの第２画像信号を選択するステップと、
    　演算画像信号生成部が、前記第１タイミングＴ１のマルチフレーム画像信号に含まれる第１画像信号と、前記画像選択部で選択されたマルチフレーム画像信号に含まれる第２画像信号とに基づく演算を行うことにより、演算画像信号を生成するステップと、
    を有する内視鏡システムの作動方法。
  20. 　前記第１照明光と前記第２照明光とはそれぞれ波長帯域が異なっている請求項１８または１９記載の内視鏡システムの作動方法。
     
PCT/JP2017/002677 2016-03-18 2017-01-26 内視鏡システム及びその作動方法 WO2017159059A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17766067.7A EP3430969B1 (en) 2016-03-18 2017-01-26 Endoscopic system and operation method thereof
US16/109,797 US11039732B2 (en) 2016-03-18 2018-08-23 Endoscopic system and method of operating same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-054631 2016-03-18
JP2016054631A JP6522539B2 (ja) 2016-03-18 2016-03-18 内視鏡システム及びその作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/109,797 Continuation US11039732B2 (en) 2016-03-18 2018-08-23 Endoscopic system and method of operating same

Publications (1)

Publication Number Publication Date
WO2017159059A1 true WO2017159059A1 (ja) 2017-09-21

Family

ID=59851625

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002677 WO2017159059A1 (ja) 2016-03-18 2017-01-26 内視鏡システム及びその作動方法

Country Status (4)

Country Link
US (1) US11039732B2 (ja)
EP (1) EP3430969B1 (ja)
JP (1) JP6522539B2 (ja)
WO (1) WO2017159059A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209102A1 (ja) * 2019-04-10 2020-10-15 富士フイルム株式会社 内視鏡システム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381806B (zh) * 2017-03-31 2021-12-10 Hoya株式会社 电子内窥镜系统
JP7059353B2 (ja) * 2018-03-05 2022-04-25 オリンパス株式会社 内視鏡システム
JP7055202B2 (ja) * 2018-06-27 2022-04-15 オリンパス株式会社 画像生成装置、画像表示装置、及び画像表示方法
US11722771B2 (en) * 2018-12-28 2023-08-08 Canon Kabushiki Kaisha Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus
CN113473899A (zh) * 2019-02-26 2021-10-01 奥林巴斯株式会社 内窥镜装置以及程序
JP7373335B2 (ja) * 2019-09-18 2023-11-02 富士フイルム株式会社 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム
KR20210087809A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
WO2021149357A1 (ja) * 2020-01-23 2021-07-29 富士フイルム株式会社 内視鏡システム及びその作動方法
EP4111936A4 (en) * 2020-02-28 2023-08-09 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF ENDOSCOPE SYSTEM OPERATION
DE102022114606A1 (de) * 2022-06-10 2023-12-21 Karl Storz Se & Co. Kg Medizinische Bildgebungsvorrichtung, Verfahren zum Betrieb einer solchen und Verfahren zur medizinischen Bildgebung
CN115731205B (zh) * 2022-11-28 2024-04-26 北京大学 内窥镜的图像处理装置、方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239757A (ja) * 2011-05-23 2012-12-10 Olympus Medical Systems Corp 医療機器及び医療用プロセッサ
JP2015047402A (ja) * 2013-09-03 2015-03-16 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2015146924A (ja) * 2014-02-06 2015-08-20 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS622788A (ja) * 1985-06-28 1987-01-08 Toshiba Corp 内視鏡装置
US4901143A (en) * 1988-02-16 1990-02-13 Olympus Optical Co., Ltd. Electronic endoscope system provided with a means of imaging frozen pictures having few picture image smears
US4933757A (en) * 1988-08-20 1990-06-12 Olympus Optical Co., Ltd. Electronic endoscope apparatus provided with a movement detecting means
US5032913A (en) * 1989-02-28 1991-07-16 Olympus Optical Co., Ltd. Electronic endoscope system equipped with color smear reducing means
JPH03147488A (ja) * 1989-11-01 1991-06-24 Olympus Optical Co Ltd 画像フリーズ用信号処理装置
JP4533119B2 (ja) * 2004-12-13 2010-09-01 キヤノン株式会社 撮像装置及び撮像装置の画像表示方法
JP4766334B2 (ja) * 2004-12-21 2011-09-07 ソニー株式会社 画像処理装置と画像処理方法および画像処理プログラム
JP2006345472A (ja) * 2005-05-13 2006-12-21 Sanyo Electric Co Ltd 画像信号処理装置、それを備えた撮像装置及び画像信号処理方法
WO2007032082A1 (ja) * 2005-09-16 2007-03-22 Fujitsu Limited 画像処理方法及び画像処理装置
JP2007195586A (ja) * 2006-01-23 2007-08-09 Olympus Medical Systems Corp カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム
JP4735978B2 (ja) * 2006-07-21 2011-07-27 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US7805020B2 (en) * 2006-07-25 2010-09-28 Itt Manufacturing Enterprises, Inc. Motion compensated image registration for overlaid/fused video
JP4762089B2 (ja) * 2006-08-31 2011-08-31 三洋電機株式会社 画像合成装置及び方法並びに撮像装置
JP4315971B2 (ja) * 2006-11-09 2009-08-19 三洋電機株式会社 撮像装置
US20080143840A1 (en) * 2006-12-19 2008-06-19 Texas Instruments Incorporated Image Stabilization System and Method for a Digital Camera
JP2008164758A (ja) * 2006-12-27 2008-07-17 Eastman Kodak Co 画像復元装置
EP1944732A3 (en) * 2007-01-12 2010-01-27 Sanyo Electric Co., Ltd. Apparatus and method for blur detection, and apparatus and method for blur correction
RU2510235C2 (ru) * 2008-03-18 2014-03-27 Новадак Текнолоджиз Инк. Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области
JP5199736B2 (ja) * 2008-06-06 2013-05-15 シャープ株式会社 画像撮像装置
JP5393525B2 (ja) * 2010-02-18 2014-01-22 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理装置の作動方法
JP5393554B2 (ja) 2010-03-23 2014-01-22 富士フイルム株式会社 電子内視鏡システム
EP2579570B1 (en) * 2010-06-07 2017-01-04 Olympus Corporation Signal processing device and still image generation method
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム
KR101125765B1 (ko) * 2011-01-24 2012-03-27 중앙대학교 산학협력단 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 깊이 정보를 기반으로 한 컬러 채널 정렬장치 및 방법
EP2664268B1 (en) * 2011-06-21 2016-04-27 Olympus Corporation Medical instrument
JP5909975B2 (ja) * 2011-10-06 2016-04-27 ソニー株式会社 撮像装置および電子機器
WO2014018836A1 (en) * 2012-07-26 2014-01-30 Leap Motion, Inc. Object detection and tracking
US9672608B2 (en) * 2013-08-22 2017-06-06 Olympus Corporation Image processing device, endoscope apparatus, image processing method, and program
JP6230333B2 (ja) * 2013-08-22 2017-11-15 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US10039439B2 (en) * 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
JP6660707B2 (ja) * 2015-10-23 2020-03-11 Hoya株式会社 内視鏡システム
JP6894894B2 (ja) * 2016-06-22 2021-06-30 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
US10805553B2 (en) * 2017-04-14 2020-10-13 Canon Kabushiki Kaisha Imaging apparatus and imaging method
JP6907324B2 (ja) * 2017-08-25 2021-07-21 富士フイルム株式会社 診断支援システム、内視鏡システム及び診断支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239757A (ja) * 2011-05-23 2012-12-10 Olympus Medical Systems Corp 医療機器及び医療用プロセッサ
JP2015047402A (ja) * 2013-09-03 2015-03-16 富士フイルム株式会社 内視鏡システム及びその作動方法
JP2015146924A (ja) * 2014-02-06 2015-08-20 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3430969A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020209102A1 (ja) * 2019-04-10 2020-10-15 富士フイルム株式会社 内視鏡システム
JPWO2020209102A1 (ja) * 2019-04-10 2020-10-15
JP7116251B2 (ja) 2019-04-10 2022-08-09 富士フイルム株式会社 内視鏡システム
US12102292B2 (en) 2019-04-10 2024-10-01 Fujifilm Corporation Endoscope system

Also Published As

Publication number Publication date
EP3430969B1 (en) 2020-05-13
EP3430969A4 (en) 2019-03-27
JP2017164393A (ja) 2017-09-21
EP3430969A1 (en) 2019-01-23
US11039732B2 (en) 2021-06-22
US20190008361A1 (en) 2019-01-10
JP6522539B2 (ja) 2019-05-29

Similar Documents

Publication Publication Date Title
WO2017159059A1 (ja) 内視鏡システム及びその作動方法
JP6234350B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US10709310B2 (en) Endoscope system, processor device, and method for operating endoscope system
US10039439B2 (en) Endoscope system and method for operating the same
JP6039606B2 (ja) 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
JP6525918B2 (ja) 内視鏡システム、画像処理装置、及び画像処理装置の作動方法
JP6196598B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6654038B2 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP2017023620A (ja) 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP6562554B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの信号処理方法
JP6576895B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
WO2017183324A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
EP3673787A1 (en) Light source device and endoscope system
JP2016192985A (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019093356A1 (ja) 内視鏡システム及びその作動方法
JP6153913B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6153912B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2018027232A (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6615950B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017766067

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017766067

Country of ref document: EP

Effective date: 20181018

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17766067

Country of ref document: EP

Kind code of ref document: A1