WO2018066347A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2018066347A1
WO2018066347A1 PCT/JP2017/033637 JP2017033637W WO2018066347A1 WO 2018066347 A1 WO2018066347 A1 WO 2018066347A1 JP 2017033637 W JP2017033637 W JP 2017033637W WO 2018066347 A1 WO2018066347 A1 WO 2018066347A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mode
light
color
brightness
Prior art date
Application number
PCT/JP2017/033637
Other languages
English (en)
French (fr)
Inventor
青山 達也
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP17858186.4A priority Critical patent/EP3520673A4/en
Priority to JP2018543821A priority patent/JP6690003B2/ja
Publication of WO2018066347A1 publication Critical patent/WO2018066347A1/ja
Priority to US16/367,251 priority patent/US20190222737A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/034Recognition of patterns in medical or anatomical images of medical instruments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present invention relates to an endoscope system that displays a normal image with natural colors and a special image with high visibility of a blood vessel structure, and an operation method thereof.
  • an endoscope system including a light source device, an endoscope, and a processor device.
  • the endoscope system irradiates illumination light emitted from a light source device to an observation target via the endoscope, and a processor device based on an image signal obtained by imaging the observation target under illumination with the illumination light. An image to be observed is generated. By displaying this image on the monitor, the doctor can make a diagnosis while viewing the image on the monitor.
  • An object of the present invention is to provide an endoscope system and an operation method thereof that can reduce visual discomfort such as flickering eyes even when a normal image and a special image are alternately displayed. To do.
  • the endoscope system observes when a light source that emits first mode illumination light and second mode illumination light and an observation target including the first structure are illuminated with the first mode illumination light.
  • Image acquisition for acquiring a first mode display image obtained by imaging a target and a second mode display image obtained by imaging the observation target when the observation target is illuminated with second mode illumination light
  • an image correcting unit that corrects the first mode display image or the second mode display image to obtain a corrected image, and has a first structure in the first mode display image or the second mode display image before correction.
  • An image correction unit that corrects the difference in color and / or brightness so as to reduce the difference.
  • the image correcting unit obtains the color and / or brightness of the first structure from the first mode display image, and the color of the first structure in the second mode display image before correction. And / or the color of the display image for the second mode and / or the difference between the brightness and the color and / or brightness of the first structure acquired by the brightness acquisition unit so that the difference is reduced. It is preferable to have a color and / or brightness adjustment unit that performs correction for adjusting brightness.
  • the image correction unit includes a color and / or brightness storage unit that previously stores the color and / or brightness of the first structure, and a color and / or brightness and color of the first structure in the display image for the second mode before correction. And / or correction for adjusting the color and / or brightness of the display image for the second mode so that the difference becomes smaller with respect to the difference between the color and / or brightness of the first structure stored in the brightness storage unit. It is preferable to have a color and / or brightness adjustment unit for performing the above.
  • the observation target includes the second structure
  • the image correction unit determines the difference in color and / or brightness between the first structure and the second structure in the first mode display image or the second mode display image before correction.
  • the image correction unit extracts the second structure from the second mode display image to generate a second mode extracted second structure display image, or removes the second structure from the second mode display image.
  • the second mode display image is generated with reference to the structure extraction unit that generates the first structure extracted second mode display image obtained by extracting the first structure and the first structure extracted second mode display image.
  • Correction for adjusting the color and / or brightness of the first structure in the display image is performed, or the second structure display image in the second mode display image is referenced with reference to the second mode display image that has already been extracted from the second structure. It is preferable to have a color and / or brightness adjustment unit that performs correction for adjusting the color and / or brightness.
  • the first structure is a mucosal structure and the second structure is a vascular structure.
  • an uncorrected image that has not been corrected by the image correction unit a display unit that displays the corrected image
  • a display control unit that controls the display unit Is preferred. It is preferable that the display control unit controls the display unit so that the uncorrected image and the corrected image are alternately displayed.
  • the display control unit preferably includes a display pattern setting unit that sets a display pattern including display times of the uncorrected image and the corrected image on the display unit. It is preferable to include a composite image generation unit that generates a composite image obtained by combining the uncorrected image and the corrected image, and the display unit displays the uncorrected image, the composite image, and the corrected image.
  • the first mode illumination light is light that emits light of one color or a plurality of colors under the light emission conditions for the first mode
  • the second mode illumination light is light emission of one or a plurality of colors that emits light for the first mode.
  • the light is preferably emitted under the second mode emission conditions different from the conditions.
  • the first mode display image is an image obtained by imaging an observation target that is illuminated with light of a plurality of colors simultaneously.
  • the display image for first mode is obtained by sequentially imaging the observation target that is sequentially illuminated with light of each color. It is preferable that the image is a printed image.
  • the second mode display image is an image obtained by imaging an observation target that is illuminated with light of a plurality of colors simultaneously.
  • the second mode display image is obtained by sequentially imaging the observation target that is sequentially illuminated with light of each color. It is preferable that the image is a printed image.
  • the endoscope system has a light source that emits first mode illumination light and second mode illumination light, and an observation target that includes a mucosal structure with the first mode illumination light.
  • An image acquisition unit that acquires a display image for a first mode obtained by imaging a second mode and a display image for a second mode obtained by imaging the observation target when the observation target is illuminated with illumination light for second mode
  • an image correcting unit that corrects the first mode display image or the second mode display image to obtain a corrected image, and has the first structure in the first mode display image or the second mode display image before correction.
  • An image correction unit that corrects a difference in color and / or brightness so as to reduce the difference, and a display control unit that controls the display unit.
  • the display control unit includes a color and / or brightness adjustment unit that performs correction for adjusting the color and / or brightness of the display image for the second mode so that the difference is reduced.
  • the second mode display image after the brightness adjustment by the brightness adjustment unit is controlled to be alternately displayed on the display unit.
  • the light source emits the first mode illumination light and the second mode illumination light
  • the image acquisition unit emits the first mode illumination light.
  • a first mode display image obtained by imaging the observation target including the first structure and a second mode display image obtained by imaging the observation target when the second mode illumination light is emitted.
  • the image correcting unit is an image correcting unit that corrects the first mode display image or the second mode display image to obtain a corrected image, and the first mode display image before the correction or the second mode display image. Correcting the difference in color and / or brightness of the first structure in the mode display image so as to reduce the difference.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18 (display unit), and a console 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 has an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the proximal end portion of the insertion portion 12a, a bending portion 12c and a distal end portion 12d provided at the distal end side of the insertion portion 12a. is doing.
  • the angle knob 13a of the operation portion 12b By operating the angle knob 13a of the operation portion 12b, the bending portion 12c is bent. By this bending operation, the distal end portion 12d is directed in a desired direction.
  • the operation unit 12b includes a still image acquisition unit 13b used for a still image acquisition operation, a mode switching unit 13c used for an observation mode switching operation, and a zoom operation unit used for a zoom magnification change operation. 13d is provided.
  • the still image acquisition unit 13b can perform a freeze operation for displaying the still image to be observed on the monitor 18 and a release operation for storing the still image in the storage.
  • the endoscope system 10 has a normal mode, a special mode, and a mixed mode that performs both the normal mode and the special mode as observation modes.
  • the observation mode is the normal mode
  • the light source device 14 emits the normal mode illumination light under the normal mode light emission conditions (corresponding to the “first mode light emission conditions” of the present invention) and for the normal mode.
  • a normal image is displayed on the monitor 18 based on an image signal obtained by imaging an observation target under illumination with illumination light.
  • the light source device 14 When the observation mode is the special mode, the light source device 14 emits the special mode illumination light different from the normal mode light emission conditions (corresponding to the “second mode light emission conditions” of the present invention). And a special image is displayed on the monitor 18 based on the image signal obtained by imaging the observation target under illumination with the special mode illumination light.
  • the observation mode is the mixed mode, the light source device 14 alternately emits the normal mode illumination light and the special mode illumination light, and displays the normal image and the special image on the monitor 18 alternately.
  • the processor device 16 is electrically connected to the monitor 18 and the console 19.
  • the monitor 18 outputs and displays an image to be observed, information attached to the image, and the like.
  • the console 19 functions as a user interface that receives input operations such as designation of a region of interest (ROI: Region Of Interest) and function setting.
  • ROI Region Of Interest
  • the hardware structure of each part in the processor device is the following various processors. For various processors, the circuit configuration is changed after the manufacture of CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), which are general-purpose processors that function as various processing units by executing software (programs).
  • PLD Programmable Logic Devices
  • ASIC Application Specific Integrated Circuit
  • the light source device 14 includes a light source 20 that emits illumination light used for illuminating the observation target, and a light source control unit 22 that controls the light source 20.
  • the light source 20 is a semiconductor light source such as a multi-color LED (Light-Emitting-Diode).
  • the light source control unit 22 controls the light emission amount of the illumination light by turning on / off the LED or the like and adjusting the drive current or drive voltage of the LED or the like.
  • the light source control unit 22 controls the wavelength band of the illumination light by changing the optical filter or the like.
  • the light source 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Light Emitting Diode) 20c, and an R-LED (Red Light). (Emitting) Diode) 20d LED and a wavelength cut filter 23. As shown in FIG. 3, the V-LED 20a emits violet light V having a wavelength band of 380 nm to 420 nm.
  • the B-LED 20b emits blue light B having a wavelength band of 420 nm to 500 nm.
  • the blue light B emitted from the B-LED 23 b at least a wavelength longer than the peak wavelength of 450 nm is cut by the wavelength cut filter 23.
  • the blue light Bx after passing through the wavelength cut filter 23 has a wavelength range of 420 to 460 nm.
  • the wavelength cut filter 23 may attenuate light in a wavelength region longer than 460 nm, instead of cutting light in a wavelength region longer than 460 nm.
  • the G-LED 20c emits green light G having a wavelength band ranging from 480 nm to 600 nm.
  • the R-LED 20d emits red light R with a wavelength band of 600 nm to 650 nm.
  • the light emitted from each of the LEDs 20a to 20d may have the same or different center wavelength and peak wavelength.
  • the light source control unit 22 adjusts the light emission timing, the light emission period, the light amount, and the spectral spectrum of the illumination light by independently controlling the lighting and extinction of the LEDs 20a to 20d and the light emission amount at the time of lighting. Control of turning on and off in the light source control unit 22 is different for each observation mode.
  • the light source controller 22 turns on all of the V-LED 20a, B-LED 20b, G-LED 20c, and R-LED 20d.
  • the light quantity ratio Lc between the violet light V, the blue light B, the green light G, and the red light R is any light emission of the violet light V, the green light G, and the red light R. It is set to be larger than the amount.
  • illumination light for normal mode including violet light V, blue light Bx, green light G, and red light R is emitted from the light source device 14.
  • the illumination light for normal mode is almost white because it has a certain intensity or more from the blue band to the red band.
  • the light emission condition for the normal mode corresponds to “simultaneously emitting purple light V, blue light Bx, green light G, and red light R with a light amount ratio Lc”.
  • the light source control unit 22 turns on all of the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d.
  • the light quantity ratio Ls between the violet light V, the blue light B, the green light G, and the red light R is any light emission of the blue light Bx, the green light G, and the red light R.
  • the green light G and the red light R are set to be smaller than the violet light V and the blue light Bx so as to be larger than the amount.
  • illumination light for special mode including violet light V, blue light Bx, green light G, and red light R is emitted from the light source device 14.
  • the special-mode light emission condition corresponds to “simultaneously emitting purple light V, blue light Bx, green light G, and red light R at a light quantity ratio Ls”.
  • the light source controller 22 turns on all the V-LEDs 20a, B-LEDs 20b, G-LEDs 20c, and R-LEDs 20d, and changes the light amount ratio from “Lc” to “Ls” in units of frames. Or “Ls” to “Lc”. That is, the light emitted from the light source device 14 is alternately switched between the normal mode illumination light and the special mode illumination light.
  • the illumination light emitted from the light source 20 enters the light guide 24 inserted into the insertion portion 12a through an optical path coupling portion (not shown) formed by a mirror, a lens, or the like.
  • the light guide 24 is built in the endoscope 12 and the universal cord, and propagates the illumination light to the distal end portion 12 d of the endoscope 12.
  • the universal cord is a cord that connects the endoscope 12 to the light source device 14 and the processor device 16.
  • a multimode fiber can be used as the light guide 24.
  • a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter including a protective layer serving as an outer cover of ⁇ 0.3 mm to ⁇ 0.5 mm can be used.
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 32. Through this illumination lens 32, the observation target is illuminated with illumination light propagated through the light guide 24.
  • the imaging optical system 30 b includes an objective lens 34, a zoom lens 36, and an imaging sensor 38. Various types of light such as reflected light, scattered light, and fluorescence from the observation target enter the image sensor 38 through the objective lens 34 and the zoom lens 36. As a result, an image to be observed is formed on the image sensor 38.
  • the zoom lens 36 freely moves between the tele end and the wide end by operating the zoom operation unit 13d, and enlarges or reduces the observation target imaged on the image sensor 38.
  • the image sensor 38 is a color image sensor that images an observation target irradiated with illumination light.
  • Each pixel of the image sensor 38 is provided with one of an R (red) color filter, a G (green) color filter, and a B (blue) color filter.
  • the image sensor 38 receives purple to blue light at the B pixel provided with the B color filter, receives green light at the G pixel provided with the G color filter, and is provided with the R color filter. Red light is received by the R pixel. Then, RGB color image signals are output from each color pixel.
  • the image sensor 38 transmits the output image signal to the CDS / AGC circuit 40.
  • the imaging sensor 38 In the normal mode, the imaging sensor 38 outputs a Bc image signal from the B pixel, outputs a Gc image signal from the G pixel, and outputs an Gc image signal from the R pixel by imaging the observation target illuminated with the normal mode illumination light. An Rc image signal is output.
  • the imaging sensor 38 captures the observation target illuminated with the special mode illumination light, thereby outputting a Bs image signal from the B pixel, and outputting a Gs image signal from the G pixel.
  • An Rs image signal is output from the pixel.
  • the imaging sensor 38 captures the observation target illuminated with the normal mode illumination light, and outputs a Bc image signal, a Gc image signal, and an Rc image signal.
  • the imaging sensor 38 outputs a Bs image signal, a Gs image signal, and an Rs image signal by imaging the observation target illuminated with the special mode illumination light. To do.
  • CMOS Complementary Metal-Oxide Semiconductor
  • RGB primary color filters instead of the image sensor 38 provided with RGB primary color filters, a complementary color image sensor having complementary filters of C (cyan), M (magenta), Y (yellow), and G (green) may be used. good.
  • CMYG four-color image signals are output. Therefore, by converting the CMYG four-color image signals into the RGB three-color image signals by complementary color-primary color conversion, RGB image signals similar to those of the image sensor 38 can be obtained.
  • a monochrome sensor without a color filter may be used.
  • the CDS / AGC circuit 40 performs correlated double sampling (CDS: Correlated Double Sampling) and automatic gain control (AGC: Automatic Gain Control) on the analog image signal received from the image sensor 38.
  • the A / D (Analog-to-Digital) conversion circuit 42 converts the analog image signal that has passed through the CDS / AGC circuit 40 into a digital image signal.
  • the A / D conversion circuit 42 inputs the digital image signal after A / D conversion to the processor device 16.
  • the processor device 16 includes an image signal acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, an image processing unit 58, and a display control unit 60.
  • DSP Digital Signal Processor
  • the image signal acquisition unit 50 acquires a digital image signal corresponding to the observation mode from the endoscope 12.
  • a Bc image signal, a Gc image signal, and an Rc image signal are acquired as a normal image (corresponding to the “first mode display image” of the present invention).
  • a Bs image signal, a Gs image signal, and an Rs image signal are acquired as a special image (corresponding to the “second mode display image” of the present invention).
  • Bc image signals, Gc image signals, and Rc image signals are acquired as normal images
  • Bs image signals, Gs image signals, and Rs image signals are acquired as special images.
  • the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, and demosaic processing on the image signal acquired by the image signal acquisition unit 50.
  • defect correction process the signal of the defective pixel of the image sensor 38 is corrected.
  • offset process the dark current component is removed from the image signal subjected to the defect correction process, and an accurate zero level is set.
  • gain correction process adjusts the signal level by multiplying the image signal subjected to the offset process by a specific gain.
  • Linear matrix processing enhances the color reproducibility of gain-corrected image signals.
  • the gamma conversion process adjusts the brightness and saturation of the image signal subjected to the linear matrix process.
  • demosaic processing also referred to as isotropic processing or synchronization processing
  • the noise reduction unit 54 performs noise reduction processing by, for example, a moving average method or a median filter method on the image signal subjected to demosaic processing or the like by the DSP 52 to reduce noise.
  • the image processing unit 58 includes a normal image generation unit 62, a special image processing unit 64, and an image correction unit 66.
  • the normal image processing unit 62 operates when the normal mode or the mixed mode is set, and performs color conversion processing, color enhancement processing, and structure enhancement processing on the received normal image.
  • color conversion processing color conversion processing is performed on the RGB image signal by 3 ⁇ 3 matrix processing, gradation conversion processing, three-dimensional LUT (Look Up Table) processing, and the like.
  • the color enhancement process is performed on the image signal that has been subjected to the color conversion process.
  • the structure enhancement process is a process for enhancing the structure of the observation target, and is performed on the image signal after the color enhancement process.
  • a normal image that has undergone various types of image processing up to structure enhancement processing is obtained based on normal mode illumination light in which purple light V, blue light Bx, green light G, and red light R are emitted in a well-balanced manner. Therefore, the image has a natural color.
  • the normal image is input to the display control unit 60 as it is when the normal mode is set, and is input to the display control unit 60 and the image correction unit 66 when the mixed mode is set.
  • Special image processing unit 64 operates when the special mode or the mixed mode is set.
  • the special image processing unit 64 performs color conversion processing, color enhancement processing, and structure enhancement processing on the received special image.
  • the contents of the color conversion process, the color enhancement process, and the structure enhancement process are the same as those of the normal image processing unit 62.
  • the special image is obtained based on the special mode illumination light in which the violet light V, which has a high absorption coefficient of hemoglobin in the blood vessel, has a larger light emission amount than the blue light Bx, green light G, and red light R of other colors. Since this is an image, the resolution of the blood vessel structure is higher than that of other structures.
  • the special image is directly input to the display control unit 60 when the special mode is set, and the special image is input to the image correction unit 66 when the mixed mode is set.
  • the image correction unit 66 operates when the mixed mode is set, and corrects the special image.
  • the image correction unit 66 reduces the difference between the color and / or brightness of the blood vessel structure or mucous membrane structure in the special image before correction and the color and / or brightness of the mucosal structure in the normal image. Correct special images. Details of the image correction unit 66 will be described later.
  • the corrected special image obtained by correcting the special image by the image correcting unit 66 is transmitted to the display control unit 60. Note that the image correction unit 66 may perform correction so as to reduce the difference in both color and brightness, or may correct the difference in either one of color or brightness. Good.
  • the display control unit 60 performs display control for displaying an image on the monitor 18 from the image processing unit 58.
  • the display control unit 60 performs control to display a normal image on the monitor 18.
  • the special mode the display control unit 60 performs control to display the special image on the monitor 18.
  • the mixed mode the normal image and the corrected special image are displayed according to the set display pattern. Details of display control in this mixed mode will be described later.
  • the image correction unit 66 includes a structure extraction unit 70, a color and / or brightness acquisition unit 72, and a color and / or brightness adjustment unit 74.
  • the structure extraction unit 70 extracts a blood vessel structure from the special image to generate a special image from which the blood vessel has been extracted.
  • a method for extracting the blood vessel structure for example, a method of binarizing the blood vessel and other parts using a predetermined threshold, and taking a ratio or difference between the Bs image signal and the Gs image signal of the special image are taken. A method for extracting blood vessels can be considered.
  • the structure extraction unit 70 extracts a blood vessel structure from the normal image, thereby generating a normal image from which blood vessels have been extracted.
  • the structure on the normal image at the same position as the blood vessel structure extracted from the special image may be extracted as the blood vessel structure.
  • all structures at the same position as the blood vessel structure in the special image are regarded as blood vessel structures, structures that cannot be seen in the normal image may be extracted as blood vessel structures.
  • the structure extraction unit 70 generates a special image from which the blood vessel has been removed by removing the blood vessel structure from the special image by performing a difference process between the special image and the special image from which the blood vessel has been extracted.
  • the special image from which blood vessels have been removed is an image from which mucous membranes have been extracted from which the blood vessel structure has been removed and only the mucosal structures have been extracted.
  • the difference between the special image and the blood vessel extracted special image is used to generate the mucous membrane extracted special image because the mucosal structure does not have much difference in pixel values from other parts, This is because it is difficult to extract only the mucosal structure.
  • the structure extraction unit 70 performs a difference process between the normal image and the blood vessel extracted normal image, thereby removing the blood vessel structure from the normal image (the normal image after mucous membrane extraction). Image).
  • the color and / or brightness acquisition unit 72 acquires the color and / or brightness of the blood vessel structure from the normal image that has been subjected to blood vessel extraction.
  • the color and / or brightness acquisition unit 72 acquires the color and / or brightness of the mucosa structure from the normal image that has been extracted from the mucous membrane. It is preferable to average the color of the acquired blood vessel structure or mucous membrane structure, and it is also preferable to average the brightness of the acquired blood vessel structure or mucosal structure.
  • a method of acquiring the color or brightness for example, a method of performing a process of separating the color and brightness on a normal image that has been subjected to blood vessel extraction can be considered.
  • the luminance signal Y corresponds to the brightness of the blood vessel structure
  • the color difference signals Cr and Cb correspond to the color of the blood vessel structure.
  • the color and / or brightness acquisition unit 72 preferably acquires at least one of the color and brightness of the blood vessel structure.
  • the color and / or brightness adjustment unit 74 refers to the position of the blood vessel structure in the blood vessel extracted special image, and the color and / or brightness and color and / or brightness acquisition unit of the blood vessel structure in the special image before correction. Correction for adjusting the color and / or brightness of the special image is performed so that the difference from the average value of the color and / or brightness of the blood vessel structure acquired in 72 is reduced.
  • the color and / or brightness adjustment unit 74 refers to the position of the mucosal structure in the special image that has been extracted from the mucous membrane, and the color and / or brightness of the mucosal structure in the special image before correction and the color and / or brightness.
  • Correction for adjusting the color and / or brightness of the special image is performed so that the difference from the average value of the color and / or brightness of the mucosa structure acquired by the height acquisition unit 72 is reduced.
  • a corrected special image in which the color and / or brightness of the blood vessel structure or mucosal structure is close to the color and / or brightness of the normal image is obtained.
  • the difference in color and / or brightness is reduced means that the color and / or brightness of the blood vessel structure or mucous membrane structure in the special image is the blood vessel structure acquired by the color and / or brightness acquisition unit 72 or In addition to the case where it matches the average value of the color and / or brightness of the mucosa structure, the color and / or brightness of the blood vessel structure or mucous membrane structure in the special image is acquired by the color and / or brightness acquisition unit 72. Or it means being within a certain range including the average value of the color and / or brightness of the mucous membrane structure.
  • the display control unit 60 displays a normal image Pc (corresponding to “uncorrected image” of the present invention) and a corrected special image Ps (corresponding to “corrected image” of the present invention) on the monitor 18. Control to issue a display instruction to the monitor 18 is performed so that the images are alternately displayed. Since the normal image Pc and the corrected special image Ps are alternately displayed on the monitor 18, it is possible to observe both the normal image Pc and the corrected special image Ps without operating the mode switching unit 13c. In the corrected special image Ps, the blood vessel structure Vs that cannot be observed in the normal image Pc can also be observed, and such a blood vessel structure Vs contributes to an effective diagnosis.
  • a normal image Pc corresponding to “uncorrected image” of the present invention
  • a corrected special image Ps corresponding to “corrected image” of the present invention
  • the display control unit 60 has a display pattern setting unit 76 for setting display patterns of a normal image and a corrected special image displayed on the monitor 18.
  • the display pattern is set by operating the display pattern setting unit 76 using an input device such as the console 19.
  • the display pattern setting unit 76 sets a normal image display time Tc and a corrected special image display time Tc as display patterns.
  • the display control unit 60 issues a display instruction to the monitor 18 so that the normal image and the corrected special image are displayed according to the display time set by the display pattern setting unit 76.
  • the display time Tc of the normal image is set longer than the display time Tc of the corrected special image, as shown in FIG.
  • This display pattern is suitable for the case of observing the entire observation target and not overlooking the lesioned part as in screening.
  • the display time Tc of the corrected special image is set longer than the display time Tc of the normal image, as shown in FIG. 9, after the corrected special image for several frames is displayed, This is a display pattern in which a normal image for one frame is displayed. This display pattern is suitable for observing the properties of the lesion in detail, such as during detailed observation.
  • the mode switching unit 13c is operated to switch to the mixed mode.
  • the illumination light for normal mode and the illumination light for special mode are emitted alternately. That is, purple light V, blue light Bx, green light G, and red light R are simultaneously emitted as the normal mode illumination light at a light quantity ratio Lc, and thereafter, purple light V and blue light Bx are used as the special mode illumination light.
  • Green light G and red light R are simultaneously emitted at a light quantity ratio Ls.
  • the imaging sensor 38 captures an observation target illuminated with the purple light V, the blue light Bx, the green light G, and the red light R with the light quantity ratio Lc, thereby including a Bc image signal, a Gc image signal, and an Rc image signal. A normal image is obtained.
  • the imaging sensor 38 captures an observation target illuminated with purple light V, blue light Bx, green light G, and red light R with a light quantity ratio Ls, thereby comprising a Bc image signal, a Gc image signal, and an Rc image signal.
  • a special image is obtained.
  • the normal image and the special image are input to the image correction unit 66.
  • the structure extraction unit 70 extracts a blood vessel structure from the special image to generate a blood vessel extracted special image, and generates a mucous membrane extracted special image by removing the blood vessel structure from the special image and extracting the mucosal structure.
  • the blood vessel structure is extracted from the normal image to generate a normal image with the blood vessel extracted, and the normal image with the mucosa extracted is generated by removing the blood vessel structure from the normal image and extracting the mucosal structure.
  • the color and / or brightness acquisition unit 72 acquires the average value of the color and / or brightness of the blood vessel structure from the blood vessel extracted normal image, and the mucosal structure color and / or brightness from the normal image of the mucosa extracted. Get the average value of brightness.
  • the color and / or brightness adjustment unit 74 refers to the position of the blood vessel structure in the blood vessel extracted special image, and the color and / or brightness and color and / or brightness of the blood vessel structure of the special image before correction. Correction for adjusting the color and / or brightness of the special image is performed so that the difference between the color and / or brightness of the blood vessel structure acquired by the acquisition unit 72 is reduced.
  • the color and / or brightness of the mucosa structure of the special image before correction and the color of the mucosa structure acquired by the color and / or brightness acquisition unit 72 Correction for adjusting the color and / or brightness of the special image is performed so that the difference between the brightness and / or brightness is reduced.
  • a corrected special image is obtained by performing correction for adjusting the color and / or brightness of the blood vessel structure or mucosal structure.
  • the display control unit 60 performs control so that the normal image and the corrected special image are alternately displayed on the monitor 18 according to a specific display pattern.
  • the display pattern setting unit 76 adjusts the display time Tc of the normal image and the display time Ts of the corrected special image as the specific display pattern.
  • the color and / or brightness of the blood vessel structure or mucous membrane structure is acquired from the normal image, and the special image is corrected so as to be the color and / or brightness of the acquired blood vessel structure or mucosal structure.
  • the color and / or brightness of the average blood vessel structure or mucous membrane structure is stored in advance, and the previously stored color or brightness of the blood vessel structure or mucosal structure is obtained.
  • the special image may be corrected.
  • a color and / or brightness storage unit 80 is provided instead of the color and / or brightness acquisition unit 72.
  • an average value of the color and / or brightness of the blood vessel structure or mucosal structure is stored.
  • the average value of the color and / or brightness of the blood vessel structure or mucous membrane structure stored in the color and / or brightness storage unit 80 is, for example, imaging a predetermined site (esophagus, stomach, large intestine) in advance in the normal mode. It is preferable to calculate from the normal image obtained in this way.
  • an average value of the color and / or brightness of the blood vessel structure or mucous membrane structure is stored for each part such as the stomach and large intestine, and the blood vessel used in the color and / or brightness adjustment unit 74 depending on the part to be observed.
  • the average value of the color and / or brightness of the structure or mucosal structure may be switched.
  • the normal image and the corrected special image are alternately displayed.
  • the normal image and the corrected special image are synthesized between the normal image and the corrected special image.
  • the synthesized image may be displayed.
  • the image processing unit 58 is provided with a composite image generation unit 84 for combining the normal image and the corrected special image.
  • the composite image generation unit 84 generates a composite image by adding a specific weight to the normal image and the corrected special image.
  • the synthesized image is an image whose color and / or brightness is close to that of either a normal image or a corrected special image by setting a specific weighting coefficient to an approximately intermediate value.
  • the generated composite image is displayed between a normal image and a corrected special image as shown in FIG.
  • the change in color and / or brightness is compared with the case where the normal image and the corrected special image are alternately displayed. Since it becomes gentle, visual discomfort such as flickering eyes can be further reduced.
  • the image correction unit 66 corrects the special image, but conversely, the normal image may be corrected.
  • the difference between the color and / or brightness of the blood vessel structure or mucous membrane structure in the normal image before correction and the color and / or brightness of the blood vessel structure or mucosal structure in the special image is reduced.
  • correction for adjusting the color and / or brightness of the normal image may be performed.
  • correction for adjusting the color and / or brightness is performed for both the blood vessel structure and the mucosal structure.
  • the brightness may be adjusted.
  • at least one of color and brightness may be adjusted.
  • the light emission condition for special mode corresponds to “light emission of purple light V and blue light Bx alternately”.
  • the normal mode illumination light light of a plurality of colors is simultaneously emitted, while for the special mode illumination light, light of a plurality of colors is emitted, such as alternating emission of violet light V and blue light Bx.
  • the normal mode illumination light may be sequentially emitted with a plurality of colors, and the special mode illumination light may be emitted with a plurality of colors at the same time.
  • the image signal output from the image sensor 38 is different from that in the first embodiment.
  • purple light V and blue light Bx are alternately emitted as illumination light for the special mode
  • the observation target is imaged by the imaging sensor 38, and a B1 image signal is output from the B pixel.
  • the G1 image signal is output from the G pixel
  • the R1 image signal is output from the R pixel.
  • the blue light Bx is emitted
  • the observation target is imaged by the imaging sensor 38
  • the B2 image signal is output from the B pixel
  • the G2 image signal is output from the G pixel
  • the R2 image signal is output from the R pixel.
  • the image signal acquired by the image signal acquisition unit 50 is different from that of the first embodiment, and the special image processing is performed.
  • the processing content in the unit 64 is different from that in the first embodiment.
  • B1 image signals and B2 image signals are acquired as special images, and other image signals (G1 image signal, R1 image signal, G2 image signal, R2 image signal) are obtained. It is deleted.
  • the special image processing unit 64 generates a special image based on the B1 image signal and the B2 image signal. For example, when the special image is composed of the luminance signal Y and the color difference signals Cr and Cb, it is preferable to assign the B1 image signal or the B2 image signal to the luminance signal Y. For the color difference signals Cr and Cb, it is preferable to assign an image obtained by multiplying a ratio or difference between the B1 image signal and the B2 image signal by a predetermined coefficient. In the second embodiment, the special image processing unit 64 preferably performs color conversion processing, color enhancement processing, and structure enhancement processing on the special image.
  • the observation target is illuminated using a laser light source and a phosphor instead of the four-color LEDs 20a to 20d shown in the first embodiment.
  • the rest is the same as in the first embodiment.
  • a blue laser that emits blue laser light having a central wavelength of 445 ⁇ 10 nm, instead of the four color LEDs 20a to 20d, in the light source 20 of the light source device 14.
  • a light source (denoted as “445LD”; LD represents “Laser Diode”) 104 and a blue-violet laser light source (denoted as “405LD”) 106 that emits a blue-violet laser beam having a center wavelength of 405 ⁇ 10 nm are provided. .
  • Light emission from the semiconductor light emitting elements of these light sources 104 and 106 is individually controlled by the light source control unit 108, and the light quantity ratio between the emitted light of the blue laser light source 104 and the emitted light of the blue-violet laser light source 106 is freely changeable. It has become.
  • the light source control unit 108 turns on the blue laser light source 104 in the normal mode.
  • both the blue laser light source 104 and the blue-violet laser light source 106 are turned on, and the emission ratio of the blue laser light is controlled to be larger than the emission ratio of the blue-violet laser light. is doing.
  • control is performed so that the blue laser light source 104 and the blue-violet laser light source 106 are alternately lit. The laser light emitted from each of the light sources 104 and 106 enters the light guide 24.
  • the half-value width of the blue laser beam or the blue-violet laser beam is preferably about ⁇ 10 nm.
  • a broad area type InGaN laser diode can be used, and an InGaNAs laser diode or a GaNAs laser diode can also be used.
  • a light-emitting body such as a light-emitting diode may be used as the light source.
  • the illumination optical system 30a is provided with a phosphor 110 on which blue laser light or blue-violet laser light from the light guide 24 is incident.
  • the phosphor 110 is excited by blue laser light and emits fluorescence.
  • part of the blue laser light is transmitted without exciting the phosphor 110.
  • the blue-violet laser light is transmitted without exciting the phosphor 110.
  • the light emitted from the phosphor 110 illuminates the inside of the observation target through the illumination lens 32.
  • the blue laser light is incident on the phosphor 110. Therefore, as shown in FIG. 16, the blue laser light and the normal excitation light emitted from the phosphor 110 by the blue laser light are combined.
  • the observation target is illuminated with white light for mode (corresponding to “normal mode illumination light” of the present invention).
  • the special mode since both the blue-violet laser beam and the blue laser beam are incident on the phosphor 110, the phosphor 110 is excited by the blue-violet laser beam, the blue laser beam, and the blue laser beam as shown in FIG.
  • the observation object is illuminated with white light for special mode (corresponding to “illumination light for special mode” of the present invention) in which emitted fluorescence is combined.
  • the white light for the normal mode and the white light for the special mode are alternately illuminated on the observation target.
  • the light emission condition for the normal mode corresponds to “emitting white light for normal mode”
  • the light emission condition for the special mode is “light emitting white light for the special mode”. It corresponds to.
  • the phosphor 110 absorbs a part of the blue laser light and emits a plurality of types of phosphors that excite and emit green to yellow (for example, a phosphor such as YAG phosphor or BAM (BaMgAl 10 O 17 )). It is preferable to use what is comprised including. If a semiconductor light emitting element is used as an excitation light source for the phosphor 110 as in this configuration example, high intensity white light can be obtained with high luminous efficiency, and the intensity of white light can be easily adjusted, and the color of white light can be easily adjusted. Changes in temperature and chromaticity can be kept small.
  • the observation target is illuminated using a broadband light source such as a xenon lamp and a rotation filter instead of the four-color LEDs 20a to 20d.
  • a broadband light source such as a xenon lamp and a rotation filter
  • the observation target may be imaged by a monochrome imaging sensor. The rest is the same as in the first embodiment.
  • a broadband light source 202 In the endoscope system 200 shown in FIG. 18, in the light source device 14, a broadband light source 202, a rotary filter 204, and a filter switching unit 206 are provided instead of the LEDs 20 a to 20 d of the endoscope system 10. .
  • the imaging optical system 30b is provided with a monochrome imaging sensor 208 without a color filter, instead of the color imaging sensor 38.
  • the broadband light source 202 is a xenon lamp, a white LED, or the like, and emits broadband light having a wavelength range from blue to red.
  • the rotary filter 204 includes a normal mode filter 210 provided on the inner side closest to the rotation axis, a special mode filter 212 provided on the outer side of the normal mode filter 210, and a further outer side of the special mode filter 212. Is provided with a mixed mode filter 214 (see FIG. 19).
  • the filter switching unit 206 moves the rotary filter 204 in the radial direction. Specifically, the filter switching unit 206 inserts the normal mode filter 210 into the optical path of the broadband light when the mode switching unit 13c sets the normal mode. When the special mode is set, the filter switching unit 206 inserts the special mode filter 212 into the optical path of the broadband light. The filter switching unit 206 inserts the mixed mode filter 214 into the optical path of the broadband light when the mixed mode is set.
  • the normal mode filter 210 is provided with a Bb filter 210a, a G filter 210b, and an R filter 210c along the circumferential direction.
  • the Bb filter 210a transmits broadband blue light Bb having a wavelength range of 400 to 500 nm out of broadband light.
  • the G filter 210b transmits green light G in the broadband light.
  • the R filter 210c transmits the red light R out of the broadband light. Therefore, in the normal mode, as shown in FIG. 20, the rotation filter 204 rotates, so that the blue light Bb, the green light G, and the red light R as the normal mode illumination light are directed toward the observation target as the normal mode illumination light. Irradiated sequentially.
  • the light emission condition for the normal mode corresponds to “sequential emission of broadband blue light Bb, green light G, and red light R”.
  • the special mode filter 212 is provided with a Bn filter 212a and a Gn filter 212b along the circumferential direction.
  • the Bn filter 212a transmits blue narrow band light Bn of 400 to 450 nm out of the broadband light.
  • the Gn filter 212b transmits the green narrowband light Gn of 530 to 570 nm among the broadband light. Therefore, in the special mode, when the rotary filter 204 rotates, blue narrow-band light and green narrow-band light are sequentially emitted toward the observation target as special mode illumination light.
  • the special mode emission condition corresponds to “sequential emission of blue narrow-band light and green narrow-band light”.
  • the mixed mode filter 214 is provided with a Bb filter 214a, a G filter 214b, an R filter 214c, a Bn filter 214d, and a Gn filter 214e along the circumferential direction.
  • These Bb filter 214a, G filter 214b, R filter 214c, Bn filter 214d, and Gn filter 214e have the same transmittance as the Bb filter 210a, G filter 210b, R filter 210c, Bn filter 212a, and Gn filter 212b, respectively.
  • the rotation filter 204 rotates, so that broadband blue light Bb, green light G, and red light R are sequentially irradiated toward the observation target as normal mode illumination light, and for the special mode.
  • illumination light blue narrow-band light Bn and green narrow-band light Gn are sequentially irradiated toward the observation target.
  • the observation target is imaged by the monochrome imaging sensor 208 every time the observation target is illuminated with broadband blue light Bb, green light G, and red light R.
  • a Bc image signal is obtained when the broadband blue light Bb is illuminated
  • a Gc image signal is obtained when the green light G is illuminated
  • an Rc image signal is obtained when the red light R is illuminated.
  • the observation target is imaged by the monochrome imaging sensor 208 every time the observation target is illuminated with the blue narrow band light Bn and the green narrow band light Gn.
  • a Bn image signal is obtained when the blue narrow-band light Bn is illuminated
  • a Gn image signal is obtained when the green narrow-band light Gn is irradiated.
  • the observation target is imaged by the monochrome imaging sensor 208 every time the observation target is illuminated with the broadband blue light Bb, green light G, red light R, blue narrow band light Bn, and green narrow band light Gn.
  • a Bc image signal, a Gc image signal, an Rc image signal, a Bn image signal, and a Gn image signal are obtained.
  • An image composed of the Bc image signal, the Gc image signal, and the Rc image signal corresponds to a normal image
  • an image composed of the Bn image signal and the Gn image signal corresponds to a special image.
  • the endoscope 12 provided with the imaging sensor 38 is inserted into the subject for observation, but instead, in the fifth embodiment, the patient has a mouth. The inside of the subject is observed with a capsule endoscope that is swallowed.
  • the capsule endoscope system includes, for example, at least a capsule endoscope 300 shown in FIG. 21 and a processor device (not shown).
  • the capsule endoscope 300 includes a light source 302, a light source control unit 303, an image sensor 304, an image signal processing unit 306, and a transmission / reception antenna 308.
  • the light source 302 is configured similarly to the light source 20 of the endoscope system 10.
  • the light source control unit 303 controls driving of the light source 302. In the fifth embodiment, since the mixed mode is always set, the light source control unit 303 controls the light source 302 so that the normal mode illumination light and the special mode illumination light are alternately emitted.
  • the imaging sensor 304 is configured by a color imaging sensor, similar to the imaging sensor 38 of the endoscope system 10.
  • the image signal processing unit 305 performs the same processing as the CDS / AGC circuit 40 and the A / D conversion circuit 42 on the image signal output from the imaging sensor 304.
  • the image signal that has passed through the image signal processing unit 306 is wirelessly transmitted to the processor device (not shown) of the capsule endoscope system via the transmission / reception antenna 308.
  • the processor device of the capsule endoscope system is configured similarly to the processor device 16 of the endoscope system 10 and also functions as the image processing unit 58. In this processor device, processing similar to that of the first embodiment is performed based on the received image signal.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

通常画像と特殊画像を交互に表示する場合であっても、視覚的な違和感を軽減することができる内視鏡システム及びその作動方法を提供する。第1構造を含む観察対象を第1モード用照明光で照明した場合に、前記観察対象を撮像して得られる第1モード用表示画像を取得する。第2モード用照明光で観察対象を照明した場合に、観察対象を撮像して得られる第2モード用表示画像を取得する。補正前の第1モード用表示画像又は第2モード用表示画像における第1構造の色及び/又は明るさの違いに対して、その違いが小さくなるように、第1モード用表示画像又は第2モード用表示画像を補正して補正画像を得る。

Description

内視鏡システム及びその作動方法
 本発明は、自然な色合いの通常画像と、血管構造の視認性が高い特殊画像とを表示する内視鏡システム及びその作動方法に関する。
 医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムを用いた診断が広く行われている。内視鏡システムは、光源装置が発する照明光を、内視鏡を介して観察対象に照射し、その照明光で照明中の観察対象を撮像して得た画像信号に基づいて、プロセッサ装置が観察対象の画像を生成する。この画像をモニタに表示することにより、医師は、モニタ上の画像を見ながら診断を行うことができる。
 近年では、照明光として、波長帯域が青色帯域から赤色帯域にまで及ぶ白色光などの広帯域光を用いることによって、観察対象を自然な色合いで表示する通常画像の他、照明光として、特定波長の光を用い、また、特定色の光の強度を他の色の光の強度よりも大きくした複数色の光を用いることによって、血管構造など特定の構造の視認性を向上させた特殊画像も、観察対象の観察に用いられつつある。これら通常画像と特殊画像は、診断目的に応じて使い分ける必要があることから、通常画像を表示する通常モードと、特殊モードを表示する特殊モードを適宜切り替えることができるように、内視鏡の操作部には、スイッチ式のモード切替部が設けられている(特許文献1参照)。
特開2008-43604号公報
 特許文献1のように、通常画像と特殊画像の表示切替をモード切替部で行う場合には、ユーザーによるモード切替部の操作が必要となるため、ユーザーに負担をかけることになる。そこで、1つのモードにおいて、通常画像と特殊画像の両方を観察できるように、モニタにおいて通常画像と特殊画像を交互に表示することが考えられる。ただし、このように通常画像と特殊画像を交互に表示した場合、通常画像と特殊画像は色や明るさが異なっているため、通常画像から特殊画像に切り替わったときに、目がちらつくなどの視覚的な違和感を与えることがあった。
 本発明は、通常画像と特殊画像を交互に表示する場合であっても、目がちらつくなどの視覚的な違和感を軽減することができる内視鏡システム及びその作動方法を提供することを目的とする。
 本発明の内視鏡システムは、第1モード用照明光と第2モード用照明光とを発光する光源と、第1構造を含む観察対象を第1モード用照明光で照明した場合に、観察対象を撮像して得られる第1モード用表示画像と、第2モード用照明光で観察対象を照明した場合に、観察対象を撮像して得られる第2モード用表示画像とを取得する画像取得部と、第1モード用表示画像又は第2モード用表示画像を補正して補正画像を得る画像補正部であり、補正前の第1モード用表示画像又は第2モード用表示画像における第1構造の色及び/又は明るさの違いに対して、違いが小さくなるように補正する画像補正部と、を備える。
 画像補正部は、第1モード用表示画像から第1構造の色及び/又は明るさを取得する色及び/又は明るさ取得部と、補正前の第2モード用表示画像における第1構造の色及び/又は明るさと色及び/又は明るさ取得部で取得した第1構造の色及び/又は明るさとの違いに対して、違いが小さくなるように、第2モード用表示画像の色及び/又は明るさを調整する補正を行う色及び/又は明るさ調整部を有することが好ましい。
 画像補正部は、第1構造の色及び/又は明るさを予め記憶する色及び/又は明るさ記憶部と、補正前の第2モード用表示画像における第1構造の色及び/又は明るさと色及び/又は明るさ記憶部で記憶した第1構造の色及び/又は明るさとの違いに対して、違いが小さくなるように、第2モード用表示画像の色及び/又は明るさを調整する補正を行う色及び/又は明るさ調整部を有することが好ましい。
 観察対象には第2構造が含まれ、画像補正部は、補正前の第1モード用表示画像又は第2モード用表示画像における第1構造及び第2構造の色及び/又は明るさの違いに対して、違いが小さくなるように、第1モード用表示画像又は第2モード用表示画像を補正することが好ましい。画像補正部は、第2モード用表示画像から第2構造を抽出して第2構造抽出済みの第2モード用表示画像を生成し、又は、第2モード用表示画像から第2構造を除去することにより、第1構造を抽出した第1構造抽出済みの第2モード用表示画像を生成する構造抽出部と、第1構造抽出済みの第2モード用表示画像を参照して、第2モード用表示画像における第1構造の色及び/又は明るさを調整する補正を行い、又は、第2構造抽出済みの第2モード用表示画像を参照して、第2モード用表示画像における第2構造の色及び/又は明るさを調整する補正を行う色及び/又は明るさ調整部を有することが好ましい。第1構造は粘膜構造で、第2構造は血管構造であることが好ましい。
 第1モード用表示画像又は第2モード用表示画像のうち画像補正部で補正していない未補正画像と、補正画像とを表示する表示部と、表示部を制御する表示制御部とを有することが好ましい。表示制御部は、未補正画像と補正画像とが交互に表示するように、表示部を制御することが好ましい。表示制御部は、表示部における未補正画像と補正画像の表示時間を含む表示パターンを設定する表示パターン設定部を有することが好ましい。未補正画像と補正画像を合成した合成画像を生成する合成画像生成部を有し、表示部は、未補正画像、合成画像、及び補正画像を表示することが好ましい。
 第1モード用照明光は、1色又は複数色の光を第1モード用発光条件で発光する光であり、第2モード用照明光は、1又は複数色の光を、第1モード用発光条件とは異なる第2モード用発光条件で発光する光であることが好ましい。
 第1モード用照明光が、複数色の光を同時に発光する光である場合には、第1モード用表示画像は、複数色の光が同時に照明された観察対象を撮像して得られる画像であり、第1モード用照明光が、複数色の光を順次に発光する光である場合には、第1モード用表示画像は、各色の光が順次照明された観察対象を順次撮像して得られる画像であることが好ましい。
 第2モード用照明光が、複数色の光を同時に発光する光である場合には、第2モード用表示画像は、複数色の光が同時に照明された観察対象を撮像して得られる画像であり、第2モード用照明光が、複数色の光を順次に発光する光である場合には、第2モード用表示画像は、各色の光が順次照明された観察対象を順次撮像して得られる画像であることが好ましい。
 本発明の内視鏡システムは、第1モード用照明光と第2モード用照明光とを発光する光源と、粘膜構造を含む観察対象を第1モード用照明光で照明した場合に、観察対象を撮像して得られる第1モード用表示画像と、第2モード用照明光で観察対象を照明した場合に、観察対象を撮像して得られる第2モード用表示画像とを取得する画像取得部と、第1モード用表示画像又は第2モード用表示画像を補正して補正画像を得る画像補正部であり、補正前の第1モード用表示画像又は第2モード用表示画像における第1構造の色及び/又は明るさの違いに対して、違いが小さくなるように補正する画像補正部と、表示部を制御する表示制御部を備え、画像補正部は、第1モード用表示画像から粘膜構造の色及び/又は明るさを取得する色及び/又は明るさ取得部と、補正前の第2モード用表示画像における第1構造の色及び/又は明るさと色及び/又は明るさ取得部で取得した第1構造の色及び/又は明るさとの違いに対して、違いが小さくなるように、第2モード用表示画像の色及び/又は明るさを調整する補正を行う色及び/又は明るさ調整部を有し、表示制御部は、第1モード用表示画像と、明るさ調整部で明るさ調整後の第2モード用表示画像とを表示部に交互に表示するように制御する。
 本発明の内視鏡システムの作動方法は、光源が、第1モード用照明光と第2モード用照明光とを発光するステップと、画像取得部が、第1モード用照明光を発光した場合に、第1構造を含む観察対象を撮像して得られる第1モード用表示画像と、第2モード用照明光を発光した場合に、観察対象を撮像して得られる第2モード用表示画像とを取得するステップと、画像補正部が、第1モード用表示画像又は第2モード用表示画像を補正して補正画像を得る画像補正部であり、補正前の第1モード用表示画像又は第2モード用表示画像における第1構造の色及び/又は明るさの違いに対して、違いが小さくなるように補正するステップとを有する。
 本発明によれば、通常画像と特殊画像を交互に表示する場合であっても、目がちらつくなどの視覚的な違和感を軽減することができる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、青色光Bx、緑色光G、赤色光Rの分光スペクトルを示すグラフである。 第1実施形態の通常モード、特殊モード、及び混合モードにおいて発光する照明光のパターンを示す表である。 画像補正部及び表示制御部の機能を示すブロック図である。 血管抽出済みの特殊画像と粘膜抽出済みの特殊画像の生成方法を示す説明図である。 通常画像と補正特殊画像を交互表示するモニタの画像図である。 通常画像の表示時間Tcが補正特殊画像の表示時間Tsよりも長い場合におけるモニタでの画像の表示の流れを示す説明図である。 補正特殊画像の表示時間Tsが通常画像の表示時間Tcよりも長い場合におけるモニタでの画像の表示の流れを示す説明図である。 混合モードの流れを示すフローチャートである。 色及び/又は明るさ記憶部を備える画像補正部の機能と表示制御部の機能を示すブロックである。 合成画像生成部を備える画像補正部の機能と表示制御部の機能を示すブロックである。 通常画像、合成画像、及び補正特殊画像を表示する場合におけるモニタでの画像の表示の流れを示す説明図である。 第2実施形態の通常モード、特殊モード、及び混合モードにおいて発光する照明光のパターンを示す表である。 第3実施形態の内視鏡システムの機能を示すブロック図である。 通常モード用の白色光の分光スペクトルを示すグラフである。 特殊モード用の白色光の分光スペクトルを示すグラフである。 第4実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタの平面図である。 第4実施形態の通常モード、特殊モード、及び混合モードにおいて発光する照明光のパターンを示す表である。 第5実施形態のカプセル内視鏡の概略図である。
 [第1実施形態]
 図1に示すように、内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18(表示部)と、コンソール19とを有する。内視鏡12は、光源装置14と光学的に接続し、かつ、プロセッサ装置16と電気的に接続する。内視鏡12は、被検体内に挿入する挿入部12aと、挿入部12aの基端部分に設けた操作部12bと、挿入部12aの先端側に設けた湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ13aを操作することにより、湾曲部12cが湾曲動作する。この湾曲動作によって、先端部12dを所望の方向に向ける。
 また、操作部12bには、アングルノブ13aの他、静止画像の取得操作に用いる静止画像取得部13b、観察モードの切り替え操作に用いるモード切替部13c、及びズーム倍率の変更操作に用いるズーム操作部13dを設けている。静止画像取得部13bは、モニタ18に観察対象の静止画像を表示するフリーズ操作と、ストレージに静止画像を保存するレリーズ操作が可能である。
 内視鏡システム10は、観察モードとして、通常モードと、特殊モードと、通常モードと特殊モードの両方を行う混合モードとを有している。観察モードが通常モードである場合、光源装置14は、通常モード用照明光を通常モード用発光条件(本発明の「第1モード用発光条件」に対応する)で発光するとともに、この通常モード用照明光で照明中の観察対象を撮像して得られた画像信号に基づき、通常画像をモニタ18に表示する。
 観察モードが特殊モードである場合、光源装置14は、特殊モード用照明光を、通常モード用発光条件とは異なる特殊モード用発光条件(本発明の「第2モード用発光条件」に対応する)で発光するとともに、この特殊モード用照明光で照明中の観察対象を撮像して得られた画像信号に基づき、特殊画像をモニタ18に表示する。観察モードが混合モードである場合、光源装置14は、通常モード用照明光と特殊モード用照明光を交互に発光するとともに、通常画像と特殊画像を交互にモニタ18に表示する。
 プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続する。モニタ18は、観察対象の画像や、画像に付帯する情報等を出力表示する。コンソール19は、関心領域(ROI : Region Of Interest)の指定等や機能設定等の入力操作を受け付けるユーザインタフェースとして機能する。プロセッサ装置内にある各部のハードウェア的な構造は、次に示すような各種のプロセッサである。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。なお、内視鏡12や光源装置14の内部の各部についても同様である。
 図2に示すように、光源装置14は、観察対象の照明に用いる照明光を発する光源20と、光源20を制御する光源制御部22とを備えている。光源20は、複数色のLED(Light Emitting Diode)等の半導体光源である。光源制御部22は、LED等のオン/オフや、LED等の駆動電流や駆動電圧の調整によって、照明光の発光量を制御する。また、光源制御部22は、光学フィルタの変更等によって、照明光の波長帯域を制御する。
 第1実施形態では、光源20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及びR-LED(Red Light Emitting Diode)20dの4色のLEDと、波長カットフィルタ23とを有している。図3に示すように、V-LED20aは、波長帯域380nm~420nmの紫色光Vを発する。
 B-LED20bは、波長帯域420nm~500nmの青色光Bを発する。B-LED23bから出射した青色光Bのうち少なくともピーク波長の450nmよりも長波長側は、波長カットフィルタ23によりカットされる。これにより、波長カットフィルタ23を透過した後の青色光Bxは、420~460nmの波長範囲になる。このように、460nmよりも長波長側の波長域の光をカットしているのは、この460nmよりも長波長側の波長域の光は、観察対象である血管の血管コントラストを低下させる要因であるためである。なお、波長カットフィルタ23は、460nmよりも長波長側の波長域の光をカットする代わりに、460nmよりも長波長側の波長域の光を減光させてもよい。
 G-LED20cは、波長帯域が480nm~600nmに及ぶ緑色光Gを発する。R-LED20dは、波長帯域が600nm~650nmに及び赤色光Rを発する。なお、各LED20a~20dから発せられる光は、それぞれの中心波長とピーク波長とが同じであっても良いし、異なっていても良い。
 光源制御部22は、各LED20a~20dの点灯や消灯、及び点灯時の発光量等を独立に制御することによって、照明光の発光タイミング、発光期間、光量、及び分光スペクトルの調節を行う。光源制御部22における点灯及び消灯の制御は、観察モードごとに異なっている。
 図4に示すように、通常モードの場合、光源制御部22は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを全て点灯させる。その際、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比Lcは、青色光Bxの発光量が、紫色光V、緑色光G、及び赤色光Rのいずれの発光量よりも大きくなるように、設定されている。これにより、通常モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む通常モード用照明光が発せられる。この通常モード用照明光は、青色帯域から赤色帯域まで一定以上の強度を有しているため、ほぼ白色となっている。なお、通常モード用発光条件は、「紫色光V、青色光Bx、緑色光G、及び赤色光Rを光量比Lcで同時に発光すること」に相当する。
 特殊モードの場合についても、光源制御部22は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを全て点灯させる。その際、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比Lsは、紫色光Vの発光量が、青色光Bx、緑色光G、及び赤色光Rのいずれの発光量よりも大きくなるように、また、緑色光G及び赤色光Rは紫色光V及び青色光Bxよりも小さくなるように、設定されている。これにより、特殊モードでは、光源装置14から、紫色光V、青色光Bx、緑色光G、及び赤色光Rを含む特殊モード用照明光が発せられる。なお、特殊モード用発光条件は、「紫色光V、青色光Bx、緑色光G、及び赤色光Rを光量比Lsで同時に発光すること」に対応している。
 混合モードの場合には、光源制御部22は、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを全て点灯させるとともに、フレーム単位で、光量比を「Lc」から「Ls」に、又は「Ls」から「Lc」に切り替える。即ち、光源装置14から発せられる光は、通常モード用照明光と特殊モード用照明光とが交互に入れ替わる。
 図2に示すように、光源20が発した照明光は、ミラーやレンズ等で形成される光路結合部(図示しない)を介して、挿入部12a内に挿通したライトガイド24に入射する。ライトガイド24は、内視鏡12及びユニバーサルコードに内蔵しており、照明光を内視鏡12の先端部12dまで伝搬する。ユニバーサルコードは、内視鏡12と光源装置14及びプロセッサ装置16とを接続するコードである。なお、ライトガイド24としては、マルチモードファイバを使用することができる。一例として、ライトガイド24には、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3mm~φ0.5mmの細径なファイバケーブルを使用することができる。
 内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bとを設けている。照明光学系30aは、照明レンズ32を有している。この照明レンズ32を介して、ライトガイド24を伝搬した照明光によって観察対象を照明する。撮像光学系30bは、対物レンズ34と、ズームレンズ36と、撮像センサ38とを有している。これら対物レンズ34及びズームレンズ36を介して、観察対象からの反射光、散乱光、及び蛍光等の各種の光が撮像センサ38に入射する。これにより、撮像センサ38に観察対象の像が結像する。ズームレンズ36は、ズーム操作部13dを操作することでテレ端とワイド端の間で自在に移動し、撮像センサ38に結像する観察対象を拡大又は縮小する。
 撮像センサ38は、照明光が照射された観察対象を撮像するカラー撮像センサである。撮像センサ38の各画素には、R(赤色)カラーフィルタ、G(緑色)カラーフィルタ、B(青色)カラーフィルタのいずれかを設けている。撮像センサ38は、Bカラーフィルタが設けられているB画素で紫色から青色の光を受光し、Gカラーフィルタが設けられているG画素で緑色の光を受光し、Rカラーフィルタが設けられているR画素で赤色の光を受光する。そして、各色の画素から、RGB各色の画像信号を出力する。撮像センサ38は、出力した画像信号を、CDS/AGC回路40に送信する。
 通常モードにおいては、撮像センサ38は、通常モード用照明光が照明された観察対象を撮像することにより、B画素からBc画像信号を出力し、G画素からGc画像信号を出力し、R画素からRc画像信号を出力する。また、特殊モードにおいては、撮像センサ38は、特殊モード用照明光が照明された観察対象を撮像することにより、B画素からBs画像信号を出力し、G画素からGs画像信号を出力し、R画素からRs画像信号を出力する。
 混合モードにおける通常モード用照明光の照明中は、撮像センサ38は、通常モード用照明光で照明された観察対象を撮像することにより、Bc画像信号、Gc画像信号、Rc画像信を出力する。また、混合モードにおける特殊モード用照明光の照明中は、撮像センサ38は、特殊モード用照明光で照明された観察対象を撮像することにより、Bs画像信号、Gs画像信号、Rs画像信号を出力する。
 撮像センサ38としては、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等を利用可能である。また、RGBの原色のカラーフィルタを設けた撮像センサ38の代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号を出力する。このため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換することにより、撮像センサ38と同様のRGB各色の画像信号を得ることができる。また、撮像センサ38の代わりに、カラーフィルタを設けていないモノクロセンサを用いても良い。
 CDS/AGC回路40は、撮像センサ38から受信したアナログの画像信号に、相関二重サンプリング(CDS:Correlated Double Sampling)や自動利得制御(AGC:Automatic Gain Control)を行う。A/D(Analog to Digital)変換回路42は、CDS/AGC回路40を経たアナログ画像信号を、デジタルの画像信号に変換する。A/D変換回路42は、A/D変換後のデジタル画像信号を、プロセッサ装置16に入力する。
 プロセッサ装置16は、画像信号取得部50と、DSP(Digital Signal Processor)52と、ノイズ低減部54と、画像処理部58と、表示制御部60とを備えている。
 画像信号取得部50(本発明の「画像取得部」に相当する)は、内視鏡12から、観察モードに対応したデジタル画像信号を取得する。通常モードの場合には、通常画像(本発明の「第1モード用表示画像」に相当する)として、Bc画像信号、Gc画像信号、Rc画像信号を取得する。特殊モードの場合には、特殊画像(本発明の「第2モード用表示画像」に相当する)として、Bs画像信号、Gs画像信号、Rs画像信号を取得する。混合モードの場合には、通常画像として、Bc画像信号、Gc画像信号、Rc画像信号を取得するとともに、特殊画像として、Bs画像信号、Gs画像信号、Rs画像信号を取得する。
 DSP52は、画像信号取得部50が取得した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、及びデモザイク処理等の各種信号処理を施す。欠陥補正処理は、撮像センサ38の欠陥画素の信号を補正する。オフセット処理は、欠陥補正処理した画像信号から暗電流成分を除き、正確なゼロレベルを設定する。ゲイン補正処理は、オフセット処理した画像信号に特定のゲインを乗じることにより信号レベルを整える。
 リニアマトリクス処理は、ゲイン補正処理した画像信号の色再現性を高める。ガンマ変換処理は、リニアマトリクス処理した画像信号の明るさや彩度を整える。ガンマ変換処理した画像信号には、デモザイク処理(等方化処理、又は同時化処理とも言う)を施すことによって、各画素で不足した色の信号を補間によって生成する。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。ノイズ低減部54は、DSP52でデモザイク処理等を施した画像信号に対して、例えば、移動平均法やメディアンフィルタ法等によるノイズ低減処理を施し、ノイズを低減する。
 画像処理部58は、通常画像生成部と62と、特殊画像処理部64と、画像補正部66とを備えている。通常画像処理部62は、通常モード又は混合モードに設定されている場合に作動し、受信した通常画像に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理では、RGB画像信号に対して3×3のマトリックス処理、階調変換処理、及び3次元LUT(Look Up Table)処理などにより色変換処理を行う。
 色彩強調処理は、色変換処理済みの画像信号に対して行われる。構造強調処理は、観察対象の構造を強調する処理であり、色彩強調処理後の画像信号に対して行われる。上記のように、構造強調処理まで各種画像処理等を施した通常画像は、紫色光V、青色光Bx、緑色光G、赤色光Rがバランス良く発せられた通常モード用照明光に基づいて得られた画像であるため、自然な色合いの画像となっている。通常画像は、通常モードに設定されている場合はそのまま表示制御部60に入力され、混合モードに設定されている場合には、表示制御部60及び画像補正部66に入力される。
 特殊画像処理部64は、特殊モード又は混合モードに設定されている場合に作動する。特殊画像処理部64では、受信した特殊画像に対して、色変換処理、色彩強調処理、及び構造強調処理を行う。色変換処理、色彩強調処理、及び構造強調処理の処理内容は、通常画像処理部62と同様である。特殊画像は、血管のヘモグロビンの吸収係数が高い紫色光Vが、他の色の青色光Bx、緑色光G、赤色光Rよりも大きい発光量となっている特殊モード用照明光に基づいて得られた画像であるため、血管構造の解像度が他の構造よりも高くなっている。特殊画像は、特殊モードに設定されている場合にはそのまま表示制御部60に入力され、混合モードに設定されている場合には、特殊画像は画像補正部66に入力される。
 画像補正部66は、混合モードに設定されている場合に作動し、特殊画像に対して補正を行う。この画像補正部66では、補正前の特殊画像における血管構造又は粘膜構造の色及び/又は明るさと通常画像における粘膜構造の色及び/又は明るさとの違いに対して、その違いが小さくなるように、特殊画像を補正する。画像補正部66の詳細については後述する。画像補正部66で特殊画像を補正した補正特殊画像は、表示制御部60に送信される。なお、画像補正部66では、色及び明るさの両方の違いが小さくなるように補正を行ってもよく、また、色又は明るさのうちいずれか一方の違いが小さくなるように補正してもよい。
 表示制御部60は、画像処理部58から画像をモニタ18に表示するための表示制御を行う。通常モードに設定されている場合には、表示制御部60は、通常画像をモニタ18に表示する制御を行う。特殊モードに設定されている場合には、表示制御部60は、特殊画像をモニタ18に表示する制御を行う。混合モードに設定されている場合には、設定された表示パターンに従って、通常画像と、補正特殊画像を表示する。この混合モードにおける表示制御の詳細については、後述する。
 図5に示すように、画像補正部66は、構造抽出部70と、色及び/又は明るさ取得部72と、色及び/又は明るさ調整部74とを備えている。構造抽出部70は、図6に示すように、特殊画像から血管構造を抽出することによって、血管抽出済みの特殊画像を生成する。血管構造を抽出する方法としては、例えば、所定の閾値を用いて血管とその他の部分とを二値化処理する方法の他、特殊画像のBs画像信号とGs画像信号の比又は差分をとることによって、血管を抽出する方法が考えられる。構造抽出部70は、同様にして、通常画像から血管構造を抽出することによって、血管抽出済みの通常画像を生成する。
 なお、通常画像から血管構造を抽出することが難しい場合は、特殊画像から抽出した血管構造と同じ位置にある通常画像上の構造を、血管構造とみなして抽出してもよい。ただし、特殊画像の血管構造と同じ位置にある構造を、全て血管構造とみなしてしまうと、通常画像では見えない構造も血管構造として抽出してしまうおそれがある。そこで、特殊画像の血管構造のうち、通常画像でも視認可能な解像度の低い構造について、通常画像上で同じ位置にある構造を、血管構造とみなして抽出することが好ましい。
 構造抽出部70は、特殊画像と血管抽出済みの特殊画像との差分処理を行うことによって、特殊画像から血管構造を除去した血管除去済みの特殊画像を生成する。この血管除去済みの特殊画像は、血管構造が除かれ、ほぼ粘膜構造のみが抽出された粘膜抽出済みの画像となっている。このように、特殊画像と血管抽出済みの特殊画像との差分処理によって、粘膜抽出済みの特殊画像を生成するのは、粘膜構造は他の部分との画素値の差があまり付いていないため、粘膜構造だけを抽出することが難しいためである。また、構造抽出部70は、同様にして、通常画像と血管抽出済みの通常画像との差分処理を行うことによって、通常画像から血管構造を除去した血管除去済みの通常画像(粘膜抽出済みの通常画像)を生成する。
 色及び/又は明るさ取得部72は、血管抽出済みの通常画像から血管構造の色及び/又は明るさを取得する。また、色及び/又は明るさ取得部72は、粘膜抽出済みの通常画像から粘膜構造の色及び/又は明るさを取得する。取得した血管構造又は粘膜構造の色は平均化することが好ましく、また、取得した血管構造又は粘膜構造の明るさについても平均化することが好ましい。ここで、色又は明るさを取得する方法としては、例えば、血管抽出済みの通常画像に対して、色と明るさ分離する処理を施す方法が考えられる。血管抽出済みの通常画像を輝度信号Yと色差信号Cr、Cbに変換した場合には、輝度信号Yが血管構造の明るさに相当し、色差信号Cr、Cbが血管構造の色に相当することになる。なお、色及び/又は明るさ取得部72では、血管構造の色又は明るさのうち少なくとも一方を取得することが好ましい。
 色及び/又は明るさ調整部74は、血管抽出済みの特殊画像における血管構造の位置を参照して、補正前の特殊画像における血管構造の色及び/又は明るさと色及び/又は明るさ取得部72で取得した血管構造の色及び/又は明るさの平均値との違いに対して、その違いが小さくなるように、特殊画像の色及び/又は明るさを調整する補正を行う。また、色及び/又は明るさ調整部74は、粘膜抽出済みの特殊画像における粘膜構造の位置を参照して、補正前の特殊画像における粘膜構造の色及び/又は明るさと、色及び/又は明るさ取得部72で取得した粘膜構造の色及び/又は明るさの平均値との違いに対して、その違いが小さくなるように、特殊画像の色及び/又は明るさを調整する補正を行う。これにより、血管構造又は粘膜構造の色及び/又は明るさが通常画像の色及び/又は明るさに近づいた補正特殊画像が得られる。
 なお、「色及び/又は明るさの違いが小さくなる」とは、特殊画像における血管構造又は粘膜構造の色及び/又は明るさが、色及び/又は明るさ取得部72で取得した血管構造又は粘膜構造の色及び/又は明るさの平均値と一致する場合の他、特殊画像における血管構造又は粘膜構造の色及び/又は明るさが、色及び/又は明るさ取得部72で取得した血管構造又は粘膜構造の色及び/又は明るさの平均値を含む一定範囲内に入っていることをいう。
 表示制御部60は、図7に示すように、モニタ18に通常画像Pc(本発明の「未補正画像」に相当する)と補正特殊画像Ps(本発明の「補正画像」に相当する)を交互に表示するように、モニタ18に対して表示指示を出す制御を行う。通常画像Pcと補正特殊画像Psが交互にモニタ18に表示されることで、モード切替部13cを操作することなく、通常画像Pcと補正特殊画像Psとを両方観察することが可能となる。補正特殊画像Psでは、通常画像Pcでは観察することができない血管構造Vsも観察可能であり、このような血管構造Vsが有効な診断に寄与することになる。また、通常画像Pcと補正特殊画像Psとを交互に表示したとしても、補正特殊画像Psのうち大部分を占める粘膜構造Mcや血管構造Vsの色及び/又は明るさと通常画像Pcの色及び/又は明るさとの違いが小さいため、目がちらつくなど視覚的な違和感が生ずるおそれがない。
 また、表示制御部60は、モニタ18上に表示する通常画像と補正特殊画像の表示パターンを設定する表示パターン設定部76を有する。表示パターンの設定は、コンソール19などの入力装置によって、表示パターン設定部76を作動させることにより行われる。表示パターン設定部76では、表示パターンとして、通常画像の表示時間Tcと補正特殊画像の表示時間Tcをそれぞれ設定する。表示制御部60は、表示パターン設定部76で設定された表示時間に従って、通常画像と補正特殊画像が表示するように、モニタ18に表示指示を出す。
 例えば、通常画像の表示時間Tcが補正特殊画像の表示時間Tcよりも長く設定されている場合には、図8に示すように、数フレーム分の通常画像が表示された後に、1フレーム分の補正特殊画像が表示される表示パターンとなる。この表示パターンは、スクリーニング時のように、観察対象の全体を観察しつつ、病変部を見落とさないようにする場合に適している。これに対して、補正特殊画像の表示時間Tcが通常画像の表示時間Tcよりも長く設定されている場合には、図9に示すように、数フレーム分の補正特殊画像が表示された後に、1フレーム分の通常画像が表示される表示パターンとなる。この表示パターンは、詳細観察時など、病変部の性状を詳細に観察する場合に適している。
 次に、混合モードの一連の流れについて、図10のフローチャートに沿って説明する。モード切替部13cを操作して、混合モードに切り替える。これにより、通常モード用照明光と特殊モード用照明光が交互に発光される。即ち、通常モード用照明光として、紫色光V、青色光Bx、緑色光G、赤色光Rが光量比Lcで同時に発光され、その後に、特殊モード用照明光として、紫色光V、青色光Bx、緑色光G、赤色光Rが光量比Lsで同時に発光される。
 そして、紫色光V、青色光Bx、緑色光G、赤色光Rが光量比Lcで照明された観察対象を撮像センサ38で撮像することにより、Bc画像信号、Gc画像信号、Rc画像信号からなる通常画像が得られる。また、紫色光V、青色光Bx、緑色光G、赤色光Rが光量比Lsで照明された観察対象を撮像センサ38で撮像することにより、Bc画像信号、Gc画像信号、Rc画像信号からなる特殊画像が得られる。
 通常画像と特殊画像が生成されたら、通常画像及び特殊画像は画像補正部66に入力される。構造抽出部70において、特殊画像から血管構造を抽出して血管抽出済みの特殊画像を生成するとともに、特殊画像から血管構造を除去して粘膜構造を抽出した粘膜抽出済みの特殊画像を生成する。同様にして、通常画像から血管構造を抽出して血管抽出済みの通常画像を生成するとともに、通常画像から血管構造を除去して粘膜構造を抽出した粘膜抽出済みの通常画像を生成する。
 次に、色及び/又は明るさ取得部72により、血管抽出済みの通常画像から血管構造の色及び/又は明るさの平均値を取得するとともに、粘膜抽出済みの通常画像から粘膜構造の色及び/又は明るさの平均値を取得する。そして、色及び/又は明るさ調整部74は、血管抽出済みの特殊画像における血管構造の位置を参照して、補正前の特殊画像の血管構造の色及び/又は明るさと色及び/又は明るさ取得部72で取得した血管構造の色及び/又は明るさとの違いに対して、その違いが小さくなるように、特殊画像の色及び/又は明るさを調整する補正を行う。また、粘膜抽出済みの特殊画像における粘膜構造の位置を参照して、補正前の特殊画像の粘膜構造の色及び/又は明るさと、色及び/又は明るさ取得部72で取得した粘膜構造の色及び/又は明るさとの違いに対して、その違いが小さくなるように、特殊画像の色及び/又は明るさを調整する補正を行う。以上のように、血管構造又は粘膜構造の色及び/又は明るさの調整する補正を行うことで、補正特殊画像が得られる。
 次に、表示制御部60は、特定の表示パターンに従って、通常画像と補正特殊画像を交互にモニタ18に表示するように制御する。この表示制御部60による表示制御の際には、表示パターン設定部76が、特定の表示パターンとして、通常画像の表示時間Tcと補正特殊画像の表示時間Tsとを調整する。
 なお、上記実施形態では、通常画像から血管構造又は粘膜構造の色及び/又は明るさを取得し、この取得した血管構造又は粘膜構造の色及び/又は明るさとなるように、特殊画像を補正しているが、これに代えて、平均的な血管構造又は粘膜構造の色及び/又は明るさを予め記憶しておき、この予め記憶しておいた血管構造又は粘膜構造の色又は明るさとなるように、特殊画像を補正してもよい。この場合には、図11に示すように、画像補正部66において、色及び/又は明るさ取得部72の代わりに、色及び/又は明るさ記憶部80が設けられる。この色及び/又は明るさ記憶部80が設けられることで、構造抽出部70において、血管抽出済みの通常画像及び粘膜抽出済みの通常画像の取得が不要になる。
 色及び/又は明るさ記憶部80においては、血管構造又は粘膜構造の色及び/又は明るさの平均値が記憶されている。この色及び/又は明るさ記憶部80に記憶する、血管構造又は粘膜構造の色及び/又は明るさの平均値は、例えば、通常モードにおいて事前に所定の部位(食道、胃、大腸)を撮像して得られた通常画像から算出することが好ましい。また、胃や大腸など部位ごとに、血管構造又は粘膜構造の色及び/又は明るさの平均値を記憶しておいて、観察する部位によって、色及び/又は明るさ調整部74で使用する血管構造又は粘膜構造の色及び/又は明るさの平均値を切り替えてもよい。
 なお、上記実施形態では、通常画像と補正特殊画像とを交互表示しているが、通常画像及び補正特殊画像に加えて、通常画像と補正特殊画像の間に、通常画像と補正特殊画像を合成した合成画像を表示してもよい。この場合には、図12に示すように、画像処理部58において、通常画像と補正特殊画像を合成するための合成画像生成部84が設けられる。合成画像生成部84では、通常画像と補正特殊画像に対して、特定の重み付けをして加算することで、合成画像を生成する。
 合成画像は、特定の重み付けの係数をおおよそ中間の値とすることで、色及び/又は明るさが通常画像又は補正特殊画像のいずれにも近い画像となる。生成された合成画像は、図13に示すように、通常画像と補正特殊画像の間に入れて表示する。このように、通常画像と補正特殊画像の間に合成画像を入れて表示した場合には、通常画像と補正特殊画像とを交互に表示する場合と比較して、色及び/又は明るさの変化が緩やかになるため、目がちらつくなど視覚的な違和感を更に軽減することができる。
 なお、上記実施形態においては、画像補正部66では、特殊画像の補正を行っているが、反対に、通常画像の補正を行ってもよい。この場合には、補正前の通常画像における血管構造又は粘膜構造の色及び/又は明るさと特殊画像の血管構造又は粘膜構造の色及び/又は明るさとの違いに対して、その違いが小さくなるように、通常画像の色及び/又は明るさを調整する補正を行ってもよい。なお、通常画像を補正する場合には、補正通常画像(本発明の「補正画像」に相当する)と特殊画像(本発明の「未補正画像」に相当する)が交互に表示されることになる。
 また、色及び/又は明るさ調整部74においては、血管構造及び粘膜構造の両方について、色及び/又は明るさを調整する補正を行っているが、血管構造又は粘膜構造の少なくとも一方の色及び/又は明るさを調整してもよい。また、色及び明るさの両方を調整する他、色及び明るさのうち少なくとも一方を調整してもよい。
 [第2実施形態]
 上記第1実施形態では、特殊モードにおいて、特殊モード用照明光として、紫色光V、青色光Bx、緑色光G、赤色光Rの全てを同時に発光しているが、第2実施形態では、図14に示すように、特殊モードにおいては、特殊モード用照明光として、紫色光Vと青色光Bxを交互に発光する。また、混合モードにおいては、通常モード用照明光として、光量比Lcで紫色光V、青色光Bx、緑色光G、赤色光Rを同時に発光し、その後に、特殊モード用照明光として、紫色光Vと青色光Bxを交互に発光する。
 なお、第2実施形態において、特殊モード用発光条件は、「紫色光Vと青色光Bxを交互に発光すること」に対応している。また、第2実施形態では、通常モード用照明光について、複数色の光を同時に発光する一方、特殊モード用照明光について、紫色光Vと青色光Bxの交互発光のように、複数色の光を順次発光するが、反対に、通常モード用照明光については複数色の光を順次発光し、特殊モード用照明光について、複数色の光を同時に発光するようにしてもよい。
 第2実施形態では、特殊モード又は混合モードで特殊モード用照明光を発光する際に、撮像センサ38から出力する画像信号が、第1実施形態とは異なっている。特殊モード用照明光として、紫色光Vと青色光Bxを交互に発光した場合、紫色光Vが発光されたときに観察対象を撮像センサ38で撮像して、B画素からB1画像信号を出力し、G画素からG1画像信号を出力し、R画素からR1画像信号を出力する。また、青色光Bxが発光されたときに観察対象を撮像センサ38で撮像して、B画素からB2画像信号を出力し、G画素からG2画像信号を出力し、R画素からR2画像信号を出力する。
 第2実施形態では、特殊モード又は混合モードで特殊モード用照明光を発光する際に、画像信号取得部50で取得する画像信号が、第1実施形態とは異なっており、また、特殊画像処理部64での処理内容が第1実施形態とは異なっている。特殊モード用照明光により得られる画像信号のうち、特殊画像として、B1画像信号とB2画像信号を取得し、その他の画像信号(G1画像信号、R1画像信号、G2画像信号、R2画像信号)は削除等される。
 特殊画像処理部64では、B1画像信号とB2画像信号に基づいて、特殊画像を生成する。例えば、特殊画像を輝度信号Yと色差信号Cr,Cbで構成する場合、輝度信号Yに対してB1画像信号又はB2画像信号を割り当てることが好ましい。また、色差信号Cr、Cbに対しては、B1画像信号とB2画像信号の比又は差分の演算画像に、所定の係数を掛け合わせたものを割り当てることが好ましい。なお、第2実施形態では、特殊画像処理部64において、特殊画像に対して色変換処理、色彩強調処理、及び構造強調処理を行うことが好ましい。
 [第3実施形態]
 第3実施形態では、上記第1実施形態で示した4色のLED20a~20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
 図15に示すように、第3実施形態の内視鏡システム100では、光源装置14の光源20において、4色のLED20a~20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(「445LD」と表記。LDは「Laser Diode」を表す)104と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(「405LD」と表記)106とが設けられている。これら各光源104、106の半導体発光素子からの発光は、光源制御部108により個別に制御されており、青色レーザ光源104の出射光と、青紫色レーザ光源106の出射光の光量比は変更自在になっている。
 光源制御部108は、通常モードの場合には、青色レーザ光源104を点灯させる。これに対して、特殊モードの場合には、青色レーザ光源104と青紫色レーザ光源106の両方を点灯させるとともに、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御している。混合モードの場合には、青色レーザ光源104と青紫色レーザ光源106とが交互に点灯するように制御される。以上の各光源104、106から出射されるレーザ光は、ライトガイド24に入射する。
 なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオードなどの発光体を用いた構成としてもよい。
 照明光学系30aには、照明レンズ32の他に、ライトガイド24からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110は、青色レーザ光によって励起され、蛍光を発する。また、青色レーザ光の一部は、蛍光体110を励起させることなく透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ32を介して、観察対象の体内を照明する。
 ここで、通常モードにおいては、主として青色レーザ光が蛍光体110に入射するため、図16に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した通常モード用の白色光(本発明の「通常モード用照明光」に相当)によって観察対象が照明される。特殊モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体110に入射するため、図17に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光を合波した特殊モード用の白色光(本発明の「特殊モード用照明光」に相当)によって観察対象が照明される。
 混合モードにおいては、青紫色レーザ光と青色レーザ光が交互に蛍光体110に入射するため、通常モード用の白色光と特殊モード用の白色光とが交互に観察対象に照明される。なお、第3実施形態において、通常モード用発光条件は、「通常モード用の白色光を発光すること」に対応しており、特殊モード用発光条件は、「特殊モード用の白色光を発光すること」に対応している。
 なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色~黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)などの蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度、色度の変化を小さく抑えることができる。
 [第4実施形態]
 第4実施形態では、4色のLED20a~20dの代わりに、キセノンランプ等の広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ38に代えて、モノクロの撮像センサで観察対象の撮像を行っても良い。それ以外については、第1実施形態と同様である。
 図18に示す内視鏡システム200では、光源装置14において、内視鏡システム10の各LED20a~20dに代えて、広帯域光源202と、回転フィルタ204と、フィルタ切替部206とが設けられている。また、撮像光学系30bには、カラーの撮像センサ38の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ208が設けられている。
 広帯域光源202はキセノンランプや白色LED等であり、波長域が青色から赤色に及ぶ広帯域光を発する。回転フィルタ204は、回転軸に近い一番近い内側に設けた通常モード用フィルタ210と、この通常モード用フィルタ210の外側に設けた特殊モード用フィルタ212と、この特殊モード用フィルタ212の更に外側に設けた混合モード用フィルタ214を備えている(図19参照)。
 フィルタ切替部206は、回転フィルタ204を径方向に移動する。具体的には、フィルタ切替部206は、モード切替部13cにより通常モードにセットした場合に、通常モード用フィルタ210を広帯域光の光路に挿入する。フィルタ切替部206は、特殊モードにセットした場合に、特殊モード用フィルタ212を広帯域光の光路に挿入する。フィルタ切替部206は、混合モードにセットした場合に、混合モード用フィルタ214を広帯域光の光路に挿入する。
 図19に示すように、通常モード用フィルタ210には、周方向に沿って、Bbフィルタ210aと、Gフィルタ210bと、Rフィルタ210cとが設けられている。Bbフィルタ210aは、広帯域光のうち400~500nmの波長範囲を持つ広帯域の青色光Bbを透過する。Gフィルタ210bは、広帯域光のうち緑色光Gを透過する。Rフィルタ210cは、広帯域光のうち赤色光Rを透過する。したがって、通常モード時には、図20に示すように、回転フィルタ204が回転することで、通常モード用照明光として、広帯域の青色光Bb、緑色光G、赤色光Rが、観察対象に向けて、順次照射される。なお、第4実施形態において、通常モード用発光条件は「広帯域の青色光Bb、緑色光G、赤色光Rを順次発光すること」に対応している。
 特殊モード用フィルタ212には、周方向に沿って、Bnフィルタ212aと、Gnフィルタ212bとが設けられている。Bnフィルタ212aは、広帯域光のうち400~450nmの青色狭帯域光Bnを透過する。Gnフィルタ212bは、広帯域光のうち530~570nmの緑色狭帯域光Gnを透過する。したがって、特殊モード時には、回転フィルタ204が回転することで、特殊モード用照明光として、青色狭帯域光、緑色狭帯域光が、観察対象に向けて、順次照射される。なお、第4実施形態において、特殊モード用発光条件は「青色狭帯域光、緑色狭帯域光を順次発光すること」に対応している。
 混合モード用フィルタ214には、周方向に沿って、Bbフィルタ214aと、Gフィルタ214bと、Rフィルタ214cと、Bnフィルタ214dと、Gnフィルタ214eとが設けられている。これらBbフィルタ214a、Gフィルタ214b、Rフィルタ214c、Bnフィルタ214d、及びGnフィルタ214eは、それぞれBbフィルタ210a、Gフィルタ210b、Rフィルタ210c、Bnフィルタ212a、及びGnフィルタ212bと同様の透過率を有している。したがって、混合モード時には、回転フィルタ204が回転することで、通常モード用照明光として、広帯域の青色光Bb、緑色光G、赤色光Rが観察対象に向けて順次照射されるとともに、特殊モード用照明光として、青色狭帯域光Bn、緑色狭帯域光Gnが、観察対象に向けて、順次照射される。
 内視鏡システム200では、通常モード時には、広帯域の青色光Bb、緑色光G、赤色光Rで観察対象を照明する毎にモノクロの撮像センサ208で観察対象を撮像する。これにより、広帯域の青色光Bbの照明時にBc画像信号が得られ、緑色光Gの照明時にGc画像信号が得られ、赤色光Rの照明時にRc画像信号が得られる。これらBn画像信号、Gc画像信号とRc通常画像によって、通常画像が構成される。
 特殊モード時には、青色狭帯域光Bn、緑色狭帯域光Gnで観察対象を照明する毎にモノクロの撮像センサ208で観察対象を撮像する。これにより、青色狭帯域光Bnの照明時にBn画像信号が得られ、緑色狭帯域光Gnの照射時にGn画像信号が得られる。これらBn画像信号とGn画像信号によって、特殊画像が構成される。
 混合モード時には、広帯域の青色光Bb、緑色光G、赤色光R、青色狭帯域光Bn、緑色狭帯域光Gnで観察対象を照明する毎にモノクロの撮像センサ208で観察対象を撮像する。これにより、Bc画像信号、Gc画像信号、Rc画像信号、Bn画像信号、Gn画像信号が得られる。Bc画像信号、Gc画像信号、Rc画像信号からなる画像が通常画像に相当し、Bn画像信号とGn画像信号からなる画像が特殊画像に相当する。
 [第5実施形態]
 上記第1~第4実施形態では、撮像センサ38が設けられた内視鏡12を被検体内に挿入して観察を行っているが、これに代えて、第5実施形態では、患者が口から飲み込むカプセル内視鏡によって被検体内を観察する。
 カプセル内視鏡システムは、例えば、図21に示すカプセル内視鏡300と、プロセッサ装置(図示しない)とを少なくとも有する。カプセル内視鏡300は、光源302と、光源制御部303と、撮像センサ304と、画像信号処理部306と、送受信アンテナ308とを備えている。光源302は、内視鏡システム10の光源20と同様に構成される。光源制御部303は、光源302の駆動を制御する。第5実施形態では、混合モードに常に設定されているため、光源制御部303は、通常モード用照明光と特殊モード用照明光とを交互に発光するように、光源302を制御する。
 撮像センサ304は、内視鏡システム10の撮像センサ38と同様、カラーの撮像センサで構成される。画像信号処理部305は、撮像センサ304から出力した画像信号に対して、CDS/AGC回路40及びA/D変換回路42と同様の処理を施す。画像信号処理部306を経た画像信号は、送受信アンテナ308を介して、カプセル内視鏡システムのプロセッサ装置(図示しない)に無線で送信される。カプセル内視鏡システムのプロセッサ装置は、内視鏡システム10のプロセッサ装置16と同様に構成され、画像処理部58としても機能する。このプロセッサ装置では、受信した画像信号に基づいて、第1実施形態と同様の処理を行う。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13a アングルノブ
13b 静止画像取得部
13c モード切替部
13d ズーム操作部
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源
20a V-LED
20b B-LED
20c G-LED
20d R-LED
22 光源制御部
23 波長カットフィルタ
24 ライトガイド
30a 照明光学系
30b 撮像光学系
32 照明レンズ
34 対物レンズ
36 ズームレンズ
38 撮像センサ
40 CDS/AGC回路
42 A/D変換回路
50 画像信号取得部
52 DSP
54 ノイズ低減部
58 画像処理部
60 表示制御部
62 通常画像処理部
64 特殊画像処理部
66 画像補正部
70 構造抽出部
72 色及び/又は明るさ取得部
74 色及び/又は明るさ調整部
76 表示パターン設定部
80 色及び/又は明るさ記憶部
84 合成画像生成部
100 内視鏡システム
104 青色レーザ光源
106 青紫色レーザ光源
108 光源制御部
110 蛍光体
200 内視鏡システム
202 広帯域光源
204 回転フィルタ
206 フィルタ切替部
208 撮像センサ
210 通常モード用フィルタ
210a Bbフィルタ
210b Gフィルタ
210c Rフィルタ
212 特殊モード用フィルタ
212a Bnフィルタ
212b Gnフィルタ
214 混合モード用フィルタ
214a Bbフィルタ
214b Gフィルタ
214c Rフィルタ
214d Bnフィルタ
214e Gnフィルタ
300 カプセル内視鏡
302 光源
303 光源制御部
304 撮像センサ
305 画像信号処理部
306 画像信号処理部
308 送受信アンテナ

Claims (15)

  1.  第1モード用照明光と第2モード用照明光とを発光する光源と、
     第1構造を含む観察対象を前記第1モード用照明光で照明した場合に、前記観察対象を撮像して得られる第1モード用表示画像と、前記第2モード用照明光で前記観察対象を照明した場合に、前記観察対象を撮像して得られる第2モード用表示画像とを取得する画像取得部と、
     前記第1モード用表示画像又は前記第2モード用表示画像を補正して補正画像を得る画像補正部であり、補正前の前記第1モード用表示画像又は前記第2モード用表示画像における前記第1構造の色及び/又は明るさの違いに対して、前記違いが小さくなるように補正する画像補正部と、
    を備える内視鏡システム。
  2.  前記画像補正部は、
     前記第1モード用表示画像から前記第1構造の色及び/又は明るさを取得する色及び/又は明るさ取得部と、
     補正前の前記第2モード用表示画像における前記第1構造の色及び/又は明るさと前記色及び/又は明るさ取得部で取得した前記第1構造の色及び/又は明るさとの違いに対して、前記違いが小さくなるように、前記第2モード用表示画像の色及び/又は明るさを調整する補正を行う色及び/又は明るさ調整部を有する請求項1記載の内視鏡システム。
  3.  前記画像補正部は、
     前記第1構造の色及び/又は明るさを予め記憶する色及び/又は明るさ記憶部と、
     補正前の前記第2モード用表示画像における前記第1構造の色及び/又は明るさと前記色及び/又は明るさ記憶部で記憶した前記第1構造の色及び/又は明るさとの違いに対して、前記違いが小さくなるように、前記第2モード用表示画像の色及び/又は明るさを調整する補正を行う色及び/又は明るさ調整部を有する請求項1記載の内視鏡システム。
  4.  前記観察対象には第2構造が含まれ、
     前記画像補正部は、
     補正前の前記第1モード用表示画像又は前記第2モード用表示画像における前記第1構造及び前記第2構造の色及び/又は明るさの違いに対して、前記違いが小さくなるように、前記第1モード用表示画像又は前記第2モード用表示画像を補正する請求項1ないし3いずれか1項記載の内視鏡システム。
  5.  前記画像補正部は、
     前記第2モード用表示画像から前記第2構造を抽出して第2構造抽出済みの第2モード用表示画像を生成し、又は、前記第2モード用表示画像から前記第2構造を除去することで、前記第1構造を抽出した第1構造抽出済みの第2モード用表示画像を生成する構造抽出部と、
     前記第1構造抽出済みの第2モード用表示画像を参照して、前記第2モード用表示画像における第1構造の色及び/又は明るさを調整する補正を行い、又は、前記第2構造抽出済みの第2モード用表示画像を参照して、前記第2モード用表示画像における第2構造の色及び/又は明るさを調整する補正を行う色及び/又は明るさ調整部を有する請求項4記載の内視鏡システム。
  6.  前記第1構造は粘膜構造で、前記第2構造は血管構造である請求項4または5記載の内視鏡システム。
  7.  前記第1モード用表示画像又は前記第2モード用表示画像のうち前記画像補正部で補正していない未補正画像と、前記補正画像とを表示する表示部と、
     前記表示部を制御する表示制御部とを有する請求項1ないし6いずれか1項記載の内視鏡システム。
  8.  前記表示制御部は、前記未補正画像と前記補正画像とが交互に表示するように、前記表示部を制御する請求項7記載の内視鏡システム。
  9.  前記表示制御部は、前記表示部における前記未補正画像と前記補正画像の表示時間を含む表示パターンを設定する表示パターン設定部を有する請求項7または8記載の内視鏡システム。
  10.  前記未補正画像と前記補正画像を合成した合成画像を生成する合成画像生成部を有し、
     前記表示部は、前記未補正画像、前記合成画像、及び前記補正画像を表示する請求項7ないし9いずれか1項記載の内視鏡システム。
  11.  前記第1モード用照明光は、1色又は複数色の光を第1モード用発光条件で発光する光であり、前記第2モード用照明光は、1又は複数色の光を、前記第1モード用発光条件とは異なる第2モード用発光条件で発光する光である請求項1ないし10いずれか1項記載の内視鏡システム。
  12.  前記第1モード用照明光が、前記複数色の光を同時に発光する光である場合には、前記第1モード用表示画像は、前記複数色の光が同時に照明された前記観察対象を撮像して得られる画像であり、
     前記第1モード用照明光が、前記複数色の光を順次に発光する光である場合には、前記第1モード用表示画像は、各色の光が順次照明された前記観察対象を順次撮像して得られる画像である請求項11記載の内視鏡システム。
  13.  前記第2モード用照明光が、前記複数色の光を同時に発光する光である場合には、前記第2モード用表示画像は、前記複数色の光が同時に照明された前記観察対象を撮像して得られる画像であり、
     前記第2モード用照明光が、前記複数色の光を順次に発光する光である場合には、前記第2モード用表示画像は、各色の光が順次照明された前記観察対象を順次撮像して得られる画像である請求項11又は12記載の内視鏡システム。
  14.  第1モード用照明光と第2モード用照明光とを発光する光源と、
     粘膜構造を含む観察対象を前記第1モード用照明光で照明した場合に、前記観察対象を撮像して得られる第1モード用表示画像と、前記第2モード用照明光で前記観察対象を照明した場合に、前記観察対象を撮像して得られる第2モード用表示画像とを取得する画像取得部と、
     前記第1モード用表示画像又は前記第2モード用表示画像を補正して補正画像を得る画像補正部であり、補正前の前記第1モード用表示画像又は前記第2モード用表示画像における前記第1構造の色及び/又は明るさの違いに対して、前記違いが小さくなるように補正する画像補正部と、
     表示部を制御する表示制御部を備え、
     前記画像補正部は、
     前記第1モード用表示画像から粘膜構造の色及び/又は明るさを取得する色及び/又は明るさ取得部と、
     補正前の前記第2モード用表示画像における前記第1構造の色及び/又は明るさと前記色及び/又は明るさ取得部で取得した前記第1構造の色及び/又は明るさとの違いに対して、前記違いが小さくなるように、前記第2モード用表示画像の色及び/又は明るさを調整する補正を行う色及び/又は明るさ調整部を有し、
     前記表示制御部は、前記第1モード用表示画像と、前記明るさ調整部で明るさ調整後の前記第2モード用表示画像とを前記表示部に交互に表示するように制御する内視鏡システム。
  15.  光源が、第1モード用照明光と第2モード用照明光とを発光するステップと、
     画像取得部が、前記第1モード用照明光を発光した場合に、第1構造を含む観察対象を撮像して得られる第1モード用表示画像と、前記第2モード用照明光を発光した場合に、前記観察対象を撮像して得られる第2モード用表示画像とを取得するステップと、
     画像補正部が、前記第1モード用表示画像又は前記第2モード用表示画像を補正して補正画像を得る画像補正部であり、補正前の前記第1モード用表示画像又は前記第2モード用表示画像における前記第1構造の色及び/又は明るさの違いに対して、前記違いが小さくなるように補正するステップと、
    を有する内視鏡システムの作動方法。
PCT/JP2017/033637 2016-10-03 2017-09-19 内視鏡システム及びその作動方法 WO2018066347A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17858186.4A EP3520673A4 (en) 2016-10-03 2017-09-19 ENDOSCOPE SYSTEM AND METHOD OF OPERATION
JP2018543821A JP6690003B2 (ja) 2016-10-03 2017-09-19 内視鏡システム及びその作動方法
US16/367,251 US20190222737A1 (en) 2016-10-03 2019-03-28 Endoscope system and method of operating same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-195345 2016-10-03
JP2016195345 2016-10-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/367,251 Continuation US20190222737A1 (en) 2016-10-03 2019-03-28 Endoscope system and method of operating same

Publications (1)

Publication Number Publication Date
WO2018066347A1 true WO2018066347A1 (ja) 2018-04-12

Family

ID=61830995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033637 WO2018066347A1 (ja) 2016-10-03 2017-09-19 内視鏡システム及びその作動方法

Country Status (4)

Country Link
US (1) US20190222737A1 (ja)
EP (1) EP3520673A4 (ja)
JP (1) JP6690003B2 (ja)
WO (1) WO2018066347A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093355A1 (ja) * 2017-11-13 2019-05-16 富士フイルム株式会社 内視鏡システム及びその作動方法
CN112584747A (zh) * 2018-08-20 2021-03-30 富士胶片株式会社 内窥镜系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584054A (zh) * 2019-09-29 2021-03-30 深圳市光鉴科技有限公司 基于图像编码的亮度自适应调节方法、系统、设备及介质
EP3829159A1 (en) * 2019-11-29 2021-06-02 Ricoh Company, Ltd. Image capturing device, image communication system, and method for display control, and carrier means
CN114431815A (zh) * 2021-12-20 2022-05-06 上海安翰医疗技术有限公司 胶囊内窥镜成像装置、方法及胶囊内窥镜

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244041A (ja) * 2012-05-23 2013-12-09 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法
JP2015192839A (ja) * 2014-03-24 2015-11-05 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP2015198735A (ja) * 2014-04-07 2015-11-12 オリンパス株式会社 生体観察システム
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5591570B2 (ja) * 2010-03-23 2014-09-17 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
CN103533878B (zh) * 2011-09-22 2016-01-20 奥林巴斯株式会社 医疗设备
JP6412709B2 (ja) * 2014-04-02 2018-10-24 オリンパス株式会社 観察画像取得システム
JP5953454B1 (ja) * 2014-09-09 2016-07-20 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法
WO2016043107A1 (ja) * 2014-09-18 2016-03-24 オリンパス株式会社 内視鏡システム
US10039439B2 (en) * 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
WO2017046857A1 (ja) * 2015-09-14 2017-03-23 オリンパス株式会社 内視鏡装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244041A (ja) * 2012-05-23 2013-12-09 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像生成方法
JP2015192839A (ja) * 2014-03-24 2015-11-05 富士フイルム株式会社 医用画像処理装置及びその作動方法
JP2015198735A (ja) * 2014-04-07 2015-11-12 オリンパス株式会社 生体観察システム
JP2016067778A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3520673A4 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019093355A1 (ja) * 2017-11-13 2019-05-16 富士フイルム株式会社 内視鏡システム及びその作動方法
US11523733B2 (en) 2017-11-13 2022-12-13 Fujifilm Corporation Endoscope system and method of operating the same
CN112584747A (zh) * 2018-08-20 2021-03-30 富士胶片株式会社 内窥镜系统
JPWO2020039932A1 (ja) * 2018-08-20 2021-08-12 富士フイルム株式会社 内視鏡システム
US11937788B2 (en) 2018-08-20 2024-03-26 Fujifilm Corporation Endoscope system
CN112584747B (zh) * 2018-08-20 2024-05-28 富士胶片株式会社 内窥镜系统

Also Published As

Publication number Publication date
EP3520673A1 (en) 2019-08-07
EP3520673A4 (en) 2019-09-18
US20190222737A1 (en) 2019-07-18
JPWO2018066347A1 (ja) 2019-07-18
JP6690003B2 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
US10708478B2 (en) Image transformation and display for fluorescent and visible imaging
JP6461739B2 (ja) 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP6690003B2 (ja) 内視鏡システム及びその作動方法
WO2018180631A1 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
WO2017170233A1 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP6313884B2 (ja) 内視鏡システム及びその作動方法
JP6099603B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2011092690A (ja) 電子内視鏡システム、電子内視鏡用のプロセッサ装置、及び血管情報取得方法
JP6050286B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム
JP6581952B2 (ja) 内視鏡システム及びその作動方法
JP2016010506A (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム
JP5972312B2 (ja) 医用画像処理装置及びその作動方法
WO2018142658A1 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
JP6979510B2 (ja) 内視鏡システム及びその作動方法
JP2016107003A (ja) 医用画像処理装置及びその作動方法
JP6616071B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP2019136555A (ja) 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
JP7196016B2 (ja) 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法
JP2016158837A (ja) 内視鏡光源装置、内視鏡システム、及び内視鏡光源装置の作動方法
JP6285373B2 (ja) 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP7235540B2 (ja) 医療用画像処理装置及び医療用観察システム
JP6261446B2 (ja) 内視鏡装置
JP6383829B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858186

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018543821

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017858186

Country of ref document: EP