WO2021070688A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2021070688A1
WO2021070688A1 PCT/JP2020/036988 JP2020036988W WO2021070688A1 WO 2021070688 A1 WO2021070688 A1 WO 2021070688A1 JP 2020036988 W JP2020036988 W JP 2020036988W WO 2021070688 A1 WO2021070688 A1 WO 2021070688A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
image
blood vessel
contrast
green
Prior art date
Application number
PCT/JP2020/036988
Other languages
English (en)
French (fr)
Inventor
青山　達也
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202080071079.0A priority Critical patent/CN114554932A/zh
Priority to JP2021551332A priority patent/JP7312843B2/ja
Publication of WO2021070688A1 publication Critical patent/WO2021070688A1/ja
Priority to US17/715,925 priority patent/US20220225866A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0684—Endoscope light sources using light emitting diodes [LED]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to an endoscopic system that displays a plurality of blood vessels having different depths and a method of operating the same.
  • an endoscope system including a light source device, an endoscope, and a processor device.
  • an endoscopic image as a medical image is acquired by irradiating an observation object with illumination light and imaging the observation object illuminated by the illumination light.
  • the endoscopic image is displayed on the display and used for diagnosis.
  • Patent Documents 1 to 3 purple light having a central wavelength of 410 nm and blue light having a central wavelength of 450 nm are alternately emitted, and the signal obtained from a specific pixel of the image sensor at the time of each emission is obtained. Based on this, the vascular information on the polar surface is visualized.
  • the image sensor is a color sensor composed of three pixels of RGB, and blue light of 450 nm is a signal obtained from the B pixel.
  • purple light and blue light are used for the following reasons. It is known that purple light at 410 nm has a high contrast of shallow blood vessels, whereas the contrast of blood vessels decreases sharply as the depth of blood vessels increases. On the other hand, it is known that the contrast of shallow blood vessels in blue light at 450 nm is lower than that in purple light at 410 nm, but the decrease in blood vessel contrast with the depth of blood vessels becomes gradual. By using purple light and blue light having different changes in blood vessel contrast as described above, it is possible to visualize the blood vessel information of the polar superficial blood vessels.
  • Patent Document 4 states that when purple light and blue light for exciting green light or red light from a phosphor are simultaneously emitted, the vascular contrast with respect to the mucous membrane is set to the depth and thickness of the blood vessel. It is described that the light amount ratio of purple light and blue light is set so as to obtain a target contrast according to the target.
  • Patent Document 4 does not describe or suggest the light intensity ratio of the two types of illumination light for clarifying the difference between the polar superficial blood vessel and the superficial blood vessel located deeper than the polar superficial blood vessel.
  • the present invention is an endoscope system capable of clarifying the difference between a plurality of blood vessels having different depths when illuminating an observation target by mixing a plurality of types of illumination lights having different wavelengths from each other and a method for operating the endoscope system.
  • the purpose is to provide.
  • the endoscope system of the present invention can independently emit purple light and green light from a light source unit that emits purple light and green light, and mixes purple light and green light at the first light amount ratio.
  • a processor for a light source that emits light and an observation target in which purple light and green light are emitted at the first light amount ratio are imaged, and a blue image containing a purple light component and a green image containing a green light component are obtained. It is equipped with an image control processor that acquires a color image of the first mixed-color emission including the first, and is a first combination of a vascular contrast of a blue image of the first mixed-color emission and a vascular contrast of a green image of the first mixed-color emission at a specific blood vessel depth.
  • the blood vessel depth satisfies the second condition.
  • the first condition is that the contrast difference value of the first mixed color emission is obtained by emitting only the vascular contrast of the blue image of the purple light monochromatic emission obtained by emitting only purple light at a specific blood vessel depth and the blue light. It is preferable that the blue light is within the first range determined based on the contrast difference value between the vascular contrast of the blue image of the monochromatic light emission and the monochromatic light emission.
  • the second condition is that the cross-point blood vessel depth of the first mixed color emission is the vascular contrast of the blue image of the purple light monochromatic emission obtained by emitting only purple light and the blue light monochromatic emission obtained by emitting only blue light. It is preferably within the second range determined based on the vascular contrast of the blue image and the crosspoint vascular depth of monochromatic light emission corresponding to the crosspoint.
  • the endoscope system of the present invention can independently emit purple light, green light, and red light, and purple light, green light, and red light, respectively, and can emit purple light, green light, and red light.
  • a processor for a light source that emits light at a second light amount ratio by mixing the above, and an observation target in which purple light, green light, and red light are emitted at a second light amount ratio are imaged, and the components of purple light are obtained.
  • a processor for image control that acquires a color image of a second mixed color emission including a blue image including a blue image and a green image containing green light and a component of red light is provided, and the blue image of the second mixed color emission at a specific blood vessel depth is provided.
  • the contrast difference value of the second mixed color emission between the vascular contrast and the vascular contrast of the green image of the second mixed color emission satisfies the first condition, and the vascular contrast of the blue image of the second mixed color emission and the green image of the second mixed color emission.
  • the crosspoint vascular depth of the second mixed color emission corresponding to the crosspoint with the vascular contrast of the second condition satisfies the second condition.
  • Purple light preferably has a central wavelength of 405 nm and green light preferably has a wavelength range of 480 to 600 nm. Purple light preferably has a central wavelength of 405 nm, green light preferably has a wavelength range of 480 to 600 nm, and red light preferably has a central wavelength of 620 to 630 nm.
  • the light source processor that controls the light source unit that emits purple light and green light can emit purple light and green light independently, respectively, and the purple light and green light can be emitted.
  • the first condition that the contrast difference value of the first mixed color emission with the contrast satisfies the first condition and corresponds to the cross point between the vascular contrast of the blue image of the first mixed color emission and the vascular contrast of the green image of the first mixed color emission.
  • the cross-point blood vessel depth of mixed color emission satisfies the second condition.
  • FIG. 1 It is an image diagram which shows the blood vessel image in the case of monochromatic light emission. It is an image diagram which shows the difference display image of Example 1.
  • FIG. It is an image diagram which shows the blood vessel image of Example 3. It is an image diagram which shows the blood vessel image of Example 4.
  • FIG. It is an image diagram which shows the difference display image of Example 4.
  • FIG. It is an image diagram which shows the blood vessel image of Example 6.
  • FIG. 1 It is an image diagram which shows the blood vessel image of the comparative example 1.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a display 18, and a user interface 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the body to be observed, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip provided on the tip end side of the insertion portion 12a. It has a part 12d.
  • the curved portion 12c bends by operating the angle knob 12e of the operating portion 12b.
  • the tip portion 12d is directed in a desired direction by the bending motion of the bending portion 12c.
  • the operation unit 12b includes a mode switching SW (mode switching switch) 12f used for mode switching operation, and a still image acquisition instruction unit 12g used for instructing acquisition of a still image to be observed.
  • a zoom operation unit 12h used for operating the zoom lens 43 (see FIG. 2) is provided.
  • the endoscope system 10 has three modes: a normal light mode, a special light mode, and a disease-related processing mode.
  • a normal light mode a normal light image having a natural hue is displayed on the display 18 by illuminating the observation target with normal light and taking an image.
  • a special light mode a special light image having a specific structure emphasized is displayed on the display 18 by illuminating the observation target with special light having a wavelength band different from that of normal light and taking an image.
  • the stage of Barrett's esophagus which is one of the diseases, is determined based on a normal optical image or a special optical image.
  • treatment for other diseases such as pathological remission or non-pathological remission of ulcerative colitis may be performed.
  • a special optical image is used in the disease-related processing mode, but a normal optical image may be used.
  • the images used in the disease-related processing mode include a special optical image as an endoscopic image, which is one of medical images, a radiographic image obtained by a radiography apparatus, and a CT image obtained by CT (Computed Tomography).
  • a medical image such as an MRI image obtained by MRI (Magnetic Resonance Imaging) may be used.
  • the processor device 16 to which the endoscope 12 is connected corresponds to the image processing device of the present invention, and the processor device 16 executes the disease-related processing mode, but executes the disease-related processing mode by another method. You may do so.
  • the function of the disease-related processing unit 66 is provided in an external image processing device different from the endoscope system 10, a medical image is input to the external image processing device to execute the disease-related processing mode, and the execution result thereof. May be displayed on an external display connected to an external image processing device.
  • the processor device 16 is electrically connected to the display 18 and the user interface 19.
  • the display 18 outputs and displays an image to be observed, information incidental to the image to be observed, and the like.
  • the user interface 19 has a function of accepting input operations such as function settings.
  • An external recording unit (not shown) for recording an image, image information, or the like may be connected to the processor device 16. Further, the processor device 16 corresponds to the image processing device of the present invention.
  • the light source device 14 includes a light source unit 20 and a light source control unit 21 that controls the light source unit 20.
  • the light source unit 20 has, for example, a plurality of semiconductor light sources, each of which is turned on or off, and when the light source unit 20 is turned on, the amount of light emitted from each semiconductor light source is controlled to emit illumination light that illuminates the observation target.
  • the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light).
  • EmittingDiode It has a 20d 4-color LED.
  • programs related to various processes are incorporated in the program memory.
  • the function of the light source control unit 21 is realized by executing the program in the program memory by the light source central control unit composed of the light source processor.
  • the V-LED 20a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED 20b generates blue light B having a center wavelength of 450 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED20d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source control unit 21 controls the V-LED20a, B-LED20b, G-LED20c, and R-LED20d. By controlling each of the LEDs 20a to 20d independently, the light source control unit 21 can emit violet light V, blue light B, green light G, or red light R by independently changing the amount of light. Further, the light source control unit 21 emits normal light having a light amount ratio of Vc: Bc: Gc: Rc among the purple light V, the blue light B, the green light G, and the red light R in the normal light mode. , Each LED 20a to 20d is controlled.
  • the light amount ratio of the purple light V as the short wavelength narrow band light to the blue light B, the green light G, and the red light R is Vs:
  • Each LED 20a to 20d is controlled so as to emit special light having Bs: Gs: Rs.
  • the superficial blood vessels whose blood vessel depth (representing the distance ( ⁇ m) with respect to the mucosal surface in the depth direction orthogonal to the mucosal surface) is located up to 50 ⁇ m, and the blood vessel depth is 50 ⁇ m to 200 ⁇ m.
  • purple light V and green light G are mixed as special light to obtain the first light amount ratio. Lights up. Further, in the disease-related processing mode, in order to obtain a blood vessel image that clearly shows the difference between the polar superficial blood vessels and the superficial blood vessels, purple light V, green light G, and red light R are mixed as special light to obtain a second light amount ratio. Lights up at. The details of the first light amount ratio and the second light amount ratio will be described later.
  • the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, this includes the case where any one or more of the semiconductor light sources are not lit. For example, as in the case where the light intensity ratio between the purple light V, the blue light B, the green light G, and the red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other three are turned on. Even if it does not light up, it shall have a light intensity ratio.
  • the light emitted by each of the LEDs 20a to 20d is incident on the light guide 25 via the optical path coupling portion 23 composed of a mirror, a lens, or the like.
  • the light guide 25 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14, and the processor device 16).
  • the light guide 25 propagates the light from the optical path coupling portion 23 to the tip portion 12d of the endoscope 12.
  • the tip portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30a has an illumination lens 32, and the illumination light propagated by the light guide 25 is applied to the observation target through the illumination lens 32.
  • the image pickup optical system 30b has an objective lens 42 and an image pickup sensor 44. The light from the observation target due to the irradiation of the illumination light is incident on the image pickup sensor 44 via the objective lens 42 and the zoom lens 43. As a result, an image to be observed is formed on the image sensor 44.
  • the zoom lens 43 is a lens for enlarging the observation target, and moves between the telephoto end and the wide end by operating the zoom operation unit 12h.
  • a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor can be used.
  • a complementary color image sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) may be used.
  • the image signals of the four colors of CMYG are output. Therefore, by converting the image signals of the four colors of CMYG into the image signals of the three colors of RGB by the complementary color-primary color conversion, the image signals of the four colors of CMYG are converted into the image signals of the three colors of RGB. An image signal of each RGB color similar to that of the image sensor 44 can be obtained.
  • the image pickup sensor 44 is a primary color system color sensor, and is a B pixel (blue pixel) having a blue color filter, a G pixel (green pixel) having a green color filter, and an R pixel (red pixel) having a red color filter. It is provided with three types of pixels.
  • the blue color filter BF mainly transmits light in the blue band, specifically, light in the wavelength band of 380 to 560 nm.
  • the transmittance of the blue color filter BF peaks at a wavelength of around 460 to 470 nm.
  • the green color filter transmits GF, mainly light in the green band, specifically, light in the wavelength band of 460 to 620 nm.
  • the red color filter RF mainly transmits light in the red band, specifically, light in the wavelength band of 580 to 760 nm.
  • the image pickup sensor 44 is driven and controlled by the image pickup control unit 45.
  • the control in the image pickup control unit 45 is different for each mode.
  • the image pickup control unit 45 controls the image pickup sensor 44 so as to take an image of the observation target illuminated by the normal light.
  • the blue image Bc is output from the B pixel of the image sensor 44
  • the green image Gc is output from the G pixel
  • the red image Rc is output from the R pixel.
  • the image pickup control unit 45 controls the image pickup sensor 44 and controls the image pickup sensor 44 so as to take an image of an observation target illuminated by the special light.
  • the blue image Bs is output from the B pixel of the image sensor 44
  • the green image Gc is output from the G pixel
  • the red image Rs is output from the R pixel.
  • the CDS / AGC (Correlated Double Sampling / Automatic Gain Control) circuit 46 performs correlated double sampling (CDS) and automatic gain control (AGC) on the analog image signal obtained from the image sensor 44.
  • CDS correlated double sampling
  • AGC automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 46 is converted into a digital image signal by the A / D (Analog / Digital) converter 48.
  • the digital image signal after A / D conversion is input to the processor device 16.
  • the processor device 16 includes an image acquisition unit 50, a DSP (Digital Signal Processor) 52, a noise reduction unit 54, an image processing switching unit 56, an image processing unit 58, and a display control unit 60.
  • the image processing unit 58 includes a normal optical image generation unit 62, a special optical image generation unit 64, and a disease-related processing unit 66.
  • the processor device 16 incorporates programs related to various processes in the program memory. By executing the program in the program memory by the central control unit composed of the image control processor, the image acquisition unit 50, the noise reduction unit 54, the image processing switching unit 56, the image processing unit 58, and the display control unit 60 are executed. Function is realized.
  • the image acquisition unit 50 acquires a color image of an endoscope image, which is one of the medical images input from the endoscope 12.
  • the color image includes a blue image, a green image, and a red image output from the B pixel, the G pixel, and the R pixel of the image sensor 44.
  • the acquired color image is transmitted to the DSP 52.
  • the DSP 52 performs various signal processing such as defect correction processing, offset processing, gain correction processing, matrix processing, gamma conversion processing, demosaic processing, and YC conversion processing on the received color image.
  • defect correction process the signal of the defective pixel of the image sensor 44 is corrected.
  • the offset processing the dark current component is removed from the image signal subjected to the defect correction processing, and an accurate zero level is set.
  • the gain correction process adjusts the signal level of a color image by multiplying the image signal of each color after the offset process by a specific gain.
  • the image signal of each color after the gain correction processing is subjected to matrix processing for enhancing color reproduc
  • the color image after the matrix processing is subjected to demosaic processing (also referred to as isotropic processing or simultaneous processing), and a signal of the missing color of each pixel is generated by interpolation.
  • demosaic processing also referred to as isotropic processing or simultaneous processing
  • all the pixels have signals of each color of RGB.
  • the DSP 52 performs YC conversion processing on the color image after the demosaic processing, and outputs the luminance signal Y, the color difference signal Cb, and the color difference signal Cr to the noise reduction unit 54.
  • the noise reduction unit 54 performs noise reduction processing by, for example, a moving average method or a median filter method on a color image that has undergone demosaic processing or the like by DSP 56.
  • the color image with reduced noise is input to the image processing switching unit 56.
  • the image processing switching unit 56 sets the transmission destination of the image signal from the noise reduction unit 54 to any of the normal optical image generation unit 62, the special optical image generation unit 64, and the disease-related processing unit 66. Switch to. Specifically, when the normal light mode is set, the image signal from the noise reduction unit 54 is input to the normal light image generation unit 62. When the special light mode is set, the image signal from the noise reduction unit 54 is input to the special light image generation unit 64. When the disease-related processing mode is set, the image signal from the noise reduction unit 54 is input to the disease-related processing unit 66.
  • the normal optical image generation unit 62 performs normal light image image processing on the input Rc image signal, Gc image signal, and Bc image signal for one frame.
  • Image processing for ordinary optical images includes 3 ⁇ 3 matrix processing, gradation conversion processing, color conversion processing such as 3D LUT (Look Up Table) processing, color enhancement processing, and structure enhancement processing such as spatial frequency enhancement. Is done.
  • the Rc image signal, the Gc image signal, and the Bc image signal that have undergone image processing for a normal optical image are input to the display control unit 60 as a normal light image.
  • the special light image generation unit 64 performs special light image image processing on the input Rs image signal, Gs image signal, and Bs image signal for one frame.
  • Image processing for special optical images includes 3x3 matrix processing, gradation conversion processing, color conversion processing such as 3D LUT (Look Up Table) processing, color enhancement processing, and structure enhancement processing such as spatial frequency enhancement. Is done.
  • the Rs image signal, Gs image signal, and Bs image signal that have undergone image processing for special light images are input to the display control unit 60 as special light images.
  • the disease-related processing unit 66 performs disease-related processing based on a blood vessel image (an image in which the difference between a polar superficial blood vessel and a superficial blood vessel is clarified), which is one of medical images. Specifically, the disease-related processing unit 66 determines the stage of Barrett's esophagus as a disease-related process. Information about the determination result is input to the display control unit 60. Details of the disease-related processing unit 66 will be described later.
  • the display control unit 60 controls to display the image output from the image processing unit 58 on the display 18. Specifically, the display control unit 60 converts information about a normal light image, a special light image, or a determination result into a video signal that can be displayed in full color on the display 18. The converted video signal is input to the display 18. As a result, the display 18 displays information on the normal light image, the special light image, or the determination result.
  • the first light quantity ratio and the second light quantity ratio for obtaining a blood vessel image that clarifies the difference between the polar superficial blood vessels and the superficial blood vessels will be described.
  • G is mixed and emits light.
  • a color image of the first mixed color emission can be obtained by taking an image of the observation target emitted by the first light amount ratio with the image sensor 44.
  • the color image of the first mixed color emission includes a blue image Bs containing a component of purple light V and a green image Gs containing a component of green light G.
  • the color image of the first mixed color emission has the following characteristics regarding the blood vessel contrast showing the contrast between the blood vessels and other non-blood vessels such as mucous membranes, so that the polar superficial blood vessels and the superficial blood vessels having different blood vessel depths are used.
  • a blood vessel image that clarifies the difference can be obtained.
  • the contrast difference value ⁇ C1 of light emission satisfies the first condition.
  • the crosspoint blood vessel depth VD1 of the first mixed color emission corresponding to the crosspoint CP1 between the blood vessel contrast VCb1 of the blue image Bs of the first mixed color emission and the blood vessel contrast VCg1 of the green image Gs of the first mixed color emission is the second.
  • the conditions are met.
  • the specific depth in addition to the blood vessel depth of "0 ⁇ m", the blood vessel depth may exceed "0" and may be, for example, "10 ⁇ m" or less.
  • the above-mentioned first condition and second condition are determined by comparison with the blood vessel contrast of monochromatic light emission obtained when purple light V and blue light B are emitted alternately in a single color. ..
  • the vascular contrast of monochromatic light emission the vascular contrast VCbmv and blue of the blue image Bs of purple light monochromatic light emission obtained when only purple light V is emitted at a blood vessel depth of "0 ⁇ m" (specific depth).
  • the contrast difference value ⁇ Cm of the monochromatic light emission from the blood vessel contrast VCbmb of the blue image Bs of the blue light monochromatic light emission obtained when only the light B is emitted is included.
  • a cross-point blood vessel depth VDm of monochromatic light emission corresponding to a cross-point CPm between the blood vessel contrast VCbmv of the blue image Bs of purple light monochromatic light emission and the blood vessel contrast VCbmb of the blue image Bs of blue light monochromatic light emission is included.
  • the third condition is that, as a result of comparing the change in the blood vessel contrast of the first mixed color emission and the change in the blood vessel contrast of the single color emission, both are similar.
  • the processing related to the comparison may be performed by pattern matching or the like.
  • the blood vessel contrast difference value ⁇ C1 of the first mixed color emission is within the first range determined based on the contrast difference value ⁇ Cm of the monochromatic emission.
  • the first range is, for example, preferably 50% or more, more preferably 60% or more with respect to ⁇ Cm.
  • the blood vessel contrast difference value ⁇ C1 for the first mixed color light emission in Example 1 is “0”. Since it is "0.085", it is within the first range.
  • the first condition in addition to being within the first range, it may be the same as or greater than or equal to the threshold value for the difference value with respect to the single color emission contrast difference value ⁇ Cm.
  • the crosspoint blood vessel depth VD1 of the first mixed color emission is within the second range determined based on the crosspoint blood vessel depth VDm of the monochromatic emission.
  • the second range is, for example, preferably 1.4 times or less with respect to VDm. Specifically, as shown in the following examples, when the cross-point blood vessel depth of monochromatic light emission is "60 ⁇ m", the cross-point blood vessel depth of the first mixed color light emission of Example 1 is "55 ⁇ m". It is within the second range.
  • a color image of the second mixed color emission can be obtained by taking an image of the observation target emitted by the second light amount ratio with the image sensor 44.
  • the color image of the second mixed color emission includes a blue image Bs containing a component of purple light V and a green image Gs containing a component of green light G and a component of red light R.
  • the color image of the second mixed color emission has the following characteristics regarding the blood vessel contrast, so that it is possible to obtain a blood vessel image that clarifies the difference between the polar superficial blood vessels and the superficial blood vessels having different blood vessel depths.
  • the contrast difference value ⁇ C2 of light emission satisfies the second condition.
  • the second crosspoint blood vessel depth VD2 of the second mixed color emission corresponding to the crosspoint CP2 between the blood vessel contrast VCb2 of the blue image Bs of the second mixed color emission and the blood vessel contrast VCg2 of the green image Gs of the first mixed color emission is second.
  • the conditions are met.
  • the first condition and the second condition in the case of the second mixed color emission may be the same as in the case of the first mixed color emission, but may be different.
  • the disease-related processing unit 66 performs disease-related processing based on the color image of the first mixed color emission or the second mixed color emission as a special light image. Specifically, as shown in FIG. 10, the disease-related processing unit 66 extracts the polar surface blood vessels or the blood vessel extraction unit 70 that extracts the polar surface blood vessels or the surface blood vessels from the color image of the first mixed color emission or the second mixed color emission. Based on the blood vessels, the blood vessel density of the polar superficial blood vessels, the ratio of the blood vessel density of the polar superficial blood vessels to the blood vessel density of the superficial blood vessels, the distribution of these, etc.
  • a blood vessel image processing unit 74 that performs blood vessel image processing that enhances the difference in visibility of a plurality of blood vessels having different blood vessel depths with respect to a color image of mixed color emission.
  • the blood vessel extraction unit 70 acquires a blood vessel extraction image based on at least one of the frequency characteristic and the brightness value obtained from the color image of the first mixed color emission or the second mixed color emission.
  • a plurality of blood vessels having different depths may be separated and extracted.
  • the blood vessel extraction unit 70 provides a polar surface layer of a blood vessel region in which the blood vessel contrast of the green image Gs of the first mixed color emission or the second mixed color emission is larger than the blood vessel contrast of the blue image Bs of the first mixed color emission or the second mixed color emission. Extract as a blood vessel.
  • the blood vessel extraction unit 70 polarizes the blood vessel region in which the blood vessel contrast of the blue image Bs of the first mixed color emission or the second mixed color emission is larger than the blood vessel contrast of the green image Gs of the first mixed color emission or the second mixed color emission. It is extracted as a superficial blood vessel located deeper than the superficial blood vessel.
  • a blood vessel extract image is obtained by synthesizing the extracted polar superficial blood vessels and superficial blood vessels.
  • the determination unit 72 is an index value (disease) obtained based on the blood vessel density or density of the polar superficial blood vessels or the blood vessel density or density of the surface blood vessels in the blood vessel extraction image obtained by the blood vessel extraction unit 70.
  • the stage of Barrett's esophagus is determined using the index value related to the stage of.
  • the index value is preferably the ratio of the blood vessel density of the polar superficial blood vessels to the blood vessel density of the superficial blood vessels. Specifically, when the index value is less than the threshold value, the determination unit 72 determines that it is the initial stage of Barrett's esophagus, and when the index value is greater than or equal to the threshold value, it determines that it is the progress stage of Barrett's esophagus.
  • the above information regarding the determination by the determination unit 72 is displayed on the display 18 and used for the user to determine the stage of Barrett's esophagus.
  • Barrett's esophagus is determined to be an advanced stage by the determination unit 72
  • a “biopsy required” message indicating that a biopsy is required is displayed on the display 18, as shown in FIG.
  • the special optical image used for the determination by the determination unit 72 and the heat map showing the distribution of the ratio of the blood vessel density of the polar superficial blood vessels to the blood vessel density of the superficial blood vessels are superimposed and displayed. It is preferable to do so.
  • the image processing unit 74 for blood vessels performs image processing for blood vessels on the color image of the second mixed color emission to determine the difference in visibility between the polar surface blood vessels and the surface blood vessels in the color image of the second mixed color emission. It is closer to the case of a color image with mixed color emission. In this way, the difference between the polar surface blood vessels and the surface blood vessels in the color image of the second mixed color emission can be improved only by the image processing for blood vessels because the contrast difference value ⁇ C2 of the second mixed color emission is relatively large and the color difference. This is because the resolution is high.
  • the image processing for blood vessels is a gain processing or a matrix processing set to enhance the difference in visibility between the polar superficial blood vessels and the superficial blood vessels. Further, image processing for blood vessels may be performed on the color image of the first mixed color emission. In this case, it is preferable that the treatment enhances the difference in visibility between the polar superficial blood vessels and the superficial blood vessels.
  • the color image of the first mixed color emission or the second mixed color emission was used for the stage determination of Barrett's esophagus as described above, it may be displayed on the display 18 as a blood vessel image.
  • the display control unit 60 assigns the blue image Bs of the color image of the first mixed color emission or the second mixed color emission to the brightness signal Y, and sets the blue image Bs of the color image of the first mixed color emission or the second mixed color emission.
  • a calculated image based on the green image Gs (a difference image when a difference is used as the calculation) to the color difference signals Cr and Cb, as shown in FIG. 12, a vascular image that clarifies the difference between the polar superficial blood vessels and the superficial blood vessels. Is displayed on the display 18.
  • the blood vessel extraction unit 70 extracts the polar superficial blood vessels or the superficial blood vessels based on the frequency characteristics or the brightness values obtained from the color image of the first mixed color emission.
  • the determination unit 72 determines the stage of Barrett's esophagus using an index value obtained based on the blood vessel density of the polar superficial blood vessels and the ratio of the blood vessel density of the superficial blood vessels. Information about the determination by the determination unit 72 is displayed on the display 18.
  • Vs: Bs: Gs: Rs was set to "1: 0: 0.45: 0" as the first light intensity ratio.
  • Vs: Bs: Gs: Rs is represented by the ratio of the amount of light (mw) of each color emitted from each of the LEDs 20a to 20d via the tip portion 12d of the endoscope 12.
  • the blood vessel contrast VCb1 (denoted as B0) and VCg1 (denoted as G0) of the first mixed color emission when the blood vessel depth is "0 ⁇ m" are subjected to simulation processing such as Monte Carlo simulation.
  • the blood vessel contrast ⁇ C1 of the first mixed color emission was obtained from these blood vessel contrasts.
  • the cross-point blood vessel depth VDm of the first mixed color emission was calculated.
  • the simulation process is calculated based on a calculated value obtained by multiplying the first light amount ratio, the reflectance of the observation target (for example, the reflectance of the large intestine of a pig), and the transmittance of the image sensor 44, respectively.
  • Example 1 and other Examples 2 to 6 and Comparative Examples 1 to 5 purple light V and blue light G are each in a single color.
  • Simulations such as Monte Carlo simulation for the blood vessel contrast VCbmv (denoted as B0m) and VCbmb (denoted as G0m) of monochromatic light emission when the blood vessel depth is "0 ⁇ m" in the case of light emission (V, B monochromatic light emission). Calculated using processing. At the same time, the cross-point blood vessel depth VDm of monochromatic emission was calculated.
  • Example 2 As the first light intensity ratio, Vs: Bs: Gs: Rs was set to "1: 0: 0.3: 0". Other than that, it is the same as in Example 1.
  • Example 3 As the first light intensity ratio, Vs: Bs: Gs: Rs was set to "1: 0: 0.15: 0". Other than that, it is the same as in Example 1.
  • Vs: Bs: Gs: Rs was set to "1: 0: 0.45: 0.15". Then, the blood vessel contrast VCb2 (denoted as B0) and VCg2 (denoted as G0) of the second mixed color emission when the blood vessel depth is "0 ⁇ m" are calculated, and the blood vessel contrast ⁇ C2 of the first mixed color emission is obtained from these blood vessel contrasts. It was. At the same time, the cross-point blood vessel depth VDm of the second mixed color emission was calculated.
  • Vs: Bs: Gs: Rs was set to "1: 0: 0.3: 0.1". Other than that, it is the same as in Example 4.
  • Vs: Bs: Gs: Rs was set to "1: 0: 0.15: 0.05". Other than that, it is the same as in Example 4.
  • the light intensity ratio Vs: Bs: Gs: Rs was set to "1: 0: 0.15: 0.15", and light was emitted at a third light intensity ratio of a mixed color including at least purple light V, green light G, and red light R. ..
  • a color image of the third mixed color emission can be obtained.
  • the features relating to the vascular contrast of the third mixed color emission include the vascular contrast VCb3 and the third vascular contrast VCb3 of the blue image Bs of the color image of the third mixed color emission when the blood vessel depth is "0 ⁇ m" (specific depth).
  • the contrast difference value ⁇ C3 of the third mixed color emission with the blood vessel contrast VCg3 of the green image Gs of the color image of the mixed color emission is included.
  • the crosspoint blood vessel depth VD3 of the third mixed color emission corresponding to the crosspoint CP3 between the blood vessel contrast VCb3 of the blue image Bs of the third mixed color emission and the blood vessel contrast VCg3 of the green image Gs of the third mixed color emission is included.
  • the blood vessel contrast VCb3 (denoted as B0) and VCg3 (denoted as G0) of the first mixed color emission when the blood vessel depth is “0 ⁇ m” are calculated by using a simulation process such as Monte Carlo simulation. From these blood vessel contrasts, the blood vessel contrast ⁇ C3 of the third mixed color emission was obtained. At the same time, the cross-point blood vessel depth VD3 of the third mixed color emission was calculated. The simulation process is the same as in the first embodiment.
  • Vs: Bs: Gs: Rs was set to "1: 0: 0.15: 0.1". Other than that, it is the same as in Comparative Example 1.
  • Vs: Bs: Gs: Rs was set to "1: 0.3: 0.45: 0.15". Other than that, it is the same as in Comparative Example 1.
  • Vs: Bs: Gs: Rs was set to "1: 0.2: 0.3: 0.1". Other than that, it is the same as in Comparative Example 1.
  • Vs: Bs: Gs: Rs was set to "1: 0.1: 0.15: 0.05". Other than that, it is the same as in Comparative Example 1.
  • the blue image Bs of the first mixed color emission is assigned to the brightness signal Y
  • the difference image between the blue image Bs of the first mixed color emission and the green image is the color difference signal Cr.
  • the difference between the polar superficial blood vessel VCx and the superficial blood vessel VCy is clear, as in the case of the monochromatic light emission shown in FIG.
  • FIG. 18 it can be seen that the difference between the polar superficial blood vessels and the superficial blood vessels is clear even in the difference display image in which the difference image is represented by the brightness.
  • the cross-point blood vessel depth CP1 is "55 ⁇ m", which is within the second range (1.4 times or less with respect to the monochromatic light-emitting cross-point blood vessel depth CPm "60 ⁇ m”). .. Therefore, both the first condition and the second condition are satisfied. Therefore, a blood vessel image in which the difference between the polar superficial blood vessels and the superficial blood vessels is clear was obtained (not shown).
  • the cross-point blood vessel depth CP1 is "60 ⁇ m", which is within the second range (1.4 times or less of the cross-point blood vessel depth CPm "60 ⁇ m” of monochromatic light emission). .. Therefore, both the first condition and the second condition are satisfied. Therefore, in the blood vessel image of Example 3 shown in FIG. 19, the difference between the polar superficial blood vessel VCx and the superficial blood vessel VCy is clear, as in the case of the monochromatic light emission shown in FIG.
  • the cross-point blood vessel depth CP2 is "75 ⁇ m", which is within the second range (1.4 times or less with respect to the monochromatic light-emitting cross-point blood vessel depth CPm "60 ⁇ m”). .. Therefore, both the first condition and the second condition are satisfied.
  • the difference between the polar surface blood vessel VCx and the surface blood vessel VCy is clear, similar to the blood vessel image in the case of monochromatic light emission shown in FIG.
  • the difference between the polar superficial blood vessels and the superficial blood vessels is also clarified in the difference display image in which the difference image between the blue image Bs and the green image Gs of the color image of the second mixed color emission is represented by the brightness.
  • the contrast difference value ⁇ C2 becomes the contrast difference value ⁇ C1 by adding the red light R to the purple light V and the green light G of Examples 1 to 3. It can be seen that the cross-point vessel depth CP2 is larger than the cross-point vessel depth CP1.
  • the cross-point blood vessel depth CP2 is "75 ⁇ m", which is within the second range (1.4 times or less with respect to the monochromatic light-emitting cross-point blood vessel depth CPm "60 ⁇ m”). .. Therefore, both the first condition and the second condition are satisfied. Therefore, both the first condition and the second condition are satisfied. Therefore, a blood vessel image in which the difference between the polar superficial blood vessels and the superficial blood vessels is clear was obtained (not shown).
  • the cross-point blood vessel depth CP2 is "75 ⁇ m", which is within the second range (1.4 times or less with respect to the monochromatic light-emitting cross-point blood vessel depth CPm "60 ⁇ m”). .. Therefore, both the first condition and the second condition are satisfied. Therefore, in the blood vessel image of Example 6 shown in FIG. 22, the difference between the polar surface blood vessel VCx and the surface blood vessel VCy is clear, similar to the blood vessel image in the case of monochromatic light emission shown in FIG.
  • the cross-point blood vessel depth CP3 was "100 ⁇ m", which was outside the second range (1.4 times or less with respect to the monochromatic cross-point blood vessel depth CPm "60 ⁇ m"). It has become. Therefore, although the first condition is satisfied, the second condition is not satisfied. Therefore, the blood vessel image of Comparative Example 1 shown in FIG. 23 is significantly different from the blood vessel image in the case of monochromatic light emission shown in FIG. 17, and the difference between the polar superficial blood vessel VCx and the superficial blood vessel VCy is not clear.
  • the cross-point blood vessel depth CP3 was "100 ⁇ m", which was outside the second range (1.4 times or less with respect to the monochromatic cross-point blood vessel depth CPm "60 ⁇ m"). It has become. Therefore, although the first condition is satisfied, the second condition is not satisfied. Therefore, it was not possible to obtain a blood vessel image in which the difference between the polar superficial blood vessels and the superficial blood vessels was clear (not shown).
  • the cross-point blood vessel depth CP3 was "85 ⁇ m", which was outside the second range (1.4 times or less with respect to the monochromatic cross-point blood vessel depth CPm "60 ⁇ m"). It has become. Therefore, although the first condition is satisfied, the second condition is not satisfied. Therefore, it was not possible to obtain a blood vessel image in which the difference between the polar superficial blood vessels and the superficial blood vessels was clear (not shown).
  • the cross-point blood vessel depth CP3 was "85 ⁇ m", which was outside the second range (1.4 times or less with respect to the monochromatic cross-point blood vessel depth CPm "60 ⁇ m"). It has become. Therefore, although the first condition is satisfied, the second condition is not satisfied. Therefore, it was not possible to obtain a blood vessel image in which the difference between the polar superficial blood vessels and the superficial blood vessels was clear (not shown).
  • the cross-point blood vessel depth CP3 was "85 ⁇ m", which was outside the second range (1.4 times or less with respect to the monochromatic cross-point blood vessel depth CPm "60 ⁇ m"). It has become. Therefore, although the first condition is satisfied, the second condition is not satisfied. Therefore, it was not possible to obtain a blood vessel image in which the difference between the polar superficial blood vessels and the superficial blood vessels was clear (not shown).
  • various types such as a normal light image generation unit 62, a special light image generation unit 64, a disease-related processing unit 66, a blood vessel extraction unit 70, a determination unit 72, and a blood vessel image processing unit 74 included in the image processing unit 58.
  • the hardware structure of the processing unit that executes the processing of is the following various processors.
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used.
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
  • the hardware structure of the storage unit is a storage device such as an HDD (hard disk drive) or SSD (solid state drive).
  • Appendix 1 A light source that emits purple and green light, A light source control unit that can emit purple light and green light independently, and mixes purple light and green light to emit light at the first light intensity ratio.
  • the color of the first mixed color emission including the blue image containing the purple light component and the green image containing the green light component obtained by imaging the observation target in which the purple light and the green light are emitted at the first light amount ratio. Equipped with an image acquisition unit that acquires images
  • the contrast difference value of the first mixed color emission between the blue image of the first mixed color emission and the blood vessel contrast of the green image of the first mixed color emission at a specific blood vessel depth emits only purple light at a specific blood vessel depth.
  • the crosspoint vascular depth of the first mixed luminescence corresponding to the crosspoint between the vascular contrast of the blue image of the first mixed luminescence and the vascular contrast of the green image of the first mixed luminescence is the crosspoint vascular depth of the first mixed luminescence.
  • the vascular contrast of the blue image of purple light monochromatic emission obtained by emitting only purple light and the vascular contrast of the blue image of blue light of blue light monochromatic emission obtained by emitting only blue light and the monochromatic emission corresponding to the cross point An endoscopic system that satisfies that it is within the second range for crosspoint vascular depth.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)

Abstract

互いに波長が異なる複数種類の照明光を混色して観察対象に照明する場合において、互いに深さが異なる複数の血管の違いを明確化することができる内視鏡システム及びその作動方法を提供する。　紫色光と緑色光を混合して第１光量比にて発光する。特定の血管深さにおける第１混色発光の青色画像の血管コントラストと第１混色発光の緑色画像の血管コントラストとの第１混色発光のコントラスト差分値ΔＣ１が第１条件を満たし、且つ、第１混色発光の青色画像の血管コントラストと第１混色発光の緑色画像の血管コントラストとのクロスポイントＣＰ１に対応する第１混色発光のクロスポイント血管深さＶＤ１が第２条件を満たす。

Description

内視鏡システム及びその作動方法
　本発明は、互いに深さが異なる複数の血管を表示する内視鏡システム及びその作動方法に関する。
　医療分野においては、医療画像を用いて診断することが広く行われている。例えば、医療画像を用いる装置として、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムがある。内視鏡システムでは、観察対象に対して照明光を照射し、照明光で照明された観察対象を撮像することにより、医療画像としての内視鏡画像を取得する。内視鏡画像は、ディスプレイに表示され、診断に使用される。
　また、近年では、内視鏡画像に現れる特徴を用いて、疾患を判断することが行われている。例えば、疾患の一つであるバレット食道ではステージ進行に伴い、極めて表層の血管密度の変化が大きくなることから、極表層の血管に着目して、バレット食道のステージ判別を行う。したがって、バレット食道のステージ判別など疾患の判断を確実に行うためには、極表層血管など特定深さの血管を抽出する技術が求められている。これに対して、特許文献１～３においては、中心波長が４１０ｎｍの紫色光と、中心波長が４５０ｎｍの青色光とを交互に発光し、それぞれの発光時に撮像センサの特定画素から得られる信号に基づいて、極表層の血管情報の可視化を行っている。通常、撮像センサはＲＧＢの３つの画素からなるカラーセンサであり、４５０ｎｍの青色光はともにＢ画素から得られる信号となる。
　以上のような紫色光と青色光を用いるのは以下の理由からである。４１０ｎｍの紫色光は、浅い血管のコントラストが高いのに対して、血管深さが大きくなるにつれて血管コントラストが急激に低下することが知られている。一方、４５０ｎｍの青色光は、浅い血管のコントラストは４１０ｎｍの紫色光より低いものの、血管の深さに伴う血管コントラストの低下は緩やかになることが知られている。以上のような血管コントラストの変化が異なる紫色光と青色光を用いることで、極表層血管の血管情報を可視化することを可能にしている。
特開２０１６－０６７７７５号公報 特許第６１９６５８９号 特許第６１５３９１２号 特開２０１９－１２２８６５号公報
　しかしながら、紫色光と青色光は共に撮像センサのＢ画素から得られる信号であるため、紫色光、青色光による信号を同時に取得することができない。このため、特許文献１～３では、紫色光と青色光とを交互に発光して各々の発光に対応した信号を取得する。紫色光と青色光とを交互に発光している関係上、紫色光と青色光の撮影時間にズレが生じる。これに対して、紫色光の画像と青色光の画像の位置合わせを行い、また、特許文献３のように、ロバスト性向上の処理を行うことで、撮影時間のズレに伴う不具合を解消している。ただし、位置合わせ処理やロバスト性向上の処理は、プロセッサ装置の処理負担を大きくする。また、正確な極表層の血管情報が取得しにくくなることがあった。
　そこで、位置ズレの無い極表層血管などの可視化のために、紫色光と緑色光など波長が異なる２種類の照明光を混色して同時に発光することが考えられる。その際、２種類の照明光を交互に発光した場合と同様の視認性が得られるように、２種類の照明光の光量比を設定する必要がある。これに関して、特許文献４には、紫色光と、蛍光体から緑色光や赤色光を励起するための青色光とを同時に発光する場合において、粘膜に対する血管コントラストを、血管の深さ及び太さに応じた目標コントラストになるように、紫色光と青色光の光量比を設定することが記載されている。しかしながら、特許文献４には、極表層血管とその極表層血管よりも深い位置にある表層血管との違いを明確化するための２種類の照明光の光量比については、記載及び示唆が無い。
　本発明は、互いに波長が異なる複数種類の照明光を混色して観察対象に照明する場合において、互いに深さが異なる複数の血管の違いを明確化することができる内視鏡システム及びその作動方法を提供することを目的とする。
　本発明の内視鏡システムは、紫色光と緑色光を発する光源部と、紫色光と緑色光とをそれぞれ独立に発光可能であり、紫色光と緑色光を混合して第１光量比にて発光する光源用プロセッサと、紫色光と緑色光が第１光量比にて発光された観察対象を撮像して得られ、紫色光の成分を含む青色画像と緑色光の成分を含む緑色画像とを含む第１混色発光のカラー画像を取得する画像制御用プロセッサとを備え、特定の血管深さにおける第１混色発光の青色画像の血管コントラストと第１混色発光の緑色画像の血管コントラストとの第１混色発光のコントラスト差分値が第１条件を満たし、且つ、第１混色発光の青色画像の血管コントラストと第１混色発光の緑色画像の血管コントラストとのクロスポイントに対応する第１混色発光のクロスポイント血管深さが第２条件を満たす。
　第１条件は、第１混色発光のコントラスト差分値が、特定の血管深さにおける紫色光のみを発光して得られる紫色光単色発光の青色画像の血管コントラストと青色光のみを発光して得られる青色光単色発光の青色画像の血管コントラストとの単色発光とのコントラスト差分値に基づいて定められる第１範囲内にあることが好ましい。
　第２条件は、第１混色発光のクロスポイント血管深さが、紫色光のみを発光して得られる紫色光単色発光の青色画像の血管コントラストと青色光のみを発光して得られる青色光単色発光の青色画像の血管コントラストとクロスポイントに対応する単色発光のクロスポイント血管深さに基づいて定められる第２範囲内にあることが好ましい。
　本発明の内視鏡システムは、紫色光と緑色光と赤色光を発する光源部と、紫色光と緑色光と赤色光とをそれぞれ独立に発光可能であり、紫色光、緑色光、及び赤色光を混合して第２光量比にて発光する光源用プロセッサと、紫色光、緑色光、及び赤色光が第２光量比にて発光された観察対象を撮像して得られ、紫色光の成分を含む青色画像と緑色光及び赤色光の成分を含む緑色画像とを含む第２混色発光のカラー画像を取得する画像制御用プロセッサとを備え、特定の血管深さにおける第２混色発光の青色画像の血管コントラストと第２混色発光の緑色画像の血管コントラストとの第２混色発光のコントラスト差分値が第１条件を満たし、且つ、第２混色発光の青色画像の血管コントラストと第２混色発光の緑色画像の血管コントラストとのクロスポイントに対応する第２混色発光のクロスポイント血管深さが第２条件を満たす。
　第１混色発光のカラー画像に対して、互いに血管深さが異なる複数の血管の視認性の違いを高める血管用画像処理を施すことが好ましい。第２混色発光のカラー画像に対して、互いに血管深さが異なる複数の血管の視認性の違いを高める血管用画像処理を施すことが好ましい。カラー画像に基づいて、疾患のステージに関する指標値を算出すること、又は、疾患のステージを判定することが好ましい。
　青色画像を輝度信号に割り当て、青色画像と緑色画像に基づく演算画像を色差信号に割り当てて得られる血管画像をディスプレイに表示することが好ましい。カラー画像に基づいて、互いに血管深さが異なる複数の血管をそれぞれ分離して抽出することが好ましい。紫色光は中心波長に４０５ｎｍを含み、緑色光の波長範囲には４８０～６００ｎｍが含まれることが好ましい。紫色光は中心波長に４０５ｎｍを含み、緑色光の波長範囲には４８０～６００ｎｍが含まれ、赤色光は中心波長に６２０～６３０ｎｍを含むことが好ましい。
　本発明の内視鏡システムの作動方法は、紫色光と緑色光とを発する光源部を制御する光源用プロセッサが、紫色光と緑色光とをそれぞれ独立に発光可能であり、紫色光と緑色光を混合して第１光量比にて発光するステップと、紫色光と緑色光が第１光量比にて発光された観察対象を撮像して得られ、紫色光の成分を含む青色画像と緑色光の成分を含む緑色画像とを含む第１混色発光のカラー画像を取得するステップとを備え、特定の血管深さにおける第１混色発光の青色画像の血管コントラストと第１混色発光の緑色画像の血管コントラストとの第１混色発光のコントラスト差分値が第１条件を満たし、且つ、第１混色発光の青色画像の血管コントラストと第１混色発光の緑色画像の血管コントラストとのクロスポイントに対応する第１混色発光のクロスポイント血管深さが第２条件を満たす。
　本発明によれば、互いに波長が異なる複数種類の照明光を混色して観察対象に照明する場合において、互いに深さが異なる複数の血管の違いを明確化することができる。
内視鏡システムの外観図である。 第１実施形態の内視鏡システムの機能を示すブロック図である。 紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒのスペクトルを示すグラフである。 撮像センサの各カラーフィルタの分光透過率を示すグラフである。 第１光量比で発光する場合の発光スペクトルを示すグラフである。 第１混色発光の場合における血管コントラストと血管深さとの関係を示すグラフである。 紫色光Ｖと青色光Ｂとを交互に発光すること示す説明図である。 第２光量比で発光する場合の発光スペクトルを示すグラフである。 第２混色発光の場合における血管コントラストと血管深さとの関係を示すグラフである。 疾患関連処理部の機能を示すブロック図である。 判定に関する情報を表示するディスプレイの画像図である。 血管画像を表示するディスプレイの画像図である。 疾患関連処理モードの一連の流れを示すフローチャートである。 実施例１～６及び比較例１～５における光量比、コントラスト差分値、及びクロスポイント血管深さを示す表である。 第３混色発光の場合における血管コントラストと血管深さとの関係を示すグラフである。 実施例１の血管画像を示す画像図である。 単色発光の場合の血管画像を示す画像図である。 実施例１の差分表示画像を示す画像図である。 実施例３の血管画像を示す画像図である。 実施例４の血管画像を示す画像図である。 実施例４の差分表示画像を示す画像図である。 実施例６の血管画像を示す画像図である。 比較例１の血管画像を示す画像図である。
　図１において、内視鏡システム１０は、内視鏡１２と、光源装置１４と、プロセッサ装置１６と、ディスプレイ１８と、ユーザーインターフェース１９とを有する。内視鏡１２は、光源装置１４と光学的に接続され、且つ、プロセッサ装置１６と電気的に接続される。内視鏡１２は、観察対象の体内に挿入される挿入部１２ａと、挿入部１２ａの基端部分に設けられた操作部１２ｂと、挿入部１２ａの先端側に設けられた湾曲部１２ｃ及び先端部１２ｄとを有している。湾曲部１２ｃは、操作部１２ｂのアングルノブ１２ｅを操作することにより湾曲動作する。先端部１２ｄは、湾曲部１２ｃの湾曲動作によって所望の方向に向けられる。
　また、操作部１２ｂには、アングルノブ１２ｅの他、モードの切り替え操作に用いるモード切替ＳＷ（モード切替スイッチ）１２ｆと、観察対象の静止画の取得指示に用いられる静止画取得指示部１２ｇと、ズームレンズ４３（図２参照）の操作に用いられるズーム操作部１２ｈとが設けられている。
　なお、内視鏡システム１０は、通常光モード、特殊光モード、疾患関連処理モードの３つのモードを有している。通常光モードでは、通常光を観察対象に照明して撮像することによって、自然な色合いの通常光画像をディスプレイ１８に表示する。特殊光モードでは、通常光と波長帯域が異なる特殊光を観察対象に照明して撮像することによって、特定の構造を強調した特殊光画像をディスプレイ１８に表示する。疾患関連処理モードでは、通常光画像又は特殊光画像に基づいて、疾患の一つであるバレット食道のステージを判定する。なお、疾患関連処理モードでは、バレット食道の他に、潰瘍性大腸炎の病理的寛解又は病理的非寛解などその他の疾患に関する処理を行ってもよい。
　なお、本実施形態では、疾患関連処理モードでは、特殊光画像（内視鏡画像）を用いるが、通常光画像を用いるようにしてもよい。また、疾患関連処理モードで用いる画像としては、医療画像の一つである内視鏡画像としての特殊光画像の他、放射線撮影装置で得られる放射線画像、ＣＴ（Computed Tomography）で得られるＣＴ画像、ＭＲＩ（Magnetic Resonance Imaging）で得られるＭＲＩ画像などの医療画像を用いてもよい。また、内視鏡１２が接続されたプロセッサ装置１６が本発明の画像処理装置に対応し、このプロセッサ装置１６において、疾患関連処理モードを実行するが、その他の方法で疾患関連処理モードを実行するようにしてもよい。例えば、内視鏡システム１０とは別の外部の画像処理装置に疾患関連処理部６６の機能を設け、医療画像を外部の画像処理装置に入力して疾患関連処理モードを実行し、その実行結果を、外部の画像処理装置に接続された外部のディスプレイに表示するようにしてもよい。
　プロセッサ装置１６は、ディスプレイ１８及びユーザーインターフェース１９と電気的に接続される。ディスプレイ１８は、観察対象の画像や、観察対象の画像に付帯する情報などを出力表示する。ユーザーインターフェース１９は、機能設定などの入力操作を受け付ける機能を有する。なお、プロセッサ装置１６には、画像や画像情報などを記録する外付けの記録部（図示省略）を接続してもよい。また、プロセッサ装置１６は、本発明の画像処理装置に対応する。
　図２において、光源装置１４は、光源部２０と、光源部２０を制御する光源制御部２１とを備えている。光源部２０は、例えば、複数の半導体光源を有し、これらをそれぞれ点灯または消灯し、点灯する場合には各半導体光源の発光量を制御することにより、観察対象を照明する照明光を発する。本実施形態では、光源部２０は、Ｖ－ＬＥＤ（Violet Light Emitting Diode）２０ａ、Ｂ－ＬＥＤ（Blue Light Emitting Diode）２０ｂ、Ｇ－ＬＥＤ（Green Light Emitting Diode）２０ｃ、及びＲ－ＬＥＤ（Red Light Emitting Diode）２０ｄの４色のＬＥＤを有する。なお、光源装置１４には、各種処理に関するプログラムがプログラム用メモリに組み込まれている。光源用プロセッサから構成される光源用中央制御部がプログラム用メモリ内のプログラムを実行することによって、光源制御部２１の機能が実現する。
　図３に示すように、Ｖ－ＬＥＤ２０ａは、中心波長４０５±１０ｎｍ、波長範囲３８０～４２０ｎｍの紫色光Ｖを発生する。Ｂ－ＬＥＤ２０ｂは、中心波長４５０±１０ｎｍ、波長範囲４２０～５００ｎｍの青色光Ｂを発生する。Ｇ－ＬＥＤ２０ｃは、波長範囲が４８０～６００ｎｍに及ぶ緑色光Ｇを発生する。Ｒ－ＬＥＤ２０ｄは、中心波長６２０～６３０ｎｍで、波長範囲が６００～６５０ｎｍに及ぶ赤色光Ｒを発生する。
　光源制御部２１は、Ｖ－ＬＥＤ２０ａ、Ｂ－ＬＥＤ２０ｂ、Ｇ－ＬＥＤ２０ｃ、及びＲ－ＬＥＤ２０ｄを制御する。光源制御部２１は、各ＬＥＤ２０ａ～２０ｄをそれぞれ独立に制御することで、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、又は赤色光Ｒをそれぞれ独立に光量を変えて発光可能である。また、光源制御部２１は、通常光モード時には、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比がＶｃ：Ｂｃ：Ｇｃ：Ｒｃとなる通常光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。
　また、光源制御部２１は、特殊光モード又は疾患関連処理モード時には、短波長の狭帯域光としての紫色光Ｖと、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒとの光量比がＶｓ：Ｂｓ：Ｇｓ：Ｒｓとなる特殊光を発光するように、各ＬＥＤ２０ａ～２０ｄを制御する。疾患関連処理モードでは、血管深さ（粘膜表面に対してその粘膜表面に直交する深さ方向に対する距離（μｍ）を表す）が５０μｍまでに位置する極表層血管と、血管深さが５０μｍから２００μｍまでの間に位置する表層血管との違い（血管深さの分離性）を明確化した血管画像を得るために、特殊光として、紫色光Ｖと緑色光Ｇを混合して第１光量比にて発光する。また、疾患関連処理モードでは、極表層血管と表層血管との違いを明確した血管画像を得るために、特殊光として、紫色光Ｖと緑色光Ｇと赤色光Ｒを混合して第２光量比にて発光する。第１光量比と第２光量比の詳細については後述する。
　なお、本明細書において、光量比は、少なくとも１つの半導体光源の比率が０（ゼロ）の場合を含む。したがって、各半導体光源のいずれか１つまたは２つ以上が点灯しない場合を含む。例えば、紫色光Ｖ、青色光Ｂ、緑色光Ｇ、及び赤色光Ｒ間の光量比が１：０：０：０の場合のように、半導体光源の１つのみを点灯し、他の３つは点灯しない場合も、光量比を有するものとする。
　図２に示すように、各ＬＥＤ２０ａ～２０ｄが発する光は、ミラーやレンズなどで構成される光路結合部２３を介して、ライトガイド２５に入射される。ライトガイド２５は、内視鏡１２及びユニバーサルコード（内視鏡１２と、光源装置１４及びプロセッサ装置１６を接続するコード）に内蔵されている。ライトガイド２５は、光路結合部２３からの光を、内視鏡１２の先端部１２ｄまで伝搬する。
　内視鏡１２の先端部１２ｄには、照明光学系３０ａと撮像光学系３０ｂが設けられている。照明光学系３０ａは照明レンズ３２を有しており、ライトガイド２５によって伝搬した照明光は照明レンズ３２を介して観察対象に照射される。撮像光学系３０ｂは、対物レンズ４２、撮像センサ４４を有している。照明光を照射したことによる観察対象からの光は、対物レンズ４２及びズームレンズ４３を介して撮像センサ４４に入射する。これにより、撮像センサ４４に観察対象の像が結像される。ズームレンズ４３は観察対象を拡大するためのレンズであり、ズーム操作部１２ｈを操作することによって、テレ端とワイド端と間を移動する。
　撮像センサ４４としては、ＣＣＤ（Charge Coupled Device）撮像センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像センサを利用可能である。また、原色の撮像センサ４４の代わりに、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）及びＧ（グリーン）の補色フィルタを備えた補色撮像センサを用いても良い。補色撮像センサを用いる場合には、ＣＭＹＧの４色の画像信号が出力されるので、補色－原色色変換によって、ＣＭＹＧの４色の画像信号をＲＧＢの３色の画像信号に変換することにより、撮像センサ４４と同様のＲＧＢ各色の画像信号を得ることができる。
　撮像センサ４４は、原色系のカラーセンサであり、青色カラーフィルタを有するＢ画素（青色画素）、緑色カラーフィルタを有するＧ画素（緑色画素）、及び、赤色カラーフィルタを有するＲ画素（赤色画素）の３種類の画素を備える。図４に示すように、青色カラーフィルタＢＦは、主として青色帯域の光、具体的には波長帯域が３８０～５６０ｎｍの波長帯域の光を透過する。青色カラーフィルタＢＦの透過率は、波長４６０～４７０ｎｍ付近においてピークになる。緑色カラーフィルタはＧＦ、主として緑色帯域の光、具体的には、４６０～６２０ｎｍの波長帯域の光を透過する。赤色カラーフィルタＲＦは、主として赤色帯域の光、具体的には、５８０～７６０ｎｍの波長帯域の光を透過する。
　図２に示すように、撮像センサ４４は、撮像制御部４５によって駆動制御される。撮像制御部４５における制御は、各モードによって異なっている。通常光モードでは、撮像制御部４５は、通常光で照明された観察対象を撮像するように、撮像センサ４４を制御する。これにより、撮像センサ４４のＢ画素から青色画像Ｂｃが出力され、Ｇ画素から緑色画像Ｇｃが出力され、Ｒ画素から赤色画像Ｒｃが出力される。
　特殊光モード又は疾患関連処理モードでは、撮像制御部４５は撮像センサ４４を制御して、特殊光で照明された観察対象を撮像するように、撮像センサ４４を制御する。これにより、撮像センサ４４のＢ画素から青色画像Ｂｓが出力され、Ｇ画素から緑色画像Ｇｃが出力され、Ｒ画素から赤色画像Ｒｓが出力される。
　ＣＤＳ／ＡＧＣ（Correlated Double Sampling／Automatic Gain Control）回路４６は、撮像センサ４４から得られるアナログの画像信号に相関二重サンプリング（ＣＤＳ）や自動利得制御（ＡＧＣ）を行う。ＣＤＳ／ＡＧＣ回路４６を経た画像信号は、Ａ／Ｄ（Analog／Digital）コンバータ４８により、デジタルの画像信号に変換される。Ａ／Ｄ変換後のデジタル画像信号がプロセッサ装置１６に入力される。
　プロセッサ装置１６は、画像取得部５０と、ＤＳＰ（Digital Signal Processor）５２と、ノイズ低減部５４と、画像処理切替部５６と、画像処理部５８と、表示制御部６０とを備えている。画像処理部５８は、通常光画像生成部６２と、特殊光画像生成部６４と、疾患関連処理部６６とを備えている。
　なお、プロセッサ装置１６には、各種処理に関するプログラムがプログラム用メモリ内に組み込まれている。画像制御用プロセッサから構成される中央制御部によってプログラム用メモリ内のプログラムを実行することによって、画像取得部５０、ノイズ低減部５４、画像処理切替部５６、画像処理部５８、及び表示制御部６０の機能が実現する。
　画像取得部５０は、内視鏡１２から入力される医療画像の一つである内視鏡画像のカラー画像を取得する。カラー画像には、撮像センサ４４のＢ画素、Ｇ画素、Ｒ画素から出力される青色画像、緑色画像、赤色画像が含まれている。取得したカラー画像はＤＳＰ５２に送信される。ＤＳＰ５２は、受信したカラー画像に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、マトリクス処理、ガンマ変換処理、デモザイク処理、及びＹＣ変換処理等の各種信号処理を行う。欠陥補正処理では、撮像センサ４４の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理を施した画像信号から暗電流成分を除かれ、正確な零レベルを設定される。ゲイン補正処理は、オフセット処理後の各色の画像信号に特定のゲインを乗じることによりカラー画像の信号レベルを整える。ゲイン補正処理後の各色の画像信号には、色再現性を高めるマトリクス処理が施される。
　その後、ガンマ変換処理によって、カラー画像の明るさや彩度が整えられる。マトリクス処理後のカラー画像には、デモザイク処理（等方化処理，同時化処理とも言う）が施され、補間により各画素の欠落した色の信号を生成される。デモザイク処理によって、全画素がＲＧＢ各色の信号を有するようになる。ＤＳＰ５２は、デモザイク処理後のカラー画像にＹＣ変換処理を施し、輝度信号Ｙと色差信号Ｃｂ及び色差信号Ｃｒをノイズ低減部５４に出力する。
　ノイズ低減部５４は、ＤＳＰ５６でデモザイク処理等を施したカラー画像に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ低減処理を施す。ノイズを低減したカラー画像は、画像処理切替部５６に入力される。
　画像処理切替部５６は、設定されているモードによって、ノイズ低減部５４からの画像信号の送信先を、通常光画像生成部６２と、特殊光画像生成部６４と、疾患関連処理部６６のいずれかに切り替える。具体的には、通常光モードにセットされている場合には、ノイズ低減部５４からの画像信号を通常光画像生成部６２に入力する。特殊光モードにセットされている場合には、ノイズ低減部５４からの画像信号を特殊光画像生成部６４に入力する。疾患関連処理モードにセットされている場合には、ノイズ低減部５４からの画像信号を疾患関連処理部６６に入力する。
　通常光画像生成部６２は、入力した１フレーム分のＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号に対して、通常光画像用画像処理を施す。通常光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。通常光画像用画像処理が施されたＲｃ画像信号、Ｇｃ画像信号、Ｂｃ画像信号は、通常光画像として表示制御部６０に入力される。
　特殊光画像生成部６４は、入力した１フレーム分のＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号に対して、特殊光画像用画像処理を施す。特殊光画像用画像処理には、３×３のマトリクス処理、階調変換処理、３次元ＬＵＴ（Look Up Table）処理等の色変換処理、色彩強調処理、空間周波数強調等の構造強調処理が含まれる。特殊光画像用画像処理が施されたＲｓ画像信号、Ｇｓ画像信号、Ｂｓ画像信号は、特殊光画像として表示制御部６０に入力される。
　疾患関連処理部６６は、医療画像の一つである血管画像（極表層血管と表層血管との違いが明瞭化した画像）に基づいて、疾患に関連する処理を行う。具体的には、疾患関連処理部６６は、疾患に関連する処理として、バレット食道のステージ判定を行う。判定結果に関する情報は、表示制御部６０に入力される。疾患関連処理部６６の詳細については、後述する。
　表示制御部６０は、画像処理部５８から出力される画像をディスプレイ１８に表示するための制御を行う。具体的には、表示制御部６０は、通常光画像、特殊光画像、又は判定結果に関する情報を、ディスプレイ１８においてフルカラーで表示可能にする映像信号に変換する。変換済みの映像信号はディスプレイ１８に入力される。これにより、ディスプレイ１８には通常光画像、特殊光画像、又は判定結果に関する情報が表示される。
　極表層血管と表層血管との違いを明確した血管画像を得るための第１光量比と第２光量比について説明する。図５に示すように、第１光量比については、Ｖｓ、Ｇｓ＞０とし、Ｂｓ、Ｒｓ＝「０」とすることにより、青色光Ｂと赤色光Ｒを消灯し、紫色光Ｖと緑色光Ｇを混合して発光する。この第１光量比にて発光された観察対象を撮像センサ４４で撮像することにより、第１混色発光のカラー画像が得られる。第１混色発光のカラー画像には、紫色光Ｖの成分を含む青色画像Ｂｓと、緑色光Ｇの成分を含む緑色画像Ｇｓが含まれる。
　第１混色発光のカラー画像は、血管とそれ以外の粘膜などの非血管部分とのコントラストを示す血管コントラストに関して下記の特徴を有することにより、互いに血管深さが異なる極表層血管と表層血管との違いを明瞭化した血管画像を得ることができる。図６に示すように、血管深さが「０μｍ」（特定深さ）おける第１混色発光の青色画像Ｂｓの血管コントラストＶＣｂ１と第１混色発光の緑色画像Ｇｓの血管コントラストＶＣｇ１との第１混色発光のコントラスト差分値ΔＣ１が第１条件を満たしている。加えて、第１混色発光の青色画像Ｂｓの血管コントラストＶＣｂ１と第１混色発光の緑色画像Ｇｓの血管コントラストＶＣｇ１とのクロスポイントＣＰ１に対応する第１混色発光のクロスポイント血管深さＶＤ１が第２条件を満たしている。なお、特定深さについては、血管深さが「０μｍ」の他、血管深さが「０」を超え、例えば「１０μｍ」以下であってもよい。
　上記の第１条件と第２条件については、図７に示すように、紫色光Ｖと青色光Ｂをそれぞれ単色で交互に発光した場合に得られる単色発光の血管コントラストとの比較において、定められる。ここで、単色発光の血管コントラストに関する特徴には、血管深さが「０μｍ」（特定深さ）において紫色光Ｖのみを発光した場合得られる紫色光単色発光の青色画像Ｂｓの血管コントラストＶＣｂｍｖと青色光Ｂのみを発光した場合に得られる青色光単色発光の青色画像Ｂｓの血管コントラストＶＣｂｍｂとの単色発光のコントラスト差分値ΔＣｍが含まれる。また、紫色光単色発光の青色画像Ｂｓの血管コントラストＶＣｂｍｖと青色光単色発光の青色画像Ｂｓの血管コントラストＶＣｂｍｂとのクロスポイントＣＰｍに対応する単色発光のクロスポイント血管深さＶＤｍが含まれる。なお、第１条件及び第２条件を満たすことに加えて、第１混色発光の血管コントラストの変化が第３条件を満たすことを加えてもよい。第３条件としては、第１混色発光の血管コントラストの変化と単色発光の血管コントラストの変化とを比較した結果、両者が類似する場合とする。比較に関する処理は、パターンマッチングなどで行ってもよい。
　第１条件については、第１混色発光の血管コントラスト差分値ΔＣ１が、単色発光のコントラスト差分値ΔＣｍに基づいて定められる第１範囲内であることである。第１範囲とは、例えば、ΔＣｍに対して好ましくは５０％以上であり、さらに好ましくは６０％以上である。具体的には、下記の実施例に示すように、単色発光のコントラスト差分値ΔＣｍが「０．１４７」である場合には、実施例１の第１混色発光の血管コントラスト差分値ΔＣ１は「０．０８５」であるため、第１範囲内に収まっている。なお、第１条件については、第１範囲内に収まることの他、単色発光コントラスト差分値ΔＣｍに対して差分値用閾値と同じ、又は、以上としてもよい。
　第２条件については、第１混色発光のクロスポイント血管深さＶＤ１が、単色発光のクロスポイント血管深さＶＤｍに基づいて定められる第２範囲内であることである。第２範囲は、例えば、ＶＤｍに対して好ましくは１．４倍以下である。具体的には、下記の実施例に示すように、単色発光のクロスポイント血管深さが「６０μｍ」である場合には、実施例１の第１混色発光のクロスポイント血管深さは「５５μｍ」であり、第２範囲内に収まっている。
　図８に示すように、第２光量比については、Ｖｓ、Ｇｓ、Ｒｓ＞０とし、光量比Ｂｓ＝「０」とすることにより、青色光Ｂ消灯し、紫色光Ｖと緑色光Ｇを混合して発光する。この第２光量比にて発光された観察対象を撮像センサ４４で撮像することにより、第２混色発光のカラー画像が得られる。第２混色発光のカラー画像には、紫色光Ｖの成分を含む青色画像Ｂｓと、緑色光Ｇの成分及び赤色光Ｒの成分を含む緑色画像Ｇｓが含まれる。
　第２混色発光のカラー画像は、血管コントラストに関して下記の特徴を有することにより、互いに血管深さが異なる極表層血管と表層血管との違いを明瞭化した血管画像を得ることができる。図９に示すように、血管深さが「０μｍ」（特定深さ）おける第２混色発光の青色画像Ｂｓの血管コントラストＶＣｂ２と第２混色発光の緑色画像Ｇｓの血管コントラストＶＣｇ２との第２混色発光のコントラスト差分値ΔＣ２が第２条件を満たしている。加えて、第２混色発光の青色画像Ｂｓの血管コントラストＶＣｂ２と第１混色発光の緑色画像Ｇｓの血管コントラストＶＣｇ２とのクロスポイントＣＰ２に対応する第２混色発光のクロスポイント血管深さＶＤ２が第２条件を満たしている。なお、第２混色発光の場合における第１条件と第２条件については、第１混色発光の場合と同様であってもよいが、異なってもよい。
　疾患関連処理部６６は、特殊光画像として第１混色発光又は第２混色発光のカラー画像に基づいて、疾患に関連する処理を行う。具体的には、疾患関連処理部６６は、図１０に示すように、第１混色発光又は第２混色発光のカラー画像から、極表層血管又は表層血管を抽出する血管抽出部７０と、抽出した血管に基づいて、極表層血管の血管密度、極表層血管の血管密度と表層血管の血管密度の比率、及びこれらの分布等を算出し、バレット食道のステージ判定をする判定部７２と、第２混色発光のカラー画像に対して、互いに血管深さが異なる複数の血管の視認性の違いを高める血管用画像処理を施す血管用画像処理部７４とを備えている。
　血管抽出部７０は、第１混色発光又は第２混色発光のカラー画像から得られる周波数特性と輝度値の少なくとも一つに基づいて、血管抽出画像を取得する。なお、血管抽出部７０においては、互いに異なる深さの複数の血管をそれぞれ分離して抽出してもよい。例えば、血管抽出部７０は、第１混色発光又は第２混色発光の緑色画像Ｇｓの血管コントラストが第１混色発光又は第２混色発光の青色画像Ｂｓの血管コントラストよりも大きい血管領域を、極表層血管として抽出する。一方、血管抽出部７０は、第１混色発光又は第２混色発光の青色画像Ｂｓの血管コントラストが、第１混色発光又は第２混色発光の緑色画像Ｇｓの血管コントラストよりも大きい血管領域を、極表層血管よりも深い位置にある表層血管として抽出する。抽出した極表層血管と表層血管を合成することによって、血管抽出画像を得る。
　判定部７２は、血管抽出部７０で得られた血管抽出画像のうち、極表層血管の血管密度や密集の面積、又は、表層血管の血管密度や密集の面積に基づいて得られる指標値（疾患のステージに関する指標値）を用いて、バレット食道のステージを判定する。指標値は、極表層血管の血管密度と表層血管の血管密度の比率とすることが好ましい。具体的には、判定部７２は、指標値が閾値未満の場合に、バレット食道の初期ステージと判定し、指標値が閾値以上の場合に、バレット食道の進行ステージと判定する。
　以上の判定部７２での判定に関する情報は、ディスプレイ１８上に表示されて、ユーザーによるバレット食道のステージの判定に用いられる。判定部７２においてバレット食道が進行ステージと判定された場合には、図１１に示すように、生検が必要であることを示す「要生検」のメッセージがディスプレイ１８上に表示される。なお、判定に関する情報を表示する際には、判定部７２での判定に用いた特殊光画像、さらには極表層血管の血管密度と表層血管の血管密度の比率の分布を示すヒートマップを重畳表示することが好ましい。
　血管用画像処理部７４は、第２混色発光のカラー画像に対して血管用画像処理を施すことにより、第２混色発光のカラー画像における極表層血管と表層血管の視認性の違いを、第１混色発光のカラー画像の場合に近づける。このように、血管用画像処理だけで第２混色発光のカラー画像における極表層血管と表層血管の違いを向上させることができるのは、第２混色発光のコントラスト差分値ΔＣ２が比較的大きく、色差分解能が高いためである。なお、血管用画像処理は、極表層血管と表層血管の視認性の違いを高めるように設定されたゲイン処理、又は、マトリックス処理である。また、第１混色発光のカラー画像に対して血管用画像処理を施してもよい。この場合には、極表層血管と表層血管の視認性の違いを高める処理とすることが好ましい。
　なお、第１混色発光又は第２混色発光のカラー画像については、上記したように、バレット食道のステージ判定に用いたが、血管画像としてディスプレイ１８に表示するようにしてもよい。この場合、表示制御部６０は、第１混色発光又は第２混色発光のカラー画像の青色画像Ｂｓを輝度信号Ｙに割り当てて、第１混色発光又は第２混色発光のカラー画像の青色画像Ｂｓと緑色画像Ｇｓに基づく演算画像（演算として差分を用いる場合は差分画像）を色差信号Ｃｒ、Ｃｂに割り当てることによって、図１２に示すように、極表層血管と表層血管の違いを明確化した血管画像をディスプレイ１８に表示する。
　次に、疾患関連処理モードの一連の流れについて、図１３に示すフローチャートに沿って説明を行う。疾患関連処理モードに切り替えられると、紫色光Ｖと緑色光Ｇを混合して第１光量比にて発光する。第１発光比にて発光された観察対象を撮像することにより第１混色発光のカラー画像を取得する。第１混色発光のカラー画像は、血管コントラストに関する第１条件及び第２条件を満たしていることにより、極表層血管と表層血管の違いを明確化している。第１混色発光のカラー画像を用いることにより、例えば、バレット食道のステージ判定を確実に行うことができる。
　血管抽出部７０は、第１混色発光のカラー画像から得られる周波数特性又は輝度値に基づいて、極表層血管、又は、表層血管を抽出する。判定部７２は、極表層血管の血管密度、及び、表層血管の血管密度の比率に基づいて得られる指標値を用いて、バレット食道のステージを判定する。判定部７２での判定に関する情報は、ディスプレイ１８に表示される。
　実施例及び比較例では、照明光の光量比を第１光量比又は第２光量比にし、且つ、第１条件及び第２条件を満たす場合の具体例と、第１及び第２条件を満たさない場合の具体例を示し、且つ、それら具体例の場合の結果（血管画像）を示す。
　［実施例１］
　図１４に示すように、第１光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０：０．４５：０」とした。ここで、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓについては、各ＬＥＤ２０ａ～２０ｄから、内視鏡１２の先端部１２ｄを介して、出射される各色の光の光量（ｍｗ）の比率で表される。また、上記の場合において、血管深さが「０μｍ」の場合の第１混色発光の血管コントラストＶＣｂ１（Ｂ０と表記）、ＶＣｇ１（Ｇ０と表記）とを、モンテカルルロシミュレーションなどのシミュレーション処理を用いて算出し、これら血管コントラストから、第１混色発光の血管コントラストΔＣ１を求めた。合わせて、第１混色発光のクロスポイント血管深さＶＤｍを算出した。なお、シミュレーション処理としては、第１光量比、観察対象の反射率（例えば、豚の大腸の反射率）、撮像センサ４４の透過率をそれぞれ掛け合わせて得られる演算値に基づいて、算出する。
　なお、実施例１及び他の実施例２～６、比較例１～５において第１条件及び第２条件を満たしているか否かを確認するために、紫色光Ｖと青色光Ｇをそれぞれ単色で発光した場合（Ｖ，Ｂ単色発光）における、血管深さが「０μｍ」の場合の単色発光の血管コントラストＶＣｂｍｖ（Ｂ０ｍと表記）、ＶＣｂｍｂ（Ｇ０ｍと表記）とについても、モンテカルルロシミュレーションなどのシミュレーション処理を用いて算出した。合わせて、単色発光のクロスポイント血管深さＶＤｍを算出した。
　［実施例２］
　第１光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０：０．３：０」とした。それ以外は、実施例１と同様である。
　［実施例３］
　第１光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０：０．１５：０」とした。それ以外は、実施例１と同様である。
　［実施例４］
　第２光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０：０．４５：０．１５」とした。そして、血管深さが「０μｍ」の場合の第２混色発光の血管コントラストＶＣｂ２（Ｂ０と表記）、ＶＣｇ２（Ｇ０と表記）を算出し、これら血管コントラストから第１混色発光の血管コントラストΔＣ２を求めた。合わせて、第２混色発光のクロスポイント血管深さＶＤｍを算出した。
　［実施例５］
　第２光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０：０．３：０．１」とした。それ以外は、実施例４と同様である。
　［実施例６］
　第２光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０：０．１５：０．０５」とした。それ以外は、実施例４と同様である。
　［比較例１］
　光量比Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０：０．１５：０．１５」とし、紫色光Ｖ、緑色光Ｇ、及び赤色光Ｒを少なくとも含めた混色の第３光量比で発光した。第３光量比にて観察対象を撮像することによって、第３混色発光のカラー画像が得られる。第３混色発光の血管コントラストに関する特徴には、図１５に示すように、血管深さが「０μｍ」（特定深さ）において第３混色発光のカラー画像の青色画像Ｂｓの血管コントラストＶＣｂ３と第３混色発光のカラー画像の緑色画像Ｇｓの血管コントラストＶＣｇ３との第３混色発光のコントラスト差分値ΔＣ３が含まれる。また、第３混色発光の青色画像Ｂｓの血管コントラストＶＣｂ３と第３混色発光の緑色画像Ｇｓの血管コントラストＶＣｇ３とのクロスポイントＣＰ３に対応する第３混色発光のクロスポイント血管深さＶＤ３が含まれる。
　比較例１では、血管深さが「０μｍ」の場合の第１混色発光の血管コントラストＶＣｂ３（Ｂ０と表記）、ＶＣｇ３（Ｇ０と表記）とを、モンテカルルロシミュレーションなどのシミュレーション処理を用いて算出し、これら血管コントラストから、第３混色発光の血管コントラストΔＣ３を求めた。合わせて、第３混色発光のクロスポイント血管深さＶＤ３を算出した。なお、シミュレーション処理としては、実施例１と同様である。
　［比較例２］
　第３光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０：０．１５：０．１」とした。それ以外は、比較例１と同様である。
　［比較例３］
　第３光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０．３：０．４５：０．１５」とした。それ以外は、比較例１と同様である。
　［比較例４］
　第３光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０．２：０．３：０．１」とした。それ以外は、比較例１と同様である。
　［比較例５］
　第３光量比として、Ｖｓ：Ｂｓ：Ｇｓ：Ｒｓを「１：０．１：０．１５：０．０５」とした。それ以外は、比較例１と同様である。
　［結果］
　実施例１～６及び比較例におけるコントラスト差分値及びクロスポイント血管深さを図１４に示す。
　実施例１はコントラスト差分値ΔＣ１が「０．０８５」（Ｇ０－Ｂ０＝０．３４６－０．２６１）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。また、実施例１は、クロスポイント血管深さＣＰ１が「５５μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）内に入っている。したがって、第１条件と第２条件の両方を満たす。そのため、図１６に示す実施例１の唇の血管画像（第１混色発光の青色画像Ｂｓを輝度信号Ｙに割り当て、第１混色発光の青色画像Ｂｓと緑色画像との差分画像を色差信号Ｃｒ、Ｃｂに割り当てた画像）は、図１７に示す単色発光の場合の血管画像と同様に、極表層血管ＶＣｘと表層血管ＶＣｙとの違いが明確になっている。図１８に示すように、差分画像を明るさで表した差分表示画像においても、極表層血管と表層血管との違いが明確になっていることが分かる。
　実施例２はコントラスト差分値ΔＣ１が「０．１０２」（Ｇ０－Ｂ０＝０．３３８－０．２３６）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。また、実施例１は、クロスポイント血管深さＣＰ１が「５５μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）内に入っている。したがって、第１条件と第２条件の両方を満たす。そのため、極表層血管と表層血管との違いが明確な血管画像が得られた（図示省略）。
　実施例３はコントラスト差分値ΔＣ１が「０．１１７」（Ｇ０－Ｂ０＝０．３１７－０．２００）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。また、実施例１は、クロスポイント血管深さＣＰ１が「６０μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）内に入っている。したがって、第１条件と第２条件の両方を満たす。そのため、図１９に示す実施例３の血管画像は、図１７に示す単色発光の場合の血管画像と同様に、極表層血管ＶＣｘと表層血管ＶＣｙとの違いが明確になっている。
　実施例４はコントラスト差分値ΔＣ２が「０．１１５」（Ｇ０－Ｂ０＝０．３９３－０．２７８）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。また、実施例４は、クロスポイント血管深さＣＰ２が「７５μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）内に入っている。したがって、第１条件と第２条件の両方を満たす。
　そのため、図２０に示す実施例４の血管画像は、図１７に示す単色発光の場合の血管画像と同様に、極表層血管ＶＣｘと表層血管ＶＣｙとの違いが明確になっている。図２１に示すように、第２混色発光のカラー画像の青色画像Ｂｓと緑色画像Ｇｓの差分画像を明るさで表した差分表示画像においても、極表層血管と表層血管との違いが明確になっていることが分かる。なお、実施例４及びその他の実施例５、６については、実施例１～３の紫色光Ｖと緑色光Ｇに対して、赤色光Ｒを加えることで、コントラスト差分値ΔＣ２がコントラスト差分値ΔＣ１よりも大きくなり、クロスポイント血管深さＣＰ２がクロスポイント血管深さＣＰ１よりも大きくなることが分かる。
　実施例５はコントラスト差分値ΔＣ２が「０．１３４」（Ｇ０－Ｂ０＝０．３８４－０．２５０）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。また、実施例５は、クロスポイント血管深さＣＰ２が「７５μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）内に入っている。したがって、第１条件と第２条件の両方を満たす。したがって、第１条件と第２条件の両方を満たす。そのため、極表層血管と表層血管との違いが明確な血管画像が得られた（図示省略）。
　実施例６はコントラスト差分値ΔＣ２が「０．１５０」（Ｇ０－Ｂ０＝０．３５９－０．２０９）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。また、実施例６は、クロスポイント血管深さＣＰ２が「７５μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）内に入っている。したがって、第１条件と第２条件の両方を満たす。そのため、図２２に示す実施例６の血管画像は、図１７に示す単色発光の場合の血管画像と同様に、極表層血管ＶＣｘと表層血管ＶＣｙとの違いが明確になっている。
　比較例１はコントラスト差分値ΔＣ３が「０．２０２」（Ｇ０－Ｂ０＝０．３５９－０．２０９）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。これに対して、比較例１は、クロスポイント血管深さＣＰ３が「１００μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）外となっている。したがって、第１条件は満たすものの、第２条件は満たさない。そのため、図２３に示す比較例１の血管画像は、図１７に示す単色発光の場合の血管画像と大きく異なり、極表層血管ＶＣｘと表層血管ＶＣｙとの違いが明確でない。
　比較例２はコントラスト差分値ΔＣ３が「０．１７８」（Ｇ０－Ｂ０＝０．３９６－０．２１８）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。これに対して、比較例２は、クロスポイント血管深さＣＰ３が「１００μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）外となっている。したがって、第１条件は満たすものの、第２条件は満たさない。そのため、極表層血管と表層血管との違いが明確な血管画像を得ることができなかった（図示省略）。
　比較例３はコントラスト差分値ΔＣ３が「０．０９９」（Ｇ０－Ｂ０＝０．３８３－０．２８４）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。これに対して、比較例３は、クロスポイント血管深さＣＰ３が「８５μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）外となっている。したがって、第１条件は満たすものの、第２条件は満たさない。そのため、極表層血管と表層血管との違いが明確な血管画像を得ることができなかった（図示省略）。
　比較例４はコントラスト差分値ΔＣ３が「０．１１０」（Ｇ０－Ｂ０＝０．３７５－０．２６５）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。これに対して、比較例３は、クロスポイント血管深さＣＰ３が「８５μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）外となっている。したがって、第１条件は満たすものの、第２条件は満たさない。そのため、極表層血管と表層血管との違いが明確な血管画像を得ることができなかった（図示省略）。
　比較例５はコントラスト差分値ΔＣ３が「０．１２３」（Ｇ０－Ｂ０＝０．３５４－０．２３１）であり、第１範囲（単色発光のコントラスト差分値ΔＣｍ「０．１４７」に対して５０％以上）内に入っている。これに対して、比較例３は、クロスポイント血管深さＣＰ３が「８５μｍ」であり、第２範囲（単色発光のクロスポイント血管深さＣＰｍ「６０μｍ」に対して１．４倍以下）外となっている。したがって、第１条件は満たすものの、第２条件は満たさない。そのため、極表層血管と表層血管との違いが明確な血管画像を得ることができなかった（図示省略）。
　実施例１～６及び比較例１～５の結果から、紫色光Ｖを基本に、緑色光Ｇを加えて、クロスポイント血管深さを単色発光のクロスポイント血管深さＣＰｍに近づけた光量比を第１光量比とするのが良いことが分かる。更には、単色発光のクロスポイント血管深さＣＰｍに近い値をできるだけ維持しつつ、紫色光Ｖと緑色光Ｇに対して、コントラスト差分値をできるだけ大きくするように、赤色光Ｒを加えた光量比を第２光量比とするのがよいことが分かる。
　上記実施形態において、画像処理部５８に含まれる通常光画像生成部６２、特殊光画像生成部６４、疾患関連処理部６６、血管抽出部７０、判定部７２、及び血管用画像処理部７４といった各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡや、ＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路（circuitry）である。また、記憶部のハードウェア的な構造はＨＤＤ（hard disc drive）やＳＳＤ（solid state drive）等の記憶装置である。
　なお、本発明は、以下の付記項１記載の別形態により実施可能である。
［付記項１］
　紫色光と緑色光を発する光源部と、
　紫色光と緑色光とをそれぞれ独立に発光可能であり、紫色光と緑色光を混合して第１光量比にて発光する光源制御部と、
　紫色光と緑色光が第１光量比にて発光された観察対象を撮像して得られ、紫色光の成分を含む青色画像と緑色光の成分を含む緑色画像とを含む第１混色発光のカラー画像を取得する画像取得部とを備え、
　特定の血管深さにおける第１混色発光の青色画像の血管コントラストと第１混色発光の緑色画像の血管コントラストとの第１混色発光のコントラスト差分値が、特定の血管深さにおける紫色光のみを発光して得られる紫色光単色発光の青色画像の血管コントラストと青色光のみを発光して得られる青色光単色発光の青色画像の血管コントラストとの単色発光とのコントラスト差分値に対して第１範囲内にあること、且つ、
　第１混色発光の青色画像の血管コントラストと第１混色発光の緑色画像の血管コントラストとのクロスポイントに対応する第１混色発光のクロスポイント血管深さが、第１混色発光のクロスポイント血管深さが、紫色光のみを発光して得られる紫色光単色発光の青色画像の血管コントラストと青色光のみを発光して得られる青色光単色発光の青色画像の血管コントラストとクロスポイントに対応する単色発光のクロスポイント血管深さに対して第２範囲内にあることを満たす内視鏡システム。
１０　内視鏡システム
１２　内視鏡
１２ａ　挿入部
１２ｂ　操作部
１２ｃ　湾曲部
１２ｄ　先端部
１２ｅ　アングルノブ
１２ｆ　モード切替スイッチ
１２ｇ　静止画取得指示部
１２ｈ　ズーム操作部
１４　光源装置
１６　プロセッサ装置
１８　ディスプレイ
１９　ユーザーインターフェース
２０　光源部
２０ａ　Ｖ－ＬＥＤ
２０ｂ　Ｂ－ＬＥＤ
２０ｃ　Ｇ－ＬＥＤ
２０ｄ　Ｒ－ＬＥＤ
２１　光源制御部
２３　光路結合部
２５　ライトガイド
３０ａ　照明光学系
３０ｂ　撮像光学系
３２　照明レンズ
４２　対物レンズ
４３　ズームレンズ
４４　撮像センサ
４５　撮像制御部
４６　ＣＤＳ／ＡＧＣ回路
４８　Ａ／Ｄコンバータ
５０　画像取得部
５２　ＤＳＰ
５４　ノイズ低減部
５６　画像処理切替部
５８　画像処理部
６０　表示制御部
６２　通常光画像生成部
６４　特殊光画像生成部
６６　疾患関連処理部
７０　血管抽出部
７２　判定部
７４　血管用画像処理部
ＣＰ１　第１混色発光のクロスポイント
ＣＰ２　第２混色発光のクロスポイント
ＣＰ３　第３混色発光のクロスポイント
ＣＰｍ　単色発光のクロスポイント
ＶＣｂ１　第１混色発光の青色画像の血管コントラスト
ＶＣｂ２　第２混色発光の青色画像の血管コントラスト
ＶＣｂ３　第３混色発光の青色画像の血管コントラスト
ＶＣｇ１　第１混色発光の緑色画像の血管コントラスト
ＶＣｇ２　第２混色発光の緑色画像の血管コントラスト
ＶＣｇ３　第３混色発光の緑色画像の血管コントラスト
ＶＣｂｍｖ　紫色光単色発光の青色画像の血管コントラスト
ＶＣｂｍｂ　青色光単色発光の青色画像の血管コントラスト
ΔＣ１　第１混色発光のコントラスト差分値
ΔＣ２　第２混色発光のコントラスト差分値
ΔＣ３　第３混色発光のコントラスト差分値
ΔＣｍ　単色発光のコントラスト差分値
ＶＤ１　第１混色発光のクロスポイント血管深さ
ＶＤ２　第２混色発光のクロスポイント血管深さ
ＶＤ３　第３混色発光のクロスポイント血管深さ
ＶＤｍ　単色発光のクロスポイント血管深さ
 
 

Claims (12)

  1. 　紫色光と緑色光を発する光源部と、
    　前記紫色光と前記緑色光とをそれぞれ独立に発光可能であり、前記紫色光と前記緑色光を混合して第１光量比にて発光する光源用プロセッサと、
    　前記紫色光と前記緑色光が前記第１光量比にて発光された観察対象を撮像して得られ、前記紫色光の成分を含む青色画像と前記緑色光の成分を含む緑色画像とを含む第１混色発光のカラー画像を取得する画像制御用プロセッサとを備え、
    　特定の血管深さにおける前記第１混色発光の前記青色画像の血管コントラストと前記第１混色発光の前記緑色画像の血管コントラストとの第１混色発光のコントラスト差分値が第１条件を満たし、且つ、
    　前記第１混色発光の前記青色画像の血管コントラストと前記第１混色発光の前記緑色画像の血管コントラストとのクロスポイントに対応する第１混色発光のクロスポイント血管深さが第２条件を満たす内視鏡システム。
  2. 　前記第１条件は、前記第１混色発光のコントラスト差分値が、前記特定の血管深さにおける前記紫色光のみを発光して得られる紫色光単色発光の青色画像の血管コントラストと青色光のみを発光して得られる青色光単色発光の青色画像の血管コントラストとの単色発光とのコントラスト差分値に基づいて定められる第１範囲内にあること請求項１記載の内視鏡システム。
  3. 　前記第２条件は、前記第１混色発光のクロスポイント血管深さが、前記紫色光のみを発光して得られる紫色光単色発光の青色画像の血管コントラストと青色光のみを発光して得られる青色光単色発光の青色画像の血管コントラストとクロスポイントに対応する単色発光のクロスポイント血管深さに基づいて定められる第２範囲内にあること請求項１記載の内視鏡システム。
  4. 　紫色光と緑色光と赤色光を発する光源部と、
    　前記紫色光と前記緑色光と前記赤色光とをそれぞれ独立に発光可能であり、前記紫色光、前記緑色光、及び前記赤色光を混合して第２光量比にて発光する光源用プロセッサと、
    　前記紫色光、前記緑色光、及び前記赤色光が前記第２光量比にて発光された観察対象を撮像して得られ、前記紫色光の成分を含む青色画像と前記緑色光及び前記赤色光の成分を含む緑色画像とを含む第２混色発光のカラー画像を取得する画像制御用プロセッサとを備え、
    　特定の血管深さにおける前記第２混色発光の前記青色画像の血管コントラストと前記第２混色発光の前記緑色画像の血管コントラストとの第２混色発光のコントラスト差分値が第１条件を満たし、且つ、
    　前記第２混色発光の前記青色画像の血管コントラストと前記第２混色発光の前記緑色画像の血管コントラストとのクロスポイントに対応する第２混色発光のクロスポイント血管深さが第２条件を満たす内視鏡システム。
  5. 　前記画像制御用プロセッサは、
    　前記第１混色発光のカラー画像に対して、互いに血管深さが異なる複数の血管の視認性の違いを高める血管用画像処理を施す請求項１ないし３いずれか１項記載の内視鏡システム。
  6. 　前記画像制御用プロセッサは、
    　前記第２混色発光のカラー画像に対して、互いに血管深さが異なる複数の血管の視認性の違いを高める血管用画像処理を施す請求項４記載の内視鏡システム。
  7. 　前記画像制御用プロセッサは、
    　前記カラー画像に基づいて、疾患のステージに関する指標値を算出すること、又は、前記疾患のステージを判定する請求項１ないし６いずれか１項記載の内視鏡システム。
  8. 　前記画像制御用プロセッサは、
    　前記青色画像を輝度信号に割り当て、前記青色画像と前記緑色画像に基づく演算画像を色差信号に割り当てて得られる血管画像をディスプレイに表示する請求項１ないし６いずれか１項記載の内視鏡システム。
  9. 　前記画像制御用プロセッサは、
    　前記カラー画像に基づいて、互いに血管深さが異なる複数の血管をそれぞれ分離して抽出する請求項１ないし８いずれか１項記載の内視鏡システム。
  10. 　前記紫色光は中心波長に４０５ｎｍを含み、前記緑色光の波長範囲には４８０～６００ｎｍが含まれる請求項１ないし３いずれか１項記載の内視鏡システム。
  11. 　前記紫色光は中心波長に４０５ｎｍを含み、前記緑色光の波長範囲には４８０～６００ｎｍが含まれ、前記赤色光は中心波長に６２０～６３０ｎｍを含む請求項４記載の内視鏡システム。
  12. 　紫色光と緑色光とを発する光源部を制御する光源用プロセッサが、前記紫色光と前記緑色光とをそれぞれ独立に発光可能であり、前記紫色光と前記緑色光を混合して第１光量比にて発光するステップと、
    　前記紫色光と前記緑色光が前記第１光量比にて発光された観察対象を撮像して得られ、前記紫色光の成分を含む青色画像と前記緑色光の成分を含む緑色画像とを含む第１混色発光のカラー画像を取得するステップとを備え、
    　特定の血管深さにおける前記第１混色発光の前記青色画像の血管コントラストと前記第１混色発光の前記緑色画像の血管コントラストとの第１混色発光のコントラスト差分値が第１条件を満たし、且つ、
    　前記第１混色発光の前記青色画像の血管コントラストと前記第１混色発光の前記緑色画像の血管コントラストとのクロスポイントに対応する第１混色発光のクロスポイント血管深さが第２条件を満たす内視鏡システムの作動方法。
PCT/JP2020/036988 2019-10-10 2020-09-29 内視鏡システム及びその作動方法 WO2021070688A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080071079.0A CN114554932A (zh) 2019-10-10 2020-09-29 内窥镜系统及其工作方法
JP2021551332A JP7312843B2 (ja) 2019-10-10 2020-09-29 内視鏡システム及びその作動方法
US17/715,925 US20220225866A1 (en) 2019-10-10 2022-04-07 Endoscope system and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-186736 2019-10-10
JP2019186736 2019-10-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/715,925 Continuation US20220225866A1 (en) 2019-10-10 2022-04-07 Endoscope system and method of operating the same

Publications (1)

Publication Number Publication Date
WO2021070688A1 true WO2021070688A1 (ja) 2021-04-15

Family

ID=75437886

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036988 WO2021070688A1 (ja) 2019-10-10 2020-09-29 内視鏡システム及びその作動方法

Country Status (4)

Country Link
US (1) US20220225866A1 (ja)
JP (1) JP7312843B2 (ja)
CN (1) CN114554932A (ja)
WO (1) WO2021070688A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020217409A1 (ja) * 2019-04-25 2020-10-29

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067780A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2017202241A (ja) * 2016-05-13 2017-11-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び信号処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5872916B2 (ja) * 2012-01-25 2016-03-01 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5815426B2 (ja) * 2012-01-25 2015-11-17 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
JP5654167B1 (ja) * 2013-07-03 2015-01-14 富士フイルム株式会社 内視鏡システム及びその作動方法
JP5892985B2 (ja) * 2013-09-27 2016-03-23 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法
EP3127469B1 (en) * 2014-03-31 2019-09-04 Fujifilm Corporation Endoscope system
US10039439B2 (en) * 2014-09-30 2018-08-07 Fujifilm Corporation Endoscope system and method for operating the same
JP6234350B2 (ja) * 2014-09-30 2017-11-22 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
US10052015B2 (en) * 2014-09-30 2018-08-21 Fujifilm Corporation Endoscope system, processor device, and method for operating endoscope system
EP3357402B1 (en) * 2015-09-28 2020-06-17 FUJIFILM Corporation Endoscope system and operation method for endoscope system
JP6654038B2 (ja) * 2015-12-22 2020-02-26 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP6420230B2 (ja) * 2015-12-22 2018-11-07 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
WO2019039354A1 (ja) * 2017-08-23 2019-02-28 富士フイルム株式会社 光源装置及び内視鏡システム
JPWO2020039932A1 (ja) * 2018-08-20 2021-08-12 富士フイルム株式会社 内視鏡システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016067780A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2017202241A (ja) * 2016-05-13 2017-11-16 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び信号処理方法

Also Published As

Publication number Publication date
CN114554932A (zh) 2022-05-27
JP7312843B2 (ja) 2023-07-21
JPWO2021070688A1 (ja) 2021-04-15
US20220225866A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
JP6785948B2 (ja) 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP6285383B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
JP6243364B2 (ja) 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム
JP7335399B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
CN111107778B (zh) 医疗图像处理系统、内窥镜系统、诊断支持装置及医疗服务支持装置
WO2018230396A1 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JPWO2019093355A1 (ja) 内視鏡システム及びその作動方法
JP6891294B2 (ja) 内視鏡システム及びその作動方法
US20190246874A1 (en) Processor device, endoscope system, and method of operating processor device
US11744437B2 (en) Medical image processing system
WO2021070688A1 (ja) 内視鏡システム及びその作動方法
WO2016104408A1 (ja) 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム
US11969152B2 (en) Medical image processing system
CN112137564A (zh) 医用图像处理装置及内窥镜系统以及医用图像处理装置的工作方法
US20230029239A1 (en) Medical image processing system and method for operating medical image processing system
CN113784654B (zh) 图像处理装置及其工作方法
JP7214886B2 (ja) 画像処理装置及びその作動方法
US20220265129A1 (en) Endoscope system
JP7411515B2 (ja) 内視鏡システム及びその作動方法
WO2021229900A1 (ja) 内視鏡システム及びその作動方法
WO2021149357A1 (ja) 内視鏡システム及びその作動方法
JP2022160298A (ja) 医用画像処理装置及びその作動方法
CN111820852A (zh) 处理器装置及内窥镜系统以及校准方法
JP2016067781A (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20873663

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021551332

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20873663

Country of ref document: EP

Kind code of ref document: A1