WO2019163540A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2019163540A1
WO2019163540A1 PCT/JP2019/004486 JP2019004486W WO2019163540A1 WO 2019163540 A1 WO2019163540 A1 WO 2019163540A1 JP 2019004486 W JP2019004486 W JP 2019004486W WO 2019163540 A1 WO2019163540 A1 WO 2019163540A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation image
display
image
light
depth
Prior art date
Application number
PCT/JP2019/004486
Other languages
English (en)
French (fr)
Inventor
弘亮 岩根
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP19758073.1A priority Critical patent/EP3756532B1/en
Priority to JP2020501664A priority patent/JP6917518B2/ja
Priority to CN201980014517.7A priority patent/CN111770717B/zh
Publication of WO2019163540A1 publication Critical patent/WO2019163540A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6867Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive specially adapted to be attached or implanted in a specific body part
    • A61B5/6876Blood vessel
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present invention relates to an endoscope system that switches and displays a plurality of types of images.
  • an endoscope system including a light source device, an endoscope, and a processor device is widely used.
  • an observation target is irradiated based on an RGB image signal obtained by irradiating an observation target with illumination light from the endoscope, and imaging the observation target under illumination with the imaging light of the endoscope. Is displayed on the monitor.
  • Patent Document 1 a plurality of images having different blood vessel thicknesses and depths are switched and displayed.
  • Patent Document 2 when the purple light V and the blue light B are switched and illuminated, an image of the purple light V and an image of the blue light B are acquired, and when the extreme surface blood vessel is emphasized, the purple light is used.
  • the blue light B image is assigned to the luminance signal.
  • An object of the present invention is to provide an endoscope system that can display a difference between information other than the background mucosa when a plurality of observation images are switched and displayed.
  • the endoscope system of the present invention has a display control unit.
  • the display control unit automatically switches and displays at least two first display observation images and second display observation images on which the same observation target is displayed in a display period of at least two frames or more. .
  • the first spectral information included in the first display observation image and the second spectral information included in the second display observation image are different, and the first display observation image and the second display are displayed.
  • the observation image for use at least a part of the background mucous membrane has the same color tone.
  • a light source unit that emits the first illumination light having the first spectral information and the second illumination light having the second spectral information, and the light emission period of the first illumination light and the second illumination light each of at least two frames or more.
  • a light source control unit that automatically switches between the first illumination light and the second illumination light, and the first display observation image captures the observation target illuminated by the first illumination light
  • the second display observation image is preferably obtained by imaging the observation target illuminated by the second illumination light.
  • the display control unit causes the display unit to display a third display observation image different from the first display observation image and the second display observation image at a timing of switching between the first display observation image and the second display observation image. It is preferable to display. It is preferable that the light source control unit emits third illumination light different from the first illumination light and the second illumination light at the timing of switching between the first display observation image and the second display observation image.
  • the first illumination light includes violet light, green light, and red light
  • the second illumination light includes green light and red light
  • the first illumination light preferably includes violet light, green light, and red light
  • the second illumination light preferably includes blue light, green light, and red light.
  • the first specific information included in the first depth of the biological tissue is included in the region other than the background mucosa
  • the biological tissue is present in the region other than the background mucous membrane.
  • the second specific information included in the second depth is included, and the second depth is deeper than the first depth.
  • the first illumination light includes a first depth penetration light that reaches the first depth
  • the second illumination light includes a second depth penetration light that reaches the second depth.
  • An image acquisition unit that acquires an observation image and a display observation image processing unit that generates a display observation image based on the observation image.
  • the display observation image processing unit uses the observation image as a display observation image.
  • the first display signal is generated by assigning the first color signal to the brightness information
  • the second display observation image is generated by assigning the second color signal of the observation image to the brightness information.
  • the observation image is preferably obtained by imaging an observation target illuminated with special light including purple light, green light, and red light.
  • the display control unit causes the display unit to display a third display observation image different from the first display observation image and the second display observation image at a timing of switching between the first display observation image and the second display observation image. It is preferable to display.
  • the display observation image processing unit assigns a synthesized signal obtained by synthesizing the first color signal and the second color signal of the observation image to the brightness information at the timing of switching between the first display observation image and the second display observation image. It is preferable to generate the third display observation image.
  • the first specific information included in the first depth of the biological tissue is included in the region other than the background mucosa
  • the biological tissue is present in the region other than the background mucous membrane.
  • the second specific information included in the second depth is included, and the second depth is deeper than the first depth.
  • the first spectral information preferably includes spectral information of a first depth corresponding to the first depth
  • the second spectral information preferably includes spectral information of a second depth corresponding to the second depth.
  • the first display observation image parameter and the second display observation image used to generate the first display observation image are generated. It is preferable to switch between the two display observation image parameters.
  • the first specific information included in the first depth of the biological tissue and the second depth of the biological tissue deeper than the first depth In the first display observation image and the second display observation image, in the region other than the background mucous membrane, the first specific information included in the first depth of the biological tissue and the second depth of the biological tissue deeper than the first depth.
  • the display control unit includes a display period setting unit that sets a display period of the first display observation image and a display period of the second display observation image.
  • a still image acquisition instruction unit that issues a still image acquisition instruction, and a set of observation images for display including a first display observation image and a second display observation image when a still image acquisition instruction is issued. It is preferable to include a still image storage control unit that performs control to store in the storage unit.
  • the first specific information is a first depth blood vessel located at the first depth
  • the second specific information is a second depth blood vessel located at the second depth.
  • the first display observation image the first depth blood vessel extracted by the blood vessel extraction processing is displayed
  • the second depth blood vessel extracted by the blood vessel extraction processing is displayed.
  • the first specific information is a first depth gland duct structure located at the first depth
  • the second specific information is a second depth gland duct structure located at the second depth.
  • 1 is an external view of an endoscope system according to a first embodiment. It is a block diagram which shows the function of the endoscope system of 1st Embodiment. It is a graph which shows the emission spectrum of purple light V, blue light B, green light G, and red light R. It is a graph which shows the emission spectrum of the 1st illumination light containing purple light V, green light G, and red light R. It is a graph which shows the emission spectrum of the 2nd illumination light containing the green light G and the red light R.
  • FIG. It is explanatory drawing which shows the light emission period of 1st illumination light, and the light emission period of 2nd illumination light. It is explanatory drawing which shows the light emission period setting menu.
  • the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a user interface 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a proximal end portion of the insertion portion 12a, a bending portion 12c and a distal end portion 12d provided at the distal end side of the insertion portion 12a. have.
  • the angle knob 12e of the operation unit 12b By operating the angle knob 12e of the operation unit 12b, the bending unit 12c performs a bending operation. With this bending operation, the tip 12d is directed in a desired direction.
  • the user interface 19 includes a mouse as well as the illustrated keyboard.
  • the operation unit 12b is provided with a mode switching SW 13a and a still image acquisition instruction unit 13b.
  • the mode switching SW 13a is used for switching operation between the normal observation mode, the first special observation mode, the second special observation mode, and the multi-observation mode.
  • the normal observation mode is a mode for displaying a normal image on the monitor 18.
  • the first special observation mode is a mode for displaying on the monitor 18 a first display observation image in which surface blood vessels (first depth blood vessels) are emphasized.
  • the second special observation mode is a mode in which a second display observation image in which a deep blood vessel (second depth blood vessel) is emphasized is displayed on the monitor 18.
  • the multi-observation mode is a mode in which the first display observation image and the second display observation image are automatically switched and displayed on the monitor 18.
  • a foot switch may be used as the mode switching unit for switching the mode.
  • the processor device 16 is electrically connected to the monitor 18 and the user interface 19.
  • the monitor 18 outputs and displays image information and the like.
  • the user interface 19 functions as a UI (User Interface) that receives input operations such as function settings.
  • the processor device 16 may be connected to an external recording unit (not shown) for recording image information and the like.
  • the light source device 14 includes a light source unit 20, a light source control unit 21, and an optical path coupling unit 23.
  • the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light Emitting Diode) 20d. doing.
  • the light source control unit 21 controls driving of the LEDs 20a to 20d.
  • the optical path coupling unit 23 couples the optical paths of the four colors of light emitted from the four colors of LEDs 20a to 20d.
  • the light coupled by the optical path coupling unit 23 is irradiated into the subject through the light guide 41 and the illumination lens 45 inserted into the insertion unit 12a.
  • An LD Laser Diode
  • the V-LED 20a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED 20b generates blue light B having a center wavelength of 460 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED 20d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • the light source control unit 21 performs control to turn on the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d in any observation mode.
  • the light source control unit 21 emits normal light in which the light intensity ratio among the violet light V, blue light B, green light G, and red light R is Vc: Bc: Gc: Rc.
  • the LEDs 20a to 20d are controlled.
  • the light source control unit 21 uses the light intensity ratio among the violet light V, the blue light B, the green light G, and the red light R as Vs1: Bs1: Gs1: Rs1 as the first spectral information.
  • the LEDs 20a to 20d are controlled so as to emit the first illumination light.
  • the first illumination light preferably emphasizes the surface blood vessels and can accurately reproduce the color of the background mucous membrane. Therefore, for example, as shown in FIG. 4, it is preferable to set Bs1 to “0” and other Vs1, Gs1, and Rs1> 0.
  • the first illumination light in this case includes purple light, green light, and red light, it is possible to emphasize the surface blood vessels as described above, accurately reproduce the color of the background mucosa, and the gland duct Various structures such as structures and irregularities can also be emphasized.
  • the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, the case where any one or two or more of the respective semiconductor light sources are not lit is included. For example, as in the case where the light intensity ratio among the violet light V, the blue light B, the green light G, and the red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other 3 Even if one does not light, it shall have a light intensity ratio.
  • the light source control unit 21 uses the light intensity ratio among the violet light V, the blue light B, the green light G, and the red light R as Vs2: Bs2: Gs2: Rs2 as the second spectral information.
  • the LEDs 20a to 20d are controlled so as to emit the second illumination light. It is preferable that the second illumination light emphasizes deep blood vessels and can accurately reproduce the color of the background mucous membrane. Therefore, for example, as shown in FIG. 5, it is preferable that Vs1 and Bs1 are “0” and Gs1 and Rs1> 0. Since the second illumination light in this case includes green light and red light, the deep blood vessels can be emphasized, and the color of the background mucous membrane can be accurately reproduced.
  • the light source controller 21 When the light source control unit 21 is set to the multi-observation mode, the light source controller 21 emits the first illumination light and the second illumination light in a light emission period of two frames or more, and the first illumination light and the second illumination light. Control is performed to automatically switch illumination light.
  • the light intensity ratios Gs1 and Rs1 of the first illumination light and the light intensity ratios Gs2 and Rs2 of the second illumination light are the same. Thereby, the first display observation image obtained at the time of emission of the first illumination light and the second display observation image obtained at the time of emission of the second illumination light have at least the same color tone of a part of each background mucous membrane. Can be.
  • the color tone of the background mucous membrane is the same
  • the background mucous membrane of the first display observation image and the background mucosa of the second display observation image are exactly the same, and the background of the first display observation image It means that the color difference between the mucous membrane and the background mucous membrane of the second display observation image is within a certain range.
  • the first display observation image and the second display observation image not only a part of the background mucous membrane but also a color tone other than a part may be made the same.
  • the background mucous membrane refers to a region that does not include a region that is recognized or imaged as a structure such as a blood vessel or a gland duct structure in the observation target.
  • the light source control unit 21 controls the amount of illumination light emitted from each of the LEDs 20a to 20d based on the brightness information sent from the brightness information calculation unit 54 of the processor device 16.
  • the light source control unit 21 receives the first illumination light as shown in FIG. After emitting light continuously for two frames, the second illumination light is emitted continuously for three frames.
  • the emission period of the first illumination light and the emission period of the second illumination light are set to a period of at least two frames.
  • the reason for setting the period of two or more frames in this manner is that although the illumination light in the light source device 14 is switched immediately, the image processing switching in the processor device 16 has at least two frames.
  • the burden on the operator due to blinking is reduced by setting the period to two frames or more.
  • frame refers to a unit for controlling the imaging sensor 48 that images the observation target.
  • one frame refers to an exposure period and image in which the imaging sensor 48 is exposed with light from the observation target.
  • a light emission period is determined corresponding to a “frame” that is a unit of imaging.
  • the light emission period of the first illumination light and the light emission period of the second illumination light can be appropriately changed by the light emission period setting unit 24 connected to the light source control unit 21.
  • the light emission period setting unit 24 displays the light emission period setting menu shown in FIG.
  • the light emission period of the first illumination light can be changed between 2 frames and 10 frames, for example. Each light emission period is assigned on the slide bar 26a.
  • the user interface 19 When changing the light emission period of the first illumination light, the user interface 19 is operated and the slider 27a is adjusted to a position indicating the light emission period to be changed on the slide bar 26a. Is changed. Regarding the light emission period of the second illumination light, the slider 27b is moved to a position indicating the light emission period to be changed on the slide bar 26b (for example, the light emission period of 2 to 10 frames is assigned) by operating the user interface 19. , The emission period of the second illumination light is changed.
  • the light source control unit 21 When the light source control unit 21 is set to the multi-observation mode, the light source control unit 21 switches the first illumination light to the second illumination light, or at the timing to switch from the second illumination light to the first illumination light. You may make it light-emit 3rd illumination light different from 1 illumination light and 2nd illumination light. It is preferable that the third illumination light emits at least one frame.
  • the light intensity ratio Vs3: Bs3: Gs3: Rs3 of the third illumination light is the light intensity ratio Vs1: Bs1: Gs1: Rs1 of the first illumination light and the light intensity ratio Vs2 of the second illumination light as the third spectral information.
  • Bs2: Gs2: Rs2 is preferable.
  • the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14, and the processor device 16).
  • the combined light propagates to the distal end portion 12d of the endoscope 12.
  • a multimode fiber can be used as the light guide 41.
  • a thin fiber cable having a core diameter of 105 ⁇ m, a cladding diameter of 125 ⁇ m, and a diameter of ⁇ 0.3 to 0.5 mm including a protective layer serving as an outer shell can be used.
  • the distal end portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30 a has an illumination lens 45, and light from the light guide 41 is irradiated to the observation target via the illumination lens 45.
  • the imaging optical system 30 b includes an objective lens 46 and an imaging sensor 48. Reflected light from the observation object enters the image sensor 48 through the objective lens 46. As a result, a reflected image of the observation object is formed on the image sensor 48.
  • the imaging sensor 48 is a color imaging sensor that captures a reflected image of the subject and outputs an image signal.
  • the image sensor 48 is preferably a CCD (Charge-Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like.
  • the image sensor 48 used in the present invention is a color image sensor for obtaining RGB image signals of three colors of R (red), G (green), and B (blue), that is, an R pixel provided with an R filter.
  • a so-called RGB imaging sensor including a G pixel provided with a G filter and a B pixel provided with a B filter.
  • the image sensor 48 is a so-called complementary color image sensor that includes complementary filters for C (cyan), M (magenta), Y (yellow), and G (green) instead of an RGB color image sensor. May be.
  • the complementary color imaging sensor When the complementary color imaging sensor is used, four color image signals of CMYG are output. Therefore, it is necessary to convert the four color image signals of CMYG to the three color image signals of RGB by complementary color-primary color conversion.
  • the image sensor 48 may be a monochrome image sensor not provided with a color filter. In this case, the light source control unit 21 needs to turn on the blue light B, the green light G, and the red light R in a time-sharing manner, and add a synchronization process in the processing of the imaging signal.
  • the image signal output from the image sensor 48 is transmitted to the CDS / AGC circuit 50.
  • the CDS / AGC circuit 50 performs correlated double sampling (CDS (Correlated Sampling)) and automatic gain control (AGC (Auto Gain Control)) on an image signal which is an analog signal.
  • CDS Correlated Sampling
  • AGC Automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 50 is converted into a digital image signal by an A / D converter (A / D (Analog / Digital) converter) 52.
  • the A / D converted digital image signal is input to the processor device 16.
  • the processor device 16 includes an image acquisition unit 53, a brightness information calculation unit 54, a DSP (Digital Signal Processor) 56, a noise removal unit 58, a signal switching unit 60, a normal observation image processing unit 62, a first A special observation image processing unit 63, a second special observation image processing unit 64, a display control unit 66, a still image storage unit 67, and a still image storage control unit 68 are provided.
  • a DSP Digital Signal Processor
  • the image acquisition unit 53 acquires an observation image obtained by imaging an observation target with the endoscope 12. Specifically, a digital color image signal from the endoscope 12 is input to the image acquisition unit 53 as an observation image.
  • the color image signal includes an R image signal output from the R pixel of the image sensor 48, a G image signal output from the G pixel of the image sensor 48, and a B image signal output from the B pixel of the image sensor 48. It is the RGB image signal comprised.
  • the brightness information calculation unit 54 calculates brightness information indicating the brightness of the observation target based on the RGB image signal input from the image acquisition unit 53. The calculated brightness information is sent to the light source control unit 21 and used for controlling the amount of illumination light emitted.
  • the DSP 56 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, or demosaicing processing on the received image signal.
  • defect correction process the signal of the defective pixel of the image sensor 48 is corrected.
  • offset process the dark current component is removed from the RGB image signal subjected to the defect correction process, and an accurate zero level is set.
  • gain correction process the signal level is adjusted by multiplying the RGB image signal after the offset process by a specific gain.
  • the RGB image signal after the gain correction process is subjected to a linear matrix process for improving color reproducibility. After that, brightness and saturation are adjusted by gamma conversion processing.
  • the RGB image signal after the linear matrix processing is subjected to demosaic processing (also referred to as isotropic processing or synchronization processing), and a signal of a color lacking in each pixel is generated by interpolation.
  • demosaic processing also referred to as isotropic processing or synchronization processing
  • all the pixels have RGB signals.
  • the noise removal unit 58 removes noise from the RGB image signal by performing noise removal processing (for example, a moving average method, a median filter method, etc.) on the RGB image signal subjected to gamma correction or the like by the DSP 56.
  • the RGB image signal from which noise has been removed is transmitted to the signal switching unit 60.
  • the signal switching unit 60 transmits the RGB image signal to the normal observation image processing unit 62 when the normal switching mode is set by the mode switching SW 13a.
  • the RGB image signal is transmitted to the first special observation image processing unit 63.
  • the second special observation mode is set, the RGB image signal is transmitted to the second special observation image processing unit 64.
  • the multi-observation mode is set, the RGB image signal obtained by the illumination and imaging of the first illumination light is transmitted to the first special observation image processing unit 63, and the illumination and imaging of the second illumination light are performed.
  • the RGB image signal obtained in the above is transmitted to the second special observation image processing unit 64, and the RGB image signal obtained by the illumination and imaging of the third illumination light is transmitted to the third special observation image processing unit 65.
  • the normal observation image processing unit 62 performs image processing for a normal image on the RGB image signal obtained in the normal observation mode.
  • the image processing for normal images includes structure enhancement processing for normal images.
  • the normal observation image processing unit 62 is provided with normal image parameters to be multiplied with the RGB image signal in order to perform image processing for a normal image.
  • the RGB image signal subjected to the image processing for the normal image is input from the normal observation image processing unit 62 to the display control unit 66 as a normal image.
  • the first special observation image processing unit 63 is an image such as a saturation enhancement process, a hue enhancement process, and a structure enhancement process based on the RGB image signal of the first observation image obtained during illumination and imaging of the first illumination light.
  • a first display observation image subjected to the processing (first display observation image processing) is generated.
  • the first display observation image many surface blood vessels are included, and the color of the background mucous membrane is accurately reproduced.
  • a parameter for the first display observation image to be multiplied with the RGB image signal is provided in order to perform image processing of the first display observation image.
  • the first special observation image processing unit 63 does not perform superficial blood vessel enhancement processing for emphasizing superficial blood vessels in order to display the first display observation image on the monitor 18 as much as possible. However, depending on the processing load, The surface blood vessel enhancement processing may be performed.
  • the second special observation image processing unit 64 performs a saturation enhancement process, a hue enhancement process, a structure enhancement process, and the like based on the second RGB image signal of the second observation image obtained during illumination and imaging of the second illumination light.
  • a second display observation image subjected to image processing (second display observation image processing) is generated.
  • the second display observation image many deep blood vessels are included, and the color of the background mucous membrane is accurately reproduced.
  • the first display observation image and the first illumination light In the two-display observation image at least a part of the color tone of the background mucosa is the same.
  • the second special observation image processing unit 64 in order to perform image processing of the second display observation image, a parameter for the second display observation image to be multiplied with the RGB image signal is provided.
  • the second special observation image processing unit 64 includes a processing unit similar to the first special observation image processing unit 63, but the processing contents are different from those of the first special observation image processing unit 63.
  • the second special observation image processing unit 64 does not perform the deep blood vessel emphasizing process for emphasizing the deep blood vessels in order to display the second display observation image on the monitor 18 as much as possible. However, depending on the processing load, May perform deep blood vessel emphasis processing.
  • the third special observation image processing unit 65 performs saturation enhancement processing, hue enhancement processing, and structure enhancement processing based on the RGB image signal of the third observation image obtained during illumination and imaging of the third illumination light.
  • a third display observation image is generated.
  • many blood vessels in the intermediate layer between the surface layer and the deep layer are included, and the color of the background mucous membrane is accurately reproduced.
  • a parameter for the third display observation image to be multiplied with the RGB image signal is provided.
  • the third special observation image processing unit 65 also has a processing unit similar to the first special observation image processing unit 63, but the content of the processing is different from that of the first special observation image processing unit 63.
  • the display control unit 66 includes a normal image input from the normal observation image processing unit 62, the first special observation image processing unit 63, the second special observation image processing unit 64, or the third special observation image processing unit 65, and a first display. Control for displaying the observation image for observation, the observation image for second display, or the observation image for third display as an image that can be displayed on the monitor 18 is performed. Details of the display control unit will be described later.
  • the still image storage control unit 68 performs control to store the image obtained at the timing of the still image acquisition instruction as a still image in the still image storage unit 67 according to the instruction of the still image acquisition instruction unit 13b.
  • the normal image obtained at the timing of the still image acquisition instruction is stored in the still image storage unit 67 as a still image.
  • the first display observation image obtained at the timing of the still image acquisition instruction is stored in the still image storage unit 67 as a still image.
  • the second display observation image obtained at the timing of the still image acquisition instruction is stored in the still image storage unit 67 as a still image.
  • a set of display observation images of the first display observation image and the second display observation image obtained at the timing of the still image acquisition instruction is stored in the still image storage unit 67. To do.
  • the display control unit 66 Under the control of the display control unit 66, an image corresponding to each observation mode is displayed. In the normal observation mode, a normal image is displayed on the monitor 18. Further, in the case of the first special observation mode, as shown in FIG. 9, the surface blood vessels are represented as the first specific information included in the background mucosa and the first depth of the living tissue among the observation objects. A first display observation image is displayed. In the first display observation image, as shown in FIG. 10, the contrast of the superficial blood vessels is displayed high due to the purple light V included in the first illumination light. In the first display observation image, the color tone of the background mucous membrane is maintained and accurately displayed by the green light G and the red light R included in the first illumination light.
  • the purple light V (first depth penetration light) of the first illumination light is on the surface layer (first depth).
  • the image sensor 48 receives the V component of the reflected light. Therefore, since the first display observation image includes the V component of the reflected light, the contrast of the surface blood vessels is high. Further, among the first illumination light, the green light G and the red light R reach the middle layer and the deep layer, and the G and R components of the reflected light are received by the image sensor 48. Accordingly, since the first display observation image includes the G component and the R component of the reflected light, the color tone of the background mucous membrane can be accurately reproduced.
  • the second display observation image showing the deep blood vessels is displayed.
  • the surface blood vessels and the deep blood vessels are displayed by the second illumination light, but the contrast of the surface blood vessels is displayed lower than that of the first display observation image.
  • the color tone of the background mucous membrane is maintained and accurately displayed by the green light G and the red light R included in the first illumination light, similarly to the first display observation image.
  • the green light G (second depth penetration light) and the red light R (second depth penetration light) are intermediate layers and deep layers (second layers).
  • the G component and R component of the reflected light are received by the image sensor 48. Therefore, since the second display observation image includes the G component and the R component of the reflected light, the color tone of the background mucous membrane can be accurately reproduced.
  • the surface blood vessels and the deep blood vessels are also displayed by the G component and R component of the reflected light.
  • the color first display observation image and the second display observation according to the light emission period of the first illumination light and the light emission period of the second illumination light.
  • the image is switched and displayed on the monitor 18. That is, when the light emission period of the first illumination light is 2 frames and the light emission period of the second illumination light is 3 frames, the first display observation image is displayed continuously for 2 frames and the second display light is displayed. The observation image is displayed continuously for 3 frames.
  • the two types of first display observation images and second display observation images can be automatically switched and displayed without the user operating the mode switching SW 13a.
  • the first display observation image and the second display observation image are the same as long as the observation target does not move or the distal end portion 12d of the endoscope 12 does not move.
  • the target is displayed.
  • the spectral information is different from each other, and the appearance of the observation target is different depending on the spectral information.
  • the visibility for a plurality of blood vessels having different depths can be improved by switching and displaying the first display observation image and the second display observation image.
  • the first display observation image and the second display observation image are images obtained based on illumination light including the red band, the color tone of the background mucous membrane can be reproduced. Accordingly, the first display observation image and the second display observation image displayed in the multi-observation mode do not give a sense of incongruity to the user because the color tone of the normal image and the background mucous membrane hardly changes. As a result, the user can learn the multi-observation mode in a relatively short period.
  • by switching and displaying the first display observation image and the second display observation image it is possible to grasp how the blood vessel has risen from the deep blood vessel to the surface blood vessel.
  • the first display observation image and the second display observation image have the same color tone of the background mucous membrane, only the difference in blood vessels can be emphasized and displayed by switching the images.
  • the first display observation image is used.
  • the third display observation image obtained by illumination and imaging of the third illumination light is displayed on the monitor 18.
  • blood vessels in the intermediate layer between the surface layers and the deep layers are displayed.
  • the first display observation image and the second display observation image are displayed in color. Instead, as shown in FIG. 17, the first display observation image and the first display observation image are displayed.
  • the two display observation image may be displayed in monochrome.
  • the display period of the first display observation image and the display period of the second display observation image can be appropriately changed by a display period setting unit 66 a provided in the display control unit 66.
  • the display period setting unit 66a displays a display period setting menu shown in FIG.
  • the display period of the first display observation image can be changed between 2 frames and 10 frames, for example. Each display period is assigned on the slide bar 70a.
  • the user interface 19 When changing the display period of the first display observation image, the user interface 19 is operated to align the slider 71a with the position indicating the display period to be changed on the slide bar 70a. The display period of is changed. Also for the display period of the second display observation image, the user interface 19 is operated to a position indicating the display period to be changed on the slide bar 70b (for example, a display period of 2 to 10 frames is assigned). By combining the slider 71b, the display period of the second display observation image is changed.
  • the display is performed by complementation processing or the like so that the display for the display period of the first display observation image is performed. It is preferable to generate the first display observation image for a period.
  • the emission period of the second illumination light is longer than the display period of the first display observation image, the first display observation image is displayed in accordance with the display period of the first display observation image. You may make it not use it.
  • the display period of the first display observation image and the second display observation image is preferably at least two frames. In the case of one frame, since the image is switched quickly, there is a possibility that the difference between the first display observation image and the second display observation image cannot be recognized.
  • the second illumination light includes the green light G and the red light R.
  • the blue light B is also included as shown in FIG. Also good.
  • the blue light B of the second illumination light reaches a position slightly deeper than the surface layer, and the B component of the reflected light is received by the image sensor 48. Therefore, the second display observation image can be displayed with the contrast of the superficial blood vessels being increased by the B component of the reflected light.
  • the second display observation image includes the G component and R component of the reflected light as described above, so that the color tone of the background mucous membrane can be accurately reproduced.
  • the first specific information is a surface blood vessel and the second specific information is a deep blood vessel, but other information may be used.
  • the first specific information may be a gland duct structure with a first depth
  • the second specific information may be a gland duct structure with a second depth deeper than the first depth.
  • the purple light V of the first illumination light reaches the gland duct structure at the first depth
  • the V component of the reflected light includes the gland duct at the first depth.
  • a structure and a second depth glandular duct structure are included. As a result, as shown in FIG.
  • the first display observation image displays the first depth gland duct structure and the second depth gland duct structure as shown in FIG. 21B. Further, when blue light B, green light G, and red light R are included as the second illumination light (see FIG. 19), the blue light B of the second illumination light is the second light as shown in FIG. 22A.
  • the B component of the reflected light includes the first depth gland duct structure, the second depth gland duct structure, and the first depth gland duct structure. Contains information about the mucous membranes.
  • the second display observation image includes the second depth gland duct structure and the first depth gland duct structure having a lower contrast than the second depth gland duct structure. Is displayed.
  • the gland duct structure of the first depth in the second display observation image is displayed with a lower contrast (or invisible) than the first display observation image because the underlying mucous membrane is superimposed.
  • the analysis is divided into microvascular structure image (microvascular pattern (V)) and surface microstructure (microsurface pattern (S)), and compared with certain diagnostic criteria.
  • V microvascular pattern
  • S microsurface pattern
  • V and S are classified as regular / irregular / absent, and cancer or non-cancer is discriminated based on the classified results.
  • the surface microstructure that is, the gland duct structure, as described above, there are those having different depths such as the first depth gland duct structure and the second depth gland duct structure. Even a gland duct structure that cannot be visually recognized with the second illumination light may be visually recognized with the first illumination light.
  • a multi-observation mode in which a first display observation image based on the first illumination light and a second display observation image based on the second illumination light are switched and displayed, blood vessels and gland ducts having different depths and heights are used. Since the structure can be visually recognized, for example, the disappearance of the gland duct structure can be accurately determined. As a result, the diagnostic accuracy of VS classification System can be improved.
  • the normal observation image processing unit 62, the first special observation image processing unit 63, the second special observation image processing unit 64, and the third special observation image processing unit 65 are provided for observation.
  • the signal switching unit 60 determines which processing unit performs processing according to the mode, but processing may be performed by other methods.
  • the normal observation image processing unit 62, the first special observation image processing unit 63, the second special observation image processing unit 64, and the third special observation image processing unit 65 as shown in FIG.
  • a specific image processing unit 80 in which the processing units 62, 63, 64, and 65 are grouped together may be provided, and image processing corresponding to each observation mode may be performed using parameters corresponding to the observation mode.
  • the specific image processing unit 80 sets the normal image parameters and performs image processing to generate a normal image.
  • the specific image processing unit 80 sets the first display observation image parameter to generate a first display observation image.
  • the specific image processing unit 80 sets the second display observation image parameter to generate a second display observation image.
  • the specific image processing unit 80 uses the first display observation image parameter and the second display observation image parameter. Are switched so that the first display observation image and the second display observation image are generated.
  • the first illumination light and the second display observation image used to acquire the first display observation image are used.
  • the second illumination light used for acquisition is switched to emit light.
  • the first display observation image having the first spectral information is obtained from the special observation image obtained by one type of special light.
  • a second display observation image having second spectral information different from the first spectral information Since the first display observation image and the second display observation image of the second embodiment are generated from a special observation image of one frame, the observation target is the same, and a positional deviation or the like occurs between the images. Absent.
  • a first special observation image processing unit 63 In the endoscope system 100 of the second embodiment, as shown in FIG. 24, in the processor device 16, a first special observation image processing unit 63, a second special observation image processing unit 64, and a third special observation image processing unit. In place of 65, a special observation image processing unit 102 and a multi-observation image processing unit 104 (display observation image processing unit) are provided, and the first special observation mode, the second special observation mode, and the first
  • the third embodiment is substantially the same as the first embodiment except that a special observation mode and a multi-observation mode are provided instead of the three special observation modes.
  • the special observation mode is a mode in which a special observation image in which a blood vessel having a specific depth is emphasized is displayed on the monitor 18.
  • an image is generated, and the first display observation image and the second display observation image are automatically switched and displayed on the monitor 18.
  • the light source control unit 21 has a light intensity ratio among the violet light V, the blue light B, the green light G, and the red light R in the special observation mode or the multi-observation mode, which is Vs: Bs: Gs: Rs.
  • the LEDs 20a to 20d are controlled so as to emit special light. It is preferable that the special light emphasizes a blood vessel of a specific depth and can accurately reproduce the color of the background mucous membrane. For example, when emphasizing a superficial blood vessel as a blood vessel of a specific depth, it is preferable to set Bs to “0” and other Vs, Gs, Rs> 0 as shown in FIG.
  • the first illumination light in this case includes purple light, green light, and red light, it is possible to emphasize the surface blood vessels as described above, accurately reproduce the color of the background mucosa, and the gland duct Various structures such as structures and irregularities can also be emphasized.
  • the signal switching unit 60 transmits the RGB image signal that has passed through the noise removal unit 58 to the normal observation image processing unit 62 when the mode switching SW 13a is set to the normal observation mode.
  • the RGB image signal that has passed through the noise removal unit 58 is transmitted to the special observation image processing unit 63.
  • the multi-observation mode is set, the RGB image signal that has passed through the noise removing unit 58 is transmitted to the multi-observation image processing unit 104.
  • the special observation image processing unit 63 receives an Rs image signal, a Gs image signal, and a Bs image signal obtained in the special observation mode.
  • the input Rs image signal, Gs image signal, and Bs image signal are subjected to image processing for the special observation mode.
  • the special observation image processing unit 63 in order to perform image processing for the special observation mode, parameters for the special observation mode to be multiplied with the Rs image signal, the Gs image signal, and the Bs image signal are provided.
  • the image processing for the special observation mode includes structure enhancement processing for the special observation mode.
  • the RGB image signal subjected to the image processing for the special observation image is input from the special observation image processing unit 63 to the display control unit 66 as a special observation image.
  • the multi-observation image processing unit 104 receives an Rs image signal, a Gs image signal, and a Bs image signal obtained in the multi-observation mode.
  • the input Rs image signal, Gs image signal, and Bs image signal are subjected to image processing for the multi-observation mode.
  • the image processing for the multi-observation mode generates a plurality of display observation images in which blood vessels having different depths are emphasized from one frame of special observation images. In the present embodiment, a first display observation image in which surface blood vessels are emphasized and a second display observation image in which deep blood vessels are emphasized are generated as a plurality of display observation images. Details of the image processing for the multi-observation mode will be described later.
  • the first display observation image and the second display observation image are input from the multi-observation image processing unit 104 to the display control unit 66.
  • the multi-observation image processing unit 104 is also provided with parameters for the multi-observation mode that are multiplied by the Rs image signal, the Gs image signal, and the Bs image signal in order to perform image processing for the multi-observation mode.
  • the image processing in the multi-observation mode includes a first display observation image generation process that generates a first display observation image and a second display observation image generation process that generates a second display observation image.
  • a luminance color difference signal conversion process is performed on the Bs image signal, the Gs image signal, and the Rs image signal obtained in the multi-observation mode.
  • the color difference signals Cr and Cb are converted.
  • the luminance signal Y is converted into the luminance signal Ym by performing luminance signal allocation processing for allocating the luminance signal Y to the Bs image signal (first color signal (blue signal) of the observation image).
  • the Bs image signal includes information on the superficial blood vessels, as shown in FIG. 27, as the first specifying information included in the region other than the background mucosa, as shown in FIG. An image in which surface blood vessels are emphasized can be obtained.
  • the first display observation image is generated based on the Gs image signal and the Rs image signal including the components of the green light G and the red light R in the special light, the color tone of the background mucous membrane is accurately represented. ing.
  • a chrominance signal correction process for correcting a shift between the chrominance signals Cr and Cb accompanying the conversion of the luminance signal Y into the luminance signal Ym is performed. Specifically, the color difference signal Cr is multiplied by the converted color difference signal Ym / the converted color difference signal Y. Similarly, the color difference signal Cb is multiplied by the converted color difference signal Ym / the converted color difference signal Y.
  • the shift between the color difference signals Cr and Cb it is possible to correct the shift in saturation according to the luminance conversion while maintaining the hue (when the luminance is low, the saturation is reduced). If the brightness increases, the saturation can be increased).
  • the luminance signal Ym, the color difference signal Cr ⁇ Ym / Y, and the color difference signal Cb ⁇ Ym / Y are converted into a B1 image signal, a G1 image signal, and an R1 image signal by performing RGB conversion processing. These B1 image signal, G1 image signal, and R1 image signal become the first display observation image.
  • the second display observation image generation process performs luminance for the Bs image signal, Gs image signal, and Rs image signal obtained in the multi-observation mode, as in the first display observation image generation process.
  • Color difference signal conversion processing is performed to convert the luminance signal Y and color difference signals Cr and Cb.
  • the luminance signal Y is converted into the luminance signal Yn by performing luminance signal allocation processing for allocating the luminance signal Y to the Gs image signal (second color signal (green signal) of the observation image).
  • the Gs image signal includes information on the deep blood vessels as described later, as shown in FIG. 29, as the second specifying information included in the region other than the background mucosa, An image in which deep blood vessels are emphasized can be obtained.
  • the second display observation image is generated based on the Gs image signal and the Rs image signal including the components of the green light G and the red light R in the special light, the color tone of the background mucous membrane is accurately represented. ing.
  • the second color signal of the observation image is a color signal having a longer wave component than the first color signal of the observation image.
  • the first color signal is a blue signal and the second color signal is a green signal, but the present invention is not limited to this.
  • the first color signal may be a green signal and the second color signal may be a red signal such as an Rs image signal.
  • a color difference signal correction process for correcting a shift between the color difference signals Cr and Cb accompanying the conversion of the luminance signal Y into the luminance signal Yn is performed. Specifically, the color difference signal Cr is multiplied by the converted color difference signal Yn / the converted color difference signal Y. Similarly, the color difference signal Cb is multiplied by the converted color difference signal Yn / the converted color difference signal Y. Thereby, the shift
  • the luminance signal Yn, the color difference signal Cr ⁇ Yn / Y, and the color difference signal Cb ⁇ Yn / Y are converted into a B2 image signal, a G2 image signal, and an R2 image signal by performing RGB conversion processing. These B2 image signal, G2 image signal, and R2 image signal become the second display observation image.
  • third display observation image generation processing for generating a third display observation image is performed as image processing in the multi-observation mode.
  • the third display observation image generation processing performs luminance color difference signal conversion processing on the Bs image signal, the Gs image signal, and the Rs image signal obtained in the multi-observation mode, thereby obtaining the luminance signal Y.
  • the color difference signals Cr and Cb are converted.
  • the luminance signal Y is converted into the luminance signal Yp by performing luminance signal allocation processing for allocating a synthesized signal obtained by synthesizing the Bs image signal and the Gs image signal to the luminance signal Y.
  • the composite signal is preferably, for example, a signal ((Bs image signal + Gs image signal) / 2) obtained by averaging the Bs image signal and the Gs image signal.
  • the third display information on the third display observation image includes the surface blood vessels and the third specific information included in the region other than the background mucosa. An image in which deep blood vessels are emphasized can be obtained.
  • the third display observation image is generated based on the Gs image signal and the Rs image signal including the components of the green light G and the red light R in the special light, the color tone of the background mucous membrane is accurately represented. ing.
  • a color difference signal correction process for correcting a shift between the color difference signals Cr and Cb accompanying the conversion of the luminance signal Y into the luminance signal Yp is performed. Specifically, the color difference signal Cr is multiplied by the converted color difference signal Yp / the converted color difference signal Y. Similarly, the color difference signal Cb is multiplied by the converted color difference signal Yp / the converted color difference signal Y. Thereby, the shift
  • the luminance signal Yn, the color difference signal Cr ⁇ Yp / Y, and the color difference signal Cb ⁇ Yp / Y are converted into a B3 image signal, a G3 image signal, and an R3 image signal by performing RGB conversion processing. These B3 image signal, G3 image signal, and R3 image signal become the third display observation image.
  • the signal to which the Bs image signal, the Gs image signal, or the combined signal is assigned is the luminance signal Y, but may be assigned to other brightness information.
  • a Bs image signal or a Gs image signal may be assigned to the brightness corresponding to the brightness information.
  • the Bs image signal includes information on surface blood vessels and the Gs image signal includes information on deep blood vessels for the following reason.
  • the Bs image signal has a signal value corresponding to the light intensity obtained by multiplying the light intensity of the special light, the reflectance of the observation object, and the light transmittance of the B pixel of the image sensor 48. doing.
  • the Bs image signal contains a lot of special light shortwave components.
  • the Gs image signal has a signal value corresponding to the light intensity obtained by multiplying the light intensity of the special light, the reflectance of the observation object, and the light transmittance of the G pixel of the imaging sensor 48.
  • the Gs image signal contains a lot of special wave medium wave components.
  • the Rs image signal has a signal value corresponding to the light intensity obtained by multiplying the light intensity of the special light, the reflectance of the observation object, and the light transmittance of the R pixel of the imaging sensor 48.
  • This Rs image signal contains a lot of special wave long wave components.
  • the short-wave component (first depth spectral information) of special light contained in a large amount in the Bs image signal is reflected in the reflected light component reaching the surface layer (first depth) of the mucous membrane.
  • the Bs image signal includes information on the surface blood vessels (first specific information) included in the surface layer of the mucous membrane.
  • the medium wave component of the special light (second depth spectral information) contained in the Gs image signal in a large amount corresponds to the component of the reflected light of the light reaching the middle layer of the mucosa (second depth).
  • the Gs image signal includes information on the surface blood vessels (first specific information) or the deep blood vessels (second specific information) included in the surface layer or the middle layer of the mucous membrane.
  • the long wave component of special light included in the Rs image signal includes information on mucous membranes other than structures such as blood vessels. Therefore, it is possible to display mucosal information by the Rs image signal.
  • the display control unit 66 includes a normal observation image, a special observation image, a first display observation image, or a second display input from the normal observation image processing unit 62, the special observation image processing unit 102, and the multi-observation image processing unit 104.
  • Control for displaying the observation image on the monitor 18 is performed. An image corresponding to each observation mode is displayed on the monitor 18 under the control of the display control unit 66.
  • the monitor 18 displays a normal observation image.
  • the special observation mode the monitor 18 displays a special observation image.
  • the monitor 18 In the multi-observation mode, the monitor 18 automatically switches and displays the first display observation image or the second display observation image according to a specific display pattern.
  • the third display observation image may be displayed at the timing of switching between the first display observation image and the second display observation image. By displaying the third display observation image, the observation object changes smoothly without changing rapidly as the image is switched.
  • a specific display pattern is a pattern in which the first display observation image is displayed for two frames and the second display observation image is displayed for three frames in one display cycle
  • the following pattern is used. Conceivable.
  • the multi-observation image processing unit 104 when a special observation image of two frames is input as an input image to the multi-observation image processing unit 104, the multi-observation image processing unit 104 generates first display observation images for two frames. Generate as an image. The generated first display observation images for two frames are sequentially displayed on the monitor 18 as display images.
  • the multi-observation image processing unit 104 generates a second display observation image for three frames as a generation image. .
  • the generated second display observation images for three frames are sequentially displayed on the monitor 18 as display images.
  • the multi-observation image processing unit 104 uses the first of two frames.
  • a display observation image and a second display observation image are generated as generated images.
  • two frames of the first display observation image are sequentially displayed on the monitor 18 as a display image.
  • the multi-observation image processing unit 104 performs the first display observation image and the second display observation for three frames.
  • An image is generated as a generated image.
  • three frames of the second display observation image are sequentially displayed on the monitor 18 as a display image.
  • the first display observation image and the first display observation image are obtained from the special observation image obtained at the timing of the still image acquisition instruction.
  • a second display observation image is generated, and the two types of first display observation image and second display observation image are stored in the still image storage unit 67.
  • first display observation image and the second display observation image are preferably switched and displayed in a display period of two frames or more. In the case of one frame, as described above, since the image is switched quickly, there is a possibility that the difference between the first display observation image and the second display observation image cannot be recognized.
  • the difference between the Bs image signal and the Gs image signal may be small.
  • the difference between the first display observation image and the second display observation image may be small.
  • One calculation process (Bs ⁇ ⁇ Gs) is performed. Thereby, as shown in FIG. 37, the medium wave component (the component of the second color signal (green signal) of the observation image) of the Gs image signal can be removed from the Bs image signal. Thereby, in the (Bs ⁇ ⁇ Gs) image signal, the information on the deep blood vessels is reduced.
  • the first display observation image in which the (Bs ⁇ ⁇ Gs) image signal is assigned to the luminance signal Y is By reducing the number of deep blood vessels, the difference from the second display observation image can be increased.
  • the first calculation processing reduces the number of deep blood vessels from the first display observation image including the surface blood vessels (first specifying information) and the deep blood vessels (second specifying information), This corresponds to the “first reduction process” of the invention.
  • a second calculation process for subtracting the Bs image signal multiplied by the coefficient ⁇ from the Gs image signal may be performed.
  • the short wave component the component of the first color signal (blue signal) of the observation image
  • the second display observation image in which the (Gs ⁇ ⁇ Bs) image signal is assigned to the luminance signal Y can increase the difference from the first display observation image because the number of surface blood vessels is reduced.
  • the second calculation processing reduces the number of surface blood vessels from the second display observation image including the surface blood vessels and the deep blood vessels, the second calculation processing corresponds to the “second reduction processing” of the present invention.
  • the first reduction process for reducing the number of deep blood vessels from the first display observation image is performed by the same method as the first calculation process, or the same method as the second calculation process.
  • a process of reducing surface blood vessels from the second display observation image may be performed.
  • the first reduction process of the first embodiment the first calculation process of subtracting the G image signal of the first observation image multiplied by the coefficient ⁇ from the B image signal of the first observation image. Is done.
  • a first display observation image is generated based on the B image signal of the first observation image that has been subjected to the first arithmetic processing, the G image signal of the first observation image, and the R image signal of the first observation image.
  • the information on the deep blood vessels is reduced, and thus the visibility of the surface blood vessels is improved. .
  • the second calculation process is performed by subtracting the B image signal of the second observation image multiplied by the coefficient ⁇ from the G image signal of the second observation image. Then, a second display observation image is generated based on the B image signal of the second observation image, the G image signal of the second observation image that has been subjected to the second calculation process, and the R image signal of the second observation image. Compared with the case where the second display observation image is generated without using the G image signal that has been subjected to the second calculation process, the information on the surface blood vessels is reduced, and thus the visibility of the deep blood vessels is improved. .
  • the normal observation image processing unit 62, the special observation image processing unit 102, and the multi-observation image processing unit 104 are provided, and which processing unit is used for processing according to the observation mode.
  • the processing may be performed by other methods.
  • a specific image processing unit (a specific image processing unit (a specific observation image processing unit 104))
  • An image processing unit 80 (see FIG. 23) (not shown) may be provided, and image processing corresponding to each observation mode may be performed using parameters corresponding to the observation mode.
  • a specific image processing unit sets a normal image parameter and performs image processing to generate a normal image.
  • a specific image processing unit sets the first display observation image parameter to generate a first display observation image.
  • the second display observation image is generated by setting the second display observation image parameter in the specific image processing unit.
  • the first display observation image parameter is set in the specific image processing unit. By switching to the second display observation image parameter, the first display observation image and the second display observation image are generated.
  • the blood vessels such as surface blood vessels and deep blood vessels are visually recognized with respect to the first display observation image or the second display observation image.
  • special processing for improving the visibility of the blood vessel may be performed depending on the situation.
  • the first special observation image processing unit 63 performs a blood vessel extraction process for extracting surface blood vessels on the first observation image.
  • the superficial blood vessels extracted by this blood vessel extraction processing are displayed superimposed on the first display observation image.
  • the second special observation image processing unit 64 blood vessel extraction processing for extracting deep blood vessels is performed on the second observation image.
  • the deep blood vessels extracted by this blood vessel extraction processing are displayed superimposed on the second display observation image.
  • the third special observation image processing unit 65 When displaying the third display observation image, the third special observation image processing unit 65 performs a blood vessel extraction process for extracting a surface blood vessel or a deep blood vessel on the third display observation image.
  • the surface blood vessels or the deep blood vessels extracted by this blood vessel extraction processing are displayed as the third display observation image.
  • the multi-observation image processing unit 104 performs a blood vessel extraction process for extracting a surface blood vessel on the special observation image, A blood vessel extraction process is performed. Then, the superficial blood vessels extracted by the blood vessel extraction processing are displayed so as to overlap each other in the first display observation image. In addition, the deep blood vessels extracted by the blood vessel extraction processing are displayed so as to overlap in the second display observation image. As described above, by displaying the blood vessel extracted by the blood vessel extraction process, the visibility of the blood vessel on the image is improved as compared with the case where the display of the blood vessel extracted is not used.
  • the multi-observation image processing unit 104 When displaying the third display observation image, the multi-observation image processing unit 104 performs blood vessel extraction processing for extracting surface blood vessels or deep blood vessels on the third display observation image.
  • the surface blood vessels or the deep blood vessels extracted by this blood vessel extraction processing are displayed as the third display observation image.
  • the hardware structure of a processing unit (processing unit) included in the processor device 16 such as the multi-observation image processing unit 104 is various processors as described below.
  • the circuit configuration is changed after the manufacture of CPU (Central Processing Unit) and FPGA (Field Programmable Gate Array), which are general-purpose processors that function as various processing units by executing software (programs).
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • a programmable logic device PLD that is a possible processor, a dedicated electric circuit that is a processor having a circuit configuration specifically designed to execute various processes, and the like are included.
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or CPUs and FPGAs). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or server, one processor is configured with a combination of one or more CPUs and software, There is a form in which this processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form of using a processor that realizes the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there.
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • the hardware structure of these various processors is more specifically an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the present invention is not limited to the endoscope system as in the first to third embodiments and the processor device incorporated in the capsule endoscope system as in the fourth embodiment, and various medical image processing apparatuses. It is possible to apply.

Abstract

複数の観察画像を切り替えて表示する場合において、背景粘膜以外の情報の違いが分かるように表示することができる内視鏡システムを提供する。 同一の観察対象が表示される少なくとも2つの第1表示用観察画像と第2表示用観察画像とを少なくとも2フレーム以上の表示期間にて自動的に切り替えてモニタ(18)に表示する。第1表示用観察画像が有する第1分光情報と第2表示用観察画像が有する第2分光情報とは異なっている。第1表示用観察画像と第2表示用観察画像とでは、少なくとも背景粘膜の一部が同じ色調となっている。

Description

内視鏡システム
 本発明は、複数種類の画像を切り替えて表示する内視鏡システムに関する。
 近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
 また、近年では、診断の目的に応じて、表示内容が異なる複数の観察画像を同時に又は切り替えてモニタに表示することが行われている。例えば、特許文献1では、血管の太さや深さが異なる複数の画像を切り替えて表示することが行われている。また、特許文献2では、紫色光Vと青色光Bを切り替えて照明することにより、紫色光Vの画像と青色光Bの画像とを取得し、極表層血管を強調する場合には、紫色光Vの画像を輝度信号に割り当て、表層血管を強調する場合には、青色光Bの画像を輝度信号に割り当てている。
特開2017-60682号公報 特開2016-67780号公報
 近年では、内視鏡分野においては、背景粘膜以外の情報、例えば、深さが異なる血管や深さ、高さが異なる腺管構造などに着目する診断が行われている。このような診断においては、ユーザーに対して、背景粘膜以外の複数の情報をそれぞれ把握できるように表示する必要がある。このような複数の情報をそれぞれ表示する方法として、特許文献1のように、複数の画像を切り替えて表示する方法が考えられる。このように複数の画像を切り替えて表示する場合には、背景粘膜の色調は画像毎に同じにして、背景粘膜各画像による背景粘膜以外の情報の違いが分かるように表示する必要がある。しかしながら、特許文献1では、画像毎に背景粘膜の色調を同じにすることについては記載及び示唆がないので、画像を切り替えて表示したとしても、血管の深さや太さの違いが分かりにくい場合がある。
 本発明は、複数の観察画像を切り替えて表示する場合において、背景粘膜以外の情報の違いが分かるように表示することができる内視鏡システムを提供することを目的とする。
 本発明の内視鏡システムは、表示制御部を有する。表示制御部は、同一の観察対象が表示される少なくとも2つの第1表示用観察画像と第2表示用観察画像とを少なくとも2フレーム以上の表示期間にて自動的に切り替えて表示部に表示する。本発明の内視鏡システムでは、第1表示用観察画像が有する第1分光情報と第2表示用観察画像が有する第2分光情報とは異なっており、第1表示用観察画像と第2表示用観察画像とは、少なくとも背景粘膜の一部が同じ色調である。
 第1分光情報を有する第1照明光と、第2分光情報を有する第2照明光とを発光する光源部と、第1照明光と第2照明光とを、それぞれ少なくとも2フレーム以上の発光期間にて発光させ、且つ、第1照明光と第2照明光とを自動的に切り替える光源制御部を有し、第1表示用観察画像は、第1照明光により照明された観察対象を撮像することにより得られ、第2表示用観察画像は、第2照明光により照明された観察対象を撮像することにより得られることが好ましい。
 表示制御部は、第1表示用観察画像と第2表示用観察画像とを切り替えるタイミングにおいて、第1表示用観察画像及び第2表示用観察画像とは異なる第3表示用観察画像を表示部に表示することが好ましい。光源制御部は、第1表示用観察画像と第2表示用観察画像とを切り替えるタイミングにおいて、第1照明光及び第2照明光とは異なる第3照明光を発光することが好ましい。
 第1照明光は紫色光、緑色光、及び赤色光を含み、第2照明光は緑色光及び赤色光を含むことが好ましい。第1照明光は紫色光、緑色光、及び赤色光を含み、第2照明光は青色光、緑色光、及び赤色光を含むことが好ましい。
 第1表示用観察画像において、背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報を有し、第2表示用観察画像において、背景粘膜以外の領域に、生体組織の第2深さに含まれる第2特定情報を有し、第2深さは第1深さよりも深いことが好ましい。第1照明光は第1深さまで深達する第1深さ深達光を含み、第2照明光は第2深さまで深達する第2深さ深達光を含むことが好ましい。
 観察画像を取得する画像取得部と、観察画像に基づいて、表示用観察画像を生成する表示用観察画像処理部とを備え、表示用観察画像処理部は、表示用観察画像として、観察画像の第1色信号を明るさ情報に割り当てて第1表示用観察画像を生成し、観察画像の第2色信号を明るさ情報に割り当てて第2表示用観察画像を生成することが好ましい。観察画像は、紫色光、緑色光、及び赤色光を含む特殊光で照明された観察対象を撮像して得られることが好ましい。
 表示制御部は、第1表示用観察画像と第2表示用観察画像とを切り替えるタイミングにおいて、第1表示用観察画像及び第2表示用観察画像とは異なる第3表示用観察画像を表示部に表示することが好ましい。表示用観察画像処理部は、第1表示用観察画像と第2表示用観察画像とを切り替えるタイミングにおいて、観察画像の第1色信号と第2色信号を合成した合成信号を明るさ情報に割り当てて第3表示用観察画像を生成することが好ましい。
 第1表示用観察画像において、背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報を有し、第2表示用観察画像において、背景粘膜以外の領域に、生体組織の第2深さに含まれる第2特定情報を有し、第2深さは第1深さよりも深いことが好ましい。第1分光情報は、第1深さに対応する第1深さの分光情報を有し、第2分光情報は、第2深さに対応する第2深さの分光情報を有することが好ましい。
 第1表示用観察画像と第2表示用観察画像との切替に合わせて、第1表示用観察画像の生成に用いる第1表示用観察画像用パラメータと第2表示用観察画像の生成に用いる第2表示用観察画像用パラメータとが切り替えられることが好ましい。
 第1表示用観察画像と第2表示用観察画像において、背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報と、第1深さよりも深い生体組織の第2深さに含まれる第2特定情報とを有し、第1表示用観察画像から第2特定情報を少なくする第1低減処理、又は、第2表示用観察画像から第1特定情報を少なくする第2低減処理が行われることが好ましい。
 表示制御部は、第1表示用観察画像の表示期間と第2表示用観察画像の表示期間を設定する表示期間設定部を有することが好ましい。静止画取得指示を行う静止画取得指示部と、静止画取得指示が行われた場合に、第1表示用観察画像と第2表示用観察画像とを含む1セットの表示用観察画像を静止画保存部に保存する制御を行う静止画保存制御部とを備えることが好ましい。
 第1特定情報は第1深さに位置する第1深さの血管であり、第2特定情報は第2深さに位置する第2深さの血管であることが好ましい。第1表示用観察画像は、血管抽出処理によって抽出された第1深さ血管が表示され、第2表示用観察画像は、血管抽出処理によって抽出された第2深さ血管が表示されることが好ましい。第1特定情報は第1深さに位置する第1深さの腺管構造であり、第2特定情報は第2深さに位置する第2深さの腺管構造であることが好ましい。
 本発明によれば、複数の観察画像を切り替えて表示する場合において、背景粘膜以外の情報の違いが分かるように表示することができる。
第1実施形態の内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 紫色光V、緑色光G、及び赤色光Rを含む第1照明光の発光スペクトルを示すグラフである。 緑色光G及び赤色光Rを含む第2照明光の発光スペクトルを示すグラフである。 第1照明光の発光期間と第2照明光の発光期間を示す説明図である。 発光期間設定メニューを示す説明図である。 紫色光V、緑色光G、及び赤色光Rを含む第3照明光の発光スペクトルを示すグラフである。 第1実施形態の第1表示用観察画像を示す画像図である。 第1照明光と第1表示用観察画像で表示される被写体像(血管を含む)との関係を示す説明図である。 第1照明光と第1照明光の反射成分に含まれる被写体像(血管を含む)との関係を示す説明図である。 第1実施形態の第2表示用観察画像を示す画像図である。 緑色光G及び赤色光Rを含む第2照明光と第2表示用観察画像で表示される被写体像との関係を示す説明図である。 緑色光G及び赤色光Rを含む第2照明光と第2照明光の反射成分に含まれる被写体像との関係を示す説明図である。 カラーの第1表示用観察画像と第2表示用観察画像の切り替え表示を示す説明図である。 第1表示用観察画像と第2表示用観察画像の切り替え時に表示される第33表示用観察画像を示す説明図である。 モノクロの第1表示用観察画像と第2表示用観察画像の切り替え表示を示す説明図である。 表示期間設定メニューを示す説明図である。 青色光B、緑色光G、及び赤色光Rを含む第2照明光の発光スペクトルを示すグラフである。 青色光B、緑色光G、及び赤色光Rを含む第2照明光と第2照明光の反射成分に含まれる被写体像との関係を示す説明図である。 第1照明光と第1照明光の反射成分に含まれる被写体像(腺管構造を含む)との関係を示す説明図である。 第1深さの腺管構造と第2深さの腺管構造を表示する第1表示用観察画像の画像図である。 青色光B、緑色光G、及び赤色光Rを含む第2照明光と第2照明光の反射成分に含まれる被写体像(腺管構造を含む)との関係を示す説明図である。 第1深さの腺管構造と第2深さの腺管構造を表示する第2表示用観察画像の画像図である。 第1実施形態における別形態の内視鏡システムの機能を示すブロック図である。 第2実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、緑色光G、及び赤色光Rを含む特殊光の発光スペクトルを示すグラフである。 第1表示用観察画像生成処理を示す説明図である。 第2実施形態の第1表示用観察画像を示す画像図である。 第2表示用観察画像生成処理を示す説明図である。 第2実施形態の第2表示用観察画像を示す画像図である。 第3表示用観察画像生成処理を示す説明図である。 第2実施形態の第3表示用観察画像を示す画像図である。 特殊光のスペクトル、観察対象の反射率、及び撮像センサの各画素の透過率とBs画像信号、Gs画像信号、及びRs画像信号との関連性を示す説明図である。 特殊光の反射光の成分とBs画像信号及びGs画像信号との関連性を説明図である。 1フレームの特殊観察画像から第1表示用観察画像と第2表示用観察画像のいずれかを生成し、生成した表示用観察画像を表示することを示す説明図である。 1フレームの特殊観察画像から第1表示用観察画像と第2表示用観察画像の両方を生成し、生成したいずれかの表示用観察画像を表示することを示す説明図である。 第2実施形態の第1演算処理を行う場合の第1表示用観察画像生成処理を示す説明図である。 第2実施形態の第1演算処理を示す説明図である。 第1実施形態の第1演算処理を示す説明図である。 第1実施形態における血管抽出処理を示す説明図である。 第2実施形態における血管抽出処理を示す説明図である。
 [第1実施形態]
 図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、ユーザーインターフェース19は図示したキーボードの他、マウスなどが含まれる。
 また、操作部12bには、アングルノブ12eの他、モード切替SW13a、静止画取得指示部13bが設けられている。モード切替SW13aは、通常観察モードと、第1特殊観察モードと、第2特殊観察モードと、マルチ観察モードとの切替操作に用いられる。通常観察モードは、通常画像をモニタ18上に表示するモードである。第1特殊観察モードは、表層血管(第1深さの血管)を強調した第1表示用観察画像をモニタ18上に表示するモードである。第2特殊観察モードは、深層血管(第2深さの血管)を強調した第2表示用観察画像をモニタ18上に表示するモードである。マルチ観察モードは、第1表示用観察画像と第2表示用観察画像とを自動的に切り替えてモニタ18に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチを用いてもよい。
 プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
 図2に示すように、光源装置14は、光源部20と、光源制御部21と、光路結合部23とを有している。光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。光源制御部21は、LED20a~20dの駆動を制御する。光路結合部23は、4色のLED20a~20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
 図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
 光源制御部21は、いずれの観察モードにおいても、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯する制御を行う。また、光源制御部21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
 また、光源制御部21は、第1特殊観察モード時には、第1分光情報として、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs1:Bs1:Gs1:Rs1となる第1照明光を発光するように、各LED20a~20dを制御する。第1照明光は、表層血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。そのため、例えば、図4に示すように、Bs1を「0」とし、その他のVs1、Gs1、Rs1>0とすることが好ましい。この場合の第1照明光は、紫色光、緑色光、及び赤色光を含むため、上記のような表層血管を強調することができるとともに、背景粘膜の色を正確に再現でき、且つ、腺管構造や凹凸など各種構造も強調することができる。
 なお、本明細書において、光強度比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光強度比を有するものとする。
 また、光源制御部21は、第2特殊観察モード時には、第2分光情報として、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs2:Bs2:Gs2:Rs2となる第2照明光を発光するように、各LED20a~20dを制御する。第2照明光は、深層血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。そのため、例えば、図5に示すように、Vs1、Bs1を「0」とし、Gs1、Rs1>0とすることが好ましい。この場合の第2照明光は、緑色光及び赤色光を含むため、深層血管を強調することができ、且つ、背景粘膜の色を正確に再現することができる。
 光源制御部21は、マルチ観察モードに設定されている場合には、第1照明光と第2照明光とをそれぞれ2フレーム以上の発光期間にて発光し、且つ、第1照明光と第2照明光とを自動的に切り替えて発光する制御を行う。また、第1照明光の光強度比Gs1及びRs1と、第2照明光の光強度比Gs2及びRs2とを同じにしている。これにより、第1照明光の発光時に得られる第1表示用観察画像と、第2照明光の発光時に得られる第2表示用観察画像とにおいて、それぞれの背景粘膜の一部の色調を少なくとも同じにすることができる。ここで、「背景粘膜の色調が同じ」とは、第1表示用観察画像の背景粘膜と第2表示用観察画像の背景粘膜の色調が全く同じである他、第1表示用観察画像の背景粘膜と第2表示用観察画像の背景粘膜との色差が一定の範囲内であることをいう。また、第1表示用観察画像と第2表示用観察画像において、背景粘膜の一部だけでなく、一部以外の色調を同じようにしてもよい。なお、背景粘膜とは、観察対象のうち、血管や腺管構造など構造物として認識又は撮像される領域を含まない領域をいう。
 また、光源制御部21は、プロセッサ装置16の明るさ情報算出部54から送られる明るさ情報に基づいて、各LED20a~20dから発せられる照明光の発光量を制御する。
 また、光源制御部21は、例えば、第1照明光の発光期間を2フレームとし、第2照明光の発光期間を3フレームとした場合には、図6に示すように、第1照明光が2フレーム続けて発光した後に、第2照明光が3フレーム続けて発光される。ここで、第1照明光の発光期間と第2照明光の発光期間は、少なくとも2フレーム以上の期間に設定されている。このように2フレーム以上の期間にするのは、光源装置14における照明光の切替は直ぐに行われるものの、プロセッサ装置16における画像処理の切替には少なくとも2フレーム以上を有するためである。加えて、照明光が切り替わることよって点滅が生ずる場合があるため、2フレーム以上の期間にすることによって、点滅による術者への負担を軽減する。
 なお、「フレーム」とは、観察対象を撮像する撮像センサ48を制御するための単位をいい、例えば、「1フレーム」とは、観察対象からの光で撮像センサ48を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間が定められている。
 第1照明光の発光期間と第2照明光の発光期間は、光源制御部21に接続された発光期間設定部24によって、適宜変更が可能である。ユーザーインターフェース19の操作により、発光期間の変更操作を受け付けると、発光期間設定部24は、図7に示す発光期間設定メニューをモニタ18上に表示する。第1照明光の発光期間は、例えば、2フレームから10フレームの間で変更可能である。各発光期間については、スライドバー26a上に割り当てられている。
 第1照明光の発光期間を変更する場合には、ユーザーインターフェース19を操作して、スライドバー26a上の変更したい発光期間を示す位置にスライダ27aを合わせることで、第1の照明光の発光期間が変更される。第2照明光の発光期間についても、ユーザーインターフェース19を操作して、スライドバー26b(例えば、2フレームから10フレームの発光期間が割り当てられている)上の変更したい発光期間を示す位置にスライダ27bを合わせることで、第2の照明光の発光期間が変更される。
 なお、光源制御部21は、マルチ観察モードに設定されている場合には、第1照明光から第2照明光に切り替える際、又は、第2照明光から第1照明光に切り替えるタイミングにおいて、第1照明光及び第2照明光と異なる第3照明光を発光するようにしてもよい。第3照明光は少なくとも1フレーム以上発光することが好ましい。
 また、第3照明光の光強度比Vs3:Bs3:Gs3:Rs3は、第3分光情報として、第1照明光の光強度比Vs1:Bs1:Gs1:Rs1と第2照明光の光強度比Vs2:Bs2:Gs2:Rs2の間であることが好ましい。例えば、図8に示すように、第3照明光の光強度比は、第1照明光の光強度比と第2照明光の光強度比の平均であることが好ましい。即ち、Bs3は「0」であり、その他については、Vs3=(Vs1+Vs2)/2、Gs3=(Gs1+Gs2)/2、Rs3=(Rs1+Rs2)/2とする。以上のような第3照明光を、第1照明光と第2照明光とを切り替えるタイミングに発光することによって、照明光の切替時に生ずる色の変化などの違和感をユーザーに与えることがなくなる。
 図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
 内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
 撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
 なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
 撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
 プロセッサ装置16は、画像取得部53と、明るさ情報算出部54と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、信号切替部60と、通常観察画像処理部62と、第1特殊観察画像処理部63と、第2特殊観察画像処理部64と、表示制御部66と、静止画保存部67と、静止画保存制御部68とを備えている。
 画像取得部53は、内視鏡12において観察対象を撮像することにより得られた観察画像を取得する。具体的には、観察画像として、内視鏡12からのデジタルのカラー画像信号が画像取得部53に入力される。カラー画像信号は、撮像センサ48のR画素から出力されるR画像信号と、撮像センサ48のG画素から出力されるG画像信号と、撮像センサ48のB画素から出力されるB画像信号とから構成されるRGB画像信号である。明るさ情報算出部54は、画像取得部53から入力されるRGB画像信号に基づいて、観察対象の明るさを示す明るさ情報を算出する。算出した明るさ情報は光源制御部21に送られ、照明光の発光量の制御に用いられる。
 DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
 ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、信号切替部60に送信される。
 信号切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、RGB画像信号を通常観察画像処理部62に送信する。また、第1特殊観察モードにセットされている場合には、RGB画像信号を第1特殊観察画像処理部63に送信する。また、第2特殊観察モードにセットされている場合には、RGB画像信号を第2特殊観察画像処理部64に送信する。また、マルチ観察モードにセットされている場合には、第1照明光の照明及び撮像で得られたRGB画像信号は第1特殊観察画像処理部63に送信され、第2照明光の照明及び撮像で得られたRGB画像信号は第2特殊観察画像処理部64に送信され、第3照明光の照明及び撮像で得られたRGB画像信号は第3特殊観察画像処理部65に送信される。
 通常観察画像処理部62は、通常観察モード時に得られたRGB画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常観察画像処理部62では、通常画像用の画像処理を行うために、RGB画像信号に対して掛け合わされる通常画像用パラメータが設けられている。通常画像用の画像処理が施されたRGB画像信号は、通常画像として、通常観察画像処理部62から表示制御部66に入力される。
 第1特殊観察画像処理部63は、第1照明光の照明及び撮像時に得られた第1観察画像のRGB画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理(第1表示用観察画像用画像処理)が行われた第1表示用観察画像を生成する。第1表示用観察画像では、表層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第1特殊観察画像処理部63では、第1表示用観察画像の画像処理を行うために、RGBの画像信号に対して掛け合わされる第1表示用観察画像用のパラメータが設けられている。なお、第1特殊観察画像処理部63では、第1表示用観察画像をできるだけモニタ18に表示するようにするために、表層血管を強調する表層血管強調処理は行わないが、処理負荷の状況によっては、表層血管強調処理を行うようにしてもよい。
 第2特殊観察画像処理部64は、第2照明光の照明及び撮像時に得られた第2観察画像の第2RGB画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理などの画像処理(第2表示用観察画像用画像処理)が行われた第2表示用観察画像を生成する。第2表示用観察画像では、深層血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。なお、マルチ観察モードでは、第1照明光の光強度比Gs1、Rs1と第2照明光の光強度比Gs2、Rs2とが同じであるため、上記したように、第1表示用観察画像と第2表示用観察画像において、少なくとも背景粘膜の一部の色調は同じになっている。
 第2特殊観察画像処理部64では、第2表示用観察画像の画像処理を行うために、RGBの画像信号に対して掛け合わされる第2表示用観察画像用のパラメータが設けられている。第2特殊観察画像処理部64においては、第1特殊観察画像処理部63と同様の処理部を有しているが、処理の内容については、第1特殊観察画像処理部63と異なっている。なお、第2特殊観察画像処理部64では、第2表示用観察画像をできるだけモニタ18に表示するようにするために、深層血管を強調する深層血管強調処理は行わないが、処理負荷の状況によっては、深層血管強調処理を行うようにしてもよい。
 第3特殊観察画像処理部65は、第3照明光の照明及び撮像時に得られた第3観察画像のRGB画像信号に基づいて、彩度強調処理、色相強調処理、及び構造強調処理が行われた第3表示用観察画像を生成する。第3表示用観察画像では、表層と深層の間の中間層の血管が多く含まれているとともに、背景粘膜の色も正確に再現されている。第3特殊観察画像処理部65では、第3表示用観察画像の画像処理を行うために、RGBの画像信号に対して掛け合わされる第3表示用観察画像用のパラメータが設けられている。第3特殊観察画像処理部65においても、第1特殊観察画像処理部63と同様の処理部を有しているが、処理の内容については、第1特殊観察画像処理部63と異なっている。
 表示制御部66は、通常観察画像処理部62、第1特殊観察画像処理部63、第2特殊観察画像処理部64、又は第3特殊観察画像処理部65から入力された通常画像、第1表示用観察画像、第2表示用観察画像、又は第3表示用観察画像を、モニタ18で表示可能な画像として表示するための制御を行う。表示制御部の詳細については後述する。静止画保存制御部68は、静止画取得指示部13bの指示に従って、その静止画取得指示のタイミングで得られた画像を静止画として静止画保存部67に保存する制御を行う。通常観察モードの場合であれば、静止画取得指示のタイミングで得られた通常画像を静止画として静止画保存部67に保存する。第1特殊観察モードの場合であれば、静止画取得指示のタイミングで得られた第1表示用観察画像を静止画として静止画保存部67に保存する。第2特殊観察モードの場合であれば、静止画取得指示のタイミングで得られた第2表示用観察画像を静止画として静止画保存部67に保存する。また、マルチ観察モードの場合であれば、静止画取得指示のタイミングで得られた第1表示用観察画像と第2表示用観察画像の1セットの表示用観察画像を静止画保存部67に保存する。
 以下、表示制御部66の詳細について説明を行う。表示制御部66による制御によって、各観察モードに応じた画像が表示される。通常観察モードの場合には、通常画像がモニタ18に表示される。また、第1特殊観察モードの場合には、図9に示すように、観察対象のうち背景粘膜、及び、生体組織の第1深さに含まれる第1特定情報として、表層血管が表された第1表示用観察画像が表示される。第1表示用観察画像では、図10に示すように、第1照明光に含まれる紫色光Vによって、表層血管のコントラストが高く表示されている。また、第1表示用観察画像では、第1照明光に含まれる緑色光G及び赤色光Rによって、背景粘膜の色調を維持し正確に表示している。
 これは、図11に示すように、第1照明光が観察対象に照明されると、第1照明光のうち紫色光V(第1深さ深達光)は表層(第1深さ)にまで深達して、その反射光のV成分が撮像センサ48で受光される。したがって、第1表示用観察画像には、反射光のV成分を含むため、表層血管のコントラストが高くなっている。また、第1照明光のうち緑色光Gと赤色光Rは中層、深層にまで深達して、その反射光のG成分、R成分が撮像センサ48で受光される。したがって、第1表示用観察画像では、反射光のG成分、R成分を含むことから、背景粘膜の色調を正確に再現することが可能となっている。
 また、第2特殊観察モードの場合には、図12に示すように、観察対象のうち背景粘膜、及び生体組織の第2深さ(第1深さよりも深い)に含まれる第2特定情報として、深層血管が表された第2表示用観察画像が表示される。第2表示用観察画像では、図13に示すように、第2照明光により、表層血管と深層血管を表示しているものの、第1表示用観察画像と比較すると、表層血管のコントラストは低く表示されている。また、第2表示用観察画像では、第1表示用観察画像と同様、第1照明光に含まれる緑色光G及び赤色光Rによって、背景粘膜の色調を維持し正確に表示している。
 これは、図14に示すように、また、第2照明光のうち緑色光G(第2深さ深達光)と赤色光R(第2深さ深達光)は中層、深層(第2深さ)にまで深達して、その反射光のG成分、R成分が撮像センサ48で受光される。したがって、第2表示用観察画像では、反射光のG成分、R成分を含むことから、背景粘膜の色調を正確に再現することが可能となっている。なお、第2表示用観察画像では、反射光のG成分、R成分によって、表層血管と深層血管も表示されるようになっている。
 また、マルチ観察モードの場合には、図15に示すように、第1照明光の発光期間と第2照明光の発光期間に合わせて、カラーの第1表示用観察画像と第2表示用観察画像が切り替えてモニタ18に表示される。即ち、第1照明光の発光期間が2フレームで、第2照明光の発光期間が3フレームである場合には、第1表示用観察画像が2フレーム続けて表示され、且つ、第2表示用観察画像が3フレーム続けて表示される。
 以上のように、マルチ観察モードにおいては、ユーザーによるモード切替SW13aの操作を行うことなく、2種類の第1表示用観察画像と第2表示用観察画像を自動的に切り替えて表示することができる。このように自動的に切り替えて表示することで、観察対象に動き又は内視鏡12の先端部12dに動きが無い限り、第1表示用観察画像と第2表示用観察画像とでは同一の観察対象が表示される。ただし、第1表示用観察画像と第2表示用観察画像とでは同一の観察対象であっても、それぞれ分光情報が異なっているため、分光情報の違いにより観察対象の見え方は異なっている。即ち、第1分光情報を有する第1表示用観察画像では表層血管の視認性が高くなっている一方、第2分光情報を有する第2表示用観察画像では深層血管の視認性が高くなっている。したがって、第1表示用観察画像と第2表示用観察画像とを切り替えて表示することによって、深さが異なる複数の血管に対する視認性の向上を図ることができる。
 また、第1表示用観察画像と第2表示用観察画像は、それぞれ赤色帯域を含む照明光に基づいて得られた画像であるため、背景粘膜の色調を再現することができる。したがって、マルチ観察モードで表示される第1表示用観察画像と第2表示用観察画像は、通常画像と背景粘膜の色調がほとんど変わらないため、ユーザーに違和感を与えることがない。その結果、マルチ観察モードに対するユーザーの学習を比較的短い期間で行うことができる。また、第1表示用観察画像と第2表示用観察画像を切り替えて表示することで、深層血管から表層血管までどのように血管が立ち上がっているかを把握することができる。また、第1表示用観察画像と第2表示用観察画像とでは、背景粘膜の色調が同じであるため、画像の切替によって、血管の違いだけを強調して表示することが可能となる。
 また、マルチ観察モードにおいて、第1照明光と第2照明光の切替を行う際に、第3照明光の照明を行った場合には、図16に示すように、第1表示用観察画像から第2表示用観察画像に切り替わる際に、第3照明光の照明及び撮像により得られる第3表示用観察画像がモニタ18に表示される。この第3表示用観察画像においては、表層血管と深層血管の両方に加えて、表層と深層の間の中間層の血管が表示される。このように第3表示用観察画像の表示を行うことで、深層血管から表層血管への血管の立ち上がりをより明確に把握することができるようになる。また、第3表示用観察画像の表示により、色の変化が緩やかになるため、ユーザーに与える違和感を軽減することができる。
 また、マルチ観察モードにおいては、第1表示用観察画像と第2表示用観察画像をカラーで表示しているが、これに代えて、図17に示すように、第1表示用観察画像と第2表示用観察画像をモノクロで表示するようにしてもよい。このようにモノクロの第1表示用観察画像と第2表示用観察画像を切り替えて表示することで、表層血管や深層血管などの血管以外部分の色の変化がほとんど生じない。これにより、ユーザーは、第1表示用観察画像と第2表示用観察画像の切替時に、違和感を感じることなく、表層血管や深層血管など異なる深さの血管に着目して観察することができるようになる。
 なお、第1表示用観察画像の表示期間と第2表示用観察画像の表示期間は、表示制御部66に設けられた表示期間設定部66aによって、適宜変更が可能である。ユーザーインターフェース19の操作により、表示期間の変更操作を受け付けると、表示期間設定部66aは、図18に示す表示期間設定メニューをモニタ18上に表示する。第1表示用観察画像の表示期間は、例えば、2フレームから10フレームの間で変更可能である。各表示期間については、スライドバー70a上に割り当てられている。
 第1表示用観察画像の表示期間を変更する場合には、ユーザーインターフェース19を操作して、スライドバー70a上の変更したい表示期間を示す位置にスライダ71aを合わせることで、第1表示用観察画像の表示期間が変更される。第2表示用観察画像の表示期間についても、ユーザーインターフェース19を操作して、スライドバー70b(例えば、2フレームから10フレームの表示期間が割り当てられている)上の変更したい表示期間を示す位置にスライダ71bを合わせることで、第2表示用観察画像の表示期間が変更される。
 なお、第1照明光の発光期間が第1表示用観察画像の表示期間よりも短い場合には、第1表示用観察画像の表示期間分の表示が行われるように、補完処理等により、表示期間分の第1表示用観察画像を生成することが好ましい。これに対して、第2照明光の発光期間が第1表示用観察画像の表示期間よりも長い場合には、第1表示用観察画像の表示期間に合わせて、第1表示用観察画像を表示に使用しないようにしてもよい。また、第1表示用観察画像と第2表示用観察画像の表示期間は、少なくとも2フレーム以上とすることが好ましい。1フレームの場合には、画像の切り替わりが早いために、第1表示用観察画像と第2表示用観察画像の差を認識できないおそれがある。
 なお、上記実施形態では、第2照明光として、緑色光G及び赤色光Rを含むようにしているが、図19に示すように、緑色光G及び赤色光Rに加えて、青色光Bも含むようにしてもよい。図20に示すように、また、第2照明光のうち青色光Bは、表層よりもやや深い位置にまで深達して、その反射光のB成分が撮像センサ48で受光される。したがって、第2表示用観察画像では、反射光のB成分により、表層血管のコントラストを上げて表示することが可能となる。なお、第2表示用観察画像では、上記に示したように、反射光のG成分、R成分を含むことから、背景粘膜の色調を正確に再現することが可能となっている。
 なお、上記実施形態では、第1特定情報を表層血管とし、第2特定情報を深層血管としているが、その他の情報としてもよい。図21A及び図22Aに示すように、例えば、第1特定情報を第1深さの腺管構造とし、第2特定情報を第1深さよりも深い第2深さの腺管構造としてもよい。この場合には、図21Aに示すように、第1照明光のうち紫色光Vが第1深さの腺管構造まで深達するため、その反射光のV成分には第1深さの腺管構造と第2深さの腺管構造が含まれている。これにより、第1表示用観察画像には、図21Bに示すように、第1特定情報として、第1深さの腺管構造と第2深さの腺管構造が表示されることになる。また、第2照明光として、青色光B、緑色光G、赤色光Rを含めた場合には(図19参照)、図22Aに示すように、第2照明光のうち青色光Bが第2深さの腺管構造にまで深達するため、その反射光のB成分には、第1深さの腺管構造、第2深さの腺管構造、及び第1深さの腺管構造より下層にある粘膜の情報が含まれている。これにより、図22Bに示すように、第2表示用観察画像には、第2深さの腺管構造と、第2深さの腺管構造よりもコントラストが低い第1深さの腺管構造が表示される。第2表示用観察画像における第1深さの腺管構造は、その下層の粘膜が重畳されるため、第1表示用観察画像の場合と比較して、コントラストが低く(又は見えなく)表示される。以上から、第1表示用観察画像と第2表示用観察画像を切り替えてモニタ18に表示することにより、第1表示用観察画像と第2表示用観察画像の差から腺管構造に関する深さ(第1深さ、又は第2深さ)を認識することができる。
 なお、癌又は非癌か否かを診断する方法として、微小血管構築像(microvascular pattern(V))と表面微細構造(microsurface pattern(S))に分けて解析し、一定の診断基準に照らし合わせて診断する方法(VS classification System)がある。このVS classification Systemによれば、VとSそれぞれについて、regular(整)/irregular(不整)/absent(消失)と分類し、これら分類した結果に基づいて、癌又は非癌を判別する。表面微細構造は、即ち腺管構造についても、上記したように、第1深さの腺管構造や第2深さの腺管構造のように、深さが異なるものが存在していることから、第2照明光で視認することができない腺管構造であっても、第1照明光で視認することができる場合がある。そこで、第1照明光に基づく第1表示用観察画像と第2照明光に基づく第2表示用観察画像を切り替えて表示するマルチ観察モードを用いることで、深さや高さが異なる血管や腺管構造を視認することができるようになるため、例えば、腺管構造の消失等を正確に判断することができるようになる。これにより、VS classification Systemの診断精度を向上させることができる。
 なお、第1実施形態では、通常観察画像処理部62と、第1特殊観察画像処理部63と、第2特殊観察画像処理部64と、第3特殊観察画像処理部65とを設けて、観察モードに応じて、いずれの処理部で処理するかを信号切替部60によって決定するようにしているが、その他の方法で処理を行うようにしてもよい。例えば、通常観察画像処理部62と、第1特殊観察画像処理部63と、第2特殊観察画像処理部64と、第3特殊観察画像処理部65の代わりに、図23に示すように、それら処理部62、63、64、65とを一まとめにした特定の画像処理部80を設け、観察モードに対応するパラメータを用いて、各観察モードに対応する画像処理を行うようにしてもよい。
 例えば、通常観察モードの場合であれば、特定の画像処理部80において、通常画像用パラメータに設定して画像処理を行うことにより、通常画像を生成する。第1特殊観察モードの場合であれば、特定の画像処理部80において、第1表示用観察画像用パラメータに設定して、第1表示用観察画像を生成する。第2特殊観察モードの場合であれば、特定の画像処理部80において、第2表示用観察画像用パラメータに設定して、第2表示用観察画像を生成する。マルチ観察モードの場合であれば、第1照明光と第2照明光との切替に合わせて、特定の画像処理部80において、第1表示用観察画像用パラメータと第2表示用観察画像用パラメータとの切替を行うことによって、第1表示用観察画像と第2表示用観察画像とがそれぞれ生成されるようにする。
 [第2実施形態]
 第1実施形態では、2種類の第1表示用観察画像と第2表示用観察画像を取得するために、第1表示用観察画像の取得に用いる第1照明光と第2表示用観察画像の取得に用いる第2照明光とを切り替えて発光を行っているが、第2実施形態では、1種類の特殊光によって得られた特殊観察画像から、第1分光情報を有する第1表示用観察画像と、第1分光情報と異なる第2分光情報を有する第2表示用観察画像を取得する。第2実施形態の第1表示用観察画像と第2表示用観察画像は、1フレームの特殊観察画像から生成されるため、観察対象は同一であり、且つ、画像間で位置ズレ等は生じていない。
 第2実施形態の内視鏡システム100では、図24に示すように、プロセッサ装置16において、第1特殊観察画像処理部63、第2特殊観察画像処理部64、及び第3特殊観察画像処理部65に代えて、特殊観察画像処理部102、マルチ観察画像処理部104(表示用観察画像処理部)が設けられていること以外、及び、第1特殊観察モード、第2特殊観察モード、及び第3特殊観察モードに代えて、特殊観察モード及びマルチ観察モードが設けられている以外は、第1実施形態とほぼ同様である。
 第2実施形態において、特殊観察モードは、特定深さの血管を強調した特殊観察画像をモニタ18上に表示するモードである。マルチ観察モードは、特殊観察画像から、表層血管(第1深さの血管)を強調した第1表示用観察画像、及び、深層血管(第2深さの血管)を強調した第2表示用観察画像を生成し、且つ、第1表示用観察画像と第2表示用観察画像とを自動的に切り替えてモニタ18に表示するモードである。
 第2実施形態では、光源制御部21は、特殊観察モード又はマルチ観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs:Bs:Gs:Rsとなる特殊光を発光するように、各LED20a~20dを制御する。特殊光は、特定深さの血管を強調するとともに、背景粘膜の色を正確に再現することができることが好ましい。例えば、特定深さの血管として、表層血管を強調する場合には、図25に示すように、Bsを「0」とし、その他のVs、Gs、Rs>0とすることが好ましい。この場合の第1照明光は、紫色光、緑色光、及び赤色光を含むため、上記のような表層血管を強調することができるとともに、背景粘膜の色を正確に再現でき、且つ、腺管構造や凹凸など各種構造も強調することができる。
 第2実施形態においては、信号切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、ノイズ除去部58を経たRGB画像信号を通常観察画像処理部62に送信する。また、特殊観察モードにセットされている場合には、ノイズ除去部58を経たRGB画像信号を特殊観察画像処理部63に送信する。また、マルチ観察モードにセットされている場合には、ノイズ除去部58を経たRGB画像信号をマルチ観察画像処理部104に送信する。
 特殊観察画像処理部63は、特殊観察モード時に得られたRs画像信号、Gs画像信号、Bs画像信号が入力される。この入力されたRs画像信号、Gs画像信号、Bs画像信号に対して、特殊観察モード用の画像処理を施す。特殊観察画像処理部63では、特殊観察モード用の画像処理を行うために、Rs画像信号、Gs画像信号、Bs画像信号に対して掛け合わされる特殊観察モード用のパラメータが設けられている。特殊観察モード用の画像処理には、特殊観察モード用の構造強調処理などが含まれる。特殊観察画像用の画像処理が施されたRGB画像信号は、特殊観察画像として、特殊観察画像処理部63から表示制御部66に入力される。
 マルチ観察画像処理部104は、マルチ観察モード時に得られたRs画像信号、Gs画像信号、Bs画像信号が入力される。この入力されたRs画像信号、Gs画像信号、Bs画像信号に対して、マルチ観察モード用の画像処理を施す。マルチ観察モード用の画像処理は、1フレームの特殊観察画像から、互いに異なる深さの血管を強調した複数の表示用観察画像を生成する。本実施形態では、複数の表示用観察画像として、表層血管を強調した第1表示用観察画像と深層血管を強調した第2表示用観察画像とを生成する。マルチ観察モード用の画像処理の詳細については後述する。第1表示用観察画像と第2表示用観察画像とは、マルチ観察画像処理部104から表示制御部66に入力される。なお、マルチ観察画像処理部104においても、マルチ観察モード用の画像処理を行うために、Rs画像信号、Gs画像信号、Bs画像信号に掛け合わされるマルチ観察モード用のパラメータが設けられている。
 次に、マルチ観察モード用の画像処理について説明する。マルチ観察モードの画像処理は、第1表示用観察画像を生成する第1表示用観察画像生成処理と、第2表示用観察画像を生成する第2表示用観察画像生成処理とを有する。第1表示用観察画像生成処理は、図26に示すように、マルチ観察モード時に得られるBs画像信号、Gs画像信号、Rs画像信号に対して、輝度色差信号変換処理を行って、輝度信号Y、色差信号Cr、Cbに変換する。次に、輝度信号YをBs画像信号(観察画像の第1色信号(青色信号))に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Yを輝度信号Ymに変換する。Bs画像信号は、後述するように、表層血管の情報を含んでいることから、図27に示すように、第1表示用観察画像について、背景粘膜以外の領域に含まれる第1特定情報として、表層血管を強調した画像にすることができる。また、第1表示用観察画像は、特殊光のうち緑色光G及び赤色光Rの成分が含まれるGs画像信号、Rs画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。
 次に、輝度信号Yを輝度信号Ymに変換することに伴う色差信号Cr、Cbのずれを補正する色差信号補正処理を行う。具体的には、色差信号Crに対して、変換後の色差信号Ym/変換後の色差信号Yを掛け合わせる。同様にして、色差信号Cbに対して、変換後の色差信号Ym/変換後の色差信号Yを掛け合わせる。これにより、色差信号Cr、Cbのずれを補正することにより、色相を維持したまま、輝度の変換に応じて彩度のずれを補正することができる(輝度が小さくなる場合には彩度を小さくすることができ、輝度が大きくなる場合には彩度を大きくすることができる)。そして、輝度信号Ym、色差信号Cr×Ym/Y、色差信号Cb×Ym/Yに対して、RGB変換処理を行うことによって、B1画像信号、G1画像信号、R1画像信号に変換する。これらB1画像信号、G1画像信号、R1画像信号が、第1表示用観察画像となる。
 第2表示用観察画像生成処理は、図28に示すように、第1表示用観察画像生成処理と同様、マルチ観察モード時に得られるBs画像信号、Gs画像信号、Rs画像信号に対して、輝度色差信号変換処理を行って、輝度信号Y、色差信号Cr、Cbに変換する。次に、輝度信号YをGs画像信号(観察画像の第2色信号(緑色信号))に割り当てる輝度信号割り当て処理を行うことによって、輝度信号Yを輝度信号Ynに変換する。Gs画像信号は、後述するように、深層血管の情報を含んでいることから、第2表示用観察画像について、図29に示すように、背景粘膜以外の領域に含まれる第2特定情報として、深層血管を強調した画像にすることができる。また、第2表示用観察画像は、特殊光のうち緑色光G及び赤色光Rの成分が含まれるGs画像信号、Rs画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。
 なお、観察画像の第2色信号は観察画像の第1色信号よりも長波の成分を持つ色信号である。本実施形態では、第1色信号を青色信号、第2色信号を緑色信号としているが、これに限られない。例えば、第1色信号を緑色信号とし、第2色信号をRs画像信号のような赤色信号としてもよい。
 次に、輝度信号Yを輝度信号Ynに変換することに伴う色差信号Cr、Cbのずれを補正する色差信号補正処理を行う。具体的には、色差信号Crに対して、変換後の色差信号Yn/変換後の色差信号Yを掛け合わせる。同様にして、色差信号Cbに対して、変換後の色差信号Yn/変換後の色差信号Yを掛け合わせる。これにより、色差信号Cr、Cbのずれを補正することができる。そして、輝度信号Yn、色差信号Cr×Yn/Y、色差信号Cb×Yn/Yに対して、RGB変換処理を行うことによって、B2画像信号、G2画像信号、R2画像信号に変換する。これらB2画像信号、G2画像信号、R2画像信号が、第2表示用観察画像となる。
 なお、第1表示用観察画像と第2表示用観察画像を切り替えるタイミングにおいて、第1表示用観察画像生成処理と第2表示用観察画像と異なる第3表示用観察画像をモニタ18に表示するようにしてもよい。この場合には、マルチ観察モードの画像処理として、第3表示用観察画像を生成する第3表示用観察画像生成処理が行われる。第3表示用観察画像生成処理は、図30に示すように、マルチ観察モード時に得られるBs画像信号、Gs画像信号、Rs画像信号に対して、輝度色差信号変換処理を行って、輝度信号Y、色差信号Cr、Cbに変換する。次に、輝度信号Yに対して、Bs画像信号とGs画像信号を合成した合成信号を割り当てる輝度信号割り当て処理を行うことによって、輝度信号Yを輝度信号Ypに変換する。合成信号は、例えば、Bs画像信号とGs画像信号とを平均化した信号((Bs画像信号+Gs画像信号)/2)であることが好ましい。
 合成信号は、表層血管と深層血管の情報を含んでいることから、図31に示すように、第3表示用観察画像について、背景粘膜以外の領域に含まれる第3特定情報として、表層血管と深層血管を強調した画像にすることができる。また、第3表示用観察画像は、特殊光のうち緑色光G及び赤色光Rの成分が含まれるGs画像信号、Rs画像信号に基づいて生成されるため、背景粘膜の色調も正確に表されている。
 次に、輝度信号Yを輝度信号Ypに変換することに伴う色差信号Cr、Cbのずれを補正する色差信号補正処理を行う。具体的には、色差信号Crに対して、変換後の色差信号Yp/変換後の色差信号Yを掛け合わせる。同様にして、色差信号Cbに対して、変換後の色差信号Yp/変換後の色差信号Yを掛け合わせる。これにより、色差信号Cr、Cbのずれを補正することができる。そして、輝度信号Yn、色差信号Cr×Yp/Y、色差信号Cb×Yp/Yに対して、RGB変換処理を行うことによって、B3画像信号、G3画像信号、R3画像信号に変換する。これらB3画像信号、G3画像信号、R3画像信号が、第3表示用観察画像となる。
 なお、本実施形態においては、Bs画像信号、Gs画像信号、又は合成信号を割り当てる信号を、輝度信号Yとするが、その他の明るさ情報に割り当てるようにしてもよい。例えば、第1表示用観察画像を明度、彩度、色相で構成する場合には、明るさ情報に対応する明度にBs画像信号又はGs画像信号を割り当てるようにしてもよい。
 以上のように、Bs画像信号が表層血管の情報を含み、Gs画像信号が深層血管の情報を含んでいるのは以下の理由からである。図32に示すように、Bs画像信号は、特殊光の光強度と観察対象の反射率と撮像センサ48のB画素の光透過率とを掛け合わせて得られる光強度に対応する信号値を有している。Bs画像信号には、特殊光の短波成分を多く含んでいる。Gs画像信号は、特殊光の光強度と観察対象の反射率と撮像センサ48のG画素の光透過率とを掛け合わせて得られる光強度に対応する信号値を有している。Gs画像信号には、特殊光の中波成分を多く含んでいる。なお、Rs画像信号は、特殊光の光強度と観察対象の反射率と撮像センサ48のR画素の光透過率とを掛け合わせて得られる光強度に対応する信号値を有している。このRs画像信号には、特殊光の長波成分を多く含んでいる。
 図33に示すように、Bs画像信号に多く含まれる特殊光の短波成分(第1深さの分光情報)は、粘膜の表層(第1深さ)まで深達した光の反射光の成分に相当する。したがって、Bs画像信号には、粘膜の表層に含まれる表層血管(第1特定情報)の情報が含まれている。一方、Gs画像信号に多く含まれる特殊光の中波成分(第2深さの分光情報)は、粘膜の中層付近(第2深さ)にまで深達した光の反射光の成分に相当する。したがって、Gs画像信号には、粘膜の表層又は中層に含まれる表層血管(第1特定情報)、又は深層血管(第2特定情報)の情報が含まれている。なお、Rs画像信号に含まれる特殊光の長波成分は、血管など構造物以外の粘膜の情報を含まれている。したがって、Rs画像信号によって、粘膜の情報を表示することが可能となる。
 表示制御部66は、通常観察画像処理部62、特殊観察画像処理部102、マルチ観察画像処理部104から入力された通常観察画像、特殊観察画像、又は、第1表示用観察画像又は第2表示用観察画像を、モニタ18上に表示させる制御を行う。モニタ18には、表示制御部66の制御に従って、各観察モードに対応する画像が表示される。通常観察モード時には、モニタ18は通常観察画像を表示する。特殊観察モード時には、モニタ18は特殊観察画像を表示する。マルチ観察モード時には、モニタ18は、特定の表示パターンに従って、第1表示用観察画像又は第2表示用観察画像を自動的に切り替えて表示する。また、第1表示用観察画像と第2表示用観察画像を切り替えるタイミングにおいては、第3表示用観察画像を表示するようにしてもよい。第3表示用観察画像を表示することにより、画像の切替えに伴って、観察対象が急激に変化することなく、スムーズに変化する。
 例えば、特定の表示パターンを、1表示サイクルにおいて、第1表示用観察画像を2フレーム分表示、第2表示用観察画像を3フレーム分表示するパターンとする場合には、以下のようなパターンが考えられる。図34に示すように、2フレームの特殊観察画像を入力画像としてマルチ観察画像処理部104に入力した場合には、マルチ観察画像処理部104において、2フレーム分の第1表示用観察画像を生成画像として生成する。この生成した2フレーム分の第1表示用観察画像を順に表示画像としてモニタ18に表示する。次に、3フレームの特殊観察画像を入力画像としてマルチ観察画像処理部104に入力した場合には、マルチ観察画像処理部104において、3フレーム分の第2表示用観察画像を生成画像として生成する。この生成した3フレーム分の第2表示用観察画像を順に表示画像としてモニタ18に表示する。
 他のパターンとしては、図35に示すように、2フレームの特殊観察画像を入力画像としてマルチ観察画像処理部104に入力した場合には、マルチ観察画像処理部104において、2フレーム分の第1表示用観察画像及び第2表示用観察画像を生成画像として生成する。この生成した2フレーム分の第1表示用観察画像及び第2表示用観察画像のうち2フレーム分の第1表示用観察画像を順に表示画像としてモニタ18に表示する。次に、3フレームの特殊観察画像を入力画像としてマルチ観察画像処理部104に入力した場合には、マルチ観察画像処理部104において、3フレーム分の第1表示用観察画像及び第2表示用観察画像を生成画像として生成する。この生成した3フレーム分の第1表示用観察画像及び第2表示用観察画像のうち3フレーム分の第2表示用観察画像を順に表示画像としてモニタ18に表示する。
 第2実施形態では、マルチ観察モードにおいて、静止画取得指示部13bによって静止画取得指示が行われた場合、静止画取得指示のタイミングに得られた特殊観察画像から、第1表示用観察画像と第2表示用観察画像を生成し、それら2種類の第1表示用観察画像と第2表示用観察画像を静止画保存部67に保存する。これにより、第1表示用観察画像と第2表示用観察画像に位置ズレのない画像が一度の静止画取得指示により保存することができる。
 なお、第1表示用観察画像と第2表示用観察画像とは、2フレーム以上の表示期間で切り替えて表示することが好ましい。1フレームの場合には、上記したように、画像の切り替わりが早いために、第1表示用観察画像と第2表示用観察画像の差を認識できないおそれがある。
 なお、撮像センサ48のB画素の感度特性とG画素の感度特性がそれぞれ一部重なり合っている場合は、Bs画像信号とGs画像信号の違いが小さい場合がある。この場合には、第1表示用観察画像と第2表示用観察画像との差が小さくなる場合がある。この第1表示用観察画像と第2表示用観察画像との差を大きくする方法の一つとして、図36に示すように、Bs画像信号から、係数αを掛け合わせたGs画像信号を差し引く第1演算処理(Bs-α×Gs)を行う。これにより、図37に示すように、Bs画像信号から、Gs画像信号が持つ中波成分(観察画像の第2色信号(緑色信号)の成分)を除くことができる。これにより、(Bs-α×Gs)画像信号においては、深層血管の情報を少なくなることから、この(Bs-α×Gs)画像信号を輝度信号Yに割り当てた第1表示用観察画像は、深層血管が少なくなることにより、第2表示用観察画像との差を大きくすることができる。なお、第1演算処理は、表層血管(第1特定情報)と深層血管(第2特定情報)を含む第1表示用観察画像から、深層血管を少なくすることから、第1演算処理は、本発明の「第1低減処理」に対応する。
 また、Gs画像信号から、係数βを掛け合わせたBs画像信号を差し引く第2演算処理(Gs-β×Bs)を行ってもよい。これにより、Gs画像信号から、Bs画像信号が持つ短波成分(観察画像の第1色信号(青色信号)の成分)を除くことができる。これにより、(Gs-β×Bs)画像信号を輝度信号Yに割り当てた第2表示用観察画像は、表層血管が少なくなくなることにより、第1表示用観察画像との差を大きくすることができる。なお、第2演算処理は、表層血管と深層血管を含む第2表示用観察画像から、表層血管を少なくすることから、第2演算処理は、本発明の「第2低減処理」に対応する。
 なお、第1実施形態においても、上記第1演算処理と同様の方法により、第1表示用観察画像から深層血管を少なくする第1低減処理を行い、又は、上記第2演算処理と同様の方法により、第2表示用観察画像から表層血管を少なくする処理を行ってもよい。例えば、図38に示すように、第1実施形態の第1低減処理として、第1観察画像のB画像信号から、係数αを掛け合わせた第1観察画像のG画像信号を差し引く第1演算処理により行われる。そして、第1演算処理済みの第1観察画像のB画像信号、第1観察画像のG画像信号、及び第1観察画像のR画像信号に基づいて、第1表示用観察画像が生成される。第1表示用観察画像は、第1演算処理済みのB画像信号を用いずに生成した場合と比較して、深層血管の情報が少なくなっているため、表層血管の視認性が向上している。
 また、第2実施形態の第2低減処理として、第2観察画像のG画像信号から、係数βを掛け合わせた第2観察画像のB画像信号を差し引く第2演算処理により行われる。そして、第2観察画像のB画像信号、第2演算処理済みの第2観察画像のG画像信号、及び第2観察画像のR画像信号に基づいて、第2表示用観察画像が生成される。第2表示用観察画像は、第2演算処理済みのG画像信号を用いずに生成した場合と比較して、表層血管の情報が少なくなっているため、深層血管の視認性が向上している。
 なお、第2実施形態では、通常観察画像処理部62と、特殊観察画像処理部102と、マルチ観察画像処理部104とを設けて、観察モードに応じて、いずれの処理部で処理するかを信号切替部60によって決定するようにしているが、その他の方法で処理を行うようにしてもよい。例えば、通常観察画像処理部62と、特殊観察画像処理部102と、マルチ観察画像処理部104との代わりに、それら処理部62、102、104を一まとめにした特定の画像処理部(特定の画像処理部80(図23参照)と同様。図示しない。)を設け、観察モードに対応するパラメータを用いて、各観察モードに対応する画像処理を行うようにしてもよい。
 例えば、通常観察モードの場合であれば、特定の画像処理部において、通常画像用パラメータに設定して画像処理を行うことにより、通常画像を生成する。第1特殊観察モードの場合であれば、特定の画像処理部において、第1表示用観察画像用パラメータに設定して、第1表示用観察画像を生成する。第2特殊観察モードの場合であれば、特定の画像処理部において、第2表示用観察画像用パラメータに設定して、第2表示用観察画像を生成する。マルチ観察モードの場合であれば、予め定められた第1表示用観察画像と第2表示用観察画像との表示切替に合わせて、特定の画像処理部において、第1表示用観察画像用パラメータと第2表示用観察画像用パラメータとの切替を行うことによって、第1表示用観察画像と第2表示用観察画像とがそれぞれ生成されるようにする。
 なお、上記第1及び第2実施形態では、プロセッサ装置16の処理負荷を軽減するために、第1表示用観察画像又は第2表示用観察画像に対して、表層血管や深層血管など血管の視認性を向上させるための特別の処理は行っていないが、状況に応じて、そのような血管の視認性を向上させる特別の処理を行うようにしてもよい。
 例えば、第1実施形態の場合であれば、図39に示すように、第1特殊観察画像処理部63は、第1観察画像に対して、表層血管を抽出する血管抽出処理を行う。この血管抽出処理で抽出された表層血管を第1表示用観察画像で重ね合わせて表示するようにする。同様にして、第2特殊観察画像処理部64において、第2観察画像に対して、深層血管を抽出する血管抽出処理を行う。この血管抽出処理で抽出された深層血管を第2表示用観察画像で重ね合わせて表示するようにする。以上のように、血管抽出処理で抽出された血管を表示することで、血管抽出した血管の表示を使用しない場合と比較して、画像上での血管の視認性は向上する。なお、第3表示用観察画像を表示する場合には、第3特殊観察画像処理部65において、第3表示用観察画像に対して、表層血管又は深層血管を抽出する血管抽出処理を行う。この血管抽出処理で抽出された表層血管又は深層血管を第3表示用観察画像で表示するようにする。
 また、第2実施形態の場合であれば、図40に示すように、マルチ観察画像処理部104は、特殊観察画像に対して、表層血管を抽出する血管抽出処理を行い、また、深層血管を抽出する血管抽出処理を行う。そして、血管抽出処理で抽出された表層血管は、第1表示用観察画像において、重ね合わせて表示するようにする。また、血管抽出処理で抽出された深層血管は、第2表示用観察画像において、重ね合わせて表示するようにする。以上のように、血管抽出処理で抽出された血管を表示することで、血管抽出した血管の表示を使用しない場合と比較して、画像上での血管の視認性は向上する。なお、第3表示用観察画像を表示する場合には、マルチ観察画像処理部104において、第3表示用観察画像に対して、表層血管又は深層血管を抽出する血管抽出処理を行う。この血管抽出処理で抽出された表層血管又は深層血管を第3表示用観察画像で表示するようにする。
 上記第1及び第2実施形態において、画像取得部53、明るさ情報算出部54、DSP56、ノイズ除去部58、通常観察画像処理部62第1特殊観察画像処理部63、第2特殊観察画像処理部64、第3特殊観察画像処理部65、静止画保存部67、表示制御部66、表示期間設定部66a、静止画保存制御部68、特定の画像処理部80、特殊観察画像処理部102、マルチ観察画像処理部104など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
 なお、本発明は、第1~第3実施形態のような内視鏡システムや第4実施形態のようなカプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13b 静止画取得指示部
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED(Violet Light Emitting Diode)
20b B-LED(Blue Light Emitting Diode)
20c G-LED(Green Light Emitting Diode)
20d R-LED(Red Light Emitting Diode)
21 光源制御部
23 光路結合部
24 発光期間設定部
26a スライドバー
26b スライドバー
27a スライダ
27b スライダ
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
50 CDS/AGC回路
53 画像取得部
54 明るさ情報算出部
56 DSP(Digital Signal Processor)
58 ノイズ除去部
60 信号切替部
62 通常観察画像処理部
63 第1特殊観察画像処理部
64 第2特殊観察画像処理部
65 第3特殊観察画像処理部
66 表示制御部
66a 表示期間設定部
67 静止画保存部
68 静止画保存制御部
70a スライドバー
70b スライドバー
71a スライダ
71b スライダ
80 特定の画像処理部
100 内視鏡システム
102 特殊観察画像処理部
104 マルチ観察画像処理部

Claims (21)

  1.  同一の観察対象が表示される少なくとも2つの第1表示用観察画像と第2表示用観察画像とを少なくとも2フレーム以上の表示期間にて自動的に切り替えて表示部に表示する表示制御部を有し、
     前記第1表示用観察画像が有する第1分光情報と前記第2表示用観察画像が有する第2分光情報とは異なっており、
     前記第1表示用観察画像と前記第2表示用観察画像とは、少なくとも背景粘膜の一部が同じ色調である内視鏡システム。
  2.  前記第1分光情報を有する第1照明光と、前記第2分光情報を有する第2照明光とを発光する光源部と、
     前記第1照明光と前記第2照明光とを、それぞれ少なくとも2フレーム以上の発光期間にて発光させ、且つ、前記第1照明光と前記第2照明光とを自動的に切り替える光源制御部を有し、
     前記第1表示用観察画像は、前記第1照明光により照明された前記観察対象を撮像することにより得られ、
     前記第2表示用観察画像は、前記第2照明光により照明された前記観察対象を撮像することにより得られる請求項1記載の内視鏡システム。
  3.  前記表示制御部は、前記第1表示用観察画像と前記第2表示用観察画像とを切り替えるタイミングにおいて、前記第1表示用観察画像及び前記第2表示用観察画像とは異なる第3表示用観察画像を前記表示部に表示する請求項2記載の内視鏡システム。
  4.  前記光源制御部は、前記第1表示用観察画像と前記第2表示用観察画像とを切り替えるタイミングにおいて、記第1照明光及び前記第2照明光とは異なる第3照明光を発光する請求項3記載の内視鏡システム。
  5.  前記第1照明光は紫色光、緑色光、及び赤色光を含み、
     前記第2照明光は緑色光及び赤色光を含む請求項2ないし4いずれか1項記載の内視鏡システム。
  6.  前記第1照明光は紫色光、緑色光、及び赤色光を含み、
     前記第2照明光は青色光、緑色光、及び赤色光を含む請求項2ないし4いずれか1項記載の内視鏡システム。
  7.  前記第1表示用観察画像において、前記背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報を有し、前記第2表示用観察画像において、前記背景粘膜以外の領域に、前記生体組織の第2深さに含まれる第2特定情報を有し、前記第2深さは前記第1深さよりも深い請求項2ないし6いずれか1項記載の内視鏡システム。
  8.  前記第1照明光は前記第1深さまで深達する第1深さ深達光を含み、前記第2照明光は前記第2深さまで深達する第2深さ深達光を含む請求項7記載の内視鏡システム。
  9.  観察画像を取得する画像取得部と、
     前記観察画像に基づいて、表示用観察画像を生成する表示用観察画像処理部とを備え、
     前記表示用観察画像処理部は、前記表示用観察画像として、前記観察画像の第1色信号を明るさ情報に割り当てて前記第1表示用観察画像を生成し、前記観察画像の第2色信号を明るさ情報に割り当てて第2表示用観察画像を生成する請求項1記載の内視鏡システム。
  10.  前記観察画像は、紫色光、緑色光、及び赤色光を含む特殊光で照明された前記観察対象に撮像して得られる請求項9記載の内視鏡システム。
  11.  前記表示制御部は、前記第1表示用観察画像と前記第2表示用観察画像とを切り替えるタイミングにおいて、前記第1表示用観察画像及び前記第2表示用観察画像とは異なる第3表示用観察画像を前記表示部に表示する請求項9又は10記載の内視鏡システム。
  12.  前記表示用観察画像処理部は、前記第1表示用観察画像と前記第2表示用観察画像とを切り替えるタイミングにおいて、前記観察画像の第1色信号と前記第2色信号を合成した合成信号を明るさ情報に割り当てて前記第3表示用観察画像を生成する請求項11記載の内視鏡システム。
  13.  前記第1表示用観察画像において、前記背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報を有し、前記第2表示用観察画像において、前記背景粘膜以外の領域に、前記生体組織の第2深さに含まれる第2特定情報を有し、前記第2深さは前記第1深さよりも深い請求項9ないし12いずれか1項記載の内視鏡システム。
  14.  前記第1分光情報は、前記第1深さに対応する第1深さの分光情報を有し、前記第2分光情報は、前記第2深さに対応する第2深さの分光情報を有する請求項13記載の内視鏡システム。
  15.  前記第1表示用観察画像と前記第2表示用観察画像との切替に合わせて、前記第1表示用観察画像の生成に用いる第1表示用観察画像用パラメータと前記第2表示用観察画像の生成に用いる第2表示用観察画像用パラメータとが切り替えられる請求項1ないし14いずれか1項記載の内視鏡システム。
  16.  前記第1表示用観察画像と前記第2表示用観察画像において、前記背景粘膜以外の領域に、生体組織の第1深さに含まれる第1特定情報と、前記第1深さよりも深い前記生体組織の第2深さに含まれる第2特定情報とを有し、
     前記第1表示用観察画像から前記第2特定情報を少なくする第1低減処理、又は、前記第2表示用観察画像から前記第1特定情報を少なくする第2低減処理が行われる請求項1~6、9~12、15のうちいずれか1項記載の内視鏡システム。
  17.  前記表示制御部は、
     前記第1表示用観察画像の表示期間と前記第2表示用観察画像の表示期間を設定する表示期間設定部を有する請求項1ないし16のうちいずれか1項記載の内視鏡システム。
  18.  静止画取得指示を行う静止画取得指示部と、
     前記静止画取得指示が行われた場合に、前記第1表示用観察画像と前記第2表示用観察画像とを含む1セットの表示用観察画像を静止画保存部に保存する制御を行う静止画保存制御部とを備える請求項1ないし17いずれか1項記載の内視鏡システム。
  19.  前記第1特定情報は前記第1深さに位置する第1深さの血管であり、前記第2特定情報は前記第2深さに位置する第2深さの血管である請求項7、8、13、14、16のうちいずれか1項記載の内視鏡システム。
  20.  前記第1表示用観察画像は、血管抽出処理によって抽出された前記第1深さ血管が表示され、前記第2表示用観察画像は、前記血管抽出処理によって抽出された前記第2深さ血管が表示される請求項19記載の内視鏡システム。
  21.  前記第1特定情報は前記第1深さに位置する第1深さの腺管構造であり、前記第2特定情報は前記第2深さに位置する第2深さの腺管構造である請求項7、8、13、14、16のうちいずれか1項記載の内視鏡システム。
PCT/JP2019/004486 2018-02-20 2019-02-07 内視鏡システム WO2019163540A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19758073.1A EP3756532B1 (en) 2018-02-20 2019-02-07 Endoscope system
JP2020501664A JP6917518B2 (ja) 2018-02-20 2019-02-07 内視鏡システム
CN201980014517.7A CN111770717B (zh) 2018-02-20 2019-02-07 内窥镜系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018027748 2018-02-20
JP2018-027748 2018-02-20

Publications (1)

Publication Number Publication Date
WO2019163540A1 true WO2019163540A1 (ja) 2019-08-29

Family

ID=67687086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004486 WO2019163540A1 (ja) 2018-02-20 2019-02-07 内視鏡システム

Country Status (4)

Country Link
EP (1) EP3756532B1 (ja)
JP (1) JP6917518B2 (ja)
CN (1) CN111770717B (ja)
WO (1) WO2019163540A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021172131A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 内視鏡システム、及び内視鏡システムの作動方法
WO2021176890A1 (ja) * 2020-03-06 2021-09-10 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
WO2021250952A1 (ja) * 2020-06-08 2021-12-16 富士フイルム株式会社 内視鏡システム及びその作動方法
EP4088644A4 (en) * 2020-01-09 2023-12-13 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF USE

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022083522A1 (zh) * 2020-10-19 2022-04-28 夏林嘉 用于全彩 led 显示屏的三基色发光器件
CN113837973B (zh) * 2021-11-29 2022-02-18 中国科学院苏州生物医学工程技术研究所 基于光纤探头的共聚焦内窥镜图像校正方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006427A1 (ja) * 2014-07-11 2016-01-14 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システム
JP2016067780A (ja) 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016131837A (ja) * 2015-01-22 2016-07-25 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP2017060682A (ja) 2015-09-25 2017-03-30 富士フイルム株式会社 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06109424A (ja) * 1992-09-24 1994-04-19 Central Japan Railway Co 計測対象物撮像装置
KR100411631B1 (ko) * 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
JP5504990B2 (ja) * 2010-03-12 2014-05-28 カシオ計算機株式会社 撮像装置、画像処理装置及びプログラム
JP5550574B2 (ja) * 2011-01-27 2014-07-16 富士フイルム株式会社 電子内視鏡システム
JP5794475B2 (ja) * 2011-09-27 2015-10-14 株式会社リコー 撮像装置
TW201322070A (zh) * 2011-11-21 2013-06-01 Novatek Microelectronics Corp 雜訊過濾方法
JP6253230B2 (ja) * 2012-12-25 2017-12-27 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
EP3231352A4 (en) * 2014-12-09 2018-08-08 Sony Corporation Illumination device, method for controlling illumination device, and image-acquiring system
EP3357406A4 (en) * 2015-09-29 2018-10-10 FUJI-FILM Corporation Image processing apparatus, endoscope system, and image processing method
CN111343898B (zh) * 2017-11-13 2023-08-04 富士胶片株式会社 内窥镜系统及其工作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016006427A1 (ja) * 2014-07-11 2016-01-14 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び内視鏡システム
JP2016067780A (ja) 2014-09-30 2016-05-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2016131837A (ja) * 2015-01-22 2016-07-25 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
JP2017060682A (ja) 2015-09-25 2017-03-30 富士フイルム株式会社 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4088644A4 (en) * 2020-01-09 2023-12-13 FUJIFILM Corporation ENDOSCOPE SYSTEM AND METHOD OF USE
WO2021172131A1 (ja) * 2020-02-28 2021-09-02 富士フイルム株式会社 内視鏡システム、及び内視鏡システムの作動方法
JP7390465B2 (ja) 2020-02-28 2023-12-01 富士フイルム株式会社 内視鏡システム、及び内視鏡システムの作動方法
WO2021176890A1 (ja) * 2020-03-06 2021-09-10 富士フイルム株式会社 内視鏡システム、制御方法、及び制御プログラム
WO2021250952A1 (ja) * 2020-06-08 2021-12-16 富士フイルム株式会社 内視鏡システム及びその作動方法

Also Published As

Publication number Publication date
JPWO2019163540A1 (ja) 2021-02-04
JP6917518B2 (ja) 2021-08-11
EP3756532B1 (en) 2024-04-17
CN111770717A (zh) 2020-10-13
EP3756532A1 (en) 2020-12-30
CN111770717B (zh) 2023-11-07
EP3756532A4 (en) 2021-03-10

Similar Documents

Publication Publication Date Title
WO2019163540A1 (ja) 内視鏡システム
JP6039606B2 (ja) 内視鏡システム、光源装置、内視鏡システムの作動方法、及び光源装置の作動方法
US11523733B2 (en) Endoscope system and method of operating the same
JP6196598B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP5869541B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP2020065685A (ja) 内視鏡システム
JP6085649B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP7080195B2 (ja) 内視鏡システム
WO2017169284A1 (ja) 画像処理装置及びその作動方法、並びに内視鏡用プロセッサ装置及びその作動方法
US11937788B2 (en) Endoscope system
WO2019093356A1 (ja) 内視鏡システム及びその作動方法
WO2020158165A1 (ja) 内視鏡システム
JP6081622B2 (ja) 内視鏡システム及びプロセッサ装置並びに内視鏡システムの作動方法
JP6987980B2 (ja) 医療画像処理システム
JP6378140B2 (ja) 内視鏡システム及びその作動方法
JP7163243B2 (ja) プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP6522457B2 (ja) 内視鏡システム及びその作動方法
WO2021250952A1 (ja) 内視鏡システム及びその作動方法
JP7171885B2 (ja) 内視鏡システム
JP7273988B2 (ja) 内視鏡システム
WO2019208236A1 (ja) 医療画像処理システム
WO2020121868A1 (ja) 内視鏡システム
JP6276149B2 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19758073

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020501664

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019758073

Country of ref document: EP

Effective date: 20200921