WO2021060158A1 - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
WO2021060158A1
WO2021060158A1 PCT/JP2020/035328 JP2020035328W WO2021060158A1 WO 2021060158 A1 WO2021060158 A1 WO 2021060158A1 JP 2020035328 W JP2020035328 W JP 2020035328W WO 2021060158 A1 WO2021060158 A1 WO 2021060158A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluorescence
light
image
image signal
lesion
Prior art date
Application number
PCT/JP2020/035328
Other languages
English (en)
French (fr)
Inventor
昌之 蔵本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202080066607.3A priority Critical patent/CN114430667A/zh
Priority to JP2021548867A priority patent/JP7203477B2/ja
Publication of WO2021060158A1 publication Critical patent/WO2021060158A1/ja
Priority to US17/702,226 priority patent/US20220211259A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Definitions

  • the present invention relates to an endoscopic system for observing drug fluorescence emitted from a drug administered to a patient and a method of operating the same.
  • an endoscope system equipped with a light source device, an endoscope, and a processor device is widely used.
  • an observation target is irradiated with illumination light from the endoscope, and the observation target being illuminated by the illumination light is imaged by an image sensor of the endoscope, and the observation target is based on an RGB image signal obtained. The image of is displayed on the monitor.
  • Non-Patent Document 1 a drug having an affinity for the lesion is administered to the patient and selectively accumulated, and the patient is observed. By irradiating the excitation light, the drug fluorescence is excited and emitted from the drug contained in the observation target.
  • a blue tone image see Non-Patent Document 1 that is difficult for the user to see is displayed on the monitor, so that it is suitable for screening purposes for detecting lesions. It takes some getting used to.
  • Patent Document 1 by synthesizing a normal image with a fluorescence image and displaying the synthesized image on a monitor, even if the user is not accustomed to fluorescence observation, the image is displayed in a color that is easy for the user to see. This makes it easier to observe fluorescence.
  • the frame rate drops because the images are always combined and displayed.
  • the present invention is an endoscopic system and an operating method thereof that can be displayed in a color that is easy for the user to see and that can enhance the visibility of the fluorescent region by making a difference in color between the normal mucosa and the fluorescent region.
  • the purpose is to provide.
  • the endoscope system of the present invention has a light source unit that emits excitation light that excites a drug contained in an observation target to emit drug fluorescence, reference light that includes at least a wavelength range from the blue band to the red band, and an image.
  • the image control processor includes a control processor, and the fluorescence and reference image signals obtained by imaging an observation target illuminated by excitation light and reference light are input, and a plurality of color information is input from the fluorescence and reference image signals.
  • the color difference between the normal mucous membrane and the fluorescent region containing the drug fluorescence is expanded in the feature space formed by the acquired and a plurality of color information.
  • the image control processor preferably changes the extension center based on the fluorescence and reference image signals and the fluorescence image signal obtained by imaging the observation target illuminated only by the excitation light.
  • the image control processor preferably changes the extension center based on the reference image signal obtained by the difference between the fluorescence image signal and the fluorescence image signal.
  • the image control processor preferably calculates the amount of change in the expansion center based on the fluorescence and reference light components contained in the fluorescence and reference image signals and the fluorescence components contained in the fluorescence image signal.
  • the image control processor displays the first lesion image in which the lesion area containing the fluorescence and reference light components is displayed from the fluorescence and reference image signals and the fluorescence image signal, and the lesion area other than the lesion area containing the fluorescence and reference light components. It is preferable to generate an image other than the lesion and calculate the amount of change in the expansion center based on the first lesion image and the image other than the lesion.
  • the image control processor preferably calculates the amount of fluorescence light and the amount of reference light based on the fluorescence and reference image signals and the fluorescence image signal obtained in the fluorescence frame.
  • the image control processor displays the first lesion image containing the fluorescence and reference light components and the lesion portion containing the fluorescence component based on the fluorescence and reference image signals and the fluorescence image signal. It is preferable to acquire two lesion images and calculate the amount of fluorescence light and the amount of reference light based on the first lesion image and the second lesion image.
  • the image control processor changes the processing content for the fluorescence and the reference image signal based on the amount of fluorescence light and the amount of reference light.
  • the content of the processing is preferably gain processing or matrix processing.
  • the image control processor preferably corrects the amount of reference light based on the processing contents before and after the change.
  • the method of operating the endoscopic system of the present invention includes a step of emitting excitation light that excites a drug contained in an observation target to emit drug fluorescence and a reference light having a wavelength range from a blue band to a red band.
  • it has a step of expanding the color difference between the normal mucosa and the fluorescent region containing the drug fluorescence.
  • the present invention it is possible to display in a color that is easy for the user to see, and it is possible to improve the visibility of the fluorescent region by adding a color difference between the normal mucous membrane and the fluorescent region.
  • the endoscope system 10 of the first embodiment includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a user interface 19.
  • the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
  • the endoscope 12 includes an insertion portion 12a to be inserted into the subject, an operation portion 12b provided at the base end portion of the insertion portion 12a, and a curved portion 12c and a tip portion 12d provided on the tip end side of the insertion portion 12a. have.
  • the angle knob 12e of the operating portion 12b By operating the angle knob 12e of the operating portion 12b, the curved portion 12c bends. Along with this bending motion, the tip portion 12d is directed in a desired direction.
  • the operation unit 12b is provided with a mode switching SW13a in addition to the angle knob 12e.
  • the mode switching SW13a is used for a switching operation between the normal observation mode and the fluorescence observation mode.
  • the normal observation mode is a mode in which a normal image is displayed on the monitor 18.
  • the fluorescence observation mode is a mode in which a fluorescence image is displayed on the monitor 18.
  • a foot switch (not shown) may be used in addition to the mode switching SW13a.
  • the processor device 16 is electrically connected to the monitor 18 and the user interface 19.
  • the monitor 18 outputs and displays image information and the like.
  • the user interface 19 includes a keyboard, a mouse, and the like, and has a function of accepting input operations such as function settings.
  • An external recording unit (not shown) for recording image information or the like may be connected to the processor device 16.
  • the light source device 14 includes a V-LED (VioletLightEmittingDiode) 20a, a B-LED (BlueLightEmittingDiode) 20b, a G-LED (GreenLightEmittingDiode) 20c, and an R-LED.
  • V-LED VehicleLightEmittingDiode
  • B-LED BlueLightEmittingDiode
  • G-LED GreenLightEmittingDiode
  • R-LED Red Light Emitting Diode
  • the joint portion 23 is provided.
  • the light coupled by the optical path coupling portion 23 is irradiated into the subject through the light guide 41 and the illumination lens 45 inserted into the insertion portion 12a.
  • An LD Laser
  • the V-LED 20a generates purple light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
  • the B-LED 20b generates blue light B having a center wavelength of 460 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
  • the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
  • the R-LED 20d generates red light R having a center wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
  • blue light B, green light G, and red light R are used as reference light including at least a wavelength range from the blue band to the green band
  • purple light V is a drug contained in the observation target. It is used as excitation light that excites and emits drug fluorescence. A drug having an affinity for a lesion such as cancer is used. In this case, when purple light V is used as the excitation light, it is preferable to use 5-ALA as the drug. When rezaferin is used as a drug, it is preferable to use excitation light in the red band. When fluorescein or rhodamine green is used as the drug, it is preferable to use excitation light in the blue band. When SYPRO RED is used as a drug, it is preferable to use excitation light in the green band.
  • the light source processor 21 lights the V-LED20a, B-LED20b, G-LED20c, and R-LED20d in the normal observation mode. Therefore, the light obtained by mixing the four colors of purple light V, blue light B, green light G, and red light R is irradiated to the observation target as normal light. Further, in the normal observation mode, the light source processor 21 has each LED 20a to 20d so that the light amount ratio between the purple light V, the blue light B, the green light G, and the red light R is Vc: Bc: Gc: Rc. To control.
  • the light source processor 21 has the LEDs 20a to 20d so that the light amount ratio between the purple light V, the blue light B, the green light G, and the red light R is Vs: Bs: Gs: Rs. To control.
  • the light source processor 21 controls in the fluorescence observation mode to switch between a reference frame that emits excitation light and reference light and a fluorescence frame that emits only excitation light at a specific number of frames. Specifically, as shown in FIG. 4, the light source processor 21 lights the V-LED20a, B-LED20b, G-LED20c, and R-LED20d in the reference frame, thereby lighting the excitation light and the reference light. As, purple light V, blue light B, green light G, and red light R are emitted. Further, the light source processor 21 emits purple light V as excitation light by lighting only the V-LED 20a in the fluorescent frame. In the fluorescence observation mode, the V-LED20a, B-LED20b, G-LED20c, and R-LED20d may be constantly lit without separating the reference frame and the fluorescence frame.
  • the number of reference frames is equal to or greater than the number of fluorescent frames.
  • the number of reference frames is 3 and the number of fluorescent frames is 1 as a specific number of frames.
  • the minimum number of frames of the fluorescent frame is preferably 1 frame when the image sensor 48 uses the global shutter method (CCD), and 2 frames when the image sensor 48 uses the rolling shutter method (CMOS). Is preferable.
  • the reference frame and the fluorescent frame are automatically switched, but unless there is a switching operation by the user, only the reference frame is continuously performed and the switching operation is performed by the user. In that case, the reference frame may be switched to the fluorescent frame.
  • the light intensity ratio includes the case where the ratio of at least one semiconductor light source is 0 (zero). Therefore, this includes the case where any one or more of the semiconductor light sources are not lit. For example, as in the case where the light intensity ratio between the purple light V, the blue light B, the green light G, and the red light R is 1: 0: 0: 0, only one of the semiconductor light sources is turned on, and the other three are turned on. Even if it does not light up, it shall have a light intensity ratio.
  • the light guide 41 is built in the endoscope 12 and the universal cord (the cord connecting the endoscope 12, the light source device 14 and the processor device 16), and is formed in the optical path coupling portion 23.
  • the combined light propagates to the tip portion 12d of the endoscope 12.
  • a multimode fiber can be used as the light guide 41.
  • a fine fiber cable having a core diameter of 105 ⁇ m, a clad diameter of 125 ⁇ m, and a diameter of ⁇ 0.3 to 0.5 mm including a protective layer serving as an outer skin can be used.
  • the tip portion 12d of the endoscope 12 is provided with an illumination optical system 30a and an imaging optical system 30b.
  • the illumination optical system 30a has an illumination lens 45, and the light from the light guide 41 is irradiated to the observation target through the illumination lens 45.
  • the image pickup optical system 30b has an objective lens 46 and an image pickup sensor 48. The reflected light from the observation target enters the image sensor 48 via the objective lens 46. As a result, the reflection image of the observation target is imaged on the image sensor 48.
  • the image pickup sensor 48 is a color image pickup sensor, which captures a reflected image of a subject and outputs an image signal.
  • the image sensor 48 is preferably a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like.
  • the image sensor 48 used in the present invention is a color image sensor for obtaining RGB image signals of three colors of R (red), G (green) and B (blue), that is, an R pixel provided with an R filter.
  • a so-called RGB imaging sensor including a G pixel provided with a G filter and a B pixel provided with a B filter.
  • the image sensor 48 In the case of the normal observation mode, the image sensor 48 outputs a normal image signal by taking an image of an observation target illuminated by normal light. Further, in the case of the fluorescence observation mode, the image sensor 48 outputs the fluorescence and the reference image signal by imaging the observation target illuminated by the excitation light and the reference light in the reference frame. Further, in the fluorescence frame, the image pickup sensor 48 captures an observation target illuminated by the excitation light, and outputs a fluorescence image signal including a component of drug fluorescence excited and emitted from the observation target.
  • the image sensor 48 is a so-called complementary color image sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) instead of the RGB color image sensor. May be.
  • a complementary color imaging sensor When a complementary color imaging sensor is used, the image signals of the four colors of CMYG are output, so it is necessary to convert the image signals of the four colors of CMYG into the image signals of the three colors of RGB by the complementary color-primary color conversion. ..
  • the image sensor 48 may be a monochrome image sensor without a color filter. In this case, the light source processor 21 needs to turn on the blue light B, the green light G, and the red light R in a time-division manner, and add a simultaneous process in the processing of the imaging signal.
  • the image signal output from the image sensor 48 is transmitted to the CDS / AGC circuit 50.
  • the CDS / AGC circuit 50 performs correlated double sampling (CDS (Correlated Double Sampling)) and automatic gain control (AGC (Auto Gain Control)) on an image signal which is an analog signal.
  • CDS Correlated Double Sampling
  • AGC Automatic gain control
  • the image signal that has passed through the CDS / AGC circuit 50 is converted into a digital image signal by the A / D converter (A / D (Analog / Digital) converter) 52.
  • the A / D converted digital image signal is input to the processor device 16.
  • the processor device 16 programs related to various processes are incorporated in the program memory.
  • the processor device 16 is provided with a central control unit composed of an image control processor.
  • the image signal input unit 53 the DSP (Digital Signal Processor) 56, the noise removal unit 58, the signal switching unit 60, and the normal image processing unit 62
  • the functions of the fluorescent image processing unit 64 and the video signal generation unit 66 are realized.
  • a digital image signal from the endoscope 12 is input to the image signal input unit 53.
  • the DSP 56 performs various signal processing such as defect correction processing, offset processing, gain processing, matrix processing, gamma conversion processing, and demosaic processing on the received image signal.
  • defect correction process the signal of the defective pixel of the image sensor 48 is corrected.
  • offset processing the dark current component is removed from the image signal subjected to the defect correction processing, and an accurate zero level is set.
  • gain processing the signal level is adjusted by multiplying the image signal after the offset processing by a specific gain.
  • the gain processing differs between the normal observation mode and the fluorescence observation mode.
  • the R image signal, the G image signal, and the B image signal of the normal image signal are multiplied by the R gain coefficient, the G gain coefficient, and the B gain coefficient for normal observation, respectively. Will be done.
  • the R gain coefficient, the G gain coefficient, and the B gain coefficient for fluorescence observation are obtained with respect to the R image signal, the G image signal, and the B image signal of the fluorescence and reference image signals. Each is multiplied.
  • the image signal after gain processing is subjected to matrix processing to improve color reproducibility.
  • the matrix processing is also different between the normal observation mode and the fluorescence observation mode.
  • the matrix processing for normal observation is performed on the normal image signal.
  • the fluorescence and the reference image signal are subjected to the matrix processing for fluorescence observation.
  • demosaic processing also referred to as isotropic processing or simultaneous processing
  • a signal of a color lacking in each pixel is generated by interpolation.
  • the noise removing unit 58 removes noise from the image signal by performing noise removing processing (for example, moving average method, median filter method, etc.) on the image signal that has been gamma-corrected by DSP56.
  • the noise-removed image signal is transmitted to the signal switching unit 60.
  • the signal switching unit 60 When the signal switching unit 60 is set to the normal observation mode by the mode switching SW13a, the signal switching unit 60 transmits a normal image signal as an image signal to the normal image processing unit 62 and is set to the fluorescence observation mode. Transmits fluorescence and a reference image signal and a fluorescence image signal as image signals to the fluorescence image processing unit 64.
  • the normal image processing unit 62 performs image processing for a normal image on a normal image signal.
  • the image processing for a normal image includes a structure enhancement process for a normal image and the like.
  • the normal image signal subjected to image processing for a normal image is input from the normal image processing unit 62 to the video signal generation unit 66 as a normal image.
  • the fluorescence image processing unit 64 generates a fluorescence image based on fluorescence and a reference image signal or a fluorescence image signal. The details of the fluorescence image processing unit 64 will be described later.
  • the fluorescence image generated by the fluorescence image processing unit 64 is input to the video signal generation unit 66.
  • the video signal generation unit 66 converts a normal image or a special image input from the normal image processing unit 62 or the fluorescence image processing unit 64 into a video signal for displaying as an image that can be displayed on the monitor 18. Based on this video signal, the monitor 18 displays a normal image.
  • the fluorescent image processing unit 64 includes an inverse gamma conversion unit 70, an RGB conversion unit 71, a signal ratio calculation unit 72, a polar coordinate conversion unit 73, a color difference expansion unit 74, and a Cartesian coordinate conversion unit. 78, RGB conversion unit 79, brightness adjustment unit 81, structure enhancement unit 82, inverse Log conversion unit 83, gamma conversion unit 84, extended center change unit 85, fluorescence and reference light amount calculation unit 88. And have.
  • Fluorescence and reference image signals are input to the inverse gamma conversion unit 70. Further, the fluorescence, the reference image signal, and the fluorescence image signal required for changing the expansion center are input to the expansion center changing unit 85. Further, the fluorescence, reference image signal, and fluorescence image signal necessary for calculating the light amount of fluorescence and reference light are input to the fluorescence and reference light amount calculation unit 88.
  • the fluorescence and reference image signals the B image signal output from the B pixel of the image sensor 48, the G image signal output from the G pixel of the image sensor 48, and the R pixel of the image sensor 48 are output. It is preferably a three-color RGB image signal composed of an R image signal. Further, the fluorescence image signal is preferably an image signal of three colors of an RGB image signal, but only an image signal containing a drug fluorescence component, for example, when the drug fluorescence component has a red band. May be an R image signal.
  • the inverse gamma conversion unit 70 performs inverse gamma conversion on the input RGB3 channel digital image signal. Since the RGB image signal after this inverse gamma conversion is a linear RGB signal having a reflectance linear with respect to the reflectance from the sample, a large proportion of the RGB image signals are related to various biological information of the sample. Become.
  • the reflectance linear R image signal is used as the first R image signal
  • the reflectance linear G image signal is used as the first G image signal
  • the reflectance linear B image signal is used as the first B image signal.
  • the first R image signal, the first G image signal, and the first B image signal are collectively referred to as a first RGB image signal.
  • the Log conversion unit 71 Log-converts each of the reflectance linear RGB image signals. As a result, a Log-converted R image signal (logR), a Log-converted G image signal (logG), and a Log-converted B image signal (logB) can be obtained.
  • the G / R ratio like the B / G ratio, it represents the -log (G / R) in which "-log" is omitted.
  • the B / G ratio and the G / R ratio are obtained for each pixel from the pixel values of the pixels at the same positions in the B image signal, the G image signal, and the R image signal. Further, the B / G ratio and the G / R ratio are obtained for each pixel. Further, since the B / G ratio correlates with the blood vessel depth (distance from the mucosal surface to the position where a specific blood vessel is located), the B / G ratio fluctuates as the blood vessel depth differs. Moreover, since the G / R ratio correlates with the blood volume (hemoglobin index), if the blood volume fluctuates, the G / R ratio also fluctuates accordingly.
  • the polar coordinate conversion unit 73 converts the B / G ratio and the G / R ratio obtained by the signal ratio calculation unit 72 into a moving diameter r and an angle ⁇ . In the polar coordinate conversion unit 73, the conversion to the radius r and the angle ⁇ is performed for all the pixels.
  • the color difference expansion unit 74 includes the normal mucous membrane included in the observation target and the observation target in the signal ratio space (feature space) formed by the B / G ratio and the G / R ratio, which are one of a plurality of color information. The color difference from the fluorescent region containing the drug fluorescence that is excited and emitted from the drug is expanded.
  • the saturation difference between the normal mucosa and the fluorescent region is expanded, or the hue difference between the normal mucosa and the fluorescent region is expanded. Therefore, the color difference expansion unit 74 has a saturation enhancement processing unit 76 and a hue enhancement processing unit 77.
  • the saturation enhancement processing unit 76 performs saturation enhancement processing that expands the saturation difference between the normal mucous membrane and the fluorescence region in the signal ratio space. Specifically, the saturation enhancement process is performed by expanding or compressing the radius r in the signal-to-noise ratio space.
  • the hue enhancement processing unit 77 performs hue enhancement processing for expanding the hue difference between the normal mucous membrane and the fluorescent region in the signal-to-noise ratio space. Specifically, the hue enhancement process is performed by expanding or compressing the angle ⁇ in the signal-to-noise ratio space. Details of the saturation enhancement processing unit 76 and the hue enhancement processing unit 77 will be described later.
  • the Cartesian coordinate conversion unit 78 converts the diameter r and the angle ⁇ that have undergone saturation enhancement processing and hue enhancement processing into Cartesian coordinates. As a result, it is converted into the angle-expanded / compressed B / G ratio and G / R ratio.
  • the RGB conversion unit 79 uses at least one of the first RGB image signals to convert the B / G ratio and G / R ratio that have undergone saturation enhancement processing and hue enhancement processing into a second RGB image signal. To do. For example, the RGB conversion unit 79 converts the B / G ratio into the second B image signal by performing an operation based on the first G image signal and the B / G ratio of the first RGB image signals.
  • the RGB conversion unit 79 converts the G / R ratio into the second R image signal by performing an operation based on the first G image signal and the G / R ratio of the first RGB image signals. Further, the RGB conversion unit 79 outputs the first G image signal as a second G image signal without performing any special conversion.
  • the second R image signal, the second G image signal, and the second B image signal are collectively referred to as a second RGB image signal.
  • the brightness adjusting unit 81 adjusts the pixel value of the second RGB image signal by using the first RGB image signal and the second RGB image signal.
  • the brightness adjusting unit 81 adjusts the pixel value of the second RGB image signal for the following reasons.
  • the brightness of the second RGB image signal obtained by the processing of expanding / compressing the color region by the saturation enhancement processing unit 76 and the hue enhancement processing unit 77 may be significantly different from that of the first RGB image signal. Therefore, the brightness adjusting unit 81 adjusts the pixel value of the second RGB image signal so that the second RGB image signal after the brightness adjustment has the same brightness as the first RGB image signal.
  • the brightness adjustment unit 81 includes a first brightness information calculation unit 81a that obtains the first brightness information Yin based on the first RGB image signal, and a second brightness that obtains the second brightness information Yout based on the second RGB image signal.
  • the information calculation unit 81b is provided.
  • the first brightness information calculation unit 81a describes the first brightness information Yin according to the calculation formula of “kr ⁇ pixel value of the first R image signal + kg ⁇ pixel value of the first G image signal + kb ⁇ pixel value of the first B image signal”. Is calculated.
  • the second brightness information calculation unit 81b also calculates the second brightness information Yout according to the same calculation formula as above.
  • the brightness adjustment unit 81 performs a calculation based on the following equations (E1) to (E3) to obtain the pixel value of the second RGB image signal. adjust.
  • E1: R * Pixel value of 2nd R image signal ⁇ Yin / Yout
  • E2: G * Pixel value of 2nd G image signal ⁇ Yin / Yout
  • E3: B * Pixel value of the second B image signal ⁇ Yin / Yout
  • R * represents the second R image signal after brightness adjustment
  • G * " represents the second G image signal after brightness adjustment
  • B * " represents the second B image signal after brightness adjustment.
  • "kr", “kg”, and “kb” are arbitrary constants in the range of "0" to "1".
  • the structure enhancement unit 82 performs structure enhancement processing on the second RGB image signal that has passed through the RGB conversion unit 79. Frequency filtering or the like is used as the structure enhancement process.
  • the inverse Log conversion unit 83 performs inverse Log conversion on the second RGB image signal that has passed through the structure enhancement unit 82. As a result, a second RGB image signal having an antilogarithm pixel value is obtained.
  • the gamma conversion unit 84 performs gamma conversion on the RGB image signal that has passed through the inverse Log conversion unit 83. As a result, a second RGB image signal having a gradation suitable for an output device such as a monitor 18 can be obtained.
  • the second RGB image signal that has passed through the gamma conversion unit 84 is sent to the video signal generation unit 66.
  • the normal mucous membrane distributed in the first quadrant of the signal ratio space (feature space) formed by the B / G ratio and the G / R ratio. Increase the saturation difference or hue difference between the and the fluorescent region. Since the fluorescent region is reddish, it is located on the right side of the normal mucosa in the first quadrant of the signal-to-noise ratio space.
  • the color difference expansion unit 74 has an expansion center in the signal-to-noise space so that the color difference between the normal mucosa and the fluorescent region expands. It has been decided.
  • the saturation enhancement processing unit 76 defines an expansion center for saturation for expanding the saturation difference between the normal mucous membrane and the fluorescent region. Further, in the hue enhancement processing unit 77, an expansion center for hue for expanding the hue difference between the normal mucous membrane and the fluorescent region is defined.
  • the saturation enhancement processing unit 76 changes the radius r indicated by the coordinates within the radius change range Rm in the signal-to-noise ratio space, while the coordinates outside the radius change range Rx are changed.
  • the moving diameter r is not changed.
  • the radius change range Rm is such that the radius r is in the range of "r1" to "r2" (r1 ⁇ r2).
  • extended center lines SLs for saturation are set on the moving diameter rc between the moving diameter r1 and the moving diameter r2.
  • the extended centerlines SLs for saturation are provided outside the area of the normal mucosa (see FIG. 7).
  • the extension center CES for saturation is included in the extension center lines SLs for saturation.
  • the range rcr1 (r1 ⁇ r ⁇ rc) in which the moving diameter r is smaller than the moving diameter rc indicated by the extended center line SLs for saturation is low. It is considered to be the saturation range.
  • the range rcr2 (rc ⁇ r ⁇ r2) in which the radius r is larger than the radius rc indicated by the extended center line SLs for saturation is defined as the high saturation range.
  • the saturation enhancement process outputs the moving diameter Rx (r) in response to the input of the moving diameter r of the coordinates included in the moving diameter changing range Rm.
  • the input / output relationship by this saturation enhancement processing is represented by a solid line.
  • an S-shaped conversion curve is used, and in the low saturation range rcr1, the output value Rx (r) is made smaller than the input value r, while in the high saturation range rcr2, the output value Rx ( r) is made larger than the input value r.
  • the slope Kx in Rx (rc) is set to "1" or more.
  • the saturation of the observation target included in the low saturation range can be made lower, while the saturation of the observation target included in the high saturation range can be made higher.
  • saturation enhancement it is possible to increase the saturation difference between a plurality of observation target ranges.
  • the fluorescence region (solid line) after the saturation enhancement processing is for saturation more than the fluorescence region (dotted line) before the saturation enhancement processing. It is moving away from the extended centerline SLs. Since the radial direction represents the magnitude of saturation in the feature space, the saturation difference between the fluorescence region (solid line) after the saturation enhancement treatment and the normal mucosa is normal with the fluorescence region (dotted line) before the saturation enhancement treatment. It is larger than the saturation difference with the mucous membrane.
  • the hue enhancement processing unit 77 changes the angle ⁇ indicated by the coordinates within the angle change range Rn in the signal ratio space, while changing the angle ⁇ for the coordinates outside the angle change range Rn. Do not do.
  • the angle change range Rn is the range of the angle ⁇ 1 in the counterclockwise direction (first hue direction) from the extended center line SLh for hue and the angle in the clockwise direction (second hue direction) from the extended center line SLh for hue. It is composed of a range of ⁇ 2.
  • the extended centerline SLh for hue is provided so as to intersect the region of the normal mucosa (see FIG. 7). Further, the extended center CEH for hue is included in the extended center line SLh for hue.
  • the angle ⁇ of the coordinates included in the angle change range Rn is redefined as the angle ⁇ formed with respect to the extended center line SLh for hue, with the counterclockwise side as the plus side with respect to the extended center line SLh for hue, and the hue.
  • the clockwise side is the minus side with respect to the expansion center line SLh for use. Since the hue also changes when the angle ⁇ changes, the range of the angle ⁇ 1 is defined as the positive hue range ⁇ 1 and the range of the angle ⁇ 2 is defined as the negative hue range ⁇ 2 in the angle changing range Rn.
  • the extended center line SLh for hue is also preferably a line that intersects the range of the normal mucosa in the feature space, like the extended center line SLs for saturation.
  • the hue enhancement process outputs the angle Fx ( ⁇ ) with respect to the input of the angle ⁇ of the coordinates included in the angle change range Rn.
  • the input / output relationship by this hue enhancement processing is represented by a solid line.
  • the output Fx ( ⁇ ) is made smaller than the input ⁇ in the negative hue range ⁇ 2, while the output Fx ( ⁇ ) is made larger than the input ⁇ in the positive hue range ⁇ 1. ..
  • the fluorescence region (solid line) after the hue enhancement treatment is the extended center line for hue more than the fluorescence region (dotted line) before the hue enhancement treatment. It is moving away from SLh. Since the angular direction represents the difference in hue in the feature space, the hue difference between the fluorescent region (solid line) after the hue enhancement treatment and the normal mucosa is the hue difference between the fluorescent region (dotted line) before the hue enhancement treatment and the normal mucosa. Is bigger than.
  • the expansion center changing unit 85 changes the expansion center defined in the signal ratio space based on the fluorescence and reference image signals and the fluorescence image signal. Specifically, the expansion center changing unit 85 calculates the reference image signal from the fluorescence and the difference between the reference image signal and the fluorescence image signal, and changes the expansion center based on the calculated reference image signal. For example, as shown in FIG. 16, it is obtained based on the frequency distribution of the B / G ratio obtained based on the B image signal and the G image signal of the reference image signal, and the G image signal and the R image signal of the reference image signal. The frequency distribution of the G / R ratio is obtained.
  • the amount of change in the vertical axis direction of the expansion center is obtained from the pixel value (specific pixel value) at a specific ratio (for example, 80%) with respect to the maximum pixel value included in the frequency distribution of the B / G ratio. Further, the amount of change in the horizontal axis direction of the expansion center is obtained from the pixel value (specific pixel value) at a specific ratio (for example, 80%) with respect to the maximum pixel value included in the frequency distribution of the G / R ratio.
  • the extended center changing unit 85 does not change the extended center for saturation or the extended center for hue when the specific pixel value is within a certain range.
  • the expansion center changing unit 85 is used for the expansion center CES for saturation or for hue, depending on the amount of change in the vertical axis direction and the horizontal axis direction of the expansion center.
  • the expansion center CEH is changed in the vertical axis direction or the horizontal axis direction. According to the change of the extension center CES for saturation or the extension center CEH for hue, the positions of the extension center lines SLs for saturation or the extension center line SLh for hue are also changed.
  • the expansion center lines SLs for normal mucosa and the fluorescent region and saturation or for hue are used.
  • the position with the extended center line SLh is as shown in FIG. 17 (A).
  • the expansion center is set to a pixel value (specific pixel value) of 80% of the maximum pixel value included in the frequency distribution of the B / G ratio and the G / R ratio, the normal mucosa and the fluorescent region
  • FIG. 17 (B) The positions of the and the extended center line SLs for saturation or the extended center line SLh for hue are as shown in FIG. 17 (B).
  • the expansion center changing unit 85 may calculate the amount of change of the expansion center based on the fluorescence and reference light components included in the fluorescence and reference image signals and the fluorescence components contained in the fluorescence image signal. .. In this case, as shown in FIG. 18, the extended center changing unit 85 generates a binarized fluorescence image signal in which the fluorescence component FL and the rest are binarized with respect to the fluorescence image signal. The extended center changing unit 85 does not change the extended center when the fluorescence component FL included in the binarized fluorescence image signal is equal to or less than the fluorescence threshold value.
  • the expansion center changing unit 85 changes the expansion center when the fluorescence component FL exceeds the fluorescence threshold value.
  • the dilation center is changed by subtracting the maximum fluorescence amount to the low saturation side of the lesion.
  • the amount of change in the expansion center is obtained by taking the logical product (AND) of the fluorescence and reference image signals and the binarized fluorescence image, so that the lesion portion containing the reference light RL and the fluorescence component FL is displayed.
  • the first lesion image is acquired.
  • the extended center changing unit 85 calculates the minimum pixel values Min_B, Min_G, and Min_R from the B image signal, the G image signal, and the R image signal of the first lesion image, respectively.
  • the extended center changing unit 85 replaces the method of changing the extended center in the horizontal axis direction of the signal-to-noise ratio space.
  • the extension center may be changed in the vertical and horizontal axes of the signal-to-noise ratio space.
  • the dilation center is changed so as to be the boundary between the normal mucosa and the lesion such as the fluorescent region.
  • the extended center changing portion 85 selects the first lesion image in which the lesion portion containing the fluorescence and reference light components is displayed from the fluorescence and reference image signals and the fluorescence image signal, and the fluorescence and reference light components. An image other than the lesion in which the part other than the including lesion is displayed is generated, and the amount of change in the expansion center is calculated based on the first lesion image and the image other than the lesion.
  • the extended center changing unit 85 takes the logical product (AND) of the fluorescence and reference image signals and the binarized fluorescence image as described above, thereby taking the reference light RL and the fluorescence component.
  • a first lesion image in which the lesion portion including FL is displayed is acquired.
  • the reference light RL and fluorescence are obtained.
  • An image other than the lesion in which the part other than the lesion containing the component FL is displayed is acquired.
  • the extended center changing unit 85 calculates the B / G ratio and the G / R ratio of the first lesion image from the B image signal, the G image signal, and the R image signal of the first lesion image. Then, the minimum B / G ratio and the G / R ratios of Min_B / G and Min_G / R among the calculated positive B / G ratio (> 0) and G / R ratio (> 0) are acquired. On the other hand, the B / G ratio and G / R ratio of the first lesion image are calculated from the B image signal, G image signal, and R image signal of the image other than the lesion, and among the calculated B / G ratio and G / R ratio.
  • the fluorescence and reference light amount calculation unit 88 changes the emission ratio of the reference light based on the fluorescence and the reference image signal and the fluorescence image signal, or the fluorescence light amount and the amount of fluorescence required for the processing contents for the fluorescence and the reference image signal. Find the amount of reference light. As shown in FIG. 18, the fluorescence and reference light amount calculation unit 88 generates a binarized fluorescence image signal in which the fluorescence component FL and the rest are binarized with respect to the fluorescence image signal.
  • the fluorescence and reference light amount calculation unit 88 determines that the fluorescence image signal does not include the fluorescence component FL when the fluorescence component FL contained in the binarized fluorescence image signal is equal to or less than the fluorescence threshold value, and determines that the fluorescence component FL is not included in the fluorescence image signal. No calculation is performed. That is, the luminous ratio of the reference light is not changed, or the processing contents for the fluorescence and the reference image signal are not changed.
  • the fluorescence and reference light amount calculation unit 88 takes the logical product (AND) of the fluorescence and reference image signals and the binarized fluorescence image, so that the lesion part containing the reference light RL and the fluorescence component FL is displayed as the first lesion. Get an image.
  • a second lesion image in which the lesion portion containing the fluorescence component FL is displayed is acquired.
  • the fluorescence and reference light amount calculation unit 88 has a specific ratio (as shown in FIG. 23) with respect to the maximum pixel value included in the frequency distribution (histogram) of the pixel values of the R image signal of the first lesion image. For example, the pixel value of 80%) is calculated as the first R pixel value.
  • the first R pixel value corresponds to the pixel value of fluorescence and reference light
  • the value obtained by dividing the first R pixel value by the R gain coefficient for fluorescence observation corresponds to the amount of light of fluorescence and reference light.
  • a pixel value of a specific ratio (for example, 80%) with respect to the maximum pixel value included in the frequency distribution (histogram) of the pixel value of the R image signal of the second lesion image is used as the second R pixel value.
  • the second R pixel value corresponds to the fluorescence pixel value
  • the value obtained by dividing the second R pixel value by the R gain coefficient for fluorescence observation corresponds to the amount of fluorescence light.
  • the fluorescence and reference light amount calculation unit 88 calculates the pixel value of the reference light by subtracting the second R pixel value from the first R pixel value.
  • the first R pixel value is preferably converted into a luminance linear signal in which the pixel value changes linearly with respect to the input signal of the image sensor 48. It is preferable that the second R pixel value is also converted into a luminance linear signal as in the case of the first R pixel value.
  • the contents of the processing for the fluorescence and the reference image signal for example, the content of the gain processing or the matrix processing, and the luminous ratio of the reference light are changed. It is used for correction of.
  • the processing change unit 91 changes the content of processing for the fluorescence and the reference image signal based on the amount of fluorescence light and the amount of reference light. As a change in the content of the processing, for example, when the R gain coefficient Gn_R for fluorescence observation used in the gain processing is changed, AGn_R can be obtained as the changed R gain coefficient for fluorescence observation by the following equation 3).
  • red light is obtained by the following equation 5).
  • the luminous ratio of the red light R is lowered. This improves the visibility of the drug fluorescence in the same wavelength range as the red light R.
  • the drug fluorescence is not detected or hardly detected from the observation target such that the light amount of the drug fluorescence is less than a certain value, the luminous ratio of the red light R is changed according to the change of the above processing and the light amount correction of the reference light. Raise. As a result, it is possible to prevent the brightness of the red color of the observation target from being lowered even though the drug fluorescence is not emitted.
  • the pixel value of Max fluorescence / pixel value of fluorescence is multiplied by the R gain coefficient Gn_R for fluorescence observation. Can be obtained.
  • the Max fluorescence pixel value becomes "80” by subtracting the reference light pixel value "150” from the maximum fluorescence pixel value "230" at which the image sensor 48 saturates. Therefore, by multiplying the Max fluorescence pixel value “80” / fluorescence pixel value “15” by the R gain coefficient Gn_R “1.5” for fluorescence observation, AGn_R becomes “8”.
  • the amount of light of the reference light after correction is obtained by multiplying the amount of light of the reference light by Gn_R / AGn_R, as shown in Equation 4). Specifically, by multiplying the light amount of the reference light "100” by "1.5” of Gn_R / "8" of AGn_R, the light amount of the reference light after correction becomes "18.75". .. Regarding the pixel value of the corrected fluorescence, the R gain coefficient “8” for observing the corrected fluorescence is multiplied by the light amount “10” of the fluorescence which is almost constant regardless of the magnitude of the reference light. As a result, the corrected fluorescence pixel value becomes "80".
  • the pixel value of the corrected reference light is corrected by multiplying the corrected reference light amount "18.75” by the corrected R gain coefficient "8" for fluorescence observation.
  • the pixel value of the reference light of is "150".
  • the corrected fluorescence pixel value "80" and the corrected reference light pixel value "150” are added to obtain the corrected fluorescence and reference light pixel values. Is "230".
  • a drug for exciting and emitting drug fluorescence is administered to the patient from the observation target. Operate the mode switching SW13a to switch to the fluorescence observation mode.
  • the light source unit 20 emits excitation light that excites the drug contained in the observation target to emit the drug fluorescence and reference light from the blue band to the red band.
  • the image sensor 48 images an observation target illuminated by the excitation light and the reference light, and outputs fluorescence and a reference image signal.
  • the fluorescence and reference image signals output from the image sensor 48 are input to the image signal input unit 53.
  • the signal ratio calculation unit 72 which is a color information acquisition unit, calculates a B / G ratio and a G / R ratio, which are a plurality of color information, based on the fluorescence and the reference image signal.
  • the color difference expansion unit 74 excites and emits light from the normal mucous membrane included in the observation target and the drug contained in the observation target. Extends the color difference from the fluorescent region containing.
  • a fluorescence image is obtained based on the B / G ratio and the G / R ratio after expanding the color difference between the normal mucosa and the fluorescence region.
  • the fluorescence image is displayed on the monitor 18.
  • the fluorescent image is not a monochrome image containing only the fluorescent component, but is displayed as a color image because it contains visible light components from the blue band to the red band. As a result, the fluorescent image can grasp the fluorescent region in a situation where it is easy for the user to see.
  • the signal ratio calculation unit 72 obtains the B / G ratio and the G / R ratio from the first RGB image signal, and the saturation in the signal ratio space formed from these B / G ratio and the G / R ratio.
  • the enhancement processing and the hue enhancement processing are performed, even if the color information different from the B / G ratio and the G / R ratio is obtained and the saturation enhancement processing and the hue enhancement processing are performed in the feature space formed from the color information. Good.
  • color difference signals Cr and Cb may be obtained as color information, and saturation enhancement processing and hue enhancement processing may be performed in a feature space formed from the color difference signals Cr and Cb.
  • the fluorescence image processing unit 92 shown in FIG. 26 is used. Unlike the fluorescence image processing unit 64, the fluorescence image processing unit 92 does not include a log conversion unit 71, a signal ratio calculation unit 72, and an inverse Log conversion unit 83. Instead, the fluorescence image processing unit 92 includes a luminance color difference signal conversion unit 86. Other than that, the fluorescence image processing unit 92 is the same as the fluorescence image processing unit 64.
  • the luminance color difference signal conversion unit 86 (corresponding to the “color information acquisition unit” of the present invention) converts the first RGB image signal into the luminance signal Y and the luminance signals Cr and Cb. A well-known conversion formula is used for conversion to color difference signals Cr and Cb. The color difference signals Cr and Cb are sent to the polar coordinate conversion unit 73. The luminance signal Y is sent to the RGB conversion unit 79 and the brightness adjustment unit 81. The RGB conversion unit 79 converts the color difference signals Cr and Cb and the luminance signal Y that have passed through the orthogonal coordinate conversion unit 78 into a second RGB image signal.
  • the brightness signal Y is used as the first brightness information Yin
  • the second brightness information obtained by the second brightness information calculation unit 81b is used as the second brightness information Youto in the second RGB. Adjust the pixel value of the image signal.
  • the method of calculating the second brightness information Youout and the method of adjusting the pixel value of the second RGB image signal are the same as in the case of the fluorescence image processing unit 64.
  • saturation enhancement processing or hue enhancement processing is performed by changing the diameter r and the angle ⁇ in the CrCb space, which is a feature space composed of color difference signals Cr and Cb.
  • the fluorescence region (solid line) after the saturation enhancement treatment is more saturated than the fluorescence region (dotted line) before the saturation enhancement treatment. It is moving away from the extended centerline SLs for degrees.
  • the hue enhancement treatment by performing the hue enhancement treatment, the fluorescence region (solid line) after the hue enhancement treatment is separated from the extended center line SLh for hue than the fluorescence region (dotted line) before the hue enhancement treatment. Moving in the direction.
  • the hue H (Hue) and the saturation S (Saturation) may be obtained as the color information, and the saturation enhancement processing and the hue enhancement processing may be performed in the HS space formed by the hue H and the saturation S.
  • hue H and saturation S are used, the fluorescence image processing unit 96 shown in FIG. 29 is used. Unlike the fluorescence image processing unit 64, the fluorescence image processing unit 96 does not include a Log conversion unit 71, a signal ratio calculation unit 72, a polar coordinate conversion unit 73, a Cartesian coordinate conversion unit 78, and an inverse Log conversion unit 83. Instead, the fluorescence image processing unit 96 includes an HSV conversion unit 87. Other than that, the fluorescence image processing unit 96 is the same as the fluorescence image processing unit 64.
  • the HSV conversion unit 87 (corresponding to the "color information acquisition unit” of the present invention) converts the first RGB image signal into hue H, saturation S, and lightness V (Value). A well-known conversion formula is used for conversion to hue H, saturation S, and lightness V. Hue H and saturation S are sent to the translation unit 90.
  • the brightness V is sent to the RGB conversion unit 79.
  • the RGB conversion unit 79 converts the hue H, saturation S, and lightness V that have passed through the translation unit 90 into a second RGB image signal.
  • the brightness adjustment unit 81 uses the first brightness information Yin obtained by the first brightness information calculation unit and the second brightness information Yout obtained by the second brightness information calculation unit 81b to use the second RGB image signal. Adjust the pixel value of.
  • the method of calculating the first brightness information Yin and the second brightness information Youout, and the method of adjusting the pixel value of the second RGB image signal are the same as in the case of the fluorescence image processing unit 64.
  • the saturation enhancement processing and the hue enhancement processing in the HS space formed by the hue H and the saturation S do not expand or compress the radius r and the angle ⁇ as in the signal ratio space and the CrCb space, but each pixel is compressed. Performs translation processing.
  • the fluorescence region (solid line) after the saturation enhancement process is formed by performing the saturation enhancement process. , It is moved in a direction away from the extended center line SLs for saturation from the fluorescence region (dotted line) before the saturation enhancement treatment.
  • the fluorescence region (solid line) after the hue enhancement treatment is separated from the fluorescence region (dotted line) before the hue enhancement treatment from the extended center line SLh for hue. Move in the direction.
  • the light source device 14 emits a blue laser light having a center wavelength of 445 ⁇ 10 nm instead of the four-color LEDs 20a to 20d (FIG. 32).
  • a bluish-purple laser light source (denoted as “405LD” in FIG. 32) 106 that emits a bluish-purple laser light having a center wavelength of 405 ⁇ 10 nm is provided.
  • the light emission from the semiconductor light emitting elements of each of the light sources 104 and 106 is individually controlled by the light source processor 108, and the light intensity ratio between the emitted light of the blue laser light source 104 and the emitted light of the blue-violet laser light source 106 can be changed freely. It has become.
  • the light source processor 108 drives the blue laser light source 104 in the normal observation mode.
  • both the blue laser light source 104 and the blue-violet laser light source 106 are driven in the reference frame, and only the blue-purple laser light source 106 is driven in the fluorescence frame.
  • the laser light emitted from each of the above light sources 104 and 106 is incident on the light guide 41 via an optical member (none of which is shown) such as a condenser lens, an optical fiber, or a combiner.
  • the half-value width of the blue laser light or the blue-violet laser light is preferably about ⁇ 10 nm.
  • a broad area type InGaN-based laser diode can be used, and an InGaN As-based laser diode or a GaN As-based laser diode can also be used.
  • a light emitting body such as a light emitting diode may be used.
  • the illumination optical system 30a is provided with a phosphor 110 to which the blue laser light or the blue-violet laser light from the light guide 41 is incident.
  • a phosphor 110 to which the blue laser light or the blue-violet laser light from the light guide 41 is incident.
  • fluorescence for a phosphor is emitted from the phosphor 110.
  • some blue laser light passes through the phosphor 110 as it is.
  • the bluish-purple laser light passes through the phosphor 110 without exciting it.
  • the light emitted from the phosphor 110 is irradiated into the sample through the illumination lens 45.
  • the blue laser light is mainly incident on the phosphor 110, the blue laser light as shown in FIG. 33 and the fluorescence for the phosphor that is excited and emitted from the phosphor 110 by the blue laser light are used.
  • the combined normal light is applied to the observation target.
  • the fluorescence observation mode in the reference frame, both the blue-violet laser light and the blue laser light are incident on the phosphor 110, so that the excitation light which is the blue-purple laser light and the blue laser as shown in FIG. 34
  • the sample is irradiated with the reference light obtained by combining the fluorescence for the phosphor, which is excited and emitted from the phosphor 110 by the light and the blue laser light.
  • the excitation light which is the bluish-purple laser light transmitted through the phosphor almost as it is, is irradiated into the sample as shown in FIG. 35. To.
  • the phosphor 110 is a plurality of types of phosphors that absorb a part of the blue laser light and excite and emit light from green to yellow (for example, a YAG-based phosphor or a phosphor such as BAM (BaMgAl 10 O 17)). It is preferable to use one composed of.
  • a semiconductor light emitting element is used as an excitation light source for the phosphor 110 as in this configuration example, high-intensity white light can be obtained with high luminous efficiency, the intensity of white light can be easily adjusted, and the color of white light can be adjusted. Changes in temperature and chromaticity can be suppressed to a small extent.
  • a broadband light source such as a xenon lamp and a rotation filter are used to illuminate the observation target.
  • a monochrome image sensor is used to image the observation target. Other than that, it is the same as that of the first embodiment.
  • the light source device 14 is provided with a wideband light source 202, a rotation filter 204, and a filter switching unit 205 instead of the four-color LEDs 20a to 20d.
  • the image pickup optical system 30b is provided with a monochrome image pickup sensor 206 without a color filter instead of the color image pickup sensor 48.
  • the broadband light source 202 is a xenon lamp, a white LED, or the like, and emits white light having a wavelength range ranging from blue to red.
  • the rotation filter 204 includes a normal observation mode filter 208 provided on the inside and a fluorescence observation mode filter 209 provided on the outside (see FIG. 37).
  • the filter switching unit 205 moves the rotation filter 204 in the radial direction, and inserts the normal observation mode filter 208 of the rotation filter 204 into the optical path of white light when the rotation filter 204 is set to the normal observation mode by the mode switching SW13a. Then, when the fluorescence observation mode is set, the fluorescence observation mode filter 209 of the rotation filter 204 is inserted into the optical path of white light.
  • the filters 208 for the normal observation mode include a B filter 208a that transmits blue light among white light, a G filter 208b that transmits green light among white light, and white light along the circumferential direction.
  • An R filter 208c that transmits red light among the light is provided. Therefore, in the normal observation mode, the rotation of the rotation filter 204 alternately irradiates the observation target with blue light, green light, and red light.
  • the filters for the fluorescence observation mode include a Bn filter 209a that transmits blue narrow band light of a specific wavelength among white light, a B filter 209b that transmits blue light among white light, and white light along the circumferential direction. Of these, a G filter 209c that transmits green light and an R filter 209d that transmits red light among white light are provided. Therefore, in the fluorescence observation mode, the rotation of the rotation filter 204 causes the observation target to be alternately irradiated with blue narrow band light, blue light, green light, and red light. The image signal based on the blue narrow band light is combined with the image signal based on the blue light and used as the B image signal of the fluorescence and reference image signals.
  • the image signal based on green light is used as the G image signal of the fluorescence and reference image signal, and the image signal based on red light is used as the R image signal of the fluorescence and reference image signal.
  • An image signal based on blue narrow band light is used as a fluorescence image signal.
  • the inside of the sample is imaged by the monochrome imaging sensor 206 every time blue light, green light, and red light are applied to the observation target.
  • an image signal of three colors of RGB can be obtained.
  • a normal image is generated by the same method as in the first embodiment.
  • the inside of the sample is imaged by the monochrome image sensor 206 every time the blue narrow band light, the green light, and the red light are irradiated to the observation target.
  • a Bn image signal, a G image signal, and an R image signal can be obtained.
  • a special image is generated based on the Bn image signal, the G image signal, and the R image signal.
  • a Bn image signal is used instead of the B image signal to generate the special image.
  • the special image is generated by the same method as in the first embodiment.
  • the emission spectrum is not limited to this.
  • green light G and red light R have the same spectra as in FIG. 3, while purple light Vs has a central wavelength of 410 to 420 nm and is more than the purple light V in FIG.
  • Light having a wavelength range on the slightly longer wavelength side may be used.
  • the blue light Bs may be light having a central wavelength of 445 to 460 nm and having a wavelength range slightly shorter than that of the blue light B in FIG.
  • the B / G ratio and the G / R ratio are converted into a moving diameter r and a deviation angle ⁇ by polar coordinate conversion, and the angle is expanded or expanded based on the converted driving diameter r and deviation angle ⁇ .
  • Saturation enhancement processing and hue enhancement processing for compression were performed, and then the B / G ratio and G / R ratio were restored again, but as shown in FIG. 39, a two-dimensional LUT (LookUp Table) 400 was used. Therefore, the B / G ratio and the G / R ratio may be directly converted into the first or second processed B / G ratio and the G / R ratio without performing polar coordinate conversion or the like.
  • the two-dimensional LUT 400 has a B / G ratio and a G / R ratio, and a saturation enhancement process and a hue enhancement process obtained by performing a saturation enhancement process and a hue enhancement process based on the B / G ratio and the G / R ratio.
  • the B / G ratio and the G / R ratio that have been emphasized are stored in association with each other.
  • the normal saturation enhancement mode is set, the B / G ratio and the G / R ratio, and the B / G ratio and the G / R ratio after the normal saturation enhancement processing and the normal hue enhancement processing have been performed. Correspondence is used.
  • the hardware structure of the processing unit included in the processor device 16, such as the luminance color difference signal conversion unit 86 and the HSV conversion unit 87, is various processors as shown below.
  • the circuit configuration is changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. It includes a programmable logic device (PLD), which is a possible processor, a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing various processes, and the like.
  • PLD programmable logic device
  • One processing unit may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be done. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used.
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit in the form of a combination of circuit elements such as semiconductor elements.
  • the hardware structure of the storage unit is a storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Endoscopes (AREA)

Abstract

ユーザーにとって視認し易い色で表示することができ、且つ、正常粘膜と蛍光領域との色の違いを付けて蛍光領域の視認性を高めることができる内視鏡システム及びその作動方法を提供する。 光源部(20)が、薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を有する参照光とを発する。色情報取得部は、励起光及び参照光によって照明された観察対象を撮像して得られる蛍光及び参照画像信号から、複数の色情報を取得する。色差拡張部(74)が、複数の色情報により形成される特徴空間において、正常粘膜と、蛍光領域との色の差を拡張する。

Description

内視鏡システム及びその作動方法
 本発明は、患者に投与された薬剤から発せられる薬剤蛍光を観察するための内視鏡システム及びその作動方法に関する。
 近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
 また、内視鏡を用いる診断においては、非特許文献1に示すように、病変部に親和性を有する薬剤を患者に投与して選択的に蓄積させた状態で、患者の観察対象に対して励起光を照射して、観察対象に含まれる薬剤から薬剤蛍光を励起発光させることが行われている。ただし、青色の励起光のみを照射した場合には、モニタ上は、ユーザーにとって視認し難い青色調の画像(非特許文献1参照)で表示されるため、病変部を検出するスクリーニング用途などにはある程度の慣れが必要となる。そこで、特許文献1では、蛍光画像に対して、通常画像を合成し、合成した画像をモニタに表示することで、蛍光観察に慣れていない場合であっても、ユーザーにとって視認し易い色で表示することで、蛍光観察を行いやすいようにしている。ただし、常に画像を合成して表示しているためフレームレートが落ちるという問題点があった。
光線力学的診断(Photodynamic diagnosis; PDD)他、[online]、[令和1年7月2日検索]、インターネット<URL:https://home.hiroshima-u.ac.jp/urology/whatsnew-PDD.html> 特開2006-122234号公報
 蛍光画像においては、薬剤蛍光を含む蛍光領域が、正常粘膜などの薬剤が集積していない領域との違いが分かりにくい場合がある。例えば、青色の励起光を照射して、赤色の薬剤蛍光を発光する場合には、正常粘膜が全体的に赤味を帯びていると、正常粘膜と蛍光領域との色の違いが分かりにくいことがあった。
 本発明は、ユーザーにとって視認し易い色で表示することができ、且つ、正常粘膜と蛍光領域との色の違いを付けて蛍光領域の視認性を高めることができる内視鏡システム及びその作動方法を提供することを目的とする。
 本発明の内視鏡システムは、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を少なくとも含む参照光とを発する光源部と、画像制御用プロセッサとを備え、画像制御用プロセッサは、励起光及び参照光によって照明された観察対象を撮像して得られる蛍光及び参照画像信号が入力され、蛍光及び参照画像信号から複数の色情報を取得し、複数の色情報により形成される特徴空間において、正常粘膜と、薬剤蛍光を含む蛍光領域との色の差を拡張する。
 特徴空間において定められる拡張中心を中心として拡張することにより、正常粘膜と蛍光領域との色の差が大きくなることが好ましい。画像制御用プロセッサは、蛍光及び参照画像信号と励起光のみが照明された観察対象を撮像して得られる蛍光画像信号とに基づいて、拡張中心を変更することが好ましい。画像制御用プロセッサは、蛍光画像信号と蛍光画像信号との差分により得られる参照画像信号に基づいて、拡張中心を変更することが好ましい。画像制御用プロセッサは、蛍光及び参照画像信号に含まれる蛍光及び参照光の成分と、蛍光画像信号に含まれる蛍光の成分に基づいて、拡張中心の変更量を算出することが好ましい。
 画像制御用プロセッサは、蛍光及び参照画像信号と蛍光画像信号から、蛍光及び参照光の成分を含む病変部が表示された第1病変画像と、蛍光及び参照光の成分を含む病変部以外が表示された病変以外画像を生成し、第1病変画像と病変以外画像に基づいて、拡張中心の変更量を算出することが好ましい。
 励起光及び参照光を発する参照フレームと、励起光のみを発する蛍光フレームとを、特定のフレーム数にて切り替える光源用プロセッサを有することが好ましい。画像制御用プロセッサは、蛍光及び参照画像信号と蛍光フレームにて得られる蛍光画像信号とに基づいて、蛍光の光量と参照光の光量を算出することが好ましい。
 画像制御用プロセッサは、蛍光及び参照画像信号と蛍光画像信号に基づいて、蛍光及び参照光の成分を含む病変部が表示された第1病変画像と蛍光の成分を含む病変部が表示された第2病変画像とを取得し、第1病変画像と第2病変画像に基づいて、蛍光の光量と参照光の光量を算出することが好ましい。
 画像制御用プロセッサは、蛍光の光量と参照光の光量とに基づいて、蛍光及び参照画像信号に対する処理の内容を変更することが好ましい。処理の内容は、ゲイン処理又はマトリクス処理であることが好ましい。画像制御用プロセッサは、変更前と変更後の処理の内容に基づいて、参照光の光量を補正することが好ましい。
 本発明の内視鏡システムの作動方法は、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を有する参照光とを発するステップと、励起光及び参照光によって照明された観察対象を撮像して得られる蛍光及び参照画像信号が入力されるステップと、蛍光及び参照画像信号から複数の色情報を取得するステップと、複数の色情報により形成される特徴空間において、正常粘膜と、薬剤蛍光を含む蛍光領域との色の差を拡張するステップとを有する。
 本発明によれば、ユーザーにとって視認し易い色で表示することができ、且つ、正常粘膜と蛍光領域との色の違いを付けて蛍光領域の視認性を高めることができる。
第1実施形態の内視鏡システムの外観図である。 第1実施形態の内視鏡システムの機能を示すブロック図である。 紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 参照フレームと蛍光フレームとを示す説明図である。 特定のフレーム数を示す説明図である。 特徴空間が信号比空間である場合に用いられる蛍光画像処理部の機能を示すブロック図である。 信号比空間における正常粘膜と蛍光領域とを示す説明図である。 動径変更範囲Rmを示す説明図である。 動径rと彩度強調処理後の動径Rx(r)との関係を示すグラフである。 信号比空間における彩度強調処理の前後の蛍光領域の位置関係を示す説明図である。 角度変更範囲Rnを示す説明図である。 角度θと色相強調処理後の角度Fx(θ)との関係を示すグラフである。 信号比空間における色相強調処理の前後の蛍光領域の位置関係を示す説明図である。 ab空間における彩度強調処理の前後の蛍光領域の位置関係を示す説明図である。 ab空間における色相強調処理の前後の蛍光領域の位置関係を示す説明図である。 参照画像信号に基づくB/G比の頻度分布とG/R比の頻度分布から拡張中心の変更量を算出する方法を示す説明図である。 正常粘膜及び蛍光領域と彩度用の拡張中心線SLs又は色相用の拡張中心線SLhとの位置を示す説明図である。 二値化蛍光画像の生成方法を示す説明図である。 拡張中心の変更量Aの算出方法を示す説明図である。 第1病変画像と病変以外画像の生成方法を示す説明図である。 拡張中心の変更量Mx、Myの算出方法を示す説明図である。 第1病変画像と第2病変画像の生成方法を示す説明図である。 第1R画素値と第2R画素値の算出方法を示す説明図である。 補正前と補正後の蛍光の画素値、蛍光及び参照光の画素値、参照光の画素値、蛍光観察用のRゲイン係数、蛍光の光量、及び参照光の光量を示す表である。 蛍光観察モードの一連の流れを示すフローチャートである。 特徴空間がCrCb空間である場合に用いられる蛍光画像処理部の機能を示すブロック図である。 CrCb空間における彩度強調処理前後の蛍光領域の位置関係を示す説明図である。 CrCb空間における色相強調処理前後の蛍光領域の位置関係を示す説明図である。 特徴空間がHS空間である場合に用いられる蛍光画像処理部の機能を示すブロック図である。 HS空間における彩度強調処理前後の蛍光領域の位置関係を示す説明図である。 HS空間における色相強調処理前後の蛍光領域の位置関係を示す説明図である。 第2実施形態の内視鏡システムの機能を示すブロック図である。 通常光の発光スペクトルを示すグラフである。 参照光の発光スペクトルを示すグラフである。 励起光の発光スペクトルを示すグラフである。 第3実施形態の内視鏡システムの機能を示すブロック図である。 回転フィルタを示す平面図である。 図3とは異なる紫色光V、青色光B、緑色光G、及び赤色光Rの発光スペクトルを示すグラフである。 二次元LUTを用いる場合の蛍光画像処理部の機能を示すブロック図である。
 [第1実施形態]
 図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、ユーザーインターフェース19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。
 また、操作部12bには、アングルノブ12eの他、モード切替SW13aが設けられている。モード切替SW13aは、通常観察モードと、蛍光観察モードとの切替操作に用いられる。通常観察モードは、通常画像をモニタ18上に表示するモードである。蛍光観察モードは、蛍光画像をモニタ18上に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチ(図示しない)を用いてもよい。
 プロセッサ装置16は、モニタ18及びユーザーインターフェース19と電気的に接続される。モニタ18は、画像情報等を出力表示する。ユーザーインターフェース19はキーボードやマウスなどを含み、機能設定等の入力操作を受け付ける機能を有する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
 図2に示すように、光源装置14は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、及び、R-LED(Red Light Emitting Diode)20dを有する光源部20と、4色のLED20a~20dの駆動を制御する光源用プロセッサ21、及び4色のLED20a~20dから発せられる4色の光の光路を結合する光路結合部23を備えている。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
 図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
 蛍光観察モードにおいては、青色光B、緑色光G、及び赤色光Rは、青色帯域から緑色帯域までの波長域を少なくとも含む参照光として用いられ、紫色光Vは、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光として用いられる。薬剤は、癌などの病変部に親和性があるものが用いられる。この場合、紫色光Vを励起光とする場合、薬剤としては、5-ALAを用いることが好ましい。なお、薬剤としてレザフェリンを用いる場合には、赤色帯域の励起光を用いることが好ましい。また、薬剤としてフルオレセイン又はローダミングリーンを用いる場合は、青色帯域の励起光を用いることが好ましい。また、薬剤としてSYPRO REDを用いる場合は、緑色帯域の励起光を用いることが好ましい。
 光源用プロセッサ21は、通常観察モードにおいて、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯する。したがって、紫色光V、青色光B、緑色光G、及び赤色光Rの4色の光が混色した光が、通常光として、観察対象に照射される。また、光源用プロセッサ21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVc:Bc:Gc:Rcとなるように、各LED20a~20dを制御する。一方、光源用プロセッサ21は、蛍光観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比がVs:Bs:Gs:Rsとなるように、各LED20a~20dを制御する。
 光源用プロセッサ21は、蛍光観察モードにおいて、励起光及び参照光を発する参照フレームと、励起光のみを発する蛍光フレームとを、特定のフレーム数にて切り替える制御を行う。具体的には、光源用プロセッサ21は、図4に示すように、参照フレームにて、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯することにより、励起光及び参照光として、紫色光V、青色光B、緑色光G、及び赤色光Rを発する。また、光源用プロセッサ21は、蛍光フレームにて、V-LED20aのみを点灯することにより、励起光として、紫色光Vを発する。なお、蛍光観察モードにおいては、参照フレームと蛍光フレームとに分けることなく、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを常時点灯するようにしてもよい。
 また、特定のフレーム数については、参照フレームのフレーム数を蛍光フレームのフレーム数以上とすることが好ましい。例えば、図5に示すように、特定のフレーム数として、参照フレームのフレーム数を3フレームとし、蛍光フレームのフレーム数を1フレームとすることが好ましい。また、蛍光フレームのフレーム数の最小フレーム数は、撮像センサ48がグローバルシャッタ方式の場合(CCD)は1フレームであることが好ましく、撮像センサがローリングシャッタ方式の場合(CMOS)は2フレームであることが好ましい。なお、本実施形態では、参照フレームと蛍光フレームとを自動的に切り替わるようにしているが、ユーザーによる切替操作が無い限り、参照フレームのみを連続的に行うようし、ユーザーによる切替操作が行われた場合に、参照フレームから蛍光フレームに切り替わるようにしてもよい。
 なお、本明細書において、光量比は、少なくとも1つの半導体光源の比率が0(ゼロ)の場合を含む。したがって、各半導体光源のいずれか1つまたは2つ以上が点灯しない場合を含む。例えば、紫色光V、青色光B、緑色光G、及び赤色光R間の光量比が1:0:0:0の場合のように、半導体光源の1つのみを点灯し、他の3つは点灯しない場合も、光量比を有するものとする。
 図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
 内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
 撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
 なお、通常観察モードの場合においては、撮像センサ48は、通常光によって照明された観察対象を撮像することにより、通常画像信号を出力する。また、蛍光観察モードの場合においては、参照フレームにて、撮像センサ48は、励起光及び参照光によって照明された観察対象を撮像することにより、蛍光及び参照画像信号を出力する。また、蛍光フレームにて、撮像センサ48は、励起光によって照明された観察対象を撮像することにより、観察対象から励起発光した薬剤蛍光の成分を含む蛍光画像信号を出力する。
 なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源用プロセッサ21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
 撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
 プロセッサ装置16においては、各種処理に関するプログラムがプログラム用メモリに組み込まれている。プロセッサ装置16には、画像制御用プロセッサによって構成される中央制御部が設けられている。中央制御部によって、プログラム用メモリ内のプログラムを実行することによって、画像信号入力部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、信号切替部60と、通常画像処理部62と、蛍光画像処理部64と、映像信号生成部66との機能が実現する。画像信号入力部53には、内視鏡12からのデジタルの画像信号が入力される。
 DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン処理、マトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施された画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン処理では、オフセット処理後の画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン処理については、通常観察モードと蛍光観察モードで異なっている。通常観察モードのゲイン処理については、通常画像信号のR画像信号、G画像信号、及び、B画像信号に対して、通常観察用のRゲイン係数、Gゲイン係数、及び、Bゲイン係数がそれぞれ掛け合わされる。蛍光観察モードのゲイン処理については、蛍光及び参照画像信号のR画像信号、G画像信号、及び、B画像信号に対して、蛍光観察用のRゲイン係数、Gゲイン係数、及び、Bゲイン係数がそれぞれ掛け合わされる。
 ゲイン処理後の画像信号には、色再現性を高めるためのマトリクス処理が施される。マトリクス処理についても、通常観察モードと蛍光観察モードで異なっている。通常観察モードのマトリクス処理については、通常画像信号に対して、通常観察用のマトリクス処理が施される。蛍光観察モードのマトリクス処理については、蛍光及び参照画像信号に対して、蛍光観察用のマトリクス処理が施される。
 その後、ガンマ変換処理によって明るさや彩度が整えられる。マトリクス処理後の画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
 ノイズ除去部58は、DSP56でガンマ補正等が施された画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、画像信号からノイズを除去する。ノイズが除去された画像信号は、信号切替部60に送信される。
 信号切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、画像信号として、通常画像信号を通常画像処理部62に送信し、蛍光観察モードにセットされている場合には、画像信号として、蛍光及び参照画像信号と蛍光画像信号とを蛍光画像処理部64に送信する。
 通常画像処理部62は、通常画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常画像用の画像処理が施された通常画像信号は、通常画像として、通常画像処理部62から映像信号生成部66に入力される。
 蛍光画像処理部64は、蛍光及び参照画像信号又は蛍光画像信号に基づいて、蛍光画像を生成する。蛍光画像処理部64の詳細については後述する。この蛍光画像処理部64で生成された蛍光画像は、映像信号生成部66に入力される。
 映像信号生成部66は、通常画像処理部62又は蛍光画像処理部64から入力された通常画像又は特殊画像を、モニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号に基づいて、モニタ18は、通常画像を表示する。
 蛍光画像処理部64は、図6に示すように、逆ガンマ変換部70と、Log変換部71と、信号比算出部72と、極座標変換部73と、色差拡張部74と、直交座標変換部78と、RGB変換部79と、明るさ調整部81と、構造強調部82と、逆Log変換部83と、ガンマ変換部84と、拡張中心変更部85と、蛍光及び参照光光量算出部88とを備えている。
 逆ガンマ変換部70には、蛍光及び参照画像信号が入力される。また、拡張中心変更部85には、拡張中心の変更に必要となる蛍光及び参照画像信号、蛍光画像信号が入力される。また、蛍光及び参照光光量算出部88には、蛍光及び参照光の光量の算出に必要な蛍光及び参照画像信号、蛍光画像信号が入力される。なお、蛍光及び参照画像信号としては、撮像センサ48のB画素から出力されるB画像信号と、撮像センサ48のG画素から出力されるG画像信号と、撮像センサ48のR画素から出力されるR画像信号とからなる3色のRGB画像信号であることが好ましい。また、蛍光画像信号としては、RGB画像信号の3色の画像信号であることが好ましいが、薬剤蛍光の成分が含まれる画像信号のみ、例えば、薬剤蛍光の成分が赤色帯域を有している場合は、R画像信号であってもよい。
 逆ガンマ変換部70は、入力されたRGB3チャンネルのデジタル画像信号に対して逆ガンマ変換を施す。この逆ガンマ変換後のRGB画像信号は、検体からの反射率に対してリニアな反射率リニアRGB信号であるため、RGB画像信号のうち、検体の各種生体情報に関連する信号が占める割合が多くなる。なお、反射率リニアR画像信号を第1R画像信号とし、反射率リニアG画像信号を第1G画像信号とし、反射率リニアB画像信号を第1B画像信号とする。これら第1R画像信号、第1G画像信号、及び第1B画像信号をまとめて第1RGB画像信号とする。
 Log変換部71は、反射率リニアRGB画像信号をそれぞれLog変換する。これにより、Log変換済みのR画像信号(logR)、Log変換済みのG画像信号(logG)、及びLog変換済みのB画像信号(logB)が得られる。信号比算出部72(本発明の「色情報取得部」に対応する)は、Log変換済みのG画像信号とB画像信号に基づいて差分処理(logG-logB =logG/B=-log(B/G))することにより、B/G比(-log(B/G)のうち「-log」を省略したものを「B/G比」と表記する)を算出する。また、Log変換済みのR画像信号とG画像信号に基づいて差分処理(logR-logG=logR/G=-log(G/R))することにより、G/R比を算出する。G/R比については、B/G比と同様、-log(G/R)のうち「-log」を省略したものを表している。
 なお、B/G比及びG/R比は、B画像信号、G画像信号、及びR画像信号において同じ位置にある画素の画素値から画素毎に求める。また、B/G比及びG/R比は画素毎に求める。また、B/G比は、血管深さ(粘膜表面から特定の血管がある位置までの距離)に相関があることから、血管深さが異なると、それに伴ってB/G比も変動する。また、G/R比は、血液量(ヘモグロビンインデックス)と相関があることから、血液量に変動が有ると、それに伴ってG/R比も変動する。
 極座標変換部73は、信号比算出部72で求めたB/G比及びG/R比を、動径rと角度θに変換する。この極座標変換部73において、動径rと角度θへの変換は、全ての画素について行う。色差拡張部74は、複数の色情報の一つであるB/G比及びG/R比により形成される信号比空間(特徴空間)において、観察対象に含まれる正常粘膜と、観察対象に含まれる薬剤から励起発光される薬剤蛍光を含む蛍光領域との色の差を拡張する。色の差の拡張として、本実施形態では、正常粘膜と蛍光領域との彩度差を拡張すること、又は、正常粘膜と蛍光領域との色相差を拡張することを行う。そのために、色差拡張部74は、彩度強調処理部76と、色相強調処理部77とを有している。
 彩度強調処理部76は、信号比空間において、正常粘膜と蛍光領域との彩度差を拡張する彩度強調処理を行う。具体的には、彩度強調処理は、信号比空間において、動径rを拡張又は圧縮することによって行われる。色相強調処理部77は、信号比空間において、正常粘膜と蛍光領域との色相差を拡張する色相強調処理を行う。具体的には、色相強調処理は、信号比空間において、角度θを拡張又は圧縮することによって行われる。以上の彩度強調処理部76及び色相強調処理部77の詳細については後述する。
 直交座標変換部78では、彩度強調処理及び色相強調処理済みの動径r及び角度θを、直交座標に変換する。これにより、角度拡張・圧縮済みのB/G比及びG/R比に変換される。RGB変換部79では、第1RGB画像信号のうち少なくともいずれか1つの画像信号を用いて、彩度強調処理及び色相強調処理済みのB/G比及びG/R比を、第2RGB画像信号に変換する。例えば、RGB変換部79は、第1RGB画像信号のうち第1G画像信号とB/G比とに基づく演算を行うことにより、B/G比を第2B画像信号に変換する。また、RGB変換部79は、第1RGB画像信号のうち第1G画像信号とG/R比に基づく演算を行うことにより、G/R比を第2R画像信号に変換する。また、RGB変換部79は、第1G画像信号については、特別な変換を施すことなく、第2G画像信号として出力する。これら第2R画像信号、第2G画像信号、及び第2B画像信号をまとめて第2RGB画像信号とする。
 明るさ調整部81は、第1RGB画像信号と第2RGB画像信号とを用いて、第2RGB画像信号の画素値を調整する。明るさ調整部81で、第2RGB画像信号の画素値を調整するのは、以下の理由による。彩度強調処理部76及び色相強調処理部77で色領域を拡張・圧縮する処理により得られた第2RGB画像信号は、第1RGB画像信号と明るさが大きく変わってしまう可能性がある。そこで、明るさ調整部81で第2RGB画像信号の画素値を調整することによって、明るさ調整後の第2RGB画像信号が第1RGB画像信号と同じ明るさになるようにする。
 明るさ調整部81は、第1RGB画像信号に基づいて第1明るさ情報Yinを求める第1明るさ情報算出部81aと、第2RGB画像信号に基づいて第2明るさ情報Youtを求める第2明るさ情報算出部81bとを備えている。第1明るさ情報算出部81aは、「kr×第1R画像信号の画素値+kg×第1G画像信号の画素値+kb×第1B画像信号の画素値」の演算式に従って、第1明るさ情報Yinを算出する。第2明るさ情報算出部81bにおいても、第1明るさ情報算出部81aと同様に、上記と同様の演算式に従って、第2明るさ情報Youtを算出する。第1明るさ情報Yinと第2明るさ情報Youtが求まると、明るさ調整部81は、以下の式(E1)~(E3)に基づく演算を行うことにより、第2RGB画像信号の画素値を調整する。
(E1):R=第2R画像信号の画素値×Yin/Yout
(E2):G=第2G画像信号の画素値×Yin/Yout
(E3):B=第2B画像信号の画素値×Yin/Yout
なお、「R」は明るさ調整後の第2R画像信号を、「G」は明るさ調整後の第2G画像信号を、「B」は明るさ調整後の第2B画像信号を表している。また、「kr」、「kg」、及び「kb」は「0」~「1」の範囲にある任意の定数である。
 構造強調部82では、RGB変換部79を経た第2RGB画像信号に対して構造強調処理を施す。構造強調処理としては、周波数フィルタリングなどが用いられる。逆Log変換部83は、構造強調部82を経た第2RGB画像信号に対して、逆Log変換を施す。これにより、真数の画素値を有する第2RGB画像信号が得られる。ガンマ変換部84は、逆Log変換部83を経たRGB画像信号に対してガンマ変換を施す。これにより、モニタ18などの出力デバイスに適した階調を有する第2RGB画像信号が得られる。ガンマ変換部84を経た第2RGB画像信号は、映像信号生成部66に送られる。
 彩度強調処理部76及び色相強調処理部77では、図7に示すように、B/G比、G/R比により形成される信号比空間(特徴空間)の第一象限において分布する正常粘膜と蛍光領域との彩度差又は色相差を大きくする。蛍光領域は赤味を帯びていることから、信号比空間の第一象限において、正常粘膜の右側に位置している。信号比空間において、正常粘膜と蛍光領域とが以上のように分布する状況において、色差拡張部74では、正常粘膜と蛍光領域との色の差が拡張するように、信号比空間において拡張中心が定められている。具体的には、彩度強調処理部76では、正常粘膜と蛍光領域との彩度差を拡張するための彩度用の拡張中心が定められている。また、色相強調処理部77では、正常粘膜と蛍光領域との色相差を拡張するための色相用の拡張中心が定められている。
 図8に示すように、彩度強調処理部76では、信号比空間において、動径変更範囲Rm内にある座標が示す動径rを変更する一方で、動径変更範囲Rx外の座標については動径rの変更は行わない。動径変更範囲Rmは、動径rが「r1」から「r2」の範囲内である(r1<r2)。また、動径変更範囲Rmにおいては、動径r1と動径r2との間にある動径rc上に、彩度用の拡張中心線SLsが設定されている。彩度用の拡張中心線SLsは、正常粘膜の領域よりも外側に設けられている(図7参照)。また、彩度用の拡張中心CESは、彩度用の拡張中心線SLsに含まれている。
 ここで、動径rは大きければ大きいほど彩度が高くなることから、彩度用の拡張中心線SLsが示す動径rcよりも動径rが小さい範囲rcr1(r1<r<rc)は低彩度範囲とされる。一方、彩度用の拡張中心線SLsが示す動径rcよりも動径rが大きい範囲rcr2(rc<r<r2)は高彩度範囲とされる。
 彩度強調処理は、図9に示すように、動径変更範囲Rm内に含まれる座標の動径rの入力に対して、動径Rx(r)を出力する。この彩度強調処理による入出力の関係は実線で表される。彩度強調処理は、S字の変換カーブが用いられ、低彩度範囲rcr1においては、出力値Rx(r)を入力値rよりも小さくする一方で、高彩度範囲rcr2においては、出力値Rx(r)を入力値rよりも大きくする。また、Rx(rc)における傾きKxは、「1」以上に設定されている。これにより、低彩度範囲に含まれる観察対象の彩度をより低くする一方で、高彩度範囲に含まれる観察対象の彩度をより高くすることができる。このような彩度強調により、複数の観察対象範囲の間の彩度差を大きくすることができる。
 以上のように、彩度強調処理を行うことにより、図10に示すように、彩度強調処理後の蛍光領域(実線)は、彩度強調処理前の蛍光領域(点線)よりも彩度用の拡張中心線SLsから離れる方向に移動している。特徴空間において動径方向は彩度の大小を表すことから、彩度強調処理後の蛍光領域(実線)と正常粘膜との彩度差は、彩度強調処理前の蛍光領域(点線)と正常粘膜との彩度差よりも大きくなっている。
 図11に示すように、色相強調処理部77では、信号比空間において、角度変更範囲Rn内にある座標が示す角度θを変更する一方で、角度変更範囲Rn外の座標については角度θの変更は行わない。角度変更範囲Rnは、色相用の拡張中心線SLhから反時計回り方向(第1色相方向)の角度θ1の範囲と、色相用の拡張中心線SLhから時計回り方向(第2色相方向)の角度θ2の範囲とで構成されている。色相用の拡張中心線SLhは、正常粘膜の領域を交差するように設けられている(図7参照)。また、色相用の拡張中心CEHは、色相用の拡張中心線SLhに含まれている。
 角度変更範囲Rnに含まれる座標の角度θは、色相用の拡張中心線SLhに対するなす角度θで再定義され、色相用の拡張中心線SLhに対して反時計回り方向側をプラス側とし、色相用の拡張中心線SLhに対して時計回り方向側をマイナス側とする。角度θが変わると色相も変化することから、角度変更範囲Rnのうち、角度θ1の範囲を、プラス側の色相範囲θ1と、角度θ2の範囲をマイナス側の色相範囲θ2とする。なお、色相用の拡張中心線SLhについても、彩度用の拡張中心線SLsと同様に、特徴空間における正常粘膜の範囲を交差する線であることが好ましい。
 色相強調処理は、図12に示すように、角度変更範囲Rn内に含まれる座標の角度θの入力に対して、角度Fx(θ)を出力する。この色相強調処理による入出力の関係は実線で表される。色相強調処理は、マイナス側の色相範囲θ2においては、出力Fx(θ)を入力θよりも小さくする一方で、プラス側の色相範囲θ1においては、出力Fx(θ)を入力θよりも大きくする。これにより、マイナス側の色相範囲に含まれる観察対象とプラス側の色相範囲に含まれる観察対象との色相の違いを大きくすることができる。
 以上のように、色相強調処理を行うことにより、図13に示すように、色相強調処理後の蛍光領域(実線)は、色相強調処理前の蛍光領域(点線)よりも色相用の拡張中心線SLhから離れる方向に移動している。特徴空間において角度方向は色相の違いを表すことから、色相強調処理後の蛍光領域(実線)と正常粘膜との色相差は、色相強調処理前の蛍光領域(点線)と正常粘膜との色相差よりも大きくなっている。
 なお、第1RGB画像信号をLab変換部でLab変換して得られるa、b(色情報であるCIE Lab空間の色味の要素a、bを表す。以下同様)から形成される特徴空間(ab空間)の場合においても、図14に示すように、彩度強調処理を行うことによって、彩度強調処理後の蛍光領域(実線)は、彩度強調処理前の蛍光領域(点線)よりも彩度用の拡張中心線SLsから離れる方向に移動している。また、図15に示すように、色相強調処理を行うことによって、色相強調処理後の蛍光領域(実線)は、色相強調処理前の蛍光領域(点線)よりも色相用の拡張中心線SLhから離れる方向に移動している。
 拡張中心変更部85は、蛍光及び参照画像信号、及び、蛍光画像信号に基づいて、信号比空間において定められた拡張中心を変更する。具体的には、拡張中心変更部85は、蛍光及び参照画像信号と蛍光画像信号との差分から参照画像信号を算出し、算出した参照画像信号に基づいて、拡張中心を変更する。例えば、図16に示すように、参照画像信号のB画像信号とG画像信号に基づいて得られるB/G比の頻度分布と、参照画像信号のG画像信号とR画像信号に基づいて得られるG/R比の頻度分布とを求める。そして、B/G比の頻度分布に含まれる最大の画素値に対して特定の割合(例えば、80%)の画素値(特定画素値)から、拡張中心の縦軸方向の変更量を求める。また、G/R比の頻度分布に含まれる最大の画素値に対して特定の割合(例えば、80%)の画素値(特定画素値)から、拡張中心の横軸方向の変更量を求める。
 例えば、拡張中心変更部85は、特定画素値が一定範囲の場合には、彩度用の拡張中心又は色相用の拡張中心を変更しない。一方、拡張中心変更部85は、特定画素値が一定範囲外の場合は、拡張中心の縦軸方向と横軸方向の変更量に応じて、彩度用の拡張中心CES、又は、色相用の拡張中心CEHを縦軸方向又は横軸方向に変更する。なお、彩度用の拡張中心CES又は色相用の拡張中心CEHの変更に従って、彩度用の拡張中心線SLs又は色相用の拡張中心線SLhの位置も変更される。
 なお、拡張中心を、B/G比とG/R比の頻度分布に含まれる最大の画素値に設定した場合には、正常粘膜及び蛍光領域と彩度用の拡張中心線SLs又は色相用の拡張中心線SLhとの位置は、図17(A)に示すようになる。一方、拡張中心を、B/G比とG/R比の頻度分布に含まれる最大の画素値に対して80%の画素値(特定画素値)に設定した場合には、正常粘膜及び蛍光領域と彩度用の拡張中心線SLs又は色相用の拡張中心線SLhとの位置は、図17(B)に示すようになる。
 また、拡張中心変更部85は、蛍光及び参照画像信号に含まれる蛍光及び参照光の成分と、蛍光画像信号に含まれる蛍光の成分とに基づいて、拡張中心の変更量を算出してもよい。この場合、拡張中心変更部85は、図18に示すように、蛍光画像信号に対して、蛍光成分FLとそれ以外とを二値化した二値化蛍光画像信号を生成する。拡張中心変更部85は、二値化蛍光画像信号に含まれる蛍光成分FLが蛍光用閾値以下の場合は、拡張中心を変更しない。
 一方、拡張中心変更部85は、蛍光成分FLが蛍光用閾値を超える場合は、拡張中心を変更する。ここでは、病変部の低彩度側に最大蛍光量を差し引くことなどによって、拡張中心を変更する。拡張中心の変更量は、図19に示すように、蛍光及び参照画像信号と二値化蛍光画像の論理積(AND)をとることにより、参照光RLと蛍光成分FLを含む病変部が表示された第1病変画像を取得する。そして、拡張中心変更部85は、第1病変画像のB画像信号、G画像信号、及びR画像信号から、それぞれ最小画素値Min_B、Min_G、Min_Rを算出する。また、拡張中心変更部85は、蛍光画像信号から、最大画素値Max_Rを算出する。そして、拡張中心変更部85は、下記式1)により、拡張中心の変更量Aを算出し、信号比空間において、彩度用の拡張中心CES、又は、色相用の拡張中心CEHを、変更量Aだけ、横軸方向にシフトさせる。
式1)A=Min_G/(Min_R-Max_R)
 なお、拡張中心変更部85は、二値化蛍光画像信号に含まれる蛍光成分FLが蛍光用閾値を超える場合は、上記の信号比空間の横軸方向への拡張中心の変更方法に代えて、下記に示すように、信号比空間の縦軸及び横軸方向への拡張中心の変更を行ってもよい。例えば、正常粘膜と、蛍光領域などの病変部の境界になるように、拡張中心の変更を行う。具体的には、拡張中心変更部85は、蛍光及び参照画像信号と蛍光画像信号から、蛍光及び参照光の成分を含む病変部が表示された第1病変画像と、蛍光及び参照光の成分を含む病変部以外が表示された病変以外画像とを生成し、第1病変画像と病変以外画像とに基づいて、拡張中心の変更量を算出する。
 この場合、図20に示すように、拡張中心変更部85は、上記のように、蛍光及び参照画像信号と二値化蛍光画像の論理積(AND)をとることにより、参照光RLと蛍光成分FLを含む病変部が表示された第1病変画像を取得する。第1病変画像に加えて、蛍光及び参照画像信号と、二値化蛍光画像の画素値を反転処理した反転二値化蛍光画像との論理積(AND)を取ることにより、参照光RLと蛍光成分FLを含む病変部以外が表示された病変以外画像を取得する。
 そして、拡張中心変更部85は、図21に示すように、第1病変画像のB画像信号、G画像信号、及びR画像信号から第1病変画像のB/G比、G/R比を算出し、算出した正のB/G比(>0)、G/R比(>0)のうち最小のB/G比、G/R比であるMin_B/G、Min_G/Rを取得する。一方、病変以外画像のB画像信号、G画像信号、及びR画像信号から第1病変画像のB/G比、G/R比を算出し、算出したB/G比、G/R比のうち最大のB/G比、G/R比であるMax_B/G、Min_G/Rを取得する。そして、拡張中心変更部85は、下記式2)により、縦軸方向への拡張中心の変更量Mxと横軸方向への拡張中心の変更量Myとを算出する。
式2)Mx=(Max_B/G+Min_B/G)/2
   My=(Max_G/R+Min_G/R)/2
そして、拡張中心変更部85は、信号比空間において、彩度用の拡張中心CES、又は、色相用の拡張中心CEHを、変更量Mxだけ縦軸方向に、且つ、変更量Myだけ横軸方向にシフトさせる。
 蛍光及び参照光光量算出部88は、蛍光及び参照画像信号、及び、蛍光画像信号に基づいて、参照光の発光比率の変更、又は蛍光及び参照画像信号に対する処理の内容に必要な蛍光の光量及び参照光の光量を求める。蛍光及び参照光光量算出部88は、図18に示すように、蛍光画像信号に対して、蛍光成分FLとそれ以外とを二値化した二値化蛍光画像信号を生成する。蛍光及び参照光光量算出部88は、二値化蛍光画像信号に含まれる蛍光成分FLが蛍光用閾値以下の場合は、蛍光画像信号に蛍光成分FLが含まれないと判定し、薬剤蛍光の光量算出は行わない。即ち、参照光の発光比率の変更、又は蛍光及び参照画像信号に対する処理の内容の変更は行われない。
 一方、蛍光成分FLが蛍光用閾値を超える場合には、図22に示すように、薬剤蛍光の光量算出が行われる。蛍光及び参照光光量算出部88は、蛍光及び参照画像信号と二値化蛍光画像の論理積(AND)をとることにより、参照光RLと蛍光成分FLを含む病変部が表示された第1病変画像を取得する。第1病変画像に加えて、蛍光画像信号と二値化蛍光画像の論理積(AND)をとることにより、蛍光成分FLを含む病変部が表示された第2病変画像を取得する。
 そして、蛍光及び参照光光量算出部88は、図23に示すように、第1病変画像のR画像信号の画素値の頻度分布(ヒストグラム)に含まれる最大の画素値に対して特定の割合(例えば、80%)の画素値を、第1R画素値として算出する。第1R画素値は、蛍光及び参照光の画素値に対応し、第1R画素値を蛍光観察用のRゲイン係数で除した値が、蛍光及び参照光の光量に対応する。同様にして、第2病変画像のR画像信号の画素値の頻度分布(ヒストグラム)に含まれる最大の画素値に対して特定の割合(例えば、80%)の画素値を、第2R画素値として算出する。第2R画素値は、蛍光の画素値に対応し、第2R画素値を蛍光観察用のRゲイン係数で除した値が、蛍光の光量に対応する。そして、蛍光及び参照光光量算出部88は、第1R画素値から第2R画素値を減算することにより、参照光の画素値を算出する。なお、第1R画素値は、撮像センサ48の入力信号に対して画素値がリニアに変化する輝度リニアの信号に変換することが好ましい。第2R画素値についても、第1R画素値と同様に、輝度リニアの信号に変換することが好ましい。
 蛍光及び参照光光量算出部88で求めた蛍光の光量と参照光の光量については、蛍光及び参照画像信号に対する処理の内容、例えば、ゲイン処理又はマトリックス処理の内容の変更と、参照光の発光比率の補正に用いられる。処理変更部91は、蛍光の光量と参照光の光量に基づいて、蛍光及び参照画像信号に対する処理の内容を変更する。処理の内容の変更として、例えば、ゲイン処理に用いる蛍光観察用のRゲイン係数Gn_Rを変更する場合には、下記式3)により、変更後の蛍光観察用のRゲイン係数をAGn_Rが得られる。
式3)AGn_R=Max蛍光の画素値/蛍光の画素値×Gn_R
ここで、Max蛍光の画素値は、撮像センサ48が飽和する最大の蛍光の画素値から、参照光の画素値を除した値を表している。
 参照光量補正部93は、蛍光及び参照画像信号に対する変更前と変更後の処理の内容に基づいて、参照光の光量を補正する。上記のように、処理の内容の変更として、蛍光観察用のRゲイン係数Gn_Rを変更した場合には、参照光量補正部93は、下記式4)により、参照光の光量を補正した補正後の参照光の光量を算出する。
式4)補正後の参照光の光量=参照光の光量×Gn_R/AGn_R
そして、光源用プロセッサ21は、補正後の参照光の光量に基づいて、参照光の発光比率の補正を行う。例えば、参照光のうち薬剤蛍光の成分を含む蛍光波長域の光の発光比率、即ち、赤色光R(蛍光波長域の光)の発光比率を補正する場合には、下記式5)により、赤色光Rの発光比率を補正した補正後の赤色光Rの光量を算出する。
式5)補正後の赤色光Rの光量=赤色光の光量×補正後の参照光の光量/参照光の光量
 例えば、薬剤蛍光の光量が一定以上のように、観察対象から薬剤蛍光が検出されたような場合には、薬剤蛍光の光量が大きくなる程、上記の処理の内容の変更及び参照光の光量補正に従って、赤色光Rの発光比率を下げる。これにより、赤色光Rと同じ波長域の薬剤蛍光の視認性が向上する。一方、薬剤蛍光の光量が一定未満のように、観察対象から薬剤蛍光が未検出又はほとんど検出されない場合には、上記の処理の内容の変更及び参照光の光量補正に従って、赤色光Rの発光比率を上げる。これにより、薬剤蛍光が発せられていないにも関わらず、観察対象の赤色の明るさが低下することを防ぐことができる。
 なお、蛍光の光量、参照光の光量、補正後の蛍光観察用のRゲイン係数、及び、補正後の参照光の光量について、具体的な数値を用いた場合の算出方法を以下説明する。図24に示すように、蛍光の画素値が「15」、蛍光及び参照光の画素値が「165」である場合には、蛍光及び参照光の画素値を蛍光の画素値で減算することにより、参照光の画素値は「150」となる。そして、蛍光観察用のRゲイン係数を「1.5」とした場合には、蛍光の画素値「15」を蛍光観察用のRゲイン係数「1.5」で除することにより、蛍光の光量は「10」となる。また、参照光の画素値「150」を蛍光観察用のRゲイン係数「1.5」で除することにより、参照光の光量は「100」となる。
 次に、補正後の蛍光観察用のRゲイン係数AGn_Rについては、式3)に示すように、Max蛍光の画素値/蛍光の画素値に対して、蛍光観察用のRゲイン係数Gn_Rを掛け合わせて得られる。Max蛍光の画素値は、撮像センサ48が飽和する最大の蛍光の画素値「230」から、参照光の画素値「150」を除することによって、「80」となる。したがって、Max蛍光の画素値「80」/蛍光の画素値「15」に対して、蛍光観察用のRゲイン係数Gn_R「1.5」を掛け合わせることによって、AGn_Rは「8」となる。
 次に、補正後の参照光の光量については、式4)に示すように、参照光の光量に対して、Gn_R/AGn_Rを掛け合わせることによって得られる。具体的には、参照光の光量「100」に対して、Gn_Rの「1.5」/AGn_Rの「8」を掛け合わせることで、補正後の参照光の光量は「18.75」となる。なお、補正後の蛍光の画素値については、参照光の光量の大小に関わらずほぼ一定の蛍光の光量「10」に対して、補正後の蛍光観察用のRゲイン係数「8」を掛け合わせることにより、補正後の蛍光の画素値は「80」となる。一方、補正後の参照光の画素値については、補正後の参照光の光量「18.75」に対して、補正後の蛍光観察用のRゲイン係数「8」を掛け合わせることにより、補正後の参照光の画素値は「150」となる。補正後の蛍光及び参照光の画素については、補正後の蛍光の画素値「80」と補正後の参照光の画素値「150」を足し合わせることにより、補正後の蛍光及び参照光の画素値は「230」となる。
 次に、蛍光観察モードについて、図25のフローチャートに沿って説明を行う。まず、患者に対して、観察対象から薬剤蛍光を励起発光させるための薬剤を投与する。モード切替SW13aを操作して、蛍光観察モードに切り替える。蛍光観察モードに切り替えられると、光源部20は、観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの参照光とを発する。撮像センサ48は、励起光及び参照光によって照明された観察対象を撮像して、蛍光及び参照画像信号を出力する。
 画像信号入力部53には、撮像センサ48から出力される蛍光及び参照画像信号が入力される。色情報取得部である信号比算出部72は、蛍光及び参照画像信号に基づいて、複数の色情報であるB/G比、及び、G/R比を算出する。色差拡張部74は、B/G比及びG/R比により形成される信号比空間(特徴空間)において、観察対象に含まれる正常粘膜と、観察対象に含まれる薬剤から励起発光される薬剤蛍光を含む蛍光領域との色の差を拡張する。正常粘膜と蛍光領域との色の差を拡張した後のB/G比、及び、G/R比に基づいて、蛍光画像が得られる。蛍光画像は、モニタ18に表示される。蛍光画像は、蛍光成分のみのモノクロ画像ではなく、青色帯域から赤色帯域までの可視光の成分を含んでいるため、カラー画像として表示される。これにより、蛍光画像は、ユーザーにとって視認し易い状況下で、蛍光領域を把握することができる。
 なお、上記実施形態では、信号比算出部72で第1RGB画像信号からB/G比及びG/R比を求め、これらB/G比及びG/R比から形成される信号比空間において彩度強調処理及び色相強調処理を行っているが、B/G比及びG/R比と異なる色情報を求め、この色情報から形成される特徴空間において彩度強調処理及び色相強調処理を行ってもよい。
 例えば、色情報として色差信号Cr及びCbを求め、色差信号Cr及びCbから形成される特徴空間において彩度強調処理及び色相強調処理を行ってもよい。この場合、図26に示す蛍光画像処理部92が用いられる。蛍光画像処理部92は、蛍光画像処理部64と異なり、Log変換部71、信号比算出部72、逆Log変換部83を備えていない。その代わりに、蛍光画像処理部92は、輝度色差信号変換部86を備えている。それ以外の構成については、蛍光画像処理部92は蛍光画像処理部64と同様である。
 輝度色差信号変換部86(本発明の「色情報取得部」に対応する)は、第1RGB画像信号を輝度信号Yと色差信号Cr及びCbに変換する。色差信号Cr及びCbへの変換には周知の変換式が用いられる。色差信号Cr及びCbについては極座標変換部73に送られる。輝度信号YについてはRGB変換部79と明るさ調整部81に送られる。RGB変換部79では、直交座標変換部78を経た色差信号Cr及びCbと輝度信号Yを、第2RGB画像信号に変換する。明るさ調整部81では、第1明るさ情報Yinとして輝度信号Yを用いるとともに、第2明るさ情報Youtとして第2明るさ情報算出部81bで求めた第2明るさ情報を用いて、第2RGB画像信号の画素値の調整を行う。なお、第2明るさ情報Youtの算出方法と第2RGB画像信号の画素値の調整方法については、上記蛍光画像処理部64の場合と同じである。
 そして、信号比空間の場合と同様に、色差信号Cr、Cbからなる特徴空間であるCrCb空間において動径rと角度θを変更することによって、彩度強調処理又は色相強調処理を行う。これにより、CrCb空間では、図27に示すように、彩度強調処理を行うことによって、彩度強調処理後の蛍光領域(実線)は、彩度強調処理前の蛍光領域(点線)よりも彩度用の拡張中心線SLsから離れる方向に移動している。また、図28に示すように、色相強調処理を行うことによって、色相強調処理後の蛍光領域(実線)は、色相強調処理前の蛍光領域(点線)よりも色相用の拡張中心線SLhから離れる方向に移動している。
 また、色情報として色相H(Hue)、彩度S(Saturation)を求め、色相H、彩度Sから形成されるHS空間において彩度強調処理及び色相強調処理を行ってもよい。色相H、彩度Sを用いる場合には、図29に示す蛍光画像処理部96が用いられる。蛍光画像処理部96は、蛍光画像処理部64と異なり、Log変換部71、信号比算出部72、極座標変換部73、直交座標変換部78、及び逆Log変換部83を備えていない。その代わりに、蛍光画像処理部96は、HSV変換部87を備えている。それ以外の構成については、蛍光画像処理部96は蛍光画像処理部64と同様である。
 HSV変換部87(本発明の「色情報取得部」に対応する)は、第1RGB画像信号を色相H、彩度S、及び明度V(Value)に変換する。色相H、彩度S、明度Vへの変換には周知の変換式が用いられる。色相Hと彩度Sについては平行移動部90に送られる。明度VについてはRGB変換部79に送られる。RGB変換部79では、平行移動部90を経た色相H、彩度Sと明度Vを、第2RGB画像信号に変換する。明るさ調整部81では、第1明るさ情報算出部で求めた第1明るさ情報Yinと、第2明るさ情報算出部81bで求めた第2明るさ情報Youtを用いて、第2RGB画像信号の画素値の調整を行う。なお、第1明るさ情報Yin、第2明るさ情報Youtの算出方法、及び第2RGB画像信号の画素値の調整方法については、上記蛍光画像処理部64の場合と同じである。
 色相Hと彩度Sから形成されるHS空間における彩度強調処理及び色相強調処理は、信号比空間及びCrCb空間のように動径rと角度θを拡張又は圧縮するのではなく、各画素を平行移動させる処理を行う。HS空間で通常彩度強調処理及び通常色相強調処理を行うことより、HS空間では、図30に示すように、彩度強調処理を行うことによって、彩度強調処理後の蛍光領域(実線)を、彩度強調処理前の蛍光領域(点線)よりも彩度用の拡張中心線SLsから離れる方向に移動させる。また、図31に示すように、色相強調処理を行うことによって、色相強調処理後の蛍光領域(実線)を、色相強調処理前の蛍光領域(点線)よりも色相用の拡張中心線SLhから離れる方向に移動させる。
 [第2実施形態]
 第2実施形態では、第1実施形態で示した4色のLED20a~20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
 図32に示すように、第2実施形態の内視鏡システム100では、光源装置14において、4色のLED20a~20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(図32では「445LD」と表記)104と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(図32では「405LD」と表記)106とが設けられている。これら各光源104及び106の半導体発光素子からの発光は、光源用プロセッサ108により個別に制御されており、青色レーザ光源104の出射光と、青紫色レーザ光源106の出射光の光量比は変更自在になっている。
 光源用プロセッサ108は、通常観察モードの場合には、青色レーザ光源104を駆動させる。これに対して、蛍光観察モードの場合には、参照フレームにおいて、青色レーザ光源104と青紫色レーザ光源106の両方を駆動し、蛍光フレームにおいて、青紫色レーザ光源106のみを駆動させる。以上の各光源104及び106から出射されるレーザ光は、集光レンズ、光ファイバ、又は合波器などの光学部材(いずれも図示せず)を介して、ライトガイド41に入射する。
 なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
 照明光学系30aには、照明レンズ45の他に、ライトガイド41からの青色レーザ光又は青紫色レーザ光が入射する蛍光体110が設けられている。蛍光体110に、青色レーザ光が照射されることで、蛍光体110から蛍光体用蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体110を透過する。青紫色レーザ光は、蛍光体110を励起させることなく透過する。蛍光体110を出射した光は、照明レンズ45を介して、検体内に照射される。
 ここで、通常観察モードにおいては、主として青色レーザ光が蛍光体110に入射するため、図33に示すような、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光体用蛍光を合波した通常光が、観察対象に照射される。一方、蛍光観察モードにおいては、参照フレームでは、青紫色レーザ光と青色レーザ光の両方が蛍光体110に入射するため、図34に示すような、青紫色レーザ光である励起光と、青色レーザ光、及び青色レーザ光により蛍光体110から励起発光する蛍光体用蛍光を合波した参照光が、検体内に照射される。また、蛍光フレームでは、青紫色レーザー光のみが蛍光体110に入射されるため、図35に示すような、蛍光体をほぼそのまま透過した青紫色レーザー光である励起光が、検体内に照射される。
 なお、蛍光体110は、青色レーザ光の一部を吸収して、緑色~黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体110の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度及び色度の変化を小さく抑えることができる。
 [第3実施形態]
 第3実施形態では、第1実施形態で示した4色のLED20a~20dの代わりに、キセノンランプなどの広帯域光源と回転フィルタを用いて観察対象の照明を行う。また、カラーの撮像センサ48に代えて、モノクロの撮像センサで観察対象の撮像を行う。それ以外については、第1実施形態と同様である。
 図36に示すように、第3実施形態の内視鏡システム200では、光源装置14において、4色のLED20a~20dに代えて、広帯域光源202、回転フィルタ204、及びフィルタ切替部205が設けられている。また、撮像光学系30bには、カラーの撮像センサ48の代わりに、カラーフィルタが設けられていないモノクロの撮像センサ206が設けられている。
 広帯域光源202はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ204は、内側に設けられた通常観察モード用フィルタ208と、外側に設けられた蛍光観察モード用フィルタ209とを備えている(図37参照)。フィルタ切替部205は、回転フィルタ204を径方向に移動させるものであり、モード切替SW13aにより通常観察モードにセットされたときに、回転フィルタ204の通常観察モード用フィルタ208を白色光の光路に挿入し、蛍光観察モードにセットされたときに、回転フィルタ204の蛍光観察モード用フィルタ209を白色光の光路に挿入する。
 図37に示すように、通常観察モード用フィルタ208には、周方向に沿って、白色光のうち青色光を透過させるBフィルタ208a、白色光のうち緑色光を透過させるGフィルタ208b、及び白色光のうち赤色光を透過させるRフィルタ208cが設けられている。したがって、通常観察モード時には、回転フィルタ204が回転することで、青色光、緑色光、及び赤色光が交互に観察対象に照射される。
 蛍光観察モード用フィルタ209には、周方向に沿って、白色光のうち特定波長の青色狭帯域光を透過させるBnフィルタ209aと、白色光のうち青色光を透過させるBフィルタ209b、白色光のうち緑色光を透過させるGフィルタ209c、白色光のうち赤色光を透過させるRフィルタ209dが設けられている。したがって、蛍光観察モード時には、回転フィルタ204が回転することで、青色狭帯域光、青色光、緑色光、赤色光が交互に観察対象に照射される。青色狭帯域光に基づく画像信号は、青色光に基づく画像信号と合成等されて、蛍光及び参照画像信号のB画像信号として用いられる。緑色光に基づく画像信号は、蛍光及び参照画像信号のG画像信号として、赤色光に基づく画像信号は、蛍光及び参照画像信号のR画像信号として用いられる。青色狭帯域光に基づく画像信号は、蛍光画像信号として用いられる。
 内視鏡システム200では、通常観察モード時には、青色光、緑色光、及び赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、RGBの3色の画像信号が得られる。そして、それらRGBの画像信号に基づいて、上記第1実施形態と同様の方法で、通常画像が生成される。
 一方、蛍光観察モード時には、青色狭帯域光、緑色光、及び赤色光が観察対象に照射される毎にモノクロの撮像センサ206で検体内を撮像する。これにより、Bn画像信号と、G画像信号、及びR画像信号が得られる。これらBn画像信号と、G画像信号、及びR画像信号に基づいて、特殊画像の生成が行われる。特殊画像の生成には、B画像信号の代わりに、Bn画像信号が用いられる。それ以外については、第1実施形態と同様の方法で特殊画像の生成が行われる。
 なお、上記実施形態では、図3に示すような発光スペクトルを有する4色の光を用いたが、発光スペクトルはこれに限られない。例えば、図38に示すように、緑色光G及び赤色光Rについては、図3と同様のスペクトルを有する一方で、紫色光Vsについては、中心波長410~420nmで、図3の紫色光Vよりもやや長波長側に波長範囲を有する光にしてもよい。また、青色光Bsについては、中心波長445~460nmで、図3の青色光Bよりもやや短波長側に波長範囲を有する光にしてもよい。
 なお、上記第1実施形態では、B/G比及びG/R比を極座標変換で動径r及び偏角θに変換し、変換後の動径r、偏角θに基づいて角度を拡張又は圧縮する彩度強調処理及び色相強調処理を行い、その後に、再度、B/G比及びG/R比に戻したが、図39に示すように、二次元LUT(Look Up Table)400を用いて、B/G比及びG/R比から、極座標変換等することなく、直接、第1又は第2処理済みのB/G比及びG/R比に変換してもよい。
 なお、二次元LUT400には、B/G比及びG/R比と、このB/G比及びG/R比に基づく彩度強調処理及び色相強調処理を行って得られる彩度強調処理及び色相強調処理済みのB/G比及びG/R比とが対応付けて記憶されている。ここで、通常彩度強調モードに設定されている場合には、B/G比及びG/R比と、通常彩度強調処理及び通常色相強調処理済みのB/G比及びG/R比との対応関係が用いられる。特定彩度強調モードに設定されている場合には、B/G比及びG/R比と、通常彩度強調処理及び特定色相強調処理済みのB/G比及びG/R比との対応関係が用いられる。また、逆ガンマ変換部70から出力された第1RGB画像信号は二次元LUT400及びRGB変換部79に入力される。
 上記実施形態において、画像信号入力部53、ノイズ除去部58、信号切替部60、通常画像処理部62、蛍光画像処理部64、蛍光画像処理部92、蛍光画像処理部96、映像信号生成部66、逆ガンマ変換部70、Log変換部71、信号比算出部72、極座標変換部73、色差拡張部74、彩度強調処理部76、色相強調処理部77、直交座標変換部78、RGB変換部79、明るさ調整部81、構造強調部82、逆Log変換部83、ガンマ変換部84、拡張中心変更部85、蛍光及び参照光光量算出部88、参照光量補正部93、処理変更部91、輝度色差信号変換部86、HSV変換部87など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
 1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
 さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(Hard Disk Drive)やSSD(Solid State Drive)等の記憶装置である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
13a モード切替SW
14 光源装置
16 プロセッサ装置
18 モニタ
19 ユーザーインターフェース
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源用プロセッサ
23 光路結合部
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
50 CDS・AGC回路
52 A/D変換器
53 画像信号入力部
56 DSP
58 ノイズ除去部
60 信号切替部
62 通常画像処理部
64 蛍光画像処理部
66 映像信号生成部
70 逆ガンマ変換部
71 Log変換部
72 信号比算出部
73 極座標変換部
74 色差拡張部
76 彩度強調処理部
77 色相強調処理部
78 直交座標変換部
79 RGB変換部
81 明るさ調整部
81a 第1明るさ情報算出部
81b 第2明るさ情報算出部
82 構造強調部
83 逆Log変換部
84 ガンマ変換部
85 拡張中心変更部
86 輝度色差信号変換部
87 HSV変換部
88 蛍光及び参照光光量算出部
91 処理変更部
92 蛍光画像処理部
93 参照光量補正部
96 蛍光画像処理部
100 内視鏡システム
104 青色レーザ光源
106 青紫色レーザ光源
108 光源用プロセッサ
110 蛍光体
200 内視鏡システム
202 広帯域光源
204 回転フィルタ
205 フィルタ切替部
206 撮像センサ
208 通常観察モード用フィルタ
208a Bフィルタ
208b Gフィルタ
208c Rフィルタ
209 蛍光観察モード用フィルタ
209a Bnフィルタ
209b Bフィルタ
209c Gフィルタ
209d Rフィルタ
400 二次元LUT
SLs 彩度用の拡張中心線
SLh 色相用の拡張中心線
CES 彩度用の拡張中心
CEH 色相用の拡張中心
 
 

Claims (13)

  1.  観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を少なくとも含む参照光とを発する光源部と、
     画像制御用プロセッサとを備え、
     前記画像制御用プロセッサは、
     前記励起光及び前記参照光によって照明された前記観察対象を撮像して得られる蛍光及び参照画像信号が入力され、
     前記蛍光及び参照画像信号から複数の色情報を取得し、
     前記複数の色情報により形成される特徴空間において、正常粘膜と、前記薬剤蛍光を含む蛍光領域との色の差を拡張する内視鏡システム。
  2.  前記特徴空間において定められる拡張中心を中心として拡張することにより、前記正常粘膜と前記蛍光領域との色の差が大きくなる請求項1記載の内視鏡システム。
  3.  前記画像制御用プロセッサは、
     前記蛍光及び参照画像信号と前記励起光のみが照明された観察対象を撮像して得られる蛍光画像信号とに基づいて、前記拡張中心を変更する請求項2記載の内視鏡システム。
  4.  前記画像制御用プロセッサは、前記蛍光画像信号と前記蛍光画像信号との差分により得られる参照画像信号に基づいて、前記拡張中心を変更する請求項3記載の内視鏡システム。
  5.  前記画像制御用プロセッサは、前記蛍光及び参照画像信号に含まれる蛍光及び参照光の成分と、前記蛍光画像信号に含まれる蛍光の成分に基づいて、前記拡張中心の変更量を算出する請求項3記載の内視鏡システム。
  6.  前記画像制御用プロセッサは、前記蛍光及び参照画像信号と前記蛍光画像信号から、前記蛍光及び参照光の成分を含む病変部が表示された第1病変画像と、前記蛍光及び参照光の成分を含む病変部以外が表示された病変以外画像を生成し、前記第1病変画像と前記病変以外画像に基づいて、前記拡張中心の変更量を算出する請求項3記載の内視鏡システム。
  7.  前記励起光及び前記参照光を発する参照フレームと、前記励起光のみを発する蛍光フレームとを、特定のフレーム数にて切り替える光源用プロセッサを有する請求項1ないし6いずれか1項記載の内視鏡システム。
  8.  前記画像制御用プロセッサは、
     前記蛍光及び参照画像信号と前記蛍光フレームにて得られる蛍光画像信号とに基づいて、前記蛍光の光量と前記参照光の光量を算出する請求項7記載の内視鏡システム。
  9.  前記画像制御用プロセッサは、前記蛍光及び参照画像信号と前記蛍光画像信号に基づいて、前記蛍光及び参照光の成分を含む病変部が表示された第1病変画像と前記蛍光の成分を含む病変部が表示された第2病変画像とを取得し、前記第1病変画像と前記第2病変画像に基づいて、前記蛍光の光量と前記参照光の光量を算出する請求項8記載の内視鏡システム。
  10.  前記画像制御用プロセッサは、前記蛍光の光量と前記参照光の光量とに基づいて、前記蛍光及び参照画像信号に対する処理の内容を変更する請求項8または9記載の内視鏡システム。
  11.  前記処理の内容は、ゲイン処理又はマトリクス処理である請求項10記載の内視鏡システム。
  12.  前記画像制御用プロセッサは、変更前と変更後の前記処理の内容に基づいて、前記参照光の光量を補正する請求項10または11記載の内視鏡システム。
  13.  観察対象に含まれる薬剤を励起させて薬剤蛍光を発光させる励起光と、青色帯域から赤色帯域までの波長域を有する参照光とを発するステップと、
     前記励起光及び前記参照光によって照明された前記観察対象を撮像して得られる蛍光及び参照画像信号が入力されるステップと、
     前記蛍光及び参照画像信号から複数の色情報を取得するステップと、
     前記複数の色情報により形成される特徴空間において、正常粘膜と、前記薬剤蛍光を含む蛍光領域との色の差を拡張するステップとを有する内視鏡システムの作動方法。
     
     
     
PCT/JP2020/035328 2019-09-24 2020-09-17 内視鏡システム及びその作動方法 WO2021060158A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080066607.3A CN114430667A (zh) 2019-09-24 2020-09-17 内窥镜系统及其工作方法
JP2021548867A JP7203477B2 (ja) 2019-09-24 2020-09-17 内視鏡システム及びその作動方法
US17/702,226 US20220211259A1 (en) 2019-09-24 2022-03-23 Endoscope system and method of operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019172952 2019-09-24
JP2019-172952 2019-09-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/702,226 Continuation US20220211259A1 (en) 2019-09-24 2022-03-23 Endoscope system and method of operating the same

Publications (1)

Publication Number Publication Date
WO2021060158A1 true WO2021060158A1 (ja) 2021-04-01

Family

ID=75165778

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035328 WO2021060158A1 (ja) 2019-09-24 2020-09-17 内視鏡システム及びその作動方法

Country Status (4)

Country Link
US (1) US20220211259A1 (ja)
JP (1) JP7203477B2 (ja)
CN (1) CN114430667A (ja)
WO (1) WO2021060158A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102213193B1 (ko) * 2020-01-21 2021-02-08 주식회사 케이엘디 스캔 제어가 가능한 4 Way 듀얼스캐닝 전광판
DE102021001955B4 (de) * 2021-04-14 2023-03-23 Baumer Inspection Gmbh Vorrichtung und Verfahren zur fluoreszenzbasierten Inspektion sowie Prüfanordung mit einer solchen Vorrichtung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02299633A (ja) * 1989-05-15 1990-12-11 Olympus Optical Co Ltd 内視鏡像観察装置
JP2003126014A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置
JP2004024611A (ja) * 2002-06-26 2004-01-29 Olympus Corp 蛍光観察用画像処理装置
JP2011522649A (ja) * 2008-06-12 2011-08-04 オリンパス・ウィンター・アンド・イベ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 内視鏡画像を改善するための方法及び内視鏡
JP2017023620A (ja) * 2015-07-28 2017-02-02 富士フイルム株式会社 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP2018175762A (ja) * 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02299633A (ja) * 1989-05-15 1990-12-11 Olympus Optical Co Ltd 内視鏡像観察装置
JP2003126014A (ja) * 2001-10-22 2003-05-07 Olympus Optical Co Ltd 内視鏡装置
JP2004024611A (ja) * 2002-06-26 2004-01-29 Olympus Corp 蛍光観察用画像処理装置
JP2011522649A (ja) * 2008-06-12 2011-08-04 オリンパス・ウィンター・アンド・イベ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 内視鏡画像を改善するための方法及び内視鏡
JP2017023620A (ja) * 2015-07-28 2017-02-02 富士フイルム株式会社 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法
JP2018175762A (ja) * 2017-04-21 2018-11-15 池上通信機株式会社 撮像装置

Also Published As

Publication number Publication date
US20220211259A1 (en) 2022-07-07
JP7203477B2 (ja) 2023-01-13
JPWO2021060158A1 (ja) 2021-04-01
CN114430667A (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN106388756B (zh) 图像处理装置及其工作方法以及内窥镜系统
JP7051845B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
JP6121368B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム
JP5932894B2 (ja) 医用画像処理装置及びその作動方法
JP6313884B2 (ja) 内視鏡システム及びその作動方法
WO2016121556A1 (ja) 内視鏡用のプロセッサ装置、及びその作動方法、並びに制御プログラム
JP6909856B2 (ja) 内視鏡システム
US20220211259A1 (en) Endoscope system and method of operating the same
JP5972312B2 (ja) 医用画像処理装置及びその作動方法
JP7096788B2 (ja) 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法
WO2021060159A1 (ja) 画像処理装置、内視鏡システム、及び画像処理の作動方法
JP6047536B2 (ja) 医用画像処理装置及びその作動方法
JP6995889B2 (ja) 内視鏡システム及びその作動方法
JP6580778B2 (ja) 内視鏡画像信号処理装置およびプログラム
US11304600B2 (en) Light source device, endoscope system, and method of operating light source device
WO2021065939A1 (ja) 内視鏡システム及びその作動方法
JP6383829B2 (ja) 医用画像処理装置及びその作動方法並びに内視鏡システム
JP2021184924A (ja) 医用画像処理装置
JP2022160298A (ja) 医用画像処理装置及びその作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20867712

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021548867

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20867712

Country of ref document: EP

Kind code of ref document: A1