WO2015045516A1 - 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法 - Google Patents

蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法 Download PDF

Info

Publication number
WO2015045516A1
WO2015045516A1 PCT/JP2014/066132 JP2014066132W WO2015045516A1 WO 2015045516 A1 WO2015045516 A1 WO 2015045516A1 JP 2014066132 W JP2014066132 W JP 2014066132W WO 2015045516 A1 WO2015045516 A1 WO 2015045516A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
fluorescence
specimen
interest
image
Prior art date
Application number
PCT/JP2014/066132
Other languages
English (en)
French (fr)
Inventor
俊弼 富永
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to EP14847313.5A priority Critical patent/EP3050485B1/en
Publication of WO2015045516A1 publication Critical patent/WO2015045516A1/ja
Priority to US15/041,553 priority patent/US10244972B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14556Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases by fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14539Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring pH
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/007Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light
    • G02B26/008Optical devices or arrangements for the control of light using movable or deformable optical elements the movable or deformable optical element controlling the colour, i.e. a spectral characteristic, of the light in the form of devices for effecting sequential colour changes, e.g. colour wheels

Definitions

  • the present invention relates to a fluorescence observation apparatus that observes a specimen using fluorescence, an endoscope system, a processor apparatus, and an operation method.
  • an excitation light source that irradiates a specimen with excitation light for exciting a self-fluorescent substance contained in the specimen or a fluorescent drug administered to the specimen to emit fluorescence, and an autofluorescent substance or a fluorescent drug are emitted.
  • An image sensor that captures a specimen with the emitted fluorescence and an image that generates a fluorescence image reflecting the intensity distribution of the fluorescence emitted from the specimen based on an image signal (hereinafter referred to as a fluorescence image signal) generated by the fluorescence output from the image sensor
  • a fluorescence image signal an image signal generated by the fluorescence output from the image sensor
  • an endoscope system including a light source device, an endoscope, a processor device, and the like may have a configuration of a fluorescence observation device (Patent Document 1 and Patent Document 1). 2).
  • the oxygen saturation of blood hemoglobin is calculated, for example, based on the reflection intensity by irradiating the specimen with light in a wavelength band in which the absorption coefficients of oxyhemoglobin and reduced hemoglobin differ (hereinafter referred to as signal light) ( Patent Document 3).
  • the fluorescence emitted from the autofluorescent substance or fluorescent agent has a certain correlation with the pathology, but the emission intensity varies depending on the specimen. That is, there is a problem that the fluorescence emission intensity is greatly influenced by individual differences among specimens, and quantitative diagnosis is difficult when performing fluorescence observation.
  • a region having a lesion or the like hereinafter referred to as a region of interest
  • Patent Document 1 in order to eliminate the influence due to such individual differences, standard data representing the correspondence between the fluorescence intensity and the pathology of the specimen is prepared in advance, and the pathology of the specimen is determined by comparison with this standard data. ing. If standard data is used in this way, there is a possibility that the accuracy of specifying the region of interest and diagnosis will be improved for specimens with relatively little difference with respect to standard data. There is a high possibility that an incorrect diagnosis will be made because the influence of the above cannot be removed. In other words, the comparison with the standard data cannot completely remove the influence of individual differences between specimens on the diagnosis.
  • An object of the present invention is to provide a fluorescence observation apparatus, an endoscope system, a processor apparatus, and an operation method capable of performing a quantitative diagnosis or the like regardless of individual differences between specimens.
  • the fluorescence observation apparatus of the present invention includes a signal light source, an excitation light source, an image sensor, an oxygen saturation calculation unit, a reference region setting unit, a region of interest setting unit, a normalized fluorescence intensity calculation unit, a fluorescence An image generation unit.
  • the signal light source irradiates the specimen with signal light having a wavelength band in which the extinction coefficient changes depending on the oxygen saturation of blood hemoglobin.
  • the excitation light source irradiates the specimen with excitation light for exciting a fluorescent substance contained in the specimen to emit fluorescence.
  • the image sensor images a sample with signal light and outputs a first image signal, and images the sample with fluorescence and outputs a second image signal.
  • the oxygen saturation calculation unit calculates the oxygen saturation of the specimen for each pixel based on the first image signal.
  • the reference area setting unit sets the reference area of the specimen based on the oxygen saturation.
  • the region-of-interest setting unit sets the region of interest of the specimen.
  • the normalized fluorescence intensity calculation unit calculates the region of interest fluorescence intensity calculated using the pixel value of the region of interest of the second image signal with the standard fluorescence intensity calculated using the pixel value of the reference region of the second image signal. By dividing, the normalized fluorescence intensity representing the normalized emission intensity of fluorescence is calculated.
  • the fluorescence image generation unit generates a fluorescence image in which the region of interest is pseudo-colored based on the normalized fluorescence intensity.
  • the region-of-interest setting unit sets the region of interest based on, for example, oxygen saturation.
  • the region-of-interest setting unit may set the region of interest based on the specimen form information.
  • the reference region setting unit sets, for example, a region where the oxygen saturation is included in the specific range as the reference region.
  • the normalized fluorescence intensity calculation unit uses the region of interest set at the time of imaging at a specific time and the reference region set at the time of each imaging to normalize the fluorescence intensity Is preferably calculated.
  • Another fluorescence observation apparatus of the present invention includes an illumination light source, an excitation light source, an image sensor, a reference region setting unit, a region of interest setting unit, a normalized fluorescence intensity calculation unit, and a fluorescence image generation unit.
  • the illumination light source irradiates the specimen that is at least partially colored with the colorant with illumination light that can identify the color of the colorant.
  • the excitation light source irradiates the specimen with excitation light for exciting a fluorescent substance contained in the specimen to generate fluorescence.
  • the image sensor images a sample with illumination light and outputs a first image signal, and images the sample with fluorescence and outputs a second image signal.
  • the reference area setting unit sets the reference area according to the color of the colorant.
  • the region-of-interest setting unit sets the region of interest of the specimen.
  • the normalized fluorescence intensity calculation unit calculates the region of interest fluorescence intensity calculated using the pixel value of the region of interest of the second image signal with the standard fluorescence intensity calculated using the pixel value of the reference region of the second image signal. By dividing, the normalized fluorescence intensity representing the normalized emission intensity of fluorescence is calculated.
  • the fluorescence image generation unit generates a fluorescence image in which the region of interest is pseudo-colored based on the normalized fluorescence intensity.
  • the region of interest setting unit sets the region of interest according to the color of the colorant.
  • the colorant is, for example, a pH indicator that changes depending on the pH of the specimen.
  • the reference area setting unit sets an area where the pH is a specific value or more as the reference area.
  • the colorant one containing at least one of indigo carmine, toluidine blue, methylene blue, Mr. Lugol's solution, crystal violet, fluorestin, acridine orange, indocyanine green, or acetic acid can be used.
  • the image sensor images the specimen by fluorescence before the colorant is administered to the specimen and outputs a second image signal. After the colorant is administered to the specimen, the image sensor captures the specimen by illumination light and the first image. A signal may be output.
  • the endoscope system of the present invention includes a signal light source, an excitation light source, an image sensor, an oxygen saturation calculation unit, a reference region setting unit, a region of interest setting unit, a normalized fluorescence intensity calculation unit, A fluorescence image generation unit.
  • the signal light source irradiates the specimen with signal light having a wavelength band in which the extinction coefficient changes depending on the oxygen saturation of blood hemoglobin.
  • the excitation light source irradiates the specimen with excitation light for exciting a fluorescent substance contained in the specimen to emit fluorescence.
  • the image sensor images a sample with signal light and outputs a first image signal, and images the sample with fluorescence and outputs a second image signal.
  • the oxygen saturation calculation unit calculates the oxygen saturation of the specimen for each pixel based on the first image signal.
  • the reference area setting unit sets the reference area of the specimen based on the oxygen saturation.
  • the region-of-interest setting unit sets the region of interest of the specimen.
  • the normalized fluorescence intensity calculation unit calculates the region of interest fluorescence intensity calculated using the pixel value of the region of interest of the second image signal with the standard fluorescence intensity calculated using the pixel value of the reference region of the second image signal. By dividing, the normalized fluorescence intensity representing the normalized emission intensity of fluorescence is calculated.
  • the fluorescence image generation unit generates a fluorescence image in which the region of interest is pseudo-colored based on the normalized fluorescence intensity.
  • a processor device of the present invention is a processor device of an endoscope system including a signal light source, an excitation light source, and an image sensor, and includes an oxygen saturation calculation unit, a reference region setting unit, a region of interest setting unit, A standardized fluorescence intensity calculation unit, and a fluorescence image generation unit.
  • the signal light source irradiates the specimen with signal light having a wavelength band in which the extinction coefficient changes depending on the oxygen saturation of blood hemoglobin.
  • the excitation light source irradiates the specimen with excitation light for exciting a fluorescent substance contained in the specimen to emit fluorescence.
  • the image sensor images a sample with signal light and outputs a first image signal, and images the sample with fluorescence and outputs a second image signal.
  • the oxygen saturation calculation unit calculates the oxygen saturation of the specimen for each pixel based on the first image signal.
  • the reference area setting unit sets the reference area of the specimen based on the oxygen saturation.
  • the region-of-interest setting unit sets the region of interest of the specimen.
  • the normalized fluorescence intensity calculation unit calculates the region of interest fluorescence intensity calculated using the pixel value of the region of interest of the second image signal with the standard fluorescence intensity calculated using the pixel value of the reference region of the second image signal. By dividing, the normalized fluorescence intensity representing the normalized emission intensity of fluorescence is calculated.
  • the fluorescence image generation unit generates a fluorescence image in which the region of interest is pseudo-colored based on the normalized fluorescence intensity.
  • An operation method of the present invention is an operation method of an apparatus including a signal light source, an excitation light source, and an image sensor, and includes an oxygen saturation calculation step, a reference region setting step, a region of interest setting step, a standard A fluorescence intensity calculation step and a fluorescence image generation step.
  • the signal light source irradiates the specimen with signal light having a wavelength band in which the extinction coefficient changes depending on the oxygen saturation of blood hemoglobin.
  • the excitation light source irradiates the specimen with excitation light for exciting a fluorescent substance contained in the specimen to emit fluorescence.
  • the image sensor images a sample with signal light and outputs a first image signal, and images the sample with fluorescence and outputs a second image signal.
  • the oxygen saturation of the specimen is calculated for each pixel based on the first image signal.
  • the reference region setting step the reference region of the specimen is set based on the oxygen saturation.
  • the region of interest setting step sets the region of interest of the specimen.
  • the normalized fluorescence intensity calculation step is a standard fluorescence intensity calculated using the pixel value of the reference region of the second image signal, and the region of interest fluorescence intensity calculated using the pixel value of the region of interest of the second image signal. By dividing, the normalized fluorescence intensity representing the normalized emission intensity of fluorescence is calculated.
  • the fluorescence image generation step a fluorescence image in which the region of interest is pseudo-colored based on the normalized fluorescence intensity is generated.
  • the fluorescence observation apparatus the endoscope system, the processor apparatus, and the operation method of the present invention, it is possible to perform a quantitative diagnosis or the like regardless of individual differences between specimens.
  • the fluorescence observation apparatus 10 is an apparatus for observing a specimen 11 with fluorescence, and includes a light source unit 12, an imaging unit 13, a processor unit 14, and a monitor 15.
  • the specimen 11 is the whole or a part of an animal such as a human or a mouse (a specimen or a cell cut out from the animal), and is placed in a dark box 16 that shields external light.
  • the light source unit 12 includes a broadband light source 21, a rotary filter 22, and an excitation light source 23.
  • the broadband light source 21 includes, for example, a halogen lamp such as a xenon lamp or an LED such as a white LED, and emits white light whose wavelength band ranges from blue to red.
  • the white light emitted from the broadband light source 21 passes through the rotary filter 22 and then enters the light guide (LG) 26 through an optical member (all not shown) such as a condenser lens, an optical fiber, and a multiplexer.
  • the light is guided into the dark box 16 and is uniformly irradiated onto the specimen 11 through the illumination lens 27.
  • the rotary filter 22 is provided on the optical path of white light incident on the light guide 26 from the broadband light source 21 and is rotated in synchronization with the frame rate of imaging by the image sensor 34.
  • the fluorescence observation apparatus 10 has two observation modes, a normal observation mode for observing the specimen 11 with a normal color image and a special observation mode for observing the specimen 11 with a fluorescent image generated based on the fluorescence emission intensity. is doing.
  • the rotary filter 22 has a normal observation mode filter 22a and a special observation filter 22b, as shown in FIG. 2, corresponding to these modes.
  • the normal observation filter 22a is provided, for example, on the inner periphery of the rotary filter 22, and is a blue filter (B) having a spectral transmittance of 380 to 560 nm, a green filter (G) having a spectral transmittance of 450 to 630 nm, and 580.
  • a red filter (R) having a spectral transmittance of ⁇ 760 nm is provided. Therefore, when the normal observation filter 22a is arranged on the optical path of white light, the light of each color of B, G, and R is irradiated to the specimen 11 in order.
  • the special observation filter 22b is provided, for example, at the outer periphery of the rotary filter 22, and is a narrow band filter that transmits blue narrow band light of 473 ⁇ 10 nm, a green filter (G) having a spectral transmittance of 450 to 630 nm, 580 to A red filter (R) having a spectral transmittance of 760 nm and a light shielding part that shields the entire wavelength band are provided. Therefore, when the special observation filter 22b is disposed on the optical path of white light, blue narrow band light, G light, and R light are sequentially irradiated onto the specimen 11, and then the white light is shielded.
  • the blue narrow band light has a wavelength band in which the extinction coefficient changes depending on the oxygen saturation of hemoglobin (blood hemoglobin) contained in the blood of the specimen 11, and the specimen 11 is reflected by the reflected light of the blue narrow band light.
  • the image signal obtained by imaging is used for calculating the oxygen saturation of the specimen 11.
  • the blue narrow band light is signal light for calculating oxygen saturation
  • the broadband light source 21 and the rotary filter 22 for irradiating the sample with blue narrow band light constitute a signal light source.
  • the excitation light source 23 is an LED (Light Emitting Diode) for irradiating the specimen 11 with ultraviolet light having a narrow band of 340 ⁇ 10 nm, for example, and the ultraviolet light emitted from the excitation light source 23 is a condensing lens, an optical fiber.
  • the light enters the light guide (LG) 26 through an optical member such as a multiplexer, is guided into the dark box 16, and is uniformly irradiated onto the specimen 11 through the illumination lens 27.
  • the excitation light source 23 is turned on in synchronization with the timing when the white light emitted from the broadband light source 21 is blocked by the light blocking portion of the special observation filter 22b, and irradiates the specimen 11 with excitation light.
  • the ultraviolet light emitted from the excitation light source 23 has a wavelength band (see symbol AB) that is absorbed by reduced nicotinamide adenine dinucleotide (NADH) and excites NADH.
  • a substantially bluish white fluorescent light FL having a peak in the vicinity of 460 nm is emitted. That is, the ultraviolet light emitted from the excitation light source 23 is excitation light for causing the fluorescence FL to be emitted from NADH.
  • nicotinamide adenine dinucleotide is an electron carrier that functions as a dehydrogenase coenzyme, and is naturally contained in the specimen 11.
  • Reduced nicotinamide adenine dinucleotide (NADH) emits autofluorescence upon irradiation with excitation light emitted from the excitation light source 23 as described above, but oxidized nicotinamide adenine dinucleotide (NAD + )
  • NAD + oxidized nicotinamide adenine dinucleotide
  • the ultraviolet light emitted from the excitation light source 23 is hardly absorbed. For this reason, in the fluorescence observation apparatus 10, a tissue in which NADH exists at a high concentration, such as cancer cells, can be observed with the fluorescence FL.
  • the imaging unit 13 includes an imaging lens 31, a zoom lens 32, an excitation light cut filter 33, and an image sensor 34, and images the specimen 11 in the dark box 16.
  • the reflected light RL from the specimen 11 or the fluorescence FL emitted from the specimen 11 enters the image sensor 34 via the imaging lens 31, the zoom lens 32, and the excitation light cut filter 33. Thereby, a reflected image of the specimen 11 or a fluorescent image of the specimen 11 is formed on the image sensor 34.
  • the zoom lens 32 is movably provided between the tele end and the wide end, and enlarges or reduces the image of the specimen 11 formed on the image sensor 34.
  • the excitation light cut filter 33 is an optical filter that cuts light in a wavelength band of 400 nm or less and transmits light in a wavelength band of 400 nm or more, for example. That is, the excitation light cut filter 33 cuts the reflected light of the excitation light EX that the excitation light source 23 irradiates the specimen 11 and transmits the fluorescence FL emitted by NADH. For this reason, when the sample 11 is irradiated with the excitation light EX, an image of the fluorescence FL emitted from the sample 11 is formed on the image sensor 34.
  • the excitation light cut filter 33 transmits light in the G and R wavelength bands and blue narrow band light (473 nm) irradiated to the specimen 11 by the broadband light source 21 and the rotary filter 22, and has a wavelength band of B. Light is almost transmitted to the extent that there is no hindrance to the observation of the specimen 11. For this reason, even if the excitation light cut filter 33 is disposed, the image sensor 34 can image the specimen 11 with the reflected light of each color of B, G, and R or the reflected light of the blue narrow band light.
  • the image sensor 34 captures the specimen 11 by photoelectrically converting the image of the specimen 11 with a plurality of pixels, and outputs an image signal to the processor unit 14.
  • the image sensor 34 is, for example, a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal-Oxide Semiconductor) image sensor.
  • the image sensor 34 is a monochrome sensor not provided with a color filter.
  • One frame period of the image sensor 34 includes an accumulation period in which the reflected light from the specimen 11 is photoelectrically converted to accumulate electrification, and a readout period in which the accumulated electrification is read and an image signal is output.
  • imaging by the image sensor 34 is performed in synchronization with the rotation of the rotary filter 22.
  • the image sensor 34 captures the specimen 11 with the reflected light B in the first frame and outputs a B image signal, and captures the specimen 11 with the reflected light G in the second frame. Is output.
  • the specimen 11 is imaged with R reflected light and an R image signal is output.
  • the image sensor 34 images the specimen 11 with the reflected light of the blue narrow-band light in the first frame and outputs a B473 image signal.
  • the specimen 11 is imaged with reflected light of G and R, and a G image signal and an R image signal are output, respectively.
  • the light from the broadband light source 21 is shielded, and only the excitation light is irradiated to the specimen 11.
  • the reflected light of the excitation light and the fluorescence FL emitted from the specimen 11 are incident on the imaging unit 13, but the reflected light of the excitation light is cut by the excitation light cut filter 33. Only the specimen 11 is imaged and the fluorescence image signal SFL is output.
  • the processor unit 14 includes an image processing switching unit 51, a normal observation image processing unit 52, a special observation image processing unit 53, an image signal generation unit 54, a control unit 55, an operation unit 56, and the like.
  • the processor unit 14 includes a receiving unit (not shown) that receives an image signal output from the image sensor 34.
  • the reception unit includes a DSP (Digital Signal Processor), a noise removal unit, and the like.
  • the DSP performs digital signal processing such as color correction processing on the received image signal.
  • the noise removal unit performs noise removal processing by, for example, a moving average method or a median filter method on an image signal that has been subjected to color correction processing by the DSP.
  • the image signal from which noise has been removed in this way is input to the image processing switching unit 51.
  • the image processing switching unit 51 inputs an image signal to the normal observation image processing unit 52 when the normal observation mode is set.
  • the image processing switching unit 51 inputs an image signal to the special observation image processing unit 53.
  • the observation mode is set by, for example, setting input using the operation unit 56.
  • the normal observation image processing unit 52 includes a color conversion unit 61, a color enhancement unit 62, and a structure enhancement unit 63.
  • the color conversion unit 61 generates RGB image data in which each image signal obtained from the reflected light of RGB light that is sequentially input is assigned to the R pixel, the G pixel, and the B pixel.
  • the RGB image data is further subjected to color conversion processing such as 3 ⁇ 3 matrix processing, gradation conversion processing, and three-dimensional LUT processing.
  • the color enhancement unit 62 performs various color enhancement processes on the RGB image data that has been subjected to the color conversion process.
  • the structure enhancement unit 63 performs structure enhancement processing such as spatial frequency enhancement on the RGB image data that has been subjected to color enhancement processing.
  • the RGB image data subjected to the structure enhancement process by the structure enhancement unit 72 is input to the display image signal generation unit 54 as a normal observation image.
  • the special observation image processing unit 53 includes a signal ratio calculation unit 71, a correlation storage unit 72, an oxygen saturation calculation unit 73, a reference region setting unit 74, a region of interest setting unit 75, a normalized fluorescence intensity calculation unit 76, and a fluorescence image.
  • a generation unit 77 and a structure enhancement unit 78 are provided.
  • the signal ratio calculation unit 71 calculates a signal ratio of image signals used for calculating oxygen saturation. Specifically, the signal ratio calculator 71 calculates the signal ratio B 473 / G of the B 473 image signal and the G image signal, and a signal ratio R / G of the R image signal, G image signal, for each pixel, respectively To do.
  • the correlation storage unit 72 stores a correlation between the signal ratios B 473 / G and R / G calculated by the signal ratio calculation unit 71 and the oxygen saturation.
  • the correlation storage unit 72 includes a two-dimensional table in which the correlation between the signal ratios B 473 / G and R / G and the oxygen saturation is defined by an isoline in a two-dimensional space. It memorizes in the form. The position and shape of the isolines are obtained in advance by a physical simulation of light scattering. The interval between the isolines changes according to the blood volume (signal ratio R / G).
  • the correlation between the signal ratios B 473 / G and R / G and the oxygen saturation is stored on a log scale.
  • the correlation is closely related to the light absorption characteristics and light scattering characteristics of oxyhemoglobin (graph 86) and reduced hemoglobin (graph 87).
  • oxygen saturation information is easy to handle at wavelengths where the difference in the extinction coefficient between oxyhemoglobin and reduced hemoglobin is large, such as the center wavelength of 473 nm of blue narrowband light.
  • the B 473 image signal obtained by imaging at the center wavelength 473 nm of blue narrow band light is highly dependent not only on the oxygen saturation but also on the blood volume.
  • the oxygen saturation calculation unit 73 refers to the correlation stored in the correlation storage unit 72 and the oxygen saturation corresponding to the signal ratio B 473 / G and the signal ratio R / G obtained by the signal ratio calculation unit 71. Is calculated for each pixel. For example, as shown in FIG. 9, when the signal ratio B 473 * / G * and the signal ratio R * / G * of a predetermined pixel, it corresponds to the signal ratio B 473 * / G * and the signal ratio R * / G * .
  • the oxygen saturation to be calculated is calculated as “60%”.
  • the signal ratio B 473 / G and the signal ratio R / G rarely become extremely large, or conversely become extremely small values. That is, the values of the signal ratio B 473 / G and the signal ratio R / G rarely exceed the lower limit line 88 with an oxygen saturation of 0%, and conversely fall below the upper limit line 89 with an oxygen saturation of 100%. . However, when the calculated oxygen saturation exceeds the lower limit line 88, the oxygen saturation calculation unit 73 sets the oxygen saturation to 0%, and when the calculated oxygen saturation falls below the upper limit line 89, the oxygen saturation is set to 100. %.
  • the reference area setting unit 74 sets the reference area of the specimen 11 based on the oxygen saturation. Specifically, the reference region setting unit 74 identifies a region where the oxygen saturation is within a normal range and sets it as a reference region.
  • the normal range is a range of oxygen saturation that can be taken by normal tissue that is not a lesion such as cancer, for example, a range of 70 to 80%. That is, the reference region setting unit 74 sets a region where normal tissue is present as the reference region based on the oxygen saturation. Since there is almost no individual difference due to the specimen 11 in the range of oxygen saturation that can be taken by normal tissue, the reference region setting unit 74 uses the oxygen saturation to accurately identify a region with normal tissue. It can be set in the reference area.
  • the amount of fluorescence FL emitted from normal tissue may be completely different depending on individual differences when compared between different specimens. However, when comparing between different tissues (for example, a normal tissue and a cancer tissue) in the same specimen 11, the amount of fluorescence FL emitted from the normal tissue is a good standard specific to this specimen 11.
  • the region of interest setting unit 75 sets the region of interest of the specimen 11 based on the oxygen saturation. Specifically, the region-of-interest setting unit 75 identifies a region where the oxygen saturation is an abnormal value that deviates from a normal range by a predetermined value or more, and sets the region as a region of interest. Since the normal range of the oxygen saturation does not vary depending on the specimen 11 as described above and is in the range of about 70 to 80%, the region-of-interest setting unit 75 is, for example, a region where the oxygen saturation is 10% or less (60% or less). To the region of interest. For example, since the cancer tissue becomes hypoxic, the cancer tissue is set as the region of interest by the region of interest setting unit 75.
  • the normalized fluorescence intensity calculation unit 76 normalizes the emission intensity of the fluorescence FL caused by the diseased tissue having an abnormality in oxygen saturation based on the emission intensity of the fluorescence FL caused by the normal tissue. Specifically, the normalized fluorescence intensity calculation unit 76 extracts the pixel value of each pixel in the set reference area (that is, the emission intensity of the fluorescence FL) from the fluorescence image signal SFL , and calculates the average value. The value is used as the reference fluorescence intensity of the fluorescence FL by the specimen 11.
  • the reference fluorescence intensity of the fluorescence FL corresponds to the normal content of NADH and is a unique value that characterizes the specimen 11.
  • the normalized fluorescence intensity calculation unit 76 extracts the pixel value of each pixel in the set region of interest from the fluorescence image signal SFL , calculates the average value, and calculates the value of the fluorescence FL in the region of interest.
  • the emission intensity (hereinafter referred to as region of interest fluorescence intensity).
  • region of interest fluorescence intensity The emission intensity (hereinafter referred to as region of interest fluorescence intensity).
  • the normalized fluorescence intensity calculation unit 76 normalizes by dividing the region of interest fluorescence intensity by the reference fluorescence intensity. This value is hereinafter referred to as normalized fluorescence intensity.
  • the fluorescence image generation unit 77 uses the B 473 image signal, the G image signal, the R image signal, and the normalized fluorescence intensity calculated by the normalized fluorescence intensity calculation unit 76 to visually express the emission intensity of the fluorescence FL. Generate an image. Specifically, the fluorescence image generation unit 77 applies a gain corresponding to the normalized fluorescence intensity to the pixel value of each pixel in the region of interest of the B473 image signal, and applies the gained B473 image signal, RGB image data is generated using the image signal and the R image signal. RGB image data generated using the B 473 image signal, the G image signal, and the R image signal subjected to this gain is a fluorescent image.
  • the fluorescence image generation unit 77 multiplies the pixel value of each pixel in the region of interest of the B 473 image signal by a normalized fluorescence intensity value (or a value obtained by multiplying the normalized fluorescence intensity by an appropriate number) as a gain.
  • a normalized fluorescence intensity value or a value obtained by multiplying the normalized fluorescence intensity by an appropriate number
  • the region of interest is displayed in a pseudo color colored in a blue color corresponding to the normalized fluorescence intensity, and a normal color scheme (white light) other than the region of interest is displayed. The color when observed below).
  • the fluorescence image generation unit 77 generates a fluorescence image in which the entire region of interest is uniformly colored using the normalized fluorescence intensity, such pseudo-colorization may be performed for each pixel.
  • the normalized fluorescence intensity calculation unit 76 divides and standardizes each pixel value of the fluorescence image signal SFL by the calculated reference fluorescence intensity to generate a normalized fluorescence image signal NFL .
  • the normalized fluorescence image signal NFL is an aggregate of normalized fluorescence intensity of each pixel.
  • the fluorescence-image generating unit 77 multiplied by the gain of each pixel value of the normalized fluorescence image signal N FL to each pixel of the B 473 image signals, and B 473 image signals obtained by multiplying the normalized fluorescence image signal N FL
  • the fluorescent image is generated using the G image signal and the R image signal.
  • each pixel of the fluorescent image is pseudo-colored based on the standardized emission intensity, so that the emission distribution of the fluorescence FL can be observed in more detail.
  • the normalized fluorescent image signal NFL is used in this way, only the region of interest may be pseudo-colored.
  • the emission intensity of the fluorescence FL in the region of interest is information that contributes to the diagnosis, and the emission intensity of the fluorescence FL other than the region of interest may be diagnostic noise.
  • the region of interest can be easily identified. Therefore, in order to present the region of interest in an easy-to-understand manner, it is better to generate a fluorescence image in which the entire region of interest is uniformly colored using the normalized fluorescence intensity.
  • the structure enhancement unit 78 performs structure enhancement processing such as spatial frequency enhancement processing on the fluorescence image input from the fluorescence image generation unit 77.
  • structure enhancement processing such as spatial frequency enhancement processing
  • the fluorescent image subjected to the structure enhancement process by the structure enhancement unit 78 is input to the display image signal generation unit 54.
  • the display image signal generation unit 54 converts the normal observation image or the fluorescence image into a display format signal (display image signal) and inputs it to the monitor 15. Thereby, a normal image or a fluorescence image is displayed on the monitor 15.
  • the control unit 55 comprehensively controls each unit of the fluorescence observation apparatus 10. For example, the position of the rotation filter 22 (replacement of the normal observation mode filter 22a and the special observation filter 22b), rotation speed control, imaging control of the image sensor 34, image processing switching control by the image processing switching unit 51, operation unit Control of the zoom lens 32 based on the input by 56 is performed.
  • the operation unit 56 is a UI (user interface) that receives input operations such as function settings.
  • the processor unit 14 may be connected to a recording unit (not shown) for recording an image and information attached to the image.
  • the flow of observation by the fluorescence observation apparatus 10 of the present embodiment will be described along the flowchart of FIG.
  • the normal observation mode is set (S10; NO)
  • the specimen 11 is sequentially irradiated with light of each color of B, G, and R
  • the image sensor 34 images the specimen 11 with each reflected light.
  • B image signal, G image signal, and R image signal are output.
  • a normal observation image is generated from the B image signal, the G image signal, and the R image signal (S11) and displayed on the monitor 15 (S12).
  • the normal observation image is generated and displayed repeatedly until the observation mode is switched to the special observation mode (S13).
  • the observation mode is set to the special observation mode (S10; YES)
  • the specimen 11 is sequentially irradiated with the blue narrow band light, the G light, the R light, and the excitation light EX, and the image sensor 34 receives these.
  • the specimen 11 is imaged by reflected light or fluorescence FL emitted from the specimen 11, and a B473 image signal, a G image signal, an R image signal, and a fluorescence image signal SFL are output.
  • the signal ratio calculating unit 71 calculates the signal ratio B 473 / G and the signal ratio R / G (S14), and the oxygen saturation calculating unit 73 is shown in FIG.
  • the oxygen saturation 91 of the specimen 11 is calculated for each pixel based on the signal ratio B 473 / G and the signal ratio R / G (S 15).
  • the reference region setting unit 74 specifies a region where the value of the oxygen saturation falls within a specific range, and sets the reference region 92 (see FIG. 11) of the specimen 11 (S16). ).
  • the region-of-interest setting unit 75 uses the oxygen saturation 91 to identify a region that has an abnormal value that deviates from the specific range by a predetermined value or more, and the region of interest 93 of the specimen 11 (see FIG. 11). Is set (S17).
  • the normalized fluorescence intensity calculation unit 76 extracts the pixel value of the reference region 92 from the fluorescence image signal SFL and calculates the average value, thereby calculating the standard. Obtain fluorescence intensity. Further, the normalized fluorescence intensity calculation unit 76 obtains the region of interest fluorescence intensity by extracting the pixel value in the region of interest 93 and calculating the average value. Then, the region of interest fluorescence intensity is normalized by dividing it by the reference fluorescence intensity to obtain the normalized fluorescence intensity (S18).
  • the fluorescence image generation unit 77 multiplies each pixel value in the region of interest 93 of the B 473 image signal by a gain as the normalized fluorescence intensity, and multiplies the normalized fluorescence intensity by the B 473 image signal, the G image signal, and A fluorescence image 95 (see FIG. 11) is generated using the R image signal (S19).
  • the fluorescence image 95 is an image in which the region of interest 93 is pseudo-colored in accordance with the normalized fluorescence intensity.
  • the fluorescence image 95 shows the region of interest 93 and simultaneously represents the emission intensity of the region of interest 93 by its color.
  • the generated fluorescent images 95 are sequentially displayed on the monitor 15 (S20). Such generation and display of the fluorescence image 95 are repeated until the observation mode is switched to the normal observation mode or the observation of the specimen 11 is completed (S21).
  • the fluorescence observation apparatus 10 sets the reference region 92 and the region of interest 93 based on the oxygen saturation 91 of the sample 11, and the standard fluorescence intensity specific to the sample 11 from the emission intensity of the fluorescence FL in the reference region 92. Ask for. Then, a fluorescence image 95 in which the region of interest 93 is pseudo-colored is generated and displayed based on the normalized fluorescence intensity calculated by normalizing the region of interest fluorescence intensity representing the emission intensity of the region of interest 93 using the reference fluorescence intensity. To do. For this reason, the fluorescence observation apparatus 10 can display the emission intensity (NADH content) of the fluorescence FL in a pseudo color as in the specimen 11, not in comparison with other specimens.
  • NADH content emission intensity
  • the emission intensity of the fluorescence FL is greatly influenced by the individual difference of the specimen 11, it is difficult to set the reference region 92 and the region of interest 93 from the emission intensity of the fluorescence FL.
  • the region of high emission intensity is set as a region of interest by comparing the emission intensity of the fluorescence FL with a predetermined threshold, if the specimen 11 is originally an individual with a higher content of NADH, the actual lesion tissue A region larger than that is set as a region of interest.
  • the fluorescence observation apparatus 10 sets the reference region 92 and the region of interest 93 based on the oxygen saturation level that hardly depends on the individual difference of the specimen 11, the reference region 92 and the region of interest 93 are accurately set. be able to. For this reason, the fluorescence observation apparatus 10 can show an accurate lesion area as a region of interest 93 in the fluorescence image 95 without excess or deficiency.
  • the specimen 11 is observed with the NAFL fluorescence FL, but the specimen 11 may be observed with fluorescence emitted by another fluorescent substance.
  • the specimen 11 can be observed by fluorescence with an autofluorescent substance such as FAD (flavin adenine dinucleotide), tyrosine, tryptophan, phenylalanine, collagen, porphyrin, elastin, melanin, lipofuscin, ceroid, pyridoxine, eosinophil.
  • FAD flulavin adenine dinucleotide
  • tyrosine tryptophan
  • phenylalanine collagen
  • porphyrin porphyrin
  • elastin melanin
  • lipofuscin ceroid
  • pyridoxine eosinophil
  • a non-fluorescent substance whose content and activity fluctuate in correlation with the use of oxygen in the metabolic system may be replaced with a fluorescent substance by genetic manipulation or the like, and the specimen 11 may be observed by the fluorescence.
  • the excitation light source 23 and the excitation light cut filter 33 may be replaced according to the type of the fluorescent substance.
  • the specimen 11 may be observed with fluorescence from a plurality of types of fluorescent substances. In this case, a corresponding excitation light source or excitation light cut filter may be provided.
  • the normalized fluorescence intensity calculation unit 76 averages the pixel values of the reference region and the region of interest of the fluorescence image signal SFL , and uses these values as the standard fluorescence intensity and the region of interest fluorescence intensity used for normalization. Instead of the average value, the maximum value, the minimum value, the median value, etc. may be used as the reference fluorescence intensity and the region of interest fluorescence intensity.
  • the calculation method of the reference fluorescence intensity and the region of interest fluorescence intensity may be different, for example, the reference fluorescence intensity is calculated by averaging and the maximum value is adopted as the region of interest fluorescence intensity.
  • a laser light source such as a laser diode
  • white light can be emitted in the same manner as the broadband light source 31 by using a phosphor that emits fluorescence by absorbing part of the laser light emitted from the laser light source.
  • R, G, B LEDs or laser diodes may be used instead of the broadband light source 31. In this case, the rotation filter 22 is not used, and the LEDs of each color may be sequentially turned on and off.
  • LED is used for the excitation light source 23, a mercury lamp, a metal halide lamp, an ultraviolet laser diode, or the like may be used instead of the LED.
  • an interference filter an etalon, a liquid crystal tunable filter, or the like may be used instead of the rotation filter 22.
  • a photodetector such as a photoelectric tube or a photomultiplier tube may be used instead of the monochrome CCD or monochrome CMOS.
  • a color image sensor provided with a color filter may be used.
  • the rotation filter 22 may not be used in the light source unit 12.
  • a primary color image sensor provided with R, G, and B color filters can be used.
  • a complementary color image sensor having complementary color filters of C (cyan), M (magenta), Y (yellow), and G (green) may be used.
  • the excitation light source 23 is turned on and irradiated with the excitation light at the timing when the white light emitted from the broadband light source 21 is blocked. However, since the fluorescence FL is weak compared to the amount of reflected light of each RGB color, The excitation light source 23 may be constantly turned on and irradiation with excitation light may be continued.
  • the region of interest is set based on the oxygen saturation, but the region of interest may be set by another method that does not depend on the oxygen saturation.
  • the special observation image processing unit 53 of the fluorescence observation apparatus 10 is replaced with, for example, the special observation image processing unit 203 shown in FIG.
  • the other configuration is the same as that of the fluorescence observation apparatus 10 of the first embodiment.
  • the special light observation image processing unit 203 includes a narrowband light image generation unit 204 and a region of interest setting unit 205. Other than these, the signal ratio calculation unit 71, the correlation storage unit 72, the oxygen saturation calculation unit 73, the reference region setting unit 74, the normalized fluorescence intensity calculation unit 76, the fluorescence image generation unit 77, and the structure enhancement unit 78 are This is the same as the special observation image processing unit 53 of the fluorescence observation apparatus 10 of the first embodiment.
  • the narrowband light image generation unit 204 acquires the B 473 image signal and the G image signal via the image processing switching unit 51, for example, assigns the B 473 image signal to the B pixel and the G pixel, and sets the G image signal to the R pixel.
  • An allocated narrowband light image is generated.
  • the morphological information of the specimen 11 such as the surface blood vessel and the gland duct structure is emphasized according to the wavelength of the blue narrowband light.
  • the generated narrowband light image is input to the display image signal generation unit 54 and displayed on the monitor 15.
  • the user observes the narrow-band light image displayed on the monitor 15 and designates (inputs) a region of interest based on the form information of the specimen 11.
  • the user designates the region of interest with the operation unit 56.
  • the user inputs region-of-interest designation information such as a frame surrounding a portion where the superficial blood vessels highlighted in the narrow-band light image are dense using the operation unit 56.
  • the region of interest setting unit 205 sets the region of interest of the specimen 11 based on the region of interest designation information input from the operation unit 56.
  • the region of interest desired by the user in the fluorescence image can be accurately displayed in a pseudo color.
  • an oxygen saturation image representing the oxygen saturation of the specimen 11 is generated and displayed instead of the narrowband light image, and the user is based on the oxygen saturation image. May specify the region of interest.
  • an oxygen saturation image generation unit (not shown) may be provided instead of the narrow-band light image generation unit 204.
  • the oxygen saturation image generation unit acquires the oxygen saturation calculated by the oxygen saturation calculation unit 73, the B 473 image signal, the G layer signal, and the R image signal, and sets a gain corresponding to the oxygen saturation to B A 473 image signal, a G layer signal, and an R image signal are applied.
  • an oxygen saturation image is generated by assigning the B 473 image signal, the G layer signal, R, and the image signal to which the gain corresponding to the oxygen saturation is assigned to the B, G, and R pixels. For example, a pixel whose oxygen saturation is less than “60%” is multiplied by a gain of less than “1” for the B 473 image signal, and a gain of “1” or more is multiplied for the G and R image signals. Further, a pixel having an oxygen saturation level higher than “60%” is multiplied by a gain “1” to the B 473 image signal, the G layer signal, and the R image signal. By doing so, the region where the oxygen saturation is “60%” or less is pseudo-colored, and an enhanced oxygen saturation image is obtained. For this reason, by generating and displaying the oxygen saturation image, it is possible to allow the user to designate the region of interest with reference to the region that is pseudo-colored in the oxygen saturation image.
  • a color image similar to the normal observation image may be generated and displayed using the B 473 image signal, the G image signal, and the R image signal, and the region of interest may be designated based on the generated color image.
  • a spectral estimation image generated by estimating an arbitrary wavelength band component using the B 473 image signal, the G image signal, and the R image signal may be generated and displayed, and a region of interest may be designated based on the spectral estimation image.
  • the special observation image processing unit 53 of the fluorescence observation apparatus 10 may be replaced with a special observation image processing unit 213 shown in FIG.
  • the special observation image processing unit 213 the narrowband light image generated by the narrowband image generation unit 204 is input to the region of interest setting unit 215.
  • the region-of-interest setting unit 215 extracts the form of the highlighted specimen 11 from the input narrowband light image, and automatically sets the extracted portion as the region of interest. For example, as shown in FIG. 14, a fine form 217 such as a superficial blood vessel or a gland duct structure can be confirmed in the narrow-band light image 219 even when it is difficult to appear in the normal observation image 217.
  • the region-of-interest setting unit 215 extracts the region of the emphasized fine form 217 and sets it as the region of interest.
  • Other configurations are the same as those of the special observation image processing unit 203 (see FIG. 12).
  • the special observation image processing unit 213 can automatically set the region of interest based on the form information of the specimen 11 appearing in the narrow-band light image regardless of the oxygen saturation.
  • an oxygen saturation image or a spectral estimation image may be used instead of the narrow-band light image.
  • the region of interest may be automatically set from the same color image as the normal observation image.
  • the narrow band light image 219 may be displayed on the monitor 15. If the narrow-band light image 219 is displayed on the monitor 15, the region of interest automatically set by the user can be confirmed. Furthermore, when the region of interest automatically set by the region of interest setting unit 215 does not match the region of interest desired by the user, the region of interest setting unit 205 (see FIG. 12) of the special observation image processing unit 203 is used. A region of interest may be designated by the user.
  • the region-of-interest setting unit 215 automatically sets the region of interest based only on the narrow-band light image 219, but the region-of-interest from the narrow-band light image 219 is based on past cases. An area may be extracted.
  • the region-of-interest setting unit 215 is connected to a database 220 that stores past case images (such as narrowband images). Then, the region-of-interest setting unit 215 matches the morphological information of the specimen 11 between the narrowband light image 219 and the past case image, and extracts a region that matches the characteristic morphological information of the past case from the narrowband light image 219. Extract this and set it as the region of interest.
  • the possibility of designating the region of low relevance to the lesion as the region of interest even when highlighted in the narrowband light image 219 is reduced.
  • the accuracy of the region of interest that is automatically specified can be improved.
  • the database 220 may be built in the fluorescence observation apparatus, or may be provided outside the fluorescence observation apparatus and connected through a communication network. Also, when the user designates the region of interest (see FIG. 12), if the past case images are displayed on the monitor 15 using the database 220, the user can assist the designation of the region of interest.
  • the fluorescence observation apparatus 10 of the first embodiment observes the specimen 11 in real time, it may be configured to be able to present information (time information) indicating a change over time to the user.
  • the special observation image processing unit 53 of the fluorescence observation apparatus 10 of the first embodiment is replaced with, for example, the special observation image processing unit 303 shown in FIG.
  • the special observation image processing unit 303 is obtained by replacing the standardized fluorescence intensity calculation unit 76 of the special observation image processing unit 53 with a standardized fluorescence intensity calculation unit 306, and other configurations are the special observation image processing unit. 53.
  • the specimen 11 is imaged from a predetermined initial imaging time T1 at imaging times T1, T2, T3,.
  • the normalized fluorescence intensity calculation unit 306 calculates a normalized fluorescence intensity obtained by normalizing the fluorescence intensity of the region of interest with the fluorescence intensity of the reference region. However, unlike the normalized fluorescence intensity calculation unit 76 of the first embodiment, the normalized fluorescence intensity calculation method calculates the normalized fluorescence intensity that is normalized over time. Specifically, the standardized fluorescence intensity calculation unit 306 calculates the standard fluorescence intensity based on the set reference area every time the specimen 11 is imaged. This is the same as the normalized fluorescence intensity calculation unit 76 of the first embodiment.
  • the normalized fluorescence intensity calculation unit 306 extracts the pixel values of the pixels in the reference area set at each imaging time from the fluorescence image signal SFL obtained at each imaging time, and by the average, A reference fluorescence intensity at each imaging time is obtained.
  • the normalized fluorescence intensity calculation unit 306 calculates the region of interest fluorescence intensity, but the calculation method is different from that of the normalized fluorescence intensity calculation unit 76. Specifically, the normalized fluorescence intensity calculation unit 76 extracts the pixel value of the region of interest set at each imaging time, and calculates the region of interest fluorescence intensity. Using the region of interest set at time T1 (hereinafter referred to as the initial region of interest), the region of interest fluorescence intensity at each imaging time is calculated. In other words, the normalized fluorescence intensity calculation unit 306 fixes the region from which the pixel value is extracted in order to calculate the region of interest fluorescence intensity, not the region of interest at each imaging time but the initial region of interest.
  • the fluorescence image signal S FL imaging time T2 extracts the pixel values in the region corresponding to the initial region of interest by obtaining an average value, interest The area fluorescence intensity is calculated. The same is true after the imaging time T3.
  • the normalized fluorescence intensity calculation unit 306 calculates the normalized fluorescence intensity by dividing the region-of-interest fluorescence intensity calculated as described above by the reference fluorescence intensity. Since this normalized fluorescence intensity is obtained by dividing the fluorescence intensity of the region of interest by the fluorescence intensity of the reference region, normalization is performed to exclude individual differences of the specimen 11, and the region of interest is fixed to the initial region of interest. Therefore, it represents a change in fluorescence intensity that is temporally normalized with respect to the initial imaging time T1.
  • the fluorescent image generation unit 77 generates a fluorescent image in which the region of interest is pseudo-colored based on the normalized fluorescence intensity calculated by the normalized fluorescence intensity calculation unit 306 instead of the normalized fluorescence intensity of the first embodiment. .
  • the region to be pseudo-colored is a region of interest set at each imaging time.
  • the monitor 15 displays at least two or more fluorescent images 310T1, 310T2, 310T3,. If the fluorescent images 310T1, 310T2, 310T3,... At the respective imaging times are viewed, the change in the size of the lesion such as cancer is caused by the temporal change in the size of each region of interest 311T1, 311T2, 311T3,. I can know. In addition, a change in the color (or shading) of the region of interest indicates a time change in the content of NADH. For example, if the therapeutic agent such as an anticancer agent is administered to the specimen 11 and observed, the effectiveness can be judged.
  • the therapeutic agent such as an anticancer agent
  • the reference region 312T1, 312T2, 312T3,... And the initial region of interest 313 at each imaging time are displayed on each of the fluorescent images 310T1, 310T2, 310T3,.
  • the reference regions 312T1, 312T2, 312T3,... And the initial region of interest 312 at each imaging time are displayed on the respective fluorescence images 310T1, 310T2, 310T3,...
  • the display image signal generation unit 54 generates display image signals.
  • a graph 320 representing a temporal change in the fluorescence intensity ratio with time may be displayed. Such additional information can more visually support the determination of the change in the size of a lesion such as cancer and the temporal change in the content of NADH.
  • the time-lapse information is displayed as described above, but this time-lapse information can be sequentially displayed almost in real time during one observation (inspection). Also, display the time-lapse information using the results observed in the past, such as one week ago, one month ago, etc. (image signal used to generate the past fluorescence image, reference region setting, region of interest setting, etc.) You can also When displaying time-dependent information based on past observation results, it is preferable to provide a database 307 for storing information as shown in FIG. Then, the normalized fluorescence intensity calculation unit 306 acquires past observation results from the database 307, and calculates normalized fluorescence intensity over time based on the acquired past observation results.
  • the database 307 may be provided outside the fluorescence observation apparatus 10 or may be built in the fluorescence observation apparatus 10.
  • the normalized fluorescence intensity calculation unit 306 may store past observation results and function as the database 307.
  • the reference area is set based on the oxygen saturation of the specimen 11, but the reference area may be set by other methods.
  • a colorant may be administered to the specimen 11 and the reference area may be set according to the colored color.
  • the fluorescence observation apparatus 400 includes a colorant administration unit 401 for administering the colorant to the specimen 11.
  • the rotary filter 402 used in the fluorescence observation apparatus 400 includes a normal observation filter 402a and a special observation filter 402b.
  • the normal observation filter 402a has B, G, and R colors.
  • the special observation filter 402b is composed of B, G, and R color filters and a light shielding portion.
  • the special observation image processing unit 53 of the first embodiment is replaced with a special observation image processing unit 403.
  • Other configurations are the same as those of the fluorescence observation apparatus 10 of the first embodiment.
  • the special observation image processing unit 403 is not provided with each unit (signal ratio calculation unit 71, correlation storage unit 72, and oxygen saturation calculation unit 73) for calculating the oxygen saturation, which is the first embodiment.
  • a reference region setting unit 404 and a region of interest setting unit 405 having different functions.
  • the normalized fluorescence intensity calculation unit 76, the fluorescence image generation unit 77, and the structure enhancement unit 78 are the same as those in the first embodiment.
  • the reference area setting unit 404 acquires image signals of B, G, and R colors via the image processing switching unit 51. Then, using these image signals, an area colored in a specific color (or an area not colored by a colorant) is set as a reference area.
  • the region-of-interest setting unit 405 acquires image signals of B, G, and R colors through the image processing switching unit 51, and uses these image signals to color a specific color different from the reference region. The set region (or the region not colored by the colorant) is set as the region of interest.
  • the region-of-interest setting unit 405 specifies the pH from one of the image signals 409R, 409G, and 409B of each color, or a combination thereof.
  • the acidic region 410 that is less than or equal to the value is extracted based on the color by the pH indicator and set as the region of interest.
  • the reference area setting unit 404 extracts a neutral area (or alkaline area) 411 whose pH is equal to or higher than a specific value based on the color of the pH indicator, and sets it as a reference area.
  • the use of a pH indicator makes it possible to set the cancer tissue as a region of interest and the normal tissue as a reference region.
  • the fluorescence observation apparatus 400 can also generate and display the fluorescence image 420 in which the region of interest is pseudo-colored based on the normalized fluorescence intensity.
  • indigo carmine indigo carmine, toluidine blue, methylene blue, Lugol's solution, crystal violet, fluorestin, acridine orange, indocyanine green, or acetic acid can be used as the colorant.
  • these colorants including a pH indicator may be used in combination.
  • the light source unit 12 of the fluorescence observation apparatus 400 supplies the specimen 11 that is at least partially colored with the colorant to the illumination light that can identify the color of the colorant and the excitation light that causes the fluorescence FL to be emitted. If it is possible to irradiate, the configuration is arbitrary.
  • the fluorescence observation apparatus 400 automatically sets the reference region and the region of interest, but these may be set manually. In this case, a color image that can identify the color by the colorant is generated and displayed, and the user observes the coloring of the specimen 11 by the colorant and designates the reference region and the region of interest by the operation unit 56.
  • the control unit 55 of the fluorescence observation apparatus 400 irradiates excitation light before the specimen 11 is colored with the colorant, images the specimen, outputs the fluorescent image signal SFL from the image sensor 34, and the colorant It is preferable to perform imaging control so that the illumination light of each color of R, G, and B is irradiated after being administered to the specimen 11 and the image signal of each corresponding color is output. In this way, even when the colorant color and the fluorescence FL wavelength region overlap (or partially overlap), the specimen 11 can be fluorescence-observed without being disturbed by the colorant color.
  • the configurations of the fluorescence observation apparatuses of the first to fourth embodiments can be implemented in an endoscope system.
  • the endoscope system 510 includes an endoscope 512, a light source device 514, a processor device 516, a monitor 518, and a console 520.
  • the endoscope 512 is optically connected to the light source device 514 and at the same time electrically connected to the processor device 516.
  • the endoscope 512 includes an insertion portion 521 to be inserted into a specimen, an operation portion 522 provided at a proximal end portion of the insertion portion 521, a bending portion 523 and a distal end portion 524 provided on the distal end side of the insertion portion 521. have.
  • the angle knob 522a of the operation unit 522 By operating the angle knob 522a of the operation unit 522, the bending unit 523 performs a bending operation. With this bending operation, the distal end portion 524 is directed in a desired direction.
  • the insertion portion 521 is provided with a forceps channel 521a for inserting a treatment tool such as forceps.
  • the operation unit 522 is provided with a mode switch SW (mode switch) 522b and a zoom operation unit 522c in addition to the angle knob 522a.
  • the mode switching SW 522b is used for a switching operation between two types of modes, a normal observation mode and a special observation mode.
  • the processor device 516 is electrically connected to the monitor 518 and the console 520.
  • the monitor 518 displays a normal observation image, a fluorescence image, and information related to these images (hereinafter referred to as image information or the like).
  • the console 520 functions as a UI (user interface) that receives input operations such as function settings.
  • a recording unit (not shown) for recording image information or the like may be connected to the processor device 16.
  • the light source unit 12 of the fluorescence observation apparatus 10 according to the first embodiment can be provided on the light source unit 514 and the tip end part 524.
  • the imaging unit 13 can be provided in the endoscope 512
  • each unit of the processor unit 14 can be provided in the processor device 516.
  • the colorant administration unit 401 is a treatment instrument that is used by being inserted into the forceps channel.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

検体の個体差によらず、定量的な診断等を行うことができる蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法を提供する。蛍光観察装置10は、酸素飽和度算出部73と、参照領域設定部74と、関心領域設定部75と、規格化蛍光強度算出部76と、蛍光画像生成部77と、を備える。酸素飽和度算出部73は、検体の酸素飽和度を画素毎に算出する。参照領域設定部74は、酸素飽和度に基づいて検体の参照領域を設定する。関心領域設定部75は、検体の関心領域を設定する。規格化蛍光強度算出部76は、蛍光で検体を撮像して得た蛍光画像信号の参照領域の画素値を用いて算出される基準蛍光強度で、関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、蛍光の規格化された発光強度を表す規格化蛍光強度を算出する。蛍光画像生成部77は、規格化蛍光強度に基づいて蛍光画像を生成する。

Description

蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
 本発明は、蛍光を利用して検体を観察する蛍光観察装置、内視鏡システム及びプロセッサ装置、並びに作動方法に関する。
 医療分野においては、検体に含まれる自家蛍光物質または検体に投与された蛍光薬剤を励起して蛍光を発光させるための励起光を検体に照射する励起光光源と、自家蛍光物質または蛍光薬剤が発した蛍光により検体を撮像するイメージセンサと、イメージセンサが出力する蛍光による画像信号(以下、蛍光画像信号という)に基づいて、検体から発せられた蛍光の強度分布を反映した蛍光画像を生成する画像処理装置と、を備える蛍光観察装置が知られている。自家蛍光物質または蛍光薬剤が発する蛍光の強度は、検体の病状または薬剤による治療効果等と密接に関連しているため、蛍光観察装置は例えば病理診断または薬剤開発等に用いられる。また、蛍光画像に基づいてリアルタイムな診断を行うために、光源装置、内視鏡、プロセッサ装置等からなる内視鏡システムが、蛍光観察装置の構成を備えている場合もある(特許文献1および2)。
 また、近年においては、血中ヘモグロビンの酸素飽和度を用いた診断が行われつつある。血中ヘモグロビンの酸素飽和度は、例えば、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる波長帯域の光(以下、信号光という)を検体に照射することにより、その反射強度に基づいて算出される(特許文献3)。
国際公開第2011/099425号パンフレット 国際公開第2013/035450号パンフレット 特開2012-213550号公報
 自家蛍光物質または蛍光薬剤が発する蛍光は病状等と一定の相関はあるが、検体によって発光強度が異なる。すなわち、蛍光の発光強度は検体の個体差による影響が大きく、蛍光観察をする場合には定量的な診断が難しいという問題がある。例えば、特許文献2では、蛍光強度に基づいて、病変等がある領域(以下、関心領域という)を抽出しているが、蛍光強度には個体差があるので、関心領域を正しく指定することができない場合がある。
 特許文献1では、こうした個体差による影響を除くために、蛍光強度と検体の病状との対応関係を表す標準データを予め用意しておき、この標準データとの比較により、検体の病状を判定している。このように標準データを用いれば、標準データに対する違いが比較的少ない検体では、関心領域の指定や診断の正確性が向上する可能性はあるが、標準データに対する違いが大きい検体では、その個体差による影響を除去しきれず、誤った診断が行われてしまう可能性が高い。すなわち、標準データとの比較では、検体の個体差が診断に与える影響を除去しきれない。
 本発明は、検体の個体差によらず、定量的な診断等を行うことができる蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法を提供することを目的とする。
 本発明の蛍光観察装置は、信号光光源と、励起光光源と、イメージセンサと、酸素飽和度算出部と、参照領域設定部と、関心領域設定部と、規格化蛍光強度算出部と、蛍光画像生成部と、を備える。信号光光源は、血中ヘモグロビンの酸素飽和度によって吸光係数が変化する波長帯域を有する信号光を検体に照射する。励起光光源は、検体に含まれる蛍光物質を励起して蛍光を発光させるための励起光を検体に照射する。イメージセンサは、信号光により検体を撮像して第1画像信号を出力し、かつ、蛍光により検体を撮像して第2画像信号を出力する。酸素飽和度算出部は、第1画像信号に基づいて検体の酸素飽和度を画素毎に算出する。参照領域設定部は、酸素飽和度に基づいて検体の参照領域を設定する。関心領域設定部は、検体の関心領域を設定する。規格化蛍光強度算出部は、第2画像信号の参照領域の画素値を用いて算出される基準蛍光強度で、第2画像信号の関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、蛍光の規格化された発光強度を表す規格化蛍光強度を算出する。蛍光画像生成部は、規格化蛍光強度に基づいて関心領域を疑似カラー化した蛍光画像を生成する。
 関心領域設定部は、例えば、酸素飽和度に基づいて関心領域を設定する。関心領域設定部は、検体の形態情報に基づいて関心領域を設定しても良い。また、参照領域設定部は、例えば、酸素飽和度が特定範囲に含まれる領域を参照領域に設定する。
 同一の検体を二以上の異なる時刻に撮像して得た複数の蛍光画像を時系列に表示する表示部を備えることが好ましい。
 同一の検体を二以上の異なる時刻に撮像する場合、規格化蛍光強度算出部は、特定時刻の撮像時に設定された関心領域と、各撮像時に設定される参照領域とを用いて規格化蛍光強度を算出することが好ましい。
 本発明の別の蛍光観察装置は、照明光源と、励起光光源と、イメージセンサと、参照領域設定部と、関心領域設定部と、規格化蛍光強度算出部と、蛍光画像生成部と、を備える。照明光源は、着色剤によって少なくとも一部が着色された検体に、着色剤による色を識別可能な照明光を検体に照射する。励起光光源は、検体に含まれる蛍光物質を励起して蛍光を発生させるための励起光を検体に照射する。イメージセンサは、照明光により検体を撮像して第1画像信号を出力し、かつ、蛍光により検体を撮像して第2画像信号を出力する。参照領域設定部は、着色剤による色に応じて参照領域に設定する。関心領域設定部は、検体の関心領域を設定する。規格化蛍光強度算出部は、第2画像信号の参照領域の画素値を用いて算出される基準蛍光強度で、第2画像信号の関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、蛍光の規格化された発光強度を表す規格化蛍光強度を算出する。蛍光画像生成部は、規格化蛍光強度に基づいて関心領域を疑似カラー化した蛍光画像を生成する。
 関心領域設定部は、着色剤による色に応じて関心領域を設定する。着色剤は、例えば、検体のpHによって変化するpH指示薬である。着色剤としてpH指示薬を用いる場合、参照領域設定部は、pHが特定値以上の領域を参照領域に設定する。
 また、着色剤として、インジゴカルミン、トルイジンブルー、メチレンブルー、ルゴール氏液、クリスタルバイオレット、フルオレスチン、アクリジンオレンジ、インドシアニングリーン、または酢酸のうち少なくとも一つを含むものを用いることができる。
 イメージセンサは、着色剤が検体に投与される前に蛍光により検体を撮像して第2画像信号を出力し、着色剤が検体に投与された後に照明光により検体を撮像して前記第1画像信号を出力しても良い。
 本発明の内視鏡システムは、信号光光源と、励起光光源と、イメージセンサと、酸素飽和度算出部と、参照領域設定部と、関心領域設定部と、規格化蛍光強度算出部と、蛍光画像生成部と、を備える。信号光光源は、血中ヘモグロビンの酸素飽和度によって吸光係数が変化する波長帯域を有する信号光を検体に照射する。励起光光源は、検体に含まれる蛍光物質を励起して蛍光を発光させるための励起光を検体に照射する。イメージセンサは、信号光により検体を撮像して第1画像信号を出力し、かつ、蛍光により検体を撮像して第2画像信号を出力する。酸素飽和度算出部は、第1画像信号に基づいて検体の酸素飽和度を画素毎に算出する。参照領域設定部は、酸素飽和度に基づいて検体の参照領域を設定する。関心領域設定部は、検体の関心領域を設定する。規格化蛍光強度算出部は、第2画像信号の参照領域の画素値を用いて算出される基準蛍光強度で、第2画像信号の関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、蛍光の規格化された発光強度を表す規格化蛍光強度を算出する。蛍光画像生成部は、規格化蛍光強度に基づいて関心領域を疑似カラー化した蛍光画像を生成する。
 本発明のプロセッサ装置は、信号光光源と、励起光光源と、イメージセンサとを備える内視鏡システムのプロセッサ装置であり、酸素飽和度算出部と、参照領域設定部と、関心領域設定部と、規格化蛍光強度算出部と、蛍光画像生成部と、を備える。信号光光源は、血中ヘモグロビンの酸素飽和度によって吸光係数が変化する波長帯域を有する信号光を検体に照射する。励起光光源は、検体に含まれる蛍光物質を励起して蛍光を発光させるための励起光を検体に照射する。イメージセンサは、信号光により検体を撮像して第1画像信号を出力し、かつ、蛍光により検体を撮像して第2画像信号を出力する。酸素飽和度算出部は、第1画像信号に基づいて検体の酸素飽和度を画素毎に算出する。参照領域設定部は、酸素飽和度に基づいて検体の参照領域を設定する。関心領域設定部は、検体の関心領域を設定する。規格化蛍光強度算出部は、第2画像信号の参照領域の画素値を用いて算出される基準蛍光強度で、第2画像信号の関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、蛍光の規格化された発光強度を表す規格化蛍光強度を算出する。蛍光画像生成部は、規格化蛍光強度に基づいて関心領域を疑似カラー化した蛍光画像を生成する。
 本発明の作動方法は、信号光光源と、励起光光源と、イメージセンサと、を備える装置の作動方法であり、酸素飽和度算出ステップと、参照領域設定ステップと、関心領域設定ステップと、規格化蛍光強度算出ステップと、蛍光画像生成ステップと、を備える。信号光光源は、血中ヘモグロビンの酸素飽和度によって吸光係数が変化する波長帯域を有する信号光を検体に照射する。励起光光源は、検体に含まれる蛍光物質を励起して蛍光を発光させるための励起光を検体に照射する。イメージセンサは、信号光により検体を撮像して第1画像信号を出力し、かつ、蛍光により検体を撮像して第2画像信号を出力する。酸素飽和度算出ステップは、第1画像信号に基づいて検体の酸素飽和度を画素毎に算出する。参照領域設定ステップは、酸素飽和度に基づいて検体の参照領域を設定する。関心領域設定ステップは、検体の関心領域を設定する。規格化蛍光強度算出ステップは、第2画像信号の参照領域の画素値を用いて算出される基準蛍光強度で、第2画像信号の関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、蛍光の規格化された発光強度を表す規格化蛍光強度を算出する。蛍光画像生成ステップは、規格化蛍光強度に基づいて関心領域を疑似カラー化した蛍光画像を生成する。
 本発明の蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法によれば、検体の個体差によらず、定量的な診断等を行うことができる。
蛍光観察装置のブロック図である。 回転フィルタを示す説明図である。 ニコチンアミドアデニンジヌクレオチドの吸収及び発光スペクトルを示すグラフである。 励起光及び励起光カットフィルタのスペクトルを示すグラフである。 通常観察モード時の撮像制御を示す説明図である。 特殊観察モード時の撮像制御を示す説明図である。 信号比と酸素飽和度の相関関係を示すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 酸素飽和度を算出する方法を示す説明図である。 蛍光観察装置の作用を示すフローチャートである。 参照領域及び関心領域と、蛍光画像を示す説明図である。 第2実施形態の特殊観察用画像処理部を示すブロック図である。 変形例の特殊観察用画像処理部を示すブロック図である。 変形例の作用を示す説明図である。 別の変形例の特殊観察用画像処理部を示すブロック図である。 第3実施形態の特殊観察用画像処理部を示すブロック図である。 第3実施形態のモニタ表示を示す説明図である。 変形例のブロック図である。 第4実施形態の蛍光観察装置のブロック図である。 第4実施形態で用いる回転フィルタを示す説明図である。 第4実施形態の作用を示す説明図である。 内視鏡システムの外観図である。 第1実施形態の蛍光観察装置に対応する内視鏡システムのブロック図である。 第4実施形態の蛍光観察装置に対応する内視鏡システムのブロック図である。
[第1実施形態]
 図1に示すように、蛍光観察装置10は、蛍光によって検体11を観察するための装置であり、光源部12と、撮像部13と、プロセッサ部14と、モニタ15を備える。検体11は、ヒトやマウス等の動物の全体あるいはその一部(動物から切り出した標本や細胞等)であり、外光を遮蔽する暗箱16内に配置される。
 光源部12は、広帯域光源21、回転フィルタ22、および励起光光源23を備える。広帯域光源21は、例えばキセノンランプ等のハロゲンランプ、白色LED等のLEDからなり、波長帯域が青色から赤色に及ぶ白色光を発する。広帯域光源21が発する白色光は、回転フィルタ22を通過した後、集光レンズ、光ファイバ、合波器等の光学部材(いずれも図示せず)を介してライトガイド(LG)26に入射し、暗箱16内に導光され、照明レンズ27を介して検体11に一様に照射される。
 回転フィルタ22は、広帯域光源21からライトガイド26に入射する白色光の光路上に設けられ、イメージセンサ34による撮像のフレームレートに同期して回転される。蛍光観察装置10は、観察モードとして通常のカラー画像で検体11を観察する通常観察モードと蛍光の発光強度に基づいて生成する蛍光画像によって検体11を観察する特殊観察モードの二つの観察モードを有している。回転フィルタ22は、これらの各モードに対応して、図2に示すように通常観察モード用フィルタ22aと特殊観察用フィルタ22bを有している。
 通常観察用フィルタ22aは、例えば回転フィルタ22の内周部に設けられ、380~560nmの分光透過率を有する青色フィルタ(B)、450~630nmの分光透過率を有する緑色フィルタ(G)、580~760nmの分光透過率を有する赤色フィルタ(R)を備える。したがって、通常観察用フィルタ22aが白色光の光路上に配置された場合、B,G,およびRの各色の光が検体11に順に照射される。
 特殊観察用フィルタ22bは、例えば回転フィルタ22の外周部に設けられ、473±10nmの青色狭帯域光を透過する狭帯域フィルタ、450~630nmの分光透過率を有する緑色フィルタ(G)、580~760nmの分光透過率を有する赤色フィルタ(R)、および全波長帯域を遮光する遮光部を備える。したがって、特殊観察用フィルタ22bが白色光の光路上に配置された場合、青色狭帯域光、G光,およびR光が順に検体11に照射され、その後白色光は遮光される。
 なお、青色狭帯域光は検体11の血液に含まれるヘモグロビン(血中ヘモグロビン)の酸素飽和度によって吸光係数が変化する波長帯域を有しており、この青色狭帯域光の反射光で検体11を撮像して得られる画像信号は、検体11の酸素飽和度の算出に利用される。このため、青色狭帯域光は、酸素飽和度を算出するための信号光であり、青色狭帯域光を検体に照射するための広帯域光源21及び回転フィルタ22は信号光光源を構成する。
 励起光光源23は、例えば340±10nmの狭帯域な紫外光を検体11に照射するためのLED(Light Emitting Diode)であり、励起光光源23が発した紫外光は、集光レンズ、光ファイバ、合波器等の光学部材を介してライトガイド(LG)26に入射し、暗箱16内に導光され、照明レンズ27を介して検体11に一様に照射される。励起光光源23は、特殊観察用フィルタ22bの遮光部によって広帯域光源21が発する白色光が遮られるタイミングに同期して点灯され、検体11に励起光を照射する。
 図3に示すように、励起光光源23が発する紫外光は、還元型のニコチンアミドアデニンジヌクレオチド(NADH)に吸収される波長帯域(符号AB参照)を有しており、NADHを励起して、460nm近傍にピークを有する概ね青白色の蛍光FLを発光させる。すなわち、励起光光源23が発する紫外光はNADHから蛍光FLを発光させるための励起光である。
 なお、ニコチンアミドアデニンジヌクレオチドは、脱水素酵素の補酵素として機能する電子伝達体であり、検体11に自然に含まれている。また、還元型のニコチンアミドアデニンジヌクレオチド(NADH)は、上記のように励起光光源23が発する励起光の照射によって自家蛍光を発光するが、酸化型のニコチンアミドアデニンジヌクレオチド(NAD)は、励起光光源23が発する紫外光を殆ど吸収しない。このため、蛍光観察装置10では、例えば癌細胞のように、NADHが高濃度で存在する組織を蛍光FLにより観察することができる。
 撮像部13は、撮像レンズ31、ズームレンズ32、励起光カットフィルタ33、およびイメージセンサ34を有し、暗箱16内で検体11を撮像する。
 検体11からの反射光RL、あるいは検体11から発せられた蛍光FLは、撮像レンズ31、ズームレンズ32、および励起光カットフィルタ33を介してイメージセンサ34に入射する。これにより、イメージセンサ34に検体11の反射像、あるいは検体11の蛍光像が結像される。ズームレンズ32は、テレ端とワイド端との間で移動自在に設けられており、イメージセンサ34に結像される検体11の像を拡大または縮小する。
 図4に示すように、励起光カットフィルタ33は、例えば400nm以下の波長帯域の光をカットし、400nm以上の波長帯域の光を透過する光学フィルタである。すなわち、励起光カットフィルタ33は、励起光光源23が検体11に照射する励起光EXの反射光をカットし、NADHが発する蛍光FLを透過する。このため、励起光EXを検体11に照射した場合、検体11が発光した蛍光FLによる像がイメージセンサ34に結像される。
 また、励起光カットフィルタ33は、広帯域光源21と回転フィルタ22によって検体11に照射されるGおよびRの各波長帯域の光、及び青色狭帯域光(473nm)を透過し、Bの波長帯域の光も検体11の観察に支障がない程度にほぼ透過する。このため、励起光カットフィルタ33が配置されていてもイメージセンサ34は、B,G,およびRの各色の反射光や、青色狭帯域光の反射光によって検体11を撮像することができる。
 イメージセンサ34は、検体11の像を複数の画素でそれぞれ光電変換することにより検体11を撮像し、画像信号をプロセッサ部14に出力する。イメージセンサ34は、例えばCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサである。また、イメージセンサ34は、カラーフィルタが設けられていないモノクロのセンサである。
 イメージセンサ34の1フレーム期間は、検体11からの反射光を光電変換して電化を蓄積する蓄積期間と、蓄積した電化を読み出して画像信号を出力する読出期間とからなる。また、イメージセンサ34による撮像は、回転フィルタ22の回転と同期して行われる。図5に示すように、通常観察モード時には、1フレーム期間毎にB,G,およびRの各色の光が検体11に順次照射される。このため、イメージセンサ34は、1フレーム目にはBの反射光で検体11を撮像してB画像信号を出力し、2フレーム目にはGの反射光で検体11を撮像してG画像信号を出力する。そして、3フレーム目にはRの反射光で検体11を撮像してR画像信号を出力する。
 また、図6に示すように、特殊観察モード時には、1フレーム期間毎に青色狭帯域光,G,R,および励起光が検体11に順次照射される。このため、イメージセンサ34は、1フレーム目には青色狭帯域光の反射光で検体11を撮像してB473画像信号を出力する。また、2フレーム目及び3フレーム目には、GおよびRの反射光で検体11を撮像し、G画像信号およびR画像信号をそれぞれ出力する。4フレーム目には、広帯域光源21からの光は遮蔽されており、励起光だけが検体11に照射される。このため、撮像部13には励起光の反射光と、検体11が発光した蛍光FLが入射するが、励起光の反射光は励起光カットフィルタ33によってカットされるので、イメージセンサ34は蛍光FLだけで検体11を撮像し、蛍光画像信号SFLを出力する。
 プロセッサ部14は、画像処理切替部51、通常観察画像処理部52、特殊観察用画像処理部53、画像信号生成部54、制御部55、操作部56等を備えている。
 プロセッサ部14は、イメージセンサ34から出力される画像信号を受信する受信部(図示しない)を備えている。受信部は、DSP(Digital Signal Processor)やノイズ除去部等からなる。DSPは、受信した画像信号に対して色補正処理等のデジタル信号処理を行う。ノイズ除去部は、DSPで色補正処理等が施された画像信号に対して、例えば移動平均法やメディアンフィルタ法等によるノイズ除去処理を施す。こうしてノイズが除去された画像信号が、画像処理切替部51に入力される。
 画像処理切替部51は、通常観察モードに設定されている場合には、画像信号を通常観察用画像処理部52に入力する。一方、特殊観察モードに設定されている場合、画像処理切替部51は、画像信号を特殊観察用画像処理部53に入力する。観察モードの設定は、例えば操作部56を用いた設定入力により行われる。
 通常観察用画像処理部52は、色変換部61、色彩強調部62、および構造強調部63を有する。色変換部61は、順に入力されるRGB各色の光の反射光で得られた各画像信号を、それぞれR画素、G画素、B画素に割り当てたRGB画像データを生成する。そして、RGB画像データに対して、さらに3×3のマトリックス処理、階調変換処理、3次元LUT処理等の色変換処理を施す。
 色彩強調部62は、色変換処理済みのRGB画像データに対して、各種色彩強調処理を施す。構造強調部63は、色彩強調処理済みのRGB画像データに対して、空間周波数強調等の構造強調処理を施す。構造強調部72で構造強調処理が施されたRGB画像データは、通常観察画像として表示用画像信号生成部54に入力される。
 特殊観察用画像処理部53は、信号比算出部71、相関関係記憶部72、酸素飽和度算出部73、参照領域設定部74、関心領域設定部75、規格化蛍光強度算出部76、蛍光画像生成部77、および構造強調部78を備える。
 信号比算出部71は、酸素飽和度の算出に用いる画像信号の信号比を算出する。具体的には、信号比算出部71は、B473画像信号とG画像信号の信号比B473/Gと、R画像信号とG画像信号の信号比R/Gとを、それぞれ画素毎に算出する。
 相関関係記憶部72は、信号比算出部71が算出する信号比B473/G及びR/Gと、酸素飽和度との相関関係を記憶している。例えば、図7に示すように、相関関係記憶部72は、信号比B473/G及びR/Gと、酸素飽和度との相関関係を二次元空間上に等値線で定義した2次元テーブルの形式で記憶している。等値線の位置及び形状は、光散乱の物理的なシミュレーションによって予め得られる。各等値線の間隔は、血液量(信号比R/G)に応じて変化する。なお、本実施形態では信号比B473/G及びR/Gと、酸素飽和度との相関関係はlogスケールで記憶している。
 上記相関関係は、図8に示すように、酸化ヘモグロビン(グラフ86)や還元ヘモグロビン(グラフ87)の吸光特性や光散乱特性と密接に関連し合っている。例えば、青色狭帯域光の中心波長473nmのように、酸化ヘモグロビンと還元ヘモグロビンの吸光係数の差が大きい波長では、酸素飽和度の情報を取り扱いやすい。しかしながら、青色狭帯域光の中心波長473nmで撮像して得たB473画像信号は、酸素飽和度だけでなく、血液量にも依存度が高い。そこで、B473画像信号に加え、主として血液量に依存して変化する光に対応するR画像信号と、B473画像信号とR画像信号のリファレンス信号となるG画像信号から得られる信号比B473/G及び信号比R/Gを用いることで血液量に依存することなく、酸素飽和度を正確に求めることができるようになっている。
 酸素飽和度算出部73は、相関関係記憶部72に記憶された相関関係を参照して、信号比算出部71で求めた信号比B473/G及び信号比R/Gに対応する酸素飽和度を画素毎に算出する。例えば、図9に示すように、所定画素の信号比B473 /G及び信号比R/Gである場合、信号比B473 /G及び信号比R/Gに対応する酸素飽和度は「60%」と算出される。
 なお、信号比B473/G及び信号比R/Gが極めて大きくなったり、逆に極めて小さい値になったりすることはほとんどない。すなわち、信号比B473/Gや信号比R/Gの値が、酸素飽和度0%の下限ライン88を上回ったり、反対に酸素飽和度100%の上限ライン89を下回ったりすることはほとんどない。但し、算出する酸素飽和度が下限ライン88を上回ってしまった場合には酸素飽和度算出部73は酸素飽和度を0%とし、上限ライン89を下回ってしまった場合には酸素飽和度を100%とする。また、信号比B473/G及び信号比R/Gに対応する点が下限ライン88と上限ライン89の間から外れた場合には、その画素における酸素飽和度の信頼度が低いことが分かるように表示等をしても良い。
 参照領域設定部74は、酸素飽和度に基づいて検体11の参照領域を設定する。具体的には、参照領域設定部74は、酸素飽和度が正常な範囲に収まる領域を特定して参照領域に設定する。正常な範囲とは、癌等の病変ではない正常な組織が取り得る酸素飽和度の範囲であり、例えば70~80%の範囲である。すなわち、参照領域設定部74は、酸素飽和度に基づき、正常な組織がある領域を参照領域に設定する。正常な組織が取り得る酸素飽和度の範囲には検体11による個体差は殆ど無いので、参照領域設定部74は、酸素飽和度を利用することで正常な組織のある領域を正確に特定して参照領域に設定することができる。正常組織が発光する蛍光FLの光量は、異なる検体間で比較すれば個体差によって全く異なる値になる場合がある。しかし、同一の検体11内の異なる組織間(例えば正常組織と癌組織)で比較する場合には、正常組織が発光する蛍光FLの光量は、この検体11に特有の良い基準になる。
 関心領域設定部75は、酸素飽和度に基づいて検体11の関心領域を設定する。具体的には、関心領域設定部75は、酸素飽和度が正常な範囲から所定値以上外れた異常な値になっている領域を特定して関心領域に設定する。酸素飽和度の正常な範囲は上記の通り検体11による個体差がなく、70~80%程度の範囲なので、関心領域設定部75は、例えば、酸素飽和度が10%以上低い領域(60%以下の領域)を関心領域に設定する。例えば、癌組織は低酸素状態になるので、癌組織が関心領域設定部75によって関心領域に設定される。
 規格化蛍光強度算出部76は、正常組織による蛍光FLの発光強度に基づいて、酸素飽和度に異常がある病変組織による蛍光FLの発光強度を規格化する。具体的には、規格化蛍光強度算出部76は、蛍光画像信号SFLから、設定された参照領域にある各画素の画素値(すなわち蛍光FLの発光強度)を抽出して平均値を算出し、その値を検体11による蛍光FLの基準蛍光強度とする。この蛍光FLの基準蛍光強度は、NADHの正常な含有量に対応しており、検体11を特徴付ける固有の値である。また、規格化蛍光強度算出部76は、蛍光画像信号SFLから、設定された関心領域にある各画素の画素値を抽出して平均値を算出し、その値を関心領域での蛍光FLの発光強度(以下、関心領域蛍光強度という)とする。そして、規格化蛍光強度算出部76は、関心領域蛍光強度を基準蛍光強度で割ることにより規格化する。この値を、以下、規格化蛍光強度という。
 蛍光画像生成部77は、B473画像信号,G画像信号,R画像信号と、規格化蛍光強度算出部76が算出した規格化蛍光強度を用いて、蛍光FLの発光強度を視覚的に表す蛍光画像を生成する。具体的には、蛍光画像生成部77は、B473画像信号の関心領域内にある各画素の画素値に規格化蛍光強度に応じたゲインを施し、ゲインを施したB473画像信号と、G画像信号及びR画像信号とを用いてRGB画像データを生成する。このゲインを施したB473画像信号と、G画像信号及びR画像信号とを用いて生成したRGB画像データが蛍光画像である。例えば、蛍光画像生成部77は、B473画像信号の関心領域内にある各画素の画素値に、規格化蛍光強度の値(あるいは規格化蛍光強度を適数倍した値)をゲインとして乗じる。これにより、蛍光画像生成部77が生成するRGB画像データでは、関心領域が規格化蛍光強度に応じた濃さの青色に着色された疑似カラーで表示され、関心領域以外は通常の配色(白色光下で観察した場合の色)で表示される。
 なお、蛍光画像生成部77は、規格化蛍光強度を用いて関心領域の全体が一様に着色された蛍光画像を生成しているが、こうした疑似カラー化は画素毎に行っても良い。例えば、規格化蛍光強度算出部76には、算出した基準蛍光強度で蛍光画像信号SFLの各画素値を除算して規格化し、規格化蛍光画像信号NFLを生成させる。規格化蛍光画像信号NFLは、各画素の規格化蛍光強度の集合体である。そして、蛍光画像生成部77には、規格化蛍光画像信号NFLの各画素値をB473画像信号の各画素にゲインとして乗じ、この規格化蛍光画像信号NFLを乗じたB473画像信号と、G画像信号及びR画像信号を用いて蛍光画像を生成させる。こうすると、蛍光画像の各画素は、規格化された発光強度に基づいて疑似カラー化されるので、蛍光FLの発光分布をより詳細に観察することができる。もちろん、このように規格化蛍光画像信号NFLを用いる場合も、関心領域だけを疑似カラー化して良い。関心領域における蛍光FLの発光強度だけが診断に寄与する情報であり、関心領域以外の蛍光FLの発光強度は、診断のノイズになる場合があるからである。但し、規格化蛍光強度を用いて関心領域の全体が一様に着色された蛍光画像を生成すると、関心領域を識別しやすい。このため、関心領域をわかりやすく提示するためには、規格化蛍光強度を用いて関心領域の全体が一様に着色された蛍光画像を生成した方が良い。
 構造強調部78は、蛍光画像生成部77から入力される蛍光画像に対して、空間周波数強調処理等の構造強調処理を施す。構造強調部78で構造強調処理が施された蛍光画像は、表示用画像信号生成部54に入力される。
 表示用画像信号生成部54は、通常観察画像または蛍光画像を表示用形式の信号(表示用画像信号)に変換し、モニタ15に入力する。これにより、モニタ15には、通常画像または蛍光画像が表示される。
 制御部55は、蛍光観察装置10の各部を統括的に制御する。例えば、回転フィルタ22の位置(通常観察モード用フィルタ22aと特殊観察用フィルタ22bの入れ替え)や回転速度の制御、イメージセンサ34の撮像制御、画像処理切替部51による画像処理の切り替え制御、操作部56による入力に基づいたズームレンズ32の制御等を行う。また、操作部56は、機能設定等の入力操作を受け付けるUI(ユーザインタフェース)である。なお、プロセッサ部14には、画像や画像に付帯する情報等を記録する記録部(図示省略)を接続しても良い。
 次に、本実施形態の蛍光観察装置10による観察の流れを図10のフローチャートに沿って説明する。まず、通常観察モードに設定されている場合(S10;NO)、検体11にはB,G,Rの各色の光が順に照射され、イメージセンサ34はこれらの各反射光で検体11を撮像し、B画像信号,G画像信号,R画像信号を出力する。そして、B画像信号,G画像信号,R画像信号から通常観察画像が生成され(S11)、モニタ15に表示される(S12)。この通常観察画像の生成及び表示は、観察モードが特殊観察モードに切り替えられるまで繰り返し行われる(S13)。
 一方、観察モードが特殊観察モードに設定された場合(S10;YES)、検体11には、青色狭帯域光、G光、R光、および励起光EXが順に照射され、イメージセンサ34はこれらの反射光または検体11から発せられる蛍光FLによって検体11を撮像し、B473画像信号、G画像信号、R画像信号、および蛍光画像信号SFLを出力する。イメージセンサ34からこれらの画像信号が得られると、信号比算出部71は、信号比B473/Gと信号比R/Gを算出し(S14)、酸素飽和度算出部73は、図11に示すように、信号比B473/Gと信号比R/Gに基づいて検体11の酸素飽和度91を画素毎に算出する(S15)。酸素飽和度91が算出されると、参照領域設定部74は、酸素飽和度の値が特定の範囲に収まる領域を特定して、検体11の参照領域92(図11参照)を設定する(S16)。また、関心領域設定部75は、酸素飽和度91を用いて、上記特定の範囲から所定値以上外れた異常な値になっている領域を特定し、検体11の関心領域93(図11参照)を設定する(S17)。
 こうして検体11の参照領域92及び関心領域93が設定されると、規格化蛍光強度算出部76は蛍光画像信号SFLから参照領域92の画素値を抽出して平均値を算出することにより、基準蛍光強度を求める。また、規格化蛍光強度算出部76は、関心領域93内の画素値を抽出して平均値を算出することにより、関心領域蛍光強度を求める。そして、関心領域蛍光強度を基準蛍光強度で割ることにより規格化し、規格化蛍光強度を求める(S18)。
 次いで、蛍光画像生成部77は、規格化蛍光強度をB473画像信号の関心領域93内の各画素値にゲインとして乗じ、この規格化蛍光強度を乗じたB473画像信号と、G画像信号及びR画像信号とを用いて蛍光画像95(図11参照)を生成する(S19)。蛍光画像95は、関心領域93が規格化蛍光強度に応じて疑似カラー化された画像であり、関心領域93を示すと同時に、その色で関心領域93の発光強度を表す。
 生成された蛍光画像95は、モニタ15に順次表示される(S20)。こうした蛍光画像95の生成及び表示は、観察モードが通常観察モードに切り替えるか、検体11の観察を終了するまで繰り返し行われる(S21)。
 上記のように、蛍光観察装置10は、検体11の酸素飽和度91に基づいて参照領域92及び関心領域93を設定し、参照領域92における蛍光FLの発光強度から検体11に固有の基準蛍光強度を求める。そして、関心領域93の発光強度を表す関心領域蛍光強度を、基準蛍光強度を用いて規格化して算出した規格化蛍光強度に基づいて、関心領域93を疑似カラー化した蛍光画像95を生成及び表示する。このため、蛍光観察装置10は、他の検体との比較ではなく、この検体11なりに蛍光FLの発光強度(NADHの含有量)を疑似カラーで表示することができる。
 例えば、もともとNADHの含有量が多めの個体ならば、単に蛍光FLの発光強度が多くても、直ちに癌組織等の病変があるとは判断できず、逆にもともとNADHの含有量が少なめの個体ならば、蛍光FLの発光強度が少なくても、癌組織等の病変がある可能性がある。このため、従来の蛍光観察装置のように、標準データと比較する等、観察している検体11の蛍光FLの発光強度を他の検体と比較しても、観察している検体11に特有の異常性を正確に示すことができないが、蛍光観察装置10によれば、検体11の個体差によらず、病変を正確に表示可能である。
 また、蛍光FLの発光強度は、検体11の個体差の影響が大きいので、蛍光FLの発光強度から参照領域92や関心領域93を設定することは難しい。例えば、蛍光FLの発光強度を所定閾値と比較して、発光強度が多い領域を関心領域に設定すると、検体11がもともとNADHの含有量が多めの個体であった場合には、実際の病変組織よりも大きい領域が関心領域に設定されてしまう。一方、蛍光観察装置10は、検体11の個体差にほとんど依存しない酸素飽和度に基づいて参照領域92や関心領域93の設定を行っているので、参照領域92や関心領域93を正確に設定することができる。このため、蛍光観察装置10は、過不足なく、正確な病変の領域を関心領域93として蛍光画像95中に示すことができる。
 なお、蛍光観察装置10では、NADHの蛍光FLによって検体11を観察しているが、他の蛍光物質が発光する蛍光によって検体11を観察しても良い。例えば、FAD(フラビンアデニンジヌクレオチド)、チロシン、トリプトファン、フェニルアラニン、コラーゲン、ポルフィリン、エラスチン、メラニン、リポフスチン、セロイド、ピリドキシン、好酸球等の自家蛍光物質による蛍光で検体11を観察することができる。また、蛍光物質を検体11に投与、注入、あるいは散布(以下、投与という)して、その蛍光により検体11を観察しても良い。また、代謝系における酸素の利用に相関して含有量や活性が変動する非蛍光物質を、遺伝子操作等により蛍光物質に置換し、その蛍光により検体11を観察しても良い。このように、NADH以外の各蛍光物質による蛍光で検体11を観察する場合、励起光光源23や励起光カットフィルタ33を蛍光物質の種類に応じて置き換えれば良い。また、複数種類の蛍光物質による蛍光で検体11を観察できるようにしても良い。この場合、対応する励起光光源や励起光カットフィルタを設けておけば良い。
 なお、規格化蛍光強度算出部76は、蛍光画像信号SFLの参照領域及び関心領域の各画素値を平均して、その値を規格化に用いる基準蛍光強度と関心領域蛍光強度にしているが、平均値の代わりに、最大値、最小値、中央値等を基準蛍光強度及び関心領域蛍光強度として用いても良い。基準蛍光強度は平均で算出し、関心領域蛍光強度には最大値を採用するなど、基準蛍光強度と関心領域蛍光強度の算出方法を違えても良い。
 なお、広帯域光源31の代わりに、例えば、レーザーダイオード等のレーザー光源を用いても良い。レーザー光源を用いる場合、例えば、レーザー光源が発するレーザー光の一部を吸収して蛍光を発する蛍光体を併用することで広帯域光源31と同様に白色光を発することができる。また、例えば、R,G,BのLEDまたはレーザーダイオードを広帯域光源31の代わりに使用しても良い。この場合、回転フィルタ22は用いず、各色のLED等を順次点灯,消灯すれば良い。
 なお、励起光光源23にはLEDを用いているが、LEDの代わりに、水銀灯、メタルハライドランプ、紫外レーザーダイオード等を用いても良い。
 なお、回転フィルタ22の代わりに、干渉フィルタ、エタロン、液晶チューナブルフィルタ等を用いても良い。
 なお、イメージセンサ34としては、モノクロCCDまたはモノクロCMOSの代わりに、光電管、光電子倍増管等の光検出器を用いても良い。また、カラーフィルタを設けたカラーイメージセンサを用いても良い。イメージセンサ34としてカラーイメージセンサを用いる場合には、光源部12に回転フィルタ22を用いなくても良い。カラーイメージセンサを用いる場合、R,G,Bのカラーフィルタを設けた原色系カラーイメージセンサを用いることができる。また、C(シアン),M(マゼンタ),Y(イエロー)及びG(グリーン)の補色系カラーフィルタを備えた補色イメージセンサを用いても良い。補色イメージセンサを用いる場合は、CMYGの四色の画像信号からRGBの三色の画像信号に色変換する色変換部を設けておけば、CMYGの4色の画像信号から色変換によってRGB3色の画像信号を得ることができる。
 なお、広帯域光源21が発する白色光が遮られるタイミングで励起光光源23を点灯して励起光を照射しているが、蛍光FLはRGB各色の反射光の光量と比較して微弱であるため、励起光光源23を常時点灯して励起光を照射し続けても良い。
[第2実施形態]
 第1実施形態の蛍光観察装置10は、酸素飽和度に基づいて関心領域を設定しているが、酸素飽和度に依らない別の方法で関心領域の設定をしても良い。この場合、蛍光観察装置10の特殊観察用画像処理部53を、例えば図12に示す特殊観察用画像処理部203に置き換える。それ以外の構成は第1実施形態の蛍光観察装置10と同様である。
 特殊光観察画像処理部203は、狭帯域光画像生成部204と、および関心領域設定部205を備える。これら以外の、信号比算出部71、相関関係記憶部72、酸素飽和度算出部73、参照領域設定部74、規格化蛍光強度算出部76、蛍光画像生成部77、および構造強調部78は、第1実施形態の蛍光観察装置10の特殊観察用画像処理部53と同じである。
 狭帯域光画像生成部204は、画像処理切替部51を介してB473画像信号、G画像信号を取得し、例えばB473画像信号をB画素及びG画素に割り当て、G画像信号をR画素に割り当てた狭帯域光画像を生成する。狭帯域光画像では、青色狭帯域光の波長に応じて、表層血管や腺管構造等の検体11の形態情報が強調される。生成された狭帯域光画像は、表示用画像信号生成部54に入力され、モニタ15に表示される。
 ユーザはモニタ15に表示された狭帯域光画像を観察し、検体11の形態情報に基づいて関心領域を指定(入力)する。ユーザによる関心領域の指定は、操作部56によって行われる。例えば、ユーザは、狭帯域光画像で強調されている表層血管が密集した箇所を囲む枠等の関心領域指定情報を、操作部56を用いて入力する。関心領域設定部205は、操作部56から入力される関心領域指定情報に基づいて検体11の関心領域を設定する。
 こうして狭帯域光画像を生成及び表示し、検体11の形態情報に基づいてユーザの手動指定により関心領域を設定すると、蛍光画像においてユーザが所望する関心領域を的確に疑似カラーで表示させることができる。
 なお、狭帯域光画像を生成及び表示しているが、狭帯域光画像の代わりに、検体11の酸素飽和度を表す酸素飽和度画像を生成及び表示し、この酸素飽和度画像に基づいてユーザに関心領域を指定させても良い。この場合、狭帯域光画像生成部204の代わりに、酸素飽和度画像生成部(図示しない)を設ければ良い。酸素飽和度画像生成部は、酸素飽和度算出部73が算出した酸素飽和度と、B473画像信号、G画層信号、およびR画像信号とを取得し、酸素飽和度に応じたゲインをB473画像信号、G画層信号、およびR画像信号を施す。そして、この酸素飽和度に応じたゲインを施したB473画像信号、G画層信号、Rおよび画像信号をB,G,およびRの各画素に割り当てた酸素飽和度画像を生成する。例えば、酸素飽和度が「60%」未満の画素には、B473画像信号に「1」未満のゲインを乗じ、G及びR画像信号には「1」以上のゲインを乗じる。また、酸素飽和度が「60%」より大きい画素には、B473画像信号、G画層信号、R画像信号にゲイン「1」を乗じる。こうすることで、酸素飽和度が「60%」以下の領域が疑似カラー化され、強調された酸素飽和度画像が得られる。このため、酸素飽和度画像を生成及び表示することにより、酸素飽和度画像において擬似カラー化された領域を目安に、ユーザに関心領域を指定させることができる。
 また、B473画像信号、G画像信号、およびR画像信号を用いて通常観察画像と同様のカラー画像を生成及び表示し、これに基づいて関心領域を指定させても良い。B473画像信号、G画像信号、およびR画像信号を用いて任意の波長帯域成分を推定して生成した分光推定画像を生成及び表示し、これに基づいて関心領域を指定させても良い。
 また、酸素飽和度に依らない別の方法で関心領域の設定する場合、蛍光観察装置10の特殊観察用画像処理部53を、図13に示す特殊観察用画像処理部213に置き換えても良い。この特殊観察用画像処理部213では、狭帯域画像生成部204が生成する狭帯域光画像を関心領域設定部215に入力する。そして、関心領域設定部215は、入力された狭帯域光画像から、強調表示されている検体11の形態を抽出し、抽出した箇所を関心領域に自動設定する。例えば、図14に示すように、表層血管や腺管構造等の微細形態217は、通常観察画像217に表れ難い場合でも、狭帯域光画像219では確認可能である。このため、関心領域設定部215は、この強調された微細形態217の領域を抽出して、関心領域に設定する。これ以外の構成は、特殊観察用画像処理部203(図12参照)と同じである。このように、特殊観察用画像処理部213によれば、酸素飽和度に依らず、狭帯域光画像に表れる検体11の形態情報に基づいて、関心領域を自動的に設定可能である。
 なお、狭帯域光画像の代わりに、酸素飽和度画像や分光推定画像を用いても良い。通常観察画像と同様のカラー画像で所望の形態情報を確認可能な場合には、通常観察画像と同様のカラー画像から自動的に関心領域を設定しても良い。
 また、狭帯域光画像219に基づいて関心領域を自動設定する場合でも、狭帯域光画像219をモニタ15に表示させても良い。狭帯域光画像219をモニタ15に表示させておけば、ユーザが自動設定される関心領域を確認することができる。さらに、関心領域設定部215が自動設定する関心領域がユーザの所望する関心領域と一致しない場合には、特殊観察用画像処理部203の関心領域設定部205(図12参照)と同様にして、ユーザによって関心領域を指定できるようにしておいても良い。
 なお、特殊観察用画像処理部213では、関心領域設定部215は狭帯域光画像219だけに基づいて関心領域を自動設定しているが、過去の症例等に基づいて狭帯域光画像219から関心領域を抽出しても良い。例えば、図15に示すように、関心領域設定部215を過去の症例画像(狭帯域画像等)を記憶したデータベース220に接続しておく。そして、関心領域設定部215は、狭帯域光画像219と過去の症例画像とで検体11の形態情報をマッチングし、過去の症例の特徴的な形態情報に合致する領域を狭帯域光画像219から抽出し、これを関心領域に設定する。このように、過去の症例と照らし合わせて関心領域を設定すると、狭帯域光画像219で強調表示されていても病変との関連性が低い領域を関心領域に指定してしまう可能性を低減し、自動指定する関心領域の正確性を向上させることができる。
 なお、データベース220は、蛍光観察装置が内蔵していても良いし、蛍光観察装置の外部に設けられ、通信ネットワークを通じて接続されるものでも良い。また、ユーザに関心領域を指定させる場合(図12参照)も、データベース220を用いて過去の症例画像をモニタ15に表示させておけば、ユーザによる関心領域の指定を支援することができる。
[第3実施形態]
 第1実施形態の蛍光観察装置10は検体11をリアルタイムに観察しているが、さらに経時的な変化を示す情報(経時情報)をユーザに提示できるようにしても良い。この場合、第1実施形態の蛍光観察装置10の特殊観察用画像処理部53を、例えば図16に示す特殊観察用画像処理部303に置き換える。特殊観察用画像処理部303は、特殊観察用画像処理部53の規格化蛍光強度算出部76を規格化蛍光強度算出部306に置き換えたものであり、それ以外の構成は特殊観察用画像処理部53と同じである。以下、予め定められた初期撮像時刻T1から例えば所定時間ΔTおきの撮像時刻T1,T2,T3,…に検体11が撮像されるとする。
 規格化蛍光強度算出部306は、参照領域の蛍光強度で関心領域の蛍光強度を規格化した規格化蛍光強度を算出する。但し、規格化蛍光強度の算出方法が第1実施形態の規格化蛍光強度算出部76とは異なり、経時的にも規格化された規格化蛍光強度を算出する。具体的には、規格化蛍光強度算出部306は、検体11を撮像する毎に、設定された参照領域に基づいて基準蛍光強度を算出する。これは、第1実施形態の規格化蛍光強度算出部76と同様である。すなわち、規格化蛍光強度算出部306は、各撮像時刻に得られた蛍光画像信号SFLから、各撮像時刻にそれぞれ設定された参照領域内にある画素の画素値を抽出し、その平均により、各撮像時刻の基準蛍光強度を求める。
 一方、規格化蛍光強度算出部306は関心領域蛍光強度を算出するが、その算出方法は規格化蛍光強度算出部76と異なっている。具体的には、規格化蛍光強度算出部76は各撮像時刻にそれぞれ設定される関心領域の画素値を抽出して関心領域蛍光強度を算出するが、規格化蛍光強度算出部306は、初期撮像時刻T1に設定された関心領域(以下、初期関心領域という)を用いて、各撮像時刻の関心領域蛍光強度を算出する。すなわち、規格化蛍光強度算出部306は、関心領域蛍光強度を算出するために画素値を抽出する領域を各撮像時刻の関心領域ではなく、初期関心領域に固定する。例えば、撮像時刻T2の関心領域蛍光強度を算出する場合、撮像時刻T2の蛍光画像信号SFLから、初期関心領域に対応する領域内の画素値を抽出し、その平均値を求めることにより、関心領域蛍光強度を算出する。撮像時刻T3以降も同様である。
 規格化蛍光強度算出部306は、上記のように算出した関心領域蛍光強度を基準蛍光強度で割ることにより、規格化蛍光強度を算出する。この規格化蛍光強度は、参照領域の蛍光強度で関心領域の蛍光強度を割っているので、検体11の個体差を除く規格化がなされており、かつ、関心領域を初期関心領域に固定しているので、初期撮像時刻T1を基準に時間的に規格化した蛍光強度の変化を表す。
 蛍光画像生成部77には、第1実施形態の規格化蛍光強度の代わりに、規格化蛍光強度算出部306が算出した規格化蛍光強度に基づいて関心領域を疑似カラー化した蛍光画像を生成させる。疑似カラー化する領域は、各撮像時刻に設定される関心領域である。
 そして、図17に示すように、モニタ15には、各撮像時刻の蛍光画像310T1,310T2,310T3,…を少なくとも2以上時系列に表示する。各撮像時刻の蛍光画像310T1,310T2,310T3,…を見れば、疑似カラー化された各関心領域311T1,311T2,311T3,…の大きさの時間変化により、癌等の病変の大きさの変化を知ることができる。また、関心領域の色(あるいは濃淡)の変化は、NADHの含有量の時間変化を示す。例えば、検体11に抗癌剤等の治療薬を投与してから観察すれば、その効き目を判断することもできる。
 なお、これらの各蛍光画像310T1,310T2,310T3,…には、各撮像時刻の参照領域312T1,312T2,312T3,…や初期関心領域313を表示することが好ましい。各撮像時刻の参照領域312T1,312T2,312T3,…や初期関心領域312は、表示用画像信号生成部54が表示用画像信号を生成する時に各蛍光画像各蛍光画像310T1,310T2,310T3,…に重畳させることができる。また、経時蛍光強度比の時間変化を表すグラフ320を表示しても良い。これらの付加的情報は、癌等の病変の大きさの変化やNADHの含有量の時間変化の判断を、より視覚的に支援することができる。
 なお、特殊観察用画像処理部303を用いる場合、上記のように経時情報を表示するが、この経時情報は、1回の観察(検査)中にほぼリアルタイムに順次表示することができる。また、一週間前、一ヶ月前等の過去に観察した結果(過去の蛍光画像の生成に使用された画像信号、参照領域の設定、関心領域の設定等)を使用して経時情報の表示をすることもできる。過去の観察結果に基づいて経時情報を表示する場合には、図18に示すように、を記憶しておくデータベース307を設けておくことが好ましい。そして、規格化蛍光強度算出部306はこのデータベース307から過去の観察結果を取得し、取得した過去の観察結果に基づいて経時的な規格化蛍光強度を算出する。データベース307は、蛍光観察装置10の外部に設けられていても良いし、蛍光観察装置10が内蔵していても良い。蛍光観察装置10がデータベース307を内蔵する場合には、規格化蛍光強度算出部306が過去の観察結果を記憶して、データベース307として機能するようにしても良い。
[第4実施形態]
 第1~第3実施形態では、検体11の酸素飽和度に基づいて参照領域を設定しているが、他の方法で参照領域を設定しても良い。例えば、着色剤を検体11に投与して、その着色された色に応じて参照領域を設定しても良い。
 図19に示すように、蛍光観察装置400は、着色剤を検体11に投与するための着色剤投与部401を備える。また、蛍光観察装置400で用いる回転フィルタ402は、図20に示すように、通常観察用フィルタ402aと特殊観察用フィルタ402bを有し、常観察用フィルタ402aは、B,G,およびRの各色のフィルタからなり、特殊観察用フィルタ402bは、B,G,およびRの各色のフィルタと遮光部とからなる。また、蛍光観察装置400では、第1実施形態の特殊観察用画像処理部53が特殊観察用画像処理部403に置き換えられている。それ以外の構成は、第1実施形態の蛍光観察装置10と同様である。
 特殊観察用画像処理部403には、酸素飽和度を算出するための各部(信号比算出部71,相関関係記憶部72,酸素飽和度算出部73)が設けられておらず、第1実施形態とは異なる機能を有する参照領域設定部404と関心領域設定部405を備えている。規格化蛍光強度算出部76、蛍光画像生成部77、構造強調部78は第1実施形態と同じものである。
 参照領域設定部404は、画像処理切替部51を介してB,G,およびRの各色の画像信号を取得する。そして、これらの画像信号を用いて、特定色に着色された領域(あるいは着色剤によって着色されていない領域)を参照領域に設定する。関心領域設定部405も同様に、画像処理切替部51を介してB,G,およびRの各色の画像信号を取得し、これらの画像信号を用いて、参照領域とは別の特定色に着色された領域(あるいは着色剤によって着色されていない領域)を関心領域に設定する。
 図21に示すように、着色剤としてpH指示薬を検体11に投与した場合、関心領域設定部405は、各色の画像信号409R,409G,および409Bのいずれか、またはこれらの組み合わせから、pHが特定値以下になっている酸性領域410を、pH指示薬による色に基づいて抽出し、関心領域に設定する。また、参照領域設定部404は、pHが特定値以上になっている中性領域(あるいはアルカリ性領域)411を、pH指示薬による色に基づいて抽出し、参照領域に設定する。多くの場合、癌組織の表面は、酸性になっているので、pH指示薬を用いれば、癌組織を関心領域に設定し、正常組織を参照領域に設定することができる。
 こうして参照領域や関心領域の設定が完了すると、その後の処理は第1実施形態と同様に行われる。すなわち、蛍光観察装置400でも規格化蛍光強度に基づいて関心領域を疑似カラー化した蛍光画像420を生成及び表示できる。
 なお、着色剤としては、pH指示薬の他に、インジゴカルミン、トルイジンブルー、メチレンブルー、ルゴール氏液、クリスタルバイオレット、フルオレスチン、アクリジンオレンジ、インドシアニングリーン、または酢酸を用いることができる。また、pH指示薬を含め、これらの各着色剤を組み合わせて用いても良い。
 なお、蛍光観察装置400の光源部12は、着色剤によって少なくとも一部が着色された検体11に、着色剤による色を識別可能な照明光と、蛍光FLを発光させるための励起光を検体11に照射可能であれば、その構成は任意である。
 なお、蛍光観察装置400は、参照領域と関心領域を自動で設定しているが、これらを手動で設定できるようにしても良い。この場合、着色剤による色を識別できるカラー画像を生成及び表示して、ユーザは、着色剤による検体11の色付きを観察して操作部56によって参照領域や関心領域を指定する。
 なお、蛍光観察装置400の制御部55は、着色剤によって検体11が着色される前に励起光を照射して検体を撮像し、蛍光画像信号SFLをイメージセンサ34から出力させ、着色剤が検体11に投与された後にR,G,およびBの各色の照明光を照射して、対応する各色の画像信号を出力させるように、撮像制御を行うことが好ましい。こうすれば、着色剤の色と、蛍光FLの波長域が重複(あるいは一部重複)する場合でも、着色剤の色に邪魔されずに検体11を蛍光観察することができる。
 なお、第4実施形態の蛍光観察装置400には、第2~第3実施形態も組み合わせることができる。
[第5実施形態]
 第1~第4実施形態の蛍光観察装置の構成は、内視鏡システムに実装することができる。図22に示すように、内視鏡システム510は、内視鏡512と、光源装置514と、プロセッサ装置516、モニタ518と、およびコンソール520とを有する。
 内視鏡512は、光源装置514と光学的に接続されると同時に、プロセッサ装置516と電気的に接続される。内視鏡512は、検体内に挿入される挿入部521と、挿入部521の基端部分に設けられた操作部522と、挿入部521の先端側に設けられた湾曲部523及び先端部524を有している。操作部522のアングルノブ522aを操作することにより、湾曲部523は湾曲動作する。この湾曲動作にともなって、先端部524が所望の方向に向けられる。また、挿入部521には、鉗子等の処置具を挿通するための鉗子チャネル521aが設けられている。
 操作部522には、アングルノブ522aの他、モード切替SW(モード切替スイッチ)522bと、ズーム操作部522cが設けられている。モード切替SW522bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。
 プロセッサ装置516は、モニタ518及びコンソール520と電気的に接続される。モニタ518は、通常観察画像や蛍光画像、及びこれらの画像に関する情報(以下、画像情報等という)を表示する。コンソール520は、機能設定等の入力操作を受け付けるUI(ユーザインタフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する記録部(図示省略)を接続しても良い。
 図23に示すように、第1実施形態の蛍光観察装置10の光源部12は光源装置514と先端部524に設けることができる。また、撮像部13は内視鏡512に、プロセッサ部14の各部はプロセッサ装置516にそれぞれ設けることができる。また、図24に示す内視鏡システム550のように、第4実施形態の蛍光観察装置400の各部も同様である。この場合、着色剤投与部401は、鉗子チャネルに挿通して用いる処置具である。
 10,400 蛍光観察装置
 11 検体
 12 光源部
 13 撮像部
 14 プロセッサ部
 15 モニタ
 16 暗箱
 21 広帯域光源
 22 回転フィルタ
 23 励起光光源
 33 励起光カットフィルタ
 34 イメージセンサ
 52 通常観察用画像処理部
 53 特殊観察用画像処理部
 54 表示用画像信号生成部
 71 信号比算出部
 73 酸素飽和度算出部
 74 参照領域設定部
 75 関心領域設定部
 76 規格化蛍光強度算出部
 77 蛍光画像生成部
 500,550 内視鏡システム

Claims (15)

  1.  血中ヘモグロビンの酸素飽和度によって吸光係数が変化する波長帯域を有する信号光を検体に照射する信号光光源と、
     前記検体に含まれる蛍光物質を励起して蛍光を発光させるための励起光を前記検体に照射する励起光光源と、
     前記信号光により前記検体を撮像して第1画像信号を出力し、かつ、前記蛍光により前記検体を撮像して第2画像信号を出力するイメージセンサと、
     前記第1画像信号に基づいて前記検体の酸素飽和度を画素毎に算出する酸素飽和度算出部と、
     前記酸素飽和度に基づいて前記検体の参照領域を設定する参照領域設定部と、
     前記検体の関心領域を設定する関心領域設定部と、
     前記第2画像信号の前記参照領域の画素値を用いて算出される基準蛍光強度で、前記第2画像信号の前記関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、前記蛍光の規格化された発光強度を表す規格化蛍光強度を算出する規格化蛍光強度算出部と、
     前記規格化蛍光強度に基づいて前記関心領域を疑似カラー化した蛍光画像を生成する蛍光画像生成部と、
     を備える蛍光観察装置。
  2.  前記関心領域設定部は、前記酸素飽和度に基づいて前記関心領域を設定する請求項1に記載の蛍光観察装置。
  3.  前記関心領域設定部は、前記検体の形態情報に基づいて前記関心領域を設定する請求項1に記載の蛍光観察装置。
  4.  前記参照領域設定部は、前記酸素飽和度が特定範囲に含まれる領域を前記参照領域に設定する請求項1~3のいずれか1項に記載の蛍光観察装置。
  5.  同一の前記検体を二以上の異なる時刻に撮像して得た複数の前記蛍光画像を時系列に表示する表示部を備える請求項1~4のいずれか1項に記載の蛍光観察装置。
  6.  同一の前記検体を二以上の異なる時刻に撮像する場合、前記規格化蛍光強度算出部は、特定時刻の撮像時に設定された前記関心領域と、各撮像時に設定される前記参照領域とを用いて前記規格化蛍光強度を算出する請求項1~5のいずれか1項に記載の蛍光観察装置。
  7.  着色剤によって少なくとも一部が着色された検体に、前記着色剤による色を識別可能な照明光を前記検体に照射する照明光源と、
     前記検体に含まれる蛍光物質を励起して蛍光を発生させるための励起光を前記検体に照射する励起光光源と、
     前記照明光により前記検体を撮像して第1画像信号を出力し、かつ、前記蛍光により前記検体を撮像して第2画像信号を出力するイメージセンサと、
     前記着色剤による色に応じて参照領域に設定する参照領域設定部と、
     前記検体の関心領域を設定する関心領域設定部と、
     前記第2画像信号の前記参照領域の画素値を用いて算出される基準蛍光強度で、前記第2画像信号の前記関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、前記蛍光の規格化された発光強度を表す規格化蛍光強度を算出する規格化蛍光強度算出部と、
     前記規格化蛍光強度に基づいて前記関心領域を疑似カラー化した蛍光画像を生成する蛍光画像生成部と、
     を備える蛍光観察装置。
  8.  前記関心領域設定部は、前記着色剤による色に応じて前記関心領域を設定する請求項7に記載の蛍光観察装置。
  9.  前記着色剤は、前記検体のpHによって変化するpH指示薬である請求項7または8に記載の蛍光観察装置。
  10.  前記参照領域設定部は、前記pHが特定値以上の領域を前記参照領域に設定する請求項9に記載の蛍光観察装置。
  11.  前記着色剤は、インジゴカルミン、トルイジンブルー、メチレンブルー、ルゴール氏液、クリスタルバイオレット、フルオレスチン、アクリジンオレンジ、インドシアニングリーン、または酢酸のうち少なくとも一つを含む請求項7または8に記載の蛍光観察装置。
  12.  前記イメージセンサは、前記着色剤が前記検体に投与される前に前記蛍光により前記検体を撮像して前記第2画像信号を出力し、前記着色剤が前記検体に投与された後に前記照明光により前記検体を撮像して前記第1画像信号を出力する請求項7~11のいずれか1項に記載の蛍光観察装置。
  13.  血中ヘモグロビンの酸素飽和度によって吸光係数が変化する波長帯域を有する信号光を検体に照射する信号光光源と、
     前記検体に含まれる蛍光物質を励起して蛍光を発光させるための励起光を前記検体に照射する励起光光源と、
     前記信号光により前記検体を撮像して第1画像信号を出力し、かつ、前記蛍光により前記検体を撮像して第2画像信号を出力するイメージセンサと、
     前記第1画像信号に基づいて前記検体の酸素飽和度を画素毎に算出する酸素飽和度算出部と、
     前記酸素飽和度に基づいて前記検体の参照領域を設定する参照領域設定部と、
     前記検体の関心領域を設定する関心領域設定部と、
     前記第2画像信号の前記参照領域の画素値を用いて算出される基準蛍光強度で、前記第2画像信号の前記関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、前記蛍光の規格化された発光強度を表す規格化蛍光強度を算出する規格化蛍光強度算出部と、
     前記規格化蛍光強度に基づいて前記関心領域を疑似カラー化した蛍光画像を生成する蛍光画像生成部と、
     を備える内視鏡システム。
  14.  血中ヘモグロビンの酸素飽和度によって吸光係数が変化する波長帯域を有する信号光を検体に照射する信号光光源と、前記検体に含まれる蛍光物質を励起して蛍光を発光させるための励起光を前記検体に照射する励起光光源と、前記信号光により前記検体を撮像して第1画像信号を出力し、かつ、前記蛍光により前記検体を撮像して第2画像信号を出力するイメージセンサと、を備える内視鏡システムのプロセッサ装置において、
     前記第1画像信号に基づいて前記検体の酸素飽和度を画素毎に算出する酸素飽和度算出部と、
     前記酸素飽和度に基づいて前記検体の参照領域を設定する参照領域設定部と、
     前記検体の関心領域を設定する関心領域設定部と、
     前記第2画像信号の前記参照領域の画素値を用いて算出される基準蛍光強度で、前記第2画像信号の前記関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、前記蛍光の規格化された発光強度を表す規格化蛍光強度を算出する規格化蛍光強度算出部と、
     前記規格化蛍光強度に基づいて前記関心領域を疑似カラー化した蛍光画像を生成する蛍光画像生成部と、
     を備えるプロセッサ装置。
  15.  血中ヘモグロビンの酸素飽和度によって吸光係数が変化する波長帯域を有する信号光を検体に照射する信号光光源と、前記検体に含まれる蛍光物質を励起して蛍光を発光させるための励起光を前記検体に照射する励起光光源と、前記信号光により前記検体を撮像して第1画像信号を出力し、かつ、前記蛍光により前記検体を撮像して第2画像信号を出力するイメージセンサと、を備える装置の作動方法において、
     前記第1画像信号に基づいて前記検体の酸素飽和度を画素毎に算出する酸素飽和度算出ステップと、
     前記酸素飽和度に基づいて前記検体の参照領域を設定する参照領域設定ステップと、
     前記検体の関心領域を設定する関心領域設定ステップと、
     前記第2画像信号の前記参照領域の画素値を用いて算出される基準蛍光強度で、前記第2画像信号の前記関心領域の画素値を用いて算出される関心領域蛍光強度を割ることにより、前記蛍光の規格化された発光強度を表す規格化蛍光強度を算出する規格化蛍光強度算出ステップと、
     前記規格化蛍光強度に基づいて前記関心領域を疑似カラー化した蛍光画像を生成する蛍光画像生成ステップと、
     を備える作動方法。
PCT/JP2014/066132 2013-09-27 2014-06-18 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法 WO2015045516A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14847313.5A EP3050485B1 (en) 2013-09-27 2014-06-18 Fluorescence observation device, endoscopic system, and processor device
US15/041,553 US10244972B2 (en) 2013-09-27 2016-02-11 Fluorescence observation device, endoscopic system, processor device, and operation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-202548 2013-09-27
JP2013202548A JP6030035B2 (ja) 2013-09-27 2013-09-27 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/041,553 Continuation US10244972B2 (en) 2013-09-27 2016-02-11 Fluorescence observation device, endoscopic system, processor device, and operation method

Publications (1)

Publication Number Publication Date
WO2015045516A1 true WO2015045516A1 (ja) 2015-04-02

Family

ID=52742674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/066132 WO2015045516A1 (ja) 2013-09-27 2014-06-18 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法

Country Status (4)

Country Link
US (1) US10244972B2 (ja)
EP (1) EP3050485B1 (ja)
JP (1) JP6030035B2 (ja)
WO (1) WO2015045516A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021038913A1 (ja) * 2019-08-27 2021-03-04 株式会社島津製作所 治療支援装置および画像生成方法
WO2022038806A1 (ja) * 2020-08-19 2022-02-24 株式会社島津製作所 治療支援システムおよび治療支援装置
WO2022219783A1 (ja) * 2021-04-15 2022-10-20 オリンパス株式会社 光治療装置、光治療方法および光治療プログラム
JP7476755B2 (ja) 2020-10-19 2024-05-01 株式会社島津製作所 治療支援装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6013665B1 (ja) * 2014-11-26 2016-10-25 オリンパス株式会社 診断支援装置及び診断支援情報表示方法
JP6420492B2 (ja) 2015-09-28 2018-11-07 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
EP3357406A4 (en) 2015-09-29 2018-10-10 FUJI-FILM Corporation Image processing apparatus, endoscope system, and image processing method
KR102203314B1 (ko) * 2016-02-04 2021-01-15 코우지 오가사와라 광선역학 요법용 조성물, 치료 방법, 살균 시스템 및 살균 시스템의 작동 방법
CN109475270B (zh) * 2016-11-01 2021-04-27 奥林巴斯株式会社 活体观察系统
WO2018105020A1 (ja) * 2016-12-05 2018-06-14 オリンパス株式会社 内視鏡装置
DE102016125524A1 (de) * 2016-12-22 2018-06-28 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop
WO2019054265A1 (ja) 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置
WO2019172231A1 (ja) * 2018-03-06 2019-09-12 富士フイルム株式会社 医療画像処理システム及び内視鏡システム
WO2019215905A1 (ja) * 2018-05-11 2019-11-14 株式会社島津製作所 治療支援装置および治療支援システム
US10943092B2 (en) 2018-05-23 2021-03-09 ClairLabs Ltd. Monitoring system
EP3890583A1 (en) * 2018-12-05 2021-10-13 Intuitive Surgical Operations, Inc. Illumination corrected near-infrared (nir) imaging for image guided surgery
EP4213712A1 (en) * 2020-09-18 2023-07-26 Stryker European Operations Limited Systems and methods for fluorescence visualization
CN114298956B (zh) * 2022-03-09 2022-06-28 广东欧谱曼迪科技有限公司 双荧光内窥镜图像融合方法、电子设备及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139462A (ja) * 1998-11-11 2000-05-23 Becton Dickinson & Co 細胞内pH変化の測定による薬物吸収性の高速スクリーニングシステム
JP2003036436A (ja) * 2001-04-27 2003-02-07 Fuji Photo Film Co Ltd 規格化画像生成方法および装置
WO2011099425A1 (ja) 2010-02-10 2011-08-18 オリンパス株式会社 蛍光観察装置
JP2011217798A (ja) * 2010-04-05 2011-11-04 Fujifilm Corp 電子内視鏡システム
JP2012213550A (ja) 2011-04-01 2012-11-08 Fujifilm Corp 生体情報取得システムおよび生体情報取得方法
WO2013035450A1 (ja) 2011-09-08 2013-03-14 オリンパス株式会社 蛍光観察装置
WO2013100030A1 (ja) * 2011-12-28 2013-07-04 オリンパス株式会社 蛍光観察装置、蛍光観察方法および蛍光観察装置の作動方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5512940A (en) * 1993-03-19 1996-04-30 Olympus Optical Co., Ltd. Image processing apparatus, endoscope image sensing and processing apparatus, and image processing method for performing different displays depending upon subject quantity
US6364829B1 (en) * 1999-01-26 2002-04-02 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
US7123756B2 (en) * 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
JP2006263044A (ja) * 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
JP5019866B2 (ja) 2006-12-25 2012-09-05 オリンパス株式会社 蛍光内視鏡及び蛍光内視鏡の作動方法
US8406860B2 (en) * 2008-01-25 2013-03-26 Novadaq Technologies Inc. Method for evaluating blush in myocardial tissue
US20090236541A1 (en) 2008-03-24 2009-09-24 General Electric Company System and Methods for Optical Imaging
JP5437864B2 (ja) 2010-03-10 2014-03-12 富士フイルム株式会社 pH測定装置の作動方法、検出装置の作動方法、及び生体物質分析装置の作動方法、並びに各装置
JP5309120B2 (ja) * 2010-12-20 2013-10-09 富士フイルム株式会社 内視鏡装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139462A (ja) * 1998-11-11 2000-05-23 Becton Dickinson & Co 細胞内pH変化の測定による薬物吸収性の高速スクリーニングシステム
JP2003036436A (ja) * 2001-04-27 2003-02-07 Fuji Photo Film Co Ltd 規格化画像生成方法および装置
WO2011099425A1 (ja) 2010-02-10 2011-08-18 オリンパス株式会社 蛍光観察装置
JP2011217798A (ja) * 2010-04-05 2011-11-04 Fujifilm Corp 電子内視鏡システム
JP2012213550A (ja) 2011-04-01 2012-11-08 Fujifilm Corp 生体情報取得システムおよび生体情報取得方法
WO2013035450A1 (ja) 2011-09-08 2013-03-14 オリンパス株式会社 蛍光観察装置
WO2013100030A1 (ja) * 2011-12-28 2013-07-04 オリンパス株式会社 蛍光観察装置、蛍光観察方法および蛍光観察装置の作動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3050485A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021038913A1 (ja) * 2019-08-27 2021-03-04 株式会社島津製作所 治療支援装置および画像生成方法
JPWO2021038913A1 (ja) * 2019-08-27 2021-03-04
JP7375821B2 (ja) 2019-08-27 2023-11-08 株式会社島津製作所 治療支援装置および治療支援装置の作動方法
WO2022038806A1 (ja) * 2020-08-19 2022-02-24 株式会社島津製作所 治療支援システムおよび治療支援装置
JP7472988B2 (ja) 2020-08-19 2024-04-23 株式会社島津製作所 治療支援システムおよび治療支援装置
JP7476755B2 (ja) 2020-10-19 2024-05-01 株式会社島津製作所 治療支援装置
WO2022219783A1 (ja) * 2021-04-15 2022-10-20 オリンパス株式会社 光治療装置、光治療方法および光治療プログラム
JP7430845B2 (ja) 2021-04-15 2024-02-13 オリンパス株式会社 光治療装置、光治療方法および光治療プログラム

Also Published As

Publication number Publication date
JP2015066129A (ja) 2015-04-13
EP3050485B1 (en) 2021-09-15
US20160157763A1 (en) 2016-06-09
EP3050485A1 (en) 2016-08-03
EP3050485A4 (en) 2016-10-05
JP6030035B2 (ja) 2016-11-24
US10244972B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
JP6030035B2 (ja) 蛍光観察装置、内視鏡システム及びプロセッサ装置並びに作動方法
JP5466182B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
JP5496852B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP5309120B2 (ja) 内視鏡装置
JP5616304B2 (ja) 電子内視鏡システム及び電子内視鏡システムの作動方法
JP5405445B2 (ja) 内視鏡装置
JP5073579B2 (ja) 撮像装置
JP5485191B2 (ja) 内視鏡装置
JP5789280B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
WO2013035694A1 (ja) 内視鏡システム及びプロセッサ装置並びに画像表示方法
EP2478826A1 (en) Endoscope system
JP6109695B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
JP2009148568A (ja) 蛍光画像の分析処理方法
JPWO2017051455A1 (ja) 内視鏡装置
JP5752423B2 (ja) 分光計測システムおよび分光計測システムの作動方法
JPWO2018155560A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5539840B2 (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び電子内視鏡システムの作動方法
JP2006340796A (ja) センチネルリンパ節検出システム
JP2021035549A (ja) 内視鏡システム
JP5649947B2 (ja) 光計測システムおよび光計測システムの作動方法
WO2018159082A1 (ja) 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法
JP5639464B2 (ja) 光計測システムおよび光計測システムの作動方法
JP6099518B2 (ja) 内視鏡システム及び作動方法
JP2012100733A (ja) 内視鏡診断装置
JP2012085917A (ja) 電子内視鏡システム、電子内視鏡システムのプロセッサ装置、及び蛍光画像の高感度化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14847313

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2014847313

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014847313

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE