WO2011115087A1 - 蛍光内視鏡装置 - Google Patents

蛍光内視鏡装置 Download PDF

Info

Publication number
WO2011115087A1
WO2011115087A1 PCT/JP2011/055994 JP2011055994W WO2011115087A1 WO 2011115087 A1 WO2011115087 A1 WO 2011115087A1 JP 2011055994 W JP2011055994 W JP 2011055994W WO 2011115087 A1 WO2011115087 A1 WO 2011115087A1
Authority
WO
WIPO (PCT)
Prior art keywords
fluorescent dye
concentration
fluorescent
fluorescence
pixel
Prior art date
Application number
PCT/JP2011/055994
Other languages
English (en)
French (fr)
Inventor
弘靖 森下
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201180013613.3A priority Critical patent/CN102791179B/zh
Priority to EP11756272.8A priority patent/EP2548496B1/en
Publication of WO2011115087A1 publication Critical patent/WO2011115087A1/ja
Priority to US13/611,826 priority patent/US9521947B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6423Spectral mapping, video display
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels

Definitions

  • the present invention relates to a fluorescence endoscope apparatus that irradiates a living tissue with excitation light and observes a lesioned part of the living tissue by fluorescence generated from the living tissue.
  • FIG. 1A shows an example of the fluorescence spectrum of the fluorescent dye 1 at the reference concentration
  • FIG. 1B shows an example of the fluorescence spectrum of the fluorescent dye 2 at the reference concentration
  • FIG. 1C shows an example of the fluorescence spectrum of the measured object.
  • FIG. 1D schematically shows an example in which the measurement data of the fluorescence spectrum of the measurement object shown in FIG. 1C is separated into the fluorescence spectra of the fluorescent dyes 1 and 2 having a predetermined concentration, respectively.
  • the signal intensity I all ( ⁇ n) at the wavelength ⁇ n to be measured is the total signal intensity at the wavelength ⁇ n of each fluorescent dye, and can be expressed as the following equation (2).
  • I all ( ⁇ n) I1 ( ⁇ n) + I2 ( ⁇ n)... + Im ( ⁇ n) (2)
  • I1 is the signal intensity at the wavelength ⁇ n obtained from the fluorescent dye 1
  • I2 is the signal intensity at the wavelength ⁇ n obtained from the fluorescent dye 2
  • Im is the signal intensity at the wavelength ⁇ n obtained from the fluorescent dye m.
  • the signal intensity obtained from the fluorescent dye is proportional to the concentration of the fluorescent dye. Therefore, when m types of fluorescent dyes are present in the measurement target, the signal intensity obtained from each fluorescent dye at the wavelength ⁇ n can be expressed as the following equations (3a) to (3c).
  • I1 ( ⁇ n) a1 ( ⁇ n) * D1 (3a)
  • D1 is the density
  • a1 ((lambda) n) is a coefficient in wavelength (lambda) n in the reference density
  • I2 ( ⁇ n) a2 ( ⁇ n) * D2 (3b)
  • D2 is the density
  • a2 ((lambda) n) is a coefficient in wavelength (lambda) n in the reference density
  • FIG. Im ( ⁇ n) am ( ⁇ n) * Dm (3c) Where Dm is the concentration of the fluorescent dye m, and am ( ⁇ n) is a coefficient at the wavelength ⁇ n at the reference concentration of the fluorescent dye m.
  • the signal intensity of the measurement target at the n types of wavelengths ⁇ 1 to ⁇ n is, for example, It can be expressed by determinant (4).
  • the left side of the determinant (4) Indicates a spectral spectrum to be measured.
  • the Unmixing method is based on the premise that the type of spectral image is greater than or equal to the type of fluorescent dye (ie, n ⁇ m).
  • FIG. 2 conceptually shows the relationship between the n types of spectral images acquired in a predetermined pixel and the spectral spectrum in the determinant.
  • I all ( ⁇ 1) is the intensity of the spectral image 1
  • I all ( ⁇ n) is the intensity of the spectral image n.
  • Patent Document 1 WO2005 / 036143
  • Patent Document 2 JP 2006-242899
  • Patent Document 3 JP 2005-181276 A
  • Patent Documents 1 to 3 The Unmixing technique described in Patent Documents 1 to 3 is used in an apparatus for obtaining a fluorescent image with a sample fixed, such as a microscope.
  • the separation of fluorescence using Unmixing has the following problems.
  • the fluorescence observation since the fluorescence emitted from the measurement object is weak, the ratio of the noise mainly composed of the dark current of the imaging device to the measured fluorescence signal is increased, and the S / N is deteriorated.
  • the determinant (5) is represented by the following determinant (6).
  • I all '( ⁇ ) is the value of the fluorescence signal not including noise.
  • the fluorescent dye obtained by calculating the determinant (6) , Dn are greatly deviated from the actual densities.
  • the first method is a method for obtaining a fluorescence signal at each spectral wavelength as accurately as possible by extending the exposure time.
  • the dark current that is the main component of noise in the image sensor is considered to be constant regardless of the exposure time, whereas the intensity of the fluorescent signal is proportional to the exposure time. For this reason, for example, the S / N ratio is improved by increasing the exposure time to reduce the ratio of noise to the fluorescence signal at each spectral wavelength.
  • the second method is a method for increasing the types of spectral images.
  • Increasing the number of types of spectral images can increase the calculation accuracy of the concentration of the fluorescent dye. For example, with respect to two types of fluorescent dyes, as shown in the following determinant (7), when the number of spectral images is increased from 2 to 5, the accuracy of calculation results using the least square method increases.
  • the endoscope apparatus needs to acquire a spectral image as a moving image while moving the distal end portion of the endoscope with respect to a living body, and the number of spectral images that can be acquired and the exposure time are limited. For this reason, in fluorescence observation using an endoscope apparatus, it is not possible to use two methods effective in an apparatus for acquiring an image with a sample such as a microscope fixed as described above. The calculated value of the concentration of the fluorescent dye tends to greatly deviate from the actual value.
  • the calculated values of the concentrations of the plurality of fluorescent dyes when the calculated value of the concentration of the predetermined fluorescent dye is smaller than 0, the calculated values of the concentrations of the other fluorescent dyes are the actual concentrations. It tends to be bigger. If the calculated value of the concentration of the fluorescent dye deviates greatly from the actual concentration, noise is likely to occur when the image of the fluorescent dye is reconstructed based on the calculated concentration and displayed on the display device. It tends to be difficult to observe.
  • An object of the present invention is to provide a fluorescence endoscope apparatus capable of separating fluorescence and displaying a fluorescence image in a state where each fluorescence is separated with less noise.
  • a fluorescence endoscope apparatus is a fluorescence endoscope apparatus that irradiates a living tissue with excitation light and observes a lesioned part of the living tissue by fluorescence generated from the living tissue,
  • a fluorescence spectrum recording unit in which fluorescence spectra at respective reference concentrations of m types [provided that 2 ⁇ m] of fluorescent dyes 1 to m that are assumed to exist in the living tissue are recorded; Fluorescence images generated from the tissue are acquired for each of n types [where m ⁇ n] of wavelengths ⁇ 1 to ⁇ n, and m types of fluorescent dyes 1 to fluorescence recorded in the fluorescence spectrum recording unit.
  • the concentration of each fluorescent dye existing in the living tissue is determined.
  • a fluorescent dye concentration calculating unit for calculating all the pixels, and the fluorescent dye concentration calculating unit is based on the fluorescence spectra at the respective reference concentrations of fluorescent dyes 1 to m recorded in the fluorescent spectrum recording unit.
  • the coefficients ⁇ 1 to am ( ⁇ n) at wavelengths ⁇ 1 to ⁇ n at the reference concentrations of the obtained fluorescent dye 1 to fluorescent dye m are a1 ( ⁇ 1) to am ( ⁇ n), and the wavelength ⁇ 1 of the fluorescent image acquired by the fluorescent image acquisition unit.
  • the concentration of each of fluorescent dye 1 to fluorescent dye m is D1 to Dm
  • the following equation (1 ′′) is used.
  • the density D1 of the fluorescent dye 1 to the density Dm of the fluorescent dye m are calculated for every pixel in the fluorescent image, and at least one of the calculated values of the density D1 of the fluorescent dye 1 to the density Dm of the fluorescent dye m is calculated.
  • One is less than 0
  • a predetermined value larger than the calculated value is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the calculated value is larger than 0. It is also characterized by recalculating the concentration of fluorescent dyes other than small fluorescent dyes.
  • the fluorescent dye concentration calculation unit includes a pixel in which at least one of the calculated values of the density D1 of the fluorescent dye 1 to the density Dm of the fluorescent dye m is smaller than zero.
  • 0 is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the concentration of the fluorescent dye other than the fluorescent dye whose calculated value is smaller than 0 is re-established. It is preferable to calculate.
  • the fluorescent dye concentration calculation unit includes a pixel in which at least one of the calculated values of the density D1 of the fluorescent dye 1 to the density Dm of the fluorescent dye m is smaller than zero.
  • a predetermined value whose absolute value is smaller than the absolute value of the calculated value is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the calculated value is It is preferred to recalculate the concentration of fluorescent dyes other than fluorescent dyes less than zero.
  • the fluorescent dye concentration calculation unit includes a pixel in which at least one of the calculated values of the density D1 of the fluorescent dye 1 to the density Dm of the fluorescent dye m is smaller than zero.
  • a predetermined value whose absolute value is less than or equal to half of the absolute value of the calculated value is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0. It is preferable to recalculate the concentration of the fluorescent dye other than the fluorescent dye whose calculated value is smaller than 0.
  • the fluorescent dye concentration calculation unit includes a pixel in which at least one of the calculated values of the density D1 of the fluorescent dye 1 to the density Dm of the fluorescent dye m is smaller than zero.
  • the concentration of the fluorescent dye corresponding to the predetermined pixel located in the vicinity of the pixel having a calculated value larger than the calculated value is smaller than 0 in the formula (1 ′′). It is preferable to recalculate the concentration of the fluorescent dye other than the fluorescent dye whose calculated value is smaller than 0 by substituting the calculated value of.
  • the fluorescent dye concentration calculating unit may recalculate the concentration of a fluorescent dye other than the fluorescent dye whose calculated value is smaller than 0 in the formula (1 ′′).
  • a coefficient at a reference concentration at a wavelength other than the wavelength component having a high fluorescence intensity in the fluorescent dye whose concentration is to be recalculated It is preferable to perform recalculation by excluding the fluorescence intensity from the target of recalculation and setting the number of types of wavelengths to be the same as the type of fluorescent dye.
  • the fluorescence endoscope apparatus is a fluorescence endoscope apparatus that irradiates a living tissue with excitation light and observes a lesioned part of the living tissue by fluorescence generated from the living tissue.
  • Fluorescence spectrum recording unit in which fluorescence spectra at the respective reference concentrations of two types of fluorescent dyes 1 and 2 that are assumed to exist, and a fluorescent image generated from the living tissue are divided into two types of wavelengths.
  • Fluorescence image acquisition unit for each of ⁇ 1 and wavelength ⁇ 2, and the fluorescence spectrum and the fluorescence image acquisition unit at the respective reference concentrations of the two types of fluorescent dyes 1 and 2 recorded in the fluorescence spectrum recording unit Using the fluorescent images for each of the two wavelengths ⁇ 1 and ⁇ 2, the concentration of each fluorescent dye present in the biological tissue is calculated for all pixels in the fluorescent image by calculation.
  • the fluorescent dye concentration calculation unit has a wavelength at the reference concentration of the fluorescent dye 1 obtained from the fluorescence spectra at the respective reference concentrations of the fluorescent dye 1 and the fluorescent dye 2 recorded in the fluorescent spectrum recording unit.
  • the coefficient at ⁇ 1 is a1 ( ⁇ 1)
  • the coefficient at the wavelength ⁇ 2 at the reference concentration of the fluorescent dye 1 is a1 ( ⁇ 2)
  • the coefficient at the wavelength ⁇ 1 at the reference concentration of the fluorescent dye 2 is a2 ( ⁇ 1)
  • the fluorescent dye The coefficient at the wavelength ⁇ 2 at the reference concentration of 2 is a2 ( ⁇ 2)
  • the intensity at the wavelength ⁇ 1 of the fluorescent image acquired by the fluorescent image acquisition unit is I all ( ⁇ 1)
  • the intensity at the wavelength ⁇ 2 is I all ( ⁇ 2 )
  • the concentration of the fluorescent dye 1 is D1 and the concentration of the fluorescent dye 2 is D2
  • the following formula (1) is used to calculate the concentration D1 of the fluorescent dye 1 and the concentration D2 of the fluorescent dye 2 in the fluorescent image.
  • the calculated value is set to the concentration of the fluorescent dye whose calculated value is smaller than 0 in the following equation (1). It is characterized in that a predetermined value larger than that is substituted and the concentration of the other fluorescent dye is recalculated.
  • the fluorescent dye concentration calculation unit may include a pixel in which one of the calculated values of the fluorescent dye density D1 and the fluorescent dye 2 density D2 is smaller than 0.
  • the pixel it is preferable to recalculate the concentration of the other fluorescent dye by substituting 0 into the concentration of the fluorescent dye whose calculated value is smaller than 0 in the equation (1).
  • the fluorescent dye concentration calculation unit may include a pixel in which one of the calculated values of the fluorescent dye density D1 and the fluorescent dye 2 density D2 is smaller than 0.
  • a predetermined value whose absolute value is smaller than the absolute value of the calculated value is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the concentration of the other fluorescent dye Is preferably recalculated.
  • the fluorescent dye concentration calculation unit may include a pixel in which one of the calculated values of the fluorescent dye density D1 and the fluorescent dye 2 density D2 is smaller than 0.
  • a predetermined value whose absolute value is half or less of the absolute value of the calculated value is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the other It is preferred to recalculate the concentration of the fluorescent dye.
  • the fluorescent dye concentration calculation unit may include a pixel in which one of the calculated values of the fluorescent dye density D1 and the fluorescent dye 2 density D2 is smaller than 0.
  • the calculated value of the concentration of the corresponding fluorescent dye in the predetermined pixel located in the vicinity of the pixel the calculated value being larger than the calculated value in the equation (1), which is smaller than 0. Is preferably substituted and the concentration of the other fluorescent dye is recalculated.
  • the fluorescence endoscope apparatus is a fluorescence endoscope apparatus that irradiates a living tissue with excitation light and observes a lesioned part of the living tissue by fluorescence generated from the living tissue.
  • a fluorescence spectrum recording unit in which fluorescence spectra at respective reference concentrations of the three types of fluorescent dyes 1 to 3 assumed to exist, and a fluorescent image generated from the living tissue are displayed at three wavelengths
  • the fluorescence image acquisition unit that acquires each of ⁇ 1 to wavelength ⁇ 3, and the fluorescence spectrum and the fluorescence image acquisition unit that acquire the fluorescence spectra at the respective reference concentrations of the three types of fluorescent dyes 1 to 3 recorded in the fluorescence spectrum recording unit.
  • the concentration of each fluorescent dye present in the living tissue is calculated for all pixels in the fluorescent image by calculation.
  • a fluorescent dye concentration calculating part having a reference concentration of the fluorescent dye 1 obtained from the fluorescence spectra at the respective reference concentrations of the fluorescent dyes 1 to 3 recorded in the fluorescent spectrum recording part.
  • the coefficient at the wavelength ⁇ 1 is a1 ( ⁇ 1)
  • the coefficient at the wavelength ⁇ 2 at the reference concentration of the fluorescent dye 1 is a1 ( ⁇ 2)
  • the coefficient at the wavelength ⁇ 3 at the reference concentration of the fluorescent dye 1 is a1 ( ⁇ 3)
  • the fluorescence The coefficient at the wavelength ⁇ 1 at the reference concentration of the dye 2 is a2 ( ⁇ 1)
  • the coefficient at the wavelength ⁇ 2 at the reference concentration of the fluorescent dye 2 is a2 ( ⁇ 2)
  • the coefficient at the wavelength ⁇ 1 at the reference concentration of the fluorescent dye 3 is a3 ( ⁇ 1)
  • the coefficient at the wavelength ⁇ 2 at the reference concentration of the fluorescent dye 3 is a3 ( ⁇ 2)
  • the reference concentration of the fluorescent dye 3 The coefficient at the wavelength ⁇ 3 is a3 ( ⁇ 3)
  • the fluorescent image acquired by the fluorescent image acquisition unit is
  • the intensity of the optical image at wavelength ⁇ 1 is I all ( ⁇ 1)
  • the following formula (1 ′) is used for the pixel.
  • a predetermined value larger than the calculated value is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the concentration of the fluorescent dye other than the fluorescent dye whose calculated value is smaller than 0 is recalculated. .
  • the fluorescent dye concentration calculation unit includes a pixel in which at least one of calculated values of the density D1 of the fluorescent dye 1 to the density D3 of the fluorescent dye 3 is smaller than 0.
  • the concentration of the fluorescent dye whose calculated value is smaller than 0 is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the concentration of the fluorescent dye other than the fluorescent dye whose calculated value is smaller than 0 is re-established. It is preferable to calculate.
  • the fluorescent dye concentration calculation unit includes a pixel in which at least one of calculated values of the density D1 of the fluorescent dye 1 to the density D3 of the fluorescent dye 3 is smaller than 0.
  • a predetermined value whose absolute value is smaller than the absolute value of the calculated value is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the calculated value is It is preferred to recalculate the concentration of fluorescent dyes other than fluorescent dyes less than zero.
  • the fluorescent dye concentration calculation unit includes a pixel in which at least one of calculated values of the density D1 of the fluorescent dye 1 to the density D3 of the fluorescent dye 3 is smaller than 0.
  • a predetermined value whose absolute value is half or less of the absolute value of the calculated value is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0. It is preferable to recalculate the concentration of the fluorescent dye other than the fluorescent dye whose calculated value is smaller than 0.
  • the fluorescent dye concentration calculation unit includes a pixel in which at least one of calculated values of the density D1 of the fluorescent dye 1 to the density D3 of the fluorescent dye 3 is smaller than 0.
  • the concentration of the fluorescent dye corresponding to the predetermined pixel located in the vicinity of the pixel having a calculated value smaller than 0 and larger than the calculated value It is preferable to recalculate the concentration of the fluorescent dye other than the fluorescent dye whose calculated value is smaller than 0 by substituting the calculated value of.
  • each fluorescence can be separated from the acquired multiple fluorescence image with a minimum density error, even if the type of spectral image and the exposure time are small, and each fluorescence is separated.
  • a fluorescent endoscope apparatus capable of displaying an image with less noise can be obtained.
  • FIG. 1 is a conceptual explanatory diagram of a procedure for separating two types of fluorescence by Unmixing
  • FIG. 1A is a graph showing an example of a fluorescence spectrum at a reference concentration of fluorescent dye 1
  • FIG. 1B is a reference concentration of fluorescent dye 2.
  • 1C is a graph showing an example of the measured fluorescence spectrum of the measurement object
  • FIG. 1D is the measurement data of the fluorescence spectrum of the measurement object shown in FIG. It is a figure which shows typically the example isolate
  • FIG. 2 is an explanatory diagram conceptually showing the relationship between n types of spectral images acquired in a predetermined pixel and the spectral spectrum in the determinant.
  • FIG. 1 is a conceptual explanatory diagram of a procedure for separating two types of fluorescence by Unmixing
  • FIG. 1A is a graph showing an example of a fluorescence spectrum at a reference concentration of fluorescent dye 1
  • FIG. 3 is a block diagram schematically showing the overall configuration of the fluorescence endoscope apparatus common to the embodiments of the present invention.
  • FIG. 4 is a block diagram showing the overall configuration of the fluorescence endoscope apparatus common to the embodiments of the present invention.
  • FIG. 5 is a graph showing an example of optical characteristics in fluorescence observation using the fluorescence endoscope apparatus of FIG. 4,
  • FIG. 5A is a diagram showing a spectrum of excitation light, and
  • FIG. 5B is a spectral transmittance of an excitation light cut filter.
  • FIG. 5C is a diagram showing the autofluorescence spectrum and the fluorescence spectrum of the fluorescent dye, and
  • FIG. 5D is a diagram showing a transmission wavelength region in which the spectroscopic optical element used in the fluorescence endoscope apparatus of FIG. 4 is repeatedly switched.
  • FIG. 6 is a flowchart showing a processing procedure of fluorescence observation using the fluorescence endoscope apparatus of FIG.
  • FIG. 7 is a flowchart showing details of the processing procedure of UNMIX calculation and recalculation and determination of the concentration of each fluorescent dye shown in FIG. 6 as the main part of the fluorescence endoscope apparatus of the first embodiment.
  • FIG. 8 is a flowchart showing details of the processing procedure of the UNMIX calculation and recalculation shown in FIG. 6 and the determination of the concentration of each fluorescent dye as the main part of the fluorescence endoscope apparatus according to the modification of the first embodiment.
  • FIG. 3 is a block diagram schematically showing the overall configuration of the fluorescence endoscope apparatus common to the embodiments of the present invention.
  • the fluorescence endoscope apparatus of FIG. 3 includes a light source unit 1, an endoscope tip insertion unit 2, an image processing unit 3, and a display unit 4.
  • the light source unit 1 includes a light source and an excitation filter, and is configured to emit light in a wavelength region for excitation.
  • the endoscope distal end insertion portion 2 has an illumination optical system 21 and an imaging optical system 22.
  • the illumination optical system 21 is configured to irradiate the living tissue 5 with excitation light from the light source unit 1.
  • the imaging optical system 22 includes an objective optical system, an imaging optical system, an excitation cut filter, a spectroscopic optical element, an imaging element, and the like (not shown), and is controlled by predetermined control means (not shown) in the present invention. It has a function as a fluorescence image acquisition unit, and is configured so that fluorescence images generated from the living tissue 5 can be acquired for each of n types [where 2 ⁇ n] of wavelengths ⁇ 1 to ⁇ n.
  • the image processing unit 3 includes a frame memory 31, an image processing device 32, a fluorescence spectrum recording unit 33, and a fluorescent dye concentration calculation unit 34.
  • the frame memory 31 stores each image signal acquired via the imaging optical system 22.
  • the image processing device 32 synthesizes each image signal stored in the frame memory 31. At that time, for each image signal, a different hue is assigned to each fluorescent dye so that the normal tissue portion and the lesion tissue portion can be easily identified, and the fluorescent dye concentration calculation unit 34 calculates the fluorescent dye concentration. It converts into an output signal of intensity based on density.
  • the display unit 4 displays the image processed through the image processing device 32.
  • fluorescence spectrum recording unit 33 fluorescence spectra at respective reference concentrations of m types [where 2 ⁇ m ⁇ n] of fluorescent dyes 1 to m that are assumed to exist in the living tissue 5 are recorded. Has been.
  • the fluorescent dye concentration calculator 34 is a reference value for each of the fluorescent dyes 1 to m obtained from the fluorescent spectra at the respective reference concentrations of the fluorescent dyes 1 to m recorded in the fluorescent spectrum recorder 33.
  • the coefficients a1 ( ⁇ 1) to am ( ⁇ n) for the wavelengths ⁇ 1 to ⁇ n and the intensities for the wavelengths ⁇ 1 to ⁇ n of the fluorescence image acquired by the fluorescence image acquisition unit are I all ( ⁇ 1) to I all ( ⁇ n)
  • the respective concentrations of fluorescent dye 1 to fluorescent dye m are D1 to Dm
  • the following formula (1 ′′) is used to calculate the concentration D1 of fluorescent dye 1 to the concentration Dm of fluorescent dye m.
  • the calculated value in the formula (1 ′′) is calculated for the pixel.
  • concentration of the fluorescent dye By substituting a predetermined value greater than the value of the calculated concentration and re-calculate the concentration of the fluorescent dye other than the fluorescent dye.
  • the fluorescent dye concentration calculation unit 34 calculates within the assumed range. It replaces with the value (for example, 0) larger than the set value, and it is comprised so that recalculation may be performed about the density
  • a determinant for obtaining the concentration D2 of fluorescent dye 1 and the concentration D2 of fluorescent dye 2 in a configuration for obtaining fluorescent images at two wavelengths ⁇ 1 and ⁇ 2 is as follows: It is represented by the following formula (1).
  • the concentration D2 of the fluorescent dye 2 may be a negative value.
  • the concentration of the fluorescent dye has a minimum value of 0 and cannot be a negative value.
  • the signal intensity I all ( ⁇ 1 at the wavelength ⁇ 1 to be measured) ) Can be expressed as the following expression (2 ′) when the signal intensity at the wavelength ⁇ 1 of the two types of fluorescent dyes 1 and 2 is expressed.
  • I all ( ⁇ 1) a1 ( ⁇ 1) * D1 + a2 ( ⁇ 1) * D2 (2 ′)
  • a1 ( ⁇ 1) is a coefficient at the wavelength ⁇ 1 at the reference concentration of the fluorescent dye 1
  • a2 ( ⁇ 1) is a coefficient at the wavelength ⁇ 1 at the reference concentration of the fluorescent dye 2.
  • the minimum values of the concentration D1 of the fluorescent dye 1 and the concentration D2 of the fluorescent dye 2 are 0, and never become negative. For this reason, the minimum value of the brightness (signal intensity) of the fluorescent dye 1 at the wavelength ⁇ 1 and the minimum value of the brightness (signal intensity) of the fluorescent dye 2 at the wavelength ⁇ 1 are 0, respectively. Therefore, theoretically, in the above formula (2 ′), for example, when the brightness (signal intensity) a1 ( ⁇ 1) * D1 of the fluorescent dye 1 at the wavelength ⁇ 1 is 0, the wavelength ⁇ 1 of the fluorescent dye 2 Brightness (signal intensity) a2 ( ⁇ 1) * D2 is equal to the brightness (signal intensity) I all ( ⁇ 1) at the wavelength ⁇ 1 of the observation target.
  • the brightness (signal intensity) a2 ( ⁇ 1) * D2 of the fluorescent dye 2 at the wavelength ⁇ 1 is 0, the brightness (signal intensity) a1 ( ⁇ 1) * D1 of the fluorescent dye 1 at the wavelength ⁇ 1. Becomes equal to the brightness (signal intensity) I all ( ⁇ 1) at the wavelength ⁇ 1 of the observation target.
  • the concentration D2 of the fluorescent dye 2 at the wavelength ⁇ 1 is calculated to be a negative value
  • * D2 is calculated to be a negative value.
  • the calculated value of the brightness (signal intensity) a1 ( ⁇ 1) * D1 of the fluorescent dye 1 at the wavelength ⁇ 1 in the above formula (2 ′) is the brightness (signal intensity) I all at the wavelength ⁇ 1 of the observation target.
  • the value is brighter than ( ⁇ 1), which exceeds the theoretical maximum value.
  • the display unit 4 displays an image reconstructed with respect to the fluorescent dye 1 based on such a calculated value, the signal intensity at the portion where the fluorescent dye 1 is accumulated becomes too strong, and noise is likely to occur.
  • the fluorescent dye concentration calculation unit 34 substitutes a value (for example, 0) within an assumed range into the concentration D2 of the fluorescent dye 2 in the determinant (1), and the fluorescent dye If the density D1 of 1 is recalculated, the error between the calculated value at the density D1 of the fluorescent dye 1 and the actual density can be reduced. As a result, when the display unit 4 displays an image in which the fluorescent dye 1 is reconstructed, it is possible to suppress the generation of noise at the portion where the fluorescent dye 1 is accumulated, and the image can be easily observed.
  • a value for example, 0
  • the fluorescent dye concentration calculation unit 34 when obtaining fluorescent images at three wavelengths ⁇ 1 to ⁇ 3 for three types of fluorescent dyes 1 to 3, the fluorescent dye concentration calculation unit 34 includes: At least one of the calculated values of the concentration D1 of the fluorescent dye 1 to the concentration D3 of the fluorescent dye 3 calculated using the determinant (1 ′) for obtaining the concentration D1 of the fluorescent dye 1 to the concentration D3 of the fluorescent dye 3 is When a pixel smaller than 0 exists, for the pixel, in formula (1 ′), 0 is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and other than the fluorescent dye whose calculated value is smaller than 0 It is configured to recalculate the concentration of the fluorescent dye.
  • the fluorescent dye concentration calculator 34 calculates the concentration of the fluorescent dye 3 in the equation (1 ′) for the pixel. Recalculation by substituting 0 for D3, that is, the following equation (1′ ⁇ ) is calculated to obtain the concentration D1 of the fluorescent dye 1 and the concentration D2 of the fluorescent dye 2.
  • a 11 to a 33 are coefficients a1 ( ⁇ 1) to a3 ( ⁇ 3) at wavelengths ⁇ 1 to ⁇ 3 at the reference concentrations of the fluorescent dyes 1 to 3, respectively. For the sake of convenience, this is simplified.
  • Ig to Ir in (1′ ⁇ ) are intensities I all ( ⁇ 1) at wavelengths ⁇ 1 to ⁇ 3 of the fluorescence image acquired by the fluorescence image acquisition unit (the imaging optical system 22 and the spectroscopic optical element control unit 22f).
  • the intensity I all ( ⁇ 3) is shown in a simplified manner for convenience.
  • the fluorescent dye concentration calculation unit 34 uses the expression (1 ′) for the pixel. Then, 0 is substituted into the concentration D2 of the fluorescent dye 2 and the concentration D3 of the fluorescent dye 3, and recalculation, that is, the following equation (1′ ⁇ ) is calculated to obtain the concentration D1 of the fluorescent dye 1.
  • the determinant (1′ ⁇ ) has a larger number (3) of equations than the type of fluorescent dye concentration (one type). In this case, the determinant (1′ ⁇ ) can be solved by using the least square method or the like. it can.
  • the fluorescent dye concentration calculator 34 sets the fluorescent dye 3 concentration D3 (or the fluorescent dye density D2, the fluorescent dye 3 density D3) having a calculated value smaller than zero. By substituting 0 and recalculating the concentration D1 of the fluorescent dye 1 other than the fluorescent dye 3 smaller than 0 and the concentration D2 of the fluorescent dye 2 (or the concentration D1 of the fluorescent dye), the calculated value The error of the concentration D1 of the fluorescent dye 1 other than the fluorescent dye 3 smaller than 0 and the D2 of the fluorescent dye 2 (or the concentration D1 of the fluorescent dye 1) can be reduced.
  • the fluorescent dye 1 (or fluorescent dye 1, fluorescent dye 2) is displayed on the display device as an image
  • a bright spot is generated at a site where the fluorescent dye 1 (or fluorescent dye 1, fluorescent dye 2) is accumulated.
  • the image can be easily observed.
  • the number of columns in the determinant can be reduced.
  • the fluorescent dye concentration calculation unit 34 includes At least one of the calculated values of the concentration D1 of the fluorescent dye 1 to the concentration D3 of the fluorescent dye 3 calculated using the determinant (1 ′) for obtaining the concentration D1 of the fluorescent dye 1 to the concentration D3 of the fluorescent dye 3 is
  • a fluorescence value smaller than 0 is calculated by substituting a number other than 0 for the concentration of the fluorescent dye whose calculated value is smaller than 0 for the pixel. It is configured to recalculate the concentration of the fluorescent dye other than the dye.
  • the value that the fluorescent dye concentration calculation unit 34 substitutes into the concentration of the fluorescent dye whose calculated value is smaller than 0 at the time of recalculation is not limited to 0 as in the fluorescent endoscope apparatus of the first embodiment. Even if a value close to 0 is substituted and the concentration of a fluorescent dye other than the fluorescent dye having a calculated value smaller than 0 is recalculated, noise can be reduced. In that case, it is preferable to substitute a value as close to 0 as possible. At the time of recalculation, the closer the value to be substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0 is closer to 0, the more the error in the recalculated value of the concentration of fluorescent dyes other than the fluorescent dye whose calculated value is smaller than 0. Can be small.
  • the fluorescent dye concentration calculation unit 34 calculates the expression (1 ′ ), By substituting a predetermined value whose absolute value is smaller than the absolute value of the calculated value into the concentration of the fluorescent dye whose calculated value is smaller than 0, the concentration of fluorescent dyes other than the fluorescent dye whose calculated value is smaller than 0 May be configured to recalculate.
  • the fluorescent dye concentration calculation unit 34 calculates the expression (1 In '), by substituting a predetermined value whose absolute value is half or less of the absolute value of the calculated value for the concentration of the fluorescent dye whose calculated value is smaller than 0, other than the fluorescent dye whose calculated value is smaller than 0 More preferably, the concentration of the fluorescent dye is recalculated.
  • the fluorescent dye concentration calculation unit 34 includes And at least one of the concentration D1 of the fluorescent dye 1 to the concentration D3 of the fluorescent dye 3 calculated using the determinant (1 ′) for obtaining the concentration D1 of the fluorescent dye 1 to the concentration D3 of the fluorescent dye 3 is greater than 0.
  • the calculated value corresponding to the concentration of the fluorescent dye that is smaller than 0 corresponds to the predetermined pixel that is larger than the calculated value and is located in the vicinity of the pixel.
  • the concentration of the fluorescent dye other than the fluorescent dye whose calculated value is smaller than 0 is recalculated.
  • the fluorescent dye concentration calculation unit 34 substitutes a calculated value of the concentration of the corresponding fluorescent dye in an adjacent pixel, which is larger than the calculated value, for a pixel whose calculated value of the fluorescent dye concentration is smaller than 0.
  • Configure to recalculate it is configured to recalculate by substituting an average value of the concentration values of the corresponding fluorescent dyes in the surrounding pixels, which is larger than the calculated value.
  • the range of surrounding pixels here is not limited to the range adjacent to the pixel, and may include a range several pixels away from the pixel adjacent to the pixel.
  • the fluorescent dye concentration calculation unit 34 substitutes for a pixel having a calculated value of the fluorescent dye concentration smaller than 0, and the calculated value of the corresponding fluorescent dye concentration in a predetermined pixel located in the vicinity of the pixel is a positive value.
  • the number of is preferably used.
  • the coefficient and the fluorescence intensity at the reference concentration at a wavelength other than the wavelength component having a large fluorescence intensity in the fluorescent dye whose concentration is to be recalculated Excluded from recalculation, recalculation is performed with the same number of types of wavelengths as fluorescent dyes.
  • a determinant with more types of wavelengths (number of equations) than types of fluorescent dyes (types of fluorescent dye concentration) can be solved by using, for example, the least square method, but it takes time to calculate using the least square method. In some cases, it becomes difficult to display a moving image based on the density obtained by the calculation. In such a case, if the number of equations is reduced so as to be the same as the type of fluorescent dye concentration and recalculation is performed, the calculation time can be shortened, and moving image display is facilitated.
  • the fluorescent dye concentration calculator 34 further reduces the number of equations by reducing the components of the determinant row as in the following equation (1′ ⁇ ′). Use the same number of fluorescent dye concentrations. In this case, in order to minimize the error as much as possible, the contribution to the concentration D1 of the fluorescent dye 1 and the concentration D2 of the fluorescent dye 2 to be recalculated is large (for example, the fluorescence intensity of the fluorescent dye 1 and the fluorescent dye 2 is large). ) Leave the wavelength component.
  • the wavelength component Ig and the wavelength component Ib are wavelength components having higher fluorescence intensity of the fluorescent dye 1 and higher fluorescence intensity of the fluorescent dye 2 than the wavelength component Ir.
  • FIG. 4 is a block diagram showing the overall configuration of the fluorescence endoscope apparatus common to each embodiment of the present invention
  • FIG. 5 is a graph showing an example of optical characteristics in fluorescence observation using the fluorescence endoscope apparatus of FIG. 5A is a diagram showing the spectrum of the excitation light
  • FIG. 5B is a diagram showing the spectral transmittance of the excitation light cut filter
  • FIG. 5C is a diagram showing the autofluorescence spectrum and the fluorescence spectrum of the fluorescent dye
  • FIG. 5D is the fluorescence of FIG. It is a figure which shows the transmission wavelength range which the spectroscopic optical element used in the endoscope apparatus switches repeatedly.
  • FIG. 6 is a flowchart showing a processing procedure of fluorescence observation using the fluorescence endoscope apparatus of FIG.
  • the 4 has a light source unit 1, an endoscope distal end insertion unit 2, an image processing unit 3, and a display unit 4.
  • the light source unit 1 includes a light source and an excitation filter, and as illustrated in FIG. 5A, an excitation light source 11 configured to emit light in a wavelength range for excitation of 430 nm to 450 nm having a central wavelength of 440 nm. It has.
  • the light source unit 1 also includes a white light source 12 and is connected to the illumination light switching control unit 13, and the excitation light source 11 is controlled via the control of the illumination light switching control unit 13. The excitation light from the white light and the white light from the white light source 12 can be switched and emitted.
  • the endoscope distal end insertion portion 2 has an illumination optical system 21 and an imaging optical system 22.
  • the illumination optical system 21 irradiates the living tissue 5 with excitation light from the excitation light source unit 11 via the light guide 23.
  • the living tissue 5 has a fluorescent dye (substance) 1 that emits autofluorescence of 440 nm to 650 nm at a peak wavelength of 460 nm, and a fluorescent dye 2 that emits fluorescence of 500 nm to 635 nm at a peak wavelength of 520 nm.
  • a fluorescent probe containing is labeled.
  • reference numeral 5 a denotes a fluorescent probe accumulation portion including the fluorescent dye 2 in the living tissue 5.
  • the imaging optical system 22 includes an objective optical system 22a, an imaging optical system 22b, an excitation light cut filter 22c, a spectroscopic optical element 22e, and an imaging element 22d.
  • a spectroscopic optical element control unit 22f is connected to the spectroscopic optical element 22e and the image processing unit 3.
  • the excitation light cut filter 22c has an optical characteristic of cutting a wavelength region of 450 nm or less including excitation light and transmitting light in a wavelength region of 450 nm to 800 nm.
  • the spectroscopic optical element 22e is made of an etalon, and is controlled so as to repeat switching of a plurality of wavelength transmission states that transmit light in a predetermined wavelength range via the spectroscopic optical element control unit 22f.
  • the wavelength ⁇ 1 of 450 nm to 480 nm having a peak wavelength of 470 nm and the wavelength ⁇ 2 of 510 nm to 530 nm having a peak wavelength of 520 nm are switched and transmitted.
  • An etalon uses interference of light, and can change the wavelength of light that can be transmitted or reflected by changing the distance between a pair of mirror surfaces arranged to face each other. .
  • the spectroscopic optical element control unit 22f controls the driving of the spectroscopic optical element 22e, such as the wavelength transmission state (transmission wavelength range) and the transmission wavelength state switching pitch of the spectroscopic optical element 22e, and the image processing device 32 in the image processing unit 3.
  • the image processing timing is controlled, and the image processing device 32 is configured to perform image processing each time the transmission wavelength state in the spectroscopic optical element 22e is switched.
  • the image pickup element 22d is composed of a CCD having a single-plate image sensor (not shown).
  • the imaging optical system 22 has a function as a fluorescence image acquisition unit of the present invention through the control of the spectroscopic optical element control unit 22f, and two types of fluorescence images generated from the living tissue 5 are shown in FIG. 5D. It is comprised so that it can acquire for every wavelength (lambda) 1 and wavelength (lambda) 2.
  • the image processing unit 3 includes a frame memory 31, an image processing device 32, a fluorescence spectrum recording unit 33, and a fluorescent dye concentration calculation unit 34.
  • the frame memory 31 stores each image signal acquired via the imaging optical system 22.
  • the image processing device 32 synthesizes the image signals of the wavelengths ⁇ 1 and ⁇ 2 stored in the frame memory 31 through the control of the spectroscopic optical element control unit 22f (for example, every time an image processing instruction signal is received). To do. At that time, for each image signal, a different hue is assigned to each fluorescent dye so that the normal tissue portion and the lesion tissue portion can be easily identified, and the concentration of the fluorescent dye calculated by the fluorescent dye concentration calculation unit 34 is assigned. Is converted into an output signal having an intensity based on.
  • the display unit 4 displays the image processed through the image processing device 32.
  • fluorescence spectrum recording unit 33 fluorescence spectra at respective standard concentrations of two types of fluorescent dye 1 and fluorescent dye 2 (see FIG. 5C) that are assumed to exist in the living tissue 5 are recorded.
  • the fluorescent dye concentration calculation unit 34 is the reference value of each of the fluorescent dye 1 and the fluorescent dye 2 obtained from the fluorescent spectrum at the reference concentration of each of the fluorescent dye 1 and the fluorescent dye 2 recorded in the fluorescent spectrum recording unit 1.
  • the coefficients at the wavelengths ⁇ 1 and ⁇ 2 are a1 ( ⁇ 1) and a2 ( ⁇ 2), and the intensities at the wavelengths ⁇ 1 and ⁇ 2 of the fluorescence image acquired by the fluorescence image acquisition unit are I all ( ⁇ 1) and I all. ( ⁇ 2)
  • the concentration D1 of the fluorescent dye 1 and the concentration D2 of the fluorescent dye 2 are calculated using the following equation (1).
  • the calculated value is less than 0 in Equation (1) for the pixel.
  • the density of the other fluorescent dye is recalculated.
  • the specific fluorescent light dye concentration recalculation processing by the fluorescent dye concentration calculator 34 in the fluorescent endoscope apparatus of FIG. 4 is different.
  • FIG. 7 is a flowchart showing details of the processing procedure of UNMIX calculation and recalculation and determination of the concentration of each fluorescent dye shown in FIG. 6 as the main part of the fluorescence endoscope apparatus of the first embodiment.
  • the fluorescent dye concentration calculation unit 34 is configured in substantially the same manner as in the first embodiment and the second embodiment, and the concentration D1 of the fluorescent dye 1 and the concentration D2 of the fluorescent dye 2.
  • the density of the fluorescent dye whose calculated value is smaller than 0 in the equation (1) is set to 0 (or, for example, the calculated value of the density D2 for the pixel.
  • a value close to 0 such as a value equal to or less than half of the absolute value) is substituted, and the concentration of the other fluorescent dye is recalculated.
  • the effect of the fluorescence endoscope apparatus of Example 1 is substantially the same as that of the fluorescence endoscope apparatus of the first embodiment and the second embodiment.
  • FIG. 6 is a flowchart showing details of the processing procedure of UNMIX calculation and recalculation shown in FIG. 4 and determination of the concentration of each fluorescent dye as the main part of the fluorescence endoscope apparatus of the modification of the first embodiment.
  • the fluorescent dye concentration calculation unit 34 is configured in substantially the same manner as in the fourth embodiment, and any one of the concentration D1 of the fluorescent dye 1 and the concentration D2 of the fluorescent dye 2 is used. There is a pixel whose calculated value is smaller than 0, and in the formula (1), 0 is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the calculated value is smaller than 0.
  • the concentration of a fluorescent dye other than the fluorescent dye When recalculating the concentration of a fluorescent dye other than the fluorescent dye, recalculate the coefficient and fluorescence intensity at the reference concentration at a wavelength other than the wavelength component where the fluorescent intensity is high for the fluorescent dye whose concentration is to be recalculated.
  • the number of wavelength types is the same as the number of fluorescent dyes, and recalculation is performed.
  • the effect of the fluorescence endoscope apparatus of the modification is substantially the same as that of the fluorescence endoscope apparatus of the fourth embodiment.
  • FIG. 9 is a flowchart showing details of the processing procedure of UNMIX calculation and recalculation and determination of the concentration of each fluorescent dye shown in FIG. 6 as the main part of the fluorescence endoscope apparatus of the second embodiment.
  • the fluorescent dye concentration calculator 34 is configured in substantially the same manner as in the third embodiment, and calculates either the concentration D1 of the fluorescent dye 1 or the concentration D2 of the fluorescent dye 2. If there is a pixel having a value smaller than 0, the calculated value is calculated for the pixel in the expression (1) at a fluorescent dye concentration that is smaller than 0 in the calculated value.
  • pre-preparation processing is performed.
  • a fluorescent dye solution is prepared for each of the fluorescent dye 1 and the fluorescent dye 2 that are assumed to be present in the living tissue 5, and a fluorescence spectrum is acquired using a fluorescence endoscope apparatus ( Step S1).
  • the light source unit 1 emits excitation light from the excitation light source 11 through the control of the illumination light switching control unit 13.
  • the emitted excitation light is irradiated to the fluorescent dye 1 (or fluorescent dye 2) from the illumination optical system 21 via the light guide 23.
  • the fluorescence emitted from the fluorescent dye 1 (or fluorescent dye 2) and the excitation light reflected by the fluorescent dye 1 (or fluorescent dye 2) pass only through the objective optical system 22a and the imaging optical system 22b, and then only the excitation light.
  • the light is cut by the excitation light cut filter 22c and enters the spectroscopic optical element 22e.
  • the spectroscopic optical element 22e alternately passes light having wavelengths ⁇ 1 and ⁇ 2 out of incident light.
  • the light that has passed through the spectroscopic optical element 22e is imaged by the imaging element 22d.
  • the fluorescence spectrum recording unit 33 of the image processing unit 3 records the acquired fluorescence spectrum of each fluorescent dye (step S2).
  • the signal intensities at the wavelengths ⁇ 1 and ⁇ 2 in the fluorescence spectra of the fluorescent dyes 1 and 2 recorded in the fluorescence spectrum recording unit 33 are the wavelengths ⁇ 1 and ⁇ 2 at the reference concentrations of the fluorescent dye 1 and the fluorescent dye 2, respectively.
  • Step S3 fluorescent images of biological tissue 5 having fluorescent dye 1 (or autofluorescence) and labeled with fluorescent dye 2 (or drug) are acquired for each of two types of wavelengths ⁇ 1 and ⁇ 2.
  • the light source unit 1 emits excitation light from the excitation light source 11 through the control of the illumination light switching control unit 13.
  • the emitted excitation light is irradiated to the living tissue 5 from the illumination optical system 21 via the light guide 23.
  • the self-fluorescence of the fluorescent dye 1 emitted from the biological tissue 5, the fluorescence of the fluorescent dye 2, and the excitation light reflected by the biological tissue 5 are excited only by the excitation light after passing through the objective optical system 22a and the imaging optical system 22b.
  • the light is cut by the light cut filter 22c and enters the spectroscopic optical element 22e.
  • the spectroscopic optical element 22e alternately passes light having wavelengths ⁇ 1 and ⁇ 2 out of incident light.
  • the light that has passed through the spectroscopic optical element 22e is imaged by the imaging element 22d.
  • the acquired fluorescent image is stored in the frame memory 31.
  • the fluorescent dye concentration calculation unit 34 stores the two types of fluorescence spectral images acquired by the fluorescent image acquisition unit (the imaging optical system 22 and the spectral optical element control unit 22f) and stored in the frame memory 31 and the fluorescent spectrum recording unit 33. It exists in the living tissue 5 using the recorded fluorescence spectra at the respective reference concentrations of the fluorescent dye 1 and the fluorescent dye 2 and the fluorescent images for each of the two wavelengths ⁇ 1 and ⁇ 2 acquired by the fluorescent image acquisition unit. The density D1 of each fluorescent dye 1 and the density D2 of fluorescent dye 2 are calculated for all the pixels in the fluorescent image using equation (1).
  • the fluorescent dye concentration calculation unit 34 calculates the following expression (1 ), A predetermined value larger than the calculated value is substituted for the concentration of the fluorescent dye whose calculated value is smaller than 0, and the concentration of the other fluorescent dye is recalculated. Through these calculations and recalculations, the concentration of fluorescent dye 1 and the concentration of fluorescent dye 2 are determined (step S4).
  • the fluorescent dye concentration calculator 34 selects the first pixel to be processed (step S41).
  • UNMIX calculation calculation of the density D1 of the fluorescent dye 1 and the density D2 of the fluorescent dye 2 is performed on the pixel (step S42).
  • step S43 the calculated value in the expression (1) is smaller than 0 for the pixel.
  • Step S44 Substitute 0 (or a value close to 0 such as a value less than or equal to 1/2 of the absolute value of the calculated value of density D2) for the density of the dye (step S44), and recalculate the density of the other fluorescent dye. (Step S45).
  • the concentration of each fluorescent dye that is 0 or more is determined as the density information of each fluorescent dye for the pixel (step S46). ).
  • the fluorescent dye concentration calculator 34 selects the first pixel to be processed (step S41).
  • UNMIX calculation (calculation of the density D1 of the fluorescent dye 1 and the density D2 of the fluorescent dye 2) is performed on the pixel (step S42).
  • the calculated value in the equation (1) is smaller than 0 for the pixel. 0 is substituted for the concentration of the dye (step S44 ′), and the concentration of the other fluorescent dye is recalculated.
  • the coefficient and the fluorescence intensity at the reference concentration other than the wavelength component having a high fluorescence intensity are excluded from the recalculation target, and the recalculation is performed with the same number of types of wavelengths as that of the fluorescent dyes (step S45 ′).
  • the concentration of each fluorescent dye that is 0 or more is determined as the density information of each fluorescent dye for the pixel (step S46). ).
  • the fluorescent dye concentration calculator 34 selects the first pixel to be processed (step S41).
  • UNMIX calculation calculation of the density D1 of the fluorescent dye 1 and the density D2 of the fluorescent dye 2 is performed on the pixel (step S42).
  • the calculated value in the equation (1) is smaller than 0 for the pixel.
  • step S44 As a calculated value of the concentration of the corresponding fluorescent dye in a predetermined pixel located in the vicinity of the pixel, the value obtained from the calculated value of the surrounding pixel (for example, the surroundings) (The average value of the calculated values of the corresponding pixel) is substituted (step S44 ′′), and the concentration of the other fluorescent dye is recalculated (step S45).
  • the calculated values of the concentrations of all the fluorescent dyes in the pixel are 0.
  • step S46 the density of each fluorescent dye that has become 0 or more is determined as density information of each fluorescent dye for the pixel (step S46). It performs processing to S46 for all the pixels (step S47, the step S48).
  • the image processing device 32 performs, for each image signal for each of the wavelengths 1 and 2, for each of the fluorescent dye 1 and the fluorescent dye 2 (for example, red for the fluorescent dye 1 and green for the fluorescent dye 2). Assign different hues). And it converts into the output signal of the intensity
  • the image processing device 32 converts each image signal for each wavelength 1 and 2 into an output signal having an intensity based on the concentration of the fluorescent dye for each of the fluorescent dye 1 and the fluorescent dye 2.
  • the image signals may be combined to reconstruct the image (step S5).
  • the display unit 4 is configured so that the reconstructed image is color-assigned to the fluorescence density image information of the two types of fluorescent dyes 1 and 2, or for each fluorescence density image information of one type of fluorescent dye. (Step S6). These processes in steps S3 to S6 are repeated until the observation of the living tissue 5 is completed.
  • the fluorescence endoscope apparatus of Example 1 and Example 2 can also perform observations other than the above-described observation of multiple fluorescence.
  • the light source unit 1 is switched to emit white light from the white light source 12 through the control of the illumination light switching control unit 13, the white light is irradiated on the living tissue 5, Reflected light is acquired via the imaging optical system 22 except for a part of the wavelength region, a color image is synthesized via the image processing device 32, and the synthesized color image is displayed via the display unit 4. Thereby, the reflected image observation in the color using normal white light can be performed.
  • the spectroscopic optical element 22e when the spectroscopic optical element 22e is controlled to transmit only one type of wavelength range via the spectroscopic element control unit 22f, A fluorescent image is acquired, and the fluorescent image is displayed via the display unit 4. Thereby, the fluorescence image observation by one type of wavelength can be performed.
  • the image processing device 32 when performing fluorescence observation at multiple wavelengths, receives the image signals of the wavelengths ⁇ 1 and ⁇ 2 stored in the frame memory 31 through the control of the spectroscopic optical element control unit 22f. When combining, a different hue is assigned to each image signal. Thereby, the fluorescence image observation of the state color-coded for every wavelength can be performed.
  • the fluorescence endoscope apparatus of this invention is not limited to these, The characteristic in each embodiment and Example It may be a combination of configurations.
  • a desired fluorescent dye type can be set via a screen input or the like according to the type of fluorescent dye that differs depending on the biological tissue to be observed, the purpose of observation, the observation conditions, and the like, and the fluorescence spectrum recording unit 33. It is further preferable that the fluorescent dye concentration calculation unit 34 is configured to be capable of calculating the concentration of a desired fluorescent dye set by screen input or the like, with fluorescence spectra at reference concentrations of various types of fluorescent dyes.
  • the fluorescence endoscope apparatus of the present invention is useful for a fluorescence endoscope apparatus that irradiates a living tissue with excitation light and observes a lesioned part of the living tissue by fluorescence generated from the living tissue.

Abstract

 蛍光スペクトル記録部、蛍光画像取得部、蛍光濃度演算部を有し、前記演算部は、前記記録部に記録された蛍光色素1~mの基準濃度での波長λ1~λnでの係数をa1(λ1)~am(λn)、前記取得部が取得した蛍光画像の波長λ1~λnでの強度をIall(λ1)~Iall(λn)、蛍光色素1~mの濃度をD1~Dmとしたとき、次の式を用いて、濃度D1~Dmを、画素ごとに全画素について計算し、濃度D1~Dmの計算値のいずれかが0よりも小さい画素が存在する場合、当該画素について、該式において、当該濃度に計算値よりも大きい所定値を代入して、その他の濃度を再計算する。

Description

蛍光内視鏡装置
 本発明は、生体組織に励起光を照射し前記生体組織から発生する蛍光により生体組織の病変部を観察する蛍光内視鏡装置に関する。
 内視鏡を用いた蛍光観察において、生体を複数種類の蛍光色素で染色した場合や、蛍光色素からの蛍光の他に生体の自家蛍光や便等の内容物が光るような場合、生体画像は、複数種類の光が多重化された状態となる。しかし、光が多重化された状態の生体画像をそのまま観察したのでは、蛍光色素が集積する癌等の病変部の位置がわかり難くなる。このため、蛍光が多重化された状態の生体画像から個々の蛍光を分離し、蛍光ごとに識別できる色を付加した画像を再構築することが必要となる。
 従来、多重化された蛍光画像から個々の蛍光を分離する手法としては、例えば、測定対象中に存在する、各蛍光色素の濃度を算出することを目的としたアンミキシング(Unmixing)と呼ばれる方法がある。
 Unmixingによる蛍光の分離手順を、図1を用いて概念的に説明する。なお、ここでは、測定対象に既知の2種類の蛍光色素(蛍光物質)1,2が存在することが判明しているものとする。
 まず、あらかじめ測定対象中に存在する個々の蛍光色素1,2の蛍光スペクトルを所定の基準濃度で測定する。ここで、図1Aは蛍光色素1の基準濃度での蛍光スペクトル、図1Bは蛍光色素2の基準濃度での蛍光スペクトルの一例を示している。
 次いで、蛍光色素1,2が存在する測定対象の蛍光スペクトルを測定する。図1Cは測定された測定対象の蛍光スペクトルの一例を示している。
 次いで、図1A、図1Bに示す蛍光色素1,2の基準濃度での蛍光スペクトルの測定データを用いて、図1Cに示されている測定対象の蛍光スペクトルの測定データが得られるための蛍光色素1,2の濃度を演算する。図1Dは図1Cに示されている測定対象の蛍光スペクトルの測定データを、夫々所定の濃度の蛍光色素1,2の蛍光スペクトルに分離した例を模式的に示す。
 次に、Unmixingにおける各蛍光色素の濃度の演算方法について説明する。
 測定対象の波長λnでの信号強度Iall(λn)は、各蛍光色素の波長λnでの信号強度の合計であり、次の式(2)のように表すことができる。
 Iall(λn)=I1(λn)+I2(λn)・・・+Im(λn)…(2)
 但し、I1は蛍光色素1から得られる波長λnでの信号強度、I2は蛍光色素2から得られる波長λnでの信号強度、Imは蛍光色素mから得られる波長λnでの信号強度である。
 ところで、蛍光色素から得られる信号強度は蛍光色素の濃度に比例する。従って、測定対象中にm種類の蛍光色素が存在する場合、波長λnでの各蛍光色素から得られる信号強度は、次の式(3a)~(3c)のように表すことができる。
 I1(λn)=a1(λn)*D1              …(3a)
 但し、D1は蛍光色素1の濃度、a1(λn)は蛍光色素1の基準濃度での波長λnでの係数である。
 I2(λn)=a2(λn)*D2             …(3b)
 但し、D2は蛍光色素2の濃度、a2(λn)は蛍光色素2の基準濃度での波長λnでの係数である。
 Im(λn)=am(λn)*Dm              …(3c)
 但し、Dmは蛍光色素mの濃度、am(λn)は蛍光色素mの基準濃度での波長λnでの係数である。
 これらの式(3a)~(3c)より、測定対象中にm種類の蛍光色素が存在すると想定される場合におけるn種類の波長λ1~波長λnでの測定対象の信号強度は、例えば、次の行列式(4)で表すことができる。
Figure JPOXMLDOC01-appb-I000004
 ここで、行列式(4)の左辺の
Figure JPOXMLDOC01-appb-I000005
は測定対象の分光スペクトルを示す。
 また、行列式(4)の右辺における
Figure JPOXMLDOC01-appb-I000006
は各蛍光色素の基準濃度での蛍光スペクトルを示している。
 そこで、次の行列式(5)を解くことで、各蛍光色素の濃度D1,D2,…,Dmが求まる。
Figure JPOXMLDOC01-appb-I000007
 なお、上記行列式において、分光画像の種類と蛍光色素の種類とが同数(即ち、n=m)の場合は、式の数と蛍光色素の濃度の種類とが同数となるので、一意的に行列式を解くことができる。また、分光画像の種類が蛍光色素の種類よりも多い(即ち、n>m)場合は、式の数が蛍光色素の濃度の種類よりも多くなるが、この場合は最小2乗法等を用いることで行列式を解くことができる。これに対し、分光画像の種類が蛍光色素の種類よりも少ない(即ち、n<m)場合は、式の数が蛍光色素の濃度の種類よりも少なくなるため、行列式を解くことができない。
 従って、Unmixingの手法は、分光画像の種類を蛍光色素の種類以上(即ち、n≧m)にすることが前提となる。
 このように、Unmixingの手法によれば、予め蛍光色素の基準濃度での蛍光スペクトルを取得しておいた状態で、複数枚の分光画像を取得し、各画素について行列式(5)の演算を行うことで、各画素での、それぞれの蛍光色素の濃度を算出することができる。図2に所定の画素において取得されるn種類の分光画像と行列式における分光スペクトルとの関係を概念的に示す。
 図2中、Iall(λ1)は分光画像1の強度、Iall(λn)は分光画像nの強度である。
 従来、このようなUnmixingの手法は、例えば、次の特許文献1~3に記載されている。
   特許文献1
   WO2005/036143号公報
   特許文献2
   特開2006-242899号公報
   特許文献3
   特開2005-181276号公報
 特許文献1~3の記載におけるUnmixingの手法は、例えば顕微鏡等、試料を固定した状態にして蛍光画像を得る装置に用いられている。
 ところで、Unmixingを用いた蛍光の分離には、次のような課題がある。
 蛍光観察においては、測定対象から発せられる蛍光が微弱であるため、計測される蛍光信号に対する、撮像装置の暗電流を主成分とするノイズの比率が大きくなり、S/Nが悪くなる。
 即ち、計測の際には、蛍光信号にノイズが混じるため、行列式(5)は次の行列式(6)のようになっている。
Figure JPOXMLDOC01-appb-I000008
 ここで、Iall’(λ)はノイズを含まない蛍光信号の値である。
 しかるに、蛍光観察においては、上述のように、蛍光信号Iall’(λ)にノイズが加算(又は減算)される割合が大きくなるため、行列式(6)を演算することにより求められる蛍光色素の濃度D1,D2,…,Dnの値が、実際の濃度から大きくずれたものとなってしまう。
 Unmixingを用いる場合において、蛍光色素の濃度D1,D2,…Dnの値を極力正確に求める方法としては、次の2つの方法が考えられる。
 第一の方法は、露光時間を長くして各分光波長での蛍光信号を極力精度よく取得する方法である。
 撮像素子においてノイズの主成分となる暗電流は、露光時間にかかわり無く一定と考えられるのに対し、蛍光信号の強度は露光時間に比例する。このため、例えば、露光時間を長くして各分光波長での蛍光信号に対するノイズの比率を小さくして、S/Nをよくする。
 第二の方法は、分光画像の種類を増やす方法である。
 分光画像の種類を増やすと、蛍光色素の濃度の計算精度を上げることができる。
 例えば、2種類の蛍光色素に対して、次の行列式(7)に示すように、分光画像の数を2から5に増やすと、最小二乗法を用いた計算結果の精度が上がる。
Figure JPOXMLDOC01-appb-I000009
 これら2つの方法は、特許文献1~3に記載のような、顕微鏡等の試料を固定した状態にして画像を取得する装置においては有効である。
 しかし、内視鏡装置は、生体に対し内視鏡先端部を移動させながら動画で分光画像を取得する必要があり、取得可能な分光画像の数や、露光時間が限られている。
 このため、内視鏡装置を用いた蛍光観察においては、上述のような顕微鏡等の試料を固定した状態にして画像を取得する装置において有効な2つの方法を用いることができず、その結果、蛍光色素の濃度の計算値が、実際の値から大きくずれ易い。
 ここで、複数の蛍光色素の濃度の計算値のうち、所定の蛍光色素の濃度の計算値が0よりも小さい値となる場合には、その他の蛍光色素の濃度の計算値が、実際の濃度よりも大きくなり易い。蛍光色素の濃度の計算値が実際の濃度よりも大きくずれた場合、計算された濃度に基づいて当該蛍光色素の画像を再構築して表示装置に表示したときに、ノイズが生じやすく、画像が観察し難いものとなってしまい易い。
 本発明は、このような従来の問題点に鑑みてなされたものであり、分光画像の種類および露光時間が少なくても、取得された多重蛍光画像から、濃度の誤差を最小限に抑えて各蛍光を分離でき、各蛍光が分離された状態の蛍光画像を、より少ないノイズで表示可能な蛍光内視鏡装置を提供することを目的としている。
課題を解決するための手段
 上記目的を達成するため、本発明による蛍光内視鏡装置は、生体組織に励起光を照射し前記生体組織から発生する蛍光により生体組織の病変部を観察する蛍光内視鏡装置であって、前記生体組織中に存在することが想定されるm種類[但し、2≦m]の蛍光色素1~蛍光色素mの夫々の基準濃度での蛍光スペクトルが記録された蛍光スペクトル記録部と、前記生体組織から発生する蛍光画像を、n種類[但し、m≦n]の波長λ1~波長λnごとに取得する蛍光画像取得部と、前記蛍光スペクトル記録部に記録されたm種類の蛍光色素1~蛍光色素mの夫々の基準濃度での蛍光スペクトルと前記蛍光画像取得部が取得したn種類の波長λ1~波長λnごとの蛍光画像を用いて、前記生体組織中に存在する夫々の蛍光色素の濃度を、該蛍光画像における全ての画素について演算により求める蛍光色素濃度演算部を有し、前記蛍光色素濃度演算部は、前記蛍光スペクトル記録部に記録された蛍光色素1~蛍光色素mの夫々の基準濃度での蛍光スペクトルより得られる蛍光色素1~蛍光色素mの夫々における基準濃度での波長λ1~波長λnの夫々での係数をa1(λ1)~am(λn)、前記蛍光画像取得部が取得した蛍光画像の波長λ1~波長λnの夫々での強度をIall(λ1)~Iall(λn)、蛍光色素1~蛍光色素mの夫々の濃度をD1~Dmとしたとき、次の式(1”)を用いて、蛍光色素1の濃度D1~蛍光色素mの濃度Dmを、該蛍光画像における画素ごとに全ての画素について計算し、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、次の式(1”)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴としている。
Figure JPOXMLDOC01-appb-I000010
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1”)において、計算値が0よりも小さい蛍光色素の濃度に0を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1”)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値よりも小さい所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1”)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値の2分の1以下の所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1”)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算する場合に、前記式(1”)において、蛍光色素1~蛍光色素mの夫々における基準濃度での波長λ1~波長λnの夫々での係数a1(λ1)~am(λn)及び前記蛍光画像取得部が取得した蛍光画像の波長λ1~波長λnの夫々での強度Iall(λ1)~Iall(λn)のうち、濃度を再計算する対象となっている蛍光色素における蛍光強度が大きい波長成分以外の波長での基準濃度での係数及び蛍光強度を再計算の対象から除外し、波長の種類を蛍光色素の種類と同数にして、再計算を行うのが好ましい。
 また、本発明による蛍光内視鏡装置は、生体組織に励起光を照射し前記生体組織から発生する蛍光により生体組織の病変部を観察する蛍光内視鏡装置であって、前記生体組織中に存在することが想定される2種類の蛍光色素1,蛍光色素2の夫々の基準濃度での蛍光スペクトルが記録された蛍光スペクトル記録部と、前記生体組織から発生する蛍光画像を、2種類の波長λ1,波長λ2ごとに取得する蛍光画像取得部と、前記蛍光スペクトル記録部に記録された2種類の蛍光色素1,蛍光色素2の夫々の基準濃度での蛍光スペクトルと前記蛍光画像取得部が取得した2種類の波長λ1,λ2ごとの蛍光画像を用いて、前記生体組織中に存在する夫々の蛍光色素の濃度を、該蛍光画像における全ての画素について演算により求める蛍光色素濃度演算部を有し、前記蛍光色素濃度演算部は、前記蛍光スペクトル記録部に記録された蛍光色素1,蛍光色素2の夫々の基準濃度での蛍光スペクトルより得られる蛍光色素1の基準濃度での波長λ1での係数をa1(λ1)、蛍光色素1の基準濃度での波長λ2での係数をa1(λ2)、蛍光色素2の基準濃度での波長λ1での係数をa2(λ1)、蛍光色素2の基準濃度での波長λ2での係数をa2(λ2)、前記蛍光画像取得部が取得した蛍光画像の波長λ1での強度をIall(λ1)、波長λ2での強度をIall(λ2)、蛍光色素1の濃度をD1、蛍光色素2の濃度をD2としたとき、次の式(1)を用いて、蛍光色素1の濃度D1,蛍光色素2の濃度D2を、該蛍光画像における画素ごとに全ての画素について計算し、蛍光色素の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、次の式(1)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい所定値を代入して、他方の蛍光色素の濃度を再計算することを特徴としている。
Figure JPOXMLDOC01-appb-I000011
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、前記式(1)において、計算値が0よりも小さい蛍光色素の濃度に0を代入して、他方の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、前記式(1)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値よりも小さい所定値を代入して、他方の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、前記式(1)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値の2分の1以下の所定値を代入して、他方の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、前記式(1)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値を代入して、他方の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明による蛍光内視鏡装置は、生体組織に励起光を照射し前記生体組織から発生する蛍光により生体組織の病変部を観察する蛍光内視鏡装置であって、前記生体組織中に存在することが想定される3種類の蛍光色素1~蛍光色素3の夫々の基準濃度での蛍光スペクトルが記録された蛍光スペクトル記録部と、前記生体組織から発生する蛍光画像を、3種類の波長λ1~波長λ3ごとに取得する蛍光画像取得部と、前記蛍光スペクトル記録部に記録された3種類の蛍光色素1~蛍光色素3の夫々の基準濃度での蛍光スペクトルと前記蛍光画像取得部が取得した3種類の波長λ1~波長λ3ごとの蛍光画像を用いて、前記生体組織中に存在する夫々の蛍光色素の濃度を、該蛍光画像における全ての画素について演算により求める蛍光色素濃度演算部を有し、前記蛍光色素濃度演算部は、前記蛍光スペクトル記録部に記録された蛍光色素1~蛍光色素3の夫々の基準濃度での蛍光スペクトルより得られる蛍光色素1の基準濃度での波長λ1での係数をa1(λ1)、蛍光色素1の基準濃度での波長λ2での係数をa1(λ2)、蛍光色素1の基準濃度での波長λ3での係数をa1(λ3)、蛍光色素2の基準濃度での波長λ1での係数をa2(λ1)、蛍光色素2の基準濃度での波長λ2での係数をa2(λ2)、蛍光色素2の基準濃度での波長λ3での係数をa2(λ3)、蛍光色素3の基準濃度での波長λ1での係数をa3(λ1)、蛍光色素3の基準濃度での波長λ2での係数をa3(λ2)、蛍光色素3の基準濃度での波長λ3での係数をa3(λ3)、前記蛍光画像取得部が取得した蛍光画像の波長λ1での強度をIall(λ1)、波長λ2での強度をIall(λ2)、波長λ3での強度をIall(λ3)、蛍光色素1の濃度をD1、蛍光色素2の濃度をD2、蛍光色素3の濃度をD3としたとき、次の式(1’)を用いて、蛍光色素1の濃度D1~蛍光色素3の濃度D3を、該蛍光画像における画素ごとに全ての画素について計算し、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、次の式(1’)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴としている。
Figure JPOXMLDOC01-appb-I000012
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1’)において、計算値が0よりも小さい蛍光色素の濃度に0を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1’)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値よりも小さい所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1’)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値の2分の1以下の所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するのが好ましい。
 また、本発明の蛍光内視鏡装置においては、前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1’)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するのが好ましい。
 本発明によれば、分光画像の種類および露光時間が少なくても、取得された多重蛍光画像から、濃度の誤差を最小限に抑えて各蛍光を分離でき、各蛍光が分離された状態の蛍光画像を、少ないノイズで表示可能な蛍光内視鏡装置が得られる。
図1はUnmixingによる2種類の蛍光の分離手順についての概念的な説明図で、図1Aは蛍光色素1の基準濃度での蛍光スペクトルの一例を示すグラフ、図1Bは蛍光色素2の基準濃度での蛍光スペクトルの一例を示すグラフ、図1Cは測定された測定対象の蛍光スペクトルの一例を示すグラフ、図1Dは図1Cに示されている測定対象の蛍光スペクトルの測定データを、夫々所定の濃度の蛍光色素1,2の蛍光スペクトルに分離した例を模式的に示す図である。 図2は所定の画素において取得されるn種類の分光画像と行列式における分光スペクトルとの関係を概念的に示す説明図である。 図3は本発明の各実施形態に共通の蛍光内視鏡装置全体の構成を概略的に示すブロック図である。 図4は本発明の各実施例に共通の蛍光内視鏡装置全体の構成を示すブロック図である。 図5は図4の蛍光内視鏡装置を用いた蛍光観察における光学特性の一例を示すグラフで、図5Aは励起光のスペクトルを示す図、図5Bは励起光カットフィルタの分光透過率を示す図、図5Cは自家蛍光スペクトルと蛍光色素の蛍光スペクトルを示す図、図5Dは図4の蛍光内視鏡装置において用いられている分光光学素子が繰り返し切替える透過波長域を示す図である。 図6は図5の蛍光内視鏡装置を用いた蛍光観察の処理手順を示すフローチャートである。 図7は実施例1の蛍光内視鏡装置の要部として、図6に示したUNMIX計算および再計算、各蛍光色素の濃度の決定の処理手順の詳細を示すフローチャートである。 図8は実施例1の変形例の蛍光内視鏡装置の要部として、図6に示したUNMIX計算および再計算、各蛍光色素の濃度の決定の処理手順の詳細を示すフローチャートである。
 図3は本発明の各実施形態に共通の蛍光内視鏡装置全体の構成を概略的に示すブロック図である。
 図3の蛍光内視鏡装置は、光源部1と、内視鏡先端挿入部2と、画像処理部3と、表示ユニット4を有している。
 光源部1は、光源と励起フィルタを有し、励起用の波長域の光を発することができるように構成されている。
 内視鏡先端挿入部2は、照明光学系21と、撮像光学系22を有している。
 照明光学系21は、光源部1からの励起光を生体組織5に照射するように構成されている。
 撮像光学系22は、対物光学系、結像光学系、励起カットフィルタ、分光光学素子、撮像素子等(図示省略)を有し、図示省略した所定の制御手段による制御を介して、本発明における蛍光画像取得部としての機能を有し、生体組織5から発生する蛍光画像を、n種類[但し、2≦n]の波長λ1~波長λnごとに取得することができるように構成されている。
 画像処理部3は、フレームメモリ31と、画像処理装置32と、蛍光スペクトル記録部33と、蛍光色素濃度演算部34を有している。
 フレームメモリ31は、撮像光学系22を介して取得された各画像信号を記憶する。
 画像処理装置32は、フレームメモリ31に記憶された各画像信号を合成する。その際、各画像信号に対して、正常組織部分と病変組織部分とが識別し易くなるように、蛍光色素ごとに、異なる色相を割り当てて、蛍光色素濃度演算部34で演算された蛍光色素の濃度に基づく強度の出力信号に変換する。
 表示ユニット4は、画像処理装置32を介して処理された画像を表示する。
 蛍光スペクトル記録部33には、生体組織5中に存在することが想定されるm種類[但し、2≦m≦n]の蛍光色素1~蛍光色素mの夫々の基準濃度での蛍光スペクトルが記録されている。
 蛍光色素濃度演算部34は、蛍光スペクトル記録部33に記録された蛍光色素1~蛍光色素mの夫々の基準濃度での蛍光スペクトルより得られる蛍光色素1~蛍光色素mの夫々における基準濃度での波長λ1~波長λnの夫々での係数をa1(λ1)~am(λn)、蛍光画像取得部が取得した蛍光画像の波長λ1~波長λnの夫々での強度をIall(λ1)~Iall(λn)、蛍光色素1~蛍光色素mの夫々の濃度をD1~Dmとしたとき、次の式(1”)を用いて、蛍光色素1の濃度D1~蛍光色素mの濃度Dmを計算する。ここで、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、式(1”)において、計算値が0よりも小さい蛍光色素の濃度に、該計算した濃度の値よりも大きい所定値を代入して、当該蛍光色素以外の蛍光色素の濃度を再計算する。
Figure JPOXMLDOC01-appb-I000013
 即ち、図3の蛍光内視鏡装置は、蛍光色素濃度演算部34が、ある蛍光色素の濃度の計算値が、想定される値から大きくずれてマイナスになる場合、想定される範囲内の計算した値よりも大きな値(例えば、0)に置き換えて、それ以外の蛍光色素の濃度について再計算を行うように構成されている。
 例えば、2種類の蛍光色素1,蛍光色素2に対して、2種類の波長λ1,波長λ2での蛍光画像を得る構成において蛍光色素1の濃度D1,蛍光色素2の濃度D2を求める行列式は次の式(1)で表される。
Figure JPOXMLDOC01-appb-I000014
 ここで、蛍光色素濃度演算部34が行列式(1)の計算を行った結果、例えば蛍光色素2の濃度D2がマイナスの値になる場合がある。
 しかし、実際には、蛍光色素の濃度は、最小値が0であって、マイナスの値になることはありえない。そして、蛍光色素2の濃度D2の計算値がマイナスの値に計算される場合、蛍光色素1の濃度D1は実際の濃度よりも大きく計算されている確率が高い。
 この点に関し、式を用いて詳しく説明する。
 例えば、上記のような2種類の蛍光色素1,蛍光色素2に対して、2種類の波長λ1,波長λ2での蛍光画像を得る構成において、測定対象の波長λ1での信号強度Iall(λ1)を、上記2種類の蛍光色素1,蛍光色素2の波長λ1での信号強度の合計で表すと、次の式(2’)のように表すことができる。
 Iall(λ1)=a1(λ1)*D1+a2(λ1)*D2    …(2’)
 但し、a1(λ1)は蛍光色素1の基準濃度での波長λ1での係数、a2(λ1)は蛍光色素2の基準濃度での波長λ1での係数である。
 ここで、蛍光色素1の濃度D1、蛍光色素2の濃度D2の最小値は、夫々0であり、マイナスになることはない。このため、蛍光色素1の波長λ1での明るさ(信号強度)の最小値、蛍光色素2の波長λ1での明るさ(信号強度)の最小値は、夫々0である。
 このことから、理論上は、上記式(2’)において、例えば、蛍光色素1の波長λ1での明るさ(信号強度)a1(λ1)*D1が0のときは、蛍光色素2の波長λ1での明るさ(信号強度)a2(λ1)*D2が観察対象の波長λ1での明るさ(信号強度)Iall(λ1)に等しくなる。また、例えば、蛍光色素2の波長λ1での明るさ(信号強度)a2(λ1)*D2が0のときは、蛍光色素1の波長λ1での明るさ(信号強度)a1(λ1)*D1が観察対象の波長λ1での明るさ(信号強度)Iall(λ1)に等しくなる。
 しかるに、例えば、上記行列式(1)において、蛍光色素2の波長λ1での濃度D2がマイナスの値に計算されると、蛍光色素2の波長λ1での明るさ(信号強度)a2(λ1)*D2がマイナスの値に計算されることになる。そうすると、上記式(2’)における、蛍光色素1の波長λ1での明るさ(信号強度)a1(λ1)*D1の計算値が、観察対象の波長λ1での明るさ(信号強度)Iall(λ1)よりも明るい値となり、理論上の最大値を上回ってしまうことになる。
 そのような計算値に基づいて蛍光色素1について再構築した画像を、表示ユニット4が表示すると、蛍光色素1が集積している部位での信号強度が強くなり過ぎてノイズを生じ易い。
 図3の蛍光内視鏡のように、蛍光色素濃度演算部34が、行列式(1)における蛍光色素2の濃度D2に想定の範囲内の値(例えば、0)を代入して、蛍光色素1の濃度D1を再計算すれば、蛍光色素1の濃度D1における計算値と実際の濃度との誤差を小さくすることができる。その結果、蛍光色素1を再構築した画像を表示ユニット4が表示した場合において蛍光色素1が集積している部位でのノイズの発生を抑えることができ、画像が観察し易くなる。
 以下、図3の構成を備えた蛍光内視鏡装置における蛍光色素濃度演算部34による蛍光色素の濃度の再計算処理の具体例を本発明の実施形態として示す。
第一実施形態(0を代入する例)
 第一実施形態の蛍光内視鏡装置は、3種類の蛍光色素1~蛍光色素3に対して、3種類の波長λ1~波長λ3での蛍光画像を得る場合において、蛍光色素濃度演算部34が、蛍光色素1の濃度D1~蛍光色素3の濃度D3を求める行列式(1’)を用いて計算した、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、式(1’)において、計算値が0よりも小さい蛍光色素の濃度に0を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するように構成されている。
 蛍光色素濃度演算部34は、例えば、蛍光色素3の濃度D3の計算値が0よりも小さい値となった画素が存在する場合、当該画素について、式(1’)において、蛍光色素3の濃度D3に0を代入して再計算、つまり、次の式(1’α)を計算して蛍光色素1の濃度D1,蛍光色素2の濃度D2を求める。
Figure JPOXMLDOC01-appb-I000015
 なお、式(1’α)におけるa11~a33は蛍光色素1~蛍光色素3の夫々における基準濃度での波長λ1~波長λ3の夫々での係数a1(λ1)~係数a3(λ3)を、便宜上、簡略化して示したものである。また、(1’α)におけるIg~Irは蛍光画像取得部(撮像光学系22と分光光学素子制御ユニット22f)が取得した蛍光画像の波長λ1~波長λ3の夫々での強度Iall(λ1)~強度Iall(λ3)を、便宜上、簡略化して示したものである。
 また、蛍光色素濃度演算部34は、例えば、蛍光色素2の濃度D2,蛍光色素3の濃度D3が0よりも小さい値となった画素が存在する場合、当該画素について、式(1’)において、蛍光色素2の濃度D2,蛍光色素3の濃度D3に0を代入して再計算、つまり、次の式(1’β)を計算して、蛍光色素1の濃度D1を求める。
Figure JPOXMLDOC01-appb-I000016
 なお、行列式(1’β)は、式の数(3つ)が、蛍光色素の濃度の種類(1種類)よりも多くなるが、この場合は最小2乗法等を用いることで解くことができる。
 第一実施形態の内視鏡装置のように、蛍光色素濃度演算部34が、計算値が0よりも小さい蛍光色素3の濃度D3(又は蛍光色素の濃度D2,蛍光色素3の濃度D3)に0を代入して、計算値が0よりも小さい蛍光色素3以外の蛍光色素1の濃度D1,蛍光色素2の濃度D2(又は蛍光色素の濃度D1)を再計算するようにすれば、計算値が0よりも小さい蛍光色素3以外の蛍光色素1の濃度D1,蛍光色素2のD2(又は蛍光色素1の濃度D1)の誤差を小さくすることができる。その結果、蛍光色素1(又は蛍光色素1,蛍光色素2)を画像で表示装置に表示したときに蛍光色素1(又は蛍光色素1,蛍光色素2)が集積した部位に輝点を生じることがなく、画像が観察し易くなる。
 また、行列式における列の数を減らすことができる。
第二実施形態(0以外の数を代入する例)
 第二実施形態の蛍光内視鏡装置は、3種類の蛍光色素1~蛍光色素3に対して、3種類の波長λ1~波長λ3での蛍光画像を得る場合において、蛍光色素濃度演算部34が、蛍光色素1の濃度D1~蛍光色素3の濃度D3を求める行列式(1’)を用いて計算した、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、式(1’)において、計算値が0よりも小さい蛍光色素の濃度に0以外の数を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するように構成されている。
 蛍光色素濃度演算部34が、再計算に際し、計算値が0よりも小さい蛍光色素の濃度に代入する値としては、第一実施形態の蛍光内視鏡装置のように0に限定されることなく、0に近い値を代入して計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算しても、ノイズを減らすことができる。その場合は、極力0に近い値を代入するのが好ましい。再計算に際し、計算値が0よりも小さい蛍光色素の濃度に代入する値が0に近い値であるほど、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度の再計算値の誤差を小さくすることができる。
 例えば、蛍光色素濃度演算部34は、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、式(1’)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値よりも小さい所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するように構成するとよい。
 さらに、例えば、蛍光色素濃度演算部34は、蛍光色素の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、式(1’)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値の2分の1以下の所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するように構成すると、より好ましい。
第三実施形態(当該画素の近傍に位置する所定画素の蛍光色素の濃度の計算値を代入する例)
 第三実施形態の蛍光内視鏡装置は、3種類の蛍光色素1~蛍光色素3に対して、3種類の波長λ1~波長λ3での蛍光画像を得る場合において、蛍光色素濃度演算部34が、蛍光色素1の濃度D1~蛍光色素3の濃度D3を求める行列式(1’)を用いて計算した、蛍光色素1の濃度D1~蛍光色素3の濃度D3の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、式(1’)において、計算値が0よりも小さい蛍光色素の濃度に、該計算値よりも大きい、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算するように構成されている。
 例えば、蛍光色素濃度演算部34は、蛍光色素の濃度の計算値が0よりも小さい画素について、この計算値よりも大きい、隣接する画素における対応する蛍光色素の濃度の計算値を代入して、再計算するように構成する。あるいは、この計算値よりも大きい、周囲の画素における対応する蛍光色素の濃度の値の平均値を代入して、再計算するように構成する。ここでの周囲の画素の範囲は、当該画素に隣接する範囲に限らず、当該画素に隣接する画素から数画素離れた範囲までを含んでもよい。
 なお、蛍光色素濃度演算部34が、蛍光色素の濃度の計算値が0よりも小さい画素について代入する、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値としては、正の数を用いるのが好ましい。
第四実施形態(計算時間の短縮処理)
 第四実施形態の蛍光内視鏡装置は、蛍光色素濃度演算部34は、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算する場合に、式(1’)において、蛍光色素1~蛍光色素mの夫々における基準濃度での波長λ1~波長λnの夫々での係数a1(λ1)~am(λn)及び蛍光画像取得部が取得した蛍光画像の波長λ1~波長λnの夫々での強度Iall(λ1)~Iall(λn)のうち、濃度を再計算する対象となっている蛍光色素における蛍光強度が大きい波長成分以外の波長での基準濃度での係数及び蛍光強度を再計算の対象から除外し、波長の種類を蛍光色素の種類と同数にして、再計算を行うように構成されている。
 波長の種類(式の数)が蛍光色素の種類(蛍光色素の濃度の種類)よりも多い行列式は、例えば最小2乗法を用いれば解くことができるが、最小2乗法を用いた計算に時間がかかり過ぎて、演算により得られた濃度に基づいて動画で表示するのが難しくなる場合がある。
 このような場合、式の数を蛍光色素の濃度の種類と同数となるように減らして再計算すれば、計算時間を短縮でき、動画表示が行いやすくなる。
 例えば、蛍光色素3の濃度D3の計算値が0より小さい値となった場合には、式(1’)における蛍光色素3の濃度D3に0を代入すると式(1’α)となるが、第四実施形態の蛍光内視鏡装置では、蛍光色素濃度演算部34は、さらに、次の式(1’α’)のように、行列式の行の成分を減らすことで、式の数を蛍光色素の濃度の種類と同数にする。
Figure JPOXMLDOC01-appb-I000017
 なお、この場合は、誤差を極力小さく抑えるために、再計算する蛍光色素1の濃度D1,蛍光色素2の濃度D2への寄与が大きい(例えば、蛍光色素1,蛍光色素2の蛍光強度が大きい)波長の成分を残す。ここでは、波長の成分Ig,波長の成分Ibが、波長の成分Irに比べて、蛍光色素1の蛍光強度、蛍光色素2の蛍光強度が大きい波長成分としている。
 次に、本発明の蛍光内視鏡装置の実施例を説明する。
 図4は本発明の各実施例に共通の蛍光内視鏡装置全体の構成を示すブロック図、図5は図4の蛍光内視鏡装置を用いた蛍光観察における光学特性の一例を示すグラフで、図5Aは励起光のスペクトルを示す図、図5Bは励起光カットフィルタの分光透過率を示す図、図5Cは自家蛍光スペクトルと蛍光色素の蛍光スペクトルを示す図、図5Dは図6の蛍光内視鏡装置において用いられている分光光学素子が繰り返し切替える透過波長域を示す図である。図6は図4の蛍光内視鏡装置を用いた蛍光観察の処理手順を示すフローチャートである。
 図4の蛍光内視鏡装置は、光源部1と、内視鏡先端挿入部2と、画像処理部3と、表示ユニット4を有している。
 光源部1は、光源と励起フィルタを有し、図5Aに示すように、440nmを中心波長とする430nm~450nmの励起用の波長域の光を発することができるように構成された励起光源11を備えている。なお、図4の内視鏡システムでは、光源部1は、白色光源12も備えるとともに、照明光切替え制御ユニット13に接続されており、照明光切替え制御ユニット13の制御を介して、励起光源11からの励起光と白色光源12からの白色光とを切替えて出射可能になっている。
 内視鏡先端挿入部2は、照明光学系21と、撮像光学系22を有している。
 照明光学系21は、ライトガイド23を経由した励起光源部11からの励起光を生体組織5に照射する。
 生体組織5は、図5Cに示すように、ピーク波長が460nmで440nm~650nmの自家蛍光を発する蛍光色素(物質)1を有するとともに、ピーク波長が520nmで500nm~635nmの蛍光を発する蛍光色素2を含む蛍光プローブが標識されている。図4中、5aは生体組織5における蛍光色素2を含む蛍光プローブの集積部を示している。
 撮像光学系22は、対物光学系22aと、結像光学系22bと、励起光カットフィルタ22cと、分光光学素子22eと、撮像素子22dを有している。また、分光光学素子制御ユニット22fが、分光光学素子22eと画像処理部3とに接続されている。
 励起光カットフィルタ22cは、図5Bに示すように、励起光を含む450nm以下の波長域をカットし、450nm~800nmの波長域の光を透過させる光学特性を有している。
 分光光学素子22eは、エタロンからなり、分光光学素子制御ユニット22fを介して、所定の波長域の光を透過させる複数の波長透過状態の切替えを繰り返すことができるように制御されている。ここでは、図5Dに示すように、470nmをピーク波長とする450nm~480nmの波長λ1と、520nmをピーク波長とする510nm~530nmの波長λ2を切替えて透過する。
 エタロンとは、光の干渉を利用するものであり、対向するように配置された一対のミラー面の間隔を変化させることによって、透過又は反射し得る光の波長を変化させることができるものである。
 分光光学素子制御ユニット22fは、分光光学素子22eの波長透過状態(透過波長域)、透過波長状態の切替えピッチ等、分光光学素子22eの駆動を制御するとともに、画像処理部3における画像処理装置32による画像処理のタイミングを制御しており、分光光学素子22eにおける透過波長状態の切替えごとに、画像処理装置32に画像処理をさせるように構成されている。
 撮像素子22dは、単板式イメージセンサ(図示省略)を備えたCCDで構成されている。
 そして、撮像光学系22は、分光光学素子制御ユニット22fの制御を介して、本発明の蛍光画像取得部としての機能を有し、生体組織5から発生する蛍光画像を、図5Dに示す2種類の波長λ1,波長λ2ごとに取得することができるように構成されている。
 画像処理部3は、フレームメモリ31と、画像処理装置32と、蛍光スペクトル記録部33と、蛍光色素濃度演算部34を有している。
 フレームメモリ31は、撮像光学系22を介して取得された各画像信号を記憶する。
 画像処理装置32は、分光光学素子制御ユニット22fの制御を介して(例えば、画像処理の指示信号を受信するごとに)、フレームメモリ31に記憶された波長λ1,波長λ2の各画像信号を合成する。その際、各画像信号に対して、正常組織部分と病変組織部分とが識別し易くなるように、蛍光色素ごとに異なる色相を割り当てて、蛍光色素濃度演算部34で演算された蛍光色素の濃度に基づく強度の出力信号に変換する。
 表示ユニット4は、画像処理装置32を介して処理された画像を表示する。
 蛍光スペクトル記録部33には、生体組織5中に存在することが想定される2種類の蛍光色素1,蛍光色素2(図5C参照)の夫々の基準濃度での蛍光スペクトルが記録されている。
 蛍光色素濃度演算部34は、蛍光スペクトル記録部1に記録された蛍光色素1,蛍光色素2の夫々の基準濃度での蛍光スペクトルより得られる蛍光色素1,蛍光色素2の夫々における基準濃度での波長λ1,波長λ2の夫々での係数をa1(λ1),a2(λ2)、蛍光画像取得部が取得した蛍光画像の波長λ1,波長λ2の夫々での強度をIall(λ1),Iall(λ2)、蛍光色素1,蛍光色素2の夫々の濃度をD1,D2としたとき、次の式(1)を用いて、蛍光色素1の濃度D1,蛍光色素2の濃度D2を計算する。ここで、蛍光色素1の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、式(1)において、計算値が0よりも小さい蛍光色素の濃度に該計算した濃度の値よりも大きい所定値を代入して、他方の蛍光色素の濃度を再計算するように構成されている。
Figure JPOXMLDOC01-appb-I000018
 次の実施例1,2では、図4の蛍光内視鏡装置において、蛍光色素濃度演算部34による具体的な蛍光光色素の濃度の再計算処理が異なっている。
実施例1
 図7は実施例1の蛍光内視鏡装置の要部として、図6に示したUNMIX計算および再計算、各蛍光色素の濃度の決定の処理手順の詳細を示すフローチャートである。
 実施例1の蛍光内視鏡装置では、蛍光色素濃度演算部34は、第一実施形態、第二実施形態と略同様に構成されており、蛍光色素1の濃度D1,蛍光色素2の濃度D2のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、式(1)において、計算値が0よりも小さい蛍光色素の濃度に0(もしくは、例えば、その濃度D2の計算値の絶対値の1/2以下の値等の0に近い値)を代入して、他方の蛍光色素の濃度を再計算するように構成されている。
 実施例1の蛍光内視鏡装置の効果は、第一実施形態、第二実施形態の蛍光内視鏡装置と略同じである。
変形例
 図6は実施例1の変形例の蛍光内視鏡装置の要部として、図4に示したUNMIX計算および再計算、各蛍光色素の濃度の決定の処理手順の詳細を示すフローチャートである。
 実施例1の変形例の蛍光内視鏡装置では、蛍光色素濃度演算部34は、第四実施形態と略同様に構成されており、蛍光色素1の濃度D1,蛍光色素2の濃度D2のいずれか一方の計算値が0よりも小さい画素が存在し、当該画素について、式(1)において、計算値が0よりも小さい蛍光色素の濃度に0を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算する場合に、濃度を再計算する対象となっている蛍光色素における蛍光強度が大きい波長成分以外の波長での基準濃度での係数及び蛍光強度を再計算の対象から除外し、波長の種類を蛍光色素の種類と同数にして、再計算を行うように構成されている。
 変形例の蛍光内視鏡装置の効果は、第四実施形態の蛍光内視鏡装置と略同じである。
実施例2
 図9は実施例2の蛍光内視鏡装置の要部として、図6に示したUNMIX計算および再計算、各蛍光色素の濃度の決定の処理手順の詳細を示すフローチャートである。
 実施例2の蛍光内視鏡装置では、蛍光色素濃度演算部34は、第三実施形態と略同様に構成されており、蛍光色素1の濃度D1,蛍光色素2の濃度D2のいずれかの計算値が0よりも小さい画素が存在する場合、当該画素について、式(1)において、計算値が0よりも小さい蛍光色素の濃度に計算値が0よりも小さい蛍光色素の濃度に、該計算値よりも大きい、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値、[周囲の画素の当該濃度の計算値から得られる値(例えば周囲の画素の当該濃度の計算値の平均値)]を代入して再計算するように構成されている。
 実施例2の蛍光内視鏡装置の効果は、第三実施形態の蛍光内視鏡装置と略同じである。
 このように構成された実施例1,2の蛍光内視鏡装置を用いた多重蛍光の計測手順について図6を用いて説明する。
 まず、前準備処理を行う。
 前準備処理では、生体組織5中に存在することが想定される蛍光色素1,蛍光色素2ごとに、例えば蛍光色素の溶液を準備し、蛍光内視鏡装置を用いて蛍光スペクトルを取得する(ステップS1)。詳しくは、光源部1は、照明光切替え制御ユニット13の制御を介して、励起光源11から励起光を出射する。出射した励起光はライトガイド23を経由し、照明光学系21から蛍光色素1(又は蛍光色素2)に照射される。蛍光色素1(又は蛍光色素2)から発した蛍光及び蛍光色素1(又は蛍光色素2)で反射された励起光は、対物光学系22a、結像光学系22bを通過した後、励起光のみが励起光カットフィルタ22cでカットされ、分光光学素子22eに入射する。分光光学素子22eは、入射した光のうち、波長λ1と波長λ2の光を交互に通過させる。分光光学素子22eを通過した光は撮像素子22dで撮像される。
 次いで、画像処理部3の蛍光スペクトル記録部33が、取得された各蛍光色素の蛍光スペクトルを記録する(ステップS2)。蛍光スペクトル記録部33に記録された蛍光色素1,2夫々の蛍光スペクトルにおける波長λ1,波長λ2での夫々の信号強度が、蛍光色素1,蛍光色素2夫々の基準濃度での波長λ1,波長λ2ごとの濃度係数となる。
 次に、多重蛍光の計測処理を行う。
 多重蛍光の計測処理では、まず、蛍光色素1(または自家蛍光)を有し、蛍光色素2(または薬剤)を標識された生体組織5の蛍光画像を2種類の波長λ1,波長λ2ごとに取得する(ステップS3)。詳しくは、光源部1は、照明光切替え制御ユニット13の制御を介して励起光源11から励起光を出射する。出射した励起光はライトガイド23を経由し、照明光学系21から生体組織5に照射される。生体組織5から発した蛍光色素1の自家蛍光,蛍光色素2の蛍光及び生体組織5で反射された励起光は、対物光学系22a、結像光学系22bを通過した後、励起光のみが励起光カットフィルタ22cでカットされ、分光光学素子22eに入射する。分光光学素子22eが、入射した光のうち、波長λ1と波長λ2の光を交互に通過させる。分光光学素子22eを通過した光は撮像素子22dで撮像される。取得した蛍光画像は、フレームメモリ31に記憶される。
 次いで、蛍光色素濃度演算部34は、蛍光画像取得部(撮像光学系22、分光光学素子制御ユニット22f)が取得しフレームメモリ31に記憶された2種類の蛍光分光画像と蛍光スペクトル記録部33に記録された蛍光色素1,蛍光色素2の夫々の基準濃度での蛍光スペクトルと蛍光画像取得部が取得した2種類の波長λ1,波長λ2ごとの蛍光画像を用いて、生体組織5中に存在する夫々の蛍光色素1の濃度D1,蛍光色素2の濃度D2を、式(1)を用いて蛍光画像における全ての画素について計算する。
 ここで、蛍光色素濃度演算部34は、蛍光色素1の濃度D1,蛍光色素の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、次の式(1)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい所定値を代入して、他方の蛍光色素の濃度を再計算する。
Figure JPOXMLDOC01-appb-I000019
 これらの計算、再計算を経て、蛍光色素1の濃度1,蛍光色素2の濃度が求まる(ステップS4)。
 ここで、各実施例におけるステップS4の処理手順をより詳しく説明する。
実施例1
 実施例1の蛍光内視鏡装置では、蛍光色素濃度演算部34は、処理対象となる一番目の画素を選択する(ステップS41)。次いで、当該画素についてUNMIX計算(蛍光色素1の濃度D1,蛍光色素2の濃度D2の計算)を行なう(ステップS42)。蛍光色素1の濃度D1,蛍光色素2の濃度D2のいずれか一方が0よりも小さい画素が存在する場合(ステップS43)、当該画素について、式(1)において、計算値が0よりも小さい蛍光色素の濃度に0(もしくは、例えば、その濃度D2の計算値の絶対値の1/2以下の値等の0に近い値)を代入し(ステップS44)、他方の蛍光色素の濃度を再計算する(ステップS45)。当該画素におけるすべての蛍光色素の濃度の計算値が0以上であるとき(ステップS43)、0以上となった各蛍光色素の濃度を当該画素についての各蛍光色素の濃度情報として決定する(ステップS46)。これらステップS42~ステップS46の処理をすべての画素に対して行なう(ステップS47,ステップS48)。
実施例1の変形例
 実施例1の変形例の蛍光内視鏡装置では、蛍光色素濃度演算部34は、処理対象となる一番目の画素を選択する(ステップS41)。次いで、当該画素についてUNMIX計算(蛍光色素1の濃度D1,蛍光色素2の濃度D2の計算)を行なう(ステップS42)。蛍光色素1の濃度D1,蛍光色素2の濃度D2のいずれか一方が0よりも小さい画素が存在する場合(ステップS43)、当該画素について、式(1)において、計算値が0よりも小さい蛍光色素の濃度に0を代入し(ステップS44’)、他方の蛍光色素の濃度を再計算する。その際、蛍光強度が大きい波長成分以外の基準濃度での係数及び蛍光強度を再計算の対象から除外し、波長の種類を蛍光色素の種類と同数にして再計算を行なう(ステップS45’)。当該画素におけるすべての蛍光色素の濃度の計算値が0以上であるとき(ステップS43)、0以上となった各蛍光色素の濃度を当該画素についての各蛍光色素の濃度情報として決定する(ステップS46)。これらステップS42~ステップS46の処理をすべての画素に対して行なう(ステップS47,ステップS48)。
実施例2
 実施例2の蛍光内視鏡装置では、蛍光色素濃度演算部34は、処理対象となる一番目の画素を選択する(ステップS41)。次いで、当該画素についてUNMIX計算(蛍光色素1の濃度D1,蛍光色素2の濃度D2の計算)を行なう(ステップS42)。蛍光色素1の濃度D1,蛍光色素2の濃度D2のいずれか一方が0よりも小さい画素が存在する場合(ステップS43)、当該画素について、式(1)において、計算値が0よりも小さい蛍光色素の濃度に、その計算値よりも大きい、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値として、周囲の画素の当該濃度の計算値から得られる値(例えば、周囲の画素の当該濃度の計算値の平均値)を代入し(ステップS44”)、他方の蛍光色素の濃度を再計算する(ステップS45)。当該画素におけるすべての蛍光色素の濃度の計算値が0以上であるとき(ステップS43)、0以上となった各蛍光色素の濃度を当該画素についての各蛍光色素の濃度情報として決定する(ステップS46)。これらステップS42~ステップS46の処理をすべての画素に対して行なう(ステップS47,ステップS48)。
 次いで、画像処理装置32は、波長1,波長2ごとの各画像信号に対して、蛍光色素1,蛍光色素2ごとに、(例えば、蛍光色素1については赤を、蛍光色素2については緑というように)異なる色相を割り当てる。そして、式(1)の演算により求められた蛍光色素1の濃度D1,蛍光色素2の濃度D2に基づく強度の出力信号に変換し、変換した各画像信号を合成する。これにより、生体組織の画像が、蛍光色素ごとに色分けされた状態で再構築される。なお、画像処理装置32は、波長1,波長2ごとの各画像信号に対して、蛍光色素1,蛍光色素2ごとに、その蛍光色素の濃度に基づく強度の出力信号に変換し、変換した各画像信号を合成して、画像を再構築するようにしてもよい(ステップS5)。
 次いで、表示ユニット4が、再構築された画像を、2種類の蛍光色素1,2夫々の蛍光の濃度画像情報を色割り当てした態様で、あるいは、1種類の蛍光色素の蛍光の濃度画像情報ごとに表示する(ステップS6)。
 これらのステップS3~ステップS6の処理は、生体組織5に対する観察を終了するまで、繰り返し行う。
 なお、実施例1,実施例2の蛍光内視鏡装置は、もちろん、上述した多重蛍光の観察以外の観察も行うことができる。
 例えば、照明光切替え制御ユニット13の制御を介して、光源部1が白色光源12からの白色光を出射するように切替えたときは、白色光が生体組織5に照射され、生体組織5からの反射光が一部の波長領域を除き撮像光学系22を介して取得され、画像処理装置32を介してカラー画像が合成され、合成されたカラー画像が表示ユニット4を介して表示される。これにより、通常の白色光を用いたカラーでの反射画像観察を行うことができる。
 また、例えば、蛍光観察を行う場合において、分光光学素子制御ユニット22fを介して、一種類の波長域のみを分光光学素子22eが透過するように制御した場合には、一種類の波長域についての蛍光画像が取得され、その蛍光画像が表示ユニット4を介して表示される。これにより、一種類の波長による蛍光画像観察を行うことができる。
 また、例えば、多波長での蛍光観察を行う場合において、画像処理装置32が、分光光学素子制御ユニット22fの制御を介して、フレームメモリ31に記憶された波長λ1,波長λ2の各画像信号を合成する際、各画像信号ごとに異なる色相の割り当てを行うようにする。
 これにより、波長ごとに色分けされた状態の蛍光画像観察を行うことができる。
 以上、本発明の蛍光内視鏡装置の実施形態及び実施例を説明したが、本発明の蛍光内視鏡装置は、これらに限定されるものではなく、各実施形態及び実施例における特徴的な構成を組み合わせたものであってもよい。
 また、観察対象となる生体組織や観察目的、観察条件等により異なる蛍光色素の種類に応じて、所望の蛍光色素の種類を画面入力等を介して設定できるようにするとともに、蛍光スペクトル記録部33に多種類の蛍光色素の基準濃度での蛍光スペクトルを備え、蛍光色素濃度演算部34を画面入力等により設定された所望の蛍光色素の濃度を演算することができるように構成するとさらによい。
 本発明の蛍光内視鏡装置は、生体組織に励起光を照射し前記生体組織から発生する蛍光により生体組織の病変部を観察する蛍光内視鏡装置に有用である。
1      光源部
2      内視鏡先端挿入部
3      画像処理部
4      表示ユニット
5      生体組織
5a           蛍光薬剤集積部
11     励起光源
12     白色光源
21     照明光学系
22     撮像光学系
22a         対物光学系
22b         結像光学系
22c         励起光カットフィルタ
22d         撮像素子
22e         分光光学素子
22f         分光光学素子制御ユニット
23     ライトガイド
31     フレームメモリ
32     画像処理部
33     蛍光スペクトル記録部
34     蛍光色素濃度演算部

Claims (16)

  1.  生体組織に励起光を照射し前記生体組織から発生する蛍光により生体組織の病変部を観察する蛍光内視鏡装置であって、
     前記生体組織中に存在することが想定されるm種類[但し、2≦m]の蛍光色素1~蛍光色素mの夫々の基準濃度での蛍光スペクトルが記録された蛍光スペクトル記録部と、
     前記生体組織から発生する蛍光画像を、n種類[但し、m≦n]の波長λ1~波長λnごとに取得する蛍光画像取得部と、
     前記蛍光スペクトル記録部に記録されたm種類の蛍光色素1~蛍光色素mの夫々の基準濃度での蛍光スペクトルと前記蛍光画像取得部が取得したn種類の波長λ1~波長λnごとの蛍光画像を用いて、前記生体組織中に存在する夫々の蛍光色素の濃度を、該蛍光画像における全ての画素について演算により求める蛍光色素濃度演算部を有し、
     前記蛍光色素濃度演算部は、
     前記蛍光スペクトル記録部に記録された蛍光色素1~蛍光色素mの夫々の基準濃度での蛍光スペクトルより得られる蛍光色素1~蛍光色素mの夫々における基準濃度での波長λ1~波長λnの夫々での係数をa1(λ1)~am(λn)、前記蛍光画像取得部が取得した蛍光画像の波長λ1~波長λnの夫々での強度をIall(λ1)~Iall(λn)、蛍光色素1~蛍光色素mの夫々の濃度をD1~Dmとしたとき、次の式(1”)を用いて、蛍光色素1の濃度D1~蛍光色素mの濃度Dmを、該蛍光画像における画素ごとに全ての画素について計算し、
    蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、次の式(1”)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする蛍光内視鏡装置。
    Figure JPOXMLDOC01-appb-I000001
  2.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1”)において、計算値が0よりも小さい蛍光色素の濃度に0を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  3.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1”)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値よりも小さい所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  4.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1”)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値の2分の1以下の所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  5.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素mの濃度Dmの計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1”)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする請求項1に記載の蛍光内視鏡装置。
  6.  前記蛍光色素濃度演算部は、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算する場合に、前記式(1”)において、蛍光色素1~蛍光色素mの夫々における基準濃度での波長λ1~波長λnの夫々での係数a1(λ1)~am(λn)及び前記蛍光画像取得部が取得した蛍光画像の波長λ1~波長λnの夫々での強度Iall(λ1)~Iall(λn)のうち、濃度を再計算する対象となっている蛍光色素における蛍光強度が大きい波長成分以外の波長での基準濃度での係数及び蛍光強度を再計算の対象から除外し、波長の種類を蛍光色素の種類と同数にして、再計算を行うことを特徴とする請求項1~5のいずれかに記載の蛍光内視鏡装置。
  7.  生体組織に励起光を照射し前記生体組織から発生する蛍光により生体組織の病変部を観察する蛍光内視鏡装置であって、
     前記生体組織中に存在することが想定される2種類の蛍光色素1,蛍光色素2の夫々の基準濃度での蛍光スペクトルが記録された蛍光スペクトル記録部と、
     前記生体組織から発生する蛍光画像を、2種類の波長λ1,波長λ2ごとに取得する蛍光画像取得部と、
     前記蛍光スペクトル記録部に記録された2種類の蛍光色素1,蛍光色素2の夫々の基準濃度での蛍光スペクトルと前記蛍光画像取得部が取得した2種類の波長λ1,波長λ2ごとの蛍光画像を用いて、前記生体組織中に存在する夫々の蛍光色素の濃度を、該蛍光画像における全ての画素について演算により求める蛍光色素濃度演算部を有し、
     前記蛍光色素濃度演算部は、
    前記蛍光スペクトル記録部に記録された蛍光色素1,蛍光色素2の夫々の基準濃度での蛍光スペクトルより得られる蛍光色素1の基準濃度での波長λ1での係数をa1(λ1)、蛍光色素1の基準濃度での波長λ2での係数をa1(λ2)、蛍光色素2の基準濃度での波長λ1での係数をa2(λ1)、蛍光色素2の基準濃度での波長λ2での係数をa2(λ2)、前記蛍光画像取得部が取得した蛍光画像の波長λ1での強度をIall(λ1)、波長λ2での強度をIall(λ2)、蛍光色素1の濃度をD1、蛍光色素2の濃度をD2としたとき、次の式(1)を用いて、蛍光色素1の濃度D1,蛍光色素2の濃度D2を、該蛍光画像における画素ごとに全ての画素について計算し、
    蛍光色素1の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、次の式(1)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい所定値を代入して、他方の蛍光色素の濃度を再計算することを特徴とする蛍光内視鏡装置。
    Figure JPOXMLDOC01-appb-I000002
  8.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、前記式(1)において、計算値が0よりも小さい蛍光色素の濃度に0を代入して、他方の蛍光色素の濃度を再計算することを特徴とする請求項7に記載の蛍光内視鏡装置。
  9.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、前記式(1)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値よりも小さい所定値を代入して、他方の蛍光色素の濃度を再計算することを特徴とする請求項7に記載の蛍光内視鏡装置。
  10.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、前記式(1)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値の2分の1以下の所定値を代入して、他方の蛍光色素の濃度を再計算することを特徴とする請求項7に記載の蛍光内視鏡装置。
  11.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1,蛍光色素2の濃度D2の計算値のいずれか一方が0よりも小さい画素が存在する場合、当該画素について、前記式(1)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値を代入して、他方の蛍光色素の濃度を再計算することを特徴とする請求項7に記載の蛍光内視鏡装置。
  12.  生体組織に励起光を照射し前記生体組織から発生する蛍光により生体組織の病変部を観察する蛍光内視鏡装置であって、
     前記生体組織中に存在することが想定される3種類の蛍光色素1~蛍光色素3の夫々の基準濃度での蛍光スペクトルが記録された蛍光スペクトル記録部と、
     前記生体組織から発生する蛍光画像を、3種類の波長λ1~波長λ3ごとに取得する蛍光画像取得部と、
     前記蛍光スペクトル記録部に記録された3種類の蛍光色素1~蛍光色素3の夫々の基準濃度での蛍光スペクトルと前記蛍光画像取得部が取得した3種類の波長λ1~波長λ3ごとの蛍光画像を用いて、前記生体組織中に存在する夫々の蛍光色素の濃度を、該蛍光画像における全ての画素について演算により求める蛍光色素濃度演算部を有し、
     前記蛍光色素濃度演算部は、
    前記蛍光スペクトル記録部に記録された蛍光色素1~蛍光色素3の夫々の基準濃度での蛍光スペクトルより得られる蛍光色素1の基準濃度での波長λ1での係数をa1(λ1)、蛍光色素1の基準濃度での波長λ2での係数をa1(λ2)、蛍光色素1の基準濃度での波長λ3での係数をa1(λ3)、蛍光色素2の基準濃度での波長λ1での係数をa2(λ1)、蛍光色素2の基準濃度での波長λ2での係数をa2(λ2)、蛍光色素2の基準濃度での波長λ3での係数をa2(λ3)、蛍光色素3の基準濃度での波長λ1での係数をa3(λ1)、蛍光色素3の基準濃度での波長λ2での係数をa3(λ2)、蛍光色素3の基準濃度での波長λ3での係数をa3(λ3)、前記蛍光画像取得部が取得した蛍光画像の波長λ1での強度をIall(λ1)、波長λ2での強度をIall(λ2)、波長λ3での強度をIall(λ3)、蛍光色素1の濃度をD1、蛍光色素2の濃度をD2、蛍光色素3の濃度をD3としたとき、次の式(1’)を用いて、蛍光色素1の濃度D1~蛍光色素3の濃度D3を、該蛍光画像における画素ごとに全ての画素について計算し、
    蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、次の式(1’)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする蛍光内視鏡装置。
    Figure JPOXMLDOC01-appb-I000003
  13.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1’)において、計算値が0よりも小さい蛍光色素の濃度に0を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする請求項12に記載の蛍光内視鏡装置。
  14.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1’)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値よりも小さい所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする請求項12に記載の蛍光内視鏡装置。
  15.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1’)において、計算値が0よりも小さい蛍光色素の濃度にその絶対値が該計算値の絶対値の2分の1以下の所定値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする請求項12に記載の蛍光内視鏡装置。
  16.  前記蛍光色素濃度演算部は、蛍光色素1の濃度D1~蛍光色素3の濃度D3の計算値の少なくともいずれか一つが0よりも小さい画素が存在する場合、当該画素について、前記式(1’)において、計算値が0よりも小さい蛍光色素の濃度に該計算値よりも大きい、当該画素の近傍に位置する所定画素における対応する蛍光色素の濃度の計算値を代入して、計算値が0よりも小さい蛍光色素以外の蛍光色素の濃度を再計算することを特徴とする請求項12に記載の蛍光内視鏡装置。
PCT/JP2011/055994 2010-03-16 2011-03-15 蛍光内視鏡装置 WO2011115087A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180013613.3A CN102791179B (zh) 2010-03-16 2011-03-15 荧光内窥镜装置
EP11756272.8A EP2548496B1 (en) 2010-03-16 2011-03-15 Fluorescence endoscopy device
US13/611,826 US9521947B2 (en) 2010-03-16 2012-09-12 Fluorescence endoscope apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010059781A JP5721959B2 (ja) 2010-03-16 2010-03-16 蛍光内視鏡装置
JP2010-059781 2010-03-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/611,826 Continuation US9521947B2 (en) 2010-03-16 2012-09-12 Fluorescence endoscope apparatus

Publications (1)

Publication Number Publication Date
WO2011115087A1 true WO2011115087A1 (ja) 2011-09-22

Family

ID=44649172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/055994 WO2011115087A1 (ja) 2010-03-16 2011-03-15 蛍光内視鏡装置

Country Status (5)

Country Link
US (1) US9521947B2 (ja)
EP (1) EP2548496B1 (ja)
JP (1) JP5721959B2 (ja)
CN (1) CN102791179B (ja)
WO (1) WO2011115087A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013165887A1 (en) * 2012-04-30 2013-11-07 Mayo Foundation For Medical Education And Research Method and apparatus for selecting wavelengths for optimal measurement of a property of a molecular analyte
EP2669786A3 (en) * 2012-05-29 2017-09-13 Samsung Electronics Co., Ltd Method for displaying item in terminal and terminal using the same
WO2014140219A1 (en) * 2013-03-15 2014-09-18 Ventana Medical Systems, Inc. Spectral unmixing
JP6013382B2 (ja) * 2014-02-27 2016-10-25 富士フイルム株式会社 内視鏡システム及びその作動方法
US10126242B2 (en) 2014-07-09 2018-11-13 Caliper Life Sciences, Inc. Pure spectrum extraction from biological samples in fluorescence multispectral imaging
JP6762703B2 (ja) * 2015-11-10 2020-09-30 京都府公立大学法人 腫瘍部位の判別のための方法、腫瘍部位の判別装置
DE102017221187B4 (de) * 2017-11-27 2020-08-13 Carl Zeiss Meditec Ag Verfahren zur Bestimmung der Konzentration von verschiedenen, in einem Objekt enthaltenen Fluoreszenzemittern und Mikroskopiesystem

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036143A1 (ja) 2003-10-10 2005-04-21 Hamamatsu Photonics K.K. 蛍光色素の濃度を定量する方法およびシステム
JP2005181276A (ja) 2003-11-26 2005-07-07 Olympus Corp スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法
JP2006242899A (ja) 2005-03-07 2006-09-14 Institute Of Physical & Chemical Research 多重蛍光からの蛍光色素濃度の推定方法および多重蛍光からの蛍光強度の推定方法
WO2007097171A1 (ja) * 2006-02-23 2007-08-30 Nikon Corporation スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
WO2007097170A1 (ja) * 2006-02-23 2007-08-30 Nikon Corporation スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム
JP2008128982A (ja) * 2006-11-24 2008-06-05 Hamamatsu Photonics Kk 蛍光検出装置、蛍光検出方法および蛍光検出プログラム
JP2008161550A (ja) * 2006-12-28 2008-07-17 Olympus Corp 内視鏡システム
JP2009008481A (ja) * 2007-06-27 2009-01-15 Olympus Corp 画像処理装置および画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001137173A (ja) * 1999-11-11 2001-05-22 Fuji Photo Film Co Ltd 蛍光画像測定方法および装置
JP4663258B2 (ja) * 2003-06-17 2011-04-06 オリンパス株式会社 内視鏡装置
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
JP2008043396A (ja) * 2006-08-11 2008-02-28 Olympus Corp 内視鏡システム
JP5432793B2 (ja) * 2010-03-29 2014-03-05 オリンパス株式会社 蛍光内視鏡装置
CN103458759B (zh) * 2011-03-31 2015-10-14 奥林巴斯株式会社 荧光观察装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005036143A1 (ja) 2003-10-10 2005-04-21 Hamamatsu Photonics K.K. 蛍光色素の濃度を定量する方法およびシステム
JP2005181276A (ja) 2003-11-26 2005-07-07 Olympus Corp スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法
JP2006242899A (ja) 2005-03-07 2006-09-14 Institute Of Physical & Chemical Research 多重蛍光からの蛍光色素濃度の推定方法および多重蛍光からの蛍光強度の推定方法
WO2007097171A1 (ja) * 2006-02-23 2007-08-30 Nikon Corporation スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
WO2007097170A1 (ja) * 2006-02-23 2007-08-30 Nikon Corporation スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム
JP2008128982A (ja) * 2006-11-24 2008-06-05 Hamamatsu Photonics Kk 蛍光検出装置、蛍光検出方法および蛍光検出プログラム
JP2008161550A (ja) * 2006-12-28 2008-07-17 Olympus Corp 内視鏡システム
JP2009008481A (ja) * 2007-06-27 2009-01-15 Olympus Corp 画像処理装置および画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2548496A4

Also Published As

Publication number Publication date
EP2548496B1 (en) 2017-05-10
JP2011191271A (ja) 2011-09-29
US20130006117A1 (en) 2013-01-03
CN102791179A (zh) 2012-11-21
US9521947B2 (en) 2016-12-20
EP2548496A1 (en) 2013-01-23
EP2548496A4 (en) 2015-04-01
CN102791179B (zh) 2016-01-06
JP5721959B2 (ja) 2015-05-20

Similar Documents

Publication Publication Date Title
US9066676B2 (en) Endoscopic image display apparatus
JP5294723B2 (ja) 画像取得装置
WO2011115087A1 (ja) 蛍光内視鏡装置
JP6005303B2 (ja) 蛍光観察内視鏡システム
JP4585050B1 (ja) 蛍光観察装置
JP5432793B2 (ja) 蛍光内視鏡装置
JP5466182B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
US20170135555A1 (en) Endoscope system, image processing device, image processing method, and computer-readable recording medium
JP5498626B1 (ja) 内視鏡装置
EP2505141B1 (en) Apparatus for measuring the oxygen saturation level
US20100084563A1 (en) Fluorescence imaging apparatus
JP4642157B2 (ja) 蛍光観察装置
JP2011200367A (ja) 画像撮像方法および装置
CN106132275B (zh) 观察图像取得系统以及观察图像取得方法
JP2007020880A (ja) 内視鏡
JP2009039510A (ja) 撮像装置
EP3403567B1 (en) Endoscopic system, processor device, and method for operating endoscopic system
JP2019041947A (ja) 内視鏡システム
JP5752423B2 (ja) 分光計測システムおよび分光計測システムの作動方法
JP2013099464A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法
JP5930474B2 (ja) 内視鏡システム及びその作動方法
WO2014156604A1 (ja) 内視鏡システム及びその作動方法並びにプロセッサ装置
JP5489806B2 (ja) 蛍光内視鏡装置
JP2011177532A (ja) 内視鏡装置
WO2012090982A1 (ja) 蛍光内視鏡装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180013613.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11756272

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2011756272

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011756272

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE