WO2011111619A1 - 蛍光内視鏡装置 - Google Patents

蛍光内視鏡装置 Download PDF

Info

Publication number
WO2011111619A1
WO2011111619A1 PCT/JP2011/055051 JP2011055051W WO2011111619A1 WO 2011111619 A1 WO2011111619 A1 WO 2011111619A1 JP 2011055051 W JP2011055051 W JP 2011055051W WO 2011111619 A1 WO2011111619 A1 WO 2011111619A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fluorescence
value
unit
threshold
Prior art date
Application number
PCT/JP2011/055051
Other languages
English (en)
French (fr)
Inventor
康成 石原
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2012504428A priority Critical patent/JP5690327B2/ja
Priority to CN201180012238.0A priority patent/CN102781305B/zh
Priority to EP20110753278 priority patent/EP2526853B1/en
Publication of WO2011111619A1 publication Critical patent/WO2011111619A1/ja
Priority to US13/599,372 priority patent/US9119553B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/92—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters

Definitions

  • the present invention relates to a fluorescence endoscope apparatus.
  • an observation target site administered with a fluorescent agent that specifically accumulates in a lesion such as cancer cells is irradiated with excitation light that excites the fluorescent agent to generate fluorescence, and the generated fluorescence is imaged.
  • a fluorescence endoscope apparatus capable of obtaining a fluorescent image with high brightness in a section (see, for example, Patent Document 1).
  • the fluorescence image based on the intensity of the fluorescence generated in the observation target portion irradiated with the excitation light is converted into the intensity of the return light returning from the same observation target portion irradiated with the reference light.
  • the fluorescence intensity change depending on the observation distance, observation angle, etc. in the fluorescence image is corrected.
  • the fluorescent agent actually accumulates slightly in the normal part as well as the lesion part, and weak fluorescence is generated from the background although it is weaker than the fluorescence from the lesion part. Further, since the dependency on the observation distance and the observation angle differs between the fluorescence and the reflected light, even if the fluorescence image is divided by the reference image as in the fluorescence endoscope apparatus described in Patent Document 1, the observation distance and the observation angle are divided. The influence of the above cannot be completely corrected, resulting in a certain error.
  • the threshold value of the gradation value is set and the lesioned part is distinguished from the normal part, if the observation condition changes, the appropriateness of the threshold value is lost and the lesioned part is not displayed or the fluorescence from the background is bright. In some cases, it is displayed, and quantitative information of the biological sample cannot be obtained.
  • the present invention has been made in view of such circumstances, and an object thereof is to provide a fluorescence endoscope apparatus that can acquire quantitative information of a subject.
  • One aspect of the present invention is a light source that irradiates a subject with excitation light and reference light, a fluorescence image acquisition unit that captures fluorescence generated in the subject by irradiation of the excitation light from the light source, and acquires a fluorescence image;
  • a reference image acquisition unit that captures a return light returning from the subject by irradiation of the reference light from the light source and acquires a reference image, and the fluorescent image acquisition unit using the reference image acquired by the reference image acquisition unit
  • a corrected fluorescent image generation unit that corrects the fluorescent image acquired by the step of generating a corrected fluorescent image, and an average value of gradation values for each pixel in the corrected fluorescent image generated by the corrected fluorescent image generation unit.
  • the corrected fluorescent image of a threshold setting unit for setting a threshold, a region having a gradation value larger than the threshold set by the threshold setting unit, and a region having a gradation value smaller than the threshold Providing an image adjustment unit to expand the contrast, the fluorescence endoscope apparatus and a display unit for displaying the corrected fluorescence image the contrast is expanded by the image adjusting unit at.
  • a fluorescent image of fluorescence generated in the subject is acquired by the fluorescent image acquisition unit, and the reference emitted together with the excitation light from the light source
  • the reference image acquisition unit acquires a reference image of the return light.
  • the corrected fluorescence image generation unit corrects the fluorescence image for the same subject with the reference image, thereby generating a corrected fluorescence image in which a change in fluorescence intensity depending on the observation distance and the observation angle is reduced.
  • the display unit displays the corrected fluorescence image in which the contrast between the region where the gradation value is larger than the threshold value and the region where the gradation value is smaller than the threshold value is enlarged by the image adjustment unit, thereby reducing the influence of weak fluorescence generated from the background.
  • a suppressed corrected fluorescence image can be acquired.
  • the threshold value is updated by the threshold setting unit to follow the fluctuation of the gradation value, and the image adjustment unit The sharpness of the corrected fluorescent image can be maintained. Thereby, quantitative information of the subject can be acquired.
  • the corrected fluorescence image generation unit may divide the fluorescence image by the reference image. By comprising in this way, a correction
  • the threshold value setting unit calculates an average value of the gradation values so that the coefficient is set to decrease each time the proportion of the area of the corrected fluorescent image that is equal to or greater than the predetermined gradation value increases.
  • a value obtained by multiplying by may be set as the threshold value.
  • the threshold setting unit it is possible to limit the maximum value and the minimum value of the threshold based on the ratio of the pixel region having a high gradation value in the corrected fluorescent image. For example, when the ratio of the area of the predetermined gradation value or more in the image increases, that is, when the area occupied by the lesion increases, the average value of the gradation value of the entire screen increases. It is possible to prevent the threshold set by the threshold setting unit from becoming too high.
  • the threshold value setting unit may set the threshold value based on an average value and a standard deviation of the gradation values.
  • the threshold value setting unit may set a value obtained by adding the standard deviation to the average value of the gradation values as the threshold value.
  • the threshold value setting unit multiplies the average value of the gradation values by a coefficient set so as to decrease each time the proportion of the area above the predetermined gradation value in the corrected fluorescence image increases.
  • a value obtained by adding the standard deviation to the obtained value may be set as the threshold value.
  • This configuration prevents the threshold value from becoming too high or too low even when the average value of the gradation value of the entire screen increases or decreases, and the gradation for each pixel. Even if the values vary, a threshold with high accuracy can be set.
  • the threshold setting unit multiplies the value obtained by multiplying the standard deviation by a coefficient that is set so as to decrease each time the proportion of the area that is equal to or greater than the predetermined gradation value in the corrected fluorescence image increases.
  • a value obtained by adding an average value of gradation values may be set as the threshold value.
  • the standard deviation of the entire screen increases due to an increase in the proportion of the area of the predetermined gradation value or more in the image, that is, an increase in the area occupied by the lesion. Even so, it is possible to prevent the threshold set by the threshold setting unit from becoming too high.
  • the threshold value setting unit calculates a first coefficient that is set so as to decrease each time the ratio of a region that is equal to or greater than a predetermined gradation value in the corrected fluorescence image increases.
  • a value obtained by multiplying the value obtained by multiplying the standard deviation by a second coefficient set so as to decrease each time the ratio of the area of the corrected fluorescent image equal to or greater than the predetermined gradation value increases is added to the value multiplied by the value.
  • the obtained value may be set as the threshold value.
  • the average value and standard deviation of the entire screen are increased by increasing the proportion of the area of the predetermined gradation value or more in the image, that is, by increasing the area occupied by the lesion. Even if it increases, the threshold set by the threshold setting unit can be prevented from becoming too high.
  • FIG. 1 is a schematic configuration diagram of a fluorescence endoscope apparatus according to an embodiment of the present invention. It is a figure which shows an example of the white light image and correction
  • the fluorescence endoscope apparatus 100 includes an elongated scope 2 inserted into a body cavity, and an illumination unit 20 including a light source 10 that emits illumination light emitted from the distal end 2a of the scope 2.
  • An imaging unit 30 that is arranged in the scope 2 and acquires image information of the observation target region X that is a subject, an image processing unit 40 that processes the image information acquired by the imaging unit 30, and an image processing unit 40
  • a monitor (display unit) 50 for displaying the processed image and image information.
  • the light source 10 includes a xenon lamp (Xe lamp) 11 that emits illumination light, an excitation light filter 13 that extracts white light (reference light) including excitation light from the illumination light emitted from the xenon lamp 11, and an excitation light filter 13. And a coupling lens 15 that condenses white light including the extracted excitation light.
  • the excitation light filter 13 cuts out white light including excitation light having a wavelength band of 400 to 740 nm, for example.
  • the illumination unit 20 includes a light guide fiber 21 disposed over substantially the entire length of the scope 2 in the longitudinal direction, and a diffusing lens 23 disposed at the distal end 2 a of the scope 2.
  • the light guide fiber 21 guides white light including excitation light collected by the coupling lens 15 to the distal end 2 a of the scope 2.
  • the diffuser lens 23 diffuses white light including excitation light guided by the light guide fiber 21 and irradiates the observation target portion X with the diffused light.
  • the imaging unit 30 collects return light returning from the observation target site X irradiated with white light including excitation light by the illumination unit 20, and the return light collected by the objective lens 31 for each wavelength.
  • the objective lens 31 is disposed in parallel with the diffusion lens 23 at the distal end 2 a of the scope 2.
  • the beam splitter 33 reflects light (excitation light and fluorescence) having a wavelength longer than the excitation wavelength among the return light, and transmits white light (return light) having a wavelength shorter than the excitation wavelength.
  • the imaging unit 30 includes an excitation light cut filter 35 that blocks excitation light and transmits only fluorescence (for example, near infrared fluorescence) out of excitation light and fluorescence reflected by the beam splitter 33, and excitation light cut.
  • a condensing lens 37A that condenses the fluorescence that has passed through the filter 35
  • a condensing lens 37B that condenses the white light that has passed through the beam splitter 33
  • a fluorescence photographing unit 38 that photographs the fluorescence collected by the condensing lens 37A.
  • a white light photographing unit 39 for photographing the white light condensed by the condenser lens 37B.
  • the excitation light cut filter 35 is configured to transmit only fluorescence having a wavelength band of 765 to 850 nm, for example.
  • the fluorescence photographing unit 38 is, for example, a fluorescent high sensitivity monochrome CCD.
  • the fluorescence imaging unit 38 acquires fluorescence image information by imaging fluorescence.
  • the white light photographing unit 39 is a color CCD for white light, for example, and includes a mosaic filter (not shown).
  • the white light photographing unit 39 obtains white light image information by photographing white light.
  • the image processing unit 40 includes an image generation unit (fluorescence image acquisition unit, reference image acquisition unit) 41 that generates a fluorescence image and a white light image (reference image), and a fluorescence image generated by the image generation unit 41 as a white light image.
  • the image generation unit 41 generates a two-dimensional fluorescence image from the fluorescence image information acquired by the fluorescence imaging unit 38, and also generates a two-dimensional white light from the white light image information acquired by the white light imaging unit 39. An image is generated.
  • the image correcting unit 43 corrects the fluorescent image by dividing the fluorescent image of the same observation target site X by the white light image. As a result, a corrected fluorescence image in which a change in fluorescence intensity depending on an observation distance, an observation angle, or the like in the fluorescence image is reduced is generated.
  • the image correcting unit 43 outputs the white light image and the generated corrected fluorescent image to the monitor 50.
  • the threshold setting unit 45 multiplies an average value (average gradation value of the entire image) m of each pixel in the corrected fluorescence image by a predetermined coefficient a. The value obtained in this way is set as a threshold value.
  • the monitor 50 can simultaneously display the white light image and the corrected fluorescence image sent from the image correction unit 43.
  • the monitor 50 also includes an image adjustment unit 51 that adjusts the gradation value in the corrected fluorescence image.
  • the image adjustment unit 51 enlarges the contrast in the corrected fluorescence image between the pixel region having a gradation value larger than the threshold value S set by the threshold setting unit 45 and the pixel region having a smaller gradation value. A pixel having a gradation value less than S is replaced with a gradation value 0 and displayed.
  • a fluorescent agent that specifically accumulates in a lesion such as a cancer cell is applied to the observation target site X. Adhere or absorb. In this state, by irradiating the observation target site X with excitation light, the fluorescent agent is excited and emits fluorescence. Since this fluorescent agent actually accumulates slightly not only in the lesioned part but also in the normal part, weak fluorescence is emitted from the part (background) other than the lesioned part.
  • the scope 2 is inserted into the body cavity, and the distal end 2a is opposed to the observation target site X.
  • white light including excitation light emitted from the xenon lamp 11 by operating the light source 10 and cut out by the excitation light filter 13 is condensed by the coupling lens 15 and is collected by the light guide fiber 21 in the scope 2.
  • Light is guided to the tip 2a.
  • the white light is diffused by the diffusing lens 23 and irradiated to the observation target portion X.
  • the fluorescent substance contained therein is excited by excitation light to emit fluorescence, and white light and a part of the excitation light are reflected on the surface.
  • These fluorescence, white light and excitation light are collected by the objective lens 31, and light having an excitation wavelength or longer, that is, excitation light and fluorescence are reflected by the beam splitter 33, and white light having a wavelength shorter than the excitation wavelength is transmitted. .
  • the excitation light and fluorescence reflected by the beam splitter 33 are removed by the excitation light cut filter 35, and only the fluorescence is condensed by the condenser lens 37A and photographed by the fluorescence photographing unit 38. Thereby, fluorescence image information of the observation target site X is acquired in the fluorescence imaging unit 38.
  • the white light that has passed through the beam splitter 33 is condensed by the condenser lens 37 ⁇ / b> B and photographed by the white light photographing unit 39. Thereby, white light image information of the observation target part X is acquired in the white light photographing unit 39. Either fluorescent image information or white light image information may be acquired first or at the same time.
  • the fluorescence image information acquired by the fluorescence imaging unit 38 and the white light image information acquired by the white light imaging unit 39 are input to the image generation unit 41 of the image processing unit 40, respectively.
  • the image generation unit 41 a two-dimensional fluorescent image is generated based on the fluorescent image information, and a two-dimensional white light image is generated based on the white light image information.
  • the fluorescent image and white light image generated by the image generation unit 41 are sent to the image correction unit 43.
  • the corrected fluorescent image is generated by dividing the fluorescent image by the white light image.
  • the generated corrected fluorescence image is sent to the threshold setting unit 45 and, as shown in FIG. 2A, sent to the monitor 50 together with the white light image for display.
  • This corrected fluorescence image is mainly composed of a region where weak fluorescence from the background is displayed and a region where strong fluorescence from the lesion is displayed, as shown in FIG. 2B.
  • the horizontal axis indicates the gradation value
  • the vertical axis indicates the frequency of the entire corrected fluorescence image (the same applies to FIGS. 4B, 5A, and 6A).
  • a histogram as shown in FIG. 2B may be displayed on the monitor 50.
  • the average gradation value m of the entire image is calculated by the following calculation formula (2), for example.
  • the threshold value S 1575 is calculated by the calculation formula (1) using the set coefficient a and the calculated average gradation value m of the entire image.
  • the threshold value S of the gradation value in the corrected fluorescent image is set (step SA4) and sent to the image adjustment unit 51.
  • the distribution of the gradation value of the pixel that displays the background and the distribution of the gradation value of the pixel that displays the lesion part follows a normal distribution, and the standard deviation displays the gradation value and the lesion part of the pixel that displays the background. Assuming that it is 10 times the square root of the average value of the gradation values of the pixels to be processed, 96.5% of the background display is erased and 82.9% of the lesion display remains.
  • a new corrected fluorescent image in which the contrast between the region displaying the lesion and the region displaying the background is enlarged is displayed on the monitor 50 (step SA6).
  • the new corrected fluorescence image is composed of a region where the gradation value higher than the threshold value S is mainly displayed and the fluorescence from the lesioned part is displayed.
  • the average value of the gradation value of each pixel in the corrected fluorescent image of the next frame fluctuates in a direction of increasing as shown in FIG.
  • the threshold value setting unit 45 sets the threshold value S based on the average gradation value m of the entire image, steps SA2 to SA6 are repeated.
  • step SA5 the gradation value in the corrected fluorescent image is adjusted in the image adjustment unit 51 (step SA5), and 98.7% of the background display is erased as shown in FIG.
  • a new corrected fluorescence image in which 87.8% is left is displayed (step SA6).
  • Step SA2 to Step SA6 are repeated and the corrected fluorescent image of the next frame is generated, the threshold value S is updated based on the average gradation value m of the entire image, and a new gradation value is adjusted.
  • a corrected fluorescent image is displayed on the monitor 50.
  • the level of the corrected fluorescent image is increased by the image adjusting unit 51 so that the contrast between the lesioned part and the background is enlarged with a predetermined threshold as a reference.
  • a predetermined threshold as a reference.
  • the gradation value of the reference image can be obtained even in a region where almost no fluorescence is generated. It does not become zero or a value close to zero, and an accurate corrected fluorescence image can be generated.
  • the threshold setting unit 45 by setting a threshold value based on the average gradation value of the corrected fluorescence image by the threshold setting unit 45, the threshold value is updated following the change in the gradation value in the corrected fluorescence image, and each acquired corrected fluorescence image The sharpness can be maintained. Thereby, quantitative information of the observation target site X can be acquired.
  • the coefficient a 1.5 has been described as an example, but the value of the coefficient a may be changed according to the observation situation.
  • the threshold value is set based on the average gradation value m of the entire corrected fluorescent image.
  • the threshold value setting unit 45 uses the following calculation formula (3 ), The threshold value S may be set based on the sum of the average gradation value m of the entire image and the standard deviation.
  • a white light image is used as a reference image.
  • a white light image is acquired using a CCD or CMOS (white light image acquisition unit) including three RGB channels.
  • a method of using only the R channel as a reference image may be used.
  • a method may be used in which a reference image is obtained separately from a white light image by irradiating a wavelength band different from white light, for example, red or near infrared light as reference light separately.
  • the white light image and the corrected fluorescent image are displayed simultaneously, the information of the corrected fluorescent image can be further provided to the operator without obstructing the observation with the white light image.
  • the standard deviation ⁇ of the entire image may be calculated by the following calculation formula (4).
  • the background display is erased, and a new corrected fluorescent image in which 89.5% of the lesion display is left is displayed on the monitor 50 (step SB5).
  • the average gradation value m 1365 of the entire image of the next frame calculated based on the calculation formulas (2) and (4) is obtained.
  • a new threshold S 1831 is set based on the calculation formula (3) (step SB3).
  • the gradation value of the corrected fluorescence image is adjusted by the image adjustment unit 51 (step SB4), 92.9% of the background display is erased, and 93.4% of the lesion display is left.
  • a new corrected fluorescence image is displayed (step SB5).
  • the threshold value S 1103 is obtained, and 93% of the background display is erased, but the lesion display 78 is displayed. % Remains.
  • the threshold value S is set for each corrected fluorescent image of the next frame.
  • the average value of the gradation values of the pixels of the next frame is constant.
  • a threshold value may be set when the ratio fluctuates beyond this ratio.
  • the threshold value setting unit 45 sets the threshold value S of the gradation value in the corrected fluorescent image, and stores the average gradation value m of the entire image at this time. (Step SB3 '), a new corrected fluorescence image is displayed in steps SB4 and SB5.
  • step SB6 when the corrected fluorescence image of the next frame is acquired in the threshold setting unit 45 (step SB6), the average gradation value m of the entire image is calculated (step SB7), and the entire image of the previous frame stored is stored. Is compared with the average gradation value m (step SB8).
  • step SB2 to step SB8. Is repeated.
  • the standard deviation ⁇ of the entire image of the next frame is calculated (step SB2), a new threshold value S is set, and a new average gradation value m is stored (step SB3 ').
  • step SB8 when the average gradation value m of the entire image of the next frame is 0.8 times to 1.2 times the average gradation value m of the entire image of the previous frame, the threshold value is not changed.
  • the corrected fluorescent image of the next frame is adjusted and displayed (step SB9), and the process returns to step SB6.
  • the sharpness is stable without resetting the threshold value S every time a corrected fluorescent image is generated.
  • a corrected fluorescence image can be acquired. Further, by maintaining the threshold value S as long as the average value of the gradation values of each pixel does not fluctuate greatly, the calculation amount of the standard deviation ⁇ can be reduced and the processing speed can be improved.
  • the fluorescence endoscope apparatus 200 includes a threshold value change command unit 261 for inputting a threshold value change command, and the operator operates the threshold value change command unit 261. It is good also as being able to change a threshold value manually by doing. In this way, the corrected fluorescence image is adjusted when the surgeon determines that the threshold is no longer appropriate during observation, instead of always setting the threshold every time the corrected fluorescence image of the next frame is generated. Can do.
  • step SB6 after the corrected fluorescence image of the next frame is acquired in the threshold setting unit 45 (step SB6), a change command is input from the surgeon to the threshold change command unit 261. (Step SC7 “YES”), step SB2 to step SC7 may be repeated. As a result, the threshold value setting unit 45 is activated, and the threshold value S is set based on the sum of the average gradation value m of the entire image of the next frame and the standard deviation ⁇ (step SB3).
  • step SC7 “NO” when a change command is not input from the surgeon to the threshold value change command unit 261 (step SC7 “NO”), the gradation value of the corrected fluorescent image is adjusted based on the current threshold value S by the image adjustment unit 51 ( It suffices to return to step SC8) and step SB6.
  • the threshold value may be set at intervals of several frames instead of always setting the threshold value every time the corrected fluorescent image of the next frame is generated.
  • information n regarding the frequency of changing the threshold value is individually determined for the scope 2, and the fluorescence endoscope apparatus 100 reads the information n of the connected scope 2.
  • the threshold value may be changed by the threshold value setting unit 45 based on the read information n.
  • the information n may mean that the threshold value is changed once when the number of frames i reaches the nth frame.
  • Step SD7 when the number i of the next frame acquired by the threshold setting unit 45 in step SB6 reaches the nth frame (step SD7 “YES”), the number i is reset. (Step SD8), Step SB2 to Step SD7 may be repeated.
  • the threshold value S is set based on the sum of the average gradation value m of the entire image of the next frame and the standard deviation ⁇ (step SB2, step SB3).
  • step SD7 “NO”) 1 is added to the number i (step SD9), and then the image adjustment unit 51 determines based on the current threshold value S. Then, the gradation value of the corrected fluorescent image is adjusted (step SD10), and the process returns to step SB6.
  • the number of times of calculating the average gradation value m and the standard deviation ⁇ of the entire image can be reduced, and the processing can be speeded up.
  • the frequency of resetting the threshold S may be lowered under observation conditions where the observation distance is relatively constant.
  • the threshold value S is set based on the sum of the average gradation value m and the standard deviation ⁇ of the entire image.
  • the threshold value setting unit 45 includes: As shown in the following calculation formula (5), the sum of the average gradation value m and the standard deviation ⁇ of the entire image multiplied by predetermined coefficients a and b (first coefficient and second coefficient), respectively.
  • the threshold value S may be set based on the above.
  • the coefficients a and b may be set so as to decrease as the ratio of the lesioned portion in the assumed corrected fluorescence image increases.
  • the threshold value setting unit 45 first sets the coefficients a and b of the above-described calculation formula (5) (step SE1).
  • coefficients a, b for example, the average gradation value m 2 of the mean gray level m 1 and lesion background contemplated, the total number of pixels of the total pixel number n 1 and a lesion portion of the background is assumed the n 2 are determined based on.
  • the total number of pixels of the corrected fluorescent image is 1 million pixels
  • the background average gradation value m 1 1000
  • the standard deviations ⁇ 1 and ⁇ 2 are 10 times the ideal value (the square root of the average gradation value). Assume that there is. Then, for the case where the average gradation value m 2 of the lesioned part is 1500, 2000, 2500, 3000, as shown in Table 1, the required values for the background erasure rate and the lesioned part remaining rate are set.
  • a threshold value is set from the background display erasure rate, and a required value of the remaining rate of the lesion display at this threshold value is set.
  • Table 1 it can be set high required value of the erase ratio and the display of the residual ratio of the lesion portion of a display of higher background larger average gradation value m 2 of the lesion.
  • the coefficient a can be set based on the relationship between the average gradation value m 2 of the lesioned part and the total number of pixels n 2 shown in Table 2.
  • Table 2 it can be seen that the value of the coefficient a as the total number of pixels n 2 of the lesion increases is reduced.
  • the minimum value and the maximum value of the threshold value S can be limited based on the ratio of the pixel region having a high gradation value in the corrected fluorescent image. Therefore, even if the lesion area occupies a wide range of the corrected fluorescence image, the threshold value S is prevented from becoming too high even when the average value of the gradation values increases, and the display of the lesion area is prevented from being suppressed. can do. On the other hand, even when the average value of the gradation values is reduced by occupying a wide range of the corrected fluorescent image with the low gradation value region, the threshold S is prevented from becoming too low, and the background display is emphasized. Can be prevented.
  • the minimum value and the maximum value of the threshold value S can be limited based on the ratio of the pixel region having a high gradation value in the corrected fluorescence image. Therefore, the threshold S is prevented from becoming too high even when the standard deviation of the gradation value increases due to the lesion area occupying a wide range of the corrected fluorescence image, and the display of the lesion area is prevented from being suppressed. can do.
  • the threshold S is prevented from becoming too low, and the background display is emphasized. Can be prevented.
  • the coefficient a is set based on the relationship between the total number of pixels n 2 of the lesioned area and the average gradation value m 2 shown in Table 4. It is good to do.
  • the operator may manually change the threshold according to the observation state by the threshold change command unit 261. This is effective when a lesion having a different size is found during observation.
  • one set of coefficients a and b is set.
  • a plurality of sets of coefficients a and b are set, and the coefficients are set according to the shape of the observation target.
  • a and b may be selectable.
  • two sets of coefficients “a” and “b” are set and displayed on the monitor 50 when observing a normal lesion having a non-raised shape and observing a raised lesion. You can do that.
  • the scope 2 may be provided with a coefficient switching unit 263 that switches between these two sets of coefficients a and b.
  • the plurality of sets of coefficients a and b may be set using Tables 1 to 3 according to the assumed size and shape of the lesion.
  • the fluorescence endoscope apparatus 300 stores a drug information storage unit 371 for storing information on a fluorescent drug and information on gradation values corresponding to the information, and a fluorescence used.
  • a drug information input unit 373 in which an operator selects drug information from the drug information storage unit 371 and inputs the drug information to the threshold value setting unit 45, and the coefficient a based on the fluorescent drug information input by the threshold value setting unit 45 b may be selected. Since the contrast changes depending on the fluorescent agent to be used, a clearer corrected fluorescent image can be acquired by making the coefficients a and b selectable according to the type of the fluorescent agent. Also in this case, the coefficients a and b may be set using the above Tables 1 to 3.
  • the fluorescence endoscope apparatus 400 includes a detachable scope 402 having an IC chip 481 for storing scope information, and the light source 10 is stored in the IC chip 481. It is good also as providing the scope discrimination
  • the scope information include the number of irradiation units constituted by the light guide fiber 21 and the diffusion lens 23, the observation angle between the irradiation unit and the light receiving unit constituted by the objective lens 31, and the like.
  • the scope discriminating unit 483 reads out the scope information stored in the IC chip 481, sends it to the threshold setting unit 45, and selects the coefficients a and b based on the scope information. What should I do? Than to differences magnification, etc. depending on the kind of the scope 402, the total number of pixels n 2 of the total number of pixels n 1 and lesions of the same background even by observing the lesion varies. By doing in this way, a threshold value can be set corresponding to various scopes having different specifications and applications. Even in this case, the coefficients a and b may be set using the above Tables 1 to 3.
  • an image composition unit 591 that generates a composite image of a white light image and a corrected fluorescence image may be provided, and the generated composite image may be displayed on the monitor 550.
  • the positional relationship between the white light image and the corrected fluorescent image can be provided to the operator more clearly. Since the area below the threshold is displayed as a gradation value of 0, even in the composite image in which both images are superimposed, the display of the white light image is not hindered by the corrected fluorescent image in the area other than the lesion area.
  • the white light image is used as the reference image.
  • the white light image is acquired using a CCD or CMOS (white light image acquisition unit) including three RGB channels, for example, only the R channel. May be used as a reference image.
  • CMOS white light image acquisition unit
  • a method may be used in which a reference image is obtained separately from a white light image by irradiating a wavelength band different from white light, for example, red or near infrared light as reference light separately.
  • the image adjustment unit 51 erases the background fluorescence display and leaves the lesion display.
  • the fluorescence from the lesion and the fluorescence from the background For example, the gradation value of the pixel may be lowered to the extent that the background display is not erased, or the gradation value of the pixel that displays the lesion may be increased.

Abstract

　被写体の定量的な情報を取得する。被写体に励起光および白色光を照射する光源（１０）と、励起光の照射により被写体において発生した蛍光を撮影し蛍光画像を取得したり、白色光の照射により被写体から戻る戻り光を撮影し白色光画像を取得したりする画像生成部（４１）と、画像生成部（４１）により取得された白色光画像を用いて蛍光画像を補正し補正蛍光画像を生成する画像補正部（４３）と、画像補正部（４３）により生成された補正蛍光画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定部（４５）と、閾値設定部（４５）により設定された閾値より大きい階調値を有する領域と閾値より小さい階調値を有する領域との補正蛍光画像におけるコントラストを拡大する画像調整部（５１）と、画像調整部（５１）によりコントラストが拡大された補正蛍光画像を表示するモニタ（５０）とを備える蛍光内視鏡装置（１００）を提供する。

Description

蛍光内視鏡装置
　本発明は、蛍光内視鏡装置に関するものである。
　従来、癌細胞等の病変部に特異的に集積する蛍光薬剤を投与した観察対象部位に対し、蛍光薬剤を励起して蛍光を発生させる励起光を照射し、発生した蛍光を撮影することにより病変部における輝度が高い蛍光画像を得ることができる蛍光内視鏡装置が知られている（例えば、特許文献１参照）。特許文献１に記載の蛍光内視鏡装置は、励起光を照射した観察対象部位において発生する蛍光の強度に基づく蛍光画像を、参照光を照射した同一の観察対象部位から戻る戻り光の強度に基づく参照画像で除算することにより、蛍光画像における観察距離や観察角度等に依存する蛍光強度変化を補正することとしている。
特開２００６－１７５０５２号公報
　しかしながら、蛍光薬剤は実際には病変部だけでなく正常部にも若干集積し、病変部からの蛍光よりは弱いもののバックグラウンドからも微弱な蛍光が発生する。また、蛍光と反射光とでは観察距離や観察角度に対する依存性が異なるため、特許文献１に記載の蛍光内視鏡装置のように蛍光画像を参照画像によって除算しても、観察距離や観察角度の影響を完全に補正することができず一定の誤差が生じてしまう。その結果、階調値の閾値を設定して病変部と正常部とを区別したとしても、観察条件が変化すると閾値の適正が失われて病変部が表示されなくなったりバックグラウンドからの蛍光が明るく表示されたりしてしまい、生体試料の定量的な情報を得ることができないという不都合が生じる。
　本発明は、このような事情に鑑みてなされたものであって、被写体の定量的な情報を取得することができる蛍光内視鏡装置を提供することを目的とする。
　上記課題を解決するために、本発明は以下の手段を採用する。
　本発明の一態様は、被写体に励起光および参照光を照射する光源と、該光源からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、前記光源からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照画像を取得する参照画像取得部と、該参照画像取得部により取得された前記参照画像を用いて前記蛍光画像取得部により取得された前記蛍光画像を補正し補正蛍光画像を生成する補正蛍光画像生成部と、該補正蛍光画像生成部により生成された前記補正蛍光画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定部と、該閾値設定部により設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記補正蛍光画像におけるコントラストを拡大する画像調整部と、該画像調整部により前記コントラストが拡大された前記補正蛍光画像を表示する表示部とを備える蛍光内視鏡装置を提供する。
　本発明の一態様によれば、光源から発せられた励起光が被写体に照射されると、蛍光画像取得部により被写体において発生した蛍光の蛍光画像が取得され、光源から励起光とともに発せられた参照光が被写体に照射されると、参照画像取得部によりその戻り光の参照画像が取得される。そして、補正蛍光画像生成部において、同一の被写体に対する蛍光画像が参照画像で補正されることにより、観察距離や観察角度に依存する蛍光強度変化を軽減した補正蛍光画像が生成される。
　ここで、観察距離や観察角度に対する参照光と励起光との依存性が異なることにより、観察距離や観察角度の影響を補正しきれず補正蛍光画像に一定の誤差が生じてしまう場合がある。この場合において、画像調整部によって階調値が閾値より大きい領域と小さい領域とのコントラストが拡大された補正蛍光画像を表示部により表示することで、バックグラウンドから発生される微弱な蛍光の影響を抑制した鮮明な補正蛍光画像を取得することができる。
　また、観察距離等が変動して誤差要因により補正蛍光画像における画素ごとの階調値が変動したとしても、閾値設定部により階調値の変動に追従して閾値を更新し、画像調整部により補正蛍光画像の鮮明度を維持することができる。これにより、被写体の定量的な情報を取得することができる。
　上記発明においては、前記補正蛍光画像生成部が、前記蛍光画像を前記参照画像で除算することとしてもよい。
　このように構成することで、簡易な演算処理により定量性の高い補正蛍光画像を生成することができる。
　また、上記発明においては、前記閾値設定部が、前記補正蛍光画像における所定の階調値以上の領域の占める割合が増加するごとに減少するように設定された係数を前記階調値の平均値に乗算して得られる値を前記閾値として設定することとしてもよい。
　このように構成することで、補正蛍光画像中に占める階調値が高い画素の領域の割合に基づいて、閾値の最高値および最低値を制限することができる。例えば、画像内での所定の階調値以上の領域が占める割合が増加すると、つまり、病変部の占める領域が増加すると画面全体の階調値の平均値が増加するので、このような場合に閾値設定部により設定される閾値が高くなりすぎるのを防止することができる。
　これにより、階調値が高い領域が補正蛍光画像の広範囲を占めることにより階調値の平均値が増大する場合であっても閾値が高くなりすぎるのを防ぎ、階調値が高い領域の表示が抑制されてしまうのを防止することができる。一方、階調値が低い領域が補正蛍光画像の広範囲を占めることにより階調値の平均値が減少する場合であっても閾値が低くなりすぎるのを防ぎ、バックグラウンドからの蛍光が強調されてしまうのを防止することができる。
　上記発明においては、前記閾値設定部が、前記階調値の平均値と標準偏差とに基づいて前記閾値を設定することとしてもよい。
　この場合、前記閾値設定部が、前記階調値の平均値に前記標準偏差を加えて得られる値を前記閾値として設定することとしてもよい。
　このように構成することで、補正蛍光画像における画素ごとの階調値にばらつきがある場合であっても、階調値の平均値だけに基づいて閾値を設定する場合と比較してより精度が高い閾値を設定することができる。
　上記発明においては、前記閾値設定部が、前記補正蛍光画像における所定の階調値以上の領域の占める割合が増加するごとに減少するように設定された係数を前記階調値の平均値に乗じた値に前記標準偏差を加えて得られる値を前記閾値として設定することとしてもよい。
　このように構成することで、画面全体の階調値の平均値が増加または減少した場合であっても閾値が高くなりすぎたりまたは低くなりすぎたりするのを防止するとともに、画素ごとの階調値にばらつきがある場合であっても精度が高い閾値を設定することができる。
　上記発明においては、前記閾値設定部が、前記補正蛍光画像における所定の階調値以上の領域の占める割合が増加するごとに減少するように設定された係数を前記標準偏差に乗じた値に前記階調値の平均値を加えて得られる値を前記閾値として設定することとしてもよい。
　このように構成することで、画像内での所定の階調値以上の領域が占める割合が増加することにより、つまり、病変部の占める領域が増加することにより画面全体の標準偏差が増加する場合であっても、閾値設定部により設定される閾値が高くなりすぎるのを防止することができる。
　上記発明においては、前記閾値設定部が、前記補正蛍光画像における所定の階調値以上の領域の占める割合が増加するごとに減少するように設定された第１の係数を前記階調値の平均値に乗じた値に、前記補正蛍光画像における所定の階調値以上の領域が占める割合が増加するごとに減少するように設定された第２の係数を前記標準偏差に乗じた値を加えて得られる値を前記閾値として設定することとしてもよい。
　このように構成することで、画像内での所定の階調値以上の領域が占める割合が増加することにより、つまり、病変部の占める領域が増加することにより画面全体の平均値および標準偏差が増加する場合であっても、閾値設定部により設定される閾値が高くなりすぎるのを防止することができる。
　本発明によれば、被写体の定量的な情報を取得することができるという効果を奏する。
本発明の一実施形態に係る蛍光内視鏡装置の概略構成図である。 図１のモニタに表示される白色光画像と補正蛍光画像の一例を示す図である。 図２Ａの補正蛍光画像における画素の階調値と画像全体に占める頻度との関係を示すヒストグラムである。 図１の蛍光内視鏡装置の作用を示すフローチャートである。 モニタに表示される白色光画像と新たな補正蛍光画像の一例を示す図である。 図４Ａの補正蛍光画像における画素の階調値と画像全体に占める頻度との関係を示すヒストグラムである。 階調値の変動後の補正蛍光画像における画素の階調値と画像全体に占める頻度との関係を示すヒストグラムである。 図５Ａの補正蛍光画像の一例を示した図である。 画像調整後の補正蛍光画像における画素の階調値と画像全体に占める頻度との関係を示すヒストグラムである。 図６Ａの補正蛍光画像の一例を示した図である。 本発明の一実施形態の第１の変形例に係る蛍光内視鏡装置の作用を示すフローチャートである。 本発明の一実施形態の第２の変形例に係る蛍光内視鏡装置の作用を示すフローチャートである。 本発明の一実施形態の第３の変形例に係る蛍光内視鏡装置の概略構成図である。 図９の蛍光内視鏡装置の作用を示すフローチャートである。 本発明の一実施形態の第４の変形例に係る蛍光内視鏡装置の作用を示すフローチャートである。 本発明の一実施形態の第５の変形例に係る蛍光内視鏡装置の作用を示すフローチャートである。 本発明の一実施形態の第６の変形例に係る蛍光内視鏡装置のモニタに表示される係数ａ，ｂの選択肢の一例を示した図である。 スコープに設けられた係数切り替え部を示す図である。 本発明の一実施形態の第７の変形例に係る蛍光内視鏡装置の概略構成図である。 本発明の一実施形態の第８の変形例に係る蛍光内視鏡装置の概略構成図である。 本発明の一実施形態の第９の変形例に係る蛍光内視鏡装置の概略構成図である。
　以下、本発明の一実施形態に係る蛍光内視鏡装置について、図面を参照して説明する。
　本実施形態に係る蛍光内視鏡装置１００は、図１に示すように、体腔内に挿入される細長いスコープ２と、スコープ２の先端２ａから射出させる照明光を発する光源１０を備える照明ユニット２０と、スコープ２内に配置され、被写体である観察対象部位Ｘの画像情報を取得する撮影ユニット３０と、撮影ユニット３０により取得された画像情報を処理する画像処理部４０と、画像処理部４０により処理された画像および画像情報等を表示するモニタ（表示部）５０とを備えている。
　光源１０は、照明光を発するキセノンランプ（Ｘｅランプ）１１と、キセノンランプ１１から発せられた照明光から励起光を含む白色光（参照光）を切り出す励起光フィルタ１３と、励起光フィルタ１３により切り出された励起光を含む白色光を集光するカップリングレンズ１５とを備えている。励起光フィルタ１３は、例えば、波長帯域が４００～７４０ｎｍの励起光を含む白色光を切り出すようになっている。
　照明ユニット２０には、スコープ２の長手方向の略全長にわたって配置されたライトガイドファイバ２１と、スコープ２の先端２ａに配置された拡散レンズ２３とが備えられている。
　ライトガイドファイバ２１は、カップリングレンズ１５によって集光された励起光を含む白色光をスコープ２の先端２ａまで導光するものである。拡散レンズ２３は、ライトガイドファイバ２１により導光された励起光を含む白色光を拡散させて観察対象部位Ｘに照射するようになっている。
　撮影ユニット３０は、照明ユニット２０により励起光を含む白色光が照射された観察対象部位Ｘから戻る戻り光を集光する対物レンズ３１と、対物レンズ３１により集光された戻り光を波長ごとに分岐するビームスプリッタ３３とを備えている。
　対物レンズ３１は、スコープ２の先端２ａに拡散レンズ２３と並列して配置されている。ビームスプリッタ３３は、戻り光のうち、励起波長以上の光（励起光および蛍光）を反射し、励起波長より波長が短い白色光（戻り光）を透過するようになっている。
　この撮影ユニット３０には、ビームスプリッタ３３により反射された励起光および蛍光のうち、励起光を遮断して蛍光（例えば、近赤外蛍光）のみを透過させる励起光カットフィルタ３５と、励起光カットフィルタ３５を透過した蛍光を集光する集光レンズ３７Ａおよびビームスプリッタ３３を透過した白色光を集光する集光レンズ３７Ｂと、集光レンズ３７Ａにより集光された蛍光を撮影する蛍光撮影部３８および集光レンズ３７Ｂにより集光された白色光を撮影する白色光撮影部３９とを備えている。
　励起光カットフィルタ３５は、例えば、波長帯域が７６５～８５０ｎｍの蛍光のみを透過させるようになっている。蛍光撮影部３８は、例えば、蛍光用の高感度モノクロＣＣＤである。この蛍光撮影部３８は、蛍光を撮影することにより蛍光画像情報を取得するようになっている。白色光撮影部３９は、例えば、白色光用のカラーＣＣＤであり、モザイクフィルタ（図示略）を備えている。この白色光撮影部３９は、白色光を撮影することにより白色光画像情報を取得するようになっている。
　画像処理部４０は、蛍光画像および白色光画像（参照画像）を生成する画像生成部（蛍光画像取得部，参照画像取得部）４１と、画像生成部４１により生成された蛍光画像を白色光画像により補正する画像補正部（補正蛍光画像生成部）４３と、画像補正部４３により生成された補正蛍光画像における階調値の閾値を設定する閾値設定部４５とを備えている。
　画像生成部４１は、蛍光撮影部３８により取得された蛍光画像情報から２次元的な蛍光画像を生成し、また、白色光撮影部３９により取得された白色光画像情報から２次元的な白色光画像を生成するようになっている。
　画像補正部４３は、同一の観察対象部位Ｘの蛍光画像を白色光画像で除算することにより蛍光画像を補正するようになっている。これにより、蛍光画像における観察距離や観察角度等に依存する蛍光強度変化を軽減した補正蛍光画像が生成される。また、画像補正部４３は、白色光画像および生成した補正蛍光画像をモニタ５０に出力するようになっている。
　閾値設定部４５は、以下の計算式（１）に示されるように、補正蛍光画像における各画素の階調値の平均値（画像全体の平均階調値）ｍに所定の係数ａを乗算して得られる値を閾値として設定するようになっている。
Figure JPOXMLDOC01-appb-M000001
  
　モニタ５０は、画像補正部４３から送られてくる白色光画像および補正蛍光画像を同時に表示することができるようになっている。また、モニタ５０は、補正蛍光画像における階調値を調整する画像調整部５１を備えている。
　画像調整部５１は、閾値設定部４５により設定された閾値Ｓより大きい階調値を有する画素の領域と小さい階調値を有する画素の領域との補正蛍光画像におけるコントラストを拡大するように、閾値Ｓ未満の階調値を有する画素を階調値０に置き換えて表示するようになっている。
　このように構成された本実施形態に係る蛍光内視鏡装置１００の作用について説明する。
　本実施形態に係る蛍光内視鏡装置１００を用いて、生体の体腔内の観察対象部位Ｘを観察するには、癌細胞等の病変部に特異的に集積する蛍光薬剤を観察対象部位Ｘに付着または吸収させる。この状態で、観察対象部位Ｘに励起光を照射することにより、蛍光薬剤が励起され蛍光が発せられる。この蛍光薬剤は、実際には病変部だけでなく正常部にも若干集積してしまうため、病変部以外の部分（バックグラウンド）からも微弱な蛍光が発せられることになる。
　本実施形態においては、まず、体腔内にスコープ２を挿入して先端２ａを観察対象部位Ｘに対向させる。この状態で、光源１０を作動させることによりキセノンランプ１１から発せられて励起光フィルタ１３によって切り出される励起光を含む白色光が、カップリングレンズ１５により集光され、ライトガイドファイバ２１によりスコープ２の先端２ａへと導光される。そして、この白色光は拡散レンズ２３により拡散され、観察対象部位Ｘに照射される。
　観察対象部位Ｘにおいては、内部に含まれている蛍光物質が励起光によって励起されることにより蛍光が発せられるとともに、表面において白色光および励起光の一部が反射させられる。これら蛍光、白色光および励起光は、対物レンズ３１により集光され、ビームスプリッタ３３により励起波長以上の光、すなわち、励起光および蛍光が反射され、励起波長より波長が短い白色光は透過させられる。
　ビームスプリッタ３３により反射された励起光および蛍光は、励起光カットフィルタ３５により励起光が除去され、蛍光のみが集光レンズ３７Ａにより集光されて蛍光撮影部３８により撮影される。これにより、蛍光撮影部３８において観察対象部位Ｘの蛍光画像情報が取得される。ビームスプリッタ３３を透過した白色光は、集光レンズ３７Ｂによって集光され、白色光撮影部３９により撮影される。これにより、白色光撮影部３９において観察対象部位Ｘの白色光画像情報が取得される。蛍光画像情報と白色光画像情報は、どちらを先に取得してもよいし同時に取得してもよい。
　蛍光撮影部３８により取得された蛍光画像情報および白色光撮影部３９により取得された白色光画像情報は、それぞれ画像処理部４０の画像生成部４１に入力される。画像生成部４１においては、蛍光画像情報に基づき２次元的な蛍光画像が生成され、また、白色光画像情報に基づき２次元的な白色光画像が生成される。
　画像生成部４１により生成された蛍光画像および白色光画像は画像補正部４３に送られる。画像補正部４３においては、蛍光画像が白色光画像で除算されることにより補正蛍光画像が生成される。生成された補正蛍光画像は、閾値設定部４５に送られるとともに、図２Ａに示すように、白色光画像と一緒にモニタ５０に送られて表示される。
　この補正蛍光画像は、図２Ｂに示されるように、主にバックグラウンドからの微弱な蛍光が表示される領域と病変部からの強い蛍光が表示される領域とにより構成されている。同図において、横軸は階調値を示し、縦軸は補正蛍光画像全体に占める頻度を示している（図４Ｂ、図５Ａおよび図６Ａにおいて同様である。）。なお、図２Ｂに示すようなヒストグラムをモニタ５０に表示することとしてもよい。
　ここで、蛍光と反射光とでは観察距離や観察角度に対する依存性が異なるため、補正蛍光画像において観察距離や観察角度の影響を完全に補正することができず一定の誤差が生じてしまう場合がある。
　以下、観察対象部位Ｘの定量的な情報を取得するために行う閾値設定部４５による閾値の設定および画像調整部５１による補正蛍光画像の調整について、図３に示すフローチャートを参照して説明する。
　閾値設定部４５においては、あらかじめ、上述した計算式（１）の係数ａ（例えば、ａ＝１．５）が決定される（ステップＳＡ１）。続いて、閾値設定部４５は、画像補正部４３から送られてきた補正蛍光画像を取得すると（ステップＳＡ２）、画像全体の平均階調値ｍを算出する（ステップＳＡ３）。
　画像全体の平均階調値ｍは、例えば、以下の計算式（２）により算出される。
Figure JPOXMLDOC01-appb-M000002
  
　ここで、補正蛍光画像の全画素数を１００万画素とした場合、そのうちの９５万画素がバックグランドからの蛍光を表示し（バックグラウンドの総画素数ｎ１＝９５０，０００）、５万画素が病変部からの蛍光を表示しているものと仮定する（病変部の総画素数ｎ２＝５０，０００）。蛍光薬剤のコントラストを１：２とした場合、バックグラウンドの平均階調値ｍ１＝１０００、病変部の平均階調値ｍ２＝２０００と仮定する。
　このように仮定した場合、計算式（２）により、画像全体の平均階調値ｍ＝１０５０が算出される。
　次に、閾値設定部４５において、設定された係数ａと算出された画像全体の平均階調値ｍを用いて、計算式（１）により、閾値Ｓ＝１５７５が算出される。これにより、補正蛍光画像における階調値の閾値Ｓが設定され（ステップＳＡ４）、画像調整部５１へ送られる。
　画像調整部５１においては、モニタ５０に表示されている補正蛍光画像の全画素のうち、閾値Ｓ＝１５７５未満の階調値を有する画素が階調値０に置き換えられる（ステップＳＡ５）。この場合、バックグラウンドを表示する画素の階調値および病変部を表示する画素の階調値の分布が正規分布に従い、標準偏差が、バックグラウンドを表示する画素の階調値および病変部を表示する画素の階調値の平均値の平方根の１０倍と仮定すると、バックグラウンドの表示の９６．５％が消去され、病変部の表示の８２．９％が残されることになる。
　これにより、図４Ａに示すように、病変部を表示する領域とバックグラウンドを表示する領域とのコントラストが拡大した新たな補正蛍光画像がモニタ５０に表示される（ステップＳＡ６）。新たな補正蛍光画像は、図４Ｂに示されるように、閾値Ｓより階調値が高い主に病変部からの蛍光が表示される領域により構成されている。
　次に、観察距離や観察角度が変動し、誤差要因により次フレームの補正蛍光画像における各画素の階調値の平均値が図５Ａに示すように高くなる方向に変動するとする。ここで、バックグラウンドを表示する画素の階調値と病変部を表示する画素の階調値の平均値がそれぞれ５０％増加するように変動する、すなわち、ｍ１＝１５００、ｍ２＝３０００となると仮定する。
　この場合、仮に、階調値の変動後も現在の閾値を変更せずに閾値Ｓ＝１５７５のままとすると、閾値Ｓを超える階調値を有する領域の増加により、図５Ｂに示すように、病変部の表示の９９．５％が残されるもののバックグラウンドの表示の５７．７％しか消去されず、補正蛍光画像の鮮明度が低下することになる。
　本実施形態においては、閾値設定部４５により画像全体の平均階調値ｍに基づいて閾値Ｓを設定するため、ステップＳＡ２～ステップＳＡ６が繰り返される。
　閾値設定部４５により、次フレームの補正蛍光画像が取得されると（ステップＳＡ２）、計算式（２）に基づき次フレームの画像全体の平均階調値ｍが算出され（ステップＳＡ３）、図６Ａに示されるように、前フレーム時の閾値Ｓ＝１５７５より大きい新たな閾値Ｓ＝２３６３が設定される（ステップＳＡ４）。
　これにより、画像調整部５１において、補正蛍光画像における階調値が調整され（ステップＳＡ５）、図６Ｂに示されるように、バックグラウンドの表示の９８．７％が消去され、病変部の表示の８７．８％が残された新たな補正蛍光画像が表示される（ステップＳＡ６）。
　このように、ステップＳＡ２～ステップＳＡ６が繰り返され、次フレームの補正蛍光画像が生成されるとその画像全体の平均階調値ｍに基づき閾値Ｓが更新されて、階調値が調整された新たな補正蛍光画像がモニタ５０に表示される。
　以上説明したように、本実施形態に係る蛍光内視鏡装置１００によれば、画像調整部５１により所定の閾値を基準として病変部とバックグラウンドとのコントラストが拡大するように補正蛍光画像の階調値を調整することで、バックグラウンドから発生される微弱な蛍光の影響を抑制した鮮明な補正蛍光画像を取得することができる。
　また、本実施形態においては、被検体からの反射光および散乱戻り光により生成される白色光画像を参照画像として用いているため、蛍光をほとんど生じない領域においても、参照画像の階調値がゼロまたはゼロに近い値になることは無く、正確な補正蛍光画像を生成することができる。
　また、閾値設定部４５により補正蛍光画像の平均階調値に基づいて閾値を設定することで、補正蛍光画像における階調値の変動に追従して閾値を更新し、取得する補正蛍光画像ごとの鮮明度を維持することができる。これにより、観察対象部位Ｘの定量的な情報を取得することができる。
　本実施形態においては、係数ａ＝１．５を例示して説明したが、観察状況に応じて係数ａの値を変更すればよい。
　本実施形態は以下のように変形することができる。
　例えば、本実施形態においては、補正蛍光画像全体の平均階調値ｍに基づいて閾値を設定することとしたが、第１の変形例としては、閾値設定部４５が、以下の計算式（３）に示されるように、画像全体の平均階調値ｍと標準偏差との和に基づいて閾値Ｓを設定することとしてもよい。
Figure JPOXMLDOC01-appb-M000003
  
　σ：補正蛍光画像における各画素の階調値の標準偏差
　また、本実施形態においては、白色光画像を参照画像として用いたが、たとえば、白色光画像を、ＲＧＢの３チャネルからなるＣＣＤもしくはＣＭＯＳ（白色光画像取得部）を用いて取得し、たとえば、Ｒチャネルのみを参照画像として用いるなどの方法をとってもよい。
　もしくは、白色光とは別の波長帯域、たとえば赤や近赤外の光を別途参照光として照射し、白色光画像と別に参照画像を取得するという方法でもよい。いずれの場合においても、白色光画像と補正蛍光画像を同時に表示するので、白色光画像による観察を阻害することなく、さらに補正蛍光画像の情報を術者に提供することができる。
　画像全体の標準偏差σは、以下の計算式（４）により算出することとすればよい。
Figure JPOXMLDOC01-appb-M000004
  
　ここで、バックグラウンドの標準偏差σ１および病変部の標準偏差σ２は、理想的にはそれぞれ平均階調値の平方根に近い値となるが、照明の配光分布の揺らぎや観察対象部位Ｘの表面における凹凸等の影響により、揺らぎが大きくなる。そこで、標準偏差σ１，σ２は理想的な値（平均階調値の平方根）の１０倍あると仮定し、バックグラウンドの標準偏差σ１＝３１６、病変部の標準偏差σ２＝４４７とする。
　このように仮定した場合、図７のフローチャートに示されるように、閾値設定部４５において補正蛍光画像が取得されると（ステップＳＢ１）、計算式（２），（４）により、その画像全体の平均階調値ｍ＝１０５０、その標準偏差σ＝３９１が算出される（ステップＳＢ２）。閾値設定部４５において、算出された画像全体の平均階調値ｍと標準偏差σを用いて、計算式（３）により閾値Ｓ＝１４４１が算出されて設定される（ステップＳＢ３）。
　画像調整部５１においては、補正蛍光画像の全画素のうち閾値Ｓ＝１４４１未満の階調値を有する画素が階調値０に置き換えられる（ステップＳＢ４）。これにより、バックグラウンドの表示の９１．８％が消去され、病変部の表示の８９．５％が残された新たな補正蛍光画像がモニタ５０に表示される（ステップＳＢ５）。
　次に、観察距離や観察角度が変動し、誤差要因により次フレームの補正蛍光画像における各画素の階調値の平均値が高くなる方向に変動するとした場合、仮に、閾値を変更せずに閾値Ｓ＝１４４１のままとすると、階調値の変動後は病変部の表示の９８．８％が残されるもののバックグラウンドの表示の６５．２％しか消去されず、補正蛍光画像の鮮明度が低下する。
　本変形例においては、閾値設定部４５により画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓを設定するため、ステップＳＢ１～ステップＳＢ５が繰り返される。
　例えば、各画素の階調値の平均値が３０％変動したとすると、バックグラウンドの平均階調値ｍ１＝１３００、その標準偏差σ１＝３６１、病変部の平均階調値ｍ２＝２６００、その標準偏差σ２＝５１０と仮定することができる。
　閾値設定部４５により、次フレームの補正蛍光画像が取得されると（ステップＳＢ１）、計算式（２），（４）に基づき算出される次フレームの画像全体の平均階調値ｍ＝１３６５と標準偏差σ＝４６６により（ステップＳＢ２）、計算式（３）に基づいて新たな閾値Ｓ＝１８３１が設定される（ステップＳＢ３）。これにより、画像調整部５１により補正蛍光画像の階調値が調整され（ステップＳＢ４）、バックグラウンドの表示の９２．９％が消去されて、病変部の表示の９３．４％が残された新たな補正蛍光画像が表示される（ステップＳＢ５）。
　以上説明したように本変形例によれば、画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓを設定することで、補正蛍光画像に観察距離や観察角度に対する誤差要因が残存している場合でも、鮮明な補正蛍光画像を常時取得することができる。また、補正蛍光画像における画素ごとの階調値にばらつきがある場合であっても、平均階調値だけに基づいて閾値を設定する場合と比較してより精度が高い閾値を設定することができる。
　ここで、本変形例の比較例について以下に説明する。
　例えば、各画素の階調値の平均値が３０％変動し、バックグラウンドの平均階調値ｍ１＝７００、その標準偏差σ１＝２６５、病変部の平均階調値ｍ２＝１４００、その標準偏差σ２＝３７４になったと仮定する。この場合、比較例として、画像全体の平均階調値ｍだけに基づいて閾値Ｓを算出すると、閾値Ｓ＝１１０３となり、バックグラウンドの表示の９３％が消去されるが、病変部の表示の７８％が残されるに留まる。
　一方、本変形例のように画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓを算出すると、閾値Ｓ＝１０４６となり、バックグラウンドの表示の９０％が消去され、病変部の表示の８３％が残される。したがって、病変部の表示をより多く残存させるような閾値を設定することができ、特異度よりも感度を優先する際に特に有効となる。
　上記一実施形態および本変形例においては次フレームの補正蛍光画像ごとに閾値Ｓを設定することとしたが、第２の変形例としては、次フレームの各画素の階調値の平均値が一定の割合を超えて変動した場合に閾値を設定することとしてもよい。この場合、図８のフローチャートに示されるように、閾値設定部４５において、補正蛍光画像における階調値の閾値Ｓを設定するとともに、このときの画像全体の平均階調値ｍを記憶しておき（ステップＳＢ３´）、ステップＳＢ４，ステップＳＢ５により新たな補正蛍光画像を表示する。
　次に、閾値設定部４５において、次フレームの補正蛍光画像を取得したら（ステップＳＢ６）、その画像全体の平均階調値ｍを算出し（ステップＳＢ７）、記憶しておいた前フレームの画像全体の平均階調値ｍと比較する（ステップＳＢ８）。
　その結果、例えば、次フレームの画像全体の平均階調値ｍが前フレームの画像全体の平均階調値ｍの１．２倍以上または０．８倍以下の場合には、ステップＳＢ２～ステップＳＢ８が繰り返される。これにより、次フレームの画像全体の標準偏差σが算出され（ステップＳＢ２）、新たな閾値Ｓが設定されるとともに新たな平均階調値ｍが記憶される（ステップＳＢ３´）。
　一方、ステップＳＢ８において、次フレームの画像全体の平均階調値ｍが前フレームの画像全体の平均階調値ｍの０．８倍以上１．２倍以下の場合には、閾値は変更せずに次フレームの補正蛍光画像を調整して表示し（ステップＳＢ９）、ステップＳＢ６に戻る。
　観察条件が比較的安定している状態では各画素の階調値の平均値および標準偏差は大きく変動しないため、補正蛍光画像を生成するごとに閾値Ｓを設定し直さないでも鮮明度が安定した補正蛍光画像を取得することができる。また、各画素の階調値の平均値が大きく変動しない限り閾値Ｓを維持することで、標準偏差σの計算量を低減し処理速度の向上を図ることができる。
　第３の変形例としては、図９に示すように、蛍光内視鏡装置２００が、閾値の変更指令を入力するための閾値変更指令部２６１を備え、術者が閾値変更指令部２６１を作動させることにより手動で閾値を変更することができることとしてもよい。このようにすることで、次フレームの補正蛍光画像を生成するごとに常に閾値を設定するのではなく、観察中に閾値が適切でなくなったと術者が判断したときに補正蛍光画像を調整することができる。
　この場合、図１０のフローチャートに示されるように、閾値設定部４５に次フレームの補正蛍光画像が取得された後（ステップＳＢ６）、術者から閾値変更指令部２６１に変更指令が入力された場合は（ステップＳＣ７「ＹＥＳ」）、ステップＳＢ２～ステップＳＣ７が繰り返されることとすればよい。これにより、閾値設定部４５が作動させられ、次フレームの画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓが設定される（ステップＳＢ３）。
　一方、術者から閾値変更指令部２６１に変更指令が入力されない場合は（ステップＳＣ７「ＮＯ」）、画像調整部５１により現在の閾値Ｓに基づいてその補正蛍光画像の階調値が調整され（ステップＳＣ８）、ステップＳＢ６に戻ることとすればよい。
　第４の変形例としては、次フレームの補正蛍光画像が生成されるごとに常に閾値を設定するのではなく、数フレーム間隔で閾値を設定することとしてもよい。この場合、例えば、スコープ２には閾値を変更する頻度に関する情報ｎが個別に決められていることとし、蛍光内視鏡装置１００が、接続されたスコープ２の情報ｎを読み出すスコープ情報読み出し部（図略）を備え、読み出された情報ｎに基づいて閾値設定部４５により閾値が変更されることとすればよい。情報ｎは、例えば、フレーム数ｉがｎ枚目に達したら１度閾値を変更することを意味するものとすればよい。
　この場合、図１１のフローチャートに示されるように、ステップＳＢ６において閾値設定部４５に取得された次フレームの枚数ｉがｎ枚目に達すると（ステップＳＤ７「ＹＥＳ」）、枚数ｉがリセットされて（ステップＳＤ８）、ステップＳＢ２～ステップＳＤ７が繰り返されることとすればよい。これにより、次フレームの画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓが設定される（ステップＳＢ２，ステップＳＢ３）。
　一方、次フレームの枚数ｉがｎ枚目に達していない場合は（ステップＳＤ７「ＮＯ」）、枚数ｉに１が加算された後（ステップＳＤ９）、画像調整部５１により現在の閾値Ｓに基づいてその補正蛍光画像の階調値が調整され（ステップＳＤ１０）、ステップＳＢ６に戻ることとすればよい。
　このようにすることで、画像全体の平均階調値ｍおよび標準偏差σを計算する回数を低減し、処理の迅速化を図ることができる。例えば、胃のように伸縮に応じて観察距離が大きく変動するような観察条件では比較的頻繁に閾値Ｓを設定し直した方がいいが、大腸のように管腔の径がある程度決まっており観察距離が比較的一定の観察条件では閾値Ｓの設定し直しの頻度を低くしてもよい。
　上記各変形例においては、画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓを設定することとしたが、例えば、第５の変形例としては、閾値設定部４５が、以下の計算式（５）に示されるように、それぞれ所定の係数ａ，ｂ（第１の係数，第２の係数）を乗算した画像全体の平均階調値ｍと標準偏差σとの和に基づいて閾値Ｓを設定することとしてもよい。
Figure JPOXMLDOC01-appb-M000005
  
　また、係数ａ，ｂは、想定される補正蛍光画像における病変部の占める割合が増加すると減少するように設定することとすればよい。
　この場合、図１２のフローチャートに示されるように、まず、閾値設定部４５において、上述した計算式（５）の係数ａ，ｂが設定される（ステップＳＥ１）。
　以下、係数ａ，ｂの設定の仕方について例示する。
　係数ａ，ｂは、例えば、想定されるバックグラウンドの平均階調値ｍ１および病変部の平均階調値ｍ２と、想定されるバックグラウンドの総画素数ｎ１および病変部の総画素数ｎ２を基に決定される。
　ここで、補正蛍光画像の全画素数を１００万画素、バックグラウンドの平均階調値ｍ１＝１０００、標準偏差σ１，σ２は理想的な値（平均階調値の平方根）の１０倍あると仮定する。そして、病変部の平均階調値ｍ２＝１５００，２０００，２５００，３０００の場合について、表１に示すようにバックグラウンドの消去率および病変部の残存率の要求値を設定する。
Figure JPOXMLDOC01-appb-T000006
  
　まず、バックグラウンドの表示の消去率から閾値を設定し、この閾値での病変部の表示の残存率の要求値を設定する。表１において、病変部の平均階調値ｍ２が大きいほどバックグラウンドの表示の消去率および病変部の表示の残存率の要求値を高く設定することができる。
　ここで、係数ｂ＝１とした場合、表２に示す病変部の平均階調値ｍ２とその総画素数ｎ２との関係に基づいて係数ａを設定することができる。表２において、病変部の総画素数ｎ２が増加するほど係数ａの値が小さくなることが分かる。
Figure JPOXMLDOC01-appb-T000007
  
　例えば、大腸ポリープのような比較的大きな隆起型病変等を観察する場合、補正蛍光画像上の広範囲を病変部が占めることとなり、病変部の総画素数が増加すると想定することができる。そこで、バックグラウンドの総画素数ｎ１＝７００，０００、病変部の総画素数ｎ２＝３００，０００と仮定し、表２に基づいて係数ａ＝０．７０、係数ｂ＝１．０と設定することができる。
　続いて、閾値設定部４５において、補正蛍光画像が取得されると（ステップＳＥ２）、計算式（２），（４）により、その画像全体の平均階調値ｍ＝１３００、その標準偏差σ＝５８３が算出される（ステップＳＥ３）。閾値設定部４５において、係数ａ＝０．７および係数ｂ＝１と画像全体の平均階調値ｍおよびその標準偏差σを用いて、計算式（３）により閾値Ｓ＝１４９３が算出されて設定される（ステップＳＥ４）。
　画像調整部５１においては、閾値Ｓ＝１４９３に基づいて補正蛍光画像の階調値が調整され（ステップＳＥ５）、バックグラウンドの表示の９４．１％が消去されて、病変部の表示の８７．１％が残された新たな補正蛍光画像がモニタ５０に表示される（ステップＳＥ６）。
　このようにすることで、補正蛍光画像中に占める階調値が高い画素の領域の割合に基づいて、閾値Ｓの最低値および最高値を制限することができる。したがって、病変部が補正蛍光画像の広範囲を占めることにより階調値の平均値が増大する場合であっても閾値Ｓが高くなりすぎるのを防ぎ、病変部の表示が抑制されてしまうのを防止することができる。一方、階調値の低い領域が補正蛍光画像の広範囲を占めることにより階調値の平均値が低減する場合であっても閾値Ｓが低くなりすぎるのを防ぎ、バックグラウンドの表示が強調されてしまうのを防止することができる。
　ここで、本変形例の比較例として、例えば、病変部の占める割合が増加して階調値の平均値が増大した場合に係数ａ＝ｂ＝１と設定したのでは、閾値Ｓ＝ｍ＋σ＝１３００＋５８３＝１８８３となる。この結果、閾値Ｓが高くなりすぎ、病変部の表示の６０．３％しか残されないこととなる。
　本変形例においては、係数ｂ＝１としたが、これに代えて、係数ａ＝１とし、表３に基づいて係数ｂを設定することとしてもよい。このようにすることで、補正蛍光画像中に占める階調値が高い画素の領域の割合に基づいて、閾値Ｓの最低値および最高値を制限することができる。したがって、病変部が補正蛍光画像の広範囲を占めることにより階調値の標準偏差が増大する場合であっても閾値Ｓが高くなりすぎるのを防ぎ、病変部の表示が抑制されてしまうのを防止することができる。一方、階調値の低い領域が補正蛍光画像の広範囲を占めることにより階調値の標準偏差が低減する場合であっても閾値Ｓが低くなりすぎるのを防ぎ、バックグラウンドの表示が強調されてしまうのを防止することができる。
Figure JPOXMLDOC01-appb-T000008
  
　係数ｂ＝０とした場合、すなわち、閾値Ｓ＝ａｍと設定した場合においても、表４に示す病変部の総画素数ｎ２と平均階調値ｍ２との関係に基づいて係数ａを設定することとしてもよい。
　本変形例においては、例えば、図９に示す蛍光内視鏡装置２００のように、閾値変更指令部２６１により、術者が観察状況に応じて手動で閾値を変更することとしてもよい。このようにすることで、観察中に大きさが異なる病変を見つけたような場合に有効となる。
Figure JPOXMLDOC01-appb-T000009
  
　本変形例においては、１組の係数ａ，ｂを設定することとしたが、例えば、第６の変形例としては、複数組の係数ａ，ｂを設定し、観察対象の形状に応じて係数ａ，ｂを選択可能にしてもよい。この場合、例えば、図１３に示すように、隆起していない形状の通常の病変を観察する場合と隆起型病変を観察する場合の２組の係数ａ，ｂを設定してモニタ５０に表示することとすればよい。図１４に示すように、これら２組の係数ａ，ｂを切り替える係数切り替え部２６３をスコープ２に設けることとすればよい。複数組の係数ａ，ｂは、それぞれ想定される病変の大きさや形状に応じて表１～３を用いて設定しておくこととすればよい。
　第７の変形例としては、図１５に示すように、蛍光内視鏡装置３００が、蛍光薬剤の情報とこれに対応する階調値の情報を記憶する薬剤情報記憶部３７１と、使用する蛍光薬剤の情報を術者が薬剤情報記憶部３７１から選択して閾値設定部４５に入力する薬剤情報入力部３７３とを備え、閾値設定部４５により入力された蛍光薬剤の情報に基づいて係数ａ，ｂが選択されることとしてもよい。使用する蛍光薬剤が異なればコントラストも変わるため、蛍光薬剤の種類に応じて係数ａ，ｂを選択可能にすることで、より鮮明な補正蛍光画像を取得することができる。この場合も、上記表１～３を用いて係数ａ，ｂを設定しておくこととすればよい。
　第８の変形例としては、図１６に示すように、蛍光内視鏡装置４００が、スコープ情報を記憶するＩＣチップ４８１を有する挿脱可能なスコープ４０２を備え、光源１０がＩＣチップ４８１に記憶されているスコープ情報を判別するスコープ判別部４８３を備えることとしてもよい。スコープ情報としては、ライトガイドファイバ２１および拡散レンズ２３により構成される照射部の数や、この照射部と対物レンズ３１により構成される受光部との観察角度等が挙げられる。
　この場合、スコープ４０２が光源１０に接続されると、スコープ判別部４８３によりＩＣチップ４８１に記憶されているスコープ情報を読み出して閾値設定部４５に送り、スコープ情報に基づいて係数ａ，ｂを選択することとすればよい。スコープ４０２の種類によって観察倍率等が相違することより、同一の病変部を観察してもバックグラウンドの総画素数ｎ１および病変部の総画素数ｎ２が変わってくる。このようにすることで、仕様や用途が異なる様々なスコープに対応して閾値を設定することができる。この場合においても、上記表１～３を用いて係数ａ，ｂを設定しておくこととすればよい。
　第９の変形例としては、図１７に示すように、白色光画像に補正蛍光画像との合成画像を生成する画像合成部５９１を設け、生成された合成画像をモニタ５５０に表示してもよい。
　このようにすることで、白色光画像と補正蛍光画像の位置関係をより明瞭に術者に提供することができる。閾値以下の領域を階調値０として表示しているため、両画像が重畳された合成画像においても、病変部以外の領域において、白色光画像の表示が補正蛍光画像によって阻害されずに済む。
　本変形例においても、白色光画像を参照画像として用いたが、たとえば、白色光画像をＲＧＢの３チャネルからなるＣＣＤもしくはＣＭＯＳ（白色光画像取得部）を用いて取得し、たとえば、Ｒチャネルのみを参照画像として用いるなどの方法をとってもよい。
　もしくは、白色光とは別の波長帯域、たとえば赤や近赤外の光を別途参照光として照射し、白色光画像と別に参照画像を取得するという方法でもよい。
　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本発明を上記の一実施形態および変形例に適用したものに限定されることなく、これらの実施形態および変形例を適宜組み合わせた実施形態に適用してもよく、特に限定されるものではない。
　また、上記実施形態および変形例においては、画像調整部５１が、バックグラウンドの蛍光の表示を消去し、病変部の表示を残すこととしたが、病変部からの蛍光とバックグラウンドからの蛍光とのコントラストを拡大させればよく、例えば、バックグラウンドの表示を消去しない程度にその画素の階調値を下げたり、病変部を表示する画素の階調値を高くしたりすることとしてもよい。
１０　　光源
４１　　画像生成部（蛍光画像取得部、参照画像取得部）
４３　　画像補正部（補正蛍光画像生成部）
４５　　閾値設定部
５０　　モニタ（表示部）
５１　　画像調整部
１００　蛍光内視鏡装置

Claims (11)

  1. 　被写体に励起光および参照光を照射する光源と、
    　該光源からの前記励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光画像取得部と、
    　前記光源からの前記参照光の照射により前記被写体から戻る戻り光を撮影し参照画像を取得する参照画像取得部と、
    　該参照画像取得部により取得された前記参照画像を用いて前記蛍光画像取得部により取得された前記蛍光画像を補正し補正蛍光画像を生成する補正蛍光画像生成部と、
    　該補正蛍光画像生成部により生成された前記補正蛍光画像における画素ごとの階調値の平均値に基づいて閾値を設定する閾値設定部と、
    　該閾値設定部により設定された前記閾値より大きい階調値を有する領域と前記閾値より小さい階調値を有する領域との前記補正蛍光画像におけるコントラストを拡大する画像調整部と、
    　該画像調整部により前記コントラストが拡大された前記補正蛍光画像を表示する表示部とを備える蛍光内視鏡装置。
  2. 　前記参照画像取得部が、前記被写体において反射または散乱されて戻る前記参照光の反射光または散乱光を取得する請求項１に記載の蛍光内視鏡装置。
  3. 　前記光源が、さらに白色光を照射し、
    　前記画像調整部が、前記閾値より小さい階調値を有する領域を非表示としたバックグラウンド除去画像を生成し、
    　前記白色光の照射により得られる前記被検体の白色光画像を取得する白色光画像取得部と、該白色光画像取得部により取得された白色光画像と前記画像調整部により生成されたバックグラウンド除去画像とを重畳した合成画像を生成する画像合成部とを備え、
    　前記表示部が、前記画像合成部により生成された合成画像を表示する請求項１に記載の蛍光内視鏡装置。
  4. 　前記光源が、前記参照光として白色光を照射し、
    　前記参照画像取得部が、前記参照画像として被写体から戻る白色光画像を取得し、
    　前記画像調整部が、前記閾値より小さい階調値を有する領域を非表示としたバックグラウンド除去画像を生成し、
    　前記参照画像取得部により取得された前記被検体の白色光画像と前記画像調整部により生成されたバックグラウンド除去画像とを重畳した合成画像を生成する画像合成部を備え、
    　前記表示部が、前記画像合成部により生成された合成画像を表示する請求項１に記載の蛍光内視鏡装置。
  5. 　前記補正蛍光画像生成部が、前記蛍光画像を前記参照画像で除算する請求項１に記載の蛍光内視鏡装置。
  6. 　前記閾値設定部が、前記補正蛍光画像における所定の階調値以上の領域の占める割合が増加するごとに減少するように設定された係数を前記階調値の平均値に乗算して得られる値を前記閾値として設定する請求項１または請求項５に記載の蛍光内視鏡装置。
  7. 　前記閾値設定部が、前記階調値の平均値と標準偏差とに基づいて前記閾値を設定する請求項１または請求項５に記載の蛍光内視鏡装置。
  8. 　前記閾値設定部が、前記階調値の平均値に前記標準偏差を加えて得られる値を前記閾値として設定する請求項７に記載の蛍光内視鏡装置。
  9. 　前記閾値設定部が、前記補正蛍光画像における所定の階調値以上の領域の占める割合が増加するごとに減少するように設定された係数を前記階調値の平均値に乗じた値に前記標準偏差を加えて得られる値を前記閾値として設定する請求項７に記載の蛍光内視鏡装置。
  10. 　前記閾値設定部が、前記補正蛍光画像における所定の階調値以上の領域の占める割合が増加するごとに減少するように設定された係数を前記標準偏差に乗じた値に前記階調値の平均値を加えて得られる値を前記閾値として設定する請求項７に記載の蛍光内視鏡装置。
  11. 　前記閾値設定部が、前記補正蛍光画像における所定の階調値以上の領域の占める割合が増加するごとに減少するように設定された第１の係数を前記階調値の平均値に乗じた値に、前記補正蛍光画像における所定の階調値以上の領域が占める割合が増加するごとに減少するように設定された第２の係数を前記標準偏差に乗じた値を加えて得られる値を前記閾値として設定する請求項７に記載の蛍光内視鏡装置。
PCT/JP2011/055051 2010-03-09 2011-03-04 蛍光内視鏡装置 WO2011111619A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012504428A JP5690327B2 (ja) 2010-03-09 2011-03-04 蛍光内視鏡装置
CN201180012238.0A CN102781305B (zh) 2010-03-09 2011-03-04 荧光内窥镜装置
EP20110753278 EP2526853B1 (en) 2010-03-09 2011-03-04 Fluorescence endoscope device
US13/599,372 US9119553B2 (en) 2010-03-09 2012-08-30 Fluorescence endoscope device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010052010 2010-03-09
JP2010-052010 2010-03-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/599,372 Continuation US9119553B2 (en) 2010-03-09 2012-08-30 Fluorescence endoscope device

Publications (1)

Publication Number Publication Date
WO2011111619A1 true WO2011111619A1 (ja) 2011-09-15

Family

ID=44563423

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/055051 WO2011111619A1 (ja) 2010-03-09 2011-03-04 蛍光内視鏡装置

Country Status (5)

Country Link
US (1) US9119553B2 (ja)
EP (1) EP2526853B1 (ja)
JP (1) JP5690327B2 (ja)
CN (1) CN102781305B (ja)
WO (1) WO2011111619A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013024773A1 (ja) * 2011-08-18 2013-02-21 オリンパス株式会社 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法
WO2014091964A1 (ja) * 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
WO2018084003A1 (ja) * 2016-11-04 2018-05-11 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018131141A1 (ja) * 2017-01-13 2018-07-19 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法
JP2020524572A (ja) * 2017-06-22 2020-08-20 ヘルムホルツ ツェントラム ミュンヘン ドイチェス フォーシュングスツェントラム フュール ゲズントハイト ウント ウンヴェルト ゲーエムベーハーＨｅｌｍｈｏｌｔｚ Ｚｅｎｔｒｕｍ Ｍｕｅｎｃｈｅｎ Ｄｅｕｔｓｃｈｅｓ Ｆｏｒｓｃｈｕｎｇｓｚｅｎｔｒｕｍ Ｆｕｅｒ Ｇｅｓｕｎｄｈｅｉｔ Ｕｎｄ Ｕｍｗｅｌｔ Ｇｍｂｈ 内視鏡イメージングのためのシステム、および、画像を処理するための方法
US10750929B2 (en) 2015-03-19 2020-08-25 Olympus Corporation Endoscope device for generating color superimposed image

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6005918B2 (ja) * 2011-09-08 2016-10-12 オリンパス株式会社 蛍光観察装置
KR101916855B1 (ko) * 2011-10-17 2019-01-25 삼성전자주식회사 병변 수정 장치 및 방법
JP5993184B2 (ja) * 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
JP5639289B2 (ja) * 2012-08-07 2014-12-10 オリンパスメディカルシステムズ株式会社 走査型内視鏡装置
CN103989459B (zh) * 2014-05-20 2021-05-18 曾堃 用于鉴别恶性肿瘤的形成过程的光学观测设备及内窥镜
US10929959B2 (en) * 2016-04-04 2021-02-23 Sony Corporation Image processing apparatus, imaging apparatus, and image processing method
EP3417758A1 (en) 2017-06-19 2018-12-26 Ambu A/S A method for processing image data using a non-linear scaling model and a medical visual aid system
CN108095701B (zh) * 2018-04-25 2018-07-20 上海凯利泰医疗科技股份有限公司 图像处理系统、荧光内窥镜照明成像装置及成像方法
CN110610496B (zh) * 2019-04-24 2023-09-26 广东工业大学 一种对光照变化鲁棒的荧光胶缺陷分割方法
US11730340B2 (en) * 2019-05-01 2023-08-22 Karl Storz Imaging, Inc. Video display system having an adaptive overlay
US20230076477A1 (en) * 2021-09-05 2023-03-09 Shimadzu Corporation Imaging device and imaging method
CN114298980A (zh) * 2021-12-09 2022-04-08 杭州海康慧影科技有限公司 一种图像处理方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002172082A (ja) * 2000-06-06 2002-06-18 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2003079568A (ja) * 2001-06-29 2003-03-18 Fuji Photo Film Co Ltd 蛍光画像取得方法および装置並びにプログラム
JP2006043196A (ja) * 2004-08-05 2006-02-16 Pentax Corp 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2006175052A (ja) 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
JP2007020775A (ja) * 2005-07-14 2007-02-01 Pentax Corp 蛍光観察内視鏡システム
JP2009279172A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置
JP2009279171A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62247232A (ja) 1986-04-21 1987-10-28 Agency Of Ind Science & Technol 蛍光測定装置
ATE236386T1 (de) * 1995-11-30 2003-04-15 Chromavision Med Sys Inc Verfahren zur automatischen bildanalyse biologischer proben
US6718053B1 (en) * 1996-11-27 2004-04-06 Chromavision Medical Systems, Inc. Method and apparatus for automated image analysis of biological specimens
AU3349200A (en) 1999-01-26 2000-08-07 Newton Laboratories, Inc. Autofluorescence imaging system for endoscopy
EP1161919B1 (en) * 2000-06-06 2007-08-29 FUJIFILM Corporation Fluorescent-light image display method and apparatus therefor
US7123756B2 (en) * 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
CN1169079C (zh) * 2002-03-25 2004-09-29 北京工业大学 基于样条思内克斯(Snakes)模型的中医舌象计算机分割方法
JP4311607B2 (ja) * 2002-05-27 2009-08-12 富士フイルム株式会社 蛍光診断情報生成方法および装置
JP4199510B2 (ja) * 2002-09-30 2008-12-17 Ｈｏｙａ株式会社 診断補助用装置
JP4624841B2 (ja) * 2005-04-13 2011-02-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
JP4954699B2 (ja) * 2006-12-28 2012-06-20 オリンパス株式会社 蛍光内視鏡システム
JP5074044B2 (ja) * 2007-01-18 2012-11-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
US20080255403A1 (en) * 2007-04-13 2008-10-16 Ethicon Endo-Surgery, Inc. Magnetic nanoparticle therapies
JP5295587B2 (ja) 2008-02-27 2013-09-18 オリンパスメディカルシステムズ株式会社 蛍光内視鏡装置及び蛍光内視鏡装置の作動方法
US20090289200A1 (en) 2008-05-22 2009-11-26 Fujifilm Corporation Fluorescent image obtainment method and apparatus, fluorescence endoscope, and excitation-light unit

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002172082A (ja) * 2000-06-06 2002-06-18 Fuji Photo Film Co Ltd 蛍光画像表示方法および装置
JP2003079568A (ja) * 2001-06-29 2003-03-18 Fuji Photo Film Co Ltd 蛍光画像取得方法および装置並びにプログラム
JP2006043196A (ja) * 2004-08-05 2006-02-16 Pentax Corp 電子内視鏡システム及び電子内視鏡用プロセッサ
JP2006175052A (ja) 2004-12-22 2006-07-06 Fuji Photo Film Co Ltd 蛍光画像撮像装置
JP2007020775A (ja) * 2005-07-14 2007-02-01 Pentax Corp 蛍光観察内視鏡システム
JP2009279172A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置
JP2009279171A (ja) * 2008-05-22 2009-12-03 Fujinon Corp 蛍光画像取得方法および蛍光画像取得装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2526853A4

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013024773A1 (ja) * 2011-08-18 2013-02-21 オリンパス株式会社 蛍光観察装置および蛍光観察システム並びに蛍光画像処理方法
US9182347B2 (en) 2011-08-18 2015-11-10 Olympus Corporation Fluoroscopy apparatus, fluoroscopy system, and fluorescence-image processing method
WO2014091964A1 (ja) * 2012-12-13 2014-06-19 オリンパス株式会社 蛍光観察装置
US9207179B2 (en) 2012-12-13 2015-12-08 Olympus Corporation Fluorescence observation apparatus
JPWO2014091964A1 (ja) * 2012-12-13 2017-01-05 オリンパス株式会社 蛍光観察装置
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
US9906739B2 (en) 2013-08-06 2018-02-27 Mitsubishi Electric Engineering Company, Limited Image pickup device and image pickup method
US10750929B2 (en) 2015-03-19 2020-08-25 Olympus Corporation Endoscope device for generating color superimposed image
WO2018084003A1 (ja) * 2016-11-04 2018-05-11 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
US11216941B2 (en) 2016-11-04 2022-01-04 Sony Corporation Medical image processing apparatus, medical image processing method, and program
WO2018131141A1 (ja) * 2017-01-13 2018-07-19 オリンパス株式会社 内視鏡用画像処理装置および内視鏡用画像処理方法
JP2020524572A (ja) * 2017-06-22 2020-08-20 ヘルムホルツ ツェントラム ミュンヘン ドイチェス フォーシュングスツェントラム フュール ゲズントハイト ウント ウンヴェルト ゲーエムベーハーＨｅｌｍｈｏｌｔｚ Ｚｅｎｔｒｕｍ Ｍｕｅｎｃｈｅｎ Ｄｅｕｔｓｃｈｅｓ Ｆｏｒｓｃｈｕｎｇｓｚｅｎｔｒｕｍ Ｆｕｅｒ Ｇｅｓｕｎｄｈｅｉｔ Ｕｎｄ Ｕｍｗｅｌｔ Ｇｍｂｈ 内視鏡イメージングのためのシステム、および、画像を処理するための方法

Also Published As

Publication number Publication date
CN102781305A (zh) 2012-11-14
EP2526853B1 (en) 2014-01-08
JP5690327B2 (ja) 2015-03-25
JPWO2011111619A1 (ja) 2013-06-27
CN102781305B (zh) 2015-06-03
US9119553B2 (en) 2015-09-01
US20120323072A1 (en) 2012-12-20
EP2526853A4 (en) 2013-01-23
EP2526853A1 (en) 2012-11-28

Similar Documents

Publication Publication Date Title
JP5690327B2 (ja) 蛍光内視鏡装置
JP5816486B2 (ja) 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法
JP5444377B2 (ja) 蛍光内視鏡装置
US9241139B2 (en) Fluorescence observation device
US9513221B2 (en) Fluorescence observation apparatus
WO2013035450A1 (ja) 蛍光観察装置
JP5558178B2 (ja) 蛍光観察装置
JPWO2013015120A1 (ja) 蛍光内視鏡装置
WO2014156493A1 (ja) 蛍光観察装置
US9313388B2 (en) Fluorescence observation device
JP5555002B2 (ja) 蛍光内視鏡装置
JP6739542B2 (ja) 内視鏡用画像処理装置および内視鏡用画像処理方法
WO2012002320A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180012238.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11753278

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012504428

Country of ref document: JP

Ref document number: 2011753278

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE