WO2011135992A1 - 画像処理装置および蛍光観察装置 - Google Patents

画像処理装置および蛍光観察装置 Download PDF

Info

Publication number
WO2011135992A1
WO2011135992A1 PCT/JP2011/058759 JP2011058759W WO2011135992A1 WO 2011135992 A1 WO2011135992 A1 WO 2011135992A1 JP 2011058759 W JP2011058759 W JP 2011058759W WO 2011135992 A1 WO2011135992 A1 WO 2011135992A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
image
signal intensity
color
return light
Prior art date
Application number
PCT/JP2011/058759
Other languages
English (en)
French (fr)
Inventor
俊明 渡邉
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP11774776.6A priority Critical patent/EP2564755B1/en
Priority to CN201180020722.8A priority patent/CN102869294B/zh
Priority to JP2012512748A priority patent/JP5669828B2/ja
Publication of WO2011135992A1 publication Critical patent/WO2011135992A1/ja
Priority to US13/654,870 priority patent/US9198564B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image

Definitions

  • the present invention relates to an image processing apparatus and a fluorescence observation apparatus.
  • a fluorescence observation apparatus that diagnoses a lesion area using a fluorescent agent
  • color information and luminance information are assigned to tissue property information and shape information, respectively, and an image showing tissue property information and tissue shape information are shown.
  • a method of synthesizing with an image is known (for example, see Patent Document 1).
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide an image processing apparatus and a fluorescence observation apparatus capable of suppressing a change in color of a normal part while facilitating identification of a lesioned part.
  • a fluorescence image generation unit that captures fluorescence generated in a subject by irradiation of excitation light and generates a fluorescence image, and a return light that returns from the subject by irradiation of illumination light are captured.
  • a return light image generation unit that generates a return light image
  • a color conversion unit that converts the return light image generated by the return light image generation unit into a plurality of color signals constituting a color space, and the color conversion unit.
  • a color signal correction unit that corrects the plurality of converted color signals using at least one color signal of the plurality of color signals and a fluorescent image generated by the fluorescent image generation unit; and the color signal correction unit.
  • a corrected image generating unit that generates a corrected image from the corrected plurality of color signals, an image combining unit that combines the fluorescent image generated by the fluorescent image generating unit and the corrected image generated by the corrected image generating unit; With An image processing apparatus.
  • the return light image generation unit generates a return light image from the return light that returns from the subject by irradiation of illumination light
  • the fluorescence image generation unit generates the subject by irradiation of excitation light.
  • a fluorescence image is generated from the fluorescence generated in step.
  • the return light image is converted into a plurality of color signals constituting a color space by the color conversion unit, and the plurality of color signals converted by the color conversion unit by the color signal correction unit are at least one of the plurality of color signals. Correction is performed using the two color signals and the fluorescence image generated by the fluorescence image generation unit.
  • a corrected image is generated by the corrected image generation unit from the plurality of color signals corrected in this way, and the fluorescence image and the corrected image are combined by the image combining unit.
  • a lesion part in a living tissue can be displayed characteristically, and a normal part can be corrected and displayed so as to be equivalent to the original color.
  • a normal part can be corrected and displayed so as to be equivalent to the original color.
  • the plurality of color signals may be R component, G component, and B component signals of the return light image.
  • the return light image is converted into R component, G component, and B component signals by the color conversion unit, and the R component, G component, and B component signals are converted by the color signal correction unit. Correction is performed using at least one of these signals and the fluorescence image generated by the fluorescence image generation unit. As a result, the normal part can be corrected and displayed so as to be equivalent to the original color in the composite image.
  • the color signal correction unit converts the fluorescence image generated by the fluorescence image generation unit to the return light image with respect to the R component, G component, and B component signals of the return light image.
  • the result of division by at least one signal of the R component, G component, and B component may be multiplied.
  • the color signal correction unit may correct the R component, the G component, and the B component of the return light image based on the following mathematical formula.
  • B OUT B IN ⁇ (F IN / R IN ) ⁇ ⁇
  • G OUT G IN
  • R OUT R IN ⁇ (F IN / R IN ) ⁇ ⁇ here, B OUT : Signal intensity of the B component of the return light image
  • G OUT Signal intensity of the G component of the return light image
  • R OUT Signal intensity of the R component of the return light image
  • B IN Signal of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image ⁇ : A coefficient that becomes R IN / F IN in the normal part
  • the color of the normal part can be corrected by correcting the signal intensity of the B component and the R component using the R component signal that is difficult to be absorbed in the living body. That is, by doing as described above, in the composite image, the lesioned part can be displayed in magenta (red purple) and the normal part can be displayed in the original color.
  • the color signal correction unit may include an R component, a G component, and a B component of the return light image with respect to the R component, the G component, and the B component of the return light image.
  • the result of dividing at least one signal by the fluorescence image generated by the fluorescence image generation unit may be multiplied.
  • the color signal correction unit may correct the R component, the G component, and the B component of the return light image based on the following mathematical formula.
  • B OUT B IN ⁇ (R IN / F IN ) / ⁇
  • G OUT G IN
  • R OUT R IN ⁇ (R IN / F IN ) / ⁇
  • B OUT Signal intensity of the B component of the return light image
  • G OUT Signal intensity of the G component of the return light image
  • R OUT Signal intensity of the R component of the return light image
  • B IN Signal of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image ⁇ : A coefficient that becomes R IN / F IN in the normal part
  • the B component and R component of the corrected image can be reduced. That is, by doing as described above, in the composite image, only the lesioned part can be displayed in green, and the normal part can be displayed in the original color.
  • the color signal correction unit may correct the R component, the G component, and the B component of the return light image based on the following mathematical formula.
  • B OUT B IN ⁇ [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ + 1]
  • G OUT G IN
  • R OUT R IN ⁇ [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ + 1] here, B OUT : Signal intensity of the B component of the return light image
  • G OUT Signal intensity of the G component of the return light image
  • R OUT Signal intensity of the R component of the return light image
  • B IN Signal of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part
  • ⁇ Color Gain (preset coefficient)
  • the color change of a lesioned part can be enlarged by multiplying the color gain.
  • the lesioned part can be displayed in magenta (red purple), and the normal part can be displayed in the original color.
  • the color signal correction unit may correct the R component, the G component, and the B component of the return light image based on the following mathematical formula.
  • B OUT B IN ⁇ [ ⁇ (R IN / F IN ) ⁇ (1 / ⁇ ) ⁇ ⁇ ⁇ + 1]
  • G OUT G IN
  • R OUT R IN ⁇ [ ⁇ (R IN / F IN ) ⁇ (1 / ⁇ ) ⁇ ⁇ ⁇ + 1] here, B OUT : Signal intensity of the B component of the return light image
  • G OUT Signal intensity of the G component of the return light image
  • R OUT Signal intensity of the R component of the return light image
  • B IN Signal of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes R IN / F IN in the normal part
  • ⁇ Color Gain (preset coefficient)
  • the B component and R component of the corrected image can be reduced.
  • the color change of a lesioned part can be enlarged by multiplying the color gain.
  • the color signal correction unit converts the fluorescence image generated by the fluorescence image generation unit to the return light image with respect to the R component, G component, and B component signals of the return light image.
  • the result of division by at least one of the R component, G component, and B component may be added.
  • the color signal correction unit may correct the R component, the G component, and the B component of the return light image based on the following mathematical formula.
  • B OUT B IN + [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ ]
  • B OUT Signal intensity of the B component of the return light image
  • G OUT Signal intensity of the G component of the return light image
  • R OUT Signal intensity of the R component of the return light image
  • B IN Signal of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part
  • ⁇ Color Gain (preset coefficient)
  • the color change of a lesioned part can be enlarged by multiplying the color gain.
  • the lesioned part can be displayed in magenta (red purple), and the normal part can be displayed in the original color.
  • the color signal correction unit converts the fluorescence image generated by the fluorescence image generation unit to the return light image with respect to the R component, G component, and B component signals of the return light image. It is also possible to subtract the result of division by at least one signal among the R component, G component, and B component.
  • the color signal correction unit may correct the R component, the G component, and the B component of the return light image based on the following mathematical formula.
  • B OUT B IN ⁇ [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ ]
  • G OUT G IN
  • R OUT R IN ⁇ [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ ] here,
  • B OUT Signal intensity of the B component of the return light image
  • G OUT Signal intensity of the G component of the return light image
  • R OUT Signal intensity of the R component of the return light image
  • B IN Signal of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part
  • ⁇ Color Gain (preset coefficient)
  • the B component and R component of the corrected image can be reduced.
  • the color change of a lesioned part can be enlarged by multiplying the color gain.
  • the color signal correction unit converts the fluorescence image generated by the fluorescence image generation unit to the return light image with respect to the R component, G component, and B component signals of the return light image.
  • the results obtained by subtracting at least one signal from among the R component, G component, and B component may be added.
  • the color signal correction unit may correct the R component, the G component, and the B component of the return light image based on the following mathematical formula.
  • B OUT B IN + (F IN ⁇ R IN ⁇ ⁇ ) ⁇ ⁇
  • G OUT G IN
  • R OUT R IN + (F IN ⁇ R IN ⁇ ⁇ ) ⁇ ⁇ here, B OUT : Signal intensity of the B component of the return light image
  • G OUT Signal intensity of the G component of the return light image
  • R OUT Signal intensity of the R component of the return light image
  • B IN Signal of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part
  • ⁇ Color Gain (preset coefficient)
  • the color change of a lesioned part can be enlarged by multiplying the color gain.
  • the lesioned part can be displayed in magenta (red purple), and the normal part can be displayed in the original color.
  • the color signal correction unit converts the fluorescence image generated by the fluorescence image generation unit to the return light image with respect to the R component, G component, and B component signals of the return light image.
  • the result obtained by subtracting at least one of the R component, G component, and B component may be subtracted.
  • the color signal correction unit may correct the R component, the G component, and the B component of the return light image based on the following mathematical formula.
  • B OUT B IN ⁇ (F IN ⁇ R IN ⁇ ⁇ ) ⁇ ⁇
  • G OUT G IN
  • R OUT R IN ⁇ (F IN ⁇ R IN ⁇ ⁇ ) ⁇ ⁇ here, B OUT : Signal intensity of the B component of the return light image
  • G OUT Signal intensity of the G component of the return light image
  • R OUT Signal intensity of the R component of the return light image
  • B IN Signal of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part
  • ⁇ Color Gain (preset coefficient)
  • the color change of the lesion can be increased by multiplying the color gain.
  • the image processing apparatus includes an HSV conversion unit that performs HSV conversion on the R component, G component, and B component signals converted by the color conversion unit, and the color signal correction unit is converted by the HSV conversion unit.
  • the H component signal may be corrected.
  • a light source unit that generates illumination light and excitation light for irradiating a subject, the above-described image processing device, and an image display unit that displays an image processed by the image processing device.
  • a fluorescence observation apparatus provided.
  • a fluorescence observation apparatus since the above-described image processing apparatus is provided, in the composite image, for example, a lesion part in a living tissue is characteristically displayed, and a normal part is equivalent to the original color. It is possible to display with correction. Thereby, it is possible to observe the normal part in the same manner as the original color while specifying the position and shape of the lesioned part, and it is possible to improve the observation accuracy.
  • FIG. 7 is a functional block diagram of the image processing apparatus in FIG. 6. It is a functional block diagram of the image processing apparatus of the fluorescence observation apparatus which concerns on the 11th modification of this invention. It is a functional block diagram of the image processing apparatus of the fluorescence observation apparatus which concerns on the 12th modification of this invention.
  • the fluorescence observation apparatus 1 includes an elongated insertion portion 2 that is inserted into the body, a light source (light source portion) 3 that emits illumination light and excitation light, and a light source 3.
  • the illumination unit 4 that irradiates the illumination light and the excitation light from the distal end of the insertion portion 2 toward the subject A, the imaging unit 5 that is provided at the distal end of the insertion portion 2 and acquires image information of the subject A, and the insertion
  • An image processing device 6 that is arranged on the base end side of the unit 2 and processes image information acquired by the imaging unit 5, and a monitor (image display unit) 7 that displays an image processed by the image processing device 6 I have.
  • the light source 3 includes a xenon lamp 8, a filter 9 that cuts out excitation light and white light (illumination light) having a wavelength band of 400 to 750 nm from the illumination light emitted from the xenon lamp 8, and the excitation cut out by the filter 9. And a coupling lens 10 for condensing light and white light.
  • the illumination unit 4 is disposed over substantially the entire length of the insertion portion 2 in the longitudinal direction, and is provided at the distal end of the insertion portion 2 and a light guide fiber 11 that guides the excitation light and white light collected by the coupling lens 10. And an illumination optical system 12 that diffuses excitation light and white light guided by the light guide fiber 11 and irradiates the subject A facing the distal end surface 2a of the insertion portion 2.
  • the imaging unit 5 includes an objective lens 13 that collects return light that returns from a predetermined observation range of the subject A, and light (excitation light and fluorescence) that is longer than the excitation wavelength among the return light collected by the objective lens 13. ) And two condensing lenses 15 for condensing the white light transmitted through the dichroic mirror 14 and the fluorescent light reflected by the dichroic mirror 14, respectively. 16, a white light color CCD 17 that captures white light collected by the condenser lens 15, and a fluorescent monochrome CCD 18 that captures fluorescence condensed by the condenser lens 16.
  • reference numeral 19 denotes an excitation light cut filter that blocks excitation light from light reflected by the dichroic mirror 14 (for example, transmits only light in the wavelength band of 765 to 850 nm).
  • the image processing device 6 adjusts the exposure time of a white light image generation unit (return light image generation unit) 20 that generates a white light image, a fluorescent image generation unit 21 that generates a fluorescent image, and the white light color CCD 17.
  • the white light image generation unit 20 generates a white light image from the white light image data detected by the white light color CCD 17.
  • the white light image generation unit 20 transmits the generated white light image to the memory 24 and the automatic exposure time adjustment unit 22.
  • the fluorescent image generating unit 21 generates a fluorescent image from fluorescent image data detected by the fluorescent monochrome CCD 18.
  • the fluorescence image generation unit 21 transmits the generated fluorescence image to the memory 24 and the automatic exposure time adjustment unit 23.
  • the automatic exposure time adjustment unit 22 adjusts the exposure time of the white light color CCD 17 based on the luminance value of the white light image generated by the white light image generation unit 20.
  • the automatic exposure time adjusting unit 23 adjusts the exposure time of the fluorescent monochrome CCD 18 based on the luminance value of the fluorescent image generated by the fluorescent image generating unit 21. In this way, the exposure time of the next frame is automatically calculated from each generated image, and the exposure time of each CCD is controlled.
  • the exposure times of the white light color CCD 17 and the fluorescence monochrome CCD 18 are adjusted by the automatic exposure time adjustment unit 22 and the automatic exposure time adjustment unit 23 based on the luminance values of the white light image and the fluorescence image.
  • the amounts of white light and excitation light emitted from the light source 3 may be controlled, and the gains of the white light color CCD 17 and the fluorescent monochrome CCD 18 may be adjusted.
  • the memory 24 stores an R memory 31, a G memory 32, a B memory 33, and an F memory that stores fluorescent image signals, respectively, for storing R, G, and B component color signals of a white light image. 34.
  • the memory 24 converts the white light image generated by the white light image generation unit 20 into R component, G component, and B component color signals constituting the color space and stores them in each memory, and also stores the fluorescence image generation unit.
  • the fluorescent image signal generated by the image data 21 is stored in the F memory 34, and the stored color signals and fluorescent image signals are output to the image calculation unit 25.
  • the image calculation unit 25 multiplies each color signal of the white light image by a result obtained by dividing the fluorescence image signal generated by the fluorescence image generation unit 21 by at least one color signal among the color components of the white light image. Thus, the color signal of the white light image is corrected. Specifically, the image calculation unit 25 corrects the R component, the G component, and the B component of the white light image based on, for example, the following mathematical formula.
  • the image calculation unit 25 generates a corrected image from the color signal corrected in this way, combines the generated corrected image and the fluorescent image generated by the fluorescent image generating unit 21, and displays the combined image as the monitor 7.
  • the monitor 7 displays an image in which the white light image G1 generated by the white light image generation unit 20 and the composite image G2 obtained by combining the correction image and the fluorescence image by the image calculation unit 25 are arranged in parallel. It has become.
  • the fluorescence observation apparatus 1 having the above configuration will be described below.
  • a fluorescent agent that specifically accumulates in the lesion A1 such as cancer cells is attached to the subject A. Or absorb. In this state, by irradiating the subject A with excitation light, the fluorescent agent is excited and emits fluorescence.
  • the insertion portion 2 is inserted into the body cavity, and the distal end 2a is opposed to the subject A.
  • white light including excitation light emitted from the xenon lamp 8 by operating the light source 3 and cut out by the filter 9 is condensed by the coupling lens 10, and the tip of the insertion portion 2 is collected by the light guide fiber 11. It is guided to 2a.
  • the white light is diffused by the illumination optical system 12 and irradiated onto the subject A.
  • the fluorescent substance contained therein is excited by excitation light to emit fluorescence, and white light and a part of the excitation light are reflected on the surface.
  • the fluorescence, white light, and excitation light are collected by the objective lens 13, and light having an excitation wavelength or longer, that is, excitation light and fluorescence are reflected by the dichroic mirror 14, and white light having a wavelength shorter than the excitation wavelength is transmitted. .
  • the excitation light and fluorescence reflected by the dichroic mirror 14 are removed by the filter 19 and only the fluorescence is collected by the condenser lens 16 and photographed by the fluorescence monochrome CCD 18.
  • the fluorescence image information of the subject A is acquired by the fluorescence monochrome CCD 18.
  • the white light transmitted through the dichroic mirror 14 is condensed by the condenser lens 15 and photographed by the white light color CCD 17. Thereby, the white light image information of the subject A is acquired in the white light color CCD 17.
  • the fluorescence image information or the white light image information may be acquired first or at the same time.
  • the fluorescent image information acquired by the fluorescent monochrome CCD 18 and the white light image information acquired by the white light color CCD 17 are sent to the fluorescent image generation unit 21 and the white light image generation unit 20 of the image processing device 6, respectively.
  • the fluorescence image generation unit 21 generates a two-dimensional fluorescence image based on the fluorescence image information transmitted from the fluorescence monochrome CCD 18, and the white light image generation unit 20 generates white light transmitted from the white light color CCD 17.
  • a two-dimensional white light image is generated based on the image information.
  • the exposure time of the white light color CCD 17 is adjusted by the automatic exposure time adjustment unit 22, and the exposure time of the fluorescent monochrome CCD 18 is adjusted by the automatic exposure time adjustment unit 23.
  • the white light image generated by the white light image generation unit 20 is converted into color signals of R component, G component, and B component and stored in each memory, and also by the fluorescence image generation unit 21.
  • the generated fluorescence image signal is stored in the F memory 34, and each stored color signal and fluorescence image signal is output to the image calculation unit 25.
  • the image calculation unit 25 corrects the color signals of the R component, the G component, and the B component of the white light image, for example, based on the following mathematical formula.
  • B OUT B IN ⁇ (F IN / R IN ) ⁇ ⁇
  • a corrected image is generated from the color signal corrected in this way, and the corrected image and the fluorescent image generated by the fluorescent image generating unit 21 are combined.
  • the synthesized image synthesized in this way and the white light image generated by the white light image generation unit 20 are displayed on the monitor 7.
  • the image calculation unit 25 uses the color signal and the fluorescence image signal of the white light image, and the R component, the G component, and the B component of the white light image.
  • the color signal is corrected to generate a corrected image
  • the fluorescent image and the corrected image are combined.
  • the composite image for example, the lesion A1 in the living tissue can be displayed characteristically, and the normal part can be corrected to be equivalent to the original color and displayed on the monitor 7.
  • the normal part can be observed in the same way as the original color while specifying the position and shape of the lesion A1, and the observation accuracy of the subject A can be improved.
  • the image calculation unit 25 can display the lesion A1 clearly by correcting the color signals of the R component, the G component, and the B component of the white light image based on the following formula.
  • B OUT B IN ⁇ (F IN / R IN ) ⁇ ⁇
  • the color of the normal part can be corrected by correcting the signal intensity of the B component and the R component using the R component signal that is difficult to be absorbed in the living body. That is, by doing as described above, the lesion A1 can be displayed in magenta (red purple) and the normal part can be displayed in the original color in the composite image.
  • the coefficient ⁇ used in the calculation by the image calculation unit 25 may be automatically set.
  • the fluorescence observation apparatus 51 according to the present modification includes, for example, an input unit 28 such as a button provided in the operation unit of the insertion unit 2 in addition to the components shown in FIG. And a parameter setting unit 29 for setting a parameter (coefficient ⁇ ) based on the instruction input to the.
  • the parameter setting unit 29 calculates the average luminance of the R component signal and the fluorescence image signal of the white light image in a preset region (step S2).
  • the preset region is, for example, a region S at the center of the image, as shown in FIG.
  • the coefficient ⁇ is calculated by dividing the signal intensity of the reference fluorescent image by the signal intensity of the R component (step S3).
  • the color signal of the white light image is corrected from the fluorescent image acquired by the fluorescent monochrome CCD 18 and the white light image acquired by the white color CCD 17.
  • the coefficient ⁇ can be calculated.
  • the coefficient ⁇ may be calculated from the ratio of the reference gradation values of the fluorescent monochrome CCD 18 and the white light color CCD 17.
  • the image calculation unit 25 performs the R component, G component, and B component of the white light image with respect to the R component, G component, and B component signals of the white light image.
  • the result obtained by dividing at least one signal by the fluorescence image generated by the fluorescence image generation unit 21 may be multiplied.
  • the image calculation unit 25 corrects the color signals of the R component, the G component, and the B component of the white light image based on the following formula, for example.
  • B OUT B IN ⁇ (R IN / F IN ) / ⁇
  • G OUT G IN
  • R OUT R IN ⁇ (R IN / F IN ) / ⁇
  • B OUT Signal intensity of the B component of the white light image
  • G OUT Signal intensity of the G component of the white light image
  • R OUT Signal intensity of the R component of the white light image
  • B IN Signal intensity of the B component of the corrected image
  • G IN G component signal intensity of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image ⁇ : A coefficient that becomes R IN / F IN in the normal part
  • the B component and R component of the corrected image can be reduced. That is, by doing as described above, only the lesioned part A1 can be displayed in green and the normal part can be displayed in the original color in the composite image.
  • the image calculation unit 25 may correct the color signals of the R component, the G component, and the B component of the white light image based on, for example, the following mathematical formula.
  • B OUT B IN ⁇ [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ + 1]
  • G OUT G IN
  • R OUT R IN ⁇ [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ + 1]
  • B OUT Signal intensity of the B component of the white light image
  • G OUT Signal intensity of the G component of the white light image
  • R OUT Signal intensity of the R component of the white light image
  • B IN Signal intensity of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part
  • ⁇ Color gain (preset coefficient) )
  • the color change of the lesion A1 can be increased by multiplying the color gain.
  • the lesioned part A1 can be displayed in magenta (red purple), and the normal part can be displayed in the original color.
  • the image calculation unit 25 may correct the color signals of the R component, the G component, and the B component of the white light image based on, for example, the following mathematical formula.
  • B OUT B IN ⁇ [ ⁇ (R IN / F IN ) ⁇ (1 / ⁇ ) ⁇ ⁇ ⁇ + 1]
  • G OUT G IN
  • R OUT R IN ⁇ [ ⁇ (R IN / F IN ) ⁇ (1 / ⁇ ) ⁇ ⁇ ⁇ + 1] here,
  • B OUT Signal intensity of the B component of the white light image
  • G OUT Signal intensity of the G component of the white light image
  • R OUT Signal intensity of the R component of the white light image
  • B IN Signal intensity of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes R IN / F IN in the normal part ⁇ :
  • the color change of the lesion A1 can be increased by multiplying the color gain. Thereby, in the composite image, only the lesioned part A1 can be displayed in green and the normal part can be displayed in the original color.
  • the image calculation unit 25 converts the fluorescence image generated by the fluorescence image generation unit 21 into white light for the R component, G component, and B component signals of the white light image.
  • the result of division by at least one signal among the R component, G component, and B component of the image may be added.
  • the image calculation unit 25 corrects the color signals of the R component, the G component, and the B component of the white light image based on the following formula, for example.
  • B OUT B IN + [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ ]
  • B OUT Signal intensity of the B component of the white light image
  • G OUT Signal intensity of the G component of the white light image
  • R OUT Signal intensity of the R component of the white light image
  • B IN Signal intensity of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part
  • ⁇ Color gain (preset coefficient) )
  • the color change of the lesion A1 can be increased by multiplying the color gain.
  • the lesioned part A1 can be displayed in magenta (red purple), and the normal part can be displayed in the original color.
  • the image calculation unit 25 converts the fluorescence image generated by the fluorescence image generation unit 21 into white light for the R component, G component, and B component signals of the white light image.
  • the result of division by at least one signal among the R component, G component, and B component of the image may be subtracted.
  • the image calculation unit 25 corrects the color signals of the R component, the G component, and the B component of the white light image based on the following formula, for example.
  • B OUT B IN ⁇ [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ ]
  • G OUT G IN
  • R OUT R IN ⁇ [ ⁇ (F IN / R IN ) ⁇ ⁇ ⁇ ] here,
  • B OUT Signal intensity of the B component of the white light image
  • G OUT Signal intensity of the G component of the white light image
  • R OUT Signal intensity of the R component of the white light image
  • B IN Signal intensity of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part
  • ⁇ Color gain (preset coefficient) )
  • the color change of the lesion A1 can be increased by multiplying the color gain. Thereby, in the composite image, only the lesioned part A1 can be displayed in green and the normal part can be displayed in the original color.
  • the image calculation unit 25 converts the fluorescence image generated by the fluorescence image generation unit 21 into white light for the R component, G component, and B component signals of the white light image. A result obtained by subtracting at least one of the R component, G component, and B component of the image may be added.
  • the image calculation unit 25 corrects the color signals of the R component, the G component, and the B component of the white light image based on the following formula, for example.
  • B OUT B IN + (F IN ⁇ R IN ⁇ ⁇ ) ⁇ ⁇
  • G OUT G IN
  • R OUT R IN + (F IN ⁇ R IN ⁇ ⁇ ) ⁇ ⁇ here
  • B OUT Signal intensity of the B component of the white light image
  • G OUT Signal intensity of the G component of the white light image
  • R OUT Signal intensity of the R component of the white light image
  • B IN Signal intensity of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part
  • ⁇ Color gain (preset coefficient) )
  • the color change of the lesion A1 can be increased by multiplying the color gain.
  • the lesioned part A1 can be displayed in magenta (red purple), and the normal part can be displayed in the original color.
  • the image calculation unit 25 converts the fluorescence image generated by the fluorescence image generation unit 21 into white light for the R component, G component, and B component signals of the white light image. A result obtained by subtracting at least one of the R component, G component, and B component of the image may be subtracted.
  • the image calculation unit 25 corrects the color signals of the R component, the G component, and the B component of the white light image based on the following formula, for example.
  • B OUT B IN ⁇ (F IN ⁇ R IN ⁇ ⁇ ) ⁇ ⁇
  • G OUT G IN
  • R OUT R IN ⁇ (F IN ⁇ R IN ⁇ ⁇ ) ⁇ ⁇
  • B OUT Signal intensity of the B component of the white light image
  • G OUT Signal intensity of the G component of the white light image
  • R OUT Signal intensity of the R component of the white light image
  • B IN Signal intensity of the B component of the corrected image
  • G IN Signal intensity of the G component of the corrected image
  • R IN Signal intensity of the R component of the corrected image
  • F IN Signal intensity of the fluorescent image
  • ⁇ Coefficient that becomes F IN / R IN in the normal part ⁇ : Color gain (preset coefficient) )
  • the color change of the lesion A1 can be increased by multiplying the color gain. Thereby, in the composite image, only the lesioned part A1 can be displayed in green and the normal part can be displayed in the original color.
  • the color gain ⁇ is a coefficient set in advance on the assumption that the ratio of the fluorescence intensity between the normal part and the lesioned part A1 in the subject A is known in advance. .
  • the color gain ⁇ is desirably set to a value that makes the color change of the lesion A1 noticeable.
  • the color gain ⁇ is determined so that the signal intensity does not saturate in the third, fifth, and seventh modifications, and the signal intensity does not become a negative value in the sixth and eighth modifications. (Or 0 when it is negative).
  • the image calculation unit 25 includes an HSV conversion unit (not shown) that performs HSV conversion on the R component, G component, and B component signals of the white light image.
  • the H component signal converted by the HSV conversion unit may be corrected.
  • the HSV conversion unit converts the R component, G component, and B component signals of the white light image stored in the memory 24 into a V component (brightness), an S component ( Saturation) and H component (hue).
  • the image calculation unit 25 corrects the H component (hue) of the white light image based on, for example, the following mathematical formula.
  • H HX (F IN / R IN ) X ⁇ here, H: Signal intensity of H component of white light image S: Signal intensity of S component of white light image V: Signal intensity of V component of white light image B: Signal intensity of B component of white light image G: White light image G component signal intensity R: Signal intensity of R component of white light image R IN : Signal intensity of R component of corrected image F IN : Signal intensity of fluorescent image ⁇ : Coefficient of R IN / F IN in normal part
  • a lesioned part can be changed into the color which does not exist in living bodies, such as green and blue, and the observation precision of lesioned part A1 can be improved.
  • the correction methods shown in the second to eighth modifications described above may be applied to the correction of the H component (hue) of the white light image.
  • the H component (hue) of the white light image not only the H component (hue) of the white light image but also the V component (brightness) and S component (saturation) may be corrected.
  • R component, G component, and B component signals of a white light image may be acquired in a frame sequential manner.
  • the light source 3 selects a desired wavelength band from the xenon lamp 8 and the illumination light emitted from the xenon lamp 8, as shown in FIG.
  • a coupling lens 10 that condenses the excitation light and white light cut out by the wavelength selection unit 40.
  • the wavelength selection unit 40 includes a turret 44 that is rotated by a motor or the like, and a plurality of filters 41, 42, and 43 that are provided on the turret 44 and transmit light of different wavelength bands.
  • the filter 41 has a characteristic of transmitting only the R component of the white light image and the excitation light EX (for example, light having a wavelength band of 715 to 740 nm).
  • the filter 42 has a characteristic of transmitting only the G component and the excitation light EX of the white light image
  • the filter 43 transmits only the B component and the excitation light EX of the white light image.
  • the image processing apparatus 6 includes an image generation unit (return light image generation unit, fluorescence image generation unit) 47 that generates a white light image and a fluorescence image, a white light color CCD 17, and a fluorescence monochrome CCD 18.
  • An exposure time automatic adjustment unit 46 that adjusts the exposure time of the white light
  • a memory (color conversion unit) 24 that stores color signals of the R component, G component, and B component of the white light image, and these R component, G component, and B component.
  • the controller 45 is provided as a function.
  • the image generation unit 47 has a function of combining the white light image generation unit 20 and the fluorescence image generation unit 21 in FIG. 1, but as in FIG. 1, the white light image generation unit 20 and the fluorescence image generation unit 21 may be provided separately.
  • the automatic exposure time adjusting unit 46 has a function of combining the automatic exposure time adjusting unit 22 and the automatic exposure time adjusting unit 23 in FIG. The automatic exposure time adjustment unit 23 may be provided separately.
  • the memory 24 stores an R memory 31, a G memory 32, and a B memory 33 that respectively store R, G, and B component color signals of a white light image, and an F that stores a fluorescent image signal.
  • a memory 34 and a selector 48 for selecting which memory to output the white light image to are provided.
  • the selector 48 is controlled by the timing control unit 45, and in which of the R memory 31, the G memory 32, and the B memory 33 the white light image is output in synchronization with the rotation of the turret 44 of the wavelength selection unit 40. It comes to choose.
  • the acquired white light image is stored in the R memory 31. save.
  • the white light image acquired at the timing at which the filter 42 is arranged on the emission optical axis of the xenon lamp 8 is stored in the G memory 32, and the white light acquired at the timing at which the filter 43 is arranged.
  • the image is stored in the B memory 33.
  • the white light image acquired by the image generation unit 47 can be divided into R component, G component, and B component color signals without color conversion.
  • These R component, G component, and The color signal of the B component can be corrected by the image calculation unit 25.
  • the normal portion of the composite image can be corrected to be equivalent to the original color and displayed on the monitor 7.
  • a color matrix circuit 55 that performs color correction of R component, G component, and B component signals is provided between the memory 24 and the image calculation unit 25. It is good also as providing. Specifically, the color matrix circuit 55 performs the color correction of each signal by performing the calculation shown in the following equation on the R component, G component, and B component signals.
  • R ′, G ′, and B ′ are the R, G, and B component signal intensities after color correction
  • M 11 to M 33 are preset coefficients
  • R, G, and B are after color correction. It is the signal intensity of R component, G component, and B component.
  • the color signal of the R component, G component, and B component after color correction can be further corrected by the image calculation unit 25.
  • the normal part can be corrected and displayed in the composite image so as to be more equivalent to the original color.
  • the white light image generation unit 20 generates a fluorescent image generated by the fluorescent image generation unit 21 between the memory 24 and the image calculation unit 25.
  • a pre-processing unit 56 that generates a corrected fluorescent image by normalizing the generated white light image may be provided.
  • the pre-processing unit 56 uses the luminance value of each pixel in the fluorescent image generated by the fluorescent image generation unit 21 to determine the luminance value of each pixel corresponding to each pixel of the fluorescent image in the white light image generated by the white light image generation unit 20. By dividing by the luminance value, a corrected fluorescent image in which the luminance value of each pixel is standardized is generated.
  • the corrected fluorescence image in which the luminance value of each pixel is standardized and the corrected image in which the R component, G component, and B component of the white light image are corrected are combined and displayed on the monitor 7. be able to.
  • the normal part to be more equivalent to the original color it is possible to determine the state of the subject A by eliminating the influence on the fluorescence intensity due to the observation distance and the observation angle, The observation accuracy of the lesion A1 can be improved.
  • the R component signal and the fluorescence image signal of the white light image are used for correcting the signal intensity of the R component, G component, and B component of the white light image.
  • a B component signal and a fluorescence image signal may be used.
  • any two or more signals among the R component, G component, and B component of the fluorescent image signal and the white light image may be used.
  • the signal intensity of the R component and the B component of the white light image is corrected.
  • the signal intensity of the R component, the G component, and the B component of the white light image is corrected. Also good. Also, any two or more signal intensities of the R component, G component, and B component of the white light image may be corrected.

Abstract

　病変部の特定を容易にしつつ、正常部の色の変化を抑えることができる画像処理装置および蛍光観察装置を提供する。励起光の照射によって被検体Ａにおいて発生した蛍光を撮影して蛍光画像を生成する蛍光画像生成部２１と、照明光の照射によって被検体Ａから戻る白色光を撮影して白色光画像を生成する白色光画像生成部２０と、白色光画像を色空間を構成する複数の色信号に変換するメモリ２４と、メモリ２４により変換された複数の色信号を、複数の色信号のうち少なくとも１つの色信号および蛍光画像を用いて補正する画像演算部２５と、画像演算部２５により補正された複数の色信号から補正画像を生成する画像演算部２５と、蛍光画像生成部２１により生成された蛍光画像と画像演算部２５により生成された補正画像とを合成する画像合成部とを備える画像処理装置６を採用する。

Description

画像処理装置および蛍光観察装置
　本発明は、画像処理装置および蛍光観察装置に関するものである。
　蛍光薬剤を用いて病変領域を診断する蛍光観察装置において、従来、組織の性状情報と形状情報のそれぞれに色情報および輝度情報を割り当てて、組織の性状情報を示す画像と組織の形状情報を示す画像とを合成する方法が知られている（例えば、特許文献１参照）。
特許第４３２７３８０号公報
　しかしながら、上記の蛍光観察装置では、組織の正常部と病変部の両方に同一の処理を行っているため、病変部だけでなく正常部の色も変化してしまう。このような場合、正常部の色が通常の観察に用いられる白色光画像と異なる色で表示されるため、組織からの出血の有無などが判断できず、術者が適切な処置をおこなうのが難しいという不都合があった。
　本発明は、上述した事情に鑑みてなされたものであって、病変部の特定を容易にしつつ、正常部の色の変化を抑えることができる画像処理装置および蛍光観察装置を提供することを目的とする。
　上記目的を達成するために、本発明は以下の手段を採用する。
　本発明の第１の態様は、励起光の照射によって被検体において発生した蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、照明光の照射によって被検体から戻る戻り光を撮影して戻り光画像を生成する戻り光画像生成部と、該戻り光画像生成部により生成された戻り光画像を、色空間を構成する複数の色信号に変換する色変換部と、該色変換部により変換された複数の色信号を、該複数の色信号のうち少なくとも１つの色信号および前記蛍光画像生成部により生成された蛍光画像を用いて補正する色信号補正部と、該色信号補正部により補正された複数の色信号から補正画像を生成する補正画像生成部と、前記蛍光画像生成部により生成された蛍光画像と前記補正画像生成部により生成された補正画像とを合成する画像合成部とを備える画像処理装置である。
　上記の画像処理装置によれば、戻り光画像生成部により、照明光の照射によって被検体から戻る戻り光から戻り光画像が生成されるとともに、蛍光画像生成部により、励起光の照射によって被検体において発生した蛍光から蛍光画像が生成される。そして、色変換部により戻り光画像が色空間を構成する複数の色信号に変換され、色信号補正部により、色変換部により変換された複数の色信号が、複数の色信号のうち少なくとも１つの色信号および蛍光画像生成部により生成された蛍光画像を用いて補正される。このように補正された複数の色信号から補正画像生成部により補正画像が生成され、画像合成部により蛍光画像と補正画像とが合成される。
　このようにすることで、合成画像において、例えば生体組織における病変部を特徴的に表示するとともに、正常部を元の色と同等となるように補正して表示することができる。これにより、病変部の位置や形状を特定しつつ正常部を元の色と同様に観察することができ、観察精度を向上することができる。
　上記の画像処理装置において、前記複数の色信号が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号であることとしてもよい。
　このようにすることで、色変換部により戻り光画像がＲ成分、Ｇ成分、およびＢ成分の信号に変換され、色信号補正部により、これらＲ成分、Ｇ成分、およびＢ成分の信号が、これら信号のうち少なくとも１つの信号および蛍光画像生成部により生成された蛍光画像を用いて補正される。これにより、合成画像において、正常部を元の色と同等となるように補正して表示することができる。
　上記の画像処理装置において、前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で除算した結果を乗算することとしてもよい。
　このようにすることで、戻り光画像のＲ成分、Ｇ成分、およびＢ成分が補正された補正された補正画像を生成することができ、合成画像において、正常部を元の色と同等となるように補正して表示することができる。
　上記の画像処理装置において、前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ×（ＦＩＮ／ＲＩＮ）×α
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×（ＦＩＮ／ＲＩＮ）×α
　ここで、
　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
　ＢＩＮ：前記補正画像のＢ成分の信号強度
　ＧＩＮ：前記補正画像のＧ成分の信号強度
　ＲＩＮ：前記補正画像のＲ成分の信号強度
　ＦＩＮ：前記蛍光画像の信号強度
　α：正常部においてＲＩＮ／ＦＩＮとなる係数
　このように戻り光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、Ｂ成分およびＲ成分が増加するため、病変部がマゼンダ（赤紫色）に近づく。ここで、生体内は血液等により赤色であるため、Ｇ成分およびＢ成分は吸収されやすい。したがって、生体内で吸収されにくいＲ成分の信号を用いて、Ｂ成分およびＲ成分の信号強度を補正することで、正常部の色を補正することができる。すなわち、上記のようにすることで、合成画像において、病変部をマゼンダ（赤紫色）で表示するとともに、正常部を元の色で表示することができる。
　上記の画像処理装置において、前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号を前記蛍光画像生成部により生成された蛍光画像で除算した結果を乗算することとしてもよい。
　このようにすることで、戻り光画像のＲ成分、Ｇ成分、およびＢ成分が補正された補正された補正画像を生成することができ、合成画像において、正常部を元の色と同等となるように補正して表示することができる。
　上記の画像処理装置において、前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ×（ＲＩＮ／ＦＩＮ）／α
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×（ＲＩＮ／ＦＩＮ）／α
　ここで、
　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
　ＢＩＮ：前記補正画像のＢ成分の信号強度
　ＧＩＮ：前記補正画像のＧ成分の信号強度
　ＲＩＮ：前記補正画像のＲ成分の信号強度
　ＦＩＮ：前記蛍光画像の信号強度
　α：正常部においてＲＩＮ／ＦＩＮとなる係数
　このように戻り光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、補正画像のＢ成分およびＲ成分を小さくすることができる。すなわち、上記のようにすることで、合成画像において、病変部のみを緑色で表示するとともに、正常部を元の色で表示することができる。
　上記の画像処理装置において、前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ×[｛（ＦＩＮ／ＲＩＮ）－α｝×β＋１]
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×[｛（ＦＩＮ／ＲＩＮ）－α｝×β＋１]
　ここで、
　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
　ＢＩＮ：前記補正画像のＢ成分の信号強度
　ＧＩＮ：前記補正画像のＧ成分の信号強度
　ＲＩＮ：前記補正画像のＲ成分の信号強度
　ＦＩＮ：前記蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように戻り光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、Ｂ成分およびＲ成分が増加するため、病変部がマゼンダ（赤紫色）に近づく。また、カラーゲインを乗算することで、病変部の色変化を大きくすることができる。これにより、合成画像において、病変部をマゼンダ（赤紫色）で表示するとともに、正常部を元の色で表示することができる。
　上記の画像処理装置において、前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ×[｛（ＲＩＮ／ＦＩＮ）－（１／α）｝×β＋１]
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×[｛（ＲＩＮ／ＦＩＮ）－（１／α）｝×β＋１]
　ここで、
　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
　ＢＩＮ：前記補正画像のＢ成分の信号強度
　ＧＩＮ：前記補正画像のＧ成分の信号強度
　ＲＩＮ：前記補正画像のＲ成分の信号強度
　ＦＩＮ：前記蛍光画像の信号強度
　α：正常部においてＲＩＮ／ＦＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように戻り光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、補正画像のＢ成分およびＲ成分を小さくすることができる。また、カラーゲインを乗算することで、病変部の色変化を大きくすることができる。これにより、合成画像において、病変部のみを緑色で表示するとともに、正常部を元の色で表示することができる。
　上記の画像処理装置において、前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で除算した結果を加算することとしてもよい。
　このようにすることで、戻り光画像のＲ成分、Ｇ成分、およびＢ成分が補正された補正された補正画像を生成することができ、合成画像において、正常部を元の色と同等となるように補正して表示することができる。
　上記の画像処理装置において、前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ＋[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ＋[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
　ここで、
　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
　ＢＩＮ：前記補正画像のＢ成分の信号強度
　ＧＩＮ：前記補正画像のＧ成分の信号強度
　ＲＩＮ：前記補正画像のＲ成分の信号強度
　ＦＩＮ：前記蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように戻り光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、Ｂ成分およびＲ成分が増加するため、病変部がマゼンダ（赤紫色）に近づく。また、カラーゲインを乗算することで、病変部の色変化を大きくすることができる。これにより、合成画像において、病変部をマゼンダ（赤紫色）で表示するとともに、正常部を元の色で表示することができる。
　上記の画像処理装置において、前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で除算した結果を減算することとしてもよい。
　このようにすることで、戻り光画像のＲ成分、Ｇ成分、およびＢ成分が補正された補正された補正画像を生成することができ、合成画像において、正常部を元の色と同等となるように補正して表示することができる。
　上記の画像処理装置において、前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ－[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ－[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
　ここで、
　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
　ＢＩＮ：前記補正画像のＢ成分の信号強度
　ＧＩＮ：前記補正画像のＧ成分の信号強度
　ＲＩＮ：前記補正画像のＲ成分の信号強度
　ＦＩＮ：前記蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように戻り光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、補正画像のＢ成分およびＲ成分を小さくすることができる。また、カラーゲインを乗算することで、病変部の色変化を大きくすることができる。これにより、合成画像において、病変部のみを緑色で表示するとともに、正常部を元の色で表示することができる。
　上記の画像処理装置において、前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で減算した結果を加算することとしてもよい。
　このようにすることで、戻り光画像のＲ成分、Ｇ成分、およびＢ成分が補正された補正された補正画像を生成することができ、合成画像において、正常部を元の色と同等となるように補正して表示することができる。
　上記の画像処理装置において、前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ＋（ＦＩＮ－ＲＩＮ×α）×β
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ＋（ＦＩＮ－ＲＩＮ×α）×β
　ここで、
　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
　ＢＩＮ：前記補正画像のＢ成分の信号強度
　ＧＩＮ：前記補正画像のＧ成分の信号強度
　ＲＩＮ：前記補正画像のＲ成分の信号強度
　ＦＩＮ：前記蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように戻り光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、Ｂ成分およびＲ成分が増加するため、病変部がマゼンダ（赤紫色）に近づく。また、カラーゲインを乗算することで、病変部の色変化を大きくすることができる。これにより、合成画像において、病変部をマゼンダ（赤紫色）で表示するとともに、正常部を元の色で表示することができる。
　上記の画像処理装置において、前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で減算した結果を減算することとしてもよい。
　このようにすることで、戻り光画像のＲ成分、Ｇ成分、およびＢ成分が補正された補正された補正画像を生成することができ、合成画像において、正常部を元の色と同等となるように補正して表示することができる。
　上記の画像処理装置において、前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ－（ＦＩＮ－ＲＩＮ×α）×β
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ－（ＦＩＮ－ＲＩＮ×α）×β
　ここで、
　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
　ＢＩＮ：前記補正画像のＢ成分の信号強度
　ＧＩＮ：前記補正画像のＧ成分の信号強度
　ＲＩＮ：前記補正画像のＲ成分の信号強度
　ＦＩＮ：前記蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように戻り光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、補正画像のＢ成分およびＲ成分を小さくすることができる。また、カラーゲインを乗算することで、病変部の色変化を大きくすることができる。これにより、合成画像において、病変部のみを緑色で表示するとともに、正常部を元の色で表示することができる。
　上記の画像処理装置において、前記色変換部により変換されたＲ成分、Ｇ成分、およびＢ成分の信号をＨＳＶ変換するＨＳＶ変換部を備え、前記色信号補正部が、前記ＨＳＶ変換部により変換されたＨ成分の信号を補正することとしてもよい。
　このようにすることで、病変部を緑や青等の生体にない色に変化させることができ、病変部の観察精度を向上することができる。
　本発明の第２の態様は、被検体に照射する照明光および励起光を発生する光源部と、上記の画像処理装置と、該画像処理装置により処理された画像を表示する画像表示部とを備える蛍光観察装置である。
　このような蛍光観察装置によれば、上記の画像処理装置を備えているので、合成画像において、例えば生体組織における病変部を特徴的に表示するとともに、正常部を元の色と同等となるように補正して表示することができる。これにより、病変部の位置や形状を特定しつつ正常部を元の色と同様に観察することができ、観察精度を向上することができる。
　本発明によれば、病変部の特定を容易にしつつ、正常部の色の変化を抑えることができるという効果を奏する。
本発明の一実施形態に係る蛍光観察装置の概略構成図である。 図１の画像処理装置の機能ブロック図である。 本発明の第１の変形例に係る蛍光観察装置の概略構成図である。 図３の蛍光観察装置による処理を説明するフローチャートである。 図３の蛍光観察装置において係数を決定する際の処理を説明する画面例である。 本発明の第１０の変形例に係る蛍光観察装置の概略構成図である。 図６の波長選択部の概略構成図である。 図７の各フィルタの透過特性を示すグラフである。 図６の画像処理装置の機能ブロック図である。 本発明の第１１の変形例に係る蛍光観察装置の画像処理装置の機能ブロック図である。 本発明の第１２の変形例に係る蛍光観察装置の画像処理装置の機能ブロック図である。
　本発明の一実施形態に係る蛍光観察装置１について、図面を参照して以下に説明する。ここでは、本実施形態に係る蛍光観察装置１を内視鏡装置に適用した例について説明する。
　本実施形態に係る蛍光観察装置１は、図１に示されるように、体内に挿入される細長い挿入部２と、照明光および励起光を射出する光源（光源部）３と、該光源３からの照明光および励起光を挿入部２の先端から被検体Ａに向けて照射する照明ユニット４と、挿入部２の先端に設けられ、被検体Ａの画像情報を取得する撮像ユニット５と、挿入部２の基端側に配置され、撮像ユニット５により取得された画像情報を処理する画像処理装置６と、該画像処理装置６により処理された画像を表示するモニタ（画像表示部）７とを備えている。
　光源３は、キセノンランプ８と、該キセノンランプ８から発せられた照明光から、例えば波長帯域４００～７５０ｎｍの励起光および白色光（照明光）を切り出すフィルタ９と、フィルタ９により切り出された励起光および白色光を集光するカップリングレンズ１０とを備えている。
　照明ユニット４は、挿入部２の長手方向のほぼ全長にわたって配置され、カップリングレンズ１０によって集光された励起光および白色光を導光するライトガイドファイバ１１と、挿入部２の先端に設けられ、ライトガイドファイバ１１によって導光されてきた励起光および白色光を拡散させて、挿入部２の先端面２ａに対向する被検体Ａに照射する照明光学系１２とを備えている。
　撮像ユニット５は、被検体Ａの所定の観察範囲から戻る戻り光を集光する対物レンズ１３と、該対物レンズ１３によって集光された戻り光の内、励起波長以上の光（励起光および蛍光）を反射し、励起波長より短い波長の白色光を透過するダイクロイックミラー１４と、ダイクロイックミラー１４を透過した白色光およびダイクロイックミラー１４により反射された蛍光をそれぞれ集光する２つの集光レンズ１５，１６と、集光レンズ１５によって集光された白色光を撮像する白色光用カラーＣＣＤ１７と、集光レンズ１６によって集光された蛍光を撮像する蛍光用モノクロＣＣＤ１８とを備えている。図１において、符号１９は、ダイクロイックミラー１４によって反射された光から励起光を遮断する（例えば、波長帯域７６５～８５０nmの光だけを透過する）励起光カットフィルタである。
　画像処理装置６は、白色光画像を生成する白色光画像生成部（戻り光画像生成部）２０と、蛍光画像を生成する蛍光画像生成部２１と、白色光用カラーＣＣＤ１７の露光時間を調整する自動露光時間調整部２２と、蛍光用モノクロＣＣＤ１８の露光時間を調整する自動露光時間調整部２３と、白色光画像のＲ成分、Ｇ成分、Ｂ成分の色信号を保存するメモリ（色変換部）２４と、これらＲ成分、Ｇ成分、Ｂ成分の色信号を補正する画像演算部（色信号補正部、補正画像生成部、画像合成部）２５とを機能として備えている。
　白色光画像生成部２０は、白色光用カラーＣＣＤ１７によって検出された白色光画像データから白色光画像を生成するようになっている。白色光画像生成部２０は、生成した白色光画像をメモリ２４および自動露光時間調整部２２に送信するようになっている。
　蛍光画像生成部２１は、蛍光用モノクロＣＣＤ１８によって検出された蛍光画像データから蛍光画像を生成するようになっている。蛍光画像生成部２１は、生成した蛍光画像をメモリ２４および自動露光時間調整部２３に送信するようになっている。
　自動露光時間調整部２２は、白色光画像生成部２０により生成された白色光画像の輝度値に基づいて白色光用カラーＣＣＤ１７の露光時間を調整するようになっている。
　自動露光時間調整部２３は、蛍光画像生成部２１により生成された蛍光画像の輝度値に基づいて蛍光用モノクロＣＣＤ１８の露光時間を調整するようになっている。
　このようにすることで、生成された各画像から次フレームの露光時間を自動的に計算して、各ＣＣＤの露光時間を制御するようになっている。
　なお、本実施形態において、白色光画像および蛍光画像の輝度値に基づいて、自動露光時間調整部２２および自動露光時間調整部２３により白色光用カラーＣＣＤ１７および蛍光用モノクロＣＣＤ１８の露光時間を調整することとして説明するが、光源３により射出する白色光および励起光の光量を制御してもよく、白色光用カラーＣＣＤ１７および蛍光用モノクロＣＣＤ１８のゲインを調整することとしてもよい。
　メモリ２４は、図２に示すように、白色光画像のＲ成分、Ｇ成分、Ｂ成分の色信号をそれぞれ保存するＲメモリ３１、Ｇメモリ３２、Ｂメモリ３３および蛍光画像信号を保存するＦメモリ３４を有している。
　メモリ２４は、白色光画像生成部２０により生成された白色光画像を、色空間を構成するＲ成分、Ｇ成分、Ｂ成分の色信号に変換して各メモリに保存するとともに、蛍光画像生成部２１により生成された蛍光画像信号をＦメモリ３４に保存し、保存した各色信号および蛍光画像信号を画像演算部２５に出力するようになっている。
　画像演算部２５は、白色光画像の各色信号に対して、蛍光画像生成部２１により生成された蛍光画像信号を白色光画像の各色成分のうち少なくとも１つの色信号で除算した結果を乗算することで、白色光画像の色信号を補正するようになっている。
　具体的には、画像演算部２５は、例えば以下の数式に基づいて、白色光画像のＲ成分、Ｇ成分、およびＢ成分を補正するようになっている。
　ＢＯＵＴ＝ＢＩＮ×（ＦＩＮ／ＲＩＮ）×α
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×（ＦＩＮ／ＲＩＮ）×α
　ここで、
　ＢＯＵＴ：白色光画像のＢ成分の信号強度
　ＧＯＵＴ：白色光画像のＧ成分の信号強度
　ＲＯＵＴ：白色光画像のＲ成分の信号強度
　ＢＩＮ：補正画像のＢ成分の信号強度
　ＧＩＮ：補正画像のＧ成分の信号強度
　ＲＩＮ：補正画像のＲ成分の信号強度
　ＦＩＮ：蛍光画像の信号強度
　α：正常部においてＲＩＮ／ＦＩＮとなる係数
　ここで、係数αは、較正部材を用いて被検体Ａの正常部における蛍光強度から予め設定された値であり、前述のように、被検体Ａの正常部においてＲＩＮ／ＦＩＮとなる係数である。すなわち、係数αは、被検体Ａの正常部において、（ＦＩＮ／ＲＩＮ）×αが１となるような係数である。つまり、被検体Ａの正常部において、補正後の各色信号は以下のように演算される。
　ＢＯＵＴ＝ＢＩＮ
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ
　また、画像演算部２５は、このように補正された色信号から補正画像を生成し、生成した補正画像と蛍光画像生成部２１により生成された蛍光画像とを合成して、合成画像としてモニタ７に出力するようになっている。
　モニタ７は、白色光画像生成部２０により生成された白色光画像Ｇ１と、画像演算部２５により補正画像と蛍光画像とが合成された合成画像Ｇ２とが並列に配置された画像を表示するようになっている。
　上記構成を有する蛍光観察装置１の作用について以下に説明する。
　本実施形態に係る蛍光観察装置１を用いて、生体の体腔内の被検体Ａを観察するには、まず、癌細胞等の病変部Ａ１に特異的に集積する蛍光薬剤を被検体Ａに付着または吸収させる。この状態で、被検体Ａに励起光を照射することにより、蛍光薬剤が励起され蛍光が発せられる。
　次に、体腔内に挿入部２を挿入して先端２ａを被検体Ａに対向させる。この状態で、光源３を作動させることによりキセノンランプ８から発せられてフィルタ９によって切り出される励起光を含む白色光が、カップリングレンズ１０により集光され、ライトガイドファイバ１１により挿入部２の先端２ａへと導光される。そして、この白色光は照明光学系１２により拡散され、被検体Ａに照射される。
　被検体Ａにおいては、内部に含まれている蛍光物質が励起光によって励起されることにより蛍光が発せられるとともに、表面において白色光および励起光の一部が反射させられる。これら蛍光、白色光および励起光は、対物レンズ１３により集光され、ダイクロイックミラー１４により励起波長以上の光、すなわち、励起光および蛍光が反射され、励起波長より波長が短い白色光は透過させられる。
　ダイクロイックミラー１４により反射された励起光および蛍光は、フィルタ１９により励起光が除去され、蛍光のみが集光レンズ１６により集光されて蛍光用モノクロＣＣＤ１８により撮影される。これにより、蛍光用モノクロＣＣＤ１８において被検体Ａの蛍光画像情報が取得される。また、ダイクロイックミラー１４を透過した白色光は、集光レンズ１５によって集光され、白色光用カラーＣＣＤ１７により撮影される。これにより、白色光用カラーＣＣＤ１７において被検体Ａの白色光画像情報が取得される。なお、蛍光画像情報と白色光画像情報は、どちらを先に取得してもよいし、同時に取得してもよい。
　蛍光用モノクロＣＣＤ１８により取得された蛍光画像情報および白色光用カラーＣＣＤ１７により取得された白色光画像情報は、それぞれ画像処理装置６の蛍光画像生成部２１および白色光画像生成部２０に送られる。
　蛍光画像生成部２１では、蛍光用モノクロＣＣＤ１８から送られた蛍光画像情報に基づいて２次元的な蛍光画像が生成され、白色光画像生成部２０では、白色光用カラーＣＣＤ１７から送られた白色光画像情報に基づいて２次元的な白色光画像が生成される。
　この際、自動露光時間調整部２２により白色光用カラーＣＣＤ１７の露光時間が調整されるとともに、自動露光時間調整部２３により蛍光用モノクロＣＣＤ１８の露光時間が調整される。
　次に、メモリ２４において、白色光画像生成部２０により生成された白色光画像がＲ成分、Ｇ成分、Ｂ成分の色信号に変換されて各メモリに保存されるとともに、蛍光画像生成部２１により生成された蛍光画像信号がＦメモリ３４に保存され、保存された各色信号および蛍光画像信号が画像演算部２５に出力される。
　画像演算部２５では、前述のように、例えば以下の数式に基づいて、白色光画像のＲ成分、Ｇ成分、およびＢ成分の色信号が補正される。
　ＢＯＵＴ＝ＢＩＮ×（ＦＩＮ／ＲＩＮ）×α
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×（ＦＩＮ／ＲＩＮ）×α
　画像演算部２５では、このように補正された色信号から補正画像が生成され、補正画像と蛍光画像生成部２１により生成された蛍光画像とが合成される。このようにして合成された合成画像と白色光画像生成部２０により生成された白色光画像とがモニタ７に表示される。
　以上のように、本実施形態に係る蛍光観察装置１によれば、画像演算部２５により、白色光画像の色信号および蛍光画像信号を用いて、白色光画像のＲ成分、Ｇ成分、Ｂ成分の色信号が補正されて補正画像が生成され、蛍光画像と補正画像とが合成される。
　このようにすることで、合成画像において、例えば生体組織における病変部Ａ１を特徴的に表示するとともに、正常部を元の色と同等となるように補正してモニタ７に表示することができる。これにより、病変部Ａ１の位置や形状を特定しつつ正常部を元の色と同様に観察することができ、被検体Ａの観察精度を向上することができる。
　また、画像演算部２５が、以下の数式に基づいて白色光画像のＲ成分、Ｇ成分、およびＢ成分の色信号を補正することで、病変部Ａ１を鮮明に表示することができる。
　ＢＯＵＴ＝ＢＩＮ×（ＦＩＮ／ＲＩＮ）×α
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×（ＦＩＮ／ＲＩＮ）×α
　上記の数式に基づいて白色光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、Ｂ成分およびＲ成分が増加するため、病変部がマゼンダ（赤紫色）に近づく。ここで、生体内は血液等により赤色であるため、Ｇ成分およびＢ成分は吸収されやすい。したがって、生体内で吸収されにくいＲ成分の信号を用いて、Ｂ成分およびＲ成分の信号強度を補正することで、正常部の色を補正することができる。すなわち、上記のようにすることで、合成画像において、病変部Ａ１をマゼンダ（赤紫色）で表示するとともに、正常部を元の色で表示することができる。
［第１の変形例］
　本実施形態の第１の変形例として、画像演算部２５による演算において用いられる係数αを自動的に設定することとしてもよい。
　本変形例に係る蛍光観察装置５１は、図３に示すように、図１に示す構成要素に加えて、挿入部２の操作部に設けられた例えばボタン等の入力部２８と、入力部２８に入力された指示に基づいてパラメータ（係数α）を設定するパラメータ設定部２９とを備えている。
　本変形例に係る蛍光観察装置５１の係数αの決定方法について、図４に示すフローチャートを用いて説明する。
　入力部２８を操作することで、メモリ２４に保存された白色光画像のＲ成分、Ｇ成分、Ｂ成分の色信号のうち基準信号に用いている色信号（本変形例ではＲ成分）および蛍光画像信号が、パラメータ設定部２９に送られる（ステップＳ１）。
　次に、パラメータ設定部２９において、白色光画像のＲ成分の信号および蛍光画像信号の、予め設定された領域における平均輝度が算出される（ステップＳ２）。ここで、予め設定された領域は、図５に示すように、例えば画像の中心部の領域Ｓである。
　次に、基準とする蛍光画像の信号強度をＲ成分の信号強度で除算することで、係数αを算出する（ステップＳ３）。
　以上のように、本変形例に係る蛍光観察装置５１によれば、蛍光用モノクロＣＣＤ１８により取得した蛍光画像と白色光用カラーＣＣＤ１７により取得した白色光画像から、白色光画像の色信号を補正するための係数αを算出することができる。
　なお、係数αは、蛍光用モノクロＣＣＤ１８と白色光用カラーＣＣＤ１７との基準階調値の比から算出することとしてもよい。
［第２の変形例］
　本実施形態の第２の変形例として、画像演算部２５が、白色光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、白色光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号を蛍光画像生成部２１により生成された蛍光画像で除算した結果を乗算することとしてもよい。
　具体的には、画像演算部２５が、例えば以下の数式に基づいて白色光画像のＲ成分、Ｇ成分、およびＢ成分の色信号を補正する。
　ＢＯＵＴ＝ＢＩＮ×（ＲＩＮ／ＦＩＮ）／α
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×（ＲＩＮ／ＦＩＮ）／α
　ここで、
　ＢＯＵＴ：白色光画像のＢ成分の信号強度
　ＧＯＵＴ：白色光画像のＧ成分の信号強度
　ＲＯＵＴ：白色光画像のＲ成分の信号強度
　ＢＩＮ：補正画像のＢ成分の信号強度
　ＧＩＮ：補正画像のＧ成分の信号強度
　ＲＩＮ：補正画像のＲ成分の信号強度
　ＦＩＮ：蛍光画像の信号強度
　α：正常部においてＲＩＮ／ＦＩＮとなる係数
　このように白色光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、補正画像のＢ成分およびＲ成分を小さくすることができる。すなわち、上記のようにすることで、合成画像において、病変部Ａ１のみを緑色で表示するとともに、正常部を元の色で表示することができる。
［第３の変形例］
　本実施形態の第３の変形例として、画像演算部２５が、例えば以下の数式に基づいて白色光画像のＲ成分、Ｇ成分、およびＢ成分の色信号を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ×[｛（ＦＩＮ／ＲＩＮ）－α｝×β＋１]
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×[｛（ＦＩＮ／ＲＩＮ）－α｝×β＋１]
　ここで、
　ＢＯＵＴ：白色光画像のＢ成分の信号強度
　ＧＯＵＴ：白色光画像のＧ成分の信号強度
　ＲＯＵＴ：白色光画像のＲ成分の信号強度
　ＢＩＮ：補正画像のＢ成分の信号強度
　ＧＩＮ：補正画像のＧ成分の信号強度
　ＲＩＮ：補正画像のＲ成分の信号強度
　ＦＩＮ：蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように白色光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、Ｂ成分およびＲ成分が増加するため、病変部Ａ１がマゼンダ（赤紫色）に近づく。また、カラーゲインを乗算することで、病変部Ａ１の色変化を大きくすることができる。これにより、合成画像において、病変部Ａ１をマゼンダ（赤紫色）で表示するとともに、正常部を元の色で表示することができる。
［第４の変形例］
　本実施形態の第４の変形例として、画像演算部２５が、例えば以下の数式に基づいて白色光画像のＲ成分、Ｇ成分、およびＢ成分の色信号を補正することとしてもよい。
　ＢＯＵＴ＝ＢＩＮ×[｛（ＲＩＮ／ＦＩＮ）－（１／α）｝×β＋１]
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ×[｛（ＲＩＮ／ＦＩＮ）－（１／α）｝×β＋１]
　ここで、
　ＢＯＵＴ：白色光画像のＢ成分の信号強度
　ＧＯＵＴ：白色光画像のＧ成分の信号強度
　ＲＯＵＴ：白色光画像のＲ成分の信号強度
　ＢＩＮ：補正画像のＢ成分の信号強度
　ＧＩＮ：補正画像のＧ成分の信号強度
　ＲＩＮ：補正画像のＲ成分の信号強度
　ＦＩＮ：蛍光画像の信号強度
　α：正常部においてＲＩＮ／ＦＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように白色光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、補正画像のＢ成分およびＲ成分を小さくすることができる。また、カラーゲインを乗算することで、病変部Ａ１の色変化を大きくすることができる。これにより、合成画像において、病変部Ａ１のみを緑色で表示するとともに、正常部を元の色で表示することができる。
［第５の変形例］
　本実施形態の第５の変形例として、画像演算部２５が、白色光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、蛍光画像生成部２１により生成された蛍光画像を白色光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で除算した結果を加算することとしてもよい。
　具体的には、画像演算部２５が、例えば以下の数式に基づいて白色光画像のＲ成分、Ｇ成分、およびＢ成分の色信号を補正する。
　ＢＯＵＴ＝ＢＩＮ＋[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ＋[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
　ここで、
　ＢＯＵＴ：白色光画像のＢ成分の信号強度
　ＧＯＵＴ：白色光画像のＧ成分の信号強度
　ＲＯＵＴ：白色光画像のＲ成分の信号強度
　ＢＩＮ：補正画像のＢ成分の信号強度
　ＧＩＮ：補正画像のＧ成分の信号強度
　ＲＩＮ：補正画像のＲ成分の信号強度
　ＦＩＮ：蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように白色光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、Ｂ成分およびＲ成分が増加するため、病変部Ａ１がマゼンダ（赤紫色）に近づく。また、カラーゲインを乗算することで、病変部Ａ１の色変化を大きくすることができる。これにより、合成画像において、病変部Ａ１をマゼンダ（赤紫色）で表示するとともに、正常部を元の色で表示することができる。
［第６の変形例］
　本実施形態の第６の変形例として、画像演算部２５が、白色光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、蛍光画像生成部２１により生成された蛍光画像を白色光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で除算した結果を減算することとしてもよい。
　具体的には、画像演算部２５が、例えば以下の数式に基づいて白色光画像のＲ成分、Ｇ成分、およびＢ成分の色信号を補正する。
　ＢＯＵＴ＝ＢＩＮ－[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ－[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
　ここで、
　ＢＯＵＴ：白色光画像のＢ成分の信号強度
　ＧＯＵＴ：白色光画像のＧ成分の信号強度
　ＲＯＵＴ：白色光画像のＲ成分の信号強度
　ＢＩＮ：補正画像のＢ成分の信号強度
　ＧＩＮ：補正画像のＧ成分の信号強度
　ＲＩＮ：補正画像のＲ成分の信号強度
　ＦＩＮ：蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように白色光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、補正画像のＢ成分およびＲ成分を小さくすることができる。また、カラーゲインを乗算することで、病変部Ａ１の色変化を大きくすることができる。これにより、合成画像において、病変部Ａ１のみを緑色で表示するとともに、正常部を元の色で表示することができる。
［第７の変形例］
　本実施形態の第７の変形例として、画像演算部２５が、白色光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、蛍光画像生成部２１により生成された蛍光画像を白色光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で減算した結果を加算することとしてもよい。
　具体的には、画像演算部２５が、例えば以下の数式に基づいて白色光画像のＲ成分、Ｇ成分、およびＢ成分の色信号を補正する。
　ＢＯＵＴ＝ＢＩＮ＋（ＦＩＮ－ＲＩＮ×α）×β
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ＋（ＦＩＮ－ＲＩＮ×α）×β
　ここで、
　ＢＯＵＴ：白色光画像のＢ成分の信号強度
　ＧＯＵＴ：白色光画像のＧ成分の信号強度
　ＲＯＵＴ：白色光画像のＲ成分の信号強度
　ＢＩＮ：補正画像のＢ成分の信号強度
　ＧＩＮ：補正画像のＧ成分の信号強度
　ＲＩＮ：補正画像のＲ成分の信号強度
　ＦＩＮ：蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように白色光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、Ｂ成分およびＲ成分が増加するため、病変部Ａ１がマゼンダ（赤紫色）に近づく。また、カラーゲインを乗算することで、病変部Ａ１の色変化を大きくすることができる。これにより、合成画像において、病変部Ａ１をマゼンダ（赤紫色）で表示するとともに、正常部を元の色で表示することができる。
［第８の変形例］
　本実施形態の第８の変形例として、画像演算部２５が、白色光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、蛍光画像生成部２１により生成された蛍光画像を白色光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で減算した結果を減算することとしてもよい。
　具体的には、画像演算部２５が、例えば以下の数式に基づいて白色光画像のＲ成分、Ｇ成分、およびＢ成分の色信号を補正する。
　ＢＯＵＴ＝ＢＩＮ－（ＦＩＮ－ＲＩＮ×α）×β
　ＧＯＵＴ＝ＧＩＮ
　ＲＯＵＴ＝ＲＩＮ－（ＦＩＮ－ＲＩＮ×α）×β
　ここで、
　ＢＯＵＴ：白色光画像のＢ成分の信号強度
　ＧＯＵＴ：白色光画像のＧ成分の信号強度
　ＲＯＵＴ：白色光画像のＲ成分の信号強度
　ＢＩＮ：補正画像のＢ成分の信号強度
　ＧＩＮ：補正画像のＧ成分の信号強度
　ＲＩＮ：補正画像のＲ成分の信号強度
　ＦＩＮ：蛍光画像の信号強度
　α：正常部においてＦＩＮ／ＲＩＮとなる係数
　β：カラーゲイン（予め設定された係数）
　このように白色光画像のＲＧＢ成分を補正することで、蛍光画像の信号強度が大きくなると、補正画像のＢ成分およびＲ成分を小さくすることができる。また、カラーゲインを乗算することで、病変部Ａ１の色変化を大きくすることができる。これにより、合成画像において、病変部Ａ１のみを緑色で表示するとともに、正常部を元の色で表示することができる。
　なお、上記の第３から第８の変形例において、カラーゲインβは、被検体Ａにおける正常部と病変部Ａ１の蛍光強度の比が予め分っているという前提で予め設定された係数である。カラーゲインβは、病変部Ａ１の色変化が顕著になるような値とすることが望ましい。また、カラーゲインβは、上記の第３，５，７の変形例においては信号強度が飽和しないように決定し、上記の第６，８の変形例においては信号強度が負の値とならないように決定する（あるいは負の値となった場合には０と決定する）。
［第９の変形例］
　本実施形態の第９の変形例として、画像演算部２５が、白色光画像のＲ成分、Ｇ成分、およびＢ成分の信号をＨＳＶ変換するＨＳＶ変換部（図示略）を備え、画像演算部２５が、ＨＳＶ変換部により変換されたＨ成分の信号を補正することとしてもよい。
　具体的には、ＨＳＶ変換部は、例えば以下の数式に基づいて、メモリ２４に保存された白色光画像のＲ成分、Ｇ成分、およびＢ成分の信号を、Ｖ成分（明度）、Ｓ成分（彩度）、およびＨ成分（色相）に変換する。
　Ｖ＝Ｍａｘ（Ｒ，Ｇ，Ｂ）
　Ｓ＝１－Ｍｉｎ（Ｒ，Ｇ，Ｂ）／Ｍａｘ（Ｒ，Ｇ，Ｂ）
　Ｈ＝６０Ｘ（（Ｇ－Ｂ）／（Ｒ－Ｍｉｎ（Ｒ，Ｇ，Ｂ））
　また、画像演算部２５は、例えば以下の数式に基づいて白色光画像のＨ成分（色相）を補正する。
　Ｈ＝ＨＸ（ＦＩＮ／ＲＩＮ）Ｘα
　ここで、
　Ｈ：白色光画像のＨ成分の信号強度
　Ｓ：白色光画像のＳ成分の信号強度
　Ｖ：白色光画像のＶ成分の信号強度
　Ｂ：白色光画像のＢ成分の信号強度
　Ｇ：白色光画像のＧ成分の信号強度
　Ｒ：白色光画像のＲ成分の信号強度
　ＲＩＮ：補正画像のＲ成分の信号強度
　ＦＩＮ：蛍光画像の信号強度
　α：正常部においてＲＩＮ／ＦＩＮとなる係数
　このようにすることで、病変部を緑や青等の生体にない色に変化させることができ、病変部Ａ１の観察精度を向上することができる。
　なお、本変形例において、白色光画像のＨ成分（色相）の補正にあたっては、前述の第２から第８の変形例に示す補正方法を適用してもよい。
　また、本変形例において、白色光画像のＨ成分（色相）だけでなく、Ｖ成分（明度）やＳ成分（彩度）についても補正することとしてもよい。
［第１０の変形例］
　本実施形態の第１０の変形例として、白色光画像のＲ成分、Ｇ成分、およびＢ成分の信号を面順次方式で取得することとしてもよい。
　本変形例に係る蛍光観察装置５２において、光源３は、図６に示すように、キセノンランプ８と、該キセノンランプ８から発せられた照明光から所望の波長帯域を選択して透過させる波長選択部４０と、波長選択部４０により切り出された励起光および白色光を集光するカップリングレンズ１０とを備えている。
　波長選択部４０は、図７に示すように、モータ等により回転されるターレット４４と、ターレット４４上に設けられ、異なる波長帯域の光を透過させる複数のフィルタ４１，４２，４３とを有している。
　フィルタ４１は、図８に示すように、白色光画像のＲ成分および励起光ＥＸ（例えば波長帯域７１５～７４０nmの光）だけを透過する特性を有している。同様に、フィルタ４２は白色光画像のＧ成分および励起光ＥＸ、フィルタ４３は白色光画像のＢ成分および励起光ＥＸだけを透過する特性を有している。
　画像処理装置６は、図６に示すように、白色光画像および蛍光画像を生成する画像生成部（戻り光画像生成部、蛍光画像生成部）４７と、白色光用カラーＣＣＤ１７および蛍光用モノクロＣＣＤ１８の露光時間を調整する露光時間自動調整部４６と、白色光画像のＲ成分、Ｇ成分、Ｂ成分の色信号を保存するメモリ（色変換部）２４と、これらＲ成分、Ｇ成分、Ｂ成分の色信号を補正する画像演算部（色信号補正部、補正画像生成部、画像合成部）２５と、波長選択部４０のターレット４４の回転と同期してメモリ２４に記憶するタイミングを制御するタイミング制御部４５とを機能として備えている。
　なお、本変形例において、画像生成部４７は、図１における白色光画像生成部２０と蛍光画像生成部２１を合わせた機能を有しているが、図１と同様に、白色光画像生成部２０と蛍光画像生成部２１とを別々に設けることとしてもよい。
　また、露光時間自動調整部４６は、図１における自動露光時間調整部２２と自動露光時間調整部２３を合わせた機能を有しているが、図１と同様に、自動露光時間調整部２２と自動露光時間調整部２３とを別々に設けることとしてもよい。
　メモリ２４は、図９に示すように、白色光画像のＲ成分、Ｇ成分、Ｂ成分の色信号をそれぞれ保存するＲメモリ３１、Ｇメモリ３２、Ｂメモリ３３と、蛍光画像信号を保存するＦメモリ３４と、白色光画像をいずれのメモリに出力するかを選択するセレクタ４８とを備えている。
　セレクタ４８は、タイミング制御部４５により制御されており、波長選択部４０のターレット４４の回転と同期して、Ｒメモリ３１、Ｇメモリ３２、Ｂメモリ３３のいずれに白色光画像を出力するかを選択するようになっている。
　具体的には、白色光画像のＲ成分および励起光ＥＸを透過させるフィルタ４１が、キセノンランプ８の射出光軸上に配置されているタイミングにおいては、取得された白色光画像をＲメモリ３１に保存する。同様に、キセノンランプ８の射出光軸上に、フィルタ４２が配置されているタイミングにおいて取得された白色光画像はＧメモリ３２に保存し、フィルタ４３が配置されているタイミングにおいて取得された白色光画像はＢメモリ３３に保存する。
　このようにすることで、画像生成部４７により取得した白色光画像を色変換することなく、Ｒ成分、Ｇ成分、Ｂ成分の色信号に分割することができ、これらＲ成分、Ｇ成分、およびＢ成分の色信号を、画像演算部２５により補正することができる。これにより、前述の各変形例と同様に、合成画像において、正常部を元の色と同等となるように補正してモニタ７に表示することができる。
［第１１の変形例］
　本実施形態の第１１の変形例として、図１０に示すように、メモリ２４と画像演算部２５との間に、Ｒ成分、Ｇ成分、Ｂ成分の信号の色補正を行うカラーマトリクス回路５５を設けることとしてもよい。
　具体的には、カラーマトリクス回路５５は、Ｒ成分、Ｇ成分、Ｂ成分の信号に対して、以下の数式に示す演算を行うことで、各信号の色補正を行う。
Figure JPOXMLDOC01-appb-M000001
 　ここで、Ｒ´，Ｇ´，Ｂ´は色補正後のＲ成分、Ｇ成分、Ｂ成分の信号強度、Ｍ１１からＭ３３は予め設定された係数、Ｒ，Ｇ，Ｂは色補正後のＲ成分、Ｇ成分、Ｂ成分の信号強度である。
　このようにすることで、色補正後のＲ成分、Ｇ成分、Ｂ成分の色信号を、画像演算部２５により更に補正することができる。これにより、合成画像において、正常部を元の色とより同等となるように補正して表示することができる。
［第１２の変形例］
　本実施形態の第１２の変形例として、図１１に示すように、メモリ２４と画像演算部２５との間に、蛍光画像生成部２１により生成された蛍光画像を白色光画像生成部２０により生成された白色光画像により規格化して補正蛍光画像を生成する前段処理部５６を備えることとしてもよい。
　前段処理部５６は、蛍光画像生成部２１により生成された蛍光画像における各画素の輝度値を、白色光画像生成部２０により生成された白色光画像において蛍光画像の各画素に対応する各画素の輝度値で除算することで、各画素の輝度値が規格化された補正蛍光画像を生成するようになっている。
　このようにすることで、各画素の輝度値が規格化された補正蛍光画像と、白色光画像のＲ成分、Ｇ成分、Ｂ成分が補正された補正画像とを合成してモニタ７に表示することができる。これにより、正常部を元の色とより同等となるように補正して表示するとともに、観察距離や観察角度による蛍光強度への影響を排除して被検体Ａの状態を判定することができ、病変部Ａ１の観察精度を向上することができる。
　以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
　例えば、本実施形態において、本発明に係る画像処理装置および蛍光観察装置を内視鏡装置に適用した例を説明したが、顕微鏡装置等に適用することとしてもよい。
　また、本発明を上述の一実施形態および変形例に適用したものに限定されることなく、これらの変形例を適宜組み合わせた実施形態に適用してもよい。
　また、本実施形態において、白色光画像のＲ成分、Ｇ成分、Ｂ成分の信号強度の補正にあたって、白色光画像のＲ成分の信号と蛍光画像信号を用いたが、白色光画像のＧ成分またはＢ成分の信号と蛍光画像信号を用いてもよい。また、蛍光画像信号と白色光画像のＲ成分、Ｇ成分、Ｂ成分のうち任意の２つ以上の信号を用いてもよい。
　また、本実施形態において、白色光画像のＲ成分およびＢ成分の信号強度を補正することとして説明したが、白色光画像のＲ成分、Ｇ成分、Ｂ成分のいずれの信号強度を補正することとしてもよい。また、白色光画像のＲ成分、Ｇ成分、Ｂ成分のうち任意の２つ以上の信号強度を補正することとしてもよい。
Ａ　被検体
Ａ１　病変部
１，５１，５２　蛍光観察装置
２　挿入部
３　光源（光源部）
４　照明ユニット
５　撮像ユニット
６　画像処理装置
７　モニタ（画像表示部）
２０　白色光画像生成部（戻り光画像取得部）
２１　蛍光画像生成部（蛍光画像取得部）
２２　自動露光時間調整部
２３　自動露光時間調整部
２４　メモリ（色変換部）
２５　画像演算部（色信号補正部、補正画像生成部、画像合成部）
２８　入力部
２９　パラメータ設定部
３１　Ｒメモリ
３２　Ｇメモリ
３３　Ｂメモリ
３４　Ｆメモリ
４０　波長選択部
４５　タイミング制御部
４６　露光時間自動調整部
４７　画像生成部
５５　カラーマトリクス回路
５６　前段処理部

Claims (18)

  1. 　励起光の照射によって被検体において発生した蛍光を撮影して蛍光画像を生成する蛍光画像生成部と、
    　照明光の照射によって被検体から戻る戻り光を撮影して戻り光画像を生成する戻り光画像生成部と、
    　該戻り光画像生成部により生成された戻り光画像を、色空間を構成する複数の色信号に変換する色変換部と、
    　該色変換部により変換された複数の色信号を、該複数の色信号のうち少なくとも１つの色信号および前記蛍光画像生成部により生成された蛍光画像を用いて補正する色信号補正部と、
    　該色信号補正部により補正された複数の色信号から補正画像を生成する補正画像生成部と、
    　前記蛍光画像生成部により生成された蛍光画像と前記補正画像生成部により生成された補正画像とを合成する画像合成部とを備える画像処理装置。
  2. 　前記複数の色信号が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号である請求項１に記載の画像処理装置。
  3. 　前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で除算した結果を乗算する請求項２に記載の画像処理装置。
  4. 　前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正する請求項３に記載の画像処理装置。
    　ＢＯＵＴ＝ＢＩＮ×（ＦＩＮ／ＲＩＮ）×α
    　ＧＯＵＴ＝ＧＩＮ
    　ＲＯＵＴ＝ＲＩＮ×（ＦＩＮ／ＲＩＮ）×α
    　ここで、
    　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
    　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
    　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
    　ＢＩＮ：前記補正画像のＢ成分の信号強度
    　ＧＩＮ：前記補正画像のＧ成分の信号強度
    　ＲＩＮ：前記補正画像のＲ成分の信号強度
    　ＦＩＮ：前記蛍光画像の信号強度
    　α：正常部においてＲＩＮ／ＦＩＮとなる係数
  5. 　前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号を前記蛍光画像生成部により生成された蛍光画像で除算した結果を乗算する請求項２に記載の画像処理装置。
  6. 　前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正する請求項５に記載の画像処理装置。
    　ＢＯＵＴ＝ＢＩＮ×（ＲＩＮ／ＦＩＮ）／α
    　ＧＯＵＴ＝ＧＩＮ
    　ＲＯＵＴ＝ＲＩＮ×（ＲＩＮ／ＦＩＮ）／α
    　ここで、
    　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
    　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
    　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
    　ＢＩＮ：前記補正画像のＢ成分の信号強度
    　ＧＩＮ：前記補正画像のＧ成分の信号強度
    　ＲＩＮ：前記補正画像のＲ成分の信号強度
    　ＦＩＮ：前記蛍光画像の信号強度
    　α：正常部においてＲＩＮ／ＦＩＮとなる係数
  7. 　前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正する請求項２に記載の画像処理装置。
    　ＢＯＵＴ＝ＢＩＮ×[｛（ＦＩＮ／ＲＩＮ）－α｝×β＋１]
    　ＧＯＵＴ＝ＧＩＮ
    　ＲＯＵＴ＝ＲＩＮ×[｛（ＦＩＮ／ＲＩＮ）－α｝×β＋１]
    　ここで、
    　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
    　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
    　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
    　ＢＩＮ：前記補正画像のＢ成分の信号強度
    　ＧＩＮ：前記補正画像のＧ成分の信号強度
    　ＲＩＮ：前記補正画像のＲ成分の信号強度
    　ＦＩＮ：前記蛍光画像の信号強度
    　α：正常部においてＦＩＮ／ＲＩＮとなる係数
    　β：カラーゲイン（予め設定された係数）
  8. 　前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正する請求項２に記載の画像処理装置。
    　ＢＯＵＴ＝ＢＩＮ×[｛（ＲＩＮ／ＦＩＮ）－（１／α）｝×β＋１]
    　ＧＯＵＴ＝ＧＩＮ
    　ＲＯＵＴ＝ＲＩＮ×[｛（ＲＩＮ／ＦＩＮ）－（１／α）｝×β＋１]
    　ここで、
    　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
    　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
    　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
    　ＢＩＮ：前記補正画像のＢ成分の信号強度
    　ＧＩＮ：前記補正画像のＧ成分の信号強度
    　ＲＩＮ：前記補正画像のＲ成分の信号強度
    　ＦＩＮ：前記蛍光画像の信号強度
    　α：正常部においてＲＩＮ／ＦＩＮとなる係数
    　β：カラーゲイン（予め設定された係数）
  9. 　前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で除算した結果を加算する請求項２に記載の画像処理装置。
  10. 　前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正する請求項９に記載の画像処理装置。
    　ＢＯＵＴ＝ＢＩＮ＋[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
    　ＧＯＵＴ＝ＧＩＮ
    　ＲＯＵＴ＝ＲＩＮ＋[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
    　ここで、
    　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
    　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
    　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
    　ＢＩＮ：前記補正画像のＢ成分の信号強度
    　ＧＩＮ：前記補正画像のＧ成分の信号強度
    　ＲＩＮ：前記補正画像のＲ成分の信号強度
    　ＦＩＮ：前記蛍光画像の信号強度
    　α：正常部においてＦＩＮ／ＲＩＮとなる係数
    　β：カラーゲイン（予め設定された係数）
  11. 　前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で除算した結果を減算する請求項２に記載の画像処理装置。
  12. 　前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正する請求項１１に記載の画像処理装置。
    　ＢＯＵＴ＝ＢＩＮ－[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
    　ＧＯＵＴ＝ＧＩＮ
    　ＲＯＵＴ＝ＲＩＮ－[｛（ＦＩＮ／ＲＩＮ）－α｝×β]
    　ここで、
    　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
    　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
    　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
    　ＢＩＮ：前記補正画像のＢ成分の信号強度
    　ＧＩＮ：前記補正画像のＧ成分の信号強度
    　ＲＩＮ：前記補正画像のＲ成分の信号強度
    　ＦＩＮ：前記蛍光画像の信号強度
    　α：正常部においてＦＩＮ／ＲＩＮとなる係数
    　β：カラーゲイン（予め設定された係数）
  13. 　前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で減算した結果を加算する請求項２に記載の画像処理装置。
  14. 　前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正する請求項１３に記載の画像処理装置。
    　ＢＯＵＴ＝ＢＩＮ＋（ＦＩＮ－ＲＩＮ×α）×β
    　ＧＯＵＴ＝ＧＩＮ
    　ＲＯＵＴ＝ＲＩＮ＋（ＦＩＮ－ＲＩＮ×α）×β
    　ここで、
    　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
    　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
    　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
    　ＢＩＮ：前記補正画像のＢ成分の信号強度
    　ＧＩＮ：前記補正画像のＧ成分の信号強度
    　ＲＩＮ：前記補正画像のＲ成分の信号強度
    　ＦＩＮ：前記蛍光画像の信号強度
    　α：正常部においてＦＩＮ／ＲＩＮとなる係数
    　β：カラーゲイン（予め設定された係数）
  15. 　前記色信号補正部が、前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分の信号に対して、前記蛍光画像生成部により生成された蛍光画像を前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分のうち少なくとも１つの信号で減算した結果を減算する請求項２に記載の画像処理装置。
  16. 　前記色信号補正部が、以下の数式に基づいて前記戻り光画像のＲ成分、Ｇ成分、およびＢ成分を補正する請求項１５に記載の画像処理装置。
    　ＢＯＵＴ＝ＢＩＮ－（ＦＩＮ－ＲＩＮ×α）×β
    　ＧＯＵＴ＝ＧＩＮ
    　ＲＯＵＴ＝ＲＩＮ－（ＦＩＮ－ＲＩＮ×α）×β
    　ここで、
    　ＢＯＵＴ：前記戻り光画像のＢ成分の信号強度
    　ＧＯＵＴ：前記戻り光画像のＧ成分の信号強度
    　ＲＯＵＴ：前記戻り光画像のＲ成分の信号強度
    　ＢＩＮ：前記補正画像のＢ成分の信号強度
    　ＧＩＮ：前記補正画像のＧ成分の信号強度
    　ＲＩＮ：前記補正画像のＲ成分の信号強度
    　ＦＩＮ：前記蛍光画像の信号強度
    　α：正常部においてＦＩＮ／ＲＩＮとなる係数
    　β：カラーゲイン（予め設定された係数）
  17. 　前記色変換部により変換されたＲ成分、Ｇ成分、およびＢ成分の信号をＨＳＶ変換するＨＳＶ変換部を備え、
    　前記色信号補正部が、前記ＨＳＶ変換部により変換されたＨ成分の信号を補正する請求項２に記載の画像処理装置。
  18. 　被検体に照射する照明光および励起光を発生する光源部と、
    　請求項１に記載の画像処理装置と、
    　該画像処理装置により処理された画像を表示する画像表示部とを備える蛍光観察装置。
PCT/JP2011/058759 2010-04-28 2011-04-07 画像処理装置および蛍光観察装置 WO2011135992A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11774776.6A EP2564755B1 (en) 2010-04-28 2011-04-07 Image processing device and fluoroscopy device
CN201180020722.8A CN102869294B (zh) 2010-04-28 2011-04-07 图像处理装置和荧光观察装置
JP2012512748A JP5669828B2 (ja) 2010-04-28 2011-04-07 画像処理装置および蛍光観察装置
US13/654,870 US9198564B2 (en) 2010-04-28 2012-10-18 Image processing device and fluoroscopy device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010103544 2010-04-28
JP2010-103544 2010-04-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/654,870 Continuation US9198564B2 (en) 2010-04-28 2012-10-18 Image processing device and fluoroscopy device

Publications (1)

Publication Number Publication Date
WO2011135992A1 true WO2011135992A1 (ja) 2011-11-03

Family

ID=44861306

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/058759 WO2011135992A1 (ja) 2010-04-28 2011-04-07 画像処理装置および蛍光観察装置

Country Status (5)

Country Link
US (1) US9198564B2 (ja)
EP (1) EP2564755B1 (ja)
JP (1) JP5669828B2 (ja)
CN (1) CN102869294B (ja)
WO (1) WO2011135992A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014014439A (ja) * 2012-07-06 2014-01-30 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
WO2014156493A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 蛍光観察装置
WO2015025640A1 (ja) 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置
US9691211B2 (en) 2014-07-03 2017-06-27 Seiko Epson Corporation Image processing apparatus, image processing method, and program

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10682198B2 (en) 2010-07-02 2020-06-16 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
JP5592715B2 (ja) * 2010-07-02 2014-09-17 オリンパス株式会社 画像処理装置および画像処理方法
US9211058B2 (en) * 2010-07-02 2015-12-15 Intuitive Surgical Operations, Inc. Method and system for fluorescent imaging with background surgical image composed of selective illumination spectra
JP6017219B2 (ja) * 2012-08-01 2016-10-26 オリンパス株式会社 蛍光観察装置および蛍光観察システム
JP6626783B2 (ja) * 2016-06-02 2019-12-25 Hoya株式会社 画像処理装置および電子内視鏡システム
WO2019053804A1 (ja) * 2017-09-13 2019-03-21 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068896A (ja) * 2005-09-09 2007-03-22 Pentax Corp 蛍光内視鏡システム
JP4327380B2 (ja) 2000-06-06 2009-09-09 富士フイルム株式会社 蛍光画像表示方法および装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198372A (ja) * 1997-09-18 1999-04-09 Olympus Optical Co Ltd 色調整方法
JP2002045328A (ja) * 2000-08-01 2002-02-12 Fuji Photo Film Co Ltd 蛍光診断画像表示装置
US7123756B2 (en) * 2001-04-27 2006-10-17 Fuji Photo Film Co., Ltd. Method and apparatus for standardized fluorescence image generation
JP2002345733A (ja) * 2001-05-29 2002-12-03 Fuji Photo Film Co Ltd 撮像装置
US6899675B2 (en) * 2002-01-15 2005-05-31 Xillix Technologies Corp. Fluorescence endoscopy video systems with no moving parts in the camera
JP2005319116A (ja) * 2004-05-10 2005-11-17 Pentax Corp 蛍光観察内視鏡装置
JP4520216B2 (ja) * 2004-05-11 2010-08-04 Ｈｏｙａ株式会社 蛍光観察内視鏡装置
JP4716673B2 (ja) * 2004-05-21 2011-07-06 オリンパス株式会社 蛍光内視鏡装置
JP5114024B2 (ja) * 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
JP4643481B2 (ja) * 2006-03-23 2011-03-02 オリンパスメディカルシステムズ株式会社 画像処理装置
CN101420899B (zh) * 2006-04-12 2011-05-18 奥林巴斯医疗株式会社 内窥镜装置
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
JP2009118898A (ja) * 2007-11-12 2009-06-04 Hoya Corp 内視鏡プロセッサおよび内視鏡システム
US8169468B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot
JP4589463B2 (ja) * 2008-10-17 2010-12-01 オリンパス株式会社 撮像装置
JP4585050B1 (ja) * 2009-03-30 2010-11-24 オリンパスメディカルシステムズ株式会社 蛍光観察装置
DE102009025662A1 (de) * 2009-06-17 2010-12-23 Karl Storz Gmbh & Co. Kg Verfahren und Vorrichtung zum Steuern einer mehrfarbigen Ausgabe eines Bilds eines medizinischen Objekts

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4327380B2 (ja) 2000-06-06 2009-09-09 富士フイルム株式会社 蛍光画像表示方法および装置
JP2007068896A (ja) * 2005-09-09 2007-03-22 Pentax Corp 蛍光内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2564755A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014014439A (ja) * 2012-07-06 2014-01-30 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡用制御プログラム
WO2014156493A1 (ja) * 2013-03-29 2014-10-02 オリンパス株式会社 蛍光観察装置
JPWO2014156493A1 (ja) * 2013-03-29 2017-02-16 オリンパス株式会社 蛍光観察装置
US10219701B2 (en) 2013-03-29 2019-03-05 Olympus Corporation Fluorescence observation apparatus
WO2015025640A1 (ja) 2013-08-23 2015-02-26 オリンパス株式会社 蛍光観察装置
JPWO2015025640A1 (ja) * 2013-08-23 2017-03-02 オリンパス株式会社 蛍光観察装置
US9839359B2 (en) 2013-08-23 2017-12-12 Olympus Corporation Fluorescence observation apparatus
US9691211B2 (en) 2014-07-03 2017-06-27 Seiko Epson Corporation Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JPWO2011135992A1 (ja) 2013-07-18
EP2564755A4 (en) 2014-06-04
US9198564B2 (en) 2015-12-01
CN102869294A (zh) 2013-01-09
EP2564755A1 (en) 2013-03-06
CN102869294B (zh) 2015-09-30
US20130039562A1 (en) 2013-02-14
EP2564755B1 (en) 2017-07-05
JP5669828B2 (ja) 2015-02-18

Similar Documents

Publication Publication Date Title
JP5669828B2 (ja) 画像処理装置および蛍光観察装置
US9675238B2 (en) Endoscopic device
EP2481342B1 (en) Electronic endoscope system
JP5637834B2 (ja) 内視鏡装置
JP5968944B2 (ja) 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP5190944B2 (ja) 内視鏡装置および内視鏡装置の作動方法
JP5485215B2 (ja) 内視鏡装置
US20200337540A1 (en) Endoscope system
WO2013015120A1 (ja) 蛍光内視鏡装置
US9414739B2 (en) Imaging apparatus for controlling fluorescence imaging in divided imaging surface
WO2016080130A1 (ja) 観察装置
JP5554288B2 (ja) 内視鏡システム、プロセッサ装置及び画像補正方法
JP6581952B2 (ja) 内視鏡システム及びその作動方法
JP5747362B2 (ja) 内視鏡装置
JP6396717B2 (ja) 感度調整方法および撮像装置
JP5695684B2 (ja) 電子内視鏡システム
CN108882835B (zh) 内窥镜图像信号处理装置及方法以及存储介质
JP2020141917A (ja) 医療用画像処理装置及び医療用観察システム
JP6113033B2 (ja) 内視鏡装置
JP6261446B2 (ja) 内視鏡装置
JP2013094489A (ja) 内視鏡装置
JP6335776B2 (ja) 内視鏡システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180020722.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11774776

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012512748

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2011774776

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011774776

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE