JP5592700B2

JP5592700B2 - Fluorescence observation apparatus, fluorescence observation system, and operation method of fluorescence observation apparatus

Info

Publication number: JP5592700B2
Application number: JP2010119750A
Authority: JP
Inventors: 康成石原
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-05-25
Filing date: 2010-05-25
Publication date: 2014-09-17
Anticipated expiration: 2030-05-25
Also published as: JP2011244952A

Description

本発明は、蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法に関するものである。 The present invention relates to a fluorescence observation apparatus, a fluorescence observation system, and a method for operating the fluorescence observation apparatus .

従来、蛍光画像を反射光画像で除算して、観察距離や角度による蛍光画像の明るさの変動を補正する方法が知られている（例えば、特許文献１〜特許文献３参照。）。 Conventionally, a method is known in which a fluorescent image is divided by a reflected light image to correct fluctuations in the brightness of the fluorescent image depending on the observation distance or angle (see, for example, Patent Documents 1 to 3).

特開昭６２−２４７２３２号公報Japanese Patent Laid-Open No. 62-247232 特公平３−５８７２９号公報Japanese Patent Publication No. 3-58729 特開２００６−１７５０５２号公報JP 2006-175052 A

しかしながら、蛍光と反射光とでは、撮像される明るさの観察距離に対する依存性および観察角度に対する依存性が異なるため、単に蛍光画像を反射光画像で除算したのでは、距離および角度の影響を補正しきれないという問題がある。
本発明は上述した事情に鑑みてなされたものであって、除算した画像に残存する距離等に対する依存性を十分に除去して定量性の高い蛍光画像によって観察を行うことができる蛍光観察装置、蛍光観察システムおよび蛍光観察装置の作動方法を提供することを目的としている。 However, since fluorescence and reflected light have different dependencies on the observation distance and the viewing angle of the brightness to be captured, the effect of distance and angle is corrected by simply dividing the fluorescent image by the reflected light image. There is a problem that it cannot be done.
The present invention has been made in view of the above-described circumstances, and is a fluorescence observation apparatus capable of performing observation with a highly quantitative fluorescent image by sufficiently removing dependency on a distance remaining in a divided image, and the like. It is an object of the present invention to provide a method for operating a fluorescence observation system and a fluorescence observation apparatus .

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、照明光および励起光を照射する光源を備える照明部と、被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光画像または前記戻り光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用戻り光画像とを生成する前処理部と、該前処理部により生成された前記補正用蛍光画像を前記補正用戻り光画像で除算する蛍光画像補正部とを備える蛍光観察装置を提供する。 In order to achieve the above object, the present invention provides the following means.
The present invention includes an illumination unit including a light source that emits illumination light and excitation light, a fluorescence imaging unit that captures fluorescence generated in a subject and acquires a fluorescence image, and captures return light that is returned from the subject and acquires a return light image. A coefficient in which the distance characteristic of the fluorescence intensity and the distance characteristic of the return light intensity acquired in advance with respect to the standard sample are directly proportional to at least one of the return light imaging unit and the fluorescence image or the return light image. And a pre-processing unit that generates a correction fluorescent image and a correction return light image, and a fluorescence image correction unit that divides the correction fluorescent image generated by the pre-processing unit by the correction return light image A fluorescence observation apparatus is provided.

本発明によれば、照明部から被写体に励起光が照射されると、被写体内に存在する蛍光物質が励起され蛍光が発生する。発生した蛍光は蛍光撮像部によって撮影され蛍光画像が取得される。一方、照明部から被写体に照明光が照射されると、被写体の表面において反射等されて戻る戻り光が戻り光撮像部によって撮影され戻り光画像が取得される。取得された蛍光画像は、蛍光画像補正部において戻り光画像を用いて補正される。 According to the present invention, when the subject is irradiated with the excitation light from the illumination unit, the fluorescent substance existing in the subject is excited to generate fluorescence. The generated fluorescence is photographed by the fluorescence imaging unit to obtain a fluorescence image. On the other hand, when the illuminating unit irradiates the subject with illumination light, the return light reflected and reflected on the surface of the subject is photographed by the return light imaging unit and a return light image is acquired. The acquired fluorescence image is corrected by using the return light image in the fluorescence image correction unit.

この場合に、蛍光画像補正部における補正に先立って、前処理部において蛍光画像および戻り光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とを相互に正比例関係とする係数が乗算されることにより補正用蛍光画像および補正用戻り光画像が生成される。 In this case, prior to the correction in the fluorescence image correction unit, the distance characteristic of the fluorescence intensity and the return light intensity acquired in advance with respect to the standard sample in at least one of the fluorescence image and the return light image in the preprocessing part. Are multiplied by coefficients that have a direct proportional relationship with each other to generate a correction fluorescent image and a correction return light image.

すなわち、蛍光画像を構成する各画素の蛍光強度および戻り光画像を構成する各画素の戻り光強度は、照明部から当該画素に対応する被写体上の位置までの距離に依存して変化し、それぞれ距離の指数関数に近似させることができる。蛍光強度の距離特性における指数は、戻り光強度の距離特性における指数とは異なるので、蛍光画像を戻り光画像でそのまま除算しても距離の依存性を除去することはできない。従って、蛍光強度および戻り光強度をそれぞれ距離特性における指数の逆数で予め累乗しておくことで、蛍光強度の距離特性と戻り光強度の距離特性とを相互に正比例関係とすることができ、除算したときに距離の依存性を除去することができる。 That is, the fluorescence intensity of each pixel constituting the fluorescence image and the return light intensity of each pixel constituting the return light image change depending on the distance from the illumination unit to the position on the subject corresponding to the pixel, It can be approximated to an exponential function of distance. Since the index in the distance characteristic of the fluorescence intensity is different from the index in the distance characteristic of the return light intensity, the dependency of the distance cannot be removed even if the fluorescence image is divided by the return light image as it is. Therefore, the fluorescence intensity distance characteristic and the return light intensity distance characteristic can be directly proportional to each other by pre-powering the fluorescence intensity and the return light intensity in advance with the reciprocal of the exponent in the distance characteristic. The distance dependency can be removed.

そこで、標準試料について予め取得した蛍光強度の距離特性と戻り光強度の距離特性とから、蛍光画像および戻り光画像の少なくとも一方に乗算することにより、上述した指数の逆数を累乗したのと同様の効果を得られる係数を予め求めておく。そして、求められた係数をこれを蛍光画像および戻り光画像の少なくとも一方に乗算して、補正用蛍光画像と補正用戻り光画像を生成し、蛍光画像補正部において、補正用蛍光画像を補正用戻り光画像で除算することにより、距離の依存性を十分に低減するように補正された蛍光画像を得ることができる。
すなわち、本発明によれば、指数近似による場合よりも精度よく距離の依存性を低減することができ、定量性の高い蛍光観察を行うことができる。 Therefore, by multiplying at least one of the fluorescence image and the return light image from the distance characteristic of the fluorescence intensity and the distance characteristic of the return light intensity acquired in advance for the standard sample, it is the same as the power of the reciprocal of the above-described index. A coefficient for obtaining the effect is obtained in advance. Then, the obtained coefficient is multiplied by at least one of the fluorescent image and the return light image to generate a correction fluorescent image and a correction return light image, and the fluorescent image correction unit corrects the correction fluorescent image. By dividing by the return light image, it is possible to obtain a fluorescent image corrected so as to sufficiently reduce the distance dependency.
That is, according to the present invention, distance dependency can be reduced with higher accuracy than in the case of exponential approximation, and fluorescence observation with high quantitativeness can be performed.

また、本発明は、照明光および励起光を照射する光源を備える照明部と、被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光画像または前記戻り光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の角度特性と戻り光強度の角度特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用戻り光画像とを生成する前処理部と、該前処理部により生成された前記補正用蛍光画像を前記補正用戻り光画像で除算する蛍光画像補正部とを備える蛍光観察装置を提供する。 The present invention also provides an illumination unit including a light source that irradiates illumination light and excitation light, a fluorescence imaging unit that captures fluorescence generated in a subject and obtains a fluorescence image, and captures return light returning from the subject and returns a light image. The angle characteristic of the fluorescence intensity and the angle characteristic of the return light intensity acquired in advance with respect to the standard sample in at least one of the return light imaging unit and the fluorescence image or the return light image are directly proportional to each other. A pre-processing unit that multiplies the coefficient to generate a correction fluorescent image and a correction return light image, and a fluorescence image that divides the correction fluorescent image generated by the pre-processing unit by the correction return light image Provided is a fluorescence observation apparatus including a correction unit.

本発明によれば、蛍光画像補正部における補正に先立って、前処理部において蛍光画像および戻り光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の角度特性と戻り光強度の角度特性とを相互に正比例関係とする係数が乗算されることにより補正用蛍光画像および補正用戻り光画像が生成される。 According to the present invention, prior to the correction in the fluorescence image correction unit, the angle characteristic of the fluorescence intensity acquired in advance with respect to the standard sample and the return light intensity in at least one of the fluorescence image and the return light image in the preprocessing unit The correction fluorescent image and the correction return light image are generated by multiplying the angular characteristics by coefficients that are in direct proportion to each other.

すなわち、蛍光画像を構成する各画素の蛍光強度および戻り光画像を構成する各画素の戻り光強度は、照明部から当該画素に対応する被写体上の位置までの角度に依存して変化し、それぞれ角度の指数関数に近似させることができる。蛍光強度の角度特性における指数は、戻り光強度の角度特性における指数とは異なるので、蛍光画像を戻り光画像でそのまま除算しても角度の依存性を除去することはできない。従って、蛍光強度および戻り光強度をそれぞれ角度特性における指数の逆数で予め累乗しておくことで、蛍光強度の角度特性と戻り光強度の角度特性とを相互に正比例関係とすることができ、除算したときに角度の依存性を除去することができる。 That is, the fluorescence intensity of each pixel constituting the fluorescence image and the return light intensity of each pixel constituting the return light image change depending on the angle from the illumination unit to the position on the subject corresponding to the pixel, It can be approximated by an exponential function of angle. Since the index in the angle characteristic of the fluorescence intensity is different from the index in the angle characteristic of the return light intensity, even if the fluorescence image is divided by the return light image as it is, the dependency of the angle cannot be removed. Accordingly, the fluorescence intensity and the return light intensity are each raised in advance by the reciprocal of the exponent in the angle characteristic, so that the angle characteristic of the fluorescence intensity and the angle characteristic of the return light intensity can be directly proportional to each other. The angle dependency can be removed.

そこで、標準試料について予め取得した蛍光強度の角度特性と戻り光強度の角度特性とから、蛍光画像および戻り光画像の少なくとも一方に乗算することにより、上述した指数の逆数を累乗したのと同様の効果を得られる係数を予め求めておく。そして、求められた係数をこれを蛍光画像および戻り光画像の少なくとも一方に乗算して、補正用蛍光画像と補正用戻り光画像を生成し、蛍光画像補正部において、補正用蛍光画像を補正用戻り光画像で除算することにより、角度の依存性を十分に低減するように補正された蛍光画像を得ることができる。
すなわち、本発明によれば、指数近似による場合よりも精度よく角度の依存性を低減することができ、定量性の高い蛍光観察を行うことができる。 Therefore, by multiplying at least one of the fluorescence image and the return light image from the angle characteristic of the fluorescence intensity and the angle characteristic of the return light intensity acquired in advance for the standard sample, the same as the power of the reciprocal of the above-described index. A coefficient for obtaining the effect is obtained in advance. Then, the obtained coefficient is multiplied by at least one of the fluorescent image and the return light image to generate a correction fluorescent image and a correction return light image, and the fluorescent image correction unit corrects the correction fluorescent image. By dividing by the return light image, it is possible to obtain a fluorescent image corrected so as to sufficiently reduce the angle dependency.
That is, according to the present invention, the angle dependency can be reduced with higher accuracy than in the case of exponential approximation, and fluorescence observation with high quantitativeness can be performed.

上記発明においては、前記係数を記憶する記憶部を備え、前記前処理部が、前記記憶部に記憶されている係数を前記蛍光画像または前記戻り光画像の少なくとも一方に乗算してもよい。
このようにすることで、記憶部に記憶しておいた係数を乗算するだけで、簡易に距離または角度の依存性を低減して定量性の高い蛍光観察を行うことができる。 In the above-described invention, a storage unit that stores the coefficient may be provided, and the preprocessing unit may multiply the fluorescent image or the return light image by a coefficient stored in the storage unit.
By doing so, it is possible to easily perform fluorescence observation with high quantitativeness by simply reducing the dependency of the distance or angle by simply multiplying the coefficient stored in the storage unit.

また、上記発明においては、観察条件を変更するために着脱される着脱部品を備え、該着脱部品に識別情報が記録され、該着脱部品に記憶された識別情報を読み取る識別情報読取手段とを備え、前記記憶部に、前記識別情報と前記係数とが対応づけて記憶されていてもよい。 In the above invention, the apparatus further comprises a detachable part that is detachably attached to change the observation condition, and includes identification information reading means that records identification information on the detachable part and reads the identification information stored in the detachable part. In the storage unit, the identification information and the coefficient may be stored in association with each other.

このようにすることで、着脱部品を着脱して観察条件を変更すると、着脱部品に記憶されている識別情報が、識別情報読取手段によって読みとられ、記憶部に識別情報と対応づけて記憶されている係数を設定することができる。着脱部品としては、例えば、内視鏡装置におけるスコープ等を挙げることができ、その場合に変更される観察条件としては、対物光学系のＮＡや瞳径、観察可能な蛍光の波長および観察対象部位（胃、大腸など）等を挙げることができる。これにより、観察条件に合わせて、最適な係数を設定でき、観察条件が変動した場合においても定量性の高い蛍光観察を行うことができる。 Thus, when the detachable component is attached and removed and the observation condition is changed, the identification information stored in the detachable component is read by the identification information reading means and stored in the storage unit in association with the identification information. Coefficient can be set. Examples of the detachable parts include a scope in an endoscope apparatus, and the observation conditions to be changed in that case include the NA and pupil diameter of the objective optical system, the observable fluorescence wavelength, and the site to be observed (Stomach, large intestine, etc.). Thereby, an optimal coefficient can be set according to the observation conditions, and fluorescence observation with high quantitativeness can be performed even when the observation conditions fluctuate.

また、上記発明においては、前記前処理部が、前記蛍光画像の各画素の蛍光強度および前記戻り光画像の各画素の戻り光強度を前記蛍光撮像部および前記戻り光撮像部のゲインおよび露光時間によって規格化して規格化蛍光画像および規格化戻り光画像を生成し、これら規格化蛍光画像または規格化戻り光画像の少なくとも一方に、前記係数を乗算して補正用蛍光画像と補正用戻り光画像とを生成してもよい。 Moreover, in the said invention, the said pre-processing part uses the fluorescence intensity of each pixel of the said fluorescence image, and the return light intensity of each pixel of the said return light image, and the gain and exposure time of the said fluorescence imaging part and the said return light imaging part. To generate a standardized fluorescent image and a standardized return light image, multiply at least one of the standardized fluorescent image or the standardized return light image by the coefficient, and a correction fluorescent image and a correction return light image And may be generated.

このようにすることで、蛍光撮像部および戻り光撮像部において、蛍光画像および戻り光画像の撮影時に異なるゲイン調整および露光時間調整が行われてもこれを規格化した規格化蛍光画像および規格化戻り光画像を生成し、これらを用いて補正用蛍光画像および補正用戻り光画像を生成することにより、より定量性の高い蛍光観察を行うことができる。 In this way, in the fluorescence imaging unit and the return light imaging unit, a normalized fluorescence image and a standardization that are standardized even when different gain adjustment and exposure time adjustment are performed at the time of capturing the fluorescence image and the return light image By generating a return light image and using these to generate a correction fluorescence image and a correction return light image, fluorescence observation with higher quantitativeness can be performed.

また、本発明は、上記蛍光観察装置と、前記係数を記憶する記憶部と、前記蛍光観察装置に接続され、前記係数を算出する較正装置とを備え、該較正装置が、標準試料と、該標準試料に対して前記蛍光観察装置の観察距離を変更可能に設定する観察距離設定機構とを備え、前記観察状態設定機構により設定された観察距離と、前記蛍光観察装置により前記標準試料を撮影して取得された蛍光画像および戻り光画像とに基づいて、該蛍光画像および前記戻り光画像の少なくとも一方に乗算することにより、蛍光強度の
距離特性と戻り光強度の距離特性とが正比例することとなる係数を算出し、前記記憶部に記憶させる蛍光観察システムを提供する。 The present invention further includes the fluorescence observation apparatus, a storage unit that stores the coefficient, and a calibration apparatus that is connected to the fluorescence observation apparatus and calculates the coefficient, the calibration apparatus including a standard sample, An observation distance setting mechanism for setting the observation distance of the fluorescence observation apparatus to be changeable with respect to a standard sample, and photographing the standard sample with the observation distance set by the observation state setting mechanism and the fluorescence observation apparatus. The distance characteristic of the fluorescence intensity and the distance characteristic of the return light intensity are directly proportional to each other by multiplying at least one of the fluorescence image and the return light image based on the fluorescence image and the return light image acquired And a fluorescence observation system for storing the coefficient in the storage unit.

本発明によれば、較正装置の観察距離設定機構により、標準試料に対する蛍光観察装置の観察距離を変更しつつ蛍光観察装置によって標準試料を撮影することにより、標準試料の蛍光輝度の距離特性および戻り高強度の距離特性を得ることができ、これらの距離特性基づいて、両距離特性を正比例させる係数を算出することができる。そして、算出された係数を蛍光観察装置の記憶部に記憶させることにより、蛍光観察装置により被写体を蛍光観察する際に、蛍光観察装置に存在する個体差や、着脱部品が存在する場合にはその個体差にかかわらず、精度よく算出された係数を用いて、より定量性の高い蛍光観察を行うことができる。 According to the present invention, the distance characteristics of the fluorescence brightness of the standard sample and the return are obtained by photographing the standard sample with the fluorescence observation device while changing the observation distance of the fluorescence observation device with respect to the standard sample by the observation distance setting mechanism of the calibration device. A high-strength distance characteristic can be obtained, and based on these distance characteristics, a coefficient that directly proportions both distance characteristics can be calculated. Then, by storing the calculated coefficient in the storage unit of the fluorescence observation apparatus, when the subject is fluorescently observed by the fluorescence observation apparatus, if there are individual differences existing in the fluorescence observation apparatus or detachable parts, Irrespective of individual differences, fluorescence observation with higher quantitativeness can be performed using coefficients calculated with high accuracy.

また、本発明は、上記蛍光観察装置と、前記係数を記憶する記憶部と、前記蛍光観察装置に接続され、前記係数を算出する較正装置とを備え、該較正装置が、標準試料と、該標準試料に対して前記蛍光観察装置の観察角度を変更可能に設定する観察角度設定機構とを備え、前記観察角度設定機構により設定された観察角度と、前記蛍光観察装置により前記
標準試料を撮影して取得された蛍光画像および戻り光画像とに基づいて、該蛍光画像および前記戻り光画像の少なくとも一方に乗算することにより、蛍光強度の角度特性と戻り光強度の角度特性とが正比例することとなる係数を算出し、前記記憶部に記憶させる蛍光観察システムを提供する。 The present invention further includes the fluorescence observation apparatus, a storage unit that stores the coefficient, and a calibration apparatus that is connected to the fluorescence observation apparatus and calculates the coefficient, the calibration apparatus including a standard sample, An observation angle setting mechanism for setting the observation angle of the fluorescence observation apparatus to be changeable with respect to a standard sample, and photographing the standard sample with the observation angle set by the observation angle setting mechanism and the fluorescence observation apparatus. The angle characteristic of the fluorescence intensity and the angle characteristic of the return light intensity are directly proportional to each other by multiplying at least one of the fluorescence image and the return light image on the basis of the fluorescence image and the return light image acquired in this manner. And a fluorescence observation system for storing the coefficient in the storage unit.

本発明によれば、較正装置の観察角度設定機構により、標準試料に対する蛍光観察装置の観察角度を変更しつつ蛍光観察装置によって標準試料を撮影することにより、標準試料の蛍光輝度の角度特性および戻り高強度の角度特性を得ることができ、これらの角度特性基づいて、両角度特性を正比例させる係数を算出することができる。そして、算出された係数を蛍光観察装置の記憶部に記憶させることにより、蛍光観察装置により被写体を蛍光観察する際に、蛍光観察装置に存在する個体差や、着脱部品が存在する場合にはその個体差にかかわらず、精度よく算出された係数を用いて、より定量性の高い蛍光観察を行うことができる。 According to the present invention, the angle characteristic of the fluorescence brightness of the standard sample and the return are obtained by photographing the standard sample with the fluorescence observation device while changing the observation angle of the fluorescence observation device with respect to the standard sample by the observation angle setting mechanism of the calibration device. High-intensity angular characteristics can be obtained, and a coefficient that directly proportionalizes both angular characteristics can be calculated based on these angular characteristics. Then, by storing the calculated coefficient in the storage unit of the fluorescence observation apparatus, when the subject is fluorescently observed by the fluorescence observation apparatus, if there are individual differences existing in the fluorescence observation apparatus or detachable parts, Irrespective of individual differences, fluorescence observation with higher quantitativeness can be performed using coefficients calculated with high accuracy.

また、本発明は、蛍光観察装置の作動方法であって、励起光を被写体に照射することにより被写体において発生した蛍光を撮影して取得された蛍光画像と、照明光を被写体に照射することにより被写体から戻る戻り光を撮影して取得された戻り光画像とを用いて、前記蛍光画像または前記戻り光画像の少なくとも一方に、標準試料に対して予め取得された蛍光強度の距離特性と戻り光強度の距離特性とが相互に正比例関係となる係数を乗算して補正用蛍光画像と補正用戻り光画像とを生成する前処理ステップと、該前処理ステップにより生成された前記補正用蛍光画像を前記補正用戻り光画像で除算する蛍光画像補正ステップとを含む蛍光観察装置の作動方法を提供する。 The present invention also relates to a method for operating the fluorescence observation apparatus, in which a fluorescent image obtained by photographing fluorescence generated in a subject by irradiating the subject with excitation light, and illumination light is irradiated to the subject. Using the return light image obtained by photographing the return light returning from the subject, the distance characteristic of the fluorescence intensity acquired in advance with respect to the standard sample and the return light in at least one of the fluorescence image or the return light image A pre-processing step of generating a correction fluorescent image and a correction return light image by multiplying a coefficient in which the intensity distance characteristic is directly proportional to each other, and the correction fluorescent image generated by the pre-processing step There is provided an operating method of a fluorescence observation apparatus including a fluorescence image correction step of dividing by the correction return light image.

本発明によれば、除算した画像に残存する距離等に対する依存性を十分に除去して定量性の高い蛍光画像によって観察を行うことができるという効果を奏する。 According to the present invention, there is an effect that it is possible to perform observation with a highly quantitative fluorescent image by sufficiently removing the dependence on the distance remaining in the divided image.

本発明の一実施形態に係る蛍光観察装置を示す全体構成図である。It is a whole lineblock diagram showing the fluorescence observation device concerning one embodiment of the present invention. 図１の蛍光観察装置において使用される係数を導くための画像の階調値、ゲイン、露光時間および規格化画像とこれらにより導かれた係数との対応の一覧表例を示す図である。It is a figure which shows the example of a list of the correspondence of the gradation value of the image for deriving | leading-out the coefficient used in the fluorescence observation apparatus of FIG. 図２により導かれた規格化戻り光画像の階調値と係数との対応の一覧表例を示す図である。FIG. 3 is a diagram showing an example of a list of correspondence between gradation values and coefficients of a normalized return light image derived from FIG. 2. 図１の蛍光観察装置の変形例を示す全体構成図である。It is a whole block diagram which shows the modification of the fluorescence observation apparatus of FIG. 本発明の一実施形態に係る蛍光観察システムを示す全体構成図である。It is a whole lineblock diagram showing the fluorescence observation system concerning one embodiment of the present invention. 図１の蛍光観察システムの較正装置を示す図である。It is a figure which shows the calibration apparatus of the fluorescence observation system of FIG.

以下、本発明の一実施形態に係る蛍光観察装置１および蛍光観察装置の作動方法について、図面を参照して説明する。
本実施形態に係る蛍光観察装置１は、内視鏡装置であって、図１に
示されるように、体内に挿入される細長い挿入部２と、光源（照明部）３と、該光源３からの照明光および励起光を挿入部２の先端から観察対象Ａに向けて照射
する照明ユニット（照明部）４と、挿入部２の先端に設けられ、観察対象Ａである生体組織の画像情報を取得する撮像ユニット５と、挿入部２の基端側に配置さ
れ、撮像ユニット５により取得された画像情報を処理する画像処理部６と、該画像処理部６により処理された画像Ｇを表示するモニタ７とを備えている。 Hereinafter, an operation method of the fluorescence observation apparatus 1 and the fluorescence observation apparatus according to an embodiment of the present invention will be described with reference to the drawings.
A fluorescence observation apparatus 1 according to this embodiment is an endoscope apparatus, and as illustrated in FIG. 1, an elongated insertion part 2 to be inserted into a body, a light source (illumination part) 3, and a light source 3. The illumination unit (illumination unit) 4 that irradiates the illumination light and the excitation light from the distal end of the insertion unit 2 toward the observation target A, and image information of the living tissue that is the observation target A is provided at the distal end of the insertion unit 2 The image pickup unit 5 to be acquired, the image processing unit 6 that is arranged on the proximal end side of the insertion unit 2 and processes the image information acquired by the image pickup unit 5, and the image G processed by the image processing unit 6 are displayed. And a monitor 7.

光源３は、キセノンランプ８と、該キセノンランプ８から発せられた照明光から、励起光および照明光（例えば、波長帯域４００〜７４０ｎｍ）を切り出すフィルタ９と、フィルタ９により切り出された励起光および照明光を集光するカップリングレンズ１０とを備えている。
照明ユニット４は、挿入部２の長手方向のほぼ全長にわたって配置され、カップリングレンズ１０によって集光された励起光および照明光を導光するライトガイドファイバ１１と、挿入部２の先端に設けられ、ライトガイドファイバ１１によって導光されてきた励起光および照明光を拡散させて、挿入部２の先端面２ａに対向する観察対象Ａに照射する照明光学系１２とを備えている。 The light source 3 includes a xenon lamp 8, a filter 9 that extracts excitation light and illumination light (for example, a wavelength band of 400 to 740 nm) from illumination light emitted from the xenon lamp 8, excitation light that is extracted by the filter 9, and And a coupling lens 10 for condensing the illumination light.
The illumination unit 4 is disposed over substantially the entire length in the longitudinal direction of the insertion portion 2, and is provided at the distal end of the insertion portion 2 and a light guide fiber 11 that guides the excitation light and the illumination light collected by the coupling lens 10. And an illumination optical system 12 that diffuses excitation light and illumination light guided by the light guide fiber 11 and irradiates the observation target A facing the distal end surface 2a of the insertion portion 2.

撮像ユニット５は、観察対象Ａの所定の観察範囲から戻る戻り光を集光する対物レンズ１３と、該対物レンズ１３によって集光された戻り光の内、励起波長以上の光（励起光および蛍光）を反射し、励起波長より短い波長の照明光を透過するダイクロイックミラー（分岐部）１４と、ダイクロイックミラー１４を透過した照明光およびダイクロイックミラー１４により反射された蛍光をそれぞれ集光する２つの集光レンズ（撮像光学系）１５，１６と、集光レンズ１５，１６によって集光された蛍光および照明光を撮像するＣＣＤのような２個の撮像素子１７，１８とを備えている。図中、符号１９は、ダイクロイックミラー１４によって反射された光から励起光を遮断する（例えば、波長帯域７６０〜８５０ｎｍの光だけを透過する）励起光カットフィルタである。 The imaging unit 5 includes an objective lens 13 that collects return light that returns from a predetermined observation range of the observation object A, and light (excitation light and fluorescence) that is longer than the excitation wavelength among the return light collected by the objective lens 13. ), And two collections for condensing the illumination light transmitted through the dichroic mirror 14 and the fluorescence reflected by the dichroic mirror 14, respectively. Optical lenses (imaging optical systems) 15 and 16, and two imaging elements 17 and 18 such as a CCD for imaging fluorescence and illumination light collected by the condenser lenses 15 and 16 are provided. In the figure, reference numeral 19 denotes an excitation light cut filter that blocks excitation light from light reflected by the dichroic mirror 14 (for example, transmits only light in the wavelength band of 760 to 850 nm).

画像処理部６は、撮像素子１７により取得された戻り光画像情報Ｓ_１から戻り光画像Ｇ_１を生成する戻り光画像生成部２０と、撮像素子１８により取得された蛍光画像情報Ｓ_２から蛍光画像Ｇ_２を生成する蛍光画像生成部２１と、これら戻り光画像生成部２０および蛍光画像生成部２１により生成された戻り光画像Ｇ_１および蛍光画像Ｇ_２を規格化して、規格化戻り光画像Ｇ_１’および規格化蛍光画像Ｇ_２’を生成する画像規格化部２２とを備えている。 The image processing unit 6 generates a return light image G ₁ from the return light image information S ₁ acquired by the image sensor 17 and the fluorescence from the fluorescence image information S ₂ acquired by the image sensor 18. a fluorescence-image generating unit 21 that generates an image G _2, these return light image generation unit 20 and the fluorescence image generating unit 21 return light image G ₁ generated by and the fluorescence image G ₂ is normalized, the normalized return light image An image normalization unit 22 that generates G ₁ ′ and a normalized fluorescent image G ₂ ′.

また、画像処理部６は、画像規格化部２２により生成された規格化戻り光画像Ｇ_１’および規格化蛍光画像Ｇ_２’から補正用戻り光画像Ｇ_１''および補正用蛍光画像Ｇ_２''を生成する前処理部２３と、該前処理部２３により生成された補正用蛍光画像Ｇ_２''を補正用戻り光画像Ｇ_１''で除算することにより補正する画像補正部２４と、該画像補正部２４において生成された補正された蛍光画像Ｇ_３と戻り光画像生成部２０において生成された戻り光画像Ｇ_１とを合成して画像Ｇを生成する画像合成部２５とを備えている。 Further, the image processing unit 6 corrects the return light image G ₁ ″ for correction and the fluorescent image G ₂ for correction from the normalized return light image G ₁ ′ and the normalized fluorescence image G ₂ ′ generated by the image normalization unit 22. A preprocessing unit 23 that generates '', and an image correction unit 24 that corrects the correction fluorescent image G ₂ ″ generated by the preprocessing unit 23 by dividing it by the correction return light image G ₁ ″. An image combining unit 25 that combines the corrected fluorescent image G ₃ generated by the image correcting unit 24 and the return light image G ₁ generated by the return light image generating unit 20 to generate an image G. ing.

画像合成部２５は、例えば、戻り光画像Ｇ_１と補正された蛍光画像Ｇ_３とを並列に配置してモニタ７に同時に表示させるよう画像Ｇを合成し、モニタ７に出力するようになっている。 For example, the image synthesis unit 25 synthesizes the image G so that the return light image G ₁ and the corrected fluorescence image G ₃ are arranged in parallel and simultaneously displayed on the monitor 7, and outputs the synthesized image G to the monitor 7. Yes.

ここで、蛍光画像Ｇ_２としては、たとえば蛍光色素Ｃｙ７からの蛍光画像とすればよい。特に、腫瘍特異的な蛍光薬剤、例えば癌特異的分子ＣＥＡに対する抗体（Ａｎｔｉ−ＣＥＡ抗体）とＣｙ７とを結合させた蛍光薬剤を予め観察対象Ａに投与しておけば、腫瘍特異的な蛍光画像Ｇ_２を得ることができる。また、戻り光画像Ｇ_１としては、例えば照明光が観察対象Ａの表面で反射した戻り光および観察対象Ａの内部での散乱による戻り光に基づく画像を用いればよい。 Here, the fluorescence image G _2, for example, may be a fluorescent image from the fluorescent dye Cy7. In particular, a tumor-specific fluorescent image can be obtained by administering to the observation target A in advance a tumor-specific fluorescent agent, for example, a fluorescent agent in which an antibody against the cancer-specific molecule CEA (Anti-CEA antibody) and Cy7 are bound. it can be obtained G _2. As the return light image G _1, for example, the illumination light may be used an image based on return light due to scattering inside the surface reflected return light and the observation target A of the observation target A.

画像規格化部２２は、数１に示される関係式を用いて戻り光画像Ｇ_１および蛍光画像Ｇ_２を規格化するようになっている。 The image normalization unit 22 normalizes the return light image G ₁ and the fluorescence image G ₂ using the relational expression shown in Equation ₁ .

すなわち、戻り光画像Ｇ_１および蛍光画像Ｇ_２を取得する際に、撮像素子１７，１８により１６ｂｉｔの階調で取得するものとすると、各画素の階調値がこの範囲内に入るように露光時間とゲインが調節されるので、観察条件を一定にするために規格化が行われる。数１において所定ゲインは、例えば、白色光観察時には１、蛍光観察時には１００と設定されるゲインであるとする。 That is, when obtaining the returning light image G ₁ and the fluorescence image G _2, assuming that obtains the gradation of 16bit by the imaging device 17, the exposure as the gradation value of each pixel falls within this range Since time and gain are adjusted, normalization is performed to keep observation conditions constant. In Equation 1, for example, the predetermined gain is a gain set to 1 when observing white light and 100 when observing fluorescence.

前処理部２３は、標準試料に対する蛍光強度の距離特性と、同じ標準試料に対する戻り光強度の距離特性とを相互に正比例させる係数を戻り光強度に対応づけて記憶する記憶部（図示略）を備えていて、入力された戻り光画像の画素毎に、各画素の階調値に対応する係数を記憶部から読み出して乗算することにより、補正用戻り光画像Ｇ_１''を生成するようになっている。この場合、前処理部２３においては、入力された蛍光画像Ｇ_２をそのまま補正用蛍光画像Ｇ_２''として出力するようになっている。 The pre-processing unit 23 includes a storage unit (not shown) that stores a coefficient that makes the distance characteristic of the fluorescence intensity with respect to the standard sample and the distance characteristic of the return light intensity with respect to the same standard sample directly proportional to the return light intensity. For each pixel of the input return light image, a correction return light image G ₁ ″ is generated by reading out and multiplying the coefficient corresponding to the gradation value of each pixel from the storage unit. It has become. In this case, the pre-processing unit 23 outputs the input fluorescent image G _{2 as it} is as the correction fluorescent image G ₂ ″.

ここで、観察距離を、例えば１０〜２００ｍｍに変化させ、標準試料としてファントムまたは豚等の臓器を観察したときの戻り光画像Ｇ_１および蛍光画像Ｇ_２の階調値に基づいて算出された係数の例を図２および図３に示す。
すなわち、取得された戻り光画像Ｇ_１における、一の画素の階調値（戻り光強度）が１６．６のときは、係数として２．０２４をこの画素の階調値に乗算する。これを全ての画素について繰り返すことにより、補正用戻り光画像Ｇ_１''が得られる。いずれかの画素の階調値が、図３に示される２つの階調値の間の値である場合には、図２の階調値に対応する２つの係数を線形補間した係数を乗算するようになっている。 Here, the viewing distance, for example 10~200mm varied, calculated based on the tone value of the return-light image G ₁ and the fluorescence image G ₂ when observing the organ, such as phantom or pig as a standard sample coefficients An example of this is shown in FIGS.
That is, when the gradation value (return light intensity) of one pixel in the acquired return light image G ₁ is 16.6, the gradation value of this pixel is multiplied by 2.024 as a coefficient. By repeating this operation for all pixels, a correction return light image G ₁ ″ is obtained. When the gradation value of any pixel is a value between the two gradation values shown in FIG. 3, the coefficient obtained by linearly interpolating the two coefficients corresponding to the gradation value of FIG. 2 is multiplied. It is like that.

このように構成された本実施形態に係る蛍光観察装置１を用いて観察対象Ａの蛍光観察を行うには、挿入部２の先端２ａを観察対象Ａに向けて配置し、照明ユニット４を作動させて光源３からの照明光および励起光をライトガイドファイバ１１を介して挿入部２の先端２ａの照明光学系１２から観察対象Ａに向けて照射する。観察対象Ａの表面において反射して戻る戻り光は、対物レンズ１３により集光され、ダイクロイックミラー１４を透過して撮像素子１７により撮影される。一方、励起光が照射されることにより観察対象Ａの内部で発生した蛍光は、対物レンズ１３によって集光され、ダイクロイックミラー１４において反射されて撮像素子１８により撮影される。 In order to perform fluorescence observation of the observation object A using the fluorescence observation apparatus 1 according to the present embodiment configured as described above, the distal end 2a of the insertion portion 2 is arranged toward the observation object A, and the illumination unit 4 is operated. The illumination light and the excitation light from the light source 3 are irradiated toward the observation target A from the illumination optical system 12 at the distal end 2a of the insertion portion 2 through the light guide fiber 11. The return light reflected and returned from the surface of the observation object A is collected by the objective lens 13, passes through the dichroic mirror 14, and is photographed by the image sensor 17. On the other hand, the fluorescence generated inside the observation target A by being irradiated with the excitation light is collected by the objective lens 13, reflected by the dichroic mirror 14, and photographed by the image sensor 18.

撮像素子１７により取得された戻り光画像情報Ｓ_１が戻り光画像生成部２０に入力されることにより戻り光画像Ｇ_１が生成され、撮像素子１８により取得された蛍光画像情報Ｓ_２が蛍光画像生成部２１に入力されることにより蛍光画像Ｇ_２が生成される。生成された戻り光画像Ｇ_１および蛍光画像Ｇ_２は、画像規格化部２２に入力されて、数１により規格化され、規格化戻り光画像Ｇ_１’および規格化蛍光画像Ｇ_２’は、前処理部２３において、補正用戻り光画像Ｇ_１''および補正用蛍光画像Ｇ_２''に変換される（前処理ステップ）。 The return light image information S ₁ acquired by the image sensor 17 is input to the return light image generation unit 20 to generate the return light image G ₁ , and the fluorescence image information S ₂ acquired by the image sensor 18 is the fluorescence image. fluorescence image G ₂ is generated by input to the generator 21. The generated return light image G ₁ and fluorescence image G ₂ are input to the image normalization unit 22 and normalized by Equation _1, and the normalized return light image G ₁ ′ and the normalized fluorescence image G ₂ ′ are In the preprocessing unit 23, the light is converted into a correction return light image G ₁ ″ and a correction fluorescent image G ₂ ″ (preprocessing step).

本実施形態においては、規格化戻り光画像Ｇ_１’に係数が乗算されて補正用戻り光画像Ｇ_１''となり、規格化蛍光画像Ｇ_２’はそのまま補正用蛍光画像Ｇ_２''となる。
そして、画像補正部２４において、補正用蛍光画像Ｇ_２''が補正用戻り光画像Ｇ_１''によって除算されることにより、補正された蛍光画像Ｇ_３が取得され（蛍光画像補正ステップ）、画像合成部２５において戻り光画像Ｇ_１と合成されてモニタ７に表示される。 In the present embodiment, the normalized return light image G ₁ ′ is multiplied by a coefficient to be a correction return light image G ₁ ″, and the normalized fluorescence image G ₂ ′ is directly used as a correction fluorescence image G ₂ ″. .
Then, the image correction unit 24 divides the correction fluorescent image G ₂ ″ by the correction return light image G ₁ ″ to obtain a corrected fluorescent image G ₃ (fluorescent image correction step). In the image composition unit 25, it is synthesized with the return light image G ₁ and displayed on the monitor 7.

前処理部２３において規格化戻り光画像Ｇ_１’に乗算される係数は、標準試料を用いて取得された規格化蛍光画像Ｇ_２’と規格化戻り光画像Ｇ_１’との比であり、標準試料における規格化蛍光画像Ｇ_２’の蛍光強度の距離特性を、同じく標準試料における規格化戻り光画像Ｇ_１’の戻り光強度の距離特性に一致させるように選定されている。したがって、画像補正部２４において、この係数を、観察対象Ａの規格化戻り光画像Ｇ_１’に乗算することにより得られた補正用戻り光画像Ｇ_１''によって、補正用蛍光画像Ｇ_２''を除算することにより、観察距離の依存性を十分に低減した補正された蛍光画像Ｇ_３を得ることができる。すなわち、定量性の高い蛍光観察を行うことができるという利点がある。 The coefficient multiplied by the normalized return light image G ₁ ′ in the pre-processing unit 23 is a ratio between the normalized fluorescence image G ₂ ′ acquired using the standard sample and the normalized return light image G ₁ ′. The distance characteristic of the fluorescence intensity of the normalized fluorescence image G ₂ ′ in the standard sample is selected so as to coincide with the distance characteristic of the return light intensity of the normalized return light image G ₁ ′ in the standard sample. Therefore, the correction fluorescent image G ₂ ′ is corrected by the correction return light image G ₁ ″ obtained by multiplying the normalized return light image G ₁ ′ of the observation object A by this coefficient in the image correction unit 24. by dividing the ', it is possible to obtain a fluorescence image G ₃ that has been corrected to sufficiently reduce the dependence of the viewing distance. That is, there is an advantage that fluorescence observation with high quantitativeness can be performed.

なお、本実施形態においては、撮像素子１８，１９によって取得された蛍光画像Ｇ_２および戻り光画像Ｇ_１には、撮像素子１８，１９の暗電流や読み出しに由来したノイズが含まれている。また、除算処理をする際に、戻り光画像Ｇ_１に輝度値ゼロの画素が存在すると、除算結果が無限大となって適正な補正を行うことができない。
そこで、前処理部２３において、蛍光画像Ｇ_２に対しては、暗電流や読み出しに由来するノイズ成分を除去するようなオフセットを与え、戻り光画像Ｇ_１には、暗電流や読み出しに由来するノイズ成分を除去する上に、全ての画素の輝度値がゼロとならないようなオフセットを与えることにしてもよい。 In the present embodiment, the fluorescence image G ₂ and the return light image G ₁ acquired by the image sensors 18 and 19 include noise derived from dark current and readout of the image sensors 18 and 19. Further, when the division process, the presence of a pixel of the luminance value of zero in the return-light image G _1, the division result can not perform appropriate correction becomes infinite.
Therefore, in the preprocessing section 23, with respect to the fluorescence image G _2, given an offset so as to remove the noise component from the dark current and readout, the return light image G _1, derived from the dark current and read In order to remove the noise component, an offset may be given so that the luminance values of all the pixels do not become zero.

また、戻り光画像Ｇ_１としては、観察対象Ａからの表面反射光や散乱戻り光のほかに、観察対象Ａから発生する自家蛍光や、蛍光画像Ｇ_２の取得のために用いた蛍光薬剤とは異なる波長帯域の蛍光特性を有する別の蛍光薬剤からの蛍光を観察した画像でもよい。
また、モニタ７に表示する画像は、補正後の蛍光画像Ｇ_３に並べて表示する画像として、戻り光画像Ｇ_１の代わりに別途取得した白色反射画像を表示しても良い。 As the return light image G _1, in addition to surface reflection light and scattered light returning from the observation target A, or auto-fluorescence generated from the observation target A, and the fluorescent agent used for the acquiring fluorescence image G ₂ May be an image obtained by observing fluorescence from another fluorescent agent having fluorescence characteristics in different wavelength bands.
Further, the image displayed on the monitor 7 may be a white reflection image acquired separately instead of the return light image G ₁ as an image to be displayed side by side on the corrected fluorescence image G ₃ .

また、本実施形態においては、図４に示されるように、挿入部（着脱部品）２が光源３に着脱可能に設けられていてもよい。この場合には、挿入部２が着脱されて他の挿入部２に交換されることによって、対物レンズ１３を始め、挿入部２に含まれる種々の光学系が変更されるので、対物レンズ１３の開口数（ＮＡ）や瞳径等の変化、あるいは、検出する蛍光の波長、観察対象部位（胃組織や大腸組織など）等の変化によって、係数が変化する。 Moreover, in this embodiment, as FIG. 4 shows, the insertion part (detachable component) 2 may be provided in the light source 3 so that attachment or detachment is possible. In this case, since the insertion unit 2 is detached and replaced with another insertion unit 2, various optical systems included in the insertion unit 2 including the objective lens 13 are changed. The coefficient changes due to changes in the numerical aperture (NA), pupil diameter, etc., or the changes in the wavelength of fluorescence to be detected, the site to be observed (such as stomach tissue or large intestine tissue).

したがって、挿入部２に識別情報を記憶するＩＣチップ３１を備え、挿入部２が取り付けられる光源３側にＩＣチップ３１内の識別情報を読み取る読取装置３２と、識別情報と各挿入部２に適した係数とを対応づけて記憶する記憶部３３とを備えていることが好ましい。そして、前処理部２３が、記憶部３３から出力される挿入部２の識別情報に対応する係数を受け取って、上記演算を行うことにすればよい。
このようにすることで、光源３に対して挿入部２が交換されても、該挿入部２に最適な係数が設定され、定量性の高い蛍光画像Ｇ_３を常に取得することができるという利点がある。 Accordingly, the IC chip 31 for storing the identification information is provided in the insertion unit 2, and the reading device 32 that reads the identification information in the IC chip 31 on the light source 3 side to which the insertion unit 2 is attached, and the identification information and each insertion unit 2 It is preferable to include a storage unit 33 that stores the coefficients in association with each other. Then, the preprocessing unit 23 may receive the coefficient corresponding to the identification information of the insertion unit 2 output from the storage unit 33 and perform the above calculation.
Advantage By doing so, even if the insertion portion 2 is replaced with respect to the light source 3, is set a coefficient best suited insertion portion 2, it is possible to always obtain a high fluorescence image G ₃ quantitativity There is.

また、本実施形態においては、標準試料に対する戻り光強度の距離特性を蛍光強度の距離特性に一致させる係数を採用したが、これに限定されるものではなく、両特性を正比例させる係数でもよい。
また、規格化戻り光画像Ｇ_１’に乗算する係数に代えて規格化蛍光画像Ｇ_２’に乗算する係数を記憶していてもよいし、規格化戻り光画像Ｇ_１’および規格化蛍光画像Ｇ_２’にそれぞれ乗算する係数を記憶していてもよい。 In the present embodiment, a coefficient that matches the distance characteristic of the return light intensity with respect to the standard sample to the distance characteristic of the fluorescence intensity is adopted, but the present invention is not limited to this, and a coefficient that makes both characteristics directly proportional may be used.
Also, you may store coefficients to be multiplied by the _'normalized fluorescence image G ₂ in place of the coefficient to be multiplied by _the' normalized return-light image G _1, normalized return-light image G _{1 'and} the normalized fluorescence image Coefficients to be multiplied by G ₂ ′ may be stored.

また、本実施形態においては、観察距離の依存性を低減して定量性の高い蛍光観察を行うための構成を採用したが、これに代えて、観察角度の依存性を低減する構成を採用してもよい。具体的には、前処理部２３において、標準試料を用いて観察角度を変化させつつ取得された規格化蛍光画像Ｇ_２’と規格化戻り光画像Ｇ_１’との比であり、標準試料における規格化蛍光画像Ｇ_２’の蛍光強度の角度特性を、同じく標準試料における規格化戻り光画像Ｇ_１’の戻り光強度の角度特性に正比例させるように選定された係数を、観察対象Ａの規格化戻り光画像Ｇ_１’に乗算する。そして、画像補正部２４においては、得られた補正用戻り光画像Ｇ_１''によって、補正用蛍光画像Ｇ_２''を除算することにより、観察角度の依存性を十分に低減した補正された蛍光画像Ｇ_３を得ることができる。すなわち、定量性の高い蛍光観察を行うことができるという利点がある。 Further, in this embodiment, the configuration for reducing the dependency of the observation distance and performing the fluorescence observation with high quantitativeness is adopted, but instead, the configuration for reducing the dependency of the observation angle is adopted. May be. Specifically, it is the ratio of the normalized fluorescence image G ₂ ′ and the normalized return light image G ₁ ′ acquired while changing the observation angle using the standard sample in the preprocessing unit 23, The coefficient selected so that the angle characteristic of the fluorescence intensity of the normalized fluorescence image G ₂ ′ is directly proportional to the angle characteristic of the return light intensity of the normalized return light image G ₁ ′ in the standard sample is the standard of the observation object A Multiply the normalized return light image G ₁ ′. Then, in the image correction unit 24, the correction fluorescent image G ₂ ″ is divided by the obtained correction return light image G ₁ ″, thereby correcting the observation angle dependency sufficiently reduced. it is possible to obtain a fluorescence image G _3. That is, there is an advantage that fluorescence observation with high quantitativeness can be performed.

次に、本発明の一実施形態に係る蛍光観察システム４０について、図面を参照して以下に説明する。
なお、本実施形態の説明において、上述した一実施形態に係る蛍光観察装置１と構成を共通とする箇所には同一符号を付して説明を省略する。 Next, a fluorescence observation system 40 according to an embodiment of the present invention will be described below with reference to the drawings.
In the description of the present embodiment, portions having the same configuration as those of the fluorescence observation apparatus 1 according to the embodiment described above are denoted by the same reference numerals and description thereof is omitted.

本実施形態に係る蛍光観察システム４０は、図５に示されるように、蛍光観察装置１と、該蛍光観察装置１を装着する較正装置４１とを備えている。
本実施形態においては、蛍光観察装置１は、係数を算出する係数決定部４２を備えている。 As shown in FIG. 5, the fluorescence observation system 40 according to the present embodiment includes a fluorescence observation apparatus 1 and a calibration apparatus 41 on which the fluorescence observation apparatus 1 is mounted.
In the present embodiment, the fluorescence observation apparatus 1 includes a coefficient determination unit 42 that calculates a coefficient.

較正装置４１は、図５および図６に示されるように、挿入部２を固定するホルダ４３と、該ホルダ４３に固定された挿入部２の先端面２ａに対して観察距離をあけて対向させられる標準試料４４と、挿入部２の先端面２ａと標準試料４４との間の観察距離を変更する直動ステージ４５と、対物レンズ１３の光軸に対する標準試料４４の表面の角度（観察角度）を変更するチルトステージ４６と、これらのステージ４５，４６を制御する制御部４７とを備えている。 As shown in FIGS. 5 and 6, the calibration device 41 is opposed to the holder 43 that fixes the insertion portion 2 and the distal end surface 2 a of the insertion portion 2 that is fixed to the holder 43 with an observation distance. Angle of the surface of the standard sample 44 with respect to the optical axis of the objective lens 13 (observation angle), the linear motion stage 45 that changes the observation distance between the distal end surface 2a of the insertion portion 2 and the standard sample 44. And a control unit 47 for controlling these stages 45 and 46.

制御部４７は、ステージ４５，４６を駆動して、観察距離または観察角度を変化させるとともに、予め設定されたタイミングでトリガ信号Ｓを出力するようになっている。
また、係数決定部４２は、画像規格化部２２から送られてくる規格化蛍光画像Ｇ_２’および規格化戻り光画像Ｇ_１’を受信するとともに、制御部４７からのトリガ信号Ｓの受信時における規格化蛍光画像Ｇ_２’の輝度値および規格化戻り光画像Ｇ_１’の輝度値を保持し、規格化蛍光画像Ｇ_２’の輝度値を規格化戻り光画像Ｇ_１’の輝度値で除算することにより係数を算出し、算出された係数を規格化戻り光画像Ｇ_１’の輝度値と対応づけて記憶するようになっている。 The controller 47 drives the stages 45 and 46 to change the observation distance or the observation angle and outputs the trigger signal S at a preset timing.
The coefficient determination unit 42 receives the normalized fluorescence image G ₂ ′ and the normalized return light image G ₁ ′ sent from the image normalization unit 22 and receives the trigger signal S from the control unit 47. The brightness value of the normalized fluorescence image G ₂ ′ and the brightness value of the normalized return light image G ₁ ′ are held, and the brightness value of the normalized fluorescence image G ₂ ′ is the brightness value of the normalized return light image G ₁ ′. A coefficient is calculated by division, and the calculated coefficient is stored in association with the luminance value of the normalized return light image G ₁ ′.

観察距離を変化させたときの係数を取得する場合には、制御部４７は、まず、図６に示されるように、標準試料４４の表面に対して挿入部２の先端面２ａが観察開始の距離となるように直動ステージ４５を駆動させる。次いで、ユニット４から照明光および励起光を標準試料４４に対して照射し、戻り光および蛍光が撮影される状態として、制御部４７は、予め定められた距離ずつステージ４５を移動させ、その都度、トリガ信号Ｓを出力する。これにより、係数決定部４２には、異なる複数の観察距離において取得された複数の係数が規格化戻り光画像Ｇ_１’の輝度値と対応づけて記憶される。 When acquiring the coefficient when the observation distance is changed, the control unit 47 first starts the observation of the distal end surface 2a of the insertion unit 2 with respect to the surface of the standard sample 44 as shown in FIG. The linear motion stage 45 is driven so as to be a distance. Next, the illumination light and excitation light are irradiated from the unit 4 to the standard sample 44, and the control unit 47 moves the stage 45 by a predetermined distance in a state where the return light and fluorescence are photographed. The trigger signal S is output. Accordingly, the coefficient determination unit 42 stores a plurality of coefficients acquired at a plurality of different observation distances in association with the luminance value of the normalized return light image G ₁ ′.

一方、観察角度を変化させたときの係数を取得する場合には、制御部４７は、まず、図６に示されるように、標準試料４４の表面に対して挿入部２の先端面２ａが観察開始の距離および角度となるように直動ステージ４５およびチルトステージ４６を駆動させる。次いで、ユニット４から照明光および励起光を標準試料４４に対して照射し、戻り光および蛍光が撮影される状態として、制御部４７は、予め定められた距離ずつチルトステージ４６を移動させ、その都度、トリガ信号Ｓを出力する。これにより、係数決定部４２には、異なる複数の観察角度において取得された複数の係数が規格化戻り光画像Ｇ_１’の輝度値と対応づけて記憶される。
観察距離を変化させたときの係数と、観察角度を変化させたときの係数とは、観察条件に応じて適宜選択することにすればよい。 On the other hand, when acquiring the coefficient when the observation angle is changed, the control unit 47 first observes the distal end surface 2a of the insertion unit 2 with respect to the surface of the standard sample 44 as shown in FIG. The linear motion stage 45 and the tilt stage 46 are driven so as to have the starting distance and angle. Next, the illumination light and excitation light are irradiated from the unit 4 to the standard sample 44, and the control unit 47 moves the tilt stage 46 by a predetermined distance in a state where the return light and fluorescence are photographed. A trigger signal S is output each time. Accordingly, the coefficient determination unit 42 stores a plurality of coefficients acquired at a plurality of different observation angles in association with the luminance values of the normalized return light image G ₁ ′.
The coefficient when the observation distance is changed and the coefficient when the observation angle is changed may be appropriately selected according to the observation conditions.

また、係数決定部４２は、前処理部２３から規格化戻り光画像Ｇ_１’の輝度値が入力されると、該輝度値に対応する係数を算出して、前処理部２３に対して出力するようになっている。すなわち、係数決定部４２には、間隔をあけた複数の規格化戻り光画像Ｇ_１’の輝度値に対応づけた複数の係数が記憶されているので、その間の輝度値が入力されたときには、入力された輝度値を挟む輝度値間で係数を補間して新たな係数を算出し、前処理部２３に出力するようになっている。 In addition, when the luminance value of the normalized return light image G ₁ ′ is input from the preprocessing unit 23, the coefficient determination unit 42 calculates a coefficient corresponding to the luminance value and outputs the coefficient to the preprocessing unit 23. It is supposed to be. That is, since the coefficient determination unit 42 stores a plurality of coefficients associated with the luminance values of the plurality of normalized return light images G ₁ ′ spaced from each other, when a luminance value between them is input, A new coefficient is calculated by interpolating a coefficient between luminance values sandwiching the inputted luminance value, and is output to the preprocessing unit 23.

このように、本実施形態に係る蛍光観察システム４０によれば、観察対象Ａや観察条件、例えば、各光学系や観察に使用する蛍光波長などが変化しても、その都度、変化に応じた係数を設定することができ、種々の観察対象Ａや観察条件においても定量性の高い蛍光画像Ｇ_３により観察することができるという利点がある。
例えば、蛍光観察装置１として内視鏡に適用する場合には、硬性鏡や軟性鏡のような種類の違い、あるいは、上部消化器内視鏡や下部消化器内視鏡のような観察部位の違いなどがあったとしても、それぞれに対応した最適な係数を設定することができる。また、同一種類の蛍光観察装置１であったとしても、個体差に拘わらず、個々の装置に対して係数を設定することができる。 As described above, according to the fluorescence observation system 40 according to the present embodiment, even if the observation target A and the observation conditions, for example, the fluorescence wavelength used for each optical system and observation change, each time, the change is accepted. can set the coefficients, there is an advantage that can be observed by high fluorescence image G ₃ quantitativity also in various observation target a and observation conditions.
For example, when applied to an endoscope as the fluorescence observation apparatus 1, the difference in the type such as a rigid endoscope or a flexible endoscope, or an observation site such as an upper digestive endoscope or a lower digestive endoscopy is used. Even if there is a difference, an optimum coefficient corresponding to each can be set. Even if the fluorescence observation apparatuses 1 are of the same type, coefficients can be set for individual apparatuses regardless of individual differences.

なお、本実施形態における標準試料４４としては、観察しようとする生体と同様の散乱や吸収特性を有するファントムを用いてもよいし、ヒトや動物（ブタやマウス等）の切除組織を用いてもよい。 As the standard sample 44 in this embodiment, a phantom having the same scattering and absorption characteristics as the living body to be observed may be used, or a cut tissue of a human or an animal (such as a pig or a mouse) may be used. Good.

Ａ観察対象（被写体）
１蛍光観察装置
２挿入部（着脱部品）
３光源
４照明ユニット（照明部）
１７撮像素子（戻り光撮像部）
１８撮像素子（蛍光撮像部）
２４画像補正部
３２読取装置（識別情報読取手段）
３３記憶部
４０蛍光観察システム
４１較正装置
４２係数決定部
４４標準試料
４５直動ステージ（観察距離設定機構）
４６チルトステージ（観察角度設定機構） A Observation target (subject)
1 Fluorescence observation device 2 Insertion part (detachable part)
3 Light source 4 Lighting unit (lighting unit)
17 Image sensor (Return light imaging unit)
18 Imaging device (fluorescence imaging unit)
24 Image correction unit 32 Reading device (identification information reading means)
33 Storage Unit 40 Fluorescence Observation System 41 Calibration Device 42 Coefficient Determination Unit 44 Standard Sample 45 Linear Motion Stage (Observation Distance Setting Mechanism)
46 Tilt stage (observation angle setting mechanism)

Claims

An illumination unit including a light source that emits illumination light and excitation light;
A fluorescence imaging unit that captures fluorescence generated in a subject and acquires a fluorescence image;
A return light imaging unit that captures a return light from the subject and obtains a return light image;
The correction fluorescence is obtained by multiplying at least one of the fluorescence image and the return light image by a coefficient in which the distance characteristic of the fluorescence intensity and the distance characteristic of the return light intensity acquired in advance with respect to the standard sample are directly proportional to each other. A preprocessing unit for generating an image and a return light image for correction;
A fluorescence observation apparatus comprising: a fluorescence image correction unit that divides the correction fluorescence image generated by the preprocessing unit by the correction return light image.

An illumination unit including a light source that emits illumination light and excitation light;
A fluorescence imaging unit that captures fluorescence generated in a subject and acquires a fluorescence image;
A return light imaging unit that captures a return light from the subject and obtains a return light image;
Correction fluorescence by multiplying at least one of the fluorescence image and the return light image by a coefficient in which the angle characteristic of the fluorescence intensity acquired in advance with respect to the standard sample and the angle characteristic of the return light intensity are directly proportional to each other. A preprocessing unit for generating an image and a return light image for correction;
A fluorescence observation apparatus comprising: a fluorescence image correction unit that divides the correction fluorescence image generated by the preprocessing unit by the correction return light image.

A storage unit for storing the coefficient;
The fluorescence observation apparatus according to claim 1, wherein the preprocessing unit multiplies at least one of the fluorescence image and the return light image by a coefficient stored in the storage unit.

With detachable parts that can be detached to change the observation conditions,
Identification information is recorded on the detachable part,
An identification information reading means for reading the identification information stored in the detachable component;
The fluorescence observation apparatus according to claim 3, wherein the identification information and the coefficient are stored in the storage unit in association with each other.

The preprocessing unit normalizes the fluorescence intensity of each pixel of the fluorescence image and the return light intensity of each pixel of the return light image according to the gain and exposure time of the fluorescence imaging unit and the return light imaging unit, thereby normalizing fluorescence An image and a normalized return light image are generated, and at least one of the normalized fluorescence image or the normalized return light image is multiplied by the coefficient to generate a correction fluorescence image and a correction return light image. Or the fluorescence observation apparatus of Claim 2.

A fluorescence observation apparatus according to claim 1;
A storage unit for storing the coefficient;
Connected to said fluorescence observation apparatus, and a calibration device configured to calculate the coefficients,
The calibration apparatus includes a standard sample and an observation distance setting mechanism that sets the observation distance of the fluorescence observation apparatus to be changeable with respect to the standard sample, the observation distance set by the observation distance setting mechanism, Based on the fluorescence image and the return light image acquired by photographing the standard sample with the fluorescence observation device, the distance characteristic of the fluorescence intensity and the return light are multiplied by multiplying at least one of the fluorescence image and the return light image. A fluorescence observation system that calculates a coefficient that is directly proportional to a distance characteristic of intensity and stores the coefficient in the storage unit.

A fluorescence observation apparatus according to claim 2;
A storage unit for storing the coefficient;
Connected to said fluorescence observation apparatus, and a calibration device configured to calculate the coefficients,
The calibration apparatus includes a standard sample, and an observation angle setting mechanism for setting the observation angle of the fluorescence observation apparatus to be changeable with respect to the standard sample, the observation angle set by the observation angle setting mechanism, By multiplying at least one of the fluorescence image and the return light image on the basis of the fluorescence image and the return light image acquired by photographing the standard sample with the fluorescence observation device, the angle characteristic of the fluorescence intensity and the return light are multiplied. A fluorescence observation system that calculates a coefficient that is directly proportional to an angular characteristic of intensity and stores the coefficient in the storage unit.

A method for operating a fluorescence observation apparatus, comprising:
A fluorescence image obtained by photographing fluorescence generated in the subject by irradiating the subject with excitation light, and a return light image obtained by photographing return light returning from the subject by irradiating the subject with illumination light. Using,
The correction fluorescence is obtained by multiplying at least one of the fluorescence image and the return light image by a coefficient in which the distance characteristic of the fluorescence intensity and the distance characteristic of the return light intensity acquired in advance with respect to the standard sample are directly proportional to each other. A pre-processing step for generating an image and a correction return light image;
Method of operating a fluorescence observation apparatus including a fluorescent image correcting step of dividing the correction fluorescence image generated by the pretreatment step in the correction return light image.