JP6017219B2 - 蛍光観察装置および蛍光観察システム - Google Patents

Description

本発明は、蛍光観察装置および蛍光観察システムに関するものである。

従来、体内の組織を撮影した蛍光画像から、周辺に比べて信号レベルの高い蛍光領域を病変部として抽出し、その存在をユーザに告知する蛍光観察装置が知られている（例えば、特許文献１参照。）。

特開２００６−１９１９８９号公報

特許文献１では、例えば、蛍光画像のバッククラウンドレベルよりも２０％高い信号レベルを閾値に設定し、この閾値と各画素の信号レベルとを比較することにより、蛍光領域を抽出している。しかしながら、組織から発せられる蛍光は微弱であるため、観察条件が変動すると蛍光領域を正確に抽出することが難しい。また、蛍光領域が抽出されたとしても、その蛍光領域の輝度値が低いために画像において蛍光領域がユーザに認識されない可能性がある。

例えば、蛍光画像における蛍光の信号レベルは、観察距離に依存する。すなわち、同一の観察視野に存在する凹部と凸部とから発せられた２つの蛍光は、両方の蛍光の強度が同一の観察条件（距離や励起光強度など）の下では同一の蛍光強度を発するものであったとしても、蛍光画像においては、凹部からの蛍光は観察距離が大きいために、凸部からの蛍光よりも弱い信号レベルとして捉えられる。その結果、凹部内の蛍光領域は抽出されない可能性がある。

また、例えば、蛍光画像から抽出した蛍光領域を該蛍光領域の輝度値に応じて組織の白色光画像に重畳表示する場合、白色光画像の輝度値よりも蛍光領域の輝度値が低く、その差異が大きいと、蛍光領域が白色光画像に重畳表示されていたとしても蛍光領域を鮮明に視認することが難しい。特に、蛍光領域の表示色と、該蛍光領域の背景の組織の色とが類似している場合には、蛍光領域を視認することが一層難しい。したがって、蛍光領域が抽出されて画像に表示されていたとしても、その存在にユーザが気が付かない可能性がある。

本発明は、上述した事情に鑑みてなされたものであって、観察条件の違いに依らずに観察視野内の蛍光領域の存在を確実にユーザに報知することができる蛍光観察装置および蛍光観察システムを提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の第１の態様は、観察対象に参照光および励起光を照射する光源と、該光源からの前記励起光の照射により前記観察対象において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、前記光源からの前記参照光の照射により前記観察対象から戻る戻り光を撮影し参照画像を生成する参照画像生成部と、該参照画像生成部により生成された前記参照画像に前記蛍光画像生成部により生成された前記蛍光画像を重畳することにより合成画像を生成する画像合成部と、前記参照画像生成部により生成された前記参照画像内の各位置における輝度値を所定の閾値と比較し、前記輝度値が前記所定の閾値以下である位置の有無を判別する判別部と、該判別部によって輝度値が前記所定の閾値以下である位置が存在すると判別された場合に、その存在を報知する報知部とを備え、前記蛍光画像生成部が、前記蛍光を撮影する撮像素子を備え、前記判別部が、前記撮像素子の前記蛍光に対する検出限界と一致する蛍光の強度に対応する強度を有する前記戻り光を撮影したときの前記参照画像の輝度値である検出限界閾値を前記所定の閾値として有する蛍光観察装置である。
本発明の第２の態様は、観察対象に参照光および励起光を照射する光源と、該光源からの前記励起光の照射により前記観察対象において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、前記光源からの前記参照光の照射により前記観察対象から戻る戻り光を撮影し参照画像を生成する参照画像生成部と、該参照画像生成部により生成された前記参照画像に前記蛍光画像生成部により生成された前記蛍光画像を重畳することにより合成画像を生成する画像合成部と、前記参照画像生成部により生成された前記参照画像内の各位置における輝度値を所定の閾値と比較し、前記輝度値が前記所定の閾値以下である位置の有無を判別する判別部と、該判別部によって輝度値が前記所定の閾値以下である位置が存在すると判別された場合に、その存在を報知する報知部と、前記参照画像生成部により生成された前記参照画像内の前記各位置における色相を識別する色相識別部とを備え、前記画像合成部が、前記蛍光画像に所定の色相を付して前記蛍光画像を前記参照画像に重畳し、前記判別部が、前記所定の色相と前記色相識別により識別された色相とのコントラストに応じて前記参照画像内の各位置に対して視認限界閾値を前記所定の閾値として設定する蛍光観察装置である。

本発明によれば、光源から発せられた励起光が観察対象に照射されると、蛍光画像生成部により観察対象において発生した蛍光の蛍光画像が生成され、光源から励起光とともに発せられた参照光が観察対象に照射されると、参照画像生成部によりその戻り光の参照画像が生成される。そして、画像合成部において、蛍光画像が参照画像に重畳されることにより蛍光領域と観察対象の形態とが対応付けられた合成画像が生成される。

この場合に、参照画像のうち所定の閾値以下の輝度値を有する位置が存在する場合、その存在が判別部によって判別されて報知部により報知される。蛍光画像生成部および参照画像生成部により撮影される蛍光と戻り光の強度は、観察距離などの観察条件が変動したとしても互いに比例関係を保持する。したがって、参照画像において所定の閾値以下の輝度値を有する位置は、蛍光画像生成部により撮影された蛍光の強度が所定の値よりも低い位置と対応する。すなわち、判別部は、参照画像の輝度値に基づいて、観察対象において蛍光が発生しているにもかかわらず、蛍光画像生成部により撮影される蛍光の強度が不十分であるために、蛍光画像において視認可能な輝度値として表示されていない可能性がある位置の有無を判別している。

戻り光の強度は、観察条件の変動によって変化したとしても、蛍光に比べて十分に高く維持されるので、このような戻り光を用いることにより、蛍光画像において視認可能な輝度値として表示されていない蛍光領域の存在が正確に判別される。これにより、観察条件の違いに依らずに観察視野内の蛍光領域の存在を確実にユーザに報知することができる。

上記第１の態様においては、前記蛍光画像生成部が、前記蛍光を撮影する撮像素子を備え、前記判別部が、前記撮像素子の前記蛍光に対する検出限界と一致する蛍光の強度に対応する強度を有する前記戻り光を撮影したときの前記参照画像の輝度値である検出限界閾値を前記所定の閾値として有する。
このようにすることで、蛍光の強度が撮像素子により検出できないレベルであったときに、当該蛍光が発生している位置と対応する参照画像内の位置の輝度値が検出限界閾値以下となり、その位置の存在が判別部によって判別される。これにより、蛍光が発生しているにも関わらず、その蛍光が撮像素子の感度に対して微弱であるために蛍光画像に表示されていないことを報知することができる。

上記第２の態様においては、前記画像合成部が、前記蛍光画像に所定の色相を付し前記蛍光画像を前記参照画像に重畳し、前記参照画像生成部により生成された前記参照画像内の前記各位置における色相を識別する色相識別部を備え、前記判別部が、前記所定の色相と前記色相識別部により識別された色相とのコントラストに応じて前記参照画像内の各位置に対して視認限界閾値を前記所定の閾値として設定する。

合成画像における蛍光領域の視認性は、背景となる参照画像の色相と蛍光領域の色相とのコントラストにも依存する。すなわち、参照画像の色相と蛍光領域の色相とが類似しているときは蛍光領域を視認し難くなり、参照画像の色相と蛍光領域の色相とが対比しているときは、蛍光領域を視認し易くなる。参照画像の各位置における色相は観察対象の形態によって異なる。このように、参照画像の各位置にその位置の色相に応じた視認限界閾値を設定することで、蛍光画像生成部によって撮影される蛍光の強度に加えて、色相のコントラストも加味してユーザが認識し難い蛍光領域の存在を報知することができる。

また、上記発明においては、前記判別部によって前記輝度値が前記所定の閾値以下であると判別された位置を抽出する抽出部を備え、前記報知部が、前記抽出部により抽出された位置を報知してもよい。
このようにすることで、認識できないまたは認識し難い蛍光領域の位置をユーザに報知することができる。

また、上記発明においては、前記報知部が、前記抽出部により抽出された位置を示すマーカを前記合成画像に表示させてもよい。
このようにすることで、認識できないまたは認識し難い蛍光領域の位置を合成画像に表示されたマーカによってユーザに報知することができる。

また、上記発明においては、前記判別部が、前記所定の閾値未満の複数の閾値を有し、前記報知部は、前記判別部によって前記所定の閾値以下であると判別された前記各位置の輝度値が、前記複数の閾値によって区分される複数の範囲のうちいずれの範囲に該当するかに応じて、異なる表示態様の前記マーカを前記合成画像に表示させてもよい。
このようにすることで、ユーザは、マーカによって示されている位置のうち、蛍光が撮影されていない可能性の程度、または、視認し難さの程度を表示態様の違いによって認識することができる。

また、上記発明においては、前記報知部が、出力する音を変化させることにより前記存在を報知してもよい。
このようにすることで、ユーザは、報知部が出力する音の変化から診断不能領域の存在を認識することができる。

また、上記発明においては、前記判別部によって前記輝度値が前記所定の閾値以下であると判別された前記参照画像内の位置を当該参照画像と対応付けて記憶する記憶部を備え、前記報知部が、判別部によって輝度値が前記所定の閾値以下である位置が存在すると判別された参照画像を前記記憶部に記憶されている参照画像と照合し、該当する参照画像が前記記憶部に記憶されている場合に、報知を中止してもよい。
このようにすることで、既にユーザに報知された蛍光領域について、その後も報知が繰り返されることを防ぐことができる。

本発明の第３の態様は、上記第１の態様に係る蛍光観察装置と、前記判別部において用いられる前記検出限界閾値を設定する較正装置とを備え、該較正装置が、前記光源からの前記励起光および参照光の照射により蛍光および戻り光を発生する標準試料と、該標準試料に照射される前記励起光および参照光の強度を変化させる光強度調節部と、該光強度調節部により異なる強度の前記励起光および参照光が前記標準試料に照射されたときの前記蛍光および戻り光を撮影することにより作成された複数の前記参照画像および前記蛍光画像の輝度値の関係に基づいて前記検出限界閾値を決定して該検出限界閾値を前記判別部に設定する閾値決定部とを備える蛍光観察システムである。

本発明によれば、観察条件の違いに依らずに観察視野内の蛍光領域の存在を確実にユーザに報知することができるという効果を奏する。

本発明の一実施形態に係る蛍光観察装置の全体構成図である。 （ａ）図１の蛍光観察装置により観察される観察対象と、（ｂ）該観察対象を撮影した白色光画像および蛍光画像と、（ｃ）各撮像素子により検出される白色光および蛍光の強度とを示す図である。 図１の蛍光観察装置の動作を説明するフローチャートである。 図１の蛍光観察装置により生成される白色光画像と該白色光画像から抽出される診断不能領域とを示す図である。 図１の蛍光観察装置により生成される蛍光画像と該蛍光画像から抽出される蛍光領域とを示す図である。 図１の蛍光観察装置により生成される合成画像を示す図である。 図１の蛍光観察装置により生成される合成画像の変形例を示す図である。 図１の蛍光観察装置の変形例を示す全体構成図である。 図８の蛍光観察装置の動作を説明するフローチャートである。 図１の蛍光観察装置のもう１つの変形例を示す全体構成図である。 本発明の一実施形態に係る蛍光観察システムが備える較正装置を示す構成図である。 図１１の較正装置により得られる、観察距離と白色光画像の輝度値および蛍光画像の輝度値との関係を示すグラフである。

本発明の一実施形態に係る蛍光観察装置１について、図１〜図１０を参照して以下に説明する。
本実施形態に係る蛍光観察装置１は、内視鏡装置であって、図１に示されるように、体内に挿入される細長い挿入部２と、光源３と、該光源３からの励起光および白色光を挿入部２の先端２ａから観察対象Ｘに向けて照射する照明ユニット４と、挿入部２の先端２ａに設けられ、観察対象Ｘである生体組織の画像情報Ｓ１，Ｓ２を取得する撮像ユニット５と、挿入部２の基端側に配置され、撮像ユニット５により取得された画像情報Ｓ１，Ｓ２を処理する画像処理部６と、該画像処理部６により処理された画像Ｇを表示する表示部７とを備えている。

光源３は、キセノンランプ３１と、該キセノンランプ３１から発せられた光から、励起光および白色光（照明光：波長帯域４００〜７４０ｎｍ）を切り出すフィルタ３２と、フィルタ３２により切り出された励起光および白色光を集光するカップリングレンズ３３とを備えている。

照明ユニット４は、挿入部２の長手方向のほぼ全長にわたって配置されたライトガイドファイバ４１と、挿入部２の先端２ａに設けられた照明光学系４２とを備えている。ライトガイドファイバ４１は、カップリングレンズ３３によって集光された励起光および白色光を導光する。照明光学系４２は、ライトガイドファイバ４１によって導光されてきた励起光および白色光を拡散させて、挿入部２の先端２ａに対向する観察対象Ｘに照射する。

撮像ユニット５は、観察対象Ｘの所定の観察範囲から戻る光を集光する対物レンズ５１と、該対物レンズ５１によって集光された光のうち、励起波長以上の光（励起光および蛍光）を反射し、励起波長より短い波長の白色光（戻り光）を透過するダイクロイックミラー５２と、該ダイクロイックミラー５２により反射された蛍光およびダイクロイックミラー５２を透過した白色光をそれぞれ集光する２つの集光レンズ５３，５４と、集光レンズ５３，５４によって集光された白色光および蛍光を撮影するＣＣＤのような２個の撮像素子５５，５６とを備えている。

撮像素子５５，５６は、一定のフレームレートで白色光画像情報Ｓ１および蛍光画像情報Ｓ２を取得するようになっている。
図中、符号５７は、ダイクロイックミラー５２によって反射された光のうち励起光を遮断する（例えば、波長帯域７６０〜８５０ｎｍの光だけを透過する）励起光カットフィルタである。

画像処理部６は、撮像素子５５により取得された白色光画像情報Ｓ１から白色光画像（参照画像）Ｇ１を生成する白色光画像生成部（参照画像生成部）６１と、撮像素子５６により取得された蛍光画像情報Ｓ２から蛍光画像Ｇ２を生成する蛍光画像生成部６２と、白色光画像Ｇ１のうち所定の検出限界閾値以下の輝度値を有する画素を抽出する診断不能領域抽出部（判別部、抽出部）６３と、蛍光画像Ｇ２のうち所定の蛍光閾値以上の輝度値を有する画素を抽出する蛍光領域抽出部６４と、診断不能領域抽出部６３および蛍光領域抽出部６４により抽出され画素と白色光画像Ｇ１とを用いて合成画像Ｇを生成する画像合成部（報知部）６５とを備えている。

診断不能領域抽出部６３は、白色光画像生成部６１から入力される白色光画像Ｇ１の各画素の輝度値を所定の検出限界閾値と比較し、該検出限界閾値以下の輝度値を有する画素群を、図４に示されるように、診断不能領域Ｅとして抽出する。ここで、検出限界閾値は、後述するように、撮像素子５５，５６を用いて白色光画像Ｇ１および蛍光画像Ｇ２を予め取得し、取得された各画像Ｇ１，Ｇ２の輝度値同士の関係に基づいて決定される値である。
蛍光領域抽出部６４は、蛍光画像生成部６２から入力される蛍光画像Ｇ２の各画素の輝度値を所定の蛍光閾値と比較し、該蛍光閾値以上の輝度値を有する画素群を蛍光領域Ｆとして抽出する。

図２（ａ）〜（ｃ）は、観察対象Ｘの形状と、撮像素子５５，５６によって検出される白色光および蛍光の強度Ｉｗ，Ｉｆと、各画像生成部６１，６２において生成される白色光画像Ｇ１および蛍光画像Ｇ２との関係を説明する図である。図２（ａ）は、観察対象Ｘの形状を示している。図２（ｂ）は、図２（ａ）に示される観察対象Ｘを撮影した白色光画像Ｇ１および蛍光画像Ｇ２を互いに重畳した状態で示している。図２（ｃ）は、図２（ｂ）のＩＩ−ＩＩ線と対応する位置において撮像素子５５，５６が検出する白色光の強度Ｉｗおよび蛍光の強度Ｉｆを示している。

観察対象Ｘに照射される白色光および励起光は、挿入部２の先端２ａに近い観察対象Ｘの平坦な部分Ｘ’または凸部には十分に高い強度で照射されるが、挿入部２の先端２ａから遠い凹部Ｘ”の内部においては強度が低くなる。しかし、観察対象Ｘに照射される白色光は十分な強度を有するため、観察対象Ｘにおいて反射されて撮像素子５５に入射する白色光も、図２（ｃ）に示されるように、凹部Ｘ”においても十分な強度Ｉｗを有する。したがって、観察対象Ｘ全体が十分に明瞭に撮影された白色光画像Ｇ１が得られる。

一方、一般的に、観察対象Ｘにおいて発生する蛍光の強度は、反射光（白色光）のそれに比べて弱い。したがって、平坦な部分Ｘ’と凹部Ｘ”とおいて同一の強度の蛍光が発生していた場合、挿入部２の先端２ａに近い平坦な部分Ｘ’から撮像素子５６に入射する蛍光は十分な強度Ｉｆを有するが、挿入部２の先端２ａから遠い凹部Ｘ”の内部から撮像素子５６に入射する蛍光は強度Ｉｆが不十分となる。

つまり、凹部Ｘ”の内部から撮像素子５６に入射する蛍光の強度Ｉｆは、図２（ｃ）に示されるように、撮像素子５６の蛍光に対する検出限界Ｌｉｍ未満となって撮像素子５６により検出されないか、または、検出されたとしても蛍光画像Ｇ２において所定の蛍光閾値未満の輝度値として表わされる。その結果、図２（ｂ）に示されるように、凹部Ｘ”内の蛍光領域Ｆは蛍光領域抽出部６４によって抽出されないこととなる。

このように、観察対象Ｘから各撮像素子５５，５６に入射する白色光および蛍光の強度Ｉｗ，Ｉｆは、観察距離に依存して互いに比例関係を維持したまま変化する。そして、観察距離が大きくなったときに、白色光の強度Ｉｗが撮像素子５５の検出限界に到達するよりも先に、蛍光の強度Ｉｆが撮像素子５６の検出限界Ｌｉｍを下回る。この撮像素子５６の検出限界Ｌｉｍと一致する蛍光の強度Ｉｆに対応する強度Ｉｗを有する白色光を撮影したときの白色光画像Ｇ１の輝度値が、診断不能領域抽出部６３における検出限界閾値に設定される。

画像合成部６５は、診断不能領域抽出部６３により抽出された診断不能領域Ｅの位置を示すマーカＭを作成する。そして、画像合成部６５は、マーカＭおよび蛍光領域抽出部６４により抽出された蛍光領域Ｆを白色光画像Ｇ１に重畳することにより合成画像Ｇを生成する（図６参照。）。画像合成部６５は、生成した合成画像Ｇを表示部７に出力する。マーカＭとしては、例えば、診断不能領域Ｅに施されたハッチングや、診断不能領域Ｅを囲む円、矢印などが用いられる。
表示部７は、画像合成部６５から入力された合成画像Ｇを表示する。

次に、このように構成された蛍光観察装置１の作用について以下に説明する。
本実施形態に係る蛍光観察装置１を用いて観察対象Ｘである体内の生体組織を観察するには、体内に挿入部２を挿入し、挿入部２の先端２ａを観察対象Ｘに対向させる。そして、光源３を作動させて励起光および白色光を発生させる。励起光および白色光は、カップリングレンズ３３によってライトガイドファイバ４１に入射され、ライトガイドファイバ４１内を挿入部２の先端２ａまで導光され、照明光学系４２によって拡散されて観察対象Ｘに照射される。

観察対象Ｘにおいては、内部に含まれている蛍光物質が励起光によって励起されることにより蛍光が発せられるとともに、観察対象Ｘの表面において白色光が反射させられる。蛍光および反射された白色光は、観察対象Ｘから挿入部２の先端２ａに戻り、対物レンズ５１によって集光される。

図３に、本実施形態に係る蛍光観察装置１による合成画像Ｇの生成処理を説明するフローチャートを示す。
対物レンズ５１によって集光された蛍光および白色光はダイクロイックミラー５２によって波長毎に分岐され、例えば４００〜７００ｎｍの波長帯域の白色光は、集光レンズ５３によって集光され、撮像素子５５により白色光画像情報Ｓ１として取得される（ステップＳ１）。

また、対物レンズ５１によって集光された蛍光および白色光の内、ダイクロイックミラー５２を反射した光、例えば７００〜８５０ｎｍの波長帯域の励起光および蛍光を含む光からは、励起光カットフィルタ５７によって励起光（例えば７４０ｎｍ以下の光）が除去された後に、蛍光のみが集光レンズ５４によって集光されて撮像素子５６によって蛍光画像情報Ｓ２として取得される（ステップＳ２）。

各撮像素子５５，５６によって取得された画像情報Ｓ１，Ｓ２は、画像処理部６に送られる。画像処理部６においては、白色光画像情報Ｓ１が白色光画像生成部６１に入力されて白色光画像Ｇ１が生成される（ステップＳ３）。一方、蛍光画像情報Ｓ２が蛍光画像生成部６２に入力されて蛍光画像Ｇ２が生成される（ステップＳ４）。

生成された白色光画像Ｇ１は診断不能領域抽出部６３に送られ、図４に示されるように、診断不能領域抽出部６３において、所定の検出限界閾値以下の輝度値を有する診断不能領域Ｅが白色光画像Ｇ１から抽出される（ステップＳ５）。抽出された診断不能領域Ｅは画像合成部６５に送られ、該画像合成部６５において診断不能領域Ｅの位置を示すマーカＭが作成される（ステップＳ６）。

一方、生成された蛍光画像Ｇ２は蛍光領域抽出部６４に送られ、図５に示されるように、蛍光領域抽出部６４において、所定の蛍光閾値以上の輝度値を有する蛍光領域Ｆが蛍光画像Ｇ２から抽出される（ステップＳ７）。抽出された蛍光領域Ｆは画像合成部６５に送られる。

画像合成部６５は、図６に示されるように、生成したマーカＭと蛍光領域Ｆとを白色光画像Ｇ１に重畳することにより合成画像Ｇを生成し（ステップＳ８）、該合成画像Ｇを表示部７に出力する（ステップＳ９）。図６には、マーカＭとして診断不能領域Ｅ全体に施されたハッチングが示されている。

ユーザは、表示部７に表示されている合成画像Ｇに蛍光領域Ｆが出現した場合には、この蛍光領域Ｆを病変部として認識することができる。また、ユーザは、合成画像ＧにマーカＭが出現した場合には、このマーカＭの示す位置において病変部が正常に検出されていない可能性があることを認識し、例えば、挿入部２の先端２ａをマーカＭが示している領域に近接させて該領域を拡大観察することにより、病変部の有無を確認することができる。

以上説明したように、本実施形態に係る蛍光観察装置１によれば、診断不能領域抽出部６３において、発生している蛍光が撮像素子５６によって検出されていない可能性がある白色光画像Ｇ１における暗い領域が診断不能領域Ｅとして抽出され、抽出された診断不能領域Ｅの存在が合成画像ＧにマーカＭとして提示される。これにより、蛍光が発生しているにも関わらず合成画像Ｇにおいて蛍光領域Ｆとして表示されていない偽陰性の領域が存在している可能性があることをユーザに確実に認識させ、ユーザがより正確な診断することを支援することができるという利点がある。

なお、本実施形態においては、マーカＭとして、診断不能領域Ｅ全体に均一に施されたハッチングを例示したが、複数の表示態様を用いて診断不能領域Ｅにおける白色光画像Ｇ１の輝度値の分布を示すようなマーカＭを作成してもよい。

すなわち、診断不能領域抽出部６３は、複数の閾値を有し、画像合成部６５が、検出限界閾値以下の輝度値を有する各画素の輝度値が、複数の閾値によって区分される範囲のうちいずれに該当するかを判別し、範囲毎に異なるパターンのハッチングを用いてマーカＭを作成する。これにより、図７に示されるように、異なる輝度値を有する領域が、異なるパターンのハッチングにより示される。
このようにすることで、ユーザは、診断不能領域Ｅのうち、発生している蛍光が検出されていない可能性の程度を表示態様の違いによって認識することができる。

次に、上述した実施形態に係る蛍光観察装置１の変形例について説明する。
蛍光観察装置１においては、撮像素子５６の検出限界Ｌｉｍと対応する白色光画像Ｇ１の輝度値を所定の検出限界閾値に設定し、該検出限界閾値以下の輝度値を有する領域を診断不能領域Ｅとして抽出することとした。本変形例に係る蛍光観察装置１’は、これに代えて、または、これに加えて、白色光画像Ｇ１の各位置における色相に基づいて位置毎に所定の視認限界閾値を設定する点において、蛍光観察装置１と相違している。すなわち、蛍光観察装置１’は、図８に示されるように、画像処理部６において、白色光画像Ｇ１の各画素の色相を識別する色相識別部６６を備える。

また、本変形例においては、合成画像Ｇの生成方法として以下のような方法が用いられる。すなわち、撮像素子５５は、白色光のうち赤色、緑色および青色に対してそれぞれ感度を有する３種類の受光素子を備える。白色光画像生成部６１は、各種類の受光素子によって得られた画像情報から、赤色、緑色および青色の擬似色をそれぞれ付したＲ画像、Ｇ画像およびＢ画像を生成し、これら３つの単色画像を画像合成部６５に出力する。

画像合成部６５は、蛍光領域抽出部６４から入力された蛍光領域Ｆに緑色の擬似色を付し、この蛍光領域Ｆの信号をＧ画像内の同一の位置に加算することによりＧ’画像を生成する。そして、画像合成部６５は、Ｒ画像、Ｇ’画像およびＢ画像を重畳することにより、カラー画像である合成画像Ｇを生成する。合成画像Ｇにおいて、蛍光領域Ｆは、緑色の明るい領域として表示される。

色相識別部６６は、白色光画像Ｇ１の各画素について、Ｒ画像、Ｇ画像およびＢ画像における輝度値の比を算出し、算出された比に基づいてその画素が有する色相が予め設定された複数の色相領域のうちいずれに属するかを識別する。
診断不能領域抽出部６３は、色相識別部６６によって識別された各画素の色相領域に基づいて、各画素に対する視認限界閾値を設定する。例えば、上述のように蛍光領域Ｆを緑色として表示する場合、赤色の色相領域に属する色相を有する画素に対してはより低い視認限界閾値を設定し、黄色や白色の色相領域に属する色相を有する画素に対してはより高い視認限界閾値を設定する。

次に、本変形例に係る蛍光観察装置１’による合成画像Ｇの生成処理を図９のフローチャートを参照して説明する。
蛍光観察装置１’によれば、ステップＳ３において白色光画像Ｇ１が生成されると、色相識別部６６により、白色光画像Ｇ１の各画像の色相が識別され（ステップＳ１０）、続いて、診断不能領域抽出部６３により、各画素の色相に基づいて該各画素に対する視認限界閾値が設定される（ステップＳ１１）。

ここで、蛍光領域Ｆの背景となる生体組織の色相が赤色である場合には、蛍光領域Ｆの色相と生体組織の色相とが対比色となるため、ユーザは合成画像Ｇにおいて蛍光領域Ｆの輝度値が比較的低くても蛍光領域Ｆを視認し易い。一方、生体組織の色相が黄色や白色である場合には、蛍光領域Ｆの色相と生体組織の色相とが類似色となるため、ユーザは合成画像Ｇにおいて蛍光領域Ｆの輝度値が比較的高くても蛍光領域Ｆを視認し難い。このように、蛍光領域Ｆの視認性は、蛍光領域Ｆの輝度値の高低の他に、蛍光領域Ｆの色相と背景の色相とのコントラストにも依存する。ステップＳ１１において診断不能領域抽出部６３により設定される視認限界閾値は、蛍光領域Ｆの色相と類似する色相を有する画素に対しては高いものとなり、蛍光領域Ｆの色相と対比する色相を有する画素に対しては低いものとなる。

次に、ステップＳ５において、蛍光画像Ｇ２内の蛍光領域Ｆのうち輝度値が不十分である蛍光領域Ｆと対応する白色光画像Ｇ１内の領域が診断不能領域Ｅとして抽出される。ただし、背景の組織の色相が赤色である蛍光領域については輝度値が比較的低い場合にのみ診断不能領域Ｅとして抽出され、背景の組織の色相が黄色または白色である蛍光領域については、輝度値が比較的高い場合でも診断不能領域Ｅとして抽出される。次に、ステップＳ６において、ステップＳ５において診断不能領域Ｅとして抽出された蛍光領域Ｆを示すマーカが作成される。

このように、本変形例によれば、合成画像Ｇに表示されているものの、輝度値が低く、かつ、背景となる組織と類似した色相で表示されているためにユーザによって視認され難い蛍光領域Ｆをマーカで示すことにより、このような蛍光領域Ｆもユーザに確実に認識させ、ユーザがより正確に診断することを支援することができるという利点がある。

また、上記実施形態およびその変形例においては、診断不能領域抽出部６３による診断不能領域Ｅの抽出の有無を、合成画像ＧにおけるマーカＭの表示・非表示を用いてユーザに報知することとしたが、これに代えて、音の変化を用いてもよい。すなわち、蛍光観察装置は、音を出力するスピーカを備え、診断不能領域Ｅの抽出の有無に応じてスピーカから出力する音の高さや、リズム、音量を変化させ、または音のオンオフを切り替える。このようにしても、診断不能領域Ｅの存在をユーザに確実に報知することができる。

また、挿入部２の先端２ａを操作することによる白色光画像Ｇ１内での診断不能領域Ｅの移動と連動して音の高さや、リズム、音量を変化させることにより、診断不能領域Ｅと挿入部２の先端２ａとの位置関係をユーザに報知し、ユーザが音の変化を手掛かりにして挿入部２の先端２ａを診断不能領域Ｅの方向へ容易に導くことができるようにしてもよい。

また、上記実施形態およびその変形例においては、図１０に示されるように、診断不能領域抽出部６３において白色光画像Ｇ１から診断不能領域Ｅが抽出された場合に当該白色光画像Ｇ１を記憶する記憶部６７を備え、画像合成部６５は、診断不能領域Ｅが入力される度に、当該診断不能領域Ｅが抽出された白色光画像Ｇ１を記憶部６７に記憶されている白色光画像Ｇ１と照合し、該当する白色光画像Ｇ１が記憶部６７に存在した場合には、当該診断不能領域Ｅを示すマーカＭの作成を中止する、または、マーカＭを変更するように構成されていてもよい。図１０に例示されている蛍光観察装置１”は、蛍光観察装置１をベースとしている。

ユーザが視野を移動しながら観察対象Ｘを観察する際に、既に確認が済んだ診断不能領域Ｅであるにも関わらず、その診断不能領域Ｅを示すマーカＭがユーザに繰り返し提示されると、ユーザは、煩わしく感じたり同じ診断不能領域Ｅを再度確認したりする可能性がある。そこで、一度報知された診断不能領域Ｅについてはそれ以後報知されないようにすることで、使い勝手を向上することができる。

また、本実施形態においては、診断不能領域抽出部６３の所定の検出限界閾値が、挿入部情報に基づいて設定されるように構成されていてもよい。すなわち、蛍光観察装置が、挿入部２として、挿入部情報を記憶するＩＣチップ（図示略）を有し光源３および／または画像処理部６に着脱可能なものを備え、光源３または画像処理部６がＩＣチップに記憶されている挿入部情報を判別する挿入部判別部（図示略）を備えていてもよい。挿入部情報としては、各挿入部２に対応した観察対象Ｘの部位や、蛍光物質の種類、各光学系の仕様などに係る情報等が挙げられる。

この場合、挿入部２が光源３または画像処理部６に接続されると、挿入部判別部がＩＣチップに記憶されている挿入部情報を読み出してその挿入部情報を診断不能領域抽出部６３に送る。診断不能領域抽出部６３は、挿入部情報と所定の検出限界閾値とを対応付けたテーブルを保持しており、挿入部判別部から入力された挿入部情報に対応する検出限界閾値を選択して設定する。
このようにすることで、ユーザが使用する挿入部２に応じて検出限界閾値を設定する必要が無く、使い勝手を向上することができる。

次に、蛍光観察装置１と、該蛍光観察装置１により用いられる検出限界閾値を較正する較正装置１０とを備える蛍光観察システムについて、図１１および図１２を参照して説明する。
本実施形態に係る較正装置１０は、図１１に示されるように、挿入部２を固定するホルダ１１と、該ホルダ１１に固定された挿入部２の先端２ａに対して観察距離Ｄをあけて対向させられる標準試料１２と、挿入部２の先端２ａと標準試料１２との間の観察距離Ｄを変更するステージ（光強度調節部）１３と、該ステージ１３を制御する制御部１４と、各観察距離Ｄで撮影された白色光画像Ｇ１および蛍光画像Ｇ２の輝度値に基づいて検出限界閾値を決定する閾値決定部１５とを備えている。

標準試料１２は、挿入部２の先端２ａに対向配置される観察面においては均一な構造を有し、その観察面全体にわたって白色光を均一に反射し、また、均一に蛍光を発生するように構成されている。

制御部１４は、ステージ１３を駆動させることにより観察距離Ｄを段階的に変更し、変更する度に観察距離Ｄを閾値決定部１５に出力する。閾値決定部１５は、制御部１４から観察距離Ｄを受け取ると、その観察距離Ｄの条件で生成された白色光画像Ｇ１および蛍光画像Ｇ２を白色光画像生成部６１および蛍光画像生成部６２から受け取る。

これにより、閾値決定部１５は、観察距離Ｄと、白色光画像Ｇ１の輝度値および蛍光画像Ｇ２の輝度値とが対応付けられたデータを得る。図１２は、閾値決定部１５が得た、観察距離Ｄと白色光画像Ｇ１の輝度値Ｖｗおよび蛍光画像Ｇ２の輝度値Ｖｆとの関係を示すグラフを示している。

図１２に示されるように、白色光画像Ｇ１の輝度値Ｖｗおよび蛍光画像Ｇ２の輝度値Ｖｆはともに、観察距離Ｄに反比例して変化する。ここで、十分な強度を有する白色光を撮影した白色光画像Ｇ１は、観察距離Ｄが十分に大きい範囲においても十分な輝度値Ｖｗを有する。一方、白色光に比べて微弱な蛍光を撮影した蛍光画像Ｇ２は、白色光が十分な強度を有している観察距離Ｄの範囲において蛍光の強度が撮像素子５６の検出限界Ｌｉｍを下回ることにより、輝度値Ｖｆが一定のレベルとなる。閾値決定部１５は、蛍光画像Ｇ２の輝度値Ｖｆが立ち上がる観察距離Ｄにおける、白色光画像Ｇ１の輝度値Ｖｗを検出限界閾値Ｔｈに決定し、決定した検出限界閾値Ｔｈを診断不能領域抽出部６３に設定する。

なお、本実施形態に係る較正装置１０においては、制御部１４が、ステージ１３を制御して観察距離Ｄを変更することに代えて、光源（光強度調節部）３を制御して標準試料１２に照射する白色光および励起光の強度を変更してもよい。
このようにしても、図１２に示されるような白色光画像の輝度値Ｖｗと蛍光画像の輝度値Ｖｆとの関係が得られ、同様にして検出限界閾値Ｔｈを決定することができる。

１ 蛍光観察装置
２ 挿入部
２ａ 先端
３ 光源（光強度調節部）
３１ キセノンランプ
３２ フィルタ
３３ カップリングレンズ
４ 照明ユニット
４１ ライトガイドファイバ
４２ 照明光学系
５ 撮像ユニット
５１ 対物レンズ
５２ ダイクロイックミラー
５３，５４ 集光レンズ
５５，５６ 撮像素子
５７ 励起光カットフィルタ
６ 画像処理部
６１ 白色光画像生成部（参照画像生成部）
６２ 蛍光画像生成部
６３ 診断不能領域抽出部（判別部、抽出部）
６４ 蛍光領域抽出部
６５ 画像合成部（報知部）
６６ 色相識別部
６７ 記憶部
７ 表示部
１０ 較正装置
１１ ホルダ
１２ 標準試料
１３ ステージ（光強度調節部）
１４ 制御部
１５ 閾値決定部
Ｘ 観察対象
Ｇ１ 白色光画像（参照画像）
Ｇ２ 蛍光画像
Ｇ 合成画像
Ｅ 診断不能領域
Ｆ 蛍光領域
Ｍ マーカ

Claims (8)

1. 観察対象に参照光および励起光を照射する光源と、
   該光源からの前記励起光の照射により前記観察対象において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、
   前記光源からの前記参照光の照射により前記観察対象から戻る戻り光を撮影し参照画像を生成する参照画像生成部と、
   該参照画像生成部により生成された前記参照画像に前記蛍光画像生成部により生成された前記蛍光画像を重畳することにより合成画像を生成する画像合成部と、
   前記参照画像生成部により生成された前記参照画像内の各位置における輝度値を所定の閾値と比較し、前記輝度値が前記所定の閾値以下である位置の有無を判別する判別部と、
   該判別部によって輝度値が前記所定の閾値以下である位置が存在すると判別された場合に、その存在を報知する報知部とを備え、
   前記蛍光画像生成部が、前記蛍光を撮影する撮像素子を備え、
   前記判別部が、前記撮像素子の前記蛍光に対する検出限界と一致する蛍光の強度に対応する強度を有する前記戻り光を撮影したときの前記参照画像の輝度値である検出限界閾値を前記所定の閾値として有する蛍光観察装置。
2. 観察対象に参照光および励起光を照射する光源と、
   該光源からの前記励起光の照射により前記観察対象において発生した蛍光を撮影し蛍光画像を生成する蛍光画像生成部と、
   前記光源からの前記参照光の照射により前記観察対象から戻る戻り光を撮影し参照画像を生成する参照画像生成部と、
   該参照画像生成部により生成された前記参照画像に前記蛍光画像生成部により生成された前記蛍光画像を重畳することにより合成画像を生成する画像合成部と、
   前記参照画像生成部により生成された前記参照画像内の各位置における輝度値を所定の閾値と比較し、前記輝度値が前記所定の閾値以下である位置の有無を判別する判別部と、
   該判別部によって輝度値が前記所定の閾値以下である位置が存在すると判別された場合に、その存在を報知する報知部と、
   前記参照画像生成部により生成された前記参照画像内の前記各位置における色相を識別する色相識別部とを備え、
   前記画像合成部が、前記蛍光画像に所定の色相を付して前記蛍光画像を前記参照画像に重畳し、
   前記判別部が、前記所定の色相と前記色相識別部により識別された色相とのコントラストに応じて前記参照画像内の各位置に対して視認限界閾値を前記所定の閾値として設定する蛍光観察装置。
3. 前記判別部によって前記輝度値が前記所定の閾値以下であると判別された位置を抽出する抽出部を備え、
   前記報知部が、前記抽出部により抽出された位置を報知する請求項１または請求項２に記載の蛍光観察装置。
4. 前記報知部が、前記抽出部により抽出された位置を示すマーカを前記合成画像に表示させる請求項３に記載の蛍光観察装置。
5. 前記判別部が、前記所定の閾値未満の複数の閾値を有し、
   前記報知部は、前記判別部によって前記所定の閾値以下であると判別された前記各位置の輝度値が、前記複数の閾値によって区分される複数の範囲のうちいずれの範囲に該当するかに応じて、異なる表示態様の前記マーカを前記合成画像に表示させる請求項４に記載の蛍光観察装置。
6. 前記報知部が、出力する音を変化させることにより前記存在を報知する請求項１または請求項２に記載の蛍光観察装置。
7. 前記判別部によって前記輝度値が前記所定の閾値以下であると判別された前記参照画像内の位置を当該参照画像と対応付けて記憶する記憶部を備え、
   前記報知部が、判別部によって輝度値が前記所定の閾値以下である位置が存在すると判別された参照画像を前記記憶部に記憶されている参照画像と照合し、該当する参照画像が前記記憶部に記憶されている場合に、報知を中止する請求項１から請求項６のいずれかに記載の蛍光観察装置。
8. 請求項１に記載の蛍光観察装置と、
   前記判別部において用いられる前記検出限界閾値を較正する較正装置とを備え、
   該較正装置が、
   前記光源からの前記励起光および参照光の照射により蛍光および戻り光を発生する標準試料と、
   該標準試料に照射される前記励起光および参照光の強度を変化させる光強度調節部と、
   該光強度調節部により異なる強度の前記励起光および参照光が前記標準試料に照射されたときの前記蛍光および戻り光を撮影することにより作成された複数の前記参照画像および前記蛍光画像の輝度値の関係に基づいて前記検出限界閾値を決定して該検出限界閾値を前記判別部に設定する閾値決定部とを備える蛍光観察システム。

Images