以下、本発明の実施形態について、図面を参照しつつ説明を行う。
図1から図13は、本発明の実施形態に係るものである。
内視鏡システム1は、例えば、図1に示すように、被検体の体腔内に挿入されるとともに、当該体腔内に存在する生体組織等の被写体を撮像して撮像信号を出力するように構成された内視鏡2と、当該被写体に照射される光を内視鏡2に供給するように構成された光源装置3と、内視鏡2から出力される撮像信号に対して種々の処理を施すことにより観察画像を生成して出力するように構成されたプロセッサ4と、プロセッサ4から出力される観察画像を画面上に表示するように構成された表示装置5と、を有している。図1は、実施形態に係る内視鏡システムの要部の構成を示す図である。
内視鏡2は、例えば、図1に示すように、被検体の体腔内に挿入可能な細長形状に形成された挿入部21と、挿入部21の基端側に設けられた操作部22と、を有して構成されている。また、内視鏡2は、ライトガイドケーブル27を介し、光源装置3に対して着脱可能な構成を具備している。また、内視鏡2は、操作部22から延設された信号ケーブル28を介し、プロセッサ4に対して着脱可能な構成を具備している。
挿入部21及びライトガイドケーブル27の内部には、光源装置3から供給される光を伝送するためのライトガイド11が挿通されている。
ライトガイド11の出射端部は、図1に示すように、挿入部21の先端部における照明レンズ12の近傍に配置されている。また、ライトガイド11の入射端部は、図1に示すように、ライトガイドケーブル27を介して内視鏡2に接続されている光源装置3における集光レンズ32の近傍に配置されている。
挿入部21の先端部には、ライトガイド11により伝送された光を外部へ出射するための照明レンズ12と、外部から入射される光を受光するための対物レンズ13と、が設けられている。また、挿入部21の先端部には、撮像素子14と、対物レンズ13から撮像素子14に至るまでの光路上に配置された励起光カットフィルタ15と、が設けられている。
撮像素子14は、例えば、原色系または補色系のカラーフィルタを撮像面に取り付けたカラーCMOSイメージセンサを具備し、プロセッサ4から出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子14は、励起光カットフィルタ15を透過した光を撮像して撮像信号を生成するとともに、当該生成した撮像信号をプロセッサ4へ出力するように構成されている。
励起光カットフィルタ15は、例えば、対物レンズ13を経て出射される光に含まれる各波長帯域のうち、励起光EXA(後述)と同じ波長帯域を遮断するとともに、励起光EXAと異なる波長帯域を透過させるような光学特性を具備して形成されている。すなわち、励起光カットフィルタ15は、励起光EXAの照射に応じて蛍光薬剤から発せられる蛍光FLA(後述)を透過させるような光学特性を具備して形成されている。
すなわち、本実施形態の撮像部は、撮像素子14と、励起光カットフィルタ15と、を有して構成されている。
操作部22は、挿入部21の基端側に設けられているとともに、術者等のユーザが把持可能な形状を具備して形成されている。また、操作部22には、例えば、ユーザの操作に応じた種々の指示をプロセッサ4に対して行うことが可能な1つ以上のスイッチであるスコープスイッチ(不図示)が設けられている。
光源装置3は、例えば、図1に示すように、発光部31と、集光レンズ32と、光源駆動部33と、を有して構成されている。
発光部31は、白色光源51と、励起光源52と、ダイクロイックミラー53と、を有して構成されている。
白色光源51は、例えば、キセノンランプ、白色LED、または、赤色、緑色及び青色の3色のLEDのいずれかを具備して構成されている。また、白色光源51は、光源駆動部33から出力される光源駆動信号に応じ、例えば、赤色域、緑色域及び青色域の各波長帯域を含む光である白色光WLAを発生するように構成されている。なお、本実施形態においては、白色光源51の代わりに、例えば、少なくとも青色域から近赤外域までの波長帯域を具備する光である広帯域光を発するランプを具備して構成された広帯域光源と、当該広帯域光に含まれる各波長帯域のうちの白色光WLAの波長帯域と同じ波長帯域を透過させつつ他の波長帯域を遮断するような光学特性を具備する光学フィルタと、が光源装置3に設けられていてもよい。
励起光源52は、例えば、LD(レーザダイオード)を具備して構成されている。また、励起光源52は、光源駆動部33から出力される光源駆動信号に応じ、例えば、被検体に投与される所定の蛍光薬剤の励起波長を含む狭帯域な光である励起光EXAを発生するように構成されている。なお、以降においては、特に言及の無い限り、被検体に投与される蛍光薬剤がICG(インドシアニングリーン)であり、励起光EXAがICGの励起波長を含む狭帯域な近赤外光であり、かつ、励起光EXAよりも長波長側の波長帯域に属する近赤外光である蛍光FLAがICGから発せられるものとして説明を行う。
ダイクロイックミラー53は、例えば、白色光源51から発せられる白色光WLAを透過させて集光レンズ32側へ出射するとともに、励起光源52から発せられる励起光EXAを反射して集光レンズ32側へ出射するような光学特性を具備して構成されている。
すなわち、発光部31は、光源駆動部33から出力される駆動信号に応じて白色光源51を発光させることにより、白色光WLAを発生することができるように構成されている。また、発光部31は、光源駆動部33から出力される駆動信号に応じて励起光源52を発光させることにより、励起光EXAを発生することができるように構成されている。また、発光部31は、白色光WLA及び励起光EXAを集光レンズ32へ出射することができるように構成されている。
集光レンズ32は、発光部31から出射される光を集光してライトガイド11の入射端部へ出射するように構成されている。
光源駆動部33は、プロセッサ4から出力される制御信号に基づき、白色光源51及び励起光源52を駆動させるための光源駆動信号を生成して発光部31へ出力するように構成されている。
すなわち、光源装置3は、被検体に投与される蛍光薬剤を励起させるための励起光EXAと、当該被検体の体腔内を照明するための照明光である白色光WLAと、を発することができるように構成されている。
プロセッサ4は、例えば、図1に示すように、撮像素子駆動部41と、セレクタ42と、白色光画像生成部43と、蛍光画像生成部44と、重畳画像生成部45と、混合画像生成部46と、入力I/F(インターフェース)47と、制御部48と、を有して構成されている。なお、本実施形態によれば、例えば、プロセッサ4の各部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable
Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。
撮像素子駆動部41は、制御部48から出力される制御信号に基づき、撮像素子14を駆動させるための撮像素子駆動信号を生成して出力するように構成されている。
セレクタ42は、制御部48から出力される制御信号に基づき、内視鏡2から出力される撮像信号の出力先を白色光画像生成部43または蛍光画像生成部44のいずれかに設定するための動作を行うように構成されている。
白色光画像生成部43は、セレクタ42を経て出力される撮像信号に基づいて白色光画像WIAを生成するとともに、当該生成した白色光画像WIAを重畳画像生成部45及び混合画像生成部46の各々へ出力するように構成されている。すなわち、白色光画像生成部43は、撮像素子14により撮像された白色光WLAの反射光に応じた画像である白色光画像WIAを生成するように構成されている。
蛍光画像生成部44は、セレクタ42を経て出力される撮像信号に基づいて蛍光画像FIAを生成するとともに、当該生成した蛍光画像FIAを重畳画像生成部45へ出力するように構成されている。すなわち、蛍光画像生成部44は、撮像素子14により撮像された蛍光FLAに応じた画像である蛍光画像FIAを生成するように構成されている。
重畳画像生成部45は、制御部48から出力される制御信号に応じた動作を行うことができるように構成されている。また、重畳画像生成部45は、白色光画像生成部43から出力される白色光画像WIAと、蛍光画像生成部44から出力される蛍光画像FIAと、を重畳するための処理を行うことにより重畳画像SIAを生成し、当該生成した重畳画像SIAを混合画像生成部46へ出力するように構成されている。
具体的には、重畳画像生成部45は、例えば、下記数式(1)を用い、白色光画像生成部43から出力される白色光画像WIAの一の画素位置における画素WPの画素値と、蛍光画像生成部44から出力される蛍光画像FIAの当該一の画素位置における画素FPの画素値と、を重畳することにより、重畳画像SIAの当該一の画素位置における画素SPの画素値を得るような処理を画像全域で行う。
なお、下記数式(1)において、Riは画素WPの赤色成分の輝度値を表し、Giは画素WPの緑色成分の輝度値を表し、Biは画素WPの青色成分の輝度値を表し、Fiは画素FPの(蛍光成分の)輝度値を表し、Roは画素SPの赤色成分の輝度値を表し、Goは画素SPの緑色成分の輝度値を表し、Boは画素SPの青色成分の輝度値を表すものとする。また、下記数式(1)のα、β及びγは、重畳画像SIAに含まれる蛍光FLAの発生箇所の色調を規定するための重み係数を表し、例えば、重畳画像生成部45において予め設定された固定値であってもよく、または、制御部48からの制御信号に応じて設定される可変値であってもよい。
すなわち、重畳画像生成部45は、内視鏡2により撮像された被写体における蛍光FLAの発生箇所を示す画像である重畳画像SIAを生成するように構成されている。
混合画像生成部46は、制御部48から出力される制御信号に基づき、白色光画像生成部43から出力される白色光画像WIAの一部と、重畳画像生成部45から出力される重畳画像SIAの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置5へ出力するように構成されている。なお、混合画像生成部46において行われる処理の詳細については、後程説明する。
入力I/F47は、ユーザの操作に応じた指示を行うことが可能な1つ以上のスイッチ及び/またはボタンを具備して構成されている。
制御部48は、入力I/F47からの指示に応じた動作を行わせるための制御信号を生成して光源駆動部33、重畳画像生成部45及び混合画像生成部46へそれぞれ出力することができるように構成されている。また、制御部48は、内視鏡システム1の各部の制御を行う際に用いられる制御情報が格納されたメモリ49を具備して構成されている。
制御部48は、発光部31における白色光WLA及び励起光EXAの発生タイミングと、撮像素子14における撮像動作と、プロセッサ4に入力される撮像信号の出力先と、を同期させるための制御信号を生成して光源駆動部33、撮像素子駆動部41及びセレクタ42へそれぞれ出力するように構成されている。
制御部48は、メモリ49から読み込んだ制御情報に応じ、白色光画像WIAに含まれる画素WP及び重畳画像SIAに含まれる画素SPを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部46へ出力するように構成されている。
次に、本実施形態の内視鏡システム1の動作等について説明する。なお、以降においては、被検体の体腔内に存在する所望の被写体の蛍光観察が行われる前に、当該所望の被写体にICG(蛍光薬剤)が予め投与されているものとして説明を進める。また、以降においては、簡単のため、白色光WLAが照射された被写体を撮像して得られる白色光画像WIAを観察画像として表示装置5に表示させるような観察手法である、白色光観察に関する説明を省略するものとする。
まず、ユーザは、内視鏡システム1の各部を接続して電源を投入した後、例えば、入力I/F47の蛍光観察開始スイッチ(不図示)を操作することにより、被写体の蛍光観察を開始させるための指示を制御部48に対して行う。また、ユーザは、挿入部21を被検体の体腔内に挿入してゆくことにより、当該体腔内に存在する所望の被写体の近傍に挿入部21の先端部を配置する。
制御部48は、プロセッサ4の電源が投入された際に、メモリ49から制御情報を読み込むとともに、当該読み込んだ制御情報に応じ、白色光画像WIAに含まれる画素WP及び重畳画像SIAに含まれる画素SPを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部46へ出力する。
具体的には、制御部48は、例えば、白色光画像WIAに含まれる各画素の中から、相互に重複せずかつ周期性を有する一組の画素配列のうちの第1の画素配列に該当する位置に存在する複数の画素WPである画素群WGAを抽出させるとともに、重畳画像SIAに含まれる各画素の中から、前述の一組の画素配列のうちの第2の画素配列に該当する位置に存在する複数の画素SPである画素群SGAを抽出させるための制御信号を生成して混合画像生成部46へ出力する。
制御部48は、プロセッサ4の電源が投入され、かつ、入力I/F47の蛍光観察開始スイッチからの指示を検知した際に、発光部31における白色光WLA及び励起光EXAの発生タイミングと、撮像素子14における撮像動作と、プロセッサ4に入力される撮像信号の出力先と、を同期させるための制御信号を生成して光源駆動部33、撮像素子駆動部41及びセレクタ42へそれぞれ出力する。
具体的には、制御部48は、例えば、ローリングシャッタ方式の撮像動作を撮像素子14に行わせるための制御信号を生成して撮像素子駆動部41へ出力する。また、制御部48は、例えば、ローリングシャッタ方式の撮像動作において撮像素子14の全ラインで読み出しが行われない期間であるブランキング期間毎に、光量AL1の白色光WLA及び当該光量AL1の励起光EXAを交互に(時分割に)発生させるための制御信号を生成して光源駆動部33へ出力する。また、制御部48は、例えば、白色光WLAの発生時にプロセッサ4に入力される撮像信号の出力先を白色光画像生成部43に設定するとともに、励起光EXAの発生時にプロセッサ4に入力される撮像信号の出力先を蛍光画像生成部44に設定するための制御信号を生成してセレクタ42へ出力する。
そして、前述のような制御部48の制御によれば、例えば、撮像素子14の第1のブランキング期間において白色光WLAが被写体に照射され、当該被写体から発生する戻り光である白色光WLAの反射光が撮像素子14により撮像され、撮像素子14により生成された撮像信号がセレクタ42を経て白色光画像生成部43へ出力され、当該撮像信号に基づいて生成された白色光画像WIAが重畳画像生成部45及び混合画像生成部46の各々へ出力される。
また、前述のような制御部48の制御によれば、例えば、前述の第1のブランキング期間とは異なる撮像素子14の第2のブランキング期間において励起光EXAが被写体に照射され、当該被写体から発生する戻り光に含まれる蛍光FLAが撮像素子14により撮像され、撮像素子14により生成された撮像信号がセレクタ42を経て蛍光画像生成部44へ出力され、当該撮像信号に基づいて生成された蛍光画像FIAが重畳画像生成部45へ出力される。
重畳画像生成部45は、例えば、上記数式(1)の係数α、β及びγをα=γ=0かつβ=1に設定した状態において、白色光画像生成部43から出力される白色光画像WIAと、蛍光画像生成部44から出力される蛍光画像FIAと、を重畳するための処理を行うことにより重畳画像SIAを生成し、当該生成した重畳画像SIAを混合画像生成部46へ出力する。すなわち、このような重畳画像生成部45の動作によれば、内視鏡2により撮像された被写体における蛍光FLAの発生箇所が緑色で示されるような重畳画像SIAが混合画像生成部46へ出力される。
混合画像生成部46は、制御部48から出力される制御信号に基づき、白色光画像生成部43から出力される白色光画像WIAの一部と、重畳画像生成部45から出力される重畳画像SIAの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置5へ出力する。
具体的には、混合画像生成部46は、制御部48から出力される制御信号に基づき、例えば、第1の市松状の画素配列に則って画素群WGAを抽出し、当該第1の市松状の画素配列に重複しない第2の市松状の画素配列に則って画素群SGAを抽出し、当該抽出した画素群WGA及びSGAを混合することにより観察画像を生成し、当該生成した観察画像を表示装置5へ出力する。そして、このような動作が混合画像生成部46において行われることにより、例えば、図2に示すように、画素WPと画素SPとが1画素毎に交互に配置され、かつ、画素WPの画素数と画素SPの画素数とが同数になるような観察画像が生成される。また、前述のような動作が混合画像生成部46において行われる場合には、メモリ49に格納される制御情報の中に、第1の市松状の画素配列に則って画素群WGAを抽出させるとともに、当該第1の市松状の画素配列に重複しない第2の市松状の画素配列に則って画素群SGAを抽出させるための情報が含まれる。図2は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
以上に述べたように、本実施形態の内視鏡システム1によれば、白色光画像WIAに含まれる生体組織の凹凸等の構造を示す情報を極力残しつつ、重畳画像SIAに含まれる蛍光FLAの発生箇所を示す情報を付与した観察画像を表示装置5に表示させることができる。そのため、本実施形態によれば、生体組織から発せられる蛍光を観察する際に、当該蛍光の発生箇所における当該生体組織の構造を従来よりも容易に把握させることができる。
なお、本実施形態によれば、内視鏡システム1の構成を適宜変形することにより、ICG以外の他の蛍光薬剤に対応させるようにしてもよい。
具体的には、例えば、被検体に投与される蛍光薬剤がフルオレセインである場合には、フルオレセインの励起波長を含む狭帯域な青色光が励起光EXBとして励起光源52から発せられ、白色光WLAを透過させつつ励起光EXBを反射するようなハーフミラーがダイクロイックミラー53の代わりに設けられ、励起光EXBと同じ波長帯域の光が励起光カットフィルタ15において遮断され、かつ、励起光EXBの照射に応じてフルオレセインから発せられる緑色光である蛍光FLBを含む可視域の光が励起光カットフィルタ15を透過するようにすればよい。
また、本実施形態によれば、相互に重複せずかつ周期性を有する一組の画素配列である限りにおいては、メモリ49に格納される制御情報の中に、前述の市松状の画素配列以外の他の画素配列に則って画素群WGA及びSGAを抽出させるための情報が含まれていてもよい。
具体的には、本実施形態によれば、メモリ49に格納される制御情報の中に、例えば、白色光画像WIAを2×2画素の小領域に分割した際の各領域の右上に存在する画素WPを画素群WGAに属する画素として抽出させるとともに、重畳画像SIAを2×2画素の小領域に分割した際の各領域の右上以外に存在する各画素SPを画素群SGAに属する画素として抽出させるための情報が含まれていてもよい。そして、このような一組の画素配列に則って混合画像生成部46が画素群WGA及びSGAを抽出した場合には、例えば、図3に示すように、画素SPと画素WPとが水平方向の奇数番目のラインに交互に配置され、画素SPのみが水平方向の偶数番目のラインに配置され、かつ、画素SPの画素数が画素WPの画素数の3倍になるような観察画像が生成される。図3は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
また、本実施形態によれば、メモリ49に格納される制御情報の中に、例えば、第1の縦縞状の画素配列に則って画素群WGAを抽出させるとともに、当該第1の縦縞状の画素配列に重複しない第2の縦縞状の画素配列に則って画素群SGAを抽出させるための情報が含まれていてもよい。そして、このような一組の画素配列に則って混合画像生成部46が画素群WGA及びSGAを抽出した場合には、例えば、図4に示すように、画素SPのみが垂直方向の奇数番目のラインに配置され、画素WPのみが垂直方向の偶数番目のラインに配置され、かつ、画素WPの画素数と画素SPの画素数とが同数になるような観察画像が生成される。図4は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
また、本実施形態によれば、メモリ49に格納される制御情報の中に、例えば、第1の横縞状の画素配列に則って画素群WGAを抽出させるとともに、当該第1の横縞状の画素配列に重複しない第2の横縞状の画素配列に則って画素群SGAを抽出させるための情報が含まれていてもよい。そして、このような一組の画素配列に則って混合画像生成部46が画素群WGA及びSGAを抽出した場合には、例えば、図5に示すように、画素WPのみが水平方向の奇数番目のラインに配置され、画素SPのみが水平方向の偶数番目のラインに配置され、かつ、画素WPの画素数と画素SPの画素数とが同数になるような観察画像が生成される。図5は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
また、本実施形態によれば、メモリ49に格納される制御情報の中に、例えば、重畳画像SIAを2×2画素の小領域に分割した際の各領域の右下に存在する画素SPを画素群SGAに属する画素として抽出させるとともに、白色光画像WIAを2×2画素の小領域に分割した際の各領域の右下以外に存在する各画素WPを画素群WGAに属する画素として抽出させるための情報が含まれていてもよい。そして、このような一組の画素配列に則って混合画像生成部46が画素群WGA及びSGAを抽出した場合には、例えば、図6に示すように、画素WPのみが水平方向の奇数番目のラインに配置され、画素WPと画素SPとが水平方向の偶数番目のラインに交互に配置され、かつ、画素WPの画素数が画素SPの画素数の3倍になるような観察画像が生成される。図6は、実施形態に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
また、本実施形態によれば、例えば、メモリ49に格納される制御情報の中に、混合画像生成部46による観察画像の生成に用いられる二組以上の画素配列を示す情報が含まれている場合に、当該二組以上の画素配列のうちの一組の画素配列に応じた所望の観察画像を表示させるための指示が入力I/F47において行われるとともに、当該一組の画素配列に則って画素群WGA及びSGAを抽出させるための制御信号が制御部48から混合画像生成部46へ出力されるようにしてもよい。
そして、前述のような構成によれば、例えば、生体組織の構造の視認性よりも蛍光FLAの発生箇所の視認性を重視した観察画像を表示させるための指示が入力I/F47において行われた際に、図3に示したような画素配列を具備する観察画像を生成して表示装置5に表示させることができる。また、前述のような構成によれば、例えば、蛍光FLAの発生箇所の視認性よりも生体組織の構造の視認性を重視した観察画像を表示させるための指示が入力I/F47において行われた際に、図6に示したような画素配列を具備する観察画像を生成して表示装置5に表示させることができる。また、生体組織の構造と蛍光FLAの発生箇所との間の視認性のバランスを重視した観察画像を表示させるための指示が入力I/F47において行われた際に、図2、図4または図5のいずれかに示したような画素配列を具備する観察画像を生成して表示装置5に表示させることができる。
また、本実施形態によれば、例えば、制御部48が、画素WPと画素SPとが異なる画素数になるように画素群WGA及びSGAを抽出させるための制御信号を混合画像生成部46へ出力する際に、上記数式(1)のβの値を画素数の差に応じた値に設定させるための制御信号を重畳画像生成部45へ出力するようにしてもよい。
具体的には、制御部48は、例えば、画素SPの画素数が画素WPの画素数の3倍になるように画素群WGA及びSGAを抽出させるための制御信号を混合画像生成部46へ出力する際に、上記数式(1)のβの値を1/3に設定させるための制御信号を重畳画像生成部45へ出力するようにしてもよい。そして、このような制御部48の制御によれば、重畳画像生成部45が上記数式(1)を用いて重畳画像SIAを生成する際に、蛍光画像FIAに対して適用される重み係数β(=1/3)が、白色光画像WIAに対して適用される重み係数(=1)の1/3倍に設定される。
また、制御部48は、例えば、画素WPの画素数が画素SPの画素数の3倍になるように画素群WGA及びSGAを抽出させるための制御信号を混合画像生成部46へ出力する際に、上記数式(1)のβの値を3に設定させるための制御信号を重畳画像生成部45へ出力するようにしてもよい。そして、このような制御部48の制御によれば、重畳画像生成部45が上記数式(1)を用いて重畳画像SIAを生成する際に、蛍光画像FIAに対して適用される重み係数β(=3)が、白色光画像WIAに対して適用される重み係数(=1)の3倍に設定される。
また、本実施形態によれば、例えば、制御部48が、画素WPと画素SPとが異なる画素数になるように画素群WGA及びSGAを抽出させるための制御信号を混合画像生成部46へ出力する際に、白色光WLAの光量と励起光EXAの光量とを画素数の差に応じた光量に設定させるための制御信号を光源駆動部33へ出力するようにしてもよい。
具体的には、制御部48は、例えば、画素SPの画素数が画素WPの画素数の3倍になるように画素群WGA及びSGAを抽出させるための制御信号を混合画像生成部46へ出力する際に、白色光WLAの光量を励起光EXAの光量の3倍にするための制御信号を光源駆動部33へ出力するようにしてもよい。そして、このような制御部48の制御によれば、発光部31から発せられる励起光EXAの光量が光量AL2に設定されるともに、発光部31から発せられる白色光WLAの光量が当該光量AL2の3倍の光量である光量AL3に設定される。
また、制御部48は、例えば、画素WPの画素数が画素SPの画素数の3倍になるように画素群WGA及びSGAを抽出させるための制御信号を混合画像生成部46へ出力する際に、励起光EXAの光量を白色光WLAの光量の3倍にするための制御信号を光源駆動部33へ出力するようにしてもよい。そして、このような制御部48の制御によれば、発光部31から発せられる白色光WLAの光量が光量AL4に設定されるともに、発光部31から発せられる励起光EXAの光量が当該光量AL4の3倍の光量である光量AL5に設定される。
また、本実施形態によれば、例えば、画素群WGA及びSGAの抽出に用いられる一組の画素配列が、被検体に対して施される手術の種類及び/または被検体に投与される蛍光薬剤の種類に応じて決定されるようにしてもよい。
具体的には、例えば、メモリ49に格納される制御情報の中に、被検体に対して施される手術の種類及び/または被検体に投与される蛍光薬剤の種類と、画素群WGA及びSGAの抽出に用いられる画素配列と、が関連付けられた複数の初期設定を示す情報が含まれている場合に、手術の種類及び/または蛍光薬剤の種類を選択する旨の指示が入力I/F47において行われるとともに、当該指示に対応する初期設定に含まれる一組の画素配列を用いて画素群WGA及びSGAを抽出させるための制御信号が制御部48から混合画像生成部46へ出力されるようにしてもよい。そして、このような構成によれば、例えば、ICGを蛍光薬剤として選択する旨の指示が入力I/F47において行われた際に、当該指示に対応する初期設定に応じ、第1の市松状の画素配列に則って画素群WGAを抽出させるとともに、当該第1の市松状の画素配列に重複しない第2の市松状の画素配列に則って画素群SGAを抽出させるための制御信号が制御部48から混合画像生成部46へ出力される。
また、本実施形態によれば、例えば、混合画像生成部46が重畳画像生成部45の機能を含んだ構成にしてもよい。
具体的には、混合画像生成部46は、制御部48から出力される制御信号に基づき、例えば、第1の市松状の画素配列に則った画素では上記数式(1)の係数α、β及びγをいずれも0として画素群WGAを生成し、当該第1の市松状の画素配列に重複しない第2の市松状の画素配列に則った画素では、α=γ=0、β=1とすることで画素群SGAを生成できる。このようにして画素群WGA及びSGAを混合した観察画像を生成し、当該生成した観察画像を表示装置5へ出力する。
また、本実施形態によれば、例えば、図7に示すように、白色光画像生成部43から出力される白色光画像WIAの輪郭を強調するための輪郭強調処理を行うとともに、当該輪郭強調処理を施した白色光画像WIAを混合画像生成部46へ出力するように構成された輪郭強調処理部61がさらに(プロセッサ4に)設けられていてもよい。なお、このような場合においては、白色光画像生成部43から出力される白色光画像WIAに含まれる画素WPに対し、例えば、図8に示すような、3×3画素のサイズの鮮鋭化フィルタである空間フィルタSFAを適用するような輪郭強調処理が輪郭強調処理部61において行われるようにすればよい。図7は、輪郭強調処理部による輪郭強調処理が施された白色光画像を用いて観察画像を生成する際の構成の一例を示す図である。図8は、図7の輪郭強調処理部による輪郭強調処理において利用可能な空間フィルタの一例を示す図である。
また、本実施形態によれば、例えば、図9に示すように、混合画像生成部46から出力される観察画像の輪郭を強調するための輪郭強調処理を行うとともに、当該輪郭強調処理を施した観察画像を表示装置5へ出力するように構成された輪郭強調処理部62がさらに(プロセッサ4に)設けられていてもよい。なお、このような場合においては、例えば、混合画像生成部46から出力される観察画像に含まれる画素群WGAの各画素WPに対し、例えば、図10に示すような、5×5画素のサイズの鮮鋭化フィルタである空間フィルタSFBを適用するような輪郭強調処理が輪郭強調処理部62において行われるようにすればよい。但し、図10の空間フィルタSFBを用いた輪郭強調処理は、図2に例示したような、市松状の画素配列に則って抽出された画素群WGAを具備する観察画像に対して施されることが望ましい。図9は、輪郭強調処理部による輪郭強調処理を観察画像に対して直接施す際の構成の一例を示す図である。図10は、図9の輪郭強調処理部による輪郭強調処理において利用可能な空間フィルタの一例を示す図である。
一方、本実施形態は、図1に示したような内視鏡システム1に対して適用されるものに限らず、例えば、図11に示すような内視鏡システム1Aに対しても略同様に適用される。
ここで、本実施形態の第1の変形例に係る内視鏡システム1Aの構成について説明する。なお、以降においては、簡単のため、既述の構成または動作等を適用可能な部分に関する具体的な説明を適宜省略するものとする。
内視鏡システム1Aは、例えば、図11に示すように、被検体の体腔内に挿入されるとともに、当該体腔内に存在する生体組織等の被写体を撮像して撮像信号を出力するように構成された内視鏡2Aと、当該被写体に照射される光を内視鏡2Aに供給するように構成された光源装置3と、内視鏡2Aから出力される撮像信号に対して種々の処理を施すことにより観察画像を生成して出力するように構成されたプロセッサ4Aと、プロセッサ4Aから出力される観察画像を画面上に表示するように構成された表示装置5と、を有している。図11は、実施形態の第1の変形例に係る内視鏡システムの要部の構成を示す図である。
内視鏡2Aは、例えば、図11に示すように、被検体の体腔内に挿入可能な細長形状に形成された挿入部21Aと、挿入部21Aの基端側に設けられた操作部22と、を有して構成されている。
挿入部21Aの内部には、光源装置3から供給される光を伝送するためのライトガイド11が挿通されている。
挿入部21Aの先端部には、照明レンズ12と、対物レンズ13と、が設けられている。また、挿入部21Aの先端部には、撮像素子14A及び14Bと、分光光学系16と、励起光カットフィルタ17と、が設けられている。
撮像素子14Aは、例えば、原色系または補色系のカラーフィルタを撮像面に取り付けたカラーCMOSイメージセンサを具備し、プロセッサ4Aから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子14Aは、分光光学系16を透過した光を撮像して撮像信号を生成するとともに、当該生成した撮像信号をプロセッサ4Aへ出力するように構成されている。
撮像素子14Bは、例えば、モノクロCMOSイメージセンサを具備し、プロセッサ4Aから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子14Bは、分光光学系16により反射されかつ励起光カットフィルタ17を透過した光を撮像して撮像信号を生成するとともに、当該生成した撮像信号をプロセッサ4Aへ出力するように構成されている。
分光光学系16は、例えば、ダイクロイックプリズムを具備して構成されている。また、分光光学系16は、対物レンズ13を経て入射される光のうち、700nm未満の波長帯域の光を撮像素子14A側へ透過させるとともに、700nm以上の波長帯域の光を励起光カットフィルタ17側へ反射するような光学特性を具備して構成されている。
励起光カットフィルタ17は、分光光学系16から撮像素子14Bに至るまでの光路上に配置されている。また、励起光カットフィルタ17は、分光光学系16により反射された光に含まれる各波長帯域のうち、励起光EXAの波長帯域と同じ波長帯域を遮断するとともに、励起光EXAの波長帯域と異なる波長帯域を透過させるような光学特性を具備して形成されている。すなわち、励起光カットフィルタ17は、励起光EXAの照射に応じて蛍光薬剤から発せられる蛍光FLAを透過させるような光学特性を具備して形成されている。
すなわち、本変形例の撮像部は、撮像素子14A及び14Bと、分光光学系16と、励起光カットフィルタ17と、を有して構成されている。
プロセッサ4Aは、例えば、図11に示すように、撮像素子駆動部41Aと、白色光画像生成部43Aと、蛍光画像生成部44Aと、重畳画像生成部45Aと、混合画像生成部46Aと、入力I/F47と、制御部48Aと、を有して構成されている。なお、本変形例によれば、例えば、プロセッサ4Aの各部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。
撮像素子駆動部41Aは、制御部48Aから出力される制御信号に基づき、撮像素子14A及び14Bを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。
白色光画像生成部43Aは、撮像素子14Aから出力される撮像信号に基づいて白色光画像WIAを生成するとともに、当該生成した白色光画像WIAを重畳画像生成部45及び混合画像生成部46の各々へ出力するように構成されている。すなわち、白色光画像生成部43Aは、撮像素子14Aにより撮像された白色光WLAの反射光に応じた画像である白色光画像WIAを生成するように構成されている。
蛍光画像生成部44Aは、撮像素子14Bから出力される撮像信号に基づいて蛍光画像FIAを生成するとともに、当該生成した蛍光画像FIAを重畳画像生成部45へ出力するように構成されている。すなわち、蛍光画像生成部44Aは、撮像素子14Bにより撮像された蛍光FLAの反射光に応じた画像である蛍光画像FIAを生成するように構成されている。
重畳画像生成部45Aは、制御部48Aから出力される制御信号に応じた動作を行うことができるように構成されている。また、重畳画像生成部45Aは、白色光画像生成部43Aから出力される白色光画像WIAと、蛍光画像生成部44Aから出力される蛍光画像FIAと、を重畳するための処理を行うことにより重畳画像SIAを生成し、当該生成した重畳画像SIAを混合画像生成部46Aへ出力するように構成されている。すなわち、重畳画像生成部45Aは、内視鏡2Aにより撮像された被写体における蛍光FLAの発生箇所を示す画像である重畳画像SIAを生成するように構成されている。
混合画像生成部46Aは、制御部48Aから出力される制御信号に基づき、白色光画像生成部43Aから出力される白色光画像WIAの一部と、重畳画像生成部45Aから出力される重畳画像SIAの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置5へ出力するように構成されている。
制御部48Aは、入力I/F47からの指示に応じた動作を行わせるための制御信号を生成して光源駆動部33、重畳画像生成部45A及び混合画像生成部46Aへそれぞれ出力することができるように構成されている。また、制御部48Aは、内視鏡システム1Aの各部の制御を行う際に用いられる制御情報が格納されたメモリ49Aを具備して構成されている。
制御部48Aは、メモリ49Aから読み込んだ制御情報に応じ、白色光画像WIAに含まれる画素WP及び重畳画像SIAに含まれる画素SPを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部46Aへ出力するように構成されている。
なお、本変形例においては、発光部31の代わりに、例えば、少なくとも青色域から近赤外域までの波長帯域を具備する光である広帯域光を発するように構成された広帯域光源と、当該広帯域光に含まれる各波長帯域のうちの白色光WLA及び励起光EXAの波長帯域と同じ波長帯域を透過させつつ他の波長帯域を遮断するような光学特性を具備する光学フィルタと、が光源装置3に設けられていてもよい。
続いて、本変形例の内視鏡システム1Aの動作等について説明する。
まず、ユーザは、内視鏡システム1Aの各部を接続して電源を投入した後、例えば、入力I/F47の蛍光観察開始スイッチを操作することにより、被写体の蛍光観察を開始させるための指示を制御部48Aに対して行う。また、ユーザは、挿入部21Aを被検体の体腔内に挿入してゆくことにより、当該体腔内に存在する所望の被写体の近傍に挿入部21Aの先端部を配置する。
制御部48Aは、プロセッサ4Aの電源が投入された際に、メモリ49Aから制御情報を読み込むとともに、当該読み込んだ制御情報に応じ、白色光画像WIAに含まれる画素WP及び重畳画像SIAに含まれる画素SPを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部46Aへ出力する。
制御部48Aは、プロセッサ4Aの電源が投入され、かつ、入力I/F47の蛍光観察開始スイッチからの指示を検知した際に、ローリングシャッタ方式の撮像動作を撮像素子14A及び14Bに行わせるための制御信号を生成して撮像素子駆動部41Aへ出力するとともに、光量AL1の白色光WLA及び当該光量AL1の励起光EXAを同時に発生させるための制御信号を生成して光源駆動部33へ出力する。
そして、前述のような制御部48Aの制御によれば、白色光WLA及び励起光EXAが同時に被写体に照射され、当該被写体から発生する戻り光に含まれる白色光WLAの反射光が撮像素子14Aにより撮像され、当該戻り光に含まれる蛍光FLAが撮像素子14Bにより撮像される。また、前述のような制御部48Aの制御によれば、撮像素子14Aにより生成された撮像信号が白色光画像生成部43Aへ出力され、撮像素子14Bにより生成された撮像信号が蛍光画像生成部44Aへ出力され、白色光画像生成部43Aにより生成された白色光画像WIAが重畳画像生成部45A及び混合画像生成部46Aへ出力され、蛍光画像生成部44Aにより生成された蛍光画像FIAが重畳画像生成部45Aへ出力される。
重畳画像生成部45Aは、例えば、上記数式(1)の係数α、β及びγをα=γ=0かつβ=1に設定した状態において、白色光画像生成部43Aから出力される白色光画像WIAと、蛍光画像生成部44Aから出力される蛍光画像FIAと、を重畳するための処理を行うことにより重畳画像SIAを生成し、当該生成した重畳画像SIAを混合画像生成部46Aへ出力する。
混合画像生成部46Aは、制御部48Aから出力される制御信号に基づき、白色光画像生成部43Aから出力される白色光画像WIAの一部と、重畳画像生成部45Aから出力される重畳画像SIAの一部と、を混合するための処理を行うことにより、図2に例示したような画素配列を具備する観察画像を生成し、当該生成した観察画像を表示装置5へ出力する。
すなわち、本変形例の内視鏡システム1Aによれば、内視鏡システム1と同様の観察画像を生成して表示装置5に表示させることができる。そのため、本変形例によれば、生体組織から発せられる蛍光を観察する際に、当該蛍光の発生箇所における当該生体組織の構造を従来よりも容易に把握させることができる。
一方、本実施形態は、図1に示した内視鏡システム1に対して適用されるものに限らず、例えば、図12に示すような内視鏡システム1Bに対しても略同様に適用される。
ここで、本実施形態の第2の変形例に係る内視鏡システム1Bの構成について説明する。
内視鏡システム1Bは、例えば、図12に示すように、被検体の体腔内に挿入されるとともに、当該体腔内に存在する生体組織等の被写体を撮像して撮像信号を出力するように構成された内視鏡2Bと、当該被写体に照射される光を内視鏡2Bに供給するように構成された光源装置3Bと、内視鏡2Bから出力される撮像信号に対して種々の処理を施すことにより観察画像を生成して出力するように構成されたプロセッサ4Bと、プロセッサ4Bから出力される観察画像を画面上に表示するように構成された表示装置5と、を有している。図12は、実施形態の第2の変形例に係る内視鏡システムの要部の構成を示す図である。
内視鏡2Bは、細長形状の光学視管21Bと、光学視管21Bの基端部に対して着脱可能なカメラユニット22Bと、を有して構成されている。
光学視管21Bは、被検体の体腔内に挿入可能な挿入部としての機能を具備して構成されている。
光学視管21Bの内部には、光源装置3Bから供給される光を伝送するためのライトガイド11が挿通されている。
光学視管21Bの先端部には、照明レンズ12と、対物レンズ13と、が設けられている。
光学視管21Bの内部には、図12に示すように、対物レンズ13から入射した光を伝送するための複数のレンズLEを具備するリレーレンズ18が設けられている。すなわち、リレーレンズ18は、対物レンズ13から入射した光を伝送する伝送光学系としての機能を具備して構成されている。
光学視管21Bの基端部には、図12に示すように、リレーレンズ18により伝送された光に応じた被写体の光学像を肉眼で観察可能とするための接眼レンズ19が設けられている。
カメラユニット22Bは、撮像部としての機能を具備し、励起光カットフィルタ23と、ダイクロイックプリズム24と、撮像素子25A、25B及び25Cと、を有して構成されている。
励起光カットフィルタ23は、ダイクロイックプリズム24の前面に配置されており、接眼レンズ19を経て出射される光に含まれる各波長帯域のうち、励起光EXAの波長帯域と同じ波長帯域を遮断するとともに、励起光EXAの波長帯域と異なる波長帯域を透過させるような光学特性を具備して形成されている。すなわち、励起光カットフィルタ23は、励起光EXAの照射に応じて蛍光薬剤から発せられる蛍光FLAを透過させるような光学特性を具備して形成されている。
ダイクロイックプリズム24は、励起光カットフィルタ23を経て出射される光を、赤色域〜近赤外域の光と、緑色域の光と、青色域の光と、の3つの波長帯域の光に分離して出射するように構成されている。
撮像素子25Aは、例えば、モノクロCMOSイメージセンサを具備し、プロセッサ4Bから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子25Aは、ダイクロイックプリズム24を経て出射される青色域の光を撮像し、当該撮像した青色域の光に応じた撮像信号を生成して出力するように構成されている。
撮像素子25Bは、例えば、モノクロCMOSイメージセンサを具備し、プロセッサ4Bから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子25Bは、ダイクロイックプリズム24を経て出射される緑色域の光を撮像し、当該撮像した緑色域の光に応じた撮像信号を生成して出力するように構成されている。
撮像素子25Cは、例えば、モノクロCMOSイメージセンサを具備し、プロセッサ4Bから出力される撮像素子駆動信号に応じた撮像動作を行うように構成されている。また、撮像素子25Cは、ダイクロイックプリズム24を経て出射される赤色域〜近赤外域の光を撮像し、当該撮像した赤色域〜近赤外域の光に応じた撮像信号を生成して出力するように構成されている。
光源装置3Bは、例えば、図12に示すように、発光部31Bと、集光レンズ32と、光源駆動部33Bと、を有して構成されている。
発光部31Bは、広帯域光源51Bと、光学フィルタ54と、を有して構成されている。
広帯域光源51Bは、例えば、少なくとも青色域から近赤外域までの波長帯域を具備する光である広帯域光を発するランプを具備して構成されている。また、広帯域光源51Bは、光源駆動部33Bから出力される駆動信号に応じて広帯域光を発するように構成されている。
光学フィルタ54は、広帯域光源51Bから発せられる広帯域光に含まれる各波長帯域のうち、励起光EXAの波長帯域と同じ波長帯域を透過させるとともに、青色域及び緑色域を10%程度の透過率で透過させるような光学特性を具備して形成されている。また、光学フィルタ54は、広帯域光源51Bから発せられる広帯域光に含まれる各波長帯域のうち、青色域、緑色域及び励起光EXAの波長帯域以外の波長帯域を遮断するような光学特性を具備して形成されている。
すなわち、発光部31Bは、光源駆動部33Bから出力される駆動信号に応じて広帯域光源51Bを発光させることにより、青色域及び緑色域の2つの波長帯域を具備する光である参照光RLAと、励起光EXAと、を同時に発生することができるように構成されている。また、発光部31Bは、参照光RLA及び励起光EXAを集光レンズ32へ出射することができるように構成されている。
なお、本変形例の発光部31Bは、例えば、青色光を発する青色LEDと、緑色光を発する緑色LEDと、励起光EXAを発するLDと、を有して構成されていてもよい。または、本変形例の発光部31Bは、例えば、白色光WLAを発する白色LEDと、白色光WLAに含まれる各波長帯域のうちの参照光RLAと同じ波長帯域のみを透過させるような光学特性を具備する光学フィルタと、励起光EXAを発するLDと、を有して構成されていてもよい。または、本変形例の発光部31Bは、広帯域光源51Bと、広帯域光源51Bから発せられる広帯域光に含まれる各波長帯域のうちの青色域及び緑色域を10%程度の透過率で透過させつつ他の波長帯域を遮断するような光学特性を具備する光学フィルタと、励起光EXAを発するLDと、を有して構成されていてもよい。
光源駆動部33Bは、プロセッサ4Bから出力される制御信号に基づき、広帯域光源51Bを駆動させるための光源駆動信号を生成して発光部31Bへ出力するように構成されている。
すなわち、光源装置3Bは、被検体に投与される蛍光薬剤を励起させるための励起光EXAと、当該被検体の体腔内を照明するための照明光である参照光RLAと、を発することができるように構成されている。
プロセッサ4Bは、例えば、図12に示すように、撮像素子駆動部41Bと、参照光画像生成部43Bと、蛍光画像生成部44Bと、混合画像生成部46Bと、入力I/F47と、制御部48Bと、を有して構成されている。なお、本変形例によれば、例えば、プロセッサ4Bの各部が、個々の電子回路として構成されていてもよく、または、FPGA(Field Programmable Gate Array)等の集積回路における回路ブロックとして構成されていてもよい。
撮像素子駆動部41Bは、制御部48Bから出力される制御信号に基づき、撮像素子25A、25B及び25Cを駆動させるための撮像素子駆動信号を生成して出力するように構成されている。
参照光画像生成部43Bは、撮像素子25A及び25Bから出力される撮像信号に基づいて参照光画像RIAを生成するとともに、当該生成した参照光画像RIAを混合画像生成部46Bへ出力するように構成されている。すなわち、参照光画像生成部43Bは、撮像素子25A及び25Bにより撮像された参照光RLAの反射光に応じた画像である参照光画像RIAを生成するように構成されている。また、参照光画像RIAは、撮像素子25Aから出力される撮像信号に応じて得られる青色画像と、撮像素子25Bから出力される撮像信号に応じて得られる緑色画像と、を合成したシアン色の画像として生成される。
蛍光画像生成部44Bは、撮像素子25Cから出力される撮像信号に基づいて蛍光画像FIAを生成するとともに、当該生成した蛍光画像FIAを混合画像生成部46Bへ出力するように構成されている。なお、蛍光画像生成部44Bにより生成される蛍光画像FIAは、内視鏡2により撮像された被写体における蛍光FLAの発生箇所を、参照光画像RIAの色とは異なる色で示すような画像として生成されるものとする。すなわち、蛍光画像生成部44Bは、内視鏡2Bにより撮像された被写体における蛍光FLAの発生箇所を示す画像である蛍光画像FIAを生成するように構成されている。
混合画像生成部46Bは、制御部48Bから出力される制御信号に基づき、参照光画像生成部43Bから出力される参照光画像RIAの一部と、蛍光画像生成部44Bから出力される蛍光画像FIAの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置5へ出力するように構成されている。
制御部48Bは、入力I/F47からの指示に応じた動作を行わせるための制御信号を生成して光源駆動部33B及び混合画像生成部46Bへそれぞれ出力することができるように構成されている。また、制御部48Bは、内視鏡システム1Bの各部の制御を行う際に用いられる制御情報が格納されたメモリ49Bを具備して構成されている。
制御部48Bは、メモリ49Bから読み込んだ制御情報に応じ、参照光画像RIAに含まれる画素RP及び蛍光画像FIAに含まれる画素FPを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部46Bへ出力するように構成されている。
続いて、本変形例の内視鏡システム1Bの動作等について説明する。
まず、ユーザは、内視鏡システム1Bの各部を接続して電源を投入した後、例えば、入力I/F47の蛍光観察開始スイッチを操作することにより、被写体の蛍光観察を開始させるための指示を制御部48Bに対して行う。また、ユーザは、光学視管21Bを被検体の体腔内に挿入してゆくことにより、当該体腔内に存在する所望の被写体の近傍に光学視管21Bの先端部を配置する。
制御部48Bは、プロセッサ4Bの電源が投入された際に、メモリ49Bから制御情報を読み込むとともに、当該読み込んだ制御情報に応じ、参照光画像RIAに含まれる画素RP及び蛍光画像FIAに含まれる画素FPを相互に重複せずかつ周期性を有する一組の画素配列に則って抽出させるための制御信号を生成して混合画像生成部46Bへ出力する。
具体的には、制御部48Bは、例えば、参照光画像RIAに含まれる各画素の中から、相互に重複せずかつ周期性を有する一組の画素配列のうちの第1の画素配列に該当する位置に存在する複数の画素RPである画素群RGAを抽出させるとともに、蛍光画像FIAに含まれる各画素の中から、前述の一組の画素配列のうちの第2の画素配列に該当する位置に存在する複数の画素FPである画素群FGAを抽出させるための制御信号を生成して混合画像生成部46Bへ出力する。
制御部48Bは、プロセッサ4Bの電源が投入され、かつ、入力I/F47の蛍光観察開始スイッチからの指示を検知した際に、ローリングシャッタ方式の撮像動作を撮像素子25A、25B及び25Cに行わせるための制御信号を生成して撮像素子駆動部41Bへ出力するとともに、光量AL1の広帯域光を発生させるための制御信号を生成して光源駆動部33Bへ出力する。
そして、前述のような制御部48Bの制御によれば、参照光RLA及び励起光EXAが同時に被写体に照射され、当該被写体から発生する戻り光に含まれる参照光RLAの反射光が撮像素子25A及び25Bにより撮像され、当該戻り光に含まれる蛍光FLAが撮像素子25Cにより撮像される。また、前述のような制御部48Bの制御によれば、撮像素子25A及び25Bにより生成された撮像信号が参照光画像生成部43Bへ出力され、撮像素子25Cにより生成された撮像信号が蛍光画像生成部44Bへ出力され、参照光画像生成部43Bにより生成された参照光画像RIAと、蛍光画像生成部44Bにより生成された蛍光画像FIAと、がそれぞれ混合画像生成部46Bへ出力される。
混合画像生成部46Bは、制御部48Bから出力される制御信号に基づき、参照光画像生成部43Bから出力される参照光画像RIAの一部と、蛍光画像生成部44Bから出力される蛍光画像FIAの一部と、を混合するための処理を行うことにより観察画像を生成し、当該生成した観察画像を表示装置5へ出力する。
具体的には、混合画像生成部46Bは、制御部48Bから出力される制御信号に基づき、例えば、第1の市松状の画素配列に則って画素群RGAを抽出し、当該第1の市松状の画素配列に重複しない第2の市松状の画素配列に則って画素群FGAを抽出し、当該抽出した画素群RGA及びFGAを混合することにより観察画像を生成し、当該生成した観察画像を表示装置5へ出力する。そして、このような動作が混合画像生成部46Bにおいて行われることにより、例えば、図13に示すように、画素RPと画素FPとが1画素毎に交互に配置され、かつ、画素RPの画素数と画素FPの画素数とが同数になるような観察画像が生成される。また、前述のような動作が混合画像生成部46Bにおいて行われる場合には、メモリ49Bに格納される制御情報の中に、第1の市松状の画素配列に則って画素群RGAを抽出させるとともに、当該第1の市松状の画素配列に重複しない第2の市松状の画素配列に則って画素群FGAを抽出させるための情報が含まれる。図13は、実施形態の第2の変形例に係る内視鏡システムにより生成される観察画像の画素配列の一例を示す図である。
以上に述べたように、本変形例の内視鏡システム1Bによれば、参照光画像RIAに含まれる生体組織の凹凸等の構造を示す情報を極力残しつつ、蛍光画像FIAに含まれる蛍光FLAの発生箇所を示す情報を付与した観察画像を表示装置5に表示させることができる。そのため、本変形例によれば、生体組織から発せられる蛍光を観察する際に、当該蛍光の発生箇所における当該生体組織の構造を従来よりも容易に把握させることができる。
なお、本変形例の内視鏡システム1Bにおけるカメラユニット22B等の構成を適宜変形することにより、例えば、白色光WLA及び励起光EXAが時分割に照射された被写体から発生する戻り光に含まれる白色光WLAの反射光及び蛍光FLAが1つの撮像素子で撮像され、当該1つの撮像素子から出力される撮像信号に基づいて白色光画像WIA及び重畳画像SIAが生成され、当該白色光画像WIA及び当該重畳画像SIAを混合した観察画像が生成されるようにしてもよい。また、本変形例の内視鏡システム1Bにおけるカメラユニット22B等の構成を適宜変形することにより、例えば、白色光WLA及び励起光EXAが同時に照射された被写体から発生する戻り光に含まれる白色光WLAの反射光及び蛍光FLAが2つの撮像素子で撮像され、当該2つの撮像素子から出力される撮像信号に基づいて白色光画像WIA及び重畳画像SIAが生成され、当該白色光画像WIA及び当該重畳画像SIAを混合した観察画像が生成されるようにしてもよい。
本発明は、上述した各実施形態及び各変形例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本出願は、2016年9月6日に日本国に出願された特願2016−173521号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。