以下、図面を参照して本発明の実施形態を詳細に説明する。図1は、本発明の蛍光画像取得装置を適用した第1の実施形態である蛍光内視鏡装置100の概略構成図を示すものである。本蛍光内視装置100は、被観察部10へ照明光L1を照射して取得したカラー通常画像を動画として表示する通常画像モード、または被観察部10へ照明光L1および励起光L2を照射して取得したカラー画像から後述の演算処理により得られる準カラー通常画像と蛍光重畳画像とを動画として表示する蛍光画像モードにより動作するものである。図示の通りこの蛍光内視鏡装置100は、被験者の体腔内に挿入され、被観察部10を観察するためのスコープユニット110と、このスコープユニット110が電気的に着脱自在に接続されるプロセッサユニット170と、スコープユニット110が光学的に着脱自在に接続され、照明光L1を射出するキセノンランプ151を収納する照明光ユニット150と、この照明光ユニット150へ電気的かつ光学的に着脱自在に接続され、励起光L2を射出するGaN系の半導体レーザ131を収納する励起光ユニット130とを備えている。なお、プロセッサユニット170と照明光ユニット150とは、一体的に構成されているものであってもよいし、あるいは別体として構成されているものであってもよい。
上記スコープユニット110の先端には照明用光学系111が設けられている。この照明用光学系111には、照明光L1が導光されるライトガイド112の一端が対面している。ライトガイド112は、スコープユニット110の外部へ延伸するものであり、その他端には、光コネクタ113が設けられ、後述する照明光ユニット150の光コネクタ153と着脱自在に接続されている。
また、スコープユニット110の先端部には、結像レンズ115と、励起光カットフィルタ116、固体撮像素子であるCCD(Charge Coupled Device)117とが同軸上にこの順に設けられている。結像レンズ115は、被観察部10の像をCCD117上に結像するものである。励起光カットフィルタ116としては、励起光のみを遮断して他の波長の光は透過させるように、例えば、極めて狭帯域の光のみを遮断するノッチフィルタを用いることができる。なお、CCD117の撮像面には例えばRGBの色フィルタを有する原色型の色フィルタが取り付けられている。CCD117には、同期信号に基づいて駆動パルスを形成するCCD駆動回路118が接続されると共に、このCCD115が出力した画像(映像)信号をサンプリングして増幅するCDS/AGC(相関二重サンプリング/自動利得制御)回路119接続されている。またCDS/AGC回路119には、そのアナログ出力をデジタル化するA/D変換器120が接続されている。さらにスコープユニット110内には、そこに設けられた各種回路を制御するとともに、プロセッサユニット170との間の通信制御を行う制御部121が配置されている。またスコープユニット110の根元近傍には、制御部121に接続され、動作モードの切換を行う押圧型のスイッチ122が設けられている。なお、A/D変換器120には信号ライン125の一端が接続され、制御部121には信号ライン126の一端が接続されている。信号ライン125および信号ライン126は、スコープユニット110の本体から外部へ延伸するものであり、その他端にはコネクタ127が設けられている。このコネクタ127は、後述するプロセッサユニット170のコネクタ194と着脱自在に接続されている。
照明光ユニット150は、照明光L1を発するキセノンランプ151と、このキセノンランプ151を駆動する駆動回路152と、スコープユニット110のライトガイド112の先端に設けられている光コネクタ113と着脱自在に接続される光コネクタ153とを備えている。光コネクタ153には、光コネクタ113と接続されているか否かを検知する接続検知部154が設けられている。また、キセノンランプ151と光コネクタ153との間には、照明光L1の波長帯域を、410nm以上700nm以下へ制限する波長フィルタ155と、照明光L1の光量を制御する絞り156と、410nm以上の波長の光を透過し、410nmより短い波長の光を直角に反射するダイクロイックミラー157と、集光レンズ158と、ロータリーシャッタ159とが配置されている。さらに、照明光ユニット150には、後述する励起光ユニット130のライトガイド133の先端に設けられている光コネクタ136と着脱自在に接続される光コネクタ161が設けられている。また、この光コネクタ161には、光コネクタ136と接続されているか否かを検知する接続検知部162が設けられている。光コネクタ161には、照明光ユニット150内で励起光を導光するライトガイド163の一端(入射端)が接続されている。ライトガイド163の他端(出射端)は、このライトガイド163から射出された励起光L2がダイクロイックミラー157へ入射する位置へ配置されている。また、ライトガイド163の出射端とダイクロイックミラー157との間にはレンズ164が配置されている。
さらに、照明光ユニット150には、後述する励起光ユニット130のコネクタ142と着脱自在に接続されるコネクタ165が設けられている。コネクタ165には、コネクタ142と接続されているか否かを検知する接続検知部166が設けられている。また、照明光ユニット150には、上記コネクタ165、接続検知部166等の照明光ユニット150に設けられた各部位と接続され、各部位を制御するとともに、プロセッサユニット170および励起光ユニット130との間の通信制御を行う制御部167が配置されている。
励起光ユニット130は、励起光L2を発するGaN系の半導体レーザ131と、この半導体レーザ131を駆動する駆動回路132と、半導体レーザ131から射出された励起光L2を導光するライトガイド133とを備えている。ライトガイド133は、励起光ユニット130の筐体から外部へ延伸するものであり、その他端には、光コネクタ136が設けられている。この光コネクタ136は、照明光ユニット150の光コネクタ161と着脱自在に接続されている。半導体レーザ131と駆動回路132との間には、スイッチ134が設けられている。また、半導体レーザ131とライトガイド133の一端(入射端)との間には、集光光学系135が配置されている。
さらに励起光ユニット130には、上記駆動回路132、スイッチ134等の励起光ユニット130内に設けられた各部位と接続され、これらの各部位を制御するとともに、照明光ユニット150と間の通信制御を行う制御部140が配置されている。制御部140には信号ライン141の一端が接続されている。信号ライン141は、励起光ユニット130の筐体から外部へ延伸するものであり、その他端には、コネクタ142が設けられている。コネクタ142は、照明光ユニット150のコネクタ165と着脱自在に接続されている。
一方プロセッサユニット170には、プロセッサ部172が備えられている。プロセッサ部172には、通常画像モードが選択された場合に信号処理を行う、通常画像処理部174および表示処理部176と、蛍光画像モードが選択された場合に信号処理を行う、推定分光データ算出部180、画像処理部181および表示処理部188と、照明光および励起光の強度を制御する光量制御部189とが設けられている。
通常画像処理部174は、通常画像モードが選択されている場合に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号に各種の信号処理を施した上、輝度(Y)信号と色差[C(R−Y,B−Y)]信号で構成されるY/C信号を生成し、表示処理部176へ出力する。表示処理部176では、Y/C信号に各種の信号処理を施し、表示用のカラー通常画像信号を生成し、このカラー通常画像信号を、例えば液晶表示装置やCRT等からなるモニタ11へ出力する。
推定分光データ算出手段180では、蛍光画像モードが選択されている場合に、画素毎に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号と、予めメモリ190に記憶されている分光データ算出用の推定マトリクスデータを用いて、励起光L2が照射された場合に被観察部10から発せられる蛍光の中心波長帯域である490nmを含む波長帯域である特定蛍光波長帯域、例えば470nm〜510nmの推定分光データを求め、画像処理部181へ出力する。
画像処理部181は、図2に示すように、準通常画像を生成するための準蛍光画像信号生成部182および準通常画像信号生成部183と、蛍光重畳画像を生成するための擬似蛍光収率算出部184および蛍光重畳画像生成部185とを備えている。なお、準蛍光画像信号生成部182、準通常画像信号生成部183、擬似蛍光収率算出部184および蛍光重畳画像生成部185についての詳細は後述する。
光量制御部189は、通常画像処理部174および画像処理部181と接続され、照明通常画像モードが選択されている場合には、カラー通常画像の輝度に基づいて、照明光L1の光量を制御する。また、蛍光画像モードが選択されている場合には、擬似カラー通常画像の輝度に基づいて、照明光L1および励起光L2の光量を制御する。
さらにプロセッサ部172には、メモリ190およびキーボード型の入力部192およびスコープユニット110のコネクタ127と着脱自在に接続されるコネクタ194が接続されている。コネクタ194には、コネクタ127と接続されているか否かを検知する接続検知部195が設けられている。またプロセッサ部172は、スコープユニット110の制御部121、照明光ユニット150の制御部167および励起光ユニット130に制御部140と接続されている。
メモリ190には、被観察部10の推定分光データを算出するための推定マトリクスデータが記憶されている。推定マトリクスデータはテーブルとしてメモリ190にあらかじめ記憶されている。この推定マトリクスデータは、照明光L1の分光特性と、撮像素子のカラー感度特性および色フィルタの透過率等を含む撮像システム全体の分光特性とを加味したマトリクスデータであり、CCD117により撮像されたRGB画像信号と、この推定マトリクスデータとの演算により、照明光の種類や、撮像システムの固有の分光特性等に依存しない、被観察部の分光データを得ることができる。なお、この推定マトリクスデータの詳細は、特開2003−93336号公報あるいは特開2007−202621号公報などに開示されている。本実施形態において、このメモリ190に格納されている推定マトリクスデータの一例は次の表1のようになる。
この表1のマトリクスデータは、例えば410nmから700nmの波長域を5nm間隔で分けた59の波長域パラメータ(係数セット)p1〜p59からなる。パラメータp1〜p59は各々、マトリクス演算のための係数kpr,kpg,kpb(p=1〜59)から構成されている。
以下、上記構成を有する本実施形態の蛍光内視鏡装置の動作について説明する。まず、被観察部10へ照明光L1を照射して取得したカラー通常画像を動画として表示する通常画像モードの際の動作について説明する。
本蛍光内視鏡装置の使用に先立って、洗浄および殺菌されたスコープユニット110がプロセッサユニット170および照明光ユニット150へ取り付けられる。スコープユニット110の信号ライン125および信号ライン126の先端に設けられているコネクタ127は、プロセッサユニット170のコネクタ194へ接続される。また、ライトガイド112に先端に設けられている光コネクタ113は、照明光ユニット150の光コネクタ153と接続される。コネクタ194に設けられている接続検知部195は、コネクタ194へコネクタ127が接続された場合には、接続信号をプロセッサ部172へ出力する。また、光コネクタ153へ設けられている接続検知部154は、光コネクタ153へ光コネクタ113が接続された場合には接続信号を制御部167へ出力する。
プロセッサ部172は、接続光検知部195および接続検知部154から接続信号が入力された場合に、照明光ユニット150のロータリーシャッタ159を回転し、通常画像モードにおける動作を可能とし、入力部192の所定のキーの機能形態を設定し、かつスコープユニット110の制御部121を介して、スイッチ122の機能形態を設定する。プロセッサ部172の制御により、使用者が入力部192の所定のキーもしくはスイッチ122を押圧すると、動作モードが停止状態と通常画像モードとの間で切り替る。
使用者が入力部192の所定のキーもしくはスイッチ122を一回押圧すると、通常画像モードにおける動作が開始される。照明光ユニット150では、駆動回路152によりキセノンランプ151が点灯し、照明光L1が射出される。照明光L1は、波長フィルタ155、絞り156、ダイクロイックミラー157を経て、集光レンズ158により光コネクタ113の端面へ集光され、ライトガイド112へ入射する。ライトガイド112内を伝播した照明光L1は、ライトガイド112の先端から射出して、照明用光学系111を介して被観察部10へ照射される。
なお、照明光L1の波長帯域は、波長フィルタ155により410nm以上700nm以下へ制限され、照明光L1の光量は絞り156により制御されている。絞り156による照明光L1の光量制御動作については後述する。
CCD駆動回路118によって駆動されたCCD117がこの被観察部10の像を撮像し、撮像信号を出力する。この撮像信号はCDS/AGC回路119で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器18でA/D変換されて、RGB画像信号としてプロセッサユニット170のプロセッサ部172の通常画像処理部174へ入力される。通常画像処理部174では、通常画像モードが選択されている場合に、スコープユニット110のA/D変換器120から出力されたR、G、Bの3色画像信号に各種の信号処理を施した上、輝度信号Yと色差信号Cで構成されるY/C信号(カラー通常画像信号)を生成し、表示処理部176へ出力する。表示処理部176では、このY/C信号へ対し、I/P変換およびノイズ除去などの各種信号処理を施し、モニタ11へ出力する。
また、通常画像処理部174は、画素毎の輝度信号Y、または隣接する複数画素の平均輝度信号Y’を光量制御部189へ出力する。光量制御部189では、1フレーム毎に指定エリア画素の平均輝度値Yaを算出し、予めメモリ190へ記憶されている基準輝度値Yrと比較して、比較結果に基づいて絞り制御信号を選択し、照明光ユニット150の制御部167へ出力する。この絞り制御信号としては、平均輝度値Yaが基準輝度値Yrより大きければ絞り156の絞り量を小さくする信号が選択され、平均輝度値Yaが基準輝度値Yrより小さければ絞り156の絞り量を大きくする信号が選択され、平均輝度値Yaが基準輝度値Yrと略等しい場合には、絞り量を維持する信号が選択される。
照明光ユニット150の制御部167では、この絞り制御信号に基づいて、絞り156の絞り量を制御する。
次に蛍光画像モードの際の動作について説明する。蛍光画像モードを使用する前には、まず、洗浄および殺菌されたスコープユニット110がプロセッサユニット170および照明光ユニット150へ取り付けられる。スコープユニット110の信号ライン125および信号ライン126の先端に設けられているコネクタ127は、プロセッサユニット170のコネクタ194へ接続される。コネクタ194に設けられている接続検知部195は、コネクタ194へコネクタ127が接続された場合には、接続信号をプロセッサ部172へ出力する。また、ライトガイド112に先端に設けられている光コネクタ113は、照明光ユニット150の光コネクタ153と接続される。光コネクタ153へ設けられている接続検知部154は、光コネクタ153へ光コネクタ113が接続された場合には接続信号を制御部167へ出力する。
さらに、励起光ユニット130が照明光ユニット150へ接続される。励起光ユニット130の信号ライン141の先端に設けられているコネクタ142は、照明光ユニット150のコネクタ165へ接続される。コネクタ165に設けられている接続検知部166は、コネクタ165へコネクタ142が接続された場合には、接続信号を制御部167へ出力する。またライトガイド133の先端に設けられている光コネクタ136は、照明光ユニット150の光コネクタ161へ接続される。光コネクタ161に設けられている接続検知部162は、光コネクタ162へ光コネクタ136が接続された場合には接続信号を制御部167へ出力する。
励起光ユニット130の制御部140は、照明光ユニット150の制御部167と通信を行い、接続検知部166および接続検知部162から接続信号が入力された場合に、励起光ユニット130のスイッチ134を閉じ、半導体レーザ131と駆動回路132との間を電気的に接続し、駆動回路132による半導体レーザ131の駆動を可能とし、またプロセッサユニット170のプロセッサ部172を介して入力部192の所定のキーの機能形態を設定し、かつプロセッサ部172およびスコープユニット110の制御部121を介して、スイッチ122の機能形態を設定する。制御部140の制御により、使用者が入力部192の所定のキーもしくはスイッチ122を押圧すると、動作モードが停止状態、通常画像モードと蛍光画像モードの間で切り替る。なお、接続検知部166および接続検知部162に両方から接続信号が入力されていない場合、すなわち両者から接続信号が入力されていない、あるいはどちらか一方から接続入力信号が入力されていない場合には、励起光ユニット130においては、常にスイッチ134は開状態となっている。このため、励起光ユニット130が、照明光ユニット150へ接続されていない状態で、半導体レーザ131が駆動されることはない。
通常画像モードにおいて動作している際に、使用者が入力部192の所定のキーもしくはスイッチ122を一回押圧すると、蛍光画像モードにおける動作が開始される。
照明光ユニット150に加え励起光ユニット130が動作を開始する。駆動回路132により半導体レーザ131が駆動され、波長405nmの励起光L2が射出される。励起光L2は、集光光学系135により集光され、ライトガイド133の端面へ入射する。ライトガイド133を伝播した励起光L2は、光コネクタ136、光コネクタ161を介してライトガイド163へ入射する。ライトガイド163を伝播し、その端部から射出した励起光L2は、コリメータレンズ164により平行光へ変換され、ダイクロイックミラー157へ入射する。励起光L2の波長が405nmであるため、励起光L2はダイクロイックミラー157で直角に反射し、集光レンズ158により光コネクタ113の端面へ集光され、ライトガイド112へ入射する。ライトガイド112内を伝播した励起光L2は、ライトガイド112の先端から射出して、照明用光学系111を介して被観察部10へ照射される。なお、この際には、被観察部10へは照明光L1も同時に照射されている。なお、励起光L2の光量は、駆動回路132の駆動電流により制御されている。この駆動電流による励起光L2の光量制御動作については後述する。
CCD駆動回路118によって駆動されたCCD117が、被観察部10で反射された照明光L1の反射光と、励起光L2が照射されてことにより、被観察部10から発せられる蛍光とからなる像を撮像する。なお、CCD117の先端には、波長410nm以下の光をカットする励起光カットフィルタが設けられているため、励起光L2の反射光はほとんどCCD117へは入射しない。CCD117は、撮像信号を出力し、この撮像信号はCDS/AGC回路119で相関二重サンプリングと自動利得制御による増幅を受けた後、A/D変換器18でA/D変換されて、RGB画像信号としてプロセッサユニット170のプロセッサ部172の推定分光データ算出手段180および画像処理部181へ入力される。
推定分光データ算出手段180では、各画素毎に、3色画像信号R、G、Bに対して、メモリ100に記憶されている推定マトリクスデータの中から、励起光L2が照射された場合に被観察部10から発せられる蛍光の中心波長帯域である490nmを含む波長帯域である特定蛍光波長帯域、例えば特定蛍光波長帯域(470nm〜510nm)に対応するパラメータ(P13〜P21)からなる3×9のマリクスを用いて、次式で示すマトリクス演算を行って、推定分光データ(q13〜q21)を作成し、画像処理部181へ出力する。
図3Aおよび3Bは、各画素毎に作成される、この推定分光データ(q13〜22)のスペクトル分布の一例を表したものである。実線の部分は、算出した推定分光データ(q13〜22)のスペクトル分布を示すものであり、点線の部分は、参考のために他の波長帯域(410nm〜465nmおよび515nm〜700nm)の推定分光データを記載したものである。図3Aは蛍光が発せられている被観察部10に対応する画素におけるスペクトル分布を示し、図3Bは、蛍光が発せられていない被観察部10に対応する画素におけるスペクトル分布を示すものである。それぞれ、横軸は推定分光データの各データ値q13〜q21が対応する波長を、縦軸は各データ値のq13〜q21の強度を示している。
図3Bに示すように、蛍光が発せられていない被観察部10から取得されたスペクトル分布は、被観察部10における分光反射率を反映したものとなる。より具体的には、各データ値q13〜q21の強度は、被観察部10の分光反射率とCCD17の各画素に入射した光の強度との積を反映した値となる。
図3Aに示すように、蛍光が発せられている被観察部10から取得された推定分光データ(q13〜q21)のスペクトル分布は、蛍光の中心波長である波長490nm近傍において、被観察部10における分光反射率と蛍光の分光放射率とを反映したものとなる。より具体的には、各データ値q1〜q59の強度は、被観察部10の分光反射率と、発せられた蛍光の分光放射率と、CCD17の各画素に入射した光の強度とを反映した値となる。なお、推定分光データ(q13〜q21)を作成するために用いた推定マトリクスは、被観察部10の分光反射率を推定するためのマトリクスであるため、各データ値q13〜q21は、蛍光の分光放射率を正確に反映した値ではないが、蛍光の分光放射率の大小に関する情報は含むものである。このため、以下に説明するように、特定蛍光波長帯域の分光データ(q13〜q21)を用いて、準カラー通常画像および蛍光重畳画像を生成することができる。
画像処理部181では、各画素毎に、以下の信号処理を行う。まず、準カラー通常画像信号の生成方法について説明する。画像処理部181の準蛍光画像信号生成部182では、
特定蛍光波長帯域(470nm〜510nm)の推定分光データ(q13〜q21)から、この特定蛍光波長帯域の三色画像信号(Rs,Gs、Bs)を求め、準通常画像信号生成手段183へ出力する。なお、例えば、B(青色)波長大域を410nm〜500nm、G(緑色)波長帯域を505nm〜600nm、R(赤色)波長帯域を605nm〜700nmとする場合であれば、画像信号Bsは、分光データ値q13(470nm)〜分光データ値q19(500nm)の加算値、画像信号Gsは分光データ値q20(505nm)と分光データ値q21(510nm)の加算値として求めることができる。画像信号Rsは対応する分光データ値がないため、0とする。なお、実施形態においては、特定蛍光波長帯域がR(赤色)波長帯域を含んでいないため、画像信号Rs=0とするが、特定蛍光波長帯域がR(赤色)波長帯域を含んでいる場合には同様に画像信号Rsを算出する。
準通常画像信号生成部183では、スコープユニット110から入力された3色画像信号(R,G,B)から特定蛍光波長帯域の三色画像信号(Rs,Gs、Bs)を減算し、準カラー通常画像の三色画像信号(R−Rs,G−Gs、B−Bs)を生成し、この準カラー通常画像の三色画像信号(R−Rs,G−Gs、B−Bs)から、輝度信号Yと色差信号Cで構成されるY/C信号(準カラー通常画像信号)を生成し、表示処理部188へ出力する。なお、Y/C信号を生成する際には、各種信号処理に加え、波長帯域幅の大小を顧慮した補正を行うことが好ましい。表示処理部188では、準カラー通常画像と後述する蛍光重畳画像とを一枚の画像へ合成し、モニタ11へ表示させる。
次に、蛍光重畳画像信号の生成方法について説明する。画像処理部181の擬似蛍光収率算出部184では、まず、特定蛍光波長帯域(470nm〜510nm)の各推定分光データq13〜q21を加算し、擬似蛍光強度Dを算出する。
蛍光物質から発せられる蛍光の強度(放射強度)は、励起光照度にほぼ比例するが、励起光照度は距離の2乗に反比例して低下する。そのため、光源から遠くにある正常組織からよりも近くにある病変組織からの方が、強い蛍光を受光する場合があり、受光した蛍光の強度の情報だけでは被観察部の組織性状を表すことはできない。そのため、従来から励起光とは異なる波長帯域の光を参照光として被観察部に照射し、この参照光の照射を受けた被観察部によって反射された反射光の強度(以下参照光強度Eと記載)を検出して、蛍光強度をこの参照光強度Eにより除算した蛍光収率を求め、該蛍光収率に基づいて蛍光画像を生成することが行われている。
画像処理部181の擬似蛍光収率算出部184では、上記の参照光強度Eとして上述した準カラー通常画像信号の輝度信号Yの値を使用すること、すなわち擬似蛍光強度Dを、準カラー通常画像信号の輝度信号Yの値で除算することにより、擬似蛍光収率Fを求め、蛍光重畳画像生成部185へ出力する。蛍光重畳画像生成部185では、この擬似蛍光収率Fに対して、例えば、図4に示すように、所定の判定値以上であれば緑を割り当て、判定値より小さければ赤をわりあてて、蛍光画像を生成する。あるいは、赤および緑を加色混合法により混色することにより、擬似蛍光収率Fの値により、表示色が、赤、黄、緑へ順次変化する蛍光画像を生成してもよい。なお、擬似蛍光収率Fが所定の下限値以下である場合には、赤のみを割り当て、所定の上限値以上である場合には緑を割り当ててもよく、擬似蛍光収率Fが小さくなる病変組織は赤色に、擬似蛍光収率Fが大きい正常組織は緑色に表示される。
あるいは、図5に示すように、擬似蛍光収率Fに対して、判定値との比較により、赤、緑、青を割り当てて蛍光画像を生成することもできる。また、赤、緑および青を加色混合法により混色することにより、擬似蛍光収率Fの値により、表示色が、赤、黄、緑、シアン、青へ順次変化する蛍光画像を生成してもよい。なお、擬似蛍光収率Fが所定の下限値以下である場合、あるいは所定の上限値以上である場合には無彩色を割り当ててもよい。
なお、本実施の形態においては、参照光強度として準カラー通常画像信号の輝度信号Yの値を用いたが、例えば、準カラー通常画像信号の輝度信号Yの値の変わりに、画像信号Rsの光強度や、あるいは正常組織から発せられる蛍光強度と病変組織から発せられる蛍光強度との差が少ない長波長帯域、例えば620nmにおける推定分光データから求めた光強度などを用いてもよい。
画像処理部181の蛍光重畳画像生成部185では、観察者が、擬似蛍光収率Fが小さくなる病変組織の位置を確認しやすいように、準カラー通常画像信号の輝度信号Yのみを反映させた画像、すなわち準白黒通常画像へ、上述の蛍光画像を重畳した蛍光重畳画像データを生成して、表示処理部188へ出力する。
表示処理部188では、画像処理部181から出力された準カラー通常画像データと蛍光重畳画像データを並べて表示した表示画像を生成、もしくは準カラー通常画像データと蛍光重畳画像データとを一枚の画像内へ合成処理した表示用のカラー画像信号を生成し、モニタ11へ出力して表示させる。
なお、予めプロセッサ部172にて、全ての画素における擬似蛍光収率Fが予め設定された所定の判定値以上であるか否かを判定し、所定値以上である場合、すなわち、すなわち画像内に病変組織に対応する部分がない場合には、準カラー通常画像データのみを表示させてもよい。
また、画像処理部181は、画素毎の準カラー通常画像信号の輝度信号Y、または隣接する複数画素の平均輝度信号Y’を光量制御部189へ出力する。光量制御部189では、1フレーム毎に指定エリア画素の平均輝度値Yaを算出し、予めメモリ190へ記憶されている基準輝度値Yrと比較して、比較結果に基づいて絞り制御信号を選択し、照明光ユニット150の制御部167へ出力する。また同時に励起光ユニット130において、駆動回路132から半導体レーザ131へ供給される駆動電流の値を制御する駆動電流制御信号を求め、この駆動電流制御信号を励起光ユニット130の制御部140へ出力する。
絞り制御信号としては、平均輝度値Yaが基準輝度値Yrより大きければ絞り156の絞り量を小さくする信号が選択され、平均輝度値Yaが基準輝度値Yrより小さければ絞り156の絞り量を大きくする信号が選択され、平均輝度値Yaが基準輝度値Yrと略等しい場合には、絞り量を維持する信号が選択される。また、照明光L1の光量と励起光L2の光量との比率が所定の値になるように、絞り制御信号と対応する駆動電流制御信号が出力される。なお、照明光L1の光量と励起光L2の光量との比率は、予め入力部192からの入力操作により設定可能であり、光量制御部189ではこの設定された比率と、照明光L1の絞り量とに基づいて、励起光L2に駆動電流量を決定し、駆動電流制御信号を出力する。
照明光ユニット150の制御部167では、この絞り制御信号に基づいて、絞り156の絞り量を制御する。また、励起光ユニット130の制御部140では、この駆動電流制御信号に基づいて、駆動回路132から半導体レーザ131へ供給する電流値が制御される。
以上の説明で明らかなように、本発明による蛍光内視鏡装置100では、擬似通常カラー画像および蛍光重畳画像の単位時間あたりのコマ数は、通常カラー画像のコマ数と同じコマ数とすることができ、動画として表示する場合であっても、良好な表示画像を生成することが可能となる。
なお、本実施の形態においては、通常画像モードが選択された場合に信号処理を行う、通常画像処理部174および表示処理部176と、蛍光画像モードが選択された場合に信号処理を行う、推定分光データ算出部180、画像処理部181および表示処理部188とをプロセッサ部172内に設けたが、プロセッサ部172の形態はこのような形態に限定されるものではなく、例えば図6に示すように、推定分光データ算出部180と、通常画像処理部174および画像処理部181として機能する画像処理部195と、表示処理部176および表示処理部188として機能する表示処理部196とを設け、通常画像モードが選択された場合には、スコープ110から出力された信号を画像処理部195へ入力し、蛍光画像モードが選択された場合には、スコープ110から出力された信号を推定分光データ算出部180および画像処理部195へ入力するような構成としてもよい。
また本実施の形態においては、特定蛍光波長帯域としては、蛍光の中心波長帯域である490nmを含む所定幅の波長帯域を用いたが、これに限定されるものではなく、実質的に蛍光の強度を反映可能な波長帯域であればよく、例えば485nm〜495nm等であってもよい。またこの特定蛍光波長帯域は、全波長帯域が実質的な蛍光の波長帯域内であることが好ましく、不必要に広い波長帯域であることは好ましくない。具体的には波長帯域幅は100nm以下であることが好ましく。50nm以下であることがより好ましい。
次に、図7〜図9を用いて、本発明の第2の実施形態について説明する。図7は、本発明の蛍光画像取得装置を適用した第2の実施形態である蛍光内視鏡装置200の概略構成図を示すものである。なお、図1に示す第1の実施形態である蛍光内視鏡装置100と同一の部位については、同符号を付与し、説明を省略する。
プロセッサユニット270には、プロセッサ部272が備えられている。プロセッサ部272には、常画像モードが選択された場合に信号処理を行う、通常画像処理部174および表示処理部176と、蛍光画像モードが選択された場合に信号処理を行う、推定分光データ算出部180、画像処理部281および表示処理部188と、照明光および励起光の強度を制御する光量制御部189とが設けられている。
画像処理部281は、図8に示すように、準蛍光画像信号生成部282、準通常画像信号生成部283、擬似蛍光収率算出部284および蛍光重畳画像生成部285を備えている。なお、準蛍光画像信号生成部282、準通常画像信号生成部283、擬似蛍光収率算出部284および蛍光重畳画像生成部285についての詳細は後述する。
さらにプロセッサ部272には、メモリ290およびキーボード型の入力部192およびスコープユニット110のコネクタ127と着脱自在に接続されるコネクタ194が接続されている。またプロセッサ部272は、スコープユニット110の制御部121、照明光ユニット150の制御部167および励起光ユニット130の制御部140と接続されている。
メモリ290には、被観察部10の推定分光データを算出するための推定マトリクスデータがテーブルとして予め記憶され、また観察部と略同等の蛍光特性を有し、異なる放射強度の蛍光を発する複数個の観察部サンプルから発せられる蛍光の放射強度情報と、この複数個の観察部サンプルから発せられる蛍光を本実施形態に用いられている蛍光内視鏡装置と同等の分光特性を有する蛍光内視鏡装置により撮像した画像信号との関係がルックアップテーブルとして予め記憶されている。ルックアップテーブルとして記憶されている関係についての詳細は後述する。
以下、上記構成を有する本実施形態の蛍光内視鏡装置200の動作について説明する。なお、通常画像モードの際の動作は、第1の実施形態である蛍光内視鏡装置100と同様であるため、その説明は省略する。
通常画像モードにおいて動作している際に、使用者が入力部192の所定のキーもしくはスイッチ122を一回押圧すると、蛍光画像モードにおける動作が開始され、被観察部10へ照明光L1および励起光L2が照射される。CCD117から出力された撮像信号は、RGB画像信号としてプロセッサユニット270のプロセッサ部272の推定分光データ算出手段280および画像処理部281へ入力される。
画像処理部281の擬似蛍光収率算出部284では、まず、特定蛍光波長帯域(470nm〜510nm)の各推定分光データq13〜q21を加算し、擬似蛍光強度Dを算出する。また、参照光強度Eとしてスコープユニット110から出力された画像信号Rの光強度を用いる。擬似蛍光強度Dを、画像信号Rの光強度の値で除算することにより、擬似蛍光収率Fを求め蛍光重畳画像生成部285へ出力する。また、参照光強度Eおよび擬似蛍光収率Fを準蛍光画像信号生成部282および準通常画像生成部283へ出力する。
蛍光重畳画像生成部285では、この擬似蛍光収率Fに対して、第1の実施形態と同様に、例えば、所定の判定値以上であれば緑を割り当て、判定値より小さければ赤をわりあてて、蛍光画像を生成する。また、観察者が、擬似蛍光収率Fが小さくなる病変組織の位置を確認しやすいように、スコープユニット110から出力された画像信号Rの光強度のみを反映させた白黒画像へ上述の蛍光画像を重畳した蛍光重畳画像データを生成して、表示処理部188へ出力する。
一方、メモリ290には、異なる放射強度の蛍光を発する複数個の観察部サンプルから発せられる蛍光の放射強度情報としての擬似蛍光収率Fと、この複数個の観察部サンプルから発せられる蛍光を本実施形態に用いられている蛍光内視鏡装置と同等の分光特性を有する蛍光内視鏡装置により撮像した画像信号との関係が、図9に示すようなルックアップテーブルとして予め記憶されている。
このルックアップテーブルを作成する際には、まず発する蛍光の放射強度が異なる多数の観察部サンプルを準備する。なお、観察部サンプルは、分光反射率および発する蛍光の分光放射率が、観察部10と略同等であることが好ましい。まず、観察部サンプルとスコープ部110の先端の距離を、像を撮像可能な最短距離に設定し、観察部サンプルへ照明光L1および励起光L2を照射し、上述した方法と同様の方法により、反射光と蛍光とからなる像を撮像し、所定画素における擬似蛍光収率Fと、参照光強度E(R画像信号の光強度)を求める。その後、励起光L2のみを観察部サンプルへ照射し、励起光L2の照射により観察部サンプルから発せられた蛍光の像を撮像し、蛍光の画像信号(R,G,B)を取得する。また、観察部サンプルとスコープ部の先端の距離を変化させて、種々の参照光強度E、例えば、参照光強度E1〜E5までの5段階の参照光強度Eにおいて、蛍光の画像信号(R,G,B)を取得する。なお、擬似蛍光収率Fは、演算の際に参照光強度による除算が行われているため、観察部サンプルとスコープ部の先端の距離の長短による影響は相殺されている。
蛍光放射強度の異なる観察部サンプル、すなわち擬似蛍光収率Fの値が異なる観察部サンプルから、上記と同様に、擬似蛍光収率Fを求め、参照光強度EをE1からE5まで5段階に変化させ、各段階毎に蛍光の画像信号(R,G,B)を取得する。同様に、種々の擬似蛍光収率F、例えばF1、F2、F3、F4およびF5の擬似蛍光収率Fを有する観察部サンプルから、各参照光強度Eにおける蛍光の画像信号(R,G,B)を取得する。これらの結果を、図9に示すルックアップテーブルとして、予めメモリ290へ記憶する。なおこのルックアップテーブルは、実測により取得した擬似蛍光収率F、参照光強度E、蛍光の画像信号(R,G,B)に対して、適宜平均化処理あるいは補間処理等を施して、作成してもよい。
画像処理部281の準蛍光画像信号生成部282では、各画素毎に、算出された擬似蛍光収率Fおよび参照光強度Eと、メモリ290に記憶されているルックアップテーブルを用いて、該画素の画像信号に含まれている蛍光の画像信号(R,G,B)を求め、準通常画像信号生成部283へ出力する。例えば、擬似蛍光収率FがF3で、参照光強度EがE3であれば、蛍光の画像信号は(R33、G33、B33)となる。
準通常画像信号生成部283では、各画素毎に、CCD117で撮像した画像信号R,G,B)から蛍光の画像信号(R33、G33、B33)を減算した準通常画像信号(R-R33、G-G33、B-B33)を作成する。また、この3色画像信号に各種の信号処理を施した上、輝度信号Yと色差信号Cで構成されるY/C信号を生成し、表示処理部188へ出力する。
表示処理部188では、蛍光重畳画像生成部285から出力された蛍光強調画像用の画像信号Y/Cから作成した蛍光強調画像と、準通常画像信号生成部283から出力されて準通常画像用の画像信号Y/Cから作成した準カラー通常画像とを並べて表示した表示画像を生成し、モニタ11へ出力して表示させる。
以上の説明で明らかなように、本発明による蛍光内視鏡装置200では、異なる放射強度の蛍光を発する複数個の観察部サンプルから発せられる蛍光の擬似蛍光収率と、該蛍光の画像信号との関係を示すルックアップテーブルを予めメモリ290へ記憶しておき、照明光および励起光を同時に被観察部10へ照射し、照明光の反射光と励起光の励起により発せられた蛍光とからなる像を撮像し、撮像された画像信号の各画素毎に、該画素の画像信号と予めメモリ290に記憶されている推定分光データ算出用の推定マトリクスとから、蛍光の略中心波長帯域を含む特定蛍光波長帯域の推定分光データを算出し、この特定蛍光波長帯域の推定分光データから擬似蛍光強度Dと参照光強度Eを求め、擬似蛍光強度Dを参照光強度Eにより除算することにより、擬似蛍光収率Fを算出し、この擬似蛍光収率Fとメモリ190に記憶されているルックアップテーブルとから、該等する蛍光の画像信号を求め、CCD117で撮像した画像信号から該当する蛍光の画像信号を減算することにより、準通常画像信号を生成したため、この準通常画像信号は蛍光の画像信号の含有率がより低くなるので、この準通常画像信号から生成した準通常画像を、照明光のみを照射して取得した通常画像の代用として用いることができる。また、単位時間あたりに取得可能は準通常画像のコマ数が少なくなることがないので、準通常画像を動画として表示する場合であっても、良好な画像を提供することができる。
また上記第2の実施の形態においては、特定蛍光波長帯域としては、蛍光の中心波長帯域である490nmを含む所定幅の波長帯域を用いたが、これに限定されるものではなく、実質的に蛍光の強度を反映する波長帯域であればよく、例えば490nmのみ、あるいは480nmや500nmのみであってもよい。また、485nm〜495nm等であってもよい。例えば特定蛍光波長帯域が、490nmのみであれば、推定分光データ(q17)のみを算出すれば、擬似蛍光強度が得られ、また特定蛍光波長帯域が、485nm〜495nmであれば、推定分光データ(q16、q17、q18)を算出すれば、擬似蛍光強度が得られる。
またこの特定蛍光波長帯域は、全波長帯域が実質的な蛍光の波長帯域内であることが好ましく、不必要に広い波長帯域であることは好ましくない。具体的には波長帯域幅は100nm以下であることが好ましく。50nm以下であることがより好ましい。また、10nm以下あるいは上述したように単波長であってもよい。
さらに、各実施の形態においては、スコープ部110内を伝播した照明光L1と励起光L2とを同時に被観察部10へ照射し、CCD117で撮像した画像信号と、予めメモリ190に記憶されているマトリクスデータを用いて、推定分光データを算出し、この推定分光データから擬似蛍光強度を算出し、この擬似蛍光強度に基づいて蛍光画像を生成する蛍光内視鏡装置を用いて説明を行ったが、本発明の蛍光画像取得装置の形態は、上記のような実施形態に限定されるものではなく、照明光と励起光とを照射し、蛍光画像を取得する形態であればいかなる形態であってもよい。励起光光源がLEDでもよい。また、例えばスコープ部先端にLED等の光源部を備えた内視鏡装置、コルポスコープ、あるいはカプセル内視鏡装置等であってもよいし、また蛍光画像取得機能を備える顕微鏡等であってもよい。
また、CCD117のモザイクフィルタとしては、原色型の3色フィルタを用いて説明を行ったが、これに限定されるものではなく、4色型あるいは補色型等のモザイクフィルタ等を用いることもできる。この場合には、CCD117から出力される信号を信号処理により原色型の信号へ変換してもよいし、予めこれらのモザイクフィルタの分光特性に合わせた推定マトリクスデータをメモリへ記憶させておいてもよい。
なお、本実施に形態においては、蛍光の擬似蛍光収率と、該蛍光の画像信号との関係を示すルックアップテーブルを予めメモリ290へ記憶したが、このルックアップテーブルの代わりに、蛍光の強度と蛍光の画像信号との関係を示すルックアップテーブルを予めメモリ290へ記憶してもよい。例えば被観察部の各領域がスコープユニット110からほぼ等距離にある場合などには、擬似蛍光収率の代わりに蛍光強度を用いて、蛍光の画像信号を算出することができる。