以下、発明の実施の形態を通じてこの発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、一実施形態に係わる内視鏡システム10の構成の一例を、生体190とともに示す。内視鏡システム10は、観察目的、観察対象等に応じた望ましいスペクトル形状の照射光を生体190に照射して撮像する。
内視鏡システム10は、内視鏡の一部としてのスコープ100、鉗子135、画像処理部140、制御部105、光照射部120、操作部160、出力部150、およびICG注入部170を備える。なお、図1において、A部は、スコープ100の先端部102を拡大して示す。
なお、内視鏡システム10は、本実施形態を用いて後述するように、撮像システムあるいは画像処理システムとして機能することができる。また、内視鏡は、撮像装置として機能することができる。例えば、撮像部110、光照射部120、および画像処理部140は、撮像装置として機能することができる。また、生体190は、この発明における被写体の一例であってよい。
挿入部の一例としてのスコープ100は、撮像部110および鉗子口130を有している。スコープ100は、光照射部120の一部としての光ファイバ126および発光部128を内蔵する。スコープ100は、少なくとも先端部102が狭所に挿入される。例えば、スコープ100は、生物の食道、腸管などに挿入される。
スコープ100の先端部102は、ノズル138、撮像部110の一部としてのレンズ112、および出射口129を有する。なお、スコープ100が内蔵する光ファイバ126および発光部128は、一例としてスコープ100の外部に設けられた励起部124および照射制御部122とともに、光照射部120として機能する。なお、スコープ100は、励起部124を内蔵することもできる。
鉗子口130には鉗子135が挿入され、鉗子口130は鉗子135を先端部102にガイドする。なお、鉗子135は、各種の先端形状を備えてよい。なお、鉗子口130には、鉗子の他に、生体190を処置する種々の処置具が挿入されてよい。ノズル138は、水あるいは空気を生体190に送出する。
発光部128は、励起光によりルミネッセンス光を発光する発光体を含んでいる。励起部124は、発光体にルミネッセンス光を発光させる励起光を発光する。光ファイバ126は、励起部124が発光した励起光を発光部128に導く。励起部124が発光した励起光は、光ファイバ126を介して発光部128に入射される。
発光体は、光ファイバ126を介して入射した励起光により励起して、ルミネッセンス光を発光する。発光部128が発光したルミネッセンス光は、出射口129を通過して生体190に照射光として照射される。なお、発光体が発するルミネッセンス光は、可視光領域の光を含んでよい。また、照射光は、撮像部110が生体190を撮像する場合に生体190を照らす照明光として機能することができる。
なお、ルミネッセンス光は、照射光の一成分として生体190に照射される。例えば、励起部124が発光した励起光が、ルミネッセンス光と重ね合わされて、照射光として生体190に照射されてよい。また、発光体は、他の波長域の励起光より、ルミネッセンス光を発光してよい。この場合、励起部124が他の波長域の励起光を発光することにより、当該他の波長域の励起光が、ルミネッセンス光と重ね合わされて照射光として生体190に照射される。
このように、照射制御部122は、励起部124が発光する励起光の波長域を制御することにより、出射口129から異なるスペクトル形状の照射光を照射させる。また、照射制御部122は、励起部124が発光する励起光の発光タイミングを制御することにより、出射口129から異なるスペクトル形状の照射光をそれぞれ異なるタイミングで照射することができる。
なお、励起部124および発光部128は、スペクトル形状が異なる光を発生する光発生部として機能することができる。そして、光照射部120は、スペクトル形状が異なる光が異なる組み合わせで重ね合わせられたスペクトル形状が異なる照射光を、それぞれ異なるタイミングで生体190に照射することができる。なお、光照射部120は、撮像部110が分光感度を有する波長域内においてスペクトル形状が少なくとも異なっている照射光を照射することが望ましい。
撮像部110は、照射光が照射された生物内部の生体190を撮像する。なお、生体190としては、胃の粘膜、腸の粘膜等のような、生物の消化器の粘膜等を例示することができる。
撮像部110は、スペクトル形状が異なる複数の照射光がそれぞれ照射された生体190の複数の画像を、それぞれ異なるタイミングで撮像する。具体的には、撮像部110は、ルミネッセンス光を含むスペクトル形状が異なる複数の照射光をそれぞれ照射した場合における生体190からの光により、それぞれ異なるタイミングで複数の画像を撮像する。
なお、撮像部110は、ルミネッセンス光が生体190の表面192または内部で反射した反射光により、生体190を撮像することができる。または、撮像部110は、ルミネッセンス光が生体190によって散乱された散乱光により、生体190を撮像することができる。
画像処理部140は、撮像部110により得られた画像を処理する。具体的には、画像処理部140は、撮像部110が撮像した複数の画像から、所定スペクトルの画像を生成する。
ここで、ルミネッセンス光は広波長域光であり、励起光はともに、ルミネッセンス光より波長域が狭い狭波長域光であるとする。例えば、励起部124は、予め定められた値より狭い波長幅の励起光を発光する。例えば、励起部124は、10〜20nm程度の波長幅の励起光を発光してよい。また、励起光の一方の波長域は、撮像部110の分光感度外の波長域であるとする。この場合、分光感度外の波長域の励起光により生じたルミネッセンス光を照射光として照射した場合に撮像された画像は、当該ルミネッセンス光のスペクトルに応じた画像を表している。
この場合に、画像処理部140は、撮像部110による分光感度内の波長域の励起光および当該励起光により生じたルミネッセンス光を照射光として照射した場合に得られた画像から、当該ルミネッセンス光のスペクトルに応じた画像を減算する。これにより、画像処理部140は、撮像部110による分光感度内の励起光のスペクトルに応じた画像を、所定スペクトルの画像として生成することができる。このようにして、画像処理部140は、広波長域の画像と、狭波長域の画像とを、所定スペクトルの画像として生成することができる。
なお、異なる波長域の励起光により、異なるスペクトル形状のルミネッセンス光を発光体が発光することができる場合には、光照射部120は、励起光の波長域および強度を制御することで、発光部128が発光する光のスペクトルを制御することができる。また、狭波長域の励起光の一部を発光部128が通過することで、光照射部120は上述したように狭波長域の照射光を生体190に照射することができる。
画像処理部140が生成した画像は、出力部150に出力される。出力部150は、画像処理部140が生成した画像を表示する表示装置であってよい。この場合、出力部150は、画像処理部140が生成した狭波長域の画像を強調した画像と、広波長域の画像とを重ね合わせて表示してよい。また、出力部150は、狭波長域の画像を強調した画像と広波長域の画像とを、予め定められた値より高い表示レートで切り替えて表示してもよい。
なお、光照射部120は、照射光のスペクトル形状を順次切り替えてよい。そして、撮像部110は、当該切り替えに同期して、生体190を連続的に撮像してよい。これにより、画像処理部140は、生体190の動画を生成することができる。
なお、出力部150は、画像処理部140が生成した画像を記録媒体に記録する記録装置であってよい。例えば、出力部150は、狭波長域の画像を強調した画像と、広波長域の画像とを重ね合わせた画像を記録媒体に記録してよい。また、出力部150は、狭波長域の画像を強調した画像と広波長域の画像とが予め定められた値より高い表示レートで切り替えて表示される動画を、記録媒体に記録してもよい。記録媒体は、不揮発性の記録媒体であってよい。記録媒体としては、ハードディスクなどの、磁気記録媒体、半導体メモリなどを例示することができる。
以上説明したように、内視鏡システム10によると、生体190からの所定スペクトルの光による生体190の画像を生成することができる。ここで、所定スペクトルの光の波長域としては、後に説明するように、450nmの近傍、500nmの近傍、550nmの近傍、または830nmの近傍の波長域、若しくはそれらの波長域の組み合わせの波長域を例示することができる。また、所定スペクトルの光の波長域は、10〜20nmの波長幅の狭波長域であってよい。
450nmの近傍の波長域を所定スペクトルの光の波長域とした場合には、画像処理部140は、生体190の表層血管、腸管表層のピットなどの画像を強調した画像を生成することができる。また、500nmの近傍の波長域を所定スペクトルの光の波長域とした場合には、画像処理部140は、陥凹隆起を強調した画像を生成することができる。例えば、画像処理部140は、凹部196または凸部194を強調した画像を生成することができる。
また、550nmの近傍の波長域を所定スペクトルの光の波長域とした場合には、画像処理部140は、ヘモグロビン濃度を強調した画像を生成することができる。例えば、画像処理部140は、生体190における発赤、微細血管を強調した画像を生成することができる。
また、600nmの近傍の波長域を所定スペクトルの光の波長域とした場合には、画像処理部140は、生体190の自家蛍光に基づく生体190の肥厚を強調した画像を生成することができる。また、830nm近傍の波長域を所定スペクトルの光の波長域とした場合には、画像処理部140は、生体190の深部の血管を強調した画像を生成することができる。
なお、深部の血管を強調した画像は、インドシアニングリーン(ICG)などのルミネッセンス物質を生体190に注入することで得ることができる。例えば、ICG注入部170は、静脈注射によって生体の血管内にICGを注入することで、ルミネッセンス物質であるインドシアニングリーン(ICG)を生体190に注入する。ICGは、例えば780nm近傍の波長域の励起光に励起されて、830nm付近の波長域の蛍光を発する。撮像部110は、ICGからのルミネッセンス光により、生体190内の血管を撮像することができる。なお、本実施形態においてルミネッセンス物質としてICGを例示するが、ルミネッセンス物質としては、ICG以外の蛍光物質を用いることができる。
なお、発光部128が含む発光体または生体190に注入するルミネッセンス物質の少なくとも一方が発するルミネッセンス光としては、蛍光および燐光を例示することができる。また、発光部128が含む発光体が発するルミネッセンス光としては、上述した光ルミネッセンスによるルミネッセンス光の他に、エレクトロルミネッセンス、電子線によるカソードルミネッセンス、摩擦ルミネッセンス、熱による熱ルミネッセンス、音響波によるソノルミネッセンス、物理的な力によるトリボルミネッセンスなどの少なくともいずれかによるルミネッセンス光を例示することができる。励起部124は、発光体を励起する励起エネルギーとして、光エネルギーの他に、電気エネルギー、摩擦エネルギー、熱エネルギーなど、発光体の励起過程に応じたエネルギーを供給することで、発光体からルミネッセンス光を発光させることができる。
また、操作部160は、ユーザからの指示を取得する。ユーザからの指示としては、観察対象または観察目的を指定する指示を取得してよい。当該指示としては、上述したピット、表層血管、陥凹隆起、深部血管などを強調する旨の指示を例示することができる。
制御部105は、操作部160がユーザから指示を取得した場合に、当該指示に応じたスペクトル形状の照射光を光照射部120から照射させるべく、照射制御部122に指示する。照射制御部122は、当該指示に応じて、励起部124に発光させる励起光のスペクトル、励起光を発光する時間幅などを制御する。また、制御部105は、ユーザからの指示に応じて、撮像部110における撮像動作を制御したり、画像処理部140における画像処理を制御する。
他にも、操作部160は、スコープ100を制御する制御内容を含む指示を、ユーザから取得する。例えば、操作部160は、スコープ100の先端部102を駆動する駆動量を含む指示を、ユーザから取得する。一例として、操作部160は、スコープ100の先端部102のアングルを変化させる場合にユーザが回転させるアングル制御ノブを有しており、アングル制御ノブがユーザによって回転させられた回転量を含む指示を、スコープ100の先端部102を駆動する駆動量を含む指示としてユーザから取得してよい。
制御部105は、操作部160がユーザから取得した指示に基づき、スコープ100を制御する。例えば、制御部105は、当該指示に基づきスコープ100を駆動してよい。例えば、制御部105は、操作部160が取得した回転量に応じた量だけ、スコープ100の先端部102のアングルを変化させてよい。
図2は、スコープ100の内部構造の一例を模式的に示す。撮像部110は、レンズ112、フィルタ部210、および受光部200を有する。撮像部110および発光部128は、スコープ100における先端部102に設けられる。
発光部128は、発光体を含んでいる。具体的には、発光部128は、ルミネッセンス光を発光する発光体を含んでいる。上述したように、発光体は、励起光によりルミネッセンス光を発光する。
励起部124は、励起光を光ファイバ126に入射する。光ファイバ126は、入射した励起光を発光部128に導く導光路として機能する。このように、励起部124は、発光体に入射され、発光体にルミネッセンス光を発光させる励起光を発光する。
なお、発光部128は、励起光のうちの一部を通過する。発光部128を通過した一部の励起光は、生体190に照射される。励起部124が発光して発光部128を通過した狭波長域の励起光は、後述するように、狭波長域光による所定スペクトルの画像を生成するための光として利用され得る。
一例として、発光部128が含む発光体は、第1励起光、および当該第1励起光とスペクトル形状が異なる第2励起光により、ルミネッセンス光を発光する。例えば、発光部128が含む発光体は、第1励起光、および当該第1励起光とスペクトル形状が異なる第2励起光により、略同一のスペクトル形状のルミネッセンス光を発光する。
励起部124は、発光部128にそれぞれ入射される第1励起光および第2励起光を発光することができる。例えば、照射制御部122は、第1励起光と第2励起光とを異なるタイミングで励起部124に発光させる。励起部124が発した第1励起光および第2励起光は、光ファイバ126により発光部128に導光される。
ここで、発光部128は、第1励起光の一部および第2励起光の一部を通過する。このため、励起部124が第1励起光を発光したタイミングでは、第1励起光により発光体が発光するルミネッセンス光、および励起部124が発光して発光部128を通過した第1励起光を含む第1照射光が、生体190に照射される。そして、励起部124が第2励起光を発光したタイミングでは、第2励起光により発光体が発光するルミネッセンス光、および励起部124が発光して発光部128を通過した第2励起光を含む第2照射光が、生体190に照射される。このようにして、照射制御部122は、スペクトル形状が異なる第1照射光および第2照射光を、それぞれ異なるタイミングで生体190に照射することができる。
以上説明したように、照射制御部122は、スペクトル形状が異なる光を異なる組み合わせで重ね合わせた照射光を、それぞれ異なるタイミングで生体190に照射することができる。具体的には、照射制御部122は、スペクトル形状が異なる第1照射光および第2照射光を、異なるタイミングで生体190に照射することができる。
このようにして、照射制御部122は、発光体が発光するルミネッセンス光および励起部124が発光した励起光を含む第1照射光と、当該第1照射光とスペクトル形状が異なる第2照射光とを、それぞれ異なるタイミングで生体190に照射することができる。上述した例では、第1照射光および第2照射光は、発光体が発光するルミネッセンス光を含むが、第1照射光および第2照射光の少なくとも一方が、ルミネッセンス光を含んでよい。例えば、第1照射光は、発光体が発光するルミネッセンス光および励起部124が発光した励起光を含み、第2照射光は、ルミネッセンス光を含まなくてもよい。
なお、発光体は、第1励起光と波長域が異なる第2励起光により、第1励起光により発光するルミネッセンス光のスペクトル形状と異なるスペクトル形状のルミネッセンス光を発光してもよい。照射制御部122は、励起部124における第1励起光および第2励起光の発光タイミングを制御することにより、スペクトル形状が異なる照射光をそれぞれ異なるタイミングで生体190に照射することができる。
なお、励起部124は、レーザダイオードを有してよく、励起光としてのレーザ光を発光して光ファイバ126に入射してよい。発光体は、上述したように励起部124が発光したレーザ光によって励起されてルミネッセンス光を発する蛍光体であってよい。なお、レーザ光は、コヒーレントな光の一例であってよい。励起部124は、それぞれコヒーレントな光である第1励起光および第2励起光を発光することができる。
また、発光部128は、発光体の一例としての発光ダイオードを有してもよい。例えば、発光部128は、異なるスペクトル形状の光を発光する複数の発光ダイオードを有してよい。照射制御部122は、これらの複数の発光ダイオードの発光タイミングを制御することで、異なるスペクトル形状の光を重ね合わせた照射光を異なるタイミングで生体190に照射することができる。この場合、励起部124は、電気エネルギーを発光部128に供給してよい。この構成においても、スコープ100のスコープ径を小さくすることができる。
なお、発光部128は、それぞれ異なるスペクトル形状の光を発光することができる複数の発光体を含んでよい。そして、照射制御部122は、複数の発光体を、異なるタイミングにおいて異なる組み合わせで発光させることで、スペクトル形状が異なる照射光をそれぞれ異なるタイミングで生体190に照射することができる。
例えば、発光部128は、それぞれスペクトル形状が異なるルミネッセンス光を発光する複数の発光体を含んでよい。複数の発光体は、それぞれ波長域が異なる励起光により、それぞれスペクトル形状が異なるルミネッセンス光を発光してよい。そして、励起部124は、複数の発光体をそれぞれ励起する、波長域が異なる励起光を発光してよい。この場合、照射制御部122は、波長域が異なる励起光をそれぞれ異なるタイミングにおいて異なる組み合わせで励起部124に発光させることにより、複数の発光体が発光するルミネッセンス光を異なる組み合わせで重ね合わせた照射光を、それぞれ異なるタイミングで生体190に照射する。このようにして、照射制御部122は、複数の発光体が発光するルミネッセンス光を異なる組み合わせで重ね合わせた照射光を、それぞれ異なるタイミングで生体190に照射することができる。
なお、上述したように、撮像部110がICGからのルミネッセンス光により生体190を撮像する場合には、励起部124は、ICGを励起することができる波長域の励起光を発光してよい。例えば、励起部124は、780nm近傍の波長域の励起光を発光する。励起部124が発光した780nm近傍の波長域の励起光は、発光部128を通過して生体190に照射される。
このように、光照射部120は、レーザダイオード、発光ダイオード、および蛍光体などの種々の光源を有してよい。光照射部120は、これらの光源が独立に発する光を種々の組み合わせで重ね合わせることで、スペクトル形状が異なる照射光を独立に発生することができる。
レンズ112は、生体190からの光を受光部200に結像させる。フィルタ部210はカラーフィルタであり、異なる波長領域の光を選択的に透過する複数のカラーフィルタ素子が略同一面上にマトリクス状に配列されて形成されてよい。フィルタ部210の構成については、図3に関連して後述する。
図3に関連して後述するように、受光部200が有する撮像素子が受光した受光量を示す電気信号は、画像処理部140に供給される。このように、撮像部110は、生体190からの光を受光する複数の撮像素子を有しており、各撮像素子が受光した光の強度に応じた画像信号を生成することができる。なお、撮像部110は、光照射部120から第1照射光が生体190に照射されている期間、および、光照射部120から第2照射光が生体190に照射されている期間のそれぞれの期間に撮像素子を露光することにより、それぞれのタイミングで撮像された画像を示す画像信号を生成することができる。
図3は、フィルタ部210におけるフィルタ配列および受光部200における撮像素子配列の一例を示す。フィルタ部210は、青成分の光を選択的に通過するBフィルタ360−1およびBフィルタ360−2と、緑成分の光を受光するGフィルタ370と、赤成分の光を選択的に通過するRフィルタ380とを有する。以後の説明では、Bフィルタ360−1およびBフィルタ360−2を、Bフィルタ360と総称する場合がある。
Bフィルタ360、Gフィルタ370、およびRフィルタ380により、フィルタユニット350が形成される。フィルタ部210は、フィルタユニット350と同様のフィルタが配列されたフィルタユニットが2次元的に配列されて形成される。
受光部200は、青成分の光を受光するB撮像素子310−1およびB撮像素子310−2と、緑成分の光を受光するG撮像素子320と、赤成分の光を受光するR撮像素子330とを有する。以後の説明では、B撮像素子310−1およびB撮像素子310−2を、B撮像素子310と総称する場合がある。
B撮像素子310、G撮像素子320、およびR撮像素子330により、撮像素子ユニット300が形成される。受光部200は、撮像素子ユニット300が撮像素子ユニット300と同様に撮像素子が配列された撮像素子ユニットが2次元的に配列されて形成される。
ここで、B撮像素子310−1、B撮像素子310−2、G撮像素子320、R撮像素子330は、それぞれBフィルタ360−1、Bフィルタ360−2、Gフィルタ370、およびRフィルタ380と位置合わせして配列される。これにより、B撮像素子310−1、B撮像素子310−2、G撮像素子320、およびR撮像素子330は、それぞれBフィルタ360−1が通過した光、Bフィルタ360−2が通過した光、Gフィルタ370が通過した光、およびRフィルタ380が通過した光を受光することができる。
なお、本図に示されるように、B撮像素子310は、G撮像素子320およびR撮像素子330より高い面密度で配列されている。したがって、撮像部110は、より短い波長域の光で撮像される生体190をより高い解像力で撮像することができる。このため、撮像部110は、生体190の表層の微細構造を、比較的に高い解像力で撮像することができる場合がある。
このように、受光部200には、異なる波長域を通過する複数のフィルタに対応して複数の撮像素子が設けられている。そして、複数の撮像素子は、それぞれ対応する複数のフィルタが選択的に通過した光を受光する。このように、撮像部110は、受光することができる受光波長域がそれぞれ異なる複数の撮像素子を有している。
なお、フィルタ部210は、光照射部120から照射された照射光が生体190によって反射した反射光、および照射光が生体190で散乱した散乱光を通過する。また、フィルタ部210は、ICGが発光したルミネッセンス光を通過するとともに、ICGを励起する励起光を通過しないことが望ましい。
図4は、撮像部110における分光感度特性の一例を示す。撮像部110における各色成分の分光感度特性は、フィルタ部210が有する各フィルタの分光透過率、および受光部200が有する各撮像素子の分光感度により決定される。B撮像素子310による青波長域の分光感度特性は線410で示されており、G撮像素子320による緑波長域の分光感度特性は線420で示されており、R撮像素子330による赤波長域の分光感度特性は線430により示されている。
図示されるように、撮像部110は、可視光域における短波長域においては、Bフィルタ360およびB撮像素子310により、400nm近傍から510nm近傍の波長域の光に分光感度を有する。B撮像素子310は、当該波長域の光を受光することができるので、当該波長域をB撮像素子310の受光波長域と呼ぶ。
また、撮像部110は、可視光域における中波長域においては、Gフィルタ370およびG撮像素子320により、470nm近傍から620nm近傍の波長域の光に分光感度を有する。G撮像素子320は、当該波長域の光を受光することができるので、当該波長域をG撮像素子320の受光波長域と呼ぶ。
また、撮像部110は、可視光域における長波長域においては、Rフィルタ380およびR撮像素子330により、580nm近傍から740nm近傍、および、810nm近傍から840nm近傍の波長域の光に分光感度を有する。R撮像素子330は、これらの波長域の光を受光することができるので、これらの波長域をR撮像素子330の受光波長域と呼ぶ。
なお、Rフィルタ380は780nm近傍の波長域の光をカットする。これにより、ICGを励起する780nm近傍の波長域の励起光がR撮像素子330に入射することを防ぐことができる。一方で、Rフィルタ380は830nm近傍の波長域の光を通過する。これにより、撮像部110は、ICGからのルミネッセンス光により、生体190を適切に撮像することができる。
図5は、照射光の波長パターンの一例を、撮像部110における分光感度特性とともに示す。光照射部120は、異なるスペクトル形状の光を重ね合わせパターン500aで重ね合わせて得られた照射光と、異なるスペクトル形状の光を重ね合わせパターン500bで重ね合わせて得られた照射光とを、異なるタイミングで照射する。
重ね合わせパターン500aによる照射光を生体190に照射する場合、励起部124は、B撮像素子310の受光波長域の光である波長域510の励起光を発光する。ここで、波長域510は、450nm近傍の波長域であり、G撮像素子320の受光波長域およびR撮像素子330の受光波長域のいずれにも含まれない波長域であるとする。なお、波長域510の励起光は、この発明における第1励起光の一例であってよい。B撮像素子310は、波長域510の励起光により発光するルミネッセンス光の波長域と、波長域510とを、受光波長域として含む。
ここで、発光体は、波長域510の励起光により、B撮像素子310の受光波長域、G撮像素子320の受光波長域、およびR撮像素子330の受光波長域にわたる、波長域520のルミネッセンス光を発光する。このように、発光体は、波長域510の励起光により、B撮像素子310の受光波長域、G撮像素子320の受光波長域、およびR撮像素子330のそれぞれにおける受光波長域の少なくとも一部を含む波長域のルミネッセンス光を発光する。これにより、光照射部120は、波長域510の励起光と波長域520のルミネッセンス光とが重ね合わされた照射光を、生体190に照射することができる。
重ね合わせパターン500bによる照射光を生体190に照射する場合、励起部124は、波長域530の励起光、波長域550の励起光、波長域570の励起光を略同一のタイミングで発光する。ここで、波長域530は390nm近傍の波長域であり、波長域550は370nm近傍の波長域であるとする。また、波長域530および波長域550はともに、B撮像素子310の受光波長域、G撮像素子320の受光波長域、およびR撮像素子330の受光波長域のいずれにも含まれない。
また、波長域570は、780nm近傍の波長域であるとする。この波長域570の励起光は、上述したようにICGを励起する励起光となる。当該波長域の光は、B撮像素子310、G撮像素子320、およびR撮像素子330のいずれの受光波長域にも含まれない。
また、発光体は、390nm近傍の励起光により、B撮像素子310の受光波長域、G撮像素子320の受光波長域、およびR撮像素子330の受光波長域にわたる波長域540のルミネッセンス光を発光するものとする。ここで、波長域520および波長域540は、略同一の波長域であってよい。また、390nm近傍の励起光によるルミネッセンス光のスペクトル形状は、450nm近傍の励起光によるルミネッセンス光のスペクトル形状と略同一であってよい。390nm近傍の励起光によるルミネッセンス光の強度は、450nm近傍の励起光によるルミネッセンス光の強度と異なってよい。後述するように、画像処理部140は、ルミネッセンス光のスペクトルに応じて各撮像素子からの信号を処理することができる。
また、発光体は、370nm近傍の励起光により、G撮像素子320の受光波長域に含まれる波長域560の波長域のルミネッセンス光を発光するものとする。ここで、波長域560は、B撮像素子310の受光波長域およびR撮像素子330の受光波長域のいずれの受光波長域にも含まれない。
なお、波長域530の励起光は、この発明における第2励起光の一例であってよい。励起部124は、B撮像素子310の受光波長域以外の波長域の光である波長域530の励起光とを、波長域510の励起光と異なるタイミングで発光する。以上説明したように、光照射部120は、撮像素子が受光することができる受光波長域においてスペクトル形状が異なる照射光を、それぞれ異なるタイミングで生体190に照射することができる。例えば、光照射部120は、少なくともB撮像素子310の受光波長域においてスペクトル形状が異なる照射光を、それぞれ異なるタイミングで生体190に照射する。
なお、B撮像素子310の受光波長域においては、第2照射光の波長域は、第1照射光の部分波長域となっている。この場合、画像処理部140は、第1照射光が照射された生体190の画像、および第2照射光が照射された生体190の画像に基づき、第1照射光の波長域における第2照射光の波長域以外の波長域の画像を、所定スペクトルの画像として生成することができる。
例えば、画像処理部140は、第1照射光が照射された生体190の画像から第2照射光が照射された生体190の画像を、第1照射光のスペクトルおよび第2照射光のスペクトルに応じた重みづけで減算処理することで、所定スペクトルの画像を生成することができる。
本図の例では、画像処理部140は、波長域510の画像、および500nm近傍の波長域の画像を生成することができる。ここで、500nm近傍の波長域の画像は、500nm近傍における波長幅20nm程度の狭波長域の光強度に応じた画像となる。このように、異なる波長域に分光感度を有する撮像素子を用いて分光撮影することによって、画像処理部140は狭波長幅の所定スペクトルの画像を生成することができる場合がある。以上説明したように、画像処理部140は、撮像部110が撮像した複数の画像、および第1照射光および第2照射光のそれぞれのスペクトルに基づき、所定スペクトルの画像を生成することができる。
また、画像処理部140は、撮像部110が撮像した複数の画像に基づき、受光波長域においていずれの照射光の波長域より広い波長域の画像を、所定スペクトルの画像として生成することもできる。画像処理部140による画像処理の具体例については、図6に関連してより詳細に説明する。
図6は、画像処理部140における画像処理の一例を示す。画像600aは、重ね合わせパターン500aによる照射光が照射された生体190を撮像部110が撮像して得られた画像を示している。また、画像600bは、重ね合わせパターン500bによる照射光が照射された生体190を撮像部110が撮像して得られた画像を示しているとする。
以後の説明では、光の強度をIとして、その光の波長域を添え字により区別して示す。例えば、生体190から撮像部110に向かう光のうち、波長域510の光の強度をI510と表す。
また、各撮像素子による感応強度を、色成分に応じた添え字で表す。例えば、R撮像素子330による感応強度をIrと表す。また、Rフィルタ380およびR撮像素子330による分光感度をSrとすると、Irは生体190からの波長依存の光強度IにSrを乗じた値を波長について積分した積分値となる。しかしながら、以後の説明では、簡単のため積分記号を省略して、簡略的にかけ算で表すものとする。
重ね合わせパターン500aによる照射光が照射されている場合には、Ir=I520×Srとなる。そして、画像600aのR成分の輝度信号はIrに応じた値になる。なお、R成分の輝度信号は、撮像部110における露光期間に応じて変化するが、説明を簡単にすべく、輝度信号は露光期間で規格化した値であるとして説明する。
同様に、Gフィルタ370およびG撮像素子320による分光感度をSgとすると、画像600aのG成分の輝度信号は、Ig(=I520×Sg)に応じた値になる。また、同様に、Bフィルタ360およびB撮像素子310による分光感度をSbとすると、画像600aのB成分の輝度信号は、Ib(=(I520+I510)×Sb))に応じた値になる。
同様に、画像600bのR成分の輝度信号は、Ir(=(I540+I580)×Sr)に応じた値になる。画像600bのG成分の輝度信号は、Ig(=(I540+I560)×Sg)に応じた値になる。画像600bのB成分の輝度信号は、Ib(=I540×Sb)に応じた値になる。
画像処理部140は、画像600aおよび画像600bのそれぞれにおける各色の画像信号に基づき、表層強調画像610、凹凸強調画像620、ヘモグロビン強調画像630、および深部血管強調画像640を生成する。なお、表層強調画像610、凹凸強調画像620、ヘモグロビン強調画像630、および深部血管強調画像640は、所定スペクトルの画像の一例であってよい。
具体的には、画像処理部140は、450nm近傍の波長域510における感応強度I510に応じた輝度信号を有する表層強調画像610を生成することができる。一例として、画像処理部140は、撮像画像600aのB信号、撮像画像600bのB信号、I520、およびI540に基づき、表層強調画像610を生成することができる。なお、I520およびI540については、励起光の波長域および励起光の強度に応じて発光体が発するスペクトルと、励起部124が発した励起光の波長域および強度とに基づき特定することができる。
同様にして、画像処理部140は、画像600aおよび画像600bのB信号から、波長域520とB撮像素子310の受光波長域とが重なる波長域における感応強度I520に応じた輝度信号を有する凹凸強調画像620を生成することができる。また、画像処理部140は、画像600aおよび画像600bのG信号から、550nm近傍の波長域560の感応強度I560に応じた輝度信号を有するヘモグロビン強調画像630を生成することができる。また、画像処理部140は、画像600aおよび画像600bのR信号から、830nm近傍の波長域580の感応強度I580に応じた輝度信号を有する深部血管強調画像640を生成することができる。
他にも、画像処理部140は、画像600aおよび画像600bのG信号から、波長域520とG撮像素子320の受光波長域とが重なる波長域の感応強度I520に応じた輝度信号を有する画像を生成することもできる。また、画像処理部140は、画像600aおよび画像600bのR信号から、波長域520とR撮像素子330の受光波長域とが重なる波長域の光強度I520に応じた輝度信号を有する画像を生成することもできる。
そして、画像処理部140は、生成した複数の画像における各色の輝度信号を所定の重みづけで合成することで、観察目的に応じた画像を生成することができる。一例として、画像処理部140は、略白色な光を生体190に照射した場合に得られることが期待される白色光画像を、複数の画像における各色の輝度信号と、発光体または生体190が発するルミネッセンス光のスペクトルとに基づき生成することができる。
なお、画像処理部140は、励起部124が波長域530の励起光だけを発している間に撮像部110により撮像された画像を、白色光画像として生成することもできる。このとき、画像処理部140は、波長域530の励起光によるルミネッセンス光のスペクトルに応じて、撮像部110により撮像された当該画像を補正してよい。
また、画像処理部140は、表層強調画像610、凹凸強調画像620、ヘモグロビン強調画像630、および深部血管強調画像640の少なくともいずれかと、当該白色光画像とを合成した画像を、所定スペクトルの画像として生成することもできる。このため、画像処理部140は、観察目的に適した画像を生成することができる。
図7は、画像処理部140が生成した画像の一例を示す。画像処理部140は、図6に関連して説明した方法により、白色光画像700を生成して出力部150に供給する。出力部150は、画像処理部140が生成した白色光画像700を表示する。なお、白色光画像700における領域720には、生体190表面の凹凸を示す凹凸像710が含まれている。また、白色光画像700における領域720には、深部の血管像は実質的に含まれていない。
ここで、操作部160は、例えばポインティングデバイスなどによりユーザが領域720を指定した操作に基づく操作情報を取得する。そして、操作部160は、所定スペクトルの画像を表示すべき白色光画像700上の領域720を示す領域情報を、取得した操作情報に応じて生成する。
また、操作部160は、ボタンなどによりユーザが画像の種類を指定した操作に基づく操作情報を取得する。そして、操作部160は、表示すべき所定スペクトルの画像の種類を示す種類情報を、取得した操作情報に応じて生成する。なお、所定スペクトルの画像の種類としては、上述した表層強調画像610、凹凸強調画像620、ヘモグロビン強調画像630、および深部血管強調画像640などを例示することができる。
操作部160は、領域情報および種類情報を制御部105に供給する。制御部105は、領域情報および種類情報に応じて、撮像部110、画像処理部140、および光照射部120を制御する。
具体的には、照射制御部122は、種類情報に応じて、励起部124が発する光の波長および発光期間を制御する。例えば、種類情報が深部血管強調画像640および凹凸強調画像620を示す場合には、照射制御部122は、励起部124に波長域510の励起光を第1期間において発光させるとともに、励起部124に波長域530の励起光および波長域570の励起光を第2期間において発光させる。照射制御部122は、波長域510の励起光の発光と、波長域570の励起光および波長域530の励起光の発光とを順次切り替えて励起部124に発光させる。
画像処理部140は、撮像部110により第1期間および第2期間に撮像された画像から、図6に関連して上述した処理により、凹凸強調画像620、深部血管強調画像640および白色光画像を生成することができる。画像処理部140は、生成した凹凸強調画像620および深部血管強調画像640における領域720の画像と、白色光画像とを重ね合わせることによって、合成画像750を生成して出力部150に供給する。出力部150は、合成画像750を表示する。これにより、合成画像750の領域720において、凹凸が強調された凹凸像760および深部の血管が強調された深部血管像770を得ることができる。
なお、照射制御部122は、領域情報に応じて、光照射部120から照射される照射範囲を制御してもよい。例えば、照射制御部122は、領域情報に対応する実空間上の範囲に、波長域530の励起光および波長域570の励起光により発光体が発したルミネッセンス光を照射してよい。これにより、画像処理部140は、領域720において合成画像750と同様の画像を生成するとともに、領域720以外の領域において白色光画像700と同様の画像を生成することができる。
このように、照射制御部122は、異なるスペクトル形状の光を異なる組み合わせで組み合わせた照射光を、それぞれ異なる範囲に照射してよい。そして、画像処理部140は、異なる画像領域において異なるスペクトルの画像を生成することができる。
図8は、励起部124による励起光の発光シーケンスの一例を示す。光照射部120は、白色光画像を示す種類情報が制御部105に供給されている場合、または特定の種類情報が制御部105に供給されていない場合に、波長域510の光である励起光B1と、波長域530の光である励起光B2とを、交互に励起部124に発生させる。例えば、図示されるように、照射制御部122は、時刻t800−1から時刻t800−3の間、励起光B1と励起光B2とを交互に励起部124に発生させる。
操作部160から、深部血管を強調した画像に対応する種類の種類情報が制御部105に供給された場合、照射制御部122は、波長域570の励起光Irおよび励起光B2と、励起光B1とを、励起部124に交互に発生させる。例えば、図示されるように、照射制御部122は、次の撮像タイミングに応じた時刻t800−4において励起光B2および励起光Irを発生させ、次の撮像タイミングに応じた時刻t800−5において励起光B1を発生させる。
ここで、励起光B2により発光体が発するルミネッセンス光の強度は、励起光B1により発光体が発するルミネッセンス光の強度より弱いとする。また、生体190内のICGが発するルミネッセンス光の強度は、励起光B1により発光体が発するルミネッセンス光が生体190で反射した反射光の強度に比べて弱いとする。このような場合に、受光部200の露光期間の時間長さを時間的に固定すると、画像の輝度分解能が低下してしまう場合がある。
そこで、制御部105は、時刻t800−4および時刻t800−6において、時刻t800−5および時刻t800−7における撮像間隔より長い撮像間隔で撮像部110に撮像させる。照射制御部122は、時刻t800−4および時刻t800−6において、時刻t800−5および時刻t800−7における励起光の発光期間より長い期間、励起部124に励起光を発光させる。具体的には、照射制御部122は、撮像部110における撮像間隔に応じた期間、励起部124に励起光を発生させる。
このように、照射制御部122は、種類情報に応じて、励起部124が発生する励起光の強度およびスペクトル形状を決定する。これにより、照射光のスペクトルが定まる。制御部105は、光照射部120から照射される照射光のスペクトルに応じて受光部200の露光期間を決定して、受光部200を当該露光期間だけ露光させる。また、照射制御部122は、少なくとも露光期間にわたって照射光が照射されるべく、励起部124に励起光を発させる期間を制御する。
図示した発光シーケンスで励起部124が励起光を発光することにより、画像処理部140は、時刻t800−3および時刻t800−4に撮像された画像から、白色光画像および深部血管強調画像640を生成することができる。また、画像処理部140は、時刻t800−4および時刻t800−5に撮像された画像から、次のタイミングにおける白色光画像を生成することができる。このように、内視鏡システム10によると、観察目的に応じた画像を高速に生成することができる。
なお、照射制御部122は、スペクトル形状の異なる光が生体190に照射される一露光期間中における時間長さを、複数の露光期間の間で異ならせることによっても、一露光期間中における照射光の実効的なスペクトルを複数の露光期間の間で異ならせることができる。例えば、照射制御部122は、励起部124が一露光期間中において励起光を発する時間長さを、複数の露光期間の間で異ならせてよい。これにより、光照射部120は、実効的に異なるスペクトルの照射光を、それぞれ異なるタイミングで生体190に照射することができる。そして、画像処理部140は、撮像部110により撮像された画像を上記時間幅に基づく実効的なスペクトルに応じてそれぞれ補正することで、各種の画像を生成することができる。
なお、上述したように、照射光として組み合わせられるスペクトル形状が異なる光とは、波長域が異なる光であってよい。また、スペクトルが異なる照射光とは、波長域が異なる照射光であってよい。この場合に、撮像部110は、波長域が異なる照射光がそれぞれ照射された被写体の複数の画像を、それぞれ異なるタイミングで撮像してよい。そして、画像処理部140は、撮像部110が撮像した複数の画像から、特定波長域の画像を所定スペクトルの画像として生成してよい。
また、本実施形態では、生体190を被写体の一例として、内視鏡システム10の各構成要素の動作の一例を説明した。被写体としては、生体190の他にも、工業的に製造された製品等の物品、または生体以外の自然物を例示することができる。
図9は、内視鏡システム10のハードウェア構成の一例を示す。内視鏡システム10は、パーソナルコンピュータなどのコンピュータ1500を用いて構築することができる。
コンピュータ1500は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、及び表示デバイス1580を有する。入出力部は、入出力コントローラ1584によりホスト・コントローラ1582に接続される通信インターフェイス1530、ハードディスクドライブ1540、及びCD−ROMドライブ1560を有する。レガシー入出力部は、入出力コントローラ1584に接続されるROM1510、フレキシブルディスク・ドライブ1550、及び入出力チップ1570を有する。
ホスト・コントローラ1582は、RAM1520と、より高い転送レートでRAM1520をアクセスするCPU1505、及びグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、及びRAM1520に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信インターフェイス1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、及びデータを格納する。通信インターフェイス1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。
入出力コントローラ1584には、ROM1510と、フレキシブルディスク・ドライブ1550、及び入出力チップ1570の比較的低速な入出力装置とが接続される。ROM1510は、コンピュータ1500が起動するときに実行するブート・プログラム、あるいはコンピュータ1500のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、及び通信インターフェイス1530に提供する。入出力チップ1570は、フレキシブルディスク・ドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、コンピュータ1500を、図1から図8に関連して説明した内視鏡システム10が備える各構成要素、例えば光照射部120、制御部105、画像処理部140、出力部150、ICG注入部170、撮像部110などとして機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ1500に提供してもよい。
以上、この発明を実施の形態を用いて説明したが、この発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態もこの発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。