JP5675187B2

JP5675187B2 - 蛍光観察装置

Info

Publication number: JP5675187B2
Application number: JP2010149052A
Authority: JP
Inventors: 裕美志田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-06-30
Filing date: 2010-06-30
Publication date: 2015-02-25
Anticipated expiration: 2030-06-30
Also published as: US20130116508A1; JP2012010862A; CN102958419A; CN102958419B; WO2012002312A1

Description

本発明は、蛍光観察装置に関するものである。

従来、被写体に対して励起光と白色光とを照射して蛍光画像と白色光画像とを取得し、蛍光画像において患部を特定した後、白色光画像に切り替えて、白色光画像を観ながら患部に対する処置、例えば、患部組織の採取等を行う蛍光内視鏡装置が知られている（例えば、特許文献１参照。）。
この蛍光内視鏡装置においては、蛍光画像において特定された患部にマークを付けると、白色光画像に切り替えた後においても特定された患部の位置にマークが残るようにして、患部に対する処置時の作業を容易にしている。

特許第３７７１９８５号公報

しかしながら、特許文献１に開示されている蛍光内視鏡装置においては、白色光画像に切り替えた後においても患部の位置を特定できるものの、所望の処置を行うことができたか否かについて確認することは困難であるという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、患部に対する処置の結果を容易に確認できる蛍光観察装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、被写体に対し、照明光および励起光を照射する照明部と、該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部により取得された蛍光画像を記憶する蛍光画像記憶部と、前記被写体に対する処置の開始および終了の信号を入力する処置入力部と、該処置入力部に処置の開始の信号が入力されたときに前記蛍光画像記憶部に記憶された蛍光画像と、処置の終了の信号が入力されたときに取得された蛍光画像とを対比可能な比較画像を生成する比較画像生成部と、該比較画像生成部により生成された比較画像を表示する表示部と、前記戻り光撮像部により取得された戻り光画像、前記蛍光撮像部により取得された蛍光画像および前記比較画像生成部により生成された比較画像を切り替えて前記表示部に表示させる表示切替部とを備える蛍光観察装置を提供する。

本発明によれば、照明部から励起光および照明光が被写体に対して照射され、被写体において発生した蛍光を蛍光撮像部により撮影することによって蛍光画像が取得される一方、被写体からの照明光の戻り光を戻り光撮像部により撮影することによって戻り光画像が取得される。取得された蛍光画像においては、蛍光強度が高い領域を処置すべき領域として特定することができる。そして、処置入力部において処置の開始の信号が入力されると、その時点で取得されている蛍光画像が蛍光画像記憶部に記憶される。

一方、取得された戻り光画像においては、被写体の表面状態を確認することができ、戻り光画像を見ながら処置が行われる。そして、処置が終了した時点で、処置入力部において処置の終了の信号が入力されると、その時点で取得されている蛍光画像と、蛍光画像記憶部に記憶されている処置開始時の蛍光画像とを対比可能な比較画像が比較画像生成部により生成され、表示部に表示される。これにより、表示部に表示された比較画像によって、処置の前後における蛍光画像の変化を容易に確認することが可能となる。
また、表示切替部により必要に応じて表示部に蛍光画像を表示させて処置すべき部位の特定を行わせたり、蛍光画像から戻り光画像又は比較画像に切り替えたりすることができる。

上記発明においては、前記表示切替部は、前記表示部に前記蛍光画像を表示させている状態で、前記処置入力部に処置の開始の信号が入力されたときに、前記表示部における表示画像を前記戻り光画像に切り替え、前記表示部に前記戻り光画像を表示させている状態で、前記処置入力部に処置の終了の信号が入力されたときに、前記表示部における表示画像を前記比較画像に切り替えてもよい。

このようにすることで、表示切替部により表示部に蛍光画像を表示させて、処置すべき部位の特定を行わせ、処置の開始の信号を入力すると、表示切替部が、表示部の表示を蛍光画像から戻り光画像に切り替える。これにより、戻り光画像により被写体の表面状態を確認しながら処置が行われる。そして、処置の終了の信号を入力すると、表示切替部が、表示部の表示を戻り光画像から比較画像に切り替える。これにより、処置の前後における蛍光画像の変化を容易に確認することができる。

また、上記発明においては、前記比較画像生成部が、処置の開始の信号が入力されたときに前記蛍光画像記憶部に記憶された蛍光画像と、処置の終了の信号が入力されたときにの蛍光画像とを並列させた比較画像を生成してもよい。
このようにすることで、処置の前後の蛍光画像が並列して表示されるので、処置の結果を一目で確認することができる。

また、上記発明においては、前記比較画像生成部が、処置の開始の信号が入力されたときに前記蛍光画像記憶部に記憶された蛍光画像と、処置の終了の信号が入力されたときの蛍光画像との差分を演算した差分画像を比較画像として生成してもよい。
このようにすることで、処置の前後における蛍光画像の変化が、差分画像として表示されるので、処置の結果の変化が微細な場合においても、これを明確に確認することができる。

また、上記発明においては、前記処置入力部に処置の開始の信号が入力されたときに前記戻り光画像を記憶する戻り光画像記憶部と、前記処置入力部に処置の終了の信号が入力されたときに取得された戻り光画像と、前記戻り光画像記憶部に記憶されている戻り光画像との間で位置ズレ量を算出する位置ズレ算出部とを備え、前記比較画像生成部が、前記位置ズレ算出部により算出された位置ズレ量を用いて、蛍光像の位置合わせを行った後に差分演算を行ってもよい。

このようにすることで、２つの蛍光画像どうしの相対位置を一致させて差分演算を行うことができ、処置の前後における蛍光画像の変化を差分画像として正確に抽出することができる。

また、上記発明においては、前記処置入力部に処置の開始の信号が入力されたときに前記蛍光画像記憶部に記憶された蛍光画像内における蛍光強度の最も高いピーク領域を抽出するピーク抽出部を備え、前記比較画像生成部が、前記差分画像に、前記ピーク抽出部により抽出されたピーク領域を重畳した比較画像を生成してもよい。
このようにすることで、蛍光強度の最も高いピーク領域に対して適切な処置が行われたか否かを一目で確認することができる。

本発明によれば、患部に対する処置の結果を容易に確認できるという効果を奏する。

本発明の第１の実施形態に係る蛍光観察装置を示す全体構成図である。図１の蛍光観察装置により生成された比較画像の一例を示す図である。図１の蛍光観察装置による観察手順を示すフローチャートである。図１の蛍光観察装置による観察手順を示す図であり、（ａ）白色光画像、（ｂ）蛍光画像、（ｃ）マークを付した蛍光画像、（ｄ）マークを残した白色光画像、（ｅ）白色画像による処置、（ｆ）比較画像をそれぞれ示している。本発明の第２の実施形態に係る蛍光観察装置を示す全体構成図である。図５の蛍光観察装置の変形例を示す全体構成図である。図６の蛍光観察装置により取得された蛍光画像にピーク領域を表示した図である。

本発明の第１の実施形態に係る蛍光観察装置１について、図面を参照して以下に説明する。
本実施形態に係る蛍光観察装置１は、図１に示されるように、内視鏡装置であって、体腔内に挿入される挿入部２と、該挿入部２の先端面２ａに対向して配置される生体組織（以下、被写体という。）Ａに対して白色光（照明光）および励起光を照射する照明部３と、被写体Ａの蛍光画像信号および白色光画像信号を取得する画像取得部４と、該画像取得部４により取得された画像信号を処理する画像処理部５と、画像処理部５により生成された画像を表示するモニタ（表示部）６とを備えている。

照明部３は、キセノンランプ７と、フィルタ８と、カップリングレンズ９と、ライトガイドファイバ１０と、照明光学系１１とを備えている。フィルタ８は、白色光および励起光の波長帯域（例えば、４００〜７５０ｎｍ）の光を透過し、それ以外の波長帯域の光を遮断する透過率特性を有している。

カップリングレンズ９は、フィルタ８を透過した白色光および励起光を集光してライトガイドファイバ１０の端部に入射させるようになっている。ライトガイドファイバ１０は、挿入部２の基端から先端まで全長にわたって配置され、白色光および励起光を挿入部２の先端面２ａまで導光するようになっている。照明光学系１１は、ライトガイドファイバ１０により導光された白色光および励起光を拡散させて、被写体Ａに向けて照射するようになっている。

画像取得部４は、挿入部２に先端に配置され、被写体Ａにおいて発生した蛍光および被写体からの白色光の戻り光を集光する対物レンズ１２と、該対物レンズ１２により集光された光を蛍光と白色光とに分岐するダイクロイックミラー１３と、該ダイクロイックミラー１３によって分岐された蛍光および白色光をそれぞれ集光する集光レンズ１４と、該集光レンズ１４により集光された蛍光を撮影する蛍光用ＣＣＤ（蛍光撮像部）１５と、集光レンズ１４により集光された白色光を撮影する白色光用ＣＣＤ（戻り光撮像部）１６とを備えている。図中、符号１７は蛍光用ＣＣＤ１５への励起光の入射を遮断する励起光カットフィルタである。

画像処理部５は、蛍光用ＣＣＤ１５により取得された蛍光画像信号を処理して蛍光画像を生成する蛍光画像生成部１８と、白色光用ＣＣＤ１６により取得された白色光画像信号を処理して白色光画像を生成する白色光画像生成部１９と、外部からの指令信号を入力する入力部（処置入力部）２０と、蛍光画像を記憶する画像記憶部２１と、比較画像を生成する比較画像生成部２２と、蛍光画像生成部１８、白色光画像生成部１９および入力部２０からの入力を受けて、画像記憶部２１、比較画像生成部２２およびモニタ６を制御する制御部（表示切替部）２３とを備えている。

入力部２０は、医師等の操作者が、被写体Ａに対する処置を開始する際、および処置を終了する際に指令信号を入力する押しボタン等の入力手段である。
制御部２３は、入力部２０から処置を開始する指令信号が入力されたときには、その時点で取得されている蛍光画像を画像記憶部２１に送って記憶させるようになっている。

また、制御部２３は、入力部２０から処置を終了する指令信号が入力されたときには、その時点で取得されている処置後の蛍光画像と、画像記憶部２１に記憶されている処置の開始時の蛍光画像とを比較画像生成部２２に送り、比較画像を生成させるようになっている。
比較画像生成部２２は、例えば、図２に示されるように、処置の開始時における蛍光画像Ｇ１０と、処置の終了時における蛍光画像Ｇ１１とを並列させた比較画像Ｇ３を生成し、制御部２３に入力するようになっている。

また、制御部２３は、蛍光画像、白色光画像および比較画像を切り替えてモニタ６に表示させるようになっている。
例えば、制御部２３は、蛍光画像を表示させて医師等の操作者に病変部の状態を蛍光画像によって観察させるとともに、操作者が、蛍光画像中における高輝度領域等にマークを付した場合には、これを記憶するようになっている。

そして、制御部２３は、入力部２０から処置を開始する指令信号が入力されたときには、モニタ６の表示を蛍光画像から白色光画像に切り替え、その際に、蛍光画像に付したマークを白色光画像上にも残すようになっている。
操作者は、白色光画像において被写体Ａの表面状態を確認しながらマークの付された領域に対して処置を施し、処置が終了した時点で入力部２０から処置を終了する指令信号を入力する。

入力部２０に処置を終了する指令信号が入力されると、制御部２３は、モニタ６に表示していた白色光画像に代えて、比較画像生成部２２から入力された比較画像を表示させるようになっている。

このように構成された本実施形態に係る蛍光観察装置１の作用について以下に説明する。
本実施形態に係る蛍光観察装置１を用いて、被写体Ａの蛍光観察を行うには、病変部等に特異的に集積する蛍光プローブを被写体Ａに付与するとともに、挿入部２を体腔内に挿入して、その先端面２ａを被写体Ａに対向配置させる。

そして、図３に示されるように、照明部３を作動させて、白色光および励起光をライトガイドファイバ１０を介して挿入部２の先端の照明光学系１１により被写体Ａに照射させる（ステップＳ１）。励起光が照射されることにより、被写体Ａにおいては蛍光プローブが励起されて蛍光が発生する。また、白色光が照射されると、被写体Ａの表面における白色光の反射光が挿入部２の先端面２ａ側に戻る。

挿入部２の先端面２ａ側に入射してくる蛍光および白色光は対物レンズ１２によって集光され、ダイクロイックミラー１３によって分岐されてそれぞれ蛍光用ＣＣＤ１５および白色光用ＣＣＤ１６によって撮影される。蛍光用ＣＣＤ１５から出力された蛍光画像信号は、画像処理部５の蛍光画像生成部１８に送られて蛍光画像Ｇ１が生成される。また、白色光用ＣＣＤ１６から出力された白色光画像信号は、画像処理部５の白色光画像生成部１９に送られて白色光画像Ｇ２が生成される（ステップＳ２）。

制御部２３は、まず、図４（ａ）に示されるように、モニタ６に白色光画像Ｇ２を表示させる（ステップＳ３）。そして、操作者がモニタ６上の白色光画像Ｇ２により被写体Ａの表面状態を観察しながら挿入部２を操作し、病変部の疑いのある部位近傍に差し掛かったら、図４（ｂ）に示されるように、モニタ６の表示を蛍光画像Ｇ１に切り替える（ステップＳ４）。

操作者は、モニタ６に表示されている蛍光画像Ｇ１を見ながら蛍光輝度の高い領域である病変部Ｂを捜索し、図４（ｃ）に示されるように、発見された時点でその領域を示すマークＣを付する（ステップＳ５）。マークＣの付与は、図示しないマウス等によりモニタ６上において行い、制御部２３が記憶する。操作者はその後、処置を開始する入力を入力部２０から行う（ステップＳ６）。

入力部２０に、処置を開始する信号が入力されると、制御部２３は、その時点でモニタ６に表示している蛍光画像Ｇ１０を画像記憶部２１に送って記憶させる（ステップＳ７）とともに、図４（ｄ）に示されるように、蛍光画像Ｇ１に代えて白色光画像Ｇ２をモニタ６に表示させる（ステップＳ８）。この際、蛍光画像Ｇ１上で付され制御部２３に記憶されているマークＣは白色光画像Ｇ２上にも残る。

操作者は、白色光画像Ｇ２によって被写体Ａの表面状態を確認しながら、マークＣが付された領域に対して、例えば、図４（ｅ）に示されるように、処置具Ｄを用いて組織を切除する等の処置を行う（ステップＳ９）。そして、処置が終了した時点で、操作者は、処置を終了させる入力を入力部２０から行う（ステップＳ１０）。

入力部２０に、処置を終了する信号が入力されると、制御部２３は、その時点で取得されている蛍光画像Ｇ１１および画像記憶部２１に記憶されている蛍光画像Ｇ１０を比較画像生成部２２に送り、比較画像Ｇ３を生成させる（ステップＳ１１）。比較画像生成部２２は、２つの蛍光画像Ｇ１０，Ｇ１１を並列に並べた比較画像Ｇ３を生成して制御部２３に送る）。そして、制御部２３は、図４（ｆ）に示されるように、比較画像生成部２２から送られてきた比較画像Ｇ３を、モニタ６に表示している白色光画像Ｇ２に代えて表示させる（ステップＳ１２）。

これにより、操作者は、モニタ６上に表示された比較画像Ｇ３の処置の前後の蛍光画像Ｇ１０，Ｇ１１を直接対比することによって、処置の前後における蛍光画像Ｇ１０，Ｇ１１における変化を容易に確認することができる。十分な処置が行われていない場合には、ステップＳ８からの工程を繰り返す（ステップＳ１３）。

このように、本実施形態に係る蛍光観察装置１によれば、白色光画像Ｇ２によって表面状態を確認しながら行った処置が良好に行われたか否かを、処置の前後の蛍光画像Ｇ１０，Ｇ１１を並列して提示することによって容易に確認することができ、観察を効率的に行うことができるとともに、処置の精度を向上することができるという利点がある。

次に、本発明の第２の実施形態に係る蛍光観察装置３０について、図面を参照して以下に説明する。
本実施形態に係る蛍光観察装置３０の説明において、上述した第１の実施形態に係る蛍光観察装置１と構成を共通とする箇所には同一符号を付して説明を省略する。

本実施形態に係る蛍光観察装置３０は、図５に示されるように、制御部２３の動作、処置の前後の白色光画像Ｇ２のズレ量を算出する位置ズレ算出部３１を備えている点、および、比較画像生成部２２が、処置の前後の蛍光画像Ｇ１０，Ｇ１１の差分画像を比較画像Ｇ３として生成する点において、第１の実施形態に係る蛍光観察装置１と相違している。

制御部２３は、図５に示されるように、入力部２０に処置の開始の信号が入力されたときには、その時点で取得されている蛍光画像Ｇ１０および白色光画像を画像記憶部２１に送って記憶させるようになっている。また、制御部２３は、入力部２０に処置の終了の信号が入力されたときには、その時点で取得されている処置後の蛍光画像Ｇ１１および画像記憶部２１に記憶されている処置前の蛍光画像Ｇ１０を比較画像生成部２２に送るとともに、処置後の白色光画像および画像記憶部２１に記憶されている処置前の白色光画像を位置ズレ算出部３１に送るようになっている。

位置ズレ算出部３１は、画像記憶部２１に記憶していた処置前の白色光画像と、処置の終了の信号が入力部２０に入力されたときに取得された処置後の白色光画像とが入力されて、それらの白色光画像間の位置ズレ量を算出するようになっている。具体的には、各白色光画像内の特徴点（例えば、形状的特徴点、色彩的特徴点等）を抽出し、抽出された対応する特徴点の移動方向と距離とを求めることにより、処置の前後において視野がずれた方向と距離とを求めるようになっている。

比較画像生成部２２は、画像記憶部２１に記憶していた処置前の蛍光画像Ｇ１０と、処置の終了の信号が入力部３０に入力されたときに取得された処置後の蛍光画像Ｇ１１と、位置ズレ算出部３１により算出された位置ズレ量とが入力されるようになっている。

比較画像生成部２２においては、まず、２つの蛍光画像Ｇ１０，Ｇ１１の位置合わせ処理が行われる。すなわち、同時に取得された白色光画像Ｇ２と蛍光画像Ｇ１とは視野が一致しているので、処置の前後における白色光画像を用いて算出した位置ズレ量と同じだけ同じ方向に蛍光画像Ｇ１０，Ｇ１１もズレている。したがって、入力された位置ズレ量だけ２つの蛍光画像Ｇ１０，Ｇ１１を相対的に移動させることにより、容易に位置合わせを行うことができる。

次いで、比較画像生成部２２においては、位置合わせされた２つの蛍光画像Ｇ１０，Ｇ１１の差分演算を行う。比較画像生成部２２により生成された比較画像Ｇ３としての差分画像は、モニタ６に表示されるようになっている。

このように構成された本実施形態に係る蛍光観察装置３０によれば、処置の前後における蛍光画像Ｇ１０，Ｇ１１の差分を表す差分画像からなる比較画像Ｇ３をモニタ６に表示するので、並列表示では判別できないような蛍光画像Ｇ１における微細な差異をも明確に確認することができるという利点がある。特に、処置の前後における白色光画像を用いて、処置の前後の蛍光画像Ｇ１０，Ｇ１１を位置合わせしているので、処置の前後の蛍光画像Ｇ１０，Ｇ１１において変化した部分のみを精度よく表示することができる。

なお、本実施形態においては、比較画像Ｇ３として差分画像をモニタ６に表示することとしたが、これに代えて、差分画像からなる比較画像Ｇ３を処置後の蛍光画像Ｇ１１と並列させて表示することにしてもよいし、差分画像からなる比較画像Ｇ３を処置後の蛍光画像Ｇ１１に重畳させて表示することにしてもよい。

また、図６に示されるように、処置前の蛍光画像Ｇ１０において蛍光強度の最も高い画素を含むピーク領域Ｅを抽出するピーク抽出部３２を備え、抽出されたピーク領域Ｅを制御部２３に記憶しておき、図７に示されるように、白色光画像Ｇ２を表示する際にマークＣとともにピーク領域Ｅを表示し、あるいは、比較画像Ｇ３とともにピーク領域Ｅを表示することとしてもよい。
さらに、比較画像Ｇ３の差分がある領域とピーク領域Ｅが一致しているか否かを判断して、ピーク領域Ｅと差分がある領域が一致した場合は、処置が正しい領域に行われたことを表示するために、画面表示の色を変更したり、「処置が正しく行われた」等の表示を行ったりしてもよい。

また、本実施形態においては、処置前後の蛍光画像Ｇ１０，Ｇ１１の位置合わせを、処置前後の対応する白色光画像から算出した位置ズレ量を用いて行ったが、これに代えて、蛍光画像Ｇ１０，Ｇ１１自体の特徴点を抽出して、位置合わせ処理を行うことにしてもよい。
また、戻り光の一例として白色光の反射光を例示したが、これに代えて、近赤外光、自家蛍光等、他の任意の光を戻り光として使用してもよい。

Ａ被写体
Ｅピーク領域
Ｇ１，Ｇ１０，Ｇ１１蛍光画像
Ｇ２白色光画像（戻り光画像）
Ｇ３比較画像
１，３０蛍光観察装置
３照明部
６モニタ（表示部）
１５蛍光用ＣＣＤ（蛍光撮像部）
１６白色光用ＣＣＤ（戻り光撮像部）
２０入力部（処置入力部）
２１画像記憶部（蛍光画像記憶部、戻り光画像記憶部）
２２比較画像生成部
２３制御部（表示切替部）
３１位置ズレ算出部
３２ピーク抽出部

Claims

被写体に対し、照明光および励起光を照射する照明部と、
該照明部からの励起光の照射により前記被写体において発生した蛍光を撮影し蛍光画像を取得する蛍光撮像部と、
前記照明部からの照明光の照射により前記被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、
前記蛍光撮像部により取得された蛍光画像を記憶する蛍光画像記憶部と、
前記被写体に対する処置の開始および終了の信号を入力する処置入力部と、
該処置入力部に処置の開始の信号が入力されたときに前記蛍光画像記憶部に記憶された蛍光画像と、処置の終了の信号が入力されたときに取得された蛍光画像とを対比可能な比較画像を生成する比較画像生成部と、
該比較画像生成部により生成された比較画像を表示する表示部と、
前記戻り光撮像部により取得された戻り光画像、前記蛍光撮像部により取得された蛍光画像および前記比較画像生成部により生成された比較画像を切り替えて前記表示部に表示させる表示切替部とを備える蛍光観察装置。
前記表示切替部は、前記表示部に前記蛍光画像を表示させている状態で、前記処置入力部に処置の開始の信号が入力されたときに、前記表示部における表示画像を前記戻り光画像に切り替え、前記表示部に前記戻り光画像を表示させている状態で、前記処置入力部に処置の終了の信号が入力されたときに、前記表示部における表示画像を前記比較画像に切り替える請求項１に記載の蛍光観察装置。
前記比較画像生成部が、処置の開始の信号が入力されたときに前記蛍光画像記憶部に記憶された蛍光画像と、処置の終了の信号が入力されたときの蛍光画像とを並列させた比較画像を生成する請求項１または請求項２に記載の蛍光観察装置。
前記比較画像生成部が、処置の開始の信号が入力されたときに前記蛍光画像記憶部に記憶された蛍光画像と、処置の終了の信号が入力されたときの蛍光画像との差分を演算した差分画像を比較画像として生成する請求項１または請求項２に記載の蛍光観察装置。
前記処置入力部に処置の開始の信号が入力されたときに前記戻り光画像を記憶する戻り光画像記憶部と、
前記処置入力部に処置の終了の信号が入力されたときに取得された戻り光画像と、前記戻り光画像記憶部に記憶されている戻り光画像との間で位置ズレ量を算出する位置ズレ算出部とを備え、
前記比較画像生成部が、前記位置ズレ算出部により算出された位置ズレ量を用いて、蛍光像の位置合わせを行った後に差分演算を行う請求項４に記載の蛍光観察装置。
前記処置入力部に処置の開始の信号が入力されたときに前記蛍光画像記憶部に記憶された蛍光画像内における蛍光強度の最も高いピーク領域を抽出するピーク抽出部を備え、
前記比較画像生成部が、前記差分画像に、前記ピーク抽出部により抽出されたピーク領域を重畳した比較画像を生成する請求項４に記載の蛍光観察装置。