JP3820244B2

JP3820244B2 - 挿入支援システム

Info

Publication number: JP3820244B2
Application number: JP2003369556A
Authority: JP
Inventors: 俊也秋本; 順一大西
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-10-29
Filing date: 2003-10-29
Publication date: 2006-09-13
Anticipated expiration: 2023-10-29
Also published as: EP1685787B1; US20060170765A1; US7659912B2; JP2005131042A; WO2005039401A1; EP1685787A1; EP1685787A4; CN100413457C; CN1874715A; DE602004031657D1

Description

本発明は、内視鏡の挿入を支援する挿入支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内に３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のように、多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
特開２０００−１３５２１５号公報

しかしながら、従来のナビゲーション装置では、仮想的な内視像は、気管支の分岐点での所定のモデル画像であって、気管支内視鏡の気管支への挿入時の操作（挿入軸に対するひねり等）によるライブ画像と一致していない。すなわち、気管支内視鏡のライブ画像の上下左右と、仮想的な内視像の上下左右とが一致しないために、気管支の分岐点での分岐先判断に支障があるといった問題がある。

さらに、従来のナビゲーション装置では、仮想的な内視像との比較は、気管支内視鏡（の挿入部先端）が分岐点に到達しなければならず、次段の分岐点での挿入操作を予測することが難しいといった問題もある。

本発明は、上記事情に鑑みてなされたものであり、気管支挿入操作に対応させた気管支の複数の分岐点での仮想内視鏡像を生成し、効果的に気管支内視鏡の挿入を支援することのできる挿入支援システムを提供することを目的としている。

本発明の挿入支援システムは、被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を連続したフレーム単位の仮想画像として生成する仮想画像生成手段と、前記被検体内の体腔路を撮像する内視鏡からの内視鏡画像と、前記仮想画像と、前記被検体内の体腔路が分岐する全分岐点での前記仮想画像の複数の縮小画像とからなるナビゲーション画像を生成するナビゲーション画像生成手段と、前記縮小画像の画像回転情報を記憶する回転情報記憶手段と、前記画像回転情報に基づき前記ナビゲーション画像生成手段が生成する前記縮小画像を回転させる画像回転制御手段とを備えて構成される。

本発明によれば、気管支挿入操作に対応させた気管支の複数の分岐点での仮想内視鏡像を生成し、効果的に気管支内視鏡の挿入を支援することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図３３は本発明の実施例１に係わり、図１は気管支挿入支援システムの構成を示す構成図、図２は図１の画像処理部の機能構成を示すブロック図、図３は図１の挿入支援装置による挿入支援の第１の準備であるナビゲーションデータの生成処理の流れを示すフローチャート、図４は図３の処理で展開されるルート設定画面を示す第１の図、図５は図３の処理で展開されるルート設定画面を示す第２の図、図６は図３のルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図１の挿入支援装置による挿入支援の第２の準備であるシミュレーション処理の流れを示すフローチャート、図１１は図１０の処理で展開される挿入支援画面を示す第１の図、図１２は図１１の挿入支援画面におけるＶＢＳ画像の回転を説明する図、図１３は図１０の処理で展開される挿入支援画面を示す第２の図、図１４は図１０の処理で展開されるエラー表示ウインドウを示す図、図１５は図１０の処理で展開される挿入支援画面を示す第３の図、図１６は図１５の挿入支援画面におけるＶＢＳ画像の回転を説明する図、図１７は図１０の処理で展開される挿入支援画面を示す第４の図、図１８は図１０の処理で展開される挿入支援画面を示す第５の図、図１９は図１８の挿入支援画面の変形例を示す図、図２０は図１の観察・処置の検査時での挿入支援装置５の支援処理の流れを示すフローチャート、図２１は図２０の処理で展開される挿入支援画面を示す第１の図、図２２は図２０の処理で展開される挿入支援画面を示す第２の図、図２３は図２０の処理で展開される挿入支援画面を示す第３の図、図２４は図２０の処理で展開される挿入支援画面を示す第４の図、図２５は図２０の処理で展開される挿入支援画面を示す第５の図、図２６は図２４の挿入支援画面の変形例を説明する第１の図、図２７は図２４の挿入支援画面の変形例を説明する第２の図、図２８は図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第１の図、図２９は図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第２の図、図３０は図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第３の図、図３１は図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第４の図、図３２は図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第５の図、図３３は図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第６の図である。

図１に示すように、本実施例の気管支挿入支援システム１は、気管支内視鏡装置３と、挿入支援装置５とから構成される。

挿入支援装置５はＣＴ画像データに基づき気管支内部の仮想の内視像（以下、ＶＢＳ画像と記す）を生成すると共に気管支内視鏡装置３により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像を合成してモニタ６に表示し気管支内視鏡装置３の気管支へ挿入支援を行う。

また、気管支内視鏡装置３は、図示はしないが、撮像手段を有する気管支内視鏡と、気管支内視鏡に照明光を供給する光源と、気管支内視鏡からの撮像信号を信号処理するカメラコントロールユニット等から構成され、気管支内視鏡を患者体内の気管支に挿入し気管支内を撮像し気管支末端の患部組織を生検すると共に、ライブ画像とＶＢＳ画像を合成してモニタ７に表示する。

モニタ７には、タッチパネル等のポインティングデバイスを含む入力部８が設けられ、挿入手技を行いながら容易にタッチパネルからなる入力部８を操作することが可能となっている。

挿入支援装置５は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データであるＣＴ画像データを、例えばＭＯ（ＭａｇｎｅｔｉｃＯｐｔｉｃａｌ）ディスク装置やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれたＣＴ画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されているＣＴ画像データに基づきＭＰＲ画像（多断面再構築画像）を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支内視鏡装置３の気管支への支援ルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されているＣＴ画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成する仮想画像生成手段としてのＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支内視鏡装置３からの撮像信号及び入力部８からの入力信号を入力し、ライブ画像、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像からなる後述する挿入支援画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成した挿入支援画面をモニタ６に表示させる画像表示制御部１８と、ルート設定部１４に対して設定情報を入力するキーボード及びポインティングデバイスからなる入力装置１９と、入力部８からの入力信号に基づくＶＢＳ画像の回転角データをＶＢＳ画像のフレーム情報にリンクさせて格納するメモリ２０とから構成される。

画像処理部１７は、図２に示すように、ナビゲーション画像生成手段としての画像生成機能１７ａ、画像回転制御手段としての画像回転制御機能１７ｂ、回転量比較手段としての回転量判別機能１７ｃを備えている。画像処理部１７は、メモリ２０に格納されているＶＢＳ画像の回転角データに基づき、画像回転制御機能１７ｂの制御によりＶＢＳ画像及びサムネイルＶＢＳ画像を回転補正して画像生成機能１７ａが挿入支援画面を生成すると共に、回転量判別機能１７ｃが前記回転角データを判断する。

なお、回転量判別機能１７ｃによる前記回転角データの判断結果に基づき画像回転制御機能１７ｂは、ＶＢＳ画像及びサムネイルＶＢＳ画像の回転制御を実行する。詳細は後述する。

気管支内視鏡装置３は、挿入支援装置５の画像処理部１７からＶＢＳ画像及びサムネイルＶＢＳ画像を受け取りライブ画像と合成して、挿入支援装置５がモニタ６に表示する挿入支援画面と同等の画面をモニタ７に表示すると共に、モニタ７のタッチセンサからなる入力部８からの入力情報を挿入支援装置５の画像処理部１７に出力するようになっている。

なお、ＣＴ画像データ格納部１２及びＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。

このように構成された本実施例の作用について説明する。

図３に示すように、気管支内視鏡装置３による観察・処置に先立ち、挿入支援装置５は、ステップＳ１でＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者のＣＴ画像データを取り込み、ステップＳ２で取り込んだＣＴ画像データをＣＴ画像データ格納部１２に格納する。

ステップＳ３でルート設定部１４により、図４に示すようなルート設定画面２１をモニタ６に表示させ、ルート設定画面２１上の患者情報タグ画面２２で患者情報を選択する。この選択により、ステップＳ４で選択された患者の例えば３つの異なる多断面像からなるＭＰＲ画像が生成され、ステップＳ５でこのＭＰＲ画像２３がルート設定画面２１に表示される。

なお、患者情報タグ画面２２での患者情報の選択は、入力装置１９により患者を識別する患者ＩＤを入力することで行われる。

次に、ステップＳ６でルート設定画面２１上のルート設定タグ２４（図４参照）を設定情報入力部１９により選択すると、図５に示すようなルート設定タグ画面２５がルート設定画面２１に表示され、後述するルート設定処理を行い、気管支での気管支内視鏡の挿入支援のルートを設定する。

挿入支援のルートが設定されると、ステップＳ７でＶＢＳ画像生成部１５により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成し、ステップＳ８で生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。

上記のステップＳ１〜Ｓ８の処理により、気管支内視鏡による観察・処置時の挿入支援装置５による挿入支援の第１の準備が完了する。

ここで、上記ステップＳ６のルート設定処理を図６を用いて説明する。

図６に示すように、ステップＳ６のルート設定処理では、入力装置１９を操作することで、図５に示したルート設定タグ画面２５上のルート探索ボタンをクリックすると、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２１上に表示され、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点の入力を促す終点入力指示ウインドウ３２がルート設定画面２１上に表示さる。

そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に終点が設定される。

始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。

そして、ルート設定部１４はルート設定画面２１上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２３に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。

ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。

ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。

ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。

ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０でルート及びルート内の各分岐点の位置情報を決定して図３のステップＳ７に戻る。

このようにしてルート設定がなされた挿入支援装置５による気管支内視鏡観察手技前の挿入支援の第２の準備である挿入シミュレーションについて説明する。なお、以下では、ルートの分岐点が１０カ所の場合を例に説明する。

図１０に示すように、ステップＳ３１において挿入支援装置５によるシミュレーションを開始すると、モニタ７に図１１に示すような挿入支援画面５１を表示する。なお、モニタ６にもモニタ７と同様な挿入支援画面５１が表示される。

この挿入支援画面５１は、実際の観察時に得られる気管支内視鏡装置３からのライブ画像を表示する内視鏡ライブ画像表示エリア５２と、ＶＢＳ画像像５３ａを表示するＶＢＳ画像表示エリア５３と、ルートの全ての分岐点でのＶＢＳ画像像５３ａを縮小して分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）として表示する分岐サムネイルＶＢＳ画像エリア５４とからなり、ライブ画像が位置する分岐点に対応した仮想画像であるＶＢＳ画像像５３ａがＶＢＳ画像表示エリア５３に表示される。

ここで、ＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像５３ａと同じ分岐サムネイルＶＢＳ画像の枠が太枠あるいはカラー表示され、他の分岐サムネイルＶＢＳ画像と識別可能となっており、術者はＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像がどの分岐の画像かを容易に認識できるようになっている。

分岐サムネイルＶＢＳ画像エリア５４に表示される分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）は、初期状態では、ステップＳ３２において所定の画像回転角に初期化されたルートに沿った仮想モデル画像となっており、図１１では、分岐サムネイルＶＢＳ画像５４（ａ）の原画像がＶＢＳ画像表示エリア５３に表示される。

なお、図１１においては、シミュレーションであるために内視鏡ライブ画像表示エリア５２には何も表示されない。

挿入支援画面５１には、左ボタン７１，右ボタン７２，前ボタン７３，次ボタン７４が設けられており、次ボタン７４を入力部８を用いてカーソル７５で選択することで、ＶＢＳ画像５３ａをフレーム単位で挿入前方に進行させることができ、また、前ボタン７３をカーソル７５で選択することで、ＶＢＳ画像５３ａをフレーム単位で挿入後方に後退させることができる。

また、左ボタン７１をカーソル７５で選択することで、ＶＢＳ画像５３ａを左向きに連続的に回転させることができ、また、右ボタン７２をカーソル７５で選択することで、ＶＢＳ画像５３ａを右向きに連続的に回転させることができる。

気管支の各分岐点でのＶＢＳ画像５３ａでは、挿入先の分岐穴を示すマーカ７６が重畳表示される。気管支内視鏡は細径化のために、一般的に湾曲させる方向は例えば上下方向の一方向のみとなっているので、マーカ７６が示す挿入先の分岐穴をＶＢＳ画像５３ａの上、あるいは下に位置させるように、左ボタン７１あるいは右ボタン７２を用いてＶＢＳ画像５３ａを回転させる。

そこで、ステップＳ３３において、術者によりＶＢＳ画像５３ａの回転操作があったかどうかを判断し、回転操作があると、ステップＳ３４にて回転操作の回転量が分岐サムネイルＶＢＳ画像５４（ａ）を基準に１８０°未満かどうか判断し、１８０°未満ならばその操作に基づいて、例えば図１２に示すように分岐サムネイルＶＢＳ画像５４（ａ）の原画像であるＶＢＳ画像５３ａを回転させ、挿入先の分岐穴であるマーカ７６を図１３に示すようにＶＢＳ画像５３ａの上に位置させると共に、ステップＳ３５で該画像回転角をＶＢＳ画像５３ａのフレーム情報とリンクさせてメモリ２０に格納しステップＳ３７に進む。また、回転操作の回転量が分岐サムネイルＶＢＳ画像５４（ａ）を基準に１８０°以上ならばステップＳ３６にて図１４に示すようなエラー表示ウインドウ７９を挿入支援画面５１上に重畳させステップＳ３７に進む。

そして、ステップＳ３７において、シミュレーションの終了が指示されたかどうか判断し、シミュレーション終了が未指示の場合はステップＳ３３に戻り処理を繰り返し、シミュレーション終了が指示されると処理を終了する。

例えば、ステップＳ３３に戻り、前ボタン７３をカーソル７５で選択し、図１５に示すように、ＶＢＳ画像５３ａを分岐サムネイルＶＢＳ画像５４（ｂ）の原画像まで進行させると、分岐サムネイルＶＢＳ画像５４（ｂ）の枠が太枠あるいはカラー表示される。この分岐サムネイルＶＢＳ画像５４（ｂ）の原画像であるＶＢＳ画像５３に対しても、図１６に示すように回転させることで、図１７に示すように、挿入先の分岐穴をＶＢＳ画像５３ａの上に位置させると共に、該画像回転角をＶＢＳ画像５３ａのフレーム情報とリンクさせてメモリ２０に格納する。

上記のようなシミュレーション処理を、ルート全域で行うことで、図１８に示すように、各分岐点の分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）を気管支内視鏡の挿入に適した向きの画像とする。

なお、メモリ２０にはＶＢＳ画像５３ａの全てのフレーム毎に画像回転角をリンクさせており、ＶＢＳ画像５３ａを連続的に再生すると、シミュレーションの回転操作に応じて回転した動画が得られることとなる。

また、モニタ７が表示領域が小さい表示装置の場合、表示する分岐サムネイルＶＢＳ画像が多くなると、分岐サムネイルＶＢＳ画像が見にくくなるので、図１８の挿入支援画面５１の代りに図１９に示すような挿入支援画面１０５１を表示するようにしてよい。

この挿入支援画面１０５１は、内視鏡ライブ画像表示エリア５２及びＶＢＳ画像表示エリア５３の他に患者情報表示エリア１０５２と、２枚の分岐サムネイルＶＢＳ画像を表示する第１分岐サムネイル表示エリア１０５３及び第２分岐サムネイル表示エリア１０５４とからなり、第１分岐サムネイル表示エリア１０５３に表示される分岐サムネイルＶＢＳ画像及び第２分岐サムネイル表示エリア１０５４分岐サムネイルＶＢＳ画像の表示パターン例としては、例えば表１のようなパターンであって、表示されたＶＢＳ画像の前後に位置する分岐サムネイルのみ表示するようになっている。

表１における分岐サムネイルの切り替え表示のタイミングは、ライブ画象／ＶＢＳ画像の進行に連動して切り替わる。

なお、挿入支援画面１０５１においては、表示領域がさらに小さいモニタ７の場合には左ボタン７１，右ボタン７２，前ボタン７３，次ボタン７４を省略し、この場合、これらのボタン機能をフットスイッチ（図示せず）に持たせれば良い。

以下、シミュレーションの回転操作に応じて回転したフレーム単位の全ＶＢＳ画像を回転反映ＶＢＳ画像と記し、所定の画像回転角に初期化されたフレーム単位の全ＶＢＳ画像を初期ＶＢＳ画像と記す。

次に、このように挿入シミュレーションによりメモリ２０にＶＢＳ画像５３のフレーム情報とリンクさせて格納した状態で、実際の気管支内視鏡による観察・処置の検査時での挿入支援装置５の支援処理について説明する。

図２０に示すように、実際の気管支内視鏡による観察・処置の検査が開始されると、ステップＳ４１において画像処理部１７はメモリ２０を検索し、ステップＳ４２においてメモリ２０にフレーム情報とリンクした画像回転角データが格納されているかどうか判断する。メモリ２０にフレーム情報とリンクした画像回転角データが格納されている場合は、ステップＳ４３で画像回転角データにより回転補正した回転反映ＶＢＳ画像より角度修正を行った各分岐点の分岐サムネイルＶＢＳ画像を生成して、挿入支援画面５１をモニタ７に表示する。

術者が気管支内視鏡の挿入を行い、次に分岐点に移動すると、術者をサポートする補助者がステップＳ４４において挿入支援画面５１上で入力部８によりカーソル７５を用いて対応する分岐点のＶＢＳ画像を表示させる。そして、ステップＳ４５において該ＶＢＳ画像の回転操作がなされたかどうか判断し、回転操作があると、ステップＳ４６にて回転操作の回転量が分岐サムネイルＶＢＳ画像５４（ａ）を基準に１８０°未満かどうか判断し、１８０°未満ならばその操作に基づいて、ステップＳ４７において該ＶＢＳ画像の回転操作がなされた場合にはＶＢＳ画像の回転操作に対応して該分岐点での分岐サムネイルＶＢＳ画像の回転角度を修正して表示しステップＳ４９に進む。

ステップＳ４５にてＶＢＳ画像の回転操作がなされていないと判断するとそのままステップＳ４９に進む。また、ステップＳ４６にて回転操作の回転量が分岐サムネイルＶＢＳ画像５４（ａ）を基準に１８０°以上ならば、ステップＳ４８にて図１４に示したようなエラー表示ウインドウ７９を挿入支援画面５１上に重畳させステップＳ４９に進む。

そしてステップＳ４９において検査終了の指示が得られるまで、ステップＳ４４〜Ｓ４９を繰り返す。

なお、ステップＳ４７において分岐サムネイルＶＢＳ画像の回転角度を修正すると、修正した分岐点以降の分岐サムネイルＶＢＳ画像も同じ回転角度分、回転され修正・表示され、それ以降のフレームのＶＢＳ画像も同じ回転角度分、回転され修正される。

図２０の処理を具体的に説明すると、検査が開始され、メモリ２０にフレーム情報とリンクした画像回転角データが格納されていると、図２１に示すような挿入支援画面５１が表示される。この挿入支援画面５１には階層表示ボタン８１が設けられているが、詳細は後述する。

なお、メモリ２０にフレーム情報とリンクした画像回転角データが格納されていない場合は、分岐サムネイルＶＢＳ画像エリア５４には、図１１に示したような初期化された分岐サムネイルが表示される。

また、図２１の挿入支援画面５１の内視鏡ライブ画像表示エリア５２には、気管支内視鏡装置３からのライブ画像５２ａが表示され、術者は到達している分岐点でのライブ画像５２ａをＶＢＳ画像５３ａに一致させるように、気管支内視鏡にひねり操作（挿入部長手軸を中心に回転させる操作）を行い、挿入先の分岐穴をライブ画像５２ａ上においても上または下に位置させる。

図２１は分岐サムネイルＶＢＳ画像５４（ａ）が示す第１の分岐点の回転反映ＶＢＳ画像５３ａが表示されている挿入支援画面５１である。また、図２２は図２１のＶＢＳ画像５３ａに対応させて気管支内視鏡にひねり操作を行い挿入先の分岐穴をライブ画像５２ａの上に位置させた挿入支援画面５１を示している。

そして、気管支内視鏡の挿入部先端を挿入先の分岐穴に導き、挿入を続行する。

図２３は分岐サムネイルＶＢＳ画像５４（ｃ）が示す第３の分岐点の回転反映ＶＢＳ画像５３ａが表示されている挿入支援画面５１である。

ルート挿入の際の気管支内視鏡のひねり操作によりライブ画像５２ａには常に不規則な回転が作用するため、例えば図２３のように挿入先の分岐穴をＶＢＳ画像５３ａの下に位置させると、ライブ画像５２ａをひねり量の多いひねり操作を行わなければ回転反映ＶＢＳ画像５３ａと一致させることができない場合が生じる。そこで、気管支内視鏡にひねり操作を行う前に、回転反映ＶＢＳ画像５３ａを回転させて、ひねり量を小さくさせる。

図２４は図２３の回転反映ＶＢＳ画像５３ａを回転させて、挿入先の分岐穴をＶＢＳ画像５３の上に位置させた挿入支援画面５１を示し、図２５は図２４のＶＢＳ画像５３ａに対応させて気管支内視鏡にひねり操作を行い挿入先の分岐穴をライブ画像５２ａの上に位置させた挿入支援画面５１を示している。

なお、図２４における回転反映ＶＢＳ画像５３ａにおいて、図２６に示すように、最初の分岐点の分岐サムネイルＶＢＳ画像５４（ａ）に対する回転量をメモリ２０から読み出し、回転反映ＶＢＳ画像５３ａ上に回転向き及び回転量からなる回転情報１０１を重畳させたり、分岐サムネイルＶＢＳ画像５４（ｃ）の下に回転情報１０２を表示させることができ、この場合、図２７に示すように、回転させたすべての分岐サムネイルＶＢＳ画像５４（ｉ）の下に分岐サムネイルＶＢＳ画像５４（ａ）に対する回転情報１０２させるようにしてもよい。これにより気管支内視鏡のひねり操作が経緯を容易に掌握することが可能となる。

また、挿入支援画面５１の積層表示ボタン８１をカーソル７５で選択すると、以下のように、現在の分岐点のＶＢＳ画像５３ａの挿入先の分岐穴にそれ以降の分岐点の挿入先の分岐穴の模式図が積層表示される。

すなわち、例えば図２５の分岐サムネイルＶＢＳ画像５４（ｃ）が示す第３の分岐点の回転反映ＶＢＳ画像５３ａが表示されている挿入支援画面５１で積層表示ボタン８１が選択されると、
（１）図２８に示すように、分岐サムネイルＶＢＳ画像５４（ｄ）が示す第４の分岐点の回転反映ＶＢＳ画像５３ａの挿入先の分岐穴の輪郭を抽出し、抽象化し模式図９１ａを生成する。さらに、
（２）図２９に示すように、分岐サムネイルＶＢＳ画像５４（ｅ）が示す第５の分岐点の回転反映ＶＢＳ画像５３ａの挿入先の分岐穴の輪郭を抽出し、抽象化し模式図９１ｂを生成する。

そして、
（３）図３０に示すように、第４の分岐点の模式図９１ａを第３の分岐点の回転反映ＶＢＳ画像５３ａの挿入先の分岐穴内に収まるように縮小する。同様に、
（４）図３１に示すように、第５の分岐点の模式図９１ｂを第４の分岐点の模式図９１ａの挿入先の分岐穴内に収まるように縮小する。そして、
（５）図３２に示すように、第５の分岐点の模式図９１ｂを挿入先の分岐穴内に納めた第４の分岐点の模式図９１ａを第３の分岐点の回転反映ＶＢＳ画像５３ａの挿入先の分岐穴に重畳し分岐穴を積層表示した、回転反映ＶＢＳ画像５３ａを有する挿入支援画面５１を生成する。

なお、図３２においては、回転反映ＶＢＳ画像５３ａの積層表示された分岐穴を太線で表示しているが、図３３に示すように積層表示を色分けして行ってもよい。また、積層数は３層に限らない。

このように本実施例では、手技前のシミュレーションによりフレーム情報とリンクした画像回転角データをメモリ２０に格納し、格納した画像回転角データに基づき、ＶＢＳ画像及びサムネイルＶＢＳ画像を回転補正して挿入支援画面を生成し表示して挿入支援を行うので、気管支挿入操作に対応させた気管支の複数の分岐点での仮想内視鏡像により、効果的に気管支内視鏡の挿入を支援することができる。

また、従来は、現在の分岐先情報しか支援情報として提供できないため、次段の分岐点の状態の把握が十分ではなかったが、本実施例では、挿入先の分岐穴を積層表示することにより、次段の分岐点の状態の把握が容易になり、効果的に気管支内視鏡の挿入を支援することができる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る気管支挿入支援システムの構成を示す構成図図１の画像処理部の機能構成を示すブロック図図１の挿入支援装置による挿入支援の第１の準備であるナビゲーションデータの生成処理の流れを示すフローチャート図３の処理で展開されるルート設定画面を示す第１の図図３の処理で展開されるルート設定画面を示す第２の図図３のルート設定処理の流れを示すフローチャート図６の処理で展開されるルート設定画面を示す第１の図図６の処理で展開されるルート設定画面を示す第２の図図６の処理で展開されるルート設定画面を示す第３の図図１の挿入支援装置による挿入支援の第２の準備であるシミュレーション処理の流れを示すフローチャート図１０の処理で展開される挿入支援画面を示す第１の図図１１の挿入支援画面におけるＶＢＳ画像の回転を説明する図図１０の処理で展開される挿入支援画面を示す第２の図図１０の処理で展開されるエラー表示ウインドウを示す図図１０の処理で展開される挿入支援画面を示す第３の図図１５の挿入支援画面におけるＶＢＳ画像の回転を説明する図図１０の処理で展開される挿入支援画面を示す第４の図図１０の処理で展開される挿入支援画面を示す第５の図図１８の挿入支援画面の変形例を示す図図１の観察・処置の検査時での挿入支援装置５の支援処理の流れを示すフローチャート図２０の処理で展開される挿入支援画面を示す第１の図図２０の処理で展開される挿入支援画面を示す第２の図図２０の処理で展開される挿入支援画面を示す第３の図図２０の処理で展開される挿入支援画面を示す第４の図図２０の処理で展開される挿入支援画面を示す第５の図図２４の挿入支援画面の変形例を説明する第１の図図２４の挿入支援画面の変形例を説明する第２の図図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第１の図図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第２の図図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第３の図図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第４の図図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第５の図図２５の挿入支援画面において積層表示ボタンが選択された際の処理を説明する第６の図

符号の説明

１…気管支挿入支援システム
３…気管支内視鏡装置
５…挿入支援装置
６，７…モニタ
８…入力部
１１…ＣＴ画像データ取り込み部
１２…ＣＴ画像データ格納部
１３…ＭＰＲ画像生成部
１４…ルート設定部
１５…ＶＢＳ画像生成部
１６…ＶＢＳ画像格納部
１７…画像処理部
１８…画像表示制御部
１９…入力装置
２０…メモリ
５１…挿入支援画面
代理人弁理士伊藤進

Claims

被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を連続したフレーム単位の仮想画像として生成する仮想画像生成手段と、
前記被検体内の体腔路を撮像する内視鏡からの内視鏡画像と、前記仮想画像と、前記被検体内の体腔路が分岐する全分岐点での前記仮想画像の複数の縮小画像とからなるナビゲーション画像を生成するナビゲーション画像生成手段と、
前記縮小画像の画像回転情報を記憶する回転情報記憶手段と、
前記画像回転情報に基づき前記ナビゲーション画像生成手段が生成する前記縮小画像を回転させる画像回転制御手段と
を備えたことを特徴とする挿入支援システム。
前記回転情報記憶手段は、前記画像回転情報を前記仮想画像のフレーム情報と関連させて記憶する
ことを特徴とする請求項１に記載の挿入支援システム。
前記画像回転情報を所定の回転角データと比較する回転量比較手段を有し、
前記画像回転制御手段は、前記回転量比較手段の比較結果に基づき、前記縮小画像の回転を制御する
ことを特徴とする請求項１に記載の挿入支援システム。
前記被検体の体腔路が分岐する最初の分岐点での仮想画像に対する回転量を前記回転情報記憶手段から読み出し、この回転量情報を前記画像回転制御手段により回転された画像の表示と併せて表示する手段を有することを特徴とする請求項１に記載の挿入支援システム。
現在の分岐点における仮想画像の挿入先の分岐穴の輪郭を抽出して抽象化した模式図に、それ以降の分岐点における挿入先の分岐穴の輪郭を抽出して抽象化した模式図を積層表示する手段を備えたことを特徴とする請求項１に記載の挿入支援システム。