JP4573517B2 - 挿入支援システム - Google Patents

Description

本発明は、内視鏡の挿入を支援する挿入支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内に３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のように、多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
特開２０００−１３５２１５号公報

しかしながら、単なる仮想的な内視像の表示のみでは、気管支構造を把握を十分に行うことが難しいといった問題がある。

本発明は、上記事情に鑑みてなされたものであり、気管支構造の把握が容易であって、効果的な挿入支援を行うことのできる挿入支援システムを提供することを目的としている。

本発明の挿入支援システムは、被検体の３次元領域の画像データに基づき、前記被検体内の体腔路のうち、始点及び終点が予め設定された所定のルートの３次元画像を連続したフレーム単位の仮想画像として生成する仮想画像生成手段と、前記仮想画像生成手段により生成された仮想画像のうち、前記所定のルートにおける任意の分岐点の仮想画像を指定する所定仮想画像指定手段と、前記所定のルート上において前記任意の分岐点の次以降に存在する１または複数の分岐点の仮想画像を抽出し、抽出した該１または複数の分岐点の仮想画像それぞれに存在する分岐穴に対応した略円形形状を生成する画像抽象化手段と、前記１または複数の分岐点の仮想画像に存在する分岐穴に重なる大きさになるように、前記略円形形状の大きさを適正化する適正化手段と、前記適正化手段により適正化された大きさの前記略円形形状を、前記１または複数の分岐点の仮想画像に存在する分岐穴の位置に重畳する画像重畳手段とを備えて構成される。

本発明によれば、気管支構造の把握が容易であって、効果的な挿入支援を行うことができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図３１は本発明の実施例１に係わり、図１は気管支挿入支援システムの構成を示す構成図、図２は図１の画像処理部の機能構成を示すブロック図、図３は図１の挿入支援装置による挿入支援の第１の準備であるナビゲーションデータの生成処理の流れを示すフローチャート、図４は図３の処理で展開されるルート設定画面を示す第１の図、図５は図３の処理で展開されるルート設定画面を示す第２の図、図６は図３のルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図３の積層ＶＢＳ画像による画像の確認処理で展開されるルート設定画面を示す第１の図、図１１は図３の積層ＶＢＳ画像による画像の確認処理で展開されるルート設定画面を示す第２の図、図１２は図３の積層ＶＢＳ画像による画像の確認処理で展開されるルート設定画面を示す第３の図、図１３は図３の積層ＶＢＳ画像による画像の確認処理の流れを示す第１のフローチャート、図１４は図１３の処理を説明する第１の図、図１５は図１３の処理を説明する第２の図、図１６は図１３の処理を説明する第３の図、図１７は図１３の処理を説明する第４の図、図１８は図１３の処理による積層ＶＢＳ画像を表示したルート設定画面を示す図、図１９は図１３の処理を説明する第５の図、図２０は図１３の処理を説明する第６の図、図２１は図３の積層ＶＢＳ画像による画像の確認処理で展開されるルート設定画面を示す第４の図、図２２は図３の積層ＶＢＳ画像による画像の確認処理の流れを示す第２のフローチャート、図２３は図２２の処理による積層ＶＢＳ画像を表示したルート設定画面を示す第１の図、図２４は図２２の処理による積層ＶＢＳ画像を表示したルート設定画面を示す第２の図、図２５は図２の画像処理部が表示するシミュレーションを開始時の挿入支援画面を示す第１の図、図２６は図２の画像処理部が表示するシミュレーションを開始時の挿入支援画面を示す第２の図、図２７は図２の画像処理部によるシミュレーション時の処理の流れを示すフローチャート、図２８は図２７の処理で展開される挿入支援画面を示す図、図２９は図２の画像処理部が表示する観察・処置時の挿入支援画面を示す図、図３０は図２の画像処理部による観察・処置時の処理の流れを示すフローチャート、図３１は図３０の処理で展開される挿入支援画面を示す図である。

図１に示すように、本実施例の気管支挿入支援システム１は、気管支内視鏡装置３と、挿入支援装置５とから構成される。

挿入支援装置５はＣＴ画像データに基づき気管支内部の仮想の内視像（以下、ＶＢＳ画像と記す）を生成すると共に気管支内視鏡装置３により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像を合成してモニタ６に表示し気管支内視鏡装置３の気管支へ挿入支援を行う。

また、気管支内視鏡装置３は、図示はしないが、撮像手段を有する気管支内視鏡と、気管支内視鏡に照明光を供給する光源と、気管支内視鏡からの撮像信号を信号処理するカメラコントロールユニット等から構成され、気管支内視鏡を患者体内の気管支に挿入し気管支内を撮像し気管支末端の患部組織を生検すると共に、ライブ画像とＶＢＳ画像を合成してモニタ７に表示する。

モニタ７には、タッチパネル等のポインティングデバイスを含む入力部８が設けられ、挿入手技を行いながら容易にタッチパネルからなる入力部８を操作することが可能となっている。

挿入支援装置５は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データであるＣＴ画像データを、例えばＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ）ディスク装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれたＣＴ画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されているＣＴ画像データに基づきＭＰＲ画像（多断面再構築画像）を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支内視鏡装置３の気管支への支援ルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されているＣＴ画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成する仮想画像生成手段としてのＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支内視鏡装置３からの撮像信号及び入力部８からの入力信号を入力し、ライブ画像、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像（ナビゲーション画像）からなる後述する挿入支援画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成した挿入支援画面をモニタ６に表示させる画像表示制御部１８と、ルート設定部１４に対して設定情報を入力するキーボード及びポインティングデバイスからなる所定仮想画像指定手段としての入力装置１９と、画像処理部１７で用いられる各種データを格納するメモリ２０とから構成される。

画像処理部１７は、図２に示すように、ナビゲーション画像生成手段としての画像生成機能１７ａ、画像抽象化手段としての画像抽象化機能１７ｂ、抽象化画像最適化手段としての画像最適化機能１７ｃ、抽象化画像重畳手段としての抽象化画像重畳機能１７ｄを備えている。画像処理部１７は、指定されている現在のＶＢＳ画像の分岐穴の挿入先のＶＢＳ画像を画像抽象化機能１７ｂにより抽象化を行い（以下、抽象化された挿入先のＶＢＳ画像を抽象化ＶＢＳ画像と記す）、画像最適化機能１７ｃにより抽象化ＶＢＳ画像の現在のＶＢＳ画像上での分岐穴への重畳に適した抽象化ＶＢＳ画像に縮小・補正を行い（以下、重畳に適した抽象化ＶＢＳ画像を適性抽象化ＶＢＳ画像と記す）、抽象化画像重畳機能１７ｄにより現在のＶＢＳ画像の分岐穴に適性抽象化ＶＢＳ画像に重畳・生成すると共に、画像生成機能１７ａがナビゲーション画像からなる挿入支援画面を生成する。

気管支内視鏡装置３は、挿入支援装置５の画像処理部１７からＶＢＳ画像及びサムネイルＶＢＳ画像を受け取りライブ画像と合成して、挿入支援装置５がモニタ６に表示する挿入支援画面と同等の画面をモニタ７に表示すると共に、モニタ７のタッチセンサからなる入力部８からの入力情報を挿入支援装置５の画像処理部１７に出力するようになっている。

なお、ＣＴ画像データ格納部１２及びＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよい。また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。

このように構成された本実施例の作用について説明する。

図３に示すように、気管支内視鏡装置３による観察・処置に先立ち、挿入支援装置５は、ステップＳ１でＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者のＣＴ画像データを取り込み、ステップＳ２で取り込んだＣＴ画像データをＣＴ画像データ格納部１２に格納する。

ステップＳ３でルート設定部１４により、図４に示すようなルート設定画面２１をモニタ６に表示させ、ルート設定画面２１上の患者情報タグ画面２２で患者情報をポインタ２０により選択する。この選択により、ステップＳ４で選択された患者の例えば３つの異なる多断面像からなるＭＰＲ画像が生成され、ステップＳ５でこのＭＰＲ画像２３がルート設定画面２１に表示される。

なお、患者情報タグ画面２２での患者情報の選択は、入力装置１９により患者を識別する患者ＩＤを入力することで行われる。

次に、ステップＳ６でルート設定画面２１上のルート設定タグ２４（図４参照）を設定情報入力部１９により選択すると、図５に示すようなルート設定タグ画面２５がルート設定画面２１に表示され、後述するルート設定処理を行い、気管支での気管支内視鏡の挿入支援のルートを設定する。

挿入支援のルートが設定されると、ステップＳ７でＶＢＳ画像生成部１５により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成し、ステップＳ８にて設定したルート上での後述する積層ＶＢＳ画像による画像の確認を行うかどうかの指示があるかどうか判断し、積層ＶＢＳ画像による画像の確認の指示があると、ステップＳ９にて積層ＶＢＳ画像を表示してステップＳ１０に進み、積層ＶＢＳ画像による画像の確認の指示がない場合はそのままステップＳ１０に進み、ステップＳ１０で生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。

上記のステップＳ１〜Ｓ１０の処理により、気管支内視鏡による観察・処置時の挿入支援装置５による挿入支援の第１の準備が完了する。

ここで、上記ステップＳ６のルート設定処理を図６を用いて説明する。

図６に示すように、ステップＳ６のルート設定処理では、入力装置１９を操作することで、図５に示したルート設定タグ画面２５上のルート探索ボタンをクリックすると、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２１上に表示され、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点の入力を促す終点入力指示ウインドウ３２がルート設定画面２１上に表示さる。

そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に終点が設定される。

始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。

そして、ルート設定部１４はルート設定画面２１上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２３に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。

ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。

ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。

ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。

ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０でルート及びルート内の各分岐点の位置情報を決定して図３のステップＳ７に戻る。

つぎに、図３のステップＳ９における積層ＶＢＳ画像による画像の確認処理について、説明する。図３のステップＳ７においてＶＢＳ画像生成部１５により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成されると、図１０に示すように、ルート設定部１４によりルート設定画面２１に積層ＶＢＳ画像確認ウインドウ４１が表示される。そして、積層ＶＢＳ画像確認ウインドウ４１の「はい」ボタン４２をポインタ２０でクリックすると、図１１に示すような積層ＶＢＳ画像表示モード選択ウインドウ４３がルート設定部１４によりルート設定画面２１に表示される。

例えば、この積層ＶＢＳ画像表示モード選択ウインドウ４３において、分岐点指定表示のラジオボタンが指定され、ポインタ２０で「ＯＫ」ボタン４４がクリックされると、図１２に示すようにルート設定画面２１上に分岐点指定ウインドウ４５が表示され、ポインタ２０でルート上の所望の分岐点を選択する。

この分岐点指定の場合は、図１３に示すように、画像処理部１７は、ステップＳ２１にて設定された（支援）ルートをメモリ２０より読み出し、ステップＳ２２で読み出した（支援）ルートのＶＢＳ画像のフレーム画像をＶＢＳ画像格納部１６より取得する。

そして、ステップＳ２３で読み出したＶＢＳ画像のフレーム画像が選択された分岐点のＶＢＳ画像に到達するのを待ち、ステップＳ２５に進む。ＶＢＳ画像のフレーム画像が選択された分岐点のＶＢＳ画像に到達するまでは、画像処理部１７はステップＳ２４で図１４に示すように、ＶＢＳ画像をフレーム毎に進めＶＢＳ動画像４５として、ルート設定部１４が生成したルート設定画面２１上に表示する。

ステップＳ２５では、画像抽象化機能１７ｂにより、指定された分岐点のＶＢＳ画像の分岐先の分岐穴から至る次の分岐点を抽出し抽出した分岐点のＶＢＳ画像を取得し、ステップＳ２６において、図１５に示すように、取得した次の分岐点のＶＢＳ画像５３ａの分岐穴を抽象化した抽象化ＶＢＳ画像９１ａを生成する。そして、ステップＳ２７において、所定の積層数に達したかどうかを判断する。

なお、前記積層数は、以下のように積層数設定手段を設けて設定してもよい。積層数設定手段は、図示はしないが、積層数入力エリアとＯＫボタン、キャンセルボタンを備えた積層数設定ウインドウを表示し、積層数入力エリアへ入力を促す。ＯＫボタンが押下されると、積層数設定手段は、積層数入力エリアへ入力された値を積層数データとしてＶＢＳ画像格納部１６に記録する。

画像処理部は、ＶＢＳ画像格納部１６に記録された積層数データを読み出し、メモリ２０上に展開する。

例えば、積層数を２とすると、ステップＳ２５に戻り、さらに（抽象化ＶＢＳ画像９１ａの）次段の分岐点を抽出し抽出した分岐点のＶＢＳ画像５３ａを取得し、ステップＳ２６において、図１６に示すように、取得した次の分岐点のＶＢＳ画像５３ａの分岐穴を抽象化した抽象化ＶＢＳ画像９１ｂを生成する。

そして、ステップＳ２７において、所定の積層数に達すると、ステップＳ２８で画像最適化機能１７ｃにより抽象化ＶＢＳ画像９１ｂを抽象化ＶＢＳ画像９１ａの分岐穴に入るような大きさにした適性抽象化ＶＢＳ画像に、また、抽象化ＶＢＳ画像９１ａを選択された分岐点のＶＢＳ画像の分岐穴に入るような大きさにした適性抽象化ＶＢＳ画像にそれぞれ適正化し、図１７に示すように抽象化画像重畳機能１７ｄにより選択された分岐点のＶＢＳ画像の分岐穴に積層重畳した積層ＶＢＳ画像９９を生成して、図１８に示すように積層ＶＢＳ画像９９をルート設定部１４が生成したルート設定画面２１上に表示する。

画像最適化機能１７ｃは、詳細には、図１９に示すように、抽象化ＶＢＳ画像９１ａを選択された分岐点のＶＢＳ画像の分岐穴内に収まるように縮小する。同様に、図２０に示すように、抽象化ＶＢＳ画像９１ｂを抽象化ＶＢＳ画像９１ａの挿入先の分岐穴内に収まるように縮小する。

そして、ステップＳ２９にてポインタ２０による分岐点変更ボタンが１００（図１８参照）の押下と分岐点の選択とによりルート上の分岐点指定に変更があるかどうか判断し、変更がある場合にはステップＳ２２にもどり、変更がない場合にはステップＳ３０にてルート設定画面２１上の積層表示終了ボタン１０１（図１８参照）がクリックされたかどうか判断する。

積層表示終了ボタン１０１が押下されない場合にはステップＳ２９に戻り、積層表示終了ボタン１０１がされると積層ＶＢＳ画像９９の表示を終了し、処理を終了する。

なお、ＶＢＳ画像が動画表示されている間は、上述したように積層表示はなされない。また、図１８のルート設定画面２１において、積層表示ボタン１０２を押下することで、上述した図３のステップＳ９における積層ＶＢＳ画像による画像の確認処理を実行することが可能となっている。

このように積層ＶＢＳ画像表示モードが分岐点指定表示モードの場合には、分岐点毎に分岐先の分岐穴上で分岐点構造を確認することができるので、挿入ルートを３次元的に視認することが可能となり、設定した挿入ルート構造の認識が可能となる。なお、積層数は２層に限らず、３層以上でもよい。

次に、例えば積層ＶＢＳ画像表示モード選択ウインドウ４３において、図２１に示すように、連続表示のラジオボタンが指定され、ポインタ２０で「ＯＫ」ボタン４４がクリックされると、画像処理部１７は、図２２に示すような処理を実行する。

すなわち、画像処理部１７は、ステップＳ４１にて設定された（支援）ルートをメモリ２０より読み出し、ステップＳ４２で読み出した（支援）ルートのＶＢＳ画像のフレーム画像をＶＢＳ画像格納部１６より取得する。

そして、ステップＳ４３で読み出したＶＢＳ画像のフレーム画像が最初の分岐点のＶＢＳ画像に到達するのを待ち、ステップＳ４５に進む。ＶＢＳ画像のフレーム画像が最初の分岐点のＶＢＳ画像に到達するまでは、ステップＳ４４でＶＢＳ画像をフレーム毎に進めＶＢＳ動画像４５として、ルート設定部１４が生成したルート設定画面２１上に表示する（図１４参照）。

ステップＳ４５では、画像抽象化機能１７ｂにより、指定された分岐点のＶＢＳ画像の分岐先の分岐穴から至る次の分岐点を抽出し抽出した分岐点のＶＢＳ画像を取得し、ステップＳ４６において、取得した次の分岐点のＶＢＳ画像５３ａの分岐穴を抽象化した抽象化ＶＢＳ画像９１ａを生成する（図１５参照）。そして、ステップＳ４７において、所定の積層数に達したかどうかを判断する。

例えば、積層数を２とすると、ステップＳ４５に戻り、さらに（抽象化ＶＢＳ画像９１ａの）次段の分岐点を抽出し抽出した分岐点のＶＢＳ画像５３ａを取得し、ステップＳ４６において、取得した次の分岐点のＶＢＳ画像５３ａの分岐穴を抽象化した抽象化ＶＢＳ画像９１ｂを生成する（図１６参照）。

そして、ステップＳ４７において、所定の積層数に達すると、ステップＳ４８で画像最適化機能１７ｃにより抽象化ＶＢＳ画像９１ｂを抽象化ＶＢＳ画像９１ａの分岐穴に入るような大きさにした適性抽象化ＶＢＳ画像に、また、抽象化ＶＢＳ画像９１ａを選択された分岐点のＶＢＳ画像の分岐穴に入るような大きさにした適性抽象化ＶＢＳ画像にそれぞれ適正化し、抽象化画像重畳機能１７ｄにより選択された分岐点のＶＢＳ画像の分岐穴に積層重畳した積層ＶＢＳ画像９９を生成して（図１７参照）、図２３に示すように、積層ＶＢＳ画像９９をルート設定部１４が生成したルート設定画面２１上に表示する。

そして、ステップＳ４９にて図２３の積層ＶＢＳ画像９９の表示を所定時間行った後、ステップＳ５０にて終点である分岐点にフレーム画像が到達しているかどうか判断し、終点ではないならばステップＳ４２にもどり、図２４のようにフレーム画像が終点のＶＢＳ画像１１０の場合にはステップＳ５１にてルート設定画面２１上の積層表示終了ボタン１０１（図２２参照）がクリックされたかどうか判断する。

積層表示終了ボタン１０１が押下されない場合にはステップＳ５０に戻り、積層表示終了ボタン１０１がされると積層ＶＢＳ画像９９の表示を終了し、処理を終了する。

なお、ＶＢＳ画像が動画表示されている間は、上述したように積層表示はなされない。また、図２４のルート設定画面２１において、積層表示ボタン１０２を押下することで、上述した図３のステップＳ９における積層ＶＢＳ画像による画像の確認処理を実行することが可能となっている。

このように積層ＶＢＳ画像表示モードが連続表示モードの場合には、ルートの全域を連続したＶＢＳ画像の動画として確認ができると共に、分岐点毎に所定時間分岐先の分岐穴上で分岐点構造を確認することができるので、挿入ルートを３次元的に視認することが可能となり、設定したルートの全域の挿入ルート構造の認識が可能となる。

このようにしてルート設定がなされた挿入支援装置５による気管支内視鏡観察手技前の挿入支援の第２の準備である挿入シミュレーションについて説明する。なお、以下では、ルートの分岐点が１０カ所の場合を例に説明する。

挿入支援装置５によるシミュレーションを開始すると、画像処理部１７は、モニタ７に図２５に示すような挿入支援画面５１を表示する。なお、モニタ６にもモニタ７と同様な挿入支援画面５１が表示される。

この挿入支援画面５１は、実際の観察時に得られる気管支内視鏡装置３からのライブ画像を表示する内視鏡ライブ画像表示エリア５２と、ＶＢＳ画像像５３ａを表示するＶＢＳ画像表示エリア５３と、ルートの全ての分岐点でのＶＢＳ画像像５３ａを縮小して分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）として表示する分岐サムネイルＶＢＳ画像エリア５４とからなり、ライブ画像が位置する分岐点に対応した仮想画像であるＶＢＳ画像像５３ａがＶＢＳ画像表示エリア５３に表示される。

ここで、ＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像５３ａと同じ分岐サムネイルＶＢＳ画像の枠が太枠あるいはカラー表示され、他の分岐サムネイルＶＢＳ画像と識別可能となっており、術者はＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像がどの分岐の画像かを容易に認識できるようになっている。

分岐サムネイルＶＢＳ画像エリア５４に表示される分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）は、初期状態では、所定の画像回転角に初期化されたルートに沿った仮想モデル画像となっており、図２５では、分岐サムネイルＶＢＳ画像５４（ａ）の原画像がＶＢＳ画像表示エリア５３に表示される。

なお、図２５においては、シミュレーションであるために内視鏡ライブ画像表示エリア５２には何も表示されない。

挿入支援画面５１には、左ボタン７１，右ボタン７２，前ボタン７３，次ボタン７４が設けられており、次ボタン７４を入力部８を用いてカーソル２０で選択することで、ＶＢＳ画像５３ａをフレーム単位で挿入前方に進行させることができ、また、前ボタン７３をカーソル２０で選択することで、ＶＢＳ画像５３ａをフレーム単位で挿入後方に後退させることができる。

また、左ボタン７１をカーソル２０で選択することで、ＶＢＳ画像５３ａを左向きに連続的に回転させることができ、また、右ボタン７２をカーソル２０で選択することで、ＶＢＳ画像５３ａを右向きに連続的に回転させることができる。

気管支の各分岐点でのＶＢＳ画像５３ａでは、挿入先の分岐穴を示すマーカ７６が重畳表示される。気管支内視鏡は細径化のために、一般的に湾曲させる方向は例えば上下方向の一方向のみとなっているので、マーカ７６が示す挿入先の分岐穴をＶＢＳ画像５３ａの上、あるいは下に位置させるように、左ボタン７１あるいは右ボタン７２を用いてＶＢＳ画像５３ａを回転させる。

また、分岐サムネイルＶＢＳ画像エリア５４上でポインタ２０により、例えば図２６に示すように、分岐サムネイルＶＢＳ画像５４（ｃ）をクリックすると、ＶＢＳ画像５３ａが分岐サムネイルＶＢＳ画像５４（ｃ）の原画像となる。

例えば図２６の挿入支援画面５１において、積層表示ボタン１０２を押下すると、画像処理部１７は、図２７に示すような処理を実行する。

すなわち、画像処理部１７は、ステップＳ６１において、分岐サムネイルＶＢＳ画像エリア５４上でポインタ２０により所望の分岐サムネイルＶＢＳ画像を選択されると、ステップＳ６２にて分岐サムネイルＶＢＳ画像の該分岐点のＶＢＳ画像のフレーム画像を取得する。

そして、ステップＳ６３において、画像抽象化機能１７ｂにより、指定された分岐点のＶＢＳ画像の分岐先の分岐穴から至る次の分岐点を抽出し抽出した分岐点のＶＢＳ画像を取得し、ステップＳ６４において、取得した次の分岐点のＶＢＳ画像５３ａの分岐穴を抽象化した抽象化ＶＢＳ画像９１ａを生成する（図１５参照）。そして、ステップＳ６５において、所定の積層数に達したかどうかを判断する。

例えば、積層数を２とすると、ステップＳ６３に戻り、さらに（抽象化ＶＢＳ画像９１ａの）次段の分岐点を抽出し抽出した分岐点のＶＢＳ画像５３ａを取得し、ステップＳ６４において、取得した次の分岐点のＶＢＳ画像５３ａの分岐穴を抽象化した抽象化ＶＢＳ画像９１ｂを生成する（図１６参照）。

そして、ステップＳ６５において、所定の積層数に達すると、ステップＳ６６で画像最適化機能１７ｃにより抽象化ＶＢＳ画像９１ｂを抽象化ＶＢＳ画像９１ａの分岐穴に入るような大きさにした適性抽象化ＶＢＳ画像に、また、抽象化ＶＢＳ画像９１ａを選択された分岐点のＶＢＳ画像の分岐穴に入るような大きさにした適性抽象化ＶＢＳ画像にそれぞれ適正化し、抽象化画像重畳機能１７ｄにより選択された分岐点のＶＢＳ画像の分岐穴に積層重畳した積層ＶＢＳ画像９９を生成して（図１７参照）、図２８に示すように、積層ＶＢＳ画像９９をＶＢＳ画像表示エリア５３に表示する。

このように挿入支援装置５によるシミュレーションにおいても、所望の分岐点の積層ＶＢＳ画像９９をＶＢＳ画像表示エリア５３に表示することができるので、ルート全域のシミュレーションを仮想的な３次元的な感覚で行うことが可能であり、効果的なシミュレーションを行うことができる。

続いて、実際の気管支内視鏡による観察・処置の検査時での挿入支援装置５の支援処理について説明する。

実際の気管支内視鏡による観察・処置の検査が開始されると、図２９に示すように、画像処理部１７は、挿入支援画面５１において内視鏡ライブ画像表示エリア５２に実際の観察時に得られる気管支内視鏡装置３からのライブ画像５２ａを表示する。図２９の挿入支援画面５１では、内視鏡ライブ画像表示エリア５２には第３の分岐点でのライブ画像５２ａが表示され、ＶＢＳ画像表示エリア５３にはこのライブ画像５２ａに対応したＶＢＳ画像５３ａが表示されている状態を示している。

図２９の挿入支援画面５１で積層表示ボタン１０２を押下すると、画像処理部１７は、図３０に示すような処理を実行する。

すなわち、画像処理部１７は、ステップＳ７１において、分岐サムネイルＶＢＳ画像エリア５４上でポインタ２０により所望の分岐サムネイルＶＢＳ画像を選択されると、ステップＳ７２にて分岐サムネイルＶＢＳ画像の該分岐点のＶＢＳ画像のフレーム画像を取得する。

そして、ステップＳ７３において、画像抽象化機能１７ｂにより、指定された分岐点のＶＢＳ画像の分岐先の分岐穴から至る次の分岐点を抽出し抽出した分岐点のＶＢＳ画像を取得し、ステップＳ７４において、取得した次の分岐点のＶＢＳ画像５３ａの分岐穴を抽象化した抽象化ＶＢＳ画像９１ａを生成する（図１５参照）。そして、ステップＳ７５において、所定の積層数に達したかどうかを判断する。

例えば、積層数を２とすると、ステップＳ７３に戻り、さらに（抽象化ＶＢＳ画像９１ａの）次段の分岐点を抽出し抽出した分岐点のＶＢＳ画像５３ａを取得し、ステップＳ７４において、取得した次の分岐点のＶＢＳ画像５３ａの分岐穴を抽象化した抽象化ＶＢＳ画像９１ｂを生成する（図１６参照）。

そして、ステップＳ７５において、所定の積層数に達すると、ステップＳ７６で画像最適化機能１７ｃにより抽象化ＶＢＳ画像９１ｂを抽象化ＶＢＳ画像９１ａの分岐穴に入るような大きさにした適性抽象化ＶＢＳ画像に、また、抽象化ＶＢＳ画像９１ａを選択された分岐点のＶＢＳ画像の分岐穴に入るような大きさにした適性抽象化ＶＢＳ画像にそれぞれ適正化し、抽象化画像重畳機能１７ｄにより選択された分岐点のＶＢＳ画像の分岐穴に積層重畳した積層ＶＢＳ画像９９を生成して（図１７参照）、図３１に示すように、積層ＶＢＳ画像９９をＶＢＳ画像表示エリア５３に表示する。

そして、ステップＳ７７にて図２９の挿入支援画面５１で「次」ボタン７４あるいは「前」ボタン７３がポインタ２０により押下されたかどうか判断し、押下されない場合は処理を終了し、押下された場合は、ステップＳ７８に進む。

ステップＳ７８では、押下された「次」ボタン７４あるいは「前」ボタン７３に基づき、次あるいは前の分岐点までの連続したＶＢＳ画像のフレーム画像を取得し、ステップＳ７９及びｓ８０にて取得した連続したＶＢＳ画像のフレーム画像を動画にてＶＢＳ画像表示エリア５３に表示し、次あるいは前の分岐点のＶＢＳ画像のフレーム画像に到達するとステップＳ７３に戻る。

このように実際の気管支内視鏡による観察・処置の検査時での支援においても、所望の分岐点の積層ＶＢＳ画像９９をＶＢＳ画像表示エリア５３に表示することができるので、観察・処置の検査時における支援を、挿入先を仮想的な３次元的な感覚で行うことが可能となり、効果的な支援を行うことができる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る気管支挿入支援システムの構成を示す構成図 図１の画像処理部の機能構成を示すブロック図 図１の挿入支援装置による挿入支援の第１の準備であるナビゲーションデータの生成処理の流れを示すフローチャート 図３の処理で展開されるルート設定画面を示す第１の図 図３の処理で展開されるルート設定画面を示す第２の図 図３のルート設定処理の流れを示すフローチャート 図６の処理で展開されるルート設定画面を示す第１の図 図６の処理で展開されるルート設定画面を示す第２の図 図６の処理で展開されるルート設定画面を示す第３の図 図３の積層ＶＢＳ画像による画像の確認処理で展開されるルート設定画面を示す第１の図 図３の積層ＶＢＳ画像による画像の確認処理で展開されるルート設定画面を示す第２の図 図３の積層ＶＢＳ画像による画像の確認処理で展開されるルート設定画面を示す第３の図 図３の積層ＶＢＳ画像による画像の確認処理の流れを示す第１のフローチャート 図１３の処理を説明する第１の図 図１３の処理を説明する第２の図 図１３の処理を説明する第３の図 図１３の処理を説明する第４の図 図１３の処理による積層ＶＢＳ画像を表示したルート設定画面を示す図 図１９は図１３の処理を説明する第５の図 図１３の処理を説明する第６の図 図３の積層ＶＢＳ画像による画像の確認処理で展開されるルート設定画面を示す第４の図 図３の積層ＶＢＳ画像による画像の確認処理の流れを示す第２のフローチャート 図２２の処理による積層ＶＢＳ画像を表示したルート設定画面を示す第１の図 図２２の処理による積層ＶＢＳ画像を表示したルート設定画面を示す第２の図 図２の画像処理部が表示するシミュレーションを開始時の挿入支援画面を示す第１の図 図２の画像処理部が表示するシミュレーションを開始時の挿入支援画面を示す第２の図 図２の画像処理部によるシミュレーション時の処理の流れを示すフローチャート 図２７の処理で展開される挿入支援画面を示す図 図２の画像処理部が表示する観察・処置時の挿入支援画面を示す図 図２の画像処理部による観察・処置時の処理の流れを示すフローチャート 図３０の処理で展開される挿入支援画面を示す図

符号の説明

１…気管支挿入支援システム
３…気管支内視鏡装置
５…挿入支援装置
６，７…モニタ
８…入力部
１１…ＣＴ画像データ取り込み部
１２…ＣＴ画像データ格納部
１３…ＭＰＲ画像生成部
１４…ルート設定部
１５…ＶＢＳ画像生成部
１６…ＶＢＳ画像格納部
１７…画像処理部
１７ａ…画像生成機能
１７ｂ…画像抽象化機能
１７ｃ…画像最適化機能
１７ｄ…抽象化画像重畳機能
１８…画像表示制御部
１９…入力装置
２０…メモリ
代理人 弁理士 伊藤 進

Claims (2)

1. 被検体の３次元領域の画像データに基づき、前記被検体内の体腔路のうち、始点及び終点が予め設定された所定のルートの３次元画像を連続したフレーム単位の仮想画像として生成する仮想画像生成手段と、
   前記仮想画像生成手段により生成された仮想画像のうち、前記所定のルートにおける任意の分岐点の仮想画像を指定する所定仮想画像指定手段と、
   前記所定のルート上において前記任意の分岐点の次以降に存在する１または複数の分岐点の仮想画像を抽出し、抽出した該１または複数の分岐点の仮想画像それぞれに存在する分岐穴に対応した略円形形状を生成する画像抽象化手段と、
   前記１または複数の分岐点の仮想画像に存在する分岐穴に重なる大きさになるように、前記略円形形状の大きさを適正化する適正化手段と、
   前記適正化手段により適正化された大きさの前記略円形形状を、前記１または複数の分岐点の仮想画像に存在する分岐穴の位置に重畳する画像重畳手段と
   を備えたことを特徴とする挿入支援システム。
2. 前記画像重畳手段は、前記１または複数の分岐点の仮想画像に存在する各分岐穴のうち、前記所定のルート上に存在する分岐穴の位置に、前記適正化手段により適正化された大きさの前記略円形形状を重畳することを特徴とする請求項１に記載の挿入支援システム。

Images