JP4354353B2 - 挿入支援システム - Google Patents

Description

本発明は、挿入支援システムに関し、特に例えば気管支等のような体内の管路への内視鏡挿入をナビゲーションする挿入支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内に３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部の生検針で組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分支の末端に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視鏡画像を前記画像データに基づいて作成し、前記仮想的な内視鏡画像を表示することで、気管支内視鏡を目的部位にナビゲーションする内視鏡挿入支援装置が提案されている。

また、内視鏡挿入支援装置においては、例えば特開２００４−１０５７２５号公報等では、気管支内視鏡の気管支への挿入長を計測し、計測した挿入長と仮想的な内視鏡画像とを同期させることで、実際の挿入位置のライブの内視鏡画像と仮想的な内視鏡画像とをリアルタイムでリンクさせて内視鏡の挿入支援を行うことのできる装置が提案されている。

一方、このような気管支内視鏡の気管支への挿入手技では、図３２に示すように、ベッド５００に横たわる患者５０１の気管支へ挿入し気管支内部のライブの内視鏡画像を撮像する気管支内視鏡５０２と、気管支内視鏡の挿入を支援するための仮想的な内視鏡画像を提供する挿入支援装置５０４の他に、気管支内視鏡の挿入を確認するためのX線透過装置５０６や超音波診断装置５０８が用いられる。

これらの装置にはそれぞれ、モニタ５０３、５０５、５０７、５０９が配置され、図３３に示すように、例えばモニタ５０３には気管支内部の内視鏡ライブ画像５１０が表示され、モニタ５０５には仮想内視鏡画像５１１が表示され、またモニタ５０７にはX線透過時の胸部のX線透過画像５１３が表示され、モニタ５０９に超音波診断装置５０８による超音波画像が表示される。術者はモニタ５０５の仮想内視鏡画像５１１を参照しながらモニタ５０３の内視鏡ライブ画像５１０を観察しながら、気管支への気管支内視鏡の挿入を実施し、目的の関心部位である例えば腫瘍と疑われる組織の生検を行う。このとき、術者は必要に応じて胸部にX線透過を透過し、モニタ５０７のX線透過画像５１３により気管支内視鏡の挿入状態を確認することが行われる。また、モニタ５０９により超音波画像５１５を観察できる。
特開２０００−１３５２１５号公報 特開２００４−１０５７２５号公報

しかしながら、一般に手術室は手狭であるために、必要最小限度の装置構成が望まれるが、気管支内視鏡の気管支への挿入手技においては、従来は上述したように装置毎にモニタを配置する必要があった。

特に、X線透過装置５０６は、必要に応じて気管支内視鏡の挿入状態を確認する場合にのみ胸部にX線透過しモニタ５０７でX線透過画像５１３を表示する。

また、図３４に示すように、気管支６００は、その組織構造から挿入経路が多岐に渡っており、従来の挿入支援装置５０４は、この多岐に渡る挿入経路の全分岐点の仮想内視鏡像の縮小画像である複数のサムネイル画像５１２（図３３参照）を、内視鏡ライブ画像５１０と同期した仮想内視鏡像５１１と共に表示して効果的に挿入支援を行っているが、関心部位６０１の位置によっては、生検に最適な位置が関心部位６０１の近傍分岐点（図３４では分岐サムネイル５）位置とは限らず、手前の分岐点（例えば図３４の分岐サムネイル３）位置となる場合があるが、このような場合、例えば気管支内視鏡が生検に最適な位置である分岐サムネイル３に位置した後の分岐サムネイル５までの挿入支援は必要無くなる。

このような場合、X線透過装置５０６のモニタ５０７を省略して、例えばX線透過時に挿入支援装置５０４のモニタ５０５にX線透過画像５１３を表示させることが考えられるが、モニタ５０５への映像信号の切替を術者が手技中に行わなければならない等、作業が煩雑化するといった問題がある。

本発明は、上記事情に鑑みてなされたものであり、所定の支援条件に基づき、簡単に、挿入支援に必要な挿入支援画像と手技に必要な医療参照画像とを切り替えて１つの表示手段に表示することのできる挿入支援システムを提供することを目的としている。

本発明の挿入支援システムは、
被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想画像を生成する仮想画像生成手段と、
前記仮想画像を表示可能となるように設けられた表示手段と、
前記表示手段に表示された前記仮想画像をもとに前記被検体に挿入可能な挿入部を有する内視鏡装置と、
前記内視鏡装置によって内視鏡検査される前記被検体の外部から、前記被検体内部の状況を被検体内部画像として構築可能となるように設けられた内部画像構築手段と、
前記表示手段への前記仮想画像の表示を停止する条件を設定可能となるように設けられた条件設定手段と、
前記条件設定手段で設定された前記条件に基づいて、前記表示手段に表示された前記仮想画像を前記被検体内部画像に切り替える表示切替手段と
を備えて構成される。

本発明によれば、所定の支援条件に基づき、簡単に、挿入支援に必要な挿入支援画像と手技に必要な医療参照画像とを切り替えて１つの表示手段に表示することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図３１は本発明の実施例１に係わり、図１は気管支挿入支援システムの構成を示す構成図、図２は図１の画像処理部の機能構成を示すブロック図、図３は図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャート、図４は図３の処理で展開されるルート設定画面を示す第１の図、図５は図３の処理で展開されるルート設定画面を示す第２の図、図６は図３のルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図３の処理で生成されたナビゲーションデータであるＶＢＳ画像を再生し確認するためのＶＢＳ画像再生画面を示す図、図１１は図１０のＶＢＳ画像再生画面から展開されるサムネイル登録／削除画面を示す図、図１２は図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第１の図、図１３は図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第２の図、図１４は図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第３の図、図１５は図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第４の図、図１６は図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第５の図、図１７は図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第６の図、図１８は図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第７の図、図１９は図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第８の図、図２０は図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第９の図、図２１は図１の気管支挿入支援システムの挿入支援時の作用を説明するフローチャート、図２２は図２１の処理で展開される挿入支援画面を示す第１の図、図２３は図２１の処理で展開される挿入支援画面を示す第２の図、図２４は図２１の処理で展開される挿入支援画面の第１の変形例を示す第１の図、図２５は図２１の処理で展開される挿入支援画面の第１の変形例を示す第２の図、図２６は図２１の処理で展開される挿入支援画面の第２の変形例を示す図である。

図１に示すように、本実施の形態の内視鏡装置１は、患者体内の気管支に挿入し気管支内を撮像し気管支末端の患部組織を生検する気管支鏡２と、気管支鏡２の挿入部の患者体内への挿入量を検出する、例えばエンコーダ等から構成される挿入量検出装置３と、気管支鏡２の手元側に設けられた複数のスイッチをフィルム状に形成したフレキシブルシートからなる入力部４と、ＣＴ画像データに基づき気管支内部の仮想の内視鏡画像（以下、ＶＢＳ画像と記す）を生成すると共に挿入量検出装置３からの検出信号である挿入長信号及び入力部４からの入力信号に基づき、ＶＢＳ画像をモニタ５に表示し気管支鏡２の気管支へのナビゲーションを行う気管支鏡ナビゲーション装置６と、必要に応じて胸部にX線透過を透過しX線透過画像を撮像するX線透過装置８とを備えて構成される。

なお、前記入力部４は、気管支鏡２の手元側に設けられるとしたが、フットスイッチにより構成してもよい。また気管支鏡２による内視鏡画像はモニタ７に表示される。

また、挿入量検出装置３は、例えば特開２００４−１０５７２５号公報等に開示され、公知であるので、その構成等の説明は省略する。

気管支鏡ナビゲーション装置６は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支鏡２の気管支へのナビゲーションルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、挿入量検出装置３からの検出信号である挿入長信号及び入力部４からの入力信号を入力し、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像からなる後述する挿入支援画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成した挿入支援画面をモニタ５に表示させる画像表示制御部１８と、ルート設定部１４に対して設定情報を入力するキーボード及びポインティングデバイスからなる設定情報入力部１９とから構成される。

なお、ＣＴ画像データ格納部１２及びＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。

画像処理部１７は、図２に示すように、ルート設定部１４が設定したルートにおけるＶＢＳ画像のフレーム画像を再生表示するフレーム画像再生表示機能１７ａと、気管支の分岐点でのＶＢＳ画像のフレーム画像を抽出しこの分岐点のフレーム画像のサムネイルＶＢＳ画像（以下、単にサムネイルと記す）を生成するサムネイル生成機能１７ｂと、サムネイルを登録／削除するサムネイル登録／削除機能１７ｃと、ＶＢＳ画像による挿入支援を停止する後述する支援停止条件を設定する支援停止条件設定機能１７ｄと、支援停止条件の発生を検出する支援停止条件検出機能１７ｅと、支援停止条件の発生が検出された際のモニタ５の表示画像を切り替える表示画像切替機能１７ｆとを有している。

このように構成された本実施例の作用について説明する。

図３に示すように、気管支内視鏡装置３による観察・処置に先立ち、挿入支援装置５は、ステップＳ１でＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者のＣＴ画像データを取り込み、ステップＳ２で取り込んだＣＴ画像データをＣＴ画像データ格納部１２に格納する。

ステップＳ３でルート設定部１４により、図４に示すようなルート設定画面２１をモニタ５に表示させ、ルート設定画面２１上の患者情報タグ画面２２で患者情報を選択する。この選択により、ステップＳ４で選択された患者の例えば３つの異なる多断面像からなるＭＰＲ画像が生成され、ステップＳ５でこのＭＰＲ画像２３がルート設定画面２１に表示される。

なお、患者情報タグ画面２２での患者情報の選択は、入力装置１９により患者を識別する患者ＩＤを入力することで行われる。

次に、ステップＳ６でルート設定画面２１上のルート設定タグ２４（図４参照）を設定情報入力部１９により選択すると、図５に示すようなルート設定タグ画面２５がルート設定画面２１に表示され、後述するルート設定処理を行い、気管支での気管支内視鏡の挿入支援のルートを設定する。

挿入支援のルートが設定されると、ステップＳ７でＶＢＳ画像生成部１５により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成し、ステップＳ８で生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。そして、ステップＳ９で後述する挿入支援をて停止する支援停止条件設定処理を実行する。

上記のステップＳ１〜Ｓ９の処理により、気管支内視鏡による観察・処置時の挿入支援装置５による挿入支援の準備が完了する。

ここで、上記ステップＳ６のルート設定処理を図６を用いて説明する。

図６に示すように、ステップＳ６のルート設定処理では、入力装置１９を操作することで、図５に示したルート設定タグ画面２５上のルート探索ボタンをクリックすると、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２１上に表示され、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点の入力を促す終点入力指示ウインドウ３２がルート設定画面２１上に表示さる。

そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に終点が設定される。

始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。

そして、ルート設定部１４はルート設定画面２１上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２３に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。

ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。

ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。

ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。

ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０でルート及びルート内の各分岐点の位置情報を決定して図３のステップＳ７に戻る。

このようにしてルートが設定されると、図１０に示すようなＶＢＳ画像再生画面５０をモニタ５に表示させることで、ルート毎のＶＢＳ画像５３を再生し確認する。

ＶＢＳ画像再生画面５０においてポインタ１１４により決定ボタン５５が選択されると、図１１に示すサムネイル登録／削除画面１００がモニタ５に表示される。

サムネイル登録／削除画面１００は、ＶＢＳ画像５３を表示するメイン画面表示エリア１０１と、ルート上の全分岐点の複数のサムネイル１０３を表示するサムネイル表示エリア１０２と、サムネイル１０３にサムネイル情報を付加登録したり分岐点間のフレームをサムネイル１０３として追加する処理する登録ボタン１０４と、サムネイル１０３の削除処理を行う削除ボタン１０５と、ＶＢＳ画像５３をフレーム移動させる前ボタン１０７及び次ボタン１０８と、ＶＢＳ画像５３を任意のフレームに移動させるスライドバー１１３と、サムネイル登録／削除を確定する確定ボタン１１２と、挿入支援を停止するための支援停止条件を設定する支援停止条件設定ボタン１２０とを有し、これら各ボタン及びスライドバーはポインタ１１４により選択できるようになっている。また、各サムネイル１０３の上部にはサムネイルの位置を示すサムネイル番号１２１が付されている。

なお、ＶＢＳ画像５３がサムネイル１０３と一致する場合は、対応するサムネイル１０３の枠が、例えば太枠あるいはカラー表示され、この太枠あるいはカラー表示は、ＶＢＳ画像５３が他のサムネイル１０３と一致するまで保持される。これによりＶＢＳ画像５３とサムネイル１０３との対応、すなわちＶＢＳ画像５３の気管支での位置を容易に視認することが可能となっている。

そして、このサムネイル登録／削除画面１００の支援停止条件設定ボタン１２０をポインタ１１４により選択することでステップＳ９での支援停止条件設定処理が実行される。

支援停止条件設定ボタン１２０が選択され、支援停止条件設定処理が実行されると、図１２に示すように、サムネイル登録／削除画面１００上に、支援停止条件の設定方法を指定するための支援停止条件設定方法指定ウインドウ１３０が表示される。この支援停止条件設定方法指定ウインドウ１３０では、複数の支援停止条件の設定方法項目１３１をラジオボタン等で選択し、次ボタン１３２を選択することで設定方法が指定できるようになっている。

支援停止条件の設定方法項目１３１の内容としては、
（１）サムネイルによる指定
（２）関心部位（腫瘍等）のＶＢＳ画像５３上での大きさによる指定
（３）関心部位（腫瘍等）への気管支鏡２の先端の接近距離による指定
（４）気管支の分岐名による指定
（５）気管支鏡２の挿入長による指定
（６）その他の条件による指定
がある。以下、支援停止条件の設定方法項目毎の支援停止条件の設定について説明する。

（１）サムネイルによる指定：
サムネイルによる指定を選択し、次ボタン１３２を選択すると、図１３に示すように、サムネイル登録／削除画面１００上に、サムネイル１０３を指定するためのサムネイル指定ウインドウ１４０が表示される。このサムネイル指定ウインドウ１４０でサムネイル１０３を指定する方法としては、サムネイル１０３をポインタ１１４により選択するかあるいはサムネイル番号１２１を入力するかにより挿入支援を停止するサムネイル１０３を指定する。図１３の場合、サムネイル番号１２１が「５」のサムネイル１０３が指定された状態となり、サムネイル番号１２１が「５」のサムネイル１０３の枠が太枠あるいはカラー表示される。

そして、確定ボタン１４２をポインタ１１４により選択することで、挿入支援時において、メイン画面表示エリア１０１に表示されるＶＢＳ画像５３が指定したサムネイル１０３と一致した場合を支援停止条件として確定し記録される。

（２）関心部位（腫瘍等）のＶＢＳ画像５３上での大きさによる指定：
図１４に示すように、挿入支援時において、メイン画面表示エリア１０１に表示されるＶＢＳ画像５３には、挿入位置での関心部位（腫瘍等）のサイズを示すサイズマーカ１５０、ＶＢＳ画像５３が分岐点位置ならばその分岐名を示す分岐名情報１５１、気管支鏡２の挿入長を示す挿入長情報１５２、挿入位置から関心部位（腫瘍等）までの距離を示す接近距離情報１５３が表示可能となっている。

なお、これらサイズマーカ１５０、分岐名情報１５１、挿入長情報１５２及び接近距離情報１５３は、ＶＢＳ画像５３上に重畳表示可能だけであって、表示しないように表示制御が可能であるが、Ｖこれらサイズマーカ１５０、分岐名情報１５１、挿入長情報１５２及び接近距離情報１５３はＶＢＳ画像５３の挿入位置情報とリンクしている。

そこで、関心部位（腫瘍等）のＶＢＳ画像５３上での大きさによる指定を選択し、次ボタン１３２を選択すると、図１５に示すように、サムネイル登録／削除画面１００上に、関心部位の大きさを設定する関心部位サイズ設定ウインドウ１６０が表示される。関心部位サイズ設定ウインドウ１６０では、メイン画面表示エリア１０１を示すメイン枠１６１内での相対的な関心部位の大きさを示すサイズマーカ１６２をポインタ１１４にて所望の大きさに描画し指定する。

そして、確定ボタン１６３をポインタ１１４により選択することで、挿入支援時において、メイン画面表示エリア１０１に表示されるＶＢＳ画像５３上での関心部位（腫瘍等）のサイズを示すサイズマーカ１５０の大きさとメイン画面表示エリア１０１の大きさとの比率が、サイズマーカ１６２の大きさとメイン枠１６１の大きさとの比率に一致した場合を支援停止条件として確定し記録される。

（３）関心部位（腫瘍等）への気管支鏡２の先端の接近距離による指定：
関心部位（腫瘍等）への気管支鏡２の先端の接近距離による指定を選択し、次ボタン１３２を選択すると、図１６に示すように、サムネイル登録／削除画面１００上に、関心部位への気管支鏡２の先端の接近距離を設定する接近距離設定ウインドウ１７０が表示され、この接近距離設定ウインドウ１７０で接近距離を入力する。

そして、確定ボタン１６３をポインタ１１４により選択することで、挿入支援時において、気管支鏡２の先端と関心部位（腫瘍等）との距離が設定した接近距離になった場合を支援停止条件として確定し記録される。

（４）気管支の分岐名による指定：
気管支の分岐名による指定を選択し、次ボタン１３２を選択すると、図１７に示すように、サムネイル登録／削除画面１００上に、分岐名を設定する分岐名設定ウインドウ１８０が表示され、この分岐名設定ウインドウ１８０で分岐名を入力する。

そして、確定ボタン１６３をポインタ１１４により選択することで、挿入支援時において、メイン画面表示エリア１０１に表示されるＶＢＳ画像５３が設定した分岐名になった場合を支援停止条件として確定し記録される。

（５）気管支鏡２の挿入長による指定：
気管支鏡２の挿入長による指定を選択し、次ボタン１３２を選択すると、図１８に示すように、サムネイル登録／削除画面１００上に、気管支鏡２の気管支への挿入長を設定する挿入長設定ウインドウ１９０が表示され、この挿入長設定ウインドウ１９０で挿入長を入力する。

そして、確定ボタン１６３をポインタ１１４により選択することで、挿入支援時において、気管支鏡２の気管支への挿入長が設定した挿入長になった場合を支援停止条件として確定し記録される。

（６）その他の条件による指定：
その他の条件による指定を選択し、次ボタン１３２を選択すると、図１９に示すように、サムネイル登録／削除画面１００上に、その他の条件を支援停止条件とするその他の条件設定ウインドウ１９５が表示され、この条件設定ウインドウ１９５で以下の条件のいずれかをラジオボタン等によりポインタ１１４で選択する。

その他の条件としては、例えば
（６−１）ＶＢＳ画像５３が一定時間変化しない場合
（６−２）気管支鏡２の手元側に設けられた入力部４である操作ボタンが操作された場合
（６−３）X線透過装置８によるX線照射がされた場合
（６−４）気管支鏡２の先端から鉗子の突出が確認された場合（内視鏡ライブ画像を画像処理することで鉗子の画像が検出された場合）
（６−５）内視鏡ライブ画像が赤玉表示状態となった場合
である。

そして、確定ボタン１６３をポインタ１１４により選択することで、挿入支援時において、その他の条件が検出された場合を支援停止条件として確定し記録される。

このようにしてルート設定及び支援停止条件設定がなされた挿入支援装置５による気管支内視鏡観察手技時の挿入支援について説明する。なお、以下では、ルートの分岐点が７カ所の場合であって、サムネイル番号１２１が「５」のサムネイル１０３を支援停止条件とした例について説明する。

挿入支援装置５による気管支内視鏡観察手技時の挿入支援が開始されると、図２０に示すように、ステップＳ５１にてモニタ５に図２１に示すような挿入支援画像２００が表示され、挿入支援画像２００のメイン画面表示エリア１０１にサムネイル番号「１」のＶＢＳ画像５３が表示される。

この挿入支援画像２００は、ＶＢＳ画像像５３を表示するメイン画面表示エリア１０１と、サムネイル１０３を表示するサムネイル表示エリア１０２と、ＶＢＳ画像像５３を回転操作する回転操作エリア２０３と、ＶＢＳ画像像５３のフレームを進退させるフレーム移動操作エリア２０７とからなり、挿入量検出装置３からの挿入長信号に基づき気管支鏡２のライブ画像が位置に対応した仮想画像であるＶＢＳ画像像５３がメイン画面表示エリア１０２に表示される。

なお、ＶＢＳ画像５３がサムネイル１０３と一致する場合は、対応するサムネイル１０３の枠が、例えば太枠あるいはカラー表示され、この太枠あるいはカラー表示は、挿入量検出装置３からの検出信号である挿入長信号に基づきＶＢＳ画像５３が他のサムネイル１０３と一致するまで保持される。これによりＶＢＳ画像５３とサムネイル１０３との対応、すなわちき気管支鏡２の実際の挿入に対してＶＢＳ画像５３の気管支での位置を容易に視認することが可能となっている。

ステップＳ５２にて挿入量検出装置３からの挿入長信号に変化があったかどうか判断し、挿入長信号に変化がある場合には、ステップＳ５３にて挿入長信号に基づきＶＢＳ画像５３の表示フレームを更新しステップＳ５４に進み、挿入長信号に変化がない場合にはそのままステップＳ５４に進む。

ステップＳ５４では、支援停止条件が満たされたかどうか判断し、満たされたならばステップＳ５５に進み、満たされていない場合にはステップＳ５１に戻り、ステップＳ５１〜Ｓ５４の処理を繰り返す。

ステップＳ５１〜Ｓ５４の処理を繰り返し、図２２に示すように、ＶＢＳ画像５３が支援停止条件として設定したサムネイル番号１２１が「５」のサムネイル１０３と一致すると、ステップＳ５５において挿入支援画像２００の表示を停止し、ステップＳ５６にて図２３に示すように、モニタ５の表示をX線透過装置８の出力画像であるX線透過画像２４０に切り替え、処理を終了する。

なお、支援停止条件は、上記の（１）〜（６）のいずれであってもよく、また、複数の条件をＡＮＤあるいはＯＲした条件を支援停止条件としてもよい。

このように本実施例では、挿入開始から挿入支援を必要とする位置までは、モニタ５に挿入支援画像２００を表示し、支援停止条件を満たす位置、すなわち挿入支援を必要としない位置に到達すると、X線透過装置８の出力画像であるX線透過画像２４０に切り替えてモニタ５に表示するので、モニタ５を２つの装置で共用することができ、かつ支援停止条件により表示を切り替えるので、モニタ５に表示させる作業が不要であって、煩雑化することなく所望のタイミングで画像の切替を行うことができる。

なお、挿入支援画面２００には、メイン画面表示エリア１０１及びサムネイル表示エリア１０２を設けるとしたが、これに限らず、図２４に示すように、挿入支援画面２００ａとして、メイン画面表示エリア１０１及びサムネイル表示エリア１０２と共に気管支鏡２からの内視鏡ライブ画像を表示するライブ画像表示エリア２５０をメイン画面表示エリア１０１に隣接して設けるようにしてもよく、このようなライブ画像表示エリア２５０を設けることで、実際の気管支鏡２の内視鏡ライブ画像とＶＢＳ画像５３との比較が容易となり、より効果的に挿入支援を行うことができる。

この挿入支援画面２００ａにおいて、支援停止条件が満たされると、図２５に示すように、ライブ画像表示エリア２５０の内視鏡ライブ画像とX線透過画像２４０とがモニタ５に表示される。

また、図２３では、支援停止条件が満たされると、モニタ５に表示される画像はX線透過装置８の出力画像であるX線透過画像２４０のみとしたが、これに限らず、図２６に示すように、画像はX線透過装置８の出力画像であるX線透過画像２４０の下にサムネイル１０３を表示するサムネイル表示エリア１０２を表示するようにしてもよく、サムネイル表示エリア１０２を表示することで、X線透過画像２４０での気管支鏡２の挿入状態とサムネイル１０３による挿入位置が容易に比較でき、X線透過画像２４０による挿入状態の確認が容易になる。

なお、気管支鏡２の検査中に、患者の断層画像を取得する手段として、超音波診断装置を設けてもよい。その際、図２３、図２６のX線透過画像２４０ではなく、超音波診断装置の出力画像である超音波画像を表示してもよい。

図２７ないし図３１は本発明の実施例２に係わり、図２７はサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する図、図２８は図２７で設定された支援停止条件下での気管支挿入支援システムの挿入支援時の作用を説明するフローチャート、図２９は図２８の処理で展開される挿入支援画面を示す第１の図、図３０は図２８の処理で展開される挿入支援画面を示す第２の図、図３１は図２８の処理で展開される挿入支援画面を示す第３の図である。

実施例２は、実施例１とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

本実施例では、例えばサムネイルによる指定において、支援停止条件として複数のサムネイルの指定が可能であって、図２７に示すように、サムネイル指定ウインドウ１４０で例えばサムネイル番号「３」、「５」、「７」の３つのサムネイルを指定し、確定ボタン１４２を選択することで、メイン画面表示エリア１０１に表示されるＶＢＳ画像５３が指定した複数のサムネイル１０３と一致した場合を支援停止条件として、複数の支援停止条件が確定し記録される。

そして、挿入支援装置５による気管支内視鏡観察手技時の挿入支援が開始され、図２８に示すように、実施例１と同様にステップＳ５１〜Ｓ５６の処理が行われ、図２９に示すように、例えばＶＢＳ画像５３が最初の支援停止条件として設定したサムネイル番号１２１が「３」のサムネイル１０３と一致すると、図３０に示すように、メイン画面表示エリア１０１に代わり、X線透過装置８の出力画像であるX線透過画像２４０が表示される。

そして、ステップＳ５７にて挿入支援再開の指示があるかどうか判断する。挿入支援再開の指示があるとステップＳ５１に戻り処理を繰り返す。

そして、例えばサムネイル番号１２１が「５」あるいは「７」の場合もサムネイル番号１２１が「３」の場合と同様に処理される
挿入支援再開の指示は、例えば図３０において、ポインタ１１４によりフレーム移動操作エリア２０７（の次ボタン）が操作された場合に発生する。挿入支援再開の指示が発生すると、図３１に示すように、メイン画面表示エリア１０１に戻し、メイン画面表示エリア１０１に挿入量検出装置３からの検出信号である挿入長信号に基いた位置のＶＢＳ画像５３が表示され、挿入支援が再開される。

なお、挿入支援再開の指示はフレーム移動操作エリア２０７（の次ボタン）の操作により発生するとしたが、これに限らず、図示はしないが、フットスイッチの操作やマイクからの音声を音声認識処理することで、挿入支援再開の指示をするようにしてもよい。

このように本実施の形態では、実施例１の効果に加え、挿入支援途中の挿入に注意を要する位置を複数の支援停止条件とすることで、挿入支援途中の挿入に注意を要する位置に到達した際にモニタ５の表示画像を線透過装置８の出力画像であるX線透過画像２４０に切り替えることで、その位置での気管支鏡２の挿入状態が確認でき、かつ容易に挿入支援を再開することができる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る気管支挿入支援システムの構成を示す構成図 図１の画像処理部の機能構成を示すブロック図 図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャート 図３の処理で展開されるルート設定画面を示す第１の図 図３の処理で展開されるルート設定画面を示す第２の図 図３のルート設定処理の流れを示すフローチャート 図６の処理で展開されるルート設定画面を示す第１の図 図６の処理で展開されるルート設定画面を示す第２の図 図６の処理で展開されるルート設定画面を示す第３の図 図３の処理で生成されたナビゲーションデータであるＶＢＳ画像を再生し確認するためのＶＢＳ画像再生画面を示す図 図１０のＶＢＳ画像再生画面から展開されるサムネイル登録／削除画面を示す図 図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第１の図 図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第２の図 図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第３の図 図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第４の図 図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第５の図 図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第６の図 図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第７の図 図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第８の図 図１１のサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する第９の図 図１の気管支挿入支援システムの挿入支援時の作用を説明するフローチャート 図２１の処理で展開される挿入支援画面を示す第１の図 図２１の処理で展開される挿入支援画面を示す第２の図 図２１の処理で展開される挿入支援画面の第１の変形例を示す第１の図 図２１の処理で展開される挿入支援画面の第１の変形例を示す第２の図 図２１の処理で展開される挿入支援画面の第２の変形例を示す図 本発明の実施例２に係るサムネイル登録／削除画面から展開される支援停止条件設定処理を説明する図 図２７で設定された支援停止条件下での気管支挿入支援システムの挿入支援時の作用を説明するフローチャート 図２８の処理で展開される挿入支援画面を示す第１の図 図２８の処理で展開される挿入支援画面を示す第２の図 図２８の処理で展開される挿入支援画面を示す第３の図 従来の気管支挿入支援システムを説明する第１の図 従来の気管支挿入支援システムを説明する第２の図 従来の気管支挿入支援システムを説明する第３の図

符号の説明

１…内視鏡装置
２…気管支鏡
３…挿入量検出装置
４…入力部
５…モニタ
６…気管支鏡ナビゲーション装置
１１…ＣＴ画像データ取り込み部
１２…ＣＴ画像データ格納部
１３…ＭＰＲ画像生成部
１４…ルート設定部
１５…ＶＢＳ画像生成部
１６…ＶＢＳ画像格納部
１７…画像処理部
１７ａ…フレーム画像再生表示機能
１７ｂ…サムネイル生成機能
１７ｃ…サムネイル登録／削除機能
１７ｄ…支援停止条件設定機能
１７ｅ…支援停止条件検出機能
１７ｆ…表示画像切替機能
１８…画像表示制御部
１９…設定情報入力部
代理人 弁理士 伊藤 進

Claims (8)

1. 被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想画像を生成する仮想画像生成手段と、
   前記仮想画像を表示可能となるように設けられた表示手段と、
   前記表示手段に表示された前記仮想画像をもとに前記被検体に挿入可能な挿入部を有する内視鏡装置と、
   前記内視鏡装置によって内視鏡検査される前記被検体の外部から、前記被検体内部の状況を被検体内部画像として構築可能となるように設けられた内部画像構築手段と、
   前記表示手段への前記仮想画像の表示を停止する条件を設定可能となるように設けられた条件設定手段と、
   前記条件設定手段で設定された前記条件に基づいて、前記表示手段に表示された前記仮想画像を前記被検体内部画像に切り替える表示切替手段と
   を具備することを特徴とする挿入支援システム。
2. 被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想画像を生成する仮想画像生成手段と、
   前記仮想画像を表示可能となるように設けられた表示手段と、
   前記表示手段に表示された前記仮想画像をもとに前記被検体に挿入可能な挿入部を有する内視鏡装置と、
   前記体腔内に挿入された前記挿入部の挿入状態を挿入状態画像として構築可能となるように設けられた挿入状態画像構築手段と、
   前記表示手段への前記仮想画像の表示を停止する条件を設定可能となるように設けられた条件設定手段と、
   前記条件設定手段で設定された前記条件に基づいて、前記表示手段に表示された前記仮想画像を前記挿入状態画像に切り替える表示切替手段と
   を具備することを特徴とする挿入支援システム。
3. 被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想画像を生成する仮想画像生成手段と、
   前記仮想画像生成手段で生成した前記仮想画像をもとに、前記仮想画像の縮小画像を生成する縮小画像生成手段と、
   前記仮想画像及び前記縮小画像を有する挿入支援画像を生成する挿入支援画像生成手段と、
   前記挿入支援画像を表示可能となるように設けられた表示手段と、
   前記表示手段に表示された前記挿入支援画像をもとに前記被検体に挿入可能な挿入部を有する内視鏡装置と、
   前記体腔内に挿入された前記挿入部の挿入状態を挿入状態画像として構築可能となるように設けられた挿入状態画像構築手段と、
   前記表示手段への前記仮想画像の表示を停止する条件を設定可能となるように設けられた条件設定手段と、
   前記条件設定手段で設定された前記条件に基づいて、前記表示手段に表示された前記仮想画像を前記挿入状態画像に切り替える表示切替手段と
   を具備することを特徴とする挿入支援システム。
4. 前記表示手段に表示する画像を、前記表示切替手段が切り替えた前記挿入状態画像から前記仮想画像に戻す指示を行う指示手段を有する
   ことを特徴とする請求項１または２に記載の挿入支援システム。
5. 前記縮小画像を選択することによって、前記表示手段への前記仮想画像の表示を停止する条件として設定する条件設定手段と
   を有することを特徴とする請求項１または２に記載の挿入支援システム。
6. 前記挿入部の体腔内への挿入量を、前記表示手段への前記仮想画像の表示を停止する条件として設定する条件設定手段と
   を有することを特徴とする請求項１または２に記載の挿入支援システム。
7. 被検体の３次元領域の画像データに基づき、前記被検体内の関心部位の領域を設定する関心領域設定手段と、
   前記画像データに基づき、前記被検体内の体腔路の挿入ルートの始点を設定するルート始点設定手段と、
   前記始点から前記関心部位の領域に至る複数の前記挿入ルートを抽出するルート抽出手段と、
   前記ルート抽出手段によって抽出されたルートの仮想内視画像を生成する仮想画像生成手段と、
   前記仮想内視画像を表示可能となるように設けられた表示手段と、
   前記表示手段に表示された前記仮想内視画像をもとに前記被検体に挿入可能な挿入部を有する内視鏡装置と、
   前記体腔内に挿入された前記挿入部の挿入状態を挿入状態画像として構築可能となるように設けられた挿入状態画像構築手段と、
   前記関心領域からの距離を、前記表示手段への前記仮想画像の表示を停止する条件として設定可能となるように設けられた条件設定手段と、
   前記条件設定手段で設定された前記条件に基づいて、前記表示手段に表示された前記仮想画像を前記挿入状態画像に切り替える表示切替手段と
   を具備することを特徴とする挿入支援システム。
8. 被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想画像を生成する仮想画像生成手段と、
   前記仮想画像生成手段で生成した前記仮想画像をもとに、前記仮想画像における分岐点の縮小画像を生成する縮小画像生成手段と、
   前記仮想画像に前記分岐点の分岐名称を付す分岐名称付加手段と、
   前記仮想画像及び前記縮小画像を有する挿入支援画像を生成する挿入支援画像生成手段と、
   前記挿入支援画像を表示可能となるように設けられた表示手段と、
   前記表示手段に表示された前記挿入支援画像をもとに前記被検体に挿入可能な挿入部を有する内視鏡装置と、
   前記体腔内に挿入された前記挿入部の挿入状態を挿入状態画像として構築可能となるように設けられた挿入状態画像構築手段と、
   前記分岐名を、前記表示手段への前記仮想画像の表示を停止する条件として設定可能となるように設けられた条件設定手段と、
   前記条件設定手段で設定された前記条件に基づいて、前記表示手段に表示された前記仮想画像を前記挿入状態画像に切り替える表示切替手段と
   を具備することを特徴とする挿入支援システム。

Images