JP4493423B2 - 内視鏡挿入支援装置 - Google Patents

Description

本発明は、内視鏡挿入支援装置に関し、特に例えば気管支等のような体内の管路への内視鏡挿入をナビゲーションする内視鏡挿入支援装置に関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内に３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入し、生検鉗子等で組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分支の末端に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想内視鏡画像を前記画像データに基づいて作成し、前記仮想内視鏡画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
特開２０００−１３５２１５号公報

しかしながら、ナビゲーション時に挿入操作に注意を要する場合、該当する仮想内視鏡画像に種々のコメントを重畳表示することがあるが、このようなコメントを有する仮想内視鏡画像がいつ表示されるかが分からないために、コメントを見のがしたり、あるいはコメント内容の把握に時間を要したりして効果的な挿入支援が妨げられる虞れがある。

本発明は、上記事情に鑑みてなされたものであり、挿入支援時に注意を要する仮想内視鏡画像の位置情報を容易かつ確実に予め挿入支援画像上に展開することのできる内視鏡挿入支援装置を提供することを目的としている。

本発明の内視鏡挿入支援装置は、
被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
前記仮想内視鏡画像生成手段で生成した前記仮想内視鏡画像より、前記被検体内の体腔路が分岐する分岐点での分岐点画像を抽出する分岐画像抽出手段と、
前記分岐点画像の縮小画像を生成する縮小画像生成手段と、
前記縮小画像に所望の付与情報を付加する情報付加手段と、
前記付与情報に基づいて前記縮小画像の重要度を設定する重要度設定手段と、
前記仮想内視鏡画像及び前記縮小画像を有する挿入支援画像を生成する挿入支援画像生成手段と、
前記挿入支援画像の前記縮小画像に前記重要度設定手段が設定した前記重要度を反映させる重要度反映手段と
を備えて構成される。

本発明によれば、挿入支援時に注意を要する仮想内視鏡画像の位置情報を容易かつ確実に予め挿入支援画像上に展開することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図２９は本発明の実施例１に係わり、図１は気管支挿入支援システムの構成を示す構成図、図２は図１の画像処理部の機能構成を示すブロック図、図３は図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャート、図４は図３の処理で展開されるルート設定画面を示す第１の図、図５は図３の処理で展開されるルート設定画面を示す第２の図、図６は図３のルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図３の処理で生成されたナビゲーションデータであるＶＢＳ画像のサムネイルを登録／削除するためのサムネイル登録／削除画面を示す図、図１１は図１０のサムネイル登録／削除画面で遷移可能な各種遷移モードを示す図、図１２は図１１の表示変更モードでの処理の流れを示すフローチャート、図１３は図１１のサムネイル登録モードでの処理の流れを示すフローチャート、図１４は図１３の処理を説明するサムネイル登録／削除画面を示す第１の図、図１５は図１３の処理を説明するサムネイル登録／削除画面を示す第２の図、図１６は図１３の処理を説明するサムネイル登録／削除画面を示す第３の図、図１７は図１３の処理を説明するサムネイル登録／削除画面を示す第４の図、図１８は図１７のコメント入力ウインドウの重要度指定項を説明する図、図１９は図１３の処理を説明するサムネイル登録／削除画面を示す第５の図、図２０は図１３の処理を説明するサムネイル登録／削除画面を示す第６の図、図２１は図１３の重要度判定処理の処理の流れを示すフローチャート、図２２は図２１の処理に用いられるキーワードＤ．Ｂ．を示す図、図２３は図１３の処理により構築されるサムネイルＤ．Ｂ．を示す図、図２４は図１１のサムネイル削除モードでの処理の流れを示すフローチャート、図２５は図２３のサムネイルＤ．Ｂ．のデータを反映させた挿入支援画面を示す第１の図、図２６は図２３のサムネイルＤ．Ｂ．のデータを反映させた挿入支援画面を示す第２の図、図２７は図２５の挿入支援画面の第１の変形例を示す図、図２８は図２５の挿入支援画面の第２の変形例を示す図、図２９は図２５の挿入支援画面の第３の変形例を示す図である。

図１に示すように、本実施の形態の内視鏡装置１は、患者体内の気管支に挿入し気管支内を撮像し気管支末端の患部組織を生検する気管支鏡２と、気管支鏡２の挿入部の患者体内への挿入量を検出する、例えばエンコーダ等から構成される挿入量検出装置３と、気管支鏡２の手元側に設けられた複数のスイッチからなる入力部４と、ＣＴ画像データに基づき気管支内部の仮想内視鏡画像（以下、ＶＢＳ画像と記す）を生成すると共に入力部４からの入力信号に基づき、ＶＢＳ画像をモニタ５に表示し気管支鏡２の気管支へのナビゲーションを行う気管支鏡ナビゲーション装置６とを備えて構成される。

なお、前記入力部４は、気管支鏡２の手元側に設けられるとしたが、フットスイッチにより構成してもよい。また気管支鏡２による内視鏡画像はモニタ７に表示される。

気管支鏡ナビゲーション装置６は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｉｃ Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支鏡２の気管支へのナビゲーションルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、挿入量検出装置３からの検出信号及び入力部４からの入力信号を入力し、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像からなる後述する挿入支援画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成した挿入支援画面をモニタ５に表示させる画像表示制御部１８と、ルート設定部１４に対して設定情報を入力するキーボード及びポインティングデバイスからなる設定情報入力部１９とから構成される。

なお、ＣＴ画像データ格納部１２及びＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。

画像処理部１７は、図２に示すように、ルート設定部１４が設定したルートにおけるＶＢＳ画像のフレーム画像を再生表示するフレーム画像再生表示機能１７ａと、気管支の分岐点でのＶＢＳ画像のフレーム画像を抽出しこの分岐点のフレーム画像のサムネイルＶＢＳ画像（以下、単にサムネイルと記す）を生成するサムネイル生成機能１７ｂと、サムネイルを追加登録するサムネイル追加登録機能１７ｃと、サムネイルに後述するサムネイル情報を付加する情報付加機能１７ｄと、付加されたサムネイル情報をＶＢＳ画像のフレーム画像に重畳する情報重畳機能１７ｅと、付加されたサムネイル情報に基づいてサムネイルの重要度を設定する重要度設定機能１７ｆと、画像表示制御部１８を制御し挿入支援画面のサムネイルに設定された重要度を反映させて表示させる重要度反映機能１７ｇとを有している。

このように構成された本実施例の作用について説明する。

図３に示すように、気管支内視鏡装置３による観察・処置に先立ち、挿入支援装置５は、ステップＳ１でＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者のＣＴ画像データを取り込み、ステップＳ２で取り込んだＣＴ画像データをＣＴ画像データ格納部１２に格納する。

ステップＳ３でルート設定部１４により、図４に示すようなルート設定画面２１をモニタ５に表示させ、ルート設定画面２１上の患者情報タグ画面２２で患者情報を選択する。この選択により、ステップＳ４で選択された患者の例えば３つの異なる多断面像からなるＭＰＲ画像が生成され、ステップＳ５でこのＭＰＲ画像２３がルート設定画面２１に表示される。

なお、患者情報タグ画面２２での患者情報の選択は、入力装置１９により患者を識別する患者ＩＤを入力することで行われる。

次に、ステップＳ６でルート設定画面２１上のルート設定タグ２４（図４参照）を設定情報入力部１９により選択すると、図５に示すようなルート設定タグ画面２５がルート設定画面２１に表示され、後述するルート設定処理を行い、気管支での気管支内視鏡の挿入支援のルートを設定する。

挿入支援のルートが設定されると、ステップＳ７でＶＢＳ画像生成部１５により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成し、ステップＳ８で生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。そして、ステップＳ９で後述するナビ用のサムネイルムの追加／削除処理を実行する。

上記のステップＳ１〜Ｓ９の処理により、気管支内視鏡による観察・処置時の挿入支援装置５による挿入支援の第１の準備が完了する。

ここで、上記ステップＳ６のルート設定処理を図６を用いて説明する。

図６に示すように、ステップＳ６のルート設定処理では、入力装置１９を操作することで、図５に示したルート設定タグ画面２５上のルート探索ボタンをクリックすると、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２１上に表示され、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点の入力を促す終点入力指示ウインドウ３２がルート設定画面２１上に表示さる。

そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に終点が設定される。

始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４ではステップＳ１３では、始点から終点に至る気管支内のルートの第１候補を探索する。

そして、ルート設定部１４はルート設定画面２１上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２３に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。

ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。

ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。

ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。

ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０でルート及びルート内の各分岐点の位置情報を決定して図３のステップＳ７に戻る。

このようにしてルートが設定されると、図１０に示すサムネイル登録／削除画面１００がモニタ５に表示される。

サムネイル登録／削除画面１００は、ＶＢＳ画像５３を表示するメイン画面表示エリア１０１と、ルート上の全分岐点の複数のサムネイル１０３を表示するサムネイル表示エリア１０２と、サムネイル１０３にサムネイル情報を付加登録したり分岐点間のフレームをサムネイル１０３として追加する処理する登録ボタン１０４と、サムネイル１０３の削除処理を行う削除ボタン１０５と、ＶＢＳ画像５３をフレーム移動させる前ボタン１０７及び次ボタン１０８と、ＶＢＳ画像５３を任意のフレームに移動させるスライドバー１１３と、サムネイル登録／削除を確定する確定ボタン１１２とを有し、これら各ボタン及びスライドバーはポインタ１１４により選択できるようになっている。

なお、ＶＢＳ画像５３がサムネイル１０３と一致する場合は、対応するサムネイル１０３の枠が、例えば太枠あるいはカラー表示され、この太枠あるいはカラー表示は、ＶＢＳ画像５３が他のサムネイル１０３と一致するまで保持される。これによりＶＢＳ画像５３とサムネイル１０３との対応、すなわちＶＢＳ画像５３の気管支での位置を容易に視認することが可能となっている。

そして、このサムネイル登録／削除画面１００によりステップＳ９でのナビ用のサムネイルムの追加／削除処理が実行される。

ナビ用のサムネイルムの追加／削除処理において、図１０の状態のサムネイル登録／削除画面１００は、図１１に示す待機モードであって、サムネイル登録／削除画面１００の各ボタン及びスライドバーをポインタ１１４により選択することで、サムネイル登録モード、サムネイル削除モード及び表示変更モードに遷移可能となっている。

まず、ナビ用のサムネイルムの追加／削除処理における表示変更モードを図１２のフローチャートを用いて説明する。

図１０の待機モードで前ボタン１０７、次ボタン１０８あるいはスライドバー１１３が操作されると表示変更モードに遷移し、図１２に示すように、表示変更モードでは、ステップＳ５１にて前ボタン１０７、次ボタン１０８あるいはスライドバー１１３の操作に対応してメイン画面表示エリア１０１に表示するＶＢＳ画像５３のフレームＦｅを求め、ステップＳ５２にてメイン画面表示エリア１０１にフレームＦｅが表示されているかどうか判断する。

メイン画面表示エリア１０１にフレームＦｅが表示されている場合は処理を終了し、イン画面表示エリア１０１にフレームＦｅが表示されていない場合は、ステップＳ５３にてメイン画面表示エリア１０１にフレームＦｅを表示し、ステップＳ５４にてフレームＦｅがサムネイル登録されているかどうか判断する。

サムネイル登録がなされている場合は、サムネイル情報データベース（以下、サムネイルＤ．Ｂ．と記す：詳細は後述する）にサムネイル情報を付加することが可能であるため、ステップＳ５５にて登録されているサムネイル情報を取り出しフレームＦｅに重畳表示してステップＳ５２に戻り、サムネイル登録がなされていない場合はステップＳ５４からそのままステップＳ５２に戻る。

次に、ナビ用のサムネイルムの追加／削除処理におけるサムネイル登録モードを図１３のフローチャートを用いて説明する。

図１０の待機モードで登録ボタン１０４が操作されるとサムネイル登録モードに遷移し、図１３に示すように、サムネイル登録モードでは、ステップＳ６１にてメイン画面表示エリア１０１に表示されているＶＢＳ画像５３の表示フレームがサムネイルＤ．Ｂ．に登録済みかどうか判断する。サムネイルＤ．Ｂ．に登録済みの場合はステップＳ６６に進み、サムネイルＤ．Ｂ．に未登録の場合は、ステップＳ６２にて表示フレームに近接しているサムネイルの登録番号をサムネイルＤ．Ｂ．で検索し、ステップＳ６３にて表示フレーム以降のフレームがサムネイルＤ．Ｂ．に登録済みかどうか判断する。サムネイルＤ．Ｂ．に登録済みの場合は、ステップＳ６４にて表示フレーム以降の登録済みのフレームのサムネイルの登録番号をインクリメントして、ステップＳ６５にて表示フレームのフレーム番号をサムネイルＤ．Ｂ．に登録しステップＳ６６に進む。

上記のステップＳ６２〜Ｓ６５の処理により、登録済みのサムネイル間に新規に表示フレームのサムネイルの登録が可能となる。

ステップＳ６６以降の処理では、サムネイルＤ．Ｂ．にサムネイル情報を登録する処理であって、ここでは、例えば表示変更モードの処理により、図１０のサムネイル登録／削除画面１００を例えば図１４のサムネイル登録／削除画面１００の表示状態に移行させ、３番目のサムネイル１０３にサムネイル情報を登録する例を説明する。

図１４のサムネイル登録／削除画面１００での３番目のサムネイル１０３はサムネイルＤ．Ｂ．に登録済みであるので、登録ボタン１０４が操作されるとステップＳ６１からステップＳ６６に処理が移行し、ステップＳ６６にてサムネイル登録／削除画面１００に図１５に示すような挿入マーカ設定ウインドウ１２０を表示し、挿入マーカの表示座標をサムネイルＤ．Ｂ．に登録する。

具体的には、挿入マーク設定ウインドウ１２０が表示された状態で、ポインタ１１４にてメイン画面表示エリア１０１のＶＢＳ画像５３上で挿入先を設定すると、該挿入先に挿入マーク１２１が表示される。そして、挿入マーク設定ウインドウ１２０の追加ボタンをポインタ１１４で選択することで挿入マーク１２１のＶＢＳ画像５３上での表示座標がサムネイルＤ．Ｂ．に登録され、ステップＳ６７に処理が移行する。

ステップＳ６７では、サムネイル登録／削除画面１００に図１６に示すような分岐名入力ウインドウ１３０を表示し、分岐名の入力及び分岐名の表示位置の設定を行う。

具体的には、分岐名入力ウインドウ１３０入力欄に分岐名を入力すると共に、ポインタ１１４にてメイン画面表示エリア１０１のＶＢＳ画像５３上で分岐名表示位置指定枠１３１にて分岐名を表示する位置を設定し、分岐名入力ウインドウ１３０の追加ボタンをポインタ１１４で選択することでステップＳ６８に処理が移行する。

そして、ステップＳ６８にて入力された分岐名及び分岐名表示位置指定枠１３１で指定された表示位置の位置座標からなる分岐名情報をサムネイルＤ．Ｂ．に登録する。

続いて、ステップＳ６９では、サムネイル登録／削除画面１００に図１７に示すようなコメント入力ウインドウ１４０を表示し、コメントの入力及びコメントの表示位置の設定を行う。なお、図１７では、分岐名１３１ａが分岐名表示位置指定枠１３１で指定された表示位置に表示されている。

具体的には、コメント入力ウインドウ１４０入力欄にコメントを入力すると共に、ポインタ１１４にてメイン画面表示エリア１０１のＶＢＳ画像５３上でコメント表示位置指定枠１４１にて分岐名を表示する位置を設定し、コメント入力ウインドウ１４０の追加ボタンをポインタ１１４で選択することでステップＳ７０に処理が移行する。コメント入力ウインドウ１４０には、サムネイルの重要度を指定する重要度指定項が設けられており、この重要度指定項は、図１８に示すように、ポップアップウインドウにより重要度を指定することができるようになっている。なお、重要度指定項のデフォルト指定は無設定となっている。

そして、ステップＳ７０にて入力されたコメント及びコメント表示位置指定枠１４１で指定された表示位置の位置座標からなる分岐名情報をサムネイルＤ．Ｂ．に登録する。この処理が終了すると、図１９に示すように、コメント１４１ａがコメント表示位置指定枠１４１で指定された表示位置に表示される。

続いて、ステップＳ７１にて後述する重要度判定処理がなされ、ステップＳ７２にて判定された重要度をサムネイルＤ．Ｂ．に登録して処理を終了する。

そして、図２０に示すように、図１３のサムネイルムの追加／削除処理を最後のサムネイルに至るまで実行した後、確定ボタン１１２を操作することで、全ルートにおけるサムネイル情報が設定される。

次に、ステップＳ７１の重要度判定処理を図２１のフローチャートを用いて説明する。

図２１に示すように、ステップＳ８１にてコメント入力ウインドウ１４０の重要度指定項で重要度の入力があったかどうか判定する。重要度の入力があると、ステップＳ８２にて重要度をサムネイルＤ．Ｂ．に登録して処理を終了し、重要度の入力がないと、ステップＳ８３に進む。

ステップＳ８３では、コメント入力ウインドウ１４０でコメント入力があったかどうか判定する。コメントの入力がないとステップＳ８４に重要度を最低レベルにしてステップＳ８２に進み、コメントの入力があるとステップＳ８５に進む。

ステップＳ８５では、コメントのテキスト（単語）を、図２２に示すキーワードデータベース（以下、キーワードＤ．Ｂ．と記す）で検索する。そして、ステップＳ８６にて、テキスト（単語）がキーワードＤ．Ｂ．に登録されているかどうか判断する。

テキスト（単語）がキーワードＤ．Ｂ．に登録されていないとステップＳ８７に重要度を最高レベルにしてステップＳ８２に進み、テキスト（単語）がキーワードＤ．Ｂ．に登録されているとステップＳ８８に進む。

そして、ステップＳ８８にてキーワードＤ．Ｂ．に登録しているテキスト（単語）に対応した重要度をサムネイルＤ．Ｂ．に登録して処理を終了する。

このようにナビ用のサムネイルムの追加／削除処理におけるサムネイル登録モードが実行されることで、図２３に示すようなサムネイルＤ．Ｂ．にサムネイル毎に、サムネイルＮｏ．，フレームＮｏ．，挿入マークの表示座標，コメントの表示座標，コメント内容，重要度，分岐名の表示座標，分岐名等が登録される。

なお、サムネイルＤ．Ｂ．及びキーワードＤ．Ｂ．は、例えばＶＢＳ画像格納部１６内に構築される。

次に、ナビ用のサムネイルムの追加／削除処理におけるサムネイル削除モードを図２４のフローチャートを用いて説明する。

図１０の待機モードで削除ボタン１０５が操作されるとサムネイル削除モードに遷移し、図２４に示すように、サムネイル削除モードでは、ステップＳ１０１にてメイン画面表示エリア１０１に表示されているＶＢＳ画像５３の表示フレームがサムネイルＤ．Ｂ．に登録済みかどうか判断する。表示フレームがサムネイルＤ．Ｂ．に登録されていると、ステップＳ１０２にて表示フレームのサムネイルをサムネイルＤ．Ｂ．から削除する。

このようにしてルート設定がなされた挿入支援装置５による気管支内視鏡観察手技時の挿入支援について説明する。なお、以下では、ルートの分岐点が１０カ所の場合を例に説明する。

挿入支援装置５による気管支内視鏡観察手技時の挿入支援を開始すると、モニタ５に図２５に示すような挿入支援画面２００を表示する。

この挿入支援画面２００は、ＶＢＳ画像像５３を表示するメイン画面表示エリア１０１と、サムネイルＤ．Ｂ．に登録したサムネイル１０３を表示するサムネイル表示エリア１０２と、ＶＢＳ画像像５３を回転操作する回転操作エリア２０３と、ＶＢＳ画像像５３のフレームを進退させるフレーム移動操作エリア２０７とからなり、入力部４からの入力信号に基づき気管支鏡２のライブ画像が位置に対応した仮想画像であるＶＢＳ画像像５３がメイン画面表示エリア１０２に表示される。

なお、ＶＢＳ画像５３がサムネイル１０３と一致する場合は、対応するサムネイル１０３の枠が、例えば太枠あるいはカラー表示され、この太枠あるいはカラー表示は、挿入量検出装置３からの検出信号に基づきＶＢＳ画像５３が他のサムネイル１０３と一致するまで保持される。これによりＶＢＳ画像５３とサムネイル１０３との対応、すなわちき気管支鏡２の実際の挿入に対してＶＢＳ画像５３の気管支での位置を容易に視認することが可能となっている。

また、サムネイル表示エリア１０２に表示されるサムネイル１０３の重要度が、例えば「高」レベルあるいは「中」レベルに設定・登録さている場合は、該当するサムネイル１０３の下部に重要度が「高」レベルであることを示す高レベル重要度マーク１５０ａあるいは重要度が「中」レベルであることを示す中レベル重要度マーク１５０ｂが表示される。

なお、重要度が「低」レベルのサムネイル１０３の下部には何も表示されない。

この高レベル重要度マーク１５０ａあるいは中レベル重要度マーク１５０ｂが表示されているサムネイル１０３と太枠あるいはカラー表示されている現在位置のサムネイル１０３とを比較することで、ユーザは挿入に注意を要する分岐への到達状況が容易に把握でき、また、図２６に示すように太枠あるいはカラー表示されている現在位置のサムネイル１０３と高レベル重要度マーク１５０ａあるいは中レベル重要度マーク１５０ｂが表示されているサムネイル１０３とが一致すると、挿入マーク１２１と共にＶＢＳ画像５３に分岐名１３１ａやコメント１４１ａが表示されるので、コメント１４１ａに従った挿入支援を効果的に行うことができる。

なお、サムネイル１０３の重要度が、例えば「高」レベルあるいは「中」レベルに設定・登録さている場合は、該当するサムネイル１０３の下部に重要度が「高」レベルであることを示す高レベル重要度マーク１５０ａあるいは重要度が「中」レベルであることを示す中レベル重要度マーク１５０ｂが表示されるとしたが、これに限らず、例えば図２７に示すように、重要度が「高」レベルであるサムネイル１０３の大きさと、重要度が「中」レベルであるサムネイル１０３大きさと、重要度が「低」レベルであるサムネイル１０３大きさとを変え、例えば、「高」レベルのサムネイル１０３の大きさ＞「中」レベルのサムネイル１０３の大きさ＞「低」レベルのサムネイル１０３の大きさという関係で、サムネイル１０３を表示するようにしても同様な効果を得ることができる。

また、挿入支援画面２００には、メイン画面表示エリア１０１及びサムネイル表示エリア１０２を設けるとしたが、これに限らず、図２８に示すように、メイン画面表示エリア１０１及びサムネイル表示エリア１０２と共に気管支鏡２からの内視鏡ライブ画像を表示するライブ画像表示エリア２５０をメイン画面表示エリア１０１に隣接して設けるようにしてもよく、このようなライブ画像表示エリア２５０を設けることで、実際の気管支鏡２の内視鏡ライブ画像とＶＢＳ画像５３との比較が容易となり、より効果的に挿入支援を行うことができる。

さらに、図２９に示すように、メイン画面表示エリア１０１に近傍にサムネイル１０３と太枠あるいはカラー表示されている現在位置のサムネイル１０３から注意を要するサムネイル１０３までの到達状況を示すメッセージ２１０を表示させるようにしてもよい。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る気管支挿入支援システムの構成を示す構成図 図１の画像処理部の機能構成を示すブロック図 図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャート 図３の処理で展開されるルート設定画面を示す第１の図 図３の処理で展開されるルート設定画面を示す第２の図 図３のルート設定処理の流れを示すフローチャート 図６の処理で展開されるルート設定画面を示す第１の図 図６の処理で展開されるルート設定画面を示す第２の図 図６の処理で展開されるルート設定画面を示す第３の図 図３の処理で生成されたナビゲーションデータであるＶＢＳ画像のサムネイルを登録／削除するためのサムネイル登録／削除画面を示す図 図１０のサムネイル登録／削除画面で遷移可能な各種遷移モードを示す図 図１１の表示変更モードでの処理の流れを示すフローチャート 図１１のサムネイル登録モードでの処理の流れを示すフローチャート 図１３の処理を説明するサムネイル登録／削除画面を示す第１の図 図１３の処理を説明するサムネイル登録／削除画面を示す第２の図 図１３の処理を説明するサムネイル登録／削除画面を示す第３の図 図１３の処理を説明するサムネイル登録／削除画面を示す第４の図 図１３のコメント入力ウインドウの重要度指定項を説明する図 図１３の処理を説明するサムネイル登録／削除画面を示す第５の図 図１３の処理を説明するサムネイル登録／削除画面を示す第６の図 図１３の重要度判定処理の処理の流れを示すフローチャート 図２１の処理に用いられるキーワードＤ．Ｂ．を示す図 図１３の処理により構築されるサムネイルＤ．Ｂ．を示す図 図１１のサムネイル削除モードでの処理の流れを示すフローチャート 図２３のサムネイルＤ．Ｂ．のデータを反映させた挿入支援画面を示す第１の図 図２３のサムネイルＤ．Ｂ．のデータを反映させた挿入支援画面を示す第２の図 図２５の挿入支援画面の第１の変形例を示す図 図２５の挿入支援画面の第２の変形例を示す図 図２５の挿入支援画面の第３の変形例を示す図

符号の説明

１…内視鏡装置
２…気管支鏡
４…入力部
５…モニタ
６…気管支鏡ナビゲーション装置
１１…ＣＴ画像データ取り込み部
１２…ＣＴ画像データ格納部
１３…ＭＰＲ画像生成部
１４…ルート設定部
１５…ＶＢＳ画像生成部
１６…ＶＢＳ画像格納部
１７…画像処理部
１７ａ…フレーム画像再生表示機能
１７ｂ…サムネイル生成機能
１７ｃ…サムネイル追加登録機能
１７ｄ…情報付加機能
１７ｅ…情報重畳機能
１７ｆ…重要度設定機能
１７ｇ…重要度反映機能
１８…画像表示制御部
１９…設定情報入力部
代理人 弁理士 伊藤 進

Claims (6)

1. 被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
   前記仮想内視鏡画像生成手段で生成した前記仮想内視鏡画像より、前記被検体内の体腔路が分岐する分岐点での分岐点画像を抽出する分岐画像抽出手段と、
   前記分岐点画像の縮小画像を生成する縮小画像生成手段と、
   前記縮小画像に所望の付与情報を付加する情報付加手段と、
   前記付与情報に基づいて前記縮小画像の重要度を設定する重要度設定手段と、
   前記仮想内視鏡画像及び前記縮小画像を有する挿入支援画像を生成する挿入支援画像生成手段と、
   前記挿入支援画像の前記縮小画像に前記重要度設定手段が設定した前記重要度を反映させる重要度反映手段と
   を備えたことを特徴とする内視鏡挿入支援装置。
2. 被検体の３次元領域の画像データに基づき前記被検体内の体腔路の仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、
   前記仮想内視鏡画像生成手段で生成した前記仮想内視鏡画像をもとに、前記被検体内の体腔路が分岐する分岐点での分岐点画像を抽出する分岐点画像抽出手段と、
   前記分岐点画像の縮小画像を生成する縮小画像生成手段と、
   前記縮小画像の重要度を設定する重要度設定手段と、
   前記仮想内視鏡画像及び前記縮小画像を有する挿入支援画像を生成する挿入支援画像生成手段と、
   前記挿入支援画像の前記縮小画像に前記重要度設定手段が設定した前記重要度を反映させる重要度反映手段と
   を備えたことを特徴とるす内視鏡挿入支援装置。
3. 前記付与情報は、コメント文字列を含み、
   前記重要度設定手段は、前記コメント文字列に基づいて前記縮小画像の重要度を設定する
   ことを特徴とする請求項１に記載の内視鏡挿入支援装置。
4. 前記付与情報は、前記縮小画像の前記重要度のレベル情報を含み、
   前記重要度設定手段は、前記レベル情報に基づいて前記縮小画像の重要度を設定する
   ことを特徴とする請求項１に記載の内視鏡挿入支援装置。
5. 前記重要度反映手段は、前記挿入支援画像の前記縮小画像の近傍に前記重要度マーク画像を配置することで、前記挿入支援画像の前記縮小画像に前記重要度設定手段が設定した前記重要度を反映させる
   ことを特徴とする請求項１または２に記載の内視鏡挿入支援装置。
6. 前記重要度反映手段は、前記挿入支援画像の前記縮小画像の大きさを前記重要度に基づいて可変することで、前記挿入支援画像の前記縮小画像に前記重要度設定手段が設定した前記重要度を反映させる
   ことを特徴とする請求項１または２に記載の内視鏡挿入支援装置。

Images