JP3930423B2

JP3930423B2 - 内視鏡装置

Info

Publication number: JP3930423B2
Application number: JP2002351629A
Authority: JP
Inventors: 俊也秋本; 順一大西
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-12-03
Filing date: 2002-12-03
Publication date: 2007-06-13
Anticipated expiration: 2022-12-03
Also published as: JP2004180940A

Description

【０００１】
【発明の属する技術分野】
本発明は、内視鏡装置に関し、特に例えば気管支等のような体内の管路への内視鏡挿入をナビゲーションする内視鏡装置に関する。
【０００２】
【従来の技術】
近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内に３次元画像データを得て、該３次元画像データを用いて患部の診断が行われるようになってきた。
【０００３】
ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元画像を作成することが行われる。
【０００４】
そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入し、異常部の像まで近づき、内視鏡の鉗子口より挿入した生検鉗子等で組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。
【０００５】
図２２に示す気管支５００のように、多段階の分岐を有する体内の管路では、異常部の所在が分支の末端に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像を前記画像データに基づいて作成し、前記仮想的な内視像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。
【０００６】
【特許文献１】
特開２０００−１３５２１５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記特開２０００−１３５２１５号公報の装置による目的部位へのナビゲーションでは、気管支内視鏡が撮像したライブの内視鏡像を表示すると共に、気管支の分岐での仮想的な内視像を表示し挿入先を案内しているのではあるが、上述したように気管支は多段階の分岐を有するばかりでなく、分岐での各画像は複数の分岐先経路を持つ類似の画像となるため、単に仮想的な内視像を表示するだけでは、ライブの内視鏡像の実際の分岐位置と異なる分岐位置の仮想の内視像が表示されても、術者が正しい分岐位置での仮想の内視像と誤認する可能性があり、このような誤認は気管支内視鏡の目的部位へのナビゲーションに重大な支障を及ぼすといった問題がある。
【０００８】
本発明は、これらの事情に鑑みてなされたもので、実際の体腔路の分岐位置に対応した案内画像で内視鏡を体腔路の目的部位に確実にナビゲーションすることができ、しかも被検体内の体腔路のライブの内視鏡画像に対応させて案内用の３次元画像を回転させることによって、内視鏡を挿入していく分岐体腔路をライブの内視鏡画像上で容易に見出すことができるようにした内視鏡装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前記目的を達成するため本発明の一態様による内視鏡装置は、被検体の３次元領域の画像データに基づき前記被検体内の体腔路が分岐する全分岐点での前記３次元画像の複数の画像を生成する３次元画像生成手段と、
前記被検体内の体腔路が分岐する全分岐点での前記３次元画像の複数の縮小画像を生成する縮小画像生成手段と、
前記３次元画像生成手段が生成した複数の３次元画像、及び前記縮小画像生成手段が生成した複数の縮小画像を記憶する記憶手段と、
内視鏡が撮像した前記被検体内の体腔路のライブの内視鏡画像、前記記憶手段から読み出した前記３次元画像及び前記全分岐点での前記３次元画像の複数の縮小画像からなるナビゲーション画像を生成するナビゲーション画像生成部と、
前記ナビゲーション画像生成部が生成したナビゲーション画像をモニタに表示させる画像表示制御部と、
前記画像表示制御部によってモニタに表示されているライブの内視鏡画像と前記３次元画像とが一致したことを確認する一致確認手段と、
前記一致確認手段によって前記モニタに表示されているライブの内視鏡画像と前記３次元画像とが一致したことをが確認されたとき、該３次元画像を前記内視鏡画像に対応させて回転させる画像回転手段と、
前記画像回転手段によって前記３次元画像を回転させた回転量データを前記３次元画像と関連付けて記憶する回転量データ記憶手段と、
を備えている。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１１】
図１ないし図２１は本発明の一実施の形態に係わり、図１は内視鏡装置の構成を示す構成図、図２は図１の入力部の構成を示す構成図、図３は図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャート、図４は図３の処理で展開されるルート設定画面を示す第１の図、図５は図３の処理で展開されるルート設定画面を示す第２の図、図６は図３のルート設定処理の流れを示すフローチャート、図７は図６の処理で展開されるルート設定画面を示す第１の図、図８は図６の処理で展開されるルート設定画面を示す第２の図、図９は図６の処理で展開されるルート設定画面を示す第３の図、図１０は図１の気管支鏡ナビゲーション装置によるルート探索の変形例を説明する第１の図、図１１は図１の気管支鏡ナビゲーション装置によるルート探索の変形例を説明する第２の図、図１２は図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示すフローチャート、図１３は図１の気管支鏡ナビゲーション装置の作用を説明する第１の図、図１４は図１の気管支鏡ナビゲーション装置の作用を説明する第２の図、図１５は図１の気管支鏡ナビゲーション装置の作用を説明する第３の図、図１６は図１の気管支鏡ナビゲーション装置の作用を説明する第４の図、図１７は図１の気管支鏡ナビゲーション装置の作用を説明する第５の図、図１８は図１の気管支鏡ナビゲーション装置の作用を説明する第６の図、図１９は図１の気管支鏡ナビゲーション装置の作用を説明する第７の図、図２０は図１の気管支鏡ナビゲーション装置の作用を説明する第８の図、図２１は図１の気管支鏡ナビゲーション装置の作用を説明する第９の図である。
【００１２】
図１に示すように、本実施の形態の内視鏡装置１は、患者体内の気管支に挿入し気管支内を撮像し気管支末端の患部組織を生検する気管支鏡２と、気管支鏡２の手元側に設けられた複数のスイッチをフィルム状に形成したフレキシブルシートからなる入力部４と、ＣＴ画像データに基づき気管支内部の仮想の内視鏡像（以下、ＶＢＳ像と記す）を生成すると共に気管支鏡２からの撮像信号及び入力部４からの入力信号に基づき、気管支鏡２により得られる内視鏡画像（以下、ライブ画像と記す）とＶＢＳ画像を合成してモニタ５に表示し気管支鏡２の気管支へのナビゲーションを行う気管支鏡ナビゲーション装置６とを備えて構成される。
【００１３】
なお、前記入力部４は、気管支鏡２の手元側に設けられるとしたが、フットスイッチにより構成してもよい。
【００１４】
気管支鏡ナビゲーション装置６は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（ＭａｇｎｅｔｉｃＯｐｔｉｃａｌｄｉｓｋ）装置やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部１１と、ＣＴ画像データ取り込み部１１によって取り込まれた３次元画像データを格納するＣＴ画像データ格納部１２と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきＭＰＲ画像を生成するＭＰＲ画像生成部１３と、ＭＰＲ画像生成部が生成したＭＰＲ画像を有する後述するルート設定画面を生成し気管支鏡２の気管支へのナビゲーションルート（以下、単にルートと記す）を設定するルート設定部１４と、ＣＴ画像データ格納部１２に格納されている３次元画像データに基づきルート設定部１４によって設定されたルートの連続したＶＢＳ画像をフレーム単位で生成するＶＢＳ画像生成部１５と、ＶＢＳ画像生成部１５が生成したＶＢＳ画像を格納するＶＢＳ画像格納部１６と、気管支鏡２からの撮像信号及び入力部４からの入力信号を入力し、ライブ画像、ＶＢＳ画像及び複数のサムネイルＶＢＳ画像からなる後述するナビゲーション画面を生成する画像処理部１７と、ルート設定部１４が生成したルート設定画面及び画像処理部１７が生成したナビゲーション画面をモニタ５に表示させる画像表示制御部１８と、ルート設定部１４に対して設定情報を入力するキーボード及びポインティングデバイス（マウスあるいはモニタ５に設けられたタッチパネル）からなる設定情報入力部１９とから構成される。なお、設定情報入力部１９は画像処理部１７に対しても情報を入力することが可能となっている。
【００１５】
なお、ＣＴ画像データ格納部１２及びＶＢＳ画像格納部１６は、１つのハードディスクによって構成してもよく、また、ＭＰＲ画像生成部１３、ルート設定部１４、ＶＢＳ画像生成部１５及び画像処理部１７は１つの演算処理回路で構成することができる。また、ＣＴ画像データ取り込み部１１はＭＯあるいはＤＶＤ等の可搬型の記憶媒体を介してＣＴ画像データを取り込みとしたが、ＣＴ装置あるいはＣＴ画像データを保存している院内サーバが院内ＬＡＮに接続されている場合には、ＣＴ画像データ取り込み部１１を該院内ＬＡＮに接続可能なインターフェイス回路により構成し、院内ＬＡＮを介してＣＴ画像データを取り込むようにしてもよい。
【００１６】
入力部４は、図２に示すように、ナビゲーション画面に表示する気管支の分岐点毎のＶＢＳ画像の更新を指示する次ＶＢＳスイッチであるＳＷ１と、前段のＶＢＳ画像への移動を指示する前ＶＢＳスイッチであるＳＷ２と、ＶＢＳ画像を回転させライブ画像の向きに対応させる指示を行う画像回転スイッチであるＳＷ３と、ライブ画像の静止画像の取り込みを指示するフリーズスイッチであるＳＷ４とから構成される。
【００１７】
このように構成された本実施の形態の作用について説明する。
【００１８】
図３に示すように、気管支鏡２による観察・処置に先立ち、気管支鏡ナビゲーション装置６は、ステップＳ１でＣＴ画像データ取り込み部１１によりＣＴ装置で生成された患者の３次元画像データを取り込み、ステップＳ２で取り込んだ３次元画像データをＣＴ画像データ格納部１２に格納する。
【００１９】
ステップＳ３でルート設定部１４により、図４に示すようなルート設定画面２１をモニタ５に表示させ、ルート設定画面２１上の患者情報タグ画面２２で患者情報を選択する。この選択により、ステップＳ４で選択された患者の例えば３つの異なる多断面像からなるＭＰＲ画像が生成され、ステップＳ５でこのＭＰＲ画像２３がルート設定画面２１に表示される。
【００２０】
なお、患者情報タグ画面２２での患者情報の選択は、設定情報入力部１９により患者を識別する患者ＩＤを入力することで行われる。
【００２１】
次に、ステップＳ６でルート設定画面２１上のルート設定タグ２４（図４参照）を設定情報入力部１９により選択すると、図５に示すようなルート設定タグ画面２５がルート設定画面２１に表示され、後述するルート設定処理を行い、気管支での気管支鏡２の挿入ナビゲーションのルートを設定する。
【００２２】
挿入ナビゲーションのルートが設定されると、ステップＳ７でＶＢＳ画像生成部１５により設定した全ルートの連続したＶＢＳ画像をフレーム単位で生成し、ステップＳ８で生成したＶＢＳ画像をＶＢＳ画像格納部１６に格納する。
【００２３】
本実施の形態の気管支鏡ナビゲーション装置６では、例えば後述するように２つのナビゲーション方法で気管支での気管支鏡２の挿入をナビゲーションすることができるので、この方法をモード１及びモード２として、ステップＳ９で設定情報入力部１９によりモード（ナビゲーションモード）をルート設定部１４に設定する。このナビゲーションモードの情報はルート設定部１４を介して画像処理部１７にも送信され、モード情報がそれぞれに記憶される。
【００２４】
上記のステップＳ１〜Ｓ９の処理により、気管支鏡２による観察・処置時の気管支鏡ナビゲーション装置６によるナビゲーションの準備が完了する。
【００２５】
ここで、上記ステップＳ６のルート設定処理を図６を用いて説明する。
【００２６】
図６に示すように、ステップＳ６のルート設定処理では、設定情報入力部１９を操作することで、図５に示したルート設定タグ画面２５上のルート探索ボタンをクリックすると、ステップＳ１１で図７に示すようなルートの始点の入力を促す始点入力指示ウインドウ３１がルート設定画面２１上に表示され、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で始点を設定する。始点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に始点が設定されると共に、図８に示すようなルートの終点の入力を促す終点入力指示ウインドウ３２がルート設定画面２１上に表示さる。
【００２７】
そこで、ステップＳ１２で始点の設定と同様に、ルート設定画面２１上にカーソル３０を用いてＭＰＲ画像２３のうちの１つの断層像上で終点を設定する。終点を設定すると他のＭＰＲ画像２３の２つの断層像上にも対応する位置に終点が設定される。
【００２８】
始点と終点が設定されると、ステップＳ１３でルート設定部１４は始点から終点に至る気管支内のルートを探索する。気管支は複雑な経路を有しているので、始点から終点に至る気管支内のルートが一意的に決まるとは限らないので、ルート設定部１４はステップＳ１３で、始点から終点に至る気管支内のルートの第１候補を探索する。
【００２９】
そして、ルート設定部１４はルート設定画面２１上において、図９に示すように、ステップＳ１４で探索されたルートをＭＰＲ画像２３に重畳して表示すると共に、ルートの確定等の入力を促すルート確定ウインドウ３３を表示する。
【００３０】
ルート確定ウインドウ３３には、探索したルートの確定を指示するルート確定ボタン４１と、次候補のルートの探索を指示する次候補探索ボタン４２と、始点及び終点を再設定し直すルート再設定ボタン４３と、ルート探索処理をキャンセルするキャンセルボタン４４とを備えている。
【００３１】
ステップＳ１５で次候補探索ボタン４２がクリックされたかどうか判断し、クリックされたならばステップＳ１６で次候補のルートを自動探索してステップＳ１７に進み、クリックされない場合にはステップＳ１８に進む。ステップＳ１７では次候補を探索した結果、次候補が存在するかどうかを判断し、存在しない場合には図示はしないが次候補ルートが存在しない旨の警告を表示しステップＳ１３に戻り、存在する場合にはステップＳ１４に戻る。
【００３２】
ステップＳ１８では、ルート再設定ボタン４３がクリックされたかどうか判断し、クリックされたならばステップＳ１１に戻り、クリックされない場合にはステップＳ１９に進む。
【００３３】
ステップＳ１９では、ルート確定ボタン４１がクリックされたかどうか判断し、クリックされない場合にはステップＳ１５に戻り、クリックされたならばステップＳ２０に進み、ステップＳ２０でルート及びルート内の各分岐点の位置情報を決定して図６のステップＳ７に戻る。
【００３４】
なお、ＭＰＲ画像を使ったルート探索処理について述べたが、図１０に示すような気管支模式図９９や、図１１に示すような気管支のボリュームレンダリング（ＶｏｌｕｍｅＲｅｎｄｅｒｉｎｇＴｅｃｈｎｉｑｕｅ）画像１００を用いて、始点１０１及び終点１０２を指定してルート探索を行うようにしてもよい。
【００３５】
このようにしてルート設定がなされた気管支鏡ナビゲーション装置６による気管支鏡２による観察・処置時の挿入のナビゲーションについて説明する。なお、以下では、ルートの分岐点が１０カ所の場合を例に説明する。
【００３６】
図１２に示すように、気管支鏡ナビゲーション装置６によるナビゲーションを開始すると、ステップＳ２１でモニタ５に図１３に示すようなナビゲーション画面５１を表示する。
【００３７】
このナビゲーション画面５１は、気管支鏡２からのライブ画像を表示する内視鏡ライブ画像表示エリア５２と、ＶＢＳ画像を表示するＶＢＳ画像表示エリア５３と、ルートの全ての分岐点でのＶＢＳ画像を縮小して分岐サムネイルＶＢＳ画像として表示する分岐サムネイルＶＢＳ画像エリア５４とからなり、気管支鏡２の挿入前であるステップＳ２１では、内視鏡ライブ画像表示エリア５２にはライブ画像は表示されないが、ＶＢＳ画像表示エリア５３にはルートの最初の分岐点のＶＢＳ画像５３ａが表示され、分岐サムネイルＶＢＳ画像エリア５４には全ての分岐点での分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）が表示される。
【００３８】
なお、ＶＢＳ画像５３ａにはルート上の気管支にマーカ５５を重畳して表示している。また、ＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像５３ａと同じ分岐サムネイルＶＢＳ画像の枠が太枠あるいはカラー表示され、他の分岐サムネイルＶＢＳ画像と識別可能となっており、術者はＶＢＳ画像表示エリア５３に表示されるＶＢＳ画像がどの分岐の画像かを容易に認識できるようになっている。このステップＳ２１の段階では分岐サムネイルＶＢＳ画像５４（ａ）の枠が太枠あるいはカラー表示される。
【００３９】
また、分岐サムネイルＶＢＳ画像エリア５４の下には連続したフレーム単位のＶＢＳ画像全体におけるＶＢＳ画像５３ａの位置を示すためのＶＢＳ位置表示バー５６が設けられ、ＶＢＳ位置表示バー５６上のつまみ５６ａをマウス等を用いて移動させることで、ＶＢＳ画像５３ａを任意のフレームのＶＢＳ画像に移動させることが可能となっている。
【００４０】
また、ナビゲーション画面５１には、ＶＢＳ画像５３ａを前後の分岐点のＶＢＳ画像に移動させるための前ボタン５７，次ボタン５８と、ＶＢＳ画像５３ａを左または右に回転させる左回転ボタン５９，右回転ボタン６０と、開始分岐点番号設定部６１及び終了分岐点番号設定部６２によって指定した分岐点間のＶＢＳ画像を動画にて再生する動画再生ボタン６３と、動画再生時の再生速度を設定する再生速度設定部６４と、動画再生時のＶＢＳ画像の回転速度を設定する回転速度設定部６５とが設けられている。
【００４１】
さらに表示しているＶＢＳ画像５３ａの位置から終点のＶＢＳまでの距離を表示する距離表示部８１と、前ボタン５７または次ボタン５８をクリックしたときに枠で囲まれたサムネイルから動画にて再生するサムネイルの範囲を設定する再生範囲設定部８２と、前ボタン５７または次ボタン５８をクリックしたときに動画として表示する範囲のサムネイルを示す再生範囲表示バー８３とが設けられている。
【００４２】
なお、動画再生を行うと現在選択しているサムネイルから再生範囲設定部８２にて設定した数の分だけ進んだ、あるいは戻ったサムネイルの範囲が再生される。また、ＶＢＳ画像５３ａ上に、ルート設定時に指定した終点の方向を示す、例えば○形状の終点マーカ８４を重畳させることが可能であって、ＶＢＳ上で見えないときは点線で、見えるときは実線で終点マーカ８４を表示する。
【００４３】
また、図１４に示すように、気管支は各経路毎に名称が付されており、ＩＶ次、Ｖ次の気管支命名に関しては、すでに命名されているａあるいはｂの分岐に準じてｉ、
ｉｉおよびα、βと命名する。したがって、その気管支の分岐方向と分布領域からみて上方，後方または外側方のものをｉまたはαとし，下方や前方または内側のものをｉｉあるいはβとする。この命名法は，区域支、亜区域支でも基本的には同一である。
【００４４】

そこで、ＶＢＳ画像５３ａ上に気管支経路名称エリア６６に気管支経路名が重畳される。なお、気管支の末端では名称が規定されていない経路が存在するため、気管支経路の名称が未設定の領域を分岐サムネイルＶＢＳ画像の下に名称未設定表示バー６７により示しており、この領域では、後述するように術者が気管支経路の名称を任意に設定して定義することができる。
【００４５】
また、ＶＢＳ画像５３ａには体の向きを示すＲＡＳcoordinateを示す立方体６８が重畳表示される。なお、体の向きは人体を表したものでもよい。
【００４６】
そして、ステップＳ２２で気管支鏡２の気管支内への挿入を開始すると、図１５に示すように、ステップＳ２３でナビゲーション画面５１には内視鏡ライブ画像表示エリア５２に気管支鏡２からのライブ画像５２ａが表示される。なお、図１５においてもＶＢＳ画像表示エリア５３にはルートの最初の分岐点のＶＢＳ画像５３ａが表示され、分岐サムネイルＶＢＳ画像エリア５４には全ての分岐点での分岐サムネイルＶＢＳ画像５４（ａ）〜５４（ｊ）が表示され、分岐サムネイルＶＢＳ画像５４（ａ）の枠が太枠あるいはカラー表示される。
【００４７】
次に、気管支鏡２の先端が最初（第１）の分岐点に到達すると、術者はフリーズスイッチであるＳＷ４を押下するかどうか判断する。術者はＶＢＳ画像表示エリア５３のＶＢＳ画像５３ａとライブ画像５２ａを目視するだけでマーカ５５が示す気管支をライブ画像５２ａ上で見いだせる場合はそのまま挿入を続行するが、ライブ画像５２ａ上でマーカ５５が示す気管支を見つけるのが困難な場合にはフリーズスイッチであるＳＷ４を押下する。
【００４８】
そこで、ステップＳ２５でフリーズスイッチであるＳＷ４がＯＮされたかどうか判断し、ＯＮされたならばステップＳ２６でライブ画像５２ａの静止画像を取り込み、該静止画像と最初の分岐点のＶＢＳ画像５３ａとが公知の画像処理によって類似度が比較され、ＯＮされないならばステップＳ２７に進む。
【００４９】
なお、ステップＳ２６において、所定値以下の類似度の場合には設定したルート以外のルートに挿入された（あるいは異なる分岐点のＶＢＳ画像と比較している）と判断し警告を表示する（図示せず）。
【００５０】
ステップＳ２６にて、所定値を超える類似度でライブ画像５２ａの静止画像とＶＢＳ画像５３ａとが類似していると判断すると、両画像が同一の分岐点での画像であるとし、術者が画像回転スイッチであるＳＷ３を操作することで、ライブ画像５２ａの静止画像に対応させてＶＢＳ画像５３ａを回転させた後、ステップＳ２７で分岐点のＶＢＳ画像に関連付けて回転量データをＶＢＳ画像格納部１６に格納し、ステップＳ２８に進む。
【００５１】
なお、ナビゲーション画面５１上の左回転ボタン５９，右回転ボタン６０を用いてＶＢＳ画像５３ａを回転させることも可能である。
【００５２】
このようにしてライブ画像５２ａの静止画像に対応させてＶＢＳ画像５３ａを回転させると、術者はマーカ５５が示す気管支をライブ画像５２ａ上で容易に見いだせるので、マーカ５５の指示に従って挿入を続行する。
【００５３】
ステップＳ２８では、次ＶＢＳスイッチであるＳＷ１あるいは次ボタン５８が術者によって操作されたかどうか判断し、操作されない場合にはステップＳ２５に戻り、ＳＷ１あるいは次ボタン５８が術者によって操作された場合には、ステップＳ２９でＶＢＳ画像表示エリア５３に次（第２）の分岐サムネイルＶＢＳ画像（ｂ）までのフレームのＶＢＳ画像５３ａを動画にて表示する。このとき第２の分岐サムネイルＶＢＳ画像５４（ｂ）の枠が太枠あるいはカラー表示され、分岐サムネイルＶＢＳ画像５４（ａ）の枠は他の分岐サムネイルＶＢＳ画像の枠表示になる。
【００５４】
そして、ステップＳ３０で病変部に達したか（すなわち、ナビゲーションの終点に達したか）どうかを判断し、病変部に到達した場合は処理を終了し、病変部に到達していない場合にはステップＳ２５に戻り、病変部に到達するまで、ステップＳ２５〜Ｓ３０の処理を繰り返す。
【００５５】
上記ステップＳ２５〜Ｓ３０の処理の具体例をナビゲーション画面５１を用いて説明する。図１６に示すように、例えば第８の分岐点に到達した場合のナビゲーションにおいては、ＶＢＳ画像表示エリア５３には第８の分岐サムネイルＶＢＳ画像５４（ｈ）のＶＢＳ画像５３ａが表示され、内視鏡ライブ画像表示エリア５２には第８の分岐点近傍のライブ画像５２ａが表示される。このとき分岐サムネイルＶＢＳ画像５４（ｈ）の枠のみが太枠あるいはカラー表示され、術者に第８の分岐点におけるナビゲーションであることを認識させる。
【００５６】
この状態で術者がフリーズスイッチであるＳＷ４を押下（ステップＳ２５）すると、ライブ画像の静止画像が取り込まれ、例えば術者がナビゲーション画面５１上の左回転ボタン５９，右回転ボタン６０をマウス等にてクリックする（あるいは画像回転スイッチであるＳＷ２を押下する）と、図１７に示すように、ライブ画像５２ａの静止画像に対応させてＶＢＳ画像５３ａを回転させ（ステップＳ２６）、分岐点のＶＢＳ画像に関連付けて回転量データをＶＢＳ画像格納部１６に格納する（ステップＳ２７）。
【００５７】
次に術者が挿入先の気管支を認識し、ＶＢＳスイッチであるＳＷ１あるいは次ボタン５８を術者によって操作（ステップＳ２８）すると、図１８に示すように、ＶＢＳ画像表示エリア５３には第９の分岐サムネイルＶＢＳ画像５４（ｉ）のＶＢＳ画像５３ａが表示され、分岐サムネイルＶＢＳ画像５４（ｉ）の枠のみが太枠あるいはカラー表示され、術者に次のナビゲーションの位置が第９の分岐点であることを認識させ（ステップＳ２８）、病変部（すなわち、ナビゲーションの終点）に到達するまで（ステップＳ２９）同様なナビゲーションは行われる。
【００５８】
なお、第９の分岐サムネイルＶＢＳ画像５４（ｉ）において、気管支命名がなされていない経路があると、気管支経路名称エリア６６には「未設定」という表示がなされる。そこで、気管支経路名称エリア６６をクリックすることで、分岐点名称入力ウインドウ１５０をナビゲーション画面５１に表示させることで、術者は任意に所望の名称を入力することで気管支命名がなされていない経路の名称を定義することができるようになっている。
【００５９】
図１８で、ナビゲーション中に例えば分岐サムネイルＶＢＳ画像５４（ａ）をクリックすると、図１９に示すようにＶＢＳ画像表示エリア５３に分岐サムネイルＶＢＳ画像５４（ａ）のＶＢＳ画像５３ａが表示される。このとき当然ライブ画像はナビゲーション中の画像であって変化しない。
【００６０】
この図１９のナビゲーション画面５１において動画再生ボタン６３をクリックすると、ＶＢＳ画像表示エリア５３にＶＢＳ画像が動画にて再生される。再生領域は、開始分岐点番号設定部６１及び終了分岐点番号設定部６２によって指定された領域となる。なお、開始分岐点番号設定部６１及び終了分岐点番号設定部６２では、マニュアルにて入力しない場合には、ＶＢＳ画像表示エリア５３に表示されている分岐サムネイルＶＢＳ画像から最終分岐サムネイルＶＢＳ画像が再生される。開始分岐点番号設定部６１及び終了分岐点番号設定部６２でマニュアルにて入力すれば、指定した分岐サムネイルＶＢＳ画像間のＶＢＳ画像が動画にてＶＢＳ画像表示エリア５３に再生される。
【００６１】
図１９においては、開始分岐点番号設定部６１は分岐サムネイルＶＢＳ画像５４（ａ）を指定し、終了分岐点番号設定部６２は分岐サムネイルＶＢＳ画像５４（ｊ）を指定しているので、動画再生ボタン６３をクリックすると、図２０に示すように、分岐サムネイルＶＢＳ画像５４（ａ）から分岐サムネイルＶＢＳ画像５４（ｊ）までが動画にてＶＢＳ画像表示エリア５３に表示される。
【００６２】
このときの動画再生においては画像回転がなされる。詳細には、例えば分岐サムネイルＶＢＳ画像５４（ａ）〜分岐サムネイルＶＢＳ画像５４（ｇ）までは回転操作（右回転ボタン６０あるいは画像回転スイッチであるＳＷ２の操作）がなく、分岐サムネイルＶＢＳ画像５４（ｈ）で第１の回転操作がなされ、分岐サムネイルＶＢＳ画像５４（ｉ）で第２の回転操作がなされたとすると、分岐点のＶＢＳ画像に関連付けて回転量データがＶＢＳ画像格納部１６に格納されているので、動画再生時においては、分岐サムネイルＶＢＳ画像５４（ａ）〜分岐サムネイルＶＢＳ画像５４（ｈ）では回転無しの動画像再生となる。
【００６３】
分岐サムネイルＶＢＳ画像５４（ｈ）に到達すると第１の回転操作の回転量データに基づきＶＢＳ画像が回転され、分岐サムネイルＶＢＳ画像５４（ｈ）〜分岐サムネイルＶＢＳ画像５４（ｉ）では第１の回転操作によって指定された回転量の動画像再生となり、さらに、分岐サムネイルＶＢＳ画像５４（ｉ）に到達すると第２の回転操作の回転量データに基づきＶＢＳ画像が回転され、分岐サムネイルＶＢＳ画像５４（ｉ）〜分岐サムネイルＶＢＳ画像５４（ｊ）では第２の回転操作によって指定された回転量の動画像再生となる。
【００６４】
また、本実施の形態の画像処理部１７は、図示はしないが、ＭＯ等の可搬な情報記録媒体を介してＶＢＳ画像格納部１６に格納されているＶＢＳ画像データをパーソナルコンピュータ（以下、ＰＣ）等に送ることが可能となっている。
【００６５】
例えばＰＣにＶＢＳ画像データを用いた気管支挿入シュミレーションソフトウエアがインストールされているとすると、情報記録媒体を介してＶＢＳ画像データをＰＣに読み込ませることで、ＰＣ上で気管支挿入シュミレーションを行うことができる。
【００６６】
具体的には、気管支挿入シュミレーションソフトウエアを起動し、情報記録媒体を介してＶＢＳ画像データを読み込ませると、ＰＣはモニタに図２１に示すような気管支挿入シュミレーション画面２００が表示される。この気管支挿入シュミレーション画面２００は内視鏡ライブ画像表示エリア５２が無いだけでナビゲーション画面５１とほとんど同じ構成をしている。
【００６７】
この気管支挿入シュミレーションでは、術者は手技に先立ち、気管支挿入をＶＢＳ画像５３ａの動画を用いて行う。各分岐点でＶＢＳ画像５３ａの経路に任意に名称を付すことができ、また、各分岐点でＶＢＳ画像５３ａを所望の量だけ回転させることができる。このようにして各分岐点で回転させ、該回転量データをＶＢＳ画像５３ａと関連付けることで、図２０で説明したように回転を含む動画像再生が可能となる。
【００６８】
ここで、回転量データをＶＢＳ画像５３ａと関連付けて情報記録媒体に格納し、情報記録媒体を介して再度回転量データを有するＶＢＳ画像５３ａをＶＢＳ画像格納部１６に格納することができ、このＶＢＳ画像５３ａを用いて上述した管支挿入ナビゲーションを行うことができる。
【００６９】
なお、この気管支挿入シュミレーションは、気管支挿入教育用に用いることができる。例えば気管支挿入に習熟していない医師等が、気管支挿入シュミレーションを用いて気管支挿入を擬似的に行う。
【００７０】
このとき、各分岐点でＶＢＳ画像５３ａの経路の名称を入力することで、シュミレーション終了後に指導医師により各分岐点でＶＢＳ画像５３ａの経路の名称が正しいかどうか判定してもらうことで、気管支挿入位置の理解を深めることが可能となる。
【００７１】
また、各分岐点でＶＢＳ画像５３ａを回転させ、その回転状態を指導医師により判定してもらうことで、気管支挿入の手技の向上を図ることが可能となる。
【００７２】
なお、図２１の表示は内視鏡検査時において、内視鏡画像を表示するモニタが専用にある場合には、該内視鏡画像の表示用モニタとは別体に設けたＶＢＳ用モニタに図２１の表示画像を表示させることで、内視鏡画像の表示用モニタでライブの画像を観察しながらＶＢＳ用モニタに図２１に示した表示画像をさせ、気管支挿入ナビゲーションを行うことができるはいうまでもない。
【００７３】
［付記］
（付記項１）被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を生成する３次元画像生成手段を備え、前記被検体内の体腔路への挿入経路をシミュレーションする挿入シミュレーション装置において、
前記被検体内の体腔路が分岐する全分岐点での前記３次元画像の複数の縮小画像を生成する縮小画像生成手段と、
前記縮小画像生成手段が生成した前記縮小画像の前記３次元画像を回転させる画像回転手段と、
前記画像回転手段が前記３次元画像を回転させた回転量データを前記３次元画像と関連付けて記憶する回転量データ記憶手段と
を具備したことを特徴とする挿入シミュレーション装置。
【００７４】
（付記項２）被検体の３次元領域の画像データに基づき前記被検体内の体腔路の３次元画像を生成する３次元画像生成手段と、
前記被検体内の体腔路を撮像する内視鏡と、
前記内視鏡により撮像された前記被検体内の体腔路の内視鏡画像と前記３次元画像とからなるナビゲーション画像を生成するナビゲーション画像生成手段と
を備え、
前記被検体内の体腔路への前記内視鏡の挿入経路を案内しながら、前記被検体内を観察・処置する内視鏡装置において、
前記被検体内の体腔路が分岐する分岐点での挿入経路の名称を前記３次元画像と関連付ける経路名称関連付け手段
を具備したことを特徴とする内視鏡装置。
【００７５】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【００７６】
以上説明したように本発明によれば、実際の体腔路の分岐位置に対応した案内画像で内視鏡を体腔路の目的部位に確実にナビゲーションすることができ、しかも被検体内の体腔路のライブの内視鏡画像に対応させて案内用の３次元画像を回転させることによって、内視鏡を挿入していく分岐体腔路をライブの内視鏡画像上で容易に見出すことができるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る内視鏡装置の構成を示す構成図
【図２】図１の入力部の構成を示す構成図
【図３】図１の気管支鏡ナビゲーション装置によるナビゲーションデータの生成処理の流れを示すフローチャート
【図４】図３の処理で展開されるルート設定画面を示す第１の図
【図５】図３の処理で展開されるルート設定画面を示す第２の図
【図６】図３のルート設定処理の流れを示すフローチャート
【図７】図６の処理で展開されるルート設定画面を示す第１の図
【図８】図６の処理で展開されるルート設定画面を示す第２の図
【図９】図６の処理で展開されるルート設定画面を示す第３の図
【図１０】図１の気管支鏡ナビゲーション装置によるルート探索の変形例を説明する第１の図
【図１１】図１の気管支鏡ナビゲーション装置によるルート探索の変形例を説明する第２の図
【図１２】図１の気管支鏡ナビゲーション装置によるナビゲーション処理の流れを示すフローチャート
【図１３】図１の気管支鏡ナビゲーション装置の作用を説明する第１の図
【図１４】図１の気管支鏡ナビゲーション装置の作用を説明する第２の図
【図１５】図１の気管支鏡ナビゲーション装置の作用を説明する第３の図
【図１６】図１の気管支鏡ナビゲーション装置の作用を説明する第４の図
【図１７】図１の気管支鏡ナビゲーション装置の作用を説明する第５の図
【図１８】図１の気管支鏡ナビゲーション装置の作用を説明する第６の図
【図１９】図１の気管支鏡ナビゲーション装置の作用を説明する第７の図
【図２０】図１の気管支鏡ナビゲーション装置の作用を説明する第８の図
【図２１】図１の気管支鏡ナビゲーション装置の作用を説明する第９の図
【図２２】気管支の構造を示す図
【符号の説明】
１…内視鏡装置
２…気管支鏡
４…入力部
５…モニタ
６…気管支鏡ナビゲーション装置
１１…ＣＴ画像データ取り込み部
１２…ＣＴ画像データ格納部
１３…ＭＰＲ画像生成部
１４…ルート設定部
１５…ＶＢＳ画像生成部
１６…ＶＢＳ画像格納部
１７…画像処理部
１８…画像表示制御部
１９…設定情報入力部

Claims

被検体の３次元領域の画像データに基づき前記被検体内の体腔路が分岐する全分岐点での前記３次元画像の複数の画像を生成する３次元画像生成手段と、
前記被検体内の体腔路が分岐する全分岐点での前記３次元画像の複数の縮小画像を生成する縮小画像生成手段と、
前記３次元画像生成手段が生成した複数の３次元画像、及び前記縮小画像生成手段が生成した複数の縮小画像を記憶する記憶手段と、
内視鏡が撮像した前記被検体内の体腔路のライブの内視鏡画像、前記記憶手段から読み出した前記３次元画像及び前記全分岐点での前記３次元画像の複数の縮小画像からなるナビゲーション画像を生成するナビゲーション画像生成部と、
前記ナビゲーション画像生成部が生成したナビゲーション画像をモニタに表示させる画像表示制御部と、
前記画像表示制御部によってモニタに表示されているライブの内視鏡画像と前記３次元画像とが一致したことを確認する一致確認手段と、
前記一致確認手段によって前記モニタに表示されているライブの内視鏡画像と前記３次元画像とが一致したことが確認されたとき、該３次元画像を前記内視鏡画像に対応させて回転させる画像回転手段と、
前記画像回転手段によって前記３次元画像を回転させた回転量データを前記３次元画像と関連付けて記憶する回転量データ記憶手段と、
を備えたことを特徴とする内視鏡装置。
前記画像表示制御部によってモニタに表示される前記３次元画像に対応した前記縮小画像に識別表示を施す手段を設けたことを特徴とする請求項１に記載の内視鏡装置。
前記画像表示制御部によってモニタに表示されている前記３次元画像を、前後の分岐点での３次元画像に移動させる前後移動手段を設けたことを特徴とする請求項１に記載の内視鏡装置。