JP5748520B2 - 内視鏡挿入支援装置およびその作動方法、並びに内視鏡挿入支援プログラム - Google Patents

Description

本発明は、３次元医用画像を用いて気管支のような体内の管路への内視鏡の挿入を支援する装置およびその動作方法、並びにプログラムに関するものである。

近年、医療現場では画像による診断が広く行われるようになり、Ｘ線ＣＴ（Computed Tomography）装置などで撮影された被検体の３次元画像データを用いて患部の診断が行われるようになってきた。ＣＴ装置は、被検体を中心に対抗するように設けられたＸ線照射部と検出部を、連続的に回転させつつ被検体を体軸方向に移動させることにより、被検体を中心にした螺旋状の連続スキャンを行い、連続するスライスの断層像から３次元のボリュームデータを作成し、このボリュームデータに画像処理を施して診断に利用される。

例えば、胸部を撮影したボリュームデータにボリュームレンダリング処理を施すことにより肺の気管支の３次元画像を生成することができる。この気管支の３次元画像は、肺癌等が疑われる異常部の位置を３次元的に把握するのに利用され、その異常部の位置まで気管支内視鏡を挿入し、生検鉗子等で組織のサンプルを採取して生検が行われる。しかし、気管支のような多段階に分岐する管路内を通って、気管支の末端に近い異常部まで内視鏡の先端を短時間で到達させるのは困難である。

そこで、ボリュームデータに基づいて気管支の３次元画像を作成し、３次元画像上で管路に沿って気管支の入り口から目的部位まで到着する経路を求め、経路に沿った管路内の気管支の分岐部の仮想内視鏡画像を作成し、気管支内視鏡で撮像したライブの内視鏡の撮影画像を表示するとともに仮想内視鏡画像を表示することで、気管支内視鏡を目的部位までナビゲーションする装置が提案されたものがある（例えば、特許文献１）。

上述の通り気管支は多段階に分岐しているため経路上には複数の分岐部があるが、分岐部の画像はいずれも類似しているため、単に経路上の分岐部の仮想内視鏡画像を表示しても、どの位置の分岐部の画像であるかの区別がつかない。上記特許文献１では、ボリュームデータを用いて気管支の分岐部の仮想内視鏡画像を表示して挿入先を案内しているが、内視鏡によるライブの分岐部の画像がどの仮想内視鏡画像に対応するものかがわからず、術者が分岐部の現在位置を誤認する可能性がある。このような誤認は気管支内視鏡の目的部位へのナビゲーションに重大な支障を及ぼすといった問題がある。

そこで、入り口と目的部位を結ぶ複数の経路を作成し、経路毎に存在する分岐点の仮想内視鏡画像の縮小画像（サムネイル）を作成し、内視鏡で撮影したライブ画像と縮小画像とを一緒に表示して、現在どの経路のどの分岐点に内視鏡が位置しているかを明確に示すことができるような装置が提案されている（例えば、特許文献２）。

特開２０００-１３５２１５号公報 特開２００９-０５６１４３号公報

しかしながら、特許文献２では、各経路毎にその経路上の分岐部の縮小画像が全て表示されるため、術者が表示画面で確認をするときに現在の位置から内視鏡を進めていったときに経路上にあらわれる分岐部の縮小画像がどれであるかを多数の縮小画像の中から見つけるのに時間がかかる。

また、特許文献２では、入り口と目的部位を結ぶ複数の経路を、木構造の模式図を用いて表示しているが、単に経路に分けて縮小画像が並べられているだけであり、経路上の位置と分岐部の縮小画像との対応を把握することが困難である。

本発明は上記事情に鑑みてなされたものであり、内視鏡の経路上の位置と、内視鏡を進めていったときに現れる分岐部の仮想内視鏡画像の対応を即座に認識することが可能な内視鏡挿入支援装置およびその動作方法、並びに内視鏡挿入支援プログラムを提供することを目的とするものである。

本発明の内視鏡挿入支援装置は、木構造の管状構造物を撮影して得られたボリュームデータより、前記管状構造物を抽出する管状構造物抽出手段と、
前記管状構造物が接続する目的部位の位置を示す入力を受け付ける目的部位入力受付手段と、
前記管状構造物の入り口から内視鏡が管内を通過して前記目的部位と前記管状構造物が接続する複数の接続部それぞれに到達する複数の経路を抽出する経路抽出手段と、
前記抽出された経路上における前記管状構造物内を該管状構造物の管の内側から前記内視鏡を用いて撮影したと仮定した時の仮想内視鏡画像を前記ボリュームデータを用いて生成する仮想内視鏡画像生成手段と、
前記入り口から前記目的部位に到達するまでの間において、前記複数の経路のうちの各経路が他の経路から分かれる１以上の経路分岐点により区切られる複数の区間のうち前記内視鏡が現在位置している第１の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示するとともに、前記分岐部の仮想内視鏡画像が前記複数の経路上のいずれの区間の画像であるかを認識可能に表示する経路表示手段と、
前記内視鏡が現在位置している第１の区間に続く前記目的部位側の複数の区間のうちの１つの区間を第２の区間として選択する選択入力を受け付ける選択入力受付手段とを備え、
前記経路表示手段が、前記選択入力受付手段による受け付けに応じて、内視鏡の現在位置が前記第１の区間から前記第１の区間に続く前記第２の区間に進むと、該第２の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示することを特徴とするものである。

本発明の上記の内視鏡挿入支援装置の作動方法は、前記管状構造物抽出手段が、木構造の管状構造物を撮影して得られたボリュームデータより、前記管状構造物を抽出する管状構造物抽出ステップと、
前記目的部位入力受付手段が、前記管状構造物が接続する目的部位の位置を示す入力を受け付ける目的部位入力受付ステップと、
前記経路抽出手段が、前記管状構造物の入り口から内視鏡が管内を通過して前記目的部位と前記管状構造物が接続する複数の接続部それぞれに到達する複数の経路を抽出する経路抽出ステップと、
前記仮想内視鏡画像生成手段が、前記抽出された経路上における前記管状構造物内を該管状構造物の管の内側から前記内視鏡を用いて撮影したと仮定した時の仮想内視鏡画像を前記ボリュームデータを用いて生成する仮想内視鏡画像生成ステップと、
前記経路表示手段が、前記入り口から前記目的部位に到達するまでの間において、前記複数の経路のうちの各経路が他の経路から分かれる１以上の経路分岐点により区切られる複数の区間のうち前記内視鏡が現在位置している第１の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示するとともに、前記分岐部の仮想内視鏡画像が前記複数の経路上のいずれの区間の画像であるかを認識可能に表示する経路表示ステップと、
前記選択入力受付手段が、前記内視鏡が現在位置している第１の区間に続く前記目的部位側の複数の区間のうちの１つの区間を第２の区間として選択する選択入力を受け付ける選択入力受付ステップとを備えた内視鏡挿入支援装置の作動方法であって、
前記経路表示ステップが、前記選択入力受付ステップによる受け付けに応じて、内視鏡の現在位置が前記第１の区間から前記第１の区間に続く前記第２の区間に進むと、該第２の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示することを特徴とするものである。

本発明の内視鏡挿入支援プログラムは、コンピュータを上記の内視鏡挿入支援装置として機能させるためのものである。

「内視鏡が現在位置している区間内に存在する前記管状構造物の分岐部」とは、内視鏡が位置している区間内に存在する管状構造物の分岐部であって、区間の開始位置を越えたところに存在する管状構造物の分岐部をいい、区間の終点位置の管状構造物の分岐部を含むものである。
また、「前記分岐部の仮想内視鏡画像が前記複数の経路上のいずれの区間の画像であるかを認識可能に表示する」とは、仮想内視鏡画像がいずれの区間の分岐部の画像であるかを認識することができるように画面上に表示することをいう。具体的には、例えば、経路を区間ごとに異なる色で色分けした経路図を表示して、それぞれの区間に存在する分岐部の仮想内視鏡画像を該当区間の色で縁取ることにより分岐部の仮想内視鏡画像と区間との対応が認識できるようにする。経路上の区間と分岐部の仮想内視鏡画像の対応が認識できれば、どのようなものでもよく、仮想内視鏡画像上にマウスなどで指示すると、区間の位置を表示するものであってもよい。

また、前記経路表示手段は、前記内視鏡が現在位置している区間内の先方に存在する前記分岐部の仮想内視鏡画像を、前記内視鏡が進む順に並べて表示するものであってもよい。

また、前記ボリュームデータより生成した前記管状構造物の模式図上に前記経路を描画した経路図を表示する経路図表示手段をさらに備えるようにして、前記経路表示手段が、前記経路図と前記分岐部の仮想内視鏡画像を同一画面上に表示して、前記経路図上の区間と前記内視鏡が現在位置している区間との対応を認識可能にするために前記内視鏡が現在位置している区間に該当する前記経路図上の経路部分を他の経路部分とは異なる表示にするものが好ましい。

また、前記選択入力受付手段による受け付けに応じて、前記経路表示手段が、前記第１の区間内に存在する前記分岐部の仮想内視鏡画像を、前記第２の区間内に存在する前記分岐部の仮想内視鏡画像に切り替えて表示するようにしてもよい。

また、前記経路表示手段が、前記内視鏡が通過した前記経路上の区間に存在する前記分岐部の仮想内視鏡画像に、前記第２の区間に存在する前記分岐部の仮想内視鏡画像を加えて表示するとともに、該第２の区間に存在する前記分岐部の仮想内視鏡画像と、前記内視鏡が通過した前記経路上の区間に存在する前記分岐部の仮想内視鏡画像とを異なる表示にするものであってもよい。

また、前記分岐部の仮想内視鏡画像が縮小画像であってもよい。

さらに、被検者の前記管状構造物内を通過した内視鏡の現在位置を入力する現在位置入力手段と、前記内視鏡の現在位置において前記被検者の前記管状構造物内を撮影した内視鏡撮影画像を入力する内視鏡画像入力手段とをさらに備えるようにして、前記経路表示手段が、前記入力された内視鏡の現在位置に基づいて、該内視鏡が現在位置している区間内に存在する前記分岐部の仮想内視鏡画像とともに、前記入力された内視鏡撮影画像を同一画面上に表示するものであってもよい。

さらにまた、前記管状構造物が気管支であってもよい。

内視鏡が木構造の管状構造物の入り口から管内を通過して目的部位に到達するまでの間の経路を分岐点により区切られる複数の区間に分けて、仮想の内視鏡が現在位置している区間内の先方に存在する管状構造物の分岐部の仮想内視鏡画像と、内視鏡が現在位置で撮影した仮想内視鏡画像とを同一画面上に表示して、分岐部の仮想内視鏡画像が経路上のいずれの区間の画像であるかを認識することができるように表示することによって、内視鏡が現在位置している区間が確認できるとともに、内視鏡を進めていくと現れる管状構造物の分岐部の状態を前もって確認しながら、内視鏡を挿入していく様子をシミュレーションすることが可能になる。

また、各区間の分岐部の仮想内視鏡画像を内視鏡が進む順に並べて表示するようにすれば、各区間の何処まで内視鏡が進んでいるかを把握することが容易になる。

また、管状構造物の模式図上に経路を描画した経路図を表示するようにして、経路図の区間と分岐部の仮想内視鏡画像との対応が認識できるように表示することにより、分岐部の仮想内視鏡画像が管状構造物の全体の中の何処に存在する分岐部の画像であるかを把握することが容易になる。

また、内視鏡が現在位置している区間から進む次の区間の選択入力を受け付けて、現在の区間の分岐部の仮想内視鏡画像を選択入力された区間の分岐部の仮想内視鏡画像に切り替えて表示することによって、管状構造物の分岐部の状態を確認して内視鏡の挿入に適した区間を選択しながら内視鏡を挿入したときの画像を確認することができる。

さらに、被検者の管状構造物内に内視鏡を実際に挿入したときの内視鏡の現在位置と、内視鏡で撮影したライブの内視鏡撮影画像を入力して、管状構造物の分岐部の仮想内視鏡画像と一緒に表示するようにすれば、次に現れる管状構造物の分岐部の画像を先に確認しながら、内視鏡を進めていくことが可能になり目的部位まで短時間で到達させることが可能になる。

本発明の実施の形態となる内視鏡挿入支援装置含む医療システムの概略構成図 内視鏡の概略構成図 本発明の実施の形態における内視鏡挿入支援装置の構成を示すブロック図 本発明の実施の形態における内視鏡挿入支援装置を用いて内視鏡の挿入をシミュレーションする場合の処理の流れを示したフローチャート 管状構造物の木構造の一例を示す図 管状構造物の模式図の一例を示す図 管状構造物と目的部位に到達する経路の一例を示す図 管状構造物の経路図の一例を示す図 経路上の区間と各区間に存在する気管支分岐部の対応を示す図 仮想内視鏡画像を表示した画面の一例を示す図 画面の下部の管状構造物の分岐部の仮想内視鏡画像の遷移を説明するための図（その１） 画面の下部の管状構造物の分岐部の仮想内視鏡画像の遷移を説明するための図（その２） 本発明の実施の形態における内視鏡挿入支援装置を用いて内視鏡の挿入をナビゲーションする場合の処理の流れを示したフローチャート 内視鏡を挿入する様子を示す図 内視鏡の現在位置を検出する構成の一例を示す図

以下、図面を参照して本発明の内視鏡挿入支援装置の実施の形態を詳細に説明する。図１は本発明の内視鏡挿入支援装置を含む医療システムの概略構成図である。医療システムは、モダリティ１、画像保管サーバ２、画像処理ワークステーション３、ネットワーク４、内視鏡５で構成される。

モダリティ１には、患者の診断対象となる部位を撮影することにより、その被写体を表す３次元の医用画像データを生成し、その画像データにＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、ＣＴ装置、ＭＲＩ装置などが挙げられる。

画像保管サーバ２は、モダリティ１で取得された医用画像データや、画像処理ワークステーション３で画像処理が施された画像データを画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェアを備えている。モダリティ１で撮影された３次元の医用画像データはボリュームデータＶとして記憶される。

画像処理ワークステーション３は、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置（マウス、キーボード等）、表示装置（ディスプレイモニタ）、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステム等がインストールされたものである。画像処理ワークステーション３にはＧＵＩ（Graphical User Interface）が実装されており、ユーザーは、ＧＵＩを利用してモダリティ１や画像保管サーバ２から所望の医用画像データを取得したり、各種の指示を入力することができる。さらに、画像処理ワークステーション３は、取得した医用画像データに対して種々の画像処理を施し、生成した画像を表示装置上に表示する機能を備えている。

また、画像処理ワークステーション３は、内視鏡挿入支援装置プログラムをインストールすることにより内視鏡挿入支援処理が実装され、本発明の内視鏡挿入支援装置として機能する。この内視鏡挿入支援プログラムは、ＣＤ−ＲＯＭ等の記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。

ネットワーク４は、モダリティ１、画像保管サーバ２、画像処理ワークステーション３の各機器を接続する。ネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ等のプロトコルに基づいて行なわれる。

図２に内視鏡の構造を示す。内視鏡５は、体内に挿入するファイバースコープ５１、ファイバースコープの手元側に設けられた操作部５２、撮影した内視鏡画像を信号に変換して出力する画像出力部５３を備えている。ファイバースコープ５１の先端には、対物レンズ５４、鉗子口５５、ライトガイド５６が設けられる。操作部５２の操作により、ファイバースコープ５１の先端部の対物レンズ５４を注目する方向に向けて体内撮影を行なう。また、鉗子口５５を通過した生検鉗子を用いて患部組織のサンプルの採取が可能なように構成される。特に、内視鏡５が気管支内視鏡である場合には、ファイバースコープ５１は、気管支の末端近くの細い気管支へ挿入可能な湾曲性の高いものが好ましい。
内視鏡５の画像出力部５３は、画像処理ワークステーション３に接続され、画像処理ワークステーション３の入出力インターフェースを経由して内視鏡５で撮影された画像が入力される。

図３は、画像処理ワークステーション３の機能のうち、本発明の実施形態となる内視鏡挿入支援装置３０に関連する部分のブロック図である。図に示すように、本発明の実施形態となる内視鏡挿入支援装置３０は、管状構造物抽出手段３１、模式図生成手段３２、目的部位入力受付手段３３、経路抽出手段３４、仮想内視鏡画像生成手段３５、経路表示手段３６、ボリュームデータ記憶手段３７、現在位置入力手段３８、内視鏡画像入力手段３９、選択入力受付手段４０、経路図表示手段４１で構成される。

次に、本発明の実施形態となる内視鏡挿入支援処理を用いた気管支への内視鏡挿入のシミュレーションについて説明する。はじめに、患者の肺の気管支の管内への内視鏡の挿入を仮定して、ＣＴ装置で撮影されたボリュームデータを用いて気管支の入り口から病変部まで気管支の管内を仮想の内視鏡が通過する様子をシミュレーションする場合について説明する。図４は、内視鏡の挿入をシミュレーションする場合の術者の操作や、演算処理、表示処理等の流れを示したフローチャートである。

まず、ＣＴ装置（モダリティ１）で検査対象の患者（被検者）の胸部を撮影したボリュームデータＶが画像保管サーバ２に保管される。内視鏡の気管支への挿入をシミュレーションするために、術者は、画像処理ワークステーション３に実装された公知のオーダリングシステムの操作端末インターフェースを操作し、検査対象の患者のボリュームデータＶの取得を要求する。この操作に応じて、画像処理ワークステーション３は画像保管サーバ２に対してボリュームデータＶの検索要求を送信し、画像保管サーバ２は、データベース検索により、患者のボリュームデータＶを取得し、画像処理ワークステーション３に送信する。画像処理ワークステーション３は、画像保管サーバ２から送信されてきたボリュームデータＶをボリュームデータ記憶手段３７に記憶する（#1）。

次に、画像処理ワークステーション３で内視鏡挿入支援処理ソフトウェアを起動して、気管支の入り口から目的部位までの内視鏡の挿入をシミュレーションする。

まず、最初に、画像処理ワークステーション３の管状構造物抽出手段３１を用いてボリュームデータＶから患者の気管支の構造を抽出する(#2)。
ボリュームデータＶ中の気管支は、気管支の内部の画素は空気領域に相当するためＣＴ画像上では低いＣＴ値（画素値）を示す領域として表れるが、気管支壁は比較的高いＣＴ値を示す円柱あるいは線状の構造物であると考えられる。そこで、各画素ごとにＣＴ値の分布に基づく形状の構造解析を行なって気管支を抽出する。以下、気管支を線状構造物として抽出する場合について説明する。

気管支は多段階に分岐し末端に近づくほど気管支の径は小さくなっていく。異なるサイズの気管支（線状構造物）を検出することができるように、予め、三次元画像を多重解像度変換したガウシアンピラミッド画像（つまり、異なる解像度の複数の三次元画像）を生成し、生成したガウシアンピラミッドの各画像ごとに検出アルゴリズムを走査することで異なるサイズの線状構造物を検出する。

まず、各解像度の三次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から線状構造物内の画素であるかを判定する。ヘッセ行列は、各軸（三次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、数１のように３×３行列となる。
任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は線状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが線状構造物の主軸方向に一致する。

気管支は木構造で表すことができるが、このようにして抽出された線状構造物は、腫瘍などの影響により、全ての線状構造物が繋がった１つの木構造として検出されるとは限らない。そこで、三次元画像全体の判別が終了後、検出された線状構造物が一定の距離内にあり、かつ抽出された二つの線状構造物上の任意の点を結ぶ基本線の向きと各線状構造物の主軸方向とが成す角が一定角度以内であるかについて評価することにより、複数の線状構造物が接続されるものであるか否かを判定して抽出された線状構造物の接続関係を再構築する。この再構築により、気管支の木構造の抽出が完了する（詳細は、本願出願人が出願した特開2010-220742号公報などを参照）。

抽出した木構造を、開始点・端点・木構造分岐点・エッジ（辺）に分類し、開始点IN・端点・木構造分岐点をエッジで連結することによって、気管支を表す木構造データＴを得る。必要に応じて、木構造の各位置における気管支の径や各エッジの長さ（気管支の分岐部間の長さ）等の特徴量も木構造データＴとして格納する。図５に木構造の一例を示す。図５では、分岐点を○、端点を●、エッジを線で表している。

さらに、模式図生成手段３２は、気管支の木構造データＴに基づいて、気管支をボリュームレンダリングした気管支レンダリング画像を生成し、この気管支レンダリング画像を模式図Ｍとする（#3）。図６に模式図Ｍの一例を示す。

次に、目的部位入力受付手段３３は、目的部位Objの位置を示す入力を受け付ける。例えば、模式図生成手段３２で生成された模式図Ｍを画像処理ワークステーション３の表示装置の画面上に表示し、表示された画像上で肺の腫瘍の位置をマウスなどで囲むことにより目的部位Obj（図６参照）の位置を入力する（#4）。

目的部位Objが設定されると、経路抽出手段３４は、仮想の内視鏡が気管支の入り口から管内を通過して目的部位Objに到達する代表的な複数の経路を木構造データＴに基づいて抽出する（#５）。図７に示すように、目的部位Objが腫瘍のようにある程度の大きさがある場合、目的部位Objには分岐した複数の気管支の端部E1,E2,E3が接続し、気管支の入り口から目的部位Objに達する経路も複数存在する。目的部位Objに接続する気管支の端部に対応する木構造データＴ上の端点を検出して、気管支の入り口に該当する木構造データＴの開始点INから目的部位Objに達する端点E1,E2,E3までの経路を木構造データＴをベースに探索する。経路の探索には、従来から行われている種々の経路探索法を用いることができるが、探索する際、気管支の径・気管支の分岐部が曲がっている角度等に応じてコストを割り当てて、内視鏡の挿入に適した経路を探索するようにしてもよい。図５では、破線で囲んだ端点E1,E2,E3が目的部位に該当する端点を表し、経路１〜３の３つの経路が探索された様子を示す。

続いて、経路図表示手段４１で、模式図Ｍ上に抽出された全ての経路を描画した経路図Ｒを作成して、表示画面上に表示する（#6）。木構造データＴを用いて探索した３通りの経路は、模式図Ｍ上で図７のように対応する。図５の木構造データＴでもわかるように、開始点INから目的部位Objまで、経路が３つの各経路に分岐していく。この経路が分岐する点を経路分岐点として、木構造の分岐点と区別する。図５の例では、矢印の位置の分岐点が経路分岐点になる。経路を経路分岐点で区切られる複数の区間に分けて、各区間が区別できるように、経路の区間毎に異なる色で経路を色分けした経路を模式図Ｍ上に描画したものを経路図Ｒとする。各区間ごとに異なる色で色分けした経路図Ｒの一例を図８に示す。図８では、経路図Ｒ上の白丸で挟まれた経路が１つの区間に該当する。図８では、区間１を赤、区間２を黄、区間３を青、区間４をオレンジ、区間５を緑に色分けをする。

次に、気管支の入り口INから内視鏡を挿入していく様子をシミュレーション表示する。図１０に示すように、画像処理ワークステーション３の表示装置の画面の右上に、シミュレーションする経路（経路１，２，３）を選択するために選択表示部Ａに経路リストが表示される。術者は画面上で、シミュレーションする経路を選択表示部Ａから選択する（#7）。

仮想内視鏡画像生成手段３５は、気管支の管の内側から仮想内視鏡を用いて撮影した時（つまり、内視鏡を用いて撮影したと仮定した時）の仮想内視鏡画像VEを、ボリュームデータＶを用いてボリュームレンダリングにより生成する。仮想内視鏡画像生成手段３５では、仮想内視鏡がおかれている現在位置で気管支の管内を撮影したときの仮想内視鏡画像VEと、経路上にある気管支の分岐部（以下、単に気管支分岐部という）を撮影した仮想内視鏡画像VEを生成する。気管支分岐部の仮想内視鏡画像VEは、経路の気管支分岐部の管の分岐口全体が見渡せるように仮想内視鏡が進む経路の気管支分岐部の少し手前の位置から撮影したときの画像になるように生成される。また、予め、選択された経路上に存在している全ての気管支分岐部の仮想内視鏡画像VEを生成して、生成した気管支分岐部の仮想内視鏡画像VEを所望のサイズに縮小した縮小画像を、経路の各区間と対応付けて縮小画像経路対応情報として保存しておく（#8）。

経路表示手段３６は、図１０に示すように、仮想内視鏡が現在位置で撮影した仮想内視鏡画像VEを画像処理ワークステーション３の表示装置の画面の中心に表示し、気管支分岐部の仮想内視鏡画像VEの縮小画像を画面の下部Ｂに表示する。さらに、経路図Ｒも同じ画面上に表示される（#9）。

画面の下部Ｂには、選択された経路（例えば経路１）のうち仮想内視鏡が現在位置している区間内に存在する気管支分岐部の仮想内視鏡画像VEの縮小画像が表示され、気管支分岐部が現れる順に並べられる。画面の下部Ｂに表示される縮小画像には、各区間の経路の最後の経路分岐点の位置にある気管支分岐部の縮小画像が含まれ、次の区間に入る前に、前の区間の最後の気管支分岐部（つまり、次の区間に内視鏡が入るときの気管支分岐部）の仮想内視鏡画像VEが確認できるようにする。図９に、区間１〜３の気管支分岐部の箇所を示す。区間１内には４つの気管支分岐部（図９の四角で囲まれた部分）が含まれ、区間２内には２つの気管支分岐部（図９の丸で囲まれた部分）が含まれ、区間３内には２つの気管支分岐部（図９の三角で囲まれた部分）が含まれる。

また、縮小画像経路対応情報に基づいて、経路図Ｒ上で各区間を色分けした色と同じ色を用いて縮小画像を縁取って表示する。これにより、表示されている縮小画像と気管支の経路の区間の対応を視覚的に認識することができる。例えば、図１０に示すように、図８の経路図Ｒの区間１と同じ赤（画面の下部Ｂの斜め線の枠）で、区間１の気管支分岐部の縮小画像を縁取って表示する。

次に、仮想内視鏡の現在位置で撮影した気管支の仮想内視鏡画像VEと縮小画像の表示の遷移について説明する。

まず、経路１のシミュレーションを開始すると、気管支の入り口INの位置で仮想内視鏡が撮影した仮想内視鏡画像VEが現在位置の画像として画面の中心に表示され、画面の下部Ｂに、経路の入り口INから始まる最初の区間（区間１）上にある気管支分岐部の縮小画像が表示される。中心の現在位置の仮想内視鏡画像VEは仮想内視鏡を進めていくときに観察される画像に徐々に切り替えて動画表示をする（#10）。仮想内視鏡の現在位置と次に通過する気管支分岐部との対応をわかりやすくするために、画面の下部Ｂの縮小画像のうち次に通過する気管支分岐部の縮小画像を点滅表示するなど強調表示を行う。点滅表示している気管支分岐部を仮想内視鏡が通過すると、次に現れる気管支分岐部の縮小画像が点滅表示するように順次切り替えられる。

また、次に通過する気管支分岐部の画像を、縮小画像とせずに仮想内視鏡の現在位置の仮想内視鏡画像VEと同じサイズにして並べて表示するようにしてもよい。これによって現在位置の仮想内視鏡画像VEと気管支分岐部の画像との整合性を確認しながら操作することができる。また、このとき表示している気管支分岐部の画像は、縮小画像にした場合と同様の色で縁取ることで経路上の区間との対応を図ることが可能になる。

あるいは、仮想内視鏡の現在位置から気管支分岐部までの距離によって、気管支分岐部の縮小画像の表示を変更するようにしてもよい。例えば、仮想内視鏡の現在位置と気管支分岐部までの距離が遠いほど気管支分岐部の画像の縁の色を暗くし、近いほど縁の色を明るくする、あるいは、仮想内視鏡の現在位置と気管支分岐部までの距離が遠いほど気管支分岐部の画像サイズを小さくし、近いほど画像サイズを大きくするようにしてもよい。これによって次に通過する気管支分岐部に対する準備が行いやすくなる。

最初の区間１を通過して次の区間（区間２）に仮想内視鏡が入ると、縮小画像経路対応情報を参照して、画面の下部Ｂの最初の区間の気管支分岐部の縮小画像に、区間２の気管支分岐部の縮小画像を追加して表示する（#11）。このとき、最初の区間の気管支分岐部の縮小画像はそのままで、区間２の気管支分岐部の縮小画像は、経路図Ｒ上の区間２の経路の色と同じ色を用いて縁取って表示する。これにより、最初の区間の縮小画像と区別が容易になる。同様に、区間２から区間３に進んだ時も表示を変えていく。このように順次縮小画を追加表示していくことで、内視鏡が通過した前記経路上の区間に存在する気管支分岐部の縮小画像が全て表示される。図１１に、区間を進む度に画面の下部Ｂに次の区間の縮小画像を追加して表示する様子を示す（便宜上、気管支分岐部の縮小画像は省略して、縮小画像を縁取る枠のみを示す）。１段目の表示が最初の区間（区間１）に仮想内視鏡が位置した場合の図、２段目の表示が区間２に仮想内視鏡が位置した場合の図、３段目の表示が区間３に仮想内視鏡が位置した場合の図である。

あるいは、最初の区間１を通過して次の区間２に仮想内視鏡が入ると、画面の下部Ｂには最初の区間１の気管支分岐部の縮小画像を、区間２の気管支分岐部の縮小画像に切り替えて表示するようにしてもよい（#11）。このとき、区間２の気管支分岐部の縮小画像は経路図Ｒ上の区間２の経路の色と同じ色を用いて縁取って表示する。これにより、仮想内視鏡の現在位置している経路がいずれの経路であるかを容易に把握することが可能になる。図１２に、区間が進む度に画面の下部Ｂの縮小画像を次の区間の縮小画像に切り替えて表示する様子を示す。１段目の表示が最初の区間に仮想内視鏡が位置した場合の図、２段目の表示が区間２に仮想内視鏡が位置した場合の図、３段目の表示が区間３に仮想内視鏡が位置した場合の図である。

以上のように表示を変えていき、画面中心の仮想内視鏡が目的部位Objまで到達するとシミュレーションは終了する。

上述では、初めに複数の経路のうちいずれかの経路を選択して、経路に沿って仮想内視鏡を進める場合について説明したが、経路分岐点まで仮想内視鏡を進めた時点で、選択入力受付手段４０を用いて、現在の区間から次に進む区間を選択して、この選択入力に従って経路表示手段３６で画面の下部Ｂの気管支分岐部の縮小画像を切り替え表示してもよい。

例えば、区間１に仮想内視鏡が位置しているときには、次に区間２または区間４のいずれかに進むことができる（図８参照）。そこで、マウスを用いて、経路図Ｒ上で区間２または区間４のいずれかを選択する。区間２が選択された場合には、経路表示手段３６で、画面の下部Ｂの区間１の気管支分岐部の縮小画像に選択入力された区間２の気管支分岐部の縮小画像を追加して表示、あるいは、区間１の気管支分岐部の縮小画像を区間２の気管支分岐部の縮小画像に切り替えて表示するようにしてもよい。

このように選択しながら進むことで、内視鏡の挿入に適した気管支分岐部を確認しながら経路を選択することができる。

次に、患者の肺の気管支の管内へ実際に内視鏡５を挿入する際に、内視鏡挿入支援処理を用いて内視鏡５の挿入をナビゲーションする場合について説明する。図１３は、内視鏡の挿入をナビゲーションする場合の術者の操作や、演算処理、表示処理等の流れを示したフローチャートである。

術者は、前述の仮想内視鏡のシミュレーションを行って内視鏡を気管支に挿入した時の画像を確認した後、実際に患者の気管支に内視鏡を挿入して内視鏡検査を行う。画像処理ワークステーション３の表示装置には、前述の仮想内視鏡のシミュレーション時と同様に図１０の画面が表示されるが、シミュレーション時は画面中心に仮想内視鏡で撮影した現在位置の仮想内視鏡画像VEが表示されていたが、実際に内視鏡５を患者の気管支に挿入する際には画面中心の画像は内視鏡５で撮影されたライブの内視鏡画像Eに切り替わる。画面の下部Ｂの気管支分岐部の仮想内視鏡画像VEの縮小画像は、患者に内視鏡を挿入する前に、前述の#1〜#8で説明した手順と同様に用意される。また、図１０の画面の右上の経路は、シミュレーションする経路ではなく内視鏡の挿入をナビゲーションする経路となる。

まず、内視鏡を実際に患者に挿入する前に、画像処理ワークステーション３の表示装置の画面の右上の経路から、内視鏡を挿入する経路を選択するために選択表示部Ａが表示される。術者は画面上で、内視鏡の挿入をナビゲーションする経路を選択表示部Ａから選択する（#7）。
経路選択の後、内視鏡検査を開始する（#12）。図１４に示すように、内視鏡５のファイバースコープ５１を患者の口あるいは鼻から挿入し、挿入開始と同時に内視鏡による撮影を開始する。撮影された内視鏡画像Eは内視鏡５の画像出力部５３から画像信号として出力され、画像処理ワークステーション３の内視鏡画像入力手段３９を経由して表示装置の画面中心に表示される（#13）。

術者は、内視鏡５が気管支の入り口INに到着したことをライブの内視鏡画像Eで確認すると、画像処理ワークステーション３の現在位置入力手段３８を用いて、気管支の入り口INに内視鏡５が到着したことを入力する。現在位置入力手段３８では、例えば、表示装置の画面に表示されている経路図の入り口INをマウスで指示して最初の区間１に内視鏡５が到着したことを入力する。

気管支の入り口INが内視鏡５の現在位置であることが画像処理ワークステーション３に入力されると、画面の下部Ｂに、経路の入り口INから始まる最初の区間１上にある気管支分岐部の縮小画像が表示される。画面の下部Ｂには、仮想内視鏡のシミュレーション時と同様に、気管支の入り口INから選択された経路に沿って気管支分岐部が現れる順に縮小画像が並べられ、経路図Ｒ上で各区間を色分けした色と同じ色を用いて縮小画像を縁取って表示する。

術者は、画面中心のライブの内視鏡画像Eの動画と画面の下部Ｂの縮小画像とを見比べて内視鏡の位置を確認しながら、術者が選択した経路に内視鏡５を進めるように操作部５２からファイバースコープ５１の先端を操作する（#14）。

最初の区間を通過して次の区間２に内視鏡５が挿入されると、術者は、現在位置入力手段３８を用いて、区間２に内視鏡５が到着したことを入力する。この入力に応じて、画面の下部Ｂには区間２上にある気管支分岐部の縮小画像が表示される（#15）。

同様に、区間２から区間３に進んだ時も画面の下部Ｂの表示を変えていく。以上の操作を繰り返しながら、術者は、内視鏡５の操作部５２を操作して目的部位Objまでファイバースコープ５１の先端を進める。ファイバースコープ５１の先端が目的部位Objに到達すると、鉗子口５５から出ている生検鉗子を操作して患部組織のサンプルを採取する。

上述では、画像処理ワークステーション３の表示装置の画面を確認しながら内視鏡の現在位置を入力する場合について説明したが、ファイバースコープ５１の挿入量を計測する計測部と、ファイバースコープ５１の先端部の傾斜角を検出するセンサーを設けて、挿入量と傾斜角から自動で内視鏡の現在位置を検出する構成にしても良い。
例えば、図１５に示すように、ファイバースコープ５１の周面に接触するように滑車を配し、この滑車の回転量を計測する計測部５７を設けて、挿入量を検出するようにしてもよい。また、先端部には電磁コイルを設置し、湾曲による電導量の変化を読み取って先端部の傾斜角を検出するセンサー５８を設けるようにしてもよい(特開２００４−１０５７２５号公報など参照）。

また、上述では、初めに複数の経路のうちいずれかの経路を選択して、経路に沿って内視鏡を進める場合について説明したが、経路分岐点まで内視鏡を進めた時点で、選択入力受付手段４０を用いて、内視鏡が実際に進む区間を選択して、この選択入力に従って経路表示手段３６で画面の下部の気管支分岐部の縮小画像を切り替え表示してもよい。

上述では、気管支分岐部の仮想内視鏡画像を経路図上の各区間の色と同じ色で縁取ることにより、経路の区間と気管支分岐部の仮想内視鏡画像とを対応付ける場合について説明したが、経路の区間と気管支分岐部の仮想内視鏡画像との対応がわかるように表示されればよい。例えば、気管支分岐部の仮想内視鏡画像上にマウスを置くと、経路図上の対応する経路の区間が強調表示されるようにしてもよい。あるいは、気管支分岐部の仮想内視鏡画像上にマウスを置くと、経路図上の対応する経路の区間の位置が文字で表示されるようにしてもよい。

以上、詳細に説明したように、本発明の内視鏡挿入支援装置を用いて、内視鏡の挿入時の画像をシミュレーションした後に、実際に内視鏡を用いて気管支に挿入することで、正確に時間をかけずに目的部位に内視鏡を挿入することが可能になる。

１ モダリティ
２ 画像保管サーバ
３ 画像処理ワークステーション
４ ネットワーク
５ 内視鏡
３０ 内視鏡挿入支援装置
３１ 管状構造物抽出手段
３２ 模式図生成手段
３３ 目的部位入力受付手段
３４ 経路抽出手段
３５ 仮想内視鏡画像生成手段
３６ 経路表示手段
３７ ボリュームデータ記憶手段
３８ 現在位置入力手段
３９ 内視鏡画像入力手段
４０ 選択入力受付手段
４１ 経路図表示手段
５１ ファイバースコープ
５２ 操作部
５３ 画像出力部
５４ 対物レンズ
５５ 鉗子口
５６ ライトガイド
５７ 計測部
５８ センサー
IN 入り口（開始点）
Ｍ 模式図
Obj 目的部位
Ｒ 経路図
Ｔ 木構造データ
Ｖ ボリュームデータ
VE 仮想内視鏡画像
E 内視鏡画像

Claims (10)

1. 木構造の管状構造物を撮影して得られたボリュームデータより、前記管状構造物を抽出する管状構造物抽出手段と、
   前記管状構造物が接続する目的部位の位置を示す入力を受け付ける目的部位入力受付手段と、
   前記管状構造物の入り口から内視鏡が管内を通過して前記目的部位と前記管状構造物が接続する複数の接続部それぞれに到達する複数の経路を抽出する経路抽出手段と、
   前記抽出された経路上における前記管状構造物内を該管状構造物の管の内側から前記内視鏡を用いて撮影したと仮定した時の仮想内視鏡画像を前記ボリュームデータを用いて生成する仮想内視鏡画像生成手段と、
   前記入り口から前記目的部位に到達するまでの間において、前記複数の経路のうちの各経路が他の経路から分かれる１以上の経路分岐点により区切られる複数の区間のうち前記内視鏡が現在位置している第１の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示するとともに、前記分岐部の仮想内視鏡画像が前記複数の経路上のいずれの区間の画像であるかを認識可能に表示する経路表示手段と、
   前記内視鏡が現在位置している第１の区間に続く前記目的部位側の複数の区間のうちの１つの区間を第２の区間として選択する選択入力を受け付ける選択入力受付手段とを備え、
   前記経路表示手段が、前記選択入力受付手段による受け付けに応じて、内視鏡の現在位置が前記第１の区間から前記第１の区間に続く前記第２の区間に進むと、該第２の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示することを特徴とすることを特徴とする内視鏡挿入支援装置。
2. 前記経路表示手段が、前記内視鏡が現在位置している区間内に存在する前記分岐部の仮想内視鏡画像を、前記内視鏡が進む順に並べて表示するものであることを特徴とする請求項１記載の内視鏡挿入支援装置。
3. 前記ボリュームデータより生成した前記管状構造物の模式図上に前記経路を描画した経路図を表示する経路図表示手段をさらに備え、
   前記経路表示手段が、前記経路図と前記分岐部の仮想内視鏡画像を同一画面上に表示して、前記経路図上の区間と前記内視鏡が現在位置している区間との対応を認識可能にするために前記内視鏡が現在位置している区間に該当する前記経路図上の経路部分を他の経路部分とは異なる表示にするものであることを特徴とする請求項１または２記載の内視鏡挿入支援装置。
4. 前記選択入力受付手段による受け付けに応じて、前記経路表示手段が、前記第１の区間内に存在する前記分岐部の仮想内視鏡画像を、前記第２の区間内に存在する前記分岐部の仮想内視鏡画像に切り替えて表示することを特徴とする請求項１〜３のいずれか１項記載の内視鏡挿入支援装置。
5. 前記経路表示手段が、前記内視鏡が通過した前記経路上の区間に存在する前記分岐部の仮想内視鏡画像に、前記第２の区間に存在する前記分岐部の仮想内視鏡画像を加えて表示するとともに、該第２の区間に存在する前記分岐部の仮想内視鏡画像と、前記内視鏡が通過した前記経路上の区間に存在する前記分岐部の仮想内視鏡画像とを異なる表示にすることを特徴とする請求項１〜３のいずれか１項記載の内視鏡挿入支援装置。
6. 前記分岐部の仮想内視鏡画像が縮小画像であることを特徴とする請求項１〜５のいずれか１項記載の内視鏡挿入支援装置。
7. 被検者の前記管状構造物内を通過した内視鏡の現在位置を入力する現在位置入力手段と、
   前記内視鏡の現在位置において前記被検者の前記管状構造物内を撮影した内視鏡撮影画像を入力する内視鏡画像入力手段とをさらに備え、
   前記経路表示手段が、前記入力された内視鏡の現在位置に基づいて、該内視鏡が現在位置している区間内に存在する前記分岐部の仮想内視鏡画像とともに、前記入力された内視鏡撮影画像を同一画面上に表示することを特徴とする請求項１〜６のいずれか１項記載の内視鏡挿入支援装置。
8. 前記管状構造物が気管支であることを特徴とする請求項１〜７のいずれか１項記載の内視鏡挿入支援装置。
9. 請求項１記載の内視鏡挿入支援装置の作動方法において、
   前記管状構造物抽出手段が、木構造の管状構造物を撮影して得られたボリュームデータより、前記管状構造物を抽出する管状構造物抽出ステップと、
   前記目的部位入力受付手段が、前記管状構造物が接続する目的部位の位置を示す入力を受け付ける目的部位入力受付ステップと、
   前記経路抽出手段が、前記管状構造物の入り口から内視鏡が管内を通過して前記目的部位と前記管状構造物が接続する複数の接続部それぞれに到達する複数の経路を抽出する経路抽出ステップと、
   前記仮想内視鏡画像生成手段が、前記抽出された経路上における前記管状構造物内を該管状構造物の管の内側から前記内視鏡を用いて撮影したと仮定した時の仮想内視鏡画像を前記ボリュームデータを用いて生成する仮想内視鏡画像生成ステップと、
   前記経路表示手段が、前記入り口から前記目的部位に到達するまでの間において、前記複数の経路のうちの各経路が他の経路から分かれる１以上の経路分岐点により区切られる複数の区間のうち前記内視鏡が現在位置している第１の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示するとともに、前記分岐部の仮想内視鏡画像が前記複数の経路上のいずれの区間の画像であるかを認識可能に表示する経路表示ステップと、
   前記選択入力受付手段が、前記内視鏡が現在位置している第１の区間に続く前記目的部位側の複数の区間のうちの１つの区間を第２の区間として選択する選択入力を受け付ける選択入力受付ステップとを備えた内視鏡挿入支援装置の作動方法であって、
   前記経路表示ステップが、前記選択入力受付ステップによる受け付けに応じて、内視鏡の現在位置が前記第１の区間から前記第１の区間に続く前記第２の区間に進むと、該第２の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示することを特徴とする内視鏡挿入支援装置の作動方法。
10. コンピュータを、
    木構造の管状構造物を撮影して得られたボリュームデータより、前記管状構造物を抽出する管状構造物抽出手段と、
    前記管状構造物上が接続する目的部位の位置を示す入力を受け付ける目的部位入力受付手段と、
    前記管状構造物の入り口から内視鏡が管内を通過して前記目的部位と前記管状構造物が接続する複数の接続部それぞれに到達する複数の経路を抽出する経路抽出手段と、
    前記抽出された経路上における前記管状構造物内を該管状構造物の管の内側から前記内視鏡を用いて撮影したと仮定した時の仮想内視鏡画像を前記ボリュームデータを用いて生成する仮想内視鏡画像生成手段と、
    前記入り口から前記目的部位に到達するまでの間において、前記複数の経路のうちの各経路が他の経路から分かれる１以上の経路分岐点により区切られる複数の区間のうち前記内視鏡が現在位置している第１の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示するとともに、前記分岐部の仮想内視鏡画像が前記複数の経路上のいずれの区間の画像であるかを認識可能に表示する経路表示手段と、
    前記内視鏡が現在位置している第１の区間に続く前記目的部位側の複数の区間のうちの１つの区間を第２の区間として選択する選択入力を受け付ける選択入力受付手段として機能させる内視鏡挿入支援プログラムであって、
    前記経路表示手段が、前記選択入力受付手段による受け付けに応じて、内視鏡の現在位置が前記第１の区間から前記第１の区間に続く前記第２の区間に進むと、該第２の区間内に存在する前記管状構造物の分岐部の仮想内視鏡画像と、前記内視鏡が現在位置で撮影したと仮定した仮想内視鏡画像と、を同一画面上に表示することを特徴とする内視鏡挿入支援プログラム。