JP6199267B2 - 内視鏡画像表示装置、その作動方法およびプログラム - Google Patents

Description

本発明は、気管支等の体内の管状構造物へ内視鏡を挿入することにより取得された内視鏡画像を表示する内視鏡画像表示装置、その作動方法およびプログラムに関するものである。

近年、患者の大腸や気管支等の管状構造物を内視鏡を用いて観察または処置を行う技術が注目されている。しかしながら、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状構造物内部の色や質感が鮮明に表現された画像が得られる一方で、管状構造物の内部を２次元の画像に表すものである。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。とくに、気管支用の内視鏡は、径が細く視野が狭いため、内視鏡の先端を目的とする位置まで到達させることは困難である。

そこで、ＣＴ（Computed Tomography）装置等のモダリティによる断層撮影により取得された３次元画像を用いて、実際に内視鏡によって撮影した画像と類似した仮想内視鏡画像を生成する手法が提案されている。この仮想内視鏡画像は、内視鏡を管状構造物内の目標とする位置まで導くためのナビゲーション画像として用いられる。しかしながら、ナビゲーション画像を用いても、気管支のような多段階に分岐する管路を有する構造物の場合、内視鏡の先端を目標とする位置まで短時間で到達させるのは熟練した技術を要する。

このため、内視鏡の先端位置を検出し、内視鏡の先端位置から少し離れた位置からの仮想内視鏡画像を表示して、現在の内視鏡の位置を確認しやすくする手法が提案されている（特許文献１参照）。また、内視鏡の挿入位置を表す情報と、その位置において取得した実際の内視鏡画像である実内視鏡画像とをリンクして保存する際に、内視鏡の先端の方向等を変更した場合、その方向の情報も実内視鏡画像とリンクして保存する手法が提案されている（特許文献２参照）。特許文献２に記載された手法を用いれば、保存した実内視鏡画像と位置情報さらには方向の情報を用いて、内視鏡を管状構造物に挿入した際の状態を反映させた仮想内視鏡画像を生成することができる。また、実内視鏡画像および仮想内視鏡画像とをナビゲーション表示する際に、管状構造物内の分岐位置をマークしておき、内視鏡の位置が分からなくなったら、マークした分岐位置まで戻ってその分岐位置の仮想内視鏡画像を表示する手法も提案されている（特許文献３参照）。

特開２０１１−１３９７９７号公報 特開２００５−１３１３１８号公報 特開２００５−１３１０４６号公報

しかしながら、仮想内視鏡画像は３次元画像から生成されるものであるため、実内視鏡画像よりも解像度が低い。また、仮想内視鏡画像により表される組織の色は仮想的に付与されたものであり、実際の組織の色とは異なる。さらに、仮想内視鏡画像を生成するための３次元画像の撮影時期は、内視鏡の検査を行う時期よりも前であるため、管状構造物内の状況が現在の状況と異なることがある。したがって、仮想内視鏡画像と実内視鏡画像とでは見え方が必ずしも一致せず、その結果、仮想内視鏡画像をナビゲーション画像として用いても、内視鏡の現在の撮影位置の状況を正確に把握できないという問題がある。

本発明は上記事情に鑑みなされたものであり、内視鏡画像表示装置、方法およびプログラムにおいて、内視鏡の現在の撮影位置の状況を正確に把握できるようにすることを目的とする。

本発明による内視鏡画像表示装置は、管状構造物に挿入された内視鏡の先端の位置を表す位置情報を取得する位置情報取得手段と、
位置情報と内視鏡の先端の位置において取得された内視鏡画像とを対応づけて保存する保存手段と、
内視鏡の現在位置における内視鏡画像と、現在位置とは異なる位置において取得されて保存手段に保存された保存内視鏡画像とを表示する表示制御手段とを備えたことを特徴とするものである。

なお、本発明による内視鏡画像表示装置においては、表示制御手段を、現在位置からあらかじめ定められた距離の後方位置において取得された保存内視鏡画像を表示する手段としてもよい。

「後方位置」とは、管状構造物内において、内視鏡の先端が既に通過した位置、すなわち内視鏡の進行方向とは反対側の位置を意味する。

「あらかじめ定められた距離」とは、内視鏡の先端位置の状況を認識することができる程度の距離である。この距離は固定値としてもよいが、内視鏡を用いての撮影中において、任意の値に変更できるものであってもよい。

また、本発明による内視鏡画像表示装置においては、管状構造物が分岐構造を有する場合、表示制御手段を、現在位置から後方における現在位置に最も近い分岐位置において取得された保存内視鏡画像を表示する手段としてもよい。

また、本発明による内視鏡画像表示装置においては、管状構造物が分岐構造を有する場合、表示制御手段を、現在位置から後方における複数の分岐位置において取得された複数の保存内視鏡画像を表示する手段としてもよい。

また、本発明による内視鏡画像表示装置においては、位置情報取得手段を、内視鏡の先端の向きを表す向き情報をさらに取得する手段とし、
保存手段を、向き情報を内視鏡画像と対応づけて保存する手段とし、
表示制御手段を、現在位置から後方位置において取得された、現在位置に向かう視線方向の保存内視鏡画像を表示する手段としてもよい。

また、本発明による内視鏡画像表示装置においては、位置情報取得手段を、内視鏡の先端の向きを表す向き情報をさらに取得する手段とし、
保存手段を、向き情報を内視鏡画像と対応づけて保存する手段とし、
表示制御手段を、現在位置から後方位置において取得された、管状構造物の中心線の接線方向の保存内視鏡画像を表示する手段としてもよい。

また、本発明による内視鏡画像表示装置においては、表示制御手段を、内視鏡の先端位置を特定する位置特定情報を保存内視鏡画像にさらに表示する手段としてもよい。

また、本発明による内視鏡画像表示方法は、管状構造物に挿入された内視鏡の先端の位置を表す位置情報を取得し、
位置情報と内視鏡の先端の位置において取得された内視鏡画像とを対応づけて保存し、
内視鏡の現在位置における内視鏡画像と、現在位置とは異なる位置において取得されて保存手段に保存された保存内視鏡画像とを表示することを特徴とするものである。

なお、本発明による内視鏡画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、内視鏡の現在位置における内視鏡画像と、現在位置とは異なる位置において取得されて保存された保存内視鏡画像とが表示される。ここで、保存内視鏡画像は、管状構造物の内部を撮影することにより取得された実内視鏡画像である。したがって、保存内視鏡画像を表示することにより、管状構造物内部の実際の状況を用いて、内視鏡の現在の撮影位置の状況を正確に把握することができる。

本発明の実施形態による内視鏡画像表示装置を適用した、診断支援システムの概要を示すハードウェア構成図 コンピュータに内視鏡画像表示処理プログラムをインストールすることにより実現される内視鏡画像表示装置の概略構成を示す図 気管支のグラフ構造を示す図 気管支のグラフ構造における内視鏡の現在位置と気管支の分岐位置とを示す図 ディスプレイに表示される内視鏡画像を示す図 本実施形態において行われる処理を示すフローチャート 気管支のグラフ構造における内視鏡の先端位置と複数の分岐位置とを示す図 ディスプレイに表示される内視鏡画像を示す図 気管支のグラフ構造における内視鏡の先端位置と分岐位置における内視鏡先端の方向とを示す図 気管支のグラフ構造における内視鏡の先端位置と分岐位置における内視鏡先端の方向とを示す図 内視鏡画像に内視鏡の位置特定情報を重畳表示した状態の例を示す 内視鏡画像に内視鏡の位置特定情報を重畳表示した状態の他の例を示す

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態による内視鏡画像表示装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、内視鏡装置３、３次元画像撮影装置４、画像保管サーバ５および内視鏡画像表示装置６が、ネットワーク８を経由して通信可能な状態で接続されている。

内視鏡装置３は、被検体の管状構造物の内部を撮影する内視鏡スコープ３１、撮影により得られた信号に基づいて管状構造物の内部の画像を生成するプロセッサ装置３２、並びに内視鏡スコープ３１の先端の位置および向きを検出する位置検出装置３４等を備える。

内視鏡スコープ３１は、操作部３Ａに被検体の管状構造物内に挿入される挿入部が連続して取り付けられたものであり、プロセッサ装置３２に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置３２に接続されている。操作部３Ａは、挿入部の先端３Ｂが所定の角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、内視鏡スコープ３１の先端に取り付けられた穿刺針を操作して組織のサンプルの採取を行ったりするための各種ボタンを含む。本実施形態では、内視鏡スコープ３１は気管支用の軟性鏡であり、被検体の気管支内に挿入される。そして、プロセッサ装置３２に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ３１の挿入部の先端３Ｂから照射され、内視鏡スコープ３１の撮像光学系により被検体の気管支内の画像が取得される。なお、内視鏡スコープ３１の挿入部の先端３Ｂについて、説明を容易なものとするために、以降の説明においては内視鏡の先端３Ｂと称するものとする。

プロセッサ装置３２は、内視鏡スコープ３１で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像Ｔ０を生成する。なお、生成される画像は、例えば３０ｆｐｓ等の所定のフレームレートにより表される動画像である。内視鏡画像Ｔ０は、画像保管サーバ５あるいは内視鏡画像表示装置６に送信される。

位置検出装置３４は、被検体の体内における内視鏡の先端３Ｂの位置および向きを検出する。具体的には、被検体の特定部位の位置を基準点とした３次元座標系の検出領域を有するエコー装置により、内視鏡の先端３Ｂの特徴的な形状を検出することで、被検体の体内における内視鏡の先端３Ｂの相対的な位置および向きを検出し、検出した先端３Ｂの位置および向きの情報を位置情報Ｐ０として内視鏡画像表示装置６に出力する（例えば、特開２００６−６１２７４号公報参照）。検出した先端３Ｂの位置および向きは、撮影して得られた内視鏡画像の視点および視線方向にそれぞれ該当する。なお、以降の説明において、位置および向きの情報を単に位置情報Ｐ０と称するものとする。また、位置情報Ｐ０は、内視鏡画像Ｔ０と同様のレートにより内視鏡画像表示装置６に出力される。

３次元画像撮影装置４は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ（Magnetic Resonance Imaging ）装置、ＰＥＴ(Positron Emission Tomography )、および超音波診断装置等である。この３次元画像撮影装置４により生成された３次元画像Ｖ０は画像保管サーバ５に送信され、保存される。本実施形態では、３次元画像撮影装置４は、気管支を含む胸部を撮影した３次元画像Ｖ０を生成する。

画像保管サーバ５は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ５は、ネットワーク８を介して他の装置と通信を行い、画像データ等を送受信する。具体的には内視鏡装置３で取得された内視鏡画像Ｔ０および３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、内視鏡画像Ｔ０は、内視鏡の先端３Ｂの移動に応じて撮影される動画像データとなる。このため、内視鏡画像Ｔ０は、画像保管サーバ５を経由することなく、内視鏡画像表示装置６に送信されることが好ましい。なお、画像データの格納形式やネットワーク８経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

内視鏡画像表示装置６は、１台のコンピュータに、本発明の内視鏡画像表示プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションあるいはパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。内視鏡画像表示プログラムは、ＤＶＤ、ＣＤ−ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

図２は、ワークステーションに内視鏡画像表示プログラムをインストールすることにより実現された内視鏡画像表示装置の概略構成を示す図である。図２に示すように、内視鏡画像表示装置６は、標準的なワークステーションの構成として、ＣＰＵ６１、メモリ６２およびストレージ６３を備えている。また、内視鏡画像表示装置６には、表示手段であるディスプレイ６４と、マウス等の入力部６５とが接続されている。

ストレージ６３には、ネットワーク８を経由して内視鏡装置３、３次元画像撮影装置４および画像保管サーバ５等から取得した内視鏡画像Ｔ０、３次元画像Ｖ０および内視鏡画像表示装置６での処理によって生成された画像等が記憶されている。

また、メモリ６２には、内視鏡画像表示プログラムが記憶されている。内視鏡画像表示プログラムは、ＣＰＵ６１に実行させる処理として、内視鏡装置３が取得した内視鏡画像Ｔ０および３次元画像撮影装置４が取得した３次元画像Ｖ０の画像取得処理、３次元画像Ｖ０から気管支のグラフ構造を抽出する気管支抽出処理、気管支に挿入された内視鏡の先端３Ｂの位置を表す位置情報Ｐ０を取得し、位置情報Ｐ０に対応する気管支のグラフ構造上の位置情報Ｐ１を取得する位置情報の取得処理、位置情報Ｐ１により表される、内視鏡の先端３Ｂの位置および向きにおいて取得された内視鏡画像と位置情報Ｐ１とを対応づけてストレージ６３または画像保管サーバ５に保存する保存処理、および内視鏡スコープ３１の現在位置における内視鏡画像Ｔ０と、現在位置とは異なる位置において取得されてストレージ６３または画像保管サーバ５に保存された内視鏡画像Ｔ１とを表示する表示制御処理を規定している。そして、ＣＰＵ６１がプログラムに従いこれらの処理を実行することで、汎用のワークステーションは、画像取得部７１、気管支抽出部７２、位置情報取得部７３、保存部７４および表示制御部７５として機能する。なお、内視鏡画像表示装置６は、画像取得処理、気管支抽出処理、位置情報取得処理、保存処理および表示制御処理をそれぞれ行う複数のＣＰＵを備えるものであってもよい。

画像取得部７１は、内視鏡装置３により気管支内を撮影した内視鏡画像Ｔ０および３次元画像撮影装置４により取得された３次元画像Ｖ０を取得する。画像取得部７１は、３次元画像Ｖ０が既にストレージ６３に記憶されている場合には、ストレージ６３から取得するようにしてもよい。内視鏡画像Ｔ０は、気管支の内側の表面、すなわち気管支内壁を表す画像である。内視鏡画像Ｔ０は必要に応じて表示制御部７５に出力される。３次元画像Ｖ０は気管支抽出部７２に出力される。

気管支抽出部７２は、３次元画像Ｖ０から気管支のグラフ構造を抽出する。具体的には、気管支抽出部７２は、例えば特開２０１０-２２０７４２号公報等に記載された手法を用いて、入力された３次元画像Ｖ０に含まれる気管支領域のグラフ構造を抽出する。以下、気管支のグラフ構造の抽出方法の一例を説明する。

３次元画像Ｖ０においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物として表される。そこで、各画素毎に画素値の分布に基づく形状の構造解析を行って気管支を抽出する。

気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。気管支抽出部７２は、異なるサイズの気管支を検出することができるように、３次元画像Ｖ０を多重解像度変換して解像度が異なる複数の３次元画像を生成し、各解像度の３次元画像毎に検出アルゴリズムを適用することにより、異なるサイズの管状構造物を検出する。

まず、各解像度の３次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるかを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下式のように３×３行列となる。

任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。

気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、３次元画像Ｖ０全体からの管状構造物の検出が終了した後、検出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。

そして、気管支抽出部７２は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、図３に示すように、気管支を表すグラフ構造を得ることができる。なお、グラフ構造の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用するようにしてもよい。

位置情報取得部７３は、位置検出装置３４により検出された、内視鏡の先端３Ｂの位置および向きを表す位置情報Ｐ０を取得する。なお、位置情報Ｐ０は内視鏡画像Ｔ０のフレームレートと同様のレートにより順次取得される。このため、位置情報Ｐ０は、内視鏡の先端３Ｂの位置および向きが変更される毎に取得される。そして、位置情報取得部７３は、気管支抽出部７２が抽出した気管支のグラフ構造上における、位置情報Ｐ０により表される内視鏡の先端３Ｂの位置に最も近い点を、グラフ構造上の位置情報Ｐ１として取得する。なお、３次元画像Ｖ０の座標系の基準点を、位置検出装置３４の位置検出時の基準点と同一とすることにより、気管支のグラフ構造と位置情報Ｐ０との座標系を一致させることができる。したがって、位置情報Ｐ０から、グラフ構造上の位置情報Ｐ１を取得することができる。位置情報Ｐ１は保存部７４に出力される。

保存部７４は、位置情報Ｐ１と位置情報Ｐ１により表される、内視鏡の先端３Ｂの位置および向きにおいて取得された内視鏡画像Ｔ０の１フレームとを対応づけてストレージ６３または画像保管サーバ５に保存する。なお、保存される内視鏡画像Ｔ０の１フレームは静止画像となり、保存される静止画像を内視鏡画像Ｔ１と称するものとする。また、本実施形態においては、位置情報Ｐ１と内視鏡画像Ｔ１とを対応づけてストレージ６３に保存するものとする。ここで、位置情報Ｐ１と内視鏡画像Ｔ１との対応づけは、内視鏡画像Ｔ１のタグに位置情報Ｐ１を記述することにより行ってもよく、位置情報Ｐ１と内視鏡画像Ｔ１とを同一のフォルダに保存すること等により行ってもよい。

保存部７４は、位置情報Ｐ１が取得される毎に、位置情報Ｐ１と内視鏡画像Ｔ１とを対応づけての保存を繰り返す。なお、気管支内の同一の位置において内視鏡の先端３Ｂの向きのみが変更される場合があるが、この場合、向きが異なる毎に異なる位置情報Ｐ０が取得され、その結果、同一位置において異なる位置情報Ｐ１が取得される。したがって、内視鏡の先端３Ｂの位置が同一であっても異なる向き毎に内視鏡画像Ｔ１が保存されることとなる。これにより、気管支のグラフ構造上の各座標点および各座標点における内視鏡の先端３Ｂの各向きに対応した複数の内視鏡画像Ｔ１がストレージ６３に保存されることとなる。

なお、内視鏡の先端３Ｂを静止させ、かつ方向も変更させない場合、その位置において同一の内視鏡画像Ｔ１が複数取得されることとなる。このため、保存部７４は、内視鏡の先端３Ｂが静止して位置情報Ｐ１が更新されない場合、その間、複数の内視鏡画像Ｔ１を取得し続け、内視鏡の先端３Ｂが移動して位置情報Ｐ１が更新されると、取得した複数の内視鏡画像Ｔ１から代表画像を選択して保存するようにしてもよい。例えば、本実施形態においては、撮影時刻が最も新しい画像、あるいは撮影時刻が最も古い画像を代表画像として選択して保存するようにしてもよい。

表示制御部７５は、内視鏡スコープ３１の現在位置における動画像の内視鏡画像Ｔ０および現在位置とは異なる位置において取得されてストレージ６３に保存された内視鏡画像Ｔ１をディスプレイ６４に表示する。本実施形態においては、現在位置とは異なる位置において取得された内視鏡画像Ｔ１として、気管支内の現在位置から後方における、現在位置に最も近い分岐位置において取得された内視鏡画像Ｔｄを用いる。

図４は気管支のグラフ構造における内視鏡の現在位置と気管支の分岐位置とを示す図、図５はディスプレイ６４に表示される内視鏡画像を示す図である。図４に示すように、表示制御部７５は、内視鏡の先端３Ｂの現在位置が位置Ｐｒである場合、位置Ｐｒから後方、すなわち内視鏡の進行方向とは逆側にある、気管支の分岐位置のうち最も近い分岐位置Ｐｄを、気管支のグラフ構造において求める。そして、ストレージ６３に保存されている複数の内視鏡画像Ｔ１に付与された位置情報Ｐ１を参照し、分岐位置Ｐｄに最も近い位置を表す位置情報Ｐ１が付与された内視鏡画像Ｔｄを検索し、検索した内視鏡画像Ｔｄを現在の内視鏡画像Ｐ０とともにディスプレイ６４に表示する。

また、内視鏡の先端３Ｂが気管支内の分岐を通過する毎に、現在位置から後方における現在位置に最も近い分岐位置は変更される。このため、表示制御部７５は、内視鏡の先端３Ｂが気管支内のある分岐を通過してから次の分岐を通過するまで、内視鏡画像Ｔ０とともに直近の分岐位置における内視鏡画像Ｔｄを表示し続け、内視鏡の先端３Ｂが次の分岐を通過すると、次に通過した分岐位置Ｐｄにおける内視鏡画像Ｔｄを表示する。これにより、内視鏡の先端３Ｂが気管支の分岐を通過する毎に、表示される内視鏡画像Ｔｄが切り替えられることとなる。

次いで、本実施形態において行われる処理について説明する。図６は本実施形態において行われる処理を示すフローチャートである。なお、３次元画像Ｖ０は画像取得部７１により取得されてストレージ６３に保存されているものとする。また、気管支抽出部７２により３次元画像Ｖ０から気管支のグラフ構造が抽出され、その情報がストレージ６３に保存されているものとする。

オペレータによる処理開始の指示が入力装置５からなされると、画像取得部７１が現在撮影中の内視鏡画像Ｔ０を取得し（現在の内視鏡画像取得、ステップＳＴ１）、位置情報取得部７３が、内視鏡の先端３Ｂの現在の位置および方向を表す位置情報Ｐ０を取得し、位置情報Ｐ０からグラフ構造上の位置情報Ｐ１を取得する（ステップＳＴ２）。そして、保存部７４が、位置情報Ｐ１と位置情報Ｐ１により表される、内視鏡の先端３Ｂの位置および向きにおいて取得された内視鏡画像Ｔ１とを対応づけてストレージ６３に保存する（ステップＳＴ３）。

ここで、本実施形態においては、現在位置から後方における現在位置に最も近い分岐位置において取得された内視鏡画像Ｔ１を表示するものであるが、内視鏡の先端３Ｂが気管支の分岐を通過するまでは、そのような内視鏡画像Ｔ１はストレージ６３には保存されない。このため、表示制御部７５は、現在位置から後方における現在位置に最も近い分岐位置における内視鏡画像Ｔ１がストレージ６３に保存されているか否かを判定する。すなわち、直近分岐位置の内視鏡画像Ｔ１が保存されているか否かを判定する（ステップＳＴ４）。ステップＳＴ４が否定されると、ステップＳＴ１にリターンする。ステップＳＴ４が肯定されると、表示制御部７５は、内視鏡画像Ｔ０および現在位置から後方における現在位置に最も近い分岐位置Ｐｄにおいて取得された内視鏡画像Ｔｄをディスプレイ６４に表示し（ステップＳＴ５）、ステップＳＴ１にリターンする。なお、ステップＳＴ４の判定が肯定されるまでは、現在の内視鏡画像Ｔ０のみを表示してもよく、現在位置からあらかじめ定められた距離後方の位置において取得された内視鏡画像Ｔ１を表示するようにしてもよい。

このように、本実施形態においては、内視鏡の先端３Ｂの現在位置における内視鏡画像Ｔ０と、現在位置から後方における現在位置に最も近い分岐位置において取得された、保存された内視鏡画像Ｔ１とを表示するようにしたものである。ここで、内視鏡画像Ｔ１は、気管支の内部を撮影することにより取得された実内視鏡画像である。したがって、内視鏡画像Ｔ１を表示することにより、気管支内部の実際の状況を用いて、内視鏡の現在の撮影位置の状況を正確に把握することができる。

なお、上記実施形態においては、気管支のグラフ構造上の各座標点に対応した複数の内視鏡画像Ｔ１を保存しているが、動画像である内視鏡画像Ｔ０の１フレーム毎に位置情報Ｐ１を対応づけて保存するようにしてもよい。この場合、ストレージ６３に保存されている内視鏡画像Ｔ０の各フレームに付与された位置情報Ｐ１を検索し、分岐位置Ｐｄに最も近い位置情報Ｐ１が付与されたフレームを内視鏡画像Ｔ０から抽出して、現在の内視鏡画像Ｐ０とともにディスプレイ６４に表示すればよい。

また、上記実施形態においては、内視鏡の先端３Ｂの現在位置Ｐｒから後方における、現在位置Ｐｒに最も近い分岐位置Ｐｄにおいて取得された１つの内視鏡画像Ｔｄを表示しているが、内視鏡の先端３Ｂが複数の分岐位置を通過した場合には、現在位置Ｐｒから後方における複数の分岐位置において取得された複数の内視鏡画像Ｔｄを表示するようにしてもよい。例えば、図７に示すように、現在の内視鏡の先端３Ｂの位置が、気管支内における位置Ｐｒである場合、内視鏡の先端３Ｂは、位置Ｐｒに到達するまでに４つの分岐位置Ｐｄ１〜Ｐｄ４を通過している。このため、図８に示すように、ディスプレイ６４に、現在の内視鏡画像Ｔ０とともに、４つの分岐位置Ｐｄ１〜Ｐｄ４において取得した内視鏡画像Ｔｄ１〜Ｔｄ４を表示するようにしてもよい。この場合、分岐を通過する毎に、表示する内視鏡画像Ｔｄを増加させてもよいが、あらかじめ定められた数（例えば４つ）の内視鏡画像Ｔｄを表示し、分岐を通過する毎に現在位置から近い４つの分岐位置において取得された内視鏡画像Ｔｄを表示するようにしてもよい。

また、現在位置から後方の分岐位置において取得された内視鏡画像に代えて、現在位置からあらかじめ定められた距離の後方位置において取得された内視鏡画像を表示するようにしてもよい。あらかじめ定められた距離としては、内視鏡の先端位置の状況を認識することができる程度の距離とすればよく、例えば２〜３ｃｍとすればよい。この距離は固定値としてストレージ６３に保存しておけばよいが、内視鏡を用いての撮影中において、入力部６５からの操作者の指示により、任意の値に変更できるものであってもよい。

なお、この場合、内視鏡の先端３Ｂが移動すると、現在位置から後方の位置において取得された内視鏡画像Ｔ１が表示される。このため、内視鏡の先端３Ｂが移動し続けると、内視鏡画像Ｔ０とともに、内視鏡画像Ｔ１が連続して切り替えられ、動画像のように表示されることとなる。

また、現在位置から後方の所定距離にある内視鏡画像Ｔ１に加えて、現在位置から後方における現在位置に最も近い分岐位置において取得された１つの内視鏡画像Ｔｄ、あるいは現在位置から後方における複数の分岐位置において取得された複数の内視鏡画像Ｔｄを表示するようにしてもよい。

また、上記実施形態においては、気管支内の同一の位置において、視線方向が異なる複数の内視鏡画像Ｔ１が保存される場合がある。この場合、現在の内視鏡画像Ｔ０とともに表示する内視鏡画像Ｔ１として、内視鏡の先端３Ｂの現在位置に向かう視線方向を表す位置情報Ｐ１と対応づけられた内視鏡画像を表示するようにしてもよい。例えば、図９に示すように内視鏡の先端３Ｂの現在位置が位置Ｐｒにあり、現在位置Ｐｒから後方における現在位置に最も近い分岐位置において、３つの視線方向Ｄ１〜Ｄ３の内視鏡画像Ｔｄ１〜Ｔｄ３が取得された場合、現在位置Ｐｒに向かう視線方向Ｄ２の内視鏡画像Ｔｄ２を表示すればよい。

また、内視鏡の先端３Ｂの現在位置に向かう視線方向を表す位置情報Ｐ１と対応づけられた内視鏡画像に代えて、気管支の中心線の接線方向の内視鏡画像を表示するようにしてもよい。例えば、図１０に示すように内視鏡の先端３Ｂの現在位置が位置Ｐｒにあり、現在位置Ｐｒから後方における現在位置に最も近い分岐位置において、３つの視線方向Ｄ１〜Ｄ３の内視鏡画像Ｔｄ１〜Ｔｄ３が取得された場合、現在位置Ｐｒに向かう視線方向Ｄ３ではなく、一点鎖線で示す気管支の中心線の接線方向Ｄ２の内視鏡画像Ｔｄ２を表示すればよい。

また、上記実施形態において、現在の内視鏡画像Ｔ０とともに表示する内視鏡画像に、現在の内視鏡の先端３Ｂの位置を特定する位置特定情報を表示してもよい。図１１は位置特定情報が表示された内視鏡画像を示す図である。図１１に示すように、内視鏡画像Ｔ０とともに表示される内視鏡画像Ｔ１に、内視鏡の先端３Ｂの部分の形状を破線で表した位置特定情報が重畳表示されている。なお、位置特定情報の重畳表示は表示制御部７５が行う。ここで、現在の内視鏡画像Ｔ０とともに表示する内視鏡画像Ｔ１を、現在位置から後方における現在位置に最も近い分岐位置Ｐｄにおいて取得した内視鏡画像Ｔｄとした場合、表示制御部７５は、内視鏡の先端３Ｂの現在位置Ｐｒと分岐位置Ｐｄとの距離を算出する。そして算出した距離に応じて、重畳する位置特定情報の長さを変更して、位置特定情報Ｓ０を内視鏡画像Ｔｄに重畳表示する。このため、内視鏡の先端３Ｂの現在位置Ｐｒが分岐位置Ｐｄと近い場合には、図１２に示すように、表示される位置特定情報Ｓ０が図１１に示すものよりも短くなる。

このように、内視鏡画像Ｔｄに位置特定情報を重畳表示することにより、内視鏡の現在の撮影位置の状況をより正確に把握することができる。

なお、位置特定情報としては、内視鏡の先端３Ｂの部分の形状を破線で表したものに限定されるものではなく、内視鏡の先端３Ｂを表す画像であってもよく、内視鏡の先端３Ｂを表す画像の透明度を高くしたものであっててもよい。

また、上記実施形態においては、位置検出装置３４において内視鏡の先端３Ｂの位置情報Ｐ０を取得しているが、プロセッサ装置３２において、被検体の口あるいは鼻を基準とした内視鏡スコープ３１の挿入距離を検出し、その挿入距離を位置情報Ｐ０として用いてもよい。この場合、位置情報取得部７３は、気管支のグラフ構造において、挿入距離を表す位置情報Ｐ０を用いて、内視鏡の先端３Ｂの現在位置を特定し、その位置を位置情報Ｐ１として取得すればよい。

また、上記実施形態においては、気管支抽出部７２において３次元画像Ｖ０から気管支のグラフ構造を抽出しているが、位置情報取得部７３が取得する位置情報Ｐ１の軌跡から気管支のグラフ構造を生成してもよい。

また、上記実施形態においては、３次元画像Ｖ０取得し、３次元画像Ｖ０から気管支のグラフ構造を抽出しているが、３次元画像Ｖ０を取得しないようにしてもよい。この場合、気管支のグラフ構造が取得されないため、位置検出装置３４から取得した位置情報Ｐ０と内視鏡画像Ｔ１とを対応づけて保存すればよい。

また、上記実施形態においては、操作者が現在位置において取得された内視鏡画像Ｔ０をキャプチャして保存する場合がある。この場合、キャプチャした内視鏡画像Ｔ０に加えて、キャプチャ時に表示されていた内視鏡画像Ｔ１も同時に保存するようにしてもよい。この場合、キャプチャした内視鏡画像Ｔ０とキャプチャ時に表示されていた内視鏡画像Ｔ１とを対応づけて保存することが好ましい。

また、上記実施形態においては、本発明の内視鏡画像表示装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、血管のように分岐構造を有する管状構造物の他、大腸、小腸および食道のように分岐構造を有さない管状構造物を内視鏡により観察する場合にも本発明を適用できることはもちろんである。

以下、本発明の実施態様の作用効果について説明する。

また、現在位置からあらかじめ定められた距離の後方位置において取得された保存内視鏡画像を表示することにより、内視鏡画像の進行方向に対して反対側の位置から、内視鏡の先端に向かう方向を確認することができるため、内視鏡の現在の撮影位置の状況をより容易に把握することができる。

また、現在位置から後方における現在位置に最も近い分岐位置において取得された保存内視鏡画像、あるいは現在位置から後方における複数の分岐位置において取得された複数の保存内視鏡画像を表示することにより、内視鏡の現在の撮影位置の状況を容易に把握することができる。

また、現在位置から後方位置において取得された、現在位置に向かう視線方向の保存内視鏡画像、あるいは管状構造物の中心線の接線方向の保存内視鏡画像を表示することにより、内視鏡の現在の撮影位置の状況を正確に把握することができる。

３ 内視鏡装置
４ ３次元画像撮影装置
５ 画像保管サーバ
６ 内視鏡画像表示装置
３４ 位置検出装置
７１ 画像取得部
７２ 気管支抽出部
７３ 位置情報取得部
７４ 保存部
７５ 表示制御部
６１ ＣＰＵ
６２ メモリ
６３ ストレージ
６４ ディスプレイ
６５ 入力部

Claims (8)

1. 管状構造物に挿入された内視鏡の先端の位置を表す位置情報を取得する位置情報取得手段と、
   前記位置情報と前記内視鏡の先端の位置において取得された内視鏡画像とを対応づけて保存する保存手段と、
   前記内視鏡の現在位置における内視鏡画像と、該現在位置からあらかじめ定められた距離の後方位置において取得されて前記保存手段に保存された保存内視鏡画像とを表示する表示制御手段とを備えたことを特徴とする内視鏡画像表示装置。
2. 前記管状構造物が分岐構造を有する場合、前記表示制御手段は、前記現在位置から後方における該現在位置に最も近い分岐位置において取得された前記保存内視鏡画像を表示する手段である請求項１記載の内視鏡画像表示装置。
3. 前記管状構造物が分岐構造を有する場合、前記表示制御手段は、前記現在位置から後方における複数の分岐位置において取得された複数の前記保存内視鏡画像を表示する手段である請求項１記載の内視鏡画像表示装置。
4. 前記位置情報取得手段は、前記内視鏡の先端の向きを表す向き情報をさらに取得する手段であり、
   前記保存手段は、前記向き情報を前記内視鏡画像と対応づけて保存する手段であり、
   前記表示制御手段は、前記現在位置から後方位置において取得された、該現在位置に向かう視線方向の前記保存内視鏡画像を表示する手段である請求項１から３のいずれか１項記載の内視鏡画像表示装置。
5. 前記位置情報取得手段は、前記内視鏡の先端の向きを表す向き情報をさらに取得する手段であり、
   前記保存手段は、前記向き情報を前記内視鏡画像と対応づけて保存する手段であり、
   前記表示制御手段は、前記現在位置から後方位置において取得された、前記管状構造物の中心線の接線方向の前記保存内視鏡画像を表示する手段である請求項１から３のいずれか１項記載の内視鏡画像表示装置。
6. 前記表示制御手段は、前記内視鏡の先端位置を特定する位置特定情報を前記保存内視鏡画像にさらに表示する手段である請求項１から５のいずれか１項記載の内視鏡画像表示装置。
7. 位置情報取得手段が、管状構造物に挿入された内視鏡の先端の位置を表す位置情報を取得し、
   保存手段が、前記位置情報と前記内視鏡の先端の位置において取得された内視鏡画像とを対応づけて保存し、
   表示制御手段が、前記内視鏡の現在位置における内視鏡画像と、該現在位置からあらかじめ定められた距離の後方位置において取得されて前記保存手段に保存された保存内視鏡画像とを表示することを特徴とする内視鏡画像表示装置の作動方法。
8. 管状構造物に挿入された内視鏡の先端の位置を表す位置情報を取得する手順と、
   前記位置情報と前記内視鏡の先端の位置において取得された内視鏡画像とを対応づけて保存手段に保存する手順と、
   前記内視鏡の現在位置における内視鏡画像と、該現在位置からあらかじめ定められた距離の後方位置において取得されて前記保存手段に保存された保存内視鏡画像とを表示する手順とをコンピュータに実行させることを特徴とする内視鏡画像表示プログラム。