JP6824078B2 - 内視鏡位置特定装置、方法およびプログラム - Google Patents

Description

本発明は、気管支等の分岐構造を有する管状構造物へ内視鏡を挿入して管状構造物の観察を行うに際し、管状構造物内における内視鏡の位置を特定する内視鏡位置特定装置、方法およびプログラムに関するものである。

近年、患者の気管支および大腸等の管状構造物を内視鏡を用いて観察または処置を行う技術が注目されている。しかしながら、内視鏡画像は、ＣＣＤ（Charge Coupled Device）等の撮像素子により管状構造物内部の色や質感が鮮明に表現された画像が得られる一方で、管状構造物の内部を２次元の画像に表すものである。このため、内視鏡画像が管状構造物内のどの位置を表しているものかを把握することが困難である。とくに、気管支用の内視鏡は、径が細く視野が狭いため、内視鏡の先端を目的とする位置まで到達させることは困難である。

そこで、ＣＴ（Computed Tomography）装置あるいはＭＲＩ（Magnetic Resonance Imaging）装置等のモダリティによる断層撮影により取得された３次元画像を用いて、内視鏡のナビゲーションを行う手法が提案されている。例えば、特許文献１には、気管支の実内視鏡画像と一致する仮想内視鏡画像を生成し、その仮想内視鏡画像を生成した際のパラメータに基づいて、内視鏡先端の方向および角度等を算出し、さらに気管支のグラフ構造上における内視鏡先端の位置を検出する手法が提案されている。また、特許文献２には、３次元画像から気管支のグラフ構造を抽出し、気管支の分岐位置において実内視鏡画像と気管支における３次元画像とのマッチングを行って、内視鏡の通過位置を検出する手法が提案されている。また、特許文献３には、前後する撮影時間の実内視鏡画像に含まれる、管腔粘膜上の局所的な部位を特徴付ける特徴構造、例えば管腔粘膜のしわおよび表面に透けて見える血管等の位置に基づいて、内視鏡の移動量を算出する手法が提案されている。

再表２０１２／１０１８８号公報 特開２０１６−１７９１２１号公報 特開２０１４−０００４２１号公報

気管支に含まれる分岐構造は、その位置に拘わらず形状が類似する。このため、特許文献１，２に記載された手法のように、実内視鏡画像と３次元画像とのマッチングを行うと、実内視鏡画像に含まれる分岐構造と類似する仮想内視鏡画像が複数検出される場合がある。このような場合、いずれの仮想内視鏡画像をナビゲーションに使用するかにより、内視鏡の位置が大きく異なることとなる。また、特許文献３に記載された手法により、内視鏡の現在位置を検出することができるが、時間が経過するにつれて誤差が蓄積され、その結果、検出される内視鏡の位置が実際の位置から徐々にずれていくおそれがある。

本発明は上記事情に鑑みなされたものであり、分岐構造を有する管状構造物内に挿入された内視鏡の位置を、より正確に特定できるようにすることを目的とする。

本発明による内視鏡位置特定装置は、複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す内視鏡画像を順次取得する内視鏡画像取得手段と、
管状構造物を含む３次元画像から、管状構造物の画像を生成する画像生成手段と、
順次取得される内視鏡画像に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における内視鏡の移動量を算出し、算出された移動量に基づいて内視鏡の位置を推定し、推定された位置に基づいて管状構造物内における内視鏡が存在する可能性を表す第１の確信度を算出する第１の確信度算出手段と、
管状構造物内の複数位置のそれぞれにおいて、管状構造物の画像と内視鏡画像とのマッチングを行って、複数位置のそれぞれにおいて内視鏡が存在する可能性を表す第２の確信度を算出する第２の確信度算出手段と、
第１の確信度および第２の確信度に基づいて、内視鏡の現在位置を特定する現在位置特定手段とを備えたことを特徴とするものである。

なお、本発明による内視鏡位置特定装置においては、第２の確信度算出手段は、第１の確信度算出手段が推定した内視鏡の位置を基準とした予め定められた範囲において、第２の確信度を算出するものであってもよい。

また、本発明による内視鏡位置特定装置においては、順次取得される内視鏡画像において正常内視鏡画像を特定する正常内視鏡画像特定手段をさらに備えるものとし、
第１の確信度算出手段は、正常内視鏡画像から基準となる内視鏡画像および最新の内視鏡画像を選択して第１の確信度を算出するものであってもよい。

通常、内視鏡により撮影された内視鏡画像は、管状構造物の内壁の構造を表すものである。しかしながら、内視鏡検査においては内視鏡の先端から薬物または水等の液体を噴出する場合がある。このような場合、内視鏡画像には噴出された液体の飛沫が含まれ、管状構造物の内壁が含まれず、診断する上で意味が無いものとなる。このような診断上重要な本来含まれるべき管状構造物の内壁が含まれない内視鏡画像を、「異常内視鏡画像」と称する。

「正常内視鏡画像」とは、診断上重要な本来含まれるべき管状構造物の内壁が含まれる内視鏡画像を意味する。

また、本発明による内視鏡位置特定装置においては、第１の確信度算出手段は、基準となる内視鏡画像を複数設定し、複数の基準となる内視鏡画像のそれぞれが取得されてから最新の内視鏡画像が取得されるまでの間における、内視鏡の複数の移動量を算出し、複数の移動量から複数の内視鏡の位置を推定し、推定された複数の位置のそれぞれにおいて第１の確信度を算出し、
現在位置特定手段は、複数の第１の確信度および第２の確信度に基づいて、内視鏡の現在位置を特定するものであってもよい。

また、本発明による内視鏡位置特定装置においては、管状構造物の画像を表示し、かつ管状構造物の画像上において内視鏡の現在位置を表示する表示制御手段をさらに備えるものであってもよい。

本発明による内視鏡位置特定方法は、複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す内視鏡画像を順次取得し、
管状構造物を含む３次元画像から、管状構造物の画像を生成し、
順次取得される内視鏡画像に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における内視鏡の移動量を算出し、算出された移動量に基づいて内視鏡の位置を推定し、推定された位置に基づいて管状構造物内における内視鏡が存在する可能性を表す第１の確信度を算出し、
管状構造物内の複数位置のそれぞれにおいて、管状構造物の画像と内視鏡画像とのマッチングを行って、複数位置のそれぞれにおいて内視鏡が存在する可能性を表す第２の確信度を算出し、
第１の確信度および第２の確信度に基づいて、内視鏡の現在位置を特定することを特徴とするものである。

なお、本発明による内視鏡位置特定方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明による他の内視鏡位置特定装置は、コンピュータに実行させるための命令を記憶するメモリ、および
記憶された命令を実行するよう構成されたプロセッサであって、
複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、管状構造物の内壁を表す内視鏡画像を順次取得する内視鏡画像取得処理と、
管状構造物を含む３次元画像から、管状構造物の画像を生成する画像生成処理と、
順次取得される内視鏡画像に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における内視鏡の移動量を算出し、算出された移動量に基づいて内視鏡の位置を推定し、推定された位置に基づいて管状構造物内における内視鏡が存在する可能性を表す第１の確信度を算出する第１の確信度算出処理と、
管状構造物内の複数位置のそれぞれにおいて、管状構造物の画像と内視鏡画像とのマッチングを行って、複数位置のそれぞれにおいて内視鏡が存在する可能性を表す第２の確信度を算出する第２の確信度算出処理と、
第１の確信度および第２の確信度に基づいて、内視鏡の現在位置を特定する現在位置特定処理とを実行するプロセッサを備えたことを特徴とするものである。

本発明によれば、順次取得される内視鏡画像に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における内視鏡の移動量が算出され、算出された移動量に基づいて内視鏡の位置が推定され、さらに推定された位置に基づいて管状構造物内における内視鏡が存在する可能性を表す第１の確信度が算出される。そして、管状構造物内の複数位置のそれぞれにおいて、管状構造物の画像と内視鏡画像とのマッチングが行われ、複数位置のそれぞれにおいて内視鏡が存在する可能性を表す第２の確信度が算出される、ここで、第１の確信度は、基準となる内視鏡画像が取得された位置からの、内視鏡の位置の相対的な変化を正確に算出することができるが、時間が経過するにつれて誤差が蓄積されて、精度が低下する可能性がある。一方、第２の確信度は、内視鏡の絶対的な位置を正確に算出することができるが、管状構造物には形状が類似する分岐が複数含まれるため、管状構造物内の複数の位置において第２の確信度が大きくなることから、内視鏡の現在位置を特定できなくなる可能性がある。

本実施形態においては、第１の確信度および第２の確信度の双方に基づいて内視鏡の現在位置を特定しているため、第１の確信度および第２の確信度の利点を生かして、分岐構造を有する管状構造物内に挿入された内視鏡の位置をより正確に特定できる。

本発明の第１の実施形態による内視鏡位置特定装置を適用した、診断支援システムの概要を示すハードウェア構成図 コンピュータに内視鏡位置特定プログラムをインストールすることにより実現される第１の実施形態による内視鏡位置特定装置の概略構成を示す図 第１の確信度算出部の構成を示す概略ブロック図 内視鏡画像を示す図 内視鏡先端の偏りの算出を説明するための図 内視鏡先端の位置の推定を説明するための図 第１の確信度の分布を示す図 気管支画像における第１の確信度の分布を示す図 仮想分岐画像を生成する範囲を示す図 仮想分岐画像を示す図 第２の確信度の算出を説明するための図 ディスプレイに表示される画像を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態において、複数の基準となる内視鏡画像に基づいて推定された内視鏡の位置を示す図 異常内視鏡画像を示す図 第３の実施形態による内視鏡位置特定装置の概略構成を示す図 正常内視鏡画像の特定を説明するための図

以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の第１の実施形態による内視鏡位置特定装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、このシステムでは、内視鏡装置３、３次元画像撮影装置４、画像保管サーバ５および内視鏡位置特定装置６が、ネットワーク８を経由して通信可能な状態で接続されている。

内視鏡装置３は、被検体の管状構造物の内部を撮影する内視鏡スコープ１、および撮影により得られた信号に基づいて管状構造物の内部の画像を生成するプロセッサ装置２等を備える。

内視鏡スコープ１は、操作部３Ａに被検体の管状構造物内に挿入される挿入部が取り付けられたものであり、プロセッサ装置２に着脱可能に接続されたユニバーサルコードを介してプロセッサ装置２に接続されている。操作部３Ａは、挿入部の先端３Ｂが所定の角度範囲内で上下方向および左右方向に湾曲するように動作を指令したり、内視鏡スコープ１の先端に取り付けられた穿刺針を操作して組織のサンプルの採取を行ったり、薬品を噴霧したりするための各種ボタンを含む。本実施形態では、内視鏡スコープ１は気管支用の軟性鏡であり、被検体の気管支内に挿入される。そして、プロセッサ装置２に設けられた不図示の光源装置から光ファイバーで導かれた光が内視鏡スコープ１の挿入部の先端３Ｂから照射され、内視鏡スコープ１の撮像光学系により被検体の気管支内の画像が取得される。なお、内視鏡スコープ１の挿入部の先端３Ｂについて、説明を容易なものとするために、以降の説明においては内視鏡先端３Ｂと称するものとする。

プロセッサ装置２は、内視鏡スコープ１で撮影された撮影信号をデジタル画像信号に変換し、ホワイトバランス調整およびシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像Ｇ０を生成する。なお、生成される画像は、例えば３０ｆｐｓ等の所定のフレームレートにより表される複数の内視鏡画像Ｇ０からなる動画像である。内視鏡画像Ｇ０は、画像保管サーバ５あるいは内視鏡位置特定装置６に送信される。

３次元画像撮影装置４は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像Ｖ０を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、ＰＥＴ(Positron Emission Tomography)、および超音波診断装置等である。この３次元画像撮影装置４により生成された３次元画像Ｖ０は画像保管サーバ５に送信され、保存される。本実施形態では、３次元画像撮影装置４は、気管支を含む胸部を撮影した３次元画像Ｖ０を生成するＣＴ装置とする。

画像保管サーバ５は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ５は、ネットワーク８を介して他の装置と通信を行い、画像データ等を送受信する。具体的には内視鏡装置３で取得された内視鏡画像Ｇ０および３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、内視鏡画像Ｇ０は、内視鏡先端３Ｂの移動に応じて順次取得される動画像データとなる。このため、内視鏡画像Ｇ０は、画像保管サーバ５を経由することなく、内視鏡位置特定装置６に送信されることが好ましい。なお、画像データの格納形式やネットワーク８経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

内視鏡位置特定装置６は、１台のコンピュータに、第１の実施形態の内視鏡位置特定プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションあるいはパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。内視鏡位置特定プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて内視鏡位置特定装置６の使用者である医師が使用するコンピュータにダウンロードされ、インストールされる。

図２は、コンピュータに内視鏡位置特定プログラムをインストールすることにより実現される内視鏡位置特定装置の概略構成を示す図である。図２に示すように、内視鏡位置特定装置６は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、内視鏡位置特定装置６には、ディスプレイ１４と、マウス等の入力部１５とが接続されている。

ストレージ１３には、ネットワーク８を経由して内視鏡装置３、３次元画像撮影装置４および画像保管サーバ５等から取得した内視鏡画像Ｇ０、並びに３次元画像Ｖ０および内視鏡位置特定装置６での処理によって生成された画像等が記憶される。

また、メモリ１２には、内視鏡位置特定プログラムが記憶されている。内視鏡位置特定プログラムは、ＣＰＵ１１に実行させる処理として、プロセッサ装置２が生成した内視鏡画像Ｇ０を順次取得し、かつ３次元画像撮影装置４で生成された３次元画像Ｖ０等の画像データを取得する画像取得処理、３次元画像Ｖ０から管状構造物の画像である気管支画像を生成する気管支画像生成処理、順次取得される内視鏡画像に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における内視鏡の移動量を算出し、算出された移動量に基づいて内視鏡の位置を推定し、推定された位置に基づいて管状構造物内における内視鏡が存在する可能性を表す第１の確信度を算出する第１の確信度算出処理、管状構造物内の複数位置のそれぞれにおいて、管状構造物の画像と内視鏡画像とのマッチングを行って、管状構造物内の複数位置のそれぞれにおいて内視鏡が存在する可能性を表す第２の確信度を算出する第２の確信度算出処理、第１の確信度および第２の確信度に基づいて、内視鏡の現在位置を特定する現在位置特定処理、並びに気管支画像を表示し、気管支画像上において内視鏡の現在位置を表示する表示制御処理を規定する。

そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、気管支画像生成部２２、第１の確信度算出部２３、第２の確信度算出部２４、現在位置特定部２５および表示制御部２６として機能する。なお、画像取得処理、気管支画像生成処理、第１の確信度算出処理、第２の確信度算出処理，現在位置特定処理および表示制御処理をそれぞれ行う複数のプロセッサを備えるものであってもよい。ここで、画像取得部２１が内視鏡画像取得手段に、気管支画像生成部２２が画像生成部にそれぞれ対応する。

画像取得部２１は、内視鏡装置３により気管支内を撮影した内視鏡画像Ｇ０を順次取得し、かつ３次元画像Ｖ０を取得する。画像取得部２１は、３次元画像Ｖ０が既にストレージ１３に記憶されている場合には、ストレージ１３から取得するようにしてもよい。内視鏡画像Ｇ０はディスプレイ１４に表示される。なお、画像取得部２１は、取得した内視鏡画像Ｇ０および３次元画像Ｖ０をストレージ１３に保存する。

気管支画像生成部２２は、３次元画像Ｖ０から気管支画像を生成する。このために、気管支画像生成部２２は、例えば特開２０１０−２２０７４２号公報等に記載された手法を用いて、３次元画像Ｖ０に含まれる気管支領域のグラフ構造を抽出して、３次元の気管支画像を生成するする。以下、このグラフ構造の抽出方法の一例を説明する。

３次元画像Ｖ０においては、気管支の内部の画素は空気領域に相当するため低い画素値を示す領域として表されるが、気管支壁は比較的高い画素値を示す円柱あるいは線状の構造物として表される。そこで、各画素毎に画素値の分布に基づく形状の構造解析を行って気管支を抽出する。

気管支は多段階に分岐し、末端に近づくほど気管支の径は小さくなっていく。気管支画像生成部２２は、異なるサイズの気管支を検出することができるように、３次元画像Ｖ０を多重解像度変換して解像度が異なる複数の３次元画像を生成し、各解像度の３次元画像毎に検出アルゴリズムを適用することにより、異なるサイズの管状構造物を検出する。

まず、各解像度において、３次元画像の各画素のヘッセ行列を算出し、ヘッセ行列の固有値の大小関係から管状構造物内の画素であるか否かを判定する。ヘッセ行列は、各軸（３次元画像のｘ軸、ｙ軸、ｚ軸）方向における濃度値の２階の偏微分係数を要素とする行列であり、下記の式（１）に示すように３×３行列となる。
任意の画素におけるヘッセ行列の固有値をλ１、λ２、λ３としたとき、固有値のうち２つの固有値が大きく、１つの固有値が０に近い場合、例えば、λ３、λ２≫λ１、λ１≒０を満たすとき、その画素は管状構造物であることが知られている。また、ヘッセ行列の最小の固有値（λ１≒０）に対応する固有ベクトルが管状構造物の主軸方向に一致する。

気管支はグラフ構造で表すことができるが、このようにして抽出された管状構造物は、腫瘍等の影響により、全ての管状構造物が繋がった１つのグラフ構造として検出されるとは限らない。そこで、３次元画像Ｖ０全体からの管状構造物の検出が終了した後、抽出された各管状構造物が一定の距離内にあり、かつ抽出された２つの管状構造物上の任意の点を結ぶ基本線の向きと各管状構造物の主軸方向とがなす角が一定角度以内であるかについて評価することにより、複数の管状構造物が接続されるものであるか否かを判定して、抽出された管状構造物の接続関係を再構築する。この再構築により、気管支のグラフ構造の抽出が完了する。

そして、気管支画像生成部２２は、抽出したグラフ構造を、開始点、端点、分岐点および辺に分類し、開始点、端点および分岐点を辺で連結することによって、気管支を表す３次元のグラフ構造を気管支画像Ｂ０として生成する。なお、気管支画像Ｂ０の生成方法としては、上述した方法に限定されるものではなく、他の方法を採用してもよい。

さらに気管支画像生成部２２は、気管支のグラフ構造の中心軸を検出する。また、気管支のグラフ構造の中心軸上の各画素位置から、気管支のグラフ構造の内壁までの距離を、その画素位置における気管支の半径として算出する。なお、グラフ構造の中心軸が延在する方向が、気管支が延在する方向となる。

第１の確信度算出部２３は、順次取得される内視鏡画像Ｇ０に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における内視鏡の移動量を算出し、算出された移動量に基づいて内視鏡の位置を推定し、推定された位置に基づいて気管支内における内視鏡先端３Ｂが存在する可能性を表す第１の確信度Ａ１を算出する。以下、第１の確信度Ａ１の算出について説明する。

図３は第１の確信度算出部の構成を示す概略ブロック図である。図３に示すように、第１の確信度算出部２３は、穴部検出部３１、第１のパラメータ算出部３２、第２のパラメータ算出部３３、移動量算出部３４、偏り算出部３５および位置推定部３６を備える。

穴部検出部３１は、順次取得される内視鏡画像Ｇ０のうちの第１の内視鏡画像および第１の内視鏡画像よりも時間的に前に取得された第２の内視鏡画像のそれぞれから、気管支の穴部を検出する。なお、以降の説明においては、第１の内視鏡画像および第２の内視鏡画像の参照符号をそれぞれＧｔ、Ｇｔ−１とする。したがって、第２の内視鏡画像Ｇｔ−１は、第１の内視鏡画像Ｇｔの１つ前の時間において取得されたものである。なお、第２の内視鏡画像Ｇｔ−１が基準となる内視鏡画像となり、第１の内視鏡画像Ｇｔが最新の内視鏡画像となる。

図４は、第１および第２の内視鏡画像を示す図である。第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１とを比較すると、第２の内視鏡画像Ｇｔ−１の方が第１の内視鏡画像Ｇｔよりも時間的に前に取得されている。このため、第２の内視鏡画像Ｇｔ−１に含まれる気管支の分岐における２つの穴部Ｈ１ｔ−１，Ｈ２ｔ−１は、第１の内視鏡画像Ｇｔに含まれる２つの穴部Ｈ１ｔ，Ｈ２ｔよりも小さい。

穴部検出部３１は、ＭＳＥＲの手法を用いて第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１から穴部を検出する。ＭＳＥＲの手法は、内視鏡画像において輝度がしきい値未満となる暗い領域を検出する。そして、しきい値を変更しつつ輝度がしきい値未満となる暗い領域を検出する。そして、しきい値の変化に対して暗い領域の面積が最も大きく変化するしきい値を求め、輝度がそのしきい値未満となる暗い領域を穴部として検出する手法である。

第１のパラメータ算出部３２は、第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれの穴部を一致させるための、第２の内視鏡画像Ｇｔ−１に対する第１の内視鏡画像Ｇｔの平行移動量を表す第１のパラメータを算出する。具体的には、第１のパラメータ算出部３２は、第１の内視鏡画像Ｇｔの重心と第２の内視鏡画像Ｇｔ−１の重心とが一致する状態を初期位置として、第１の内視鏡画像Ｇｔを第２の内視鏡画像Ｇｔ−１に対して２次元的に移動させつつ相関を算出する。そして、相関が最大となった第１の内視鏡画像Ｇｔの２次元的な移動量を、第１のパラメータＰ１として算出する。なお、第１のパラメータＰ１は、図４に示すように紙面の水平方向にｘ軸を、垂直方向のｙ軸を設定した場合におけるｘ，ｙの値となる。

なお、第１のパラメータ算出部３２は、第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれから、穴部を含む局所的な領域を抽出し、抽出した領域のみを用いて第１のパラメータＰ１を算出してもよい。これにより、第１のパラメータＰ１の算出のための演算量を低減できる。また、第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれにおいて、穴部を含む局所的な領域の重み付けを大きくして第１のパラメータＰ１を算出してもよい。

第２のパラメータ算出部３３は、第１のパラメータＰ１に基づいて、第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１との位置合わせを行い、位置合わせ後の第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のそれぞれの穴部を一致させるための、第２の内視鏡画像Ｇｔ−１に対する第１の内視鏡画像Ｇｔの拡大縮小量を含む第２のパラメータＰ２を算出する。本実施形態においては、拡大縮小量に加えて、第２の内視鏡画像Ｇｔ−１に対する第１の内視鏡画像Ｇｔの回転量をさらに含む第２のパラメータＰ２を算出する。

このために、第２のパラメータ算出部３３は、まず、第１のパラメータＰ１に基づいて、第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１との位置合わせを行う。具体的には、第１の内視鏡画像Ｇｔを第１のパラメータＰ１に基づいて第２の内視鏡画像Ｇｔ−１に対して平行移動させることにより、位置合わせを行う。

そして、第２のパラメータ算出部３３は、位置合わせ後の第１の内視鏡画像Ｇｔを第２の内視鏡画像Ｇｔ−１に対して、段階的に拡大および縮小させつつ相関を算出する。この際、第１の内視鏡画像Ｇｔに含まれる穴部の大きさと、第２の内視鏡画像Ｇｔ−１に含まれる穴部の大きさとが一致すると、相関が最大となる。第２のパラメータ算出部３３は、相関が最大となった第１の内視鏡画像Ｇｔの拡大率を、第２のパラメータＰ２に含まれる拡大縮小量として算出する。

また、第２のパラメータ算出部３３は、位置合わせ後の第１の内視鏡画像Ｇｔを第２の内視鏡画像Ｇｔ−１に対して、検出した穴部の中心を基準として段階的に回転させつつ、相関を算出する。この際、検出した穴が複数ある場合には、検出した穴のそれぞれの中心を基準として段階的に回転させつつ、相関を算出する。なお、検出した１つの穴の中心のみを基準として相関を算出してもよい。そして、相関が最大となったときの第１の内視鏡画像Ｇｔの回転角度を、第２のパラメータＰ２に含まれる回転量として算出する。なお、第２のパラメータ算出部３３は、第２のパラメータＰ２に含まれる拡大縮小量および回転量のいずれを先に算出してもよい。

移動量算出部３４は、第１のパラメータＰ１および第２のパラメータＰ２に基づいて、第２の内視鏡画像Ｇｔ−１を取得した位置から第１の内視鏡画像Ｇｔを取得した位置までの、内視鏡先端３Ｂの移動量を算出する。具体的には、内視鏡先端３Ｂの平行移動量、内視鏡先端３Ｂの気管支の中心軸が延在する方向への移動量、および内視鏡先端３Ｂの回転の移動量を算出する。このために、移動量算出部３４は、まず、気管支画像生成部２２が抽出した気管支画像Ｂ０において、内視鏡先端３Ｂの初期位置を設定する。本実施形態においては、初期位置はディスプレイ１４に表示された内視鏡画像Ｇ０における最初の分岐の位置とする。初期位置の設定のために、表示制御部２６は、気管支画像生成部２２が抽出した気管支画像Ｂ０をディスプレイ１４に表示する。操作者はディスプレイ１４に表示された気管支画像Ｂ０に対して、入力部１５を用いて初期位置を設定する。なお、最初の分岐の位置における内視鏡画像Ｇ０と、気管支画像とのマッチングを行って、自動で気管支画像Ｂ０に初期位置を設定してもよい。

本実施形態においては、初期位置を開始位置として、内視鏡画像Ｇ０が取得される毎に移動量を算出する。ここでは、ある時点における第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１を用いた移動量の算出について説明する。移動量算出部３４は、第１のパラメータＰ１および第２のパラメータＰ２を、内視鏡先端３Ｂの移動量に変換することにより、移動量を算出する。ここで、第２の内視鏡画像Ｇｔ−１を取得した位置は、この第２の内視鏡画像Ｇｔ−１を第１の内視鏡画像Ｇｔとした１つ前の処理により特定されている。移動量算出部３４は、第２の内視鏡画像Ｇｔ−１を取得した位置における気管支の半径を気管支画像Ｂ０から取得する。そして、移動量算出部３４は、取得した気管支の半径をスケーリング係数として、平行移動量である第１のパラメータＰ１に乗算して、内視鏡先端３Ｂの平行移動量を算出する。また、スケーリング係数を第２のパラメータＰ２に含まれる拡大縮小量に乗算して、内視鏡先端３Ｂの気管支の中心軸が延在する方向の移動量を算出する。なお、拡大縮小量が拡大の値（すなわち拡大率が１より大きい）であれば、気管支の中心軸に沿った移動方向は内視鏡先端３Ｂの向く方向であり、拡大縮小量が縮小の値（すなわち拡大率が１より小さい）であれば、気管支の中心軸に沿った移動方向は内視鏡先端３Ｂの向く方向とは反対の方向である。なお、第２のパラメータＰ２に含まれる回転量に対しては、スケーリング係数を乗算することなく、回転量をそのまま回転の移動量として算出する。

移動量算出部３４は、移動量、すなわち内視鏡先端３Ｂの平行移動量、内視鏡先端３Ｂの気管支の中心軸が延在する方向の移動量、および内視鏡先端３Ｂの回転の移動量をストレージ１３に保存する。なお、本実施形態では、移動量は、初期位置から内視鏡画像Ｇ０が取得される毎に蓄積されて保存される。

偏り算出部３５は、ストレージ１３に保存された移動量に基づいて、気管支内における内視鏡先端３Ｂの偏りを算出する。図５は内視鏡先端３Ｂの偏りの算出を説明するための図である。なお、図５には、気管支４０およびその中心軸Ｃ０を示している。内視鏡先端３Ｂは気管支４０の中心軸Ｃ０を通って移動することが好ましいが、実際には破線４１に示すように、中心軸Ｃ０から隔たりを持って移動する。本実施形態においては、ストレージ１３に保存された移動量のうちの平行移動量に基づいて、内視鏡先端３Ｂの中心軸Ｃ０からの隔たりを、気管支内における内視鏡先端３Ｂの偏りとして算出する。図５に示すように、内視鏡先端３Ｂが位置４２にある場合、偏りは４３により表される。

位置推定部３６は、第２の内視鏡画像Ｇｔ−１を取得した位置から第１の内視鏡画像Ｇｔを取得した位置までの内視鏡先端３Ｂの移動量および偏り算出部３５が算出した内視鏡先端３Ｂの偏りに基づいて、気管支内における内視鏡先端３Ｂの位置を推定する。図６は内視鏡先端の位置の推定を説明するための図である。なお、図６においては気管支画像Ｂ０における内視鏡先端３Ｂの初期位置を位置５１としている。初期位置５１から内視鏡先端３Ｂが気管支の奥に向けて、位置５２、位置５３および位置５４と偏りを持って移動する。第２の内視鏡画像Ｇｔ−１が取得された位置が位置５３であり、第１の内視鏡画像Ｇｔが取得された位置が位置５４である場合、位置推定部３６は位置５４を内視鏡先端３Ｂの位置と推定する。

また、位置推定部３６は、推定された内視鏡先端３Ｂの位置を基準とした、内視鏡先端３Ｂが存在する可能性を表す第１の確信度Ａ１を算出する。第１の確信度Ａ１は推定された内視鏡先端３Ｂの位置を基準とした３次元の分布を有し、推定された位置に近いほど大きい値を有する。なお、本実施形態においては、第１の確信度Ａ１は０〜１の値を有するものとする。また、第１の確信度Ａ１は、予め実験的に算出されてストレージ１３に保存されている。また、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの時間が長いほど、第１の確信度Ａ１は小さくなり、その分布も異なるものとなる。このため、本実施形態においては、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの時間に応じて複数種類の第１の確信度Ａ１がストレージ１３に保存されている。位置推定部３６は、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの時間（本実施形態においては、第２の内視鏡画像Ｇｔ−１が取得されてから第１の内視鏡画像Ｇｔが取得されるまでの時間）に対応する第１の確信度Ａ１をストレージ１３から取得する。

図７は第１の確信度Ａ１の分布を示す図である。図７において横軸は位置、縦軸は第１の確信度Ａ１の大きさである。なお、図７は説明のために２次元で示しているが、第１の確信度Ａ１は３次元の分布を有する。図７に示すように、第１の確信度Ａ１は推定された内視鏡先端３Ｂの位置５４において値が最も高く、位置５４から離れるほど値が小さくなる。このため、第１の確信度Ａ１は、図８に示す気管支画像Ｂ０において、推定された位置５４を中心とした球状の分布となる。

第２の確信度算出部２４は、気管支内の複数位置のそれぞれにおいて、気管支画像Ｂ０と内視鏡画像Ｇ０とのマッチングを行い、気管支画像Ｂ０内の複数位置のそれぞれにおいて、内視鏡先端３Ｂが存在する可能性を表す第２の確信度Ａ２を算出する。このために，まず第２の確信度算出部２４は、第１の内視鏡画像Ｇｔと気管支画像Ｂ０とのマッチングを行う。なお、第１の内視鏡画像Ｇｔを気管支画像Ｂ０における気管支内の全画素位置でマッチングを行うことは、演算量および演算時間の観点から困難である。このため、本実施形態においては、気管支画像Ｂ０内における離散的な位置においてマッチングを行う。例えば、気管支画像Ｂ０における中心軸Ｃ０上において予め定められた画素間隔でマッチングを行ってもよく、気管支画像Ｂ０における分岐位置を中心とする予め定められた画素範囲内においてのみマッチングを行ってもよい。また、位置推定部３６が推定した内視鏡先端３Ｂの位置または前回の処理において特定された内視鏡先端３Ｂの位置を含む予め定められた範囲内においてのみマッチングを行ってもよい。また、これらのマッチングの手法を組み合わせてマッチングを行ってもよい。本実施形態においては、位置推定部３６が推定した内視鏡先端３Ｂの位置を含む予め定められた範囲内においてマッチングを行うものとする。

第２の確信度算出部２４は、まず第１の確信度算出部２３の位置推定部３６が推定した内視鏡先端３Ｂの位置を気管支画像Ｂ０に設定し、設定された位置を基準とした予め定められた範囲内において、仮想分岐画像を生成する。図９は仮想分岐画像を生成する範囲を示す図である。図９に示すように、内視鏡先端３Ｂが位置５４にあると推定された場合、第２の確信度算出部２４は、位置５４を中心とする球状の範囲５５内において、仮想分岐画像を生成する。具体的には、範囲５５内における気管支画像Ｂ０の分岐の位置を特定し、特定した位置から内視鏡先端３Ｂが向かう方向における分岐の穴部を検出し、穴部の輪郭のみからなる仮想分岐画像を生成する。なお、説明のために図９においては、範囲５５内の４つの分岐の位置５６〜５９において仮想内視鏡画像が生成されるものとする。

図１０は仮想分岐画像を示す図である。図１０に示すように仮想分岐画像Ｋ０には、分岐の穴部の輪郭７０〜７３が含まれている。なお、範囲５５には複数の分岐が含まれるため、複数の仮想分岐画像が生成される。

第２の確信度算出部２４は、第１の内視鏡画像Ｇｔとすべての仮想分岐画像Ｋ０との相関を算出することにより、第１の内視鏡画像Ｇｔと仮想分岐画像Ｋ０とのマッチングを行う。相関は画素値の差分の絶対値の和の逆数、または画素値の差分の二乗の和の逆数等を用いることができる。本実施形態においては、算出した相関が第２の確信度Ａ２となる。また、仮想分岐画像Ｋ０を生成した分岐の位置５６〜５９の周辺位置においても相関を算出する。これにより、第２の確信度Ａ２は、仮想分岐画像Ｋ０を生成した分岐の位置５６〜５９において最も値が大きく、位置５６〜５９から離れるほど値が小さくなる分布を有するものとなる。

図１１は第２の確信度を説明するための図である。図１１に示すように、内視鏡先端３Ｂが位置５４にあると推定された場合、第２の確信度算出部２４は、気管支画像Ｂ０における位置５４を中心とする球状の範囲５５内における位置５６〜５９おいて、第２の確信度Ａ２を算出する。図１１において、濃度が高い円の中心ほど第２の確信度Ａ２が大きいことを表している。

現在位置特定部２５は、第１の確信度Ａ１および第２の確信度Ａ２に基づいて、内視鏡先端３Ｂの現在位置を特定する。具体的には、気管支画像Ｂ０内において、第１の確信度Ａ１と第２の確信度Ａ２とを加算し、加算値が最も大きくなる気管支画像Ｂ０内における画素位置を内視鏡先端３Ｂの現在位置に特定する。

ここで、位置５６〜５９における第２の確信度Ａ２の値がそれぞれ０．７、０．５、０．４、０．２であるものとする。また、第１の確信度Ａ１は位置５４を中心に分布を持っており、位置５６〜５９における第１の確信度Ａ１の値がそれぞれ０．６、０．５、０．８、０．５であるものとする。各位置５６〜５９における第１の確信度Ａ１と第２の確信度Ａ２との加算値は、それぞれ１．３、１．０、１．２、０．７となる。このため、現在位置特定部２５は加算値が最も大きい位置５６を、内視鏡先端３Ｂの現在位置に特定する。

表示制御部２６は、各内視鏡画像Ｇ０について特定された内視鏡先端３Ｂの現在位置を繋げて、ディスプレイ１４に表示された気管支画像Ｂ０上に表示する。

図１２はディスプレイに表示された気管支画像を示す図である。図１２に示すようにディスプレイ１４には、気管支画像Ｂ０および現在位置において撮影されている内視鏡画像Ｇ０が表示される。なお、内視鏡画像Ｇ０は第１の内視鏡画像Ｇｔである。また、気管支画像Ｂ０においては、内視鏡先端３Ｂの初期位置５１、現在位置６１および初期位置５１と現在位置６１との間において特定された内視鏡先端３Ｂの現在位置を繋ぐことにより得られる現在位置６１までの軌跡６２が表示されている。軌跡６２の先端が内視鏡先端３Ｂの現在位置６１となる。なお、内視鏡先端３Ｂの現在位置６１を点滅させるまたはマークを付与する等して、内視鏡先端３Ｂの位置が気管支画像Ｂ０において視認できるようにしてもよい。

次いで、第１の実施形態において行われる処理について説明する。図１３は第１の実施形態において行われる処理を示すフローチャートである。なお、ここでは初期位置から気管支の奥に向けて内視鏡先端３Ｂが挿入されており、ある時点における内視鏡画像Ｇ０を第１の内視鏡画像Ｇｔとする場合の処理について説明する。また、気管支画像生成部２２により、３次元画像Ｖ０から気管支画像Ｂ０が生成されているものとする。画像取得部２１がある時点における内視鏡画像Ｇ０を第１の内視鏡画像Ｇｔとして取得し（ステップＳＴ１）、第１の確信度算出部２３が、１つ前の時間に取得された第２の内視鏡画像Ｇｔ−１を取得した際に特定された内視鏡先端３Ｂの位置からの、内視鏡先端３Ｂの移動量を算出し（ステップＳＴ２）、算出された移動量に基づいて内視鏡の位置を推定し（ステップＳＴ３）、推定された位置に基づいて気管支内における内視鏡先端３Ｂが存在する可能性を表す第１の確信度Ａ１を算出する（ステップＳＴ４）。

次いで、第２の確信度算出部２４が、気管支内の複数位置のそれぞれにおいて、気管支画像Ｂ０と第１の内視鏡画像Ｇｔとのマッチングを行って、気管支画像Ｂ０内の複数位置のそれぞれにおいて、内視鏡先端３Ｂが存在する可能性を表す第２の確信度Ａ２を算出する（ステップＳＴ５）。そして、現在位置特定部２５が、第１の確信度Ａ１および第２の確信度Ａ２に基づいて、内視鏡先端３Ｂの現在位置を特定する（ステップＳＴ６）。さらに表示制御部２６が、特定された内視鏡先端３Ｂの現在位置を、ディスプレイ１４に表示された気管支画像Ｂ０上に表示し（ステップＳＴ７）、ステップＳＴ１に戻る。なお、特定された内視鏡先端３Ｂの現在位置はストレージ１３に保存され、次回の処理において基準となる内視鏡画像を取得した位置として使用される。

ここで、第１の確信度Ａ１は、内視鏡先端３Ｂの位置の前回の位置からの相対的な変化を正確に算出することができるが、時間が経過するにつれて誤差が蓄積されて、精度が低下する可能性がある。一方、第２の確信度Ａ２は、内視鏡先端３Ｂの絶対的な位置を正確に算出することができるが、気管支には形状が類似する分岐が複数含まれるため、気管支内の複数の位置において第２の確信度Ａ２が大きくなることから、内視鏡先端３Ｂの現在位置を特定できなくなる可能性がある。

本実施形態においては、第１の確信度Ａ１および第２の確信度Ａ２の双方に基づいて内視鏡先端３Ｂの現在位置を特定している。このため、第１の確信度Ａ１および第２の確信度Ａ２の利点を生かして、気管支内における内視鏡先端３Ｂの位置を、より正確に特定できる。

また、第１の確信度算出部２３により推定された内視鏡の位置を基準とした予め定められた範囲において第２の確信度Ａ２を算出することにより、第２の確信度Ａ２を算出する範囲を狭くすることができる。このため、演算量を低減して、第２の確信度Ａ２を迅速に算出することができる。

なお、上記第１の実施形態においては、基準となる内視鏡画像を最新の内視鏡画像である第１の内視鏡画像Ｇｔが取得される前に取得された第２の内視鏡画像Ｇｔ−１としている。しかしながら、基準となる内視鏡画像は第２の内視鏡画像Ｇｔ−１に限定されるものではない。例えば、基準となる内視鏡画像を初期位置５１において取得された内視鏡画像としてもよい。この場合、初期位置５１において取得した内視鏡画像と最新の第１の内視鏡画像Ｇｔとに基づいて第１の確信度Ａ１が算出される。また、基準となる内視鏡画像を、最新の内視鏡画像である第１の内視鏡画像Ｇｔが取得されるｎフレーム（ｎは複数）前の内視鏡画像Ｇｔ−ｎとしてもよい。この場合、第１の内視鏡画像Ｇｔと第１の内視鏡画像Ｇｔのｎフレーム前の内視鏡画像Ｇｔ−ｎとに基づいて第１の確信度Ａ１が算出される。

また、上記第１の実施形態においては、第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１とに基づいて、第１の確信度Ａ１を算出しているが、基準となる内視鏡画像を複数設定し、複数の基準となる内視鏡画像のそれぞれと、最新の第１の内視鏡画像Ｇｔとに基づいて複数の第１の確信度Ａ１を算出してもよい。以下、これを第２の実施形態として説明する。なお、第２の実施形態における内視鏡位置特定装置の構成は、第１の実施形態における内視鏡位置特定装置の構成と同一であり、行われる処理のみが異なるため、ここでは装置についての詳細な説明は省略する。

図１４は第２の実施形態において、複数の基準となる内視鏡画像に基づいて推定された内視鏡の位置を示す図である。なお、ここでは２つの基準となる内視鏡画像に基づいて２つの内視鏡の位置が推定されたものとする。例えば、基準となる内視鏡画像のうちの１つは、上記実施形態と同様の第２の内視鏡画像Ｇｔ−１とし、もう１つは第１の内視鏡画像Ｇｔよりも１０フレーム前の内視鏡画像Ｇｔ−１０とする。

第１の確信度算出部２３は、第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１とに基づいて内視鏡先端３Ｂの位置を推定する。これを内視鏡先端３Ｂの第１の位置６４とする。また、第１の確信度算出部２３は、第１の内視鏡画像Ｇｔと内視鏡画像Ｇｔ−１０とに基づいて内視鏡先端３Ｂの位置を推定する。これを内視鏡先端３Ｂの第２の位置６５とする。この場合、第１および第２の位置６４，６５のそれぞれにおいて、分布を持った第１の確信度Ａ１−１，Ａ１−２が算出される。なお、第１の確信度は内視鏡先端３Ｂの位置を推定する２つの内視鏡画像間の時間間隔が大きいほど小さくなる。このため、図１４に示すように、第１の確信度Ａ１−１の分布範囲６６は、第１の確信度Ａ１−２の分布範囲６７よりも大きいものとなっている。また、図示はしていないが、第１の確信度Ａ１−１の値は第１の確信度Ａ１−２の値よりも大きいものとなっている。

この場合、現在位置特定部２５は、第１の確信度Ａ１−１および第１の確信度Ａ１−２と第２の確信度Ａ２とに基づいて、内視鏡先端３Ｂの現在位置を推定する。ここで、図９に示す位置５６〜５９における第２の確信度Ａ２の値が、第１の実施形態と同様にそれぞれ０．７、０．５、０．４、０．２であるものとする。また、第１の確信度Ａ１−１は位置６４を中心に分布を持っており、位置５６〜５９における第１の確信度Ａ１−１の値がそれぞれ０．６、０．５、０．８、０．５であるものとする。また、位置５６〜５９における第１の確信度Ａ１−２の値がそれぞれ０．４、０．４、０．３、０．６であるものとする。各位置５６〜５９における第１の確信度Ａ１−１と第２の確信度Ａ２との加算値は、それぞれ１．３、１．０、１．２、０．７となる。また、各位置５６〜５９における第１の確信度Ａ１−２と第２の確信度Ａ２との加算値は、それぞれ１．１、０．９、０．７、０．８となる。このため、現在位置特定部２５は加算値が最も大きい位置５６を、内視鏡先端３Ｂの現在位置に特定する。

第２の実施形態においても、基準となる内視鏡画像が第１の内視鏡画像Ｇｔと時間的に近い場合、第１の確信度が高くなる。一方、内視鏡検査においては、内視鏡先端３Ｂを曲げて気管支の内壁を撮影する場合があるが、このような場合、内視鏡画像Ｇ０には穴部は含まれない。このため、第１の確信度算出部２３において内視鏡画像Ｇ０からの穴部の検出ができず、その結果、第１の確信度を算出することができない。また、第１の確信度算出部２３において、穴部を検出することなく、第１の内視鏡画像Ｇｔおよび第２の内視鏡画像Ｇｔ−１のマッチングをとることにより、内視鏡先端３Ｂの移動量さらには内視鏡先端３Ｂの位置を推定して第１の確信度を算出することができるが、穴部を用いる場合よりも精度が低い。

また、内視鏡検査においては、治療等のために薬品を内視鏡先端３Ｂから噴霧する場合がある。薬品の噴霧中に得られる内視鏡画像は図１５に示すように穴部は見えず、医学的には無意味な異常内視鏡画像となる。このような異常内視鏡画像を基準となる内視鏡画像としても、内視鏡先端３Ｂの位置を精度よく推定することができず、その結果第１の確信度Ａ１の精度も低いものとなる。

第２の実施形態のように、基準となる内視鏡画像を複数設定し、複数の基準となる内視鏡画像のそれぞれと、最新の第１の内視鏡画像Ｇｔとに基づいて複数の第１の確信度Ａ１を算出することにより、いずれかの基準となる内視鏡画像が異常内視鏡画像となったり穴部が含まれない画像となったりする可能性を低減することができる。このため、より精度よく内視鏡の位置を推定して、より精度のよい第１の確信度を算出することができる。したがって、内視鏡先端３Ｂの現在位置をより精度よく特定することができる。

次いで、本発明の第３の実施形態について説明する。図１６は第３の実施形態による内視鏡位置特定装置の概略構成を示す図である。なお、図１６において図２と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第３の実施形態による内視鏡位置特定装置は、順次取得される内視鏡画像において正常内視鏡画像を特定する正常内視鏡画像特定部２７をさらに備え、第１の確信度算出部２３が、正常内視鏡画像から基準となる内視鏡画像および最新の内視鏡画像を選択して、第１の確信度Ａ１を算出するようにした点が第１の実施形態と異なる。

正常内視鏡画像特定部２７は、順次取得される内視鏡画像に穴部が含まれるか否かを判定する。正常内視鏡画像特定部２７は、穴部が含まれると判定された内視鏡画像を正常内視鏡画像に特定する。なお、正常内視鏡画像特定部２７は、順次取得される内視鏡画像のすべてに対して穴部が含まれるか否かの判定を行ってもよく、内視鏡画像を適宜間引いて穴部が含まれるか否かの判定を行ってもよい。

図１７は正常内視鏡画像の特定を説明するための図である。図１７に示すように、順次取得される内視鏡画像Ｇｔ−４，Ｇｔ−３，Ｇｔ−２，Ｇｔ−１のうち、内視鏡画像Ｇｔ−２，Ｇｔ−３が異常内視鏡画像であったものとする。正常内視鏡画像特定部２７は、内視鏡画像Ｇｔ−４，Ｇｔ−３，Ｇｔ−２，Ｇｔ−１のそれぞれに穴部が含まれるか否かを判定する。この場合、内視鏡画像Ｇｔ−２，Ｇｔ−３には穴部が含まれない異常内視鏡画像である。このため、正常内視鏡画像特定部２７は、内視鏡画像Ｇｔ−１，Ｇｔ−４を正常内視鏡画像に特定する。この場合、第１の確信度算出部２３は、内視鏡画像Ｇｔ−１を最新の内視鏡画像として選択し、内視鏡画像Ｇｔ−４を基準内視鏡画像として選択する。そして、第１の確信度算出部２３は、内視鏡画像Ｇｔ−１，Ｇｔ−４に基づいて第１の確信度Ａ１を算出する。

このように、順次取得される内視鏡画像において正常内視鏡画像を特定し、正常内視鏡画像から基準となる内視鏡画像および最新の内視鏡画像を選択して第１の確信度を算出することにより、異常内視鏡画像に影響されることなく、精度よく内視鏡の位置を推定することができる。

なお、上記第３の実施形態においては、内視鏡画像に穴部が検出されるか否かを判定することにより正常内視鏡画像を特定しているが、正常内視鏡画像か異常内視鏡画像かを判別するように学習がなされた判別器を用いて、順次取得される内視鏡画像において正常内視鏡画像を特定してもよい。

また、上記各実施形態においては、第１の確信度算出部２３の穴部検出部３１において、第１および第２の内視鏡画像のそれぞれから穴部を検出しているが、第１および第２の内視鏡画像Ｇｔ，Ｇｔ−１の一方から穴部を検出するものであってもよい。例えば、第１の内視鏡画像Ｇｔのみから穴部を検出した場合、検出した穴部を切り出した画像、あるいは穴部の重みを大きくした画像を生成し、このような画像と第２の内視鏡画像Ｇｔ−１とを用いることにより、第１のパラメータＰ１および第２のパラメータＰ２を算出することができる。

また、上記各実施形態においては、第１の確信度算出部２３において、第１および第２の内視鏡画像Ｇｔ，Ｇｔ−１から穴部を検出して内視鏡先端３Ｂの位置を推定しているが、穴部を検出することなく、第１の内視鏡画像Ｇｔと第２の内視鏡画像Ｇｔ−１とのマッチングを行うことにより、内視鏡先端３Ｂの位置を推定してもよい。これにより、内視鏡先端３Ｂを曲げて気管支の内壁を撮影している場合であっても、精度は低いものの内視鏡先端３Ｂの位置を推定することができる。ここで、第１の内視鏡画像Ｇｔまたは第２の内視鏡画像Ｇｔ−１が異常内視鏡画像である場合、第２の確信度Ａ２を算出することができない。この場合、精度は低いものの、第１の確信度算出部２３において穴部を検出することなく推定した内視鏡先端３Ｂの位置を、内視鏡先端３Ｂの現在位置とすることができることとなる。

また、上記各実施形態においては、第１の確信度算出部２３において、初期位置から内視鏡画像Ｇ０が取得される毎に、移動量をストレージ１３に蓄積して保存している。ここで、移動量を蓄積して保存しているのは、気管支の分岐において、いずれの方向に内視鏡先端３Ｂが向かっているかを判断するためである。このため、内視鏡先端３Ｂが分岐を通過する毎に、蓄積した移動量を０にリセットして、通過した分岐から次の分岐までの間においてのみ、移動量を蓄積して保存して第１の確信度Ａ１を算出するようにしてもよい。

また、上記各実施形態においては、第２のパラメータＰ２に回転量を含めているが、拡大縮小量のみを含む第２のパラメータＰ２を算出してもよい。

また、上記各実施形態においては、保存された移動量に基づいて内視鏡の偏りを算出し、移動量および偏りに基づいて内視鏡の位置を表示しているが、内視鏡の偏りを算出することなく、移動量にのみ基づいて内視鏡の位置を表示してもよい。

また、上記各実施形態においては、本発明の内視鏡位置特定装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、血管のような分岐構造を有する管状構造物を内視鏡により観察する場合にも、本発明を適用できる。

以下、本発明の実施態様の作用効果について説明する。

推定した内視鏡の位置を基準とした予め定められた範囲において第２の確信度を算出することにより、第２の確信度を算出する範囲を狭くすることができる。このため、第２の確信度の算出のための演算量を低減して、迅速に第２の確信度を算出することができる。

順次取得される内視鏡画像において正常内視鏡画像を特定し、正常内視鏡画像から基準となる内視鏡画像および最新の内視鏡画像を選択して第１の確信度を算出することにより、異常内視鏡画像に影響されることなく、精度よく内視鏡の位置を推定することができる。

基準となる内視鏡画像を複数設定し、複数の基準となる内視鏡画像のそれぞれが取得されてから最新の内視鏡画像が取得されるまでの間における、内視鏡の複数の移動量を推定し、複数の移動量から複数の内視鏡の位置を推定し、推定された複数の位置のそれぞれにおいて第１の確信度を算出することにより、より精度よく内視鏡の位置を推定することができる。

１ 内視鏡スコープ
２ プロセッサ装置
３ 内視鏡装置
３Ａ 操作部
３Ｂ 内視鏡先端
４ ３次元画像撮影装置
５ 画像保管サーバ
６ 内視鏡位置特定装置
８ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２１ 画像取得部
２２ 気管支画像生成部
２３ 第１の確信度算出部
２４ 第２の確信度算出部
２５ 現在位置特定部
２６ 表示制御部
２７ 正常内視鏡画像特定部
３１ 穴部検出部
３２ 第１のパラメータ算出部
３３ 第２のパラメータ算出部
３４ 移動量算出部
３５ 偏り算出部
３６ 位置推定部
４０ 気管支
４２ 位置
４３ 偏り
５１ 初期位置
５２〜５４，５６〜５９，６４，６５ 位置
５５ 範囲
６２ 軌跡
６６，６７ 分布範囲
７０〜７３ 輪郭
Ｂ０ 気管支画像
Ｃ０，Ｃ１，Ｃ２ 中心軸
Ｇ０ 内視鏡画像
Ｇｔ 第１の内視鏡画像
Ｇｔ−１ 第２の内視鏡画像
Ｈ１ｔ，Ｈ２ｔ，Ｈ１ｔ−１，Ｈ２ｔ−１ 穴部
Ｋ０ 仮想分岐画像
Ｐ１ 第１のパラメータ
Ｐ２ 第２のパラメータ

Claims (12)

1. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得する内視鏡画像取得手段と、
   前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成する画像生成手段と、
   前記順次取得される内視鏡画像に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における前記内視鏡の移動量を算出し、該算出された移動量に基づいて前記内視鏡の位置を推定し、該推定された位置において、前記基準となる内視鏡画像が取得されてから前記最新の内視鏡画像が取得されるまでの時間に応じた、前記管状構造物内における前記内視鏡が存在する可能性を表す、３次元の分布を有する第１の確信度を算出する第１の確信度算出手段と、
   前記管状構造物内の複数位置のそれぞれにおいて、前記管状構造物の画像と前記内視鏡画像とのマッチングを行って、前記複数位置のそれぞれにおいて前記内視鏡が存在する可能性を表す、３次元の分布を有する第２の確信度を算出する第２の確信度算出手段と、
   前記第１の確信度および前記第２の確信度に基づいて、前記内視鏡の現在位置を特定する現在位置特定手段とを備え、
   前記第２の確信度算出手段は、前記第１の確信度算出手段が推定した前記内視鏡の位置を基準とした予め定められた範囲において、前記第２の確信度を算出することを特徴とする内視鏡位置特定装置。
2. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得する内視鏡画像取得手段と、
   前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成する画像生成手段と、
   前記順次取得される内視鏡画像に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における前記内視鏡の移動量を算出し、該算出された移動量に基づいて前記内視鏡の位置を推定し、該推定された位置において、前記基準となる内視鏡画像が取得されてから前記最新の内視鏡画像が取得されるまでの時間に応じた、前記管状構造物内における前記内視鏡が存在する可能性を表す、３次元の分布を有する第１の確信度を算出する第１の確信度算出手段と、
   前記管状構造物内の複数位置のそれぞれにおいて、前記管状構造物の画像と前記内視鏡画像とのマッチングを行って、前記複数位置のそれぞれにおいて前記内視鏡が存在する可能性を表す、３次元の分布を有する第２の確信度を算出する第２の確信度算出手段と、
   前記第１の確信度および前記第２の確信度に基づいて、前記内視鏡の現在位置を特定する現在位置特定手段と、
   前記順次取得される内視鏡画像において正常内視鏡画像を特定する正常内視鏡画像特定手段とを備え、
   前記第１の確信度算出手段は、前記正常内視鏡画像から前記基準となる内視鏡画像および前記最新の内視鏡画像を選択して前記第１の確信度を算出することを特徴とする内視鏡位置特定装置。
3. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得する内視鏡画像取得手段と、
   前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成する画像生成手段と、
   前記順次取得される内視鏡画像に基準となる内視鏡画像を複数設定し、前記順次取得される内視鏡画像に基づいて、前記複数の基準となる内視鏡画像のそれぞれが取得されてから最新の内視鏡画像が取得されるまでの間における、前記内視鏡の複数の移動量を算出し、該算出された複数の移動量から複数の前記内視鏡の位置を推定し、該推定された複数の位置のそれぞれにおいて前記管状構造物内における前記内視鏡が存在する可能性を表す、３次元の分布を有する第１の確信度を算出する第１の確信度算出手段と、
   前記管状構造物内の複数位置のそれぞれにおいて、前記管状構造物の画像と前記内視鏡画像とのマッチングを行って、前記複数位置のそれぞれにおいて前記内視鏡が存在する可能性を表す、３次元の分布を有する第２の確信度を算出する第２の確信度算出手段と、
   前記第１の確信度および前記第２の確信度に基づいて、前記内視鏡の現在位置を特定する現在位置特定手段とを備えたことを特徴とする内視鏡位置特定装置。
4. 前記第２の確信度算出手段は、前記第１の確信度算出手段が推定した前記内視鏡の位置を基準とした予め定められた範囲において、前記第２の確信度を算出する請求項３記載の内視鏡位置特定装置。
5. 前記順次取得される内視鏡画像において正常内視鏡画像を特定する正常内視鏡画像特定手段をさらに備え、
   前記第１の確信度算出手段は、前記正常内視鏡画像から前記基準となる内視鏡画像および前記最新の内視鏡画像を選択して前記第１の確信度を算出する請求項３または４記載の内視鏡位置特定装置。
6. 前記管状構造物の画像を表示し、かつ該管状構造物の画像上において前記内視鏡の現在位置を表示する表示制御手段をさらに備えた請求項１から５のいずれか１項記載の内視鏡位置特定装置。
7. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得し、
   前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成し、
   前記順次取得される内視鏡画像に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における前記内視鏡の移動量を算出し、該算出された移動量に基づいて前記内視鏡の位置を推定し、該推定された位置において、前記基準となる内視鏡画像が取得されてから前記最新の内視鏡画像が取得されるまでの時間に応じた、前記管状構造物内における前記内視鏡が存在する可能性を表す、３次元の分布を有する第１の確信度を算出し、
   前記管状構造物内の前記推定された内視鏡の位置を基準とした予め定められた範囲内における複数位置のそれぞれにおいて、前記管状構造物の画像と前記内視鏡画像とのマッチングを行って、前記複数位置のそれぞれにおいて前記内視鏡が存在する可能性を表す、３次元の分布を有する第２の確信度を算出し、
   前記第１の確信度および前記第２の確信度に基づいて、前記内視鏡の現在位置を特定することを特徴とする内視鏡位置特定方法。
8. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得し、
   前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成し、
   前記順次取得される内視鏡画像において正常内視鏡画像を特定し、
   前記正常内視鏡画像から基準となる内視鏡画像および最新の内視鏡画像を選択し、前記基準となる内視鏡画像が取得されてから前記最新の内視鏡画像が取得されるまでの間における前記内視鏡の移動量を算出し、該算出された移動量に基づいて前記内視鏡の位置を推定し、該推定された位置において、前記基準となる内視鏡画像が取得されてから前記最新の内視鏡画像が取得されるまでの時間に応じた、前記管状構造物内における前記内視鏡が存在する可能性を表す、３次元の分布を有する第１の確信度を算出し、
   前記管状構造物内の複数位置のそれぞれにおいて、前記管状構造物の画像と前記内視鏡画像とのマッチングを行って、前記複数位置のそれぞれにおいて前記内視鏡が存在する可能性を表す、３次元の分布を有する第２の確信度を算出し、
   前記第１の確信度および前記第２の確信度に基づいて、前記内視鏡の現在位置を特定することを特徴とする内視鏡位置特定方法。
9. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得し、
   前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成し、
   前記順次取得される内視鏡画像に基準となる内視鏡画像を複数設定し、前記順次取得される内視鏡画像に基づいて、前記複数の基準となる内視鏡画像のそれぞれが取得されてから最新の内視鏡画像が取得されるまでの間における、前記内視鏡の複数の移動量を算出し、該算出された複数の移動量から複数の前記内視鏡の位置を推定し、該推定された複数の位置のそれぞれにおいて前記管状構造物内における前記内視鏡が存在する可能性を表す、３次元の分布を有する第１の確信度を算出し、
   前記管状構造物内の複数位置のそれぞれにおいて、前記管状構造物の画像と前記内視鏡画像とのマッチングを行って、前記複数位置のそれぞれにおいて前記内視鏡が存在する可能性を表す、３次元の分布を有する第２の確信度を算出し、
   前記第１の確信度および前記第２の確信度に基づいて、前記内視鏡の現在位置を特定することを特徴とする内視鏡位置特定方法。
10. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得する手順と、
    前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成する手順と、
    前記順次取得される内視鏡画像に基づいて、基準となる内視鏡画像が取得されてから最新の内視鏡画像が取得されるまでの間における前記内視鏡の移動量を算出し、該算出された移動量に基づいて前記内視鏡の位置を推定し、該推定された位置において、前記基準となる内視鏡画像が取得されてから前記最新の内視鏡画像が取得されるまでの時間に応じた、前記管状構造物内における前記内視鏡が存在する可能性を表す、３次元の分布を有する第１の確信度を算出する手順と、
    前記管状構造物内の前記推定された内視鏡の位置を基準とした予め定められた範囲内における複数位置のそれぞれにおいて、前記管状構造物の画像と前記内視鏡画像とのマッチングを行って、前記複数位置のそれぞれにおいて前記内視鏡が存在する可能性を表す、３次元の分布を有する第２の確信度を算出する手順と、
    前記第１の確信度および前記第２の確信度に基づいて、前記内視鏡の現在位置を特定する手順とをコンピュータに実行させることを特徴とする内視鏡位置特定プログラム。
11. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得する手順と、
    前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成する手順と、
    前記順次取得される内視鏡画像において正常内視鏡画像を特定する手順と、
    前記正常内視鏡画像から基準となる内視鏡画像および最新の内視鏡画像を選択し、前記基準となる内視鏡画像が取得されてから前記最新の内視鏡画像が取得されるまでの間における前記内視鏡の移動量を算出し、該算出された移動量に基づいて前記内視鏡の位置を推定し、該推定された位置において、前記基準となる内視鏡画像が取得されてから前記最新の内視鏡画像が取得されるまでの時間に応じた、前記管状構造物内における前記内視鏡が存在する可能性を表す、３次元の分布を有する第１の確信度を算出する手順と、
    前記管状構造物内の複数位置のそれぞれにおいて、前記管状構造物の画像と前記内視鏡画像とのマッチングを行って、前記複数位置のそれぞれにおいて前記内視鏡が存在する可能性を表す、３次元の分布を有する第２の確信度を算出する手順と、
    前記第１の確信度および前記第２の確信度に基づいて、前記内視鏡の現在位置を特定する手順とをコンピュータに実行させることを特徴とする内視鏡位置特定プログラム。
12. 複数の分岐構造を有する管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す内視鏡画像を順次取得する手順と、
    前記管状構造物を含む３次元画像から、前記管状構造物の画像を生成する手順と、
    前記順次取得される内視鏡画像に基準となる内視鏡画像を複数設定し、前記順次取得される内視鏡画像に基づいて、前記複数の基準となる内視鏡画像のそれぞれが取得されてから最新の内視鏡画像が取得されるまでの間における、前記内視鏡の複数の移動量を算出し、該算出された複数の移動量から複数の前記内視鏡の位置を推定し、該推定された複数の位置のそれぞれにおいて前記管状構造物内における前記内視鏡が存在する可能性を表す、３次元の分布を有する第１の確信度を算出する手順と、
    前記管状構造物内の複数位置のそれぞれにおいて、前記管状構造物の画像と前記内視鏡画像とのマッチングを行って、前記複数位置のそれぞれにおいて前記内視鏡が存在する可能性を表す、３次元の分布を有する第２の確信度を算出する手順と、
    前記第１の確信度および前記第２の確信度に基づいて、前記内視鏡の現在位置を特定する手順とをコンピュータに実行させることを特徴とする内視鏡位置特定プログラム。