JP5525727B2 - ３ｄ−２ｄ姿勢推定に基づく案内方法及び生の気管支鏡検査への応用を有する３ｄ−ｃｔレジストレーション - Google Patents

Description

本発明は、一般的には気管支鏡検査法に関し、特定的には生で気管支鏡検査中の、または他の応用中の医師を案内する方法に関する。

肺癌を判断する場合、医師は抹消小結節または縦隔リンパ節のような疑わしい癌サイトの生体検査を遂行する必要がある。これらのサイトは、胸郭の３Ｄ ＣＴ画像データを分析することによって先ず識別される。その後に、気管支鏡検査中に、医師は気管支鏡から入手したビデオの援助を得てこれらのサイトへ到達しようとする。標準気管支鏡検査の成否は、医師の熟達レベル及び経験に大きく依存する。もし処置中に医師がある形状の案内を受ければ、気管支鏡検査の成功は増大することになろう。

過去数年内に幾つかの案内方法が示唆されてきた［１−５］。それらの全ては、奥行きデータ及び視覚データの両方を得るために、気管表面のＣＴをベースとする（仮想）管腔内レンダリングを使用している。これらは、仮想レンダリング及び到来ビデオフレームを使用して気管支鏡の３Ｄ位置及び配向（姿勢）を見出すことを試みている。Bricaultらは、気管支鏡ビデオ（実）と３Ｄ ＣＴ仮想気管支鏡画像とを見当合わせする方法を提唱した［１］。この方法は、実画像の３Ｄ表面を見出すために陰影付け技術からの分割（セグメンテーション）及び形状を使用し、次いで計算された表面と仮想表面との３Ｄ−３Ｄレジストレーションを行う。

Moriらは、必須マトリックスを計算し、次いでPowellの方法による画像レジストレーションを使用して残留運動の推定を行うことによって気管支鏡運動を推定するために、先ず、実フレーム全域にわたる１組の点を追跡する方法を提唱した［３］。参照文献［５］においてMoriらは、見当合わせされる画像面積を減少させるために、気管支鏡の運動及び新しい類似性の尺度の予測にカルマンフィルタを使用している。Helfertyらは、粗追跡及び精レジストレーションアプローチを使用している［２、６］。この追跡は、運動パラメータを推定するために、標準オプティカルフロー制約式及び仮想レンダリングからの奥行き情報を使用することによって実現されている。このレジストレーションは、シンプレックス方法を使用して実画像と仮想画像との間の相互情報を最大化することによって行われる。

Bricaultらが提唱した方法は追跡を含まず、分岐画像に限定される［１］。Moriらの方法は追跡のために必須マトリックスを［３］、そしてレジストレーションのためにPowellの方法を計算する。このアプローチは３つの限界を有している。第１に、Powellの方法を使用することによって、レジストレーションステップが低速になる。第２に、もし点のサブセットが共面であれば、必須マトリックスを決定することができない［７］。第３に、並進は、推定された必須マトリックスからのスケールまでしか回復することができない［７］。追跡のためにHelfertyらが採用したオプティカルフローアプローチは、ワーピング及び画像のための勾配の繰り返し計算を含むので、追跡は低速である［２、６］。シンプレックス法の使用は、レジストレーションステップをも低速にする。

本発明は、広義では、診断処置に関連して案内を提供するシステム及び方法に関する。本方法は、以前に取得した身体管腔の画像データを準備するステップと、身体管腔の生の画像データを取得するステップと、以前に取得した画像データと生の画像データとをリアルタイムで、またはほぼリアルタイムで見当合わせするステップとを含む。好ましい実施の形態においては、内視鏡、気管支鏡、結腸内視鏡、または腹腔鏡のような器具を案内するために、レジストレーションを使用する。

以前に取得した画像データは、コンピュータ化トモグラフィック（ＣＴ）スライスを含む仮想画像データから導出することができる。代替として、以前に取得した画像データは予めレコードされているビデオ画像から導出することができる。生の画像データは、診断処置中に取得したビデオデータから導出することも、または到来仮想画像のストリームから導出することもできる。

本発明は、生の気管支鏡検査中の案内に特定の適用性を有している。気管支鏡の３Ｄ運動は、高速粗追跡ステップと、それに続く補正の目的から必要な精レジストレーションステップを使用して推定される。追跡は、複数の連続気管支鏡ビデオフレーム全体にわたって１組の対応特色点を見出し、次いで気管支鏡の新しい姿勢を推定することに基づく。

好ましい実施の形態においては、姿勢推定は、回転マトリックスを線形化することに基づく。入力として現在の気管支鏡ビデオ画像全域にわたる１組の対応点、及びＣＴをベースとする仮想画像を与えることによって、この方法を相互レジストレーションのためにも使用することができる。

精レジストレーションステップは勾配をベースとするガウス・ニュートン法であり、これは気管支鏡ビデオ画像と、ＣＴをベースとする仮想画像との間の相関をベースとする費用（コスト）を最大にする。気管支鏡の３Ｄ運動をループで推定することによって、連続案内が提供される。

奥行きマップ情報が利用可能であるから、追跡は３Ｄ−２Ｄ姿勢推定問題を解くことによって行うことができる。３Ｄ−２Ｄ姿勢推定問題は２Ｄ−２Ｄ姿勢推定問題より拘束されており、必須マトリックスの計算に伴う制限を受けることがない。レジストレーション費用として相互情報の代わりに相関をベースとする費用を使用すると、レジストレーションのために勾配をベースとする方法を使用することが簡単になる。

以上に説明したように、気管支鏡の３Ｄ運動を追跡するために、我々は高速粗追跡と、その後の精レジストレーションアプローチを使用する。我々は、追跡のために３Ｄ−２Ｄ姿勢推定アルゴリズムを、またレジストレーションのために勾配をベースとするガウス・ニュートン法（その費用関数として相関をベースとする費用を使用する）を提唱する。

たとえ追跡アルゴリズムが100％正確であるとしても、精レジストレーションステップを回避することはできないことを理解されたい。それは、３Ｄ仮想表面データが実際の気管の樹枝分岐の正確な表現ではないからである。イメージングアーチファクトの存在、分割の誤差、及び肺容量に関連する諸問題がこれをもたらしている。従って、追跡中に常に若干のドリフト誤差が存在する。もしレジストレーションステップによってドリフト誤差を斟酌しなければ、それらは最早追跡できなくなる程の大きさまで累積するようになる。

一般的に言えば、精レジストレーションステップにはより多くの時間がかかる。従って、運動の殆どは高速追跡方法によって推定すべきであり、精レジストレーションは補正を行うためだけに留めるべきである。追跡の場合、我々は３Ｄ−２Ｄ姿勢推定問題を解くために、実ビデオフレーム間の複数の点の対応を、仮想レンダリングからの奥行きマップ情報と共に使用する。少数の連続実フレームを通して累積される回転は小さいから、回転マトリックスの線形化を行うことができるのである。従って、３Ｄ−２Ｄ姿勢推定問題は、一次系の式を解くことに軽減される。もし実画像と仮想画像との間の手動対応が与えられれば、この方法を手動レジストレーションにも使用することができる。精レジストレーションステップのために、我々は、Helfertyらが追跡に使用したアプローチを使用する［６］。これは、オプティカルフロー制約式を相関に基づく類似制約によって置換し、ソース画像を仮想画像で置換することによって行うことができる。

図１は、１組５枚の連続気管支鏡ビデオ（実）フレームを示しており、気管の樹枝分岐の内側の気管支鏡の運動を表している。最初のフレームを現在のビデオフレームＩ_Rcと考え、最後のフレームをＩ_R5と考える。これらの間のフレームはＩ_R2、Ｉ_R3、及びＩ_R4で表す。図２は、気管支鏡の現在の位置推定及び配向（姿勢）に基づく気管表面のＣＴをベースとする（仮想）管腔内レンダリングを示す。仮想画像Ｉ_Vは、現ビデオフレームＩ_Rcに視覚的に類似している。この目的は、仮想画像Ｉ_Vが現ビデオフレームＩ_Rcから５フレーム離間した実フレームＩ_R5のように見えるように、仮想画像Ｉ_Vを再レンダリングすることである。これは、実フレーム内で観測された画像運動、仮想レンダリングからの奥行きマップ、及び仮想画像と実画像との間の視覚的類似性を使用することによって行うことができる。

図３は、総合方法を示している。最初のステップは、仮想画像Ｉ_Vと現在の実画像Ｉ_Rcとの初期レジストレーションを手動または自動の何れかで行う。手動レジストレーションは、実及び仮想画像全域にわたって対応点を与えることによって行われる。好ましい実施の形態では、６点が使用されている。仮想画像内の点もそれらに関連付けられたＷ_iまたは（Ｘ_i，Ｙ_i，Ｚ_i）で表される奥行きデータを有しているから、気管支鏡の現在の姿勢、または３Ｄ運動（Ｒ、Ｔ）を入手するために、仮想画像Ｉ_Vを現在の実画像Ｉ_Rcと同じに見えるようにする３Ｄ−２Ｄ姿勢推定方法を適用する。Ｉ_Vは、姿勢推定を使用して再レンダリングされる。自動レジストレーションは、精レジストレーションステップによって行われる。

第２のステップは、複数の連続フレームにわたって追跡される複数の点を、現在の実フレームＩ_Rcから選択することである。好ましい実施の形態では、５フレームにわたって20点を追跡する。Ｉ_VとＩ_Rcとは見当合わせされるから、我々は現在の奥行きマップから各点に関連付けられた奥行きＷ_iを知る。第３のステップは、これらの点の新しい２Ｄ位置（ｕ_i，ｖ_i）を入手するために、次の５フレームにわたる対での対応を使用してこれら20点を追跡することである。第４のステップは、追跡した点の２Ｄ運動とそれらの初期奥行きＷ_iを使用して、新しい姿勢（Ｒ、Ｔ）を推定することである。第５のステップにおいては、新しい姿勢（Ｒ、Ｔ）を使用して仮想画像Ｉ_Vが再レンダリングされる。第６のステップは、追跡に起因するドリフト誤差を斟酌するためにＩ_VとＩ_R5との間の精レジストレーションを行い、次いでＩ_Vを再レンダリングすることである。最後に、新しい現在の実フレームＩ_RcとしてＩ_R5が割当てられ、アルゴリズムは第２のステップへ戻って、連続案内のために第２のステップから第６のステップまでをループする。

特色点の選択及び追跡
気管支鏡を高速粗追跡するために、画像Ｉ_Rc上の20の特色点ｐ_iが選択される。Ｉ_VはＩ_Rcのためのマッチング仮想画像であり、従ってｐ_i毎に奥行きマップ情報を提供する。各ｐ_iは奥行きマップによって与えられる関連奥行きを有し、その３Ｄ位置はＷ_iまたは（Ｘ_i，Ｙ_i，Ｚ_i）によって与えられる。各特色点ｐ_iは、Ｉ_R5におけるそれらの新しい画像位置（ｕ_i，ｖ_i）を入手するために、フレームＩ_R2、Ｉ_R3、Ｉ_R4、及びＩ_R5を通して追跡される。特色点の選択基準は、それを追跡するために使用されている方法に完全に依存する。以下に、選択方法に先立って追跡方法を説明するのは、この理由からである。

追跡
画像Ｉ_Rc内で選択された１つの点は、フレームＩ_R2、Ｉ_R3、Ｉ_R4、及びＩ_R5を通して追跡しなければならない。先行フレームＩ_Ri内の特色点毎に次のフレームＩ_Ri+1内にマッチングする対応点を見出すことによって、特色点の追跡がフレーム毎に行われる。マッチングは、Ｉ_Ri内の点（ｘ，ｙ）の先行位置に生じたローカルシフト（ｖ^* _x，ｖ^* _y）を見出すことによって行われる。これは、Ｉ_Ri内の点（ｘ，ｙ）及びＩ_Ri+1内のシフトした点の周囲の画像強度パッチの自乗差の和（ＳＳＤ）を最小にする。

式（１）において、ｗはマッチした点のより良いセンタリングまたはローカライゼーションを得るために適用されるガウスの窓関数であり、（ｕ_x，ｖ_y）は探索窓Ｓにわたって変化し、（ｐ，ｑ）はパッチＰにわたって変化する。Ｉ_Ri内の点（ｘ，ｙ）のマッチは、Ｉ_Ri+1内においては(ｘ＋ｖ^* _x，ｙ＋ｖ^* _y)によって与えられる。

フレーム間ではカメラの運動は小さいと考えられるから、Shi及びTomasiが証明したように［８］、簡単な並進画像運動モデルが使用される。より大きい運動に適合させるにためには、ガウスのピラミッドを構築する。

より大きい運動は、より粗なレベルで推定される。より小さい窓Ｐをテンプレート強度パッチのために使用することができ、また探索空間Ｓがピラミッドの全てのレベルにおいて小さく留まるので、計算が少なくなる。

選択
追跡の前に、フレームＩ_Rcから特色点ｐ_iが選択される。特色をベースとするアプローチは、計算を節約するために少量の画像データを使用することを試み、若干の場合には頑強性を改善する。特色をベースとする追跡の場合の第１のステップは、１組の特色点を選択することである。ある点は、もしそれが次のフレームにおいて良好なマッチが得られる見込みがあれば、より良い選択であると考えられる。Triggsによれば、各画像マッチング法は対応する自己マッチングをベースとする特色点検出器を限定し、もしある点がそれ自体と正確にマッチすることができなければ、それは他の如何なる点ともしっかりとマッチすることはできない［９］。従って、小さい運動の下でシフトした画像パッチとそれ自体とのマッチングによって得られた相関またはＳＳＤピークの鋭さが、多くの方法のためのキー基準にされてきた［８−１０］。

シフト（ｕ_x，ｖ_y）の関数Ｅ（ｕ_x，ｖ_y）としての、それ自体との画像パッチのＳＳＤは次の式によって与えられる。

ここに、（ｘ，ｙ）は、パッチＰにわたって変化する。小さいシフト（ｕ_x，ｖ_y）の場合には、

及び

が自己相関マトリックスとして知られている。この形状の自己相関マトリックスは、簡単な並進運動モデルに対してのみ有効である。例えばアフィン運動のような、他の運動モデルの場合にはパラメータの数及びディメンションの数が大きい。自己相関マトリックスの固有値は、ローカル画像構造を分析し、特色を隅または縁として分類するために使用されてきた［８、１０］。

Zulianiらは、自己相関マトリックスの固有値に基づいて、異なる検出器間の関係を分析した［１１］。彼等は、条件数と呼ぶ特色選択のための基準を与えている。条件数Ｋ_transは、動揺(Ｄu_x，Ｄv_y)に対するＥ（ｕ_x，ｖ_y）の感度の尺度となる。それは次式によって与えられる。

但し、Dは数値安定度のために使用される小さい数である。条件数が大きい値であることは、動揺に対する自己相関の感度が高いことを意味しており、それは、自己相関が関心点において鋭いピークを有していることを意味する。

実施の形態では60点程度を、その点の画像勾配の強さに基づいて特色点候補として候補名簿に載せる。もし奥行きＺ_iが仮想画像Ｉ_V内の点ｐ_iの周囲で大きく変化すれば、その点は３Ｄ縁に近接していると考えられ、従って追跡のために、またはその後の姿勢推定のためには好ましくない。従って、もう少しの点を拒絶するために、選択された点の周囲の奥行きの標準偏差にしきい値を適用する。これらの点は、それらの条件数に従って格納される。最後に、追跡のためにトップの20点が選択される。

姿勢推定
特色点Ｐ_iが選択されて追跡されると、フレームＩ_Rc内のその３Ｄ位置Ｗ_i及びフレームＩ_R5内のその新しい２Ｄ位置（ｕ_x，ｖ_y）が知られる。フレームＩ_RcとＩ_R5との間では気管支鏡は３Ｄ運動（Ｒ、Ｔ）させられる。

１つの参照フレーム内のｎ個の点の３Ｄ位置Ｗ_i、及び別の参照フレーム内に透視されたそれらの２Ｄ画像（ｕ_x，ｖ_y）を与えて、これらの参照フレーム間の回転及び並進（Ｒ、Ｔ）を解くことは、３Ｄ−２Ｄ姿勢推定問題として知られている。従って、姿勢推定ステップの目的は、Ｗ_i及び（ｕ_x，ｖ_y）を与えて（Ｒ、Ｔ）を推定することである。

この問題を解くために、多くの異なるクラスのアルゴリズムが開発されてきた。３点または４点のための（それらが、臨界的な配置にない限り）閉じた形状の解が存在する［１２−１４］。これらの方法は多項系の式を解くために、点間の精密な幾何学的制約を使用している。４点より多い場合には、先ず奥行きを解くために複数のクラスの１つの方法がより高次式の１つの系を一次式の１つの系として表し（オーバーディメンショニング）、次いで、姿勢を解くために絶対配向問題の解を使用する［１５、１６］。Luらは姿勢を決定するための高速繰り返しアルゴリズムを発表した［１７］。しかしながら、その方法は、その物体がカメラに極めて接近しているか、またはその物体の奥行きが物体とカメラとの間の距離に匹敵するような場合（我々の応用範囲内では、このようなことが生じ得る）には、並進の推定に大きいバイアス誤差が誘起される。

特色の追跡は一度に数フレームだけについて行われるから、累積される回転は小さいと見做すことができる。我々の方法は、回転マトリックスを線形化するのにこの推測を使用する。我々の方法は、Loweの方法［１８］、及びHaralickらによってなされた最小自乗調整ステップ［１９］に極めて近い。

３Ｄ回転マトリックスＲは、次式によって与えられる。

ここに、

であり、またθ，ψ及びφは各軸を中心とする回転角である。θ，ψ及びφの値が小さい場合、回転マトリックスは次のように書くことができる。

（Ｒ、Ｔ）によって変換された３Ｄ世界の点Ｗは、次式によって与えられる。

透視されたＷＱの画像は次のように表される。

但し、ｆは焦点距離である。以下、一般性が失われない限り、ｆが１であると見做す。

ｎ世界点（Ｘ_i，Ｙ_i，Ｚ_i）及び別の参照フレームにおけるそれらの画像点（ｕ_x，ｖ_y）が与えられた時、我々は次式を見出さなければならない。

但し、(Ｘ’_i，Ｙ’_i，Ｚ’_i)は式（１１）によって与えられる。我々は、以下の式を使用して（Ｒ、Ｔ）を解くことができる。

これは、複数の一次式の１つの過拘束された系を与える。

式（１５）の線系は、特異値分解（ＳＶＤ）を使用して解くことができる（但し、解く間、極めて小さい特異値を０に等しくすることに注意を払うべきである）。Ｒの線形化された形状（式（１０））は近似値であるから、（Ｒ、Ｔ）のための正確な解に到達するためにはあと数回繰り返さなければならない。（Ｒ、Ｔ）のための現在の解を使用し、３Ｄ点Ｗ_iを変換してＷ_i’のための新しい推定を求める。式（１１）内の新しいＷ_iとしてＷ_i’を処理することによって、残留変換（Ｒ，Ｔ）を決定すべきである。次いで、（Ｒ、Ｔ）を次のように更新する。

この方法は、典型的に３回または４回の繰り返しで収束する。

３Ｄ ＣＴレジストレーション
姿勢推定ステップの後に、（Ｒ、Ｔ）のための推定を使用して仮想画像Ｉ_Vが再レンダリングされる。これは、Ｉ_Vを視覚的にＩ_R5に近付ける。しかしながら、ドリフト誤差が存在するために、Ｉ_Vは未だにＩ_R5と良好にマッチしない。可視的なマッチのための基準として相関及びＩ_Vに関連する奥行きマップを使用して、精レジストレーションステップはＩ_VとＩ_R5との間の残留運動(ＲＤ，ＴＤ)を推定する。案内アルゴリズムの１つのループを完了させるために、(ＲＤ，ＴＤ)を使用してＩ_Vが再レンダリングされる。

対応を使用するレジストレーション
２つのソースを見当合わせする高速手法は、追跡に使用したものと同一の方法を使用することである。唯一の差は、仮想画像Ｉ_Vと実画像Ｉ_R5との間に対応が見出されることであろう。しかしながら、自己相関基準を使用してＩ_R5上に点が選択される。殆どの情報が暗い領域内に含まれているから、点は、それらが全て暗い領域をサンプルするように選択される。選択された点は、ガウスのピラミッドセットアップにおけるマッチング基準としての相関を使用してＩ_Vとマッチされる。次のステップは、姿勢推定アルゴリズムを走らせ、推定された姿勢を使用してＩ_Vを更新することである。この方法は高速ではあるが、全ての画像対Ｉ_V及びＩ_R5のマッチングは良好ではない。この方法の精度は、気管内の分岐点からの気管支鏡の距離、及びＩ_R5内に見られる分岐数に依存する。手動レジストレーションはこれと同じ方法を使用するが、対応点は手動で準備される。

相関の最大化を使用するレジストレーション
Helfertyらは追跡を行うために、オプティカルフロー制約式を、回転マトリックスの線形化及び仮想画像からの奥行きマップと共に使用している［６］。我々は、仮想画像Ｉ_Vと実画像Ｉ_R5との精レジストレーションにこのアプローチを使用することを提唱する。

Helfertyらが示した方法の目的は、実ソース画像を実目標画像に向けて繰り返しワープさせることによって、実ソース画像と実目標画像とを見当合わせすることである［６］。ソース画像またはオプティカルフロー２Ｄ画像運動（ｕ_xi，ｖ_yi）内の点の２Ｄ画像運動は、３Ｄ回転及び並進によって支配される。

その導出は、セクション２．３に与えられているものと殆ど同一である。（ｕ_x，ｖ_y）を決定するために使用されるオプティカルフロー制約式は次の通りである。

式（１７）及び（１８）を使用して（Ｒ、Ｔ）を繰り返して解くために、一次式の系をセットアップする。各ステップの後に、収束するまで次の繰り返しのためにソース画像の勾配のワーピング及び計算を行う。詳細は参照文献［６］を参照されたい。

我々の場合ソース画像はＩ_Vであり、目標画像はＩ_R5である。オプティカルフロー制約（１８）は、マッチングのためのＳＳＤ基準に基づいている。我々の場合、仮想画像Ｉ_V及び実画像Ｉ_R5の両者は２つの異なるソースからであるから、オプティカルフロー制約を直接使用することはできない。しかしながら、レジストレーションの前に平均が減算されてＩ_V及びＩ_R5が正規化されていれば式（８）が有効制約になり、精レジストレーションのために両式（１７）及び（１８）を一緒に使用することができる。

例
図４は、１対の仮想画像に適用した手動レジストレーションステップを示している。６つの対応点が、２つの画像全域にわたって手動で与えられている。対応と、左側の仮想画像に関連する奥行きマップとを使用し、姿勢推定法によって未知の姿勢が計算されている。左側の仮想画像は、姿勢のための推定を使用して再レンダリングされている。これは、左の画像と右の画像との間にマッチをもたらしている。この姿勢推定法は極めて高速であり、瞬時にマッチを発生する。レジストレーションの精度は、対応の質に依存する。

図５は、案内方法を開始させるために、仮想画像と実画像の初期レジストレーションのための手動レジストレーションステップの使用を示す図である。図６は、Luらによる姿勢推定方法を使用した結果を示しており、我々のドメインにおける不適合性を示している。対応の誤差は小さい（１ピクセル程度の）が、計算された並進の誤差が大きくなっている。以下は、正確な姿勢（Ｒ、Ｔ）と計算された姿勢（Ｒ1、Ｔ1）との間の比較である。

Luらの姿勢推定法のためのMatlabコードへのリンクについては、参考文献［１７］を参照されたい。

特色選択、追跡、及び姿勢推定の後に、ドリフト誤差を考慮するための精レジストレーションステップが必要である。精レジストレーションステップは、対応またはオプティカルフローの何れかに依存することができる。図７は、仮想画像Ｉ_V上に入力点を与えた時の、実画像Ｉ_R5上の計算された対応マッチング点を示している。実画像上の白点は、マッチのための初期推測を示している。黒点は、ガウスのピラミッドのセットアップにおける相関基準を使用して得た最終マッチを示している。ガウスのピラミッドの使用が大きい運動を考慮し、探索空間Ｓを減少させることによって計算時間が節約される。

図８は、仮想画像及び実画像に対してセクション２．４．１のレジストレーションステップを適用することによって得た結果を示している。対応のために使用された点も示されている。これら２つの場合のレジストレーション結果は良好であるが、一般的にこのようなことはない。レジストレーションステップの精度は、対応の質に依存する。気管支鏡が分岐に近いか、または離れている場合には、良好な対応は見出されない。その場合、オプティカルフローをベースとする精レジストレーションステップが使用される。

図９は、Helfertyらによるオプティカルフローをベースとするレジストレーションのための方法を示す［６］。残留運動を回復するために、ソース画像は目標画像に向かって繰り返しワープされる。これは、Ｉ_VとＩ_R5の間の残留運動を迅速に回復することができる勾配をベースとするアプローチである。図１０ａ−ｃは、運動推定の後にワープされた仮想画像の例を有する仮想及びビデオ画像対のための精レジストレーションステップを示している。

高速追跡は、気管支鏡検査中の案内のために２つのソースを一緒に保持する上で必須のステップである。これは、追跡に起因するドリフト誤差から逃れることはできない。それはこれらのドリフト誤差が、部分的に３Ｄ画像データ内の小さい誤差から生じているからである。従って、ドリフト誤差を斟酌するために、精レジストレーションステップが必要になる。特色をベースとする３Ｄ−２Ｄ姿勢推定は、追跡を行う高速且つ安定な技術である。これは、必須マトリックスの計算に伴う不安定さの影響を受けない。もし実及び仮想の両画像にまたがる対応が計算されれば、この同一セットアップをレジストレーションのために同じように使用することができる。

気管支鏡検査の場合、少なくとも２つの他の代替が利用可能である。これらの代替は、
１．以前に取得した画像データは奥行き情報に伴う予めレコードされた気管支鏡ビデオ画像シーケンスであり、生のソースは気管支鏡からの到来ビデオである。
２．以前に取得した画像データは奥行き情報に伴う予めレコードされた気管支鏡ビデオ画像シーケンスであり、生のソースは３Ｄ ＣＴ画像を通して対話的にナビゲートする時に取得できるような到来仮想画像である。
応用は、特に画像案内方式の内視鏡検査の分野における遠大な応用を有している。

要約すれば、我々は回転マトリックスの線形化に基づく新しい３Ｄ−２Ｄ姿勢推定方法を提供する。本方法は反復的であり、小さい回転の場合には急速に収束する。オプティカルフロー制約式内に正規化された画像を使用することによって、Helfertyらによる勾配をベースとするレジストレーション方法を精レジストレーションに使用することができる［６］。このアプローチは、レジストレーションのためのシンプレックス法、またはPowellの方法を使用するよりも高速である。

［引用文献］

気管樹枝分岐の内側の気管支鏡の運動を表す１組５枚の連続気管支鏡ビデオ（実）フレームを示している。 気管支鏡の位置及び配向（姿勢）の現在の推定に基づく気管表面のＣＴをベースとする（仮想）管腔内レンダリングを示す図である。 本発明の総合的方法を示す図である。 １対の仮想画像に適用した手動レジストレーションステップを示す図である。 案内方法を開始させるために、仮想画像と実画像の初期レジストレーションのための手動レジストレーションステップの使用を示す図である。 Luらによる姿勢推定方法を使用した結果を示す図であって、我々のドメインにおけるその不適合性を示している。 仮想画像Ｉ_V上に入力点を与えた時の、実画像Ｉ_R5上の計算された対応マッチング点を示す図である。 仮想画像及び実画像にレジストレーションステップを適用することによって得た結果を示す図である。 Helfertyらによるレジストレーションのためのオプティカルフローをベースとする方法を示す図である。 精レジストレーションステップを示す図であって、図１０ａは、ビデオ画像Ｉ_Rc（図１０ｂ）、及び運動推定の後のワープされた仮想画像（図１０ｃ）と見当合わせされる仮想画像Ｉ_Vを示している。

Claims (10)

1. 身体管腔を通して内視鏡を案内するシステムであって、
   身体管腔の以前に取得した三次元（３Ｄ）デジタル画像データを格納するデータベースと、
   内視鏡から連続する複数のフレームを受信して、上記身体管腔の生の内視鏡映像の画像データを提供する入力手段と、
   上記データベース及び上記入力手段と通信し、上記以前に取得した三次元（３Ｄ）画像データから導出される仮想画像と上記生の内視鏡映像の画像データのフレームとをリアルタイムで、またはほぼリアルタイムで見当合わせし、上記生の内視鏡映像の画像データと上記以前に取得した三次元（３Ｄ）画像データとに基づいて、上記内視鏡の実際の物理的位置を推定し、且つ上記身体管腔の生の内視鏡映像の画像データの次のフレームとの次の見当合わせのために、上記内視鏡の三次元（３Ｄ）位置を使用して、仮想画像を再レンダリングするように動作するプロセッサと、
   を含むことを特徴とするシステム。
2. 上記身体管腔の以前に取得した三次元（３Ｄ）画像データを格納するデータベースは、奥行き情報を含むことを特徴とする請求項１に記載のシステム。
3. 上記プロセッサは更に、
   ａ）上記奥行き情報を使用し、また上記生の内視鏡映像画像に関連する複数の点を追跡して三次元運動を推定し、
   ｂ）３Ｄ−２Ｄ姿勢推定を実行することによって新しい姿勢を決定する、
   ように動作することを特徴とする請求項１に記載のシステム。
4. 上記プロセッサは更に、回転マトリックスを線形化して３Ｄ−２Ｄ姿勢推定問題を解くように動作することを特徴とする請求項３に記載のシステム。
5. 上記プロセッサは更に、三次元運動の推定に伴う誤差を最小化するために、精レジストレーションステップを遂行するように動作することを特徴とする請求項１に記載のシステム。
6. 上記精レジストレーションは、勾配をベースとするガウス・ニュートン法を使用することを特徴とする請求項５に記載のシステム。
7. 上記精レジストレーションは、
   身体管腔の仮想画像を計算し、
   上記仮想画像と上記生の内視鏡映像の画像データとの間の費用を最小化することを含むことを特徴とする請求項５に記載のシステム。
8. 上記以前に取得した三次元（３Ｄ）画像データは、コンピュータ化トモグラフィック（ＣＴ）スライスから導出されることを特徴とする請求項１に記載のシステム。
9. 上記生の内視鏡映像の画像データを入手するために、上記内視鏡が、気管支鏡、結腸内視鏡、または腹腔鏡であることを特徴とする請求項１に記載のシステム。
10. 以前に取得した三次元（３Ｄ）画像データが、磁気共鳴画像(ＭＲＩ)画像データから導出される、請求項１に記載のシステム。

Images