JP4518470B2 - 仮想内視鏡検査のための自動ナビゲーション - Google Patents

仮想内視鏡検査のための自動ナビゲーション Download PDF

Info

Publication number
JP4518470B2
JP4518470B2 JP2003555445A JP2003555445A JP4518470B2 JP 4518470 B2 JP4518470 B2 JP 4518470B2 JP 2003555445 A JP2003555445 A JP 2003555445A JP 2003555445 A JP2003555445 A JP 2003555445A JP 4518470 B2 JP4518470 B2 JP 4518470B2
Authority
JP
Japan
Prior art keywords
viewpoint
rays
virtual endoscope
ray
adjusted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003555445A
Other languages
English (en)
Other versions
JP2005514086A (ja
Inventor
ガイガー ベルンハルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Medical Solutions USA Inc filed Critical Siemens Medical Solutions USA Inc
Publication of JP2005514086A publication Critical patent/JP2005514086A/ja
Application granted granted Critical
Publication of JP4518470B2 publication Critical patent/JP4518470B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Endoscopes (AREA)

Description

本発明は一般的にはコンピュータビジョンおよび画像システムに関するものであり、より詳細には仮想内視鏡検査での自動ナビゲーションシステムおよび自動ナビゲーション方法に関する。
仮想内視鏡検査(VE)とは、患者固有の3D解剖データセットを使用する標準的最小侵襲性内視鏡的処置のコンピュータシミュレーションに基づく診断方法である。現在の内視鏡的処置の例は、気管支鏡検査法、膀胱鏡検査法、心臓鏡検査法、および尿道鏡検査法を含む。非侵襲性に得られた患者固有の解剖構造をVE可視化することにより、実際の内視鏡検査に関連する危険性(例えば穿孔、感染、出血等)が回避される。そして内視鏡検査者に実際の内視鏡検査を実行する前に重要な情報を提供する。このような理解は手続き的な困難性を最小にし、患者の罹患率を低減し、トレーニングを向上させ、診断結果のよりよい理解を促進する。
仮想内視鏡検査では、3D画像が2次元(2D)コンピュータトモグラフ(CT)または磁気共鳴データから形成される。これは例えばボリュームレンダリングによって行われる。これらの3D画像は実際の内視鏡、例えばファイバ光学的内視鏡から到来する画像をシミュレートするために形成される。これの意味するのは、仮想内視鏡の視点を器官内腔の内側または他の人体構造の内側に選択しなければならないことである。さらに器官のレンダリングは広い視覚を以て、典型的には100゜での遠近的レンダリングを使用して実行しなければならないであろう。この視点は、内腔の内側に沿って移動しなければならず、このことは3D平行移動および3D回転を適用しなければならないことを意味する。これらのパラメータをインタラクティブに制御することは挑戦である。
仮想内視鏡の視点をナビゲーションするために共通に使用される技術は、「フライト」経路を事前に計算すること、および仮想内視鏡の視点をこの経路に沿って自動的に移動することである。しかしこの技術は、セグメント化と軌道計算ステップを必要とし、これは時間がかかり、失敗することもある。
発明の要約
仮想内視鏡検査における内視鏡の視点を自動的にナビゲーションするためのシステムおよび方法が提案される。本発明のシステムおよび方法は自動的に仮想内視鏡の方向および配向を決定する。従ってユーザは、1つのパラメータ、すなわち前進または後進速度だけをコントロールすればよい。本発明により器官内部での即時のインタラクティブなナビゲーションが可能になり、その際に例えばセグメント化および経路発生を前処理する必要はない。
本発明の一側面によれば、構造体の内腔内で仮想内視鏡の視点をナビゲーションする方法が提供される。この方法は、上記仮想内視鏡の原位置における視点からの第1の複数の射線を配列するステップと、上記第1の複数の射線から最長射線を決定するステップと、上記最長射線の方向に基づき上記仮想内視鏡の視点の方向を調整するステップと、上記視点の移動速度に依存する重み付け係数を使用して上記仮想内視鏡の上記原位置における視点の初期方向と上記調整された視点の方向とを混合することにより上記仮想内視鏡の視点の重み付けされた新たな方向を計算するステップであって、上記視点の移動速度が上記視点に振動運動を発生させ得る所定速度以上の速度であるときは、上記調整された視点の方向に上記初期方向よりも高い重み付けをする重み付け係数が使用され、上記視点の移動速度が上記所定速度未満の速度であるときは、上記調整された視点の方向に上記初期方向よりも低い重み付けをする重み付け係数が使用されるステップと、上記仮想内視鏡の上記重み付けされた新たな方向を有する上記調整された視点からの第2の複数の射線を配列するステップと、上記調整された視点の上記重み付けされた新たな方向に対して直交する上記第2の複数の射線のなかから直交射線のセットを選択するステップと、上記選択された直交射線に基づき上記仮想内視鏡の上記視点をセンタリングすることにより上記仮想内視鏡の新たな位置を決定するステップと、上記視点を上記新たな位置に前進させるステップと、を含む。この方法ではさらに、上記第1の複数の射線を配列するステップ、上記最長射線を決定するステップ、上記視点の方向を調整するステップ、上記視点の重み付けされた新たな方向を計算するステップ、上記第2の複数の射線を配列するステップ、上記直交射線のセットを選択するステップ、上記新たな位置を決定するステップ及び、上記視点を前進させるステップは、上記視点のナビゲーションが完了するまで繰り返され得る。また、上記選択された直交射線に基づき上記仮想内視鏡の上記視点をセンタリングすることにより上記仮想内視鏡の新たな位置を決定するステップは、上記直交射線のそれぞれと内腔との交点を決定するステップと、上記交点の平均を決定し、その平均を中心点として使用するステップと、を含み得る。
この方法はさらに、上記視点から見た内腔の3次元画像をレンダリングするステップを含み得る。また、上記レンダリングするステップは、複数の2次元画像を取得するために内腔の構造を走査し、上記複数の2次元画像から3次元画像をレンダリングするステップを含み得る。
本発明の別の側面では、上記第1の複数の射線から上記最長射線を決定するステップは、レイキャスティング画像レンダリング技術を利用するステップを含み得る。
本発明の別の側面では、上記最長射線の方向に基づき上記仮想内視鏡の上記視点の方向を調整するステップは、上記視点の方向と上記最長射線の方向との重み付けされた和を決定するステップを含み得る。上記重み付けされた和V’は、V’=wR+(1−w)Vとして計算され、ここで、Vは上記視点の方向、Rは上記最長射線の方向、wは重み付け係数である。上記重み付け係数wは、w=最小(abs(d/f),1.0)として計算され、ここで、dは、上記視点が上記調整された方向へ前進する所定距離、fはスケーリング係数である。
本発明の別の側面では、マシンにより読出可能なプログラム記憶デバイスであって、上記デバイスはマシンにより実行可能なプログラム命令を含んでおり、上記プログラム命令は構造体の内腔内で仮想内視鏡の視点をナビゲーションするための方法のステップを実行させるものであり、上記方法は、上記仮想内視鏡の原位置における視点からの第1の複数の射線を配列するステップと、上記第1の複数の射線から最長射線を決定するステップと、上記最長射線の方向に基づき上記仮想内視鏡の視点の方向を調整するステップと、上記視点の移動速度に依存する重み付け係数を使用して上記仮想内視鏡の上記原位置における視点の初期方向と上記調整された視点の方向とを混合することにより上記仮想内視鏡の視点の重み付けされた新たな方向を計算するステップであって、上記視点の移動速度が上記視点に振動運動を発生させ得る所定速度以上の速度であるときは、上記調整された視点の方向に上記初期方向よりも高い重み付けをする重み付け係数が使用され、上記視点の移動速度が上記所定速度未満の速度であるときは、上記調整された視点の方向に上記初期方向よりも低い重み付けをする重み付け係数が使用されるステップと、上記仮想内視鏡の上記重み付けされた新たな方向を有する上記調整された視点からの第2の複数の射線を配列するステップと、上記調整された視点の上記重み付けされた新たな方向に対して直交する上記第2の複数の射線のなかから直交射線のセットを選択するステップと、上記選択された直交射線に基づき上記仮想内視鏡の上記視点をセンタリングすることにより上記仮想内視鏡の新たな位置を決定するステップと、上記視点を上記新たな位置に前進させるステップと、を含む。
本発明の別の側面では、構造体の内腔内で仮想内視鏡の視点をナビゲーションする方法であって、上記仮想内視鏡の視点からの第1の複数の射線を配列するステップと、上記第1の複数の射線から最長射線を決定するステップと、上記最長射線の方向に基づき上記仮想内視鏡の視点の初期方向を調整された方向に調整するステップと、上記仮想内視鏡の調整された視点からの第2の複数の射線を配列するステップと、上記調整された視点の方向に対して直交する上記第2の複数の射線のなかから直交射線のセットを選択するステップと、上記選択された直交射線に基づき上記仮想内視鏡の上記視点をセンタリングすることにより上記視点の新たな位置を決定するステップと、上記視点を上記調整された方向にナビゲーション速度に従って前進させるステップであって、上記最長射線の方向に基づき上記初期方向を上記調整された方向に調整するために使用される重み付け係数は上記ナビゲーション速度に基づいて決定され、上記ナビゲーション速度が上記視点に振動運動を発生させ得る所定速度以上の速度であるときは、上記最長射線の方向に上記初期方向よりも高い重み付けをする重み付け係数が使用され、上記ナビゲーション速度が上記所定速度未満の速度であるときは、上記最長射線の方向に上記初期方向よりも低い重み付けをする重み付け係数が使用されるステップと、を含む方法が提供される。
上記方法では、上記ナビゲーション速度は、ユーザによって設定され得る
図面の簡単な説明
以下本発明を図面に基づき詳細に説明する。
図1は、本発明による仮想内視鏡での自動ナビゲーションのための実施例のブロック回路図を示す。
図2は、本発明による仮想内視鏡での自動ナビゲーション方法に対するフローチャートである。
図3(a)から(e)は、器官または構造体の内腔に挿入された仮想内視鏡の複数の視点を示すものであり、本発明による実施例の仮想内視鏡での自動ナビゲーション方向を説明する線図である。
図4は、本発明による図2の方法のセンタリング技術を説明する線図である。
有利な実施例の説明
本発明の有利な実施例を、添付図面に基づいて説明する。以下の説明で周知の機能または構造は、不要な説明により本発明を曖昧にすることを避けるため詳細には説明しない。
仮想内視鏡での視点を自動ナビゲーションするシステムおよび方法が提供される。本発明はレイキャスタリング技術を使用し、ヒトの構造体または内部器官、例えば結腸のレンダリング遠近画像を形成する。レイキャスタリングでは、表示された画像の各ピクセルに対して射線を配列し、器官壁とのその交点を計算する。本発明の方法では、最長射線が記憶され、器官壁とのその交点が仮想内視鏡の配向のために計算される。仮想内視鏡の位置は最長射線の方向見るように選択される。このようにして仮想内視鏡は常に視点の最も遠い点の方向を見る。次に内視鏡はこの方向に沿って選択されたユーザ速度に相応する量だけ移動される。
しかしこのことは、仮想内視鏡の視点が湾曲または褶曲の場合に常に器官壁に近接して移動することを意味する。従って付加的射線が視点の周囲に直交して選択され、視点を再センタリングする。これら側方射線と器官壁とのすべての交点は加算され、その結果が仮想内視鏡の直交面に投影され、仮想内視鏡の新たな位置とする。
付加的に振動運動を回避するために、新たに計算された配向が以前の配向と混合される。この混合は、仮想内視鏡の視点の速度(Δ変位)に依存する重み付け係数を使用して行われる。速度が高ければ、新たな配向が比較的高いウェイトを有する。速度が低ければ以前の配向が比較的高いウェイトを有する。
本発明は、ハードウエア、ソフトウエア、ファームウエア、専用プロセッサ、またはそれらの組合せといった種々異なる形態で実現できることは理解されよう。実施例では本発明は、アプリケーションプログラムとしてのソフトウエアで実現されており、プログラム記憶デバイスに含まれている。アプリケーションプログラムはアップロードされ、図1に示されるような適切なアーキテクチャを有するマシンにより実行される。有利にはマシン100は、1つまたは複数の中央演算ユニット(CPU)102,ランダムアクセスメモリ(RAM)104,読出し専用メモリ(ROM)106、キーボード108、カーソルコントロールデバイス(例えばマウス、ジョイスティック)110のような入出力インタフェース(I/O)、および表示デバイス112を有するコンピュータプラットフォームに実現される。このコンピュータプラットフォームはまたオペレーティングシステムとマクロ命令コードを含んでいる。ここで説明される種々の処理および機能はマクロ命令コードの一部、またはアプリケーションプログラムの一部であり、これらはオペレーティングシステムを介して実行される。付加的に種々の別の端末デバイスをこのコンピュータプロッタフォームに接続することができる。これは例えば付加的データ記憶デバイス114およびプリントデバイスである。さらに走査デバイス116,例えばX線装置またはMRI(磁気共鳴画像装置)をマシン100と接続し、2次元(2D)画像データを収集することができる。この画像データは処理され、レンダリングされ、表示デバイス112に3次元(3D)画像として表示される。
いくつかのシステムコンポーネントおよび方法ステップをソフトウエアとして実現できることも理解されよう。システムコンポーネント間の実際に接続(またはプロセスステップ)は本発明がどのようにプログラムされるかに依存して変化する。
図2と図3を参照すると、本発明の実施例による仮想内視鏡での視点の自動ナビゲーション方法が示されている。ここで図2は方法を示すフローチャートであり、図3は器官、例えば結腸をナビゲートした仮想内視鏡の複数の視野を示す。動作中にユーザは仮想内視鏡の視点を表示デバイス112に、実際の内視鏡検査手続きが実行されているかのように見ることが理解されよう。図3のこの視野は視点をナビゲーションする実施例を説明するためのものであり、これそれ以上のものは示されていない。
付加的に、結腸が本発明のシステムおよび方法の説明に使用されたが、本発明のシステムおよび方法を他のヒトまたは動物の器官、または血管、気管支等の空洞内腔を有する構造体に適用できることは理解されよう。
ナビゲーション方法を実行する前に、被験者は走査デバイス116、例えばヘリカルコンピュータトモグラフ(CT)スキャナまたは磁気共鳴画像スキャナ(MRI)による走査手続きを受ける。種々の走査が実行され、一連の2次元(2D)画像が収集されると、観察すべき器官の3D画像が表示デバイス112上に、従来のレンダリング方法(ステップ202)によりレンダリングされる。これはレイキャスタリング、スプラッティング、シェアワープ、3Dテクスチャマッピング等のハードウエアアプローチである。
図3(a)は、レンダリングされた画像の仮想内腔304に挿入された初期位置で仮想内視鏡302が視点Vの方向を見た様子を示す。最長射線方向Rは画像をレンダリングした後(ステップ204)に得られる。レイキャスタリングがレンダリング方法として使用されるなら、最長射線Rは自動的に計算される。それ以外の場合、最長射線は画像が上記の公知の画像レンダリング技術によりレンダリングされた後にレイキャスティングによって計算することができるであろう。最長射線Rが計算された後、ユーザ、例えば外科医または放射線医は仮想内視鏡の視点を距離dだけ移動することが求められる(ステップ206)。これは例えばマウスの移動またはジョイステックを使用して行われる。
図3(b)を参照すると、新たに配向された視点V’は、初期方向Vと最長射線方向Rとの重み付けされた和として計算される(ステップ208と210)。これは以下のような計算である:
w=最小(abs(d/f),1.0) (1)
ここでfはスケーリング係数であり、そして
V’=wR+(1−w)V (2)
ウェイトwは、低速(小さい距離d)では初期方向Vが優勢であり(方向での変化が小さい)、高速では最長射線方向Rが優勢(方向での変化が大きい)であるように選択される。重み付けステップは振動および不安定な運動を低減するために実行される。これについては以下に説明する。スケーリング係数fは仮想内視鏡の速度を調整するために使用される。ここでfの値が大きいと仮想内視鏡は高速になり、fの値が小さいと仮想内視鏡は低速になる。
図3(c)を参照すると、内視鏡118は新たな視線方向V’を見るように転じる(ステップ212)。そして距離dだけ初期視線方向Vに沿って移動する(ステップ214)。次に新たな中心点Sが、図3(d)に示されるように仮想内視鏡302に対して計算される。
内視鏡をセンタリングするために(ステップ216)、側方射線が仮想内視鏡302の視点に対して垂直な面にすべての方向で配列される。例えば図4に示されるように、長さの異なる8つの射線が40゜ごとに配列され、円形パターン402を形成する。射線と構造体壁との交点が計算され、垂直面に投影される。中心点は、これらの点の平均として計算される。
択一的に中心点Sは、前方を指す8つの射線の円形パターンと、後方406を指す8つの射線の円形パターンを使用して計算することもできる。それ以上の射線を用いることはさらに安定性と精度を高める。別の実施例では、8つの射線による5つの円形パターンがそれぞれ使用される。すなわち、直交面の射線、20゜前方に傾斜された射線、20゜後方に傾斜された射線、そして45゜前方に傾斜された射線と45゜後方に傾斜された射線である。仮想内視鏡位置から構造体表面との交点までのすべてのベクトルは加算され、結果のベクトルが直交面に投影される。このポイントは中心の近似点であり、新たな視点位置として使用される。
仮想内視鏡302が1つの視点から別の視点に側方に移動するとき(センタリングステップのため)、振動が発生することは正当に評価すべきである。仮想内視鏡がゆっくりと押し出されると、最長射線方向での変化はセンタリングステップでの変化を引き起こすことになる。その結果が側方運動である。このことはとりわけ内腔の湾曲または褶曲の周囲で転回するときに観察される。この場合、ウェイトを変更すると配向の変化とセンタリングステップの変化が低減され、従って側方運動が低減される。
仮想内視鏡302は次に中心位置Sにシフトされ、前方視点V’への配向を維持する(ステップ218)。これが図3(e)に示されている。この方法は、仮想内視鏡302がその意図するターゲット、例えば腫瘍、ノジュール等に達するまで繰り返される(ステップ220)。
内部構造内を「飛行」する従来技術の方法とは異なり、本発明の方法はナビゲーションの開始前に飛行経路を計算する必要がなく、従って有利に時間を節約することができる。
本発明を有利な実施例に基づいて説明したが、これは単なる例であり、当業者であれば本発明の枠内で種々の変形が可能である。
図1は、本発明による仮想内視鏡での自動ナビゲーションのための実施例のブロック回路図を示す。
図2は、本発明による仮想内視鏡での自動ナビゲーション方法に対するフローチャートである。
図3(a)から(e)は、器官または構造体の内腔に挿入された仮想内視鏡の複数の視点を示すものであり、本発明による実施例の仮想内視鏡での自動ナビゲーション方向を説明する線図である。
図4は、本発明による図2の方法のセンタリング技術を説明する線図である。

Claims (18)

  1. 構造体の内腔内で仮想内視鏡の視点をナビゲーションする方法において、
    前記仮想内視鏡の原位置における視点からの第1の複数の射線を配列するステップと、
    前記第1の複数の射線から最長射線を決定するステップと、
    前記最長射線の方向に基づき前記仮想内視鏡の視点の方向を調整するステップと、
    前記視点の移動速度に依存する重み付け係数を使用して前記仮想内視鏡の前記原位置における視点の初期方向と前記調整された視点の方向とを混合することにより前記仮想内視鏡の視点の重み付けされた新たな方向を計算するステップであって、前記視点の移動速度が前記視点に振動運動を発生させ得る所定速度以上の速度であるときは、前記調整された視点の方向に前記初期方向よりも高い重み付けをする重み付け係数が使用され、前記視点の移動速度が前記所定速度未満の速度であるときは、前記調整された視点の方向に前記初期方向よりも低い重み付けをする重み付け係数が使用されるステップと、
    前記仮想内視鏡の前記重み付けされた新たな方向を有する前記調整された視点からの第2の複数の射線を配列するステップと、
    前記調整された視点の前記重み付けされた新たな方向に対して直交する前記第2の複数の射線のなかから直交射線のセットを選択するステップと、
    前記選択された直交射線に基づき前記仮想内視鏡の前記視点をセンタリングすることにより前記仮想内視鏡の新たな位置を決定するステップと、
    前記視点を前記新たな位置に前進させるステップと、
    を含むことを特徴とする方法。
  2. 前記第1の複数の射線を配列するステップ、前記最長射線を決定するステップ、前記視点の方向を調整するステップ、前記視点の重み付けされた新たな方向を計算するステップ、前記第2の複数の射線を配列するステップ、前記直交射線のセットを選択するステップ、前記新たな位置を決定するステップ及び、前記視点を前進させるステップは、前記視点のナビゲーションが完了するまで繰り返されることを特徴とする請求項1記載の方法。
  3. 前記選択された直交射線に基づき前記仮想内視鏡の前記視点をセンタリングすることにより前記仮想内視鏡の新たな位置を決定するステップは、
    前記直交射線のそれぞれと内腔との交点を決定するステップと、
    前記交点の平均を決定し、その平均を中心点として使用するステップと、
    を含むことを特徴とする請求項1記載の方法。
  4. 前記視点から見た内腔の3次元画像をレンダリングするステップを含むことを特徴とする請求項1記載の方法。
  5. 前記レンダリングするステップは、複数の2次元画像を取得するために内腔の構造を走査し、前記複数の2次元画像から3次元画像をレンダリングするステップを含むことを特徴とする請求項記載の方法。
  6. 前記第1の複数の射線から前記最長射線を決定するステップは、レイキャスティング画像レンダリング技術を利用するステップを含むことを特徴とする請求項1記載の方法。
  7. 前記調整された視点の前記重み付けされた新たな方向V’は、V’=wR+(1−w)Vとして計算され、ここで、Vは前記視点の前記初期方向、Rは前記最長射線の方向、wは重み付け係数である、ことを特徴とする請求項記載の方法。
  8. 前記重み付け係数wは、w=最小(abs(d/f),1.0)として計算され、ここで、dは、前記視点が前記調整された方向へ前進する所定距離、fはスケーリング係数である、ことを特徴とする請求項記載の方法。
  9. マシンにより読出可能なプログラム記憶デバイスであって、前記デバイスはマシンにより実行可能なプログラム命令を含んでおり、前記プログラム命令は構造体の内腔内で仮想内視鏡の視点をナビゲーションするための方法のステップを実行させるものであり、前記方法は、
    前記仮想内視鏡の原位置における視点からの第1の複数の射線を配列するステップと、
    前記第1の複数の射線から最長射線を決定するステップと、
    前記最長射線の方向に基づき前記仮想内視鏡の視点の方向を調整するステップと、
    前記視点の移動速度に依存する重み付け係数を使用して前記仮想内視鏡の前記原位置における視点の初期方向と前記調整された視点の方向とを混合することにより前記仮想内視鏡の視点の重み付けされた新たな方向を計算するステップであって、前記視点の移動速度が前記視点に振動運動を発生させ得る所定速度以上の速度であるときは、前記調整された視点の方向に前記初期方向よりも高い重み付けをする重み付け係数が使用され、前記視点の移動速度が前記所定速度未満の速度であるときは、前記調整された視点の方向に前記初期方向よりも低い重み付けをする重み付け係数が使用されるステップと、
    前記仮想内視鏡の前記重み付けされた新たな方向を有する前記調整された視点からの第2の複数の射線を配列するステップと、
    前記調整された視点の前記重み付けされた新たな方向に対して直交する前記第2の複数の射線のなかから直交射線のセットを選択するステップと、
    前記選択された直交射線に基づき前記仮想内視鏡の前記視点をセンタリングすることにより前記仮想内視鏡の新たな位置を決定するステップと、
    前記視点を前記新たな位置に前進させるステップと、
    を含むことを特徴とするプログラム記憶デバイス。
  10. 前記第1の複数の射線を配列するステップ、前記最長射線を決定するステップ、前記視点の方向を調整するステップ、前記視点の重み付けされた新たな方向を計算するステップ、前記第2の複数の射線を配列するステップ、前記直交射線のセットを選択するステップ、前記新たな位置を決定するステップ及び、前記視点を前進させるステップは、前記視点のナビゲーションが完了するまで繰り返されることを特徴とする請求項記載のプログラム記憶デバイス。
  11. 前記選択された直交射線に基づき前記仮想内視鏡の前記視点をセンタリングすることにより前記仮想内視鏡の新たな位置を決定するステップは、
    前記直交射線のそれぞれと内腔との交点を決定するステップと、
    前記交点の平均を決定し、その平均を中心点として使用するステップと、
    を含むことを特徴とする請求項記載のプログラム記憶デバイス。
  12. 前記視点から見た内腔の3次元画像をレンダリングするステップを含むことを特徴とする請求項記載のプログラム記憶デバイス。
  13. 前記レンダリングするステップは、複数の2次元画像を取得するために内腔の構造を走査し、前記複数の2次元画像から3次元画像をレンダリングするステップを含むことを特徴とする請求項12記載のプログラム記憶デバイス。
  14. 前記第1の複数の射線から前記最長射線を決定するステップは、レイキャスティング画像レンダリング技術を利用するステップを含むことを特徴とする請求項記載のプログラム記憶デバイス。
  15. 前記調整された視点の前記重み付けされた新たな方向V’は、V’=wR+(1−w)Vとして計算され、ここで、Vは前記視点の前記初期方向、Rは前記最長射線の方向、wは重み付け係数である、ことを特徴とする請求項記載のプログラム記憶デバイス。
  16. 前記重み付け係数wは、w=最小(abs(d/f),1.0)として計算され、ここで、dは、前記視点が前記調整された方向へ前進する所定距離、fはスケーリング係数である、ことを特徴とする請求項15記載のプログラム記憶デバイス。
  17. 構造体の内腔内で仮想内視鏡の視点をナビゲーションする方法において、
    前記仮想内視鏡の視点からの第1の複数の射線を配列するステップと、
    前記第1の複数の射線から最長射線を決定するステップと、
    前記最長射線の方向に基づき前記仮想内視鏡の視点の初期方向を調整された方向に調整するステップと、
    前記仮想内視鏡の調整された視点からの第2の複数の射線を配列するステップと、
    前記調整された視点の方向に対して直交する前記第2の複数の射線のなかから直交射線のセットを選択するステップと、
    前記選択された直交射線に基づき前記仮想内視鏡の前記視点をセンタリングすることにより前記視点の新たな位置を決定するステップと、
    前記視点を前記調整された方向にナビゲーション速度に従って前進させるステップであって、前記最長射線の方向に基づき前記初期方向を前記調整された方向に調整するために使用される重み付け係数は前記ナビゲーション速度に基づいて決定され、前記ナビゲーション速度が前記視点に振動運動を発生させ得る所定速度以上の速度であるときは、前記最長射線の方向に前記初期方向よりも高い重み付けをする重み付け係数が使用され、前記ナビゲーション速度が前記所定速度未満の速度であるときは、前記最長射線の方向に前記初期方向よりも低い重み付けをする重み付け係数が使用されるステップと、
    を含むことを特徴とする方法。
  18. 前記ナビゲーション速度は、ユーザによって設定されることを特徴とする請求項17記載の方法。
JP2003555445A 2001-12-20 2002-12-19 仮想内視鏡検査のための自動ナビゲーション Expired - Lifetime JP4518470B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US34301201P 2001-12-20 2001-12-20
US10/322,326 US20030152897A1 (en) 2001-12-20 2002-12-18 Automatic navigation for virtual endoscopy
PCT/US2002/040733 WO2003054803A1 (en) 2001-12-20 2002-12-19 Automatic navigation for virtual endoscopy

Publications (2)

Publication Number Publication Date
JP2005514086A JP2005514086A (ja) 2005-05-19
JP4518470B2 true JP4518470B2 (ja) 2010-08-04

Family

ID=26983357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003555445A Expired - Lifetime JP4518470B2 (ja) 2001-12-20 2002-12-19 仮想内視鏡検査のための自動ナビゲーション

Country Status (8)

Country Link
US (1) US20030152897A1 (ja)
EP (1) EP1459261B1 (ja)
JP (1) JP4518470B2 (ja)
CN (1) CN1312639C (ja)
AU (1) AU2002359760A1 (ja)
CA (1) CA2470933A1 (ja)
DE (1) DE60239701D1 (ja)
WO (1) WO2003054803A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050197558A1 (en) * 2004-03-04 2005-09-08 Williams James P. System and method for performing a virtual endoscopy in a branching structure
US7609910B2 (en) * 2004-04-09 2009-10-27 Siemens Medical Solutions Usa, Inc. System and method for creating a panoramic view of a volumetric image
DE102004027709B4 (de) * 2004-06-07 2006-08-10 Siemens Ag Verfahren der virtuellen Endoskopie zur medizinischen 3D-Bilddarstellung und -verarbeitung, Computertomografiegerät, Arbeitsstation und Computerprogrammprodukt
ATE484811T1 (de) * 2004-06-23 2010-10-15 Koninkl Philips Electronics Nv Virtuelle endoskopie
JP4130428B2 (ja) * 2004-09-02 2008-08-06 ザイオソフト株式会社 画像処理方法及び画像処理プログラム
CN1779718B (zh) * 2004-11-18 2010-11-24 中国科学院自动化研究所 虚拟内窥镜的可见性分块绘制装置及其方法
WO2006090324A2 (en) * 2005-02-23 2006-08-31 Koninklijke Philips Electronics N. V. Method for the prediction of the course of a catheter
WO2006118100A1 (ja) * 2005-04-28 2006-11-09 Hitachi Medical Corporation 画像表示装置及びプログラム
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US20070046661A1 (en) * 2005-08-31 2007-03-01 Siemens Medical Solutions Usa, Inc. Three or four-dimensional medical imaging navigation methods and systems
US7623900B2 (en) 2005-09-02 2009-11-24 Toshiba Medical Visualization Systems Europe, Ltd. Method for navigating a virtual camera along a biological object with a lumen
US8079957B2 (en) * 2005-11-18 2011-12-20 Siemens Medical Solutions Usa, Inc. Synchronized three or four-dimensional medical ultrasound imaging and measurements
US20070132754A1 (en) * 2005-12-12 2007-06-14 Intel Corporation Method and apparatus for binary image classification and segmentation
JP4920260B2 (ja) * 2006-01-25 2012-04-18 株式会社東芝 画像診断装置、画像表示装置及び画像データ生成方法
IL186567A (en) * 2006-10-10 2014-02-27 Visionsense Ltd A method and system for navigating the colon
US7853058B2 (en) * 2006-11-22 2010-12-14 Toshiba Medical Visualization Systems Europe, Limited Determining a viewpoint for navigating a virtual camera through a biological object with a lumen
US9037215B2 (en) 2007-01-31 2015-05-19 The Penn State Research Foundation Methods and apparatus for 3D route planning through hollow organs
US20090156895A1 (en) * 2007-01-31 2009-06-18 The Penn State Research Foundation Precise endoscopic planning and visualization
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
CN101849843B (zh) * 2009-03-31 2013-03-13 上海交通大学医学院附属新华医院 三维心脏超声虚拟内窥镜导航方法
JP5421828B2 (ja) * 2010-03-17 2014-02-19 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP5551955B2 (ja) * 2010-03-31 2014-07-16 富士フイルム株式会社 投影画像生成装置、方法、及びプログラム
JP5369078B2 (ja) * 2010-11-26 2013-12-18 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
JP2015520359A (ja) 2012-03-29 2015-07-16 ディーシージー システムズ、 インコーポライテッドDcg Systems Inc. 任意の形状の対象物の中心線を評価する方法
KR102087595B1 (ko) * 2013-02-28 2020-03-12 삼성전자주식회사 내시경 시스템 및 그 제어방법
US9025861B2 (en) * 2013-04-09 2015-05-05 Google Inc. System and method for floorplan reconstruction and three-dimensional modeling
US10163262B2 (en) * 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
CN105231978B (zh) * 2015-09-14 2017-03-22 袁非牛 一种引导式虚拟内窥镜导航方法
CN107248191A (zh) * 2017-07-06 2017-10-13 南开大学 一种适用于复杂腔体的虚拟内窥镜自动和交互式路径规划与导航方法
US10685486B2 (en) * 2018-03-29 2020-06-16 Biosense Webster (Israel) Ltd. Locating an opening of a body cavity
US11132830B2 (en) * 2018-03-29 2021-09-28 Biosense Webster (Israel) Ltd. Static virtual camera positioning
US10672510B1 (en) 2018-11-13 2020-06-02 Biosense Webster (Israel) Ltd. Medical user interface
CN113724309B (zh) * 2021-08-27 2024-06-14 杭州海康威视数字技术股份有限公司 图像生成方法、装置、设备及存储介质
US12082774B2 (en) 2021-12-16 2024-09-10 Metal Industries Research & Development Centre System and method for assisting endoscope tracking

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5694530A (en) * 1994-01-18 1997-12-02 Hitachi Medical Corporation Method of constructing three-dimensional image according to central projection method and apparatus for same
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
JP3654977B2 (ja) * 1995-11-13 2005-06-02 東芝医用システムエンジニアリング株式会社 三次元画像処理装置
JP3664336B2 (ja) * 1996-06-25 2005-06-22 株式会社日立メディコ 三次元画像構成法における視点位置及び視線方向の設定方法及び装置
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US5971767A (en) * 1996-09-16 1999-10-26 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
US6343936B1 (en) * 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
US6016439A (en) * 1996-10-15 2000-01-18 Biosense, Inc. Method and apparatus for synthetic viewpoint imaging
US5891030A (en) * 1997-01-24 1999-04-06 Mayo Foundation For Medical Education And Research System for two dimensional and three dimensional imaging of tubular structures in the human body
US5897030A (en) * 1997-04-10 1999-04-27 Stangle; John A. Toothpaste dispenser
JP4053117B2 (ja) * 1997-10-17 2008-02-27 東芝医用システムエンジニアリング株式会社 画像処理装置
US6369812B1 (en) * 1997-11-26 2002-04-09 Philips Medical Systems, (Cleveland), Inc. Inter-active viewing system for generating virtual endoscopy studies of medical diagnostic data with a continuous sequence of spherical panoramic views and viewing the studies over networks
US5990900A (en) * 1997-12-24 1999-11-23 Be There Now, Inc. Two-dimensional to three-dimensional image converting system
US6928314B1 (en) * 1998-01-23 2005-08-09 Mayo Foundation For Medical Education And Research System for two-dimensional and three-dimensional imaging of tubular structures in the human body
JPH11283055A (ja) * 1998-01-29 1999-10-15 Hitachi Medical Corp 三次元画像表示装置
DE69805209T2 (de) * 1998-02-23 2002-11-28 Algotec Systems Ltd., Raanana System und methode zur automatischen wegplanung
JP2002534191A (ja) * 1999-01-04 2002-10-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 管状構造を示す画像を処理し、その構造を通る経路を構成する方法、システム及び装置
JP2000346616A (ja) * 1999-06-02 2000-12-15 Hitachi Medical Corp 三次元距離計測方法
US6606091B2 (en) * 2000-02-07 2003-08-12 Siemens Corporate Research, Inc. System for interactive 3D object extraction from slice-based medical images
EP1264281A4 (en) * 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
US6725080B2 (en) * 2000-03-01 2004-04-20 Surgical Navigation Technologies, Inc. Multiple cannula image guided tool for image guided procedures
US6511418B2 (en) * 2000-03-30 2003-01-28 The Board Of Trustees Of The Leland Stanford Junior University Apparatus and method for calibrating and endoscope
US7190365B2 (en) * 2001-09-06 2007-03-13 Schlumberger Technology Corporation Method for navigating in a multi-scale three-dimensional scene

Also Published As

Publication number Publication date
WO2003054803A1 (en) 2003-07-03
CN1606759A (zh) 2005-04-13
CA2470933A1 (en) 2003-07-03
EP1459261B1 (en) 2011-04-06
US20030152897A1 (en) 2003-08-14
DE60239701D1 (de) 2011-05-19
EP1459261A1 (en) 2004-09-22
JP2005514086A (ja) 2005-05-19
AU2002359760A1 (en) 2003-07-09
CN1312639C (zh) 2007-04-25

Similar Documents

Publication Publication Date Title
JP4518470B2 (ja) 仮想内視鏡検査のための自動ナビゲーション
US7623900B2 (en) Method for navigating a virtual camera along a biological object with a lumen
US10818019B2 (en) Dilated fully convolutional network for multi-agent 2D/3D medical image registration
Wan et al. Distance-field based skeletons for virtual navigation
US7081088B2 (en) Method and apparatus for automatic local path planning for virtual colonoscopy
JP3874826B2 (ja) 内視鏡を模擬する方法及び被検体の内腔のビューを得るための仮想検査システム
US20050116957A1 (en) Dynamic crop box determination for optimized display of a tube-like structure in endoscopic view ("crop box")
US8712115B2 (en) Real-time virtual endoscopy
EP0646263A1 (en) Computer graphic and live video system for enhancing visualisation of body structures during surgery
JP2013505778A (ja) 運動情報を用いた医用画像解析のためのコンピュータ可読媒体、システム、および方法
JPH07114652A (ja) 三次元画像の動画表示装置及び動画表示方法
Wegenkittl et al. Mastering interactive virtual bronchioscopy on a low-end PC
Shahidi et al. Surface rendering versus volume rendering in medical imaging: techniques and applications
JP2022122235A (ja) 医用画像処理装置および医用画像処理方法
KR100420791B1 (ko) 3차원 볼륨-단면 결합 영상 생성 방법
JP2008067915A (ja) 医用画像表示装置
JPH08280710A (ja) 実時間医用装置及び患者に医用手順を遂行するために操作者を支援する方法
CN108064148A (zh) 用于体外受精的图像引导的胚胎转移
JP2723257B2 (ja) 画像処理装置
Tran et al. Interactive 3D navigation system for image-guided surgery
US20230255692A1 (en) Technique for optical guidance during a surgical procedure
JPH11219448A (ja) 画像表示方法
Scheuering Fusion of medical video images and tomographic volumes
Liu et al. Construction of a virtual bronchus endoscopy system
Fuchs et al. Systems for three-dimensional display of medical images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050818

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20061018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080919

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081217

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090113

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090527

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090827

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4518470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140528

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term