JP6339097B2 - ３ｄ超音波画像と２ｄｘ線画像とを組み合わせたリアルタイムシーンモデリング - Google Patents

Description

本発明は、マルチモーダルイメージング環境において画像マテリアルを視覚化する装置、マルチモーダルイメージング環境において画像マテリアルを視覚化する方法、イメージングシステム、コンピュータ可読媒体、及び、コンピュータプログラムプロダクトに関する。

画像によって誘導される医療処置、特に外科処置の課題の１つは、患者がインターベンション前又はその時に受けた多くのイメージング技術によって提供された情報を効率よく使用することである。

例えば、心臓医学分野では、医師は、大抵の場合、Ｃ型アームによって収集されたリアルタイムのＸ線画像へのアクセスを有する。これらの画像は、非常に優れた空間及び時間的精度を有するので、細いカテーテル及び他のインターベンショナルツールであってもその進行を正確に追うことができる。しかし、これらの画像では、軟組織は、ほとんど確認することができない。また更には、これらの画像は、インターベンションシーンのボリュメトリック形状への直接的なアクセスを与えない投影画像である。この重要な情報にもアクセスを得るための解決策として、３Ｄであると共に、軟組織をイメージング可能な第２のイメージングモダリティを使用する。

この第２のイメージングシステムの１つの可能な選択肢は、３Ｄ超音波イメージングである。このモダリティの利点は、外科処置の間にリアルタイムで使用できることである。心臓病学的処置において、標準的な径胸腔超音波ではほとんど見えない解剖学的詳細を有するリアルタイムのボリュメトリック画像を生成して、径食道プローブを心臓のすぐ隣までナビゲートできる。

典型的なインターベンションは、軟組織生体構造に対するツール／内部人工器官の配置をモニタリングするために、Ｘ線及び超音波の同時関与が有益であることが分かっている、僧帽弁クリッピングといった経皮的な弁修復（ＰＶＲ）である。

しかし、本出願人による国際特許公開公報ＷＯ２０１１／０７０４９２におけるように、超音波及びＸ線の両方のリアルタイムストリームを表示する通常の方法は、大抵の場合、大きなストレス下にあるインターベンションを行うときに、操作者が、２つのモダリティ間の空間的関係を容易に理解するためには、十分に直感的ではないことがあることが分かっている。

したがって、超音波画像とＸ線画像との両方の視覚化のための代替システムが必要である。

本発明の課題は、独立請求項の主題によって解決され、更なる実施形態は、従属請求項に組み込まれている。なお、以下に説明される本発明の態様は、マルチモーダルイメージング環境において画像マテリアルを視覚化する方法、イメージングシステム、コンピュータプログラム要素、及び、コンピュータ可読媒体に等しく適用する。

本発明の第１の態様によれば、マルチモーダルイメージング環境において画像マテリアルを視覚化する装置が提供される。

当該装置は、
ｉ）超音波プローブによって収集された物体の超音波画像データセットと、ｉｉ）物体をＸ線イメージャのＸ線源から放射される放射線に晒す投影方向における平面内のＸ線イメージャの検出器によって収集された物体のＸ線画像とを受け取る入力ポートと、
超音波画像データセットを、Ｘ線イメージャ及び超音波プローブの両方の共通座標フレームにおいて位置合わせする位置合わせユニットと、
Ｘ線イメージャ及び超音波プローブの両方の共通座標フレームにおいて、ｉ）超音波画像データセットの（ユーザ選択可能ビューにおける）３Ｄ投影と、ｉｉ）検出器の平面におけるＸ線画像への透視３Ｄビューとの表現を提供するユーザ選択可能ビューにおける３Ｄシーンのグラフィックスディスプレイを、画面上に生成するグラフィックスディスプレイジェネレータと、
を含み、透視３Ｄビューは、（例えばＸ線イメージャのＸ線源の空間における位置によって規定される）Ｘ線投影方向及びユーザ選択ビューに対応し、上記ジェネレータは、３Ｄシーンへの第２のユーザ選択ビューに応じて及び反応して、３Ｄシーンをアップデートする。

つまり、一実施形態では、当該装置は、２つの画像、即ち、超音波画像データセット及びＸ線フレームと、両方の収集手段に対応するジオメトリ情報と、両方の収集手段を空間的に「関連付ける」画像ペアから計算される位置合わせ変換とに基づいた３Ｄシーンのモデリングをもたらす。これは、人間の観察者に、２つのモダリティ間の空間的関係の単一かつ自然なグリンプスを提供するグラフィックスディスプレイをもたらす。

当該装置は、画像が単にマルチペインウィンドウに示され、各モダリティにつき１つのペインがあることにより、イメージングモダリティ間の空間的関係がユーザに自然に提示されない従来のマルチモーダル画像ビューアとはまったく異なって動作する。

ユーザ選択ビューは、２つのイメージングモダリティによって形成される３Ｄ空間における複合シーンを捕捉する３Ｄ空間における「カメラ」のビューと考えられる。当該ビューは、ｉ）共通基準フレームにおける位置と、ｉｉ）ビューイング向きを有するビューイング方向と、ｉｉｉ）当該位置から当該方向に沿って延在する立体角とによって規定される。第２のビューは、ユーザによって要求される並進移動、回転、又は（縮小）拡大といった変更又はこれらの変更の組み合わせを介して、先のビューからもたらされる。３Ｄシーンへのユーザ選択ビューは、特に、超音波画像データセット及びその平面におけるＸ線フレームへの当該ビューを提供する。

一実施形態では、上記ジェネレータは、縮小リクエストに反応して、３ＤシーンのズームアウトバージョンにおけるＸ線イメージャのＳＩＤ（Source to Image-receptor Distance）の長さに適合するように、３Ｄシーンの当該ズームアウトバージョンを、３Ｄシーン、特に、その平面におけるＸ線フレーム及び超音波ボリュームへのユーザ選択ビューにおける検出器の平面におけるＸ線画像に対するＸ線源の位置を示す視覚的マーカーと共に、生成する。

つまり、正しいスケーリングを選択すると、複合シーンは、Ｘ線源位置と、選択されたビュー下での超音波画像セットの３Ｄレンダリングと、その上に２ＤＸ線画像が投影され、場合によっては射影ひずみにより歪んでいる遠近法で見た対応するＸ線平面とを含むように、グラフィックスディスプレイにモデリングされる。ユーザは、２つのモダリティの３Ｄ空間における配置全体を、それらの対応するイメージングジオメトリと共に、すぐに視覚的に理解することができる。

一実施形態では、上記ジェネレータは、ユーザがＸ線画像において関心点を指定することに反応して、当該関心点から、３Ｄシーンへの選択ビューにおける超音波画像データセットを横切って延在する照準線であって、また、Ｘ線源の位置まで延在する照準線を生成する。上記ジェネレータは、照準線上に対応する点を視覚的に指定するマーカーを生成し、照準線は、３Ｄシーンへのユーザ選択ビューにおける超音波画像データセットと交差する。

一実施形態では、上記ジェネレータは、ユーザが３Ｄシーンへの選択ビューにおける超音波画像データセットにおいて関心点を指定することに反応して、当該関心点からＸ線源の位置まで延在する照準線であって、また、照準線がＸ線画像と交差するＸ線画像における及び照準線上の対応する点まで延在する当該照準線を生成する。上記ジェネレータは、Ｘ線画像における対応する点を視覚的に指定するマーカーを生成する。

当該照準線は、Ｘ線源の場所を、超音波画像データにおける点の（現在のＸ線収集ジオメトリに応じた）投影である（検出器平面を表す）Ｘ線画像における点につなげることによって幾何学的に生じる。

一実施形態では、当該装置は、照準線に沿った及び超音波画像データセットにおけるマーカーの位置をユーザが手動で調節できるようにする更なる機能を提供する。一実施形態では、各マーカーの各近傍における（Ｘ線画像及び超音波画像データにおける）画像内容の類似点に基づいた自動調節アルゴリズムが使用される。

解剖学的ランドマーク又は医療デバイス（カテーテル又はガイドワイヤ）が、ユーザによって指定されて、照準線が３Ｄシーンにおける同じ物体／点の両方の指定を自然に関連付けつつ、１つ又は２つのモダリティにおいて追跡される。関心点も、統計的推定によって、自動的に検出される。

一実施形態によれば、超音波画像は、超音波画像データセットのストリームにおける１つであり、Ｘ線画像は、Ｘ線画像のストリームにおける１つであり、２つの画像ストリームは、共通基準フレームにおいて位置合わせされる。上記ジェネレータは、Ｘ線画像ストリーム又は超音波画像データセットストリームにおける関心点を経時的に追跡するトラッカーを含む。上記ジェネレータは、ストリーム中の各超音波画像データセットへのユーザ選択ビューにおける、又は、ストリーム中の各Ｘ線画像における対応する点を再生成し、Ｘ線源又は超音波プローブの位置変化に反応して、照準線を適応させる。

一実施形態によれば、上記グラフィックスディスプレイは、インタラクティブなものであり、第１のユーザ選択ビュー、第２のユーザ選択ビュー、又は、縮小リクエストを受け取るように構成される。特に、また、一実施形態では、上記画面は、タッチ画面であり、縮小リクエストを含むユーザによるビュー選択は、画面上の手動タッチ又はスワイプ行為によるものである。別の実施形態では、縮小リクエストを含むユーザによるビュー選択は、上記装置と通信可能に結合されるキーボード上のキーを作動させること、又は、上記装置と通信可能に結合されるポインタツールを作動させることによる。

本明細書において考えられる超音波画像データセットは、３Ｄ画像ボリュームを形成するために、３Ｄ超音波機器によって収集される。しかし、上記装置は、一連の２Ｄスライスが生成される２Ｄ超音波イメージャと共に使用されてもよい。この場合、３Ｄシーンは、各像面における（Ｘ線投影画像及び２Ｄ超音波スライスである）２つの２Ｄ画像を、場合によって２Ｄ画像のうちの片方及び両方が射影ひずみによって歪んだ状態で、３Ｄ透視ビューに融合させることによって形成される。

本発明の例示的な実施形態は、以下の図面を参照して、説明される。

図１は、インターベンションの画像誘導サポートのためのマルチモーダルイメージングアレンジメントを示す。 図２は、図１のアレンジメントにおけるイメージングジオメトリの概略的な拡大図である。 図３は、グラフィカルユーザインターフェースの概略的な表現である。 図４は、グラフィカルユーザインターフェースの更なる概略的な表現である。 図５は、マルチモーダル画像マテリアルを視覚化する方法のフローチャートである。

図１を参照するに、僧帽弁クリッピングといった最小侵襲インターベンションのマルチモーダル画像誘導サポートのためのアレンジメントが示される。

広義には、当該アレンジメントは、Ｘ線イメージャ１００と、検査台ＴＢＬと、超音波イメージング機器ＵＳＤとを含む。具体的には、当該アレンジメントは、超音波イメージャとＸ線イメージャとの両方から、画像を収集することを可能にする。以下により詳細に説明されるように、２つの画像ストリームは、ユーザの望み通りに、関連の解剖学的情報のために２つのストリームの中から最も適切なストリームを利用できるように、組み合わされる。

インターベンションの間、患者ＰＡＴは、検査台ＴＢＬに寝かされる。ガイドワイヤＧＷといった医療デバイスが、エントリポイントを通り、患者の体内に導入される。インターベンショナル放射線科医は、病変部位に到達するために、患者の血管系の複雑な迷路の中を、当該ガイドワイヤをナビゲートするという課題に直面する。マルチモーダルイメージングサポートに依存するこのようなインターベンションの一例は、心臓インターベンションである僧帽弁クリッピングである。ガイドワイヤＧＷは、インターベンショナル放射線科医（「操作者」）によって、エントリポイント（例えば患者ＰＡＴの大腿静脈）から僧帽弁まで、心臓血管系の中を通される。血液が漏出しないように弁尖を掴持し締めるように、クリップがカテーテルの中を送られる。したがって、僧帽弁クリッピングでは、カテーテル／ガイドワイヤＧＷの先端の位置又は場所だけでなく、心臓活動の間に弁尖が振動する際の弁尖の位置も知ることが不可欠である。そこで、マルチモーダリティが役立つ。つまり、Ｘ線蛍光透視画像は、ガイドワイヤ／ガイドカテーテルＧＷが放射線に対し不透過性であることにより、当該ガイドワイヤ又は「フットプリント」（投影ビューを代表する画像部分）を記録することが可能である一方で、心臓軟組織（例えば弁尖）は、超音波画像においてのみ可視であるが、放射線に対する不透過性を有さないため、Ｘ線画像にでは、まったく（又は略）可視ではない。

Ｘ線イメージャは、Ｃ型アームタイプであり、様々な投影方向ｐにおける関心領域における患者からのＸ線投影画像を収集することを可能にする。しかし、本明細書では、Ｃ型アーム以外のイメージャ構造も考えられる。図１に示されるように、Ｃ型アームＣＡの位置といったイメージングジオメトリが、患者に対して変更され、これにより、様々な投影方向ｐが実現される。当該実施形態では、Ｃ型アームは、その端の一方において、検出器Ｄを、もう１つの反対の端において、コリメータＸ線管アセンブリを担持している。Ｘ線管ＸＲと検出器との間に延在する仮想照準線は、本明細書では、「ＳＩＤ線」と呼び、その長さは、ＳＩＤ（Source to Image-receptor Distance）としばしば呼ばれるイメージングパラメータである。

コリメータＣＯＬは、Ｘ線源ＸＲによって放射されたＸ線ビームをコリメートする。Ｃ型アームＣＡは、適切なボール軸受及びレール構成を有するクレードルＣ内で時計回り又は反時計回りに摺動することによって、その中心の周りを回転可能である。別の実施形態では、イメージャのジオメトリには、より多くの自由度があってもよい。例えばＣ型アームＣＡ全体が、検査台ＴＢＬの縁によって画成される平面Ｘ、Ｙにおいてシフト可能である。これは、Ｘ、Ｙ方向に摺動可能で、クレードルＣＲ及びＣ型アームＣＡを担持する懸架アームを含むオーバーヘッドキャリッジによって達成される。Ｘ線イメージャの動作全体は、ペダル又はジョイスティックといった手動制御手段を提供する又はＸ線画像ストリームＸＦ_ｔの収集のためのプロトコルを実行するようにプログラム可能なコンソールＣＯＮを介して制御される。

超音波イメージング機器ＵＳＤは、患者ＰＡＴに対し任意の所望の位置又は向きｕに位置付け可能な超音波プローブＵＳＰを含む。一実施形態では、超音波プローブＵＳＰは、患者ＰＡＴ内に導入される。超音波プローブＵＳＰは、患者の生体構造内の構造体から跳ね返る超音波パルスを送信する。超音波プローブは更に、跳ね返ってきた波を、入来エコー音波として位置合わせ（register）する。超音波イメージング機器内のプロセッサが、当該入来エコー波の移動時間を計算して、特定の瞬間ｔの瞬間伝播方向ｕにおける３Ｄ超音波画像データボリュームが形成される。インターベンションの間、伝播方向ｕは、何回か変化する可能性があるので、超音波イメージング機器ＵＳＤは、一連の３ＤボリュームＵＳＶ_ｔを出力する。３Ｄ超音波機器の一例は、本出願人の米国特許第７，１４１，０２０号である。

２つの画像データストリーム、つまり、蛍光透視Ｘ線画像フレームＸＦ（「フルオロ」）及び超音波ボリュームＵＳＶは、次に、画面Ｍ上でのビュー用にレンダリングされるグラフィカルユーザインターフェースＧＵＩを形成するために、当該画像又は一連の画像を画像処理する装置Ａに転送される。装置Ａの動作は、以下により詳細に説明される。

伝播方向ｕ及び投影方向ｐは、それぞれ、超音波イメージングジオメトリ及びＸ線イメージングジトメトリの一部である。両ジオメトリは、共通基準フレームＸ、Ｙ、Ｚによって、互いに対し（及び患者ＰＡＴに対し）空間的に関連付けられる。図１から分かるように、共通基準フレームの一例は、検査台ＴＢＬの平面Ｘ、Ｙと、当該平面に垂直である方向ｚによって画成される。しかし、当業者であれば、両方のモダリティ用の共通基準フレームの他の画成も、本教示に、同様に採用されてもよいことは理解できよう。

図２を参照するに、イメージングモダリティに関する３次元ジオメトリのより詳細な図が示されている。

図２における状況の描写は、特定の瞬間ｔにおけるスナップショットとして理解されるべきである。当該瞬間ｔにおいて、ガイドワイヤＧＷは、ガイドワイヤの先端ＴＰの空間における位置決めによって規定される特定の位置にある。当該先端の周りの比較的小さい領域が、図２に示されるように、破線の円の中の領域によってある区域を画成する。つまり、瞬間ｔにおけるガイドワイヤＧＷの先端ＴＰの位置は、ガイドワイヤＧＷが前進させられると又はインターベンションの過程で「丸まる」ようにされると変化する瞬間関心領域ＲＯＩを画成する。

時間ｔにおいて、（ストリームＸＦ_ｔのうちの）１つのＸ線フレームＸＦが、図２に示されるように、投影方向ｐにおいて収集される。つまり、Ｘ線ビームが、当該瞬間関心領域を通過し、検出器平面Ｄにおいて像を形成し、当該像は、次に、当該瞬間ｔにおける蛍光透過Ｘ線フレームＸＦとして、検出器セルによって記録される。検出器セルは、図２において、Ｘ’、Ｙ’によって示される検出器Ｄ平面によって規定されるローカル座標系に配置される。図２に示されるように、また、通常、Ｃ型アームＣＡの斜め位置によって、検出器Ｄの像面Ｘ’、Ｙ’、Ｚ’は、検査台ＴＢＬの平面Ｘ、Ｙ、Ｚによって規定される共通基準フレームに対して回転され、２つの基準フレームが、直交変換を介して関連付けられる。超音波プローブＵＳＰの超音波の瞬間視野は、一般に、図２に示されるように、円錐台形を有する。つまり、円錐台形ボリュームが、伝搬方向ｕに置かれたときに、超音波プローブによって、瞬間ｔにおいて、高周波の音波が当てられるボリュームである。超音波プローブＵＳＰの収集ジオメトリのローカル基準フレームは、Ｘ’’、Ｙ’’、Ｚ’’として示される。本明細書において考えられる超音波イメージング器具ＵＳＤは、単一のプローブ位置において方向ｕにおける瞬間３ＤボリュームＵＳＶを収集することを可能にするため、任意の所与の３ＤボリュームＵＳＶに対し、手又は別の方法で超音波プローブを動かす必要はない。しかし、本明細書では、他のより伝統的なスキャナの使用も考える。この場合、３Ｄボリュームは、ボリュームをスィープするように、手又は別の方法でスキャナを動かすことによってそれぞれ取得される多くの異なる伝播方向からの関心ボリュームの高周波照射の後に、再構成される。

各イメージングモダリティ（Ｘ線及び超音波）の各ローカル基準フレームは、直交変換によって、共通基準フレームに関連付けられる。Ｘ線イメージャのＣ型アームＣＡ（したがって、Ｘ線源／検出器Ｄの平面）と共通基準フレームとの空間的関係は知られている。超音波プローブＵＳＰのローカル基準フレームとＣ型アームＣＡ上の検出器Ｄのローカル基準フレームとの空間的関連性は、一実施形態では、超音波プローブＵＳＰと検査台ＴＢＬの平面の共通基準フレームとの関連性を確立するために、位置合わせによって得られる。つまり、一実施形態では、以下により詳細に説明されるように、当該位置合わせによって、直交変換が推定される。

ビューＵＶは、Ｃ型アームジオメトリ（Ｘ線源及び検出器Ｄの平面）と超音波ボリュームＵＳＶとの組み合わされた３Ｄシーンへの「カメラ」又はユーザが選択可能なビューを指定する。ビューＵＶは、共通フレームに対する空間における位置Ｐ（したがって、Ｃ型アームジオメトリへの距離が規定される）によって、ユーザの視野幅を指定する立体角Ωによって、及び、ビューイング方向ｄ及び向きを指定することによって、規定される。当該ビューイング向きは、３Ｄシーン上でのビューのために「上下」又は「左右」の概念を規定するために、ビューイング方向ｄに直交するベクトルによって規定される。

広義には、本明細書において提案される装置Ａは、２つのイメージングモダリティ間の３Ｄ空間における遠近関係を確認する観察者に提供される３Ｄシーンを形成するように、２つの画像ストリームを、グラフィックスディスプレイＧＵＩに融合させる。ある瞬間において収集された一方のストリームの画像は、共通基準フレームに沿って空間内で位置合わせされ、また、実質的に同じ瞬間に収集されたもう一方のストリームの画像も位置合わせされ、これにより、一連の収集時間が同期されたマルチモーダルの位置合わせ画像ペアが形成される。このようにして、２つのストリームは、共通基準フレームにおいて位置合わせされる。

次に、ある瞬間における３Ｄシーン上の指定された方向ｄに沿ったビューＵＶ（Ｐ、Ω、ｄ）をユーザが要求することに基づいて、全体の３Ｄシーンがレンダリングされる。次に、ビューＵＶに沿った超音波ボリュームが、現在の超音波ボリュームＵＳＶと同期されたストリームＸＦ_ｔ中のＸ線画像フレームＸＦと融合される。融合画像では、Ｘ線画像上のビューＵＶは、超音波ボリュームＵＳＶ上でまさにユーザが選択したビューＵＶである。つまり、対応するＸ線画像ＸＦを有する検出器Ｄの平面は、通常、人間の観察者には、射影ひずみ下で現れる。更に言い換えれば、通常は、正方形又は矩形を前提とする平面図で、従来のビジュアライザによって表示されるＸ線画像は、歪んだ状態で表示され、したがって、通常、台形として現れる。射影ひずみは、投影方向ｐに対する超音波ボリュームへの選択されたビューＵＶの空間的関係に対応する。ユーザが更に、十分に広いビューを提供する拡大（縮小）率又はズームレベルを指定する場合、Ｘ線イメージャのＳＩＤ線の全長が、検出器平面に対するＸ線源ＸＲの位置を示すマーカーと共に、３Ｄ空間内に表示される。検出器平面は、射影ひずみによって、歪んだＸ線画像によって表される。

図３及び図４は、３Ｄ超音波ボリュームへの様々なユーザ選択のビューＵＶにおける概略的な描写と、様々な拡大（縮小）率でのＸ線画像平面とを提供する。

図３Ａを参照するに、Ｘ線画像ＸＦと、３Ｄ超音波ボリュームＵＳＶへの選択されたビューＵＳＳとから形成された融合画像を含むグラフィカルユーザインターフェースＧＵＩが示される。図３Ａでは、（３Ｄシーン、特に、超音波ボリュームＵＳＶへの）選択されたビューＵＶの方向ｄは、基本的に、投影方向と一致しているので、ビューイング方向ｄと投影方向ｐとは、基本的に平行に延在する。つまり、ＧＵＩ上に示される３Ｄシーンは、ユーザに、当該ユーザが、Ｘ線像が形成されている検出器平面へのＸ線イメージャのＳＩＤ線に沿って、超音波ボリュームＵＳＶを見ている印象を与える。

図３ＢのビューＵＶでは、違うビューイング方向ｄがユーザによって選択され、また、ユーザは更に、図３Ａの現在のビューの回転及び当該ビューからのズームアウトによって、図３Ｂのビューとなるように、縮小パラメータを指定している。図３Ａは、ユーザに、Ｘ線源ＸＲのマーカーＸＲＭと、Ｘ線画像ＸＦによって示される検出器画像平面との間の距離によって規定されるＸ線イメージャのＳＩＤ線を「横方向」に見ている印象を与える。一実施形態では、当該Ｘ線源マーカーＸＲＭは、円錐形である。図３Ｂにおけるユーザが選択したビューＵＶは、像面が（それと共にＸ線画像ＸＦも）台形に歪んでいることにより明らかであるように、Ｘ線画像ＸＦに射影ひずみを与える。ひずみの量は、図３Ａにあるように、ひずみがなかった場合に現れる矩形の画像領域を示す破線によって、明確にするために示される。

図３Ａでは、ガイドワイヤフットプリントＧＷＦは、Ｘ線画像ＸＦにおいてはより良く見えるが、超音波画像ボリュームＵＳＶにおけるガイドワイヤへのビューは遮られている。この状況は、超音波画像ボリュームＵＳＶにおけるガイドワイヤ先端の対応する構造体が明らかにされ、また、ここでは、図３Ａの平面図とは異なるビューから見られている図３Ｂにおける回転されたビュー（図４Ｂの拡大図も参照されたい）とは異なっている。図３Ｂでは、観察者によって選択された超音波ボリュームビューは、投影方向ｐに対して約４０°（基準平面において測定）にある。

図４Ａは、図３Ｂと同様であるが、今度は、対応照準線ＬＳ、即ち、超音波ボリュームＵＳＶにおける点Ｐ２と、Ｘ線画像ＸＦの平面における空間的に対応する点Ｐ１との間に延在する投影線を示す。図４Ａの拡大図を示す図４Ｂを更に参照するに、当該照準線は、瞬間投影方向ｐのもとで（即ち、現在のＸ線収集ジオメトリのもとで）、Ｘ線源ＸＲの位置を、超音波ボリュームＵＳＶにおける点Ｐ２の投影であるＸ線像平面における点Ｐ１につなげることによって幾何学的に生じる。例えばＸ線画像において、ユーザが、ポインタツールＰＴによって、ガイドワイヤの先端のフットプリントによって示されるようにガイドワイヤの先端の現在の位置Ｐ１上をクリックする。当該点の選択後、Ｘ線画像ＸＦにおける選択されたＰ１を超音波ボリュームＵＳＶにおける対応する点Ｐ２につなげる照準線がレンダリングされ、ＧＵＩ上に出現する。つまり、点のペア（Ｐ１、Ｐ２）は、投影方向ｐのもとで、空間的に対応する。当該投影線ＬＳは、逆の方法でもたらされてもよい。つまり、ポインタツールを用いて、超音波ボリュームＵＳＶにおける点Ｐ２を指定することによってもたらされてもよい。超音波ボリュームＵＳＶにおける当該点は、次に、Ｘ線イメージャ１００の現在の収集ジオメトリを使用して、現在のＸ線画像ＸＦ上の点Ｐ１に投影される。本実施形態では、当該照準線ＬＳは、超音波画像を通り、Ｘ線源の位置マーカーＸＲＭまで延在する。

一実施形態によれば、画面Ｍは、タッチスクリーンであり、当該点の選択は、タッチ行為によるものであり、したがって、ユーザは、当該点を規定するために、自分の指で画面の表面上をタップする。

図４Ｂは、ユーザ入力によって、拡大リクエスト（「ズームイン」）を適用することによって、図４Ａのビューから得られる。

一実施形態によれば、最初は、超音波ボリュームへのデフォルトビューは、例えば図３Ａにおけるように、一致したビューが選択される。次に、ユーザは、必要に応じて超音波ボリュームへのビューを、例えば図３Ｂにおけるビューのように、変更することができる。

一実施形態では、グラフィックスディスプレイは更に、超音波プローブＵＳＰの視野の象徴を形成するオーバーレイグラフィック要素を含む。グラフィック要素は、図２に体系的に示されるように、円錐台形として形成され、グラフィックスディスプレイＧＵＩのＸ線フレームＦＸの一部上にオーバーレイされることが好適である。

一実施形態では、ＧＵＩ生成は、リアルタイムであり、これにより、ＧＵＩにおけるグラフィックスディスプレイは、同期された超音波ボリューム及びＸ線フレームの新しいペアが受信されると、所定の時間間隔でアップデートされる。つまり、上記動作は、装置が、２つのストリームにおける同期されたペアを循環するにつれて、繰り返される。

照準線ＬＳは、破線（図４Ａ）、実線（図４Ｂ）又は任意の他の所望のパターンでレンダリングされる。照準線ＬＳが目に目立つように、カラーコーディングが使用されてもよい。例えば照準線の様々な部分を違う色にして、グラフィックスディスプレイのすべての部分において、良好なコントラストが達成される。

次に、図３及び図４におけるグラフィカルユーザインターフェースを生成するための当該装置の動作がより詳細に説明される。

動作
２つのストリームが、装置Ａの入力ポートＩＮにおいて受け取られる。一実施形態では、各画像ストリームに専用の入力ポートがあっても、対応するＸ線フレームＸＦ_ｔ又は超音波ボリュームＵＳＶ_ｔを交互に受け取る組み合わされた画像受取ポートがあってもよい。

上で簡単に説明されたように、装置は、２つの画像ストリームを同期させる同期化モジュールを含む。つまり、特定の時間ｔにおいて収集された各Ｘ線フレームＸＦ_ｔに、実質的に同じ時間ｔに要求された超音波ボリュームＳＵＶ_ｔが関連付けられる。２つのフレームの同期化は、例えば各Ｘ線画像フレームと各超音波ボリュームＵＳＶとに取り付けられたタイムスタンプを評価することによって達成される。このように同期された画像の各ペアは、次に、位置合わせユニットＲＵの操作によって、共通基準フレーム上で空間的に位置合わせされる。一実施形態では、位置合わせユニットＲＵは、対応するＸ線フレームＸＦにおける超音波プローブのフットプリントを使用することによって、また、Ｘ線イメージャのジオメトリ及び超音波プローブの既知の３Ｄ形状を使用することによって、動作する。このような位置合わせ技術は、本出願人による国際特許公開公報ＷＯ２０１１／０７０４９２に説明されている。つまり、本実施形態では、位置合わせは、ローカル基準フレームを共通基準フレームに関連付ける上記変換を推定するために使用される。位置合わせアルゴリズムは、Ｘ線画像ＸＦにおける超音波プローブの投影ＵＳＰＦ（図３Ａを参照）に基づいて、ローカル座標系における超音波プローブＵＳＰの位置を評価する。

他の実施形態では、位置合わせは、画像に基づかない、又は、画像のみに基づかず、位置合わせユニットＲＵは、当該変換、即ち、イメージングモダリティの相対位置を評価するための複数のセンサ（例えば電磁センサ）を含む。一実施形態では、１つ以上の位置合わせセンサが、検査台ＴＢＬ上若しくはその周りの、又は、患者ＰＡＴ上の事前に知られている位置に配置されて、超音波プローブの位置を検知し、位置合わせのため基礎を提供する。位置合わせ動作は、共通基準フレームにおける瞬間Ｘ線フレームＸＦと瞬間超音波ボリュームＵＳＶとの両方のアライメントをもたらす。

当該装置は更に、瞬間超音波ボリュームＵＳＶへの、したがって、その平面における瞬間Ｘ線フレームＸＦへの所望のビューＵＶを求めるユーザによるリクエストをインターセプトするイベントハンドラ（図示せず）を含む。超音波ボリュームＵＳＶと、当該瞬間超音波ボリュームＵＳＶのタイムスタンプに対応するＸ線フレームＸＦとへの選択されたビューＵＶは、次に、表示のためにレンダリングされる。

生成されたグラフィックスディスプレイＣＤＰは、２つの画像、即ち、瞬間超音波ボリュームＵＳＶビューと瞬間Ｘ線フレームＸＦとを融合させ、当該ビューを含むグラフィカルユーザインターフェースを生成し、それを、画面Ｍ上での表示のために転送する。グラフィックスプロセッサが、画面Ｍ上での表示を実行及び制御する。

一実施形態では、また、図３及び図４に関連して上記されたように、当該グラフィカルユーザインターフェースは、インタラクティブである。つまり、グラフィカルユーザインターフェースのウィンドウは、マウス又はスタイラスといったポインタツールＰＴによって、或いは、画面Ｍがタッチスクリーン実施形態である場合は、ユーザの指のタッチが、画面Ｍに接触している間に、タッチ及び／若しくはスィープ行為又はジェスチャを行うことによって実行される行為に反応する。例えばユーザは、画面を横断するように指を動かして、現在のビューを新しいビューに並進移動させても、又は、時計回り又は反時計回りに円を描いて、現在のビューを新しいビューに回転させてもよい。一実施形態では、現在の３Ｄシーンをズームインさせるために、画面の表面に接触しながら、人差し指と親指とを離すように広げることによって、拡大がもたらされる。人差し指と親指とを逆に、つまり、互いに向けて動かすと、縮小、即ち、ズームアウトがもたらされる。しかし、これは、ほんの一実施形態に過ぎず、グラフィックスディスプレイジェネレータＧＤＧは、現在のビューを変更して、並進移動、回転又は縮小（拡大）をもたらすように、他の適切なタッチスクリーンインタラクションを解釈するようにプログラムされてもよい。

同様のユーザインタラクションが、回転、並進移動又は縮小（拡大）によって、超音波ボリュームへのビューを変更するために、マウス又はスタイラス実施形態に組み込まれてもよい。例えばグラフィックスディスプレイジェネレータＧＤＧは、ビューの変更をもたらすように「クリックアンドドラッグ」行為を解釈するようにプログラムされる。例えばユーザは、現在、教示されている超音波ボリュームの周りで時計回り又は反時計回りに円形動作を描く。グラフィックスディスプレイジェネレータは、上記されたように、様々なビューをレンダリングし、Ｘ線画像ＸＦでの透視ビューをアップデートすることによって、同時に反応する。並進移動は、所望の並進移動方向に沿ってクリックアンドドラッグすることによってもたらされる。様々な拡大又は縮小リクエストは、マウスＰＴのスクロールホイールを使用することによって発行される。そうすると、ユーザは、必要に応じて、画像をズームイン又はズームアウトすることができる。

一実施形態では、Ｘ線ビュー又は超音波ボリュームビューの何れかにマーカーを設定することも、同様に、マウスクリックによってもたらされる。装置Ａのイベントハンドラが、これらのマウスクリックをインターセプトし、位置合わせ情報を使用して、Ｘ線画像部及び超音波画像部における対応する点をつなげる照準線がレンダリングされる。照準線ＬＳの呼出しは、Ｘ線画像部上をクリックすることによって、又は、超音波画像部ＵＳＳ上をクリックすることによってもたらされる。

装置Ａのオフライン動作モードも考えられるが、好適な実施形態では、装置Ａは、リアルタイムモードで動作する。つまり、本明細書において説明されるように、２つのストリームが受け取られる間に見るためにグラフィカルユーザインターフェースがレンダリングされ、各ストリーム全体を通して、各瞬間についてアップデートされる。各画像部におけるユーザによって選択され指定された点が各シーケンス全体に亘って維持され、照準線もこれに応じてアップデートされる。

つまり、リアルタイムモードでの動作の間、照準線は、２つの画像ストリームにおいて、連続画像収集によって記録されるように、Ｘ線源ＸＲ又は超音波プローブＵＳＰの動きに従って移動するように見える。

一実施形態では、関心点は、自動的に特定される。例えば一実施形態では、２つのイメージングモダリティが各自の画像ストリームを収集する間、患者ＰＡＴの体内にあるガイドワイヤＧＷ又は同様の医療デバイスの先端部は、ベイズ（Bayesian）統計推論スキームにおける形状及び輝度プライア（priors）を使用して、Ｘ線画像ストリーム全体を通して自動的に特定される。このようにして、先端部は、Ｘ線画像ストリーム全体を通して追跡され、また、超音波ボリュームビューＵＳＳにおける対応する点も同様に（「十字線」記号等といった適切な記号をオーバーレイすることによって又はカラーコーディングによって）視覚的に指定され、照準線が、各同期された画像ペアについて、点のペアをつなげる。つまり、この実施形態では、解剖学的ランドマーク又はツールＧＷの先端の位置を特定及び追跡するために、各ストリーム全体を通して、特定及び追跡ステップがある。オプティカルフロー法を使用して、追跡を実現してもよい。照準線が、これらの点について呼び出されると、当該照準線は、観察者には、患者の動きに従って動くように見える。この追跡ステップは、ユーザが、ポインタツール又はタッチ行為を介して関心点を指定することによって、手動で適用されてもよい。

要約するに、また、言い換えるならば、本明細書において提案されるような装置では、Ｘ線イメージャ１００からのＸ線画像ＸＦ及び超音波イメージャＵＳＤからの超音波ボリュームＵＳＶは、３Ｄシーンを形成するようにインタラクティブグラフィックスディスプレイＧＵＩに融合され、超音波ボリュームＵＳＶの３ＤレンダリングＵＳＳに並行して、Ｘ線投影面ＸＦが、当該３Ｄシーン内に、遠近法によって、表示される。当該レンダリングは、ユーザによって選択されたビューに従い、当該ビューは、インタラクティブグラフィックスディスプレイＧＵＩとのユーザインタラクションによって変更可能である。

図５において、マルチモーダル環境において画像マテリアルを視覚化する方法のフローチャートが示される。

ステップＳ５０１において、Ｘ線画像ストリームと超音波画像ストリームとが受け取られる。

ステップＳ５０５において、２つのストリームは、両方のイメージングモダリティ用の共通基準フレーム上で位置合わせされる。実施形態では、２つのストリームは、位置合わせの前に、同期される。

ステップＳ５１０において、超音波ボリュームへのユーザ選択ビューが受け取られる。

ステップＳ５１５において、当該選択されたビューでの特定の瞬間における超音波画像ボリュームへの３Ｄビューと、それと同時に、射影ひずみ下での、即ち、Ｘ線検出器平面の射影ひずみ下でのＸ線画像の透視ビューとを提供するグラフィカルユーザインターフェース用の融合画像が生成される。

ステップＳ５２０において、対応するストリームにおける次のフレーム又はボリュームが受け取られたかどうかが決定される。新しいＸ線フレーム又は超音波ボリュームストリームが受け取られていない場合は、現在のビューが維持される。しかし、ステップＳ５２０において、新しいフレーム又はボリュームが受け取られていると決定されると、先のステップが繰り返されて、画面上のＧＵＩ表現がリアルタイムでアップデートされる。

一実施形態では、ステップＳ５１５は更に、３Ｄシーン、特に超音波画像及びＸ線フレームＸＦへの新しいビューを要求するユーザのリクエストを聞くステップも含む。当該リクエストがある場合、上記のステップには、現在のビューではなく、新しいビューが使用される。

一実施形態では、グラフィカルユーザインターフェースを生成するステップＳ５１５は更に、Ｘ線画像又は３Ｄ超音波画像における点を指定するためのユーザによるリクエストを聞くステップも含む。当該リクエストがある場合、３Ｄ超音波画像又はＸ線画像における対応する点が決定され、これらの２点をつなげる照準線が見るためにレンダリングされる。

一実施形態では、グラフィカルユーザインターフェースを生成するステップＳ５１５は更に、拡大又は縮小リクエストを聞くステップも含む。当該拡大リクエストは、現在のビューにおけるズームイン又はズームアウトの度合いを規定する。

当該リクエストがある場合、拡大又は縮小が、Ｘ線イメージャの既知のＳＩＤ長さに適合するビューを提供するかどうか、具体的には、当該ビューが、Ｘ線源ＸＲの位置への適切にスケーリングされた距離を含むかどうかが決定される。

提供すると決定される場合、Ｘ線像面に対するＸ線画像源位置を表すマーカーが、透視ビューに表示される。ユーザがそのように要求する場合、照準線は、２つの対応する点の間にレンダリング及び表示され、当該照準線は、Ｘ線源のマーカーにまで延在する。

本発明の別の例示的な実施形態では、上記実施形態のうちの１つによる方法のステップを適切なシステム上で実行することによって特徴付けられるコンピュータプログラム又はコンピュータプログラム要素が提供される。

したがって、コンピュータプログラム要素は、コンピュータユニットに格納されていてもよい。当該コンピュータユニットは、本発明の一実施形態の一部であってもよい。当該コンピュータユニットは、上記された方法のステップを実行させる又は当該ステップの実行を誘導する。また、当該コンピュータユニットは、上記された装置の構成要素を動作させてもよい。当該コンピュータユニットは、自動的に動作させる、及び／又は、ユーザの命令を実行する。コンピュータプログラムが、データプロセッサのワーキングメモリにロードされてもよい。したがって、データプロセッサは、本発明の方法を実行するように装備されていてもよい。

本発明のこの例示的な実施形態は、最初から本発明を利用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を利用するプログラムに変換するコンピュータプログラムとの両方を対象とする。

また、コンピュータプログラム要素は、上記された方法の例示的な実施形態の手順を満たすために必要なステップをすべて提供してもよい。

本発明の更なる例示的な実施形態によれば、ＣＤ−ＲＯＭといったコンピュータ可読媒体が提示される。当該コンピュータ可読媒体は、当該媒体にコンピュータプログラム要素が格納され、当該コンピュータプログラム要素は、上記セクションにおいて説明されている。

コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に格納／分散配置されてもよいが、インターネット又は他の有線若しくは無線通信システムを介するといった他の形態で分散されてもよい。

しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワークを介して提示され、当該ネットワークからデータプロセッサのワーキングメモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードできるようにする媒体が提供される。当該コンピュータプログラム要素は、本発明の上記実施形態のうちの１つにしたがって方法を実行する。

なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び以下の記載から、特に明記されない限り、１つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関する特徴の間での任意の組み合わせも、本願に開示されているものと見なされることは理解できよう。しかし、あらゆる特徴は、特徴の単なる総計よりも多くの相乗効果を提供するように組み合わされる。

本発明は、添付図面及び上記説明において詳細に例示かつ説明されたが、当該例示及び説明は、例示的であって限定的に解釈されるべきではない。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形態様も、図面、開示内容及び従属請求項を検討することにより、請求項に係る発明を実施する当業者には理解されかつ実施可能である。

請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「ａ」又は「ａｎ」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に記載される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されるからといって、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定しているものと解釈されるべきではない。

Claims (14)

1. マルチモーダルイメージング環境において画像マテリアルを視覚化する装置であって、
   ｉ）超音波プローブによって収集された物体の超音波画像データセットと、
   ｉｉ）前記物体をＸ線イメージャのＸ線源から放射される放射線に晒す投影方向における平面内の前記Ｘ線イメージャの検出器によって収集された前記物体のＸ線画像と、
   を受け取る入力ポートと、
   前記超音波画像データセットを、前記Ｘ線イメージャ及び前記超音波プローブの両方の共通基準フレームにおいて位置合わせする位置合わせユニットと、
   前記Ｘ線イメージャ及び前記超音波プローブの両方の前記共通座標フレームにおいて、
   ｉ）前記超音波画像データセットの３Ｄ投影と、
   ｉｉ）前記検出器の前記平面における前記Ｘ線画像への透視３Ｄビューと、の表現を提供するユーザ選択ビューに従う３Ｄシーンのグラフィックスディスプレイを、画面上に生成するグラフィックスディスプレイジェネレータと、
   を含み、
   前記透視３Ｄビューは、前記Ｘ線投影方向及び前記ユーザ選択ビューに対応し、
   前記グラフィックスディスプレイジェネレータは、第１のユーザ選択ビューに従う３Ｄシーンを、第２のユーザ選択ビューに従う３Ｄシーンにアップデートする、
   装置。
2. 前記グラフィックスディスプレイジェネレータは、縮小リクエストに反応して、前記Ｘ線イメージャのＳＩＤの長さに適合するように、前記３Ｄシーンのズームアウトバージョンを、前記超音波画像データセットへの前記ユーザ選択ビューにおける前記検出器の前記平面における前記Ｘ線画像に対する前記Ｘ線源の位置を示す視覚的マーカーと共に、生成する、請求項１に記載の装置。
3. 前記グラフィックスディスプレイジェネレータは、ユーザが前記Ｘ線画像において関心点を指定することに反応して、前記関心点から、前記３Ｄシーンへの前記ユーザ選択ビューにおける前記超音波画像データセットを横切り、前記Ｘ線源の前記位置まで延在する照準線を生成し、前記グラフィックスディスプレイジェネレータは、前記照準線上に対応する点を視覚的に指定するマーカーを生成し、前記照準線は、前記３Ｄシーンへの前記ユーザ選択ビューにおける前記超音波画像データセットと交差する、請求項２に記載の装置。
4. 前記グラフィックスディスプレイジェネレータは、ユーザが前記３Ｄシーンへの前記ユーザ選択ビューにおける前記超音波画像データセットにおいて関心点を指定することに反応して、前記関心点から前記Ｘ線源の前記位置まで延在する照準線であって、また、前記照準線が前記Ｘ線画像と交差する前記Ｘ線画像における及び前記照準線上の対応する点まで延在する前記照準線を生成し、前記グラフィックスディスプレイジェネレータは、前記Ｘ線画像における前記対応する点を視覚的に指定するマーカーを生成する、請求項２に記載の装置。
5. 超音波画像は、前記超音波画像データセットのストリームにおける１つであり、前記Ｘ線画像は、Ｘ線画像のストリームにおける１つであり、これら２つの画像ストリームは、前記共通基準フレームにおいて位置合わせされ、前記グラフィックスディスプレイジェネレータは、前記Ｘ線画像ストリーム又は前記超音波画像データセットストリームにおける前記関心点を経時的に追跡するトラッカーを含み、前記グラフィックスディスプレイジェネレータは、前記ストリーム中の各超音波画像データセットへの前記ユーザ選択ビューにおける、又は、前記ストリーム中の各Ｘ線画像における前記対応する点を再生成し、前記Ｘ線源又は前記超音波プローブの位置変化に反応して、前記照準線を適応させる、請求項１乃至４の何れか一項に記載の装置。
6. 前記グラフィックスディスプレイは、インタラクティブグラフィックスディスプレイであり、前記第１のユーザ選択ビュー、前記第２のユーザ選択ビュー、又は、前記縮小リクエストを受け取るように構成される、請求項１乃至５の何れか一項に記載の装置。
7. 前記画面は、タッチ画面であり、前記ビュー及び／又は前記縮小リクエストのユーザ選択は、前記画面上の手動タッチ又はスワイプ行為による、請求項６に記載の装置。
8. 前記ビュー及び／又は前記縮小リクエストのユーザ選択は、前記装置と通信可能に結合されるキーボード上のキーを作動させること、又は、前記装置と通信可能に結合されるポインタツールを作動させることによる、請求項６に記載の装置。
9. マルチモーダルイメージング環境において画像マテリアルを視覚化する方法であって、
   ｉ）超音波プローブによって収集された物体の超音波画像データセットと、
   ｉｉ）前記物体をＸ線イメージャのＸ線源から放射される放射線に晒す投影方向における平面内の前記Ｘ線イメージャの検出器によって収集された前記物体のＸ線画像と、
   を受け取るステップと、
   前記超音波画像データセットを、前記Ｘ線イメージャ及び前記超音波プローブの両方の共通基準フレームにおいて位置合わせするステップと、
   前記共通座標フレームにおいて、
   ｉ）前記超音波画像データセットの３Ｄ投影と、
   ｉｉ）前記検出器の前記平面における前記Ｘ線画像への透視３Ｄビューと、の表現を提供するユーザ選択ビューに従う３Ｄシーンのグラフィックスディスプレイを、画面上に生成するステップと、
   を含み、
   前記透視３Ｄビューは、前記Ｘ線投影方向及び前記ユーザ選択ビューに対応し、
   グラフィックスディスプレイジェネレータは、第１のユーザ選択ビューに従う３Ｄシーンを、第２のユーザ選択ビューに従う３Ｄシーンにアップデートする、方法。
10. 縮小リクエストに反応して、前記Ｘ線イメージャのＳＩＤの長さに適合するように、前記３Ｄシーンのズームアウトバージョンを、前記超音波画像データセットへの前記ユーザ選択ビューにおける前記検出器の前記平面における前記Ｘ線画像に対する前記Ｘ線源の位置を示す視覚的マーカーと共に、生成するステップを含む、請求項９に記載の方法。
11. Ｘ線画像を収集するＸ線イメージャと、
    超音波画像データセットを収集する第２のイメージングモダリティと、
    請求項１乃至８の何れか一項に記載の装置と、
    を含む、イメージングシステム。
12. 前記第２のイメージングモダリティは、３Ｄ超音波イメージャである、請求項１１に記載のイメージングシステム。
13. 処理ユニットによって実行されるとき、請求項９又は１０に記載の方法のステップを行うために、請求項１乃至８の何れか一項に記載の装置を制御する、コンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを格納したコンピュータ可読媒体。
    

Images