JP7181226B2 - 超音波処置における動き補償のためのワークフロー、システム及び方法 - Google Patents

Description

以下は、一般に、生検技術、近接照射療法技術等といった画像誘導外科技術、このような外科的処置において画像誘導を提供するために行われる超音波撮像等に関する。

画像誘導外科的処置は、組織サンプル抽出（即ち、生検）処置、標的レーザーアブレーション処置及び（放射性シードを標的部位に送達する）近接照射療法処置といった様々な目的に使用される。超音波（ＵＳ）撮像は、直腸前立腺生検又は近接照射療法処置といった外科的処置の画像誘導のための一般的なモダリティである。これらの処置では、直腸ＵＳプローブが使用され、また、グリッドを使用して生検針又は他の介入器具が位置合わせされる。（ほぼ）リアルタイム撮像を得るには、２次元（２Ｄ）ＵＳ撮像（一般に「ライブ」２Ｄ－ＵＳ撮像と呼ばれる）が一般的に使用される。撮像速度が十分であれば、３Ｄ－ＵＳライブ撮像も使用することができる。空間においてライブＵＳ画像の位置合わせをするために、例えば電磁（ＥＭ）追跡、光学追跡（プローブが患者の外にある場合）等によってＵＳプローブの追跡が行われる。更に、術前の３次元（３Ｄ）ＵＳ基準画像を取得して、３Ｄ空間における前立腺や他の関心解剖学的特徴の輪郭が提供される。幾つかの処置では、磁気共鳴撮像（ＭＲＩ）やコンピュータ断層撮影（ＣＴ）といった別のモダリティによって３次元（３Ｄ）計画画像を取得し、輪郭描出が計画画像で行われ、３Ｄ－ＵＳ基準画像は当該計画画像（又は計画画像で定義された輪郭）をライブ２Ｄ－ＵＳ画像に位置合わせするための中間段階として使用される。後者の場合、計画画像は、通常、画像誘導外科的処置の前に取得されて、腫瘍又は他の生検標的を特定し、前立腺器官の輪郭を描くための情報が提供される。

幾つかの例示的なアプローチが、Ｘｕ他による米国特許第８，８８５，８９７号に開示されている。１つのそのような例示的なアプローチでは、術前の基準３Ｄ－ＵＳ画像が３Ｄ診断画像（例えば３Ｄ－ＭＲＩ）と比較されて、基準３Ｄ－ＵＳ画像と３Ｄ－ＭＲＩボリューム画像とを位置合わせする基準変換が決定される。外科的処置中に、ライブ２Ｄ（又は３Ｄ）ＵＳ画像が取得される。１つのライブＵＳ画像又はライブＵＳ画像のグループが基準３Ｄ－ＵＳ画像と比較されて、動き補正変換が決定される。基準変換及び動き補正変換を使用して３Ｄ－ＭＲＩ画像が調整されて、ライブＵＳ画像の表示と共に表示される（例えば融合される）動き補正済み３Ｄ－ＭＲＩ画像が生成される。このようにして、３Ｄ－ＭＲＩ画像の取得と後続のライブＵＳ撮像との間に発生した可能性のある組織の動き（即ち、歪み又は変化）が補正される。

以下は、新規かつ改良されたシステム及び方法を開示する。

１つの開示される態様では、介入撮像デバイスは、超音波プローブと、超音波プローブと動作可能に接続され、超音波プローブを使用して超音波撮像を行う超音波撮像デバイスと、ディスプレイと、超音波プローブの向き追跡するプローブトラッカ２８とを含む。デバイスは更に、超音波撮像デバイス、プローブトラッカ及びディスプレイと動作可能に接続された電子プロセッサを含む。非一時的記憶媒体が、超音波撮像デバイスを動作させてライブ超音波画像を取得し、また、ディスプレイを動作させてライブ超音波画像を、複合変換を使用してライブ超音波画像と位置合わせされた輪郭又は参照画像と共に表示し、また、更なる動作を行うように電子データデータプロセッサによって読み取り可能及び実行可能な命令を記憶する。更なる動作は、基準３次元超音波（３Ｄ－ＵＳ）画像を取得するように超音波撮像デバイスを動作させることであって、基準３Ｄ－ＵＳ画像はプローブトラッカによって測定された超音波プローブの対応する基準向きがタグ付けされている、超音波撮像デバイスを動作させることと、１つ以上の参照３Ｄ‐ＵＳ画像を取得するように超音波撮像デバイスを動作させることであって、参照３Ｄ－ＵＳ画像はプローブトラッカによって測定された超音波プローブの対応する参照向きがそれぞれタグ付けされている、超音波撮像デバイスを動作させることと、各参照３Ｄ‐ＵＳ画像を基準３Ｄ－ＵＳ画像と空間的に位置合わせする変換を計算することと、プローブトラッカによって測定された超音波プローブの現在の向きにその対応する向きが最も近い参照３Ｄ－ＵＳ画像を決定することと、最も近い参照３Ｄ－ＵＳ画像を基準３Ｄ－ＵＳ画像と空間的に位置合わせする変換を含めるように複合変換を更新することとを含む。

別の開示される態様では、非一時的記憶媒体は、超音波プローブを有する超音波撮像デバイスと、ディスプレイと、超音波プローブの向きを追跡するプローブトラッカとに動作可能に通信する電子プロセッサによって読み取り可能及び実行可能な命令を記憶する。命令は、ライブ超音波画像を取得するように超音波撮像デバイスを動作させるステップと、複合変換を使用して、輪郭又は参照画像をライブ超音波画像と空間的に位置合わせするステップと、ライブ超音波画像を、空間的に位置合わせされた輪郭又は参照画像と共にディスプレイに表示するステップと、複合変換を調整するステップとを含むライブ撮像方法を行うように電子プロセッサによって読み取り可能及び実行可能である。調整するステップは、基準３次元超音波（３Ｄ－ＵＳ）画像を取得するように超音波撮像デバイスを動作させるステップであって、基準３Ｄ－ＵＳ画像はプローブトラッカによって測定された超音波プローブの対応する基準向きがタグ付けされている、超音波撮像デバイスを動作させるステップと、１つ以上の参照３Ｄ‐ＵＳ画像を取得するために超音波撮像デバイスを動作させるステップであって、参照３Ｄ－ＵＳ画像はプローブトラッカによって測定された超音波プローブの対応する参照向きがそれぞれタグ付けされている、超音波撮像デバイスを動作させるステップと、１つ以上の参照３Ｄ‐ＵＳ画像を基準３Ｄ－ＵＳ画像と空間的に位置合わせする変換の集合｛Ｔ_１，ｉ｝_{ｉ＝１，…，Ｎ}を計算するステップと、プローブトラッカによって測定された超音波プローブの現在の向きに最も近い参照向きを決定するステップと、複合変換を少なくとも変換Ｔ_１，ｋと変換Ｔ_２、ｋとの積に更新するステップとを含む動作によって行われ、Ｎは参照３Ｄ－ＵＳ画像の数であり、変換Ｔ_１，ｉはｉでインデックス付けされた参照３Ｄ－ＵＳ画像を基準３Ｄ－ＵＳ画像と空間的に位置合わせし、ｋは決定された最も近い参照３Ｄ－ＵＳ画像のインデックスであり、これにより、変換Ｔ_１，ｋは、ｋでインデックス付けされ決定された最も近い参照３Ｄ－ＵＳ画像を基準３Ｄ－ＵＳ画像と空間的に位置合わせし、変換Ｔ_２，ｋは、決定された最も近い参照３Ｄ－ＵＳ画像をライブ超音波画像と空間的に位置合わせする。

別の開示される態様では、ライブ超音波撮像方法が開示される。超音波撮像デバイスを動作させて、超音波プローブを使用して、時系列のライブ超音波画像が取得される。複合変換を使用して、輪郭又は参照画像が時系列のライブ超音波画像と空間的に位置合わせされる。時系列のライブ超音波画像が空間的に位置合わせされた輪郭又は参照画像と共に表示される。複合変換が以下の動作によって調整される。当該動作は、基準３次元超音波（３Ｄ－ＵＳ）画像を取得するように超音波撮像デバイスを動作させるステップであって、基準３Ｄ－ＵＳ画像はプローブトラッカによって測定された超音波プローブの対応する基準向きがタグ付けされている、超音波撮像デバイスを動作させるステップと、１つ以上の参照３Ｄ‐ＵＳ画像を取得するように超音波撮像デバイスを動作させるステップであって、参照３Ｄ－ＵＳ画像はプローブトラッカによって測定された超音波プローブの対応する参照向きがそれぞれタグ付けされている、超音波撮像デバイスを動作させるステップと、１つ以上の参照３Ｄ‐ＵＳ画像を基準３Ｄ－ＵＳ画像と空間的に位置合わせする変換の集合｛Ｔ_１，ｉ｝_{ｉ＝１，…，Ｎ}を計算するステップと、プローブトラッカによって測定された超音波プローブの現在の向きに最も近い参照向きを決定するステップと、複合変換を少なくとも変換Ｔ_１，ｋと変換Ｔ_２、ｋとの積に更新するステップとを含み、Ｎは参照３Ｄ－ＵＳ画像の数であり、変換Ｔ_１，ｉはｉでインデックス付けされた参照３Ｄ－ＵＳ画像を基準３Ｄ－ＵＳ画像と空間的に位置合わせし、ｋは決定された最も近い参照３Ｄ－ＵＳ画像のインデックスであり、これにより、変換Ｔ_１，ｋは、ｋでインデックス付けされ決定された最も近い参照３Ｄ－ＵＳ画像を基準３Ｄ－ＵＳ画像と空間的に位置合わせし、変換Ｔ_２，ｋは、決定された最も近い参照３Ｄ－ＵＳ画像をライブ超音波画像と空間的に位置合わせする。更新された複合変換は、輪郭又は参照画像と、時系列のライブ超音波画像のうちの、現在のライブ超音波画像の後に取得されたライブ超音波画像との空間的位置合わせに使用される。

１つの利点は、基準３Ｄ－ＵＳ画像及び／又は以前に取得した３Ｄ－ＭＲＩ若しくは他の計画画像のコンテキストにおいて、画像誘導外科的処置の前又はその間に生じた可能性のある組織の動きについての基準３Ｄ－ＵＳ画像又は３Ｄ－ＭＲＩ画像の補正が向上されたライブ超音波（ＵＳ）撮像が提供される点にある。

別の利点は、基準３Ｄ－ＵＳ画像及び／又は以前に取得した３Ｄ－ＭＲＩ若しくは他の計画画像に描出された１つ以上の臓器輪郭又は他の画像特徴のコンテキストにおいて、画像誘導外科的処置の前又はその間に生じた可能性のある組織の動きについての画像特徴の補正が向上されたライブＵＳ撮像が提供される点にある。

別の利点は、超音波プローブの位置変更によって生じる組織変形に対するロバスト性が向上された画像誘導外科的処置のためのライブＵＳ撮像ガイダンスが提供される点にある。

別の利点は、外科的処置の視覚化に関して最適な視点を提供するようにＵＳプローブを異なる向きに動かしたときに、画像誘導外科的処置のためのライブＵＳ撮像ガイダンスが高い精度で提供される点にある。

別の利点は、前述の利点の１つ以上が、付随する高速ライブＵＳ撮像と共に提供され、したがって、画像誘導外科的処置のためのライブ画像ガイダンスが向上される点にある。

所与の実施形態が、上記利点を１つも提供しないか、又は、１つ、２つ、それ以上若しくはすべての利点を提供し、及び／又は、本開示を読み、理解した当業者には明らかとなる他の利点を提供する。

本発明は、様々なコンポーネント及びコンポーネントの構成、また、様々なステップ及びステップの構成の形を取ってよい。図面は、好適な実施形態を例示することのみを目的とし、本発明を限定するものと解釈されるべきではない。

図１は、例示的な超音波（ＵＳ）誘導前立腺生検システムを図示する。 図２は、図１のＵＳ誘導前立腺生検システムのＵＳ誘導部によって適切に生成される、組織の動きが補正された代表的な画像を示す。 図３は、図１のＵＳ誘導前立腺生検システムによって行われる３Ｄ基準画像及び参照ＵＳ画像の取得及び処理を図示する。 図４は、図１のＵＳ誘導前立腺生検システムのＵＳ誘導部により、前立腺生検外科的処置を支援するために行われるライブＵＳ撮像を図示する。

画像位置合わせに基づいた動き補償の精度及びロバスト性は、位置合わせされる画像の類似性に依存する。幾つかのＵＳ誘導外科的処置では、手術を見るための好適な視点を提供するために、外科医が処置中にＵＳプローブの向きを調整することができる。これは、基準ＵＳ画像に比べて、組織変形がかなり異なるため、プローブの様々な向きで取得された非類似のライブＵＳ画像と基準３Ｄ－ＵＳ画像との位置合わせを難しくする。このような位置合わせは、当該位置合わせの基準となる２Ｄ－ＵＳ画像における画像情報が少ないため、ライブ２Ｄ－ＵＳ画像では特に難しい。

この問題を認識して本明細書で開示するアプローチは、超音波プローブの様々な向きで取得された複数の参照３Ｄ－ＵＳ画像を提供する。このうちの１つが、基準３Ｄ－ＵＳ画像として指定される。各参照３Ｄ－ＵＳ画像及び基準３Ｄ－ＵＳ画像には、そのプローブの向き、つまり、参照３Ｄ－ＵＳ画像又は基準３Ｄ－ＵＳ画像が取得されたときの超音波プローブの向きがタグ付けされる。各参照３Ｄ－ＵＳ画像は、基準３Ｄ－ＵＳ画像と空間的に位置合わせされる。異なるモダリティの計画画像（例えば３Ｄ－ＭＲＩ画像又は３Ｄ－ＣＴ画像）も提供される場合、当該計画画像は、クロスモダリティ空間画像位置合わせを使用して、指定された基準画像と空間的に位置合わせされる。介入（即ち、外科的）処置が進むにつれて、これは、前立腺又は他の外科的領域の（ほぼ）リアルタイム撮像を提供するのに十分な速度でライブＵＳ画像を取得する超音波撮像デバイスを使用してモニタリングされる。通常、ライブＵＳ画像は２次元（２Ｄ）画像であるが、３Ｄ－ＵＳ取得速度が十分であるならば（例えば３Ｄ－ＵＳプローブが使用される場合）、３ＤライブＵＳ画像が考えられる。

最初に、基準３Ｄ－ＵＳ画像は、外科的に関連する輪郭（例えば前立腺輪郭）を重ね合わせ、及び／又は、ライブＵＳ画像を計画画像又はコンテキスト３Ｄ－ＵＳ画像と融合させるために使用される。或いは、追跡システムがライブＵＳ撮像中にＵＳプローブの向きを追跡するため、この向きを使用して、この目的のために最も近い参照又は基準３Ｄ－ＵＳ画像を最初に選択することができる。参照３Ｄ－ＵＳ画像が選択されると、関連輪郭の重ね合わせ及び／又は３Ｄ画像の融合には、ライブＵＳ画像と最も近い参照３Ｄ－ＵＳ画像との変換と、最も近い参照３Ｄ－ＵＳ画像と基準３Ｄ－ＵＳ画像との最初に生成された変換との両方を使用した空間変換が必要である。

輪郭の重ね合わせ及び／又は３Ｄ画像の融合を使用したこのライブ追跡は、介入処置が進むにつれて継続される。しかし、外科医がＵＳプローブの位置を十分に大きい量だけ調整すると、ライブＵＳ画像及び最も近い参照又は基準３Ｄ－ＵＳ画像を取得するために使用されたＵＳプローブの向き間の推定類似性がより非類似となるため、使用される変換は次第に不正確になる。これが続くと、外科医は、ライブＵＳ画像と重ね合わされた輪郭及び／又は融合された３Ｄ画像とのアライメントが次第に悪くなることに気付くことが予想される。この時点で、外科医は、トリガボタン又は他のユーザ入力部を押して、空間位置合わせの更新をトリガすることができる。この更新手順では、追跡システムが、ライブＵＳ撮像のための現在のＵＳプローブの向きを決定し、この向きが基準及び参照３Ｄ－ＵＳ画像にタグ付けされたＵＳプローブの向きと比較されて、最も近い３Ｄ－ＵＳ画像が選択される。変換はこれに応じて更新される（例えば新しい最も近い参照３Ｄ－ＵＳ画像が選択され、新しい最も近い参照３Ｄ－ＵＳ画像と基準３Ｄ－ＵＳ画像との変換が、後続の使用のために選択され、その後、ライブＵＳ画像は新しい最も近い参照３Ｄ－ＵＳ画像と位置合わせされる）。

このようにして、外科医がＵＳプローブの位置を変更することによってもたらされる動き（例えば差分組織変形）がより正確に考慮される。これは、計算効率的に行われる。なぜならば、計画画像（例えば３Ｄ－ＭＲＩ又は３Ｄ－ＣＴ画像）と基準３Ｄ－ＵＳ画像との計算コストの高いクロスモダリティ位置合わせは再計算されず、また同様に、参照３Ｄ－ＵＳ画像と基準３Ｄ－ＵＳ画像とのそれほど計算コストが高くない（が依然として計算コストの幾分高い）変換も再計算されないからである。

幾つかの変形実施形態では、この最後の利点に反して、１つ以上の追加の参照３Ｄ－ＵＳ画像を取得する及び／又は以前に取得した参照３Ｄ－ＵＳ画像を再取得して、新しく取得した参照３Ｄ－ＵＳ画像と基準３Ｄ－ＵＳ画像との変換を計算（又は再計算）するオプションがある（例えば外科医が選択可能であるか又は空間位置合わせ品質メトリックの許容できない値によって自動的にトリガされる）。この変形アプローチは、採用されるならば、参照３Ｄ－ＵＳを更新することで、より大きい動き（例えばより大きい組織変形）や、参照３Ｄ－ＵＳ画像の何れの向きからも離れた位置へのＵＳプローブの位置変更を補正する機構を提供する。

図１を参照して、前述した内容を実施するのに適している例示的な介入撮像デバイスを示す。超音波（ＵＳ）撮像デバイス１０は、例えばオランダのアムステルダムのコーニンクレッカフィリップス社から入手可能であるＥＰＩＱ^ＴＭ超音波撮像システムであっても、別の商用又は特注の超音波撮像システムであってもよい。超音波撮像デバイス１０は、超音波プローブ１２と動作可能に接続され、超音波プローブ１２を使用して超音波撮像を行う。例示的なＵＳプローブは、患者１４の直腸に挿入される直腸超音波プローブ１２である。（図１では、患者の下半分を切り取り、そうしなければ見えない挿入されたプローブ１２が見えるようにしている。通常、患者は、横になっているか、脚が持ち上げられテーブル延長部に固定された状態で仰向けになっている。）例示する直腸ＵＳプローブ１２の選択は、前立腺処置のＵＳモニタリングのための従来通りの選択であるが、より一般的には、開示される介入撮像アプローチは、他のタイプのＵＳプローブと共に及び／又は他のタイプの介入外科的処置をモニタリングするために使用されてよい。例えばＵＳプローブは、肝臓又は乳房の処置のモニタリングに使用される経皮ＵＳプローブである。例示する超音波プローブ１２は、ケーブル１５を介して超音波撮像システム１０に接続される。前立腺処置で使用するための例示する直腸超音波プローブ１２は、生検サンプルを収集するための一体型生検針アセンブリ１６を含む。より一般的には、例えば超音波プローブが直腸に挿入され、直腸壁を介して前立腺にアクセスする、図示される一体型プローブ１２、１６を使用する経直腸的超音波誘導生検や、超音波プローブが直腸に通されるが、生検針は（任意選択的に定位グリッド板等を使用して）会陰部を通過して前立腺にアクセスする経会陰生検等の任意のタイプの画像誘導生検技術を使用することができる。一部の介入処置では、生検針又は他の介入器具がＵＳプローブに接続されていない場合がある。例示する経直腸的前立腺生検処置では、患者１４は、適切な枕又は他の支持体（図示せず）を備えた図示される患者ベッド又は支持体１８上に（図１に図示するように）横たわる。例示する超音波撮像システム１０は、超音波画像を表示するディスプレイ２０と、ユーザインターフェースディスプレイ２２や、キーボード、専用ボタン、トラックボール、マウス又は他のポインティングデバイス等といったユーザ入力デバイスを含むユーザ制御パネル２４といった１つ以上のユーザインターフェースコンポーネントとを含む。ポインティングデバイスの代わりに又は加えて、ディスプレイコンポーネント２０、２２の一方又は両方は、ディスプレイ２０上の位置を押すことによるユーザ入力を可能にするタッチスクリーンディスプレイであってもよい。

引き続き図１を参照すると、介入撮像デバイスは更に、ＵＳプローブの向きを追跡するプローブトラッカ２８を含む。プローブトラッカ２８は、例えばノーザンデジタル社（ＮＤＩ、カナダ、オンタリオ州）から入手可能であるオーロラ（登録商標）電磁（ＥＭ）追跡システムといったＥＭトラッカを含む。ＥＭトラッカは、追跡対象のコンポーネント上のＥＭセンサを使用する。例えば１つ以上のＥＭセンサ（図示せず）がＵＳプローブ１２の上又は中に適切に取り付けられ、その位置及び向きを追跡することができる。他の実施形態では、プローブトラッカは、ジャイロスコープセンサ、ＵＳプローブに取り付けられた端部と参照点に固定された基部とを有する座標測定機（ＣＭＭ）等を含む。ＵＳプローブが可視である他の考えられる実施形態の場合、例えば患者の外部に配置される経皮的ＵＳプローブの場合、プローブトラッカ２８は、ＵＳプローブ１２に取り付けられた光学反射器等や、距離カメラを使用する光学追跡を利用する。ファイバブラッグ格子、レイリー散乱等を使用して、光ファイバの形状、位置又は向きを決定し、当該データから超音波プローブの位置又は向きを決定する光ファイバ形状検知及び位置特定も使用できる。これらは単なる例である。本明細書に説明する例示的な例では、プローブトラッカ２８はＥＭトラッカであると想定する。

引き続き図１を参照すると、介入撮像デバイスは更に、ＵＳ撮像デバイス１０及びディスプレイ２０、２２と動作可能に接続され、また、本明細書に開示される動作を行うように超音波撮像デバイス１０を動作させるように電子データプロセッサ３０によって読み取り可能及び実行可能な命令を記憶した非一時的記憶媒体３２を有する当該電子プロセッサ３０を含む。電子プロセッサ３０は、（図１に図示するように）ＵＳ撮像デバイス１０のマイクロプロセッサ若しくはマイクロコントローラか、及び／又は、コンピュータ又は他の別の電子データ処理デバイスのマイクロプロセッサ若しくはマイクロコントローラ等として具現化される。非一時的記憶媒体３２は、非限定的な例として、ハードディスクドライブ若しくは他の磁気記憶媒体、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）若しくは他の電子記憶媒体、光ディスク若しくは他の光学記憶媒体又はこれらの様々な組み合わせ等を含む。

図１は更に、非一時的記憶媒体３２から読み取られた命令を実行する電子プロセッサ３０によって行われるライブ超音波撮像プロセスの工程を図示する。このプロセスは、ライブ超音波撮像ユーザインターフェース（ＵＩ）４０を提供することを含み、ライブ超音波画像が、超音波撮像デバイス１０及びＵＳプローブ１２を使用して取得される。ライブ超音波画像はディスプレイ２０に表示される。コンテキストを提供するために、ライブ超音波画像は、複合変換４２を使用してライブ超音波画像と位置合わせされた輪郭又は参照画像と共に表示される。例えば前立腺生検処置を支援する介入撮像を提供するために、コンテキストは、前立腺の計画３Ｄ－ＭＲＩ（又は３Ｄ－ＣＴ画像等）又は当該３Ｄ－ＭＲＩ内に描画された前立腺の輪郭である。複合変換４２は、本明細書の他の場所でより詳細に説明する変換更新プロセス４４によって時々更新される。幾つかの実施形態では、変換更新プロセス４４は、外科医又は他のユーザが操作可能であるトリガ制御部４６によってトリガされる。例えばユーザ制御パネル２４又は他のユーザ入力制御部が、解剖学的輪郭及び／又は融合３Ｄ参照画像をライブ超音波画像と空間的に位置合わせするために使用される空間位置合わせ４２の更新をトリガするトリガ制御部４６として動作する。なお、トリガ制御部４６は、超音波撮像システム１０と無線又は赤外線接触するハンドヘルド遠隔制御器、ユーザインターフェースディスプレイ２２に表示されるソフトキー（この場合、ディスプレイ２２はタッチセンシティブである）、制御パネル２４の専用トリガキー等といった様々な形を取りうることは理解されたい。

典型的には、電子プロセッサ３０によって実装されるＵＩ４０は、超音波撮像デバイス１０を動作させて、複合変換を使用して時系列のライブ超音波画像を取得して各ライブ超音波画像と位置合わせされた重ね合わされた輪郭又は融合参照画像と共に表示する。時系列のライブ超音波画像は、ライブ撮像ＵＩ４０が外科医に前立腺又は他の外科的標的を貫通する生検針又は他の介入器具のほぼリアルタイムのビューを提供するように、十分に速い速度（即ち、ビデオディスプレイと同様の「フレームレート」）で取得されることが好適である。一部の超音波撮像デバイスでは、ライブ超音波画像は、１次元超音波トランスデューサアレイを有するＵＳプローブ１２を使用して取得された２次元（２Ｄ）ライブ超音波画像である。３Ｄ－ＵＳ画像を高速取得可能である２Ｄ超音波トランスデューサアレイを備えたＵＳプローブを使用する他の実施形態では、ライブ超音波画像は３Ｄライブ超音波画像であることが想定される。

コンテキストを提供するために、電子プロセッサ３０によって実装されるライブ撮像ＵＩ４０は更に、ライブ超音波画像と共に輪郭又は参照画像を表示する。例えば前立腺の輪郭が、前立腺を描写する表示されたライブ超音波画像に重ねられてもよいし、及び／又は、例えばアルファブレンディング等を使用して３Ｄ－ＭＲＩ計画画像がライブ超音波画像と融合されてもよい。ただし、３Ｄ－ＭＲＩ、３Ｄ－ＣＴ又は他の非超音波計画画像とライブ超音波画像とのクロスモダリティ空間位置合わせは、計算集約的なプロセスである。更に、２Ｄライブ超音波画像の場合、このような空間位置合わせの精度は、２Ｄライブ超音波画像が捕捉する空間情報によって制限される場合がある（２Ｄライブ超音波画像の空間情報は、空間の平面に制限される）。これらの問題を軽減するために、３次元超音波（３Ｄ－ＵＳ）画像取得ユーザインターフェース（ＵＩ）４８を使用して、基準３Ｄ－ＵＳ画像が取得される。３Ｄ－ＵＳ画像取得ＵＩ４８の動作は、使用されるＵＳプローブ１２の特定のタイプに依存する。ＵＳプローブ１２が２Ｄ超音波トランスデューサアレイを含む場合、３Ｄ－ＵＳ画像取得ＵＩ４８は、３Ｄ－ＵＳ画像を直接取得することができる。ＵＳプローブ１２が線形超音波トランスデューサアレイしか含まない場合、３Ｄ－ＵＳ画像取得ＵＩ４８は、３Ｄ－ＵＳ画像を生成するための３次元超音波エコーデータを提供するために空間距離にわたってＵＳプローブ１２を掃引するようにユーザに指示することができる。本明細書の他の箇所で説明するように、３Ｄ－ＵＳ画像取得ＵＩ４８は、様々な基準３Ｄ－ＵＳ画像及び参照３Ｄ－ＵＳ画像の取得に使用されるＵＳプローブ１２の様々な向きで基準３Ｄ－ＵＳ画像及び１つ以上の参照３Ｄ－ＵＳ画像を取得するために使用される。

なお、ＵＳプローブ１２の上又は中に配置された１つ以上のＥＭセンサの空間位置を測定することによって、ＵＳプローブ１２の位置及び向きを追跡する例えばＥＭプローブトラッカであるＵＳプローブトラッカ２８が提供されることを理解されたい。各ライブ超音波画像は、当該ライブ超音波画像についてプローブトラッカ２８によって測定されたＵＳプローブ１２の対応する向きがタグ付けされる。同様に、各基準３Ｄ－ＵＳ画像又は参照３Ｄ－ＵＳ画像も、当該基準３Ｄ－ＵＳ画像又は参照３Ｄ－ＵＳ画像についてプローブトラッカ２８によって測定されたＵＳプローブ１２の対応する基準向き又は参照向きがそれぞれタグ付けされる。あるＵＳ画像に対応するＵＳプローブ１２の向きは、当該ＵＳ画像についてプローブトラッカ２８によって測定されたＵＳプローブ１２の向きである。この対応する向きは、例えばＵＳ画像の取得中、又は、ＵＳ画像の取得時に使用されたＵＳプローブ１２の向きが変わらない間にＵＳ画像の取得の直前若しくは直後に、当該ＵＳ画像についてプローブトラッカ２８によって測定される。各ＵＳ画像は、当該ＵＳ画像についてプローブトラッカ２８によって測定されたＵＳプローブ１２の対応する向きがタグ付けされる。「タグ」との用語は、ＵＳ画像についてプローブトラッカ２８によって測定された対応する向きがデータストレージ内のＵＳ画像に関連付けられ、したがって、非一時的記憶媒体３２の命令を実行する電子プロセッサ３０が対応する向きを取り出し、それを、対応するＵＳ画像を取得する際に使用されたＵＳプローブ１２の向きであると認識することができることを暗示する。タグ付けは、例えば直接的な画像タグ付けで、例えば向きがＵＳ画像データファイルのヘッダーに含まれるメタデータとして保存される。又は、タグ付けは、間接的でもよく、例えばＵＳ画像にインデックスを付け、各ＵＳ画像についてプローブトラッカ２８によって測定された対応する向きを保存する列、フィールド等を含むテーブル、スプレッドシート等に保存される。

３Ｄ‐ＵＳ画像取得ＵＩ４８は、ＵＳプローブ１２の様々な向きを有する３Ｄ－ＵＳ画像を取得するために使用される。これら画像を使用して、複合変換４２を作成するために（部分的に）使用される３Ｄ変換の集合５０が生成される。より具体的には、３Ｄ‐ＵＳ画像取得ＵＩ４８を使用して、プローブトラッカ２８によって測定された対応する基準向きがタグ付けされた基準３Ｄ－ＵＳ画像が取得される。次に、クロスモダリティ空間画像位置合わせプロセスを適用して、ここでは一般性を失うことなくＴ_０と表される３Ｄ変換５２が生成される。３Ｄ変換５２は、３Ｄ計画画像（例えば３Ｄ－ＭＲＩ、３Ｄ－ＣＴ画像、３Ｄ－ポジトロン放出断層撮影画像等）を基準３Ｄ－ＵＳ画像と位置合わせする。このクロスモダリティ画像位置合わせは計算コストが高いか、及び／又は、任意選択的に、計画画像及び基準３Ｄ－ＵＳ画像における対応するランドマークの指定又は計画画像及び基準３Ｄ－ＵＳ画像における対応する特徴の輪郭描出といったユーザ入力を受け取る必要がある場合がある。ただし、クロスモダリティ画像位置合わせは、通常、所与の外科的処置について１回しか行われない。

ＵＳプローブ１２を外科的処置の間ずっと固定位置に保持されるならば、単一の基準３Ｄ－ＵＳ画像を取得し、３Ｄ計画画像を基準３Ｄ－ＵＳ画像と位置合わせする変換Ｔ_０５２を生成するだけで十分である。この場合、複合変換４２は、変換Ｔ_０と、基準３Ｄ－ＵＳ画像をライブ超音波画像と位置合わせする第２の変換との積になる。（なお、本明細書で使用される場合、このコンテキストにおける「積」との用語は、Ｔ_０と第２の変換との機能の組み合わせを示すことに留意されたい。これは、様々な方法で実現することができ、例えばＴ_０をある画像に適用した後に第２の変換を当該画像に適用することによって実現することができる）。

しかし、外科的処置中に、介入器具及び標的臓器（例えば前立腺生検処置の場合、前立腺を貫通する生検針）のライブ超音波撮像の異なる視点を得るために、外科医はＵＳプローブ１２の位置を変更することを選択することができる。その際、位置変更されたＵＳプローブは、動き、例えばＵＳプローブ１２によってもたらされる組織変形の変化をもたらす場合がある。このような動き（即ち、ＵＳプローブ１２の基準向きと比べて異なる組織変形）は、通常、基準３Ｄ－ＵＳ画像では正確に考慮されない。

この問題に対処するために、開示されるアプローチでは、３Ｄ－ＵＳ画像取得ＵＩ４８を更に使用して、１つ以上の参照３Ｄ－ＵＳ画像が取得される。各参照３Ｄ－ＵＳ画像は、当該参照３Ｄ－ＵＳ画像についてプローブトラッカ２８によって測定された対応する参照向きがタグ付けされる。一般性を失うことなく、取得される参照３Ｄ－ＵＳ画像の数は、本明細書ではＮとして示し、Ｎは１以上の整数である。次に、空間画像位置合わせプロセスを適用して、一般性を失うことなく、本明細書では｛Ｔ_１，ｉ｝_{ｉ＝１，…，Ｎ}と表される３Ｄ変換の集合５４が生成される。ここでも、Ｎは参照３Ｄ－ＵＳ画像の数であり、変換Ｔ_１，ｉは、ｉでインデックス付けされた参照３Ｄ－ＵＳ画像を基準３Ｄ－ＵＳ画像と空間的に位置合わせする。（なお、適切なインデックスが明らかな場合、使用される変換は省略形Ｔ_１とも表される）。これは同一モダリティ（超音波－超音波）空間位置合わせであるため、計算コストが比較的低く、また、幾つかの実施形態では、参照３Ｄ－ＵＳ画像及び基準３Ｄ－ＵＳ画像における対応する特徴を特定するために自動化された特徴検出プロセス（例えばコーナー検出器又は他の画像勾配セグメンテーションアプローチ）を使用して行うことができ、これにより、画像位置合わせを完全に自動化することができる。或いは、例えば対応する特徴及び／又は対応する輪郭を描画するユーザ入力を使用する。

この場合、複合変換４２は、少なくとも変換Ｔ_１，ｋと変換Ｔ_２，ｋとの積を含む。（ここでも、本明細書で使用される場合、このコンテキストにおける「積」との用語は、例えばＴ_１，ｋを基準３Ｄ－ＵＳ画像に適用し、Ｔ_１，ｋによる変換の後、Ｔ_２，ｋを当該基準３Ｄ－ＵＳ画像に適用することによる、Ｔ_１，ｋ及びＴ_２，ｋの機能の組み合わせを示す。これは、様々な方法で実現することができ、例えばＴ_０をある画像に適用した後に第２の変換を当該画像に適用することによって実現することができる）。ここで、インデックスｋは、その対応する参照向きが、現在のライブ超音波画像を取得する際に使用されたＵＳプローブ１２の現在の向きに近い参照３Ｄ－ＵＳにインデックスを付ける。したがって、Ｔ_１，ｋは、基準３Ｄ－ＵＳ画像をｋでインデックス付けされた参照３Ｄ－ＵＳ画像と空間的に位置合わせする。変換Ｔ_２，ｋは、ｋでインデックス付けされた参照３Ｄ－ＵＳ画像をライブ超音波画像と空間的に位置合わせする。したがって、変換Ｔ_１，ｋ及びＴ_２，ｋの積は、基準３Ｄ－ＵＳ画像を現在のライブ超音波画像と空間的に位置合わせする。ライブ超音波画像と共に表示される輪郭又は参照画像が、３Ｄ計画画像又は３Ｄ計画画像に描かれた輪郭である場合、複合変換４２は更に、変換Ｔ_０を含む、即ち、複合変換４２は、変換Ｔ_０、変換Ｔ_１，ｋ及び変換Ｔ_２，ｋの積を含む。（ここでも、本明細書で使用される場合、このコンテキストにおける「積」との用語は、例えばＴ_０を計画画像又は計画画像に描かれた輪郭に適用して基準３Ｄ－ＵＳ画像の空間フレームに変換した後に、Ｔ_１，ｋを適用してｋでインデックス付けされた参照３Ｄ－ＵＳ画像の空間フレームに変換した後に、Ｔ_２，ｋを適用してライブ超音波画像の空間フレームに変換することによる、Ｔ_０、Ｔ_１，ｋ及びＴ_２，ｋの機能の組み合わせを示す）。

（幾つかの実施形態では、ライブ超音波画像と共に表示される参照輪郭又は参照画像は、基準３Ｄ－ＵＳ画像又は基準３Ｄ－ＵＳ画像に描かれた輪郭であってもよいと考えられる。この場合、複合変換４２はＴ_０を含まず、実際に、このような実施形態では、超音波以外のモダリティによって取得された３Ｄ計画画像がない)。

図１を参照して上述した構造を用いて、ＵＳプローブ１２の位置変更を考慮するために複合変換４２を更新することは、プローブトラッカ２８によって測定されたＵＳプローブ１２の現在の向きに最も近いＵＳプローブ１２の参照向きを決定することが必要である。複合変換４２において、Ｔ_１，ｋは、ｋを最も近い参照向きを有する参照３Ｄ－ＵＳ画像のインデックスと同じに設定することにより更新される。この更新に続いてライブ画像を表示するために、Ｔ_２，ｋは、更新されたｋでインデックス付けされた参照３Ｄ－ＵＳ画像をライブ超音波画像と空間的に位置合わせするように作成される。変換Ｔ_０（使用する場合）は、この更新によって変更されないため、変換Ｔ_０を再計算する計算コストを有利に回避することができる。

図２を参照して、このような更新の効果を示す。図２の左の画像は、輪郭が重ねられた前立腺の基準３Ｄ－ＵＳ画像を示す。この例では、輪郭は、基準３Ｄ－ＵＳ画像に描かれているが、３Ｄ－ＭＲＩといった３Ｄ計画画像に描かれ、変換Ｔ_０を使用して基準３Ｄ－ＵＳ画像の空間フレームに変換された輪郭であってもよい。図２の中央の画像は、図１の輪郭が変換Ｔ_１，ｋ及びＴ_２，ｋによって２Ｄライブ超音波画像の空間フレームに変換された２Ｄライブ超音波画像を示す。しかし、図２に見られるように、輪郭と２Ｄライブ超音波画像内の前立腺の境界（図２の中央の画像に矢印で示す）とは大きくずれている。図２の右の画像は、更新された輪郭を有する同じ２Ｄライブ超音波画像を示す。これは、最も近い参照３Ｄ－ＵＳ画像にｋが更新された変換Ｔ_１，ｋを使用するように複合変換を更新することにより更新される。図２はまた、変換Ｔ_０、Ｔ_１及びＴ_２の積を含む複合変換の実施に適した変換Ｔ_０、Ｔ_１及びＴ_２の連続適用も示す。

なお、限定的な例では、ＵＳプローブ１２の現在の向きに最も近い参照向きは、実際には、参照３Ｄ－ＵＳ画像のどれかではなく、基準３Ｄ－ＵＳ画像に対応する基準向きでありうることに留意されたい。この場合、変換Ｔ_１を省略するか、又は、別の観点から、変換Ｔ_１をユニティ変換に設定することができる。ユニティ変換Ｔ_１を、基準３Ｄ－ＵＳ画像に適用すると、修正のない同じ基準３Ｄ－ＵＳ画像が出力される。

基準向きは、外科的処置を行う際に最も一般的に使用される向きであるように選択されることが好適である。例えば前立腺生検の場合、基準向きは軸方向であることが好適である。追加の参照ボリューム（参照３Ｄ－ＵＳ画像）が、基準３Ｄ－ＵＳ画像と同じ関心領域で取得されるが、プローブの向きが異なり、異なる組織変形がもたらされ、これにより、画像の外観が異なる。参照ボリュームを基準ボリュームに位置合わせして、参照ボリューム内の画像ボクセルを基準ボリューム内の画像ボクセルにマッピングする。これはボリューム位置合わせであるため、位置合わせのために大量の画像情報を有利に使用することができ、これは、変形によってボリューム間に違いが生じるにも関わらず、変換｛Ｔ_１，ｉ｝_{ｉ＝１，…，Ｎ}５４を正確かつロバストに決定することができる。

引き続き図１を参照し、また、更に図３を参照して、非一時的記憶媒体３２から読み取られた命令を実行して３Ｄ変換５０を生成する電子プロセッサ３０によって適切に行われるプロセスを説明する。プロセスは、３Ｄ計画画像６０を受け取り、また、任意選択的に、３Ｄ計画画像６０に描かれた１つ以上の特徴輪郭６２も受け取る（このような輪郭がライブ超音波画像に重ねられるべき場合）。３Ｄ－ＵＳ画像取得ＵＩ４８によって行われる動作６４において、基準３Ｄ－ＵＳ画像６６についてプローブトラッカ２８によって測定されたＵＳプローブ１２の対応する基準向きがタグ付けされた当該基準３Ｄ－ＵＳ画像６６が取得される。３Ｄ－ＵＳ画像取得ＵＩ４８により行われる動作６８において、１つ以上の参照３Ｄ－ＵＳ画像７０（即ち、Ｎ個のそのような画像）が取得される。各参照３Ｄ－ＵＳ画像は、当該参照３Ｄ－ＵＳ画像についてプローブトラッカ２８により測定されたＵＳプローブ１２の対応する参照向きがタグ付けされる。（なお、動作６４、６８は様々な順序で行われてよい）。動作７２において、クロスモダリティ画像位置合わせを適用して、計画画像６０（したがって、計画画像６２に描かれている場合は輪郭６２）が基準３Ｄ－ＵＳ画像６６と位置合わせされる。これにより、変換Ｔ_０５２が生成される。動作７４において、同一モダリティ（超音波－超音波）画像位置合わせを適用して、基準３Ｄ－ＵＳ画像６６が、１つ以上の参照３Ｄ－ＵＳ画像７０の各参照３Ｄ－ＵＳ画像と位置合わせされる。これにより、変換の集合｛Ｔ_１，ｉ｝_{ｉ＝１，．．．，Ｎ}５４が生成される。

引き続き図１を参照し、また、更に図４を参照して、非一時的記憶媒体３２から読み取られた命令を実行して、トリガ制御部４６の起動に反応して複合変換４２の更新４４を含むライブ超音波撮像を行う電子プロセッサ３０によって適切に行われるプロセスを説明する。図４の例では、ライブ超音波画像は２Ｄライブ超音波画像であると想定される。動作８０において、最初の２Ｄライブ超音波画像が取得され、ＵＳプローブ１２の対応する向きがタグ付けされる。動作８２において、２Ｄライブ超音波画像は、最も近い参照（又は基準）３Ｄ－ＵＳ画像と空間的に位置合わせされて、変換Ｔ_２８４が生成される。動作８６において、２Ｄライブ超音波画像は、輪郭又は参照画像と共に表示される。その後、ステップ８２、８４、８６、８８を繰り返すことにより、時系列の２Ｄライブ画像が生成される。この時系列ライブ撮像が行われる際に、ユーザはＵＳプローブ１２の位置を変更することを選択することがある。これにより、最初に選択された最も近い３Ｄ－ＵＳ画像は、（例えば図２の中央の画像に示すように）もはや十分に正確でなくなる。ユーザは、この精度の低下を認識すると、更新トリガ４６を起動することができる。これは、動作９０において検出される。動作９２において、プローブトラッカ２８によって測定されるＵＳプローブ１２の現在の向きが、参照向き及び基準向きと比較され、最も近い参照向き（ここでは、一般性を失うことなく、ｋでインデックス付けされる）が選択される。次に、フローは動作８２に戻り、ｋでインデックス付けされた更新された最も近い参照３Ｄ－ＵＳ画像を使用してライブ超音波撮像を続行する（つまり、２Ｄライブ超音波画像を、ｋでインデックス付けされた更新された最も近い参照３Ｄ－ＵＳ画像と位置合わせすることにより、変換Ｔ_１がインデックスｋに更新され、変換Ｔ_２がＴ_２，ｋに更新される）。

図４には示さないが、任意選択的に、設定プロセス（図３）において取得されなかった追加の参照向きが必要な場合、ライブ超音波撮像の時系列生成（つまり、動作８２、８４、８６、８８の反復）が中断されて、図３の動作６８、７４に従って、追加の参照向きを有する１つ以上の追加の参照３Ｄ－ＵＳ画像が取得され、基準３Ｄ－ＵＳ画像と位置合わせされる。最初の変換の集合が｛Ｔ_１，ｉ｝_{ｉ＝１，．．．，Ｎ}５４であるならば、追加の参照向きの新しい変換は、Ｔ_{１，Ｎ＋１}と適切に表すことができる。このような新しい参照３Ｄ－ＵＳ画像の取得は、例えば動作９２において、ＵＳプローブ１２の最も近い参照向きがＵＳプローブ１２の現在の向きと閾値量を超えて異なる場合にトリガされる。前述のように、ＵＳプローブ１２が線形アレイの超音波トランスデューサしかない場合、新しい参照３Ｄ－ＵＳ画像を取得するために超音波撮像デバイスを操作することには、ＵＳプローブ１２を手動で操作して、新しい参照３Ｄ－ＵＳ画像の取得中にＵＳプローブ１２の指定の掃引を行うようにユーザに指示することが含まれる。

例示する実施形態（例えば図１）では、変換更新４４は、ユーザがトリガ制御部４６を操作することによって手動でトリガされる。代替実施形態では、トリガ条件が検出されると変換更新４４を自動的にトリガすることが考えられる。例えば動作８２において、空間的に位置合わせされた画像の適合品質メトリックが、空間的位置合わせの精度が低いことを示す場合、更新がトリガされる。

変換更新４４の例示的な実施態様では、単一のライブ超音波画像が現在のライブ超音波画像として取得される。代替実施形態では、現在のライブ超音波画像は、時系列のライブ超音波画像のうちの、同じ現在の向きで取得された複数のライブ超音波画像を含む。したがって、例えば位置合わせ動作８２において、複数のライブ超音波画像にわたって平均された最高精度で当該複数のライブ超音波画像を最適に位置合わせすることができる。このようなアプローチは、精度を向上させ、また、かなりのノイズ又は他の画像アーチファクトを有する異常値２Ｄライブ超音波画像によるスプリアス結果の可能性を低減することができる。

本発明は、好適な実施形態を参照して説明した。前述の詳細な説明を読んで理解すると、他の人が修正態様及び変更態様を想到することができるであろう。本発明は、添付の特許請求の範囲又はその均等物の範囲内にある限り、このようなすべての修正態様及び変更態様を含むと解釈されることが意図されている。

Claims (15)

1. 超音波プローブと、
   前記超音波プローブと動作可能に接続され、前記超音波プローブを使用して超音波撮像を行う超音波撮像デバイスと、
   ディスプレイと、
   前記超音波プローブの向き追跡するプローブトラッカと、
   前記超音波撮像デバイス、前記プローブトラッカ及び前記ディスプレイと動作可能に接続された電子プロセッサと、
   前記超音波撮像デバイスを動作させてライブ超音波画像を取得し、また、前記ディスプレイを動作させて前記ライブ超音波画像を、複合変換を使用して前記ライブ超音波画像と位置合わせされた輪郭又は参照画像と共に表示し、また、更なる動作を行うように前記電子プロセッサによって読み取り可能及び実行可能な命令を記憶する非一時的記憶媒体と、
   を含み、
   前記更なる動作は、
   基準３次元超音波（３Ｄ－ＵＳ）画像を取得するように前記超音波撮像デバイスを動作させることであって、前記基準３Ｄ－ＵＳ画像は前記プローブトラッカによって測定された前記超音波プローブの対応する基準向きがタグ付けされている、前記超音波撮像デバイスを動作させることと、
   １つ以上の参照３Ｄ－ＵＳ画像を取得するように前記超音波撮像デバイスを動作させることであって、１つ以上の前記参照３Ｄ‐ＵＳ画像は前記プローブトラッカによって測定された前記超音波プローブの対応する参照向きがそれぞれタグ付けされている、前記超音波撮像デバイスを動作させることと、
   前記基準３Ｄ－ＵＳ画像を各前記参照３Ｄ‐ＵＳ画像と空間的に位置合わせする変換を計算することと、
   前記プローブトラッカによって測定された前記超音波プローブの現在の向きにその対応する向きが最も近い参照３Ｄ－ＵＳ画像を決定することと、
   前記基準３Ｄ－ＵＳ画像を前記最も近い参照３Ｄ－ＵＳ画像と空間的に位置合わせする変換を含めるように前記複合変換を更新することと、
   を含む、介入撮像デバイス。
2. 前記基準３Ｄ－ＵＳ画像を各前記参照３Ｄ‐ＵＳ画像と空間的に位置合わせする変換を計算する動作は、変換の集合｛Ｔ１，ｉ｝ｉ＝１，．．．，Ｎを計算することであって、ここで、Ｎは参照３Ｄ－ＵＳ画像の数であり、前記変換Ｔ１，ｉは前記基準３Ｄ－ＵＳ画像をｉでインデックス付けされた前記参照３Ｄ－ＵＳ画像と空間的に位置合わせすることであり、
   前記複合変換の更新は、前記複合変換を、少なくとも変換Ｔ１，ｋと変換Ｔ２、ｋとの積に更新することを含み、ここで、ｋは決定された前記最も近い参照３Ｄ－ＵＳ画像にインデックスを付け、前記変換Ｔ２，ｋは決定された前記最も近い参照３Ｄ－ＵＳ画像を前記ライブ超音波画像と空間的に位置合わせする、請求項１に記載の介入撮像デバイス。
3. 更新された前記複合変換は、変換Ｔ０と、前記変換Ｔ１，ｋと、前記変換Ｔ２，ｋとの積を含み、ここで、前記変換Ｔ０は、超音波以外の撮像モダリティによって取得される３次元計画画像を前記基準３Ｄ－ＵＳ画像と空間的に位置合わせし、
   前記複合変換の更新は、前記変換Ｔ０を更新しない、請求項２に記載の介入撮像デバイス。
4. 超音波以外の撮像モダリティによって取得される前記３次元計画画像は、３次元磁気共鳴（３Ｄ‐ＭＲＩ）画像又は３次元コンピュータ断層撮影（３Ｄ‐ＣＴ）画像を含む、請求項３に記載の介入撮像デバイス。
5. 前記ライブ超音波画像と共に表示される前記輪郭又は前記参照画像は、前記３次元計画画像内に定義される輪郭であって、前記変換Ｔ０を使用して前記基準３Ｄ―ＵＳ画像と位置合わせされる輪郭を含む、請求項３又は４に記載の介入撮像デバイス。
6. 前記電子プロセッサは、前記超音波撮像デバイスを動作させて、時系列のライブ超音波画像を取得して、前記複合変換を使用して前記ライブ超音波画像と位置合わせされた前記輪郭又は前記参照画像と共に表示し、
   更新された前記複合変換の前記変換Ｔ２，ｋは、ｋでインデックス付けされ決定された前記最も近い参照３Ｄ－ＵＳ画像を前記ライブ超音波画像と空間的に位置合わせすることによる前記複合変換の更新に続いて取得される前記ライブ超音波画像に対して生成される、請求項２から５のいずれか一項に記載の介入撮像デバイス。
7. 前記複合変換の更新は、トリガ制御部のユーザ起動の検出によってトリガされる、請求項１から６のいずれか一項に記載の介入撮像デバイス。
8. 超音波プローブを有する超音波撮像デバイスと、ディスプレイと、前記超音波プローブの向きを追跡するプローブトラッカとに動作可能に通信する電子プロセッサによって読み取り可能及び実行可能な命令を記憶する非一時的記憶媒体であって、前記電子プロセッサによって読み取り可能及び実行可能な前記命令は、
   ライブ超音波画像を取得するように前記超音波撮像デバイスを動作させるステップと、
   複合変換を使用して、輪郭又は参照画像を前記ライブ超音波画像と空間的に位置合わせするステップと、
   前記ライブ超音波画像を、空間的に位置合わせされた前記輪郭又は前記参照画像と共に前記ディスプレイに表示するステップと、
   動作によって前記複合変換を調整するステップと、
   を含む、ライブ撮像方法を行い、
   前記動作は、
   基準３次元超音波（３Ｄ－ＵＳ）画像を取得するように前記超音波撮像デバイスを動作させるステップであって、前記基準３Ｄ－ＵＳ画像は前記プローブトラッカによって測定された前記超音波プローブの対応する基準向きがタグ付けされている、前記超音波撮像デバイスを動作させるステップと、
   １つ以上の参照３Ｄ－ＵＳ画像を取得するように前記超音波撮像デバイスを動作させるステップであって、１つ以上の前記参照３Ｄ‐ＵＳ画像は前記プローブトラッカによって測定された前記超音波プローブの対応する参照向きがそれぞれタグ付けされている、前記超音波撮像デバイスを動作させるステップと、
   前記基準３Ｄ－ＵＳ画像を１つ以上の前記参照３Ｄ‐ＵＳ画像と空間的に位置合わせする変換の集合｛Ｔ１，ｉ｝ｉ＝１，…，Ｎを計算するステップと、
   前記プローブトラッカによって測定された前記超音波プローブの現在の向きに最も近い参照向きを決定するステップと、
   前記複合変換を少なくとも変換Ｔ１，ｋと変換Ｔ２、ｋとの積に更新するステップと、
   を含み、
   Ｎは参照３Ｄ－ＵＳ画像の数であり、前記変換Ｔ１，ｉは前記基準３Ｄ－ＵＳ画像をｉでインデックス付けされた前記参照３Ｄ－ＵＳ画像と空間的に位置合わせし、
   ｋは決定された前記最も近い参照３Ｄ－ＵＳ画像のインデックスであり、これにより、前記変換Ｔ１，ｋは、前記基準３Ｄ－ＵＳ画像をｋでインデックス付けされ決定された前記最も近い参照３Ｄ－ＵＳ画像と空間的に位置合わせし、前記変換Ｔ２，ｋは、決定された前記最も近い参照３Ｄ－ＵＳ画像を前記ライブ超音波画像と空間的に位置合わせする、非一時的記憶媒体。
9. 前記更新するステップは、前記複合変換を、変換Ｔ０と、前記変換Ｔ１，ｋと、前記変換Ｔ２，ｋとの積に更新し、前記変換Ｔ０は、超音波以外の撮像モダリティによって取得された３次元計画画像を前記基準３Ｄ－ＵＳ画像と位置合わせし、
   前記ライブ超音波画像と共に表示される前記輪郭又は前記参照画像は、前記３次元計画画像内に定義された輪郭又は前記３次元計画画像である、請求項８に記載の非一時的記憶媒体。
10. 前記ライブ超音波画像を取得するように前記超音波撮像デバイスを動作させるステップと、前記輪郭又は前記参照画像を前記ライブ超音波画像と空間的に位置合わせするステップと、前記ライブ超音波画像を空間的に位置合わせされた前記輪郭又は前記参照画像と共に表示するステップとを反復的に繰り返して、前記複合変換を使用して、時系列の前記ライブ超音波画像を取得して、前記ライブ超音波画像と位置合わせされた前記輪郭又は前記参照画像と共に表示する、請求項８又は９に記載の非一時的記憶媒体。
11. 前記基準３Ｄ－ＵＳ画像を取得するように前記超音波撮像デバイスを動作させるステップと、前記１つ以上の参照３Ｄ‐ＵＳ画像を取得するように前記超音波撮像デバイスを動作させるステップと、前記変換の集合｛Ｔ１，ｉ｝ｉ＝１，…，Ｎを計算するステップとは、前記時系列のライブ超音波画像の前記取得及び前記表示の前に行われる、請求項１０に記載の非一時的記憶媒体。
12. 前記複合変換を更新するステップは、
    対応する参照向きがタグ付けされた新しい参照３Ｄ－ＵＳ画像を取得するために前記超音波撮像デバイスを動作させるように、前記時系列のライブ超音波画像の前記取得及び前記表示を中断するステップと、前記新しい参照３Ｄ－ＵＳ画像を前記基準３Ｄ－ＵＳ画像と空間的に位置合わせする新しい変換Ｔ１，Ｎ＋１を計算するステップと、
    を更に含む動作によるものであり、
    決定された前記最も近い参照向きが前記新しい参照３Ｄ－ＵＳ画像に対応する場合、前記複合変換は、少なくとも前記変換Ｔ１，Ｎ＋１と変換Ｔ２，Ｎ＋１との積に更新され、前記変換Ｔ２，Ｎ＋１は、前記新しい参照３Ｄ－ＵＳ画像を前記ライブ超音波画像と空間的に位置合わせする、請求項１１に記載の非一時的記憶媒体。
13. 前記新しい参照３Ｄ‐ＵＳ画像を取得するように前記超音波撮像デバイスを動作させるステップは、前記超音波プローブを手動で操作して、前記新しい参照３Ｄ－ＵＳ画像の取得中に前記超音波プローブの指定された掃引を行うようにユーザに指示するステップを含む、請求項１２に記載の非一時的記憶媒体。
14. 前記複合変換を調整するステップは、トリガ制御部のユーザ起動の検出によりトリガされる、請求項８から１３のいずれか一項に記載の非一時的記憶媒体。
15. 前記ライブ超音波画像を取得するように前記超音波撮像デバイスを動作させるステップは、
    ２次元超音波画像である前記ライブ超音波画像を取得するように前記超音波撮像デバイスを動作させるステップを含む、請求項８から１４のいずれか一項に記載の非一時的記憶媒体。

Images