JP6714019B2 - 医療手順における動き補償のためのシステム及び方法 - Google Patents

Description

本開示は動き補償に関し、より具体的に言えば、医療画像において患者の動きを反映するためのシステム、インターフェース、及び方法に関する。

超音波プローブの電磁（ＥＭ）追跡及び先行画像の座標系とＥＭ座標系との位置合わせを使用して、（同じ撮像モダリティ又は他の撮像モダリティの）先行画像を用いる超音波の多重診断法「融合」画像化を可能にすることができる。位置合わせを確立するための自動的な方法は、ＥＭ追跡３次元（３Ｄ）超音波（ＵＳ）ボリューム（ベースライン３ＤＵＳ）の獲得と、それに続く、先行静止画像（例えば、コンピュータ断層撮影（ＣＴ）画像）へのベースライン３ＤＵＳの手動又は自動での画像ベース位置合わせに基づくものである。

例えば呼吸に起因して臓器の動きが生じた場合、ライブ超音波画像と先行画像との間の位置合わせは、もはや正確ではなくなる。特に、オペレータが腫瘍への針の挿入などの介入を計画している場合、オペレータは、通例、腫瘍の動きを中断させるために息止めを要求することになる。しかしながら、この息止め中の腫瘍の位置は、通例はベースライン３ＤＵＳ獲得中の位置とは異なる。したがって、先行静止画像との融合画像は不正確さが生じる可能性がある。

臓器の動きを補償するために、現在又は「ライブ」の超音波画像をベースライン３ＤＵＳに位置合わせし直すための画像ベース位置合わせ方法が試みられてきた。しかしながら、こうした位置合わせ方法は、位置合わせされる画像間のオーバーラップ又は類似性が不十分である場合にはロバスト又は正確でない。

本原理によれば、動き補償を反映するように画像を融合するためのシステムは、ベースライン画像及び現行画像を取得するように構成された撮像モダリティを含む。ライブ追跡システムが、ベースライン画像及び現行画像を捕捉するために撮像機器を追跡するように構成され、ライブ追跡システムは、ベースライン画像及び現行画像と位置合わせされた座標系を有する。ポーズ分析器ユニットが、ライブ追跡システムを使用して、ベースライン画像のためのポーズと現行ビュー画像のためのポーズとの間の視野差を採用して成功パラメータを生成するように構成される。成功パラメータは、ベースライン画像と現行ビュー画像との間での動き補償のための最適画像獲得に関するフィードバックを提供するために伝達される。

動き補償を反映するように画像を融合するための別のシステムは、ベースライン超音波画像及びライブ超音波画像を取得するように構成された、超音波システムを含む。ライブ追跡システムが、ベースライン画像及び現行画像のための超音波プローブを追跡するように構成され、ライブ追跡システムは、ベースライン画像及び現行画像と位置合わせされた座標系を有する。ポーズ分析器ユニットが、ライブ追跡システムを使用して、ベースライン画像のためのポーズと現行ビュー画像のためのポーズとの間の視野差を採用して成功パラメータを生成するように構成される。成功パラメータは、ベースライン画像と現行ビュー画像との間での動き補償のための最適画像獲得に関するフィードバックを提供するために伝達される。ポーズガイダンスユニットが、現行ビュー画像のための満足なポーズを達成するためにユーザに指示を与えるように構成される。位置合わせシステムが、静止画像をベースライン画像及び現行画像のうちの１つ又は複数と位置合わせするように構成される。

動き補償を反映するように画像を融合するための方法は、ベースライン画像を捕捉すること、対象エリアのライブ画像を取得すること、追跡システムが自身の座標系をベースライン画像及びライブ画像と位置合わせさせるように、ベースライン画像を捕捉するためのポーズを取得するため、及びライブ画像の現行ビューのためのポーズを取得するために、撮像機器を追跡すること、追跡システムを使用して、ベースライン画像のためのポーズと現行ビューのためのポーズとの間の視野差を比較するために現行ビューのためのポーズを分析して、成功パラメータを生成すること、ベースライン画像と現行ビューとの間での動き補償のための最適画像獲得に関するフィードバックを提供するために、成功パラメータを伝達すること、並びに、成功パラメータが適切である場合、現行ビューのポーズで新しい画像を獲得することを有する。

本開示のこれら及び他の目的、特徴、及び利点は、添付の図面に関して読まれるそれらの例示的実施形態の以下の詳細な説明から明らかとなろう。

本開示は、以下の図面を参照しながら好ましい実施形態の以下の説明を詳細に提示する。

一実施形態に従った、動きを補償する画像融合システムを示すブロック／フロー図である。 例示的実施形態に従った、動きを補償しながら画像を融合するための方法を示すフロー図である。 例示的実施形態に従った、成功パラメータを決定するための、ベースライン及び現行ポーズに関する視野を示す図である。 別の例示的実施形態に従った、動きを補償しながら画像を融合するための方法を示すフロー図である。

本原理によれば、システム、方法、及びインターフェースは、現行ビューの成功パラメータに関するフィードバックをオペレータに提供し、最適な成功パラメータを備えるビューを達成するために、ユーザにガイダンスを提供する。成功パラメータは、位置合わせする画像（視野（ＦＯＶ））間のオーバーラップ又は類似性に関するパラメータである。動きを補償しない場合、融合画像は正確さが低下し、臓器の動きが生じると有用性が低下する。手動での動き補償は煩雑で、不正確であり、ユーザに依存する。自動での画像ベースの動き補償は、位置合わせに使用するライブ画像がベースライン画像との十分なオーバーラップ及び類似性（「成功パラメータ」）を有する場合のみ、高速かつ正確である。オペレータにとって超音波ビューの成功パラメータを評価することは些細なことではないため、オペレータは、３ＤＵＳ（３次元超音波）画像を獲得し、「試行錯誤」によって動き補償を試行する可能性があり、結果として位置合わせの試行に失敗し、時間を費やし、オペレータの不満を生じさせることになる。

本原理は、画像が獲得され、動き補償が試行される前に、現行ビューの成功パラメータに関するフィードバックを提供し、高いか又は最適な成功パラメータを有するビューへのガイダンスを提供する。本原理は、結果として、多重診断法「融合」画像化手順において効率的な動き補償を生じさせる。動きは、先行する「静的」な超音波ボリュームに対して、「ライブ」又は「現行」の超音波ボリュームの画像ベース位置合わせを使用して補償される。ここで、静的ボリュームは、コンピュータ断層撮影（ＣＴ）画像などの別の診断法に事前に位置合わせされる。位置合わせベースの動き補償は、ライブ画像及び静止画像を使用して十分な類似性及びオーバーラップ（成功パラメータ）を発見する。

一実施形態において、ベースライン画像とライブ画像との間の十分なオーバーラップ（成功パラメータ）を可能にするように、視野を比較して画像化器械の類似するポーズを識別する。インターフェースは、静止画像との正常かつ正確な位置合わせを可能にするライブ画像の獲得へとユーザを誘導するために、こうした成功パラメータに関するライブフィードバックを提供する。

動き補償の一実施形態において、オペレータは、先行する静的３ＤＵＳと位置合わせ可能な、ライブの電磁（ＥＭ）追跡３Ｄ超音波（３ＤＵＳ）画像を獲得する。３ＤＵＳのＥＭ追跡及び既知の視野（ＦＯＶ）に基づき、現行ビューと静止画像との間の関連するポーズ及びオーバーラップを計算することができる。この情報は、所望の対象エリア（例えば、腫瘍）の画像化も行いながら動き補償に好適なビューを識別するために、オペレータに提供される。代替の実施形態において、オペレータは所望の対象エリアを入力し、システムは、正常な動き補償を可能にするための、静止画像に対する十分なオーバーラップ及びポーズの類似性を伴う対象エリアを画像化するために、１つ又はいくつかの好適なビューを計算する。次いでシステムは、３ＤＵＳ獲得のために事前計算されたポーズに、又はそれに近づけて超音波プローブを配置するようにオペレータにガイダンスを提供する。他の実施形態において、ベースラインビューと現行ビューとの間の画像類似性を採用して、最適な視野の合致を発見する。

本発明は医療撮像機器に関して説明するが、本発明の教示はより広義であり、動き補償が有用ないずれの撮像機器にも適用可能であることを理解されたい。いくつかの実施形態において、本原理は、複雑な生物学的又は機械的システムの追跡又は分析において採用される。特に本原理は、生物学的システムの内部追跡手順に対して、及び肺、消化管、排せつ器、血管などの、身体のすべてのエリアにおける手順において、適用可能である。図面に示される要素は、ハードウェア及びソフトウェアの様々な組み合わせにおいて実施され、単一の要素又は複数の要素において組み合わせ可能な機能を提供する。

図面に示される様々な要素の機能は、専用のハードウェア、並びに適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアを使用することによって、提供可能である。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は、幾つかが共有可能な複数の個々のプロセッサによって、提供可能である。その上、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に指すものと解釈されるべきではなく、限定はしないが、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性ストレージなどを暗黙的に含むことができる。

その上、本発明の原理、態様、及び実施形態並びにそれらの特定の例を示す、本明細書におけるすべての文は、それらの構造的等価物及び機能的等価物の両方を包含することが意図される。加えて、こうした等価物は、現在知られている等価物並びに将来開発される等価物（即ち、構造に関係なく同じ機能を実行する開発された任意の要素）の両方を含むことも意図される。したがって当業者であれば、例えば、本明細書で提示されるブロック図は、本発明の原理を具体化する例示的システム構成要素及び／又は回路の概念図を表すことを理解されよう。同様に、いずれのフローチャート、フロー図なども、実質的にコンピュータ読み取り可能記憶媒体内に表され、コンピュータ又はプロセッサによって実行される様々なプロセスを、こうしたコンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、表すことを理解されよう。

更に、本発明の実施形態は、コンピュータ又は任意の命令実行システムによって使用するため、又はそれらに関連して使用するためのプログラムコードを提供する、コンピュータ使用可能又はコンピュータ読み取り可能記憶媒体からのアクセスが可能なコンピュータプログラム製品の形を取ることが可能である。これを説明する目的で、コンピュータ使用可能又はコンピュータ読み取り可能記憶媒体は、命令実行システム、装置、又はデバイスによって使用するため、若しくはそれらに関連して使用するためのプログラムを、含む、記憶する、通信する、伝搬する、又は移送する、任意の装置とすることができる。媒体は、電子、磁気、光、電磁、赤外線、若しくは半導体のシステム（又は、装置若しくはデバイス）、又は伝搬媒体とすることができる。コンピュータ読み取り可能媒体の例には、半導体又はソリッドステートメモリ、磁気テープ、取り外し可能コンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、剛性磁気ディスク、及び光ディスクが含まれる。光ディスクの現行の例には、コンパクトディスク−読み取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−読み取り／書き込み（ＣＤ−Ｒ／Ｗ）、Ｂｌｕ−Ｒａｙ（商標）、及びＤＶＤが含まれる。

本明細書における本原理の「一実施形態」又は「実施形態」、並びにそれらの他の変形への言及は、実施形態に関して説明する特定の機能、構造、特徴などが、本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書全体を通じて様々な場所に現れる、「一実施形態において」又は「実施形態において」という言い回し、並びに任意の他の変形の出現は、必ずしもすべてが同じ実施形態に言及しているとは限らない。

以下の「／」、「及び／又は」、及び「のうちの少なくとも１つ」のいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、及び「Ａ及びＢのうちの少なくとも１つ」の場合において、第１の列挙された選択肢（Ａ）のみの選択、又は第２の列挙された選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されることを理解されよう。更なる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合において、こうした言い回しは、第１の列挙された選択肢（Ａ）のみの選択、又は第２の列挙された選択肢（Ｂ）のみの選択、又は第３の列挙された選択肢（Ｃ）のみの選択、又は第１及び第２の列挙された選択肢（Ａ及びＢ）のみの選択、又は第１及び第３の列挙された選択肢（Ａ及びＣ）のみの選択、又は第２及び第３の列挙された選択肢（Ｂ及びＣ）のみの選択、又は３つの選択肢（Ａ及びＢ及びＣ）のすべての選択を包含することが意図される。この言い回しは、この分野及び関連分野における当業者によって容易に明らかなように、多数の列挙項目に拡張することが可能である。

例えば、画像、画像領域、又はオーバーレイなどの要素が、別の要素「上」又は「の上」にあるものと言及される場合、これは他の要素上に直接あることが可能であるか、又は介在要素が存在する可能性もあることも理解されよう。これに対して、或る要素が別の要素「上に直接」又は「の上に直接」あるものと言及される場合、介在要素は存在しない。或る要素が別の要素に「接続」又は「結合」されているものと言及される場合、これは他の要素に直接接続若しくは結合可能であるか、又は介在要素が存在する可能性もあることも理解されよう。これに対して、或る要素が別の要素に「直接接続」又は「直接結合」されているものと言及される場合、介在要素は存在しない。

次に、同じ数字が同じか又は類似の要素を表す図面を、最初に図１を参照すると、一実施形態に従った画像融合のためのシステム１００が例示的に示されている。システム１００は、コンピュータ又は他のワークステーション若しくはコンソール１１２を含み、ここから手順が監視及び／若しくは管理され、並びに／又は画像融合が実行される。ワークステーション１１２は、好ましくは、１つ又は複数のプロセッサ１１４、並びにプログラム及びアプリケーションを記憶するためのメモリ１１６を含む。メモリ１１６は、同じか又は異なる撮像モダリティから画像を融合するように構成された、複数のモジュール、ユニット、アプリケーション、及び／又はプログラムを記憶する。メモリ１１６内に記憶されるものとして説明されるモジュールは、実際には、ソフトウェアに加えて又はその代わりに、コネクタ、ワイヤ、回路基板、集積回路チップ、メモリデバイスなどを含む、電子回路又は他のハードウェア構成要素を含むことを理解されたい。

メモリ１１６は、成功パラメータを計算するために、追跡ベースラインメモリ１２４に記憶されたベースライン３ＤＵＳから、及び、画像プローブ１０２の現行／ライブ位置で獲得された場合には追跡現行メモリ１２６内に記憶されるライブ／現行画像１１１から、空間ポーズ追跡情報を受信する、ポーズ分析器ユニット１３２を含む。画像プローブ１０２は、対象者１３０のライブ又はリアルタイム画像化のための超音波プローブを含む。画像プローブ１０２は、電磁（ＥＭ）追跡１１５を使用して追跡されるが、他の追跡技術も採用され得る。ポーズ分析器ユニット１３２は、情報（成功パラメータ）をディスプレイ１１８に、及び任意選択でポーズガイダンスユニット１３８に渡す。ポーズガイダンスユニット１３８は、ディスプレイ１１８上のグラフィカルユーザインターフェース及び／又はインターフェース１２０を介して、ユーザ入力（対象エリア）を受信する。ポーズ分析器ユニット１３２は、視野の類似性を測るためにオーバーラップ及び類似性（成功パラメータ）を計算するのに対し、ポーズガイダンスユニット１３８は、画像のための最適な視野を取得するためにプローブ１０２をどのように位置変更するかに関する直接の情報を提供する。例として、ポーズ分析器ユニット１３２は、オーバーラップの割合（例えば、５５％のオーバーラップ）をフィードバックとして提供するが、ポーズガイダンスユニット１３８は、より高いオーバーラップの割合を達成するために、例えば、「プローブを左へ移動」などの命令を提供することができる。

ユーザには、タスクを実行する、ベースライン画像を複製する、先行静止画像との良好な位置合わせの確率を増大させる等のための最良のポーズを達成するために、リアルタイムフィードバック及び／又はガイダンスが提供される。

ディスプレイ１１８は、ワークステーション１１２並びにその構成要素及び機能、又はシステム１００内の任意の他の要素との、ユーザの対話も可能にする。これは、キーボード、マウス、ジョイスティック、触覚デバイス、マイクロフォン、スピーカ、照明、又は、ワークステーション１１２からのユーザフィードバック及びワークステーション１１２とのユーザ対話を可能にするための任意の他の周辺若しくは制御装置を含む、インターフェース１２０によって、更に容易になる。インターフェース１２０は、フィードバック及びガイダンスを提供し、これは、オペレータに表示され、したがってシステムのディスプレイ１１８上で可視であるか、オーディオフィードバックが採用される場合は可聴であるか、触覚フィードバックが採用される場合は振動などである。

システム１００は、超音波プローブ１０２の空間追跡（例えば、ＥＭ追跡デバイス１４０及びＥＭプローブ追跡１１５を使用するＥＭ追跡）に基づく、超音波融合画像システムを提供する。例えば光形状感知などの他の追跡技術も採用可能であることを理解されたい。位置合わせユニット１３４、例えば多重診断法位置合わせモジュールは、メモリに記憶された先行静止画像１２２との、又は先行静止画像への、異なる診断法のための位置合わせを提供する。先行静止画像１２２は、例えば、ＣＴ、磁気共鳴、Ｘ線、ＵＳなどの任意の撮像モダリティ１０８によって捕捉される。撮像モダリティ１０８は手順中に提示されるか、又は、静止画像１２２は前の手順若しくは捕捉した画像から供給される。位置合わせユニット１３４は、メモリからの先行静止画像１２２を、メモリ１２４に記憶されている獲得された空間追跡ベースライン３ＤＵＳボリュームと位置合わせする。

ライブプローブ追跡１１５からの情報、及び、ライブ撮像モダリティ１１０からの超音波画像１１１の既知の視野を採用して、新しい画像３ＤＵＳ １２６が獲得、記憶、及び／又は位置合わせに使用される前に、メモリ１２４に記憶されたベースライン３ＤＵＳとの現行ビューのオーバーラップ及びポーズ類似性（例えば、成功パラメータをもたらす相対的回転など）を連続して計算及び表示する。

成功パラメータは、ライブ画像から抽出される画像類似性（例えば、画像のコントラスト、輝度、情報コンテンツ、又は他の特徴）の測定も行う。画像ベースの（ライブ画像からの）成功パラメータは、２Ｄ又は予備画像（１１１）（例えば、ライブ及び／又はベースライン画像）の獲得及び処理を必要とするが、他の成功パラメータは、ポーズ追跡情報（及び超音波視野の知識、但し画像は不要である）のみを必要とすることに留意されたい。

ＵＳについて説明したが、診断法の画像化１１０には他の撮像モダリティが採用可能である。画像の位置合わせは、オーバーラップが小さく、画像間の相対的回転が大きいほど、成功する確率が低くなることに留意されたい。動き補償ユニット１２８は、新しい画像３ＤＵＳ １２６とベースライン３ＤＵＳ画像１２４との間の動きを反映し、ＥＭ追跡器１４０のＥＭ座標系を静止画像１２２と位置合わせするため、及び、静止画像１２２に位置合わせされたベースライン画像１２４についての位置合わせを位置合わせユニット１３４から提供するために採用される位置合わせユニット１３６に、動き補償情報を提供する。

動き補償位置合わせユニット１２８は、ベースライン画像１２４と追跡現行画像１２６との間での画像の差を計算する。この情報は、新しい画像を獲得する前に現行ポーズについて成功パラメータを計算するために、ポーズ分析器ユニット１３２によって採用される。位置合わせユニット及びモジュールは個別に記述されているが、様々な座標系の位置合わせ、変換の計算、及び他の位置合わせ機能は、単一又は複数の位置合わせユニット、エンジン、又はプログラムによって実行できることを理解されたい。

代替の実施形態において、システム１００は、ポーズガイダンスユニット１３８を使用して最適なビューを獲得するためのガイダンスを計算し、それを提供する。最適なビューの計算は、腫瘍などの画像化のために所望の対象エリアのオペレータ入力を使用して、動き補償のために十分な成功パラメータを維持しながら、腫瘍を画像化するビューを発見する。

システム１００は、Ｐｈｉｌｉｐｓ（登録商標）のＰｅｒｃｕＮａｖ（登録商標）製品などの追跡ベース超音波融合画像化システム上で動作可能であるが、本原理は他のデバイスにも適用可能であり、他の撮像モダリティを含むこともできる。特に有用な実施形態において、本原理は、３ＤＵＳベースライン画像１２４を獲得するシステム上で動作可能であり、３ＤＵＳベースライン画像１２４は、位置合わせユニット１３４によって、ライブ超音波画像１２６と融合されることになる先行静止画像（例えば、ＣＴ）１２２に位置合わせされる。１つの目標は、３ＤＵＳベースライン画像１２４が捕捉された時点以降に発生した可能性のある臓器の動きを補償するための、効率的なワークフロー及び方法を提供することである。融合画像化中、超音波システムは通例「ライブ２Ｄ」モードであり、超音波スキャナからのライブ２Ｄ画像１１１は、先行静止画像（ＣＴ）１２２と（現行位置合わせユニット１３４、１３６を介して）融合される。

オペレータは、腫瘍などの特定対象エリアの融合画像化に関心があり、腫瘍を可視化する異なるやり方を探索するために超音波プローブ１０２を移動させる。腫瘍の異なるビューが可能であるが、動き補償のためにベースライン３ＤＵＳ １２４との十分なオーバーラップ及びポーズ類似性（成功パラメータ）を有するものはその一部に過ぎない。

システム１００は成功パラメータの計算及び表示を続行し、オペレータが十分な成功パラメータを用いて腫瘍のビューを識別できるようにする。オペレータは、任意選択で、続いて患者から息止めを得、腫瘍のライブ２Ｄ／３ＤＵＳ画像１１１を獲得し、この画像は、獲得されると現行ビューメモリ１２６に記憶される。動き補償ユニット１２８は、（メモリ１２６に記憶される）新しい３ＤＵＳ画像の獲得によってトリガされる。

システム１００は、ライブ３ＤＵＳ画像１２６をベースライン３ＤＵＳ １２４と位置合わせすること、及び、表示される融合画像を更新するために位置合わせユニット１３４からの位置合わせ結果を使用することによって、動き補償を実施する。更新された融合画像は、次に、腫瘍を可視化するため、又は（針の挿入などの）介入を実施するために、オペレータによる使用が可能である。

図２を参照すると、追跡ベースの超音波融合画像化のための方法が例示的に示されている。ブロック２０２において、融合画像化システムが初期化される。ベースライン画像が獲得され、そのポーズが記憶される。獲得された画像は先行画像（例えば、同じボリュームの静止画像）と位置合わせされる。特に、３ＤＵＳベースライン画像の獲得が取得され、次にこの画像は、ライブ超音波と融合されることになる先行静止画像（例えば、ＣＴ）に位置合わせされる。ブロック２０４において、対象エリアのライブ画像が取得される。ライブ画像は、例えば２Ｄ又は３ＤＵＳ画像である。超音波システムは、通常、「ライブ２Ｄ」モードであり、超音波スキャナからのライブ２Ｄ画像は、（現行位置合わせを介して）先行静止画像（ＣＴ）と融合される。

ブロック２０６において、成功パラメータを計算及び表示するために、ライブ追跡情報（例えば、ＥＭポーズ及び／又は画像特徴）並びにベースラインポーズ及び／又は画像が採用される。任意選択で、ブロック２０４からのライブ２Ｄ画像も成功パラメータの計算に使用される。例えば画像の輝度、コントラストなどのライブ２Ｄ画像の特徴を採用して、正常な動き補償のための良好な画像化条件を検出する。１つの目的は、３ＤＵＳベースライン画像時点以降に発生した可能性のある臓器の動きを補償するための、効率的なワークフロー及び方法を提供することである。システムは、継続して成功パラメータを計算及び表示し、オペレータが十分な成功パラメータを用いて腫瘍のビューを識別できるようにする。

ブロック２０８において、成功パラメータの品質の決定が実行される。成功パラメータが十分である場合、経路はブロック２１０へと進む。十分でない場合、経路はブロック２０４に戻る。オペレータは通常、腫瘍などの特定対象エリアの融合画像化に関心があるため、腫瘍を可視化する異なるやり方を探索するために超音波プローブを移動させる。腫瘍の異なるビューが可能であるが、動き補償のためにベースライン３ＤＵＳとの十分なオーバーラップ及びポーズ類似性（成功パラメータ）を有するものはその一部に過ぎない。

ブロック２１０において、任意選択の息止めを患者に要求することができる。ブロック２１２において、新しい画像（例えば、３ＤＵＳ）の獲得がトリガされる。これは、成功パラメータが適切である場合に生じる。ブロック２１４において、新しく獲得された画像（例えば、３ＤＵＳ）がベースライン画像上に位置合わせされる。オペレータは、続いて患者からの息止めを取得し、現行ビュー内に腫瘍のライブ３ＤＵＳを獲得し、獲得した３ＤＵＳを用いて動き補償をトリガする。

ブロック２１６において、ブロック２１４で得た位置合わせ結果を採用して、先行ＵＳ画像（ベースライン又は以前に獲得されたＵＳ画像）との位置合わせを更新する。システムは、ライブ３ＤＵＳをベースライン３ＤＵＳと位置合わせし、位置合わせ結果を使用して融合画像を更新することによって、動き補償を実施する。ブロック２１８において、融合の品質が決定される。品質が良好であれば経路は終了し、次にオペレータは、更新された融合画像を使用して、腫瘍を可視化するか、又は（針の挿入などの）介入を実施することができる。良好でない場合、経路はブロック２０４に戻り、融合画像の更新を再試行する。

図３を参照すると、図は、図１のポーズ分析器ユニット１３２における成功パラメータの計算を説明するための超音波画像のオーバーラップを示す。画像オーバーラップ及び相対的ポーズは、成功パラメータとして計算することができる（図３では簡略化するために２Ｄで示されている）。超音波プローブ３１２、３１４は各々、それぞれ異なるビュー３０２及び３０４を提供するために位置決めされる。ベースライン３ＤＵＳ（変換：Ｔ_{ＵＳ２ＥＭ＿ｂａｓｅ}（ベースライン画像に関するＵＳからＥＭへの位置合わせ））（ビュー３０２）及び現行３ＤＵＳビュー（変換：Ｔ_{ＵＳ２ＥＭ＿ｃｕｒｒｅｎｔ}（現行画像に関するＵＳからＥＭへの位置合わせ））（ビュー３０４）のポーズを使用して、２つのビュー３２０と３０４との間の相対的ポーズ変換Ｔ_{ｃｕｒｒｅｎｔ２ｂａｓｅ}（現行画像からベースライン画像への融合）＝ｉｎｖ（Ｔ_{ＵＳ２ＥＭ＿ｂａｓｅ}）・Ｔ_{ＵＳ２ＥＭ＿ｃｕｒｒｅｎｔ}が計算される。この例において、ビュー３０２はベースライン３ＤＵＳポーズを含み、ビュー３０４は現行３ＤＵＳポーズを含む。既知の超音波視野（ＦＯＶ）（セクタ画像３０６及び／又は３０８）を採用して、斜線付き画像エリア３１０のオーバーラップが計算される。画像角度差αは、相対的ポーズ変換Ｔ_{ｃｕｒｒｅｎｔ２ｂａｓｅ}から直接計算される。成功パラメータは、角度（α）及び斜線付きエリア３１０を含む。角度α＝０であり、斜線付きエリア３１０がビュー３０２、３０４と一致する場合、補償すべき動きはない。成功パラメータは、異なるビュー内で獲得された２ＤＵＳ画像から抽出された、例えば輝度、コントラスト、又は他の画像特徴などのパラメータも含むことができる。

引き続き図３を参照しながら、再度図１を参照すると、システム１００は、超音波ビューの成功パラメータを最適化するためのフィードバック及びガイダンスを提供する。このため、ポーズ分析器ユニット１３２はポーズガイダンスユニット１３８に接続され、パラメータを増加又は最適化するために必要な超音波プローブの動きを計算する。この情報は、オペレータへの命令（例えば、「左へ移動」、「時計回りに回転」）を示すためにディスプレイ１１８に渡される。ポーズガイダンスユニット１３８は、先行静止画像１２２（例えば、ＣＴ）及びそれから導出された情報（例えば、皮膚表面）を使用して、許容可能な超音波ポーズ（例えば、超音波プローブの皮膚への接触）を決定する。

別の実施形態において、システム１００は、ユーザによって提供される対象エリアを画像化する超音波ビューの成功パラメータを最適化するために、フィードバック及びガイダンスを提供する。このため、インターフェース１２０は、オペレータが３ＤＵＳベースライン１２４又は先行静止画像１２２内に対象エリアを入力できるようにする。情報はポーズガイダンスユニット１３８に渡され、成功パラメータを最大にしながら、その対象エリアを画像化するビューに向けてのガイダンスを計算する。

ポーズ最適化問題は、ポーズ分析器ユニット１３２が、プローブ位置及び回転を最適化すべき入力パラメータとして考慮すること（場合によっては、先行静止画像１２２から導出される、患者の皮膚上の位置に制約される）、及び、現行ポーズで獲得される３ＤＵＳに対して動き補償が成功する尤度に反比例する、最小化されることになるコスト関数、ｆを定義することによって、計算的には解決することができる。１つの好適なコスト関数は、
ｆ＿Ａ（ｐ_ｉ）＝１００／ＰｅｒｃｅｎｔＯｖｅｒｌａｐ（ｐ_ｉ）＋ｗ^＊（１−｜α（ｐ_ｉ）｜／９０） 式１
を含み、ここで、
ｐ_ｉは、プローブの現行ポーズを定義するプローブ変換及び回転パラメータのセット｛ｔｘ，ｔｙ，ｔｚ，ｒｘ，ｒｙ，ｒｚ｝であり、
ｆ＿Ａ（ｐ_ｉ）はポーズｐ_ｉに関連付けられた合計「コスト」であり、
ＰｅｒｃｅｎｔＯｖｅｒｌａｐ（ｐ_ｉ）は、ベースライン３ＤＵＳ及び現行３ＤＵＳによって画像化されるエリアの相対的オーバーラップであり（例えば、１００ｘ絶対オーバーラップを合計視野で割る）、
α（ｐ_ｉ）は、ベースライン３ＤＵＳと現行３ＤＵＳとの間の回転角度であり、
ｗは、オーバーラップ及び回転メトリックの相対的寄与を平衡させるための重み付け係数である。

ユーザ提供の対象エリアを使用する実施形態の場合、要件を反映するようにコスト関数を修正し、同時に対象エリアを画像化することができる。例えば、
ｆ＿Ｂ（ｐ_ｉ）＝ｆ＿Ａ（ｐ_ｉ）／Ｔ（ｐ_ｉ） 式２
であり、ここで、
Ｔ（ｐ_ｉ）は単位段階関数であって、対象エリアが完全に現行の視野内にある場合は１であり、それ以外の場合は非常に小さい（例えば、１ｅ−１０）ため、ｆ＿Ｂ（ｐ_ｉ）における「コスト」は極めて大きくなる。

コスト関数を使用して、ユーザはＵＳプローブを移動させ、対象エリアに接近すると、オペレータを動き補償に最適なポーズへと誘導するために、音声、視覚、触覚などのフィードバックがディスプレイ１１８上に又はインターフェース１２０から与えられる。コスト関数は、例えば、２Ｄ／予備及び／又はベースライン画像から、画像類似性を決定する際に、異なる画像視野並びに画像パラメータの間でのオーバーラップ及び／又は回転を評価するように構成される。ポーズガイダンスユニット１３８は、ユーザにガイダンスコマンドを提供するためにも、最適なポーズ及び画像類似性に関するコスト関数を採用する。

図４を参照すると、本原理に従った、動き補償を反映するように画像を融合するための方法が例示的に示されている。ブロック４０２において、ベースライン画像が捕捉される。ブロック４０４において、対象エリアのライブ画像が取得される。ライブ画像は２Ｄ画像であるか、又は予備画像を提供する。ブロック４０６において、追跡システムが自身の座標系をベースライン画像及びライブ画像と位置合わせさせるように、ベースライン画像を捕捉するためのポーズを取得するため、及びライブ画像の現行ビューのためのポーズを取得するために、撮像機器が追跡される。ブロック４０８において、追跡システムを使用して、ベースライン画像のためのポーズと現行ビューのためのポーズとの間の視野差を比較するために現行ビューのためのポーズを分析して、成功パラメータを生成する。加えて、ライブ画像及びベースライン画像からのパラメータ／画像特徴も計算及び比較される。ブロック４１０において、ベースライン画像と現行ビューとの間の動き補償のための最適画像獲得に関するフィードバックを提供するために、成功パラメータが伝達される。成功パラメータは、ベースライン画像と現行ビュー画像との間の視野オーバーラップ及びポーズ類似性を測る。成功パラメータは、オーバーラップ、ポーズ類似性、及び画像類似性を達成するための、異なるパラメータ、例えば、角度、位置、エリア、割合、画像のコントラスト、輝度、又は、他の量若しくは特徴を含む。

ブロック４１２において、成功パラメータが適切である場合、現行ビューのポーズでの新しい画像が獲得される。これは、２Ｄ画像又は予備画像とは対照的に、完璧な３Ｄ画像である。成功パラメータの適切さは、ユーザによって決定されるか、又は、自動的に若しくはデフォルトとして設定される。ユーザがベースライン画像視野を複製できるようにするために、ポーズがベースライン画像のポーズの視野に匹敵する視野を現行ポーズにもたらすかどうかが決定される。例えば、適切さを決定するために、閾値、即ち、ベースライン視野と現行視野との間に９０％のオーバーラップが設定される。他の基準も企図される。

ブロック４１４において、ベースライン画像及び現行ビュー画像が位置合わせされる。ブロック４１６において、静止画像（例えば、ＣＴ、ＭＲＩなど）が、ベースライン画像及び現行画像のうちの１つ又は複数と位置合わせされる。この位置合わせは、任意の時点で発生し、ベースライン画像が静止画像に位置合わせされることに関しては、好ましくは初期段階（例えば計画）中に発生する。

ブロック４１８において、ポーズガイダンスユニットを使用して現行ビュー画像のための満足なポーズを達成するための指示が、ユーザに提供される。ポーズガイダンスユニットは、異なる画像視野間のオーバーラップを評価するためのコスト関数を含み、これを計算する。コスト関数は、例えばライブ画像（例えば、予備２Ｄ画像）とベースライン画像との間の画像パラメータも考慮する。画像パラメータは、コントラスト、輝度、コンテンツ情報などを含む。

ブロック４２０において、現行ビュー画像のための満足なポーズを達成するために、フィードバックアクティビティを介してユーザ動作が誘導される。フィードバックアクティビティは、視覚信号（例えば、フラッシュ、画像）、テキストコマンド、音声信号（例えば、ビープ、音声コマンド）、触覚信号（例えば、振動強度、振動変化）などのうちの、少なくとも１つを含む。

添付の特許請求の範囲を解釈する際、
ａ）「含む」という単語は、所与の請求項に列挙された以外の他の要素又は行為の存在を除外するものではないこと、
ｂ）要素に先行する「ａ」又は「ａｎ」という単語は、複数のこうした要素の存在を除外するものではないこと、
ｃ）特許請求項内のいずれの参照符号も、それらの範囲を限定するものではないこと、
ｄ）いくつかの「手段」は、同じアイテム又はハードウェア又はソフトウェアが実施する構造又は機能によって表されること、及び、
ｅ）いかなる特定シーケンスの行為も、具体的に示されていない限り必要であるものと意図されていないこと、
を理解されたい。

医療手順における動き補償のためのシステム及び方法についての好ましい実施形態（例示的であり限定的ではないことが意図される）を説明してきたが、当業者であれば、上記の教示に鑑みて修正及び変形が可能であることに留意されたい。したがって、添付の特許請求の範囲によって要約された本明細書に開示された実施形態の範囲内にある開示された開示の特定実施形態において、変更が可能であることを理解されよう。このようにして、特許法によって要求される詳細及び特殊性を説明してきたが、添付の請求項では、特許証によって請求及び保護された特許請求の範囲が記載されている。

Claims (15)

1. 動き補償を反映するように画像を融合するためのシステムであって、前記システムは、
   ベースライン画像及び現行画像を取得するための撮像モダリティと、
   前記ベースライン画像及び前記現行画像を捕捉するために撮像機器を追跡するライブ追跡システムであって、前記ベースライン画像及び前記現行画像と位置合わせされた座標系を有する、ライブ追跡システムと、
   前記ライブ追跡システムを使用して、前記ベースライン画像のためのポーズと現行ビュー画像のためのポーズとの間の視野差に基づいて、前記ベースライン画像と前記現行ビュー画像との間での動き補償のための画像獲得において支援するフィードバックとしての成功パラメータを生成してユーザに伝達する、ポーズ分析器ユニットと、
   を備える、システム。
2. 前記ポーズ分析器ユニットは更に、前記ベースライン画像と前記現行ビュー画像との間のオーバーラップ及びポーズ類似性の尺度として前記成功パラメータを生成する、請求項１に記載のシステム。
3. 前記ポーズ分析器ユニットは更に、前記ベースライン画像と現行ポーズで撮影されたライブ画像との間の画像類似性の尺度として前記成功パラメータを生成する、請求項１に記載のシステム。
4. 前記ポーズ分析器ユニットは、ユーザが前記ベースライン画像の視野を複製できるようにするために、ポーズが前記ベースライン画像のポーズの視野と類似する視野を現行ポーズにもたらすかどうかを決定する、請求項１に記載のシステム。
5. 前記現行ビュー画像のための所望のポーズを達成するために、前記撮像機器を移動させるための指示を示す指示情報をユーザに提供するポーズガイダンスユニットを更に備える、請求項１に記載のシステム。
6. 前記ポーズガイダンスユニットが、異なる画像視野間のオーバーラップ及び／若しくは回転、並びに／又は前記ベースライン画像と前記現行ビュー画像との間の画像パラメータを評価するためのコスト関数を含む、請求項５に記載のシステム。
7. 前記現行ビュー画像のための所望のポーズを達成するために、フィードバックアクティビティを介してユーザ動作を誘導するインターフェースを更に備える、請求項１に記載のシステム。
8. 前記フィードバックアクティビティが、前記ユーザ動作を前記所望のポーズに誘導するための視覚信号、テキストコマンド、音声信号、及び触覚信号のうちの少なくとも１つを含む、請求項７に記載のシステム。
9. 動き補償を反映するように画像を融合するための方法であって、
   ベースライン画像を捕捉するステップと、
   対象エリアのライブ画像を取得するステップと、
   追跡システムが自身の座標系を前記ベースライン画像及び前記ライブ画像と位置合わせさせるように、前記ベースライン画像を捕捉するためのポーズを取得するため、及び前記ライブ画像の現行ビューのためのポーズを取得するために、撮像機器を追跡するステップと、
   前記追跡システムを使用して、前記ベースライン画像のための前記ポーズと前記現行ビューのための前記ポーズとの間の視野差を比較するために前記現行ビューのための前記ポーズを分析して、成功パラメータを生成するステップと、
   前記ベースライン画像と前記現行ビューとの間での動き補償のための画像獲得に関するフィードバックを提供するために、前記成功パラメータを伝達するステップと、
   前記成功パラメータが適切である場合、前記現行ビューの前記ポーズで新しい画像を獲得するステップと、
   を有する、方法。
10. 前記成功パラメータは、前記ベースライン画像と前記現行ビューとの間のオーバーラップ及びポーズ類似性を測る、請求項９に記載の方法。
11. 前記成功パラメータは、前記ベースライン画像と前記現行ビューの前記ポーズで撮影されたライブ画像との間の画像類似性を測る、請求項９に記載の方法。
12. ユーザが前記ベースライン画像の視野を複製できるようにするために、ポーズが前記ベースライン画像の前記ポーズの視野に匹敵する視野を現行ポーズにもたらすかどうかを決定するステップを更に有する、請求項９に記載の方法。
13. ポーズガイダンスユニットを使用して前記現行ビューのためのポーズを達成するための指示をユーザに提供するステップを更に有する、請求項９に記載の方法。
14. 前記ポーズガイダンスユニットが、異なる画像視野間のオーバーラップ、及び／又は前記ベースライン画像と前記ライブ画像との間の画像パラメータを評価するためのコスト関数を含む、請求項１３に記載の方法。
15. 前記現行ビューの画像のためのポーズを達成するために、フィードバックアクティビティを介してユーザ動作を誘導するステップを更に有し、前記フィードバックアクティビティが、視覚信号、テキストコマンド、音声信号、及び触覚信号のうちの少なくとも１つを含む、請求項９に記載の方法。

Images