JP6902547B2 - 融合画像ガイダンスシステムの注釈を使用した臨床ビューに対する自動化されたプローブステアリング - Google Patents

Description

本開示は、医用機器に関し、特に画像注釈を使用した臨床ビュー又は標準ビューの自動化されたステアリング及び維持のためのシステム及び方法に関する。

構造心臓疾患介入の間、経食道心エコー法（ＴＥＥ）イメージングに関して、関心のある解剖学的構造の特定の臨床ビューが、プロシージャ中に特定のタスクを実行するために必要とされる。このタスクは、ターゲット内におけるデバイスの位置決め及び配備、ターゲットの定量測定、又は特定の時点におけるターゲットの機能の評価を含むことができる。構造心臓疾患介入において必要とされるターゲットの多くの異なるＴＥＥビューがあり、かかるビュー時は、僧帽弁の「エンフェース（en face、正面）」ビュー、中部食道四腔ビュー、長軸ビュー、経胃ビュー、三葉の大動脈弁ビュー、ｘ平面ビュー、その他を含むが、これらに限定されるものではない。

これらのビューは、心臓専門医及び心エコー技師が患者内において特定のタスクを実行するのを大いに助けることができるが、彼らは、多くの場合、ビューを見つけ維持するために、心エコー技師による患者内のＴＥＥプローブヘッドの連続する手動操作及び調整を実現し要求することに挑んでいる。特定のタスクのための特有のビューを決定する際、介入医師は、多くの場合、どのビューが必要であるかのフィードバックを心エコー技師に提供するので、介入医師と心エコー技師との間には通常多くの議論がある。これは、臨床ワークフローを減速させ、それをより扱いにくくすることがある。

本原理によれば、第１のイメージングモダリティ又は第２のイメージングモダリティの画像の注釈を生成するように構成される注釈装置が提供される。位置合わせモジュールは、注釈と共に第１及び第２のイメージングモダリティの画像を融合するように構成される。ロボットガイダンス制御システムは、第１及び第２のイメージングモダリティの融合画像に、割り当てられたビュー位置を位置付け及び維持するように、注釈及びロボットの測定された位置に従って、ロボットをガイドするように構成される。

別のイメージングシステムは、Ｘ線システムを有する第１のイメージングモダリティと、経食道心エコー（ＴＥＥ）プローブを有する超音波システムを具備する第２のイメージングモダリティと、を有する。注釈装置は、第１のイメージングモダリティ又は第２のイメージングモダリティの少なくとも一方の画像内に注釈を生成するように構成される。位置合わせモジュールは、注釈を含めて第１及び第２のイメージングモダリティの画像を融合するように構成される。ロボットガイダンス制御システムは、割り当てられたビューが維持されることを可能にするようにプローブを位置付け及び維持するために、注釈及びロボットの測定された位置に従ってロボットをガイドするように構成される。少なくとも１つの表示装置は、融合画像が割り当てられたビューを維持するように、第１及び第２のイメージングモダリティの融合画像を表示するスクリーンを有する。

イメージングパースペクティブを維持する方法は、第１のイメージングモダリティ又は第２のイメージングモダリティの少なくとも一方の画像の注釈を生成するステップと、注釈を含めて第１及び第２のイメージングモダリティの画像を融合するステップと、第１及び第２のイメージングモダリティの融合画像に、割り当てられたビュー位置を位置付け及び維持するように、注釈及びロボットの測定された位置に従って、ロボットをガイドするステップと、を有する。

本開示のこれら及び他の目的、特徴及び利点は、その例示の実施形態の以下の詳細な説明から明らかになる、例示の実施形態は、添付の図面に関連して理解されることができる。

一実施形態により、注釈付けされたマーキングを用いて、複数のイメージングモダリティにおいて画像ビューを方向付け又は維持するシステムを示すブロック／フロー図。 僧帽弁、大動脈弁及び左心耳心門を示す画像であって、１つの例示の実施形態によりＴＥＥビューについて自動的に生成された注釈を有する画像を示す図。 別の例示の実施形態による、心房中隔欠損の楕円形の注釈を有する注釈付けされた別の画像を示す図。 別の例示の実施形態による、心房中隔欠損上のポイントマーカ注釈を有する注釈付された別の画像を示す図。 一実施形態による、ロボット制御されるＴＥＥポジショニングシステムを示すブロック／フロー図。 例示の実施形態による、イメージングパースペクティブを維持する方法を示すフロー図。

本開示は、添付の図面を参照して好適な実施形態の説明を以下に詳細に示す。

本原理によれば、画像内の解剖学的構造上に配置されるデジタル注釈又はマーカからの幾何学的フィードバックを使用して、経食道心エコー（ＴＥＥ）ビュー又は他のプロシージャにおけるビューを決定するための一層自動化されたアプローチを与えるシステム及び方法が提供され、画像は、ＴＥＥプローブロボットポジショニングシステムにフィードバックを与え、かかるフィードバックは、プロシージャの最中、心エコー技師及び介入医師のためのワークフローを簡略化すことを支援する。

構造心臓疾患介入において、ＴＥＥは、介入中の特定のタスクの実行を容易にするために、解剖学的構造のビューイング平面を見つけるためにしばしば使用される（超音波を使用した）イメージングモダリティである。心エコー技師が、正しいビューイング平面を見つけることは困難であり、なぜなら、ＴＥＥプローブ位置及び向きの相当な手動操作及び調整（又は補正）が必要である。本原理は、心エコー技師（又は介入心臓専門医）が特定のターゲットの特有のビュー又は予め規定されたビュー（例えば、僧帽弁の「エンフェース（正面）」ビュー、中部食道４腔ビュー、長軸ビュー、経胃的ビュー、３葉の大動脈弁ビュー、その他）を選択することを可能にする自動化された方法を提供する。これらの方法は、イメージングシステム（例えば、融合Ｘ線／ＴＥＥイメージングシステム）を使用して、関心のある選択されたビューと、ターゲットに配置される注釈（又はマーカ）からのフィードバックとの両方に基づいて、ＴＥＥプローブヘッド位置及び向きのロボット操作を組み合わせる。

これらの注釈は、Ｘ線及びＴＥＥモダリティにおいてターゲットに配置され、又は生成されることができる。ターゲットの注釈の幾何学的記述子（例えば、幾何学的座標、距離、向き角度、その他）が、ロボット制御システムへのフィードバックとして使用されることができ、所望のビューが達成されることができるようにＴＥＥプローブヘッドを方向付ける及び位置付けることができる。

融合Ｘ線／ＴＥＥ画像ガイダンスシステムを使用することにより、Ｘ線画像及びＴＥＥ画像（超音波画像）を、互いに幾何学的に一致するように位置合わせすることが実行可能である。このようなシステム（例えばPhilipsのEchoNavigator）を使用して、ＴＥＥ画像又はＸ線画像内のターゲット上の注釈としてデジタルポイントマーカ、曲線及び楕円を配置する又は生成することが可能である。これらの注釈は、ターゲットに関する幾何学的情報をもつことができる。融合Ｘ線／ＴＥＥ画像ガイダンスシステムを用いて注釈が関心のあるターゲットに手動で配置され又は自動的に生成され、所望のビューが、心エコー技師及び／又は介入医師によってこのようなシステムにおいて選択されたのち、注釈からの幾何学的情報が、ＴＥＥプローブロボットポジショニングシステムに対する連続するフィードバックとして生成され供給されることができる。ＴＥＥプローブロボットポジショニングシステムは、特定の当該タスクのための所望のＴＥＥビューを得るようにプローブ位置及び向きを自動的に調整する。本原理は、融合Ｘ線／ＴＥＥシステムにおいて画像内の臨床ターゲットに配置された注釈から幾何学的データを生成する。これらは、所望のＴＥＥビューが選択されたのち、ＴＥＥプローブ位置を自動的に調整するための連続するフィードバックとして使用されることができる。

本発明は、医用機器に関して記述されているが、本発明の教示は、より広く、任意のイメージング機器及びイメージングモダリティにも適用できる。ある実施形態において、本原理は、複雑な生物学的システム又は機械的システムを追跡する又は解析する際に用いられる。特に、本原理は、生物学的システムの内部追跡プロシージャ及び身体（例えば肺、消化管、排出器官、血管、など）のすべての領域のプロシージャに適用できる。図に示される素子は、ハードウェア及びソフトウェアのさまざまな組み合わせにおいて実現されることができ、単一の素子又は複数の素子において組み合わせられることができる機能を提供することができる。

図に示されるさまざまな構成要素の機能は、専用のハードウェア及び該当するソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用を通じて提供されることができる。プロセッサによって提供されるとき、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は、幾つかは共有されることができる複数の個別のプロセッサによって、提供されることができる。更に、「プロセッサ」又は「コントローラ」という語の明示的な使用は、ソフトウェアを実行することができるハードウェアのみをさすと解釈されるべきでなく、以下に限定されないが、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するためのリードオンリメモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、不揮発性ストレージ、その他を暗示的に含むことができる。

更に、ここに本発明の原理、見地及び実施形態並びにその特定の例を列挙するすべての記述は、その構造及び機能の等価物を含むことが意図される。更に、このような等価物は、現在知られている等価物及び将来開発される等価物（すなわち、構造に関わらず、同じ機能を実施する任意の開発された構成要素）の両方を含むことが意図される。こうして、例えば、本願に示されるブロック図が、本発明の原理を具体化する例示のシステムコンポーネント及び／又は回路の概念ビューを表すことが当業者によって理解される。同様に、あらゆるフローチャート、フロー図、その他は、コンピュータ可読媒体に実質的に表現されることができる多様なプロセスを示し、従って、かかるプロセスは、コンピュータ又はプロセッサが明示的に示されているかどうかに関係なく、そのようなコンピュータ又はプロセッサによって実行できる。

更に、本発明の実施形態は、コンピュータ又は任意の命令実行システムによって又はそれに関連して使用するためのプログラムコードを提供するコンピュータ使用可能な又はコンピュータ可読の記憶媒体からアクセス可能なコンピュータプログラム製品の形をとりうる。この記述の適用上、コンピュータ使用可能な又はコンピュータ可読の記憶媒体は、命令実行システム、機器又は装置によって又はそれに関連して使用されるプログラムを、有し、記憶し、伝送し、伝播し、又は運搬することができる任意の装置でありうる。媒体は、電子、磁気、光学、電磁、赤外線又は半導体のシステム（又は装置又は機器）であり、又は伝播媒体でありうる。コンピュータ可読媒体の例は、半導体又は固体メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、剛性磁気ディスク及び光学ディスクを含む。光学ディスクの今日の例は、コンパクトディスク−リードオンリメモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）、ブルーレイ、及びＤＶＤを含む。

明細書における本原理の「一実施形態」又は「或る実施形態」及びその変形の言及は、実施形態に関連して記述される特定の特徴、構造、特性、その他が、本原理の少なくとも１つの実施形態に含まれることを意味する。こうして、明細書を通じてさまざまな箇所に記載される「一実施形態において」又は「或る実施形態において」という表現及び任意の他の変形例は、必ずしもすべてが同じ実施形態をさしているわけではない。

「／」、「及び／又は」、及び「の少なくとも１つ」の表現の使用は、例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも一方」の場合、１番目に列挙された選択肢（Ａ）のみの選択、又は２番目に列挙された選択肢（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を含むことが意図されることが理解される。他の例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」の場合、このような表現は、１番目に列挙された選択肢（Ａ）のみの選択、又は２番目に列挙された選択肢（Ｂ）のみの選択、又は３番目に列挙された選択肢（Ｃ）のみの選択、又は１番目及び２番目に列挙された選択肢（Ａ及びＢ）のみの選択、又は１番目及び３番目に列挙された選択肢（Ａ及びＣ）のみの選択、又は２番目及び３番目に列挙された選択肢（Ｂ及びＣ）のみの選択、又は３つのすべての選択肢（Ａ及びＢ及びＣ）の選択を含むことが意図される。これは、当分野及び関連分野の当業者によって容易にわかるように、列挙される多くのアイテムについても拡張されることができる。

更に、層、領域又は材料のような或る構成要素が、別の構成要素の上に又は上方にあると言及される場合、或る構成要素は、他の構成要素の上に直接あり、又は介在する構成要素が存在してもよい。対照的に、或る構成要素が、「直接上に」又は「直接上方に」にあると言及される場合、介在する構成要素は存在しない。更に、或る構成要素が他の構成要素に「接続される」又は「結合される」と言及される場合、それは、他の構成要素に直接接続される又は結合されることができ、又は介在する構成要素が存在してもよい。対照的に、或る構成要素が他の構成要素に「直接接続される」又は「直接結合される」と言及される場合、介在する構成要素は存在しない。

同様の数字は同じ又は同様の構成要素を表す図面を参照し、最初に図１を参照して、注釈付けされたマーキングを用いて複数のイメージングモダリティにおいて画像ビューを方向付け又は維持するシステム１００が、一実施形態に従って例示的に示される。システム１００は、プロシージャが監督され及び／又は管理されるワークステーション又はコンソール１１２を有することができる。ワークステーション１１２は、好適には、１又は複数のプロセッサ１１４、並びにプログラム及びアプリケーションを記憶するためのメモリ１１６を有する。メモリ１１６は、複数のイメージングシステム及び／又は装置の座標系をアラインするように構成される位置合わせモジュール１１５を記憶することができる。医療デバイス又は機器１０２は、カテーテル、ガイドワイヤ、プローブ、内視鏡、電極、フィルタデバイス、バルーンデバイス又は他の医用コンポーネント、などを有することができる。医療デバイス１０２は、自然開口部を通じて、又は、内腔（例えば食道又は嗜好）に入るように被検体に外科的に設けられるポートを通じて、被検体に挿入される。

医療デバイス１０２は、ロボット１４４を使用してガイドされ及び制御されることができる。ロボット１４４は、ロボットガイダンス／制御装置１５６によって制御される。ガイダンス／制御装置１５６は、ロボット１４４をガイドするために注釈装置１５４によってシステム１００においてセットアップされるマーキング又は他の基準を使用する。注釈装置１５４は、複数の異なるビューを得ることを支援するために、ユーザ入力される又は画像処理を使用して自動的に生成される、マーキング又は注釈を有する。ビューは、予め決められた／予め規定された複数ビューの組でありえ、そえゆえ、マーキングが一旦配置されると、ビューは、繰り返し得られることができ、セッション又はプロシージャの間ずっと維持されることができる。

一実施形態において、注釈装置１５４は、ユーザからの又はシステム１００の別の部分からのフィードバックを入力し、術前画像内に又は第１のイメージングシステム１３６（例えばＸ線）からのリアルタイム画像内にマーキングを配置するように構成される。第１のイメージングシステム１３６からの画像は、位置合わせモジュール１１５を使用して、第２のイメージングシステム１３８（例えばＴＥＥ画像）からの画像と（又はその逆に）位置合わせされ、又は融合される。任意の適切な位置合わせ方法が用いられることができる。

ワークステーション１１２は、被検体（患者）又はボリューム１３４の内部画像をビューするための１又は複数のディスプレイ１１８を有し、注釈付けされたマーキングをもつ融合画像又は互いにオーバレイされた画像として画像１５２をレンダリングすることができる。ディスプレイ１１８は更に、ユーザが、他のユーザと、又はワークステーション１１２及びそのコンポーネント及び機能と、又はシステム１００内の任意の他の素子とインタラクトすることを可能にすることができる。これは、インタフェース１３０によって更に容易にされ、インタフェース１３０は、キーボード、マウス、ジョイスティック、触覚装置、スピーカ、マイクロフォン、又はワークステーション１１２からのユーザフィードバック及びワークステーション１１２とのインタラクションを可能にするための任意の他の周辺装置又は制御装置を含むことができる。インタフェース１３０は更に、ロボットのポジショニング及びイメージングのためのガイドポストとして機能するように、注釈又はマーキングを１又は複数のユーザが入力することを可能にするために用いられることができる。

１つの特に有用な実施形態において、システム１００は、プロシージャのための経食道心エコー法（ＴＥＥ）イメージングを実施するように構成される。この実施形態において、イメージングシステム１３６は、Ｘ線システムを有し、イメージングシステム１３８は、ＴＥＥイメージングシステムを有する。ＴＥＥプロシージャでは、心エコー技師及び介入医師が存在しうる。所望の臨床ＴＥＥビューは、心エコー技師及び介入医師によって合意される。ビューは、標準のビュー又は一般に使用されるビュー（例えば、僧帽弁又は大動脈弁の「エンフェース（正面）」ビュー、中部食道四腔ビュー、長軸ビュー、経胃ビュー、三葉大動脈弁ビュー、その他）でありうる。選択されたビューは、心エコー技師によりＴＥＥイメージング１３８を使用してロボット１４４（例えば、ロボットＴＥＥプローブポジショニングシステム）において選択され、又は介入医師により融合Ｘ線／ＴＥＥ画像（位置合わせされたＴＥＥイメージング１３８及びＸ線イメージング１３６）において選択されることができる。一実施形態において、システム１００は、融合Ｘ線／ＴＥＥ画像ガイダンスシステムと呼ばれることができる。関心のある解剖学的構造及びビューに適した注釈は、注釈装置１５４によって、融合Ｘ線／ＴＥＥ画像１５２上に自動的に生成され、ディスプレイ１１８上で介入医師及び心エコー技師に対し表示される。

１つの例において、カーブした注釈が、僧帽弁の交連部の形状を示すように（自動的に又は手動で）描かれることができる。この注釈によって生成される３Ｄ幾何学情報は、イメージング１３８のためにＴＥＥプローブ１０２を方向付け及び位置付けるために、ロボット１４４に送信されることができ、僧帽弁のはっきりした「エンフェース（正面）」ビューが、３Ｄ ＴＥＥ画像１５２に表示されることができる。これらの画像１５２は、僧帽弁クリッピングプロシージャのクリップを配備する前に、僧帽弁交連部の間に僧帽弁クリップを最適にアラインし位置付けるために使用されることができる。

別の例として、楕円形又はカーブした注釈が、左心耳心門に、自動的に又は手動で配置されることができる。この注釈からの幾何学的情報は、ロボット１４４に対しフィードバックとして送られることができ、ロボット１４４は、ＴＥＥプローブ１０２を自動的に位置付けることができ、最適ＴＥＥビューは、閉鎖デバイスをガイドし及び配備する、又は左心耳をプラグインするのを助けるために生成されることができる。

ビューが標準的でなく、又は一般的に使用されない場合、注釈を手動で配置し、又は特定の関心構造上に自動的に注釈を生成するための選択肢が、所望のビューを入力するのを支援するために提供される。ターゲットの注釈の幾何学的な記述子（例えば、幾何学的な座標、距離、向き角度、その他）は、ロボットガイダンス／制御システム１５６へのフィードバックとして使用されることができるとともに、ＴＥＥプローブヘッド（１０２）を方向付け、位置付けることができ、それにより、所望のビューが達成されることができる。注釈に関連付けられる必要な幾何学的データ（例えば、３Ｄ座標位置、距離、垂直ベクトル、角度及び曲率、重心、領域、長軸及び短軸、偏心、その他）が、注釈とプローブ／機器１０２との間の相対位置及び相対向きを三角測量するために、ロボット１４４（例えば、ロボットＴＥＥプローブポジショニングシステム）に対し連続するフィードバックとして送られる。この情報は、所望のＴＥＥビューを提供し維持するために、連続的なフィードバックループにおいて適切にプローブ１０２（例えばＴＥＥプローブ）を位置付け、配備することができる。

別の実施形態において、プローブ１０２を位置付け直すことは、ロボット１４４によって自動的に実施されない。その代わりに、ガイダンス制御１５６が、（最適な視覚化を得るために）ユーザインタフェース１３０（例えばジョイスティック）を通じてロボット１４４の必要な自由度においてオペレータがロボットを作動させることを可能にするために、キュー（例えば、例えばディスプレイ１１８上の視覚的インジケータ、インタフェース１３０を通じたオーディオ、インタフェースを通じた触覚フィードバックなどの、知覚的なフィードバック）を提供することができる。このような一実施形態において、オペレータは、「ループ内に」いることができ、ガイダンス／制御装置１５６の制御ソフトウェアは、ガイドポストを又は基準として注釈を使用して、それらの動作をガイドする。例えば、プローブが、所望の位置（注釈）に近付いている又は離れていくことを、サウンド（又は視覚信号）が示すことができる。

別の実施形態において、警報システム１６０が、注釈装置１５４に接続されることができる。警報システム１６０は、現在ビューの、意図されるビュー（例えば標準ビュー）からの偏差をモニタする。警報システム１６０は、偏差の量及び／又は向きを示すために、メッセージを生成することができ又は注釈のカラーコーディングを提供することができる。１つの例において、現在ＴＥＥビューが、所望の選ばれたビューから（向き、位置、角度、その他に関して）どれだけ逸れているかを表示するために、カラーコード化されたシステムが、融合Ｘ線／ＴＥＥ画像（又は、まさにＴＥＥ画像）に生成されることができる。これは、ＴＥＥプローブ位置が手動で又は自動的に調整されるかどうかを支援することができる。警報システム１６０は更に、所与のビューが可能でない場合にオペレータに知らせるための安全フィーチャとして用いられることができる。

図２−図４を参照して及び最初に図２を参照して、僧帽弁２０２、大動脈弁２０４及び左心耳心門２０６の３ＤズームＴＥＥビューから自動的に生成される注釈が、１つの例示の実施形態に従って示されている。注釈は、画像内の判別された特徴に基づいて測定を行うように構成される注釈装置１５４又は他のソフトウェアによって生成される。注釈は、楕円、ポイント（点）、線、関心のあるポイントの間の線などを含むことができる。これらの注釈は、ユーザによる以前の選択に基づいて生成され、領域内の個々の異なる既知の特徴を強調表示することができる。図３において、別の、注釈付けされた画像は、心房中隔欠損の楕円形の注釈２０８を有する。図４には、心房中隔欠損上にポイントマーカ注釈２１０が示されている。

図２において、僧帽弁２０２、大動脈弁２０４及び左心耳心門２０６の自動的に生成された注釈の例が、融合Ｘ線／ＴＥＥ画像を使用して示されている。システム１００は、すべての３つの構造を有する３Ｄズーム及びフルボリュームＴＥＥビューについてこれらの注釈を一度に生成することが可能である。現在の融合Ｘ線／ＴＥＥイメージングシステムを用いる場合、これらの注釈の幾何学的詳細のレベルは、３Ｄ位置座標に現在制限されているが、本原理によれば、付加の幾何学的データが、これらの注釈について用いられるとともに、プローブを所望のビューへ移動させるためにロボットＴＥＥポジショニングシステムへのフィードバックとして生成され使用されることができる。図３及び図４は、ポイントマーカ２１０及び楕円２０８のような、あまり詳細でない注釈を示しており、かかる注釈から、詳細な幾何学的情報が、あまり一般的ではない又は非標準の臨床ＴＥＥビューに、ＴＥＥプローブヘッドをステアリングするために生成されることができる。この例は、以前に埋め込まれた人工大動脈弁周辺において、エンフェース又は長軸の向きにおいて詳細に弁周囲逆流を示すカラードップラーＴＥＥビューへステアリングすることができる。

一実施形態において、関心のある解剖学的構造が移動し変化するにつれて、注釈（２０４−２１０）の形状及び輪郭は、融合Ｘ線／ＴＥＥ画像において自動的に及び動的に変更されることができる。従って、ロボット１４４（ロボットＴＥＥプローブポジショニングシステム）に供給される対応する幾何学的フィードバックもまた更新されることができる。例えば、食道が屈曲すると、注釈（２０４−２１０）の形状もそれに従う。ロボット１４４は、これらの移動を調整するように更新されることができる。

別の実施形態において、介入ツールは、注釈装置１５４によって自動的に注釈付けされることができる。例えば、介入カテーテルは、Ｘ線画像において検出され、注釈付けされることができ、その情報は、カテーテルを表示するあまり一般的でない又は非標準の臨床ＴＥＥビューへＴＥＥプローブヘッド１０２を自動的にステアリングするために使用されることができる。この装置ビューは、標準の臨床ビューと共に保存されることができる。介入装置が第１のイメージングモダリティにおいて可視であって第２のイメージングモダリティにおいて可視でない場合、これは特に有用である。この場合、注釈は、幾何学的表現を使用して第２のイメージングモダリティにおいて装置の仮想表現を表すことによって、装置ステアリングを改善することができる。

別の実施形態において、あまり詳細でない幾何学的データから、より詳細な幾何学的データを自動的に生成する処理が提供されることができる。例えば、注釈を配置した後に、楕円形の注釈（例えば楕円２０８）上にいくつかのポイントが生成され、知られる場合、楕円２０８について、主軸及び短軸、面積、偏心及び占有される面が更に計算されることができる。この面から、楕円２０８に対する法線及びその中心の位置が決定されることができる。この情報は、所望のビューのターゲットを視覚化するためにプローブ１０２（図１）がどのように移動されるべきであるかをロボット１４４（図１）が計算するために重要でありうる。

これの別の例は、３Ｄ曲線注釈（例えば、曲線２０６）の重心及び法線を計算することを含み、かかる計算は、ＴＥＥプローブ１０２に対するその位置及び向きに関する情報を提供する。最初に、プローブヘッドのトランスデューサの中心位置が、特定のビューの関心のある注釈のジオメトリと比較されるが、これは、自動プローブポジショニングを一層支援するためにプローブヘッドトランスデューサについて付加の詳細（例えばその領域、寸法及び法線）を含むように拡張されることができる。

図５を参照して、ロボット制御されるＴＥＥポジショニングシステム３００（例えば、ロボット１４４、図１）が例示的に示される。システム３００は、既存のＴＥＥプローブ３０２を用いて改良されることができ、プローブ３０２の遠位先端部の位置及び向きを遠隔制御するために用いられることができる。システム３００は、例えば、ロボットガイダンス／制御１５６のような制御ソフトウェアへ位置フィードバックを提供するために、一体型の１又は複数のモータ３０４及び符号器３０６を有することができる。

ロボットガイダンス／制御１５６は、連続的にモータ３０４及び／又は符号器３０６の電流をモニタして、システム３００が生体内の場合に過度の力（又は過度の伸張）を適用しないことを保証する。

一実施形態において、システム３００は、画像ビューの注釈から幾何学的データを受け入れ、注釈をそれ自身の位置及び向きデータと組み合わせて、例えば所望のビューが得られるまでプローブ３０２をどのように作動させるかの命令を計算することができる。患者又はプローブが手動で動かされる場合にビューが維持されることができるように、幾何学的データが、連続するフィードバックループにおいて、ワークステーション１１２（図１）からシステム３００に送信されることができる。言い換えると、システム３００は、いかなる移動にもかかわらずビューを連続的に保持する。一実施形態において、システム３００は、ユーザ（例えば心エコー技師）がシステム３００上ですぐに所望のＴＥＥビューを選択することができるようにディスプレイ３１０を有することができる。

一実施形態において、注釈装置１５４（図１）は、ＴＥＥイメージングシステム１３８に含められることができる。このようにして、ロボットＴＥＥプローブポジショニングシステム３００の制御システムのための位置及び向きデータの生成を伴う注釈生成の能力が、ＴＥＥイメージングシステム１３８（図１）上にある。これは、融合Ｘ線／ＴＥＥイメージングが用いられない状況で有用でありうる。更に、注釈能力は、このモダリティによって一般に取得される特定のビューの場合と同様に、経胸腔的心エコー（ＴＴＥ）超音波イメージングプローブを、より低侵襲で自動的に（ロボット制御で）位置付けるために拡張されることができる。

本原理は、例えば介入心臓学及び構造心臓疾患介入において、ＴＥＥ及びＸ線画像ガイダンスを使用する場合に、心エコー技師及び介入医師の双方の画像ガイダンス及びワークフローを改善する、しかしながら、本原理は、他のイメージングモダリティ及びプロシージャにも拡張されることができる。本原理は、例えばPhilipsのEchoNavigator（融合Ｘ線／ＴＥＥ画像ガイダンスシステム）及びCX50、iE33及びEPIQ（超音波イメージングシステム）のようなシステムの向上として用いられることができる。

図６を参照して、本原理によるイメージングパースペクティブを維持する方法が示されている。ブロック４０２において、注釈が、少なくとも１つのイメージングモダリティの画像において生成される。注釈は、ビュー内の物理的特徴に従って自動的に、又は、ユーザインタフェースを使用して注釈を付加することによって手動で、生成されることができる。

ブロック４０４において、注釈を伴って２又はそれ以上のイメージングモダリティの画像が融合される。イメージングモダリティは、Ｘ線システム及び超音波システムを有することができ、超音波システムにおいて、プローブは、経食道心エコー（ＴＥＥ）プローブを有することができる。

ブロック４０６において、ロボットは、注釈及びロボットの測定された位置に従ってガイドされる。これは、第１及び第２のイメージングモダリティの融合画像の割り当てられたビュー位置に、プローブ（例えば、超音波イメージングプローブ又はＴＥＥプローブ）の位置が達成され及び維持されることを可能にする。割り当てられたビューは、標準ビュー又はユーザによって生成されるビューを有することができる。ロボットガイダンスは、プローブの位置を調整するために、注釈の移動を追跡することを含むことができる。注釈は、患者又はデバイスの移動に従って動的に変更されることができ、ロボット追跡は、更新された注釈を使用して続行することができる。

ブロック４０８において、注釈の間の差が、注釈を有する現在ビューと以前のビューとの間でモニタされることができる。変更は、表示されることができ、又はカラーコード化されたシステムを用いて偏差を示すことができる。偏差をユーザに警告し又はユーザにガイダンスを提供する警報システムが、割り当てられたビューを手動で達成し又は維持するために、提供されることができる。ブロック４１０において、ロボットは、位置を達成し及び維持するために、知覚的なフィードバックを及び／又は基準として注釈を使用して、手動でガイドされることができる。

添付の請求項を解釈する際に、以下が理解されるべきである：
ａ）「有する、含む（comprising）」という語は、所与の請求項に挙げられるものと別の構成要素又は工程の存在を除外しない；
ｂ）請求項に先行する「a」又は「an」という語は、このような構成要素の複数の存在を除外しない；
ｃ）請求項におけるいかなる参照符号も、それら請求項の範囲を制限しない；
ｄ）いくつかの「手段」は、同じアイテム又はハードウェア又はソフトウェア実現される構造又は機能によって表現されることができる；及び
ｅ）特に示されない限り、工程の特定のシーケンスが必要とされることを意図しない。

融合画像ガイダンスシステムの注釈を使用して臨床ビューに対する自動化されたプローブステアリングのための好適な実施形態を記述しているが（実施形態は例示的であり制限的でないことが意図される）、変更及び変形が上述の教示に照らし当業者によって達成されることができることに注意されたい。従って、変更が、記載される開示の特定の実施形態においてなされることができ、かかる変更は、添付の請求項によって示されるようにここに開示される実施形態の範囲内にあることが理解される。特許法によって必要とされる詳細及び特殊性を記述したが、請求項に記載され特許証によって保護されることが望まれるものは、添付の請求項に示される。

Claims (25)

1. 第１のイメージングモダリティ又は第２のイメージングモダリティの少なくとも一方の画像に注釈を付加する注釈装置であって、前記注釈が、ターゲットの幾何学的記述子を有し、前記幾何学的記述子が、前記ターゲットの所望のビューを達成するのに使用する幾何学的座標及び向き角度を有する、注釈装置と、
   前記注釈を含めて前記第１及び第２のイメージングモダリティの前記画像を融合する位置合わせモジュールと、
   前記第１及び前記第２のイメージングモダリティの融合画像において、割り当てられたビュー位置及び向きを位置付け及び維持するように、前記注釈及びロボットの測定された位置に従って、前記ロボットをガイドするロボットガイダンス制御システムと、
   を有する、イメージングシステム。
2. 前記第１のイメージングモダリティはＸ線システムを有し、前記第２のイメージングモダリティは超音波システムを有する、請求項１に記載のイメージングシステム。
3. 前記超音波システムは、経食道心エコー（ＴＥＥ）システムを有する、請求項２に記載のイメージングシステム。
4. 前記割り当てられたビューは、「エンフェース」ビュー、中部食道四腔ビュー、長軸ビュー、経胃ビュー、及び三葉大動脈弁ビューのうちの１つを含む、請求項３に記載のイメージングシステム。
5. 前記注釈装置は、或るビュー内の物理的特徴に関連付けられる注釈を自動的に生成する、請求項１に記載のイメージングシステム。
6. 前記自動的に生成される注釈は、前記ビュー内の特徴又は介入装置の一方を含むことができる、請求項５に記載のイメージングシステム。
7. 前記注釈は、幾何学的形状、輪郭、測定値又はマークされた位置を有する、請求項５に記載のイメージングシステム。
8. 前記ロボットガイダンス制御システムが、前記第１のイメージングモダリティ又は前記第２のイメージングモダリティのプローブの位置を調整するために、前記注釈の移動を追跡する、請求項１に記載のイメージングシステム。
9. 前記注釈装置を通じて注釈を手動で付加するためのインタフェースを更に有する、請求項１に記載のイメージングシステム。
10. 前記注釈装置に結合され、以前のビュー内の注釈と現在ビュー内の注釈との間で差をモニタする警報システムを更に有する、請求項１に記載のイメージングシステム。
11. 知覚的なフィードバックを使用して及び基準として前記注釈を使用して、前記ロボットを手動でガイドするためのインタフェースを更に有する、請求項１に記載のイメージングシステム。
12. Ｘ線システムを有する第１のイメージングモダリティ、及び経食道心エコー（ＴＥＥ）プローブを有する超音波システムを具備する第２のイメージングモダリティと、
    前記第１のイメージングモダリティ又は前記第２のイメージングモダリティの少なくとも一方の画像に注釈を付加する注釈装置であって、前記注釈が、ターゲットの幾何学的記述子を有し、前記幾何学的記述子が、前記ターゲットの所望のビューを達成するのに使用する幾何学的座標及び向き角度を有する、注釈装置と、
    前記注釈を含めて前記第１及び前記第２のイメージングモダリティの前記画像を融合する位置合わせモジュールと、
    割り当てられたビューが維持されるように前記ＴＥＥプローブを位置付け及び維持するために、前記注釈及びロボットの測定された位置に従って、該ロボットをガイドするロボットガイダンス制御システムと、
    融合画像が前記割り当てられたビューを維持するように、前記第１及び前記第２のイメージングモダリティの融合画像を表示するスクリーンを有する少なくとも１つの表示装置と、
    を有するイメージングシステム。
13. 前記割り当てられたビューは、「エンフェース」ビュー、中部食道四腔ビュー、長軸ビュー、経胃ビュー、及び三葉大動脈弁ビューのうちの１つを含む、請求項１０に記載のイメージングシステム。
14. 前記注釈装置は、或るビュー内の物理的特徴に関連付けられる注釈を自動的に生成する、請求項１２に記載のイメージングシステム。
15. 前記注釈は、幾何学的形状、輪郭、測定値又はマークされた位置を有する、請求項１２に記載のイメージングシステム。
16. 前記ロボットガイダンス制御システムは、前記ＴＥＥプローブの位置を調整するために、前記注釈の移動を追跡する、請求項１２に記載のイメージングシステム。
17. 前記注釈装置を通じて注釈を手動で付加するためのインタフェースを更に有する、請求項１２に記載のイメージングシステム。
18. 前記注釈装置に結合されるとともに、以前のビュー内の注釈と現在ビュー内の注釈との間の差をモニタする警報システムを更に有する、請求項１２に記載のイメージングシステム。
19. 知覚的なフィードバックを使用して及び基準として前記注釈を使用して、前記ロボットを手動でガイドするためのインタフェースを更に有する、請求項１２に記載のイメージングシステム。
20. イメージングパースペクティブを維持する方法であって、
    第１のイメージングモダリティ又は第２のイメージングモダリティの少なくとも一方の画像に注釈を付加するステップであって、前記注釈が、ターゲットの幾何学的記述子を有し、前記幾何学的記述子が、前記ターゲットの所望のビューを達成するのに使用する幾何学的座標及び向き角度を有する、ステップと、
    前記注釈を含めて前記第１及び前記第２のイメージングモダリティの前記画像を融合するステップと、
    前記第１及び前記第２のイメージングモダリティの融合画像に、割り当てられたビュー位置及び向きを位置付け及び維持するように、前記注釈及びロボットの測定された位置に従って、前記ロボットをガイドするステップと、
    を有する方法。
21. 前記第１のイメージングモダリティがＸ線システムを有し、前記第２のイメージングモダリティが超音波システムを有する、請求項２０に記載の方法。
22. 前記注釈を付加する前記ステップは、或るビュー内の物理的特徴に従って自動的に注釈を付加することを含む、請求項２０に記載の方法。
23. 前記ロボットをガイドする前記ステップは、前記第１のイメージングモダリティ又は前記第２のイメージングモダリティのプローブの位置を調整するために、前記注釈の移動を追跡することを含む、請求項２０に記載の方法。
24. インタフェースを使用して前記画像に前記注釈を手動で付加するステップを更に有する、請求項２０に記載の方法。
25. 以前のビュー内の注釈と現在ビュー内の注釈との間の差をモニタするステップを更に有する、請求項２０に記載の方法。

Images