JP6745879B2 - 身体部内の超音波プローブを追跡するためのシステム - Google Patents

Description

本発明は、身体部内の超音波プローブの位置を追跡するためのシステム、及び身体部内の超音波プローブの位置を追跡するための方法、並びにコンピュータプログラム要素及びコンピュータ可読媒体に関する。

経食道エコー（ＴＥＥ）Ｘ線一体型システムは、介入性手順を支援する。ＴＥＥでは、患者の食道に通される超音波プローブが利用されるが、経胸壁超音波画像と比べて信号減衰が少ないために鮮明な画像が得られる。ＴＥＥは、食道の近くに心臓が位置しているので、特に心臓の超音波画像に適している。現在、ＴＥＥ／Ｘ線一体型システムでは、ＴＥＥプローブがＸ線で位置特定され、ＴＥＥプローブの位置及び配向がＸ線画像により決定される。しかし、ＴＥＥプローブは、Ｘ線画像を連続して取得しなければ、又は追加の追跡デバイスを使用しなければ、追跡することができない。

Ｒ．Ｊ．ＨｏｕｓｄｅｎらのＵｌｔｒａｓｏｕｎｄ ｉｎ Ｍｅｄ． ＆ Ｂｉｏｌ．、Ｖｏｌ．３９、Ｎｏ．６、９９３〜１００５頁、２０１３年には、画像ベースのＸ線プローブ追跡を使用する拡張視野三次元経食道エコー法が記載されている。

身体部内の超音波プローブの位置を追跡するための改善された技法があれば有利である。

本発明の目的は、独立請求項の主題によって解決され、さらなる実施形態が従属請求項に組み込まれている。下記の本発明の態様はまた、身体部内の超音波プローブの位置を追跡するためのシステム、身体部内の超音波プローブの位置を追跡するためのワークステーション、身体部内の超音波プローブの位置を追跡するための方法、並びにコンピュータプログラム要素及びコンピュータ可読媒体にも適用されることに留意されたい。

第１の態様によれば、身体部内の超音波プローブの位置を追跡するためのシステムが提供され、このシステムは、
超音波プローブ、
Ｘ線画像取得ユニット、及び
処理ユニット
を含む。

Ｘ線画像取得ユニットは、超音波プローブが位置付けられている身体部の一部のＸ線画像を取得するように構成される。処理ユニットは、身体部の一部内の超音波プローブの第１の幾何学的位置情報を、Ｘ線画像を利用して決定するように構成される。超音波プローブは、身体特徴部を含む少なくとも１つの超音波画像を取得するように構成され、この少なくとも１つの超音波画像は、身体部の一部のＸ線画像の取得時点よりも後の時点に取得される超音波画像を含む。処理ユニットはまた、後の時点における身体部内の超音波プローブの第２の幾何学的位置情報を、第１の幾何学的位置情報と、身体特徴部を含む少なくとも１つの超音波画像とを利用して決定するように構成される。任意選択で、システムは、超音波プローブの第２の幾何学的位置情報を表すデータを出力するように構成されている出力ユニットを含む。言い換えると、追跡を第１及び第２の幾何学的位置情報に基づいて処理ユニット自体によって効果的に行うことができるので、システムはデータを出力しなくてもよい。

言い換えると、身体部内の超音波プローブの位置（場所及び配向）は、Ｘ線画像により決定することができ、超音波プローブと心臓などの身体特徴部との間の相対位置は、Ｘ線画像及び／又は超音波画像により決定することができる。もっと後の超音波画像に基づいて、超音波画像と身体特徴部の間の相対位置を決定することができ、これにより、超音波プローブの新しい位置（場所及び配向）を決定することができる。

別の言い方をすると、システムは、たとえば経食道エコー（ＴＥＥ）超音波プローブである超音波プローブをＴＥＥ／Ｘ線一体型システムにおいて追跡することができる。別の言い方をすると、超音波プローブが間接的に、超音波画像自体を介して追跡される。

このようにして、Ｘ線画像を使用して、身体部内の超音波プローブの位置を決定すること、並びに、たとえば心臓などの身体部及び身体部内の特徴又は特徴部に対するプローブの場所及び／又は配向を決定することができる。次に、もっと後の時点で超音波プローブによって取得された超音波画像を使用して、たとえば心臓などの身体部及び身体部内の特徴又は特徴部に対する超音波プローブの相対位置を決定することができる。場所及び配向などの、Ｘ線画像によって決定されたような位置情報と、もっと後の時点で取得された超音波画像によって決定されたような相対位置情報とについての知識を用いて、超音波プローブの場所及び配向などの位置情報を後の時点に決定することができる。言い換えると、超音波プローブの位置を追跡するのにＸ線画像を使用するのではなく少なくとも１つの超音波画像を使用することによって、Ｘ線吸収線量が低減され、外部追跡システムが不要になる。別の言い方をすると、Ｘ線画像取得ユニットがオフにされたときに、超音波プローブによって取得された少なくとも１つの超音波画像、及び最後に取得されたＸ線画像を間接的に使用して、超音波プローブの位置を追跡することができる。

一例では、身体特徴部を含む少なくとも１つの超音波画像は、その身体特徴部を含む少なくとも２つの超音波画像を含み、超音波プローブは、その身体部の一部のＸ線画像の取得時点と実質的に同じ時点に超音波画像を取得するように構成される。言い換えると、処理ユニットは、第１の幾何学的位置情報と、Ｘ線画像の取得と実質的に同じ時点に取得された身体特徴部を含む超音波画像と、Ｘ線画像の取得の時点よりも後の時点に取得された身体特徴部の超音波画像とを利用して、後の時点における身体部内の超音波プローブの第２の幾何学的位置情報を決定するように構成される。

このようにして、Ｘ線画像を使用して身体部内の超音波プローブの位置を決定することができる。実質的に同じ時点に取得された身体特徴又は身体特徴部の超音波画像は、超音波プローブと既知の場所から取得された身体特徴部との間の相対位置についての情報を提供する。次に、身体特徴又は身体特徴部の後続の超音波画像が、異なる場所及び／又は配向などの、超音波プローブと異なる位置から取得された身体特徴との間の相対位置についての情報を提供する。２つの超音波画像間での身体特徴の超音波画像の変化を用いて、超音波プローブの位置の変化を場所及び／又は配向の変化の点から決定することができる。Ｘ線画像によって決定されたように元の既知の場所及び／又は配向を再び参照することによって、超音波プローブの新しい場所及び／又は配向を決定することができる。

言い換えると、超音波プローブを移動及び／又は回転させるとまた、以前に取得された超音波画像に対して、現在取得されている超音波画像中の心臓などの身体特徴部の位置が移動及び／又は回転する。こうすることにより、現在のプローブの場所及び／又は配向（又は回転位置）を推定することが可能になる。一例では、心臓などの身体特徴部の動きが最初の近似で無視されてよく、又は除去若しくは低減される。このようにして、推定された超音波プローブの場所及び／又は配向により、超音波プローブの実際の位置の放射線なし近似が得られる。

言い換えると、超音波プローブの場所及び配向をＸ線画像から決定し、同時に、超音波画像を超音波プローブにより取得することによって、大域的及び解剖学的なコンテキスト及び空間の情報を決定することが可能になる。

このようにして、超音波プローブは、継続的なＸ線照射被曝の必要なしに、又は追加の追跡デバイスを使用する必要なしに、継続して追跡することができる。

一例では、Ｘ線画像取得ユニットは、処理ユニットが、第１の幾何学的位置情報及び第２の幾何学的位置情報の関数としてのある閾値が超えられたと決定する場合に、超音波プローブが位置付けられている身体部の一部の第２のＸ線画像を取得するように構成される。

言い換えると、超音波プローブのｘ、ｙ、及びｚ座標に関する場所及び／又は角度回転（若しくは配向）が、以前のＸ線画像によって決定されて以来、閾値レベルよりも大きく変化した場合には、超音波プローブの場所及び／又は配向の正確な決定を行うために、新しいＸ線画像が取得される。

別の言い方をすると、超音波画像自体に基づいて決定された超音波プローブの場所及び／又は配向は、動きの閾値に到達したときに、Ｘ線画像によって増強することができる。この閾値は、超音波プローブの推定された場所及び／又は配向がエラーの影響を受けやすいことを示すこともあり、その場合、Ｘ線画像を取得することが、超音波プローブの正確な場所及び／又は配向を得ることに役立つ。次に、超音波プローブの場所及び／又は配向は、少なくとも１つの超音波画像を使用して追跡することができ、これは、取得されるＸ線画像の数を最小限にしてＸ線照射を低減することができ、追加の追跡機器が使用されることはないが、超音波プローブの場所及び／又は配向は追跡できることを意味する。

一例では、処理ユニットは、少なくとも１つの超音波画像を利用することによって、身体特徴部の少なくとも１つの位置に対して超音波プローブの少なくとも１つの位置を決定するように構成され、処理ユニットにより超音波プローブの第２の幾何学的位置情報を決定するように構成されていることは、身体特徴部の少なくとも１つの位置に対して超音波プローブの少なくとも１つの位置を利用することを含む。

一例では、処理ユニットは、身体特徴部を含む少なくとも１つの超音波画像を利用することによって、モデルベースのセグメンテーションを使用する身体特徴部のセグメント化データを決定するように構成され、処理ユニットにより超音波プローブの第２の幾何学的位置情報を決定するように構成されていることは、身体特徴部のセグメント化データを利用することを含む。

別の言い方をすると、超音波画像により決定されたような身体特徴部は、体のＸ線画像が使用される患者の体内で場所を特定することができる。

一例では、処理ユニットは、身体特徴部を含む少なくとも１つの超音波画像を利用することによって、身体特徴部の１つの位置を基準位置として決定するように構成され、処理ユニットにより超音波プローブの第２の幾何学的位置情報を決定するように構成されていることは、身体特徴部のその基準位置を利用することを含む。

このようにして、超音波プローブの動きに起因しない超音波プローブと身体特徴部の間の相対的な動きを明らかにすることができ、これにより、超音波プローブの動きに起因する超音波プローブの場所及び／又は配向を決定することが可能になる。

一例では、処理ユニットにより身体部の一部内の超音波プローブの第１の幾何学的位置情報を決定するように構成されていることは、超音波プローブの三次元モデルの利用を含む。

一例では、処理ユニットは、超音波プローブの三次元モデルの投影像とＸ線画像とを比較するように構成される。

一例では、処理ユニットは、三次元モデルとＸ線画像との間の類似点を、画像比較メトリックを利用して、繰り返し決定するように構成される。

一例では、処理ユニットは、三次元モデルの位置及び／又は配向を、画像比較メトリックを最大にすることによって、最適にするように構成される。

一例では、処理ユニットは、三次元モデルの少なくとも１つの並進自由度の調整、及び／又は三次元モデルの少なくとも１つの回転自由度の調整を含めて、三次元モデルとＸ線画像とを比較するように構成される。

第２の態様では、身体部内の超音波プローブの位置を追跡するためのワークステーションが提供され、ワークステーションは、
少なくとも１つの入力ユニット、及び
処理ユニット
を含む。

少なくとも１つの入力ユニットは、超音波プローブが位置付けられた身体部の一部のＸ線画像を提供するように構成される。処理ユニットは、身体部の一部内の超音波プローブの第１の幾何学的位置情報を、Ｘ線画像を利用して決定するように構成される。少なくとも１つの入力ユニットはまた、身体特徴部を含む少なくとも１つの超音波画像を提供するように構成され、この少なくとも１つの超音波画像は超音波プローブによって取得され、超音波画像が、身体部の一部のＸ線画像の取得時点よりも後の時点に取得された。処理ユニットはまた、後の時点における身体部内の超音波プローブの第２の幾何学的位置情報を、第１の幾何学的位置情報と、身体特徴部を含む少なくとも１つの超音波画像とを利用して決定するように構成される。任意選択で、ワークステーションは、超音波プローブの第２の幾何学的位置情報を表すデータを出力するように構成されている出力ユニットを含む。

言い換えると、ワークステーションは、事前取得画像に基づいて超音波プローブの位置を追跡することができる。このようにして、身体部内の超音波プローブの位置を検査又は確認して、超音波プローブが特定の時点に正しく位置付けられたことを確実にすることができる。さらに、ワークステーションは訓練の目的に使用することができる。

第３の態様では、身体部内の超音波プローブの位置を追跡するための方法が提供され、この方法は、
ａ）超音波プローブが位置付けられている身体部の一部のＸ線画像を取得するステップと、
ｂ）身体部の一部内の超音波プローブの第１の幾何学的位置情報を、Ｘ線画像を利用して決定するステップと、
ｃ）身体特徴部を含む少なくとも１つの超音波画像を超音波プローブによって、Ｘ線画像の取得時点よりも後の時点に超音波画像を取得することを含めて、取得するステップと、
ｇ）後の時点における身体部内の超音波プローブの第２の幾何学的位置情報を、第１の幾何学的位置情報と、身体特徴部を含む少なくとも１つの超音波画像とを利用して決定するステップと
を有する。

一例では、この方法は、
ｉ）超音波プローブの第２の幾何学的位置情報を表すデータを出力するステップ
を有する。

一例では、ステップｃ）は、身体特徴部を含む少なくとも２つの超音波画像を超音波プローブによって取得するステップを含み、またステップｃ）は、身体部の一部のＸ線画像を取得する時点と実質的に同じ時点に超音波画像を取得するステップをさらに含む。

一例では、ステップｃ）は、身体特徴部を含む少なくとも２つの超音波画像を超音波プローブによって取得するステップを含み、またステップｃ）は、身体部の一部のＸ線画像が取得されたときの超音波プローブの位置と実質的に同じ位置で超音波画像を取得するステップをさらに含む。

言い換えると、Ｘ線画像が取得されたときの超音波プローブの位置と同じ位置で超音波画像を取得する最も容易な手法は、Ｘ線画像を取得するのと同じ時点で超音波画像を取得することであるが、これは、超音波画像取得をする唯一の手法ではない。

一例では、この方法は、
ｈ）第１の幾何学的位置情報及び第２の幾何学的位置情報の関数としてのある閾値が超えられた場合に、超音波プローブが位置されている身体部の一部の第２のＸ線画像を取得するステップを有する。

一例では、この方法は
ｄ）少なくとも１つの超音波画像を利用して、身体特徴部の少なくとも１つの位置に対して超音波プローブの少なくとも１つの位置を決定するステップを有し、
ステップｇ）は、身体特徴部の少なくとも１つの位置に対して超音波プローブの少なくとも１つの位置を利用するステップを含む。

一例では、この方法は
ｅ）モデルベースのセグメンテーションを使用する身体特徴部のセグメント化データを、その身体特徴部を含む少なくとも１つの超音波画像を利用して決定するステップを有し、
ステップｇ）は、身体特徴部のセグメント化データを利用するステップを含む。

一例では、この方法は
ｆ）基準位置としての身体特徴部の位置を、その身体特徴部を含む少なくとも１つの超音波画像を利用して決定するステップを有し、
ステップｇ）は、身体特徴部の基準位置を利用するステップを含む。

一例では、位相調整を行って心臓の運動を明らかにすることができる。これは、後続の超音波画像の心臓位相が以前の超音波画像のものと同じでなければならないという点で、位相が超音波画像間で整合されることを意味する。

別の態様によれば、前述のような装置（すなわち、システム及びワークステーション）を制御するコンピュータプログラム要素が提供され、このコンピュータプログラム要素は、処理ユニットによって実行されるコンピュータプログラム要素の中で、前述のような方法ステップを実行するように適合される。

別の態様によれば、前述のようなコンピュータ要素を記憶したコンピュータ可読媒体が提供される。

有利には、上記の態様及び例のいずれかによって提供される利益は、その他の態様及び例のすべてに等しく適用され、逆も同様である。

上記の態様及び例は、以下に記述される実施形態から明らかになり、これらの実施形態を参照して説明される。

例示的な実施形態について、次の図面を参照して以下に説明する。

身体部内の超音波プローブの位置を追跡するためのシステムの一例の概略構成を示す図である。 身体部内の超音波プローブの位置を追跡するためのシステムの別の例の概略構成を示す図である。 身体部内の超音波プローブの位置を追跡するための方法の一例を示す図である。 身体部内の超音波プローブの位置を追跡するための作業の流れの一例を示す図である。 心臓のモデルに対する超音波プローブの位置を概略的に表したものを左側に、超音波プローブ位置が示されているＸ線画像に重ね合わされた心臓のセグメント化超音波画像データを概略的に表したものを右側に示す図である。 図５に示されたものと同じ情報を、概略的に表したものを画像データに置き換えて示す図である。

図１は、身体部内の超音波プローブの位置を追跡するためのシステム１０の一例を示す。システム１０は、超音波プローブ２０、Ｘ線画像取得ユニット３０、処理ユニット４０を含み、任意選択で出力ユニット５０を含む。Ｘ線画像取得ユニット３０は、超音波プローブ２０が位置付けられている身体部の一部のＸ線画像を取得するように構成され、このＸ線画像は処理ユニット４０に提供される。処理ユニット４０は、身体部の一部内の超音波プローブの第１の幾何学的位置情報を、Ｘ線画像を利用して決定するように構成される。超音波プローブ２０は、身体特徴部を含む少なくとも１つの超音波画像を取得するように構成され、この少なくとも１つの超音波画像は、身体部の一部のＸ線画像の取得時点よりも後の時点に取得される超音波画像を含む。処理ユニット４０はまた、後の時点における身体部内の超音波プローブの第２の幾何学的位置情報を、第１の幾何学的位置情報と、身体特徴部を含む少なくとも１つの超音波画像とを利用して決定するように構成される。出力ユニットは、超音波プローブの第２の幾何学的位置情報を表すデータを出力するように構成される。

一例では、超音波プローブは、経食道エコー（ＴＥＥ）超音波プローブである。一例では、超音波プローブは、剛性のヘッドに封入されたトランスデューサを備える。一例では、「超音波プローブ」とは剛性の封入ヘッドを意味する。

一例では、Ｘ線画像取得ユニットは、Ｃ形アームＣＴシステムを含む。一例では、画像取得ユニットは、介入性Ｘ線システムを含む。

一例では、身体部の一部のＸ線画像は、蛍光画像データを含む。一例では、画像取得ユニットは、蛍光透視Ｘ線機器を含む。一例では、身体部の一部のＸ線画像は、蛍光透視低線量Ｘ線調査中に取得された。一例では、蛍光透視低線量Ｘ線調査は、身体部の一部内の超音波プローブの第１の幾何学的位置情報を決定するために使用される。

一例では、身体部のＸ線画像は、身体特徴部を含む。

一例では、身体部の一部内の超音波プローブの第１の幾何学的位置情報は、超音波プローブの場所を含む。一例では、この位置は、超音波プローブ又は超音波プローブの一部分のｘ、ｙ及びｚ座標を含む。一例では、超音波プローブ又は超音波プローブの一部分のｘ、ｙ及びｚ座標は、医療台の一部分若しくは一点、又はＸ線画像取得ユニットの一部分又は一点などの基準点と関係づけられる。一例では、身体部内の超音波プローブの第１の幾何学的位置情報は、超音波プローブ又は超音波プローブの一部分の配向を含む。一例では、この配向は、超音波プローブ又は超音波プローブの一部分の、その長手方向軸のまわりの角度位置（たとえば出力窓の中心を通る長手方向軸から延びる、長手方向軸のまわりの垂直方向又は垂直軸についての軸の角度位置）を含む。一例では、この配向は、超音波プローブ座標系をＸ線画像取得ユニット又は医療台の座標系と整合させるための３つの回転角（オイラー角、又はロール・ピッチ・ヨー角）を含む。

一例では、身体部の一部内の超音波プローブの第１の幾何学的位置情報を決定することは、Ｘ線画像の２Ｄ−３Ｄ位置合わせを含む。一例では、２Ｄ−３Ｄ位置合わせは、超音波プローブの３Ｄモデルを決定することを含む。一例では、２Ｄ−３Ｄ位置合わせは、２Ｄ−３Ｄ画像位置合わせアルゴリズムを使用して、超音波プローブの３ＤモデルとＸ線画像を位置合わせすることを含む。一例では、２Ｄ−３Ｄ位置合わせは、超音波プローブの３ＤモデルをＸ線ユニット又は医療台の座標系の中に位置付けすること、並びに、３Ｄ超音波プローブのモデル化投影像と超音波プローブの実際の投影像を明示するＸ線画像とをＸ線ユニット又は医療台の座標系の中で比較することを含む。一例では、超音波プローブの３Ｄモデルは、超音波プローブのモデル化Ｘ線投影像が超音波プローブの実際の取得投影像と一致するまで、繰り返し再位置付けられる。このようにして、超音波プローブの場所及び配向は、Ｘ線ユニット又は医療台の座標系に対しても身体部に対しても決定することができる。このようにして、超音波プローブが、Ｘ線画像により決定された超音波プローブの場所及び配向からの、既知の視野を有するので、身体部に対する超音波プローブの視野を決定することができる。言い換えると、超音波プローブが見ている体の領域を決定することができる。別の言い方をすると、超音波プローブが調べている体腔のボリュームの位置をＸ線画像内で特定することができる。

一例では、身体部の領域とは、身体部の一部の領域のことである。

一例では、身体部内の超音波プローブの第２の幾何学的位置情報は、身体部の一部の中に位置付けられている超音波プローブと関連がある。一例では、身体部内の超音波プローブの第２の幾何学的位置情報は、超音波プローブの場所を含む。一例では、その場所は、超音波プローブ又は超音波プローブの一部分のｘ、ｙ、及びｚ座標を含む。一例では、超音波プローブのｘ、ｙ、及びｚ座標は、医療台の一部若しくは一点、又はＸ線画像取得ユニットの一部若しくは一点などの基準点と関連づけられる。一例では、身体部内の超音波プローブの第２の幾何学的位置情報は、超音波プローブの配向を含む。一例では、この配向は、超音波プローブの一部の、その長手方向軸のまわりの角度位置（たとえば、長手方向軸のまわりの、垂直方向についての出力窓の角度位置）を含む。一例では、超音波プローブの第２の幾何学的位置情報は、第１の幾何学的位置情報に関する超音波プローブの場所と異なる場所にある超音波プローブと関連がある。一例では、超音波プローブの第２の幾何学的位置情報は、第１の幾何学的位置情報に関する超音波プローブの配向と異なる配向である超音波プローブと関連がある。一例では、超音波プローブの第２の幾何学的位置情報は、第１の幾何学的位置情報に関する超音波プローブの場所と同じ場所にあるが、第１の幾何学的位置情報に関する超音波プローブの配向と異なる配向を有する超音波プローブと関連がある。一例では、超音波プローブの第２の幾何学的位置情報は、第１の幾何学的位置情報に関する超音波プローブの場所と異なる場所にあるが、第１の幾何学的位置情報に関する超音波プローブの配向と同じ配向を有する超音波プローブと関連がある。一例では、超音波プローブの第２の幾何学的位置情報は、第１の幾何学的位置情報に関する超音波プローブの場所と異なる場所にある、かつ第１の幾何学的位置情報に関する超音波プローブの配向と異なる配向を有する超音波プローブと関連がある。

一例では、身体特徴部は、少なくとも１つの超音波画像中で検出される。一例では、身体特徴部の位置は、超音波プローブの視野内で決定される。一例では、身体特徴部の位置は、超音波プローブが身体部内で調査しているか、又は調査するように構成されている腔のボリューム内で決定される。一例では、身体特徴部はＸ線画像中で検出される。一例では、体内の身体特徴部の位置は、Ｘ線画像により決定される。言い換えると、超音波プローブが見ている体腔のボリューム内の身体特徴部の位置は、超音波プローブによって取得された超音波画像により決定することができ、かつ／又はＸ線画像により決定することができる。

一例では、身体特徴部は患者の心臓である。言い換えると、身体特徴部は、たとえば心臓であることもある身体特徴のすべてを含む。一例では、身体特徴は患者の脊椎である。一例では、身体特徴は、取得画像に基づいて特定することができる患者の任意の他の部位又は器官であり得る。

一例では、出力ユニットは、Ｘ線画像を表すデータを出力するように構成される。一例では、出力ユニットは、少なくとも１つの超音波画像を表すデータを出力するように構成される。一例では、出力ユニットは、Ｘ線画像、第１の幾何学的位置情報、少なくとも１つの超音波画像、及び第２の幾何学的位置情報のうちの任意の１つと関連があるデータを保存するように構成される。一例では、出力ユニットは、たとえば、１つ又は複数の視覚的表示装置ＶＤＵなどの１つ又は複数のモニタに画像を表示して、画像データを表示するように構成される。一例では、出力ユニットは、少なくとも１つの身体特徴の超音波画像を表示するように構成される。一例では、出力ユニットは、身体特徴の超音波画像を表示するように構成される。一例では、出力ユニットは、身体部の一部のＸ線画像を表示するように構成される。一例では、出力ユニットは、身体部の一部のＸ線画像と、超音波プローブの第２の幾何学的位置情報とを表示するように構成される。言い換えると、超音波プローブの現在の場所及び／又は配向を取得Ｘ線画像で提示することができる。別の言い方をすると、一例では、超音波プローブの現在の場所及び／又は配向は、身体部の一部のＸ線画像に重ね合わせたものとして示すことができる。言い換えると、少なくとも１つの超音波画像により決定される現在のプローブ位置の可視化の増強を、より早い時点に取得されたＸ線静止画像上で実現することができる。

一例によれば、身体特徴部を含む少なくとも１つの超音波画像は、その身体特徴部を含む少なくとも２つの超音波画像を含む。その場合、超音波プローブは、その身体部の一部のＸ線画像の取得時点と実質的に同じ時点に超音波画像を取得するように構成される。

一例によれば、Ｘ線画像取得ユニットは、超音波プローブが位置付けられている身体部の一部の第２のＸ線画像を取得するように構成される。この画像取得は、処理ユニットが、第１の幾何学的位置情報及び第２の幾何学的位置情報の関数としてのある閾値が超えられたと決定する場合に行われる。

一例として、処理ユニットは、その閾値が超えられたかどうかを、第１の幾何学的位置情報と第２の幾何学的位置情報の間の差異がある閾値を超えると決定する場合に、判定する。

一例では、第２のＸ線画像を取得するように構成されたＸ線画像取得ユニットには、閾値が超えられたことを知らされる医師又は臨床医が含まれ、その場合、医師又は臨床医は、第２のＸ線画像の取得を手動で起動することができる。このようにして、Ｘ線吸収線量に関して追加の安全方策が提供される。

一例によれば、処理ユニットは、少なくとも１つの超音波画像を利用することによって、身体特徴部の少なくとも１つの位置に対して超音波プローブの少なくとも１つの位置を決定するように構成される。その場合、処理ユニットにより超音波プローブの第２の幾何学的位置情報を決定するように構成されていることは、身体特徴部の少なくとも１つの位置に対して超音波プローブの少なくとも１つの位置を利用することを含む。

一例によれば、処理ユニットは、モデルベースのセグメンテーションを使用する身体特徴部のセグメント化データを、その身体特徴部を含む少なくとも１つの超音波画像を利用することによって決定するように構成される。処理ユニットにより超音波プローブの第２の幾何学的位置情報を決定するように構成されていることは、身体特徴部のセグメント化データを利用することを含む。

一例では、現在の超音波画像により、たとえば心臓又は心臓の一部であるセグメント化身体特徴部に対して超音波プローブの場所及び配向の推定が行われる。

一例では、たとえば心臓である身体特徴部のセグメンテーションにより、超音波プローブが見ている腔のボリューム内の身体特徴部の輪郭が得られる。このようにして、超音波プローブの位置を提示した、また超音波プローブが見ている腔のボリュームのマッピングも提示したＸ線画像による、体及びＸ線画像との超音波プローブの２Ｄ−３Ｄ位置合わせから、超音波画像により決定された身体特徴部の輪郭は、Ｘ線画像の上に描く、又は重ね合わせることができる。

一例では、たとえば心臓である身体特徴部は、超音波プローブによって取得された少なくとも１つの超音波画像で連続してセグメント化される。一例では、セグメンテーションは、メッシュモデルを身体特徴部の超音波画像に適合させる。一例では、メッシュ構造は変化しない。このようにして、メッシュ構造が変化しないので、異なる超音波画像にまたがる異なるセグメンテーションの結果の間で対応する点が分かる。このようにして、異なる超音波画像間の身体特徴部の移動及び／又は回転を決定することができ、これにより超音波プローブの場所及び／又は配向を決定することができる。

一例によれば、処理ユニットは、その身体特徴部を含む少なくとも１つの超音波画像を利用することによって、身体特徴部の１つの位置を基準位置として決定するように構成される。処理ユニットにより超音波プローブの第２の幾何学的位置情報を決定するように構成されていることは、身体特徴部のその基準位置を利用することを含む。

一例では、身体特徴部の位置を基準位置として決定することは、身体特徴部が動くことをなくすことを含む。一例では、たとえば心臓である身体特徴部の決定された位置は、固定基準として使用される。

一例では、処理ユニットは、少なくとも１つの超音波画像を、心周期、患者の動き若しくは患者の呼吸、又はこれらの任意の組合せに対して位置合わせするように構成される。言い換えると、たとえば、超音波プローブの場所及び／又は配向を決定するために使用される少なくとも１つの超音波画像は、患者の１つの心周期内の同一若しくは同様の時点において、又は患者の１つの呼吸周期内の同一若しくは同様の時点において取得された画像と関連づけることができる。一例では、処理ユニットは、少なくとも１つの超音波画像及びＸ線画像を、心周期、患者の動き若しくは患者の呼吸、又はこれらの任意の組合せに対して位置合わせするように構成される。言い換えると、たとえば、超音波プローブの場所及び／又は配向を決定するために使用される少なくとも１つの超音波画像及びＸ線画像は、患者の１つの心周期内の同一若しくは同様の時点において、又は患者の１つの呼吸周期内の同一若しくは同様の時点において取得された画像と関連づけることができる。

一例では、本来の心臓運動は、収縮終期などの一定の心臓位相を解析することによって除外することができる。一例では、安定した心臓位相を解析することは、心電図（ＥＣＧ）信号を監視することを含む。一例では、患者の呼吸周期を、たとえば磁気共鳴（ＭＲ）画像法で同様に使用されるような呼吸ベルトを用いて検出することができる。一例では、安定した呼吸位相を解析することはセグメンテーションデータを利用することを含み、或いは言い換えると、本来の心臓運動は、たとえばチャンバボリュームを見るときにセグメンテーション結果を解析することによって除外することができる。

このようにして、超音波プローブの動きに起因しない超音波プローブと身体特徴部の間の相対的な動きを明らかにすることによって、超音波プローブの動きに起因する超音波プローブの場所及び／又は配向を決定することができる。

一例では、身体部の一部のＸ線画像は、その身体特徴部のＸ線画像データを含み、処理ユニットにより後の時点で身体部内の超音波プローブの第２の幾何学的位置情報を決定するように構成されていることは、その身体特徴部のＸ線画像データを利用することを含む。一例では、Ｘ線画像中の身体特徴部の位置が利用される。

図２は、身体部内の超音波プローブの位置を追跡するためのシステム６０の一例を示す。システム６０は、少なくとも１つの入力ユニット７０、処理ユニット８０、及び任意選択で出力ユニット９０を備える。少なくとも１つの入力ユニット７０は、超音波プローブ２０が位置付けられた身体部の一部のＸ線画像を処理ユニット８０に提供するように構成される。処理ユニット８０は、身体部の一部内の超音波プローブの第１の幾何学的位置情報を、Ｘ線画像を利用して決定するように構成される。少なくとも１つの入力ユニット７０は、身体特徴部を含む少なくとも１つの超音波画像を提供するように構成され、この少なくとも１つの超音波画像は超音波プローブ２０によって取得された。また、この少なくとも１つの超音波画像のうちの１つの超音波画像が、身体部の一部のＸ線画像の取得時点よりも後の時点で取得された。処理ユニット８０はまた、後の時点における身体部内の超音波プローブの第２の幾何学的位置情報を、第１の幾何学的位置情報と、身体特徴部を含む少なくとも１つの超音波画像とを利用して決定するように構成される。出力ユニット９０は、超音波プローブの第２の幾何学的位置情報を表すデータを出力するように構成される。

一例では、少なくとも１つの入力ユニットは、Ｘ線画像を提供するように構成されたデータ記憶装置又は転送ユニットを含む。一例では、Ｘ線画像取得ユニットはＸ線画像を取得するように構成され、この画像はデータ記憶装置又は転送ユニットに提供される。一例では、入力ユニットはＸ線画像取得ユニットを含む。一例では、少なくとも１つの入力ユニットは超音波プローブを含む。

一例では、少なくとも１つの入力ユニットは、少なくとも１つの超音波画像をたとえば連続送り込み装置を介して提供するように構成されたデータ記憶装置又は転送ユニットを含む。このようにして、既存のＸ線／超音波システムへの付加ボックスを追跡目的のためだけに設けることができる。

一例では、Ｘ線画像の取得よりも後の時点に取得された超音波画像が２つの直交スライスを含み、また、Ｘ線画像の取得の時点と実質的に同じ時点に取得された超音波画像が２つの直交スライスを含む。言い換えると、超音波画像はｘ平面モードで取得することができ、このモードでは２つの直交スライスが記録され、この記録により、たとえば心臓である身体特徴部の位置の変化を追跡することができ、それによって、更新された超音波プローブ場所を推定することが可能になる。ｘ平面モードは、完全３Ｄボリューム取得よりも速い一方で、超音波プローブ位置変化を推定することを依然として可能にして、超音波プローブの追跡を実現する。

図３は、身体部内の超音波プローブの位置を追跡する方法１００を、データを出力するステップが任意選択であることを除いて、その基本的なステップで示す。この方法は、以下のステップを含む。

ステップａ）とも呼ばれる第１の取得ステップ１１０で、超音波プローブ２０が位置付けられている身体部の一部のＸ線画像が取得される。

ステップｂ）とも呼ばれる第１の決定ステップ１２０で、身体部の一部内の超音波プローブ２０についての第１の幾何学的位置情報が決定され、この決定は、Ｘ線画像を利用することを含む。

ステップｃ）とも呼ばれる第２の取得ステップ１３０で、身体特徴部を含む少なくとも１つの超音波画像が超音波プローブによって取得され、取得ステップ１３０は、少なくとも１つの超音波画像のうちの１つの超音波画像をＸ線画像の取得の時点よりも後の時点で取得するステップ１４０を含む。

ステップｇ）とも呼ばれる第２の決定ステップ１５０で、後の時点における身体部内の超音波プローブ２０についての第２の幾何学的位置情報が、第１の幾何学的位置情報と、身体特徴部を含む少なくとも１つの超音波画像とを利用して決定される。

ステップｉ）とも呼ばれる任意選択の出力ステップ１６０で、超音波プローブの第２の幾何学的位置情報を表すデータが出力される。

一例によれば、ステップｃ）は、身体特徴部を含む少なくとも２つの超音波画像を超音波プローブによって取得するステップを含む。この例では、ステップｃ）はさらに、身体部の一部のＸ線画像の取得の時点と実質的に同じ時点で超音波画像を取得するステップ１７０を含む。

一例では、ステップｃ）は、身体特徴部を含む少なくとも２つの超音波画像を超音波プローブによって取得するステップを含み、この例のステップｃ）はさらに、身体部の一部のＸ線画像が取得されたときの超音波プロープの位置と実質的に同じ位置で超音波画像を取得するステップを含む。

一例によれば、この方法は、第１の幾何学的位置情報と第２の幾何学的位置情報の関数としてのある閾値が超えられた場合に、超音波プローブが位置付けられている身体部の一部の第２のＸ線画像を取得する、ステップｈ）とも呼ばれるステップ１８０を含む。

一例によれば、この方法は、身体特徴部の少なくとも１つの位置に対して超音波プローブの少なくとも１つの位置を少なくとも１つの超音波画像を利用して決定する、ステップｄ）とも呼ばれるステップ１９０を含む。この例では、ステップｇ）は、身体特徴部の少なくとも１つの位置に対して超音波プローブの少なくとも１つの位置を利用するステップ２００を含む。

一例によれば、この方法は、モデルベースのセグメンテーションを使用する身体特徴部のセグメント化データを、その身体特徴部を含む少なくとも１つの超音波画像を利用して決定する、ステップｅ）とも呼ばれるステップ２１０を含む。この例では、ステップｇ）は、身体特徴部のセグメント化データを利用するステップ２２０を含む。

一例によれば、この方法は、身体特徴部の１つの位置を基準位置として決定して、その身体特徴部を含む少なくとも１つの超音波画像を利用する、ステップｆ）とも呼ばれるステップ２３０を含む。この例では、ステップｇ）は、身体特徴部の基準位置を利用するステップ２４０を含む。

一例では、身体部内の超音波プローブの位置を追跡する方法が提供され、この方法は、超音波プローブが位置付けられた身体部の一部のＸ線画像を提供するステップと、身体部の一部内の超音波プローブの第１の幾何学的位置情報を、Ｘ線画像を利用して決定するステップと、身体特徴部を含む少なくとも１つの超音波画像を提供するステップであって、この少なくとも１つの超音波画像が超音波プローブによって取得され、また、この少なくとも１つの超音波画像のうちの１つの超音波画像が、身体部の一部のＸ線画像の取得時点よりも後の時点に取得されたステップと、後の時点における身体部内の超音波プローブの第２の幾何学的位置情報を、第１の幾何学的位置情報と、身体特徴部を含む少なくとも１つの超音波画像とを利用して決定するステップと、超音波プローブの第２の幾何学的位置情報を表すデータを出力するステップとを含む。

図４は、身体部内の超音波プローブを追跡するための詳細な作業の流れを示す。要約すると、ＴＥＥプローブが置かれている最初のＸ線ユニットにより、ＴＥＥプローブとＸ線ユニットの３Ｄボリュームとの対応関係が、ＴＥＥプローブをＸ線画像中で位置合わせすることによって確立される。言い換えると、ＴＥＥプローブは、Ｘ線ユニットの大域空間内に置かれ、また患者の解剖学的腔内に置かれる。Ｘ線ユニットがオフのとき、ＴＥＥ画像供給は連続してセグメント化されて、新しいＴＥＥプローブ場所が推定される。一例でＴＥＥプローブの小さい動きと関連づけることができる、動き閾値が超えられていない場合には、推定された場所がＸ線画像上に示される。一例でＴＥＥプローブの大きい動きと関連づけることができる、動き閾値が超えられた場合には、新しいＸ線画像が起動されて現在のプローブ位置が測定される。ＴＥＥプローブはＸ線画像中で位置特定することができ、超音波画像はＸ線画像にＴＥＥプローブの位置と共に重ね合わせることができ、注釈（たとえば、マーカ楕円）又は心臓セグメンテーションもまた、Ｘ線画像に重ね合わせることができる。

上記を異なるやり方に要約すると、
１．超音波プローブは、２Ｄ−３Ｄ位置合わせによって、Ｘ線画像中で位置特定することができる。２Ｄ−３Ｄ位置合わせにより、Ｘ線画像中でプローブの位置及び配向が得られる。
２．たとえば心臓である身体特徴部は、超音波画像においてセグメント化される。超音波画像のセグメンテーションにより、超音波ボリューム内の心臓の輪郭が得られる。
３．Ｘ線画像中のプローブの２Ｄ−３Ｄ位置合わせにより、超音波プローブによって画像化されている超音波ボリュームが分かり、Ｘ線画像中で場所を特定することができる。このようにして、たとえば心臓の輪郭をＸ線画像の上に描くことができる。

上記の要約は、少し詳しく以下のように説明することができる。
１．２Ｄ−３Ｄ位置合わせを使用してＸ線画像中のプローブの位置特定するための、プローブの３Ｄモデルが知られる（たとえば、ナノＣＴ画像を取得することにより）。次に、プローブの所与の推定の配向に対し、モデルの投影像、いわゆるデジタル再構築放射線写真（ＤＲＲ）が、画像中のプローブが位置特定されるべき実際の１つ又は複数のＸ線画像と比較される。この処理は数回繰り返され、ＤＤＲとＸ線画像の間の類似性が画像比較メトリックを使用して評価される。自由度（並進運動及び回転）が、ＤＤＲとＸ線画像が最適に一致するように調整される。言い換えると、位置及び配向のパラメータが、ＤＤＲとＸ線画像の間の画像類似メトリックを最大にすることによって最適化される。この位置合わせ処理は、Ｇａｏらの論文、Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ３Ｄ ｔｒａｎｓ−ｅｓｏｐｈａｇｅａｌ ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｙ ｔｏ Ｘ−ｒａｙ ｆｌｕｏｒｏｓｃｏｐｙ ｕｓｉｎｇ ｉｍａｇｅ−ｂａｓｅｄ ｐｒｏｂｅ ｔｒａｃｋｉｎｇ、Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ １６（２０１２）、３８〜４９頁で詳細に論じられている。
２．超音波画像における、たとえば心臓のモデルベースのセグメンテーションは、たとえば、Ｎ個の点と、これらの点をつなぐＴ個の三角形とから成る三角形メッシュである平均モデルを含む。その最初の形状は、たとえば平均的又は典型的な形状を表す。次に、モデルは、いくつかのステップで１つの画像に適合される。まず、一般的な位置（たとえば重心）及び配向が決められ、それに応じて画像にメッシュが配置される。モデル訓練中に、各三角形は、それがどの特定の画像特徴を検索すべきかを学習した。次いで、適合中に、各三角形はこれらの画像特徴を検索して、引力のセットを得る（このセットから、いわゆる外部エネルギーが導き出される）。この外部エネルギーに基づいて、モデルは、大域又は局所アフィン変換のパラメータを推定することによって、連続して適合される（エネルギーが最小化される）。最終ステップで、局所変形が外部力に基づいて可能になる。同時に、いわゆる内部エネルギーが、平均形状からのあまりに大きい偏差にペナルティを科す。複数回の反復の後、メッシュの形状は画像に適合された。どのメッシュ部分がどの解剖学的構造に属するかが分かっているので、これにより解剖学的コンテキストが画像に加わる。ＣＴ画像に適用されるが本明細書では超音波画像に適用されているセグメンテーションアルゴリズムが、Ｅｃａｂｅｒｔらの論文、Ａｕｔｏｍａｔｉｃ Ｍｏｄｅｌ−Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ｈｅａｒｔ ｉｎ ＣＴ Ｉｍａｇｅｓ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ，Ｖｏｌ．２７，Ｎｏ．９、２００８年９月、１１８９〜１２０１頁で詳細に論じられている。
３．ステップ２で、解剖学的コンテキストが超音波画像において局所的に確立される。ステップ１により、超音波プローブ（したがって、超音波画像の座標系）と大域空間（すなわち、Ｘ線画像も）の間の関係が分かっているので、解剖学的コンテキスト（たとえば、セグメンテーションメッシュ又は特別な目印）は、Ｘ線画像上に表示することができる。

より詳細には、また図４を参照すると、超音波プローブを追跡するために使用されるシステムは、Ｘ線ユニット及び経食道エコー（ＴＥＥ）プローブを含む。Ｘ線源と検出器の間の３Ｄオブジェクト（たとえば、患者の心臓）は本来、放射線に沿って吸収することによって、３Ｄ空間を投影２ＤのＸ線画像に変換される。ＴＥＥプローブは３Ｄボリューム内にあり、したがって、Ｘ線画像中に見える。画像処理アルゴリズムを用いると、ＴＥＥプローブは自動的に検出することができる。こうして、Ｘ線ユニットの３Ｄボリューム内のＴＥＥプローブの位置を、また配向さえも（２Ｄ−３Ｄ位置合わせを使用して）決定することができる。ここでは、Ｘ線ユニットに対してＴＥＥプローブの位置及び配向を決定できることについて説明するが、しかし、これはまた、この位置及び配向をＸ線ユニットが収納される空間の基準座標に対して決定できることも意味する。このようにして、ＴＥＥプローブのｘ、ｙ、及びｚ座標、並びにＴＥＥプローブの長手方向軸の角度方向、及びその軸まわりのＴＥＥプローブの回転角度を決定することができる。一例では、配向は、超音波プローブ座標系をＸ線画像取得ユニット又は医療台の座標系と位置合わせするための３つの回転角度（オイラー角、又はロール・ピッチ・ヨー角）を含む。言い換えると、ＴＥＥプローブの基準座標、並びにＴＥＥプローブが指し示しているところ、及びその決定された位置におけるＴＥＥプローブの軸回転特性を決定することができる。

Ｘ線画像と同じ時点でＴＥＥ超音波画像を取得することによって、ＴＥＥ画像からＸ線ユニットの３Ｄボリュームへの変換行列Ｔ_{ＴＥＥ、Ｘｖｏｌ}を決定することができる。この変換には、ｚ軸まわりのユーザ定義回転、いわゆる「スキャン角」又はシーク角など、他の知られている変換が含まれる。したがって、Ｘ線ユニットボリューム内のどこにＴＥＥ画像ボクセルがあるかが分かる。この情報を使用して、３ＤのＴＥＥ画像の任意の点を２Ｄ投影Ｘ線画像中の正しい位置に表示できるように３ＤのＴＥＥデータをＸ線画像の上に投影することができる。これは数学的に、２×３投影行列「Ｐ」及び２Ｄ変位ベクトル「ｓ_ｐ」によって表される。したがって、３Ｄ座標系の任意の点「ａ」が、２Ｄ座標系の点「ｂ」にｂ＝Ｐａ＋ｓ_ｐとして投影される。言い換えると、ＴＥＥプローブの場所及び配向をＸ線画像から決定し、同時に超音波画像をＴＥＥプローブにより取得することによって、大域的及び解剖学的なコンテキスト及び空間の情報を、音響画像をＸ線画像の上にマッピングすることによって決定することが可能になる。

この情報を使用して、たとえば、３ＤのＴＥＥ画像中の目印を選択し、その目印を２ＤのＸ線画像に投影する、又は３ＤのＴＥＥ画像中の心臓をセグメント化し、次に、そのセグメンテーション結果を２ＤのＸ線画像の上に重ね合わせる。この方法に関しては、共同位置合わせが、ある期間にわたって維持される必要があり、すなわち、プローブが、Ｔ_{ＴＥＥ，Ｘｖｏｌ}を最新に保持するために継続的に追跡される必要があり得る。Ｘ線を用いずに追跡を行うことができれば、Ｘ線吸収線量を減らすことができる。

したがって、身体部内の超音波プローブを追跡する作業の流れは以下のように進む。
１．Ｘ線画像及びＴＥＥ画像が取得される瞬間に開始する。
２．ＴＥＥ画像中で、したがってまた、大域空間内で心臓を検出し（Ｔ_{ＴＥＥ，Ｘｖｏｌ}を使用して）、それによって心臓の位置を検出できるようにする。
３．Ｘ線画像データがないもっと後の瞬間では、決定された心臓位置を基準として使用する。
４．ＴＥＥ画像だけのセグメンテーション結果からＴＥＥプローブの動きを検出する。
５．検出されたＴＥＥプローブの動きを使用して、
ａ．現在のＴＥＥプローブの推定の位置を与える（Ｘ線画像を取得せずに）
ｂ．検出されたＴＥＥプローブの動きが特定の閾値を超える場合、新しいＸ線画像の取得を起動して、ＴＥＥプローブの新しい絶対位置を決定する。
ｃ．追跡されたＴＥＥプローブを静止Ｘ線画像上にＴＥＥプローブの３Ｄモデルを使用して仮想的に表示する。

心臓は、モデルベースのセグメンテーションを使用してＴＥＥ画像内で連続してセグメント化される。たとえば、上で参照したようにＥｃａｂｅｒｔ、Ｏｌｉｖｅｒらの論文を参照されたい。たとえば、セグメンテーションでは、メッシュモデルをＴＥＥ画像に適合させる。メッシュは、Ｎ_Ｐ個の点とＮ_Ｔ個の三角形を含む。メッシュ構造は変化しないので、異なるセグメンテーション結果の間で対応する点が分かる。

ＴＥＥ画像は常に、その位置座標と、ＴＥＥプローブ軸まわりの角度指示方向及び角度位置とに関して、ＴＥＥプローブの場所及び配向を基準として取得される。したがって、ＴＥＥ画像中の心臓の位置が変化する場合、これは、心臓自体が動いている場合（拍動、呼吸）、又はＴＥＥプローブ場所又は配向が変化した場合に起き得る。

本来の心臓運動は、たとえば、収縮終期などの一定の心臓位相を解析することによって除外される。この情報は、入手可能なＥＣＧ信号から、又はセグメンテーション結果からも（たとえば、チャンバボリュームを見ているときに）引き出すことができる。呼吸がプローブを含めて全胸部を動かすので、心臓に対するプローブの相対位置はわずかしか影響を受けない。或いは、必要であれば、呼吸は、Ｘ線を用いずに、たとえば、ＭＲ画像法で同様に使用されるような「呼吸ベルト」を用いて検出することができる。次に、ＴＥＥ画像中の心臓の残りの移動／回転から、ＴＥＥプローブの並進運動及び配向の変化が以下のように推定される。

ＴＥＥプローブ場所は、時点ｔ_０でＸ線画像から分かり、この時点でまた、３ＤのＴＥＥ画像Ｉ_０が取得される。３Ｄ画像空間におけるプローブ場所はｘ_０である。画像中の心臓の位置は、セグメント化メッシュＭ_０によって示される。

もっと後の時点ｔ_１で、ＴＥＥ画像Ｉ_１が取得されるが、Ｘ線画像は取得する必要がない。Ｉ_１の３ＤのＴＥＥ空間における新しいプローブ場所はｘ_１である。画像Ｉ_１中の心臓の新しい位置は、セグメント化メッシュＭ_１によって示される。

心臓位置Ｍ_１とＭ_０の間の変換行列Ｔ_１，０が推定される。たとえば、Ｍ_１とＭ_０における対応する点の間の剛体変換を計算することができる。したがって、Ｔ_１，０は、Ｉ_１の画像座標で与えられた点をＩ_０中の対応する点に変換する。

ｔ_１からのプローブ場所ｘ_１は、Ｉ_０中の元の画像空間にｘ_１’＝Ｔ_１．０ｘ_１として変換される。

次に、元の位置ｘ_０との差異ｄが計算される。

新しい位置ｘ_１’、及びＩ_０のＴＥＥ画像座標系で分かっている移動ｄは、ｔ_０からの分かっているＴ_{ＴＥＥ，Ｘｖｏｌ}を使用して、Ｘ線ユニットの３Ｄボリューム座標系へ変換することができる。こうして、新３Ｄ座標及びボリューム座標でのプローブ移動が分かる。

言い換えると、ライブＸ線が利用できない場合、適切な考察により、解剖学的心臓位置が固定されていると仮定することができ、この仮定に基づきＴＥＥ画像データを使用して、ＴＥＥプローブ移動及び／又は回転が推定される。

図５及び図６は、左側の画像でプローブ位置の移動を示し、右側の画像ではＸ線画像上への重ね合わせとして示されたＴＥＥプローブの推定の場所を示す。図５及び図６の左側の画像に、最後のＸ線画像の時点における心臓モデル２５０に対するＴＥＥプローブ位置が位置２６０として表示されている。その後にＴＥＥプローブは動いた。さらにＸ線画像が取り込まれる必要なしに、新しいＴＥＥ画像における心臓のセグメンテーションから新しいプローブ場所２７０、及び２つの位置２６０と２７０の間の移動ｄを推定することができる。図５及び図６の左側の画像に、新しいＴＥＥプローブ場所２７０が再度、心臓モデル２５０に対して示されている。図５及び図６の右側の画像に、心臓２８０のＴＥＥ画像セグメンテーションがＸ線画像上への重ね合わせとして示されている。心臓２８０はいくつかの領域にセグメント化されており、そのうちの一部がセグメント２８２、２８４、及び２８６として識別される。Ｘ線画像には、患者のいくつかの椎骨３１０が示されている。右側の画像では、ＴＥＥプローブ位置が画像の上方左部分に示されている。最後のＸ線画像の時点において、ＴＥＥプローブの位置が位置２９０として示され、後の時点においてセグメント化ＴＥＥ画像から得られた新しい推定場所が３００として示されている。移動距離｜ｄ｜が特定の閾値ｄ_{ｔｈｒｅｓｈ}を超えた場合、新しいＸ線画像の取得を自動的に起動することができる。したがって、この方法では、照射被曝と追跡精度の間の良好な妥協点が得られる。

上記の作業の流れは３Ｄボリュームのモデルベースのセグメンテーションと関連づけられるが、他の超音波画像から移動を検出することが可能であることを理解されたい。たとえば、画像はｘ平面モードで取得することができ、すなわち、２つの直交超音波スライスが記録される。このような画像間で追跡される心臓の位置の変化により、更新されたプローブ場所を次いで推定し表示することができる。

別の例示的な実施形態では、前出の実施形態のうちの１つによる方法の方法ステップを適切なシステムで実行するように構成されていることを特徴とする、コンピュータプログラム又はコンピュータプログラム要素が提供される。

したがって、コンピュータプログラム要素は、一実施形態の一部でもあり得るコンピュータユニットに記憶され得る。この計算ユニットは、上述の方法のステップを実行する、又はステップの実行を誘導するように構成される。さらに、計算ユニットは、上述の装置（すなわちシステム及びワークステーション）の構成要素を動作させるように構成される。計算ユニットは、自動的に動作するように、かつ／又はユーザの命令を実行するように構成することができる。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされ得る。したがって、データプロセッサは、前出の実施形態のうちの１つによる方法を実施するように装備される。

本発明のこの例示的な実施形態は、まさに最初から本発明を使用するコンピュータプログラムと、更新によって既存のプログラムを本発明が使用されるプログラムに変えるコンピュータプログラムとの両方を包含する。

さらに、コンピュータプログラム要素は、上述の方法の例示的な実施形態の手順を実行するためのすべての必要なステップを提供することができる。

本発明の別の例示的な実施形態によれば、ＣＤ−ＲＯＭなどのコンピュータ可読媒体が提示され、このコンピュータ可読媒体には、前の段落で記述されているコンピュータプログラム要素が記憶されている。

コンピュータプログラムが、他のハードウェアと一緒に、又はその一部として供給される光記憶媒体又は固体媒体などの適切な媒体によって記憶及び／又は配布されるが、インターネット又は他の有線若しくは無線遠隔通信システムなどを介する他の形でも配布される。

しかし、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提示され、このようなネットワークからデータプロセッサのワーキングメモリにダウンロードすることができる。本発明のさらなる例示的な実施形態によれば、コンピュータプログラム要素をダウンロードできるようにするための媒体が提供され、このコンピュータプログラム要素は、本発明の前述の実施形態のうちの１つによる方法を実行するように構成される。

本発明の実施形態は、異なる主題に関して説明されていることに留意すべきである。特に、いくつかの実施形態は方法特許請求に関して説明されているのに対し、他の実施形態は装置特許請求に関して説明されている。しかし、当業者であれば、上記及び下記の説明から、特にことわらない限り、一種類の主題に属する特徴の任意の組合せに加えて、異なる主題に関連する特徴の間の任意の組合せもまた、本出願によって開示されるものと考えられることが推論されよう。しかし、すべての特徴を組み合わせて、これらの特徴のただ１つの和をとるよりも多くの相乗効果をもたらすことができる。

本発明を図面及び上記の説明で詳細に図示及び説明してきたが、このような図示及び説明は限定的なものではなく、説明的又は例示的なものと考えられるべきである。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の諸変形形態が、特許請求された本発明を実践する際に、図面、本開示、及び従属請求項を検討することにより、当業者によって理解され、達成され得る。

特許請求の範囲中で、「備える、含む」という語は他の要素又はステップを除外せず、また不定冠詞「ａ」又は「ａｎ」は複数を除外しない。単一のプロセッサ又は他のユニットが、特許請求の範囲に列挙されたいくつかの物品の機能を実現する。いくつかの方策が互いに異なる従属請求項に列挙されているにすぎないことは、これらの方策の組合せを有利に使用できないことを示すものではない。特許請求の範囲中のいかなる参照符号も特許請求の範囲を限定するものと解釈されるべきではない。

Claims (16)

1. 超音波プローブ、Ｘ線画像取得ユニット、及び処理ユニットを含む、身体部内の超音波プローブの位置を追跡するためのシステムであって、
   前記Ｘ線画像取得ユニットは、前記超音波プローブが位置付けられている身体部の一部のＸ線画像を取得し、
   前記処理ユニットは、前記身体部の一部内の前記超音波プローブの第１の幾何学的位置情報を、前記Ｘ線画像を利用して決定し、
   前記超音波プローブは、身体特徴部を含む少なくとも１つの超音波画像を取得し、前記少なくとも１つの超音波画像は、前記身体部の一部のＸ線画像の取得時点よりも後の時点に取得される超音波画像を含む、システムにおいて、
   前記処理ユニットは、さらに、前記後の時点における前記身体部内の前記超音波プローブの第２の幾何学的位置情報を、前記第１の幾何学的位置情報と、前記身体特徴部を含む前記少なくとも１つの超音波画像とを利用して決定することを特徴とする、システム。
2. 前記少なくとも１つの超音波画像は、前記身体部の一部の前記Ｘ線画像の取得時点と実質的に同じ時点で取得される超音波画像を含む、請求項１に記載のシステム。
3. 前記Ｘ線画像取得ユニットは、前記処理ユニットが、前記第１の幾何学的位置情報及び前記第２の幾何学的位置情報の関数としてのある閾値が超えられたと決定する場合に、前記超音波プローブが位置付けられている身体部の一部の第２のＸ線画像を取得する、請求項１又は２に記載のシステム。
4. 前記処理ユニットは、前記少なくとも１つの超音波画像を利用することによって、前記身体特徴部の少なくとも１つの位置に対して前記超音波プローブの少なくとも１つの位置を決定し、前記処理ユニットにより前記超音波プローブの前記第２の幾何学的位置情報を決定することは、前記身体特徴部の前記少なくとも１つの位置に対して前記超音波プローブの前記少なくとも１つの位置を利用することを含む、請求項１乃至３の何れか一項に記載のシステム。
5. 前記処理ユニットは、前記身体特徴部を含む前記少なくとも１つの超音波画像を利用することによって、モデルベースのセグメンテーションを使用する前記身体特徴部のセグメント化データを決定し、前記処理ユニットにより前記超音波プローブの前記第２の幾何学的位置情報を決定することは、前記身体特徴部の前記セグメント化データを利用することを含む、請求項１乃至４の何れか一項に記載のシステム。
6. 前記処理ユニットは、前記身体特徴部を含む前記少なくとも１つの超音波画像を利用することによって、前記身体特徴部の位置を基準位置として決定し、前記処理ユニットにより前記超音波プローブの前記第２の幾何学的位置情報を決定することは、前記身体特徴部の前記基準位置を利用することを含む、請求項１乃至５何れか一項に記載のシステム。
7. 前記処理ユニットにより前記身体部の一部内の前記超音波プローブの第１の幾何学的位置情報を決定することは、前記超音波プローブの三次元モデルの利用を含む、請求項１乃至６の何れか一項に記載のシステム。
8. 前記処理ユニットは、前記超音波プローブの前記三次元モデルの投影像と前記Ｘ線画像とを比較する、請求項７に記載のシステム。
9. 前記処理ユニットは、前記三次元モデルと前記Ｘ線画像の間の類似点を、画像比較メトリックを利用して、繰り返し決定する、請求項７又は８に記載のシステム。
10. 前記処理ユニットは、前記三次元モデルの位置及び／又は配向を、前記画像比較メトリックを最大にすることによって、最適にする、請求項９に記載のシステム。
11. 前記処理ユニットは、前記三次元モデルの少なくとも１つの並進自由度の調整、及び／又は前記三次元モデルの少なくとも１つの回転自由度の調整を含めて、前記三次元モデルと前記Ｘ線画像を比較する、請求項７乃至９の何れか一項に記載のシステム。
12. 少なくとも１つの入力ユニット及び処理ユニットを含む、身体部内の超音波プローブの位置を追跡するためのワークステーションであって、
    前記少なくとも１つの入力ユニットは、超音波プローブが位置付けられた身体部の一部のＸ線画像を提供し、
    前記処理ユニットは、前記身体部の一部内の前記超音波プローブの第１の幾何学的位置情報を、前記Ｘ線画像を利用して決定し、
    前記少なくとも１つの入力ユニットは、身体特徴部を含む少なくとも１つの超音波画像を提供し、前記少なくとも１つの超音波画像は前記超音波プローブによって取得され、超音波画像は前記身体部の一部の前記Ｘ線画像の取得時点よりも後の時点に取得される、ワークステーションにおいて、
    前記処理ユニットは、さらに、後の時点における前記身体部内の前記超音波プローブの第２の幾何学的位置情報を、第１の幾何学的位置情報と前記身体特徴部を含む前記少なくとも１つの超音波画像とを利用して決定することを特徴とする、ワークステーション。
13. 身体部内の超音波プローブの位置を追跡するための、請求項１乃至１１の何れか一項に記載のシステムを動作させる方法であって、
    ａ）前記Ｘ線画像取得ユニットが、前記超音波プローブが位置付けされている前記身体部の一部のＸ線画像を取得するステップと、
    ｂ）前記処理ユニットが、前記身体部の一部内の超音波プローブの第１の幾何学的位置情報を、前記Ｘ線画像を利用して決定するステップと、
    ｃ）前記超音波プローブが、前記Ｘ線画像の取得時点よりも後の時点で、前記超音波プローブによって、身体特徴部を含む少なくとも１つの超音波画像を取得するステップと
    を含む、方法において、
    ｄ）前記処理ユニットが、前記後の時点における前記身体部内の前記超音波プローブの第２の幾何学的位置情報を、前記第１の幾何学的位置情報と前記身体特徴部を含む前記少なくとも１つの超音波画像とを利用して決定するステップを更に有することを特徴とする、方法。
14. 身体部内の超音波プローブの位置を追跡するための、請求項１２に記載のワークステーションを動作させる方法であって、
    ａ）前記少なくとも１つの入力ユニットが、前記超音波プローブが位置付けられた前記身体部の一部のＸ線画像を提供するステップと、
    ｂ）処理ユニットが、前記身体部の一部内の超音波プローブの第１の幾何学的位置情報を、前記Ｘ線画像を利用して決定するステップと、
    ｃ）前記少なくとも１つの入力ユニットが、身体的特徴を含む少なくとも１つの超音波画像を提供するステップであり、前記少なくとも１つの超音波画像が前記超音波プローブによって取得され、超音波画像が前記身体部の一部の前記Ｘ線画像の取得時点よりも後の時点に取得される当該ステップと
    を含む、方法において、
    ｄ）前記処理ユニットが、前記後の時点における前記身体部内の前記超音波プローブの第２の幾何学的位置情報を、前記第１の幾何学的位置情報と前記身体特徴部を含む前記少なくとも１つの超音波画像とを利用して決定するステップを更に有することを特徴とする、方法。
15. プロセッサにより実行されたとき、請求項１３に記載の方法を実施する、請求項１乃至１１の何れか一項に記載のシステム、又は、請求項１４に記載の方法を実施する、請求項１２に記載のワークステーションを制御するための、コンピュータプログラム。
16. 請求項１５に記載のコンピュータプログラムを記憶した、コンピュータ可読媒体。

Images