JP4937261B2 - ２ｄのｘ線画像及び３ｄ超音波画像を選択的に混合するためのシステム及び方法 - Google Patents

Description

本開示は、二次元（２Ｄ）Ｘ線画像を三次元（３Ｄ）超音波画像と組み合わせること、特に関連するＸ線情報を不明瞭にすることなく、２ＤのＸ線画像及び３Ｄ超音波画像から混合した２Ｄ画像を作成する、誘導式心臓介入において２ＤのＸ線画像を３Ｄ超音波画像と組み合わせるための方法及び装置に関する。

心臓専門医は、（血管造影図用の注入色素又は検出電気情報のどちらかである）診断情報を収集するために、心臓においてカテーテルを使用する。心臓専門医はさらに心臓に治療を届けるために、無線周波数のアブレーションカテーテル(ablation catheter)のようなデバイスを使用する。これら診断及び治療デバイスは通例、Ｘ線透視画像に基づいて心臓内において操られる。血管のＸ線透視は、血管の超音波及び血管造影のような他の既知の血管撮像方法により供給されるのに比べ、血管及び血管壁のより良好なコントラスト及び解像度を持つことはよく知られている。これはしばしば、長時間の電気生理学的手続き中に１時間又はそれ以上の透視時間となり、特に反復手続きに対する頻繁な必要性を考慮する場合、患者及び医師の両方にとってかなりの放射線被爆となる。加えて、心臓は三次元構造であるのに対し、前記透視画像は単なる二次元である。心臓における診断又は治療デバイスの正確な解剖学的位置を知ることは、正確な診断情報を収集する又は心臓における特定の位置に治療を正確に届けるために、極めて重要であるので、透視画像単独での従来の使用は、しばしば適切ではない。

例えば、心臓介入手続き中に動脈壁の解剖学的に撮像するための現在の方法は、Ｘ線及び超音波の両方の撮像モダリティを同時に使用することを含み、このことは広く知られている。二次元（２Ｄ）Ｘ線画像及び三次元（３Ｄ）超音波画像は共に、医師に有用な情報を提供するために生成される。これは、互換テーブルと共に、同じ部屋にＸ線透視システム及び超音波スキャナが存在することを必要とする。これら欠点は多数あり、２つの撮像モダリティ間を交替することは、カテーテルの位置を変更することであり、２つの撮像モダリティ間を交替することは、２つの画像を一緒に頭の中で重ね合わせる又は調整しる時間のかかる試みであり、患者及び医師は共に有害な電離放射線に曝される、ことを含む。

これら２つの情報源を効果的に利用するために、これら２つの情報源の混合が必要とされる。しかしながら、前記２つの撮像モダリティ（解像度、投影、視野）が大きく異なり、別々の制御で別々のディスプレイ上に示されるので、この情報を効果的に利用することは難しい。

混合に関する現在の技術は、画像に関する特徴を考慮していない。これは例えば、Ｘ線透視画像の高解像度の細部の視認性の損失につながる。

今までの努力にもかかわらず、Ｘ線撮像において低いコントラストを持つ構造の視認性を高めるために、効果的且つ柔軟／多様性のある手法に対する必要性が残り、これは、介入においてカテーテルがどこの心臓の生体組織に置かれるかを決めることを助ける。加えて、電気生理学的（ＥＰ）手続きを短くするための方法及び装置に対する必要性が残り、ここで心臓の電気のロードマップが構成され、これにより患者及び医師の両方に対するＸ線の放射線量に対する被爆を減少させるために、前記手続きを短くする。

これら及び他の必要性は、別々の２ＤのＸ線画像及び３Ｄ超音波画像を、特に誘導式心臓介入中に使用するための単一の２Ｄ画像に組み合わせるのに適した開示される方法及び装置により満たされる。

本開示は、構造を撮像するための方法を提供する。この方法は、Ｘ線システムを用いて二次元（２Ｄ）Ｘ線画像データを、及び超音波システムを用いて三次元（３Ｄ）超音波画像ボリュームデータを、得ることを含む。前記３Ｄ超音波画像ボリュームデータの２Ｄ表現は、前記２ＤのＸ線画像データに対応する関心領域に対して作成される。この３Ｄ超音波画像ボリュームデータの２Ｄ表現は、前記構造の２Ｄ混合画像データをレンダリングする２ＤのＸ線画像データと混合され、２Ｄ混合画像データは前記構造の２Ｄ混合画像として表示される。例示的な実施例において、Ｘ線画像データ及び超音波画像データは同時に得られるのに対し、前記構造の２Ｄ混合画像は、リアルタイムで表示される。前記混合はコンピュータ内で起こり、このコンピュータはＸ線システム、超音波システムの一部又はディスプレイデバイスを備えた独立型ユニットである。

本開示はさらに、三次元（３Ｄ）超音波画像データからの構造の関心のある特徴を二次元（２Ｄ）画像データと混合するためのシステムも提供する。このシステムは、二次元（２Ｄ）Ｘ線画像データを供給するように構成されるＸ線撮像システム、三次元（３Ｄ）超音波画像ボリュームデータを供給するように構成される超音波撮像システム、並びに前記Ｘ線撮像システム及び前記超音波撮像システムと動作可能に通信するコンピュータを含む。このコンピュータは、前記２ＤのＸ線画像データに対応する関心領域に対する前記３Ｄ超音波画像ボリュームデータの２Ｄ表現を作成し、前記３Ｄ超音波画像ボリュームデータの２Ｄ表現を、前記構造の２Ｄ混合画像をレンダリングする前記２ＤのＸ線画像データと混合するように構成される。ディスプレイデバイスは、前記コンピュータと動作可能に通信し、前記構造の２Ｄ混合画像を表示する。

例示的な実施例において、Ｘ線画像データ及び超音波画像データは同時に得られるのに対し、前記構造の２Ｄ混合画像はリアルタイムで表示される。前記混合はコンピュータ内で起こり、このコンピュータは、Ｘ線システム、超音波システムの一部又はディスプレイデバイスを備えた独立型ユニットである。

開示されたシステム及び方法に関連する追加の特徴、機能及び利点は、特に本開示に添付される特徴と連係してレビューされる場合、以下の詳細な説明から明らかとなるであろう。

開示したシステムを作成及び使用する当業者を支援するために、添付する図に参照番号を付しておく。

ここに述べたように、本開示は、画像の特徴を考慮している、２つの画像モダリティ（例えばＸ線及び超音波）からの画像の混合を有利に可能及び容易にし、これによりＸ線画像（例えばＸ線透視）により供給される高解像度の細部の視認性を維持している。本開示は、当業者には明らかであるように、例えば３Ｄ超音波データの２Ｄ投影を２ＤのＸ線に重畳することにより特徴付けされた単一のスクリーン上に表示される混合画像に関する有用な情報を医師に提供するために、心臓介入手続き中に医用画像と一緒に有利に用いられると共に、所望の混合量を変更するように選択的に制御される。これら開示されるシステム及び方法は、Ｘ線システム又は超音波システムの一部に適する、そうでなければ、これらシステムに関連するそれ自体の表示装置を持つ独立型システムに適する。

図１を参照すると、例示的な撮像システム１００が概略的に描かれている。システム１００は、従来のテレビジョンＸ線システム１０２を有し、このシステム１００は、Ｘ線システム１０２により生成した二次元（２Ｄ）のＸ線データを見るための対応するモニタ１０４を含む。Ｘ線システム１０２は、Ｃ型アーム１００を介してＸ線システム１０２に動作可能に接続されるＸ線管１０６及びＸ線検出器１０８を有する。これらＸ線管１０６及びＸ線検出器１０８は、アーム１１０を規定している対向する末端上に置かれている。Ｘ線管１０６は、モニタ１０４上に最終的に表示するためのＸ線画像データ１３２を生成するために、テーブル１１４により支持される患者１１２を通り、Ｘ線検出器１０８を用いて検出されるＸ線（図示せず）を発生させる。

システム１００はさらに、従来のリアルタイムの三次元（３Ｄ）超音波システム１２２も含み、このシステム１００は、超音波システム１２２により生成した３Ｄ超音波画像ボリュームデータ１３４を見るための対応するモニタ１２４を含む。超音波システム１２２は、患者１１２の対応するボリュームから生じる音響エコーに対応する信号を発生させるために構成されるプローブ１２８を含む。プローブ１２８は、患者１１２の対応するボリュームから生じる音響エコーの強さを表す値の再構成される３Ｄアレイを生成し、モニタ１２４上に最終的に表示するための３Ｄ超音波画像ボリュームデータを生成するために、患者１１２の関心ボリュームの上に置かれる。

患者１１２は両方のモダリティにより同時に撮像され、両方のシステム１０２、１２２からのライブ画像／ボリュームデータは、コンピュータ１３０に集められる。コンピュータ１３０は、このコンピュータ１３０と動作可能に通信してモニタ１３６に１つの組み合わされた２Ｄ画像を製造するために、２つのデータストリーム１３２、１３４を一緒に混合する。図１及びそれに伴う記述は、３Ｄ超音波ボリュームデータ１３４を２ＤのＸ線画像データ１３２と混合するためのシステム及び方法を開示している。Ｘ線データ１３２は、モノクロ諧調として表される絶対値からなるのに対し、超音波ボリュームデータ１３４は、関心ボリューム内の各位置から生じる音響エコーの強さを表す値の再構成される３Ｄアレイである。

図２から図４を参照すると、第１のステップは、超音波データ１３４を２ＤのＸ線画像データ１３２と混合できるようにするために、この超音波データ１３４の２Ｄ表現を作成するステップを含む。これは、ボリュームデータ１３４から厚さｄのスライスボリューム１４４を得て（図２）、１４６に一般的に示されるスライスボリューム１４４の２Ｄ表現をレンダリングするために、前記スライスボリューム１４４にボリュームレンダリング操作を行うことにより達成される。レンダリングされたスライスボリューム１４６は、前記２ＤのＸ線画像データ１３２の画像面に対応している。図２は、上述したスライス処理を説明している。

一般的なボリュームレンダリング操作は、前記スライスボリューム１４４を通る光線を投じる最大値投影を含み、対応する出力ピクセルにおいて累積値を製造する。上述したボリュームレンダリング方法及び他のボリュームレンダリング方法はよく知られ、本開示の範囲に入らないことは、当業者により認識されている。図３は、モニタ１２４上における３Ｄボリュームデータの画像を説明しているのに対し、図４は、モニタ１３６上に見られる図３の同じ関心ボリュームのレンダリングされた２Ｄ画像の画像を説明している。

次いで、超音波レンダリングされたスライスボリューム１４６は、Ｘ線画像データ１３２の上にレンダリングされる。これは、簡単な"クッキーカット(cookie cut)"操作では行われず、この場合、矩形のＸ線画像の領域が完全にぼやけてしまう。この超音波レンダリングされたスライスボリューム１４６は、本開示の例示的な実施例に従って以下にさらに十分に説明される混合技術を用いて、基礎となるＸ線画像データ１３２と混合される。混合する方法は、アルファ混合の形式を含むが、これに限定されない。０から１の間にあるアルファ値（α）は、以下の数式
Ｃ_out,RGB（ｘ，ｙ）＝αＣ_xray,RGB（ｘ，ｙ）＋（１−α）Ｃ_us,RGB（ｘ，ｙ）
により、２つの重畳しているピクセルがスクリーンのピクセルの色に寄与する比率を与える。コンピュータグラフィックに関する一般的な応用において、アルファ（α）は定数又は（ｘ，ｙ）の関数である。本開示の目的のために、空間依存性は零に設定される。加えて、ここに開示される方法において、αはＸ線画像データ１３２（Ｃ_xray,RGB）及びレンダリングされた超音波ボリューム１４６に関連するデータ（Ｃ_us,RGB）の色（Ｃ）に依存している。これにより、
α（ｘ，ｙ，Ｃ_xray,RGB，Ｃ_us,RGB）＝ｋα（ｘ，ｙ）α（Ｃ_xray,RGB）α（Ｃ_us,RGB ） αi∈［０，１］
である。上述したように、α（ｘ，ｙ）は一定値である。例示的な実施例において、α（ｘ，ｙ）の値は０．５であり、ここではＸ線画像データ１３２と、レンダリングされた超音波ボリューム１４６に関連するデータとの間に同等の混合が存在している。α（ｘ，ｙ）の値は、Ｘ線画像において検出されたカテーテル先端（図示せず）の位置依存性増強を加えるために後で使用される。言い換えると、カテーテル先端がモニタ１３６上のビュー画像１４０において検出される場合、Ｘ線画像データ１３２が超音波画像データよりも局所的に優先されるように、α（ｘ，ｙ）の値は増大する。値ｋは、医師がＸ線画像データに対して、前記レンダリングされた超音波画像ボリューム１４６からのデータを溶明及び溶暗するように制御することができる混合因子バイアス(blend factor bias)として使用される。ｋの初期値は１であるが、この値は零（０）から正の無限大（＋∞）の間を変化することができる。ｋの値によってαが１よりも大きくなる場合、αは１にクリップされることを述べておく。

Ｃ_xray及びＣ_usの関数としてαに有意義な尺度は、ピクセル輝度又は濃淡値(gray value)である。Ｘ線画像に対し、これは、色情報が無い、つまりピクセル値が輝度値である（例えばＲ，Ｇ及びＢは全て等しい）ことを暗に意味している。超音波データに対し、Ｘ線画像データからの視覚コントラストを向上させるのに色が使用される。この色は、ボリュームレンダリング処理に意図的に加えられる。前記ピクセル輝度はこのとき最大の（Ｒ，Ｇ，Ｂ）により与えられる。

図２のレンダリングされたスライスボリューム１４６により表されるボリュームレンダリングされたメタデータにおいて、ピクセル輝度は、各ボクセルにより反射される光の量により決められる。図５は、１６０で一般的に示されるフォンライトモデル(Phong's lighting model)を表す。これは簡単であるが効果的である。フォンモデルは、コンピュータグラフィックにおいて最も一般的なライティングモデルの１つである。図５は、フォンライト計算式への重要な入力を説明している。ベクトル（Ｖ）の上に置かれる第１のドット１６２はカメラ位置を示し、第２のドットは、光源位置を示す。ベクトル（Ｎ）は、表面法線を示す。ピクセル輝度は、前記表面法線（Ｎ）に従って反射する（ベクトルＬと一直線に並ぶが、向きが逆であるベクトルである）入射光線を投じ、観測者を指しているビューベクトル（Ｖ）と反射光線のベクトル（Ｒ）との内積(dot product)を得ることにより計算される。この内積の結果は、前記法線（Ｎ）が観測者の方向に向いている（適当な光条件、すなわち問題となっている表面の点が観測者の視点から適当に照らされると仮定する）場合に最もよくなるので、撮像される構造の稜線(ridge)の上部は、表面上の谷(valley)よりも明るい。これは、フォンライトモデルのようなシェーディングアルゴリズムが達成しようとする３Ｄインプレッションに対応している。これは、それ自体では些細なことであり、無論、上述した輝度依存性混合にリンク付けされる場合、レンダリングされた超音波表面の稜線は、Ｘ線画像の上に重畳され、"陰になった"谷は、このＸ線画像の上には重畳されない。これは例えば心筋又は他の解剖学的特徴を表す外形の表示を可能にするのに対し、未修正の基礎となるＸ線画像は、前記レンダリングされた超音波表面の稜線間を通り輝く。さらに、前記稜線の硬さを制御するためのこの関数は、α（Ｃ_us）関数にリンクされることができる。

本開示は、介入手続き、特にＸ線透視法を用いた手続きに使用される医用撮像システムに応用されることができる。Ｘ線画像及び超音波ボリュームは、コンピュータ１３０を用いて混合され、このコンピュータ１３０は図１に示されるように、Ｘ線システム１０２の一部、超音波システム１２２の一部、又はそれ自身がディスプレイを持つ独立型ユニットとすることが可能であることが確認されている。

本開示の機能的応用は、Ｘ線において低いコントラストを持つ構造の視認性を高め、これにより、インターベンショナリスト(interventionalist)が患者の心臓の生体組織に置かれたカテーテルの位置を決めるのことを支援する。これは、電気生理学（ＥＰ）手続きを短くするのに役立ち、この手続きにおいて、心臓の電気のロードマップが構成される。例えば心筋のような超音波ボリュームにより供給されるコンテクスト情報の場合、このロードマップ処理に必要な時間が減少する。この処理がＸ線透視下で略完全に行われるので、この手続きは、患者及び医者の両方に対するＸ線量を減少させる。

要するに、開示されるシステム、装置及び方法は、医用撮像システムのユーザ、特に介入手続き中、Ｘ線及び超音波画像を一緒に使用する医師にかなりの恩恵を供給する。確かに、これら開示されるシステム、装置及び方法は、Ｘ線撮像において低いコントラストを持つ構造の高められた視認性を提供し、生体組織（例えば心臓）内における構造の電気のロードマップが構成される電気生理学（ＥＰ）手続きを短くするのに役立つのと同じく、介入において、カテーテルが生体組織のどこに置かれているかを決めるのを手助けする。例えば心筋のような超音波ボリュームにより供給されるコンテクスト情報を使用することにより、例えば結果生じる２Ｄ画像は、医師によってさらに容易に処理される。この処理がＸ線透視下で略完全に行われるので、撮像手続きが短くなり、これにより患者及び医者の両方に対するＸ線量を減少させる。特に、開示されるシステム、装置及び方法は、３Ｄ超音波データの２Ｄ投影を２ＤのＸ線データに重畳することにより高められた視認性を提供する。これは、Ｘ線データ及び超音波データの両方（又は一方）における特徴を測定することにより選択的に行われる。このようにして、超音波データから関心のある特徴だけがＸ線データの上に投影され、これにより、２つの情報源を単一のディスプレイ上において効果的に利用する。

本開示のシステム、装置及び方法が、これらの例示的な実施例を参照して説明されていたとしても、本開示がこのような例示的な実施例に限定されない。寧ろ、ここに開示されるシステム、装置及び方法は、本開示の意図又は範囲から外れることなく、様々な修正、拡張及び／又は変形の余地がある。それ故に、本開示は、本開示に添付される特許請求の範囲内において、このような修正、拡張及び／又は変形を具現化及び包含する。

混合を行うコンピュータに動作可能に接続されるＸ線システム及び超音波システム、並びにテーブル上に置かれる患者に関する解剖学的構造の混合画像を表示するためのモニタを説明している本開示のシステムの例示的な実施例の概略図。 本開示の例示的な実施例に従って、対応する２ＤのＸ線画像データに重畳するための３Ｄボリューム画像データの２Ｄ表現をレンダリングするために、対応する厚さｄのスライスを重ね合わせる、図１の超音波システムからの３Ｄボリューム画像データの透視概略図。 図１の超音波システムから生成した３Ｄボリューム画像データのスクリーンビュー。 本開示の例示的な実施例に従って、図１の混合を行うコンピュータによりレンダリングされた図３の３Ｄボリューム画像データの２Ｄレンダリングされたスライスのスクリーンビュー。 フォンライトモデルの概略図。

Claims (11)

1. 三次元（３Ｄ）超音波画像データからの構造の関心のある特徴を二次元（２Ｄ）画像データと混合するためのシステムにおいて、
   二次元（２Ｄ）Ｘ線画像データを提供するように構成されるＸ線撮像システム、
   三次元（３Ｄ）超音波画像ボリュームデータを提供するように構成される超音波撮像システム、
   前記Ｘ線システム及び前記超音波システムと動作可能に通信するコンピュータであり、
   前記２ＤのＸ線画像データに対応する前記関心領域に対する前記３Ｄ超音波画像ボリュームデータの２Ｄ表現を作成し、前記３Ｄ超音波画像ボリュームデータの前記２Ｄ表現を、前記２ＤのＸ線画像データと混合して前記構造の２Ｄ混合画像をレンダリングするように構成されるコンピュータ、並びに
   前記コンピュータと動作可能に通信するディスプレイデバイスであり、前記構造の前記２Ｄ混合画像を表示するディスプレイデバイス
   を有し、
   前記混合画像においてカテーテル先端が検出される場合、前記カテーテル先端の位置依存性増強を加えるために、前記Ｘ線画像データが前記超音波画像データよりも局所的に優先される、
   システム。
2. 前記コンピュータは、前記２ＤのＸ線画像データを表す平面に対応する前記ボリュームデータから厚さｄのスライスボリュームを選択することにより、前記３Ｄ超音波ボリューム画像データの２Ｄ表現を作成し、前記スライスボリュームにボリュームレンダリング操作を行う請求項１に記載のシステム。
3. 前記混合はα混合を含み、前記α混合は、
   Ｃ _out,RGB （ｘ，ｙ）＝αＣ _xray,RGB （ｘ，ｙ）＋（１−α）Ｃ _us,RGB （ｘ，ｙ）
   の数式により、２つの重畳するピクセルがスクリーンのピクセルの色に寄与する比率を与える０から１の間のα値を含み、Ｃ _xray,RGB 及びＣ _us,RGB は前記Ｘ線画像データ及び前記超音波画像データの色をあらわす、請求項１に記載のシステム。
4. 前記α値は、以下の数式
   α（ｘ，ｙ，Ｃ_xray,RGB，Ｃ_us,RGB）＝ｋα（ｘ，ｙ）α（Ｃ_xray,RGB）α（Ｃ_us,RGB）
   α_i∈［０，１］
   に従って、前記Ｘ線画像データ及び前記スライスボリューム超音波画像データの対応する色（Ｃ）に依存している請求項３に記載のシステム。
5. 前記混合画像においてカテーテル先端が検出される場合、
   α（ｘ，ｙ）は、前記Ｘ線画像データが前記混合画像の前記超音波画像データよりも局所的に優先することを可能にするように増大する請求項４に記載のシステム。
6. 値ｋは、前記混合画像の超音波画像データが基礎となるＸ線画像データに対して溶明及び溶暗することを可能にする混合因子バイアスとして使用される請求項４に記載のシステム。
7. α（Ｃ_xray,RGB ）及びα（Ｃ_us,RGB ）は、ピクセル輝度（ｂ）の関数である請求項４に記載のシステム。
8. 前記ボリュームレンダリングされたメタデータに対する前記ピクセル輝度（ｂ）は、各ボクセルにより反射される光の量により決められ、フォンライトモデルを用いて計算される請求項７に記載のシステム。
9. 前記２ＤのＸ線画像データ及び３Ｄ超音波画像ボリュームデータは、同時に得られる請求項１に記載のシステム。
10. 前記構造は、前記Ｘ線及び超音波撮像モダリティの両方により同時に撮像され、前記構造の２Ｄ表現は、リアルタイムで表示される請求項１に記載のシステム。
11. 前記コンピュータは、前記Ｘ線システムの一部、前記超音波システムの一部、及びディスプレイデバイスを備える独立型ユニットの１つである請求項１に記載のシステム。

Images