JP4937261B2 - System and method for selectively mixing 2D X-ray images and 3D ultrasound images - Google Patents
System and method for selectively mixing 2D X-ray images and 3D ultrasound images Download PDFInfo
- Publication number
- JP4937261B2 JP4937261B2 JP2008525666A JP2008525666A JP4937261B2 JP 4937261 B2 JP4937261 B2 JP 4937261B2 JP 2008525666 A JP2008525666 A JP 2008525666A JP 2008525666 A JP2008525666 A JP 2008525666A JP 4937261 B2 JP4937261 B2 JP 4937261B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- ultrasound
- ray
- volume
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Description
本開示は、二次元(2D)X線画像を三次元(3D)超音波画像と組み合わせること、特に関連するX線情報を不明瞭にすることなく、2DのX線画像及び3D超音波画像から混合した2D画像を作成する、誘導式心臓介入において2DのX線画像を3D超音波画像と組み合わせるための方法及び装置に関する。 The present disclosure combines two-dimensional (2D) X-ray images with three-dimensional (3D) ultrasound images, particularly from 2D X-ray images and 3D ultrasound images without obscuring the associated X-ray information. The present invention relates to a method and apparatus for combining 2D X-ray images with 3D ultrasound images in guided cardiac interventions to create mixed 2D images.
心臓専門医は、(血管造影図用の注入色素又は検出電気情報のどちらかである)診断情報を収集するために、心臓においてカテーテルを使用する。心臓専門医はさらに心臓に治療を届けるために、無線周波数のアブレーションカテーテル(ablation catheter)のようなデバイスを使用する。これら診断及び治療デバイスは通例、X線透視画像に基づいて心臓内において操られる。血管のX線透視は、血管の超音波及び血管造影のような他の既知の血管撮像方法により供給されるのに比べ、血管及び血管壁のより良好なコントラスト及び解像度を持つことはよく知られている。これはしばしば、長時間の電気生理学的手続き中に1時間又はそれ以上の透視時間となり、特に反復手続きに対する頻繁な必要性を考慮する場合、患者及び医師の両方にとってかなりの放射線被爆となる。加えて、心臓は三次元構造であるのに対し、前記透視画像は単なる二次元である。心臓における診断又は治療デバイスの正確な解剖学的位置を知ることは、正確な診断情報を収集する又は心臓における特定の位置に治療を正確に届けるために、極めて重要であるので、透視画像単独での従来の使用は、しばしば適切ではない。 Cardiologists use catheters in the heart to collect diagnostic information (either infusion dye for angiograms or detected electrical information). Cardiologists also use devices such as radio frequency ablation catheters to deliver treatment to the heart. These diagnostic and therapeutic devices are typically manipulated in the heart based on fluoroscopic images. It is well known that vascular fluoroscopy has better contrast and resolution of blood vessels and vessel walls than is provided by other known angiographic methods such as vascular ultrasound and angiography. ing. This often results in fluoroscopy times of one hour or longer during prolonged electrophysiological procedures, and is a significant radiation exposure for both patients and physicians, especially when considering the frequent need for repetitive procedures. In addition, the perspective image is only two-dimensional while the heart is a three-dimensional structure. Knowing the exact anatomical location of a diagnostic or treatment device in the heart is crucial to gather accurate diagnostic information or to accurately deliver treatment to a specific location in the heart, so a fluoroscopic image alone The conventional use of is often not appropriate.
例えば、心臓介入手続き中に動脈壁の解剖学的に撮像するための現在の方法は、X線及び超音波の両方の撮像モダリティを同時に使用することを含み、このことは広く知られている。二次元(2D)X線画像及び三次元(3D)超音波画像は共に、医師に有用な情報を提供するために生成される。これは、互換テーブルと共に、同じ部屋にX線透視システム及び超音波スキャナが存在することを必要とする。これら欠点は多数あり、2つの撮像モダリティ間を交替することは、カテーテルの位置を変更することであり、2つの撮像モダリティ間を交替することは、2つの画像を一緒に頭の中で重ね合わせる又は調整しる時間のかかる試みであり、患者及び医師は共に有害な電離放射線に曝される、ことを含む。 For example, current methods for anatomical imaging of arterial walls during cardiac intervention procedures include the simultaneous use of both x-ray and ultrasound imaging modalities, which is widely known. Both two-dimensional (2D) x-ray images and three-dimensional (3D) ultrasound images are generated to provide useful information to the physician. This requires that a fluoroscopy system and an ultrasound scanner be present in the same room with a compatible table. These disadvantages are numerous and changing between the two imaging modalities changes the position of the catheter, and changing between the two imaging modalities superimposes the two images together in the head Or a time consuming attempt to coordinate, including both the patient and the physician being exposed to harmful ionizing radiation.
これら2つの情報源を効果的に利用するために、これら2つの情報源の混合が必要とされる。しかしながら、前記2つの撮像モダリティ(解像度、投影、視野)が大きく異なり、別々の制御で別々のディスプレイ上に示されるので、この情報を効果的に利用することは難しい。 In order to effectively use these two information sources, a mixture of these two information sources is required. However, it is difficult to effectively use this information because the two imaging modalities (resolution, projection, field of view) are very different and are shown on different displays with different controls.
混合に関する現在の技術は、画像に関する特徴を考慮していない。これは例えば、X線透視画像の高解像度の細部の視認性の損失につながる。 Current techniques for blending do not take into account image features. This leads to a loss of visibility of high-resolution details of the fluoroscopic image, for example.
今までの努力にもかかわらず、X線撮像において低いコントラストを持つ構造の視認性を高めるために、効果的且つ柔軟/多様性のある手法に対する必要性が残り、これは、介入においてカテーテルがどこの心臓の生体組織に置かれるかを決めることを助ける。加えて、電気生理学的(EP)手続きを短くするための方法及び装置に対する必要性が残り、ここで心臓の電気のロードマップが構成され、これにより患者及び医師の両方に対するX線の放射線量に対する被爆を減少させるために、前記手続きを短くする。 Despite previous efforts, there remains a need for an effective and flexible / various approach to increase the visibility of structures with low contrast in X-ray imaging, which is where the catheter is located in the intervention. Helps determine which heart is placed in the living tissue. In addition, there remains a need for a method and apparatus for shortening electrophysiological (EP) procedures, where a cardiac electrical roadmap is constructed, which allows for x-ray radiation dose to both patients and physicians. Shorten the procedure to reduce exposure.
これら及び他の必要性は、別々の2DのX線画像及び3D超音波画像を、特に誘導式心臓介入中に使用するための単一の2D画像に組み合わせるのに適した開示される方法及び装置により満たされる。 These and other needs are disclosed methods and apparatus suitable for combining separate 2D X-ray images and 3D ultrasound images into a single 2D image, particularly for use during guided cardiac intervention. Is satisfied by.
本開示は、構造を撮像するための方法を提供する。この方法は、X線システムを用いて二次元(2D)X線画像データを、及び超音波システムを用いて三次元(3D)超音波画像ボリュームデータを、得ることを含む。前記3D超音波画像ボリュームデータの2D表現は、前記2DのX線画像データに対応する関心領域に対して作成される。この3D超音波画像ボリュームデータの2D表現は、前記構造の2D混合画像データをレンダリングする2DのX線画像データと混合され、2D混合画像データは前記構造の2D混合画像として表示される。例示的な実施例において、X線画像データ及び超音波画像データは同時に得られるのに対し、前記構造の2D混合画像は、リアルタイムで表示される。前記混合はコンピュータ内で起こり、このコンピュータはX線システム、超音波システムの一部又はディスプレイデバイスを備えた独立型ユニットである。 The present disclosure provides a method for imaging a structure. The method includes obtaining two-dimensional (2D) x-ray image data using an x-ray system and three-dimensional (3D) ultrasound image volume data using an ultrasound system. A 2D representation of the 3D ultrasound image volume data is created for a region of interest corresponding to the 2D X-ray image data. The 2D representation of the 3D ultrasound image volume data is mixed with 2D X-ray image data that renders the 2D mixed image data of the structure, and the 2D mixed image data is displayed as a 2D mixed image of the structure. In an exemplary embodiment, X-ray image data and ultrasound image data are obtained simultaneously, while a 2D mixed image of the structure is displayed in real time. The mixing takes place in a computer, which is a stand-alone unit with an X-ray system, part of an ultrasound system or a display device.
本開示はさらに、三次元(3D)超音波画像データからの構造の関心のある特徴を二次元(2D)画像データと混合するためのシステムも提供する。このシステムは、二次元(2D)X線画像データを供給するように構成されるX線撮像システム、三次元(3D)超音波画像ボリュームデータを供給するように構成される超音波撮像システム、並びに前記X線撮像システム及び前記超音波撮像システムと動作可能に通信するコンピュータを含む。このコンピュータは、前記2DのX線画像データに対応する関心領域に対する前記3D超音波画像ボリュームデータの2D表現を作成し、前記3D超音波画像ボリュームデータの2D表現を、前記構造の2D混合画像をレンダリングする前記2DのX線画像データと混合するように構成される。ディスプレイデバイスは、前記コンピュータと動作可能に通信し、前記構造の2D混合画像を表示する。 The present disclosure further provides a system for mixing structural features of interest from three-dimensional (3D) ultrasound image data with two-dimensional (2D) image data. The system includes an X-ray imaging system configured to supply two-dimensional (2D) X-ray image data, an ultrasound imaging system configured to supply three-dimensional (3D) ultrasound image volume data, and A computer in operable communication with the X-ray imaging system and the ultrasound imaging system; The computer creates a 2D representation of the 3D ultrasound image volume data for a region of interest corresponding to the 2D X-ray image data, and converts the 2D representation of the 3D ultrasound image volume data into a 2D mixed image of the structure. It is configured to be mixed with the 2D X-ray image data to be rendered. A display device is in operative communication with the computer and displays a 2D mixed image of the structure.
例示的な実施例において、X線画像データ及び超音波画像データは同時に得られるのに対し、前記構造の2D混合画像はリアルタイムで表示される。前記混合はコンピュータ内で起こり、このコンピュータは、X線システム、超音波システムの一部又はディスプレイデバイスを備えた独立型ユニットである。 In an exemplary embodiment, X-ray image data and ultrasound image data are obtained simultaneously, while a 2D mixed image of the structure is displayed in real time. The mixing takes place in a computer, which is a stand-alone unit with an X-ray system, part of an ultrasound system or a display device.
開示されたシステム及び方法に関連する追加の特徴、機能及び利点は、特に本開示に添付される特徴と連係してレビューされる場合、以下の詳細な説明から明らかとなるであろう。 Additional features, functions and advantages associated with the disclosed systems and methods will be apparent from the detailed description which follows, particularly when reviewed in conjunction with the features appended to this disclosure.
開示したシステムを作成及び使用する当業者を支援するために、添付する図に参照番号を付しておく。 In order to assist those of ordinary skill in the art in making and using the disclosed systems, the accompanying figures are provided with reference numerals.
ここに述べたように、本開示は、画像の特徴を考慮している、2つの画像モダリティ(例えばX線及び超音波)からの画像の混合を有利に可能及び容易にし、これによりX線画像(例えばX線透視)により供給される高解像度の細部の視認性を維持している。本開示は、当業者には明らかであるように、例えば3D超音波データの2D投影を2DのX線に重畳することにより特徴付けされた単一のスクリーン上に表示される混合画像に関する有用な情報を医師に提供するために、心臓介入手続き中に医用画像と一緒に有利に用いられると共に、所望の混合量を変更するように選択的に制御される。これら開示されるシステム及び方法は、X線システム又は超音波システムの一部に適する、そうでなければ、これらシステムに関連するそれ自体の表示装置を持つ独立型システムに適する。 As described herein, the present disclosure advantageously enables and facilitates the mixing of images from two image modalities (eg, X-ray and ultrasound) that take into account image characteristics, thereby enabling X-ray images. The visibility of high-resolution details supplied by (e.g. X-ray fluoroscopy) is maintained. The present disclosure is useful for mixed images displayed on a single screen characterized, for example, by superimposing a 2D projection of 3D ultrasound data onto 2D x-rays, as will be apparent to those skilled in the art. To provide information to the physician, it is advantageously used with a medical image during a cardiac intervention procedure and selectively controlled to change the desired amount of mixing. These disclosed systems and methods are suitable for parts of X-ray systems or ultrasound systems, or otherwise, stand-alone systems with their own display associated with these systems.
図1を参照すると、例示的な撮像システム100が概略的に描かれている。システム100は、従来のテレビジョンX線システム102を有し、このシステム100は、X線システム102により生成した二次元(2D)のX線データを見るための対応するモニタ104を含む。X線システム102は、C型アーム100を介してX線システム102に動作可能に接続されるX線管106及びX線検出器108を有する。これらX線管106及びX線検出器108は、アーム110を規定している対向する末端上に置かれている。X線管106は、モニタ104上に最終的に表示するためのX線画像データ132を生成するために、テーブル114により支持される患者112を通り、X線検出器108を用いて検出されるX線(図示せず)を発生させる。
With reference to FIG. 1, an
システム100はさらに、従来のリアルタイムの三次元(3D)超音波システム122も含み、このシステム100は、超音波システム122により生成した3D超音波画像ボリュームデータ134を見るための対応するモニタ124を含む。超音波システム122は、患者112の対応するボリュームから生じる音響エコーに対応する信号を発生させるために構成されるプローブ128を含む。プローブ128は、患者112の対応するボリュームから生じる音響エコーの強さを表す値の再構成される3Dアレイを生成し、モニタ124上に最終的に表示するための3D超音波画像ボリュームデータを生成するために、患者112の関心ボリュームの上に置かれる。
The
患者112は両方のモダリティにより同時に撮像され、両方のシステム102、122からのライブ画像/ボリュームデータは、コンピュータ130に集められる。コンピュータ130は、このコンピュータ130と動作可能に通信してモニタ136に1つの組み合わされた2D画像を製造するために、2つのデータストリーム132、134を一緒に混合する。図1及びそれに伴う記述は、3D超音波ボリュームデータ134を2DのX線画像データ132と混合するためのシステム及び方法を開示している。X線データ132は、モノクロ諧調として表される絶対値からなるのに対し、超音波ボリュームデータ134は、関心ボリューム内の各位置から生じる音響エコーの強さを表す値の再構成される3Dアレイである。
図2から図4を参照すると、第1のステップは、超音波データ134を2DのX線画像データ132と混合できるようにするために、この超音波データ134の2D表現を作成するステップを含む。これは、ボリュームデータ134から厚さdのスライスボリューム144を得て(図2)、146に一般的に示されるスライスボリューム144の2D表現をレンダリングするために、前記スライスボリューム144にボリュームレンダリング操作を行うことにより達成される。レンダリングされたスライスボリューム146は、前記2DのX線画像データ132の画像面に対応している。図2は、上述したスライス処理を説明している。
With reference to FIGS. 2-4, the first step includes creating a 2D representation of the
一般的なボリュームレンダリング操作は、前記スライスボリューム144を通る光線を投じる最大値投影を含み、対応する出力ピクセルにおいて累積値を製造する。上述したボリュームレンダリング方法及び他のボリュームレンダリング方法はよく知られ、本開示の範囲に入らないことは、当業者により認識されている。図3は、モニタ124上における3Dボリュームデータの画像を説明しているのに対し、図4は、モニタ136上に見られる図3の同じ関心ボリュームのレンダリングされた2D画像の画像を説明している。
A typical volume rendering operation involves a maximum projection that casts rays through the
次いで、超音波レンダリングされたスライスボリューム146は、X線画像データ132の上にレンダリングされる。これは、簡単な"クッキーカット(cookie cut)"操作では行われず、この場合、矩形のX線画像の領域が完全にぼやけてしまう。この超音波レンダリングされたスライスボリューム146は、本開示の例示的な実施例に従って以下にさらに十分に説明される混合技術を用いて、基礎となるX線画像データ132と混合される。混合する方法は、アルファ混合の形式を含むが、これに限定されない。0から1の間にあるアルファ値(α)は、以下の数式
Cout,RGB(x,y)=αCxray,RGB(x,y)+(1−α)Cus,RGB(x,y)
により、2つの重畳しているピクセルがスクリーンのピクセルの色に寄与する比率を与える。コンピュータグラフィックに関する一般的な応用において、アルファ(α)は定数又は(x,y)の関数である。本開示の目的のために、空間依存性は零に設定される。加えて、ここに開示される方法において、αはX線画像データ132(Cxray,RGB)及びレンダリングされた超音波ボリューム146に関連するデータ(Cus,RGB)の色(C)に依存している。これにより、
α(x,y,Cxray,RGB,Cus,RGB)=kα(x,y)α(Cxray,RGB)α(Cus,RGB ) αi∈[0,1]
である。上述したように、α(x,y)は一定値である。例示的な実施例において、α(x,y)の値は0.5であり、ここではX線画像データ132と、レンダリングされた超音波ボリューム146に関連するデータとの間に同等の混合が存在している。α(x,y)の値は、X線画像において検出されたカテーテル先端(図示せず)の位置依存性増強を加えるために後で使用される。言い換えると、カテーテル先端がモニタ136上のビュー画像140において検出される場合、X線画像データ132が超音波画像データよりも局所的に優先されるように、α(x,y)の値は増大する。値kは、医師がX線画像データに対して、前記レンダリングされた超音波画像ボリューム146からのデータを溶明及び溶暗するように制御することができる混合因子バイアス(blend factor bias)として使用される。kの初期値は1であるが、この値は零(0)から正の無限大(+∞)の間を変化することができる。kの値によってαが1よりも大きくなる場合、αは1にクリップされることを述べておく。
The ultrasound rendered
Gives the ratio that two overlapping pixels contribute to the color of the pixel on the screen. In general applications relating to computer graphics, alpha (α) is a constant or a function of (x, y). For the purposes of this disclosure, the spatial dependence is set to zero. In addition, in the method disclosed herein, α depends on the color (C) of the X-ray image data 132 (C xray, RGB ) and the data (C us, RGB ) associated with the rendered
α (x, y, C xray, RGB , C us, RGB ) = kα (x, y) α (C xray, RGB ) α (C us, RGB ) αi∈ [0,1]
It is. As described above, α (x, y) is a constant value. In the exemplary embodiment, the value of α (x, y) is 0.5, where there is an equivalent mix between the
Cxray及びCusの関数としてαに有意義な尺度は、ピクセル輝度又は濃淡値(gray value)である。X線画像に対し、これは、色情報が無い、つまりピクセル値が輝度値である(例えばR,G及びBは全て等しい)ことを暗に意味している。超音波データに対し、X線画像データからの視覚コントラストを向上させるのに色が使用される。この色は、ボリュームレンダリング処理に意図的に加えられる。前記ピクセル輝度はこのとき最大の(R,G,B)により与えられる。
A meaningful measure for α as a function of C xray and C us is pixel luminance or gray value. For X-ray images, this implies that there is no color information, that is, the pixel values are luminance values (eg R, G and B are all equal). For ultrasound data, color is used to improve visual contrast from X-ray image data. This color is intentionally added to the volume rendering process. The pixel brightness is then given by the maximum (R, G, B).
図2のレンダリングされたスライスボリューム146により表されるボリュームレンダリングされたメタデータにおいて、ピクセル輝度は、各ボクセルにより反射される光の量により決められる。図5は、160で一般的に示されるフォンライトモデル(Phong's lighting model)を表す。これは簡単であるが効果的である。フォンモデルは、コンピュータグラフィックにおいて最も一般的なライティングモデルの1つである。図5は、フォンライト計算式への重要な入力を説明している。ベクトル(V)の上に置かれる第1のドット162はカメラ位置を示し、第2のドットは、光源位置を示す。ベクトル(N)は、表面法線を示す。ピクセル輝度は、前記表面法線(N)に従って反射する(ベクトルLと一直線に並ぶが、向きが逆であるベクトルである)入射光線を投じ、観測者を指しているビューベクトル(V)と反射光線のベクトル(R)との内積(dot product)を得ることにより計算される。この内積の結果は、前記法線(N)が観測者の方向に向いている(適当な光条件、すなわち問題となっている表面の点が観測者の視点から適当に照らされると仮定する)場合に最もよくなるので、撮像される構造の稜線(ridge)の上部は、表面上の谷(valley)よりも明るい。これは、フォンライトモデルのようなシェーディングアルゴリズムが達成しようとする3Dインプレッションに対応している。これは、それ自体では些細なことであり、無論、上述した輝度依存性混合にリンク付けされる場合、レンダリングされた超音波表面の稜線は、X線画像の上に重畳され、"陰になった"谷は、このX線画像の上には重畳されない。これは例えば心筋又は他の解剖学的特徴を表す外形の表示を可能にするのに対し、未修正の基礎となるX線画像は、前記レンダリングされた超音波表面の稜線間を通り輝く。さらに、前記稜線の硬さを制御するためのこの関数は、α(Cus)関数にリンクされることができる。
In the volume rendered metadata represented by the rendered
本開示は、介入手続き、特にX線透視法を用いた手続きに使用される医用撮像システムに応用されることができる。X線画像及び超音波ボリュームは、コンピュータ130を用いて混合され、このコンピュータ130は図1に示されるように、X線システム102の一部、超音波システム122の一部、又はそれ自身がディスプレイを持つ独立型ユニットとすることが可能であることが確認されている。
The present disclosure can be applied to medical imaging systems used in intervention procedures, particularly procedures using fluoroscopy. The x-ray image and the ultrasound volume are mixed using a
本開示の機能的応用は、X線において低いコントラストを持つ構造の視認性を高め、これにより、インターベンショナリスト(interventionalist)が患者の心臓の生体組織に置かれたカテーテルの位置を決めるのことを支援する。これは、電気生理学(EP)手続きを短くするのに役立ち、この手続きにおいて、心臓の電気のロードマップが構成される。例えば心筋のような超音波ボリュームにより供給されるコンテクスト情報の場合、このロードマップ処理に必要な時間が減少する。この処理がX線透視下で略完全に行われるので、この手続きは、患者及び医者の両方に対するX線量を減少させる。 The functional application of the present disclosure enhances the visibility of structures with low contrast in X-rays, thereby allowing an interventionist to position a catheter placed in the living tissue of the patient's heart. To help. This helps shorten the electrophysiology (EP) procedure, in which the cardiac electrical roadmap is constructed. For example, in the case of context information supplied by an ultrasonic volume such as a myocardium, the time required for this roadmap processing is reduced. This procedure reduces the X-ray dose for both the patient and the doctor, since this process is performed almost completely under fluoroscopy.
要するに、開示されるシステム、装置及び方法は、医用撮像システムのユーザ、特に介入手続き中、X線及び超音波画像を一緒に使用する医師にかなりの恩恵を供給する。確かに、これら開示されるシステム、装置及び方法は、X線撮像において低いコントラストを持つ構造の高められた視認性を提供し、生体組織(例えば心臓)内における構造の電気のロードマップが構成される電気生理学(EP)手続きを短くするのに役立つのと同じく、介入において、カテーテルが生体組織のどこに置かれているかを決めるのを手助けする。例えば心筋のような超音波ボリュームにより供給されるコンテクスト情報を使用することにより、例えば結果生じる2D画像は、医師によってさらに容易に処理される。この処理がX線透視下で略完全に行われるので、撮像手続きが短くなり、これにより患者及び医者の両方に対するX線量を減少させる。特に、開示されるシステム、装置及び方法は、3D超音波データの2D投影を2DのX線データに重畳することにより高められた視認性を提供する。これは、X線データ及び超音波データの両方(又は一方)における特徴を測定することにより選択的に行われる。このようにして、超音波データから関心のある特徴だけがX線データの上に投影され、これにより、2つの情報源を単一のディスプレイ上において効果的に利用する。 In short, the disclosed systems, devices and methods provide significant benefits to users of medical imaging systems, particularly physicians who use X-ray and ultrasound images together during an interventional procedure. Indeed, these disclosed systems, devices and methods provide enhanced visibility of structures with low contrast in x-ray imaging and constitute an electrical roadmap of the structure within the biological tissue (eg, heart). As well as helping shorten the electrophysiology (EP) procedure, the intervention helps determine where the catheter is located in the living tissue. By using the context information supplied by an ultrasound volume, such as the myocardium, for example, the resulting 2D image is more easily processed by a physician. Since this process is performed almost completely under fluoroscopy, the imaging procedure is shortened, thereby reducing the x-ray dose for both the patient and the doctor. In particular, the disclosed systems, devices and methods provide enhanced visibility by superimposing a 2D projection of 3D ultrasound data onto 2D x-ray data. This is selectively done by measuring features in both (or one) of x-ray data and ultrasound data. In this way, only the features of interest from the ultrasound data are projected onto the X-ray data, thereby effectively utilizing the two information sources on a single display.
本開示のシステム、装置及び方法が、これらの例示的な実施例を参照して説明されていたとしても、本開示がこのような例示的な実施例に限定されない。寧ろ、ここに開示されるシステム、装置及び方法は、本開示の意図又は範囲から外れることなく、様々な修正、拡張及び/又は変形の余地がある。それ故に、本開示は、本開示に添付される特許請求の範囲内において、このような修正、拡張及び/又は変形を具現化及び包含する。 Even though the systems, devices and methods of the present disclosure have been described with reference to these exemplary embodiments, the present disclosure is not limited to such exemplary embodiments. Rather, the systems, devices, and methods disclosed herein are susceptible to various modifications, expansions, and / or variations without departing from the spirit or scope of the present disclosure. Accordingly, the present disclosure embodies and encompasses such modifications, extensions, and / or variations within the scope of the claims appended hereto.
Claims (11)
二次元(2D)X線画像データを提供するように構成されるX線撮像システム、
三次元(3D)超音波画像ボリュームデータを提供するように構成される超音波撮像システム、
前記X線システム及び前記超音波システムと動作可能に通信するコンピュータであり、
前記2DのX線画像データに対応する前記関心領域に対する前記3D超音波画像ボリュームデータの2D表現を作成し、前記3D超音波画像ボリュームデータの前記2D表現を、前記2DのX線画像データと混合して前記構造の2D混合画像をレンダリングするように構成されるコンピュータ、並びに
前記コンピュータと動作可能に通信するディスプレイデバイスであり、前記構造の前記2D混合画像を表示するディスプレイデバイス
を有し、
前記混合画像においてカテーテル先端が検出される場合、前記カテーテル先端の位置依存性増強を加えるために、前記X線画像データが前記超音波画像データよりも局所的に優先される、
システム。In a system for mixing interesting features of a structure from three-dimensional (3D) ultrasound image data with two-dimensional (2D) image data,
An x-ray imaging system configured to provide two-dimensional (2D) x-ray image data;
An ultrasound imaging system configured to provide three-dimensional (3D) ultrasound image volume data;
A computer in operable communication with the X-ray system and the ultrasound system;
Creating a 2D representation of the 3D ultrasound image volume data for the region of interest corresponding to the 2D X-ray image data, and mixing the 2D representation of the 3D ultrasound image volume data with the 2D X-ray image data to computer configured to render the 2D combined image of the structure, as well as a display device in operative communication with the computer, have a display device for displaying the 2D combined image of said structure,
When a catheter tip is detected in the mixed image, the X-ray image data is locally prioritized over the ultrasound image data in order to add position dependence enhancement of the catheter tip.
system.
C out,RGB (x,y)=αC xray,RGB (x,y)+(1−α)C us,RGB (x,y)
の数式により、2つの重畳するピクセルがスクリーンのピクセルの色に寄与する比率を与える0から1の間のα値を含み、C xray,RGB 及びC us,RGB は前記X線画像データ及び前記超音波画像データの色をあらわす、請求項1に記載のシステム。The mixing only contains a mixture α, the α mixing,
C out, RGB (x, y) = αC xray, RGB (x, y) + (1−α) C us, RGB (x, y)
, Which includes an α value between 0 and 1 that gives the ratio at which two overlapping pixels contribute to the color of the pixel on the screen, where C xray, RGB and C us, RGB are the X-ray image data and the super The system according to claim 1 , which represents a color of the sonic image data .
α(x,y,Cxray,RGB,Cus,RGB)=kα(x,y)α(Cxray,RGB)α(Cus,RGB)
αi∈[0,1]
に従って、前記X線画像データ及び前記スライスボリューム超音波画像データの対応する色(C)に依存している請求項3に記載のシステム。The α value is expressed by the following formula α (x, y, C xray, RGB , C us, RGB ) = kα (x, y) α (C xray, RGB ) α (C us, RGB )
α i ∈ [0,1]
4. The system according to claim 3 , wherein the system is dependent on the corresponding color (C) of the X-ray image data and the slice volume ultrasound image data.
α(x,y)は、前記X線画像データが前記混合画像の前記超音波画像データよりも局所的に優先することを可能にするように増大する請求項4に記載のシステム。 When a catheter tip is detected in the mixed image,
The system of claim 4 , wherein α (x, y) is increased to allow the X-ray image data to override the ultrasound image data of the mixed image locally.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US70686405P | 2005-08-09 | 2005-08-09 | |
US60/706,864 | 2005-08-09 | ||
PCT/IB2006/052380 WO2007017772A2 (en) | 2005-08-09 | 2006-07-12 | System and method for selective blending of 2d x-ray images and 3d ultrasound images |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009504220A JP2009504220A (en) | 2009-02-05 |
JP4937261B2 true JP4937261B2 (en) | 2012-05-23 |
Family
ID=37433634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008525666A Active JP4937261B2 (en) | 2005-08-09 | 2006-07-12 | System and method for selectively mixing 2D X-ray images and 3D ultrasound images |
Country Status (7)
Country | Link |
---|---|
US (1) | US8131041B2 (en) |
EP (1) | EP1915738B1 (en) |
JP (1) | JP4937261B2 (en) |
KR (1) | KR20080034447A (en) |
CN (1) | CN101243472B (en) |
CA (1) | CA2618294A1 (en) |
WO (1) | WO2007017772A2 (en) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7869637B2 (en) * | 2006-07-31 | 2011-01-11 | Siemens Medical Solutions Usa, Inc. | Histogram calculation for auto-windowing of collimated X-ray image |
US8219181B2 (en) * | 2008-12-16 | 2012-07-10 | General Electric Company | Medical imaging system and method containing ultrasound docking port |
US8214021B2 (en) * | 2008-12-16 | 2012-07-03 | General Electric Company | Medical imaging system and method containing ultrasound docking port |
US20100208981A1 (en) * | 2009-02-13 | 2010-08-19 | Harris Corporation | Method for visualization of point cloud data based on scene content |
JP5430203B2 (en) * | 2009-03-31 | 2014-02-26 | キヤノン株式会社 | Image processing apparatus and image processing method |
US7831015B2 (en) * | 2009-03-31 | 2010-11-09 | General Electric Company | Combining X-ray and ultrasound imaging for enhanced mammography |
US9282944B2 (en) * | 2010-06-22 | 2016-03-15 | Queen's University At Kingston | C-arm pose estimation using intensity-based registration of imaging modalities |
WO2012019162A1 (en) | 2010-08-06 | 2012-02-09 | Accuray, Inc. | Systems and methods for real-time tumor tracking during radiation treatment using ultrasound imaging |
DE102011079561B4 (en) * | 2011-07-21 | 2018-10-18 | Siemens Healthcare Gmbh | Method and X-ray device for timely presentation of a moving section of a body, computer program and data carrier |
US8995734B2 (en) * | 2012-01-10 | 2015-03-31 | Kabushiki Kaisha Toshiba | Image processing method and system |
JP6106259B2 (en) * | 2012-03-21 | 2017-03-29 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | Clinical workstation integrating medical imaging and biopsy data and method of using the same |
KR101378757B1 (en) * | 2012-08-30 | 2014-03-27 | 한국원자력연구원 | Radiation imaging equipment and method available to obtain element date of material and select dimensions of image |
US11373361B2 (en) | 2012-11-06 | 2022-06-28 | Koninklijke Philips N.V. | Enhancing ultrasound images |
EP2925232B1 (en) * | 2012-12-03 | 2022-08-31 | Koninklijke Philips N.V. | Integration of ultrasound and x-ray modalities |
JP5675930B2 (en) * | 2013-10-28 | 2015-02-25 | 株式会社東芝 | X-ray diagnostic equipment |
US9480403B2 (en) | 2013-12-16 | 2016-11-01 | General Electric Company | Medical imaging system and method for generating a blended cine loop |
US10507006B2 (en) | 2013-12-27 | 2019-12-17 | General Electric Company | System and method for tracking an invasive device using ultrasound position signals |
WO2017013019A1 (en) * | 2015-07-17 | 2017-01-26 | Koninklijke Philips N.V. | Guidance for lung cancer radiation |
US10681325B2 (en) * | 2016-05-16 | 2020-06-09 | Google Llc | Continuous depth-ordered image compositing |
US20180235701A1 (en) * | 2017-02-21 | 2018-08-23 | General Electric Company | Systems and methods for intervention guidance using pre-operative planning with ultrasound |
US10952795B2 (en) * | 2017-06-30 | 2021-03-23 | Biosense Webster (Israel) Ltd. | System and method for glass state view in real-time three-dimensional (3D) cardiac imaging |
CN107909624B (en) * | 2017-12-05 | 2019-12-24 | 南京大学 | Method for extracting and fusing two-dimensional image from three-dimensional tomography |
US10719907B2 (en) | 2018-02-27 | 2020-07-21 | Canon Medical Systems Corporation | Method of, and apparatus for, data processing |
EP3659514A1 (en) * | 2018-11-29 | 2020-06-03 | Koninklijke Philips N.V. | Image-based device identification and localization |
CN112057167B (en) * | 2019-05-22 | 2022-05-24 | 深圳市德力凯医疗设备股份有限公司 | Ultrasonic navigation method and ultrasonic navigation equipment for vascular surgery |
US20220211348A1 (en) * | 2019-05-31 | 2022-07-07 | Koninklijke Philips N.V. | Guided ultrasound imaging |
US11282218B2 (en) * | 2019-11-25 | 2022-03-22 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for providing medical guidance using a patient depth image |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0938073A (en) * | 1995-07-27 | 1997-02-10 | Hitachi Medical Corp | X-ray diagnostic device |
JPH10127623A (en) * | 1996-10-29 | 1998-05-19 | Shimadzu Corp | Compound type medical diagnostic image system |
JPH10286251A (en) * | 1997-04-14 | 1998-10-27 | Eiichi Masai | Fluoroscopic operating device |
US6421454B1 (en) * | 1999-05-27 | 2002-07-16 | Litton Systems, Inc. | Optical correlator assisted detection of calcifications for breast biopsy |
JP2003515829A (en) * | 1999-11-23 | 2003-05-07 | キヤノン株式会社 | Image processing device |
DE19963440C2 (en) * | 1999-12-28 | 2003-02-20 | Siemens Ag | Method and system for visualizing an object |
JP4515578B2 (en) * | 2000-01-17 | 2010-08-04 | 株式会社東芝 | Three-dimensional ultrasonic diagnostic apparatus, three-dimensional ultrasonic diagnostic image display method, and recording medium |
CN1135956C (en) * | 2000-06-02 | 2004-01-28 | 清华大学 | Ultrasonic fusion imaging method integrating cardiac muscle's backward scattering |
EP2460473B1 (en) * | 2003-05-08 | 2017-01-11 | Hitachi, Ltd. | Reference image display method for ultrasonography and ultrasonic diagnosis apparatus |
US7935055B2 (en) * | 2003-09-19 | 2011-05-03 | Siemens Medical Solutions Usa, Inc. | System and method of measuring disease severity of a patient before, during and after treatment |
US8098950B2 (en) | 2003-11-26 | 2012-01-17 | General Electric Company | Method and apparatus for segmentation-based image operations |
DE10357184A1 (en) * | 2003-12-08 | 2005-07-07 | Siemens Ag | Combination of different images relating to bodily region under investigation, produces display images from assembled three-dimensional fluorescence data image set |
EP1699361B1 (en) * | 2003-12-22 | 2009-12-09 | Koninklijke Philips Electronics N.V. | System for guiding a medical instrument in a patient body |
-
2006
- 2006-07-12 KR KR1020087002635A patent/KR20080034447A/en not_active Application Discontinuation
- 2006-07-12 EP EP06780065.6A patent/EP1915738B1/en active Active
- 2006-07-12 WO PCT/IB2006/052380 patent/WO2007017772A2/en active Application Filing
- 2006-07-12 JP JP2008525666A patent/JP4937261B2/en active Active
- 2006-07-12 US US11/997,441 patent/US8131041B2/en active Active
- 2006-07-12 CA CA002618294A patent/CA2618294A1/en not_active Abandoned
- 2006-07-12 CN CN200680029534.0A patent/CN101243472B/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP1915738B1 (en) | 2018-09-26 |
CN101243472B (en) | 2016-08-03 |
EP1915738A2 (en) | 2008-04-30 |
KR20080034447A (en) | 2008-04-21 |
CA2618294A1 (en) | 2007-02-15 |
US8131041B2 (en) | 2012-03-06 |
US20080219540A1 (en) | 2008-09-11 |
CN101243472A (en) | 2008-08-13 |
WO2007017772A3 (en) | 2007-05-10 |
WO2007017772A2 (en) | 2007-02-15 |
JP2009504220A (en) | 2009-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4937261B2 (en) | System and method for selectively mixing 2D X-ray images and 3D ultrasound images | |
RU2471239C2 (en) | Visualisation of 3d images in combination with 2d projection images | |
US8090174B2 (en) | Virtual penetrating mirror device for visualizing virtual objects in angiographic applications | |
CN101065062B (en) | Image processing system and method for displaying images during interventional procedures | |
US8045780B2 (en) | Device for merging a 2D radioscopy image with an image from a 3D image data record | |
US10674971B2 (en) | X-ray image display apparatus and method for X-ray image display | |
JP2006320721A (en) | Method of expanding display range of volume photographing of object region | |
RU2469308C2 (en) | X-ray instrument for three-dimensional ultrasonic analysis | |
JP2004320771A (en) | Method for performing digital subtraction angiography | |
US10537293B2 (en) | X-ray CT system, image display device, and image display method | |
JP4122463B2 (en) | Method for generating medical visible image | |
JP2001084409A (en) | Method and device for processing three-dimensional image | |
JP4996128B2 (en) | Medical image processing apparatus and medical image processing method | |
JP5942217B2 (en) | Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program | |
JP2014503272A (en) | System and method for generating and displaying projections from 3D or 4D datasets | |
US9552663B2 (en) | Method and system for volume rendering of medical images | |
JP5305635B2 (en) | Medical image display device | |
US20100215150A1 (en) | Real-time Assisted Guidance System for a Radiography Device | |
JP2009153919A (en) | Ultrasonic diagnostic system, ultrasonic image processor and ultrasonic image processing program | |
JP2009082470A (en) | Image display and image display method | |
JP6662580B2 (en) | Medical image processing equipment | |
JP2024022447A (en) | Medical imaging device and volume rendering method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120221 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4937261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |