JP4937261B2 - System and method for selectively mixing 2D X-ray images and 3D ultrasound images - Google Patents

System and method for selectively mixing 2D X-ray images and 3D ultrasound images Download PDF

Info

Publication number
JP4937261B2
JP4937261B2 JP2008525666A JP2008525666A JP4937261B2 JP 4937261 B2 JP4937261 B2 JP 4937261B2 JP 2008525666 A JP2008525666 A JP 2008525666A JP 2008525666 A JP2008525666 A JP 2008525666A JP 4937261 B2 JP4937261 B2 JP 4937261B2
Authority
JP
Japan
Prior art keywords
image data
ultrasound
ray
volume
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008525666A
Other languages
Japanese (ja)
Other versions
JP2009504220A (en
Inventor
モルス マールテン テル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009504220A publication Critical patent/JP2009504220A/en
Application granted granted Critical
Publication of JP4937261B2 publication Critical patent/JP4937261B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Description

本開示は、二次元(2D)X線画像を三次元(3D)超音波画像と組み合わせること、特に関連するX線情報を不明瞭にすることなく、2DのX線画像及び3D超音波画像から混合した2D画像を作成する、誘導式心臓介入において2DのX線画像を3D超音波画像と組み合わせるための方法及び装置に関する。   The present disclosure combines two-dimensional (2D) X-ray images with three-dimensional (3D) ultrasound images, particularly from 2D X-ray images and 3D ultrasound images without obscuring the associated X-ray information. The present invention relates to a method and apparatus for combining 2D X-ray images with 3D ultrasound images in guided cardiac interventions to create mixed 2D images.

心臓専門医は、(血管造影図用の注入色素又は検出電気情報のどちらかである)診断情報を収集するために、心臓においてカテーテルを使用する。心臓専門医はさらに心臓に治療を届けるために、無線周波数のアブレーションカテーテル(ablation catheter)のようなデバイスを使用する。これら診断及び治療デバイスは通例、X線透視画像に基づいて心臓内において操られる。血管のX線透視は、血管の超音波及び血管造影のような他の既知の血管撮像方法により供給されるのに比べ、血管及び血管壁のより良好なコントラスト及び解像度を持つことはよく知られている。これはしばしば、長時間の電気生理学的手続き中に1時間又はそれ以上の透視時間となり、特に反復手続きに対する頻繁な必要性を考慮する場合、患者及び医師の両方にとってかなりの放射線被爆となる。加えて、心臓は三次元構造であるのに対し、前記透視画像は単なる二次元である。心臓における診断又は治療デバイスの正確な解剖学的位置を知ることは、正確な診断情報を収集する又は心臓における特定の位置に治療を正確に届けるために、極めて重要であるので、透視画像単独での従来の使用は、しばしば適切ではない。   Cardiologists use catheters in the heart to collect diagnostic information (either infusion dye for angiograms or detected electrical information). Cardiologists also use devices such as radio frequency ablation catheters to deliver treatment to the heart. These diagnostic and therapeutic devices are typically manipulated in the heart based on fluoroscopic images. It is well known that vascular fluoroscopy has better contrast and resolution of blood vessels and vessel walls than is provided by other known angiographic methods such as vascular ultrasound and angiography. ing. This often results in fluoroscopy times of one hour or longer during prolonged electrophysiological procedures, and is a significant radiation exposure for both patients and physicians, especially when considering the frequent need for repetitive procedures. In addition, the perspective image is only two-dimensional while the heart is a three-dimensional structure. Knowing the exact anatomical location of a diagnostic or treatment device in the heart is crucial to gather accurate diagnostic information or to accurately deliver treatment to a specific location in the heart, so a fluoroscopic image alone The conventional use of is often not appropriate.

例えば、心臓介入手続き中に動脈壁の解剖学的に撮像するための現在の方法は、X線及び超音波の両方の撮像モダリティを同時に使用することを含み、このことは広く知られている。二次元(2D)X線画像及び三次元(3D)超音波画像は共に、医師に有用な情報を提供するために生成される。これは、互換テーブルと共に、同じ部屋にX線透視システム及び超音波スキャナが存在することを必要とする。これら欠点は多数あり、2つの撮像モダリティ間を交替することは、カテーテルの位置を変更することであり、2つの撮像モダリティ間を交替することは、2つの画像を一緒に頭の中で重ね合わせる又は調整しる時間のかかる試みであり、患者及び医師は共に有害な電離放射線に曝される、ことを含む。   For example, current methods for anatomical imaging of arterial walls during cardiac intervention procedures include the simultaneous use of both x-ray and ultrasound imaging modalities, which is widely known. Both two-dimensional (2D) x-ray images and three-dimensional (3D) ultrasound images are generated to provide useful information to the physician. This requires that a fluoroscopy system and an ultrasound scanner be present in the same room with a compatible table. These disadvantages are numerous and changing between the two imaging modalities changes the position of the catheter, and changing between the two imaging modalities superimposes the two images together in the head Or a time consuming attempt to coordinate, including both the patient and the physician being exposed to harmful ionizing radiation.

これら2つの情報源を効果的に利用するために、これら2つの情報源の混合が必要とされる。しかしながら、前記2つの撮像モダリティ(解像度、投影、視野)が大きく異なり、別々の制御で別々のディスプレイ上に示されるので、この情報を効果的に利用することは難しい。   In order to effectively use these two information sources, a mixture of these two information sources is required. However, it is difficult to effectively use this information because the two imaging modalities (resolution, projection, field of view) are very different and are shown on different displays with different controls.

混合に関する現在の技術は、画像に関する特徴を考慮していない。これは例えば、X線透視画像の高解像度の細部の視認性の損失につながる。   Current techniques for blending do not take into account image features. This leads to a loss of visibility of high-resolution details of the fluoroscopic image, for example.

今までの努力にもかかわらず、X線撮像において低いコントラストを持つ構造の視認性を高めるために、効果的且つ柔軟/多様性のある手法に対する必要性が残り、これは、介入においてカテーテルがどこの心臓の生体組織に置かれるかを決めることを助ける。加えて、電気生理学的(EP)手続きを短くするための方法及び装置に対する必要性が残り、ここで心臓の電気のロードマップが構成され、これにより患者及び医師の両方に対するX線の放射線量に対する被爆を減少させるために、前記手続きを短くする。   Despite previous efforts, there remains a need for an effective and flexible / various approach to increase the visibility of structures with low contrast in X-ray imaging, which is where the catheter is located in the intervention. Helps determine which heart is placed in the living tissue. In addition, there remains a need for a method and apparatus for shortening electrophysiological (EP) procedures, where a cardiac electrical roadmap is constructed, which allows for x-ray radiation dose to both patients and physicians. Shorten the procedure to reduce exposure.

これら及び他の必要性は、別々の2DのX線画像及び3D超音波画像を、特に誘導式心臓介入中に使用するための単一の2D画像に組み合わせるのに適した開示される方法及び装置により満たされる。   These and other needs are disclosed methods and apparatus suitable for combining separate 2D X-ray images and 3D ultrasound images into a single 2D image, particularly for use during guided cardiac intervention. Is satisfied by.

本開示は、構造を撮像するための方法を提供する。この方法は、X線システムを用いて二次元(2D)X線画像データを、及び超音波システムを用いて三次元(3D)超音波画像ボリュームデータを、得ることを含む。前記3D超音波画像ボリュームデータの2D表現は、前記2DのX線画像データに対応する関心領域に対して作成される。この3D超音波画像ボリュームデータの2D表現は、前記構造の2D混合画像データをレンダリングする2DのX線画像データと混合され、2D混合画像データは前記構造の2D混合画像として表示される。例示的な実施例において、X線画像データ及び超音波画像データは同時に得られるのに対し、前記構造の2D混合画像は、リアルタイムで表示される。前記混合はコンピュータ内で起こり、このコンピュータはX線システム、超音波システムの一部又はディスプレイデバイスを備えた独立型ユニットである。   The present disclosure provides a method for imaging a structure. The method includes obtaining two-dimensional (2D) x-ray image data using an x-ray system and three-dimensional (3D) ultrasound image volume data using an ultrasound system. A 2D representation of the 3D ultrasound image volume data is created for a region of interest corresponding to the 2D X-ray image data. The 2D representation of the 3D ultrasound image volume data is mixed with 2D X-ray image data that renders the 2D mixed image data of the structure, and the 2D mixed image data is displayed as a 2D mixed image of the structure. In an exemplary embodiment, X-ray image data and ultrasound image data are obtained simultaneously, while a 2D mixed image of the structure is displayed in real time. The mixing takes place in a computer, which is a stand-alone unit with an X-ray system, part of an ultrasound system or a display device.

本開示はさらに、三次元(3D)超音波画像データからの構造の関心のある特徴を二次元(2D)画像データと混合するためのシステムも提供する。このシステムは、二次元(2D)X線画像データを供給するように構成されるX線撮像システム、三次元(3D)超音波画像ボリュームデータを供給するように構成される超音波撮像システム、並びに前記X線撮像システム及び前記超音波撮像システムと動作可能に通信するコンピュータを含む。このコンピュータは、前記2DのX線画像データに対応する関心領域に対する前記3D超音波画像ボリュームデータの2D表現を作成し、前記3D超音波画像ボリュームデータの2D表現を、前記構造の2D混合画像をレンダリングする前記2DのX線画像データと混合するように構成される。ディスプレイデバイスは、前記コンピュータと動作可能に通信し、前記構造の2D混合画像を表示する。   The present disclosure further provides a system for mixing structural features of interest from three-dimensional (3D) ultrasound image data with two-dimensional (2D) image data. The system includes an X-ray imaging system configured to supply two-dimensional (2D) X-ray image data, an ultrasound imaging system configured to supply three-dimensional (3D) ultrasound image volume data, and A computer in operable communication with the X-ray imaging system and the ultrasound imaging system; The computer creates a 2D representation of the 3D ultrasound image volume data for a region of interest corresponding to the 2D X-ray image data, and converts the 2D representation of the 3D ultrasound image volume data into a 2D mixed image of the structure. It is configured to be mixed with the 2D X-ray image data to be rendered. A display device is in operative communication with the computer and displays a 2D mixed image of the structure.

例示的な実施例において、X線画像データ及び超音波画像データは同時に得られるのに対し、前記構造の2D混合画像はリアルタイムで表示される。前記混合はコンピュータ内で起こり、このコンピュータは、X線システム、超音波システムの一部又はディスプレイデバイスを備えた独立型ユニットである。   In an exemplary embodiment, X-ray image data and ultrasound image data are obtained simultaneously, while a 2D mixed image of the structure is displayed in real time. The mixing takes place in a computer, which is a stand-alone unit with an X-ray system, part of an ultrasound system or a display device.

開示されたシステム及び方法に関連する追加の特徴、機能及び利点は、特に本開示に添付される特徴と連係してレビューされる場合、以下の詳細な説明から明らかとなるであろう。   Additional features, functions and advantages associated with the disclosed systems and methods will be apparent from the detailed description which follows, particularly when reviewed in conjunction with the features appended to this disclosure.

開示したシステムを作成及び使用する当業者を支援するために、添付する図に参照番号を付しておく。   In order to assist those of ordinary skill in the art in making and using the disclosed systems, the accompanying figures are provided with reference numerals.

ここに述べたように、本開示は、画像の特徴を考慮している、2つの画像モダリティ(例えばX線及び超音波)からの画像の混合を有利に可能及び容易にし、これによりX線画像(例えばX線透視)により供給される高解像度の細部の視認性を維持している。本開示は、当業者には明らかであるように、例えば3D超音波データの2D投影を2DのX線に重畳することにより特徴付けされた単一のスクリーン上に表示される混合画像に関する有用な情報を医師に提供するために、心臓介入手続き中に医用画像と一緒に有利に用いられると共に、所望の混合量を変更するように選択的に制御される。これら開示されるシステム及び方法は、X線システム又は超音波システムの一部に適する、そうでなければ、これらシステムに関連するそれ自体の表示装置を持つ独立型システムに適する。   As described herein, the present disclosure advantageously enables and facilitates the mixing of images from two image modalities (eg, X-ray and ultrasound) that take into account image characteristics, thereby enabling X-ray images. The visibility of high-resolution details supplied by (e.g. X-ray fluoroscopy) is maintained. The present disclosure is useful for mixed images displayed on a single screen characterized, for example, by superimposing a 2D projection of 3D ultrasound data onto 2D x-rays, as will be apparent to those skilled in the art. To provide information to the physician, it is advantageously used with a medical image during a cardiac intervention procedure and selectively controlled to change the desired amount of mixing. These disclosed systems and methods are suitable for parts of X-ray systems or ultrasound systems, or otherwise, stand-alone systems with their own display associated with these systems.

図1を参照すると、例示的な撮像システム100が概略的に描かれている。システム100は、従来のテレビジョンX線システム102を有し、このシステム100は、X線システム102により生成した二次元(2D)のX線データを見るための対応するモニタ104を含む。X線システム102は、C型アーム100を介してX線システム102に動作可能に接続されるX線管106及びX線検出器108を有する。これらX線管106及びX線検出器108は、アーム110を規定している対向する末端上に置かれている。X線管106は、モニタ104上に最終的に表示するためのX線画像データ132を生成するために、テーブル114により支持される患者112を通り、X線検出器108を用いて検出されるX線(図示せず)を発生させる。   With reference to FIG. 1, an exemplary imaging system 100 is schematically depicted. The system 100 includes a conventional television x-ray system 102 that includes a corresponding monitor 104 for viewing two-dimensional (2D) x-ray data generated by the x-ray system 102. The X-ray system 102 includes an X-ray tube 106 and an X-ray detector 108 that are operatively connected to the X-ray system 102 via a C-arm 100. These x-ray tube 106 and x-ray detector 108 are placed on opposite ends defining arm 110. X-ray tube 106 is detected using X-ray detector 108 through patient 112 supported by table 114 to generate X-ray image data 132 for final display on monitor 104. X-rays (not shown) are generated.

システム100はさらに、従来のリアルタイムの三次元(3D)超音波システム122も含み、このシステム100は、超音波システム122により生成した3D超音波画像ボリュームデータ134を見るための対応するモニタ124を含む。超音波システム122は、患者112の対応するボリュームから生じる音響エコーに対応する信号を発生させるために構成されるプローブ128を含む。プローブ128は、患者112の対応するボリュームから生じる音響エコーの強さを表す値の再構成される3Dアレイを生成し、モニタ124上に最終的に表示するための3D超音波画像ボリュームデータを生成するために、患者112の関心ボリュームの上に置かれる。   The system 100 further includes a conventional real-time three-dimensional (3D) ultrasound system 122 that includes a corresponding monitor 124 for viewing the 3D ultrasound image volume data 134 generated by the ultrasound system 122. . The ultrasound system 122 includes a probe 128 configured to generate a signal corresponding to an acoustic echo originating from a corresponding volume of the patient 112. Probe 128 generates a reconstructed 3D array of values representing the intensity of acoustic echoes originating from the corresponding volume of patient 112 and generates 3D ultrasound image volume data for final display on monitor 124. To be placed on the volume of interest of the patient 112.

患者112は両方のモダリティにより同時に撮像され、両方のシステム102、122からのライブ画像/ボリュームデータは、コンピュータ130に集められる。コンピュータ130は、このコンピュータ130と動作可能に通信してモニタ136に1つの組み合わされた2D画像を製造するために、2つのデータストリーム132、134を一緒に混合する。図1及びそれに伴う記述は、3D超音波ボリュームデータ134を2DのX線画像データ132と混合するためのシステム及び方法を開示している。X線データ132は、モノクロ諧調として表される絶対値からなるのに対し、超音波ボリュームデータ134は、関心ボリューム内の各位置から生じる音響エコーの強さを表す値の再構成される3Dアレイである。   Patient 112 is imaged simultaneously by both modalities, and live image / volume data from both systems 102, 122 is collected in computer 130. The computer 130 mixes the two data streams 132, 134 together to operably communicate with the computer 130 to produce a combined 2D image on the monitor 136. FIG. 1 and the accompanying description disclose a system and method for mixing 3D ultrasound volume data 134 with 2D X-ray image data 132. X-ray data 132 consists of absolute values represented as monochrome tones, whereas ultrasound volume data 134 is a reconstructed 3D array of values representing the intensity of acoustic echoes originating from each position in the volume of interest. It is.

図2から図4を参照すると、第1のステップは、超音波データ134を2DのX線画像データ132と混合できるようにするために、この超音波データ134の2D表現を作成するステップを含む。これは、ボリュームデータ134から厚さdのスライスボリューム144を得て(図2)、146に一般的に示されるスライスボリューム144の2D表現をレンダリングするために、前記スライスボリューム144にボリュームレンダリング操作を行うことにより達成される。レンダリングされたスライスボリューム146は、前記2DのX線画像データ132の画像面に対応している。図2は、上述したスライス処理を説明している。   With reference to FIGS. 2-4, the first step includes creating a 2D representation of the ultrasound data 134 so that the ultrasound data 134 can be mixed with the 2D X-ray image data 132. . This obtains a slice volume 144 of thickness d from the volume data 134 (FIG. 2) and performs a volume rendering operation on the slice volume 144 to render a 2D representation of the slice volume 144 shown generally at 146. Achieved by doing. The rendered slice volume 146 corresponds to the image plane of the 2D X-ray image data 132. FIG. 2 illustrates the slice processing described above.

一般的なボリュームレンダリング操作は、前記スライスボリューム144を通る光線を投じる最大値投影を含み、対応する出力ピクセルにおいて累積値を製造する。上述したボリュームレンダリング方法及び他のボリュームレンダリング方法はよく知られ、本開示の範囲に入らないことは、当業者により認識されている。図3は、モニタ124上における3Dボリュームデータの画像を説明しているのに対し、図4は、モニタ136上に見られる図3の同じ関心ボリュームのレンダリングされた2D画像の画像を説明している。   A typical volume rendering operation involves a maximum projection that casts rays through the slice volume 144, producing a cumulative value at the corresponding output pixel. It will be appreciated by those skilled in the art that the volume rendering methods described above and other volume rendering methods are well known and do not fall within the scope of the present disclosure. FIG. 3 illustrates an image of 3D volume data on the monitor 124, while FIG. 4 illustrates an image of a rendered 2D image of the same volume of interest of FIG. Yes.

次いで、超音波レンダリングされたスライスボリューム146は、X線画像データ132の上にレンダリングされる。これは、簡単な"クッキーカット(cookie cut)"操作では行われず、この場合、矩形のX線画像の領域が完全にぼやけてしまう。この超音波レンダリングされたスライスボリューム146は、本開示の例示的な実施例に従って以下にさらに十分に説明される混合技術を用いて、基礎となるX線画像データ132と混合される。混合する方法は、アルファ混合の形式を含むが、これに限定されない。0から1の間にあるアルファ値(α)は、以下の数式
out,RGB(x,y)=αCxray,RGB(x,y)+(1−α)Cus,RGB(x,y)
により、2つの重畳しているピクセルがスクリーンのピクセルの色に寄与する比率を与える。コンピュータグラフィックに関する一般的な応用において、アルファ(α)は定数又は(x,y)の関数である。本開示の目的のために、空間依存性は零に設定される。加えて、ここに開示される方法において、αはX線画像データ132(Cxray,RGB及びレンダリングされた超音波ボリューム146に関連するデータ(Cus,RGBの色(C)に依存している。これにより、
α(x,y,Cxray,RGB,Cus,RGB)=kα(x,y)α(Cxray,RGB)α(Cus,RGB ) αi∈[0,1]
である。上述したように、α(x,y)は一定値である。例示的な実施例において、α(x,y)の値は0.5であり、ここではX線画像データ132と、レンダリングされた超音波ボリューム146に関連するデータとの間に同等の混合が存在している。α(x,y)の値は、X線画像において検出されたカテーテル先端(図示せず)の位置依存性増強を加えるために後で使用される。言い換えると、カテーテル先端がモニタ136上のビュー画像140において検出される場合、X線画像データ132が超音波画像データよりも局所的に優先されるように、α(x,y)の値は増大する。値kは、医師がX線画像データに対して、前記レンダリングされた超音波画像ボリューム146からのデータを溶明及び溶暗するように制御することができる混合因子バイアス(blend factor bias)として使用される。kの初期値は1であるが、この値は零(0)から正の無限大(+∞)の間を変化することができる。kの値によってαが1よりも大きくなる場合、αは1にクリップされることを述べておく。
The ultrasound rendered slice volume 146 is then rendered on the X-ray image data 132. This is not done with a simple “cookie cut” operation, in which case the area of the rectangular X-ray image is completely blurred. This ultrasound rendered slice volume 146 is mixed with the underlying x-ray image data 132 using a mixing technique that is more fully described below in accordance with an exemplary embodiment of the present disclosure. The method of mixing includes, but is not limited to, a form of alpha mixing. The alpha value (α) between 0 and 1 is given by the following formula C out, RGB (x, y) = αC xray, RGB (x, y) + (1−α) C us, RGB (x, y )
Gives the ratio that two overlapping pixels contribute to the color of the pixel on the screen. In general applications relating to computer graphics, alpha (α) is a constant or a function of (x, y). For the purposes of this disclosure, the spatial dependence is set to zero. In addition, in the method disclosed herein, α depends on the color (C) of the X-ray image data 132 (C xray, RGB ) and the data (C us, RGB ) associated with the rendered ultrasound volume 146. ing. This
α (x, y, C xray, RGB , C us, RGB ) = kα (x, y) α (C xray, RGB ) α (C us, RGB ) αi∈ [0,1]
It is. As described above, α (x, y) is a constant value. In the exemplary embodiment, the value of α (x, y) is 0.5, where there is an equivalent mix between the x-ray image data 132 and the data associated with the rendered ultrasound volume 146. Existing. The value of α (x, y) is later used to add a position dependent enhancement of the catheter tip (not shown) detected in the x-ray image. In other words, when the catheter tip is detected in the view image 140 on the monitor 136, the value of α (x, y) increases so that the X-ray image data 132 is given priority over the ultrasound image data. To do. The value k is used for doctors X-ray image data, as the rendered mixed factors bias data from the ultrasound image volume 146 may be controlled to Yomei and fading from one picture to another (blend factor bias) . The initial value of k is 1, but this value can vary between zero (0) and positive infinity (+ ∞). Note that α is clipped to 1 if α is greater than 1 depending on the value of k.

xray及びCusの関数としてαに有意義な尺度は、ピクセル輝度又は濃淡値(gray value)である。X線画像に対し、これは、色情報が無い、つまりピクセル値が輝度値である(例えばR,G及びBは全て等しい)ことを暗に意味している。超音波データに対し、X線画像データからの視覚コントラストを向上させるのに色が使用される。この色は、ボリュームレンダリング処理に意図的に加えられる。前記ピクセル輝度はこのとき最大の(R,G,B)により与えられる。

A meaningful measure for α as a function of C xray and C us is pixel luminance or gray value. For X-ray images, this implies that there is no color information, that is, the pixel values are luminance values (eg R, G and B are all equal). For ultrasound data, color is used to improve visual contrast from X-ray image data. This color is intentionally added to the volume rendering process. The pixel brightness is then given by the maximum (R, G, B).

図2のレンダリングされたスライスボリューム146により表されるボリュームレンダリングされたメタデータにおいて、ピクセル輝度は、各ボクセルにより反射される光の量により決められる。図5は、160で一般的に示されるフォンライトモデル(Phong's lighting model)を表す。これは簡単であるが効果的である。フォンモデルは、コンピュータグラフィックにおいて最も一般的なライティングモデルの1つである。図5は、フォンライト計算式への重要な入力を説明している。ベクトル(V)の上に置かれる第1のドット162はカメラ位置を示し、第2のドットは、光源位置を示す。ベクトル(N)は、表面法線を示す。ピクセル輝度は、前記表面法線(N)に従って反射する(ベクトルLと一直線に並ぶが、向きが逆であるベクトルである)入射光線を投じ、観測者を指しているビューベクトル(V)と反射光線のベクトル(R)との内積(dot product)を得ることにより計算される。この内積の結果は、前記法線(N)が観測者の方向に向いている(適当な光条件、すなわち問題となっている表面の点が観測者の視点から適当に照らされると仮定する)場合に最もよくなるので、撮像される構造の稜線(ridge)の上部は、表面上の谷(valley)よりも明るい。これは、フォンライトモデルのようなシェーディングアルゴリズムが達成しようとする3Dインプレッションに対応している。これは、それ自体では些細なことであり、無論、上述した輝度依存性混合にリンク付けされる場合、レンダリングされた超音波表面の稜線は、X線画像の上に重畳され、"陰になった"谷は、このX線画像の上には重畳されない。これは例えば心筋又は他の解剖学的特徴を表す外形の表示を可能にするのに対し、未修正の基礎となるX線画像は、前記レンダリングされた超音波表面の稜線間を通り輝く。さらに、前記稜線の硬さを制御するためのこの関数は、α(Cus)関数にリンクされることができる。 In the volume rendered metadata represented by the rendered slice volume 146 of FIG. 2, the pixel brightness is determined by the amount of light reflected by each voxel. FIG. 5 represents a Phong's lighting model generally indicated at 160. This is simple but effective. The phone model is one of the most common lighting models in computer graphics. FIG. 5 illustrates the important inputs to the phone light calculation formula. The first dot 162 placed on the vector (V) indicates the camera position, and the second dot indicates the light source position. Vector (N) represents the surface normal. Pixel luminance is reflected according to the surface normal (N), and is reflected by a view vector (V) pointing to the observer, throwing incident rays that are in line with vector L but in the opposite direction. It is calculated by obtaining a dot product with a vector (R) of rays. The result of this inner product is that the normal (N) is in the direction of the observer (assuming appropriate light conditions, i.e. the surface point in question is appropriately illuminated from the observer's point of view). The top of the imaged structure ridge is brighter than the valley on the surface, as is best in some cases. This corresponds to the 3D impression that a shading algorithm such as the phonlight model tries to achieve. This is trivial in itself and, of course, when linked to the luminance-dependent blend described above, the edges of the rendered ultrasound surface are superimposed on the x-ray image and become “shadowed” The “valley” is not superimposed on the X-ray image. This allows the display of contours representing, for example, myocardium or other anatomical features, whereas the unmodified underlying X-ray image shines between the edges of the rendered ultrasound surface. Furthermore, this function for controlling the hardness of the edge can be linked to the α (C us ) function.

本開示は、介入手続き、特にX線透視法を用いた手続きに使用される医用撮像システムに応用されることができる。X線画像及び超音波ボリュームは、コンピュータ130を用いて混合され、このコンピュータ130は図1に示されるように、X線システム102の一部、超音波システム122の一部、又はそれ自身がディスプレイを持つ独立型ユニットとすることが可能であることが確認されている。   The present disclosure can be applied to medical imaging systems used in intervention procedures, particularly procedures using fluoroscopy. The x-ray image and the ultrasound volume are mixed using a computer 130, which can display a portion of the x-ray system 102, a portion of the ultrasound system 122, or itself as shown in FIG. It has been confirmed that it can be a stand-alone unit with

本開示の機能的応用は、X線において低いコントラストを持つ構造の視認性を高め、これにより、インターベンショナリスト(interventionalist)が患者の心臓の生体組織に置かれたカテーテルの位置を決めるのことを支援する。これは、電気生理学(EP)手続きを短くするのに役立ち、この手続きにおいて、心臓の電気のロードマップが構成される。例えば心筋のような超音波ボリュームにより供給されるコンテクスト情報の場合、このロードマップ処理に必要な時間が減少する。この処理がX線透視下で略完全に行われるので、この手続きは、患者及び医者の両方に対するX線量を減少させる。   The functional application of the present disclosure enhances the visibility of structures with low contrast in X-rays, thereby allowing an interventionist to position a catheter placed in the living tissue of the patient's heart. To help. This helps shorten the electrophysiology (EP) procedure, in which the cardiac electrical roadmap is constructed. For example, in the case of context information supplied by an ultrasonic volume such as a myocardium, the time required for this roadmap processing is reduced. This procedure reduces the X-ray dose for both the patient and the doctor, since this process is performed almost completely under fluoroscopy.

要するに、開示されるシステム、装置及び方法は、医用撮像システムのユーザ、特に介入手続き中、X線及び超音波画像を一緒に使用する医師にかなりの恩恵を供給する。確かに、これら開示されるシステム、装置及び方法は、X線撮像において低いコントラストを持つ構造の高められた視認性を提供し、生体組織(例えば心臓)内における構造の電気のロードマップが構成される電気生理学(EP)手続きを短くするのに役立つのと同じく、介入において、カテーテルが生体組織のどこに置かれているかを決めるのを手助けする。例えば心筋のような超音波ボリュームにより供給されるコンテクスト情報を使用することにより、例えば結果生じる2D画像は、医師によってさらに容易に処理される。この処理がX線透視下で略完全に行われるので、撮像手続きが短くなり、これにより患者及び医者の両方に対するX線量を減少させる。特に、開示されるシステム、装置及び方法は、3D超音波データの2D投影を2DのX線データに重畳することにより高められた視認性を提供する。これは、X線データ及び超音波データの両方(又は一方)における特徴を測定することにより選択的に行われる。このようにして、超音波データから関心のある特徴だけがX線データの上に投影され、これにより、2つの情報源を単一のディスプレイ上において効果的に利用する。   In short, the disclosed systems, devices and methods provide significant benefits to users of medical imaging systems, particularly physicians who use X-ray and ultrasound images together during an interventional procedure. Indeed, these disclosed systems, devices and methods provide enhanced visibility of structures with low contrast in x-ray imaging and constitute an electrical roadmap of the structure within the biological tissue (eg, heart). As well as helping shorten the electrophysiology (EP) procedure, the intervention helps determine where the catheter is located in the living tissue. By using the context information supplied by an ultrasound volume, such as the myocardium, for example, the resulting 2D image is more easily processed by a physician. Since this process is performed almost completely under fluoroscopy, the imaging procedure is shortened, thereby reducing the x-ray dose for both the patient and the doctor. In particular, the disclosed systems, devices and methods provide enhanced visibility by superimposing a 2D projection of 3D ultrasound data onto 2D x-ray data. This is selectively done by measuring features in both (or one) of x-ray data and ultrasound data. In this way, only the features of interest from the ultrasound data are projected onto the X-ray data, thereby effectively utilizing the two information sources on a single display.

本開示のシステム、装置及び方法が、これらの例示的な実施例を参照して説明されていたとしても、本開示がこのような例示的な実施例に限定されない。寧ろ、ここに開示されるシステム、装置及び方法は、本開示の意図又は範囲から外れることなく、様々な修正、拡張及び/又は変形の余地がある。それ故に、本開示は、本開示に添付される特許請求の範囲内において、このような修正、拡張及び/又は変形を具現化及び包含する。   Even though the systems, devices and methods of the present disclosure have been described with reference to these exemplary embodiments, the present disclosure is not limited to such exemplary embodiments. Rather, the systems, devices, and methods disclosed herein are susceptible to various modifications, expansions, and / or variations without departing from the spirit or scope of the present disclosure. Accordingly, the present disclosure embodies and encompasses such modifications, extensions, and / or variations within the scope of the claims appended hereto.

混合を行うコンピュータに動作可能に接続されるX線システム及び超音波システム、並びにテーブル上に置かれる患者に関する解剖学的構造の混合画像を表示するためのモニタを説明している本開示のシステムの例示的な実施例の概略図。Of the system of the present disclosure describing an X-ray system and an ultrasound system operably connected to a computer for mixing and a monitor for displaying a mixed image of the anatomy of a patient placed on a table 1 is a schematic diagram of an exemplary embodiment. 本開示の例示的な実施例に従って、対応する2DのX線画像データに重畳するための3Dボリューム画像データの2D表現をレンダリングするために、対応する厚さdのスライスを重ね合わせる、図1の超音波システムからの3Dボリューム画像データの透視概略図。In accordance with an exemplary embodiment of the present disclosure, corresponding slices of thickness d are overlaid to render a 2D representation of 3D volumetric image data for superimposition on corresponding 2D x-ray image data. 3 is a schematic perspective view of 3D volume image data from an ultrasound system. FIG. 図1の超音波システムから生成した3Dボリューム画像データのスクリーンビュー。A screen view of 3D volumetric image data generated from the ultrasound system of FIG. 本開示の例示的な実施例に従って、図1の混合を行うコンピュータによりレンダリングされた図3の3Dボリューム画像データの2Dレンダリングされたスライスのスクリーンビュー。FIG. 4 is a screen view of a 2D rendered slice of the 3D volumetric image data of FIG. 3 rendered by the computer performing the blending of FIG. 1 according to an exemplary embodiment of the present disclosure. フォンライトモデルの概略図。Schematic of the phone light model.

Claims (11)

三次元(3D)超音波画像データからの構造の関心のある特徴を二次元(2D)画像データと混合するためのシステムにおいて、
二次元(2D)X線画像データを提供するように構成されるX線撮像システム、
三次元(3D)超音波画像ボリュームデータを提供するように構成される超音波撮像システム、
前記X線システム及び前記超音波システムと動作可能に通信するコンピュータであり、
前記2DのX線画像データに対応する前記関心領域に対する前記3D超音波画像ボリュームデータの2D表現を作成し、前記3D超音波画像ボリュームデータの前記2D表現を、前記2DのX線画像データと混合して前記構造の2D混合画像をレンダリングするように構成されるコンピュータ、並びに
前記コンピュータと動作可能に通信するディスプレイデバイスであり、前記構造の前記2D混合画像を表示するディスプレイデバイス
を有し、
前記混合画像においてカテーテル先端が検出される場合、前記カテーテル先端の位置依存性増強を加えるために、前記X線画像データが前記超音波画像データよりも局所的に優先される、
システム。
In a system for mixing interesting features of a structure from three-dimensional (3D) ultrasound image data with two-dimensional (2D) image data,
An x-ray imaging system configured to provide two-dimensional (2D) x-ray image data;
An ultrasound imaging system configured to provide three-dimensional (3D) ultrasound image volume data;
A computer in operable communication with the X-ray system and the ultrasound system;
Creating a 2D representation of the 3D ultrasound image volume data for the region of interest corresponding to the 2D X-ray image data, and mixing the 2D representation of the 3D ultrasound image volume data with the 2D X-ray image data to computer configured to render the 2D combined image of the structure, as well as a display device in operative communication with the computer, have a display device for displaying the 2D combined image of said structure,
When a catheter tip is detected in the mixed image, the X-ray image data is locally prioritized over the ultrasound image data in order to add position dependence enhancement of the catheter tip.
system.
前記コンピュータは、前記2DのX線画像データを表す平面に対応する前記ボリュームデータから厚さdのスライスボリュームを選択することにより、前記3D超音波ボリューム画像データの2D表現を作成し、前記スライスボリュームにボリュームレンダリング操作を行う請求項1に記載のシステム。  The computer creates a 2D representation of the 3D ultrasound volume image data by selecting a slice volume of thickness d from the volume data corresponding to a plane representing the 2D X-ray image data, and the slice volume The system according to claim 1, wherein a volume rendering operation is performed. 前記混合はα混合を含み、前記α混合は、
out,RGB (x,y)=αC xray,RGB (x,y)+(1−α)C us,RGB (x,y)
の数式により、2つの重畳するピクセルがスクリーンのピクセルの色に寄与する比率を与える0から1の間のα値を含み、C xray,RGB 及びC us,RGB は前記X線画像データ及び前記超音波画像データの色をあらわす、請求項に記載のシステム。
The mixing only contains a mixture α, the α mixing,
C out, RGB (x, y) = αC xray, RGB (x, y) + (1−α) C us, RGB (x, y)
, Which includes an α value between 0 and 1 that gives the ratio at which two overlapping pixels contribute to the color of the pixel on the screen, where C xray, RGB and C us, RGB are the X-ray image data and the super The system according to claim 1 , which represents a color of the sonic image data .
前記α値は、以下の数式
α(x,y,Cxray,RGB,Cus,RGB)=kα(x,y)α(Cxray,RGB)α(Cus,RGB
αi∈[0,1]
に従って、前記X線画像データ及び前記スライスボリューム超音波画像データの対応する色(C)に依存している請求項に記載のシステム
The α value is expressed by the following formula α (x, y, C xray, RGB , C us, RGB ) = kα (x, y) α (C xray, RGB ) α (C us, RGB )
α i ∈ [0,1]
4. The system according to claim 3 , wherein the system is dependent on the corresponding color (C) of the X-ray image data and the slice volume ultrasound image data.
前記混合画像においてカテーテル先端が検出される場合、
α(x,y)は、前記X線画像データが前記混合画像の前記超音波画像データよりも局所的に優先することを可能にするように増大する請求項に記載のシステム
When a catheter tip is detected in the mixed image,
The system of claim 4 , wherein α (x, y) is increased to allow the X-ray image data to override the ultrasound image data of the mixed image locally.
値kは、前記混合画像の超音波画像データが基礎となるX線画像データに対して溶明及び溶暗することを可能にする混合因子バイアスとして使用される請求項に記載のシステムThe system of claim 4 , wherein the value k is used as a mixed factor bias that allows the ultrasound image data of the mixed image to melt and darken on the underlying X-ray image data. α(Cxray,RGB )及びα(Cus,RGB )は、ピクセル輝度(b)の関数である請求項に記載のシステムThe system of claim 4 , wherein α (C xray , RGB ) and α (C us , RGB ) are functions of pixel brightness (b). 前記ボリュームレンダリングされたメタデータに対する前記ピクセル輝度(b)は、各ボクセルにより反射される光の量により決められ、フォンライトモデルを用いて計算される請求項に記載のシステム8. The system of claim 7 , wherein the pixel brightness (b) for the volume rendered metadata is determined by the amount of light reflected by each voxel and calculated using a phonlight model. 前記2DのX線画像データ及び3D超音波画像ボリュームデータは、同時に得られる請求項に記載のシステム。The system of claim 1 , wherein the 2D X-ray image data and 3D ultrasound image volume data are obtained simultaneously. 前記構造は、前記X線及び超音波撮像モダリティの両方により同時に撮像され、前記構造の2D表現は、リアルタイムで表示される請求項に記載のシステム。The structure is imaged simultaneously by both of the X-ray and ultrasound imaging modality system of claim 1 2D representation of the structure is displayed in real time. 前記コンピュータは、前記X線システムの一部、前記超音波システムの一部、及びディスプレイデバイスを備える独立型ユニットの1つである請求項に記載のシステム。The system of claim 1 , wherein the computer is one of a stand-alone unit comprising a portion of the X-ray system, a portion of the ultrasound system, and a display device.
JP2008525666A 2005-08-09 2006-07-12 System and method for selectively mixing 2D X-ray images and 3D ultrasound images Active JP4937261B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US70686405P 2005-08-09 2005-08-09
US60/706,864 2005-08-09
PCT/IB2006/052380 WO2007017772A2 (en) 2005-08-09 2006-07-12 System and method for selective blending of 2d x-ray images and 3d ultrasound images

Publications (2)

Publication Number Publication Date
JP2009504220A JP2009504220A (en) 2009-02-05
JP4937261B2 true JP4937261B2 (en) 2012-05-23

Family

ID=37433634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008525666A Active JP4937261B2 (en) 2005-08-09 2006-07-12 System and method for selectively mixing 2D X-ray images and 3D ultrasound images

Country Status (7)

Country Link
US (1) US8131041B2 (en)
EP (1) EP1915738B1 (en)
JP (1) JP4937261B2 (en)
KR (1) KR20080034447A (en)
CN (1) CN101243472B (en)
CA (1) CA2618294A1 (en)
WO (1) WO2007017772A2 (en)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7869637B2 (en) * 2006-07-31 2011-01-11 Siemens Medical Solutions Usa, Inc. Histogram calculation for auto-windowing of collimated X-ray image
US8219181B2 (en) * 2008-12-16 2012-07-10 General Electric Company Medical imaging system and method containing ultrasound docking port
US8214021B2 (en) * 2008-12-16 2012-07-03 General Electric Company Medical imaging system and method containing ultrasound docking port
US20100208981A1 (en) * 2009-02-13 2010-08-19 Harris Corporation Method for visualization of point cloud data based on scene content
JP5430203B2 (en) * 2009-03-31 2014-02-26 キヤノン株式会社 Image processing apparatus and image processing method
US7831015B2 (en) * 2009-03-31 2010-11-09 General Electric Company Combining X-ray and ultrasound imaging for enhanced mammography
US9282944B2 (en) * 2010-06-22 2016-03-15 Queen's University At Kingston C-arm pose estimation using intensity-based registration of imaging modalities
WO2012019162A1 (en) 2010-08-06 2012-02-09 Accuray, Inc. Systems and methods for real-time tumor tracking during radiation treatment using ultrasound imaging
DE102011079561B4 (en) * 2011-07-21 2018-10-18 Siemens Healthcare Gmbh Method and X-ray device for timely presentation of a moving section of a body, computer program and data carrier
US8995734B2 (en) * 2012-01-10 2015-03-31 Kabushiki Kaisha Toshiba Image processing method and system
JP6106259B2 (en) * 2012-03-21 2017-03-29 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Clinical workstation integrating medical imaging and biopsy data and method of using the same
KR101378757B1 (en) * 2012-08-30 2014-03-27 한국원자력연구원 Radiation imaging equipment and method available to obtain element date of material and select dimensions of image
US11373361B2 (en) 2012-11-06 2022-06-28 Koninklijke Philips N.V. Enhancing ultrasound images
EP2925232B1 (en) * 2012-12-03 2022-08-31 Koninklijke Philips N.V. Integration of ultrasound and x-ray modalities
JP5675930B2 (en) * 2013-10-28 2015-02-25 株式会社東芝 X-ray diagnostic equipment
US9480403B2 (en) 2013-12-16 2016-11-01 General Electric Company Medical imaging system and method for generating a blended cine loop
US10507006B2 (en) 2013-12-27 2019-12-17 General Electric Company System and method for tracking an invasive device using ultrasound position signals
WO2017013019A1 (en) * 2015-07-17 2017-01-26 Koninklijke Philips N.V. Guidance for lung cancer radiation
US10681325B2 (en) * 2016-05-16 2020-06-09 Google Llc Continuous depth-ordered image compositing
US20180235701A1 (en) * 2017-02-21 2018-08-23 General Electric Company Systems and methods for intervention guidance using pre-operative planning with ultrasound
US10952795B2 (en) * 2017-06-30 2021-03-23 Biosense Webster (Israel) Ltd. System and method for glass state view in real-time three-dimensional (3D) cardiac imaging
CN107909624B (en) * 2017-12-05 2019-12-24 南京大学 Method for extracting and fusing two-dimensional image from three-dimensional tomography
US10719907B2 (en) 2018-02-27 2020-07-21 Canon Medical Systems Corporation Method of, and apparatus for, data processing
EP3659514A1 (en) * 2018-11-29 2020-06-03 Koninklijke Philips N.V. Image-based device identification and localization
CN112057167B (en) * 2019-05-22 2022-05-24 深圳市德力凯医疗设备股份有限公司 Ultrasonic navigation method and ultrasonic navigation equipment for vascular surgery
US20220211348A1 (en) * 2019-05-31 2022-07-07 Koninklijke Philips N.V. Guided ultrasound imaging
US11282218B2 (en) * 2019-11-25 2022-03-22 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for providing medical guidance using a patient depth image

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0938073A (en) * 1995-07-27 1997-02-10 Hitachi Medical Corp X-ray diagnostic device
JPH10127623A (en) * 1996-10-29 1998-05-19 Shimadzu Corp Compound type medical diagnostic image system
JPH10286251A (en) * 1997-04-14 1998-10-27 Eiichi Masai Fluoroscopic operating device
US6421454B1 (en) * 1999-05-27 2002-07-16 Litton Systems, Inc. Optical correlator assisted detection of calcifications for breast biopsy
JP2003515829A (en) * 1999-11-23 2003-05-07 キヤノン株式会社 Image processing device
DE19963440C2 (en) * 1999-12-28 2003-02-20 Siemens Ag Method and system for visualizing an object
JP4515578B2 (en) * 2000-01-17 2010-08-04 株式会社東芝 Three-dimensional ultrasonic diagnostic apparatus, three-dimensional ultrasonic diagnostic image display method, and recording medium
CN1135956C (en) * 2000-06-02 2004-01-28 清华大学 Ultrasonic fusion imaging method integrating cardiac muscle's backward scattering
EP2460473B1 (en) * 2003-05-08 2017-01-11 Hitachi, Ltd. Reference image display method for ultrasonography and ultrasonic diagnosis apparatus
US7935055B2 (en) * 2003-09-19 2011-05-03 Siemens Medical Solutions Usa, Inc. System and method of measuring disease severity of a patient before, during and after treatment
US8098950B2 (en) 2003-11-26 2012-01-17 General Electric Company Method and apparatus for segmentation-based image operations
DE10357184A1 (en) * 2003-12-08 2005-07-07 Siemens Ag Combination of different images relating to bodily region under investigation, produces display images from assembled three-dimensional fluorescence data image set
EP1699361B1 (en) * 2003-12-22 2009-12-09 Koninklijke Philips Electronics N.V. System for guiding a medical instrument in a patient body

Also Published As

Publication number Publication date
EP1915738B1 (en) 2018-09-26
CN101243472B (en) 2016-08-03
EP1915738A2 (en) 2008-04-30
KR20080034447A (en) 2008-04-21
CA2618294A1 (en) 2007-02-15
US8131041B2 (en) 2012-03-06
US20080219540A1 (en) 2008-09-11
CN101243472A (en) 2008-08-13
WO2007017772A3 (en) 2007-05-10
WO2007017772A2 (en) 2007-02-15
JP2009504220A (en) 2009-02-05

Similar Documents

Publication Publication Date Title
JP4937261B2 (en) System and method for selectively mixing 2D X-ray images and 3D ultrasound images
RU2471239C2 (en) Visualisation of 3d images in combination with 2d projection images
US8090174B2 (en) Virtual penetrating mirror device for visualizing virtual objects in angiographic applications
CN101065062B (en) Image processing system and method for displaying images during interventional procedures
US8045780B2 (en) Device for merging a 2D radioscopy image with an image from a 3D image data record
US10674971B2 (en) X-ray image display apparatus and method for X-ray image display
JP2006320721A (en) Method of expanding display range of volume photographing of object region
RU2469308C2 (en) X-ray instrument for three-dimensional ultrasonic analysis
JP2004320771A (en) Method for performing digital subtraction angiography
US10537293B2 (en) X-ray CT system, image display device, and image display method
JP4122463B2 (en) Method for generating medical visible image
JP2001084409A (en) Method and device for processing three-dimensional image
JP4996128B2 (en) Medical image processing apparatus and medical image processing method
JP5942217B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program
JP2014503272A (en) System and method for generating and displaying projections from 3D or 4D datasets
US9552663B2 (en) Method and system for volume rendering of medical images
JP5305635B2 (en) Medical image display device
US20100215150A1 (en) Real-time Assisted Guidance System for a Radiography Device
JP2009153919A (en) Ultrasonic diagnostic system, ultrasonic image processor and ultrasonic image processing program
JP2009082470A (en) Image display and image display method
JP6662580B2 (en) Medical image processing equipment
JP2024022447A (en) Medical imaging device and volume rendering method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150302

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4937261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250