JP5238336B2 - 被撮像体内の目的物の視覚性を改善するためのシステム及び方法 - Google Patents

被撮像体内の目的物の視覚性を改善するためのシステム及び方法 Download PDF

Info

Publication number
JP5238336B2
JP5238336B2 JP2008113380A JP2008113380A JP5238336B2 JP 5238336 B2 JP5238336 B2 JP 5238336B2 JP 2008113380 A JP2008113380 A JP 2008113380A JP 2008113380 A JP2008113380 A JP 2008113380A JP 5238336 B2 JP5238336 B2 JP 5238336B2
Authority
JP
Japan
Prior art keywords
pixel
value
image
fluoroscopic image
mixing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008113380A
Other languages
English (en)
Other versions
JP2008272470A (ja
Inventor
セバスティアン・ジョルジュ
イヴ・エル・トュルセー
ジェレミー・パスカトール
ヴァンサン・ビスマス
マリー−オディーユ・バージャー
アーワン・ケリアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2008272470A publication Critical patent/JP2008272470A/ja
Application granted granted Critical
Publication of JP5238336B2 publication Critical patent/JP5238336B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/503Blending, e.g. for anti-aliasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30021Catheter; Guide wire

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、一般的に云えば、医用イメージング(撮像/画像化)に関するものであり、具体的には、被撮像体の中を通る計器又は器具の動きを誘導するためのシステム及び方法に関するものである。
蛍光透視イメージングは一般に、放射線不透過性の造影剤を被撮像体に注入することによって向上させた、動脈の様な解剖学的構造の低線量放射線画像を取得することを含む。取得した蛍光透視画像により、被撮像体の関心のある領域内に位置する高コントラストの材料(例えば、器具、骨など)の実時間の動きを取得し且つ表示することが可能になる。しかしながら、被撮像体の脈管系の解剖学的構造は、注入された造影剤が流れる部分を除いて明瞭に表示されない。
米国特許出願公開第2005/0111719号
そこで、被撮像体の中を移動する目的物(例えば、外科用器具、カテーテルなど)の可視性を、その周囲の解剖学的構造の重畳した画像に対して相対的に向上させるようにしたイメージング・システムが必要である。また、被撮像体の中を移動する目的物についての取得した画像を細部まで向上させて、被撮像体に注入される造影剤の量を減少させることのできるイメージング・システム及び方法が必要である。
上記の要求を、以下に説明する様々な実施形態で満たす。
一実施形態によれば、被撮像体の中を移動する目的物の動きを追跡するためのシステムが提供される。本システムは、被撮像体の関心のある領域内での目的物の蛍光透視画像を取得するように動作することのできる蛍光透視イメージング・システムと、被撮像体の関心のある領域の三次元モデルを作成するように動作することのできるイメージング・システムと、プロセッサによって実行するための複数のコンピュータ読取り可能なプログラム命令を記憶するように動作することのできるメモリを有する制御装置と、を含む。複数のプログラム命令は、(a)取得した画像データが目的物の画像データである確率を、蛍光透視画像内の画素毎に算出する段階と、(b)段階(a)で算出された確率に依存して蛍光透視画像の画素毎に混合(blending)係数の値を算出する段階と、(c)蛍光透視画像及び三次元モデルを有する出力画像を作成する段階であって、段階(b)の混合係数に従って蛍光透視画像と三次元モデルとを混合することを含む段階と、を表す。
別の実施形態によれば、被撮像体の中を移動する目的物の動きを追跡するための方法が提供される。本方法は、(a)取得した画像データが目的物の画像データである確率を、被撮像体の蛍光透視画像内の画素毎に算出する段階と、(b)段階(a)で算出された確率に依存して蛍光透視画像の画素毎に混合係数の値を算出する段階と、(c)蛍光透視画像及び三次元モデルを有する出力画像を作成する段階であって、段階(b)の混合係数に従って蛍光透視画像と三次元モデルとを混合することを含む段階と、を含む。
また、被撮像体の中を通る目的物の動きを追跡するための一実施形態のシステムも提供される。本システムは、被撮像体の関心のある領域内での目的物の蛍光透視画像を取得するように動作することのできる蛍光透視イメージング・システムと、被撮像体の関心のある領域の三次元モデルを作成するように動作することのできるイメージング・システムと、プロセッサによって実行するための複数のコンピュータ読取り可能なプログラム命令を記憶するように動作することのできるメモリを有する制御装置と、を含む。複数のプログラム命令は、(a)取得した画像データが目的物の画像データである確率を、蛍光透視画像内の画素毎に算出する段階と、(b)蛍光透視画像及び関心のある領域の三次元モデルを共通の座標系に対して空間的関係で整合させる段階と、(c)段階(a)で算出されたような蛍光透視画像のそれぞれの画素毎の確率に依存して三次元モデルの画素毎の透明度の値を算出する段階と、(d)段階(c)の画素毎の透明度の値に従って三次元モデルを調節する段階と、(d)段階(c)に従って調節された三次元モデルと蛍光透視画像を組み合わせて、三次元モデルに対して空間的関係で目的物を表す出力画像を作成する段階とを表す。
以下の詳しい説明では、その一部を形成する添付の図面を参照する。図面には、実施することのできる特定の実施形態を例として示している。これらの実施形態は当業者がそれらを実施できるほどに充分詳しく説明しており、また、他の実施形態を利用することができること、並びに論理的、機械的、電気的及びその他の変更を実施形態の範囲から逸脱せずに為し得ることを理解されたい。従って、以下の詳しい説明は発明を制限するものとして取るべきではない。
図1は、被撮像体110の中を通る画像誘導目的物又は器具105の動き又は操作を追跡するための一実施形態のシステム100を示す概略図である。システム100は、被撮像体110内の目的物105の場所を表す画像又は一連の画像又は画像フレーム120(例えば、X線画像、蛍光透視画像、磁気共鳴画像、実時間内視鏡画像など、又はそれらの組合せ)を取得するように動作することのできるイメージング・システム115を有する。ここで、画像120と云うとき、これは1つ又は一連の画像又は画像フレームを含むことができることを理解されたい。
一実施形態の画像誘導目的物又は構造105には、被撮像体110の血管構造内の所望の位置にステントを設置するように構成されているカテーテル又はガイドワイヤが含まれる。
イメージング・システム115は一般に、被撮像体110の関心のある領域に対応する二次元、三次元又は四次元画像データを生成するように動作することができる。イメージング・システム115の種類には、それらに制限するものではないが、コンピュータ断層撮影(CT)、磁気共鳴イメージング(MRI)、X線、ポジトロン放出断層撮影(PET)、超音波、血管造影、蛍光透視など、或いはそれらの組合せを挙げることができる。イメージング・システム115は、医学的処置より前に静止イメージング検出器によって取得される静止画像を生成するように動作することのできる種類のシステム(例えば、CTシステム、MRIシステムなど)、或いは医学的処置中に実時間イメージング検出器により実時間画像を取得するように動作することのできる種類のシステム(例えば、血管形成システム、腹腔鏡システム、内視鏡システムなど)であってよい。従って、画像の種類は診断用又はインターベンション(介入処置)用画像であってよい。イメージング・システム115の一実施形態は、静止画像取得システムを実時間画像取得システムと組み合わせて含む。イメージング・システム115の別の実施形態は、CTイメージング・システムによって取得された画像を、MRイメージング・システムによって取得された画像を融合させるように構成される。この実施形態は、腫瘍の外科的除去の際に用いることができる。
一例のイメージング・システム115は、一般に、通常のように被撮像体110を通って検出器で受け取るべきであるエネルギ(例えば、X線)を投射するエネルギ源122を持つ蛍光透視イメージング・システムを含む。このエネルギは、被撮像体110の中を通るとき減衰して、検出器に達したとき、被撮像体110の関心のある領域125を表す画像又はフレーム120を生成する。この例のイメージング・システム115はまた、一連の取得した画像(例えば、CT画像)を組み合わせて、関心のある内部構造又は器官を表す三次元の再構成画像又はモデル170を生成するように動作することのできるソフトウエア製品又はパッケージを含む。再構成三次元画像を生成するように動作することのできるソフトウエア製品の一実施形態は、ゼネラル・エレクトリック社によって製造されているINNOVA(商標)3Dである。このソフトウエア製品はまた、血管(例えば、静脈、動脈など)又は他の解剖学的構造の体積、直径及び一般的な形態を測定するように動作することができる。
画像又は一連の取得した画像フレーム120はディジタル化されて、メモリ135に記録し保存するために制御装置130へ伝送される。制御装置130は更に、システム100のメモリ135に記憶されたプログラム可能な命令を実行するように動作することのできるプロセッサ140を含む。プログラム可能な命令は、一般に、プロセッサ140に命令して、表示装置上に表示するために一連の取得した画像又は画像フレーム120について画像処理を遂行させるように構成される。メモリ135の一実施形態は、システム100と一体化されたコンピュータのハードディスク・ドライブを含む。メモリ135はまた、当該分野で知られているフレキシブル・ディスク、CD、DVDなど、又はそれらの組合せのような、コンピュータ読取り可能な記憶媒体を含むことができる。
システム100の構成について一般的に説明したが、以下に被撮像体110の中を通る目的物105の動きを操作又は追跡するようにシステム100を動作させる方法200について説明する。ここで、以下の説明ではシステム100を動作させるのに必要とされない行為又は段階を述べることがあり、また動作は本書で述べていない付加的な段階を含むことができることを理解されたい。一実施形態の行為又は段階は、制御装置130のプロセッサ140によって実行するためにメモリ135に記憶された一連のコンピュータ読取り可能なプログラム命令の形態にすることができる。システム100及び方法200の技術的効果は、被撮像体110の関心のある領域についての重畳した三次元モデルの他の表示された特徴に対して、目的物105の視覚化を向上させることである。より詳しく述べると、システム100及び方法200の技術的効果は、被撮像体110の関心のある領域125内の解剖学的構造の三次元再構成画像又はモデル170の表示におけるコントラストを損なうことなく、目的物105の表示を向上させることである。
ここで図2について説明すると、方法は段階202で開始する。次の段階205は、一連の取得した画像120から関心のある領域125の三次元再構成モデル170を生成又は作成することを含む。三次元モデルの一例は、骨粗鬆症の診断又は監視においてゼネラル・エレクトリック社のヘルスケア事業部によって製造された「LUNAR・IDXA(商標)」により生成される二重エネルギX線吸収測定法(DXA)である。
次の段階210は、被撮像体110について通常の態様でイメージング・システム115により二次元の低放射線量の蛍光透視画像215を取得することを含む。画像215を改良するために造影剤を注入して用いることができるが、本書で開示するシステム100及び方法200では必ずしも必要ではない。次の段階220は、共通の基準又は座標系222に従って三次元モデル170と後で組み合わせ又は融合させ又は重畳配置するために蛍光透視画像215を整合させることを含む。
ここで、三次元モデル170及び/又は蛍光透視画像215の源(CTイメージング・システム、蛍光透視イメージング・システム、画像保管システム(PACS)、MRI、PET、超音波など)が変わり得ることを理解されたい。
次の段階225は、目的物105の画像データを含むことに対応する又は関連付ける尤度又は確率が増大した蛍光透視画像215内の画素を特定又は検出することを含む。段階225の一実施形態は、蛍光透視画像215の少なくとも一部分又は全てについて画素毎に、取得した画像データが目的物の画像データである確率105を算出することを含む。確率を算出する段階の一実施形態は、本書で例示した被撮像体の目的物105の寸法又は大きさを増大するように蛍光透視画像215に膨張処理(dilation)技術を適用することを含むことができる。例えば、目的物105は非常に細いワイヤを含むことがあり、このようなワイヤは、蛍光透視画像と三次元モデルとの重畳の後に識別するのに困難であるか又は小さすぎる。目的物105のコントラストを増大させるために、目的物105の画像データを含んでいると思われる候補画素を、数理形態学の既知の手法を使用して膨張処理して、蛍光透視画像215内に捕捉されるように被撮像体の目的物105の表示の大きさを増大させるようにすることができる。
画素毎の確率を算出する段階225の別の実施形態は、画素毎の画像データを、目的物105に関連付けられた所定の又は保存された又は較正された画像データと比較することを含む。段階225の別の実施形態は、既知の態様でナビゲーション・システムによって取得されたような目的物105の追跡データに依存する又は関連付けられる確率を画素毎に算出することを含むことができる。段階225の別の実施形態は、目的物105の画像データを含む確率の所定の範囲内で算出された一連の画素を持つターゲット領域230を特定することを含む。段階225ではまた、蛍光透視画像215のターゲット領域230内のノイズを低減するために操向可能な(steerable) フィルタ又は定方向(oriented)フィルタを既知の態様で適用することを含むことができる。画素毎の確率の算出は、被撮像体110の中を通る目的物105の動きにつれて実時間で蛍光透視画像215を周期的又は連続的に更新して、周期的に又は連続的に更新することができる。
次に段階240は、蛍光透視画像215のターゲット領域内で検出された画素化したデータの測定値(例えば、グレースケール値)の関数として、画像調節パラメータを算出することを含む。画像調節パラメータには、例えば、三次元モデル170における解剖学的構造の詳細な表示を減じることなく、蛍光透視画像215のターゲット領域230の表示を向上させるように、三次元再構成画像又はモデル170と目的物105の蛍光透視画像215とを重畳又は組み合わせ又は融合させることに関連したレンダリング又は投影又は混合パラメータが含まれる。
蛍光透視画像215と三次元モデル170との融合又は重畳又は組み合わせを調節するように特定し又は変更することのできる幾つかの投影パラメータがある。投影パラメータは、画像分析又はユーザからの入力に従って強調すべき所望の情報に依存して定めることができる。投影パラメータの一例は、出力画像275を作成するために互いに重畳又は融合したときの蛍光透視画像215及び三次元モデル170を有する画素のそれらの一方に対する他方の透明性のレベルである。
段階240の一実施形態は、算出された確率に依存して画素毎に蛍光透視画像215に対する三次元モデル170の透明性のレベル又は透明度を算出することを含む。透明度を算出する一実施形態は、一般に、段階225で算出されたような目的物の画像データを含む関連画素の算出された確率に対する又は依存する光透過値の割合を算出すること含む。各画素の透明度は、三次元モデル170内の周囲の解剖学的構造の表示が組み合わせ後の出力画像275においてより一層透明になるように、目的物105の画像データを含む確率に依存して算出される。画素毎の透明度を算出する一実施形態によれば、解剖学的構造壁(例えば、内在的構造)の両側の画像データを持つ画素に対して、目的物105を囲む解剖学的構造の壁についての取得した画像データを含む確率の増大に比例して、各画素の不透明度又はコントラスト又は光強度の値を増大することを含む。
図3及び4は、上述の三次元モデル170と同様な三次元モデル300及び305について透明度パラメータを調節することの影響についての実施形態を示す。図3は、一実施形態の三次元再構成画像又はモデル300を示しており、この場合、レンダリング・パラメータがほぼゼロ・パーセントの透明度に選択又は設定されていて(これは、表面レンダリングと呼ばれる)、内部にある内在的構造よりはむしろ解剖学的構造の表面310が表示される。対照的に、図4は、レンダリング・パラメータを図3のモデル300と比べて増大した透明度に選択又は設定した三次元再構成モデル305を示しており、この場合、解剖学的構造の表面325の表示をより透明にして(例えば、70パーセントの透明度にして)、内部にある内在的構造の詳しい画像化されたデータ又はその不存在を表示するようにしている。図示の例では、構造325の壁330及び335の画像データを表示する画素の透明度の値は、壁330及び335の両側の画像データを表示する画素の透明度の値に対して相対的に低い。
段階240に従って混合パラメータを算出又は調節する一実施形態は、蛍光透視画像215及び三次元再構成モデル170の一方又は両方に対する混合パラメータの値を画素毎に算出することを含む。混合パラメータ又は係数は一般に、出力画像275を作成する際に互いに対して重畳又は融合すべき各成分(例えば、蛍光透視画像215及び三次元再構成モデル170)の割合を指定する。蛍光透視画像215と三次元再構成画像又はモデル170との重畳又は融合に混合係数を適用する際の混合技術の一実施形態は、蛍光透視画像215と三次元再構成画像又はモデル170との重畳又は融合の割合を(例えば、線形に、指数関数的に、などに)定める混合係数を特定し又は選択することを含む。線形混合技術の一実施形態は、下記の数学的表現又は式:
融合画像=(α係数)*(蛍光透視画像のターゲット領域)
+(1−α係数)*(三次元再構成画像又はモデル)
に従う。ここで、α係数は、蛍光透視画像215のターゲット領域230内の各画素についての測定されたグレースケール又はコントラスト又は強度値に乗算すべき第1の混合係数であり、また、(1−α係数)は、蛍光透視画像215の重畳され又は融合され又は組み合わされるターゲット領域230の外側にある三次元再構成モデル170の各画素についての測定されたグレースケール又はコントラスト又は強度値に乗算すべき第2の混合係数である。α技術の別の実施形態によれば、上記の数学的表現又は式は更に、解剖学的構造に関連していないか、さもなければ関心のある解剖学的構造に関連していない三次元モデル170の中の全ての各々の画素についてのグレースケール又はコントラスト又は強度値に乗算すべき、ほぼゼロに等しい別の混合係数(すなわち、γ)を含むことができる。
混合技術の別の例は、下記の数学的表現又は式:
融合画像=(α係数)*(蛍光透視画像の画素値)
+(β係数)*(解剖学的3D画像の画素値)
+(γ係数)*(非解剖学的3D画像の画素値)
に示されるように、更に多くの混合係数を含むことができる。ここで、α係数、β係数及びγ係数は、メモリ135内の所定の保存された値として個々に特定されて選択され、或いは入力145を介して受け取られる。
段階240の一実施形態によれば、上述の混合係数(例えば、α係数、β係数、γ係数、1−α係数)の各々は、段階225で述べたように目的物105の画像データを含むそれぞれの画素についての算出された確率に依存して又は比例して、特定のx,y座標を持つ画素毎に算出される。上述の混合係数の1つ以上は、 三次元再構成モデル170に対する共通の基準として及び/又は蛍光透視画像215に対する基準として特定された二次元又は三次元座標系222に基づいて機能するように画像215のターゲット領域画像230又はモデル170を調節するために、画素毎に適用される。段階240のこの実施形態は、下記の数学的表現:
α係数=f(x,y)
によって表すことができる。ここで、α係数は、各画素に関連した混合係数であり、且つ段階225で述べたように目的物105の画像データを含むそれぞれの画素についての算出された確率に依存した又は比例した混合係数である。また、(x)及び(y)は、出力画像275を作成するために融合され又は重畳され又は組み合わされる蛍光透視画像215及び三次元再構成モデル170の各画素の空間的関係の共通の基準を規定する座標系222における座標を表す。
この実施形態の一例によれば、段階240は、出力画像275を作成するために蛍光透視画像215のターゲット領域230の範囲内に組み合わせ又は融合又は重畳して投影する三次元モデル170の画素のグレースケール又はコントラスト又は強度値を算出するために、第1の混合係数αを特定して適用することを含む。段階240は更に、ターゲット領域230の範囲の外側で蛍光透視画像215の残りの部分へ投影する三次元モデル170の残りの画素のグレースケール又はコントラスト又は強度値を画素毎に算出するために、第2の混合係数(第2の混合係数は第1の混合係数に対して相対的に小さい)を特定して適用又は乗算することを含む。同様に、蛍光透視画像215の残りの部分に対して蛍光透視画像215の画素毎のグレースケール又はコントラスト又は強度値を算出するために異なる混合係数を適用することができる。段階240は、被撮像体110の中を通る目的物105と共に蛍光透視画像215のターゲット領域230が移動するにつれて、実時間で周期的に又は連続的に遂行することができる。
ここで図5を参照して説明すると、段階240の一実施形態は更に、前述のモデル170と同様な三次元モデル350のモデル遷移部分340(平行な斜線で示す)を特定することを含むことができ、そのモデル遷移部分340はモデル350の(例えば、前述のターゲット領域230と同様なターゲット領域355内の)画素とターゲット領域355から間隔距離360だけ外側にあるモデル350の画素との間に延在する。段階240の別の実施形態は、座標(x1,y1)を持つ第1の場所の第1の画素と座標(x2,y2)を持つ第2の場所の第2の画素との間に位置する一連の画素を含むモデル遷移部分340を特定することを含むことができる。段階240は更に、第1のモデル遷移部分340内の画素毎のグレースケール又はコントラスト又は強度値を算出するために第1の遷移混合アルゴリズムを特定して適用することを含むことができる。同様に、図6に示されるように、段階240はまた、(前述の蛍光透視画像215と同様な)蛍光透視画像385の蛍光透視画像遷移部分380(平行な斜線で示す)を特定することを含むことができ、この遷移部分380は第1及び第2の座標の画素の間に延在するか、その代わりに、類似のターゲット領域390内の画素とターゲット領域390から間隔距離395だけ外側にある蛍光透視画像385の残りの画素との間に延在する。蛍光透視画像遷移部分380は一般に図5のモデル遷移部分340と形状及び大きさが同様である。段階240は更に、蛍光透視画像遷移部分380内の画素毎のグレースケール又はコントラスト又は強度値を算出するために、遷移混合アルゴリズムを特定して適用することを含むことができる。遷移混合アルゴリズムは、例えば、前述した第1及び第2の混合係数の間で値が連続的線形変化又は遷移、段階的線形遷移、或いは連続的指数関数的変化又は遷移するものであってよい。
ここで、ターゲット領域230、355及び395は、目的物105の形状に順応して変化する形状(例えば、窓、多角形、目的物105の外表面から一定の距離隔たる囲い)にすることができることに留意されたい。また、三次元再構成モデル170と重畳する蛍光透視画像215の投影を変える他の公知の画像処理技術を、前述のシステム100及び方法200と組み合わせて使用できることにも留意されたい。従って、段階240は、蛍光透視画像215を周囲の解剖学的構造の三次元再構成モデル170と重畳又は融合又は組み合わせる際に画素毎に又は座標(例えば、x−y座標系、極座標系など)をベースとして投影パラメータ(例えば、透明度、強度、不透明度、混合)の値を変え又は調節することを含むことができる。
次に図2に戻って説明すると、段階400は、段階230で述べたように調節された三次元モデル170の少なくとも一部分の画像データを、段階230で述べたように調節された二次元蛍光透視画像215の少なくとも一部分の画像データと組み合わせ又は重畳させ又は融合させて、モデル170の再構成解剖学的構造に対して空間的関係で目的物105を示す出力画像275を作成するようにすることを含む。段階400の一実施形態は、蛍光透視画像215をモデル170の二次元のボリューム・レンダリング表示と組み合わせ又は重畳させ又は融合させることを含む。段階405は、目的物105及びモデル170のその周囲の解剖学的構造の所望の詳しい表示が達成されるまで、段階240で述べたように画像調節パラメータ(例えば、投影、レンダリングなど)の値を再調節することを含む。段階405は、入力145を介して受け取った命令に従って画素毎に透明度又は混合係数の値を調節することを含むことができる。段階410で方法は終了する。
上記の方法200及びシステム100の技術的効果は、出力画像275を作成するために画像215及びモデル170を一緒に融合し又は重畳し又は組み合わせるプロセスにおいて三次元再構成画像又はモデル170内に生成されているときの周囲の解剖学的構造の表示と共に、蛍光透視画像215のターゲット領域230内に捕捉されているときの目的物105の表示を向上させるか又はそのコントラストを増大させることである。上記の方法200及びシステム100の別の技術的効果は、被撮像体110の中を通る目的物105の動きの視覚的画像データを取得するために被撮像体110に造影剤を注入する必要性を減じるか又は無くすことである。
本明細書は、最良の形態を含めて本発明を開示するため且つまた当業者が本発明を実施し且つ使用することができるようにするために様々な例を使用した。本書で説明した発明の範囲は特許請求の範囲によって規定されており、また当業者に考えられる他の例を含むことができる。このような他の例は、特許請求の範囲に記載の言葉通りの構造的要素を有している場合、或いは特許請求の範囲に記載の言葉から実質的に差異のない等価な構造的要素を含んでいる場合、特許請求の範囲内にあるものとする。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。
被撮像体の中を通る目的物の動きを追跡するための一実施形態のシステムを示す概略図である。 図1のシステムを使用して、被撮像体の中を通る目的物の動きを追跡する一実施形態の方法の概略流れ図である。 透明度をほぼゼロの値にして作成された一実施形態の三次元モデルを示す概略図である。 図3と比べて透明度の値を増大して作成された一実施形態の三次元モデルを示す概略図である。 三次元再構成モデルのターゲット領域とその周囲の解剖学的構造との間を混合させる遷移領域の一実施形態を示す概略図である。 蛍光透視画像のターゲット領域とその周囲の部分との間を混合させる遷移領域の一実施形態を示す概略図である。
符号の説明
100 システム
105 目的物又は器具
110 被撮像体
115 イメージング・システム
120 画像又は画像フレーム
122 エネルギ源
125 関心のある領域
130 制御装置
135 メモリ
140 プロセッサ
145 入力
170 三次元再構成画像又はモデル
200 方法
215 蛍光透視画像
230 ターゲット領域
275 出力画像
300、305 三次元モデル
310 解剖学的構造の表面
325 解剖学的構造の表面
330、335 壁
340 モデル遷移部分
350 三次元モデル
355 ターゲット領域
360 間隔距離
380 蛍光透視画像遷移部分
385 蛍光透視画像
395 間隔距離

Claims (10)

  1. 被撮像体(110)の中を進行する目的物(105)の動きを追跡するためのシステム(100)であって、
    被撮像体(110)の関心のある領域内での前記目的物(105)を含む蛍光透視画像(215)を取得するように動作することのできる蛍光透視イメージング・システム(115)と、
    前記被撮像体(110)の前記関心のある領域(125)の三次元モデル(170)を作成するように動作することのできるイメージング・システム(115)と、
    プロセッサ(140)によって実行するための複数のコンピュータ読取り可能なプログラム命令を記憶するように動作することのできるメモリ(135)を有する制御装置(130)であって、前記複数のプログラム命令は、
    (a)取得した画像データ内の画素が前記目的物(105)に対応する画像データの画素である確率を、前記蛍光透視画像(215)内の画素毎に算出する段階と、
    (b)前記段階(a)で算出された前記確率に依存して前記蛍光透視画像(215)の画素毎に混合係数の値を算出する段階と、
    (c)前記蛍光透視画像(215)の少なくとも一部分及び前記三次元モデル(170)の少なくとも一部分を有する出力画像(275)を作成する段階であって、前記段階(b)の前記混合係数に従って前記蛍光透視画像(215)の少なくとも一部分及び前記三次元モデル(170)の少なくとも一部分を混合することを含む段階とを表している、前記制御装置(130)と、
    を有しているシステム(100)。
  2. 前記出力画像(275)を作成する前記段階は、前記段階(b)の前記混合係数の値を、前記蛍光透視画像(215)の各画素についてのグレースケール値、コントラスト値及び強度値の内の1つと乗算することを含めて、前記蛍光透視画像(215)を調節することを含んでいる、請求項1記載のシステム(100)。
  3. 前記混合係数の値の各々は前記制御装置(130)に対する入力を介して調節することができる、請求項1または2に記載のシステム(100)。
  4. 前記プログラム命令は更に、共通の座標系に対して前記三次元モデル(170)の画像データと空間的関係で前記蛍光透視画像(215)の画像データを整合させる段階を含んでおり、また前記算出する段階(b)は、前記共通の座標系(222)のx及びy座標の関数として前記混合係数の値を算出することを含んでいる、請求項1記載のシステム(100)。
  5. 前記プログラム命令は更に、前記目的物(105)の画像データを含む閾値確率内の確率の値により算出された複数の画素を有する前記蛍光透視画像(215)のターゲット画素領域(230)を特定する段階を含み、また前記算出する段階(b)は、前記ターゲット領域(230)内の各画素について第1の値の混合係数を特定し且つ前記ターゲット領域(230)の外にある各画素について第2の混合係数を特定することを含み、また前記調節する段階(c)は、前記第1の値の混合係数を前記ターゲット領域(230)内の各画素のグレースケール値、コントラスト値又は強度値の内の1つと乗算することを含み、また前記調節する段階は、前記第2の値の混合係数を前記ターゲット領域(230)の外側の前記蛍光透視画像(215)の各画素のグレースケール値、コントラスト値又は強度値の内の1つと乗算することを含み、前記第2の混合係数は前記第1の混合係数よりも小さい、請求項4記載のシステム(100)。
  6. 前記混合係数の値は0と1との間の値であり、また前記プログラム命令は更に、特定の(x,y)座標位置を持つ画素毎に算出された前記段階(b)の混合係数の値を1から差し引いた値を乗算することを含めて、前記三次元モデル(170)の二次元表示を調節する段階を含んでおり、前記混合係数の値を1から差し引いた値には、段階(d)で組み合わせるべき前記蛍光透視画像(215)のそれぞれの画素とほぼ同じ(x,y)座標位置を持つ前記三次元モデル(170)の各々のそれぞれの画素のグレースケール値、コントラスト値及び強度値の内の1つが乗算される、請求項1記載のシステム(100)。
  7. 第1の座標(x1,y1)における前記蛍光透視画像(215)の第1の画素について算出された第1の値の混合係数と第2の座標(x2,y2)における前記蛍光透視画像(215)の第2の画素について算出された第2の値の混合係数との間で連続的に遷移する複数の値の混合係数を特定することを含んでいる、請求項1記載のシステム(100)。
  8. 前記蛍光透視画像(215)の前記第1の画素と前記第2の画素との間に位置する複数の画素の内の1つについてのグレースケール値、コントラスト値又は強度値の内の1つと複数の値の混合係数の各々とを乗算することを含んでおり、
    前記連続的に遷移する複数の値の混合係数は、前記第1の画素の前記第1の値の混合係数から前記第2の画素の前記第2の値の記混合係数まで値が連続的に線形に変化するか又は連続的に数関数的に変化する、請求項記載のシステム(100)。
  9. 前記確率が、取得した画像データ内の画素を目的物の保存された所定の画像データと比較することにより算出される、請求項1乃至8のいずれかに記載のシステム(100)。
  10. 被撮像体(110)の中を移動する目的物(105)の動きを追跡するための方法(200)であって、
    (a)取得した画像データ内の画素が目的物(105)に対応する画像データの画素である確率を、前記被撮像体(110)の蛍光透視画像(215)内の画素毎に算出する段階と、
    (b)前記段階(a)で算出された確率に依存して前記蛍光透視画像(215)の画素毎に混合係数の値を算出する段階と、
    (c)前記蛍光透視画像(215)の画像データの少なくとも一部分及び前記三次元モデル(170)の画像データの少なくとも一部分を有する組合せ画像(275)を作成する段階であって、前記段階(b)の混合係数に従って前記蛍光透視画像(215)と前記三次元モデル(170)とを混合することを含む段階と、
    を有する方法(200)。
JP2008113380A 2007-04-26 2008-04-24 被撮像体内の目的物の視覚性を改善するためのシステム及び方法 Active JP5238336B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/740,734 2007-04-26
US11/740,734 US7853061B2 (en) 2007-04-26 2007-04-26 System and method to improve visibility of an object in an imaged subject

Publications (2)

Publication Number Publication Date
JP2008272470A JP2008272470A (ja) 2008-11-13
JP5238336B2 true JP5238336B2 (ja) 2013-07-17

Family

ID=39710821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008113380A Active JP5238336B2 (ja) 2007-04-26 2008-04-24 被撮像体内の目的物の視覚性を改善するためのシステム及び方法

Country Status (3)

Country Link
US (1) US7853061B2 (ja)
EP (1) EP1986159A3 (ja)
JP (1) JP5238336B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8675951B2 (en) * 2007-05-11 2014-03-18 Three Pixels Wide Pty Ltd. Method and system for generating a 3D model
EP2376013B8 (en) 2008-12-12 2020-04-15 Koninklijke Philips N.V. Automatic road mapping for heart valve replacement
US8718338B2 (en) * 2009-07-23 2014-05-06 General Electric Company System and method to compensate for respiratory motion in acquired radiography images
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
JP5965840B2 (ja) * 2009-09-29 2016-08-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 血管ロードマッピング
JP5274717B2 (ja) * 2010-11-18 2013-08-28 三菱電機株式会社 3次元画像表示装置及び3次元画像表示プログラム
US8712177B2 (en) * 2011-01-25 2014-04-29 Siemens Aktiengesellschaft Motion compensated overlay
RU2013141178A (ru) * 2011-02-07 2015-03-20 Конинклейке Филипс Н.В. Устройство формирования медицинских изображений для обеспечения представления изображения, способствующего точному расположению интервенционного устройства при процедурах сосудистой интервенции
CN102697482B (zh) * 2011-03-14 2016-01-20 西门子公司 使用自适应判别学习和测量融合的导管跟踪的方法和系统
DE102011089233A1 (de) * 2011-12-20 2013-06-20 Siemens Aktiengesellschaft Texturadaption in zumindest einem aus mindestens zwei Bildern überlagerten, medizinischen Bild
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US11172895B2 (en) 2015-12-07 2021-11-16 Covidien Lp Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated
EP3205254B1 (en) * 2016-02-15 2020-11-18 Leica Instruments (Singapore) Pte. Ltd. Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
US11051886B2 (en) 2016-09-27 2021-07-06 Covidien Lp Systems and methods for performing a surgical navigation procedure
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
EP3694412A4 (en) 2017-10-10 2021-08-18 Covidien LP SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
US20190377538A1 (en) 2018-06-08 2019-12-12 Curious Company, LLC Information Presentation Through Ambient Sounds
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10902678B2 (en) * 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
TWI711051B (zh) * 2019-07-11 2020-11-21 宏碁股份有限公司 血管狀態評估方法與血管狀態評估裝置
CN111666886A (zh) * 2020-06-08 2020-09-15 成都知识视觉科技有限公司 一种医疗单证结构化知识提取的图像预处理方法
CN113706428B (zh) * 2021-07-02 2024-01-05 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN114037803B (zh) * 2022-01-11 2022-04-15 真健康(北京)医疗科技有限公司 医学图像三维重建方法及系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2613509B1 (fr) * 1987-04-03 1989-06-09 Thomson Cgr Procede de calcul et de representation d'images de vues d'un objet
FR2641099B1 (ja) * 1988-12-22 1991-02-22 Gen Electric Cgr
FR2642198B1 (fr) * 1989-01-20 1991-04-05 Gen Electric Cgr Procede de calcul et d'exploitation de l'image en projection conique, par exemple au sens des rayons x, d'un objet tridimensionnel echantillonne, et procede de reconstruction tridimensionnelle d'un objet etudie utilisant ce procede de calcul
FR2644590B1 (fr) * 1989-03-20 1994-08-19 General Electric Cgr Sa Procede d'acquisition de donnees radiologiques et de reconstruction de structures correspondant a ce corps
US5253171A (en) * 1990-09-21 1993-10-12 General Electric Company Parallel processing method and apparatus based on the algebra reconstruction technique for reconstructing a three-dimensional computerized tomography (CT) image from cone beam projection data
FR2700909B1 (fr) * 1993-01-27 1995-03-17 Gen Electric Cgr Dispositif et procédé automatique de calibration géométrique d'un système d'imagerie par rayons X.
FR2736455B1 (fr) * 1995-07-03 1997-08-08 Commissariat Energie Atomique Procede de reconstruction d'une image 3d avec amelioration du contraste et de la resolution et application de ce procede a la realisation d'une cartographie d'attenuation d'un objet
FR2779555B1 (fr) * 1998-06-05 2000-09-01 Ge Medical Syst Sa Dispositif et procede de simulation des vaisseaux sanguins d'un patient
FR2779556B1 (fr) * 1998-06-05 2000-08-11 Ge Medical Syst Sa Dispositif et procede de simulation des vaisseaux sanguins d'un patient
JP2000342565A (ja) * 1999-06-01 2000-12-12 Toshiba Corp X線診断装置
FR2797978B1 (fr) * 1999-08-30 2001-10-26 Ge Medical Syst Sa Procede de recalage automatique d'images
FR2799029B1 (fr) * 1999-09-24 2002-05-24 Ge Medical Syst Sa Procede de reconstruction d'une image tridimensionnelle d'un objet en mouvement, en particulier une image tridimensionnelle de vaisseaux du coeur humain
FR2799028B1 (fr) * 1999-09-27 2002-05-03 Ge Medical Syst Sa Procede de reconstitution d'une image tridimentionnelle d'elements de fort contraste
US6711433B1 (en) * 1999-09-30 2004-03-23 Siemens Corporate Research, Inc. Method for providing a virtual contrast agent for augmented angioscopy
FR2800189B1 (fr) * 1999-10-26 2002-01-11 Ge Medical Syst Sa Procede de reconstruction multi-resolutions d'une image tridimensionnelle d'un objet, en particulier une image tridimensionnelle angiographique
US20010053204A1 (en) * 2000-02-10 2001-12-20 Nassir Navab Method and apparatus for relative calibration of a mobile X-ray C-arm and an external pose tracking system
US6466638B1 (en) * 2000-02-11 2002-10-15 Kabushiki Kaisha Toshiba Image mapping method and system
FR2812741B1 (fr) * 2000-08-02 2003-01-17 Ge Med Sys Global Tech Co Llc Procede et dispositif de reconstruction d'une image tridimensionnelle dynamique d'un objet parcouru par un produit de contraste
FR2823345B1 (fr) * 2001-04-09 2003-08-22 Ge Med Sys Global Tech Co Llc Procede d'amelioration de la qualite d'une image radiographique tridimensionnelle d'un objet et dispositif radiographique correspondant
FR2824164B1 (fr) * 2001-04-26 2003-08-15 Ge Med Sys Global Tech Co Llc Systeme d'imagerie medicale a affichage d'une representation tridimensionnelle
FR2823968B1 (fr) * 2001-04-27 2005-01-14 Ge Med Sys Global Tech Co Llc Procede d'etalonnage d'un systeme d'imagerie, support de memoire et dispositif associe
JP4128349B2 (ja) * 2001-11-05 2008-07-30 東芝医用システムエンジニアリング株式会社 X線画像診断装置およびx線画像作成方法
DE10210646A1 (de) * 2002-03-11 2003-10-09 Siemens Ag Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments
FR2838043B1 (fr) 2002-04-05 2005-03-11 Jean Noel Vallee Systeme d'aide a la navigation en temps reel pour dispositif de radiographie
FR2847995B1 (fr) * 2002-11-28 2005-05-13 Ge Med Sys Global Tech Co Llc Procede de traitement d'informations de commande transmises par un peripherique de manipulation d'images de modelisation 3d, et installation pour la visualisation d'images medicales en salle d'intervention et/ou d'examen
FR2847798B1 (fr) * 2002-11-28 2006-02-10 Ge Med Sys Global Tech Co Llc Procede pour determiner des parametres fonctionnels dans un dispositif de fluoroscopie
FR2848806B1 (fr) * 2002-12-18 2005-11-04 Ge Med Sys Global Tech Co Llc Procede de calibrage d'un appareil d'imagerie radiologique necessitant un nombre limite d'acquisitions
FR2850775B1 (fr) * 2003-01-30 2005-07-22 Ge Med Sys Global Tech Co Llc Dispositif d'imagerie medicale a reorientation semi-automatique d'objet radiologique
JP5030588B2 (ja) * 2003-08-21 2012-09-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 2つの画像を組み合わせるための装置及び方法
FR2859299B1 (fr) * 2003-08-28 2006-02-17 Ge Med Sys Global Tech Co Llc Procede de reconstruction tomographique par rectification
FR2862786B1 (fr) * 2003-11-21 2006-01-06 Ge Med Sys Global Tech Co Llc Procede de recalage elastique d'une image applique a l'angiographie soustraite numerisee
FR2862861B1 (fr) * 2003-11-28 2006-12-22 Ge Med Sys Global Tech Co Llc Positionnement d'objets pour l'acquisition d'images
EP1816961A1 (en) 2004-11-23 2007-08-15 Koninklijke Philips Electronics N.V. Image processing system and method for displaying images during interventional procedures
JP4267598B2 (ja) * 2005-07-11 2009-05-27 ザイオソフト株式会社 画像融合処理方法、画像融合処理プログラム、画像融合処理装置
US7532770B2 (en) * 2005-09-23 2009-05-12 Siemens Aktiengesellschaft Method for combining two images based on eliminating background pixels from one of the images

Also Published As

Publication number Publication date
US20080267490A1 (en) 2008-10-30
EP1986159A3 (en) 2010-04-14
US7853061B2 (en) 2010-12-14
EP1986159A2 (en) 2008-10-29
JP2008272470A (ja) 2008-11-13

Similar Documents

Publication Publication Date Title
JP5238336B2 (ja) 被撮像体内の目的物の視覚性を改善するためのシステム及び方法
US20090012390A1 (en) System and method to improve illustration of an object with respect to an imaged subject
US8045780B2 (en) Device for merging a 2D radioscopy image with an image from a 3D image data record
US11013481B2 (en) Method for acquiring and processing image data of an examination object
US8073221B2 (en) System for three-dimensional medical instrument navigation
JP6002667B2 (ja) 3d起源の心臓ロードマップ生成
EP1599137B1 (en) Intravascular imaging
JP2022517581A (ja) 冠動脈の動的ロードマップを提供するための方法およびシステム
US8355550B2 (en) Methods and apparatus for virtual coronary mapping
EP3258851B1 (en) Digital image remapping
JP5427179B2 (ja) 解剖学的データの視覚化
US20080275467A1 (en) Intraoperative guidance for endovascular interventions via three-dimensional path planning, x-ray fluoroscopy, and image overlay
US20120136236A1 (en) Imaging method and apparatus
JP2009022754A (ja) 放射線画像の位置揃えを補正する方法
JP2013505803A (ja) 血管ロードマッピング
CN106456080B (zh) 用于修改x射线数据中的对tee探头的成像的设备
RU2662871C2 (ru) Ослабление костей при рентгеновской визуализации
JP5100041B2 (ja) 画像処理装置及び画像処理プログラム
WO2023209014A1 (en) Registering projection images to volumetric images
US20100215150A1 (en) Real-time Assisted Guidance System for a Radiography Device
CN116528752A (zh) 自动分割与配准系统及方法
Alhrishy et al. Interventional digital tomosynthesis from a standard fluoroscopy system using 2D-3D registration
EP4129182A1 (en) Technique for real-time volumetric imaging from multiple sources during interventional procedures
Alhrishy et al. Remapping of digital subtraction angiography on a standard fluoroscopy system using 2D-3D registration

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5238336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250