JP4128349B2 - X-ray image diagnostic apparatus and X-ray image creation method - Google Patents

X-ray image diagnostic apparatus and X-ray image creation method Download PDF

Info

Publication number
JP4128349B2
JP4128349B2 JP2001338935A JP2001338935A JP4128349B2 JP 4128349 B2 JP4128349 B2 JP 4128349B2 JP 2001338935 A JP2001338935 A JP 2001338935A JP 2001338935 A JP2001338935 A JP 2001338935A JP 4128349 B2 JP4128349 B2 JP 4128349B2
Authority
JP
Japan
Prior art keywords
image
ray
mask
blood vessel
landmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001338935A
Other languages
Japanese (ja)
Other versions
JP2003143479A (en
Inventor
義訓 清水
邦夫 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Engineering Co Ltd filed Critical Toshiba Corp
Priority to JP2001338935A priority Critical patent/JP4128349B2/en
Publication of JP2003143479A publication Critical patent/JP2003143479A/en
Application granted granted Critical
Publication of JP4128349B2 publication Critical patent/JP4128349B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えばカテーテルを用いた治療を支援するのに好適なX線画像診断装置に関する。
【0002】
【従来の技術】
例えば、動脈瘤等の治療を行なう際、従来は外科的手技により切開して患部に到達する必要があった。しかし近年、画像診断的介入治療(Interventional Radiology:IVR)と称される侵襲性の非常に低い治療法が開発され、臨床に供されるようになってきた。
このIVRによる動脈瘤の治療法を簡単に説明すると、先ず、血管造影法により撮影したコントラスト像をロードマップとして表示する。次に、このロードマップをガイドとして、X線透視下にて血管内にガイドワイヤを通し、さらにガイドワイヤに沿ってカテーテルを患部へ導く。そして、患部に到達したカテーテルの先端から、コイルのような閉塞物質を動脈瘤の中に留置させる。この留置させた閉塞物質によって動脈瘤内の血流が妨害されることになり、結果として動脈瘤内で血液を凝固させて治療目的を達成するものである。なお、上記のガイドワイヤ、カテーテル、コイルのような閉塞物質などを、医療用具と称するものとする。
ところで、IVRを実施する際に、患部付近における骨や臓器などの背景に対する血管および血管内に挿入されるガイドワイヤなど医療用具の位置関係を術者に知らせる手段として、ランドマーク像をモニタに表示することがおこなわれていた。このランドマーク像は、対象部位の血管に造影剤を注入して撮影したX線画像をマスク像とするとともに、この血管中に例えばガイドワイヤを挿入して撮影したX線画像をライブ像とし、両者に対して係数差をつけて重ね合わせることによって作られていた。
【0003】
このランドマーク像の従来の作成工程を、図6を参照して説明する。
すなわち、対象部位の血管に造影剤を注入してX線撮影した背景(主として骨である。)と血管を含む画像をマスク像Maskとして、メモリなどに記録しておく。次に、この血管中に例えばガイドワイヤを挿入し、造影剤を注入せずにX線撮影して背景とガイドワイヤを含むライブ像Liveを得る。そして、マスク像Maskには係数aを、また、ライブ像Liveには係数bを乗じて、両者を重ね合わせるような演算をすることによって、ランドマーク像Landmarkを作っていた。このことを数式で示すと(1)式のようになり、ここでcは補正係数である。
Landmark = a*Mask + b*Live + c ・・(1)
このようにして、マスク像Maskとライブ像Liveに含まれる背景情報のレベルに差を付けることにより、レベルを押さえた背景とともに血管やガイドワイヤを表示し、背景に対する血管とガイドワイヤなど医療用具の位置関係を表わしたランドマーク像Landmarkを得ていた。そして、このランドマーク像Landmarkをモニタに表示して術者へ提供していた。
【0004】
【発明が解決しようとする課題】
しかしながら、計算結果であるランドマーク像Landmarkの画素レベルを元の画像と揃えるために、(1)式の係数aとbの間には、a+b=1の関係が成り立つ必要がある。この関係のもとでは、背景全体のレベルは変わらないという利点はあるものの、背景に含まれる血管やガイドワイヤなど医療用具のレベルが、元のそれぞれの画像に比べて極端に低下してしまうという問題があった。
すなわち、マスク像Mask(すなわち血管)を強調しようとすればライブ像Live(すなわちガイドワイヤなどの医療用具)が薄くなり、逆にライブ像Live(ガイドワイヤなどの医療用具)を強調しようとすればマスク像Mask(血管)が薄くなってしまい、血管とガイドワイヤなどの医療用具の両方を強調したランドマーク像Landmarkを表示することができなかった。
また、マスク像Maskとライブ像Liveとを、透視と撮影のように、極端に条件の異なる手技によってX線撮影して得たような場合には、画像レベルの差が大きすぎるため、ランドマーク像Landmarkを作成するのが困難だった。その他、背景の濃度差(明るい領域と暗い領域の差)が大きい場合には、血管やガイドワイヤなどの医療用具が背景に埋もれてしまって、見え難くなるおそれもあるという問題もあった。
【0005】
本発明は、このような問題を解決するためになされたものである。
【0006】
【課題を解決するための手段】
上述の課題を解決するために、請求項1記載の発明は、被検体をX線撮影して得た第1の画像を保存する保存手段と、この保存手段に保存されている前記第1の画像にフィルタ処理を施して第2の画像を得るフィルタ処理手段と、造影剤注入後にX線撮影して得た第3の画像から前記第1の画像を減算処理して第4の画像を得、前記第2の画像と前記被検体の血管に医療用具を挿入し撮影して得られた第5の画像を減算処理して第6の画像を得、更に、前記第4の画像と第6の画像とを加算して第7の画像を得る演算手段とを備えることを特徴とするものである。
【0007】
また、請求項2に記載の発明は、被検体をX線撮影して得た第1の画像を保存する保存手段と、この保存手段に保存されている前記第1の画像にフィルタ処理を施して第2の画像を得るフィルタ処理手段と、造影剤注入後にX線撮影して得た第3の画像から前記第2の画像を減算処理して第4の画像を得、前記第1の画像と前記被検体の血管に医療用具を挿入し撮影して得られた第5の画像を減算処理して第6の画像を得、更に、前記第4の画像と第6の画像とを加算して第7の画像を得る演算手段とを備えることを特徴とするものである。
【0008】
【発明の実施の形態】
以下、本発明に係るX線画像診断装置およびX線合成画像の作成方法の、実施の形態について、図1ないし図5を参照して詳細に説明する。
図1は、本発明に係るX線画像診断装置の一実施の形態を説明するために、循環器用X線診断装置の概略的な構成を示した図である。循環器用X線診断装置は、例えば略C字形に湾曲したアーム11を支持している支持器10と、アーム11の一方の端に取着されたX線管20と、アーム11の他方の端に取着されたX線検出器30と、X線管20の管電圧、管電流、X線パルス幅などの出力条件を制御して、X線管20から所望のX線を発生させるX線発生装置40と、X線検出器30に対するNDフィルタの係数や光学絞りの径或いは感度などを計算して制御するX線制御器50と、X線制御器50を通して得られる画像信号を処理する画像処理装置60と、この画像処理装置60から得られる画像や透視像を表示するモニタ70と、被検体を載置する天板81を有する寝台80と、これら支持器10、X線発生装置40、X線制御器50、画像処理装置60、寝台80などを有機的に制御する演算装置(CPU)やメモリを有するシステム制御器90と、操作者がシステム制御器90に対して適宜設定値などの入力をするためのキーボードやマウス、トラックボールなどを備えた操作部91とから構成されている。
【0009】
なお、X線検出器30は、X線像をイメージインテンシファイア(Image Intensifier:以下、I.I.と略称する。)により可視光像に変換し、I.I.の出力蛍光面に形成された可視光像の透過量を制御する光学系を介して前記可視光像をテレビカメラで撮影する形式のものの他、例えばガラス基板上に形成されるスイッチング素子や容量を、X線を電荷などに変換する光導電膜などで覆うようにした半導体アレイで形成されるフラットパネル型放射線検出器(Flat Panel Detector:FPD)であってもよい。
また、画像処理装置60は、X線制御器50からの画像信号を受け入れる入力インターフェース61、システム制御器90との制御信号の授受を行なうX線制御インターフェース62、画像信号にフィルタ処理を施すフィルタ処理部63、画像信号を加算したりサブトラクション処理を施す演算部64、各種処理の際に参照するルックアップテーブル部65、生の画像データや処理後の画像データなどを保存するメモリ66、画像データをビデオ信号に変換するビデオ部67などを有し、これらはバスライン68を介して相互に接続されている。
さらに、モニタ70は通常複数台備えられ、臨床中に参照画像や生の透視像などを同時に表示するようになっている。
【0010】
次に、このように構成されている循環器用X線診断装置によって、ランドマーク像Landmarkを作成する場合の動作の概略について説明する。
図2は、本発明によるX線合成画像の作成方法の、第1の実施の形態を示した説明図である。本発明は、背景画像、血管像および医療用具像(ガイドワイヤ、カテーテル、コイルのような閉塞物質などの像であるが、以下便宜的にガイドワイヤ像と称するものとする。)のような3枚(またはそれ以上でもよい)のX線画像からランドマーク像Landmarkを作成するようにしたものであり、背景画像にはフィルタ処理を施して、背景情報の軽減されたランドマーク像Landmarkを得るものである。
すなわち、3枚のX線画像を使用するため、それらのX線画像の撮影が必要となる。先ず、天板71に載置されている被検体の治療すべき対象部位をX線撮影して、主として骨だけの背景画像を得、これをマスク像Maskとして画像処理装置60のメモリ66に格納する。なお、このマスク像Maskは、過去に撮影してメモリ66に格納されている同一被検体の背景画像であってもよい。次に、被検体の血管に造影剤を注入して透視または撮影によりX線画像を得、これを第1のライブ像Live1とする。この第1のライブ像Live1は、背景と造影剤の注入された血管が描出された画像である。さらに、被検体の血管中に例えばガイドワイヤを挿入した状態で、造影剤を注入せずに透視または撮影によりX線画像を得、これを第2のライブ像Live2とする。この第2のライブ像Live2は、背景とガイドワイヤが描出された画像である。
【0011】
続いて、ランドマーク像Landmarkを作成するための処理について説明する。
先ず、マスク像Mask(背景画像)と第1のライブ像Live1とを、画像処理装置60の演算部64にてサブトラクション処理することにより、同一の背景部分が除去された血管像を得る。次に、マスク像Maskを画像処理装置60のフィルタ処理部63にてフィルタ処理し、背景情報をぼかしたマスク像Filterを得る。そして、この背景情報のぼけたマスク像Filterと第2のライブ像Live2とを、画像処理装置60の演算部64にて減算処理することにより、弱い背景情報を含むガイドワイヤ像を得る。なおここで、血管像と弱い背景情報を含むガイドワイヤ像を得る順序は逆でもかまわない。
その後、この弱い背景情報を含むガイドワイヤ像と背景部分が除去された血管像とを、演算部64にて加算処理する。これにより、両方の画像に含まれる背景情報にレベル差があるため、血管とガイドワイヤとともに、うっすらと背景の浮き出たランドマーク像Landmarkを得ることができる。このことを数式で示すと(2)式のようになる。

Figure 0004128349
ここでaおよびbは個別に設定することの可能な係数であり、cは補正係数である。
【0012】
このような作業の手順を、循環器用X線診断装置の操作に合わせて示すと、図3のフローチャートのようになる。
ステップ1として、オペレータは、透視によって撮影部位の位置決めを行なう。この位置決めは、X線管20とX線検出器30とが対向する位置に被検体の撮影部位がくるように天板81を移動させ、透視を行いながら所定の撮影部位を確定し、同時に、支持器10に支持されているアーム11を、支点を軸として回転させたり、湾曲方向に沿ってスライドさせたりして、撮影部位に適するように、被検体に対する撮影方向を決め、さらにX線検出器30を上下動させて被検体に対するX線管20とX線検出器30の距離を確定し、その位置にアーム11を固定することによって行なわれる。
次にステップ2として、オペレータは撮影操作を行い、マスク像Maskを撮影する。撮影が終わると、ステップ3に進み、装置は画像の取り込みを行なって、マスク像Maskを画像処理装置60のメモリ66に格納し終わると、次のステップに進む準備ができたことを示すインジェクションマークを表示する。この表示を確認してオペレータは、造影剤の注入を指示し(ステップ4)、ステップ5として、血管に造影剤の注入された第1のライブ像Live1が撮影される。第1のライブ像Live1が撮影されるとステップ6へ進み、メモリ66に格納されているマスク像Maskを読み出して、第1のライブ像Live1とサブトラクション処理を行なって、血管像を作成する。この血管像は、メモリ66へ保存される(ステップ7)。
【0013】
次に、ステップ8へ進み、再度マスク像Maskを撮影する。なお、新たなマスク像Maskの撮影に代えて、メモリ66に保存されているステップ2で撮影したマスク像Maskを読み出してもよい。このマスク像Maskは、ステップ9としてフィルタ処理が施され、フィルタ処理の施されたマスク像Filterは、メモリ66に保存される(ステップ10)。次に、ステップ11として被検体の血管にガイドワイヤなどを挿入する。
その後、ステップ12としてガイドワイヤの入った第2のライブ像Live2を撮影する。第2のライブ像Live2が得られるとステップ13へ進み、メモリ66に保存されているステップ9でフィルタ処理の施されたマスク像Filterを読み出し、第2のライブ像Live2と減算処理を行なって、薄い背景像を含むガイドワイヤ像を作成する。そして最後に、ステップ14として、ステップ6で得た血管像とステップ13で得た薄い背景像を含むガイドワイヤ像とに、それぞれ所望の係数を乗じて加算することにより、うっすらとした背景上に血管とガイドワイヤの浮き出たランドマーク像Landmarkを得る。
このように本発明によれば、元の画像に含まれる血管やガイドワイヤの情報を極端に薄くすることなく、ランドマーク像を作成することができる。また、血管像の有する情報とガイドワイヤ像の有する情報とを個別に適宜変化させることが可能であるばかりではなく、血管像を作成する画像群とガイドワイヤ像を作成する画像群が同じ条件でなくてもランドマーク像の作成が可能である。さらに、濃度差をおさえつつ必要な骨や臓器などの背景の輪郭を表示できる。よって、血管造影像、ガイドワイヤ像および背景をバランス良く描出し、術者の要望に応じたランドマーク像を提供することができる。
【0014】
本発明は、上述の実施の形態に限定されるものではなく、種々の形態で実施することができる。例えば、ランドマーク像を作成するに当たって、フィルタ処理の施された背景を含む血管像と、サブトラクション処理により得たガイドワイヤ像とを加算するようにしてもよい。よって次に、このような実施の形態について、図4を参照して説明する。
主として骨だけの背景画像であるマスク像Maskと、血管に造影剤を注入して得た第1のライブ像Live1と、血管中にガイドワイヤを挿入した状態で、造影剤を注入せずに得た第2のライブ像Live2を用いることは、図2、図3により説明した実施の形態と同様なので、これら3枚のX線画像からランドマーク像Landmarkを作成するための処理の手順についてのみ説明する。
先ず、マスク像Maskを画像処理装置60のフィルタ処理部63にてフィルタ処理し、背景情報をぼかしたマスク像Filterを得る。そして、この背景情報のぼけたマスク像Filterと第1のライブ像Live1とを、画像処理装置60の演算部64にて減算処理することにより、弱い背景情報を含む血管像を得る。次に、マスク像Mask(背景画像)と第2のライブ像Live2とを、画像処理装置60の演算部64にてサブトラクション処理することにより、同一の背景部分が除去されたガイドワイヤ像を得る。なおここでも、弱い背景情報を含む血管像とガイドワイヤ像を得る順序は逆でもかまわない。
【0015】
その後、この弱い背景情報を含む血管像と背景部分が除去されたガイドワイヤ像とを、演算部64にて加算処理する。これにより、両方の画像に含まれる背景情報にレベル差があるため、血管とガイドワイヤとともに、うっすらと背景の浮き出たランドマーク像Landmarkを得ることができる。このことを数式で示すと(3)式のようになる。
Figure 0004128349
ここでaおよびbは個別に設定することの可能な係数であり、cは補正係数である。
このような作業の手順を示すと、図5のフローチャートのようになる。
ステップ21としてオペレータは、透視によって撮影部位の位置決めを行い、ステップ22としてマスク像Maskの撮影操作を行なう。このマスク像Maskがメモリ66に格納されると、インジェクションマークが表示される(ステップ23)。よってオペレータは、造影剤の注入を指示し(ステップ24)、ステップ25として、血管に造影剤の注入された第1のライブ像Live1が撮影される。ここまでは、図3に示されているステップ1からステップ5と同様である。
【0016】
次にステップ26へ進み、メモリ66に保存されているステップ22で撮影したマスク像Maskを読み出してフィルタ処理を施こし、フィルタ処理の施されたマスク像Filterを、メモリ66に保存する(ステップ27)。続いてステップ28として、フィルタ処理の施されたマスク像Filterと、ステップ25で得た血管に造影剤の注入された第1のライブ像Live1とを読み出して減算処理を行なって、薄い背景像を含む血管像を作成する。
その後ステップ29として再度マスク像Maskを撮影する。なお、新たなマスク像Maskの撮影に代えて、メモリ66に保存されているステップ23で撮影したマスク像Maskを読み出してもよい。そしてステップ30へ進み、被検体の血管にガイドワイヤなどを挿入する。その後、ステップ31としてガイドワイヤの入った第2のライブ像Live2を撮影して、これをメモリ66に保存する。この場合造影剤は注入しない。
次に、ステップ32へ進み、マスク像Maskと第2のライブ像Live2とのサブトラクション処理を行なって、ガイドワイヤ像を作成し、メモリに保存する(ステップ33)。そして最後に、ステップ34として、ステップ28で得た薄い背景像を含む血管像とステップ32で得たガイドワイヤ像とに、それぞれ所望の係数を乗じて加算することにより、うっすらとした背景上に血管とガイドワイヤの浮き出たランドマーク像Landmarkを得る。
【0017】
このような実施の形態においても、元の画像に含まれる血管やガイドワイヤの情報を極端に薄くすることなく、ランドマーク像を作成することができ、血管像の有する情報とガイドワイヤ像の有する情報とを個別に適宜変化させることも可能である。
【0018】
【発明の効果】
以上詳細に説明したように、請求項1に記載の発明によれば、血管像、ガイドワイヤなどの医療用具像および骨や臓器などの背景像をバランス良く描出し、術者の要望に応じたランドマーク像を合成することのできるX線画像診断装置が提供される。
また、請求項2に記載の発明によれば、元の画像に含まれる血管やガイドワイヤなどの医療用具の情報を極端に薄くすることなく、ランドマーク像を作成することができる。また、血管像の有する情報とガイドワイヤ像の有する情報とを個別に適宜変化させることが可能であるばかりではなく、血管像を作成する画像群とガイドワイヤ像を作成する画像群が同じ条件でなくてもランドマーク像の作成が可能である。さらに、濃度差をおさえつつ必要な骨や臓器などの背景の輪郭を表示できる等、術者の要望に応じたランドマーク像を作成することのできるX線合成画像の作成方法が提供される。
【図面の簡単な説明】
【図1】本発明の一実施の形態を説明するために示した、循環器用X線診断装置の概略的な構成説明図である。
【図2】本発明によるX線合成画像の作成方法の、一実施の形態を説明した説明図である。
【図3】図2に示した説明図を補足する作成手順を示したフローチャートである。
【図4】本発明によるX線合成画像の作成方法の、他の実施の形態を説明した説明図である。
【図5】図4に示した説明図を補足する作成手順を示したフローチャートである。
【図6】従来のX線合成画像の作成方法を説明した説明図である。
【符号の説明】
10 支持器
11 アーム
20 X線管
30 X線検出器
40 X線発生装置
50 X線制御器
60 画像処理装置
70 モニタ
80 寝台
81 天板
90 システム制御器
91 操作部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an X-ray image diagnostic apparatus suitable for supporting treatment using, for example, a catheter.
[0002]
[Prior art]
For example, when treating an aneurysm or the like, it has been conventionally necessary to make an incision by a surgical technique to reach the affected area. However, in recent years, a very invasive treatment method called Interventional Radiology (IVR) has been developed and has been clinically used.
The treatment method for aneurysm by IVR will be briefly described. First, a contrast image taken by angiography is displayed as a road map. Next, using this road map as a guide, a guide wire is passed through the blood vessel under fluoroscopy, and the catheter is guided along the guide wire to the affected area. Then, an occlusive substance such as a coil is placed in the aneurysm from the distal end of the catheter that has reached the affected area. This indwelling occluding substance obstructs the blood flow in the aneurysm, and as a result, the blood is coagulated in the aneurysm to achieve the therapeutic purpose. In addition, occluding substances such as the above guide wires, catheters, and coils are referred to as medical devices.
By the way, when performing IVR, a landmark image is displayed on the monitor as a means for notifying the operator of the positional relationship of blood vessels with respect to the background such as bones and organs near the affected area and a guide wire inserted into the blood vessels. It was done. The landmark image is an X-ray image taken by injecting a contrast medium into a blood vessel of a target site as a mask image, and an X-ray image taken by inserting a guide wire into the blood vessel is a live image, It was made by superimposing them with a coefficient difference.
[0003]
A conventional process for creating the landmark image will be described with reference to FIG.
That is, a background (mainly a bone) obtained by injecting a contrast medium into a blood vessel at a target site and an image including the blood vessel and an image including the blood vessel are recorded in a memory or the like as a mask image Mask. Next, for example, a guide wire is inserted into the blood vessel, and X-ray imaging is performed without injecting a contrast agent, thereby obtaining a live image Live including the background and the guide wire. Then, the landmark image Landmark is made by multiplying the mask image Mask by the coefficient a and the live image Live by the coefficient b, and performing an operation for superimposing them. This can be expressed by equation (1), where c is a correction coefficient.
Landmark = a * Mask + b * Live + c (1)
In this way, by making a difference in the level of the background information included in the mask image Mask and the live image Live, blood vessels and guide wires are displayed together with the background with the level suppressed, and blood vessels and guide wires such as blood vessels and guide wires are displayed. Landmark image Landmark representing the positional relationship was obtained. The landmark image Landmark was displayed on a monitor and provided to the surgeon.
[0004]
[Problems to be solved by the invention]
However, in order to align the pixel level of the landmark image Landmark, which is the calculation result, with the original image, a relationship of a + b = 1 needs to be established between the coefficients a and b in the equation (1). Under this relationship, although there is an advantage that the level of the entire background does not change, the level of medical devices such as blood vessels and guide wires included in the background is extremely reduced compared to the original images. There was a problem.
That is, if the mask image Mask (that is, a blood vessel) is to be emphasized, the live image Live (that is, a medical device such as a guide wire) becomes thin, and conversely, if the live image Live (a medical device such as a guide wire) is to be emphasized. The mask image Mask (blood vessel) became thin, and the landmark image Landmark that emphasized both the blood vessel and the medical device such as a guide wire could not be displayed.
In addition, if the mask image Mask and the live image Live are obtained by X-ray photography using procedures with extremely different conditions, such as fluoroscopy and photography, the difference in image level is too large. It was difficult to create the statue Landmark. In addition, when the background density difference (difference between the bright area and the dark area) is large, there is a problem that medical devices such as blood vessels and guide wires are buried in the background and may be difficult to see.
[0005]
The present invention has been made to solve such problems.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problem, the invention described in claim 1 is directed to a storage unit that stores a first image obtained by X-ray imaging of a subject, and the first unit stored in the storage unit. Filter processing means for applying a filter process to the image to obtain a second image; and a fourth image obtained by subtracting the first image from a third image obtained by X-ray imaging after contrast medium injection. The sixth image is obtained by subtracting the second image and the fifth image obtained by inserting and photographing the medical device into the blood vessel of the subject, and further, the fourth image and the sixth image And an arithmetic means for obtaining a seventh image by adding the two images.
[0007]
According to a second aspect of the present invention, there is provided storage means for storing a first image obtained by X-ray imaging of a subject, and filtering processing for the first image stored in the storage means. Filter processing means for obtaining a second image and subtracting the second image from a third image obtained by X-ray photography after contrast agent injection to obtain a fourth image, and the first image And subtracting the fifth image obtained by inserting a medical tool into the blood vessel of the subject and photographing it to obtain a sixth image, and further adding the fourth image and the sixth image. And calculating means for obtaining a seventh image.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of an X-ray image diagnostic apparatus and an X-ray composite image creation method according to the present invention will be described in detail with reference to FIGS. 1 to 5.
FIG. 1 is a diagram showing a schematic configuration of a cardiovascular X-ray diagnostic apparatus for explaining an embodiment of the X-ray diagnostic imaging apparatus according to the present invention. The circulatory X-ray diagnostic apparatus includes, for example, a support 10 that supports an arm 11 that is curved in a substantially C shape, an X-ray tube 20 that is attached to one end of the arm 11, and the other end of the arm 11. The X-ray detector 30 attached to the X-ray tube 20 controls the output conditions such as the tube voltage, tube current, and X-ray pulse width of the X-ray tube 20 to generate desired X-rays from the X-ray tube 20. An X-ray controller 50 for calculating and controlling the coefficient of the ND filter, the diameter or sensitivity of the optical aperture for the X-ray detector 30, and an image for processing an image signal obtained through the X-ray controller 50 A processing device 60, a monitor 70 for displaying an image or a fluoroscopic image obtained from the image processing device 60, a bed 80 having a top plate 81 on which the subject is placed, the support device 10, the X-ray generation device 40, X-ray controller 50, image processing device 60, bed 80 A system controller 90 having an arithmetic unit (CPU) or a memory for organically controlling the device, and a keyboard, mouse, trackball, etc. for an operator to input appropriate setting values to the system controller 90 And an operation unit 91 provided.
[0009]
The X-ray detector 30 converts the X-ray image into a visible light image by an image intensifier (hereinafter, abbreviated as II). I. In addition to the type in which the visible light image is photographed with a television camera via an optical system that controls the transmission amount of the visible light image formed on the output phosphor screen, for example, a switching element or a capacitor formed on a glass substrate is provided. A flat panel detector (FPD) formed of a semiconductor array that is covered with a photoconductive film that converts X-rays into charges or the like may be used.
The image processing apparatus 60 also includes an input interface 61 that receives an image signal from the X-ray controller 50, an X-ray control interface 62 that transmits and receives a control signal to and from the system controller 90, and a filter process that filters the image signal. Unit 63, arithmetic unit 64 for adding image signals or performing subtraction processing, look-up table unit 65 to be referred to in various processes, memory 66 for storing raw image data or processed image data, and the like. A video unit 67 for converting into a video signal is provided, and these are connected to each other via a bus line 68.
Further, a plurality of monitors 70 are usually provided, and a reference image, a live fluoroscopic image, and the like are simultaneously displayed during clinical practice.
[0010]
Next, an outline of an operation when a landmark image Landmark is created by the circulatory organ X-ray diagnostic apparatus configured as described above will be described.
FIG. 2 is an explanatory diagram showing the first embodiment of the method for creating an X-ray composite image according to the present invention. The present invention includes 3 such as a background image, a blood vessel image, and a medical device image (an image of an occluding substance such as a guide wire, a catheter, and a coil, but hereinafter referred to as a guide wire image for convenience). A landmark image Landmark is created from a single (or more) X-ray image, and the background image is filtered to obtain a landmark image Landmark with reduced background information. It is.
That is, since three X-ray images are used, it is necessary to capture these X-ray images. First, an X-ray image is taken of a target region to be treated of a subject placed on the top board 71 to obtain a background image mainly consisting of bones, which is stored in the memory 66 of the image processing apparatus 60 as a mask image Mask. To do. The mask image Mask may be a background image of the same subject that has been captured in the past and stored in the memory 66. Next, a contrast medium is injected into the blood vessel of the subject, and an X-ray image is obtained by fluoroscopy or imaging, and this is used as a first live image Live1. This first live image Live1 is an image depicting the background and a blood vessel into which a contrast medium has been injected. Further, an X-ray image is obtained by fluoroscopy or radiography without injecting a contrast agent in a state where, for example, a guide wire is inserted into the blood vessel of the subject, and this is used as a second live image Live2. The second live image Live2 is an image in which a background and a guide wire are drawn.
[0011]
Next, a process for creating the landmark image Landmark will be described.
First, the mask image Mask (background image) and the first live image Live1 are subjected to subtraction processing by the calculation unit 64 of the image processing device 60, thereby obtaining a blood vessel image from which the same background portion has been removed. Next, the mask image Mask is filtered by the filter processing unit 63 of the image processing device 60 to obtain a mask image Filter with blurred background information. Then, the mask image Filter with the blurred background information and the second live image Live2 are subtracted by the calculation unit 64 of the image processing device 60, thereby obtaining a guide wire image including weak background information. Here, the order of obtaining a guide wire image including a blood vessel image and weak background information may be reversed.
Thereafter, the calculation unit 64 adds the guide wire image including the weak background information and the blood vessel image from which the background portion has been removed. Thereby, since there is a level difference in the background information included in both images, a landmark image Landmark with a slightly raised background can be obtained together with the blood vessel and the guide wire. This can be expressed by equation (2).
Figure 0004128349
Here, a and b are coefficients that can be set individually, and c is a correction coefficient.
[0012]
The procedure of such work is shown in accordance with the operation of the cardiovascular X-ray diagnostic apparatus as shown in the flowchart of FIG.
As Step 1, an operator positions an imaging region by fluoroscopy. In this positioning, the top 81 is moved so that the imaging region of the subject comes to a position where the X-ray tube 20 and the X-ray detector 30 face each other, and a predetermined imaging region is determined while performing fluoroscopy, The arm 11 supported by the support device 10 is rotated about a fulcrum as an axis, or is slid along the bending direction, and the imaging direction with respect to the subject is determined so as to suit the imaging region, and further X-ray detection is performed. The distance between the X-ray tube 20 and the X-ray detector 30 relative to the subject is determined by moving the instrument 30 up and down, and the arm 11 is fixed at that position.
Next, as step 2, the operator performs a photographing operation to photograph a mask image Mask. When the photographing is finished, the process proceeds to step 3 where the apparatus captures an image, and after storing the mask image Mask in the memory 66 of the image processing apparatus 60, an injection mark indicating that it is ready to proceed to the next step. Is displayed. After confirming this display, the operator instructs the injection of the contrast medium (step 4), and in step 5, the first live image Live1 in which the contrast medium is injected into the blood vessel is photographed. When the first live image Live1 is photographed, the process proceeds to step 6 where the mask image Mask stored in the memory 66 is read out and subjected to subtraction processing with the first live image Live1 to create a blood vessel image. This blood vessel image is stored in the memory 66 (step 7).
[0013]
Next, the process proceeds to step 8, and a mask image Mask is taken again. Note that instead of capturing a new mask image Mask, the mask image Mask captured in step 2 stored in the memory 66 may be read. This mask image Mask is subjected to filter processing in Step 9, and the mask image Filter subjected to the filter processing is stored in the memory 66 (Step 10). Next, as a step 11, a guide wire or the like is inserted into the blood vessel of the subject.
Thereafter, in step 12, a second live image Live2 containing a guide wire is photographed. When the second live image Live2 is obtained, the process proceeds to step 13, the mask image Filter that has been subjected to the filter process in step 9 stored in the memory 66 is read, and the second live image Live2 is subtracted. A guide wire image including a thin background image is created. Finally, in step 14, the blood vessel image obtained in step 6 and the guide wire image including the thin background image obtained in step 13 are respectively multiplied by a desired coefficient and added, so that a light background is obtained. A landmark image, Landmark, where the blood vessel and the guide wire are raised is obtained.
Thus, according to the present invention, a landmark image can be created without extremely thinning information on blood vessels and guide wires included in the original image. In addition, it is possible not only to individually change the information that the blood vessel image has and the information that the guide wire image has, but the image group that creates the blood vessel image and the image group that creates the guide wire image have the same conditions. Landmark images can be created without it. Furthermore, it is possible to display background contours of necessary bones and organs while suppressing the density difference. Therefore, an angiographic image, a guide wire image, and a background can be drawn with good balance, and a landmark image according to the operator's request can be provided.
[0014]
The present invention is not limited to the above-described embodiment, and can be implemented in various forms. For example, in creating the landmark image, the blood vessel image including the background subjected to the filtering process and the guide wire image obtained by the subtraction process may be added. Therefore, next, such an embodiment will be described with reference to FIG.
Mask image Mask, which is a background image mainly consisting of bones, the first live image Live1 obtained by injecting a contrast medium into a blood vessel, and without a contrast medium injected with a guide wire inserted into the blood vessel Since the use of the second live image Live2 is the same as that of the embodiment described with reference to FIGS. 2 and 3, only the processing procedure for creating the landmark image Landmark from these three X-ray images will be described. To do.
First, the mask image Mask is filtered by the filter processing unit 63 of the image processing device 60 to obtain a mask image Filter with blurred background information. Then, a blood vessel image including weak background information is obtained by subtracting the mask image Filter blurred from the background information and the first live image Live1 by the calculation unit 64 of the image processing device 60. Next, the mask image Mask (background image) and the second live image Live2 are subjected to subtraction processing by the calculation unit 64 of the image processing device 60, thereby obtaining a guide wire image from which the same background portion is removed. Also in this case, the order of obtaining the blood vessel image including the weak background information and the guide wire image may be reversed.
[0015]
Thereafter, the blood vessel image including the weak background information and the guide wire image from which the background portion is removed are added by the calculation unit 64. Thereby, since there is a level difference in the background information included in both images, a landmark image Landmark with a slightly raised background can be obtained together with the blood vessel and the guide wire. This can be expressed by equation (3).
Figure 0004128349
Here, a and b are coefficients that can be set individually, and c is a correction coefficient.
The procedure of such work is shown in the flowchart of FIG.
In step 21, the operator positions the imaging region by fluoroscopy, and in step 22, performs an imaging operation for the mask image Mask. When this mask image Mask is stored in the memory 66, an injection mark is displayed (step 23). Therefore, the operator instructs the injection of the contrast medium (step 24), and in step 25, the first live image Live1 in which the contrast medium is injected into the blood vessel is photographed. The process up to this step is the same as step 1 to step 5 shown in FIG.
[0016]
Next, the process proceeds to step 26, where the mask image Mask captured in step 22 stored in the memory 66 is read out and subjected to filter processing, and the mask image Filter subjected to the filter processing is stored in the memory 66 (step 27). ). Subsequently, in step 28, the mask image Filter subjected to the filter processing and the first live image Live1 in which the contrast medium is injected into the blood vessel obtained in step 25 are read out and subjected to subtraction processing to obtain a thin background image. Create a blood vessel image containing it.
Thereafter, in step 29, the mask image Mask is taken again. Note that the mask image Mask captured in step 23 stored in the memory 66 may be read out instead of capturing a new mask image Mask. Then, the process proceeds to step 30, and a guide wire or the like is inserted into the blood vessel of the subject. Thereafter, in step 31, a second live image Live 2 containing a guide wire is taken and stored in the memory 66. In this case, no contrast agent is injected.
Next, the process proceeds to step 32, where a subtraction process between the mask image Mask and the second live image Live2 is performed to create a guide wire image and store it in the memory (step 33). Finally, in step 34, the blood vessel image including the thin background image obtained in step 28 and the guide wire image obtained in step 32 are respectively multiplied by a desired coefficient and added to form a light background. A landmark image, Landmark, where the blood vessel and the guide wire are raised is obtained.
[0017]
Even in such an embodiment, a landmark image can be created without extremely thinning information on blood vessels and guide wires included in the original image, and information on blood vessels and information on the guide wires are included. It is also possible to appropriately change the information individually.
[0018]
【The invention's effect】
As described in detail above, according to the invention described in claim 1, a blood vessel image, a medical device image such as a guide wire, and a background image such as a bone or an organ are drawn in a well-balanced manner, and according to the operator's request. An X-ray diagnostic imaging apparatus capable of synthesizing landmark images is provided.
In addition, according to the second aspect of the present invention, a landmark image can be created without extremely thinning information on medical devices such as blood vessels and guide wires included in the original image. In addition, it is possible not only to individually change the information that the blood vessel image has and the information that the guide wire image has, but the image group that creates the blood vessel image and the image group that creates the guide wire image have the same conditions. Landmark images can be created without it. Furthermore, there is provided an X-ray composite image creation method capable of creating a landmark image according to the operator's request, such as displaying a background contour of a necessary bone or organ while suppressing the density difference.
[Brief description of the drawings]
BRIEF DESCRIPTION OF DRAWINGS FIG. 1 is a schematic configuration explanatory diagram of a circulatory X-ray diagnostic apparatus shown for explaining an embodiment of the present invention.
FIG. 2 is an explanatory diagram illustrating an embodiment of a method for creating an X-ray composite image according to the present invention.
FIG. 3 is a flowchart showing a creation procedure supplementing the explanatory diagram shown in FIG. 2;
FIG. 4 is an explanatory diagram for explaining another embodiment of the method for creating an X-ray composite image according to the present invention.
FIG. 5 is a flowchart showing a creation procedure supplementing the explanatory diagram shown in FIG. 4;
FIG. 6 is an explanatory diagram for explaining a conventional method of creating an X-ray composite image.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Support device 11 Arm 20 X-ray tube 30 X-ray detector 40 X-ray generator 50 X-ray controller 60 Image processor 70 Monitor 80 Bed 81 Top plate 90 System controller 91 Operation part

Claims (4)

被検体をX線撮影して得た第1の画像を保存する保存手段と、
この保存手段に保存されている前記第1の画像にフィルタ処理を施して第2の画像を得るフィルタ処理手段と、
造影剤注入後にX線撮影して得た第3の画像から前記第1の画像を減算処理して第4の画像を得、前記第2の画像と前記被検体の血管に医療用具を挿入し撮影して得られた第5の画像を減算処理して第6の画像を得、更に、前記第4の画像と第6の画像とを加算して第7の画像を得る演算手段とを備えることを特徴とするX線画像診断装置。
Storage means for storing a first image obtained by X-ray imaging of a subject;
Filter processing means for applying a filter process to the first image stored in the storage means to obtain a second image;
A first image is subtracted from a third image obtained by X-ray imaging after contrast medium injection to obtain a fourth image, and a medical device is inserted into the second image and the blood vessel of the subject. A calculation means is provided for obtaining a sixth image by subtracting the fifth image obtained by photographing, and further obtaining a seventh image by adding the fourth image and the sixth image. An X-ray diagnostic imaging apparatus characterized by the above.
被検体をX線撮影して得た第1の画像を保存する保存手段と、
この保存手段に保存されている前記第1の画像にフィルタ処理を施して第2の画像を得るフィルタ処理手段と、
造影剤注入後にX線撮影して得た第3の画像から前記第2の画像を減算処理して第4の画像を得、前記第1の画像と前記被検体の血管に医療用具を挿入し撮影して得られた第5の画像を減算処理して第6の画像を得、更に、前記第4の画像と第6の画像とを加算して第7の画像を得る演算手段とを備えることを特徴とするX線画像診断装置。
Storage means for storing a first image obtained by X-ray imaging of a subject;
Filter processing means for applying a filter process to the first image stored in the storage means to obtain a second image;
Subtracting the second image from the third image obtained by X-ray imaging after contrast agent injection yields a fourth image, and inserts a medical device into the first image and the blood vessel of the subject. A calculation means is provided for obtaining a sixth image by subtracting the fifth image obtained by photographing, and further obtaining a seventh image by adding the fourth image and the sixth image. An X-ray diagnostic imaging apparatus characterized by the above.
被検体をX線撮影して得た第1の画像を保存する第1のステップと、
前記保存されている前記第1の画像にフィルタ処理を施して第2の画像を得る第2のステップと、
造影剤注入後にX線撮影して得た第3の画像から前記第1の画像を減算処理して第4の画像を得る第3のステップと、
前記第2の画像と前記被検体の血管に医療用具を挿入し撮影して得られた第5の画像を減算処理して第6の画像を得る第4のステップと、
前記第4の画像と第6の画像とを加算して第7の画像を得る第5のステップとを備えることを特徴とするX線画像作成方法。
A first step of storing a first image obtained by X-ray imaging of the subject;
A second step of filtering the stored first image to obtain a second image;
A third step of obtaining a fourth image by subtracting the first image from a third image obtained by X-ray imaging after contrast medium injection;
A fourth step of obtaining a sixth image by subtracting the second image and a fifth image obtained by inserting and photographing a medical tool into the blood vessel of the subject;
An X-ray image creation method comprising: a fifth step of obtaining a seventh image by adding the fourth image and the sixth image.
被検体をX線撮影して得た第1の画像を保存する第1のステップと、
前記保存されている前記第1の画像にフィルタ処理を施して第2の画像を得る第2のステップと、
造影剤注入後にX線撮影して得た第3の画像から前記第2の画像を減算処理して第4の画像を得る第3のステップと、
前記第1の画像と前記被検体の血管に医療用具を挿入し撮影して得られた第5の画像を減算処理して第6の画像を得る第4のステップと、
前記第4の画像と第6の画像とを加算して第7の画像を得る第5のステップとを備えることを特徴とするX線画像作成方法。
A first step of storing a first image obtained by X-ray imaging of the subject;
A second step of filtering the stored first image to obtain a second image;
A third step of subtracting the second image from a third image obtained by X-ray imaging after contrast medium injection to obtain a fourth image;
A fourth step of obtaining a sixth image by subtracting the first image and a fifth image obtained by inserting and photographing a medical tool into the blood vessel of the subject;
An X-ray image creation method comprising: a fifth step of obtaining a seventh image by adding the fourth image and the sixth image.
JP2001338935A 2001-11-05 2001-11-05 X-ray image diagnostic apparatus and X-ray image creation method Expired - Fee Related JP4128349B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001338935A JP4128349B2 (en) 2001-11-05 2001-11-05 X-ray image diagnostic apparatus and X-ray image creation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001338935A JP4128349B2 (en) 2001-11-05 2001-11-05 X-ray image diagnostic apparatus and X-ray image creation method

Publications (2)

Publication Number Publication Date
JP2003143479A JP2003143479A (en) 2003-05-16
JP4128349B2 true JP4128349B2 (en) 2008-07-30

Family

ID=19153354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001338935A Expired - Fee Related JP4128349B2 (en) 2001-11-05 2001-11-05 X-ray image diagnostic apparatus and X-ray image creation method

Country Status (1)

Country Link
JP (1) JP4128349B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102258379A (en) * 2010-05-28 2011-11-30 株式会社东芝 X-ray imaging apparatus

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4936929B2 (en) 2007-02-28 2012-05-23 株式会社東芝 X-ray diagnostic apparatus and image display method
US7853061B2 (en) * 2007-04-26 2010-12-14 General Electric Company System and method to improve visibility of an object in an imaged subject
JP5319188B2 (en) * 2007-07-18 2013-10-16 株式会社東芝 X-ray diagnostic equipment
JP5702572B2 (en) 2009-10-29 2015-04-15 株式会社東芝 X-ray equipment
JP6117299B2 (en) * 2010-08-17 2017-04-19 東芝メディカルシステムズ株式会社 Medical diagnostic imaging equipment
JP5707087B2 (en) * 2010-10-14 2015-04-22 株式会社東芝 Medical diagnostic imaging equipment
DE102011077406B4 (en) * 2011-06-10 2013-03-21 Siemens Aktiengesellschaft Method for locating a movable object and X-ray image recording device
JP7233850B2 (en) 2018-04-25 2023-03-07 キヤノンメディカルシステムズ株式会社 Medical image processing device, X-ray diagnostic device and medical image processing program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102258379A (en) * 2010-05-28 2011-11-30 株式会社东芝 X-ray imaging apparatus

Also Published As

Publication number Publication date
JP2003143479A (en) 2003-05-16

Similar Documents

Publication Publication Date Title
JP3257630B2 (en) Display device for identifying coronary arteries
JP4473358B2 (en) Diagnostic equipment
JP5537262B2 (en) X-ray diagnostic imaging equipment
JP5319180B2 (en) X-ray imaging apparatus, image processing apparatus, and image processing program
CN107019522B (en) X-ray device and data carrier for providing image support to an operator
JP5965840B2 (en) Vascular road mapping
CN102573636B (en) Medical image diagnosis device and method for assisting medical diagnosis
JP4744941B2 (en) X-ray image diagnosis apparatus and diagnosis support method thereof
JP4495926B2 (en) X-ray stereoscopic reconstruction processing apparatus, X-ray imaging apparatus, X-ray stereoscopic reconstruction processing method, and X-ray stereoscopic imaging auxiliary tool
JP4936929B2 (en) X-ray diagnostic apparatus and image display method
JP4740348B2 (en) X-ray diagnostic equipment
JP3668822B2 (en) Medical image processing device
JP2007229473A (en) X-ray diagnosis device
US7907217B2 (en) Systems and methods of subtraction angiography utilizing motion prediction
JP5259283B2 (en) X-ray diagnostic apparatus and image processing program thereof
JP4128349B2 (en) X-ray image diagnostic apparatus and X-ray image creation method
JP2009022464A (en) X-ray angio photographic equipment
JP5641707B2 (en) X-ray diagnostic equipment
JP5652994B2 (en) X-ray diagnostic equipment
JPH06285061A (en) Method for x-ray diagnosis and device therefor
JP2011234864A (en) X-ray diagnostic apparatus and control program for generating support data
JP5433253B2 (en) X-ray diagnostic equipment
JPH105213A (en) X-ray contrast examination apparatus
JP3641499B2 (en) Digital X-ray device
JP2004089699A (en) X-ray diagnostic apparatus and collecting method of x-ray images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041104

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050427

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4128349

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140523

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees