JP4997387B2 - 侵襲性器具の生体内位置同定システム - Google Patents

侵襲性器具の生体内位置同定システム Download PDF

Info

Publication number
JP4997387B2
JP4997387B2 JP2006117389A JP2006117389A JP4997387B2 JP 4997387 B2 JP4997387 B2 JP 4997387B2 JP 2006117389 A JP2006117389 A JP 2006117389A JP 2006117389 A JP2006117389 A JP 2006117389A JP 4997387 B2 JP4997387 B2 JP 4997387B2
Authority
JP
Japan
Prior art keywords
invasive instrument
invasive
living body
vivo
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006117389A
Other languages
English (en)
Other versions
JP2007289223A (ja
Inventor
範行 肥後
圭司 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2006117389A priority Critical patent/JP4997387B2/ja
Publication of JP2007289223A publication Critical patent/JP2007289223A/ja
Application granted granted Critical
Publication of JP4997387B2 publication Critical patent/JP4997387B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、侵襲性器具の生体内位置同定システムに関するものであり、詳細には、生体の手術を行う際に注射針などの侵襲性器具を生体に侵襲する場合に、先に取得しておいた生体の核磁気共鳴画像(MRI画像)において当該侵襲性器具の侵襲した位置を表示することにより、生体内での侵襲性器具の位置を同定することができる侵襲性器具の生体内位置同定システムに関するものである。
生きている実験動物に注射針を刺入し、トレーサーと呼ばれる薬物を注入することで、脳内の神経回路結合を解析することが広く行われている。また、近年では、注射針を刺入して脳内に薬物を注入することにより、パーキンソン病やアルツハイマー病を治療する試みも行われている。
しかし、脳内の特定の領域に正確に注射針の先端部を位置させ、薬物を注入することは容易ではない。現在、通常に行われる方法では、被験者を脳定位装置に固定したうえで、MRI(核磁気共鳴画像法)によりあらかじめ脳内構造を撮影し、目的の脳領域の頭部に対する3次元(x,y,z)座標を定め、座標位置決め装置を用いて、その三次元(x,y,z)座標の位置に注射針を刺入する方法により行われる。しかし、この方法では、微小な脳領域に薬物を注入するにはしばしば失敗を伴う。
このような技術に関係する公知例として、特許文献1に示されるように、磁気共鳴断層撮影装置内での検査または内視鏡による検査中に医療用の製剤、とくに薬剤または造影剤を患者の体内に注射するための装置の提案がある。この装置は、マニピュレータ制御式の注射針を備えた薬剤調量システムである。
また、特許文献2に示されるように、侵襲性器具をヒトまたは非ヒト動物の身体の脈管構造の中に、または前記身体の脈管化組織を通して挿入し、前記器具を含んでいる前記身体の一部のMR画像を発生させる介入的または体内手術的なMRI方法がある。この方法では、侵襲性器具を通じた造影剤の直接注射によって、またはこの造影剤の患者への直接の静脈注射によって前記身体の脈管構造の中に造影剤に投与し、これによって前記器具の前記画像における透視を容易にする。
これに対して、本発明者等は、侵襲性器具を用いて生体内組織を同定する装置として、特許文献3に示されるような「生体内組織の同定装置」の発明を提案した。この生体内組織の同定装置は、注射針をはじめとした侵襲性器具に光ファイバを設置し、侵襲性器具である注射針の先端部で計測した吸光度または反射率に基づいて脳内の組織を同定して、脳内構造を同定するものである。
特表2004−516859号公報 特表2003−500132号公報 特開2006−6919号公報
ところで、脳内組織の特定の領域に薬剤を注入する場合は、侵襲性器具の先端の位置が正確に位置決めされなければならないが、そのためには、例えば、特許文献1または特許文献2に示されるように、装置が大がかりなものとなり、通常の手術環境は、簡便に注射針の位置を同定できるものは開発されていない。
また、特許文献3に示されるように、本発明者等は、侵襲性器具である注射針の先端部で計測した吸光度または反射率に基づいて脳内の組織を同定して、脳内構造を同定する装置を開発したが、この装置を用いることにより、侵襲性器具を生体内に刺入した場合に生体の組織を同定できるが、その場合において、侵襲性器具を生体内に刺入した位置を同定することはできない。
本発明は上記のような状況を解決するためになされたものであり、本発明の目的は、通常の手術環境において簡便に侵襲性器具である注射針の位置を同定できる侵襲性器具の生体内位置同定システムを提供することにある。また、本発明の別の目的は、注射針などの侵襲性器具を生体に侵襲する場合に、先に取得しておいた生体のMRI画像において当該侵襲性器具の侵襲した位置を同定して表示することができる侵襲性器具の生体内位置同定システムを提供することにある。
上記のような目的を達成するため、本発明は、第1の態様として、本発明にかかる侵襲性器具の生体内位置同定システムは、侵襲性器具を侵襲させる生体の核磁気共鳴画像を取得しておき、当該生体に侵襲性器具を侵襲させる際に前記核磁気共鳴画像上において侵襲性器具の生体内の位置を同定する生体内位置同定システムであって、生体に侵襲させる侵襲性器具の先端に設けられ当該生体の内部の組織の吸光度または反射率を計測する計測手段と、生体内部の組織の吸光度または反射率と核磁気共鳴画像における生体内組織の表示輝度情報の対応関係を格納した変換テーブルと、前記計測手段により計測された吸光度または反射率と核磁気共鳴画像の生体内組織の表示輝度情報とを前記変換テーブルを参照して比較して核磁気共鳴画像における侵襲性器具の先端の刺入位置を推定演算する演算手段と、演算手段により推定演算された侵襲性器具の座標位置を出力する出力手段とを備えるように構成される。
また、第2の態様として、上記の構成に加えて、本発明による侵襲性器具の生体内位置同定システムにおいては、前記出力手段が、侵襲性器具の座標位置を表示する場合、侵襲性器具の画像を核磁気共鳴画像に重ねて表示し、当該侵襲性器具の画像における侵襲性器具の先端位置を前記座標位置とするように構成される。
また、第3の態様として、上記の構成に加えて、本発明による侵襲性器具の生体内位置同定システムにおいては、更に、利用者から表示する生体内位置及び方向の指定を受け付ける入力手段と、前記入力手段により受け付けた生体内位置及び方向の指定に基づいてMRI画像上における侵襲性器具の生体内位置を指定の方向及び断面について表示する表示手段とを備えるように構成される。
このように構成された本発明に係る侵襲性器具の生体内位置同定システムによれば、MRI(核磁気共鳴画像法)によって得られた画像のデータと、侵襲性器具(注射針、電極など)の先端に取り付けられた計測手段から得られた組織の吸光度または反射率のデータにより、変換テーブルを参照してその相関をとり、侵襲性器具の先端の刺入位置を推定する。この推定された位置は、生体内での侵襲性器具の刺入位置として、MRI画像上に重ねて表示される。これにより、侵襲性器具である注射針の先端の位置を確認しながら刺入することができるようになり、より正確に目的の脳領域に薬物を注入することが可能となる。
本発明による侵襲性器具の生体内位置同定システムは、比較的簡便な構成のシステムでありながら、注射針をはじめとした侵襲性器具の針先位置をリアルタイムで確認することができるため、従来法に比べてより正確な脳内位置に侵襲性器具の位置させることができる。
このため、本発明のシステムを用いることにより、例えば、薬物を脳内の微小な領域に正確に注入することができる。従来法でも、実験や手術の前には、MRI画像を撮影するが、その画像をそのまま利用して脳内構造との相関を計測するために、従来法と比べて手間を増やすことはほとんど無い。
以下、本発明の実施するための形態について、実施例に基づいて図面を参照して説明する。図1は、本発明による侵襲性器具の生体内位置同定システムのシステム構成を説明する図である。図1において、110は対象とする生体組織を示しており、生体組織110は、生体組織表面層110a、第1内部組織110b、第2内部組織110c、第3内部組織110dから構成されており、これらの第1内部組織110b、第2内部組織110c、第3内部組織110dは、それぞれの組織の吸光度または反射率が異なる。111は侵襲性器具であるシリンジ(注射器)である。ここでの生体組織を脳とし、脳に電気刺激を与える場合には侵襲性器具111は電極となる。
107は生体内部の組織の吸光度または反射率を測定する測定装置である。この測定装置107は、本発明者等が、生体内部の組織の吸光度または反射率が異なることを利用して、生体内組織を同定する生体内組織の同定装置として既に提案しているもの(特開2006−6919号公報)で利用しているものであり、この同定装置における生体内部の組織の吸光度または反射率を測定する測定装置である。
生体内部の組織の吸光度または反射率を測定する測定装置107は、光ファイバにより測定対象の組織位置まで延長された光量測定部107aおよび光源部107bから構成されており、測定した光量のデータは、測定装置107に備えられた表示部において表示されると共に、データ処理を行うために入力部100に送られる。なお、112はシリンジ111の先端部であり、生体内部の組織の吸光度または反射率を測定する測定点である。また、対象とする組織に対する侵襲性器具の刺入位置である。測定装置107の光源部107bからの照明光が光ファイバを介して、生体組織内部の測定点112まで導入され、測定点112における組織を透過した光量または組織に反射された光量が同じく光ファイバを介して導出されて光量測定部107aにより計測される。
また、図1において、100はキーボードおよびマウスからの入力操作を受け付けるとともに外部から測定データを入力するための入力ポートを備えた入力部、101は例えば数値データ等の入力操作のためのキーボード、102はシステムを操作する入力操作のためのポインティングデバイスのマウスである。103はマイクロプロセッサ(CPU)およびメモリなどのシステム装置から構成される演算部、104は例えばディスプレイ装置から構成される出力部、105はハードディスク装置などから構成されるデータ格納装置である。106は出力部のディスプレイ装置により表示される表示画面を模式的に示している。
データ格納装置105には、侵襲性器具の生体内の位置を同定する処理のために用いられるデータとして、対象とする生体組織のMRI画像データ105a、生体内組織の吸光度または反射率と核磁気共鳴画像における生体内組織の表示輝度情報の対応関係を格納した変換テーブル105bが格納されている。
変換テーブル105bのデータは、図3に示すように、MRI画像上の明度(グレイレベル)と組織反射率の相関のデータが、これまでの実験により得られているので、このデータに基づいて、対象とする生体組織の位置情報を含むMRI画像データと、生体内組織の吸光度または反射率と核磁気共鳴画像における生体内組織の表示輝度情報との対応関係を作成して格納したものである。MRI画像上の明度(グレイレベル)と組織反射率の相関は、組織の種類や計測条件によって異なるので、その都度計測を行い、組織の種類や計測条件のデータと共に最適な変換テーブル(複数)を作成しておき、侵襲性器具の生体内の位置を同定する処理を行う場合に、当該生体に応じてそれぞれの条件に適合した変換テーブルを使用する。
図2は、本発明による侵襲性器具の生体内位置同定システムにおけるデータ処理を説明する図である。図2を参照して説明する。このデータ処理では、前処理として、図2の右側の処理(ステップ301〜304)の処理を行って侵襲性器具の導入経路についてプロファイルデータを作成しておき、作成されたプロファイルデータに基づいて、その後に、図2の左側の処理(ステップ201〜206)をリアルタイムに行って、侵襲性器具の刺入位置をリアルタイムに推定演算して表示する(ステップ401〜402)。
前処理では、まず、対象とする生体組織のMRI画像を撮影してMRI画像データを得る(ステップ301)。MRI画像データはデータ格納装置105に格納される。次に、MRI画像上で導入目的位置と導入開始位置を設定する(ステップ302)。侵襲性器具の導入経路についてプロファイルデータを作成するため、理想的な導入経路と、経路の位置または角度が偏移した場合の導入経路を設定し(ステップ303)、設定した導入経路のそれぞれに対して、MRI画像の上の距離を横軸に、ピクセルの輝度を縦軸にとったプロファイルを作成する(ステップ304)。また、プロファイルの縦軸を、MRI画像上の明度と組織反射率の相関から得られた変換テーブルにより変換する処理を行う(ステップ305)。この変換処理は、後述する位置推定演算処理の中で行われるような構成とされても良い。これにより、導入開始位置からの経路となる複数の候補に経路についてのプロファイルデータ306が作成される。
次に、対象の生体に対して侵襲性器具を導入するが、この侵襲性器具は、導入の先端部に光ファイバが設けられた前述した組織の吸光度または反射率を計測する測定装置が付加されたものである。前処理が完了した段階で、光ファイバ付き侵襲性器具を生体内に導入し(ステップ201)、侵襲性器具を生体内で移動する(ステップ202)。この時、侵襲性器具先端に取り付けられた光ファイバにより吸光度または反射率を測定する(ステップ203)。そして、ここで測定されたデータが得られた場合に、導入開始点からの距離と、吸光度または反射率のデータを転送する(ステップ204)。そして、侵襲性器具の移動距離を横軸に、吸光度または反射率を縦軸にとったプロファイルを作成する(ステップ205)。
そして、作成された侵襲性器具の移動に伴うプロファイルデータ206と、先に作成した導入開始位置からの経路となる複数の候補の導入経路についてのプロファイルデータ306とを比較して、その導入経路の候補を判定すると共に、その導入経路に基づいて刺入位置の推定演算を行う。
刺入位置の推定演算(ステップ401)の結果は、出力処理(ステップ402)によって、表示画面上における座標位置として出力部104のディスプレイ表示装置に出力される。この出力処理においては、既存の画像処理プログラムの処理と同様な画像処理が行われる。例えば、侵襲性器具の座標位置を表示する場合、侵襲性器具の画像を核磁気共鳴画像に重ねて表示すると共に、目的とする位置を表示し、また、当該侵襲性器具の画像における侵襲性器具の先端位置を前記座標位置とする表示処理を行う。
また、このような表示処理を行う場合については、利用者からの通常の画像表示処理におけるユーザインタフェース処理による指示を受けて、様々な形態で表示するように構成される。例えば、ここでの表示処理では、ポインティングデバイスのマウスにより、利用者から表示する生体内位置及び方向の指定を受け付け、マウスにより受け付けた生体内位置及び方向の指定に基づいてMRI画像上における侵襲性器具の生体内位置を指定の方向及び断面について表示するように構成される。また、この表示処理では、目的とする侵襲性器具の刺入位置を合わせて表示し、リアルタイムで演算処理を行いながら、実際の生体内における刺入位置をMRI画像上に表示する。
具体例で説明すると、本発明による侵襲性器具の生体内位置同定システムの目的は侵襲性器具を生体内の正確な位置に導入することである。そのために、侵襲性器具の先端に備え付けられた光ファイバから直接得られた光学情報(吸光度または反射率)を利用する。
侵襲性器具を導入する場合には、まず生体組織をステレオフレーム(3次元座標軸の設置された固定器具)に固定した上で、MRI(核磁気共鳴画像法)を用いて、生体組織内部の3次元画像を撮影する。
MRI画像上で目的とする導入位置と、導入を開始するための組織表面位置を、ステレオフレーム上の座標として決定する。
生体組織に器具を導入する実験(または手術)を開始するにあたって、ステレオフレーム上の位置から想定された導入開始位置の座標に、マニュピレータをもちいて侵襲性器具を設置する。
実際に侵襲性器具を刺入して行く段階では、マニュピレータの目盛りから侵襲性器具先端部の導入開始点からの移動距離(組織内での深さ)が測定される。さらに、侵襲性器具の先端に備え付けられた光ファイバから、吸光度または反射率の光学情報も同時に得られる。「導入開始点からの移動距離」と「吸光度または反射率」の二つの情報がPCに送られる。器具の移動距離を横軸に、吸光度または反射率を縦軸にとったプロファイル206がPC上で作成される。
一方で、MRI画像上で設定された導入目的位置と導入開始位置から、理想的な導入経路が設定される。さらに、経路の位置または角度が理想の導入経路と比べて偏移した場合の経路に関しても設定される。設定された導入経路のそれぞれに対して、MRI画像上の距離を横軸に、ピクセルの輝度を縦軸にとったプロファイル306が作成される。
器具から得られたプロファイル206とMRIから得られたプロファイル306の適合をすることで、現在侵襲性器具が生体内のどの位置にあるのかを推定する。これらのプロファイルを比較する場合には、縦軸のデータ(MRI画像上の明度と組織反射率の間のデータ)を整合させるための変換処理が行われる。
この方法を用いることで、ステレオフレームの座標だけに頼っていた従来の導入法よりもより正確な位置に侵襲性器具を導入することが可能となる。
本発明による侵襲性器具の生体内位置同定システムによれば、注射針を刺入した時の、先端から得られた吸光度または反射率の変化とMRI画像の相関をリアルタイムで適合させる演算を行うことにより、注射針の先端部が脳内のどの位置に存在するかをMRI画像上にリアルタイムで表示することができ、従来法よりも、組織内の正確な位置に侵襲性器具を導入することができる。
本発明による侵襲性器具の生体内位置同定システムのシステム構成を説明する図である。 本発明による侵襲性器具の生体内位置同定システムにおけるデータ処理を説明する図である。 MRI画像上の明度と組織反射率の相関を示す図である。
符号の説明
100 入力部
101 キーボード
102 マウス
103 演算部
104 出力部
105 データ格納装置
106 表示画面
107 測定装置
110 生体組織
111 シリンジ(注射器)
112 シリンジの先端部

Claims (3)

  1. 侵襲性器具を侵襲させる生体の核磁気共鳴画像を取得しておき、当該生体に侵襲性器具を侵襲させる際に前記核磁気共鳴画像上において侵襲性器具の生体内の位置を同定する生体内位置同定システムであって、
    生体に侵襲させる侵襲性器具の先端に設けられ当該生体の内部の組織の吸光度または反射率を計測する計測手段と、
    生体内部の組織の吸光度または反射率と核磁気共鳴画像における生体内組織の表示輝度情報の対応関係を格納した変換テーブルと、
    前記計測手段により計測された吸光度または反射率と核磁気共鳴画像の生体内組織の表示輝度情報とを前記変換テーブルを参照して比較して核磁気共鳴画像における侵襲性器具の先端の刺入位置を推定演算する演算手段と、
    演算手段により推定演算された侵襲性器具の座標位置を出力する出力手段と
    を備えることを特徴とする侵襲性器具の生体内位置同定システム。
  2. 請求項1に記載の侵襲性器具の生体内位置同定システムにおいて、
    前記出力手段は、侵襲性器具の座標位置を表示する場合、侵襲性器具の画像を核磁気共鳴画像に重ねて表示し、当該侵襲性器具の画像における侵襲性器具の先端位置を前記座標位置とする
    ことを特徴とする侵襲性器具の生体内位置同定システム。
  3. 請求項1に記載の侵襲性器具の生体内位置同定システムにおいて、更に、
    利用者から表示する生体内位置及び方向の指定を受け付ける入力手段と、
    前記入力手段により受け付けた生体内位置及び方向の指定に基づいてMRI画像上における侵襲性器具の生体内位置を指定の方向及び断面について表示する表示手段と
    を備えることを特徴とする侵襲性器具の生体内位置同定システム。
JP2006117389A 2006-04-21 2006-04-21 侵襲性器具の生体内位置同定システム Expired - Fee Related JP4997387B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006117389A JP4997387B2 (ja) 2006-04-21 2006-04-21 侵襲性器具の生体内位置同定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006117389A JP4997387B2 (ja) 2006-04-21 2006-04-21 侵襲性器具の生体内位置同定システム

Publications (2)

Publication Number Publication Date
JP2007289223A JP2007289223A (ja) 2007-11-08
JP4997387B2 true JP4997387B2 (ja) 2012-08-08

Family

ID=38760446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006117389A Expired - Fee Related JP4997387B2 (ja) 2006-04-21 2006-04-21 侵襲性器具の生体内位置同定システム

Country Status (1)

Country Link
JP (1) JP4997387B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100331782A1 (en) 2008-03-03 2010-12-30 Koninklijke Philips Electronics N.V. Biopsy guidance by image-based x-ray guidance system and photonic needle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09152348A (ja) * 1995-12-01 1997-06-10 Pioneer Electron Corp カーナビゲーション装置
JPH1119073A (ja) * 1997-06-30 1999-01-26 Shimadzu Corp 代謝機能測定装置
JP4494742B2 (ja) * 2003-09-12 2010-06-30 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 磁気共鳴撮影システム
JP4724883B2 (ja) * 2004-05-24 2011-07-13 独立行政法人産業技術総合研究所 生体内組織の同定装置

Also Published As

Publication number Publication date
JP2007289223A (ja) 2007-11-08

Similar Documents

Publication Publication Date Title
KR102014355B1 (ko) 수술도구의 위치 정보 산출 방법 및 장치
CN105792768B (zh) 使用纵向编码的设备跟踪
EP3340918B1 (en) Apparatus for determining a motion relation
US7359746B2 (en) Image guided interventional method and apparatus
JP6987893B2 (ja) 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法
JP5592796B2 (ja) 定量3dceus分析のためのシステム及び方法
CN108601628B (zh) 将操作器械定位在患者身体内的导航、跟踪和引导系统
US8463360B2 (en) Surgery support device, surgery support method, and computer readable recording medium storing surgery support program
US8659603B2 (en) System and method for center point trajectory mapping
CN101410060A (zh) 测定插入患者体内的对象周围的组织
US20110242301A1 (en) Image processing device, image processing method, and program
JP2016179121A (ja) 内視鏡検査支援装置、方法およびプログラム
CN101568942A (zh) 图像引导介入过程中改进的用于补偿手术中发生的运动的图像配准和方法
WO2012062482A1 (en) Visualization of anatomical data by augmented reality
KR20130015146A (ko) 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
US8487933B2 (en) System and method for multi-segment center point trajectory mapping
Ohayon et al. MR-guided stereotactic navigation
WO2017180643A1 (en) Organ motion compensation
KR101650821B1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 트래킹 방법
JP2012165838A (ja) 内視鏡挿入支援装置
US20070265518A1 (en) Method and arrangement for locating a medical instrument at least partly inserted into an object under examination
US10682126B2 (en) Phantom to determine positional and angular navigation system error
US20200163584A1 (en) Non-rigid-body morphing of vessel image using intravascular device shape
Kanithi et al. Immersive augmented reality system for assisting needle positioning during ultrasound guided intervention
JP4997387B2 (ja) 侵襲性器具の生体内位置同定システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120403

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4997387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees