JP4526114B2 - 管腔臓器切除シミュレーション方法 - Google Patents

管腔臓器切除シミュレーション方法 Download PDF

Info

Publication number
JP4526114B2
JP4526114B2 JP2004151326A JP2004151326A JP4526114B2 JP 4526114 B2 JP4526114 B2 JP 4526114B2 JP 2004151326 A JP2004151326 A JP 2004151326A JP 2004151326 A JP2004151326 A JP 2004151326A JP 4526114 B2 JP4526114 B2 JP 4526114B2
Authority
JP
Japan
Prior art keywords
luminal organ
image
cutting
cross
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004151326A
Other languages
English (en)
Other versions
JP2005329099A (ja
JP2005329099A5 (ja
Inventor
朋洋 永尾
良洋 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2004151326A priority Critical patent/JP4526114B2/ja
Publication of JP2005329099A publication Critical patent/JP2005329099A/ja
Publication of JP2005329099A5 publication Critical patent/JP2005329099A5/ja
Application granted granted Critical
Publication of JP4526114B2 publication Critical patent/JP4526114B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Description

本発明は、生体内の臓器の部分移植支援方法および装置に関するもので、特に、医師が臨床において肝臓のような臓器の診断や治療を行う際に、医師を支援するための管腔臓器切除シミュレーション方法に関するものである。
近年、管腔臓器切除シミュレーション方法は、[特許文献1]に、単一臓器内の血管の走行情報に基づいた臓器の特定領域を抽出する方法が提案されている。
[特許文献1]にある手法は、1種類の血管の情報を利用して行われており、仮に動脈による切除領域の決定を行った際、動脈における灌流支配領域は比較的良好に設定される。しかし、静脈に関する配慮が全く行われていないため、切除対象となる領域に静脈が含まれた場合、この静脈の灌流支配領域を考慮せずに切除することになる。すなわち、境界付近に存在する静脈が切除された場合、他の切除しない動脈に支配されている領域の血液が戻る静脈が存在しない状態がおこる。
臓器の部分切除、部分移植においては、前記のような静脈の支配領域も合わせて切除し、移植を行うことが必要になるが、上記手法ではその領域は考慮されていないので、[特許文献2]のように、静脈の灌流支配領域を考慮する必要がある。
特開2001-283191号公報 特願2003-135122号公報
しかしながら、[特許文献1],[特許文献2]のいずれの場合も、仮想切断面は平面状に切断するものであり、手術等の計画において任意の形状に仮想切断したいというニーズに応えられるものではなかった。
本発明の目的は、直感的にかつ自由度の高い仮想切断面を簡便に設定できる管腔臓器切除シミュレーション方法を提供することにある。
上記目的は、医用画像診断装置によって得られた被検体の医用画像を用いて三次元画像から管腔臓器領域を抽出するステップと、前記管腔臓器領域を細線化処理することで前記管腔臓器の芯線を求めるステップと、前記芯線上で指定された切断位置における仮想切断面の切断角度を設定するステップと、前記仮想切断面の断面形状を前記切断角度が設定される毎に表示するステップと、を含むことを特徴とするものである。
具体的には、医用画像診断装置にて得た被検体の画像を用いて臓器の特定領域を抽出し表示装置に表示する方法において、動脈、もしくはそれに順ずる脈管や静脈による支配領域を決定する処理における、例えば抽出血管を例とすると、抽出血管、および抽出血管の細線化結果を利用する。細線化結果は、抽出血管の構造を示す。細線化結果上の1点をマウスなどにより指定し、その点を含む任意断面像、および適当な大きさで描画された任意断面を含む指定点周辺の抽出血管の部分的擬似三次元画像を表示する。マウスのドラッグにより任意断面の法線ベクトルを変化させ、同時に任意断面の画像を表示する。擬似三次元画像上で任意断面の角度が確認でき、更に任意断面画像上で抽出血管の断面形状が確認できる。任意断面は法線ベクトルに従って表と裏を定義しておき、擬似三次元画像中ではそれぞれ別の色で表示させておく。切除する末梢血管を任意断面の法線ベクトルを利用して指定することが可能となる。この方法では、マウスのボタンダウン、マウスドラッグ、マウスのボタンアップの一連の操作者による操作で任意の角度の切除断面(切断面、割面ともいう)が簡便に設定できる。
また、既に抽出された管腔臓器構造であることから、芯線画素をマウスなどにより指定し、コンピュータで管腔臓器断面積が最小となる角度を自動計算させ、その割面を境界として自動的に管腔臓器の容積計算を行わせ、容積の小さい方を末梢、すなわち切除対象の管腔臓器と判定させることも可能である。容積の大きい方が切除対象の管腔臓器である場合は、切除対象である管腔臓器の認識を逆にする機能を持たせておく。この方法では、管腔臓器の走行に垂直な割面および切除対象管腔臓器が簡便に設定できる。
また、前記仮想切除断面設定ステップによって設定された仮想切断面を前記細線化処理された管腔臓器の位置を中心として前記管腔臓器の走行方向に直交する方向に仮想回転させることによって、その切断面を含む切断位置周辺の部分三次元画像を構成する部分三次元画像構成ステップをさらに含み、前記表示ステップは、前記部分三次元画像構成によって構成された部分三次元画像を表示することを含む。
前記仮想切除断面設定ステップによって設定された仮想切断面を前記細線化処理された管腔臓器の位置を中心として前記管腔臓器の走行方向に直交する方向に仮想回転させることによって、管腔臓器の断面積が最小となる切断面を探索する最小切断面探索ステップをさらに含み、前記仮想切除断面設定ステップは、前記最小切断面探索ステップによって探索された最小の断面積の切断面を参照して仮想切除断面を設定することを特徴とすることを含む。
本発明によれば、直感的にかつ自由度の高い仮想切断面を簡便に設定できる。
以下、添付図面に従って本発明に係る仮想管腔臓器切除方法および装置の好ましい実施の形態について説明する。
実施の形態として、肝臓の造影撮影を行ったX線CT画像を処理対象画像例として用い、処理対象画像から領域拡張法などを利用して抽出した動脈、静脈、およびこれらを細線化処理して得られた芯線の情報を利用して、仮想管腔臓器を切除する方法を以下に説明する。
まず、切除領域の決定は、血管の情報を利用(血管の切除位置を指定)することにより行われる。本例のような、例えば既に抽出された血管のような管腔臓器を切除位置の指定および切除方法としては、たとえば図1に示すような方法が考えられる。擬似三次元画像11上で切除する位置及び割面を、例えばラバーバンド12のような直線を描画し、決定する。切除する枝は通常、前記直線により分割された二つの管腔臓器の一方をマウスのクリックなどにより指定13する。また、図2に示すように、あらかじめ細線化処理を行っておき、芯線の情報21を重畳描画しておいた擬似三次元画像22上で芯線に対して切除する位置23および割面の法線ベクトルおよび切除血管の存在する方向を決定する指示位置24をマウスでクリックするなどして指定する。
図1に示す方法は、割面の位置および方向の設定について、割面が観察方向ベクトルを含む面としてしか設定できない。そのため、任意の方向の割面を設定するためには、あらかじめ所望の割面を設定可能な方向の擬似三次元画像を準備しておく必要がある。更に、複雑に走行する脈管において切断位置を設定するためには、切断面を設定するための三次元画像として最適な角度を探さなくてはならない。
図2に示す方法は、芯線上の2点を設定するだけで割面、および切除する管腔臓器が指定できるため、操作は簡便であるが、必ず指定した点を結ぶ方向ベクトルを法線ベクトルとする割面が設定される。血管に垂直な割面が必要な場合は有用であるが、実際の外科手術ではこのような割面を設定する機会ばかりではない。また、芯線の三次元的構造を擬似三次元画像上で把握することは容易ではなく、すなわち、直感的に設定される割面を把握することが必要となる。
そこで、図3(a)に示すようにX線CT装置やMRI装置等の三次元計測の可能な画像診断装置で取得した複数の断層像31を積み上げて、図3(b)に示すような積み上げ三次元画像32とし、処理対象を三次元化する。積み上げ三次元画像32は肝臓の組織と動脈、静脈、腫瘍などを含み、ここには図示しない二次元の投影面に陰影付けして投影処理された擬似三次元画像として例えばモニタへ表示される。
図4は、本発明による仮想管腔臓器切除方法を説明する図である。領域拡張法により抽出された動脈や静脈などの脈管41は、細線化処理をされ、細線化結果42を重畳して表示されている。重畳表示された42上の1点43をマウスボタンダウンすると、点43周辺の割面44をさらに合成した部分的重畳擬似三次元画像45と初期割面により求められる断面像46が表示される。点43の表示画面上の座標位置からのマウスのドラッグによる位置のx,y変化量を利用して、割面44を任意の方向に回転させる。現在の割面44の法線ベクトルを(a,b,c)、指定された点43の座標を(s,t,u)と定義する。例えば、変化量Δx,Δyから擬似的な回転角度について(式1)を利用して算出する。
Figure 0004526114
Displaysizeは、擬似三次元画像を表示する領域の1辺あたりの長さで、変化量をこの長さを基準に規格化し、擬似的に角度変換する。これらの回転角度を利用して、例えば(式2)の
Figure 0004526114
ような回転行列Rを生成する。
これを以前の回転行列と掛け合わせ、新しい回転行列を生成する。
newR=R×preR (3)
これにより、新しい法線ベクトル(a',b',c')はnewRをRとして表記すれば
[a' b' c']=[abc]R (4)
と計算でき、新しい割面44は
a'(X−s) +b'(y−t)+c'(z−u)=0 (5)
として求められる。
擬似三次元画像45と断面像46を逐次変更させ、意図する角度の断面が設定できたかどうか判断する。設定できたところでマウスボタンをリリースすることで、割面が決定され、切除対象の脈管の判定処理へ進む。
図5は割面の設定例を説明する図である。図4においてマウス操作により設定される活面の擬似三次元画像上への重畳表示の際、割面の法線ベクトル方向の面を例えば赤、法線ベクトルの逆方向の面を例えば青、として表示する仕様とし、法線ベクトル51方向の脈管を切除対象脈管とするように定義しておけば、マウスのボタンダウン〜マウスドラッグ〜マウスのボタンアップという一連の操作で切除対象脈管を決定することが出来る。
一方、重畳表示された42上の1点43をマウスボタンダウンした場合、その付近の芯線画素を利用して適当に法線ベクトルの向きを変更しながら、割面に現れる脈管断面の面積を計算する。この場合、式1におけるα,β,γを適宜変更しながら割面を求め、脈管断面積を逐次比較する。面積が最小と思われる割面を見つけた後、その割面位置を利用して切除対象の脈管の判定処理へ進ませることもできる。この場合、割面の前後それぞれに対して脈管の容積算出を行い、容積の小さい方を切除対象脈管として設定する。ただし、所望する切除対象脈管と異なる場合も考えられるため、切除対象脈管を反対にする機能を持たせておくと良い。
図6に本発明を実施する際の操作フローチャートの一例を示す。図3のような積み上げ三次元(3D)画像を作成し、その積み上げ3D画像をディスプレイ74に表示する(ステップ61)。その表示された積み上げ3D画像から選択的に管腔臓器(脈管)を抽出し、その抽出された脈管を積み上げ3D画像とともにディスプレイ74に表示する。そのときに、X線CT画像を処理対象画像例として用い、処理対象画像から領域拡張法などを利用して抽出した動脈、静脈、およびこれらを細線化処理して得られた芯線化された脈管も得られる(ステップ62)。表示された脈管上で切断を行う所望の位置をマウスなどのポインティングデバイスで指定する(ステップ63)。その指定パラメータは初期角度が、例えば血管走行方向に垂直な角度による断面像が設定されている。指定位置周辺の部分的拡大3D画像を別途作成し、ディスプレイ74に表示する(ステップ64)。マウスの移動量に合わせて式1などを利用し断面角度を計算する(ステップ65)。その計算された断面角度に基づき部分的拡大3D画像と断面像を更新する(ステップ66)。ポインティングデバイスによる操作が完了するまでステップ65及びステップ66を繰り返す(ステップ67)。ポインティングデバイスによる操作が完了した時点を最終的な脈管の切断角度とする(ステップ68)。
図7には、本発明のシステムが実現可能であるハードウェア例の構成図を示す。このシステムは、CPU72、主メモリ70、磁気ディスク71、表示メモリ73、ディスプレイ74、コントローラ75、マウス76、キーボード77、および共通バス78からなる。磁気ディスク71には、各断層像が格納されており、主メモリ70の投影表示ソフトウェアに従って、CPU72が所定の処理を行う。この処理では、コントローラ75に付加されているマウス76やキーボード77を利用して入出力処理や処理操作が行われる。積み上げ三次元画像や処理結果は表示メモリ73を介してディスプレイ74に表示され、オペレータの操作を利用して図4の処理がなされ、各種条件に合った画像が表示される。また、処理結果および表示内容は磁気ディスク71に格納され、再表示に利用される。
これらの方法により決定された脈管は、[特許文献1]などに示される装置と組み合わせることで、単一臓器内の血管の走行情報に基づいた臓器の特定領域を抽出する装置の支配血管として利用することが可能である。
本実施形態によれば、脈管に対して所望する切断面の設定は困難、もしくは煩雑な操作が不要となる。つまり、複雑に走行する脈管の切除において、割面設定角の自由度、および設定の簡便性が飛躍的に向上する。割面設定角の自由度は、実際に手術を行う外科医の認識に一致した管腔臓器切除のためのアプローチ角度を提供可能である。その断面の精度も三次元的な面表示と管腔臓器切断面を表示することで視覚的な確認が可能となり、作業時間を含む操作性、とくに手術シミュレーションにおいては模擬的な術式の再現精度を飛躍的に向上することが可能となる。
管腔臓器を切断するための方法の一例を示す図。 図1と異なる管腔臓器を切断するための方法の一例を示す図。 断層像とデータの関係を示す図。 本発明による管腔臓器を切断するための方法を示す図。 本発明による切断面設定方法の例を示す図。 本発明を実施する際の操作フローの一例を示す図。 本発明を実施可能なハードウェア構成例を示す図。
符号の説明
11,22,42,45 抽出済み管腔臓器
12 切断面設定用線分
13,24 除対象管腔臓器指定点
21,41 細線化結果(管腔臓器芯線)
23,43 切断位置指定点
31 断層像
32 積み上げ三次元像
44 切断面(割面)
45 管腔臓器断面
51 切断面(割面)の法線ベクトル

Claims (4)

  1. 医用画像診断装置によって得られた被検体の医用画像を用いて構成された三次元画像から管腔臓器領域を抽出するステップと、
    前記管腔臓器領域を細線化処理することで前記管腔臓器領域の芯線を求めるステップと、
    前記芯線上で指定された切断位置における仮想切断面の切断角度を設定するステップと、
    前記仮想切断面の断面形状を前記切断角度が設定される毎に表示するステップと、を含むことを特徴とする管腔臓器切除シミュレーション方法。
  2. 請求項1に記載の管腔臓器切除シミュレーション方法において、
    前記切断角度はマウスのドラッグ距離とドラッグ方向に基づき設定されることを特徴とする管腔臓器切除シミュレーション方法。
  3. 請求項1または2のいずれかに記載の管腔臓器切除シミュレーション方法において、
    前記切断角度は前記断面形状の面積が最小となる角度に設定されることを特徴とする管腔臓器切除シミュレーション方法。
  4. 医用画像診断装置によって得られた被検体の医用画像を用いて構成された三次元画像から管腔臓器領域を抽出するステップと、
    前記管腔臓器領域を細線化処理することで前記管腔臓器の芯線を求めるステップと、
    前記芯線上で指定された切断位置において設定される仮想切断面の断面積が最小になるように前記仮想切断面の切断角度を設定するステップと、を含むことを特徴とする管腔臓器切除シミュレーション方法。
JP2004151326A 2004-05-21 2004-05-21 管腔臓器切除シミュレーション方法 Expired - Fee Related JP4526114B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004151326A JP4526114B2 (ja) 2004-05-21 2004-05-21 管腔臓器切除シミュレーション方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004151326A JP4526114B2 (ja) 2004-05-21 2004-05-21 管腔臓器切除シミュレーション方法

Publications (3)

Publication Number Publication Date
JP2005329099A JP2005329099A (ja) 2005-12-02
JP2005329099A5 JP2005329099A5 (ja) 2007-07-05
JP4526114B2 true JP4526114B2 (ja) 2010-08-18

Family

ID=35484121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004151326A Expired - Fee Related JP4526114B2 (ja) 2004-05-21 2004-05-21 管腔臓器切除シミュレーション方法

Country Status (1)

Country Link
JP (1) JP4526114B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101874400B1 (ko) 2012-07-10 2018-07-04 삼성전자주식회사 환자에 특화된 대상 장기의 모델을 생성하는 방법 및 장치
JP6066197B2 (ja) * 2013-03-25 2017-01-25 富士フイルム株式会社 手術支援装置、方法およびプログラム
WO2015044983A1 (ja) * 2013-09-27 2015-04-02 テルモ株式会社 画像診断装置及びその制御方法
WO2017037904A1 (ja) 2015-09-02 2017-03-09 富士通株式会社 読影支援プログラム、断面画像生成装置及び断面画像生成方法
JP7277105B2 (ja) * 2018-10-25 2023-05-18 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、及び、医用画像処理プログラム
CN111710026B (zh) * 2020-05-11 2022-06-21 中国电建集团西北勘测设计研究院有限公司 一种利于分析三维模型内部结构的方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6125531A (ja) * 1984-07-13 1986-02-04 株式会社東芝 擬似3次元表示装置
JPH04292150A (ja) * 1991-03-20 1992-10-16 Hitachi Ltd 画像処理方法
JPH087080A (ja) * 1994-06-22 1996-01-12 Hitachi Medical Corp 画像診断装置
JPH08280657A (ja) * 1995-04-18 1996-10-29 Toshiba Corp X線診断装置
JPH1176228A (ja) * 1997-09-11 1999-03-23 Hitachi Medical Corp 三次元画像構成装置
JP2001014496A (ja) * 1999-06-29 2001-01-19 Hitachi Medical Corp 画像表示装置
JP2001513923A (ja) * 1997-02-25 2001-09-04 ウェイク・フォレスト・ユニバーシティ 直接検出できない内視鏡検査における自動分析
JP2001283191A (ja) * 2000-01-25 2001-10-12 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2002092590A (ja) * 2000-09-14 2002-03-29 Hitachi Medical Corp 画像表示装置
JP2002092621A (ja) * 2000-09-11 2002-03-29 Hitachi Medical Corp 画像表示装置
JP2003010172A (ja) * 2001-07-04 2003-01-14 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2004016374A (ja) * 2002-06-14 2004-01-22 Hitachi Medical Corp 医療用撮像装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6125531A (ja) * 1984-07-13 1986-02-04 株式会社東芝 擬似3次元表示装置
JPH04292150A (ja) * 1991-03-20 1992-10-16 Hitachi Ltd 画像処理方法
JPH087080A (ja) * 1994-06-22 1996-01-12 Hitachi Medical Corp 画像診断装置
JPH08280657A (ja) * 1995-04-18 1996-10-29 Toshiba Corp X線診断装置
JP2001513923A (ja) * 1997-02-25 2001-09-04 ウェイク・フォレスト・ユニバーシティ 直接検出できない内視鏡検査における自動分析
JPH1176228A (ja) * 1997-09-11 1999-03-23 Hitachi Medical Corp 三次元画像構成装置
JP2001014496A (ja) * 1999-06-29 2001-01-19 Hitachi Medical Corp 画像表示装置
JP2001283191A (ja) * 2000-01-25 2001-10-12 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2002092621A (ja) * 2000-09-11 2002-03-29 Hitachi Medical Corp 画像表示装置
JP2002092590A (ja) * 2000-09-14 2002-03-29 Hitachi Medical Corp 画像表示装置
JP2003010172A (ja) * 2001-07-04 2003-01-14 Hitachi Medical Corp 臓器の特定領域抽出表示方法及び装置
JP2004016374A (ja) * 2002-06-14 2004-01-22 Hitachi Medical Corp 医療用撮像装置

Also Published As

Publication number Publication date
JP2005329099A (ja) 2005-12-02

Similar Documents

Publication Publication Date Title
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
US7890156B2 (en) Medical image display method and apparatus
EP2222224B1 (en) Method and system for interactive percutaneous pre-operation surgical planning
EP2642917B1 (en) System and method for interactive three dimensional operation guidance system for soft organs based on anatomic map
JP4786307B2 (ja) 画像処理装置
JP4688361B2 (ja) 臓器の特定領域抽出表示装置及びその表示方法
JP2001283191A (ja) 臓器の特定領域抽出表示方法及び装置
US10201389B2 (en) Method and system for interactive grid placement and measurements for lesion removal
EP3515310B1 (en) Volume presentation for planning a location of an injection point
JP2010000144A (ja) 医用画像処理装置
JP4675509B2 (ja) 臓器の特定領域抽出表示装置及び方法
JP2003339644A (ja) 臓器の切除領域抽出表示装置
JP4526114B2 (ja) 管腔臓器切除シミュレーション方法
WO2022176874A1 (ja) 医療画像処理装置、医療画像処理方法及びプログラム
US20220409300A1 (en) Systems and methods for providing surgical assistance based on operational context
CN116235216A (zh) 胸腔手术规划系统和方法
JP4397177B2 (ja) 臓器特定領域抽出支援装置及び方法
JP4474140B2 (ja) 画像表示装置
US11657547B2 (en) Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system
JP4698193B2 (ja) 医用画像表示方法および装置
JP5924363B2 (ja) 医用画像診断支援装置、その制御方法およびプログラム
JP2022128218A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP6780936B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
Hansen Software Assistance for Preoperative Risk Assessment and Intraoperative Support in Liver Resection Surgery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070518

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130611

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees