JP3668629B2 - 画像診断装置及び画像処理方法 - Google Patents

画像診断装置及び画像処理方法 Download PDF

Info

Publication number
JP3668629B2
JP3668629B2 JP02225399A JP2225399A JP3668629B2 JP 3668629 B2 JP3668629 B2 JP 3668629B2 JP 02225399 A JP02225399 A JP 02225399A JP 2225399 A JP2225399 A JP 2225399A JP 3668629 B2 JP3668629 B2 JP 3668629B2
Authority
JP
Japan
Prior art keywords
valve
image
ventricular
range
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP02225399A
Other languages
English (en)
Other versions
JP2000217818A (ja
Inventor
正英 西浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP02225399A priority Critical patent/JP3668629B2/ja
Publication of JP2000217818A publication Critical patent/JP2000217818A/ja
Application granted granted Critical
Publication of JP3668629B2 publication Critical patent/JP3668629B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、超音波診断装置やMRI等により撮像された被検体の画像データに基づき、関心物領域や輪郭を抽出する画像処理装置に関する。
【0002】
【従来の技術】
生体画像から関心領域や臓器の輪郭を抽出する場合に、画像の2値化やエッジ検出が多く用いられている。エッジ検出により輪郭を抽出する方法として、図4のように画像上を基準位置から放射状にエッジ検出を行い、エッジ強度の強い部分を輪郭として抽出する方法が挙げられる。この方法で心臓の断層像から心室の輪郭を抽出した例を模式的に示したのが図10である。心室内には乳頭筋や腱索といった部分が存在し、エッジ情報のみでは検出されたエッジが心筋のエッジであるのか、腱索のエッジであるのかを判別することができず誤った輪郭を抽出してしまう問題点があった。
【0003】
画像の2値化によって領域を抽出する方法として、関心領域を設定して2値化を行う方法がある。図15は心室の位置を示すための関心領域を手入力で設定した例であるが関心領域の位置が固定であるため、心臓のように運動する臓器に対しては、収縮した場合に不必要な領域を含んでしまう問題があった。
【0004】
特開平9−122123では所定領域内の画素でピーク値をもつ位置を心臓の左心室と左心房の境界となる画素として検出する方法が示されているが、左心室と左心房を含む所定領域を適切に定める必要があり、また必ずしも境界部分でピーク値を示すとは限らず、安定に境界を検出するのは困難であった。
【0005】
【発明が解決しようとする課題】
上述のように、従来の輪郭抽出では画像のエッジ検出だけからでは判別のつかない臓器の構造に起因する輪郭の誤抽出が問題であった。また、固定された関心領域は運動する臓器に対しては常に適切な領域を指し示すことができず、動画像等の多量の画像に対して適切な関心領域を設定するためには手作業での操作が多くなり困難を伴っていた。また心室と心房の境界位置を定める方法として画素のピーク値を利用する方法では、ピーク値が必ずしも境界位置を示さない場合があり、良好な結果を得るためには適切な探索領域を定める必要があった。
【0006】
したがって本発明の目的は、画像から臓器の部分位置を検出することで、画像のエッジ検出だけからでは判別のつかない臓器の構造に起因する輪郭の誤抽出を防止し、精度の良い輪郭抽出を可能とするものである。また、運動する臓器に対して適切な関心領域の簡便な設定を可能にする画像診断装置を提供することにある。また、心室範囲を検出後、弁部分の探索範囲を限定することで、弁位置検出を効率よく行えるようにする画像診断装置を提供することにある。
【0007】
【課題を解決するための手段】
本発明は、心臓断層像から心室の範囲を検出する心室範囲検出手段と、心臓断層像から弁の部分の位置を検出する弁位置検出手段と、前期弁位置により輪郭形状を補正して、心室輪郭を抽出する輪郭抽出手段または心室を含む関心領域を抽出する領域抽出手段とから構成される。
【0008】
本発明によれば、臓器の特定部分を安定に抽出することが可能となり、画像のエッジ検出だけからでは判別できない臓器の構造に起因する輪郭の誤抽出を防止でき、精度の良い輪郭抽出が可能となる。関心領域設定に関しては、臓器の運動に合わせた適切な関心領域の設定が簡便にできるようになる。また、効率良く弁位置検出を行うことが可能となる。
【0009】
【発明の実施の形態】
以下、図面に基づいて本発明の一実施形態について説明する。
図1は本発明の一実施形態に係る輪郭抽出方法が適用される画像診断装置の構造を示す図、図2は本発明の一実施形態に係る輪郭抽出方法の動作の流れを示すフロー図である。本実施形態は輪郭抽出方法の使用例であり、心臓の動画像を入力し、心室の内側輪郭を抽出し、心室断面の面積を計測し表示する画像診断装置である。
【0010】
図1において、1は画像データの入力処理を行う画像入力部、2は画像データを記憶しておく画像メモリ、3は画像中の心室の範囲の検出処理を行う心室範囲検出部、4は画像中の心臓の弁の位置の検出処理を行う弁位置検出部、5は心室の輪郭の抽出処理を行う輪郭抽出部、6は抽出された輪郭情報から診断に有用な計測値を算出する計測部、7は抽出された輪郭情報や計測された情報や画像を表示する表示部である。
【0011】
まず、画像入力部1から動画像データが入力され画像メモリ2に記憶される。操作者は図示されないポインティングデバイス等を用いて画像中の心臓心室の概略位置を入力する(S1)。心臓の撮像される位置がほぼ決まっている場合には、S1の概略位置の入力は省き、あらかじめ設定された座標値を概略位置として使用しても良い。次に、心室の概略位置に基づき心室範囲検出部3で心室の範囲を検出する(S2)。
【0012】
心室範囲検出処理の一例として画像中の輝度値の高い部分へ収束する輪郭モデルを用いる場合について、図3に示す詳細フローを用いて説明する。この輪郭モデルは複数の制御点で表現される輪郭である。例えば超音波診断装置で撮像された心臓画像の場合、心筋部分は輝度値が高く、血液部分は輝度値が低い。
【0013】
そこでこの方法では輝度値の高い部分に収束する輪郭モデルを用いて心室を取り囲む心筋部分つまり心室の範囲を検出する。心筋部分が血液部分よりも輝度値が低く撮像された画像に対しては逆に画像中の輝度値の低い部分へ収束する輪郭モデルを用いると良い。心室範囲検出の処理の内容について説明する。まず、心室の概略位置に基づき心室範囲の探索範囲を決定する(S10)。
【0014】
動画処理の1フレーム目に対しては概略位置を用いて例えば図4のように各制御点について探索範囲を設定すれば良い。また動画処理の2フレーム目以降のフレームに対しては、1フレーム目と同様に図4のように探索範囲を設定しても良いし、前フレームの輪郭に基づき図5のように探索範囲を設定しても良い。
【0015】
次に決定された探索範囲中で最大輝度となる画素を探索し、それらの画素位置に制御点を移動させることで輪郭候補を生成する(S11)。次に、輪郭形状を平滑化する(S12)。輪郭形状の平滑化はノイズ等により部分的に誤抽出された部分を修正し探索し直す為に行う。次に、輪郭形状の変化量がしきい値以上であればS10、S11、S12の処理を繰り返す。2回目以降のS10〜S12の処理では探索範囲を1回目より小さくとることで、1回目の処理で平滑化された輪郭近辺で最大輝度をとる輪郭を生成できる。輪郭形状の変化量がしきい値以下となれば処理を終了し(S13)、心室範囲輪郭が決定される。
【0016】
心室範囲が決定された後、弁部分の探索範囲を決定する(S3)。心臓の断層像において弁部分の形状は心臓の他の部分に比較して、特徴的な画像パターンを有しているため、弁部分を検出するのが有効である。超音波診断装置で経胸壁で心尖部側から撮像された画像は一般に、画像上側が心尖部、画像下側が弁部分となるので、心室範囲や心室範囲の重心位置を用いて、例えば図6のように右側、左側の弁部分の探索範囲とすれば良い。超音波診断装置で経食道で撮像された画像では一般に、画像上側が弁部分、画像下側が心尖部となるので、例えば図7のように右側、左側の弁部分を探索範囲とすれば良い。このように心臓の姿勢に応じて弁部分の探索範囲を心室範囲等から決定すれば良い。心室範囲に基づいて探索範囲を決めることで、画像全体から直接弁部分を探索するより探索範囲を狭められるので処理を高速化できるとともに検出率の向上できる。
【0017】
次に、S3で決められた探索範囲から弁部分を検出する(S4)。弁部分の検出は、弁部分の画像等から作成した辞書画像との照合により位置を検出する(図8)。照合処理は、テンプレートマッチングで行っても良いし、部分空間法や複合類似度法を用いても良い。以上までの処理で画像中における弁の位置が検出される。次に、心室の内側輪郭を抽出するための輪郭初期形状を算出する(S5)。
【0018】
輪郭初期形状は例えば、S2で設定された心室範囲と、S4までで検出された弁部分位置を用いて、例えば図9のように楕円形状の一部を弁位置に補正して設定する。このように弁部分位置を検出して輪郭抽出に用いることで、心室概略位置のみから輪郭を探索した場合に比べ、心室内の誤った構造物に捕らわれることなく、正しい輪郭を抽出できるようになる。
【0019】
次に、弁位置で補正された初期輪郭の近辺で画像エッジを検出し心室の内側輪郭を抽出する(S6)。S2からS6の処理を全てのフレームに対して行うことで動画像から心室の内側輪郭を抽出する(S7)。2フレーム目以降のフレームに対しては前フレームの輪郭位置を用いて初期形状を生成すると効率が良い。
【0020】
また変形例として、S5の輪郭初期形状の算出時に、前フレームでの弁位置と現フレームでの検出弁位置の距離がしきい値以上の場合には、弁位置による輪郭初期形状の補正は行わず、しきい値未満の場合には弁位置による輪郭初期形状の補正を行うことも可能である。このように補正の適用を制御することで誤った弁位置を検出した場合にも安定して輪郭の抽出を実行できる。以上の処理で輪郭の抽出は終了する。
【0021】
次に抽出された輪郭情報から心室の断面面積を計測部6で算出し(S8)、表示部7で例えば図12のように表示する(S9)。検出された弁部分の位置や移動量を心電図等に同期させて表示しても良い。
【0022】
本実施形態では、心室範囲を検出することで、弁位置を効率良く検出でき、弁位置を用いた輪郭補正を行うことで図10のような心室輪郭の誤抽出を防止し、図11のように精度良く輪郭を抽出することが可能となり、後段の計測結果の精度向上を実現することができる。
【0023】
本発明の心室範囲検出に関する第2の実施形態について説明する。本実施形態は、本発明の領域抽出方法を適用した例で、心室範囲検出により関心領域を自動生成し、関心領域内の画素値を2値化処理して心室領域の面積を算出する画像診断装置の例である。図13は本実施形態のブロック図、図14は本実施形態の処理の流れを示すフロー図である。
【0024】
図13において、1は画像データの入力処理を行う画像入力部、2は画像データを記憶しておく画像メモリ、3は画像中の心室範囲の検出処理を行う心室範囲検出部、11は検出された心室範囲を関心領域として関心領域内の画素値を2値化処理する2値化処理部、12は2値化された画像データから心室内の面積を算出する面積計測部、13は抽出された輪郭情報や計測された情報や画像を表示する表示部である。
【0025】
まず、画像入力部1から動画像データが入力され画像メモリ2に記憶される。第1の実施形態と同様に操作者は図示されないポインティングデバイス等を用いて画像中の心臓心室の概略位置を入力する(S21)。心臓の撮像される位置がほぼ決まっている場合には、S21の概略位置の入力は省きあらかじめ設定された座標値を概略位置として使用しても良い。
【0026】
次に、心室の概略位置に基づき心室範囲検出部3で心室の範囲を検出する(S22)。心室範囲の検出方法は第1の実施形態で説明した方法を用いることができる。また、心室部分の画像等から作成された辞書との照合によって心室範囲を定めても良い。照合の方法は第1の実施形態における弁位置検出と同様にテンプレートマッチングや部分空間法や複合類似度法を用いることができる。検出された心室の範囲は関心領域として以下の処理で利用される。
【0027】
次に、心室範囲検出部で検出された心室範囲を関心領域として、関心領域内の画素値を2値化処理する(S23)。超音波画像の場合では一般に、心筋部分の輝度値は高く、血液部分の輝度値は低いため、2値化された画素値のうち低い画素値の数から心室範囲内の血液部分の面積を算出する(S24)。次に計測結果や画像を表示部7で表示する(S25)。
【0028】
このように1フレーム毎に心室範囲を検出し関心領域とすることで、固定された関心領域を用いる従来に比べ、心房等の余分な部分を含まないため、精度良く計測することが可能となる。また関心領域の設定は不必要となり、簡単な概略位置を指定するのみ、あるいは臓器の表示位置をほぼ一定になるように調整すると、全く位置入力不要となるため、大幅な操作性の改善となる。
【0029】
以上の実施形態では、撮像装置と分離した形態について述べたが、超音波診断装置等の内部に組み込んでも良い。また、計算機に画像入力機能を付加し、本発明の処理をソフトウェアで実現することも可能である。
【0030】
【発明の効果】
本発明により、臓器の輪郭を正確に抽出することや適切な関心領域の簡便な設定が可能となり、診断や計測等の効率が飛躍的に向上する。よってその効果は多大である。
【図面の簡単な説明】
【図1】本発明の輪郭抽出方法に係る第1の実施形態のブロック図である。
【図2】本発明の輪郭抽出方法に係る第1の実施形態のフロー図である。
【図3】第1の実施形態の心室範囲検出部のフロー図である。
【図4】エッジまたは心室範囲の探索範囲例を示す図である。
【図5】心室範囲の探索範囲例を示す図である。
【図6】弁部分の探索範囲例を示す図である。
【図7】弁部分の探索範囲例を示す図である。
【図8】検出された弁部分を示す図である。
【図9】輪郭初期形状の設定例を示す図である。
【図10】誤って抽出された輪郭の例を示す図である。
【図11】弁位置を利用して正しく抽出された輪郭の例を示す図である。
【図12】計測結果の表示例を示す図である。
【図13】本発明の領域抽出方法に係る第2の実施形態のブロック図である。
【図14】本発明の領域抽出方法に係る第2の実施形態のフロー図である。
【図15】固定された関心領域により誤った領域を含む例の説明図である。
【符号の説明】
1 画像入力部
2 画像メモリ
3 心室範囲検出部
4 弁位置検出部
5 輪郭抽出部
6 計測部
7 表示部

Claims (15)

  1. 心臓画像から、心室範囲を検出する心室範囲検出手段と、弁の位置を検出する弁位置検出手段と、検出された弁の位置から心室の輪郭を抽出する輪郭抽出手段とから構成されることを特徴とする画像診断装置。
  2. 心臓画像から、弁の位置を検出する弁位置検出手段と、検出された弁の位置から心室の輪郭を抽出する輪郭抽出手段とから構成されることを特徴とする画像診断装置。
  3. 心臓画像から、心室範囲を検出する心室範囲検出手段と、弁の位置を検出する弁位置検出手段と、検出された弁の位置から心室を含む関心領域を抽出する領域抽出手段とから構成されることを特徴とする画像診断装置。
  4. 心臓画像から、弁の位置を検出する弁位置検出手段と、検出された弁の位置から心室を含む関心領域を抽出する領域抽出手段とから構成されることを特徴とする画像診断装置。
  5. 前記弁位置検出手段が、心臓画像から心室範囲を検出する心室範囲検出手段と、前記心室範囲に基づき弁部分の探索範囲を決定する弁探索範囲決定手段と、前記探索範囲から弁部分の位置を検出する弁探索手段とから構成されることを特徴とする請求項1乃至4のいずれかに記載の画像診断装置。
  6. 前記弁探索手段が、弁部分画像から作成される辞書との照合により弁の部分を探索し、弁部分の位置を検出するものであることを特徴とする請求項5記載の画像診断装置。
  7. 前記心室範囲検出手段が、心室部分画像から作成される辞書との照合により心室範囲検出を行なうものであることを特徴とする請求項1、3、5のいずれかに記載の画像診断装置。
  8. 前記心室範囲検出手段が、予め設定されたあるいは手入力された座標を基準位置とし、この基準位置に基づく探索範囲内で輝度が極値となる点を探索して輪郭曲線を生成する輝度探索手段で構成されることを特徴とする請求項1、3、5のいずれかに記載の画像診断装置。
  9. 前記輪郭抽出手段が、弁位置による輪郭形状補正を行うかどうかを判定する補正判定手段と、補正を行うと判定された場合にのみ補正を行う輪郭補正手段とで構成されることを特徴とする請求項1または2記載の画像診断装置。
  10. 前記弁位置検出手段により検出された弁の位置変化または移動量、または前記輪郭抽出手段或いは前記領域抽出手段により抽出され、算出された心室の断面面積変化を表示する手段を備えることを特徴とする請求項1乃至5のいずれかに記載の画像診断装置。
  11. 前記領域抽出手段により抽出された領域を、他の計測における関心領域として使用する手段を備えることを特徴とする請求項2または3記載の画像診断装置。
  12. 前記弁探索範囲抽出手段は、前記心臓画像の採取の姿勢に基づいて、探索範囲を決定する手段を具備して構成されることを特徴とする請求項5記載の画像診断装置。
  13. 画像診断装置における画像処理方法であって、心臓画像から、心室範囲を心室範囲検出手段により検出するステップと、弁の位置を弁位置検出手段により検出するステップと、検出された弁の位置から心室の輪郭を輪郭抽出手段により抽出するステップとから成ることを特徴とする画像処理方法。
  14. 画像診断装置における画像処理方法であって、心臓画像から、弁の位置を弁位置検出手段により検出するステップと、検出された弁の位置から心室の輪郭を輪郭抽出手段により抽出するステップとから成ることを特徴とする画像処理方法。
  15. 画像診断装置における画像処理方法であって、前記弁位置を検出するステップが、心臓画像から心室範囲を心室範囲検出手段により検出するステップと、前記心室範囲に基づき弁部分の探索範囲を弁探索範囲決定手段により決定するステップと、前記探索範囲から弁部分の位置を弁探索手段により検出するステップとから構成されること を特徴とする請求項13または14記載の画像処理方法。
JP02225399A 1999-01-29 1999-01-29 画像診断装置及び画像処理方法 Expired - Lifetime JP3668629B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02225399A JP3668629B2 (ja) 1999-01-29 1999-01-29 画像診断装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02225399A JP3668629B2 (ja) 1999-01-29 1999-01-29 画像診断装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2000217818A JP2000217818A (ja) 2000-08-08
JP3668629B2 true JP3668629B2 (ja) 2005-07-06

Family

ID=12077631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02225399A Expired - Lifetime JP3668629B2 (ja) 1999-01-29 1999-01-29 画像診断装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP3668629B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8909321B2 (en) 2007-12-07 2014-12-09 Kabushiki Kaisha Toshiba Diagnostic imaging apparatus, magnetic resonance imaging apparatus, and X-ray CT apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4598260B2 (ja) * 2000-11-29 2010-12-15 アロカ株式会社 超音波診断装置
US20080085043A1 (en) * 2004-12-24 2008-04-10 Nozomi Watanabe Cardiac Valve Data Measuring Method And Device
WO2007046074A1 (en) * 2005-10-20 2007-04-26 Koninklijke Philips Electronics N.V. Ultrasonic imaging system and method
US20090080738A1 (en) * 2007-05-01 2009-03-26 Dror Zur Edge detection in ultrasound images
JP5072625B2 (ja) 2008-01-31 2012-11-14 株式会社東芝 画像処理装置及びその方法
JP5637653B2 (ja) 2008-08-18 2014-12-10 株式会社東芝 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
JP5550586B2 (ja) * 2011-03-01 2014-07-16 株式会社東芝 医用画像診断装置と超音波診断装置と画像処理方法
CN109003270B (zh) * 2018-07-23 2020-11-27 北京市商汤科技开发有限公司 一种图像处理方法、电子设备及存储介质
JP7099901B2 (ja) * 2018-08-06 2022-07-12 富士フイルムヘルスケア株式会社 超音波画像処理装置およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2526596B2 (ja) * 1987-07-30 1996-08-21 株式会社日立製作所 入力方法および装置
JP3092892B2 (ja) * 1993-12-27 2000-09-25 シャープ株式会社 半導体チップの外観検査方法および装置
JPH08206117A (ja) * 1994-05-27 1996-08-13 Fujitsu Ltd 超音波診断装置
JP3378446B2 (ja) * 1995-09-06 2003-02-17 株式会社東芝 超音波画像の処理方法及びその装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8909321B2 (en) 2007-12-07 2014-12-09 Kabushiki Kaisha Toshiba Diagnostic imaging apparatus, magnetic resonance imaging apparatus, and X-ray CT apparatus

Also Published As

Publication number Publication date
JP2000217818A (ja) 2000-08-08

Similar Documents

Publication Publication Date Title
US9275266B2 (en) Apparatus and method for tracking contour of moving object, and apparatus and method for analyzing myocardial motion
CN105022719B (zh) 医学造影系统及方法
JP4682091B2 (ja) 心臓境界、胸郭境界及び横隔膜境界を検出する方法、装置及び記憶媒体
WO2017206023A1 (zh) 一种心脏容积识别分析系统和方法
JP3982817B2 (ja) 画像処理装置および画像処理方法
JP2013022463A (ja) 運動対象輪郭抽出装置、左心室画像分離装置、運動対象輪郭抽出方法及び左心室画像分離方法
JP3668629B2 (ja) 画像診断装置及び画像処理方法
US6711282B1 (en) Method for automatically segmenting a target bone from a digital image
US20080192998A1 (en) Image processing apparatus and image processing method
JP3884384B2 (ja) 心臓のmr血流測定の位置合わせに関する信頼性尺度
US20120078085A1 (en) Method of Analysis for Dynamic Magnetic Resonance Perfusion Imaging
US10980496B2 (en) Heart CT image processing method and apparatus, and non-transitory computer readable storage medium
US20220130523A1 (en) Image analysis method and device
US20030228044A1 (en) Radiographic marker location
JP2002140689A (ja) 医用画像処理装置及びその方法
WO2002047552A1 (fr) Procede et appareil destines a la detection des limites de la cage thoracique dans une image numerique de la poitrine
JP2002177249A (ja) ディジタル胸部画像のリブケイジ境界検出方法
Philip et al. Automatic detection of myocardial contours in cine-computed tomographic images
US20060111877A1 (en) System and method for processing a series of image frames representing a cardiac cycle
Alioui et al. Automatic registration of 3D camera recording to model for leads localization
US8204289B2 (en) System for identifying medical images having a particular medical characteristic
EP1804662A1 (en) Apparatus, software and method for processing images from a patient's heart
JP3647970B2 (ja) 領域抽出装置
Noble et al. Myocardial delineation via registration in a polar coordinate system
CN117202842A (zh) 确定心脏壁运动的方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050411

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090415

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090415

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090415

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100415

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100415

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110415

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130415

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term