JP4225830B2 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
JP4225830B2
JP4225830B2 JP2003136394A JP2003136394A JP4225830B2 JP 4225830 B2 JP4225830 B2 JP 4225830B2 JP 2003136394 A JP2003136394 A JP 2003136394A JP 2003136394 A JP2003136394 A JP 2003136394A JP 4225830 B2 JP4225830 B2 JP 4225830B2
Authority
JP
Japan
Prior art keywords
surface position
diagnostic apparatus
scan line
ultrasonic
ultrasonic diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003136394A
Other languages
English (en)
Other versions
JP2004337312A (ja
Inventor
浩 服部
政佳 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003136394A priority Critical patent/JP4225830B2/ja
Publication of JP2004337312A publication Critical patent/JP2004337312A/ja
Application granted granted Critical
Publication of JP4225830B2 publication Critical patent/JP4225830B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被検体に対して超音波を送受信して得た超音波エコーデータに基づき、超音波画像を生成する超音波診断装置に関する。
【0002】
【従来の技術】
従来より、超音波診断装置は、医療用分野において広く用いられている。超音波診断装置は、被検体の超音波断層画像(超音波診断画像とも言う)を取得し病変の状態を診断するためのものである。
超音波診断装置は、超音波を被検体に送信し、この被検体からの超音波エコーデータを得る。そして、この超音波エコーデータを画像化することで、超音波診断装置は、超音波断層画像を取得する。
【0003】
このような従来の超音波診断装置は、超音波の走査により得られる画像が2次元画像となる。このため、従来の超音波診断装置は、より診断し易い画像を提供するために、スパイラルスキャン等の3次元スキャンを行って2次元画像から3次元画像を構築し、被検体を3次元表示するものがある。
また、このような従来の超音波診断装置は、3次元スキャンで得たスキャンライン上を閾値処理して被検体である臓器表面を抽出し、この臓器表面を着色して立体的に表現することも可能である。
【0004】
上記従来の超音波診断装置は、例えば、特開平10−192号公報に記載されているように、得られた超音波エコーデータのスキャンラインから臓器等の被検体の表面位置を抽出する表面位置抽出手段を備えたものが提案されている。
上記表面位置抽出手段は、スキャンライン開始点からスキャンライン上を遠方にスキャンし、所定の閾値より輝度値の大きいポイント(点)が所定距離以上連続連続した場合、これらのポイント(点)がノイズではなく、臓器等の表面位置であると判別することで、臓器等の被検体の表面を抽出するものである。
【0005】
【特許文献1】
特開平10−192号公報
【0006】
【発明が解決しようとする課題】
しかしながら、上記特開平10−192号公報に記載の超音波診断装置は、上記表面位置抽出手段を用いても、スキャンラインによっては図6に示すように臓器外の部分を臓器表面と誤って抽出してしまい、図7に示すように期待した被検体の表面の検出とはならない虞れがあった。尚、図6は従来の超音波診断装置で得られた被検体の表面として誤って抽出した場合の説明図であり、図7は求めている被検体の表面を示す説明図である。
【0007】
一方、これに対して、上記表面位置抽出手段は、隣接するスキャンラインを平均化することで補正する方法もある。
しかしながら、この場合、上記表面位置抽出手段は、図8に示すように誤まって抽出した部分が正しい検出をした部分に悪影響を与えてしまい、表面抽出の精度を悪くしてしまうという虞れが生じる。尚、図8は、図6で抽出した表面を平均化により補正した場合の説明図である。
【0008】
本発明は、上記事情に鑑みてなされたもので、被検体の表面位置検出の精度向上が可能な超音波診断装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明の請求項1に記載の超音波診断装置は、被検体に対して超音波を送受信して得た超音波エコーデータに基づき、超音波画像を生成する超音波診断装置において、前記超音波エコーデータのスキャンラインから前記被検体の表面位置を抽出する表面位置抽出手段と、前記表面位置抽出手段で抽出した前記被検体の表面位置を前記スキャンラインの所定数値毎にグループ化するグループ化手段と、前記グループ化手段でグループ化した表面位置の位置情報の関係を基に前記表面位置抽出手段で抽出した表面位置を補正する表面位置補正手段と、を具備したことを特徴としている。
また、本発明の請求項2は、請求項1に記載の超音波診断装置において、前記表面位置補正手段は、前記グループ化手段でグループ化した所定数のデータ群に対して統計的処理を施すことを特徴としている。
また、本発明の請求項3は、請求項2に記載の超音波診断装置において、前記表面位置補正手段は、前記統計的処理としてグループ化した所定数のデータ群に対して中間値を算出し、この算出した中間値を該当するスキャンラインのデータとして置換することを特徴としている。
また、本発明の請求項4は、請求項1〜3に記載の超音波診断装置において、前記表面位置抽出手段は、スキャンライン開始点からスキャンライン上を遠方にスキャンし、所定の閾値より輝度値の大きいポイントが所定距離以上連続するポイントのうち、前記スキャンライン開始点に最も近いポイントを表面位置として抽出することを特徴としている。
この構成により、被検体の表面位置検出の精度向上が可能な超音波診断装置を実現する。
【0010】
【発明の実施の形態】
以下、図面を参照して本発明の1実施の形態を説明する。
図1ないし図5は本発明の1実施の形態に係わり、図1は本発明の1実施の形態を備えた超音波診断装置を示す全体構成図、図2は図1の補正部の動作を示す補正処理のフローチャート、図3は表面抽出部で抽出した被検体の表面を示す具体例、図4は表面抽出部で抽出した表面位置を表す1次元配列の具体例、図5は補正部での補正処理を示す説明図である。
【0011】
図1に示すように本発明の1実施の形態を備えた超音波診断装置1は、被検体内に挿入され、超音波の送受を行う超音波探触子(超音波プローブとも言う)2と、この超音波探触子2が着脱自在に接続され、超音波断層画像を構築する処理を行う装置本体(超音波観測装置)3と、この装置本体3から出力される出力画像信号を入力してリアルタイムの超音波断層画像を表示するモニタ4と、装置本体3に対する設定指示等を行う操作設定部5とから構成される。
【0012】
超音波探触子2は、被検体内等に挿入し易いように細長に形成した挿入部6と、この挿入部6の後端に設けた操作部(把持部)7とを有し、挿入部6の先端部8には超音波振動子9が内蔵されている。
超音波探触子2は、超音波を送受信する超音波振動子9が挿入部6内を挿通したフレキシブルシャフト11の先端側に取り付けられている。フレキシブルシャフト11は、この後端が操作部7に設けた回転駆動部12に接続されている。そして、超音波探触子2は、回転駆動部12内部の図示しないモータによりフレキシブルシャフト11と共に超音波振動子9が回転駆動されるようになっている。
【0013】
尚、超音波探触子2は、超音波を透過する音響キャップで先端部8が覆われている。そして、超音波振動子9の周囲は、超音波を伝達(伝播)する図示しない超音波伝播媒体で満たされている。
また、超音波探触子2は、フレキシブルシャフト11内部を挿通した信号線を介して超音波振動子9が装置本体3に電気的に接続されている。
【0014】
装置本体3は、超音波振動子9に対して超音波信号を送受信する送受信部21と、この送受信部21で取り込まれた超音波エコー信号をデジタルの超音波エコーデータに変換するA/Dコンバータ22と、このA/Dコンバータ22で変換された超音波エコデータに対して臓器等の被検体の表面検出を行う表面検出部23と、この表面検出部23で抽出した被検体の表面に対して陰影付加、合成、座標変換などの各種画像処理を行うと共に、これら画像処理された超音波エコデータを画像信号に変換する表示制御部24と、この表示制御部24からのデジタル画像信号をアナログ信号に変換するD/Aコンバータ25とを備えて構成されている。尚、表示制御部24は、超音波エコデータを所望のテレビジョン方式の画像データに変換するデジタルスキャンコンバータ(DSCと略記)24aを有して構成される。
【0015】
表面検出部23は、超音波エコーデータのスキャンラインから被検体の表面位置を抽出する表面位置抽出部(以下、表面抽出部)31と、この表面抽出部31で抽出した被検体の表面位置を補正する表面位置補正部(以下、補正部)32とから構成される。
【0016】
表面抽出部31は、特開平10−192号公報で開示されている方法にて被検体の表面位置を検出する。即ち、表面抽出部31は、超音波エコーデータのスキャンライン開始点からスキャンライン上を遠方にスキャンし、表面抽出のために設定した所定の閾値より輝度値の大きいポイントが所定距離以上連続するもののうち、ノイズ等によるものを除去する閾値を越え、該スキャンライン開始点に最も近いポイントを抽出することで被検体の表面位置として抽出するようになっている。
【0017】
補正部32は、補正処理として表面抽出部31で抽出した被検体の表面位置をスキャンラインの所定数に対してグループ化すると共に、このグループ化した所定数のデータ群に対して統計的処理を施すようになっている。即ち、補正部32は、グループ化手段と表面位置補正手段とを兼ねている。
また、本実施の形態では、補正部32は、統計的処理として後述するようにグループ化した所定数のデータ群に対して中間値を算出し、この算出した中間値を該当するスキャンラインのデータとして置換する処理を行うようになっている。
【0018】
更に具体的に説明すると、補正部32は、表面抽出部31で抽出した臓器等の表面を1次元の配列として記憶するようになっている。そして、補正部32は、配列の各配列について所定数をグループ化し、グループ化した各配列を元に中間値を求め、新たな1次元の配列として記憶し補正後の被検体の表面とするようになっている。
【0019】
上記補正処理を図2に示すフローチャートを用いて説明する。
先ず、補正部32は、後述する配列Aの補正対象を決定する(ステップS1)。次に、補正部32は、配列Aの各配列の所定数をグループ化する(ステップS2)。
そして、補正部32は、グループ化した中から中間値を算出する(ステップS3)。次に、補正部32は、算出した中間値を後述の配列Bとして記憶する(ステップS4)。
そして、補正部32は、配列Aの補正対象を変更する(ステップS5)。以降、配列Aの各配列の全てに対して中間値の算出処理を終了するまで繰り返す(ステップS6)。
【0020】
ここで、仮にスキャンラインを11本、所定数を5個と設定して上記補正処理を具体的に説明する。
表面抽出部31は、例えば、図3に示すように被検体の表面としてエコーデータを抽出する。
【0021】
すると、補正部32は、表面抽出部31で抽出した臓器等の表面を図4に示す1次元の配列Aとして図示しないメモリに記憶する。
図4に示す配列Aの配列数は、スキャンラインの本数である。また、この配列Aの各配列(欄)の値は、スキャンライン開始点からの距離である。
【0022】
そして、グループ化する所定数を5個と設定したので、補正部32は、図5に示すように配列数5個の作業用配列Tを用意する。
(1)先ず、補正部32は、配列Aの配列[2]を補正対象として、中間値を算出する。 ここで、所定数5なので、配列Aのグループ化する対象は、[2〕を中心とした[0:4]となる。そして、補正部32は、A[0:4]を配列Tにコピーする(▲1▼)。
次に、補正部32は、配列Tをソートする(▲2▼)。すると、配列Tの中間値は「22」となり、補正部32は、配列Bの[2]に「22」を記憶する。
【0023】
(2)次に、補正部32は、配列Aの配列[3]を補正対象として、中間値を算出する。
配列Aのグループ化する対象は、[3]を中心とした[1:5]となる。
補正部32は、配列Tからグループ化対象外となる配列Aの[0]の値「22」を検索する。そして、補正部32は、検索した「22」を除外して、左づめする(▲3▼)。
【0024】
次に、補正部32は、新たにグループ化対象となる配列Aの[5]を配列Tに挿入する。
ここで、配列Aの[5]は値「24」であるので、この[5]を挿入する際、補正部32は「24」が入るべき位置を検索し、検索結果である「23」と「25」との間に「24」を挿入する(▲4▼)。
【0025】
すると、配列Tの中間値は「23」となり、補正部32は、配列Bの[3]に「23」を記憶する。このことにより、補正部32は、表面抽出部31で誤って抽出した「35」を「23」に補正できる。
以降、補正部32は、配列Aの配列[4]〜[10]、[0],[1]まで(2)の処理を繰り返し実施する。これにより、補正部32は、配列Bの全ての配列を補正した被検体の表面の位置として記憶できる。
【0026】
尚、本実施の形態では、被検体の表面として2次元画像を想定しているが、被検体の表面として3次元画像を想定した場合、配列Aは、配列Ai(i=1〜n)として所定数存在することになる。
上記補正部32の補正処理により、装置本体3は、表面抽出部31で誤って被検体の表面として抽出した部分を補正できる。
【0027】
この結果、本実施の形態の超音波診断装置1は、補正処理により表面検出の精度が向上できる。
これにより、本実施の形態の超音波診断装置1は、座標変換する前のスキャンラインに対して上記補正処理を行うことで、処理するデータが減少でき、臓器等の被検体の表面位置の検出を高速に処理可能となる。
【0028】
従って、本実施の形態の超音波診断装置1は、近年のCPU等の高速化により実現可能となってきたリアルタイムの3次元表示に適用することで、リアルタイムに3次元画像を構築でき、表示可能である。
【0029】
尚、本発明は、以上述べた実施の形態のみに限定されるものではなく、発明の要旨を逸脱しない範囲で種々変形実施可能である。
【0030】
[付記]
(付記項1) 被検体に対して超音波を送受信して得た超音波エコーデータに基づき、超音波画像を生成する超音波診断装置において、
前記超音波エコーデータのスキャンラインから前記被検体の表面位置を抽出する表面位置抽出手段と、
前記表面位置抽出手段で抽出した前記被検体の表面位置を前記スキャンラインの所定数値毎にグループ化するグループ化手段と、
前記グループ化手段でグループ化した表面位置の位置情報の関係を基に前記表面位置抽出手段で抽出した表面位置を補正する表面位置補正手段と、
を具備したことを特徴とする超音波診断装置。
【0031】
(付記項2) 前記表面位置補正手段は、前記グループ化手段でグループ化した所定数のデータ群に対して統計的処理を施すことを特徴とする付記項1に記載の超音波診断装置。
【0032】
(付記項3) 前記表面位置補正手段は、前記統計的処理としてグループ化した所定数のデータ群に対して中間値を算出し、この算出した中間値を該当するスキャンラインのデータとして置換することを特徴とする付記項2に記載の超音波診断装置。
【0033】
(付記項4) 前記表面位置抽出手段は、スキャンライン開始点からスキャンライン上を遠方にスキャンし、所定の閾値より輝度値の大きいポイントが所定距離以上連続するポイントのうち、前記スキャンライン開始点に最も近いポイントを表面位置として抽出することを特徴とする付記項1〜3に記載の超音波診断装置。
【0034】
(付記項5) 超音波振動子により超音波を送受信して得られた超音波信号に基づく超音波画像を生成する超音波診断装置において、
超音波のスキャンラインから被検体の表面位置を抽出する表面位置抽出手段と、
前記表面位置抽出手段により抽出された表面位置を前記スキャンラインの所定数毎にグループ化するグループ化手段と、
前記グループ化手段によりグループ化された表面位置の位置情報の関係を基に前記表面位置抽出手段により抽出された表面位置を補正する表面位置補正手段と、
を具備したことを特徴とする超音波診断装置。
【0035】
(付記項6) 前記表面位置補正手段は、前記グループ化手段によりグループ化された表面位置より中間値を求め、
前記表面位置補正手段は、前記表面位置補正手段により求められた中間値を前記表面位置抽出手段により抽出された表面位置と置き換えることにより補正する
ことを特徴とする付記項5に記載の超音波診断装置。
【0036】
(付記項7) 前記表面位置抽出手段は、スキャンライン開始点よりスキャンライン上を遠方にスキャンし、所定の閾値より輝度値の大きいポイントが所定距離分以上連続するポイントのうち、前記スキャンライン開始点に最も近いポイントを表面位置として抽出する
ことを特徴とする付記項5又は6に記載の超音波診断装置。
【0037】
(付記項8) 超音波振動子により被検体に超音波を送受信して得られた超音波信号に基づく 超音波画像を生成する超音波診断装置において、
スキャンラインから表面位置を抽出する表面位置抽出手段と、
各スキャンラインにおいて抽出した表面位置を所定数グループ化するグループ化手段と、
グループ化した表面位置より表面位置を補正する表面位置補正手段と、
を具備したことを特徴とする超音波診断装置。
【0038】
(付記項9) 前記表面位置補正手段は、グループ化した表面位置より中間値を求め、求めた中間値に置き換えることで補正する手段であることを特徴とする付記項8に記載の超音波診断装置。
【0039】
(付記項10) 前記表面位置抽出手段は、スキャンライン開始点よりスキャンライン上を遠方にスキャンし、或る閾値より輝度値の大きい点が所定の距離以上連続した点のうち、スキャンライン開始点に最も近い点を表面位置と抽出する手段であり、
前記表面位置補正手段は、グループ化した表面位置より中間値を求め、求めた中間値に置き換えることで補正する手段である
ことを特徴とする付記項8に記載の超音波診断装置。
【0040】
【発明の効果】
以上説明したように本発明によれば、被検体の表面位置検出の精度向上が可能な超音波診断装置を実現できる。
【図面の簡単な説明】
【図1】本発明の1実施の形態を備えた超音波診断装置を示す全体構成図
【図2】図1の補正部の動作を示す補正処理のフローチャート
【図3】表面抽出部で抽出した被検体の表面を示す具体例
【図4】表面抽出部で抽出した表面位置を表す1次元配列の具体例
【図5】補正部での補正処理を示す説明図
【図6】従来の超音波診断装置で得られた被検体の表面として誤って抽出した場合の説明図
【図7】求めている被検体の表面を示す説明図
【図8】図6で抽出した表面を平均化により補正した場合の説明図
【符号の説明】
1…超音波診断装置
2…超音波探触子(超音波プローブ)
3…装置本体(超音波観測装置)
4…モニタ
5…操作設定部
9…超音波振動子
23…表面検出部
24…表示制御部
31…表面抽出部(表面位置抽出部)
32…補正部(表面位置補正部)

Claims (4)

  1. 被検体に対して超音波を送受信して得た超音波エコーデータに基づき、超音波画像を生成する超音波診断装置において、
    前記超音波エコーデータのスキャンラインから前記被検体の表面位置を抽出する表面位置抽出手段と、
    前記表面位置抽出手段で抽出した前記被検体の表面位置を前記スキャンラインの所定数値毎にグループ化するグループ化手段と、
    前記グループ化手段でグループ化した表面位置の位置情報の関係を基に前記表面位置抽出手段で抽出した表面位置を補正する表面位置補正手段と、
    を具備したことを特徴とする超音波診断装置。
  2. 前記表面位置補正手段は、前記グループ化手段でグループ化した所定数のデータ群に対して統計的処理を施すことを特徴とする請求項1に記載の超音波診断装置。
  3. 前記表面位置補正手段は、前記統計的処理としてグループ化した所定数のデータ群に対して中間値を算出し、この算出した中間値を該当するスキャンラインのデータとして置換することを特徴とする請求項2に記載の超音波診断装置。
  4. 前記表面位置抽出手段は、スキャンライン開始点からスキャンライン上を遠方にスキャンし、所定の閾値より輝度値の大きいポイントが所定距離以上連続するポイントのうち、前記スキャンライン開始点に最も近いポイントを表面位置として抽出することを特徴とする請求項1〜3に記載の超音波診断装置。
JP2003136394A 2003-05-14 2003-05-14 超音波診断装置 Expired - Fee Related JP4225830B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003136394A JP4225830B2 (ja) 2003-05-14 2003-05-14 超音波診断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003136394A JP4225830B2 (ja) 2003-05-14 2003-05-14 超音波診断装置

Publications (2)

Publication Number Publication Date
JP2004337312A JP2004337312A (ja) 2004-12-02
JP4225830B2 true JP4225830B2 (ja) 2009-02-18

Family

ID=33526372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003136394A Expired - Fee Related JP4225830B2 (ja) 2003-05-14 2003-05-14 超音波診断装置

Country Status (1)

Country Link
JP (1) JP4225830B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11931202B2 (en) 2018-09-03 2024-03-19 Canon Medical Systems Corporation Ultrasound automatic scanning system, ultrasound diagnostic apparatus, ultrasound scanning support apparatus

Also Published As

Publication number Publication date
JP2004337312A (ja) 2004-12-02

Similar Documents

Publication Publication Date Title
JP4864547B2 (ja) 超音波診断装置およびその制御処理プログラム
JP7313359B2 (ja) 超音波診断装置および超音波診断装置の制御方法
JP2005312770A5 (ja)
US20180168546A1 (en) Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus
JP4468677B2 (ja) 超音波画像生成方法及び超音波画像生成プログラム
KR20090023090A (ko) 초음파 진단 장치
JP4768315B2 (ja) 超音波信号処理装置及び超音波信号処理方法
JPH10248844A (ja) 超音波画像診断装置
JP4225830B2 (ja) 超音波診断装置
JP3720797B2 (ja) 超音波診断装置
US11224408B2 (en) Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus
JP4709937B2 (ja) 超音波診断装置及び画像処理装置
JP7483327B2 (ja) 超音波診断装置及び解析装置
JP4290805B2 (ja) 超音波診断装置
US20240225590A9 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20240130706A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP2004209277A (ja) 超音波画像診断装置
US20240225690A9 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20240130760A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
US20230233186A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
JP4109155B2 (ja) 超音波画像処理装置
JP4445744B2 (ja) 超音波画像生成装置の作動方法及び超音波画像生成プログラム
JP4474608B2 (ja) 超音波診断装置
JP7185708B2 (ja) 穿刺針、超音波診断装置および超音波診断装置の制御方法
JP2006130162A (ja) 超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081125

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4225830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees