JP4343592B2 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
JP4343592B2
JP4343592B2 JP2003171286A JP2003171286A JP4343592B2 JP 4343592 B2 JP4343592 B2 JP 4343592B2 JP 2003171286 A JP2003171286 A JP 2003171286A JP 2003171286 A JP2003171286 A JP 2003171286A JP 4343592 B2 JP4343592 B2 JP 4343592B2
Authority
JP
Japan
Prior art keywords
ultrasonic
dimensional
dimensional image
scanning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003171286A
Other languages
English (en)
Other versions
JP2005006710A (ja
Inventor
知直 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003171286A priority Critical patent/JP4343592B2/ja
Publication of JP2005006710A publication Critical patent/JP2005006710A/ja
Application granted granted Critical
Publication of JP4343592B2 publication Critical patent/JP4343592B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は超音波診断装置及び超音波画像処理方法に関するものである。
【0002】
【従来の技術】
従来の2次元走査を行なうラジアル、セクタ、コンベックススキャン超音波診断装置では、例えば胃内部での光学像の視野内での走査平面が分からず、例えば隆起の頂部などの本当に病変に適した位置及び角度で走査し断層像を得ているかどうかを正確に把握することができなかった。そのため、超音波内視鏡の走査、読影に高度の熟練を要するという欠点があり、超音波内視鏡検査の普及の阻害要因になっていた。
【0003】
そこで特開平6−261900号公報や特開平10−192号公報のように、超音波内視鏡の先端に位置検出器を設けることで、空間の超音波3次元データを得て、そこから任意の断層像や臓器表面像を形成したり、臓器表面像と断層像とを合成した超音波3次元画像を構築する超音波診断装置が提案されている。このような位置検出器を設けることで位置が把握された断層像を得ることができる。
【0004】
【発明が解決しようとする課題】
しかしながら、3次元データから形成した断層像(リニア像など)は病変を直接2次元走査して得た画像と比較して画質が粗いことが多く、病変の深達度診断などの精査を行なうのには病変を直接2次元走査した画像のほうが適していた。
【0005】
また、一般に管腔状臓器内でのスキャンにおいて、ラジアルスキャン以外の走査方法であるコンベックス、リニア、セクタスキャンでは、通常超音波内視鏡の挿入軸のまわりの特定の方向にしか振動子が設けられていないため管腔全体が把握できず、オリエンテーションがつけにくい(つまりどこを見ているかがわかりにくい)という問題があった。
【0006】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、深達度の最も深い部分等、診断したい部分の超音波断層像を容易に取得することができる超音波診断装置及び超音波画像処理方法を提供することにある。
【0007】
また、本発明の他の目的は、ラジアルスキャン以外の走査方法において管腔全体を把握してオリエンテーションをつけやすくすることができる超音波診断装置及び超音波画像処理方法を提供することにある。
【0008】
【課題を解決するための手段】
上記の目的を達成するために、本発明の一実施形態に係る超音波診断装置は、超音波の送受により被検体からのエコーデータを得る超音波振動子を備えた超音波プローブと、前記超音波プローブの所定位置のデータを取得する位置検出器と、前記エコーデータから超音波3次元画像を構築する超音波3次元画像構築手段と、を有する超音波診断装置において、前記超音波プローブからのエコーデータを基に臓器表面を抽出する表面抽出手段と、前記表面抽出手段が抽出した前記臓器表面に陰影を付加して前記超音波3次元画像を生成する陰影付加手段と、前記超音波3次元画像上に前記超音波プローブの2次元スキャンにより得られた走査面と前記臓器表面との交わりである指標を重畳して表示する表示手段であって、前記走査面を、各辺をx軸方向、y軸方向、z軸方向と同じくする直方体状の3次元領域を切断する断面切片と見なし、前記断面切片の位置座標の前記3次元領域内のx方向の最大値と最小値との間、y方向の最大値と最小値との間、z方向の最大値と最小値との間で定義される抽出処理領域内に限定して、前記交わりを抽出する表示手段と、を備える。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。図1は本実施形態に係る超音波診断装置の構成を示す図である。図1において、超音波内視鏡3の挿入部先端には、被検体に対して超音波の送受を行いながら、走査平面に沿って2次元(ラジアル)スキャンを行うことにより被検体についてのエコーデータを得る超音波振動子2が設けられている。また、この超音波振動子2の近傍には磁気ソース1が設けられている。磁気ソース1からの磁場を検出可能な空間内には複数の磁気センサー4が固定されている。磁気ソース1と磁気センサー4とは、内視鏡先端の位置データを得るための位置検出器を構成している。ここで位置データとは、具体的には固定された磁気センサ−4に対する磁気ソース1(従って、超音波内視鏡3の先端)の位置座標(x、y、z)と方向を示すオイラー角(ψ,θ,φ)とを示すものである。
【0014】
信号処理装置17は、磁気センサー4で検出された磁場検出信号に基いて内視鏡先端の位置を算出する位置算出回路5と、エコーデータから断層像を構築する断層像構築回路6と、キーボード、トラックボール等を備えた操作用端末7を介しての入出力を制御する入出力制御回路8と、ハードディスク記憶装置11と、MO記憶装置12と、モニター18に接続された表示回路13と、3次元画像構築回路15と、重畳回路14と、3次元メモリ16を有している。上記した各構成要素はバス9を介してCPU10により制御される。
【0015】
図2は、上記した構成の超音波診断装置の作用を説明するための図である。実線は3次元画像を作成するときのデータ処理の流れを示しており、一点鎖線は3次元画像に後述する走査平面マーカー51を重畳して表示するときのデータ処理の流れを示している。
【0016】
術者は操作用端末7の3次元スキャン開始用のボタンを押した後、先端の磁気ソース1で磁場を励起しながらラジアルスキャンを行う超音波内視鏡3を動かす。断層像構築回路6は、ラジアルスキャンにより得られる超音波振動子2からのエコー信号を用いて超音波断層像を逐次構築する。こうして、術者はラジアルスキャンを複数回繰り返しながら、超音波内視鏡3を動かすことで、連続した複数の超音波断層像を得ることができる。このスキャンを以下、3次元スキャンと呼ぶ。
【0017】
一方、位置算出回路5は、磁気センサー4により検出された磁場検出信号から、超音波内視鏡3先端の位置と方向を示す位置データを算出する。そして複数の連続した超音波断層像の各々は、3次元スキャンされた瞬間の位置データと関連付けられて3次元メモリ16に順次記憶される。ここで術者が操作用端末7の3次元スキャン停止用のボタンを押すと3次元スキャンの終了となる。
【0018】
3次元画像構築回路15は、3次元メモリ16に記憶された複数の連続した超音波断層像から座標変換など公知の処理を施して超音波3次元画像を構築する。この超音波3次元画像は例えば臓器(特に胃、大腸など)表面の形状の情報を含んでいる。
【0019】
この後、術者が新たに超音波内視鏡3によりラジアルスキャンを行ったときに、重畳回路14は、その瞬間の位置データから走査平面を計算し、走査平面の位置を走査平面マーカーとして超音波3次元画像に重畳する。表示回路13は、断層像構築回路6からの超音波断層像と、走査平面マーカーが重畳された超音波3次元画像とを並べてモニター18に表示する。
【0020】
以下、上記したラジアルスキャンを繰り返すことにより3次元画像に2次元スキャン平面の位置を重畳して表示する操作を繰り返す。
【0021】
図3は、走査平面マーカー51が重畳された超音波3次元画像50(図3の左)と、ラジアルスキャンによる走査平面マーカー51部分の超音波断層像53とを並置させて同時に表示した図である。走査平面マーカー51はラジアルスキャンに応じてリアルタイムで移動する。
【0022】
このように、ラジアルスキャンを行ったときにそのガイドとして走査平面マーカー51が重畳された超音波3次元画像50がリアルタイムで表示され、例えば、病変の隆起部分の頂部52や陥凹部分の底部に走査平面マーカー51が重畳されるようにしてラジアルスキャンを行えば病変の深達度の最も深いと予想される部分の超音波断層像を容易に得ることができる。
【0023】
また、断層像構築回路6からの2次元画像としての超音波断層像を表示回路13に入力し、モニター18に超音波3次元画像50に並置して超音波断層像を表示することで走査平面マーカー51が示す位置の病変をより分解能の良い状態で観察することができる。
【0024】
以下に前述した3次元画像構築回路15における3次元画像の構築方法について詳述する。
【0025】
a)まず、位置座標(x、y、z)とオイラー角(ψ,θ,φ)とをもとに、図4に示すように、複数の連続した超音波断層像に座標変換や重複部の平均化などの処理を施し、各ボクセル毎に輝度値をもった3次元データを作成する。この詳細な説明は特開平6−261900号公報の[0021]〜[0023]及び、特開平6−261900号公報の図4,図5に示されている。なお、特開平6−261900号公報に開示されている実施の形態の磁気ソースと磁気センサの配置は本実施の形態と逆である。
【0026】
b) 上記a)の処理が終わった後、図4に示した平行な各スライスデータ(各平面)S1,S2,S3,S4,…のそれぞれから臓器表面にあたるボクセル(以下、単に表面)を抽出し、この表面に陰影を付加して(即ち、表面にあたるボクセルの輝度データに陰影に相当するデータを代入して)、視覚的に立体的に見えるように処理を施す。この処理の詳細は特開平10−192号公報の[0094]〜[0131](臓器表面抽出:[0094]〜[0120]、陰影付加:[0121]〜[0131]及び、これらの段落に関わる特開平10−192号公報の図面に詳しい。
【0027】
次に前述した重畳回路14による走査平面マーカーを求める方法について以下に詳述する。
【0028】
a) まず、超音波内視鏡3の先端の位置座標(x、y、z)とオイラー角(ψ,θ,φ)から、下記に示すような走査平面の方程式を算出する。
【0029】
走査平面の方程式:ax+by+cz+d=0 (1)式
b) 次にこの走査平面を図4(b)に示す直方体の3次元データを切断する断面切片と見なしてx方向、y方向、z方向の断面切片の位置座標の最大値と最小値を求める。この一例を図5に示す。図5では上記断面切片が断面PQRSである。
【0030】
なお、3次元データの座標系は磁気センサー4に対して固定である。従って、空間の中で固定されている。また、原点を直方体状の3次元データの頂点のうちの一つにとっている。
【0031】
図5の断面PQRSの例では上述のx方向、y方向、z方向の最小値と最大値は以下の通りとなる。(なおx0,y0,x0は直方体状の3次元データの一辺の長さに相当する。)
x方向:最小値=0,最大値=x0
y方向:最小値=0,最大値=y0
z方向:最小値=z’、最大値=z”
c) 次に図6で示されたハッチングの施された抽出処理領域V内にある臓器表面と、走査平面との交わり(図5のL)を抽出する。具体的にはまず、超音波内視鏡表面を構成するボクセルデータのうちで、以下の(2)〜(5)式を満たすものを抽出する。ここで(2)〜(4)はb)で求めた領域(以下、抽出処理領域V)の定義式である。(5)は走査平面に相当する式である。
【0032】
このようにV内に存在する臓器表面に限定したのは、交わりとは関係の無い部分を抽出処理から除外することで抽出処理を高速にするためである。
【0033】
また、(5)式が(1)式と異なっているのは、走査平面上にあるボクセルであれば本来(1)式を満足するはずであるが、ボクセルの位置座標が厳密に(1)式を満足することは通常ないため、少し幅を持たせたに過ぎない。
【0034】
0<x<x0 (2)式
0<y<y0 (3)式
z’<z<z” (4)式
−δ<ax+by+cz+d<δ (δは正のごく小さい量) (5)式
このようにc)に詳述された(2)〜(5)式を満足するボクセルを抽出することで、抽出処理領域V内にある臓器表面と、走査平面との交わり(図5のL)を抽出することができた。重畳回路14はこの交わりLを走査平面の位置と方向を表す走査平面マーカーとして臓器表面に重畳するのである。
【0035】
ところで、本実施の形態では、2次元スキャンとしてラジアルスキャンの例を上げたが、コンベックススキャンでもリニアスキャンでもセクタスキャンでも良い。一般に、胃、食道、大腸などの管腔状臓器内では、ラジアルスキャン以外の走査方法であるコンベックス、リニア、セクタスキャンは、通常、超音波内視鏡の挿入軸のまわりの特定の方向にしか振動子が設けられていないため、管腔全体が把握できず、オリエンテーション(つまりどこを見ているか)がつけにくいという点で不利であると言われているが、本実施形態の方法を用いることでオリエンテーションをつけやすくすることができる。
【0036】
なお、上記した磁気ソースと磁気センサ−は逆でも良い。すなわち、位置検出器は磁場の発信機、受信機のどちらでも良く、また加速度センサーのような装置でも良い。超音波内視鏡先端の位置を検出することができるデバイスであれば良い。
【0037】
図7に示すように、走査平面マーカー51は線でなく平面を表現する透過の板状の表示(図7の超音波断層像)でも良い。このように、現在の超音波断層像とあらかじめ取得した3次元データから作成した3次元画像とを互いの位置関係を関連つけて表示すると、走査平面の方向がわかるので、腫瘍等の病変を垂直に切断しているのかあるいは斜めに切断しているのかが容易にわかる。なお、通常、病変の深達度を診断するときには、臓器表面に対して垂直に切断した断面で診断を行うことが常識とされている。
【0038】
また、図3に示す表示の代わりに、図8に示すような表示により走査平面の位置と方向とを3次元画像に合わせて表現してもよい。
【0039】
また、本実施の形態では超音波プローブに最適な例として超音波内視鏡の例を挙げた。これは次の理由による。超音波内視鏡では、通常、走査面が管腔状臓器の内部であるため、体外から超音波を被検部位に照射するタイプの体外式超音波プローブと比較して、被検部位の目視が容易でない。その結果、超音波内視鏡の挿入部を動かして診断したい部分の超音波断層像を容易に取得することが一層難しく、本願の目的を達する超音波診断装置への要望が最も切実であることが上記理由である。しかし、本願の超音波プローブは超音波内視鏡の例に限らず、種々の超音波プローブへも適用することができる。例えば、体外式超音波プローブと位置検出器を組合せ、超音波3次元画像を構築した後、3次元画像上に超音波プローブの2次元スキャンにより得られた走査面を示す指標を重畳しても良い。この場合、例えば肝腫瘍や肝内血管に対して相対的に診断したい部分の超音波断層像を容易に取得することができる。
【0040】
(付記)
上記した具体的実施形態から以下の構成を有する発明が抽出される。
【0041】
1. 超音波の送受により被検体からのエコーデータを得る超音波振動子を備えた超音波プローブと、
前記超音波プローブの所定位置のデータを取得する位置検出器と、
前記エコーデータから超音波3次元画像を構築する超音波3次元画像構築手段と、
を有する超音波診断装置において、
前記構築した超音波3次元画像上に前記超音波プローブの2次元スキャンにより得られた走査面を示す指標を重畳して表示する表示手段を、
備えることを特徴とする超音波診断装置。
【0042】
2. 超音波の送受により被検体からのエコーデータを得る超音波振動子を備えた超音波プローブと、
前記超音波プローブの所定位置のデータを取得する位置検出器と、
前記エコーデータから超音波3次元画像を構築する超音波3次元画像構築手段と、
を有する超音波診断装置において、
前記構築された超音波3次元画像と、前記超音波プローブの2次元スキャンにより得られた超音波断層像との位置関係を関連付けて表示する表示手段を、
備えることを特徴とする超音波診断装置。
【0043】
3. 前記表示手段は、前記超音波プローブの2次元スキャンにより得られた超音波断層像と、前記超音波3次元画像とを並べて表示することを特徴とする1または2記載の超音波診断装置。
【0044】
4. 前記指標は、前記構築された超音波3次元画像と、前記超音波プローブの2次元スキャンにより得られた走査面とが交差する線であることを特徴とする1または2に記載の超音波診断装置。
【0045】
5. 前記超音波プローブの2次元スキャンは、リアルタイムに行われることを特徴とする1ないし4のいずれか1つに記載の超音波診断装置。
【0046】
6. 前記位置検出器は磁気を用いて遠隔的に位置のデータを検出することを特徴とする1ないし5のいずれか1つに記載の超音波診断装置。
【0047】
7. 前記超音波プローブが体腔内への挿入部を有した超音波内視鏡であって、前記位置検出器が前記超音波内視鏡の挿入部の所定位置を取得することを特徴とする1ないし6のいずれか1つに記載の超音波診断装置。
【0048】
8. 位置検出器により超音波振動子の走査位置を確認すると共に、超音波振動子によって送受される超音波のエコーデータを取得する工程と、
前記位置検出器により取得した位置データおよび前記超音波振動子により取得したエコーデータから超音波3次元画像を構築する工程と、
前記構築した超音波3次元画像上に前記超音波振動子の2次元スキャンにより得られた走査面を示す指標を重畳して表示する工程と、
を備えたことを特徴とする超音波画像処理方法。
【0049】
【発明の効果】
本発明によれば、深達度の最も深い部分等、診断したい病変の超音波断層像を容易に取得することができるようになる。
【0050】
また、ラジアルスキャン以外の走査方法において管腔全体を把握してオリエンテーションをつけやすくすることができる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る超音波診断装置の構成を示す図である。
【図2】図1に示す構成の超音波診断装置の作用を説明するための図である。
【図3】走査平面マーカー51が重畳された超音波3次元画像50と、走査平面マーカー51が示す超音波断層像53とを並置させて同時に表示した図である。
【図4】位置座標とオイラー角とをもとに、複数の連続した超音波断層像に座標変換や重複部の平均化などの処理を施して各ボクセル毎に輝度値をもった3次元データを作成する手順を説明するための図である。
【図5】走査平面を図4に示す直方体の3次元データを切断する断面切片と見なしてx方向、y方向、z方向の切断切片の位置座標の最大値と最小値を求める手順を説明するための図である。
【図6】抽出処理領域V内にある臓器表面と、走査平面との交わりを抽出する処理について説明するための図である。
【図7】図3の表示の変形例の一つを示す図である。
【図8】図3の表示の変形例の一つを示す図である。
【符号の説明】
1 磁気ソース
2 超音波振動子
3 超音波内視鏡
4 磁気センサー
5 位置算出回路
6 断層像構築回路
7 操作用端末
8 入出力制御回路
9 バス
10 CPU
11 ハードディスク記憶装置
12 MO記憶装置
13 表示回路
14 重畳回路
15 3次元画像構築回路
16 3Dメモリ
17 信号処理装置
18 CRT

Claims (1)

  1. 超音波の送受により被検体からのエコーデータを得る超音波振動子を備えた超音波プローブと、
    前記超音波プローブの所定位置のデータを取得する位置検出器と、
    前記エコーデータから超音波3次元画像を構築する超音波3次元画像構築手段と、
    を有する超音波診断装置において、
    前記超音波プローブからのエコーデータを基に臓器表面を抽出する表面抽出手段と、
    前記表面抽出手段が抽出した前記臓器表面に陰影を付加して前記超音波3次元画像を生成する陰影付加手段と、
    前記超音波3次元画像上に前記超音波プローブの2次元スキャンにより得られた走査面と前記臓器表面との交わりである指標を重畳して表示する表示手段であって、前記走査面を、各辺をx軸方向、y軸方向、z軸方向と同じくする直方体状の3次元領域を切断する断面切片と見なし、前記断面切片の位置座標の前記3次元領域内のx方向の最大値と最小値との間、y方向の最大値と最小値との間、z方向の最大値と最小値との間で定義される抽出処理領域内に限定して、前記交わりを抽出する表示手段と、
    を備えることを特徴とする超音波診断装置。
JP2003171286A 2003-06-16 2003-06-16 超音波診断装置 Expired - Fee Related JP4343592B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003171286A JP4343592B2 (ja) 2003-06-16 2003-06-16 超音波診断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003171286A JP4343592B2 (ja) 2003-06-16 2003-06-16 超音波診断装置

Publications (2)

Publication Number Publication Date
JP2005006710A JP2005006710A (ja) 2005-01-13
JP4343592B2 true JP4343592B2 (ja) 2009-10-14

Family

ID=34095818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003171286A Expired - Fee Related JP4343592B2 (ja) 2003-06-16 2003-06-16 超音波診断装置

Country Status (1)

Country Link
JP (1) JP4343592B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4634814B2 (ja) * 2005-02-03 2011-02-16 株式会社東芝 超音波診断装置
US20090312638A1 (en) * 2006-07-17 2009-12-17 Signostics Pty Ltd medical diagnostic device
US7831076B2 (en) * 2006-12-08 2010-11-09 Biosense Webster, Inc. Coloring electroanatomical maps to indicate ultrasound data acquisition
US8761470B2 (en) * 2008-10-29 2014-06-24 Koninklijke Philips N.V. Analyzing an at least three-dimensional medical image
KR101182880B1 (ko) 2009-01-28 2012-09-13 삼성메디슨 주식회사 영상 지시자를 제공하는 초음파 시스템 및 방법
CN110742652A (zh) * 2019-09-18 2020-02-04 中国科学院西安光学精密机械研究所 一种对消化道肿瘤磁辅助超声图像的三维重建设备及方法
CN115670508B (zh) * 2022-11-11 2023-06-06 上海长征医院 一种基于大数据的超声三维模型的数据处理系统及方法

Also Published As

Publication number Publication date
JP2005006710A (ja) 2005-01-13

Similar Documents

Publication Publication Date Title
JP5738507B2 (ja) 超音波プローブの軌跡表現装置及び超音波診断装置
EP2042102B1 (en) Ultrasonic diagnostic apparatus
JP5433240B2 (ja) 超音波診断装置及び画像表示装置
JP4443672B2 (ja) 超音波診断装置
JP4467927B2 (ja) 超音波診断装置
JP5395538B2 (ja) 超音波診断装置及び画像データ表示用制御プログラム
WO2014003070A1 (ja) 超音波診断装置及び超音波画像処理方法
JP2009125280A (ja) 超音波診断装置及び穿刺支援用制御プログラム
EP2253275A1 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus and ultrasonic image processing method
JP2009089736A (ja) 超音波診断装置
JP2018057428A (ja) 超音波診断装置および超音波診断支援プログラム
JP2003180697A (ja) 超音波診断装置
JP2009291295A (ja) 医用画像処理装置、超音波診断装置、及び超音波画像取得プログラム
JP4343592B2 (ja) 超音波診断装置
JP4350214B2 (ja) 超音波診断装置
JP4709419B2 (ja) 細径プローブ型超音波診断装置
JP5202916B2 (ja) 超音波画像診断装置およびその制御プログラム
JP2009034262A (ja) 超音波診断装置
JP2006087599A (ja) 超音波診断装置
JP2011045659A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP2010088584A (ja) 超音波診断装置
KR20180123974A (ko) 교차 평면 초음파 이미지로 움직이는 구조의 시각화를 향상시키는 방법 및 시스템
JP4700405B2 (ja) 超音波診断装置
JP6068017B2 (ja) 超音波診断装置及び画像生成プログラム
JP4077810B2 (ja) 超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060407

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees