JP3598039B2 - 図形抽出方法 - Google Patents

図形抽出方法 Download PDF

Info

Publication number
JP3598039B2
JP3598039B2 JP2000075458A JP2000075458A JP3598039B2 JP 3598039 B2 JP3598039 B2 JP 3598039B2 JP 2000075458 A JP2000075458 A JP 2000075458A JP 2000075458 A JP2000075458 A JP 2000075458A JP 3598039 B2 JP3598039 B2 JP 3598039B2
Authority
JP
Japan
Prior art keywords
voting
template
image
extracted
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000075458A
Other languages
English (en)
Other versions
JP2001266143A (ja
Inventor
哲也 杵渕
稔 森
章 鈴木
昭夫 塩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000075458A priority Critical patent/JP3598039B2/ja
Publication of JP2001266143A publication Critical patent/JP2001266143A/ja
Application granted granted Critical
Publication of JP3598039B2 publication Critical patent/JP3598039B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、2値画像中からテンプレートを用いて図形(画像パターン)を抽出する方法に関するものである。
【0002】
【従来の技術】
従来、2値画像中から図形を抽出する方法として、一般Hough変換「森俊二、坂倉拇子:画像認識の基礎〔II〕、Page11−14、オーム社、1990」がある。この方法は、抽出対象図形の黒画素部分に重み値を与えたテンプレートを作成し、このテンプレートを用いて画像中から抽出対象図形と類似した図形を抽出するものである。
【0003】
【発明が解決しようとする課題】
しかし、この種の従来の方法は、黒画素部分の類似性のみに基いて抽出対象図形に類似した図形の抽出を行い、白画素部分の類似性を考慮しないため、以下の二つの問題がある。
【0004】
第1の問題は、抽出対象図形の白画素部分が一部黒画素となっているような、抽出対象図形と区別すべき類似した図形を間違えて抽出してしまうことである。例えば「L」字型を抽出対象図形とする場合には、図10の(a),(b)に示すように、抽出対象図形に類似しない図形が画像中から抽出される。図10において、1000は2値画像例、1010は抽出対象図形、1020は間違って抽出された図形、1030は正しく抽出された図形である。
【0005】
第2の問題は、白黒が反転している抽出対象図形は、テンプレートを作り直さねば抽出できないことである。従って2値画像中に、抽出対象図形と白黒反転した抽出対象図形が混在する場合、一度の処理で両方を抽出することができない。
【0006】
なお、画像上の雑音や歪みの発生による誤検出を解決する方法を、本願出願人は、既に提案している(特開平11−328390号公報)。この方法は、抽出対象図形の特徴を重み値によって表現する第1のテンプレートを使用して図形抽出処理を行い、この抽出処理結果から正しく抽出された部分領域と誤って抽出された画像の部分領域から類似した図形との差を強調する第2のテンプレートを作成し、この第2のテンプレートを用いて図形抽出処理を行う。しかしながら、この方法においては、第1の問題については、2つのテンプレートを用いて2回の抽出処理をすることになり、処理が複雑になる。また、第2の問題を解決できるものでない。
【0007】
本発明の目的は、抽出対象図形の黒画素部分と白画素部分の両方の類似性に着目することにより、上記問題を解決する図形抽出方法を提供することにある。
【0008】
【課題を解決するための手段】
本発明は、抽出対象図形の白画素部分と黒画素部分の両方に注目し、図形の白画素部分にマイナスの重み値、黒画素部分にプラスの重み値を与え、図形の基準点を中心に180度回転したテンプレートAと、該テンプレートAの重み値の符号を正負反転させたテンプレートBの二つのテンプレートを作成し、これら2つのテンプレートを用いて図形を抽出することを最も主要な特徴とする。
【0009】
これにより、従来方法で多数発生していた類似図形の誤った抽出を無くし、また白黒反転した抽出対象を一度の処理で抽出することができるようにしたもので、以下の方法を特徴とする。
【0010】
2値画像中から図形を抽出する方法であって、
抽出対象である図形の白画素部分にマイナスの重み値、黒画素部分にプラスの重み値を与え、前記図形の基準点を中心に180度回転したテンプレートAを作成し、前記テンプレートAの重み値の符号を正負反転させたテンプレートBを作成し、2値画像の上を1画素ずつ移動しながら、2値画像中の画素に前記テンプレートAまたはBの基準点を重ね、該画素が黒画素の場合は投票画像にテンプレートAの重み値を、該画素が白画素の場合は投票画像にテンプレートBの重み値を投票値として加算していき、前記投票画像中で投票値が極大となる部分を抽出対象である前記図形の基準点の位置として抽出することを特徴とする。
【0011】
また、前記投票画像中で投票値が極小となる部分を、白黒反転した抽出対象の基準点が存在する位置として抽出することを特徴とする。
【0012】
また、前記テンプレートAの重み値を2倍にしたテンプレートA’を作成し、2値画像の上を1画素ずつ移動しながら、2値画像中の全ての画素に前記テンプレートBの基準点を重ねて投票画像にテンプレートBの重み値を投票値として加算していくことで第1の投票画像を作成し、2値画像中の黒画素のみに前記テンプレートA’の基準点を重ねて第1の投票画像にテンプレートA’の重み値を投票値として加算していくことで第2の投票画像を作成し、第2の投票画像中で投票値の合計が極大となる部分を抽出対象である図形の基準点の位置、極小となる部分を白黒反転した抽出対象の基準点の位置として抽出することを特徴とする。
【0013】
また、前記テンプレートBの各点に与えられた重み値を合計して合計値Sを求め、投票画像の全ての点に予め投票値として前記合計値Sを与えて第1の投票画像を作成し、2値画像中の黒画素のみに前記テンプレートA’の基準点を重ねて前記第1の投票画像にテンプレートA’の重み値を投票値として加算していき前記第2の投票画像を作成し、前記第2の投票画像中で投票値の合計が極大となる部分を抽出対象である図形の基準点の位置、極小となる部分を白黒反転した抽出対象の基準点の位置として抽出することを特徴とする。
【0014】
また、共通の抽出対象を、大きさの同じ様々な2値画像から抽出する場合、一度作成した前記第1の投票画像を共通的に使用することを特徴とする。
【0015】
また、重み値0の部分を持つテンプレートを作成することを特徴とする。
【0016】
また、抽出対象とする図形の黒画素部分と白画素部分との境界に、重み値0の部分を持つテンプレートを作成することを特徴とする。
【0017】
【発明の実施の形態】
(第1の実施形態)
本実施形態は、抽出対象図形と区別すべき類似した図形が多数存在している2値画像中から正しい図形を抽出する場合である。
【0018】
図1に、本実施形態の処理手順を示す。100はイメージ入力装置によって得る白及び黒の2値で表される2値画像、200はテンプレートAの作成処理、300はテンプレートBの作成処理、400は2値画像中からの図形抽出処理、500は図形抽出結果である。
【0019】
本実施形態および後に説明する他の実施形態における図形抽出方法は、例えばコンピュータとその入出力装置によって実現され、コンピュータには2値画像や作成されたテンプレートA,Bおよび抽出結果等のデータを内部メモリや外部記憶装置に書き込み・読み出しができるようにし、必要とする図形抽出処理をアプリケーションプログラムとして搭載する。
【0020】
図1において、2値画像100は、スキャナ、ファクシミリ、カメラ等のイメージ入力装置によって、白及び黒の2値で表される画像である。
【0021】
テンプレートAの作成処理200は、図形を抽出するためのテンプレートAを作成する処理である。テンプレートAの作成方法には2つの方法がある。
【0022】
最初の方法は、予め決められた抽出対象図形の形状の関数に基づいて作成する方法である。例えば、x,y座標上の円を抽出する場合には、円の半径をrとして、
【0023】
【数1】
+y=r
なる式でテンプレートAを作成する。
【0024】
もう1つの方法は、実際の2値画像中から抽出対象となる図形を切出し、これに基づいて作成する方法である。図2は、該方法によって「L」字型のテンプレートAを作成する手順の説明図であり、同図の(a)に示す210は2値画像であり、(a)中および(b)に示す220は抽出対象である「L」字型の画像、(c)に示す230は基準点を中心に180度回転して作成したテンプレートAである。
【0025】
まず、2値画像210中からマニュアル操作によって抽出対象220を切出す。そして切出された抽出対象の白画素部分にマイナスの重み値、黒画素部分にプラスの重み値を与え、さらに基準点を中心に180度回転させ、テンプレートAを作成する。基準点の取り方は任意でよいが、この場合は図形の中心を基準点とする。テンプレートに与える重み値も任意でよいが、計算コストが小さくなるように、マイナスの重み値を−1、プラスの重み値を1としてテンプレートを作成する方法が好ましい。
【0026】
また、重み値0の部分をテンプレートに加えることで、抽出処理においてその部分の類似性を無視することができる。これを利用し、2値画像中から類似した2種類の図形を抽出する場合、これら2種類の図形の相違部分を重み値0としたテンプレートを作成し、相違点を無視した抽出処理を行うことで、1つのテンプレートで同時に両方の図形を抽出できる。
【0027】
また、抽出対象である図形の黒画素部分と白画素部分との境界に、重み値0の部分を適当な幅で加えたテンプレートを作成することで、抽出対象である図形の多少のぶれ、傾斜、雑音などに対して影響され難い図形抽出を行うことができる。例として、このようにして作成した長方形を抽出するためのテンプレートを、図2の(d)に240として示す。
【0028】
次に、テンプレートB作成処理300は、テンプレートAの重み値の符号を正負反転させ、テンプレートBを作成する処理である。図3にテンプレートA作成処理で作成されたテンプレート230からテンプレートB作成処理で作成されたテンプレート310を示す。
【0029】
図形抽出処理400は、作成したテンプレートA,Bを用い、2値画像中から抽出対象となる図形を抽出する処理である。図4は、図形抽出処理400の処理手順図であり、410は2値画像、420はテンプレートA,430はテンプレートB,440は投票処理、450は投票画像、460は図形位置検索処理、500は図形抽出結果である。
【0030】
投票処理440は、2値画像410の上を1画素ずつ移動しながら2値画像中の画素にテンプレートA,Bの基準点を重ね、該画素が黒画素の場合はテンプレートAの重み値を、該画素が白画素の場合はテンプレートBの重み値を投票画像450に投票値として加算していく処理である。以下の説明では、2値画像410として図2で示した2値画像210を用いる。図5の(a)に投票画像450での投票結果を示す。
【0031】
図形位置検索処理460は、投票画像450を用いて抽出対象図形の位置を検索する処理である。投票画像において、投票値の大きい部分はテンプレートと類似した図形の存在する位置を表す。そこで、投票画像のうち、投票値が一定値以下で雑音とみなせる部分を排除したのち、投票値が極大となる位置を検索することにより、抽出対象である図形の基準点が存在する位置を決定できる。
【0032】
この様な方法で決定された位置に、抽出対象図形を重ねて表示すると、図5の(b)に示すように、図形抽出結果500が得られる。
【0033】
以上説明した図形抽出処理400は、一般Hough変換を用いた従来の図形抽出方法を拡張した手法であり、テンプレートに白画素部分を含め、黒画素部分だけでなく自画素部分の類似度も考慮することにより、抽出対象の白画素部分が一部黒画素となっているような、抽出対象と区別すべき類似した図形を除外することができる。
【0034】
(第2の実施形態)
本実施形態は、白黒反転した抽出対象図形の抽出方法である。
【0035】
図6は、イメージ入力装置の設定などが原因で、抽出対象の白黒が反転している2値画像411の例である。2値画像411に対して第1の実施形態と同様に、図形抽出処理400を施すと、図7の(a)に示す投票画像461が得られる。投票画像461のうち、投票値が最小の部分はテンプレートBとの類似度が大きい場所である。そこで、投票画像のうち、投票値が一定値以上で雑音とみなせる部分を排除したのち、投票値が極小となる位置を検索することにより、白黒反転した抽出対象の基準点が存在する位置を決定できる。
【0036】
この様な方法で決定された位置に、抽出対象図形を重ねて表示すると、図7の(b)に示すように、図形抽出結果501が得られる。
【0037】
また、投票値が極大となる位置と、極小となる位置を同時に検索することで、抽出対象図形と白黒反転している抽出対象図形を同時に抽出することもできる。
【0038】
(第3の実施形態)
本実施形態は、抽出対象または白黒反転した抽出対象の、簡易かつ高速な抽出方法である。
【0039】
図8に図形抽出処理の手順を示す。810は2値画像、820はテンプレートB,830は第1の投票処理、840は第1の投票画像、850はテンプレートA’、860は第2の投票処理、870は第2の投票画像、880は図形位置検索処理、500は図形抽出結果である。
【0040】
2値画像810、テンプレート820は、第1の実施形態または第2の実施形態で説明したものと同様である。
【0041】
第1の投票処理830は、2値画像810の上を1画素ずつ移動しながら2値画像中の画素にテンプレートBの基準点を重ね、投票画像840にテンプレートBの重み値を投票値として加算していく処理である。以下の説明では、2値画像810として図2で示した2値画像210を用いる。図9の(a)に第1の投票画像840を示す。
【0042】
テンプレートA’になるテンプレート850は、テンプレートAの重み値を2倍にして作成したテンプレートである。図9の(b)にテンプレート850の例を示す。
【0043】
第2の投票処理860は、2値画像中の黒画素のみにテンプレートA’(850)の基準点を重ね、第1の投票画像840にテンプレートA’の重み値を投票値として加算する処理である。この処理の結果、第2の投票画像870が作成される。
【0044】
第1の投票処理830は、第1または第2の実施形態と異なり画像中の全画素にテンプレートBの基準点を重ねて投票を行うため、画像中の黒画素に対しては第1または第2の実施形態とは正負逆の重み値が投票されている。そこで第2の投票処理に、テンプレートAの2倍の重み値を持つテンプレートA’を用いることで、作成される第2の投票画像870は第1または第2の実施形態で作成される投票画像460または461と同じものとなる。
【0045】
図形位置検索処理880、図形抽出結果500は第1または第2の実施形態と同様のため、その説明を省略する。
【0046】
また、上記第1の投票処理830において2値画像中のある一点に注目すると、この点にはテンプレートBを構成する全ての点が重なり、投票画像にはテンプレートB各点の重み値が合計される。従って、テンプレートBの各点に与えられた重み値を合計して合計値Sを求め、投票画像の全ての点に予め投票値としてSを与えることで、より簡易かつ高速に第1の投票画像840を得ることができる。ただし、2値画像の端の部分では、合計値Sと実際に投票して得られる投票値が異なる場合があるため、注意が必要となる。
【0047】
例えば、基準点がテンプレートの中心である場合、2値画像の幅をW、高さをH、テンプレートの幅をW、高さをHとした時、以下のいずれかの条件を満たす部分
【0048】
【数2】
x<W/2
x>W−W/2
y<H/2
y>H−H/2
では、合計値Sと実際の投票値が異なる場合がある。この問題が正確な図形抽出に悪影響を与える場合には、この部分でのみ実際の投票処理を行うなどの補正方法を適用できる。
【0049】
ここで、共通の抽出対象図形を大きさが同じ様々な2値画像から抽出する場合、第1の投票画像840は共通的に使用可能である。従って、第1の投票画像を一度作成した後、これをメモリなど記憶媒体上に記憶しておくことで第1の投票処理830を省略して第2の投票処理860へ進むことができ、簡易かつ高速な図形抽出処理が可能となる。
【0050】
【発明の効果】
以上説明してきたように、本発明では、図形の白画素部分にマイナスの重み値、黒画素部分にプラスの重み値を与え、図形の基準点を中心に180度回転して作成したテンプレートAと、テンプレートAの重み値の符号を正負反転させたテンプレートBの二つのテンプレートを用い、黒画素部分と白画素部分の両方の類似性に基いて抽出対象とする図形を抽出するため、類似図形の誤抽出が解決され、また白黒反転した抽出対象を一度の処理で抽出することができる。
【0051】
また、テンプレートBを用い予め全ての画素に対して投票を行う方法や、テンプレートB各点の重み値を合計し、合計値を投票画像の各点に与える方法などにより、上記図形抽出方法を簡易かつ高速に行うことが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態の処理手順図。
【図2】「L」字型図形を抽出するためのテンプレートAの作成手順図。
【図3】テンプレートBの例。
【図4】図形抽出処理の詳細な処理手順図。
【図5】投票処理した画像と図形抽出結果の例。
【図6】本発明の第2の実施形態が抽出処理対象とする白黒反転の2値画像例。
【図7】投票処理した画像と図形抽出結果の例。
【図8】本発明の第3の実施形態の処理手順図。
【図9】第1の投票処理による画像とテンプレートA’の例。
【図10】従来方法の問題点の説明図。
【符号の説明】
200…テンプレートA作成処理
300…テンプレートB作成処理
400…図形抽出処理
440…投票処理
450…投票画像
460、880…図形位置検索処理
830…第1の投票処理
860…第2の投票処理

Claims (7)

  1. 2値画像中から図形を抽出する方法であって、
    抽出対象である図形の白画素部分にマイナスの重み値、黒画素部分にプラスの重み値を与え、
    前記図形の基準点を中心に180度回転したテンプレートAを作成し、
    前記テンプレートAの重み値の符号を正負反転させたテンプレートBを作成し、
    2値画像の上を1画素ずつ移動しながら、2値画像中の画素に前記テンプレートAまたはBの基準点を重ね、
    該画素が黒画素の場合は投票画像にテンプレートAの重み値を、該画素が白画素の場合は投票画像にテンプレートBの重み値を投票値として加算していき、
    前記投票画像中で投票値が極大となる部分を抽出対象である前記図形の基準点の位置として抽出することを特徴とする図形抽出方法。
  2. 請求項1に記載の図形抽出方法において、前記投票画像中で投票値が極小となる部分を、白黒反転した抽出対象の基準点が存在する位置として抽出することを特徴とする図形抽出方法。
  3. 請求項1または2に記載の図形抽出方法において、
    前記テンプレートAの重み値を2倍にしたテンプレートA’を作成し、
    2値画像の上を1画素ずつ移動しながら、2値画像中の全ての画素に前記テンプレートBの基準点を重ねて投票画像にテンプレートBの重み値を投票値として加算していくことで第1の投票画像を作成し、
    2値画像中の黒画素のみに前記テンプレートA’の基準点を重ねて第1の投票画像にテンプレートA’の重み値を投票値として加算していくことで第2の投票画像を作成し、
    第2の投票画像中で投票値の合計が極大となる部分を抽出対象である図形の基準点の位置、極小となる部分を白黒反転した抽出対象の基準点の位置として抽出することを特徴とする図形抽出方法。
  4. 請求項1または2または3に記載の図形抽出方法において、
    前記テンプレートBの各点に与えられた重み値を合計して合計値Sを求め、
    投票画像の全ての点に予め投票値として前記合計値Sを与えて第1の投票画像を作成し、
    2値画像中の黒画素のみに前記テンプレートA’の基準点を重ねて前記第1の投票画像にテンプレートA’の重み値を投票値として加算していき前記第2の投票画像を作成し、
    前記第2の投票画像中で投票値の合計が極大となる部分を抽出対象である図形の基準点の位置、極小となる部分を白黒反転した抽出対象の基準点の位置として抽出することを特徴とする図形抽出方法。
  5. 請求項3または4に記載の図形抽出方法において、
    共通の抽出対象を、大きさの同じ様々な2値画像から抽出する場合、一度作成した前記第1の投票画像を共通的に使用することを特徴とする図形抽出方法。
  6. 請求項1乃至5のいずれか1項に記載の図形抽出方法において、重み値0の部分を持つテンプレートを作成することを特徴とする図形抽出方法。
  7. 請求項6に記載の図形抽出方法において、
    抽出対象とする図形の黒画素部分と白画素部分との境界に、重み値0の部分を持つテンプレートを作成することを特徴とする図形抽出方法。
JP2000075458A 2000-03-17 2000-03-17 図形抽出方法 Expired - Fee Related JP3598039B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000075458A JP3598039B2 (ja) 2000-03-17 2000-03-17 図形抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000075458A JP3598039B2 (ja) 2000-03-17 2000-03-17 図形抽出方法

Publications (2)

Publication Number Publication Date
JP2001266143A JP2001266143A (ja) 2001-09-28
JP3598039B2 true JP3598039B2 (ja) 2004-12-08

Family

ID=18593349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000075458A Expired - Fee Related JP3598039B2 (ja) 2000-03-17 2000-03-17 図形抽出方法

Country Status (1)

Country Link
JP (1) JP3598039B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005057496A1 (ja) * 2003-12-09 2005-06-23 Japan Science And Technology Agency 画像からの対象物検出方法及び対象物検出装置
GB2434496B (en) * 2005-07-14 2007-10-31 Snell & Wilcox Ltd Method and apparatus for analysing image data
US8014601B2 (en) 2005-11-29 2011-09-06 Nec Corporation Pattern recognizing apparatus, pattern recognizing method and pattern recognizing program

Also Published As

Publication number Publication date
JP2001266143A (ja) 2001-09-28

Similar Documents

Publication Publication Date Title
JP4551018B2 (ja) 画像結合装置
JP3878401B2 (ja) 画像処理装置、画像処理方法およびそれを記録した記録媒体
JP4189506B2 (ja) 画像処理のための装置、方法及び記録媒体
WO2010052830A1 (ja) 画像向き判定装置、画像向き判定方法及び画像向き判定プログラム
JP2597006B2 (ja) 矩形座標抽出方法
WO2024169397A1 (zh) 印章识别方法、装置、电子设备及存储介质
JP3598039B2 (ja) 図形抽出方法
CN112150384A (zh) 一种基于残差网络与动态卷积网络模型融合的方法及系统
CN115410191B (zh) 文本图像识别方法、装置、设备和存储介质
JP2004287682A (ja) 加筆画像抽出装置、プログラム、記憶媒体及び加筆画像抽出方法
JP2012060452A (ja) 画像処理装置、その方法およびプログラム
JP2002342710A (ja) 文字切出し装置及びそれに用いる文字切出し方法並びにそのプログラム
JP7238510B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2000022939A (ja) 画像縮小装置及び画像縮小プログラムを記録した記録媒体
AU2018229526B2 (en) Recursive contour merging based detection of text area in an image
JP3881455B2 (ja) 画像補正装置及び画像補正方法並びに画像補正方法を記録した媒体
JP4027689B2 (ja) 画像の回転角度検出方法、装置および記録媒体
CN116883461B (zh) 一种用于获取清晰文档图像的方法及其终端装置
JP7402931B2 (ja) 方法、コンピュータ可読プログラムおよびシステム
JP2006107018A (ja) 画像解析方法及び装置、画像処理方法及びシステム、これらの動作プログラム
CN116597462B (zh) 一种基于ocr的证件识别方法
JP2006023976A (ja) パラメータ設定方法、画像パターン抽出方法、パラメータ設定装置、画像パターン抽出装置、およびこれら方法のプログラム
JP7377661B2 (ja) 画像の意味的領域分割装置、領域検知感度向上方法、及びプログラム
JP3569626B2 (ja) 図形抽出方法及びそのプログラムを記録した記録媒体
JP2007328652A (ja) 画像処理装置および画像処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees