JPH11328315A - 文字認識装置 - Google Patents

文字認識装置

Info

Publication number
JPH11328315A
JPH11328315A JP10127238A JP12723898A JPH11328315A JP H11328315 A JPH11328315 A JP H11328315A JP 10127238 A JP10127238 A JP 10127238A JP 12723898 A JP12723898 A JP 12723898A JP H11328315 A JPH11328315 A JP H11328315A
Authority
JP
Japan
Prior art keywords
word
characters
matching
collation
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10127238A
Other languages
English (en)
Other versions
JP3522106B2 (ja
Inventor
Yoshinobu Hotta
悦伸 堀田
Satoshi Naoi
聡 直井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP12723898A priority Critical patent/JP3522106B2/ja
Publication of JPH11328315A publication Critical patent/JPH11328315A/ja
Application granted granted Critical
Publication of JP3522106B2 publication Critical patent/JP3522106B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Character Discrimination (AREA)

Abstract

(57)【要約】 【課題】 文字同士が接触していても切り出しミスの影
響を受けず、しかも、高速で高精度な文字認識を行うこ
と。 【解決手段】 単語領域特定手段1は、キー文字等を用
いて画像データから、単語領域を特定する。単語領域の
画像データは正規化手段2により正規化され、特徴抽出
手段4により特徴が抽出される。一方、照合カテゴリ限
定手段4は、単語領域の文字数推定、複雑度算出等を行
い、これらに基づき照合カテゴリを限定する。照合手段
5は、上記照合カテゴリ限定手段4により限定された照
合対象について単語特徴辞書6の特徴データと、抽出さ
れた単語領域の特徴データとを照合し、認識結果を出力
する。また、認識する文字が住所等の場合、予め認識さ
れている上位階層の住所を利用して照合対象をさらに限
定することもできる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】近年、手書き用の入力周辺機
器として手書き文字認識装置OCRの需要が増加してい
る。本発明は、上記手書き文字認識装置等に使用される
文字認識装置に関し、特に、本発明は接触した文字同士
を分離せずに、高速で高精度な文字認識をすることがで
きる文字認識装置に関するものである。なお、本発明
は、手書き用文字認識装置だけでなく、印刷文字認識装
置、携帯情報端末における文字認識装置等、広い意味で
の文字認織技術に適用することができる。
【0002】
【従来の技術】個々の文字を精度よく認識するために
は、認識の前段階である切りだし処理で各文字を正確に
切り出す必要がある。しかし、手書きで書かれた文字列
には、文字同士の接触が多数存在し、そのような接触文
字を精度良く切り出すことは困難であった。そこで、本
発明者は、先に、接触文字を分離せずに接触文字を単語
として捉え、手書き文字列から単語領域を抽出し、単語
特徴辞書と比較することにより、単語を一括して認識す
る方式を提案した(特願平9−330496号参照)。
【0003】上記方式では、まず文字列中から都道府県
市区郡町村といった文字をキー文字として抽出する。次
に、キー文字に挟まれた領域を単語領域として抽出し、
その領域内の文字と、同一キー文字をもつ住所単語を照
合していた。例えば、手書きの「茨城県ひたちなか市」
に対して、キー文字抽出処理により「県」と「市」が抽
出されたとき、全国の「県」と「市」との照合を行なっ
ていた。住所階層知識を使う場合でも、全国の「県」と
茨城県下の「市」の全てと照合を行なっていた
【0004】
【発明が解決しようとする課題】従来方式では、入力さ
れた単語を辞書と照合する際に、同一のキー文字を持つ
全ての住所単語と照合したり、あるいは住所階層知識か
ら限定したカテゴリと照合していた。その照合では、単
語領域内の推定文字数などを考慮していなかったため、
例えば、6文字の「ひたちなか」市と1文字の「境」市
を照合したりしていた。このような無駄な処理のため、
処理時間がかかり、また認識精度が落ちる等の問題があ
った。本発明は上記した事情を考慮してなされたもので
あって、文字同士が接触していても切り出しミスの影響
を受けずに文字認識が可能であり、しかも、処理が高速
で高精度な文字認識を行うことができる文字認識装置を
提供することを目的とする。
【0005】
【課題を解決するための手段】図1は本発明の原理構成
図である。同図において、1は文字列から構成される画
像データから単語領域を特定する手段、2は単語領域画
像データを正規化する手段、3は正規化された単語領域
画像データから特徴を抽出する手段である。また、4は
照合カテゴリを限定する手段であり、単語領域の文字数
推定、複雑度算出等を行い、これらに基づき照合カテゴ
リを限定する。照合手段5は、上記照合カテゴリ限定手
段4により限定された照合対象について単語特徴辞書6
の特徴データと、抽出された単語領域の特徴データとを
照合し、認識結果を出力する。
【0006】上記照合カテゴリの限定による照合対象の
選定は次のように行うことができる。また、下記の複数
の手法を組み合わせて使用してもよい。 (1) 単語領域の文字数を推定し、推定された文字数に近
い文字数の単語のみを照合対象として選定する。上記文
字数の推定は、例えば、次のように行うことができる。 予め抽出された文字のサイズ、予め印字された文字
のサイズ、もしくは、文字記入枠のサイズ情報と、単語
領域内の黒画素外接矩形情報を用いて単語領域内の文字
数を推定する。 予め抽出された文字のサイズ、予め印字された文字
のサイズ、もしくは、文字記入枠のサイズ情報と、単語
領域のサイズ情報とを用いて単語領域内の文字数を推定
する。 (2) 単語領域の特徴から領域内の複雑度を算出し、算出
した複雑度に近い複雑度の単語のみを照合対象として選
定する。
【0007】
【発明の実施の形態】以下本発明の実施の形態について
説明する。なお、以下の説明においては、手書きで書か
れた住所を認識する場合について説明するが、本発明の
適用対象は手書きで書かれた住所の認識に限定されるも
のではなく、前記したように、その他、印刷文字認識装
置、携帯情報端末における文字認識装置等、広い意味で
の文字認織技術に適用することができる。図2は本発明
の実施例の文字認識装置の構成を示すブロック図であ
る。同図において、11は単語領域設定部であり、手書
き文字列は、例えば図示しないスキャナー等で読み取ら
れ、2値化画像データとして単語領域設定部11に与え
られる。単語領域設定部11は、入力された2値画像デ
ータから、後述するように選択項目(キー文字)を用い
て単語領域を特定し単語領域を切り出す。
【0008】上記のようにして切り出された単語領域
(文字列)は、正規化部12に与えられる。正規化部1
2では、単語を構成する文字のサイズや位置の補正を行
なったうえで、例えば、特開昭63−313283号公
報に記載される方法で正規化する。正規化処理により単
語領域は規定サイズに拡大/縮小される。正規化部12
で正規化された画像は、特徴抽出部13に与えられ特徴
抽出が行われる。特徴抽出部13では、例えば、前記し
た特願平9−330496号に記載されるように、正規
化された画像を適当な小さな領域に細分化し、細分化し
た各領域を周知なパターン認識技術により多次元の特徴
ベクトルで表すことにより、一つの単語を多次元の特徴
ベクトルで表す。さらに、この多次元の特徴ベクトルの
次元数を周知な次元圧縮技術により圧縮し、単語の特徴
を抽出する。
【0009】抽出された特徴は後述するように、単語特
徴辞書と照合され認識が行われる。なお、上記特徴抽出
/照合処理は、個別文字認識で用いているものと同様の
手法を用いることができ、これらの手法としては、例え
ば、鶴岡ほか「加重方向指数ヒストグラム法による手書
き漢字・ひらがな認識」(信学論Vol.J70-D No.7,pp.13
90−1397)などに記載される手法を使用することができ
る。一方、単語領域設定部10において切り出された単
語領域は、概特徴抽出部14に与えられ、後述する手法
で、文字数、複雑度等の特徴が抽出される。照合カテゴ
リ限定部15は上記概特徴等に基づき照合カテゴリの限
定を行う。照合部16は、上記照合カテゴリ限定部15
において限定された照合カテゴリについて、単語特徴辞
書17の特徴ベクトルと、前記特徴抽出部13で抽出さ
れた単語領域の特徴ベクトルとを照合し単語の認識を行
う。
【0010】次に、上記単語領域設定部10における
「単語領域の特定」、概特徴抽出部14における「概特
徴抽出」および、照合カテゴリ限定部15、照合部16
における「照合カテゴリの限定/照合」について説明す
る。 (1)単語領域の特定 入力された文字列中から単語領域を特定する手段とし
て、選択項目付きの文字列を対象に、選択項目の間、も
しくは選択項目の前を1つの単語領域とみなす方法を用
いることができる。すなわち、単語領域設定部10にお
いては、まず、手書き文字列の二値画像から選択項目
(住所の場合には都道府県、市区町村等のキー文字)を
抽出し、これらの選択項目の前、もしくは間にある領域
を単語領域として特定する。例えば、図3の例におい
て、選択項目(キー文字)は、「都道府県」、「市区町
村」であり、これらの選択項目の前にある「東京」と、
選択項目間にある「文京」がそれぞれ1つの単語領域と
みなされる。
【0011】(2)概特徴抽出 概特徴抽出部14では、下記のように、単語領域設定部
10で切り出された単語領域の複雑度を算出したり、文
字数を推定することにより、単語領域の概特徴を抽出す
る。 単語領域の複雑度算出 単語領域の複雑度としては、例えば、単語領域の画素密
度やオイラー数などを用いる。画素密度というのは、領
域内の全画素に対する黒画素の比率である。また、オイ
ラー数とは、黒画素で囲まれた領域の数であり、例え
ば、前記図3における「文京」の「文」は黒画素に囲ま
れた領域が1つなので、オイラー数は「1」である。こ
れら入力された単語領域の複雑度は、後述する照合時
に、カテゴリ限定のために使用される。 単語領域の文字数の推定 単語領域内の文字数を推定するためには、単語領域全体
のサイズ、もしくは単語領域内の黒画素外接矩形情報を
用いる。
【0012】文字サイズの基準としては、予め抽出され
ている文字のサイズ(例えばキー文字のサイズ)や、予
め印字されている文字(前記図3における「都道府県」
のように予め印刷されている文字)のサイズ、文字枠
(手書き文字を書き込むために予め印刷された枠)情報
などを用いる。基準とする文字サイズは、単語領域を分
割する際や黒画素外接矩形同士を統合する際のパラメー
タとして用いられる。
【0013】一例として、図4に黒画素外接矩形情報を
用いて推定文字数を算出する方法を示す。「ひたちな
か」という手書き文字があたえられれたとき、まず、同
図(a)に示すように、単語領域内の黒画素に外接する
矩形を求める。次に、文字形状は一般的に正方形に近い
ので、それを満たすように、重なっている矩形同士の統
合、横長すぎる矩形の分割を行なう。これにより、同図
(b)(c)(d)に示すように単語領域が分割され
る。そして、終了時点で残っている矩形の数を推定文字
数とする。この例の場合には文字数は6と推定される。
なお、この場合、正しくは文字数5であるが、文字数に
よるカテゴリ限定は、後述するように概ねの文字数(こ
の場合は、例えば文字数3〜8)で行うため、高精度の
文字数は必要ない。また、単語領域全体のサイズ情報を
用いる場合には、前記した基準となる文字サイズで単語
領域全体を分割し、文字数を推定する。
【0014】(3)照合カテゴリの限定および照合処理 住所文字列を処理対象とする場合、単語特徴辞書は
「県」ごと、「郡」ごとのように持つ。また住所には階
層があるので、住所単語の階層(例えば、「ひたちなか
市」は「茨城県」の下位にくる、など)を持つようにす
る。さらに、各単語毎とに文字数の情報や複雑度などの
情報も保持する。図5は、単語特徴辞書17の一例を示
す図であり、同図に示すように、単語辞書には、例え
ば、住所文字列の上位単語(都道府県の場合はなし、
例えば「札幌」の場合は「北海」)と、「北海」、
「青森」、…「札幌」のような住所文字列と、
「道」、「県」、「市」等のキー文字と、特徴ベクト
ルと、単語の複雑度と、文字数情報が格納される。
【0015】照合部16における照合処理では、前記し
た概特徴抽出部14において抽出された文字数、単語領
域の複雑度等の概特徴を用いて照合カテゴリを限定し、
上記単語辞書17の特徴ベクトルと前記特徴抽出部13
で抽出された特徴ベクトルとの照合処理を行う。例え
ば、単語領域の推定文字数がわかっている場合は、その
文字数に近い住所単語だけを照合対象とする。この場
合、例えば推定文字数が6文字となっている場合は、前
記したように3〜8文字程度の文字数を持つ単語のみを
照合対象とする。
【0016】さらに、上位階層の単語がわかったうえ
で、下位の単語を認識する場合は、照合時に住所階層も
使って照合カテゴリの限定を行なう。例えば、図6に示
すように、「茨城」を認織した後で、「ひたちなか」
(市)を認識する場合、茨城県下で、文字数が3〜8文
字の「市」のみを照合対象とする。推定文字数の代わり
に複雑度を用いる場合も同様にして複雑度の近い住所単
語だけを照合対象とする。これにより、照合対象が著し
く少なくなるので、処理速度を高速化することができる
とともに、認識精度を向上させることができる。
【0017】
【発明の効果】以上説明したように本発明においては、
以下の効果を得ることができる。 (1)文字列中から1文字ずつを切り出して認識するの
ではなく、単語単位で認識をすすめていくため、文字同
士が接触していても切り出しミスの影響を受けずに認識
することができる。また、単語領域の文字数を推定した
り、複雑度を算出し照合対象とするカテゴリを限定した
うえで照合処理を行なうため、照合時間を短縮でき、照
合精度を高くすることができる。このため、処理が高速
で、かつ高精度な文字認識を行うことができる。 (2)上記文字数を推定するに際し、黒画素外接矩形情
報を用いることにより、文字間の空白領域の影響を受け
ずに文字数推定することができる。また、黒画素外接矩
形同士を統合していく際に文字のサイズ情報を用いるこ
とにより、統合精度が高くなり、より正確に文字数推定
することができる。
【0018】(3)上記文字数を推定するに際し、単語
領域のサイズ情報を用いて文字数の推定を行なうことに
より、高速な処理が可能となる。 (4)照合対象となる単語領域の前後の単語が予め認識
されており、該単語が照合対象となる単語領域の文字列
に関連した単語である場合、単語領域の文字数情報や複
雑度に加えて、上記予め認識されている単語に関連した
単語に照合対象を限定することにより、より細かく限定
することができる。特に、認識する文字が住所の場合、
予め認識されている上位階層の住所を利用して照合対象
を限定することにより、より細かく照合対象を限定する
ことができ、照合時間を短縮し、照合精度を高くするこ
とができる。
【0019】以上の説明に関して更に以下の項を開示す
る。 (1) 文字列から構成される画像データ中から単語領域を
特定する単語領域設定手段と、特定された単語領域を正
規化し、正規化画像を得る正規化手段と、上記正規化画
像から特徴を抽出する特徴抽出手段と、上記単語領域の
特徴から照合対象とするカテゴリを限定する照合カテゴ
リ限定手段と、単語領域の特徴と対応する文字列とを格
納した単語特徴辞書と、単語特徴辞書と上記特徴抽出手
段により抽出された単語領域の特徴とを照合する照合手
段とを備え、上記照合カテゴリ限定手段は、予め抽出さ
れた文字のサイズ、予め印字された文字のサイズ、もし
くは、文字記入枠のサイズ情報と、単語領域内の黒画素
外接矩形情報を用いて単語領域内の文字数を推定し、上
記照合手段は、上記照合カテゴリ限定手段により推定さ
れた文字数に近い文字数の単語のみを照合対象として選
定する文字認識装置。 (2) 文字列から構成される画像データ中から単語領域を
特定する単語領域設定手段と、特定された単語領域を正
規化し、正規化画像を得る正規化手段と、上記正規化画
像から特徴を抽出する特徴抽出手段と、上記単語領域の
特徴から照合対象とするカテゴリを限定する照合カテゴ
リ限定手段と、単語領域の特徴と対応する文字列とを格
納した単語特徴辞書と、単語特徴辞書と上記特徴抽出手
段により抽出された単語領域の特徴とを照合する照合手
段とを備え、上記照合カテゴリ限定手段は、予め抽出さ
れた文字のサイズ、予め印字された文字のサイズ、もし
くは、文字記入枠のサイズ情報と、単語領域のサイズ情
報とを用いて単語領域内の文字数を推定し、上記照合手
段は、上記照合カテゴリ限定手段により推定された文字
数に近い文字数の単語のみを照合対象として選定する文
字認識装置。 (3) 文字列から構成される画像データ中から単語領域を
特定する単語領域設定手段と、特定された単語領域を正
規化し、正規化画像を得る正規化手段と、上記正規化画
像から特徴を抽出する特徴抽出手段と、上記単語領域の
特徴から照合対象とするカテゴリを限定する照合カテゴ
リ限定手段と、単語領域の特徴と対応する文字列とを格
納した単語特徴辞書と、単語特徴辞書と上記特徴抽出手
段により抽出された単語領域の特徴とを照合する照合手
段とを備え、上記照合手段は、照合対象となる単語領域
の前後の単語が予め認識されており、該単語が照合対象
となる単語領域の文字列に関連した単語である場合、予
め認識されている単語に関連した単語に照合対象を限定
し、上記照合カテゴリ限定手段により限定された照合対
象について、上記単語特徴辞書と単語領域の特徴とを照
合することを特徴とする文字認識装置。
【図面の簡単な説明】
【図1】本発明の原理構成図である。
【図2】本発明の実施例のシステム構成を示す図であ
る。
【図3】単語領域の特定を説明する図である。
【図4】黒画素外接矩形情報を用いた文字数推定を説明
する図である。
【図5】単語特徴辞書の一例を示す図である。
【図6】上位階層の住所を用いて下位の住所を認識する
場合を説明する図である。
【符号の説明】
1 単語領域を特定する手段 2 正規化手段 3 特徴抽出手段 4 照合カテゴリ限定手段 5 照合手段 11 単語領域設定部 12 正規化部 13 特徴抽出部 14 概特徴抽出部 15 照合カテゴリ限定部 16 照合部 17 単語特徴辞書

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 文字列から構成される画像データ中から
    単語領域を特定する単語領域設定手段と、 特定された単語領域を正規化し、正規化画像を得る正規
    化手段と、 上記正規化画像から特徴を抽出する特徴抽出手段と、 上記単語領域の特徴から照合対象とするカテゴリを限定
    する照合カテゴリ限定手段と、 単語領域の特徴と対応する文字列とを格納した単語特徴
    辞書と、 単語特徴辞書と上記特徴抽出手段により抽出された単語
    領域の特徴とを照合する照合手段とを備え、 上記照合手段は、上記照合カテゴリ限定手段により限定
    された照合対象について、上記単語特徴辞書と単語領域
    の特徴とを照合することを特徴とする文字認識装置。
  2. 【請求項2】 上記照合カテゴリ限定手段は、単語領域
    の特徴から領域内の文字数を推定し、 上記照合手段は、上記照合カテゴリ限定手段により推定
    された文字数に近い文字数の単語のみを照合対象として
    選定することを特徴とする請求項1の文字認識装置。
  3. 【請求項3】 上記照合カテゴリ限定手段は、単語領域
    の特徴から領域内の複雑度を算出し、 上記照合手段は、上記照合カテゴリ限定手段により算出
    された複雑度に近い複雑度の単語のみを照合対象として
    選定することを特徴とする請求項1または請求項2の文
    字認識装置。
JP12723898A 1998-05-11 1998-05-11 文字認識装置 Expired - Fee Related JP3522106B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12723898A JP3522106B2 (ja) 1998-05-11 1998-05-11 文字認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12723898A JP3522106B2 (ja) 1998-05-11 1998-05-11 文字認識装置

Publications (2)

Publication Number Publication Date
JPH11328315A true JPH11328315A (ja) 1999-11-30
JP3522106B2 JP3522106B2 (ja) 2004-04-26

Family

ID=14955143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12723898A Expired - Fee Related JP3522106B2 (ja) 1998-05-11 1998-05-11 文字認識装置

Country Status (1)

Country Link
JP (1) JP3522106B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834121B2 (en) 1999-12-22 2004-12-21 Nec Corporation Apparatus for rough classification of words, method for rough classification of words, and record medium recording a control program thereof
US7136526B2 (en) 2001-01-24 2006-11-14 Fujitsu Limited Character string recognition apparatus, character string recognizing method, and storage medium therefor
JP2008117057A (ja) * 2006-11-01 2008-05-22 Promise Co Ltd 自動契約システム
JP2008117058A (ja) * 2006-11-01 2008-05-22 Promise Co Ltd 顧客情報管理システム
JP2008129891A (ja) * 2006-11-22 2008-06-05 Promise Co Ltd 契約審査書類確認システム
JP2008129892A (ja) * 2006-11-22 2008-06-05 Promise Co Ltd 契約関連書類確認システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6834121B2 (en) 1999-12-22 2004-12-21 Nec Corporation Apparatus for rough classification of words, method for rough classification of words, and record medium recording a control program thereof
US7136526B2 (en) 2001-01-24 2006-11-14 Fujitsu Limited Character string recognition apparatus, character string recognizing method, and storage medium therefor
JP2008117057A (ja) * 2006-11-01 2008-05-22 Promise Co Ltd 自動契約システム
JP2008117058A (ja) * 2006-11-01 2008-05-22 Promise Co Ltd 顧客情報管理システム
JP2008129891A (ja) * 2006-11-22 2008-06-05 Promise Co Ltd 契約審査書類確認システム
JP2008129892A (ja) * 2006-11-22 2008-06-05 Promise Co Ltd 契約関連書類確認システム

Also Published As

Publication number Publication date
JP3522106B2 (ja) 2004-04-26

Similar Documents

Publication Publication Date Title
JP3639126B2 (ja) 住所認識装置及び住所認識方法
JP3919617B2 (ja) 文字認識装置および文字認識方法、プログラムおよび記憶媒体
KR100412317B1 (ko) 문자인식/수정방법및장치
JP3485020B2 (ja) 文字認識方法及び装置ならびに記憶媒体
JP2002216076A (ja) 文字列認識装置
Ghosh et al. R-phoc: segmentation-free word spotting using cnn
JP3917349B2 (ja) 文字認識結果を利用して情報を検索する検索装置および方法
JPH11328315A (ja) 文字認識装置
CN111126160B (zh) 基于五笔输入法构建的智能汉字结构评价方法及系统
JP3099797B2 (ja) 文字認識装置
CN111652157A (zh) 一种低资源语种与通用语种的字典词条提取及识别方法
Saiga et al. An OCR system for business cards
JPH08287188A (ja) 文字列認識装置
JP2746345B2 (ja) 文字認識の後処理方法
JP3187182B2 (ja) 光学的手書き文字列認識方法および装置
JP3209197B2 (ja) 文字認識装置及び文字認識プログラムを記録した記録媒体
CN115131806B (zh) 一种基于深度学习的各类证件ocr图像信息识别方法、系统
JP2985813B2 (ja) 文字列認識装置および知識データベース学習方法
JP3157557B2 (ja) 文字認識装置
JP3006823B2 (ja) 文字および単語の認識方式
JP3151866B2 (ja) 英文字認識方法
JP3428504B2 (ja) 文字認識装置
JP2972443B2 (ja) 文字認識装置
JP2851865B2 (ja) 文字認識装置
JPH08202830A (ja) 文字認識システム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090220

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110220

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees