JP3760040B2 - 文字認識方法、文字認識装置及び情報記録媒体 - Google Patents
文字認識方法、文字認識装置及び情報記録媒体 Download PDFInfo
- Publication number
- JP3760040B2 JP3760040B2 JP32003397A JP32003397A JP3760040B2 JP 3760040 B2 JP3760040 B2 JP 3760040B2 JP 32003397 A JP32003397 A JP 32003397A JP 32003397 A JP32003397 A JP 32003397A JP 3760040 B2 JP3760040 B2 JP 3760040B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- character image
- extracted
- matching
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Character Discrimination (AREA)
Description
【発明の属する技術分野】
本発明は、一般的には線図形の認識技術に係り、より詳しくは文字形状の大局的構造特徴と局所的特徴を利用する文字認識技術に関する。
【0002】
【従来の技術】
文字形状の大局的構造特徴に加え、文字形状の局所的特徴をも利用する文字認識方法として、特開平4−205581の「文字認識方法」がある。また、この文字認識方法のベースとなる技術として、特開平3−108079の「線図形特徴抽出及び認識方法」がある。
【0003】
特開平4−205581の文字認識方法は、文字のストロークを構成するプリミティブ系列とその接続及び特異点の構造により文字形状の大局的構造特徴を抽出するとともに、大局的構造特徴をもとに文字形状の局所的特徴のパラメータベクトルを求め、辞書のモデルとの間で大局的構造特徴のマッチングを行い、複数のモデルと大局的構造特徴のマッチングがとれた場合に、それらモデルとの間で局所的特徴のパラメータベクトルのマッチングを行うことによって詳細識別を行うもので、文字の多様な変形に対応して高い精度の文字認識が可能である。大局的構造特徴のマッチングがとれたモデルに対してのみパラメータベクトルのマッチングを行えばよいと意味で、前者は後者の前段に置かれる大分類的な働きをする。
【0004】
【発明が解決しようとする課題】
上記従来方法においては、大局的構造特徴のマッチングを全てのモデルとの間で行うため、その処理時間がパラメータベクトルのマッチングを含めたマッチング処理全体の時間を増加させている。しかし、高速化を図るために、大局的構造特徴のマッチングを簡略化すると、認識精度が損なわれる可能性がある。
【0005】
よって、本発明は、大局的構造特徴と局所的特徴を利用する文字認識手法において、認識精度を損なうことなくマッチング処理全体の高速化を達成することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するたの本発明の骨子は、入力文字画像から、文字の骨格又は輪郭のストロークを構成するプリミティブ系列とその接続及び特異点の構造からなる文字形状の大局的構造特徴を抽出するとともに、抽出された大局的構造特徴をもとに入力文字画像から文字形状の局所的特徴を抽出し、文字認識用辞書のモデルとの間で入力文字画像から抽出された大局的構造特徴のマッチングを行い、このマッチングがとれたモデルとの間で入力文字画像から抽出された局所的特徴のマッチングを行う文字認識方法又は装置において、抽出された大局的構造特徴が各モデルの大局的構造特徴に関する特定の条件を満たすか否かを判定し、特定の条件を満たすと判定されたモデルとの間でのみ大局的構造特徴のマッチングを行うことである。
【0007】
上記大局的構造特徴に関する特定の条件には、
(1)ストローク、プリミティブ系列、特異点などの大局的構造要素の個数が一致すること、
(2)プリミティブ系列のラベルの値の範囲が矛盾しないこと、
(3)プリミティブ系列のラベルの集合の包含関係が成立すること、
などが考えられる。
【0008】
また、プリミティブ系列のラベル集合の包含関係の判定は、プリミティブ系列のラベル集合のワード表現の間で論理演算を行うことによって行われる。
【0009】
【発明の実施の形態】
図1は、本発明による文字認識装置の構成を示す概略ブロック図である。
【0010】
図1において、文字画像入力部1は認識しようとする文字画像を入力する部分である。なお、例えばスキャナなどで読み込んだ文書の文字認識を行うような場合には、文書画像から文字画像を切り出すといった過程を経て個々の文字画像が入力される。また、予め個々の文字画像が用意されている場合やデジタイザなどによって文字画像が1つずつ手書き入力されるような場合には、文字画像をそのまま入力することが可能である。
【0011】
大局的特徴抽出部2は、入力文字画像から文字の骨格もしくは輪郭を抽出し、文字の骨格又は輪郭のストロークを構成するプリミティブ系列とその接続及び特異点の構造からなる文字形状の大局的構造特徴を抽出する部分である。このような大局的構造特徴とその抽出方法については前記特開平4−205581及び特開平3−108079の公報に詳しく述べられているので、ここではプリミティブ系列とラベルについて簡単に説明する。プリミティブ系列は、単調な曲線構成要素であるプリミティブの連鎖のことである。ただし、この連鎖には条件がある。それは例えば、プリミティブを順に辿ると常に右回りになるといった条件である。プリミティブ系列は、その主要な特徴である初期回転方向と回転数とを用いて、<回転数,初期回転方向>という非常に簡単なラベルで表現することができる。さらに、この2つの項目のうち、初期回転方向を低次の桁、回転数を高次の桁とみなすことにより、ラベルを1つの数値で表現することも可能であり、このような数値表現をラベルと呼ぶこともある。初期回転方向は例えば、南が0、西が1、北が2、東が3というように量子化されている。回転数とは、強い屈曲という例外を除けば、プリミティブ系列を構成するプリミティブの個数であると考えてよいものであり、これも量子化されている。
【0012】
局所的特徴抽出部3は、大局的特徴抽出部2によって抽出された大局的構造特徴をもとに、入力文字の形状の局所的特徴をパラメータベクトルとして求める部分である。この局所的特徴とその抽出方法の詳細は前記特開平4−205581の公報に譲るが、例えば、文字を囲む最小の直立長方形に関して正規化されたうえで、プリミティブ系列別に各プリミティブの中心座標、方向、x,y座標軸への射影の長さ、凹凸度など、特異点の座標などが抽出される。このようにして抽出された局所的特徴のパラメータベクトルは、大局的構造特徴とともにマッチング部4に入力される。
【0013】
辞書5には、文字カテゴリーに対する大局的構造特徴及び局所的特徴のパラメータベクトルのモデルの集合が格納されている。このモデルの具体的なデータ構造は前記特開平4−205581の公報及び特開平3−108079の公報に詳細に記載されているので、ここでは説明を省略する。なお、後述のように、モデルの絞り込みの際にプリミティブ系列のラベルの集合のワード表現やラベルの最小値と最大値を利用する場合には、そのワード表現やラベルの最小値と最大値もモデルのデータに含めておくのがよい。
【0014】
マッチング部4は、入力文字画像の大局的構造特徴と辞書5のモデルとのマッチングを行う構造マッチング部7と、この構造マッチングがとれたモデルとの間で入力文字画像の局所的特徴のパラメータベクトルのマッチングを行って詳細識別を行う詳細識別部8を含むが、さらに、構造マッチングの対象となるモデルを絞り込むための絞り込み部6を構造マッチング部7の前段に有する。この絞り込み部6は、構造マッチング部7による厳密な構造マッチングに先だって、後に具体的に詳述するように、入力文字画像の大局的構造特徴が各モデルの大局的構造特徴に関する特定の条件を満たすか否かを判定し、特定の条件を満たすモデルを厳密な構造マッチングの対象と判断し、特定の条件を満たさないモデルを厳密な構造マッチングの対象でないと判断する。ここで対象と判断されたモデルとの間でのみ、構造マッチング部7は厳密な構造マッチングを実行する。
【0015】
以上に説明した文字認識装置の全体的な処理の流れをフローチャートとして図2に示す。図2において、ステップS11は文字画像入力部1により文字画像を入力する処理ステップであり、ステップS12は大局的特徴抽出部2により入力文字画像の大局的構造特徴を抽出する処理ステップであり、ステップS13は局所的特徴抽出部3により大局的構造特徴に基づいて局所的特徴のパラメータベクトルを抽出する処理ステップである。ステップS14からステップS22まではマッチング部4の処理ステップである。
【0016】
マッチング部4において、入力文字画像の特徴に対し必要に応じて絞り込みの準備処理を行い(ステップS15)、辞書5から1つのモデルを取り出し(ステップS15)、このモデルとの間で絞り込みのための判定を絞り込み部6で実行する(ステップS17)。ここで構造マッチングの対象外と判断されたならば
(ステップS18,no)、別のモデルを辞書5から取り出し(ステップS15)、これについて絞り込みの判定を実行する(ステップS17)。モデルが絞り込み部6によって構造マッチングの対象と判断されたならば(ステップS18,yes)、このモデルとの間の厳密な構造マッチングが構造マッチング部7で実行され(ステップS19)、このマッチングがとれないときは(ステップS20,no)、ステップS15に戻り別のモデルが取り出される。構造マッチングがとれたならば(ステップS20,yes)、詳細識別部8によって、このモデルとの間のパラメータベクトルのマッチングが行われて距離が求められ(ステップS21)、次にステップS15に戻り別のモデルとの間の処理が実行される。全てのモデルとの間の処理が終わると(ステップS16,no)、詳細識別部8のマッチングの対象となったモデルの中で、計算された距離が小さい順に1つ又はいくつかのモデルが認識結果として選ばれ、例えばそれぞれに対応する文字コードが出力される(ステップS22)。
【0017】
ステップS17の絞り込み判定処理の一例を図3に示す。この例で用いられる判定条件は、大局的構造要素であるストローク、プリミティブ系列及び特異点の個数の一致である。まず、絞り込み部6において、辞書から取り出されたモデルのストローク数、プリミティブ系列数及び特異点数を取り出し(ステップS31)、次に入力文字画像から抽出されたストローク数、プリミティブ系列数、特異点数を取り出し(ステップS32)、それらの個数の一致判定を行う(ステップS33)。それら全ての個数が一致したならば、当該モデルを構造マッチングの対象と判定し(ステップS34)、いずれかの個数が一致しないならば当該モデルを構造マッチングの対象外と判定する(ステップS35)。例えばモデルが3本のストロークを必要としている場合に、入力文字画像から抽出されたストロークが2本であれば、このモデルとの間で構造マッチングをとることは無意味であるので、構造マッチングの対象から除外する。
【0018】
ステップS17の絞り込み判定処理の他の一例を図4に示す。この例で用いられる判定条件は、プリミティブ系列のラベルの値の範囲が矛盾しないことである。絞り込み部6において、辞書から取り出されたモデルの取り得るプリミティブ系列ラベルの最小値と最大値を取り出す(S41)。次に入力文字画像から抽出されたプリミティブ系列のラベルを1つ取り出し(ステップS42)、これをステップS41で取り出したラベルの最小値と最大値と照合する(ステップS45)。条件に合致しない、すなわち、そのラベルの値が最小値に満たないか、最大値を超えるならば(ステップS45,no)、当該モデルの取り得るラベルの値の範囲外のラベルを持つプリミティブ系列が入力文字画像に存在するということであるので、当該モデルを構造マッチングの対象外と判定する(ステップS46)。ラベルの条件が合致するならば、当該モデルは最終的に構造マッチングがとれる可能性を否定できないので、ステップS42に戻って別のラベルを取り出し、照合する。このようにして、入力文字画像から抽出された全てのプリミティブ系列のラベルが条件に合致したならば(ステップS43,no)、当該モデルを構造マッチングの対象であると判定する(ステップS47)。
【0019】
なお、ステップS14(図2)の準備処理で、入力文字画像から抽出されたプリミティブ系列のラベルの最小値と最大値を予め求めておき、ステップS17においては、その最小値及び最大値とモデルのラベルの最小値と最大値との合致を直接的に調べることによって、同様の絞り込みを行ってもよい。
【0020】
ステップS17の絞り込み判定処理のもう一つの例を図5に示す。この例で用いる判定条件は、入力文字画像とモデルとの間でプリミティブ系列のラベルの集合の包含関係が成立することである。絞り込み部6において、辞書から取り出されたモデルのラベル集合を取り出す(ステップS51)。このラベル集合は、モデルの取り得るプリミティブ系列のラベルを全て列挙したもので、この集合に属さないラベルがある場合には、そのモデルとはマッチングがとれない。絞り込み部6は、入力文字画像から抽出されたプリミティブ系列のラベルを1つ取り出し(ステップS52)、そのラベルの値がラベル集合の要素であるか否か調べる
(ステップS54)。そのラベルの値がラベル集合に含まれていなければ(ステップS55,no)、当該モデルは構造マッチングの対象外と判定する(ステップS56)。ラベルがラベル集合に含まれているならば、当該モデルはマッチングがとれる可能性を否定できないので、ステップS52に戻って次のラベルを取り出し、それをラベル集合と照合する(ステップS54)。このようにして、全てのラベルがモデルのラベル集合に属すると判定された場合(ステップS53,no)、当該モデルは構造マッチングの対象とされる(ステップS57)。
【0021】
この例では、入力文字画像から抽出されたプリミティブ系列のラベルを逐次的に処理してラベル集合の包含関係を調べたが、ステップS14(図2)で予め入力文字画像のラベルを取り出してラベル集合を作っておき、ステップS17では、このラベル集合とモデルのラベル集合との包含関係を直接的に調べるようにしてもよい。
【0022】
ステップS17の絞り込み判定処理の別の一例を図6に示す。この例では、図7に例示するような、各ビットが1つのラベルの有無を表すラベル集合のワード表現を、ラベル集合の包含関係の照合に利用する。辞書の各モデルは、予め取り得るラベル集合のワード表現(Wm)を保有している。また、入力文字画像のラベル集合のワード表現(Wi)はステップS14(図2)で予め作成される。絞り込み部6において、辞書から取り出されたモデルのラベル集合のワード表現Wmを取り出し(ステップS61)、これとステップS14で作成されたワード表現Wiとの論理積演算を行う(ステップS62)。そして、論理積演算の結果がワード表現Wiと一致するならば(ステップS63,yes)、入力文字画像から抽出されたプリミティブ系列のラベルが全てモデルのラベル集合に含まれているということであり、厳密な構造マッチングが必要であるので、当該モデルは構造マッチングの対象と判定される(ステップS65)。論理積演算結果がワード表現Wiと相違するならば(ステップS63,no)、入力文字画像から抽出されたプリミティブ系列のラベルの中にモデルのラベル集合に含まれていないものがあるということで、当該モデルはマッチングがとれる可能性がないため、当該モデルは構造マッチングの対象外と判定される(ステップS64)。
【0023】
プリミティブ系列のラベルの特質の一つは、取り得る値が離散的であることであり、もう一つの特質は、文字認識に応用する場合、その数が比較的少数であることである。この例では、そのようなラベルの特質に着目し、ラベル集合のワード表現を利用することにより、簡単な論理演算によって極めて高速にラベル集合の包含関係を判定することができる。
【0024】
なお、絞り込みの判定条件として、以上に述べた以外の大局的構造特徴を利用してもよく、また以上に述べた大局的構造特徴のいくつかを併用してもよい。
【0025】
また、以上に述べた文字認識処理方法及び装置は、例えば図8に示すようなCPU101、メモリ102、補助記憶装置103、CD−ROMやフロッピーディスクなどの情報記録媒体105のドライブ104、スキャナなどの入力機器が接続される入力インターフェイス106、プリンタなどの出力機器が接続される出力インターフェイス107などをバス108で接続した一般的なコンピュータ上で、プログラムによって実現することもできる。図1に示した文字認識装置の各機能部1,2,3,4の機能あるいは図2乃至図6に示した処理ステップの手順を実現するためのプログラム110は、例えば情報記録媒体105よりドライブ104によって読み込まれて大容量記憶装置103に格納され、また辞書5も大容量記憶装置103に格納される。そして、プログラム110は、その全部又は必要な部分がメモリ102にロードされ、CPU101に実行される。文字画像のデータは、例えば入力インターフェイス106を介してメモり102に読み込まれ、あるいは大容量記憶装置103に一旦蓄積された後、メモリ102に読み込まれて文字認識される。文字認識結果は、例えばメモり102から出力インターフェイス107を通じて出力装置へ出力され、あるいは大容量記憶装置103に一旦蓄積された後、必要な時に出力装置へ出力される。
【0026】
【発明の効果】
本発明によれば、大局的構造特徴に関する条件判定によって構造マッチングの対象モデルが絞り込まれるため、構造マッチングのための時間が短縮され、また、その絞り込みは厳密な構造マッチングに要する時間より遥かに短時間で実行可能であるためマッチング処理全体の時間を短縮し、認識精度を損なうことなく文字認識の高速化を達成できるなどの効果を得られる。
【図面の簡単な説明】
【図1】本発明による文字認識装置の概略ブロック図である。
【図2】文字認識装置の処理全体の流れを示すフローチャートである。
【図3】絞り込み判定処理の一例を示すフローチャートである。
【図4】絞り込み判定処理の他の一例を示すフローチャートである。
【図5】絞り込み判定処理の別の一例を示すフローチャートである。
【図6】絞り込み判定処理の他の一例を示すフローチャートである。
【図7】ラベル集合のワード表現を示す図である。
【図8】本発明をプログラムにより実施するためのコンピュータの構成例を示すブロック図である。
【符号の説明】
1 文字画像入力部
2 大局的特徴抽出部
3 局所的特徴抽出部
4 マッチング部
5 辞書
6 絞り込み部
7 構造マッチング部
8 詳細識別部
Claims (4)
- 入力文字画像から、文字の骨格又は輪郭のストロークを構成するプリミティブ系列とその接続及び特異点の構造からなる文字形状の大局的構造特徴を抽出するとともに、抽出された大局的構造特徴をもとに入力文字画像から文字形状の局所的特徴を抽出し、文字認識用辞書のモデルとの間で入力文字画像から抽出された大局的構造特徴のマッチングを行い、このマッチングがとれたモデルとの間で入力文字画像から抽出された局所的特徴のマッチングを行う文字認識方法において、抽出された大局的構造特徴と各モデルの大局的構造特徴との間でプリミティブ系列のラベルの集合の包含関係が成立するか否かを判定し、成立すると判定されたモデルとの間でのみ大局的構造特徴のマッチングを行うことを特徴とする文字認識方法。
- 請求項1記載の文字認識方法において、プリミティブ系列のラベル集合のワード表現の間で論理演算を行うことによって、プリミティブ系列のラベルの集合の包含関係の成立を判定することを特徴とする文字認識方法。
- 文字画像を入力する手段と、当該手段による入力文字画像から、文字の骨格又は輪郭のストロークを構成するプリミティブ系列とその接続及び特異点の構造からなる文字形状の大局的構造特徴を抽出する手段と、当該手段により抽出された大局的構造特徴をもとに入力文字画像から文字形状の局所的特徴を抽出する手段と、文字認識用のモデルの集合を格納した辞書と、該辞書のモデルとの間で入力文字画像から抽出された大局的構造特徴のマッチングを行い、このマッチングがとれたモデルとの間で入力文字画像から抽出された局所的特徴のマッチングを行うマッチング手段とを具備する文字認識装置において、該マッチング手段は、入力文字画像から抽出された大局的構造特徴と該辞書の各モデルの大局的構造特徴との間でプリミティブ系列のラベルの集合の包含関係が成立するか否かを判定し、成立するモデルに絞り込む絞り込み手段を含み、該マッチング手段は該絞り込み手段によって絞り込まれたモデルのみを対象として大局的構造特徴のマッチングを行うことを特徴とする文字認識装置。
- 入力された文字画像から文字の骨格又は輪郭のストロークを構成するプリミティブ系列とその接続及び特異点の構造からなる文字形状の大局的構造特徴を抽出するステップ、当該ステップにより抽出された大局的構造特徴をもとに入力文字画像から文字形状の局所的特徴を抽出するステップ、文字認識用のモデルの集合を格納した辞書の各モデルとの間で、入力文字画像から抽出された大局的構造特徴とモデルの大局的構造特徴のプリミティブ系列のラベルの集合の包含関係が成立するか否かを判定し、成立するモデルに絞り込むステップ、当該ステップにより絞り込まれたモデルとの間で入力文字画像から抽出された大局的構造特徴のマッチングを行うステップ、及び、当該ステップでマッチングがとれたモデルとの間で入力文字画像から抽出された局所的特徴のマッチングを行うステップを、コンピュータに実行させるためのプログラムが記録されたことを特徴とする機械読み取り可能な情報記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32003397A JP3760040B2 (ja) | 1997-11-20 | 1997-11-20 | 文字認識方法、文字認識装置及び情報記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32003397A JP3760040B2 (ja) | 1997-11-20 | 1997-11-20 | 文字認識方法、文字認識装置及び情報記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11154199A JPH11154199A (ja) | 1999-06-08 |
| JP3760040B2 true JP3760040B2 (ja) | 2006-03-29 |
Family
ID=18117006
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32003397A Expired - Lifetime JP3760040B2 (ja) | 1997-11-20 | 1997-11-20 | 文字認識方法、文字認識装置及び情報記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3760040B2 (ja) |
-
1997
- 1997-11-20 JP JP32003397A patent/JP3760040B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11154199A (ja) | 1999-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0539749B1 (en) | Handwriting recognition system and method | |
| Tang et al. | Text-independent writer identification via CNN features and joint Bayesian | |
| US6424746B1 (en) | Figure classifying method, figure classifying system, feature extracting method for figure classification, method for producing table for figure classification, information recording medium, method for evaluating degree of similarity or degree of difference between figures, figure normalizing method, and method for determining correspondence between figures | |
| US7729538B2 (en) | Spatial recognition and grouping of text and graphics | |
| JP3155577B2 (ja) | 文字認識方法及び装置 | |
| EP0784285B1 (en) | Method, apparatus and computer program product for generating a classification tree | |
| Herold et al. | The 1¢ recognizer: a fast, accurate, and easy-to-implement handwritten gesture recognition technique | |
| JP3602596B2 (ja) | ドキュメントファイリング装置および方法 | |
| US6256410B1 (en) | Methods and apparatus for customizing handwriting models to individual writers | |
| JPH10240943A (ja) | 試験署名検証方法 | |
| US20070009155A1 (en) | Intelligent importation of information from foreign application user interface using artificial intelligence | |
| JP3761937B2 (ja) | パターン認識方法及び装置及びコンピュータ制御装置 | |
| JP3760040B2 (ja) | 文字認識方法、文字認識装置及び情報記録媒体 | |
| Foggia et al. | Combining statistical and structural approaches for handwritten character description | |
| JP2000215315A (ja) | 図形分類方法、図形検索方法、図形分類検索システム及び記録媒体 | |
| Kapoor et al. | Representation, Extraction of Nodal Features of DevNagri Letters. | |
| JP3977473B2 (ja) | 手書き文字認識方法及び手書き文字認識装置 | |
| JP2004094644A (ja) | 画像処理装置、画像処理方法、記憶媒体及びプログラム | |
| JPH08287188A (ja) | 文字列認識装置 | |
| JP3955410B2 (ja) | 類似情報照合装置、類似情報照合方法、及び、類似情報照合プログラムを記録した記録媒体 | |
| JP3925011B2 (ja) | パターン認識装置及び認識方法 | |
| Ambili et al. | Siamese Neural Network Model for Recognizing Optically Processed Devanagari Hindi Script | |
| JP3209197B2 (ja) | 文字認識装置及び文字認識プログラムを記録した記録媒体 | |
| JP2000067235A (ja) | 図形分類方法、図形検索方法、記録媒体、図形分類装置、及び、図形検索装置 | |
| JP2851865B2 (ja) | 文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050810 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140113 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |