JP4011859B2 - 単語画像正規化装置,単語画像正規化プログラム記録媒体および単語画像正規化プログラム - Google Patents
単語画像正規化装置,単語画像正規化プログラム記録媒体および単語画像正規化プログラム Download PDFInfo
- Publication number
- JP4011859B2 JP4011859B2 JP2001057816A JP2001057816A JP4011859B2 JP 4011859 B2 JP4011859 B2 JP 4011859B2 JP 2001057816 A JP2001057816 A JP 2001057816A JP 2001057816 A JP2001057816 A JP 2001057816A JP 4011859 B2 JP4011859 B2 JP 4011859B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- word
- word image
- normalized
- characteristic value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Description
【発明の属する技術分野】
近年,文書入力機器として文字認識装置(OCR)やOCRソフトウェアの需要が増加している。本発明は,この文字認識装置における単語認識のための正規化技術に関する。
【0002】
単語認識とは,手書きの単語を認識する際に,個々の文字に分離したうえで個別文字認識を行うのではなく,単語そのものを一括して認識する方式である。単語認識は,文字同士が互いに接触している文字についても精度の高い認識を実現することが可能であり,より一層の高精度化が期待されている。
【0003】
文字認識装置としては,手書き文字認識装置だけでなく,印刷文字認識装置,携帯情報端末における文字認識装置等,広い意味での文字認識装置に適用可能である。
【0004】
【従来の技術】
従来,手書き単語を認識する場合,一般的には単語画像から個々の文字を切り出し,切り出された画像に対して個別文字認識をするという流れで処理している。しかし,文字と文字とが複雑に接触した手書き単語では,個々の文字を正確に切り出すことが困難であり,精度よく認識することができない。例えば図12(A)に示すように,「東」と「京」とが重なって書かれているような場合には,個々の文字である「東」と「京」とを分離することができずに,個別文字認識の方式では認識が困難であることがある。
【0005】
このような問題を解決するものとして,個々の文字を切り出すのではなく,単語を一括して認識する方法として,特開平11−161740号「単語認識装置」,特開平11−328315号「文字認識装置」等が提案されている。これらの方法では,個々の文字を切り出す必要がないため,単語内の文字同士が接触していても精度よく認識することができる。
【0006】
しかし一方で,文字同士が接触していない場合でも,図12(B)に示すように,単語を構成する文字の並びが傾いている場合や,図12(C)に示すように,単語を構成する各文字の文字サイズが著しく異なっている場合には,認識精度が低下するという問題があった。
【0007】
これは,単語特徴辞書を生成する際に,文字の並びの傾いた単語画像や文字サイズの相違する単語画像を学習サンプルとして用いていない上に,単語画像の正規化方式では,単語全体を一つの文字パターンとみなして,個別文字認識で用いられる正規化方式を代用しているためである。個別文字認識用の正規化方式では,1文字の変動吸収を考慮しているだけなので,単語内の文字並びの傾き変動や各文字のサイズ変動まで吸収することができないことによる。
【0008】
【発明が解決しようとする課題】
以上の問題を回避するため,個別の文字画像を切り出して認識する方式と,単語画像を一括して認識する方式とを組み合わせて用いることで,高い認識精度を実現することも可能である。しかし,この場合には,文字認識用の文字特徴辞書と単語認識用の単語特徴辞書との両方を備える必要があり,辞書容量が膨大になってしまうという問題がある。
【0009】
単語を一括認識する方式の弱点である各文字サイズの変動や文字並びの傾きに起因する認識精度の低下を克服することができれば,個別文字認識を行う必要がなくなるため,単語特徴辞書だけを持てば済むことになる。
【0010】
本発明は上記問題点の解決を図り,単語を一括して認識する方式において,単語用の正規化方式を実現することにより,認識精度および辞書容量の問題を解決することを目的とする。
【0011】
【課題を解決するための手段】
本発明では,上記課題を解決するため,図1に示すような各手段を持つ。図1は,本発明に係る装置のシステム構成例を示す図である。単語画像正規化装置10は,単語画像を入力する単語画像入力部1と,文字の並びの垂直方向の特性値を算出する特性値算出部2と,その特性値をもとに分割点を抽出する分割点抽出部3と,分割点により単語画像を分割して部分画像を生成する分割画像生成部4と,部分画像ごとに文字の並び方向に対して垂直方向(縦方向)の正規化をする正規化部5−1〜n(nは部分画像の数)と,正規化した部分画像を足し合わせ,その画像全体について文字の並び方向(横方向)の正規化をする正規化単語画像生成部6とを備える。
分割点抽出部3が分割点を抽出するときには,特性値算出部2が算出した特性値の並びをもとに,特性値が所定の閾値Tp以下の領域で,かつ画像端もしくは既に確定した分割点からの距離が所定の閾値Td以上の領域を,前記単語画像における分割可能領域として抽出し,その抽出した分割可能領域から分割点を抽出する。
【0012】
これらによって,本発明は,単語画像に対し,まず文字並びの垂直方向に特性値を算出し,算出された特性値に基づいて単語画像を分割し,分割された領域ごとに縦方向に正規化を行い,最後にこれらの正規化画像全体に横方向の正規化を行って,目的とする正規化単語画像を生成する。
【0013】
生成された正規化単語画像は,単語照合部20に入力され,正規化単語画像から単語パターンの特徴が抽出されて,それと単語特徴辞書21にあらかじめ単語ごとに登録された単語パターンの特徴との照合が行われる。照合の結果,特徴間の距離がもっとも小さいものが単語認識結果となる。この単語照合部20による処理は,従来と同様な処理でよい。
【0014】
以上の処理をコンピュータによって実現するためのプログラムは,コンピュータが読み取り可能な可搬媒体メモリ,半導体メモリ,ハードディスクなどの適当な記録媒体に格納することができる。
【0015】
【発明の実施の形態】
以下,本発明の実施の形態を説明する。本発明は縦書き/横書きのいずれの文字についても有効であるが,本例では,横書きの単語を対象に説明する。
【0016】
本発明による処理の流れの概要を図2を用いて説明する。単語画像入力部1により単語画像を入力し(ステップS1),特性値算出部2により,入力単語画像の文字の並びの垂直方向の特性値を黒画素の投影などにより算出し(ステップS2),算出した特性値に基づいて,分割点抽出部3により画像を分割する分割点を抽出し(ステップS3),その分割点をもとに,分割画像生成部4により部分画像を生成する(ステップS4)。各正規化部5−1〜nにより,各部分画像について縦方向の正規化を行い(ステップS5),正規化単語画像生成部6により,正規化した部分画像を足し合わせて結合し(ステップS6),それらの画像全体に横方向の正規化を行って,正規化単語画像を生成し出力する(ステップS7)。
【0017】
図3は,正規化の結果について,従来技術と本発明との比較例を示す図である。図3(A)に示す単語画像「東山」を認識するために,ここでは正規化として線密度イコライゼーションを用いるものとする。従来の技術では,図3(B)に示すように,単語画像全体「東山」で正規化するため,「東」と「山」の文字が一体化して正規化され,「東」と「山」のサイズ変動等の影響が正規化された画像にも現れてしまう。これに対し,本発明では,図3(C)に示すように,「東」と「山」とが別々に正規化されるので,全体としての正規化の精度が向上していることがわかる。
【0018】
図1に示す装置の各部について,本発明の実施の形態を詳しく説明する。単語画像入力部1では,単語画像を入力する。特性値算出部2では,単語画像の分割に用いる特性値を算出する。特性値算出部2で処理する特性値として,例えば黒画素の投影値や,画像上端から見たペリフェラル特徴と画像下端から見たペリフェラル特徴との差分等を用いることができる。
【0019】
分割点抽出部3では,特性値算出部2で算出した特性値を用いて分割点を抽出する。図4に,分割点抽出処理を含む単語画像分割の処理フローを示す。図5は,黒画素の投影値を用いた場合の分割可能領域の抽出例を示す図である。
【0020】
分割点抽出部3では,特性値算出部2で算出した特性値を入力する(ステップS11)。例えば,図5(A)に示す「館林」の単語画像を正規化するものとする。この場合,図5(A)の「館林」は横書きの単語画像であるので,特性値算出部2は,垂直方向の特性値を算出する。ここでは,黒画素の投影ヒストグラム(黒画素の計数値)をとる。
【0021】
次に,図5(B)に示す黒画素の投影ヒストグラムから,その投影値があらかじめ定められた閾値Tp以下で,かつ投影位置が画像端または既に確定した分割位置から閾値Td以上離れている領域を抽出する(ステップS12)。ここで,閾値Tpは単語画像高さHの定数倍(例えばHの0.05倍)とする。閾値Tp以下とすることで,文字が多少重なって書かれていても分割が可能となる。閾値Tdも単語画像高さHの定数倍(例えばHの0.6倍)とする。この閾値Tdは1文字がもつ最小必要幅である。画像端もしくは既に確定した分割位置から閾値Td以上の領域のみを分割可能領域として抽出することで,1文字の幅内での分割をなくす(例えば文字の偏と旁との間を分割点としない)ことができる。このように閾値を定めることで,単語画像の文字の大きさに応じて適切な分割可能領域を抽出することができる。
【0022】
次に,探索した分割可能領域内で,投影値が最小となる点を探索し,分割点とする。投影値が最小となる点が幅を持つ場合には,その幅の中心を分割点とする(ステップS13)。図6に分割点抽出の例を示す。分割点は,分割可能領域内で投影値が最小となる点列の中央に選ばれている。
【0023】
ここで,入力した単語画像中の空白部Wbが,ある閾値Tw以上の場合には,図7に示すように,その領域幅を所定の値Wdに縮小しておく。これは,不要な空白部を除去して,後の横方向の正規化処理の精度をよくするためである。閾値(設定値)としては,単語画像高さHの定数倍とし,例えば,
Tw=1.2×H
Wd=0.2×H
などとする。
【0024】
分割画像生成部4では,分割点抽出部3が抽出した分割点に基づいて単語画像を分割し,部分画像を生成する(ステップS14)。生成した各部分画像を正規化部5−1〜nへ渡す。
【0025】
各正規化部5−1〜nは,受け取った部分画像を正規化する。正規化の際に用いる特性値としては,線密度,線間隔の逆数,2次元局所線密度などを用いることができる。ここでは,特性値に線密度を用い,正規化手法として線密度イコライゼーションを用いる例を説明する。線密度イコライゼーションは,走査時の黒白画素の変化の計数値をもとに,各部分の線分の分布ができるだけ均一になるようにする手法である。すなわち,この正規化手法では,線分が密な領域は引き伸ばされ,線分が疎な領域は圧縮される。線密度イコライゼーションの処理の詳細については,「山田博三他,線密度イコライゼーション(電子情報通信学会論文誌Vol.J67-D,No.11,pp.1379-1387,昭59)」を参照されたい。
【0026】
各正規化部5−1〜nは,図8に示すように,部分画像入力部51,特性値抽出部52,座標変換部53,変換画像生成部54からなる。
【0027】
図9に,正規化部5−1〜nおよび正規化単語画像生成部6による正規化の処理フローを示す。各正規化部5−1〜nでは,部分画像入力部51により,分割画像生成部4から部分画像を入力し(ステップS21),特性値抽出部52により,まず横方向の走査により特性値(線密度)を算出し(ステップS22),座標変換部53により,線密度が均一化するように画像の座標を変換して縦方向の正規化を行い(ステップS23),変換画像生成部54により正規化部分画像を生成する。
【0028】
次に,正規化単語画像生成部6では,各正規化部5−1〜nから受け取った正規化部分画像を足し合わせて結合し(ステップS24),得られた画像全体に対して縦方向の走査により特性値(線密度)を算出し(ステップS25),縦方向の線密度が均一化するように横方向の正規化を行って画像の座標を変換し,正規化単語画像を生成する(ステップS26)。
【0029】
図10に,正規化の例を示す。図10(A)に示す分割点で分割した部分画像のそれぞれについて,縦方向の正規化を行う。図10(B)は,縦方向の正規化を行った部分画像を足し合わせた画像の例である。図10(B)に示す画像の全体に対し,さらに,横方向の正規化を行い,図10(C)に示すような最終的な正規化単語画像を得ることができる。
【0030】
なお,分割点抽出部3で,分割点を抽出する条件を満たすような分割位置が複数ある場合には,それぞれの分割位置をもとに部分画像を生成して,複数の正規化単語画像を生成する。そして,どの正規化単語画像が正しいかは,単語照合部20による単語認識処理の過程においてチェックするようにする。
【0031】
図11は,図5(A)に示す単語画像について分割を行った結果,2つの正規化単語画像を生成した場合の例を示す。この場合,認識処理において,これらの2つの正規化単語画像のそれぞれに対して認識処理を行い,認識得点の高いもの(特徴間の距離の小さいもの)を用いるようにする。
【0032】
本実施の形態の特徴を列挙すると,以下のとおりである。
【0033】
(1)単語画像の正規化方式において,文字の並びについて垂直方向に特性値を算出し,算出された特性値に基づき画像を小領域に分割する手段と,分割された小領域ごとに画像の正規化を行う手段と,小領域ごとに正規化された画像のすべてに対し横方向の正規化を行い,正規化単語画像を得る手段とを備える。
【0034】
単語画像を小領域に分割し,分割した小領域(部分画像)ごとに正規化を施し,最後に全ての部分正規化画像を結合したものに対して横方向の正規化を行っているため,単語を構成する各文字のサイズが大きく異なったり,位置が変動している場合でも,生成される正規化単語画像はそれらの影響を受けにくくなり,その結果,単語認識精度が向上する。
【0035】
(2)上記(1)で画像を小領域に分割する際に,各ラインごとに算出された特性値の並びから分割可能領域を抽出する手段と,分割可能領域から分割点を抽出する手段とを備える。これによって分割点を精度よく抽出することができ,より正しい正規化画像を得ることができる。
【0036】
(3)上記(2)で分割可能領域を抽出する際に,特性値が閾値Tp以下の領域で,かつ画像端もしくは既に確定した分割点からの距離が閾値Td以上の領域を分割可能領域とする手段を備える。これによって,文字同士が接触している場合でも,分割領域を抽出することができる。
【0037】
(4)上記(3)で特性値の閾値Tpを決定する際に,単語画像の高さの定数倍を閾値Tpとする。これによって,特性値の閾値パラメータを文字サイズに応じて決定することができる。
【0038】
(5)上記(3)で距離の閾値Tdを決定する際に,単語画像の高さの定数倍を閾値Tdとする。これによって,距離の閾値パラメータを文字サイズに応じて決定することができる。
【0039】
(6)上記(2)で分割点を抽出する際に,分割可能領域内の投影値の最小値,もしくは最小値を持つ点が1点でない場合にはその中間の位置を分割点とする。これによって,最適な分割点を抽出することが可能になる。
【0040】
(7)上記(1)で文字並び方向の正規化を行う際に,上記(3)で抽出した分割可能領域のうち,投影値0の領域幅が閾値Tw以上の場合に,その領域幅を縮小する。あらかじめ単語画像内の空白部を小さくしておくことにより,正規化を行う際に空白部の悪影響を減らすことができる。
【0041】
(8)上記(7)で閾値Twを決定する際に,単語画像の高さの定数倍を閾値Twとする。これによって縮小する幅の閾値パラメータを文字サイズに応じて決定することができる。
(9)上記(2)で1つの画像について分割位置が複数考えられる際に,正規化単語画像を複数生成する。複数の正規化単語画像を生成することにより,分割点抽出のミスによる誤読を減らすことが可能である。
【0042】
【発明の効果】
以上説明したように,本発明によれば,単語画像を小領域に分割し,分割した小領域(部分画像)ごとに正規化を施し,最後に全ての部分正規化画像に対して横方向の正規化を行っているため,単語を構成する各文字のサイズが大きく異なったり,位置が変動している場合でも,生成される正規化単語画像はそれらの影響を受けにくくなり,その結果,単語認識精度が向上する。本発明は,特に手書きされた住所を認識するような場合に効果が大きい。
【図面の簡単な説明】
【図1】本発明のシステム構成例を示す図である。
【図2】本発明の全体の処理フローを示す図である。
【図3】従来技術と本発明との比較例を説明するための図である。
【図4】単語画像分割の処理フローを示す図である。
【図5】分割可能領域の抽出例を示す図である。
【図6】分割点抽出の例を示す図である。
【図7】長大空白部縮小の例を示す図である。
【図8】正規化部の構成例を示す図である。
【図9】正規化部および正規化単語画像生成部による正規化の処理フローを示す図である。
【図10】正規化の例を示す図である。
【図11】正規化単語画像が複数の場合の例を示す図である。
【図12】従来技術で問題となる単語画像の例を示す図である。
【符号の説明】
1 単語画像入力部
2 特性値算出部
3 分割点抽出部
4 分割画像生成部
5−1,…,5−n 正規化部
6 正規化単語画像生成部
10 単語画像正規化装置
20 単語照合部
21 単語特徴辞書
Claims (5)
- 単語認識のために単語画像を正規化する装置において,
入力した単語画像に対し,文字の並びに垂直な方向の特性値を算出し,その算出した特性値の並びをもとに,特性値が所定の閾値Tp以下の領域で,かつ画像端もしくは既に確定した分割点からの距離が所定の閾値Td以上の領域を,前記単語画像における分割可能領域として抽出し,その抽出した分割可能領域から分割点を抽出することにより,抽出した分割点に従って単語画像を小領域に分割する分割手段と,
前記小領域ごとに文字の並びの垂直方向に画像を正規化する部分画像正規化手段と,
前記正規化した小領域の画像を足し合わせ,その画像全体について文字の並びの方向に正規化し,正規化単語画像を出力する正規化単語画像生成手段とを備える
ことを特徴とする単語画像正規化装置。 - 請求項1に記載の単語画像正規化装置であって,
前記分割手段は,前記分割可能領域を抽出する際に,前記特性値の閾値Tpを,前記単語画像の高さにあらかじめ定められた第1の設定値を乗じた値とし,前記特性値の閾値Tdを,前記単語画像の高さにあらかじめ定められた第2の設定値を乗じた値とする
ことを特徴とする単語画像正規化装置。 - 請求項1または請求項2に記載の単語画像正規化装置であって,
前記分割手段は,1つの単語画像について分割位置の組の候補が複数ある場合に,単語画像を各分割位置の組でそれぞれ分割し,
前記部分画像正規化手段は,異なる分割位置の組で分割された部分画像群に対してそれぞれ正規化を行い,
前記正規化単語画像生成手段は,異なる分割位置の組で分割された部分画像群をもとに正規化された単語画像を複数生成する
ことを特徴とする単語画像正規化装置。 - 単語認識のために単語画像を正規化する装置をコンピュータによって実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって,
前記コンピュータを,
入力した単語画像に対し,文字の並びに垂直な方向の特性値を算出し,その算出した特性値の並びをもとに,特性値が所定の閾値Tp以下の領域で,かつ画像端もしくは既に確定した分割点からの距離が所定の閾値Td以上の領域を,前記単語画像における分割可能領域として抽出し,その抽出した分割可能領域から分割点を抽出することにより,抽出した分割点に従って単語画像を小領域に分割する分割手段と,
前記小領域ごとに文字の並びの垂直方向に画像を正規化する部分画像正規化手段と,
前記正規化した小領域の画像を足し合わせ,その画像全体について文字の並びの方向に正規化し,正規化単語画像を出力する正規化単語画像生成手段として,
機能させるためのプログラムを記録した単語画像正規化プログラム記録媒体。 - 単語認識のために単語画像を正規化する装置をコンピュータによって実現するためのプログラムであって,
前記コンピュータを,
入力した単語画像に対し,文字の並びに垂直な方向の特性値を算出し,その算出した特性値の並びをもとに,特性値が所定の閾値Tp以下の領域で,かつ画像端もしくは既に確定した分割点からの距離が所定の閾値Td以上の領域を,前記単語画像における分割可能領域として抽出し,その抽出した分割可能領域から分割点を抽出することにより,抽出した分割点に従って単語画像を小領域に分割する分割手段と,
前記小領域ごとに文字の並びの垂直方向に画像を正規化する部分画像正規化手段と,
前記正規化した小領域の画像を足し合わせ,その画像全体について文字の並びの方向に正規化し,正規化単語画像を出力する正規化単語画像生成手段として,
機能させるための単語画像正規化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001057816A JP4011859B2 (ja) | 2000-03-30 | 2001-03-02 | 単語画像正規化装置,単語画像正規化プログラム記録媒体および単語画像正規化プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000094109 | 2000-03-30 | ||
JP2000-94109 | 2000-03-30 | ||
JP2001057816A JP4011859B2 (ja) | 2000-03-30 | 2001-03-02 | 単語画像正規化装置,単語画像正規化プログラム記録媒体および単語画像正規化プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001344565A JP2001344565A (ja) | 2001-12-14 |
JP4011859B2 true JP4011859B2 (ja) | 2007-11-21 |
Family
ID=26588888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001057816A Expired - Fee Related JP4011859B2 (ja) | 2000-03-30 | 2001-03-02 | 単語画像正規化装置,単語画像正規化プログラム記録媒体および単語画像正規化プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4011859B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027567A (zh) * | 2019-10-30 | 2020-04-17 | 四川轻化工大学 | 一种基于算法学习的边缘提取方法 |
-
2001
- 2001-03-02 JP JP2001057816A patent/JP4011859B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001344565A (ja) | 2001-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5410611A (en) | Method for identifying word bounding boxes in text | |
US5539841A (en) | Method for comparing image sections to determine similarity therebetween | |
US7336827B2 (en) | System, process and software arrangement for recognizing handwritten characters | |
US6970601B1 (en) | Form search apparatus and method | |
JP3343864B2 (ja) | 語体の分離方法 | |
EP1598770B1 (en) | Low resolution optical character recognition for camera acquired documents | |
Kumar et al. | Classification of characters and grading writers in offline handwritten Gurmukhi script | |
JP3428494B2 (ja) | 文字認識装置及びその文字認識方法並びにその制御プログラムを記録した記録媒体 | |
Li et al. | Script identification of camera-based images | |
JP4011859B2 (ja) | 単語画像正規化装置,単語画像正規化プログラム記録媒体および単語画像正規化プログラム | |
JPH11272800A (ja) | 文字認識装置 | |
JP3798179B2 (ja) | パターン抽出装置及び文字切り出し装置 | |
JPH10162102A (ja) | 文字認識装置 | |
JP3815934B2 (ja) | 手書き文字認識装置および方法 | |
JP3209197B2 (ja) | 文字認識装置及び文字認識プログラムを記録した記録媒体 | |
JP2004046528A (ja) | 文書方向推定方法および文書方向推定プログラム | |
JP4209511B2 (ja) | 文字認識方法、文字認識装置および文字認識方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3897999B2 (ja) | 手書き文字認識方法 | |
JP2580976B2 (ja) | 文字切出し装置 | |
JPH03126188A (ja) | 文字認識装置 | |
JP2866920B2 (ja) | 標準パターン作成方法及び装置並びに文字認識装置及び方法 | |
JP2973892B2 (ja) | 文字認識方式 | |
Saeed et al. | Intelligent feature extract system for cursive-script recognition | |
JP2891211B2 (ja) | 光学式文字読取装置および方法 | |
JP2918363B2 (ja) | 文字分類方法及び文字認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070906 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |