JPH09128489A - 文字認識装置 - Google Patents
文字認識装置Info
- Publication number
- JPH09128489A JPH09128489A JP7281721A JP28172195A JPH09128489A JP H09128489 A JPH09128489 A JP H09128489A JP 7281721 A JP7281721 A JP 7281721A JP 28172195 A JP28172195 A JP 28172195A JP H09128489 A JPH09128489 A JP H09128489A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- neuron
- classification
- layer
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
できる文字認識装置を提供する。 【解決手段】荒分類ニューラルネット211 〜21n 内
の文字種の数を一定とし、これを越えたときは、一番相
違度の大きな文字種を放出して、ニューロン内の文字種
数を一定とすることにより、後段の細分類ニューラルネ
ット221 〜22n の層数を一定に保つことで出力差を
小さくする。
Description
を用いた文字認識装置に関するものである。
ットのBP学習を用いたものが知られているが、このう
ち1つのニューラルネットを用いたシステムでは、認識
文字数が少なかったり、認識率が低いなどの理由から実
用にいたっていない。
教師無し学習を行うステム・ネットと、細分類用の教師
信号ありBP学習を行うブランチ・ネットによる3層型
ニューラルネットにより構成したシステムが考えられて
おり、多種の字種を一括して認識できるようになってい
る。
システムにおける荒分類用のステム・ネットでは、1つ
のニューロン(グループ)内のカテゴリー(字種)数が
一定以上になると、多次元(入力パラメータ数の次元)
超平面で2分割されるようになっているが、この時、カ
テゴリー数が半減するとともに、各ニューロン内のカテ
ゴリー数にも偏りを生じるなどして認識率の低下を招く
ことがあった。
クトルを含む超平面を発生させ、それによりニューロン
内のカテゴリー数がその超平面により同数に分割された
かをチェックし、同数でなかった場合は、さらに乱数を
発生させて新たな超平面を発生させてカテゴリー数が同
数に分割できたかをチェックするような作業を繰り返し
て、ニューロン内のカテゴリー数の偏りをなくす試みが
なされているが、このような作業には、非常に多くの演
算量を必要としていた。
タとしてメッシュ特徴のみを用いているため、文字の変
形、汚れ、移動など対して誤認識し易くなるという問題
点もあった。
三層型ニューラルネットについても、部分結合はしてい
るものの完全に中間層まで分ける程の部分結合になって
おらず、このため学習時間や認識時間が多くかかってい
た。
トの学習収束条件でも、1位の発火が一定値以上(>0.
8 )で、その他の発火が一定値以下(<0.2 )に設定さ
れたり、2乗誤差和が一定値以下に設定されるようにな
るため、学習時間が必要以上に長くかかり、さらに過学
習により汎用性が低下してしまうという問題点もあっ
た。
で、安定した文字認識を短時間に実現できる文字認識装
置を提供することを目的とする。
前段の荒分類を行うベクトル量子化型ニューラルネット
と後段の細分類を行う3層型ニューラルネットからなる
ニューラルネットを有する文字認識装置において、前記
前段の荒分類を行うベクトル量子化型ニューラルネット
は、ニューロン内のメンバー数が一定値を越えると、該
ニューロン内の代表ベクトルから最も遠距離にある相違
度の大きいメンバーを放出する。
いて、前記前段の荒分類を行うベクトル量子化型ニュー
ラルネットは、ニューロン内の代表ベクトルからの距離
計算に、各メンバ間に存在する特定の関係に基づた値で
正規化した結果を用いるようにしている。
いて、後段の細分類を行う3層型ニューラルネットは、
学習収束条件をエラーがなく且つ1位と2位との差を一
定値以上に設定している。
いて、後段の細分類を行う3層型ニューラルネットは、
学習終了時にその発火状況から所定の補正係数を計算し
ておき、各3層型ニューラルネットの出力差を補正して
いる。
いて、後段の細分類を行う3層型ニューラルネットは、
縦成分、横成分、右上斜成分、左上斜成分の局所4方向
の成分特徴の入力パラメータが入力される。
いて、後段の細分類を行う3層型ニューラルネットは、
入力層と中間層の結合を縦横成分と左右上斜成分に分け
て部分結合する。
いて、後段の細分類を行う3層型ニューラルネットは、
入力層と中間層の結合を縦成分、横成分、右上斜成分お
よび左上斜成分に分けて部分結合する。
各ニューロン内の文字種数を一定とし、後段の細分類を
行う3層型ニューラルネットの層数を一定に保ち出力差
を小さすることで、正確な認識を可能にしている。
確な分類が可能になる。
学習時間を短縮できるとともに、焼き付けもなくなり、
汎化性能の高い学習が可能になる。
ューラルネット間の出力差を補正できるので、文字認識
率をさらに改善することができる。
成分特徴が用いることで、相補的で良好な認識が可能
で、高認識率の文字認識を実現できる。
合数を減らすことができ、後段の細分類を行う3層型ニ
ューラルネットの小型、簡略化を実現できる。
に従い説明する。
概略構成を示している。図において、1はDSPなどの
高速演算を可能にしたマイクロコンピュータで、このコ
ンピュータ1は、IR0M11やRAM12を有してい
る。ここで、IR0M11には、図2に示すようなニュ
ーラルネットを実現するためのプログラムが格納されて
いる。
バス2を接続し、このバス2に、認識文字パターンを取
り込むためのスキャナ部3、各種の操作キーを有する入
力キー4、表示用LED5、各ニューラルネットの結合
ウエイトを記憶したROM6、フレームバッファとして
用いられるVRAM71を有するRAM7およびインタ
ーフェース8を接続している。
れるニューラルネットの概略構成を示している。
クトル量子化型ニューラルネット(荒分類ニューラルネ
ット)211 〜21n 、後段の細分類を行う複数個の3
層型ニューラルネット(細分類ニューラルネット)22
1 〜22n から構成している。
21n は、入力パラメータとして、認識対象文字につい
て切り出しなどの前処理を行った後に抽出されるメッシ
ュ特徴とペリフェラル特徴が与えられ、各代表ベクトル
との相違度を下式に従って求め、このうち、相違度の小
さなものから3つのニューロンとその相違度を決定する
ようにしている。
mjiは代表ベクトル成分、hjiは代表ベクトルの平均距
離、cは定数 なお、上述したメッシュ特徴およびペリフェラル特徴の
抽出については、周知の技術なので、ここでの説明は省
略する。
2n は、荒分類ニューラルネット211 〜21n で決定
された3つのニューロンに対応するものについて、上述
した認識対象文字について前処理を行った後に抽出され
る局所4方向成分特徴が入力パラメータとして与えら
れ、これを演算して出力の発火値を得るとともに、さら
に、これら3組について下式により類似度を計算し、類
似度の最大のものを認識結果とするようにしている。
n は、入力パラメータのメッシュ特徴およびペリフェラ
ル特徴として、メッシュ特徴64個、ペリフェラル特徴
64個の合計128個を用い、上述した(2)式により
各ニューロン(ベクトル)内の各データとその代表ベク
トルとの平均距離で正規化することにより類似度を求め
る。
〜21n での学習は、4段階に分かれており、その過程
を図3に示すフローにより説明する。
ニューロンは、0であるので、ステップ301で、学習
データとして1番目のデータが入力されると、無条件で
ニューロンを1つ生成してその入力されたデータをその
まま代表ベクトルとするとともに、平均距離は全て1、
最大相違度も0とする。
が入力されると、ステップ303で、1つ目のデータが
有るので、NOとなってステップ304に進む。ステッ
プ304では、2番目のデータと1つ目のニューロンの
代表ベクトルとの相違度を計算する。なお、ここでの相
違度は、入力データの各パラメータとそれに対応する各
代表ベクトルとの差をそのベクトルの各平均距離で正規
化したものの2乗和のことで、J番目の代表ベクトルと
の相違度は、計算式(1)により求められる。
生成しきい値(このしきい値は、無条件でニューロンを
生成して割り当てるかどうかを決めるもので、第1段目
では、この値を小さく設定している。)より大きいかを
判定する。
合は、ステップ306で、2番目のデータについても1
番目のデータと同様、2つ目のニューロンとして生成
し、ステップ307で、2番目のデータから代表ベクト
ル、平均距離、最大相違度を計算する。ここでの計算
は、図4に示すフローに示すように、まず、ステップ4
01で、2番目のデータから代表ベクトルを計算し、次
いで、ステップ402で、各成分の平均距離を計算し、
最後に相違度を計算するとともに最大相違度を決定す
る。
しきい値より小さいと判断した場合は、ステップ308
で、相違度最小のグループ(ここでは1つ目のニューロ
ン)が一杯かを判断し、一杯で無ければ、ステップ30
9で、1つ目のグループ(ニューロン)に取り込み、ス
テップ310で、1番目のデータと2番目のデータから
図4に示すフローにより代表ベクトル、平均距離、最大
相違度を計算する。
たと同様な動作を繰り返す。但し、ステップ309での
グループへの取り込みは、ニューロンが複数個ある場合
は、相違度の小さい方のニューロンに取り込まれるよう
になる。
ループ(ニューロン)が満杯の場合は、ステップ311
に進む。ここで、相違度最小グループ(ニューロン)の
満杯を確認するのは、1つのニューロン内に収容できる
文字種の数が規定されているからで、この文字種の数が
後段の細分類NNの出力層のニューロン数になり、この
数が一定でないと細分類NNの学習の出力値(発火値)
に影響を及ぼし、式(1)による比較判断の精度が低下
し、誤認識の原因になるためである。
(ニューロン)と自分自身の相違度を比較し、仮に自分
自身の相違度が大きければ、2番目に相違度の小さいニ
ューロンに目標を移すが、ステップ312で、次のグル
ープ(ニューロン)が存在しない場合は、ステップ30
6に戻って、新たなグループ(ニューロン)を生成する
ようになる。
(ニューロン)として2番目に相違度の小さいグループ
(ニューロン)が存在すれば、ステップ313で、この
2番目に相違度の小さいグループ(ニューロン)が満杯
かを判断する。そして、この2番目に相違度の小さいグ
ループ(ニューロン)が満杯でなければ、ステップ30
9で、そのグループ(ニューロン)に取り込むようにな
る。また、満杯ならば、ステップ311に戻って、2番
目に相違度の小さいグループ(ニューロン)と自分自身
の相違度を比較し、さらに自分自身の相違度が大きけれ
ば、3番目に相違度の小さいニューロンに目標を移し
て、上述したと同様な動作を繰り返す。
度が小さければ、ステップ314で、2番目に相違度の
小さいグループ(ニューロン)内で相違度最大のものを
放出しこれと入れ替えを行い、ステップ315で、この
グループ(ニューロン)について図4に示すフローによ
り代表ベクトル、平均距離、最大相違度を計算する。ま
た、このグループ(ニューロン)から放出された相違度
最大のデータについては、ステップ304に戻って、各
ニューロンの代表ベクトルとの相違度を計算し、ステッ
プ305以降の動作を実行する。
ついて実行する。
ロン生成のためのしきい値を大きくしてニューロンを新
たに発生しにくい状態にし、代表ベクトルはそまままに
してもう一度上述の操作を行い全データを再配置する。
つまり、普通ではニューロンを生成しないが、相違度が
異常に大きいような場合にのみ新たなニューロンを生成
するようにする。
ロン数がINT(全文字種/ニューロンの収容文字種数
+1)になるまでニューロン内のメンバー数の少ないニ
ューロンを潰してそのメンバーを上述した操作により他
のニューロンに配置する。
ン数はそのままで第2段階と同様にして全学習データを
再配置する。
ル量子化)の具体例を図5により説明する。
で、このうちニューロンAは、6個で満杯の割合近接し
たメンバー(○印)を有し、ここでの代表ベクトルが
(4.7 ,5 )、平均距離のX方向が0.786 、Y方向が0.
57であり、また、ニューロンBは、5個の離れたメンバ
ー(×印)を有し、ここでの代表ベクトルが(11.4,7.
2)、平均距離のX方向が1.52、Y方向が1.76であると
し、この状態から、入力データとして△印(4 ,8 )が
入力されたとすると、従来では、 KA =(4-4.7)2 +(8-5)2 )1/2 =3.080 KB =(4- 11.4)2 +(8-7.2)2 )1/2 =7.443 となり、ニューロンA側に分類されるが、学習時は、ニ
ューロンA側が満杯のため、ニューロンB側に分類され
ることになるため、矛盾を生じてしまう。
した距離を求めると、 KhA =(((4-4.7)/0.786) 2 +(8-5)/0.53)2 )
1/2 =5.337 KhB =(((4- 11.4)/1.52)2 +(8-7.2)/1.76)2 )
1/2 =4.889 となって、ニューロンB側に正しく分類されることにな
る。
た値で評価するベクトル量子化を行うと、似寄ったもの
が集まれば集まるほど平均距離が小さくなって排他的と
なり、逆に似ていないものが集まると平均距離が大きく
なって許容的となることで(最終的にはその他のベクト
ルとなる)、合理的なベクトル量子化が可能になる。
で正規化を行ったが、全メンバーのメディアなどや標準
偏差、または代表ベクトルに近い方から半分または一定
数のメンバーを用いたり、各成分(方向、次元)別に近
い方から取ったものなども考えられ、その基となる母集
合の特質により適宜使い分ければ、良好なベクトル量子
化が可能になる。
3つのニューロンとその相違度が決定される。
ルネット221 〜22n について説明する。
〜22n は、図6に示すように入力層22a、中間層2
2bおよび出力層22cからなる全結合の3層型ニュー
ラルネットにより構成し、入力パラメータとしては、認
識対象文字について切り出しなどの前処理を行った後、
図7(a)に示す縦成分抽出フィルタ、同図(b)に示
す横成分抽出フィルタ、同図(c)に示す斜(右上)成
分抽出フィルタ、同図(d)に示す斜(左上)成分抽出
フィルタにより局所4方向の成分特徴を抽出し、さらに
図8に示すようにハーフピッチづつずらしながら縦横各
9個のブロックに分割し且つそのブロック内を2次元の
ハミング窓を掛け加算して得るようにしている。つま
り、この場合のパラメータの数は、9(縦)×9(横)
×4(方向)=324である。
所4方向成分のパラメータを求めた後、上述した荒分類
ニューラルネット211 〜21n で決定された3組のニ
ューロン内の文字種の分類にしたがって学習データを分
類し、各細分類ニューラルネット221 〜22n に割り
振り、個々に学習を行い、出力の発火値を得るととも
に、さらに、これら3組について(2)式により類似度
を計算し、類似度の最大のものを認識結果とするように
なる。
データに対して1位と2位との差が>0.5で且つエラ
ーの無いこと」とすることで、学習回数と学習時間を短
縮することにより焼き付きを防止するようにもしてい
る。また、学習終了時にその発火状況から補正係数(例
えば0.9)を計算しておき、各細分類ニューラルネッ
ト221 〜22n の出力差を補正することにより、文字
認識率を改善することも可能になる。
各荒分類ニューラルネット211 〜21n 内の文字種の
数を一定とし、これを越えたときは、一番相違度の大き
な文字種を放出して、ニューロン内の文字種数を一定と
することにより、後段の細分類ニューラルネット221
〜22n の層数を一定に保つことで出力差を小さくでき
ることから、正確な認識を可能にしている。
1 〜21n では、各文字種間の平均距離を正規化して評
価しているので、認識時に正確な分類が可能になる。
1 〜21n には、メッシュ特徴とペリフェラル特徴を用
い、後段の細分類ニューラルネット221 〜22n に
は、局所4方向成分特徴が用いられるため、相補的で良
好な認識が可能で、高認識率の文字認識を実現できる。
2n の学習収束条件として「1位と2位の差が一定値以
上でエラーがないこと」としているため、学習回数と学
習時間を短縮できるとともに、焼き付けもなくなり、汎
化性能の高い学習が可能になる。
2n の学習終了時にその発火状況から所定の補正係数を
計算し付加して、各細分類ニューラルネット間の出力差
を補正しているので、文字認識率をさらに改善すること
ができる。
ューラルネットの入力パラメータをメッシュ特徴とペリ
フェラル特徴としたが、メッシュ特徴またはペリフェラ
ル特徴のいずれか一方のみ、または局所4方向成分特徴
または局所4方向成分特徴の一部でも可能である。
の形態を図9により説明する。この実施の形態での細分
類ニューラルネットは、上述した一実施の形態での細分
類ニューラルネットを小型、簡略化したものであり、入
力層22aと中間層22bの結合を縦横方向成分と斜め
方向成分に分けて部分結合することで、結合数を減らし
ている。また、局所4方向成分の抽出エリアも図10に
示すように重複部分を少なくして千鳥状にすることで、
全体のパラメータ数も(5×5+4×4)×4(方向)
=164となり、上述した一実施の形態の場合と比べ、
約半分に減らすようにしている。
トの入力層22aと中間層22bの結合を部分結合と
し、さらに局所4方向成分抽出エリアを千鳥状にしてパ
ラメータを減らすことにより、演算量を始め、メモリー
量も少なくなり、高速の文字認識を可能にするととも
に、小型機器への応用も可能になる。
をさらに図11に示すように縦方向成分、横方向成分、
右上方向成分および左上方向成分の4方向に部分結合す
るようにすれば、全体の結合数をさらに減らすことがで
きる。
回数と学習時間を短縮できるとともに、高認識率の文字
認識を実現することができる。
概略構成を示す図。
めのフローチャート。
めのフローチャート。
ラルネットの具体例を示す図。
構成を示す図。
説明する図。
ットの概略構成を示す図。
アを説明する図。
ーラルネットの概略構成を示す図。
(荒分類ニューラルネット)、 221 〜22n …3層型ニューラルネット(細分類ニュ
ーラルネット)。
Claims (7)
- 【請求項1】 前段の荒分類を行うベクトル量子化型ニ
ューラルネットと後段の細分類を行う3層型ニューラル
ネットからなるニューラルネットを有する文字認識装置
において、 前記前段の荒分類を行うベクトル量子化型ニューラルネ
ットは、ニューロン内のメンバー数が一定値を越える
と、該ニューロン内の代表ベクトルから最も遠距離にあ
る相違度の大きいメンバーを放出することを特徴とする
文字認識装置。 - 【請求項2】 前記前段の荒分類を行うベクトル量子化
型ニューラルネットは、ニューロン内の代表ベクトルか
らの距離計算に、各メンバ間に存在する特定の関係に基
づた値で正規化した結果を用いることを特徴とする請求
項1記載の文字認識装置。 - 【請求項3】 後段の細分類を行う3層型ニューラルネ
ットは、学習収束条件をエラーがなく且つ1位と2位と
の差を一定値以上に設定することを特徴とする請求項1
記載の文字認識装置。 - 【請求項4】 後段の細分類を行う3層型ニューラルネ
ットは、学習終了時にその発火状況から所定の補正係数
を計算しておき、各3層型ニューラルネットの出力差を
補正することを特徴とする請求項1記載の文字認識装
置。 - 【請求項5】 後段の細分類を行う3層型ニューラルネ
ットは、縦成分、横成分、右上斜成分、左上斜成分の局
所4方向の成分特徴の入力パラメータが入力されること
を特徴とする請求項1記載の文字認識装置。 - 【請求項6】 後段の細分類を行う3層型ニューラルネ
ットは、入力層と中間層の結合を縦横成分と左右上斜成
分に分けて部分結合することを特徴とする請求項5記載
の文字認識装置。 - 【請求項7】 後段の細分類を行う3層型ニューラルネ
ットは、入力層と中間層の結合を縦成分、横成分、右上
斜成分および左上斜成分に分けて部分結合することを特
徴とする請求項5記載の文字認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28172195A JP3804088B2 (ja) | 1995-10-30 | 1995-10-30 | 文字認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28172195A JP3804088B2 (ja) | 1995-10-30 | 1995-10-30 | 文字認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09128489A true JPH09128489A (ja) | 1997-05-16 |
JP3804088B2 JP3804088B2 (ja) | 2006-08-02 |
Family
ID=17643063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28172195A Expired - Fee Related JP3804088B2 (ja) | 1995-10-30 | 1995-10-30 | 文字認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3804088B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113366496A (zh) * | 2018-12-21 | 2021-09-07 | 伟摩有限责任公司 | 用于粗略和精细对象分类的神经网络 |
-
1995
- 1995-10-30 JP JP28172195A patent/JP3804088B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113366496A (zh) * | 2018-12-21 | 2021-09-07 | 伟摩有限责任公司 | 用于粗略和精细对象分类的神经网络 |
US11842282B2 (en) | 2018-12-21 | 2023-12-12 | Waymo Llc | Neural networks for coarse- and fine-object classifications |
CN113366496B (zh) * | 2018-12-21 | 2024-03-15 | 伟摩有限责任公司 | 用于粗略和精细对象分类的神经网络 |
Also Published As
Publication number | Publication date |
---|---|
JP3804088B2 (ja) | 2006-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5249259A (en) | Genetic algorithm technique for designing neural networks | |
Islam et al. | A new adaptive merging and growing algorithm for designing artificial neural networks | |
EP0454037B1 (en) | Neural network for processing a plurality of informations and learning method | |
US20040002928A1 (en) | Pattern recognition method for reducing classification errors | |
US6317730B1 (en) | Method for optimizing a set of fuzzy rules using a computer | |
JPH08227408A (ja) | ニューラルネットワーク | |
EP0459276A2 (en) | Data processing system | |
CN112364974A (zh) | 一种基于激活函数改进的YOLOv3算法 | |
KR0170505B1 (ko) | 다층퍼셉트론 신경회로망의 n비트 데이타 표현에 의한 학습방법 | |
US6944329B2 (en) | Information processing method and apparatus | |
US5479569A (en) | Intelligence information processing method | |
CN109670582A (zh) | 一种全定点化神经网络的设计方法 | |
JPH09128489A (ja) | 文字認識装置 | |
JPH06111038A (ja) | ニューラル・ネットワーク及びその操作方法 | |
CN116089801A (zh) | 一种基于多重置信度的医疗数据缺失值修复的方法 | |
JP2907486B2 (ja) | ニューラルネットワーク装置 | |
JP3035106B2 (ja) | 大規模情報認識回路 | |
JPH0638200B2 (ja) | ダイナミックなニューラルネットワーク | |
EP0567983B1 (en) | Learning type waveform recognizer | |
JP3303253B2 (ja) | パターンマッチング方法および装置 | |
JPH10187649A (ja) | ニューラルネットワーク | |
EP0450521A2 (en) | A learning method for a data processing system | |
JP3337597B2 (ja) | 学習型認識判断装置 | |
JPH05242063A (ja) | ニューラルネットワークシステム | |
Born et al. | Evolutionary structuring of neural networks by solving a binary problem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060418 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060501 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |