JPH09128489A - 文字認識装置 - Google Patents
文字認識装置Info
- Publication number
- JPH09128489A JPH09128489A JP7281721A JP28172195A JPH09128489A JP H09128489 A JPH09128489 A JP H09128489A JP 7281721 A JP7281721 A JP 7281721A JP 28172195 A JP28172195 A JP 28172195A JP H09128489 A JPH09128489 A JP H09128489A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- neuron
- classification
- layer
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
(57)【要約】
【課題】 本発明は、安定した文字認識を短時間に実現
できる文字認識装置を提供する。 【解決手段】荒分類ニューラルネット２１1 〜２１n 内
の文字種の数を一定とし、これを越えたときは、一番相
違度の大きな文字種を放出して、ニューロン内の文字種
数を一定とすることにより、後段の細分類ニューラルネ
ット２２1 〜２２n の層数を一定に保つことで出力差を
小さくする。
できる文字認識装置を提供する。 【解決手段】荒分類ニューラルネット２１1 〜２１n 内
の文字種の数を一定とし、これを越えたときは、一番相
違度の大きな文字種を放出して、ニューロン内の文字種
数を一定とすることにより、後段の細分類ニューラルネ
ット２２1 〜２２n の層数を一定に保つことで出力差を
小さくする。
Description
【０００１】
【発明の属する技術分野】本発明は、ニューラルネット
を用いた文字認識装置に関するものである。
を用いた文字認識装置に関するものである。
【０００２】
【従来の技術】従来、文字認識装置としてニューラルネ
ットのＢＰ学習を用いたものが知られているが、このう
ち１つのニューラルネットを用いたシステムでは、認識
文字数が少なかったり、認識率が低いなどの理由から実
用にいたっていない。
ットのＢＰ学習を用いたものが知られているが、このう
ち１つのニューラルネットを用いたシステムでは、認識
文字数が少なかったり、認識率が低いなどの理由から実
用にいたっていない。
【０００３】これに対して、最近になって、荒分類用の
教師無し学習を行うステム・ネットと、細分類用の教師
信号ありＢＰ学習を行うブランチ・ネットによる３層型
ニューラルネットにより構成したシステムが考えられて
おり、多種の字種を一括して認識できるようになってい
る。
教師無し学習を行うステム・ネットと、細分類用の教師
信号ありＢＰ学習を行うブランチ・ネットによる３層型
ニューラルネットにより構成したシステムが考えられて
おり、多種の字種を一括して認識できるようになってい
る。
【０００４】
【発明が解決しようとする課題】ところが、このような
システムにおける荒分類用のステム・ネットでは、１つ
のニューロン（グループ）内のカテゴリー（字種）数が
一定以上になると、多次元（入力パラメータ数の次元）
超平面で２分割されるようになっているが、この時、カ
テゴリー数が半減するとともに、各ニューロン内のカテ
ゴリー数にも偏りを生じるなどして認識率の低下を招く
ことがあった。
システムにおける荒分類用のステム・ネットでは、１つ
のニューロン（グループ）内のカテゴリー（字種）数が
一定以上になると、多次元（入力パラメータ数の次元）
超平面で２分割されるようになっているが、この時、カ
テゴリー数が半減するとともに、各ニューロン内のカテ
ゴリー数にも偏りを生じるなどして認識率の低下を招く
ことがあった。
【０００５】そこで、この分割の際、乱数により参照ベ
クトルを含む超平面を発生させ、それによりニューロン
内のカテゴリー数がその超平面により同数に分割された
かをチェックし、同数でなかった場合は、さらに乱数を
発生させて新たな超平面を発生させてカテゴリー数が同
数に分割できたかをチェックするような作業を繰り返し
て、ニューロン内のカテゴリー数の偏りをなくす試みが
なされているが、このような作業には、非常に多くの演
算量を必要としていた。
クトルを含む超平面を発生させ、それによりニューロン
内のカテゴリー数がその超平面により同数に分割された
かをチェックし、同数でなかった場合は、さらに乱数を
発生させて新たな超平面を発生させてカテゴリー数が同
数に分割できたかをチェックするような作業を繰り返し
て、ニューロン内のカテゴリー数の偏りをなくす試みが
なされているが、このような作業には、非常に多くの演
算量を必要としていた。
【０００６】また、このようなシステムの入力パラメー
タとしてメッシュ特徴のみを用いているため、文字の変
形、汚れ、移動など対して誤認識し易くなるという問題
点もあった。
タとしてメッシュ特徴のみを用いているため、文字の変
形、汚れ、移動など対して誤認識し易くなるという問題
点もあった。
【０００７】さらに、細分類のブランチ・ネットによる
三層型ニューラルネットについても、部分結合はしてい
るものの完全に中間層まで分ける程の部分結合になって
おらず、このため学習時間や認識時間が多くかかってい
た。
三層型ニューラルネットについても、部分結合はしてい
るものの完全に中間層まで分ける程の部分結合になって
おらず、このため学習時間や認識時間が多くかかってい
た。
【０００８】さらにまた、かかる３層型ニューラルネッ
トの学習収束条件でも、１位の発火が一定値以上（＞0.
8 ）で、その他の発火が一定値以下（＜0.2 ）に設定さ
れたり、２乗誤差和が一定値以下に設定されるようにな
るため、学習時間が必要以上に長くかかり、さらに過学
習により汎用性が低下してしまうという問題点もあっ
た。
トの学習収束条件でも、１位の発火が一定値以上（＞0.
8 ）で、その他の発火が一定値以下（＜0.2 ）に設定さ
れたり、２乗誤差和が一定値以下に設定されるようにな
るため、学習時間が必要以上に長くかかり、さらに過学
習により汎用性が低下してしまうという問題点もあっ
た。
【０００９】本発明は、上記事情に鑑みてなされたもの
で、安定した文字認識を短時間に実現できる文字認識装
置を提供することを目的とする。
で、安定した文字認識を短時間に実現できる文字認識装
置を提供することを目的とする。
【００１０】
【課題を解決するための手段】請求項１記載の発明は、
前段の荒分類を行うベクトル量子化型ニューラルネット
と後段の細分類を行う３層型ニューラルネットからなる
ニューラルネットを有する文字認識装置において、前記
前段の荒分類を行うベクトル量子化型ニューラルネット
は、ニューロン内のメンバー数が一定値を越えると、該
ニューロン内の代表ベクトルから最も遠距離にある相違
度の大きいメンバーを放出する。
前段の荒分類を行うベクトル量子化型ニューラルネット
と後段の細分類を行う３層型ニューラルネットからなる
ニューラルネットを有する文字認識装置において、前記
前段の荒分類を行うベクトル量子化型ニューラルネット
は、ニューロン内のメンバー数が一定値を越えると、該
ニューロン内の代表ベクトルから最も遠距離にある相違
度の大きいメンバーを放出する。
【００１１】請求項２記載の発明は、請求項１記載にお
いて、前記前段の荒分類を行うベクトル量子化型ニュー
ラルネットは、ニューロン内の代表ベクトルからの距離
計算に、各メンバ間に存在する特定の関係に基づた値で
正規化した結果を用いるようにしている。
いて、前記前段の荒分類を行うベクトル量子化型ニュー
ラルネットは、ニューロン内の代表ベクトルからの距離
計算に、各メンバ間に存在する特定の関係に基づた値で
正規化した結果を用いるようにしている。
【００１２】請求項３記載の発明は、請求項１記載にお
いて、後段の細分類を行う３層型ニューラルネットは、
学習収束条件をエラーがなく且つ１位と２位との差を一
定値以上に設定している。
いて、後段の細分類を行う３層型ニューラルネットは、
学習収束条件をエラーがなく且つ１位と２位との差を一
定値以上に設定している。
【００１３】請求項４記載の発明は、請求項１記載にお
いて、後段の細分類を行う３層型ニューラルネットは、
学習終了時にその発火状況から所定の補正係数を計算し
ておき、各３層型ニューラルネットの出力差を補正して
いる。
いて、後段の細分類を行う３層型ニューラルネットは、
学習終了時にその発火状況から所定の補正係数を計算し
ておき、各３層型ニューラルネットの出力差を補正して
いる。
【００１４】請求項５記載の発明は、請求項１記載にお
いて、後段の細分類を行う３層型ニューラルネットは、
縦成分、横成分、右上斜成分、左上斜成分の局所４方向
の成分特徴の入力パラメータが入力される。
いて、後段の細分類を行う３層型ニューラルネットは、
縦成分、横成分、右上斜成分、左上斜成分の局所４方向
の成分特徴の入力パラメータが入力される。
【００１５】請求項６記載の発明は、請求項１記載にお
いて、後段の細分類を行う３層型ニューラルネットは、
入力層と中間層の結合を縦横成分と左右上斜成分に分け
て部分結合する。
いて、後段の細分類を行う３層型ニューラルネットは、
入力層と中間層の結合を縦横成分と左右上斜成分に分け
て部分結合する。
【００１６】請求項６記載の発明は、請求項１記載にお
いて、後段の細分類を行う３層型ニューラルネットは、
入力層と中間層の結合を縦成分、横成分、右上斜成分お
よび左上斜成分に分けて部分結合する。
いて、後段の細分類を行う３層型ニューラルネットは、
入力層と中間層の結合を縦成分、横成分、右上斜成分お
よび左上斜成分に分けて部分結合する。
【００１７】この結果、請求項１記載の発明によれば、
各ニューロン内の文字種数を一定とし、後段の細分類を
行う３層型ニューラルネットの層数を一定に保ち出力差
を小さすることで、正確な認識を可能にしている。
各ニューロン内の文字種数を一定とし、後段の細分類を
行う３層型ニューラルネットの層数を一定に保ち出力差
を小さすることで、正確な認識を可能にしている。
【００１８】請求項２記載の発明によれば、認識時に正
確な分類が可能になる。
確な分類が可能になる。
【００１９】請求項３記載の発明によれば、学習回数と
学習時間を短縮できるとともに、焼き付けもなくなり、
汎化性能の高い学習が可能になる。
学習時間を短縮できるとともに、焼き付けもなくなり、
汎化性能の高い学習が可能になる。
【００２０】請求項４記載の発明によれば、各細分類ニ
ューラルネット間の出力差を補正できるので、文字認識
率をさらに改善することができる。
ューラルネット間の出力差を補正できるので、文字認識
率をさらに改善することができる。
【００２１】請求項５記載の発明によれば、局所４方向
成分特徴が用いることで、相補的で良好な認識が可能
で、高認識率の文字認識を実現できる。
成分特徴が用いることで、相補的で良好な認識が可能
で、高認識率の文字認識を実現できる。
【００２２】請求項６または７記載の発明によれば、結
合数を減らすことができ、後段の細分類を行う３層型ニ
ューラルネットの小型、簡略化を実現できる。
合数を減らすことができ、後段の細分類を行う３層型ニ
ューラルネットの小型、簡略化を実現できる。
【００２３】
【発明の実施の形態】以下、本発明の実施の形態を図面
に従い説明する。
に従い説明する。
【００２４】図１は本発明が適用される文字認識装置の
概略構成を示している。図において、１はＤＳＰなどの
高速演算を可能にしたマイクロコンピュータで、このコ
ンピュータ１は、ＩＲ０Ｍ１１やＲＡＭ１２を有してい
る。ここで、ＩＲ０Ｍ１１には、図２に示すようなニュ
ーラルネットを実現するためのプログラムが格納されて
いる。
概略構成を示している。図において、１はＤＳＰなどの
高速演算を可能にしたマイクロコンピュータで、このコ
ンピュータ１は、ＩＲ０Ｍ１１やＲＡＭ１２を有してい
る。ここで、ＩＲ０Ｍ１１には、図２に示すようなニュ
ーラルネットを実現するためのプログラムが格納されて
いる。
【００２５】また、このマイクロコンピュータ１には、
バス２を接続し、このバス２に、認識文字パターンを取
り込むためのスキャナ部３、各種の操作キーを有する入
力キー４、表示用ＬＥＤ５、各ニューラルネットの結合
ウエイトを記憶したＲＯＭ６、フレームバッファとして
用いられるＶＲＡＭ７１を有するＲＡＭ７およびインタ
ーフェース８を接続している。
バス２を接続し、このバス２に、認識文字パターンを取
り込むためのスキャナ部３、各種の操作キーを有する入
力キー４、表示用ＬＥＤ５、各ニューラルネットの結合
ウエイトを記憶したＲＯＭ６、フレームバッファとして
用いられるＶＲＡＭ７１を有するＲＡＭ７およびインタ
ーフェース８を接続している。
【００２６】図２は、このような文字認識装置に用いら
れるニューラルネットの概略構成を示している。
れるニューラルネットの概略構成を示している。
【００２７】この場合、前段の荒分類を行う複数個のベ
クトル量子化型ニューラルネット（荒分類ニューラルネ
ット）２１1 〜２１n 、後段の細分類を行う複数個の３
層型ニューラルネット（細分類ニューラルネット）２２
1 〜２２n から構成している。
クトル量子化型ニューラルネット（荒分類ニューラルネ
ット）２１1 〜２１n 、後段の細分類を行う複数個の３
層型ニューラルネット（細分類ニューラルネット）２２
1 〜２２n から構成している。
【００２８】ここで、荒分類ニューラルネット２１1 〜
２１n は、入力パラメータとして、認識対象文字につい
て切り出しなどの前処理を行った後に抽出されるメッシ
ュ特徴とペリフェラル特徴が与えられ、各代表ベクトル
との相違度を下式に従って求め、このうち、相違度の小
さなものから３つのニューロンとその相違度を決定する
ようにしている。
２１n は、入力パラメータとして、認識対象文字につい
て切り出しなどの前処理を行った後に抽出されるメッシ
ュ特徴とペリフェラル特徴が与えられ、各代表ベクトル
との相違度を下式に従って求め、このうち、相違度の小
さなものから３つのニューロンとその相違度を決定する
ようにしている。
【００２９】
【数１】
【００３０】ただし、ｘi は入力データのパラメータ、
ｍjiは代表ベクトル成分、ｈjiは代表ベクトルの平均距
離、ｃは定数 なお、上述したメッシュ特徴およびペリフェラル特徴の
抽出については、周知の技術なので、ここでの説明は省
略する。
ｍjiは代表ベクトル成分、ｈjiは代表ベクトルの平均距
離、ｃは定数 なお、上述したメッシュ特徴およびペリフェラル特徴の
抽出については、周知の技術なので、ここでの説明は省
略する。
【００３１】また、細分類ニューラルネット２２1 〜２
２n は、荒分類ニューラルネット２１1 〜２１n で決定
された３つのニューロンに対応するものについて、上述
した認識対象文字について前処理を行った後に抽出され
る局所４方向成分特徴が入力パラメータとして与えら
れ、これを演算して出力の発火値を得るとともに、さら
に、これら３組について下式により類似度を計算し、類
似度の最大のものを認識結果とするようにしている。
２n は、荒分類ニューラルネット２１1 〜２１n で決定
された３つのニューロンに対応するものについて、上述
した認識対象文字について前処理を行った後に抽出され
る局所４方向成分特徴が入力パラメータとして与えら
れ、これを演算して出力の発火値を得るとともに、さら
に、これら３組について下式により類似度を計算し、類
似度の最大のものを認識結果とするようにしている。
【００３２】 類似度＝Ｃ／（荒分類ニューラルネットの相違度）α・（細分類ニューラ ルネットの発火値）β …（２） ただし、Ｃ、α、βは定数 しかして、まず、荒分類ニューラルネット２１1 〜２１
n は、入力パラメータのメッシュ特徴およびペリフェラ
ル特徴として、メッシュ特徴６４個、ペリフェラル特徴
６４個の合計１２８個を用い、上述した（２）式により
各ニューロン（ベクトル）内の各データとその代表ベク
トルとの平均距離で正規化することにより類似度を求め
る。
n は、入力パラメータのメッシュ特徴およびペリフェラ
ル特徴として、メッシュ特徴６４個、ペリフェラル特徴
６４個の合計１２８個を用い、上述した（２）式により
各ニューロン（ベクトル）内の各データとその代表ベク
トルとの平均距離で正規化することにより類似度を求め
る。
【００３３】この場合、荒分類ニューラルネット２１1
〜２１n での学習は、４段階に分かれており、その過程
を図３に示すフローにより説明する。
〜２１n での学習は、４段階に分かれており、その過程
を図３に示すフローにより説明する。
【００３４】まず、第１段階において、初期状態では、
ニューロンは、０であるので、ステップ３０１で、学習
データとして１番目のデータが入力されると、無条件で
ニューロンを１つ生成してその入力されたデータをその
まま代表ベクトルとするとともに、平均距離は全て１、
最大相違度も０とする。
ニューロンは、０であるので、ステップ３０１で、学習
データとして１番目のデータが入力されると、無条件で
ニューロンを１つ生成してその入力されたデータをその
まま代表ベクトルとするとともに、平均距離は全て１、
最大相違度も０とする。
【００３５】次に、ステップ３０２で、２番目のデータ
が入力されると、ステップ３０３で、１つ目のデータが
有るので、ＮＯとなってステップ３０４に進む。ステッ
プ３０４では、２番目のデータと１つ目のニューロンの
代表ベクトルとの相違度を計算する。なお、ここでの相
違度は、入力データの各パラメータとそれに対応する各
代表ベクトルとの差をそのベクトルの各平均距離で正規
化したものの２乗和のことで、Ｊ番目の代表ベクトルと
の相違度は、計算式（１）により求められる。
が入力されると、ステップ３０３で、１つ目のデータが
有るので、ＮＯとなってステップ３０４に進む。ステッ
プ３０４では、２番目のデータと１つ目のニューロンの
代表ベクトルとの相違度を計算する。なお、ここでの相
違度は、入力データの各パラメータとそれに対応する各
代表ベクトルとの差をそのベクトルの各平均距離で正規
化したものの２乗和のことで、Ｊ番目の代表ベクトルと
の相違度は、計算式（１）により求められる。
【００３６】そして、ステップ３０５で、この相違度が
生成しきい値（このしきい値は、無条件でニューロンを
生成して割り当てるかどうかを決めるもので、第１段目
では、この値を小さく設定している。）より大きいかを
判定する。
生成しきい値（このしきい値は、無条件でニューロンを
生成して割り当てるかどうかを決めるもので、第１段目
では、この値を小さく設定している。）より大きいかを
判定する。
【００３７】この場合、相違度がしきい値より大きい場
合は、ステップ３０６で、２番目のデータについても１
番目のデータと同様、２つ目のニューロンとして生成
し、ステップ３０７で、２番目のデータから代表ベクト
ル、平均距離、最大相違度を計算する。ここでの計算
は、図４に示すフローに示すように、まず、ステップ４
０１で、２番目のデータから代表ベクトルを計算し、次
いで、ステップ４０２で、各成分の平均距離を計算し、
最後に相違度を計算するとともに最大相違度を決定す
る。
合は、ステップ３０６で、２番目のデータについても１
番目のデータと同様、２つ目のニューロンとして生成
し、ステップ３０７で、２番目のデータから代表ベクト
ル、平均距離、最大相違度を計算する。ここでの計算
は、図４に示すフローに示すように、まず、ステップ４
０１で、２番目のデータから代表ベクトルを計算し、次
いで、ステップ４０２で、各成分の平均距離を計算し、
最後に相違度を計算するとともに最大相違度を決定す
る。
【００３８】一方、図３に戻って、ステップ３０５で、
しきい値より小さいと判断した場合は、ステップ３０８
で、相違度最小のグループ（ここでは１つ目のニューロ
ン）が一杯かを判断し、一杯で無ければ、ステップ３０
９で、１つ目のグループ（ニューロン）に取り込み、ス
テップ３１０で、１番目のデータと２番目のデータから
図４に示すフローにより代表ベクトル、平均距離、最大
相違度を計算する。
しきい値より小さいと判断した場合は、ステップ３０８
で、相違度最小のグループ（ここでは１つ目のニューロ
ン）が一杯かを判断し、一杯で無ければ、ステップ３０
９で、１つ目のグループ（ニューロン）に取り込み、ス
テップ３１０で、１番目のデータと２番目のデータから
図４に示すフローにより代表ベクトル、平均距離、最大
相違度を計算する。
【００３９】以下、３番目のデータについても、上述し
たと同様な動作を繰り返す。但し、ステップ３０９での
グループへの取り込みは、ニューロンが複数個ある場合
は、相違度の小さい方のニューロンに取り込まれるよう
になる。
たと同様な動作を繰り返す。但し、ステップ３０９での
グループへの取り込みは、ニューロンが複数個ある場合
は、相違度の小さい方のニューロンに取り込まれるよう
になる。
【００４０】また、ステップ３０８で、相違度最小のグ
ループ（ニューロン）が満杯の場合は、ステップ３１１
に進む。ここで、相違度最小グループ（ニューロン）の
満杯を確認するのは、１つのニューロン内に収容できる
文字種の数が規定されているからで、この文字種の数が
後段の細分類ＮＮの出力層のニューロン数になり、この
数が一定でないと細分類ＮＮの学習の出力値（発火値）
に影響を及ぼし、式（１）による比較判断の精度が低下
し、誤認識の原因になるためである。
ループ（ニューロン）が満杯の場合は、ステップ３１１
に進む。ここで、相違度最小グループ（ニューロン）の
満杯を確認するのは、１つのニューロン内に収容できる
文字種の数が規定されているからで、この文字種の数が
後段の細分類ＮＮの出力層のニューロン数になり、この
数が一定でないと細分類ＮＮの学習の出力値（発火値）
に影響を及ぼし、式（１）による比較判断の精度が低下
し、誤認識の原因になるためである。
【００４１】ステップ３１１では、相違度最小グループ
（ニューロン）と自分自身の相違度を比較し、仮に自分
自身の相違度が大きければ、２番目に相違度の小さいニ
ューロンに目標を移すが、ステップ３１２で、次のグル
ープ（ニューロン）が存在しない場合は、ステップ３０
６に戻って、新たなグループ（ニューロン）を生成する
ようになる。
（ニューロン）と自分自身の相違度を比較し、仮に自分
自身の相違度が大きければ、２番目に相違度の小さいニ
ューロンに目標を移すが、ステップ３１２で、次のグル
ープ（ニューロン）が存在しない場合は、ステップ３０
６に戻って、新たなグループ（ニューロン）を生成する
ようになる。
【００４２】一方、ステップ３１２で、次のグループ
（ニューロン）として２番目に相違度の小さいグループ
（ニューロン）が存在すれば、ステップ３１３で、この
２番目に相違度の小さいグループ（ニューロン）が満杯
かを判断する。そして、この２番目に相違度の小さいグ
ループ（ニューロン）が満杯でなければ、ステップ３０
９で、そのグループ（ニューロン）に取り込むようにな
る。また、満杯ならば、ステップ３１１に戻って、２番
目に相違度の小さいグループ（ニューロン）と自分自身
の相違度を比較し、さらに自分自身の相違度が大きけれ
ば、３番目に相違度の小さいニューロンに目標を移し
て、上述したと同様な動作を繰り返す。
（ニューロン）として２番目に相違度の小さいグループ
（ニューロン）が存在すれば、ステップ３１３で、この
２番目に相違度の小さいグループ（ニューロン）が満杯
かを判断する。そして、この２番目に相違度の小さいグ
ループ（ニューロン）が満杯でなければ、ステップ３０
９で、そのグループ（ニューロン）に取り込むようにな
る。また、満杯ならば、ステップ３１１に戻って、２番
目に相違度の小さいグループ（ニューロン）と自分自身
の相違度を比較し、さらに自分自身の相違度が大きけれ
ば、３番目に相違度の小さいニューロンに目標を移し
て、上述したと同様な動作を繰り返す。
【００４３】また、ステップ３１１で、自分自身の相違
度が小さければ、ステップ３１４で、２番目に相違度の
小さいグループ（ニューロン）内で相違度最大のものを
放出しこれと入れ替えを行い、ステップ３１５で、この
グループ（ニューロン）について図４に示すフローによ
り代表ベクトル、平均距離、最大相違度を計算する。ま
た、このグループ（ニューロン）から放出された相違度
最大のデータについては、ステップ３０４に戻って、各
ニューロンの代表ベクトルとの相違度を計算し、ステッ
プ３０５以降の動作を実行する。
度が小さければ、ステップ３１４で、２番目に相違度の
小さいグループ（ニューロン）内で相違度最大のものを
放出しこれと入れ替えを行い、ステップ３１５で、この
グループ（ニューロン）について図４に示すフローによ
り代表ベクトル、平均距離、最大相違度を計算する。ま
た、このグループ（ニューロン）から放出された相違度
最大のデータについては、ステップ３０４に戻って、各
ニューロンの代表ベクトルとの相違度を計算し、ステッ
プ３０５以降の動作を実行する。
【００４４】その後、このような操作を全学習データに
ついて実行する。
ついて実行する。
【００４５】次に、第２段階に進む。この場合、ニュー
ロン生成のためのしきい値を大きくしてニューロンを新
たに発生しにくい状態にし、代表ベクトルはそまままに
してもう一度上述の操作を行い全データを再配置する。
つまり、普通ではニューロンを生成しないが、相違度が
異常に大きいような場合にのみ新たなニューロンを生成
するようにする。
ロン生成のためのしきい値を大きくしてニューロンを新
たに発生しにくい状態にし、代表ベクトルはそまままに
してもう一度上述の操作を行い全データを再配置する。
つまり、普通ではニューロンを生成しないが、相違度が
異常に大きいような場合にのみ新たなニューロンを生成
するようにする。
【００４６】次に、第３段階に進む。この場合、ニュー
ロン数がＩＮＴ（全文字種／ニューロンの収容文字種数
＋１）になるまでニューロン内のメンバー数の少ないニ
ューロンを潰してそのメンバーを上述した操作により他
のニューロンに配置する。
ロン数がＩＮＴ（全文字種／ニューロンの収容文字種数
＋１）になるまでニューロン内のメンバー数の少ないニ
ューロンを潰してそのメンバーを上述した操作により他
のニューロンに配置する。
【００４７】そして、最後に第４段階に進み、ニューロ
ン数はそのままで第２段階と同様にして全学習データを
再配置する。
ン数はそのままで第２段階と同様にして全学習データを
再配置する。
【００４８】ここで、正規化距離による荒分類（ベクト
ル量子化）の具体例を図５により説明する。
ル量子化）の具体例を図５により説明する。
【００４９】この場合、Ａ、Ｂは、２つのニューロン
で、このうちニューロンＡは、６個で満杯の割合近接し
たメンバー（○印）を有し、ここでの代表ベクトルが
（4.7 ，5 ）、平均距離のＸ方向が0.786 、Ｙ方向が0.
57であり、また、ニューロンＢは、５個の離れたメンバ
ー（×印）を有し、ここでの代表ベクトルが（11.4，7.
2）、平均距離のＸ方向が1.52、Ｙ方向が1.76であると
し、この状態から、入力データとして△印（4 ，8 ）が
入力されたとすると、従来では、 ＫA ＝（4-4.7)2 ＋（8-5)2 ）1/2 ＝3.080 ＫB ＝（4- 11.4)2 ＋（8-7.2)2 ）1/2 ＝7.443 となり、ニューロンＡ側に分類されるが、学習時は、ニ
ューロンＡ側が満杯のため、ニューロンＢ側に分類され
ることになるため、矛盾を生じてしまう。
で、このうちニューロンＡは、６個で満杯の割合近接し
たメンバー（○印）を有し、ここでの代表ベクトルが
（4.7 ，5 ）、平均距離のＸ方向が0.786 、Ｙ方向が0.
57であり、また、ニューロンＢは、５個の離れたメンバ
ー（×印）を有し、ここでの代表ベクトルが（11.4，7.
2）、平均距離のＸ方向が1.52、Ｙ方向が1.76であると
し、この状態から、入力データとして△印（4 ，8 ）が
入力されたとすると、従来では、 ＫA ＝（4-4.7)2 ＋（8-5)2 ）1/2 ＝3.080 ＫB ＝（4- 11.4)2 ＋（8-7.2)2 ）1/2 ＝7.443 となり、ニューロンＡ側に分類されるが、学習時は、ニ
ューロンＡ側が満杯のため、ニューロンＢ側に分類され
ることになるため、矛盾を生じてしまう。
【００５０】しかし、上述したように平均距離で正規化
した距離を求めると、 ＫｈA ＝（（（4-4.7)/0.786) 2 ＋（8-5)/0.53)2 ）
1/2 ＝5.337 ＫｈB ＝（（（4- 11.4)/1.52)2 ＋（8-7.2)/1.76)2 ）
1/2 ＝4.889 となって、ニューロンＢ側に正しく分類されることにな
る。
した距離を求めると、 ＫｈA ＝（（（4-4.7)/0.786) 2 ＋（8-5)/0.53)2 ）
1/2 ＝5.337 ＫｈB ＝（（（4- 11.4)/1.52)2 ＋（8-7.2)/1.76)2 ）
1/2 ＝4.889 となって、ニューロンＢ側に正しく分類されることにな
る。
【００５１】こうして、メンバーの平均距離で正規化し
た値で評価するベクトル量子化を行うと、似寄ったもの
が集まれば集まるほど平均距離が小さくなって排他的と
なり、逆に似ていないものが集まると平均距離が大きく
なって許容的となることで（最終的にはその他のベクト
ルとなる）、合理的なベクトル量子化が可能になる。
た値で評価するベクトル量子化を行うと、似寄ったもの
が集まれば集まるほど平均距離が小さくなって排他的と
なり、逆に似ていないものが集まると平均距離が大きく
なって許容的となることで（最終的にはその他のベクト
ルとなる）、合理的なベクトル量子化が可能になる。
【００５２】なお、ここでは全メンバーの距離の平均値
で正規化を行ったが、全メンバーのメディアなどや標準
偏差、または代表ベクトルに近い方から半分または一定
数のメンバーを用いたり、各成分（方向、次元）別に近
い方から取ったものなども考えられ、その基となる母集
合の特質により適宜使い分ければ、良好なベクトル量子
化が可能になる。
で正規化を行ったが、全メンバーのメディアなどや標準
偏差、または代表ベクトルに近い方から半分または一定
数のメンバーを用いたり、各成分（方向、次元）別に近
い方から取ったものなども考えられ、その基となる母集
合の特質により適宜使い分ければ、良好なベクトル量子
化が可能になる。
【００５３】このようにして、相違度の小さなものから
３つのニューロンとその相違度が決定される。
３つのニューロンとその相違度が決定される。
【００５４】次に、後段の細分類を行う細分類ニューラ
ルネット２２1 〜２２n について説明する。
ルネット２２1 〜２２n について説明する。
【００５５】この場合、細分類ニューラルネット２２1
〜２２n は、図６に示すように入力層２２ａ、中間層２
２ｂおよび出力層２２ｃからなる全結合の３層型ニュー
ラルネットにより構成し、入力パラメータとしては、認
識対象文字について切り出しなどの前処理を行った後、
図７（ａ）に示す縦成分抽出フィルタ、同図（ｂ）に示
す横成分抽出フィルタ、同図（ｃ）に示す斜（右上）成
分抽出フィルタ、同図（ｄ）に示す斜（左上）成分抽出
フィルタにより局所４方向の成分特徴を抽出し、さらに
図８に示すようにハーフピッチづつずらしながら縦横各
９個のブロックに分割し且つそのブロック内を２次元の
ハミング窓を掛け加算して得るようにしている。つま
り、この場合のパラメータの数は、９（縦）×９（横）
×４（方向）＝３２４である。
〜２２n は、図６に示すように入力層２２ａ、中間層２
２ｂおよび出力層２２ｃからなる全結合の３層型ニュー
ラルネットにより構成し、入力パラメータとしては、認
識対象文字について切り出しなどの前処理を行った後、
図７（ａ）に示す縦成分抽出フィルタ、同図（ｂ）に示
す横成分抽出フィルタ、同図（ｃ）に示す斜（右上）成
分抽出フィルタ、同図（ｄ）に示す斜（左上）成分抽出
フィルタにより局所４方向の成分特徴を抽出し、さらに
図８に示すようにハーフピッチづつずらしながら縦横各
９個のブロックに分割し且つそのブロック内を２次元の
ハミング窓を掛け加算して得るようにしている。つま
り、この場合のパラメータの数は、９（縦）×９（横）
×４（方向）＝３２４である。
【００５６】そして、全学習データについて、上述の局
所４方向成分のパラメータを求めた後、上述した荒分類
ニューラルネット２１1 〜２１n で決定された３組のニ
ューロン内の文字種の分類にしたがって学習データを分
類し、各細分類ニューラルネット２２1 〜２２n に割り
振り、個々に学習を行い、出力の発火値を得るととも
に、さらに、これら３組について（２）式により類似度
を計算し、類似度の最大のものを認識結果とするように
なる。
所４方向成分のパラメータを求めた後、上述した荒分類
ニューラルネット２１1 〜２１n で決定された３組のニ
ューロン内の文字種の分類にしたがって学習データを分
類し、各細分類ニューラルネット２２1 〜２２n に割り
振り、個々に学習を行い、出力の発火値を得るととも
に、さらに、これら３組について（２）式により類似度
を計算し、類似度の最大のものを認識結果とするように
なる。
【００５７】この場合の学習収束条件を、「全ての学習
データに対して１位と２位との差が＞０．５で且つエラ
ーの無いこと」とすることで、学習回数と学習時間を短
縮することにより焼き付きを防止するようにもしてい
る。また、学習終了時にその発火状況から補正係数（例
えば０．９）を計算しておき、各細分類ニューラルネッ
ト２２1 〜２２n の出力差を補正することにより、文字
認識率を改善することも可能になる。
データに対して１位と２位との差が＞０．５で且つエラ
ーの無いこと」とすることで、学習回数と学習時間を短
縮することにより焼き付きを防止するようにもしてい
る。また、学習終了時にその発火状況から補正係数（例
えば０．９）を計算しておき、各細分類ニューラルネッ
ト２２1 〜２２n の出力差を補正することにより、文字
認識率を改善することも可能になる。
【００５８】従って、このような実施の形態によれば、
各荒分類ニューラルネット２１1 〜２１n 内の文字種の
数を一定とし、これを越えたときは、一番相違度の大き
な文字種を放出して、ニューロン内の文字種数を一定と
することにより、後段の細分類ニューラルネット２２1
〜２２n の層数を一定に保つことで出力差を小さくでき
ることから、正確な認識を可能にしている。
各荒分類ニューラルネット２１1 〜２１n 内の文字種の
数を一定とし、これを越えたときは、一番相違度の大き
な文字種を放出して、ニューロン内の文字種数を一定と
することにより、後段の細分類ニューラルネット２２1
〜２２n の層数を一定に保つことで出力差を小さくでき
ることから、正確な認識を可能にしている。
【００５９】また、前段の荒分類ニューラルネット２１
1 〜２１n では、各文字種間の平均距離を正規化して評
価しているので、認識時に正確な分類が可能になる。
1 〜２１n では、各文字種間の平均距離を正規化して評
価しているので、認識時に正確な分類が可能になる。
【００６０】また、前段の荒分類ニューラルネット２１
1 〜２１n には、メッシュ特徴とペリフェラル特徴を用
い、後段の細分類ニューラルネット２２1 〜２２n に
は、局所４方向成分特徴が用いられるため、相補的で良
好な認識が可能で、高認識率の文字認識を実現できる。
1 〜２１n には、メッシュ特徴とペリフェラル特徴を用
い、後段の細分類ニューラルネット２２1 〜２２n に
は、局所４方向成分特徴が用いられるため、相補的で良
好な認識が可能で、高認識率の文字認識を実現できる。
【００６１】また、細分類ニューラルネット２２1 〜２
２n の学習収束条件として「１位と２位の差が一定値以
上でエラーがないこと」としているため、学習回数と学
習時間を短縮できるとともに、焼き付けもなくなり、汎
化性能の高い学習が可能になる。
２n の学習収束条件として「１位と２位の差が一定値以
上でエラーがないこと」としているため、学習回数と学
習時間を短縮できるとともに、焼き付けもなくなり、汎
化性能の高い学習が可能になる。
【００６２】また、細分類ニューラルネット２２1 〜２
２n の学習終了時にその発火状況から所定の補正係数を
計算し付加して、各細分類ニューラルネット間の出力差
を補正しているので、文字認識率をさらに改善すること
ができる。
２n の学習終了時にその発火状況から所定の補正係数を
計算し付加して、各細分類ニューラルネット間の出力差
を補正しているので、文字認識率をさらに改善すること
ができる。
【００６３】なお、上述した実施の形態では、荒分類ニ
ューラルネットの入力パラメータをメッシュ特徴とペリ
フェラル特徴としたが、メッシュ特徴またはペリフェラ
ル特徴のいずれか一方のみ、または局所４方向成分特徴
または局所４方向成分特徴の一部でも可能である。
ューラルネットの入力パラメータをメッシュ特徴とペリ
フェラル特徴としたが、メッシュ特徴またはペリフェラ
ル特徴のいずれか一方のみ、または局所４方向成分特徴
または局所４方向成分特徴の一部でも可能である。
【００６４】次に、細分類ニューラルネットの他の実施
の形態を図９により説明する。この実施の形態での細分
類ニューラルネットは、上述した一実施の形態での細分
類ニューラルネットを小型、簡略化したものであり、入
力層２２ａと中間層２２ｂの結合を縦横方向成分と斜め
方向成分に分けて部分結合することで、結合数を減らし
ている。また、局所４方向成分の抽出エリアも図１０に
示すように重複部分を少なくして千鳥状にすることで、
全体のパラメータ数も（５×５＋４×４）×４（方向）
＝１６４となり、上述した一実施の形態の場合と比べ、
約半分に減らすようにしている。
の形態を図９により説明する。この実施の形態での細分
類ニューラルネットは、上述した一実施の形態での細分
類ニューラルネットを小型、簡略化したものであり、入
力層２２ａと中間層２２ｂの結合を縦横方向成分と斜め
方向成分に分けて部分結合することで、結合数を減らし
ている。また、局所４方向成分の抽出エリアも図１０に
示すように重複部分を少なくして千鳥状にすることで、
全体のパラメータ数も（５×５＋４×４）×４（方向）
＝１６４となり、上述した一実施の形態の場合と比べ、
約半分に減らすようにしている。
【００６５】このようにすれば、細分類ニューラルネッ
トの入力層２２ａと中間層２２ｂの結合を部分結合と
し、さらに局所４方向成分抽出エリアを千鳥状にしてパ
ラメータを減らすことにより、演算量を始め、メモリー
量も少なくなり、高速の文字認識を可能にするととも
に、小型機器への応用も可能になる。
トの入力層２２ａと中間層２２ｂの結合を部分結合と
し、さらに局所４方向成分抽出エリアを千鳥状にしてパ
ラメータを減らすことにより、演算量を始め、メモリー
量も少なくなり、高速の文字認識を可能にするととも
に、小型機器への応用も可能になる。
【００６６】なお、入力層２２ａと中間層２２ｂの結合
をさらに図１１に示すように縦方向成分、横方向成分、
右上方向成分および左上方向成分の４方向に部分結合す
るようにすれば、全体の結合数をさらに減らすことがで
きる。
をさらに図１１に示すように縦方向成分、横方向成分、
右上方向成分および左上方向成分の４方向に部分結合す
るようにすれば、全体の結合数をさらに減らすことがで
きる。
【００６７】
【発明の効果】以上述べたように本発明によれば、学習
回数と学習時間を短縮できるとともに、高認識率の文字
認識を実現することができる。
回数と学習時間を短縮できるとともに、高認識率の文字
認識を実現することができる。
【図１】本発明の一実施の形態の概略構成を示す図。
【図２】一実施の形態に用いられるニューラルネットの
概略構成を示す図。
概略構成を示す図。
【図３】一実施の形態のニューラルネットを説明するた
めのフローチャート。
めのフローチャート。
【図４】一実施の形態のニューラルネットを説明するた
めのフローチャート。
めのフローチャート。
【図５】一実施の形態の正規化距離による荒分類ニュー
ラルネットの具体例を示す図。
ラルネットの具体例を示す図。
【図６】一実施の形態の細分類ニューラルネットの概略
構成を示す図。
構成を示す図。
【図７】一実施の形態の各成分抽出フィルタを示す図。
【図８】一実施の形態の局所４方向成分の抽出エリアを
説明する図。
説明する図。
【図９】本発明の他の実施の形態の細分類ニューラルネ
ットの概略構成を示す図。
ットの概略構成を示す図。
【図１０】他の実施の形態の局所４方向成分の抽出エリ
アを説明する図。
アを説明する図。
【図１１】本発明のさらに他の実施の形態の細分類ニュ
ーラルネットの概略構成を示す図。
ーラルネットの概略構成を示す図。
１…マイクロコンピュータ、 １１…ＩＲ０Ｍ、 １２…ＲＡＭ、 ２…バス、 ３…スキャナ部、 ４…入力キー、 ５…表示用ＬＥＤ、 ６…ＲＯＭ、 ７…ＲＡＭ、 ８…インターフェース、 ２１1 〜２１n …ベクトル量子化型ニューラルネット
（荒分類ニューラルネット）、 ２２1 〜２２n …３層型ニューラルネット（細分類ニュ
ーラルネット）。
（荒分類ニューラルネット）、 ２２1 〜２２n …３層型ニューラルネット（細分類ニュ
ーラルネット）。
Claims (7)
- 【請求項１】 前段の荒分類を行うベクトル量子化型ニ
ューラルネットと後段の細分類を行う３層型ニューラル
ネットからなるニューラルネットを有する文字認識装置
において、 前記前段の荒分類を行うベクトル量子化型ニューラルネ
ットは、ニューロン内のメンバー数が一定値を越える
と、該ニューロン内の代表ベクトルから最も遠距離にあ
る相違度の大きいメンバーを放出することを特徴とする
文字認識装置。 - 【請求項２】 前記前段の荒分類を行うベクトル量子化
型ニューラルネットは、ニューロン内の代表ベクトルか
らの距離計算に、各メンバ間に存在する特定の関係に基
づた値で正規化した結果を用いることを特徴とする請求
項１記載の文字認識装置。 - 【請求項３】 後段の細分類を行う３層型ニューラルネ
ットは、学習収束条件をエラーがなく且つ１位と２位と
の差を一定値以上に設定することを特徴とする請求項１
記載の文字認識装置。 - 【請求項４】 後段の細分類を行う３層型ニューラルネ
ットは、学習終了時にその発火状況から所定の補正係数
を計算しておき、各３層型ニューラルネットの出力差を
補正することを特徴とする請求項１記載の文字認識装
置。 - 【請求項５】 後段の細分類を行う３層型ニューラルネ
ットは、縦成分、横成分、右上斜成分、左上斜成分の局
所４方向の成分特徴の入力パラメータが入力されること
を特徴とする請求項１記載の文字認識装置。 - 【請求項６】 後段の細分類を行う３層型ニューラルネ
ットは、入力層と中間層の結合を縦横成分と左右上斜成
分に分けて部分結合することを特徴とする請求項５記載
の文字認識装置。 - 【請求項７】 後段の細分類を行う３層型ニューラルネ
ットは、入力層と中間層の結合を縦成分、横成分、右上
斜成分および左上斜成分に分けて部分結合することを特
徴とする請求項５記載の文字認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28172195A JP3804088B2 (ja) | 1995-10-30 | 1995-10-30 | 文字認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28172195A JP3804088B2 (ja) | 1995-10-30 | 1995-10-30 | 文字認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09128489A true JPH09128489A (ja) | 1997-05-16 |
| JP3804088B2 JP3804088B2 (ja) | 2006-08-02 |
Family
ID=17643063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28172195A Expired - Fee Related JP3804088B2 (ja) | 1995-10-30 | 1995-10-30 | 文字認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3804088B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113366496A (zh) * | 2018-12-21 | 2021-09-07 | 伟摩有限责任公司 | 用于粗略和精细对象分类的神经网络 |
-
1995
- 1995-10-30 JP JP28172195A patent/JP3804088B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113366496A (zh) * | 2018-12-21 | 2021-09-07 | 伟摩有限责任公司 | 用于粗略和精细对象分类的神经网络 |
| US11842282B2 (en) | 2018-12-21 | 2023-12-12 | Waymo Llc | Neural networks for coarse- and fine-object classifications |
| CN113366496B (zh) * | 2018-12-21 | 2024-03-15 | 伟摩有限责任公司 | 用于粗略和精细对象分类的神经网络 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3804088B2 (ja) | 2006-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5249259A (en) | Genetic algorithm technique for designing neural networks | |
| Islam et al. | A new adaptive merging and growing algorithm for designing artificial neural networks | |
| EP0454037B1 (en) | Neural network for processing a plurality of informations and learning method | |
| US20040002928A1 (en) | Pattern recognition method for reducing classification errors | |
| US6317730B1 (en) | Method for optimizing a set of fuzzy rules using a computer | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| EP0459276A2 (en) | Data processing system | |
| CN112364974A (zh) | 一种基于激活函数改进的YOLOv3算法 | |
| KR0170505B1 (ko) | 다층퍼셉트론 신경회로망의 n비트 데이타 표현에 의한 학습방법 | |
| US6944329B2 (en) | Information processing method and apparatus | |
| US5479569A (en) | Intelligence information processing method | |
| CN109670582A (zh) | 一种全定点化神经网络的设计方法 | |
| JPH09128489A (ja) | 文字認識装置 | |
| JPH06111038A (ja) | ニューラル・ネットワーク及びその操作方法 | |
| CN116089801A (zh) | 一种基于多重置信度的医疗数据缺失值修复的方法 | |
| JP2907486B2 (ja) | ニューラルネットワーク装置 | |
| JP3035106B2 (ja) | 大規模情報認識回路 | |
| JPH0638200B2 (ja) | ダイナミックなニューラルネットワーク | |
| EP0567983B1 (en) | Learning type waveform recognizer | |
| JP3303253B2 (ja) | パターンマッチング方法および装置 | |
| JPH10187649A (ja) | ニューラルネットワーク | |
| EP0450521A2 (en) | A learning method for a data processing system | |
| JP3337597B2 (ja) | 学習型認識判断装置 | |
| JPH05242063A (ja) | ニューラルネットワークシステム | |
| Born et al. | Evolutionary structuring of neural networks by solving a binary problem |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060501 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |