JP4834693B2 - パターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法 - Google Patents

Description

本発明は、例えばパターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法に関する。

従来、文字が記載された帳票をスキャナなどによりイメージ化した文書画像から文字パターンを認識するパターン認識装置があるが、通常、このパターン認識装置における文字の特徴抽出パラメータは人手によって設計される。

しかし、例えば文字の認識で類似文字のグループ毎に特徴を抽出するときやパラメータを変える必要があるときには、特徴抽出の手法の数が膨大にあることから、現実として人手で特徴抽出パラメータを作成することは困難である。

このため、例えば音声認識などの分野では、音声の特徴抽出パラメータを学習する機能を音声認識装置に設け、学習機能により特徴抽出パラメータを自動的に決定する手法がとられている（例えば非特許文献１乃至４参照）。

非特許文献１および非特許文献２で公開されている技術は音声信号を入力とし、特徴抽出するときのフィルタバンク、リフタのパラメータを確率降下法によって求めるものであるが、これらの技術は、音声に特化したものであり、文字をパターン認識するための特徴抽出には適用することはできなかった。

非特許文献３および非特許文献４の技術は、入力ベクトルに線形変換を施して特徴ベクトルを得るものであるが、この特徴変換行列の更新則を表す計算式は、入力画像から得られた特徴ベクトルをさらに線形変換するときの線形変換行列に対する学習に関するものである。

しかし、このような線形変換行列に対する学習には、部分領域という概念がなく、単なるベクトルからベクトルへの線形変換一般に対する一般的な学習規則を提供しているにすぎない。要するに、従来の技術では、特徴抽出そのものの学習はできなかった。

また、このような状況に対する解決方法として、入力画像の認識にとって重要な部分に対して着目を強めた特徴抽出を行なうことで、類似文字の認識精度を向上する技術が提案されているが、この技術は、仕組みが単純であるため、文字認識精度が実用面で十分ではなかった（例えば特許文献１参照）。

この他、類似文字の認識方式として以下の技術が提案されている（例えば特許文献２乃至４を参照）。これら文献は、類似している文字の相違部分に着目し、その部分について認識を行なう技術、またはチェックを行なう技術を開示しているが、これらの技術は、いずれも認識系を手作業で構築する必要があり高精度な認識を自動的に実現することはできなかった。
Feature Extraction Based on Minimum Classification Error / Generalized Probabilistic Descent Method"，A。 Biem et。al。，Proc。 IEEE Int。 Conf。 Acoust。，Speech，Signal Processing，Vol。2，pp275-278，(1993) "Filter Bank Design Based on Discriminative Feature Extraction"，A。 Biem et。al。，Proc。 IEEE Int。 Conf。 Acoust。，Speech，Signal Processing，Vol。1，pp485-488，(1994) "Minimum Classification Error Training Algorithm for Feature Extractor and Pattern Classifier in Speech Recognition"，K。K。 paliwal et。al，EUROSPEECH’95，vol。1，pp541-544，(1995) 「最小分類誤り学習による特徴選択型文字認識」河村他、電子情報通信学会論文誌D-II，Vol。J81-D-II，No。12，pp。2749-2756，(1998) 特開２００７−１７９４１３号公報 特開２００４−１８５２６４号公報 特開２００３−１６２６８８号公報 特開平１１−２５９５９９号公報

本発明はこのような課題を解決するためになされたもので、文字画像が含まれるパターン画像から文字を認識する上で、類似する文字を高精度に識別して認識することのできるパターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法を提供することを目的とする。

上記の課題を解決するために本発明のパターン認識パラメータ学習装置は、入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、１個の部分領域に複数のフィルタ・マスクが記憶されたフィルタ・マスク記憶部と、前記部分領域特徴量計算部により１個の部分領域に複数設定されたフィルタ・マスク毎に求められた特徴値複数個を非線形関数に代入することによって１個の新たな特徴値を求め、各部分領域毎に求められたこの新たな特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部と、前記特徴ベクトル生成部により生成された特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルと、前記非線形関数に基づく非線形関数の変化量とからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部とを具備することを特徴とする。

本発明のパターン認識装置は、前記請求項１乃至４いずれか１記載のパターン認識パラメータ学習装置によって生成されたフィルタ・マスクと辞書ベクトルとを、特徴抽出およびパターン照合に用いることを特徴とする。

本発明のパターン認識パラメータ学習方法は、入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値を積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算するステップと、計算された特徴値複数個を非線形関数に代入することによって新たな１個の特徴値を求め、各部分領域毎に求められたこの新たな特徴値複数個から前記パターン画像の特徴ベクトルを生成するステップと、生成された前記特徴ベクトルと、パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部の辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうステップと、前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルと、前記非線形関数に基づく非線形関数の変化量とからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によってフィルタ・マスクが記憶されたフィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するステップと、前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新するステップとを具備することを特徴とする。

本発明によれば、文字画像が含まれるパターン画像から文字を認識する上で、類似する文字を高精度に識別して認識することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。
（第１実施形態）
図１は本発明の第１実施形態に係るパターン認識装置の構成を示すブロック図である。図１に示すように、第１実施形態のパターン認識装置は、辞書学習部２３、フィルタ・マスク学習部２４、部分領域特徴量計算部２６、パターン識別部２８および特徴ベクトル生成部２９を有している。

辞書学習部２３は、辞書ベクトル毎に、辞書ベクトルと学習パターンに対応する特徴ベクトルに基づいて決まる辞書ベクトル更新量によって辞書ベクトル更新を辞書ベクトルそれぞれに対して繰り返し行なう。

すなわち、辞書学習部２３は、繰り返し学習することにより辞書ベクトル記憶部２１に記憶されている辞書ベクトルを更新する。

フィルタ・マスク学習部２４は、部分領域毎の画素に対応したフィルタ・マスクの値について、学習対象のパターン画像１１（学習パターン画像１１）の識別結果と、辞書ベクトルと、パターン画像に対応する特徴ベクトルとを用いてフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によってフィルタ・マスク記憶部２５の該当フィルタ・マスクを繰り返し更新する。

または、フィルタ・マスク学習部２４は、部分領域毎の画素に対応したフィルタ・マスク値について、学習対象のパターン画像１１（学習パターン画像１１）の認識結果に基づいて、辞書ベクトルと、学習パターンと、それに対応する特徴ベクトルと、第１の非線形変換部３７の非線形関数に基づく非線形関数変化量とに基づいて決まるフィルタ・マスク更新量によってフィルタ・マスクの更新を繰り返し行なう。

すなわち、フィルタ・マスク学習部２４は、繰り返し学習することによりフィルタ・マスク記憶部２５に記憶されているフィルタ・マスクを更新する。

パターン識別部２８は、辞書ベクトルと特徴ベクトル生成部２９により生成された特徴ベクトルとを用いて類似度計算または相違度計算を行なうことでパターンの識別を行なう。

特徴ベクトル生成部２９は、部分領域特徴量計算部２６により計算された複数の部分領域それぞれの特徴量から、入力されたパターン画像の特徴ベクトルを生成する。

より詳細には、特徴ベクトル生成部２９は、部分領域特徴量計算部２６により各部分領域内の画素値または画素に対応した特徴値と、画素に対応したフィルタ・マスクの値とを積和して各部分領域に対応した複数の積和値を各フィルタ・マスク毎に計算し、これら複数の積和値からパターン画像の特徴ベクトルを生成する。

特徴ベクトル生成部２９は、フィルタ・マスク記憶部２５、部分領域特徴量計算部２６および第２の非線形変換部２０を有している。

フィルタ・マスク記憶部２５には、学習パターン画像１１を複数に細分した個々の部分領域に対してフィルタ・マスクをかけるため各部分領域に２個以上のフィルタ・マスクからなるフィルタ・マスクの組１２，１３，１４，１５が記憶されている。

部分領域特徴量計算部２６は、入力されたパターン画像（学習パターン画像１１）に対して、その画像の領域内に設定された複数の部分領域を区分（分割）する。

部分領域特徴量計算部２６は、入力されたパターン画像（学習パターン画像１１）を分割してできる複数の部分領域内の画素値と、画素に対応したフィルタ・マスクの値とを積和して各部分領域に対応した複数の積和値を各フィルタ・マスク毎に計算する。なお画素値だけでなく画素に対応した特徴値を用いても良い。

第２の非線形変換部２０は、個々の内積計算部１６〜１９により計算された特徴量を予め設定された非線形関数に代入することによって最終的な特徴値を計算し、入力されたパターン画像の特徴ベクトルの要素値とする。

パターン識別部２８は、辞書ベクトル記憶部２１およびマッチング部２２を有している。
辞書ベクトル記憶部２１には、パターン画像から求められた特徴ベクトルとマッチング処理（比較）して類似度または相違度を計算するための基準となる辞書ベクトルが記憶されている。

マッチング部２２は、特徴ベクトル生成部２９により計算された特徴ベクトルと辞書ベクトル記憶部２１に記憶されている辞書ベクトルとをマッチング処理して、認識結果の情報を出力する。

図２はフィルタ・マスク記憶部２５の中の１つのフィルタ・マスクの組（例えばフィルタ・マスクの組１２など）と、部分領域特徴量抽出部２６の中の１つの部分領域計算ユニット（例えば部分領域計算ユニット１６）を示したものであり、これらは学習パターンの中の１つの部分領域１１ａに対応付いている。部分領域計算ユニット１６は、内積計算部３４〜３６と第１の非線形関数部３７とを有している。

個々の各フィルタ・マスクの組１２〜１５毎に２個以上のフィルタ・マスク３１〜３３が設けられている。例えばフィルタ・マスク１２内にはフィルタ・マスク３１〜３３が設けられている。フィルタ・マスク３１〜３３は、学習パターンの部分領域画像１１ａに対応したものである。内積計算部３４〜３６はこのフィルタ・マスク３１〜３３に対応付いている。

内積計算部３４は、フィルタ・マスク３１と部分領域画像１１ａとを用いて内積計算を行ない、第１の非線形関数部３７に出力する。内積計算部３５は、フィルタ・マスク３２と部分領域画像１１ａとを用いて内積計算を行ない、第１の非線形関数部３７に出力する。内積計算部３６は、フィルタ・マスク３３と部分領域画像１１ａとを用いて内積計算を行ない、第１の非線形関数部３７に出力する。

第１の非線形関数部３７は、第２の非線形変換部２０とは異なる別の非線形関数で演算を行なうものであり、多入力で１出力のものである。

以下、図３、図４を参照してこのパターン認識装置の動作を説明する。まず、文字認識動作を説明する。

このパターン認識装置では、文字パターンが入力されると（図３のステップＳ１０１）、特徴ベクトル生成部２９は特徴ベクトルを作成する（ステップＳ１０２）。

続いて、パターン識別部２８は、認識対象となる文字種に対応した辞書ベクトルとの間で相違度を計算する（ステップＳ１０３）。

そして、パターン識別部２８は、最小相違度となる文字種を認識結果として出力する（ステップＳ１０４）。

次に、このパターン認識装置の学習動作を説明する。この場合、まず、辞書学習部２３とフィルタ・マスク学習部２４は、それぞれフィルタ・マスクと辞書ベクトルの更新量を初期化する（図４のステップＳ２０１）。

そして、学習パターンが入力されると（ステップＳ２０２）、特徴ベクトル生成部２９は、特徴ベクトル２７を作成し（ステップＳ２０３）パターン識別部２８へ出力する。

パターン識別部２８のマッチング部２２は、入力された特徴ベクトル２７と、認識対象となる文字種に対応した辞書ベクトルとの間で相違度を算出し（ステップＳ２０４）、相違度の少ない辞書ベクトルに対応する文字を認識結果とする。なお、相違度の代わりに類似度を計算し、類似度の高いものを認識結果としてもよい。

続いて、各学習部２３，２４は、パターン識別部２８のマッチングによる認識結果に基づいてフィルタ・マスクと辞書ベクトルの更新量を積算する（ステップＳ２０５）。

各学習部２３，２４は、学習パターンが終了か否かを判定し、終了の場合（ステップＳ２０６のＹｅｓ）、フィルタ・マスク記憶部２５のフィルタ・マスクと、辞書ベクトル記憶部２１の辞書ベクトルとをそれぞれ更新する（ステップＳ２０７）。

そして、予め設定された学習終了条件を満たさないうちは（ステップＳ２０８のＮｏ）、各学習部２３，２４は、上記ステップＳ２０１〜Ｓ２０８の学習処理を繰り返し、学習終了条件を満たした場合（ステップＳ２０８のＹｅｓ）、学習処理を終了する。

ここで、特徴ベクトル生成部２９のフィルタリング機能について説明する。
パターン画像の画素の値を、
ｚ（ｉ，ｊ），（ｉ＝０，…，Ｎ−１；ｊ=０，…，Ｍ−１）
とする。ｉ，ｊは、それぞれ縦位置、横位置である。一方、パターン画像上に複数のサンプル点を設定し、その位置を、
ｒ_ａ，ｓ_ｂ（ａ＝０，…，ｎ−１；ｂ=０，…，ｍ−１）
とする。この位置におけるフィルタ・マスクを、
Ｆ_ｔａｂ（ｋ，ｈ），（ｈ＝−Ｌ，…，Ｌ；ｋ=−Ｌ，…，Ｌ）
とする。このフィルタ・マスクはＴ個有り、上記の式で、ｔ＝０，１，…Ｔ−１で表す。
特徴抽出は、まずフィルタ・マスク毎の内積の計算を行なうことによって始まる。マスクサイズを（２Ｌ＋１）×（２Ｌ＋１）とし、内積の値をΧ_ｔａｂとするとき、これを

によって計算する。

次に、第１の非線形変換部３７は、このＴ個のΧ_ｔａｂを用いてサンプル点に対応する出力特徴量を計算する。まず、Ｔ個の入力を持った非線形関数ｆ_ａｂ（ｕ_０，ｕ_１，…，ｕ_Ｔ−１）を導入し、Ｔ個のΧ_ｔａｂを入力として、以下の式によって出力値を計算する。
Ｘ_ａｂ＝ｆ_ａｂ（Ｘ_０ａｂ，Ｘ_１ａｂ，…，Ｘ_{Ｔ−１ａｂ}） （２）

次に、この値をサプレスする関数を第２の非線形変換部２０を導入する。この関数には、例えば、

などが考えられるが、これに限定しなくともよい。出力ベクトルの要素値をχ_ａｂとしたときに、
χ_ａｂ＝ρ（Ｘ_ａｂ）
とする。ここで出力ベクトルの要素値χ_ａｂは、各位置ｒ_ａ，ｓ_ｂについて求めるため、この出力ベクトルの次元はｎ×ｍとなる。

このようにして求められた特徴ベクトルχ＝｛χ_ａｂ｝と辞書ベクトルφ=｛φ_ａｂ｝とによって相違度を

で定義する。

辞書ベクトルは、文字の種類毎、すなわちカテゴリ毎に決められており、この相違度が最小になったカテゴリを正解カテゴリとして出力することによって認識を行なう。

次に、この認識系において、学習によって辞書ベクトルφとフィルタ・マスクＦ、すなわちＦ_ｔａｂ（ｋ，ｈ）を要素とする行列を求める手法を示す。

まず、辞書ベクトルφの更新は、次式で行なう。
Δφ＝±２αｗ（ｄ）（χ−φ）
ここで、ｗ（ｄ）は窓関数である。ｗ（ｄ）は、ｄ＝０付近で大きな値，その他は０に近い値に設定するのが普通である。例えば区間［−Ａ，＋Ａ］で１、それ以外で０の関数やシグモイドの微分、すなわち、１／（１＋ｅ^−Ａχ）の微分などが窓関数として使える。

変数ｄは、正解カテゴリの相違度Ｄ_ｏｋと不正解カテゴリの相違度Ｄ_ｅｒｒによって、ｄ＝Ｄ_ｏｋ−Ｄ_ｅｒｒで定義される。

更新式におけるαは学習係数で大きな値ほど学習強度が強く、学習のときの辞書の変動幅が大きい。これはうまく学習が進むように適切な値を実験的に求めて適用する。

更新式における±の上側の符号は、正解カテゴリに対する更新、下側は不正解カテゴリに対する更新を表す。この更新は正解、不正解どちらの場合も第１位、すなわち最小相違度となるものを用いる。

しかし、それ以外のカテゴリに対しても同様な処理を施すようにすることも可能である。この更新式はパターン認識の分野ではＬＶＱとして知られるものである。従って本実施例はこのＬＶＱに次のフィルタ・マスク学習を導入した方式と考えることもできる。

ここでは記述を分かり易くするために、１パターンごとの更新量を積算する形式、すなわち、Σの積算記号を用いた。
Δφ＝±Σ２αｗ（ｄ）（χ−φ）
では記述していないが、実際にはこの形式で更新を行なう。もちろん、積算せずに１パターン毎に更新する手段を取ることもできる。以下の説明でもこれは同様である。

次にフィルタ・マスクの学習方式を説明する。
フィルタ・マスクの要素値Ｆ_ｔａｂ（ｋ，ｈ）を更新する量を次のようにして決める。
ある入力ｚが与えられたとき、あるカテゴリの辞書ベクトルφで相違度を計算したとする。このとき、Ｆ_ｔａｂ（ｋ，ｈ）の添え字の_ａ，ｂに対応する出力ベクトルの要素値χ_ａｂの変化に対する相違度Ｄの変化を表す値をＰとして求める。これはＤの変動をχ_ａｂの変動で割った値に基づく数値である。Ｄをχ_ａｂで偏微分したものはその１例である。Ｐを出力変化量と呼ぶ。

次に，Ｘ_ｔａｂの変化に対するχ_ａｂの変化を表す値をＱとして求める。これはχ_ａｂの変動をＸ_ｔａｂの変動で割った値に基づく数値である。χ_ａｂをＸ_ｔａｂで偏微分したものはその１例である。Ｑを非線形関数変化量と呼ぶ。

さらに、Ｆ_ｔａｂ（ｋ，ｈ）の変化に対するＸ_ｔａｂの変化を表す値をＲとして求める。これはＸ_ｔａｂの変動をＦ_ｔａｂ（ｋ，ｈ）の変動で割った値に基づく数値である。Ｘ_ｔａｂをＦ_ｔａｂ（ｋ，ｈ）で偏微分したものはその１例である。Ｒを入力変化量と呼ぶ。

これらを連結したＰＱＲは、全体としてＦ_ｔａｂ（ｋ，ｈ）の変化に対するＤの変化を表す値である。上記した入力パターンｚが入力され、辞書ベクトルφを用いたとき、ＰＱＲが正ならば、Ｆ_ｔａｂ（ｋ，ｈ）が増加すると、このときＤも増加する。

もしその辞書ベクトルが正解カテゴリであったとすると、これは相違度が上昇することになるので、そうならないようにフィルタ・マスクを調整しなければならない。すなわち，このときは、このＤの増加量に見あった量として、正の数値βを用いてβＰＱＲをＦ_ｔａｂ（ｋ，ｈ）から減少させる。こうすることで、Ｄを減少させることができる。ＰＱＲが負の場合には場合は逆にＦ_ｔａｂ（ｋ，ｈ）を増加させる。ＰＱＲが０のときは学習しない。従って、Ｆ_ｔａｂ（ｋ，ｈ）に対する更新量は−βＰＱＲである。

さらに窓関数ｗ（ｄ）をφの更新のときと同様に用意し、これを用いて更新量を−βｗ（ｄ）ＰＱＲと修正し、最終的にこれによってＦ_ｔａｂ（ｋ，ｈ）を更新する。これは正解カテゴリに対する場合で，不正解カテゴリに対しては、その逆とする。

すなわち、本実施形態では、更新量を窓関数ｗ（ｄ）、出力変化量Ｐ、非線形関数変化量Ｑ、入力変化量Ｒの積で求める。

次に、ｆａｂ^（ｔ）（）をｆａｂ（）をｔ＋１番目の変数で偏微分した関数とし、Ｐ，Ｑ，Ｒの具体的例を、

で与える。βは学習係数である。なお、この更新則は、窓関数の積分値を認識精度が悪い度合いを表す評価量と考えたとき、これを降下法によって最適化する考え方から計算したものであり、本実施形態においては、各変化量として偏微分を用いて構成したものである。
この例において、出力変化量Ｐは、辞書ベクトルと特徴ベクトルとによって計算される。また入力変化量Ｒは入力パターン、すなわち学習パターンである。

従って、フィルタ・マスクの更新量は、辞書ベクトルと特徴ベクトルと非線形関数変化量と学習パターンから求められる。一方、辞書ベクトルは、辞書ベクトルと特徴ベクトルとで更新される。

文字認識の結果とこの更新則によって、辞書、フィルタを微小変動させて更新する。この認識と更新を繰り返すことによって学習を行なう。学習前の初期辞書や初期フィルタ・マスクは通常の認識システムで用いられるものを採用する。

認識精度に基づいて、予め設定された終了条件、例えば認識精度の向上が見られなくなる場合などの条件によって上記の学習を終了させる。この学習方法によって、より性能の高い辞書とフィルタ・マスクを作成することができる。

この第１実施形態では、上記した実施形態の特徴抽出プロセスにおいて、ρ（ｕ）を取り除いて非線形関数を１段にすることもできる。また、このようにして作成されたフィルタを用いた認識プロセスでは上記のユークリッド距離ではなく、別の認識系による認識を用いても良い。もちろん、学習において用いている認識系もユークリッド距離に限定せず、例えば内積を用いる単純類似度などでもよい。この非線形関数ｆ_ａｂ（ｕ_０，ｕ_１，…，ｕ_Ｔ−１）の具体的な形式として次のものをあげる。この式ではＴ＝２である。

この関数と、フィルタ・マスクにガボール・フィルタとして知られるフィルタ・マスクを用いた形式は一般にガボール・フィルタとして知られている技術である。従って、本実施形態では、このガボール・フィルタ、およびそれを拡張した非線形関数を用いたフィルタリング機能により、フィルタ・マスクのマスク値を直接学習することによって求めるようにしている。

このようにこの第１実施形態によれば、入力されたパターン画像を分割してできる複数の部分領域毎に、それぞれの特徴値を計算し、部分領域毎の画素に対応したフィルタ・マスクの更新量を求め、求めたフィルタ・マスク更新量によってフィルタ・マスク記憶部２５の該当フィルタ・マスクを繰り返し更新する一方、辞書ベクトルとパターン画像に対応する特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって辞書ベクトル記憶部２１の該当辞書ベクトルを繰り返し更新することで文字認識精度を向上することができる。

すなわち、パターン認識のためのパラメータとしてのフィルタ・マスクと辞書ベクトルとを繰り返し学習し、それを特徴抽出およびパターン照合に用いることで、文字画像が含まれるパターン画像から文字を認識する上で、類似する文字を高精度に識別して認識することができる。

（第２実施形態）
以下、図５を参照して第２実施形態のパターン認識装置について説明する。なお第１実施形態と同じ構成には同一の符号を付しその説明は省略する。
この第２実施形態では、パターン識別部２８は、辞書ベクトル記憶部３０と複数の内積計算部４６〜４９とを有している。
辞書ベクトル記憶部３０には、１つの相違度または類似度を求める上で必要な複数の辞書ベクトル４２〜４５が記憶されている。

各内積計算部４６〜４９は、辞書ベクトル記憶部３０に記憶された複数の辞書ベクトル４２〜４５の中で対応する辞書ベクトルを読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。
内積計算部４６は、辞書ベクトル記憶部３０に記憶された辞書ベクトル４２を読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。
内積計算部４７は、辞書ベクトル記憶部３０に記憶された辞書ベクトル４３を読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。
内積計算部４８は、辞書ベクトル記憶部３０に記憶された辞書ベクトル４４を読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。
内積計算部４９は、辞書ベクトル記憶部３０に記憶された辞書ベクトル４５を読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。

マッチング部２２は、これら複数の内積結果に基づく類似度または相違度を計算する。
パターン識別部２８は、類似度または相違度の計算結果によってパターンの識別を行なう。

この場合、部分領域毎の画素に対応したフィルタ・マスクの値については、フィルタ・マスク学習部２４が、学習パターンの認識結果に基づいて複数の辞書ベクトルと、該学習パターンと、それに対応する特徴ベクトルとに基づいて決まるフィルタ・マスク更新量によってフィルタ・マスクの更新を繰り返し行なう。

辞書学習部２３は、フィルタ・マスクの更新と同時、つまり学習と同時に、辞書ベクトル４２〜４５毎に、辞書ベクトルと、学習パターンに対応する特徴ベクトルとに基づいて決まる辞書ベクトル更新量によって、それぞれの辞書ベクトル４２〜４５を繰り返し上書きし、辞書ベクトル記憶部３０の内容を更新する。

この第２実施形態では、上記した第１実施形態に示したフィルタリング機能を用いることも可能であるが、別のフィルタリング機能を用いて説明する。

この第２実施形態の場合、フィルタ・マスクをサンプル点（部分領域）１個につき１個用意し、それを

Ｆ_ａｂ（ｋ，ｈ），（ｈ＝−Ｌ，…，Ｌ；ｋ＝−Ｌ，…，Ｌ）
とする。図６のフィルタ・マスクの組１２〜１５では、フィルタ・マスクを複数として図示したが、この第２実施形態では、これを１個とする。また、部分領域特徴量計算部２６は、単なる内積演算を行うものとする。内積の値をΧ_ａｂとし、これを

によって計算する。第１実施形態と同様に、この値をサプレスする関数ρ（ｕ）を導入する。出力ベクトルの要素値をχ_ａｂとしたときに、
χ_ａｂ＝ρ（Ｘ_ａｂ）
とする。

この第２実施形態では、文字認識機構として次の式を使う。第１実施形態では１つの相違度を求めるための辞書ベクトルは１つしか無かったが、この実施形態では複数用意する。これをφ_Ｐと書く。φ_Ｐａｂはφ_Ｐの要素値である。また、μ_ｋを重みとする。ｒは辞書ベクトルの数である。

この場合、Ｄは相違度では無く、類似度であり、値が最も高い値のカテゴリを答えとして出力する。この類似度は重み付き部分空間法として知られているものである。また、χやφ_Ｐが正規化されていない場合の式は次のようになる。

この第２実施形態では、フィルタとしては、式（３）を用いる。もちろん、式（１）、式（２）を用いることもできる。正規化のための割り算の無い式（３）に対する辞書ベクトルφ_Ｐの更新式は、
Δφ_Ｐ＝±２αｗ（ｄ）μ_Ｐ（χ,φ_Ｐ）χ
である。これは学習部分空間法として知られる方式である。従ってこの第２実施形態はこの学習部分空間法に次のフィルタ・マスク学習を導入した方式と考えることもできる。

次に、フィルタ・マスクの学習動作を説明する。フィルタ・マスクの要素値Ｆ_ａｂ（ｋ，ｈ）を更新する更新量を次のようにして決める。

ある入力パターンｚが与えられたとき、あるカテゴリの辞書ベクトルφ_Ｐで類似度を計算したものとする。このとき、Ｆ_ａｂ（ｋ，ｈ）の添え字のａｂに対応する出力ベクトルの要素値χ_ａｂの変化に対する類似度Ｄの変化を表す値をＰとして求める。これは類似度Ｄの変動をχ_ａｂの変動で割った値に基づく数値である。Ｄをχ_ａｂで偏微分したものはその１例である。Ｐを出力変化量と呼ぶ。

次に，Ｘ_ａｂの変化に対するχ_ａｂの変化を表す値をＱとして求める。これはχ_ａｂの変動をＸ_ａｂの変動で割った値に基づく数値である。χ_ａｂをＸ_ａｂで偏微分したものはその１例である。Ｑを非線形関数変化量と呼ぶ。

さらに，Ｆ_ａｂ（ｋ，ｈ）の変化に対するＸ_ａｂの変化を表す値をＲとして求める。これはＸ_ａｂの変動をＦ_ａｂ（ｋ，ｈ）の変動で割った値に基づく数値である。Ｘ_ａｂをＦ_ａｂ（ｋ，ｈ）で偏微分したものはその１例である。Ｒを入力変化量と呼ぶ。

これらを連結したＰＱＲは、全体としてＦ_ａｂ（ｋ，ｈ）の変化に対するＤの変化を表す値である。上記した入力パターンｚが入力され、辞書ベクトルφを用いたとき、ＰＱＲが正ならば、Ｆ_ａｂ（ｋ，ｈ）が増加すると、このときＤも増加する。

もし、その辞書ベクトルが正解カテゴリであったとすると、これは類似度が上昇することになる。これは良い方向なので、さらにその方向にフィルタ・マスクを調整しなければならない。すなわち、このときは、この類似度Ｄの増加量にみあった量として、正の数値βを用いてβＰＱＲをＦ_ａｂ（ｋ，ｈ）に加算する。

このようにすることで、類似度Ｄを増加させることができる。ＰＱＲが負の場合には場合は逆にＦ_ａｂ（ｋ，ｈ）を減少させる。ＰＱＲが０のときは学習しない。従って、Ｆ_ａｂ（ｋ，ｈ）に対する更新量は＋βＰＱＲである。

さらに窓関数ｗ（ｄ）を用意し、これを用いて更新量を＋βｗ（ｄ）ＰＱＲと修正し、最終的にこれによってＦ_ａｂ（ｋ，ｈ）を更新する。これは正解カテゴリに対する場合で、不正解カテゴリに対してはその逆とする。

本実施形態でも、更新量を窓関数ｗ（ｄ）、出力変化量Ｐ、非線形関数変化量Ｑ、入力変化量Ｒの積で求める。

次に具体的例として、Ｐ，Ｑ，Ｒを、

とする。

一方、正規化のための割り算を考慮した場合の式（５）に対する更新式は、

さらに正準化処理を考慮する。正準化とは入力ベクトルからそのベクトルの要素値の平均を各要素値から減算する処理であり次のように記述される。ここで、式（３）の代わりに内積計算をＶ＝Ｆｚで表し、これを非線形変換した特徴ベクトルをｖで表す。要素値がすべて１のベクトルをａで表し、Ｎをベクトルの次元とする。Ｎ＝ｎｍである。

とする。ここで、ａは要素値が総て１のベクトルである。この場合の更新式は、式（６）（７）と同じである。

これらの例は、窓関数の積分値を認識精度が悪い度合いを表す評価量と考えたとき、これを降下法によって最適化する考え方から計算したものであり、この実施形態において、各変化量として偏微分を用いて構成した方式である。なお、ここでは非線形変換を省略することも可能であり、この場合にはＱは無くなる。

この例で、出力変化量Ｐは複数の辞書ベクトルと特徴ベクトルによって計算される。入力変化量Ｒは入力パターン、すなわち学習パターンである。従って、フィルタ・マスクの更新量は複数の辞書ベクトルと特徴ベクトルと学習パターンとから構成されている。

一方、辞書ベクトルの更新は当該辞書ベクトルと特徴ベクトルとから構成されている。
（第３実施形態）

以下、図５を参照して第３実施形態のパターン認識装置について説明する。
この第３実施形態は、第２実施形態と同様の構成で、文字認識に異なる式を使う例である。

第３実施形態では、文字認識に次の式を使う。この第３実施形態でも第２実施形態と同様に辞書ベクトルを複数用意する。これをｍおよびφ_Ｐと書く。また，μ_Ｐを重みとする。ｒは辞書ベクトルφ_Ｐの数である。

この相違度は、重み付きの投影距離と呼ばれるものである。また、この式（８）で辞書ベクトルが正規化されていないときは、

である。

まず、正規化のための割り算の無い式（８）に対する辞書ベクトルｍ、φ_Ｐの更新式は、

である。ここでγは学習強度係数である。これは、投影距離に対して学習を行なう漸化式として知られているものである。第２実施形態とは異なり、ここでは、Ｄは相違度であるが、それ以外は第２実施形態と同じ考え方でフィルタ・マスクの更新式を求める。

本実施形態でも、更新量を窓関数ｗ（ｄ）、出力変化量Ｐ、非線形関数変化量Ｑ、入力変化量Ｒの積で求めるが、さらにこれらを具体化して以下の式で更新を行なう。具体例としてＰ，Ｑ，Ｒを、

と設定することにより更新式を求める。すなわち、

である。

一方、正規化を考慮した場合の式（９）に対する更新式は、

これらの実施形態は、窓関数の積分値を認識精度が悪い度合いを表す評価量と考えたとき、これを降下法によって最適化する考え方から計算したもので、本実施形態において、各変化量として偏微分を用いて構成した方式である。なお、ここでも非線形変換を省略することができ、その場合にはＱは無くなる。

この例で、出力変化量Ｐは、複数の辞書ベクトルと特徴ベクトルによって計算される。入力変化量Ｒは入力パターン、すなわち学習パターンである。従って、フィルタ・マスクの更新量は、複数の辞書ベクトルと特徴ベクトルと学習パターンから求められる。これに対して、辞書ベクトルは、当該辞書ベクトルと特徴ベクトルとから更新される。
（第４実施形態）

第４実施形態は、図１に示した第１実施形態からの変形例であり、図６にその構成のブロック図を示す。なお第１実施形態と同じ構成には同一の符号を付しその説明は省略する。

図６に示すように、この第４実施形態のパターン認識装置は、上記第１実施形態に加えて、特徴ベクトル変換部３８と、特徴ベクトル変換行列記憶部４０と、特徴ベクトル変換行列学習部３９とを有している。

特徴ベクトル変換部３８は、第２の非線形変換部２０により変換された特徴ベクトルを、特徴ベクトル変換行列記憶部４０から読み出した特徴ベクトル変換行列を用いて変換済特徴ベクトル４１に変換する。

すなわち、特徴ベクトル変換部３８は、特徴変換用の行列である特徴ベクトル変換行列を用いて特徴ベクトルの変換を行ない、その出力である変換済特徴ベクトルをマッチング部２２へ送る。

特徴ベクトル変換行列記憶部４０には、フィルタ・マスクの特徴を選択するための変換行列である特徴ベクトル変換行列が記憶されている。特徴ベクトル変換行列記憶部４０には、特徴ベクトル変換行列学習部３９により繰り返し学習された特徴ベクトル変換行列が記憶される。

特徴ベクトル変換行列学習部３９は、特徴ベクトル変換部３８により変換された特徴ベクトルと認識結果とに基づいて特徴ベクトル変換行列を学習する。

マッチング部２２では、辞書ベクトル記憶部２１の辞書ベクトルとのマッチング処理が行なわれ、認識結果が出力される。ここまでが文字認識処理である。

この際、フィルタ・マスクと特徴ベクトル変換行列と辞書ベクトルについての学習がそれぞれ行なわれる。つまり、この第４実施形態では、認識結果に基づいてフィルタ・マスクと変換行列と辞書の更新を行なう。これを繰り返すことによって徐々にその値を変え、認識精度を高めてゆく。

部分領域特徴量計算部２６では、第２の非線形変換部２０が、部分領域内の画素値または画素に対応した特徴値と画素に対応したフィルタ・マスクの値の積和により計算される部分領域に対応した特徴値を求め、これら部分領域毎に求められた特徴値から特徴ベクトルを生成する。特徴ベクトル変換部３８は、その特徴ベクトルに対して特徴ベクトル変換行列記憶部４０に記憶されている特徴ベクトル変換行列を用いて行列演算することにより変換済特徴ベクトルを算出する。

部分領域毎の画素に対応したフィルタ・マスクの値については、フィルタ・マスク学習部２４が、学習パターンの認識結果に基づいて、辞書ベクトルと、学習パターンと、それに対応する特徴ベクトルとに基づいて決まる（求められる）フィルタ・マスク更新量によってフィルタ・マスクを繰り返し更新する。

特徴ベクトル変換行列学習部３９は、フィルタ・マスクの学習と同時に、学習パターンの認識結果に対応する特徴ベクトルと変換済特徴ベクトルとに基づいて決まる（求められまる）特徴ベクトル変換行列更新量によって特徴ベクトル変換行列記憶部４０の特徴ベクトル変換行列を繰り返し更新する。

辞書学習部２３は、フィルタ・マスクの学習と同時に、該辞書ベクトルと、学習パターンに対応する変換済特徴ベクトルに基づいて決まる辞書ベクトル更新量によってそれぞれの辞書ベクトルを繰り返し更新する。

なお、パターン認識装置では、変更したフィルタ・マスクと特徴ベクトル変換行列と辞書ベクトルを用いることにより文字認識を行なう。

ここでのフィルタリング機能には第１実施形態の説明で用いた方式や第２実施形態で用いた方法、またそれ以外の方法を用いることができるが、ここでは、一例として第２実施形態で用いた方法で説明する。ここで求められた特徴ベクトルχ＝｛χ_ａｂ｝に対して、特徴変換を次の式で行なう。ここで、このχ_ａｂを特徴、χを特徴ベクトルと呼び、またＨ_ｑａｂは変換行列の要素値とする。

このＹ_ｑはＭ個あるものとする。
すなわち、Ｍ次元ベクトルである（ｑ＝を、…、Ｍ−１）。

そして、再び第３の非線形変換部として非線形変換を施す。非線形変換の関数をσ（ｕ）として、

ｙ_ｑ=σ（Ｙ_ｑ）
とする。このｙ_ｑを要素値とする特徴ベクトルをｙとし、辞書ベクトルφ=｛φ_ｑ｝によって相違度を

で定義する。

次に、このパターン認識装置では、学習によって辞書ベクトルφとフィルタ・マスクＦと変換行列Ｈを求める。まず、辞書ベクトルφの更新は次式で行なう。
Δφ＝±２αｗ（ｄ）（ｙ−φ）

次に、この実施形態におけるフィルタ・マスクの学習動作を説明する。フィルタ・マスクの要素値Ｆ_ａｂ（ｋ，ｈ）を更新する更新量を次のようにして決める（求める）。

ある入力パターンｚが与えられたとき、あるカテゴリの辞書ベクトルφで相違度を計算したとする。このとき、Ｈ_ｑａｂの添え字のｑに対応する出力ベクトルの要素値ｙ_ｑの変化に対する相違度Ｄの変化を表す値をＰとして求める。これは相違度Ｄの変動を要素値ｙ_ｑの変動で割った値に基づく数値である。相違度Ｄを要素値ｙ_ｑで偏微分したものはその１例である。Ｐを出力変化量と呼ぶ。

次に、χ_ａｂの変化に対するｙ_ｑの変化を表す値をＱとして求める。これは要素値ｙ_ｑの変動をχ_ａｂの変動で割った値に基づく数値である。要素値ｙ_ｑをχ_ａｂで偏微分したものはその１例である。Ｓを特徴変換変化量と呼ぶ。

さらに，Ｆ_ａｂ（ｋ，ｈ）の変化に対するχ_ａｂの変化を表す値をＲとして求める。これはχ_ａｂの変動をＦ_ａｂ（ｋ，ｈ）の変動で割った値に基づく数値である。χ_ａｂをＦ_ａｂ（ｋ，ｈ）で偏微分したものはその１例である。Ｒを入力変化量と呼ぶ。

ＰＳをｑについて積算し、さらにＲを掛けた（ΣＰＳ）Ｒは、Ｆ_ａｂ（ｋ，ｈ）の変化に対するＤの変化を表す値である。前出の入力パターンｚが入力され、辞書ベクトルφを用いたとき、（ΣＰＳ）Ｒが正ならば、Ｆ_ａｂ（ｋ，ｈ）が増加すると、Ｄも増加する。

もし、その辞書ベクトルが正解カテゴリであったものとすると、これは相違度が上昇することになるので、そうならないようにフィルタ・マスクを調整しなければならない。すなわち、このときは、このＤの増加量にみあった量として、正の数値βを用いてβ（ΣＰＳ）Ｒを、Ｆ_ａｂ（ｋ，ｈ）から減少させる。

こうすることで相違度Ｄを減少させることができる。（ΣＰＳ）Ｒが負の場合には場合は逆にＦ_ｔａｂ（ｋ，ｈ）を増加させる。（ΣＰＳ）Ｒが０のときは学習しない。従って、Ｆ_ａｂ（ｋ，ｈ）に対する更新量は−β（ΣＰＳ）Ｒである。

さらに、窓関数ｗ（ｄ）を用意し、これを用いて更新量を−βｗ（ｄ）（ΣＰＳ）Ｒと修正し、これによって最終的に、Ｆ_ａｂ（ｋ，ｈ）を更新する。これは正解カテゴリに対する場合で、不正解カテゴリに対してはその逆とする。本実施形態では、Ｆ_ａｂ（ｋ，ｈ）の更新量は出力変化量Ｐ、非線形関数変化量Ｓの積和（ΣＰＳ）と、窓関数ｗ（ｄ）、入力変化量Ｒの積で求める。

次に具体的例として，Ｐ，Ｓ，Ｒを、

とする。

次に、特徴変換行列の要素値Ｈ_ｑａｂを更新する量を次のようにして決める。

まず、出力変化量ＰはＦ_ａｂ（ｋ，ｈ）と同じようにして求める。
そして、Ｈ_ｑａｂの変化に対するｙ_ｑの変化を表す値をＶとして求める。これはｙ_ｑの変動をＨ_ｑａｂの変動で割った値に基づく数値である。ｙ_ｑをＨ_ｑａｂで偏微分したものはその１例である。Ｖを特徴変換入力変化量と呼ぶ。

これらを連結したＰＶは、全体としてＨ_ｑａｂの変化に対する相違度Ｄの変化を表す値である。前記の入力パターンｚが入力され、辞書ベクトルφを用いたとき、ＰＶが正ならば、Ｈ_ｑａｂが増加すると、このとき相違度Ｄも増加する。

もし、その辞書ベクトルが正解カテゴリであったとすると、これは相違度が上昇することになるので、そうならないように特徴変換行列を調整しなければならない。

すなわち、このときは、この相違度Ｄの増加量に見あった量として、正の数値γを用いてγＰＶをＨ_ｑａｂから減少させる。こうすることで、相違度Ｄを減少させることができる。ＰＶが負の場合には場合は逆にＨ_ｑａｂを増加させる。ＰＶが０のときは学習しない。従って、Ｈ_ｑａｂに対する更新量は−γＰＶである。

さらに窓関数ｗ（ｄ）を用意し、これを用いて更新量を−γｗ（ｄ）ＰＶと修正し、最終的にこれによってＨ_ｑａｂを更新する。これは正解カテゴリに対する場合で、不正解カテゴリに対してはその逆とする。

この第４実施形態では、特徴変換行列の要素値Ｈ_ｑａｂの更新量を窓関数ｗ（ｄ）と出力変化量Ｐと特徴変換入力変化量Ｖの積で求める。

次に具体例として，Ｐ，Ｖを、

とする。

これらの実施形態は、窓関数の積分値を認識精度が悪い度合いを表す評価量と考えたとき、これを降下法によって最適化する考え方から計算したものであり、この実施形態において、各変化量として偏微分を用いて構成した方式である。

この例で、出力変化量Ｐは辞書ベクトルと特徴ベクトルによって計算される。入力変化量Ｒは入力パターン、すなわち学習パターンである。従って、フィルタ・マスクの更新量は辞書ベクトルと特徴ベクトルと学習パターンから求められる。また特徴変換行列更新量は、変換済特徴ベクトル、辞書ベクトル、特徴ベクトルから求められる。また辞書ベクトルの更新量は、当該辞書ベクトルと特徴ベクトルとから求められる。

すなわち、この第４実施形態の動作は、第１実施形態と異なる点として、図４のフローチャートのステップＳ２０５の処理が、認識結果に基づいてフィルタ・マスクと特徴ベクトル変換行列と辞書ベクトルの更新量を積算することになる点である。

（第５実施形態）
この第５実施形態は、フィルタ・マスクエリア変更部５０を有している。上記フィルタ・マスク学習部２４が、部分領域毎の画素に対応したフィルタ・マスクの値について、学習パターンの認識結果に基づいて、辞書ベクトルと、学習パターンと、それに対応する特徴ベクトルに基づいて決まるフィルタ・マスク更新量によってフィルタ・マスク記憶部２５の該当フィルタ・マスクを更新したときに、フィルタ・マスク更新部５０は、フィルタ・マスクの更新結果に基づいてフィルタ・マスク内の不要なエリアを決定し、その不要部分を取り除く処理、および／または隣接するエリアを付加する処理の少なくとも一方を含む処理によってマスクの位置とサイズの少なくとも一方を変更する処理を含むフィルタ・マスクの更新処理を繰り返し行なう。

つまり、この第５実施形態は、フィルタ・マスクエリア変更部５０を有する点が第１実施形態と異なる。なお、この第５実施形態では、第２実形態例に示したフィルタリング機能を用いて説明を行なうが他の形式のものを用いることも可能である。

この例では、文字認識に次の式を使う。

である。

次に、フィルタ・マスクの学習方式を説明する。フィルタ・マスクの要素値Ｆ_ａｂ（ｋ，ｈ）を更新する量を次のようにして決める。

ある入力パターンｚが与えられたとき、あるカテゴリの辞書ベクトルφで相違度を計算したとする。このとき、要素値Ｆ_ａｂ（ｋ，ｈ）の添え字のａｂに対応する出力ベクトルの要素値χ_ａｂの変化に対する相違度Ｄの変化を表す値をＰとして求める。これはＤの変動をχ_ａｂの変動で割った値に基づく数値である。Ｄをχ_ａｂで偏微分したものはその１例である。Ｐを出力変化量と呼ぶ。

次に、Ｘ_ａｂの変化に対するχ_ａｂの変化を表す値をＱとして求める。これはχ_ａｂの変動をＸ_ａｂの変動で割った値に基づく数値である。χ_ａｂをＸ_ａｂで偏微分したものはその１例である。Ｑを非線形関数変化量と呼ぶ。

さらに、要素値Ｆ_ａｂ（ｋ，ｈ）の変化に対するＸ_ａｂの変化を表す値をＲとして求める。これはＸ_ａｂの変動をＦ_ａｂ（ｋ，ｈ）の変動で割った値に基づく数値である。Ｘ_ａｂをＦ_ａｂ（ｋ，ｈ）で偏微分したものはその１例である。Ｒを入力変化量と呼ぶ。

これらを連結したＰＱＲは、全体として要素値Ｆ_ａｂ（ｋ，ｈ）の変化に対するＤの変化を表す値である。上記の入力パターンｚが入力され、辞書ベクトルφを用いたとき、ＰＱＲが正ならば、要素値Ｆ_ａｂ（ｋ，ｈ）が増加すると、このときＤも増加する。

もし、その辞書ベクトルが正解カテゴリであったとすると、これは相違度が上昇することになるので、そうならないようにフィルタ・マスクを調整しなければならない。

すなわち、このときは、このＤの増加量に見あった量として，正の数値βを用いてβＰＱＲをＦ_ａｂ（ｋ，ｈ）から減少させる。こうすることで、Ｄを減少させることができる。ＰＱＲが負の場合には場合は逆にＦ_ａｂ（ｋ，ｈ）を増加させる。ＰＱＲが０のときは学習しない。従って、Ｆ_ａｂ（ｋ，ｈ）に対する更新量は−βＰＱＲである。

さらに窓関数ｗ（ｄ）を用意し、これを用いて更新量を−βｗ（ｄ）ＰＱＲと修正し、最終的にこれによって要素値Ｆ_ａｂ（ｋ，ｈ）を更新する。これは正読カテゴリに対する場合で、不正解カテゴリに対してはその逆とする。

この第５実施形態でも、更新量を窓関数ｗ（ｄ）、出力変化量Ｐ、非線形関数変化量Ｑ、入力変化量Ｒの積で求める。

次に具体例として，Ｐ，Ｑ，Ｒを、

とする。

この例で、出力変化量Ｐは辞書ベクトルと特徴ベクトルによって計算される。入力変化量Ｒは入力パターン、すなわち学習パターンである。従って、フィルタ・マスクの更新量は、辞書ベクトルと特徴ベクトルと学習パターンから求められる。また、辞書ベクトルの更新量は、辞書ベクトルと特徴ベクトルとから求められる。

フィルタ・マスクエリア変更部５０は、フィルタ・マスクの変更後に、それに基づいたフィルタ・マスクのサイズ、位置変更を行なう。

図８はフィルタ・マスクエリア変更部５０におけるフィルタ・マスクのサイズ変更および位置変更の処理を説明するための図である。

図８に示すように、フィルタ・マスク３００は、更新後のフィルタ・マスクを示しており、１０×１０の画素からなるフィルタ・マスクである。フィルタ・マスクの変更が行なわれた後で、そのマスクの値について有効性のチェックを行なう。

マスク値が小さいか、または変更がほとんど無いと判断された画素は不要と判断される。フィルタ・マスク３００の各画素内の×印はその不要の画素を示している。

次に、この不要の画素数を縦列及び横列にカウントする。符号３０１は横列でカウントした値を記載した部分であり、符号３０２は縦列の方向に数値を足し算した値をメモリに記憶した部分である。

この後、メモリの計数値から上下両端について不要と考えられる列を抽出する。この例では予め設定しておいた不要画素数を示す閾値を例えば６とし、閾値の６以上を不要列とし判断するものとする。

従って、部分領域３０３を不要エリアとしてマスク・データから除去する。こうすることで、部分領域３０４が残ることになる。この処理を通してマスクを縮小することができる。

次に、フィルタ・マスクを移動する処理について説明する。まず、上記と同様な手法で上下のどちらか、左右のどちらかの列を除去する。これは、例えば上下であれば除去すべき列の不要画素数の多い方を除去するようにすることにより実現できる。

この縮小のプロセスの後に、除去した列の反対側に除去した分の列を付加することもできる。符号３０５はその付加列を示している。この列の画素のマスク値には予め初期値として決められた値、または符号３０４のマスク値の平均など、初期値を与えて設定する。

このようにして最終的にできあがる部分領域３０４と部分領域３０５のマスクはサイズが部分領域３００と同じで、右下に２画素ずれたフィルタ・マスクになる。このようにしてマスクの移動を実現する。

マスクの移動だけでなく、例えば上下左右の同じ数の列を付加することによってマスクを拡大することができる。

フィルタ・マスクエリア変更部５０は、所定の条件によって上記の拡大、縮小、移動を行なうことによりフィルタ・マスクのサイズ、位置の学習を行なう。

このフィルタ・マスクのサイズ変更、移動などを行なう際に、複数のフィルタ・マスクが重ならないように制御することが必要となる。

そこで、フィルタ・マスクエリア変更部５０は、あるフィルタ・マスクのサイズ・位置変更を行なうときに、その変更後のマスクとその他のマスクの重なる数をカウントする。

具体的には、ある画素について、その原画像上の位置が他のフィルタ・マスクに含まれているかどうかを調べ、原画像上の位置が他のフィルタ・マスクに含まれているケースの数をカウントする。

フィルタ・マスクエリア変更部５０は、このカウント値を変更対象フィルタ・マスク全域で積算して、その値が予め定めている閾値よりも大きければ、変更をしないように制御する。

もちろん、位置、サイズの変更が必要無い場合には、そのままマスク値を変更するだけで良いようにフィルタ・マスク学習部２４を構成しても良い。

（第６実施形態）
第１実施形態から第５実施形態は、認識部を１段構成の単純な形態で構成した。そこで、この第６実施形態は、認識部を２段構成とした。

図９は本発明の第６実施形態にかかるパターン認識装置の構成を示すブロック図である。これは複数の特徴ベクトル生成部２９−０，２９−１，２９−Ｎと、パターン識別部２８−０，２８−１，２８−Ｎを有するものであり、類似文字識別に威力発揮するように構成した文字認識システムである。各特徴ベクトル生成部２９−０，２９−１，２９−Ｎおよび各パターン識別部２８−０，２８−１，２８−Ｎには上記の第１から第５実施形態におけるパターン識別装置を用いる。

第１から第５実施形態では、自動的に特定の類似文字ペアや類似文字グループに対して有効なフィルタリング機能が得られるので、このフィルタリング機能を主要な類似文字ペア，グループに対して複数設け、図９の文字認識システムの二次認識部１２０に組み込んだものである。

図９に示すように、この第６実施形態のパターン認識装置１００は、一次認識部１１０と二次認識部１２０とを有している。

一次認識部１１０は、特徴抽出部１１１とパターン識別部１１２と辞書１１３で構成される。特徴抽出部１１１は、入力パターンの特徴を濃度パターン法、加重方向ヒストグラム法などの公知の方法で抽出して特徴ベクトルを生成する。

パターン識別部１１２は、特徴抽出部１１１より入力された特徴ベクトルと、辞書１１３に格納された検出対象文字種の標準パターンの特徴ベクトルとを照合して類似度の高い１以上の文字の候補を判定して、その判定結果を一次認識部１１０の出力として二次認識部１２０へ与える。

二次認識部１２０は、切り替え部１２５と、複数の特徴ベクトル生成部２９−０，２９−１，２９−Ｎと、パターン識別部２８−０，２８−１，２８−Ｎを有している。つまり、二次認識部１２０の構成は、第１から第５実施形態に示したパターン認識装置の構成を複数設けたものである。

特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、類似する文字のグループごとに設けられている。複数の特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、切り替え部１２５によって一つが選択され、選択された特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、一次認識部１１０へ入力された入力パターンについて、予め設定された複数の部分領域毎の特徴量の計算を行なう。個々の部分領域特徴量計算部における特徴量の計算は第１〜第５の実施例に示す方法用いる。

切り替え部１２５は、一次認識部１１０の認識結果を基に入力パターンを与える１以上の特徴ベクトル生成部２９−０，２９−１，２９−Ｎを選択する。例えば、切り替え部１２５は、一次認識部１１０の認識結果である文字候補を含む類似文字のグループを判定して、そのグループに対応する特徴ベクトル生成部２９−０，２９−１，２９−Ｎのいずれかを選択し、選択した特徴ベクトル生成部２９−０，２９−１，２９−Ｎのいずれかへ入力パターンを与える。

このためにパターン認識装置１００は、文字とグループと特徴ベクトル生成部２９−０，２９−１，２９−Ｎとの対応を知るためのテーブル（図示せず）を保持している必要がある。切り替え部１２５は、このテーブルを参照して文字候補の属するグループを調べ、さらにこのグループに対応する特徴ベクトル生成部２９−０，２９−１，２９−Ｎを判定し，それに対して入力パターンを与える。

特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、部分領域特徴量計算部によって得られた結果に基づいて特徴ベクトルを生成し、これをパターン識別部２８−０，２８−１，２８−Ｎに与える。

パターン識別部２８−０，２８−１，２８−Ｎは、特徴ベクトル生成部２９−０，２９−１，２９−Ｎからの特徴ベクトルと、特徴ベクトル記憶部に記憶された標準パターンの特徴ベクトルとを照合して類似度の最も高い文字を最終的な認識結果として出力する。

ここでは、切り替え部１２５の選択グループ数に応じたパターン識別部２８−０，２８−１，２８−Ｎを用いたが、一つのパターン識別部２８でパターン識別するように構成しても良い。

上記実施形態のパターン認識装置によれば、より高度なフィルタ・マスク学習によって類似文字の認識精度の向上を図ることができる。また、その学習によって特徴抽出パラメータを自動的に生成することができる。

次に、この第６実施形態のパターン認識装置１００の動作を説明する。まず、対象文字のパターン画像が一次認識部１１０へ入力される。一次認識部１１０は、特徴抽出部１１１にてその入力パターンから特徴を抽出して特徴ベクトルを生成してパターン識別部１１２へ与える。パターン識別部１１２は、入力された特徴ベクトルと、辞書１１３に格納された辞書ベクトル（標準パターン）とを照合して、相違度の低い、または類似度の高い１以上の文字を判定し、これらを認識文字の候補として二次認識部１２０に入力する。

二次認識部１２０は、一次認識部１１０より与えられた認識文字の候補を切り替え部１２５に入力する。切り替え部１２５はこの認識文字の属するグループを調べ、さらにこのグループに対応する特徴ベクトル生成部２９−０，２９−１，２９−Ｎのいずれかを判定して、判定した特徴ベクトル生成部（２９−０，２９−１，２９−Ｎのいずれか）に認識対象文字のパターン画像を与える。

このとき一次認識部１１０より得られた認識文字の候補が複数あって、それぞれの文字の属するグループが異なる場合には、それぞれのグループに対応する別々の特徴ベクトル生成部２９−０，２９−１，２９−Ｎへ検出対象文字の入力パターンをそれぞれ与える。

特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、部分領域毎の特徴量を計算してその結果である部分領域特徴量をパターン識別部２８−０，２８−１，２８−Ｎへ与える。

パターン識別部２８−０，２８−１，２８−Ｎは、各特徴ベクトルを取得すると、各特徴ベクトル記憶部（図示せず）に格納された標準パターンとを照合して、例えば類似度を計算し、最も高い類似度が得られた文字を認識結果として出力する。

また、フィルタ・マスク学習部２４−０，２４−１，２４−Ｎは、各特徴ベクトル生成部２９−０，２９−１，２９−Ｎのフィルタ・マスク記憶部を更新する。

以上のように、この第６実施形態によれば、二次認識部１２０にパターン認識部を用いることで、類似文字のグループ毎に、その類似文字の認識にとって有効な特徴抽出を行ない、類似文字間での文字の識別精度を高めることができる。

ここまでの第１〜第６実施形態の説明では画素値を用いて説明したが、これは各画素とその周辺の画素も用いて求めた特徴値であってもよい。

また、上記実施形態では主に文字の認識について説明したが、本発明は文字以外に例えば画像やマークなど、パターン認識可能な対象についても適用することが可能である。

上記実施形態で説明した各々の手段を組み合わせて学習を実施することも可能である。
上記実施例ではフィルタ・マスクや辞書ベクトルなどを作成する機能をパターン認識装置の中に設置せず、予め記憶しておくという前提で説明してきたが、このような作成機能をパターン認識装置に組み込むこともできる。

なお、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。また、上記実施形態に開示されている複数の構成要素を適宜組み合わせ、または削除する等して、種々の発明を構成できる。

例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１実施形態のパターン認識装置の構成を示す図である。 特徴ベクトル生成部の構成を示す図である。 パターン認識装置の動作を示すフローチャートである。 フィルタ・マスクと辞書ベクトルの学習動作を示すフローチャートである。 第２、第３実施形態のパターン認識装置の構成を示す図である。 第４実施形態のパターン認識装置の構成を示す図である。 第５実施形態のパターン認識装置の構成を示す図である。 フィルタ・マスクのサイズ、位置変更処理を説明するための図である。 第６実施形態のパターン認識装置の構成を示す図である。

符号の説明

１２，１３，１４，１５…フィルタ・マスクの組、１６，１７，１８，１９…部分領域計算ユニット、１５…フィルタ・マスク、２０…第２の非線形変換部、２１…辞書ベクトル記憶部、２２…マッチング部、２３…辞書学習部、２４…フィルタ・マスク学習部、２５…フィルタ・マスク記憶部、２６…部分領域特徴量計算部、２７…特徴ベクトル、２８…パターン識別部、２８…パターン識別部、２９…特徴ベクトル生成部、１１ａ…部分領域画像、３０…辞書ベクトル記憶部、３１，３２，３３…フィルタ・マスク、３４，３５，３６…内積計算部、３７…第１の非線形関数部、３８…特徴ベクトル変換部、３９…特徴ベクトル変換行列学習部、４０…特徴ベクトル変換行列記憶部、４２，４３，４４，４５…辞書ベクトル、４６，４７，４８，４９…内積計算、５０…フィルタ・マスクエリア変更部、１００…パターン認識装置、１１０…一次認識部、１１１…特徴抽出部、１１２…パターン識別部、１１３…辞書、１２０…二次認識部。

Claims (6)

1. 入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、
   １個の部分領域に複数のフィルタ・マスクが記憶されたフィルタ・マスク記憶部と、
   前記部分領域特徴量計算部により１個の部分領域に複数設定されたフィルタ・マスク毎に求められた特徴値複数個を非線形関数に代入することによって１個の新たな特徴値を求め、各部分領域毎に求められたこの新たな特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、
   パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部と、
   前記特徴ベクトル生成部により生成された特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、
   前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルと、前記非線形関数に基づく非線形関数の変化量とからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、
   前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部と
   を具備することを特徴とするパターン認識パラメータ学習装置。
2. 入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、
   フィルタ・マスクが記憶されたフィルタ・マスク記憶部と、
   前記部分領域特徴量計算部によりフィルタ・マスク毎に求められた特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、
   パターン識別の基準となる辞書ベクトルとして、１つの類似度または相違度を求めるために、Ｎ次元の特徴ベクトルに対して、Ｎ次元の辞書ベクトルが２個以上のｒ個記憶され、Ｐ番目の辞書ベクトルと特徴ベクトルから求まる前記Ｐ毎の値ｒ個に基づいて類似度または相違度を計算するように構成された辞書ベクトル記憶部と、
   前記特徴ベクトル生成部により生成された特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、
   前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記Ｐ番目の辞書ベクトルと特徴ベクトルから求まる前記Ｐ毎の値ｒ個と、ｒ個の辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、
   前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部と
   を具備することを特徴とするパターン認識パラメータ学習装置。
3. 入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、
   フィルタ・マスクが記憶されたフィルタ・マスク記憶部と、
   前記部分領域特徴量計算部によりフィルタ・マスク毎に求められた特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、
   前記特徴ベクトル生成部により生成された前記パターン画像の特徴ベクトルを、予め設定された特徴変換行列により変換済特徴ベクトルに変換する特徴ベクトル変換部と、
   パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部と、
   前記特徴ベクトル変換部により生成された変換済特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、
   前記特徴ベクトル変換部により変換された変換済特徴ベクトルと前記特徴ベクトルと前記辞書ベクトルから特徴変換行列更新量を求め、求めた特徴変換行列更新量よって特徴変換行列を繰り返し更新する特徴変換行列学習部と、
   前記特徴ベクトル変換部により変換された変換済特徴ベクトルと前記特徴ベクトルと前記特徴変換行列と前記辞書ベクトルとから該フィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量よって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、
   前記辞書ベクトルと前記パターン画像に対応する前記変換済特徴ベクトルとから該辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部と
   を具備することを特徴とするパターン認識パラメータ学習装置。
4. 入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、
   フィルタ・マスクが記憶されたフィルタ・マスク記憶部と、
   前記部分領域特徴量計算部によりフィルタ・マスク毎に求められた特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、
   パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部と、
   前記特徴ベクトル生成部により生成された特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、
   前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果と、前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルとを用いてフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、
   前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部と、
   前記フィルタ・マスク学習部により求められた前記フィルタ・マスク更新量に基づいて不要と判断される画素を判定し、この判定の結果に基づいてフィルタ・マスクのエリア内の不要な部分を決定し、その部分を取り除く処理および隣接するエリアを付加する処理のうちの少なくとも一つの処理を行うことによって、マスクの位置とサイズのうちの少なくとも一方を変更するフィルタ・マスク更新処理を繰り返し行なうフィルタ・マスク変更部と
   を具備することを特徴とするパターン認識パラメータ学習装置。
5. 前記請求項１乃至４いずれか１記載のパターン認識パラメータ学習装置によって生成されたフィルタ・マスクと辞書ベクトルとを、特徴抽出およびパターン照合に用いることを特徴とするパターン認識装置。
6. 入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値を積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算するステップと、
   計算された前記特徴値複数個を非線形関数に代入することによって１個の新たな特徴値を求め、各部分領域毎に求められたこの新たな特徴値複数個から前記パターン画像の特徴ベクトルを生成するステップと、
   生成された前記特徴ベクトルと、パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部の辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうステップと、
   前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルと、前記非線形関数に基づく非線形関数の変化量とからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によってフィルタ・マスクが記憶されたフィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するステップと、
   前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新するステップと
   を具備することを特徴とするパターン認識パラメータ学習方法。

Images