JP4393720B2 - パターン認識装置および方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、認識対象の情報に含まれる文字等のパターンを認識する装置およびその方法に関する。
【０００２】
【従来の技術】
従来の文字認識における代表的な識別方法は、以下のようなものである。まず、入力された文字パターンから、ある定められた方法によって、数値の組、すなわちベクトルとして特徴を抽出する。つまり、特徴抽出によって、入力パターンは、特徴ベクトル空間内の点に写像される。そして、この入力パターンの特徴ベクトルと、ベクトル空間における各カテゴリの代表点との距離を計算し、最も近いカテゴリを認識結果とする。
【０００３】
ここで、ベクトル空間における各カテゴリの代表点は、カテゴリ毎に用意された標本パターン特徴ベクトルのベクトル空間における平均である。距離尺度としては、シティブロック距離、ユークリッド距離等が用いられる。
【０００４】
また、鶴岡らによる“加重方向指数ヒストグラム法による手書き漢字・ひらがな認識”（電子情報通信学会論文誌Ｄ，Vol.J70-D, No.7, pp.1390-1397, July 1987）において、単なる距離ではなく、特徴ベクトル空間における各カテゴリの分布を識別に反映させた、疑似ベイズ識別関数（Modified Bayes Discriminant Function）を用いる方法が提案されている。
【０００５】
これは、標本パターンが正規分布に従い、平均と共分散行列が既知の場合、最適識別関数となるベイズ識別関数を、理論および実装上の問題点を解決するように変形させたものである。これらの問題点とは、共分散行列の固有ベクトルが高次になるほど推定誤差が大きくなること、計算量や記憶容量が膨大に必要なこと等である。入力パターンの特徴ベクトル（ｎ次元）をｘとすると、カテゴリＣに対するベイズ識別関数ｆ_c （ｘ）と疑似ベイズ識別関数ｇ_c （ｘ）は、以下のように定義される。
（１）ベイズ識別関数
ｍ_c ：カテゴリＣの平均ベクトル
Σ_c ：カテゴリＣの共分散行列
【０００６】
【数１】

【０００７】
（２）疑似ベイズ識別関数
α_c ⁱ：Σ_c のｉ番目の固有値
ｖ_c ⁱ：Σ_c のｉ番目の固有値に対応する固有ベクトル
ｋ：１以上ｎ以下の整数
【０００８】
【数２】

【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来のパターン認識には、次のような問題がある。
疑似ベイズ識別関数を用いた場合でも、最も標準的なフォントである明朝体に比べて変形の強いフォントや、入出力状況に応じて劣化の激しい文書における文字の認識精度は良くない。また、当然のことながら、変形の強いフォントに対して劣化が加わると、認識精度はさらに低下する。
【００１０】
本発明の課題は、変形の強いフォントや劣化の激しい文書における文字のように、特定の特徴を持つパターンに対して、高精度な認識処理を行うパターン認識装置およびその方法を提供することである。
【００１１】
【課題を解決するための手段】
図１は、本発明のパターン認識装置の原理図である。図１のパターン認識装置は、計算手段１１と認識手段１２を備え、パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、認識を行う。
【００１２】
計算手段１１は、あるパターン集合について、各パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合が生成され、その差分ベクトルの集合の自己相関行列を共分散行列とし、未知パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値が定義され、その期待値に基づいてそのカテゴリの識別関数が定義されたとき、上記未知パターンの特徴ベクトルに対するその識別関数の値を計算する。
【００１３】
認識手段１２は、その識別関数の値に基づいて上記未知パターンの認識を行い、認識結果を出力する。
差分ベクトルの集合は、パターン集合特有の誤差分布を表していると考えられ、その自己相関行列は誤差分布の情報を含んでいる。この自己相関行列を共分散行列とする正規分布を確率密度関数として用いることにより、誤差分布の情報を反映した期待値が生成される。したがって、この期待値に基づいて定義された識別関数は、パターン集合特有の特徴を反映している。
【００１４】
計算手段１１は、未知パターンの特徴ベクトルに対するこの識別関数の値を計算し、計算結果を認識手段１２に出力する。認識手段１２は、受け取った識別関数の値に基づいて、未知パターンのカテゴリを判定し、判定結果を出力する。
【００１５】
このようなパターン認識装置によれば、パターン集合と同様の特徴を持つ未知パターンに対して、より高精度な認識処理を行うことができる。例えば、変形の強いフォントの文字パターンの集合から差分ベクトルの集合を生成すれば、そのフォントの未知パターンの認識精度が向上し、劣化の激しい文書における文字パターンの集合から差分ベクトルの集合を生成すれば、同じような劣化が見られる未知パターンの認識精度が向上する。
【００１６】
図１の計算手段１１と認識手段１２は、例えば、後述する図６のＣＰＵ（中央処理装置）３１とメモリ３２の組合せに対応する。
【００１７】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
本実施形態では、従来の疑似ベイズ識別関数に、フォント特有あるいは劣化による変形特有の情報を付加する方法を採用する。まず、ある入力パターンの集合が与えられたとき、そのパターン集合の各パターンの特徴ベクトルと、対応する正解カテゴリの平均特徴ベクトルとの差分をとり、得られた差分ベクトルの集合を、そのパターン集合特有の誤差分布と考える。
【００１８】
次に、未知パターンの特徴ベクトルｘが与えられたとき、図２に示すように、特徴ベクトル空間内の点ｘに関して、上述のパターン集合特有の誤差分布を確率密度関数Ｆ_e （ｘ）とする。そして、あるカテゴリＣの識別関数の確率密度関数をＦ_c （ｘ）として、Ｆ_c （ｘ）の期待値（類似度）をＦ_e （ｘ）を用いて求め、得られた期待値に基づいて、そのカテゴリＣに対する識別関数値を定義する。このとき、Ｆ_c （ｘ）の期待値は、図２の領域２０の面積に対応し、次式で与えられる。
【００１９】
【数３】

【００２０】
図３は、このような識別関数値を用いた場合のカテゴリの分布の変化を示している。元の識別関数に基づくカテゴリＣの特徴ベクトルの分布２１と、あるパターン集合特有の誤差分布２２から、新しい分布２３が生成される。
【００２１】
このとき、元の分布２１が未知パターンの特徴ベクトルを含んでいなかったとしても、新しい分布２３はその特徴ベクトルを含むようになり、カテゴリＣを未知パターンの認識結果として採用することが可能になる。したがって、未知パターンが、誤差分布２２に対応するパターン集合と同様の特徴を持っている場合、未知パターンの認識精度が向上する。
【００２２】
次に、新たな識別関数の求め方をより詳細に説明する。まず、平均ｍ₁ 、共分散行列Σ₁ の正規分布を、平均ｍ₂ 、共分散行列Σ₂ の正規分布の重みをつけて総和した関数ｑ（ｍ₁ ，ｍ₂ ，Σ₁ ，Σ₂ ）は、次式により与えられる。
【００２３】
【数４】

【００２４】
ただし、
【００２５】
【数５】

【００２６】
である。
このｑ（ｍ₁ ，ｍ₂ ，Σ₁ ，Σ₂ ）を用いて、新たな識別関数φ_c （ｘ）は以下のように定義できる。
ｘ：入力パターンの特徴ベクトル（ｎ次元）
ｍ_c ：カテゴリＣの平均ベクトル
Σ_c ：カテゴリＣの共分散行列
Σ：パターン集合の誤差分布に関する共分散行列
φ_c （ｘ）＝−２ｌｏｇｑ（ｍ_c ，ｘ，Σ_c ，Σ） （６）
ここで、ｑ（ｍ_c ，ｘ，Σ_c ，Σ）は、（３）式の期待値に対応する。このφ_c （ｘ）から定数項を除くと、次のような識別関数Φ_c （ｘ）が得られる。
【００２７】
【数６】

【００２８】
このΦ_c （ｘ）は、（１）式のベイズ識別関数ｆ_c （ｘ）において、Σ_c をΣ＋Σ_c に置き換えたものに等しい。そして、ベイズ識別から疑似ベイズ識別への移行と同様にして、次のような識別関数Ψ_c （ｘ）を新たに定義する。
γ_c ⁱ：Σ＋Σ_c のｉ番目の固有値
ｚ_c ⁱ：Σ＋Σ_c のｉ番目の固有値に対応する固有ベクトル
ｌ：１以上ｎ以下の整数
【００２９】
【数７】

【００３０】
ここで、γ_c ⁱとｚ_c ⁱを求めるべきであるが、カテゴリ毎にすべての固有値と固有ベクトルを求めていては、処理時間が膨大になる。そこで、ΣとΣ_c のそれぞれの固有値と固有ベクトルのうち、固有値の大きい順に上位のものを求め、それらの固有値と固有ベクトルだけを用いて、Σ＋Σ_c の固有値と固有ベクトルの近似値を高速に求めることにする。
【００３１】
以下では、簡単のためにカテゴリの添え字Ｃを省略して、γ_c ⁱとｚ_c ⁱをそれぞれγ_i とｚ_i と記すことにする。このとき、γ_i とｎ次元ベクトルｚ_i （ｉ＝１，２，．．．，ｌ）は、次のようにして求められる。
＜固有値・固有ベクトルの計算アルゴリズム＞
まず、共分散行列Σ_c の上位ｓ個の固有値をα₁ ≧α₂ ≧・・・≧α_s （ｓ≦ｌ）とし、それらに対応する固有ベクトルをｖ₁ ，ｖ₂ ，．．．，ｖ_s とする。また、共分散行列Σの上位ｔ個の固有値をβ₁ ≧β₂ ≧・・・≧β_t （ｔ≦ｌ，ｌ≦ｓ＋ｔ）とし、それらに対応する固有ベクトルをｗ₁ ，ｗ₂ ，．．．，ｗ_t とする。そして、以下に示すように、ｖ₁ ，ｖ₂ ，．．．，ｖ_s で張られる部分ベクトル空間をＶとし、ｗ₁ ，ｗ₂ ，．．．，ｗ_t で張られる部分ベクトル空間をＷとして、ＶとＷの和空間をＵとする。
Ｖ＝｛ｖ₁ ，ｖ₂ ，．．．，ｖ_s ｝ （９）
Ｗ＝｛ｗ₁ ，ｗ₂ ，．．．，ｗ_t ｝ （１０）
Ｕ＝Ｖ＋Ｗ （１１）
ここで、グラム・シュミットの直交化によって、次式を満たすようなｎ次元ベクトルベクトルｗ′₁ ，ｗ′₂ ，．．．，ｗ′_u （ｓ＋ｕ＝ｌ）およびｖ′₁ ，ｖ′₂ ，．．．，ｖ′_v （ｔ＋ｖ＝ｌ）を求める。
Ｕ＝｛ｖ₁ ，ｖ₂ ，．．．，ｖ_s ，ｗ′₁ ，ｗ′₂ ，．．．，ｗ′_u ｝
＝｛ｖ′₁ ，ｖ′₂ ，．．．，ｖ′_v ，ｗ₁ ，ｗ₂ ，．．．，ｗ_t ｝（１２）
そして、行列Ｖ_W 、Ｗ_V 、Ａ、およびＢを、次のように定義する。
Ｖ_W ＝（ｖ₁ ｖ₂ ．．．ｖ_s ｗ′₁ ｗ′₂ ．．．ｗ′_u ） （１３）
Ｗ_V ＝（ｗ₁ ｗ₂ ．．．ｗ_t ｖ′₁ ｖ′₂ ．．．ｖ′_v ） （１４）
【００３２】
【数８】

【００３３】
ただし、α（＝α_s+1 ）とβ（＝β_t+1 ）は既知であるものとする。ここで、Ｗ_V は、ある直交行列Ｐを用いて、Ｗ_V ＝Ｖ_W Ｐと表される。そこで、Ｕ内でΣ＋Σ_c の固有値を求めるために行列Ａ＋ＰＢＰ^t を考え、以下に示すように、この行列を対角化して、対角成分をγ₁ ，γ₂ ，．．．，γ_s+u （γ_s+u ＝γ_l ）とする。
Ａ＋ＰＢＰ^t ＝ＸΓＸ^t （１７）
Ｘ＝（ｘ₁ ｘ₂ ．．．ｘ_s+u ） （１８）
【００３４】
【数９】

【００３５】
そして、次式によりｚ₁ ，ｚ₂ ，．．．，ｚ_s+u （ｚ_s+u ＝ｚ_l ）を求める。
（ｚ₁ ｚ₂ ．．．ｚ_s+u ）＝Ｖ_W Ｘ （２０）
次に、図４および図５を参照しながら、（８）式の識別関数を用いたパターン認識処理の具体例を説明する。
【００３６】
例えば、入力機器により入力された文書画像の文字を認識する場合、入力文書のフォントの種類をＦとし、入力機器の種類をＩとし、文書画像の解像度をＲとして、次の３つの文字パターン集合をあらかじめ用意しておく。
Ｓ_F ：フォントＦの文字パターンの集合
Ｓ_I ：入力機器Ｉにより入力された文字パターンの集合
Ｓ_R ：解像度Ｒで入力された文字パターンの集合
次に、文字パターン集合毎に、各特徴ベクトルと各正解文字のカテゴリ（正解カテゴリ）の平均特徴ベクトルとの差分をとり、得られた差分ベクトルの集合を、それぞれＤ_SF、Ｄ_SI、Ｄ_SRとする。
【００３７】
ここで、フォントＦの未知パターンの文字認識を行う場合、その未知パターンの特徴ベクトルｘを平均とし、差分ベクトルの集合Ｄ_SFの自己相関行列を共分散行列とするような正規分布を、確率密度関数として用いて、カテゴリＣの確率密度関数の期待値を求める。そして、その期待値に基づいて（８）式の識別関数を求め、未知パターンの特徴ベクトルに対する識別関数の値を計算して、文字認識を行う。
【００３８】
また、入力機器Ｉにより入力された未知パターンの文字認識を行う場合、その未知パターンの特徴ベクトルｘを平均とし、差分ベクトルの集合Ｄ_SIの自己相関行列を共分散行列とするような正規分布を、確率密度関数として用いて、カテゴリＣの確率密度関数の期待値を求める。
【００３９】
また、解像度Ｒで入力された未知パターンの文字認識を行う場合、その未知パターンの特徴ベクトルｘを平均とし、差分ベクトルの集合Ｄ_SRの自己相関行列を共分散行列とするような正規分布を、確率密度関数として用いて、カテゴリＣの確率密度関数の期待値を求める。
【００４０】
また、これらの３つの差分ベクトルの集合を組み合わせて用いる場合、まず、特徴ベクトル空間の各点ｘにおいて、Ｄ_SFの自己相関行列を共分散行列とするような正規分布を確率密度関数として、カテゴリＣの確率密度関数ｆ₀ （ｘ）の期待値ｆ₁ （ｘ）を求める。
【００４１】
次に、各点ｘにおいて、Ｄ_SIの自己相関行列を共分散行列とするような正規分布を確率密度関数として、ｆ₁ （ｘ）の期待値ｆ₂ （ｘ）を求める。さらに、各点ｘにおいて、Ｄ_SRの自己相関行列を共分散行列とするような正規分布を確率密度関数として、ｆ₂ （ｘ）の期待値ｆ₃ （ｘ）を求め、このｆ₃ （ｘ）をカテゴリＣの新たな確率密度関数とする。
【００４２】
この場合、（６）式のｑ（ｍ_c ，ｘ，Σ_c ，Σ）をｆ₃ （ｘ）に置き換えることで、対応する識別関数Ψ_c （ｘ）が得られる。
ここでは、３つの文字パターン集合Ｓ_F 、Ｓ_I 、Ｓ_R を用いているが、一般には、１つ以上の任意の個数の文字パターン集合を用いて、それらの誤差分布を識別関数に反映することができる。また、期待値の計算において、必ずしも誤差分布の情報をＤ_SF、Ｄ_SI、Ｄ_SRの順に用いる必要はなく、これらは任意の順序で用いることができる。
【００４３】
図４は、このような３つの文字パターン集合を用いた文字認識処理のフローチャートである。パターン認識装置は、まず、認識対象文書の入力に用いられた機器の情報を取得する（ステップＳ１）。想定される機器としては、スキャナ、デジタルカメラ、ファクシミリ装置等がある。パターン認識装置は、例えば、画像を解析して自動的に機器の種類を判断したり、ユーザに機器の種類を入力させることにより、この情報を取得する。
【００４４】
次に、取得した情報に基づき、あらかじめ記憶された誤差分布の情報の中から、入力機器に対応する誤差分布の情報を取得する（ステップＳ２）。具体的には、Ｄ_SIに対応する共分散行列の上位ｍ₁ 個の固有値・固有ベクトルが、誤差分布の情報として取り出される。
【００４５】
次に、認識対象文書の画像の解像度に関する情報を取得する（ステップＳ３）。解像度としては、例えば、１５７ドット／ｃｍ、１１８ドット／ｃｍ、７９ドット／ｃｍ等が用いられる。パターン認識装置は、例えば、画像を解析して自動的に解像度を判断したり、ユーザに解像度を入力させることにより、この情報を取得する。
【００４６】
次に、取得した情報に基づき、記憶された誤差分布の情報の中から、解像度に対応する誤差分布の情報を取得する（ステップＳ４）。具体的には、Ｄ_SRに対応する共分散行列の上位ｍ₂ 個の固有値・固有ベクトルが取り出される。
【００４７】
次に、認識対象文書のフォントの種類に関する情報を取得する（ステップＳ５）。フォントとしては、例えば、細明朝、中明朝、太明朝、細ゴシック、中ゴシック、太ゴシック、楷書書体等が用いられる。パターン認識装置は、例えば、画像を解析して自動的にフォントの種類を判断したり、ユーザにフォントの種類を入力させることにより、この情報を取得する。
【００４８】
次に、取得した情報に基づき、記憶された誤差分布の情報の中から、フォントの種類に対応する誤差分布の情報を取得する（ステップＳ６）。具体的には、Ｄ_SFに対応する共分散行列の上位ｍ₃ 個の固有値・固有ベクトルが取り出される。
【００４９】
次に、各カテゴリの変動分布に関する共分散行列の上位ｍ₀ 個の固有値・固有ベクトルと、ステップＳ２、Ｓ４、およびＳ６で取得した固有値・固有ベクトルに対して、上述の固有値・固有ベクトルの計算アルゴリズムを繰り返し適用することにより、各カテゴリの新たな固有値・固有ベクトルを算出する（ステップＳ７）。
【００５０】
次に、得られた固有値・固有ベクトルを用いて（８）式の識別関数値を計算し、疑似ベイズ識別を行う（ステップＳ８）。そして、識別により得られた認識結果を出力する。
【００５１】
図４の文字認識処理では、あらかじめ用意された文字パターン集合を用いて誤差分布を生成しているが、入力された認識対象文書に基づいて文字パターン集合を動的に生成することも可能である。
【００５２】
この場合、ある入力文書Ｄに含まれる文字パターンの集合Ｓ_D の各文字パターンについて、すべてのカテゴリに対する確率密度関数値を求め、それらの確率密度関数値のうちの最大値があるしきい値よりも大きいような文字パターンを、正解文字が存在する文字パターンとして抽出する。次に、抽出された文字パターンの集合に対して、各特徴ベクトルと各正解カテゴリの平均との差分をとり、得られた差分ベクトルの集合をＤ_SDとする。
【００５３】
そして、文字パターン集合Ｓ_D のある文字パターンを対象として、その特徴ベクトルｘを平均とし、Ｄ_SDの自己相関行列を共分散行列とするような正規分布を確率密度関数として、カテゴリＣの確率密度関数の期待値を求め、得られた期待値に基づいてｘに対するカテゴリＣの識別関数値を求める。
【００５４】
図５は、このような文字認識処理のフローチャートである。パターン認識装置は、まず、任意の方法により認識対象文書を文字認識する（ステップＳ１１）。この文字認識では、シティブロック距離やユークリッド距離を用いてもよく、疑似ベイズ識別関数を用いてもよい。
【００５５】
次に、認識結果に基づき、正解文字のカテゴリを推定する（ステップＳ１２）。推定方法としては、認識距離値があるしきい値以下の文字を正解としてもよく、認識確信度を求め、それがあるしきい値以上の文字を正解としてもよい。
【００５６】
次に、推定された正解文字に関する誤差分布の共分散行列を計算し（ステップＳ１３）、その共分散行列の固有値・固有ベクトルを計算して、上位ｍ個を選択する（ステップＳ１４）。
【００５７】
次に、各カテゴリの変動分布に関する共分散行列の上位ｍ₀ 個の固有値・固有ベクトルと、ステップＳ１４で取得した固有値・固有ベクトルに対して、上述の固有値・固有ベクトルの計算アルゴリズムを適用することにより、各カテゴリの新たな固有値・固有ベクトルを算出する（ステップＳ１５）。
【００５８】
次に、得られた固有値・固有ベクトルを用いて（８）式の識別関数値を計算し、疑似ベイズ識別を行う（ステップＳ１６）。そして、識別により得られた認識結果を出力する。このとき、もう一度、すべての文字パターンについて識別関数値を計算し直してもよく、正解ではないと推定した文字だけについて識別関数値を計算し直してもよい。正解ではない文字とは、例えば、距離値がしきい値より大きな文字や、確信度がしきい値より小さな文字に対応する。
【００５９】
図１のパターン認識装置は、例えば、図６に示すような情報処理装置（コンピュータ）を用いて構成される。図６の情報処理装置は、ＣＰＵ（中央処理装置）３１、メモリ３２、入力装置３３、出力装置３４、外部記憶装置３５、媒体駆動装置３６、ネットワーク接続装置３７、および入力機器３８を備え、それらはバス３９により互いに接続されている。
【００６０】
メモリ３２は、例えば、ＲＯＭ、ＲＡＭ等を含み、処理に用いられるプログラムとデータを格納する。ＣＰＵ３１は、メモリ３２を利用してプログラムを実行することにより、必要な処理を行う。
【００６１】
入力装置３３は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、ユーザからの指示や情報の入力に用いられる。出力装置３４は、例えば、ディスプレイ装置、スピーカ、プリンタ等であり、ユーザへの問い合わせや処理結果を出力する。
【００６２】
外部記憶装置３５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置３５に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３２にロードして使用する。例えば、各カテゴリの変動分布に関する共分散行列の固有値・固有ベクトルと、差分ベクトルの集合に対応する共分散行列の固有値・固有ベクトルが、データとして外部記憶装置３５に格納される。
【００６３】
媒体駆動装置３６は、可搬記録媒体４０を駆動し、その記録内容にアクセスする。可搬記録媒体４０としては、メモリカード、フロッピーディスク、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory ）、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体４０に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３２にロードして使用する。
【００６４】
ネットワーク接続装置３７は、ＬＡＮ（Local Area Network）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。また、情報処理装置は、上述のプログラムとデータをネットワーク接続装置３７を介して、サーバ等の他の装置から受け取り、必要に応じて、それらをメモリ３２にロードして使用する。
【００６５】
入力機器３８は、例えば、スキャナ、デジタルカメラ、ファクシミリ装置等であり、認識対象画像等の情報を入力する。
図７は、図６の情報処理装置にプログラムとデータを供給することのできるコンピュータ読み取り可能な記録媒体を示している。可搬記録媒体４０やサーバ４１のデータベース４２に保存されたプログラムとデータは、メモリ３２にロードされる。このとき、サーバ４１は、プログラムとデータを搬送する搬送信号を生成し、ネットワーク上の任意の伝送媒体を介して、情報処理装置に送信する。そして、ＣＰＵ３１は、そのデータを用いてそのプログラムを実行し、必要な処理を行う。
【００６６】
以上説明した実施形態では、主として文字認識を行う例について説明したが、本発明は、特徴ベクトル空間においてカテゴリ毎に確率密度関数が定義できる任意のパターン認識に適用することができる。例えば、文書画像に含まれる罫線、図・写真の画像に含まれる物体の形状や色等のパターンを認識する処理にも適用可能である。さらに、認識対象の情報は、画像のみに限られず、音声のように、時系列に入力される情報であってもよい。
【００６７】
（付記１） パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、認識を行うパターン認識装置であって、
あるパターン集合について、各パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合が生成され、該差分ベクトルの集合の自己相関行列を共分散行列とし、未知パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値が定義され、該期待値に基づいて該カテゴリの識別関数が定義されたとき、該未知パターンの特徴ベクトルに対する該識別関数の値を計算する計算手段と、
前記識別関数の値に基づいて前記未知パターンの認識を行い、認識結果を出力する認識手段と
を備えることを特徴とするパターン認識装置。
（付記２） 前記カテゴリの変動分布に関する共分散行列の固有値および固有ベクトルの情報と、前記正規分布の共分散行列の固有値および固有ベクトルの情報を格納する格納手段をさらに備え、前記計算手段は、該格納手段に格納された情報を用いて、前記識別関数の値を計算することを特徴とする付記１記載のパターン認識装置。
（付記３） 文字パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、文字認識を行うパターン認識装置であって、
あるフォントの文字パターン集合について、各文字パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合が生成され、該差分ベクトルの集合の自己相関行列を共分散行列とし、該フォントの未知パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値が定義され、該期待値に基づいて該カテゴリの識別関数が定義されたとき、該未知パターンの特徴ベクトルに対する該識別関数の値を計算する計算手段と、
前記識別関数の値に基づいて前記未知パターンの文字認識を行い、認識結果を出力する認識手段と
を備えることを特徴とするパターン認識装置。
（付記４） 文字パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、文字認識を行うパターン認識装置であって、
ある入力機器により入力された文字パターン集合について、各文字パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合が生成され、該差分ベクトルの集合の自己相関行列を共分散行列とし、該入力機器により入力された未知パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値が定義され、該期待値に基づいて該カテゴリの識別関数が定義されたとき、該未知パターンの特徴ベクトルに対する該識別関数の値を計算する計算手段と、
前記識別関数の値に基づいて前記未知パターンの文字認識を行い、認識結果を出力する認識手段と
を備えることを特徴とするパターン認識装置。
（付記５） 文字パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、文字認識を行うパターン認識装置であって、
ある解像度で入力された文字パターン集合について、各文字パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合が生成され、該差分ベクトルの集合の自己相関行列を共分散行列とし、該解像度で入力された未知パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値が定義され、該期待値に基づいて該カテゴリの識別関数が定義されたとき、該未知パターンの特徴ベクトルに対する該識別関数の値を計算する計算手段と、
前記識別関数の値に基づいて前記未知パターンの文字認識を行い、認識結果を出力する認識手段と
を備えることを特徴とするパターン認識装置。
（付記６） 文字パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、文字認識を行うパターン認識装置であって、
あるフォントＦの文字パターン集合について、各文字パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合Ｄ_SFが生成され、ある入力機器Ｉにより入力された文字パターン集合について、各文字パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合Ｄ_SIが生成され、ある解像度Ｒで入力された文字パターン集合について、各文字パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合Ｄ_SRが生成され、前記特徴ベクトル空間の各点において、該差分ベクトルの集合Ｄ_SFの自己相関行列を共分散行列とするような正規分布を確率密度関数として用いて、あるカテゴリの確率密度関数ｆ₀ の期待値ｆ₁ が定義され、各点において、該差分ベクトルの集合Ｄ_SIの自己相関行列を共分散行列とするような正規分布を確率密度関数として用いて、該期待値ｆ₁ の期待値ｆ₂ が定義され、各点において、該差分ベクトルの集合Ｄ_SRの自己相関行列を共分散行列とするような正規分布を確率密度関数として用いて、該期待値ｆ₂ の期待値ｆ₃ が定義され、該期待値ｆ₃ に基づいて該カテゴリの識別関数が定義されたとき、未知パターンの特徴ベクトルに対する該識別関数の値を計算する計算手段と、
前記識別関数の値に基づいて前記未知パターンの文字認識を行い、認識結果を出力する認識手段と
を備えることを特徴とするパターン認識装置。
（付記７） 文字パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、文字認識を行うパターン認識装置であって、
入力文書に含まれる文字パターンの集合であって、カテゴリの確率密度関数の最大値がしきい値よりも大きいような文字パターンの集合について、各文字パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合が生成され、該差分ベクトルの集合の自己相関行列を共分散行列とし、前記入力文書に含まれる対象文字パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値が定義され、該期待値に基づいて該カテゴリの識別関数が定義されたとき、該対象文字パターンの特徴ベクトルに対する該識別関数の値を計算する計算手段と、
前記識別関数の値に基づいて前記対象文字パターンの認識を行い、認識結果を出力する認識手段と
を備えることを特徴とするパターン認識装置。
（付記８） パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、パターン認識を行うコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
あるパターン集合について、各パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合が生成され、該差分ベクトルの集合の自己相関行列を共分散行列とし、未知パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値が定義され、該期待値に基づいて該カテゴリの識別関数が定義されたとき、該未知パターンの特徴ベクトルに対する該識別関数の値を計算し、
前記識別関数の値に基づいて前記未知パターンの認識を行い、
認識結果を出力する
処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
（付記９） パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、パターン認識を行うコンピュータのためのプログラムであって、
あるパターン集合について、各パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合が生成され、該差分ベクトルの集合の自己相関行列を共分散行列とし、未知パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値が定義され、該期待値に基づいて該カテゴリの識別関数が定義されたとき、該未知パターンの特徴ベクトルに対する該識別関数の値を計算し、
前記識別関数の値に基づいて前記未知パターンの認識を行い、
認識結果を出力する
処理を前記コンピュータに実行させるためのプログラム。
（付記１０） パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、パターン認識を行うコンピュータに、プログラムを搬送する搬送信号であって、該プログラムは、
あるパターン集合について、各パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合が生成され、該差分ベクトルの集合の自己相関行列を共分散行列とし、未知パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値が定義され、該期待値に基づいて該カテゴリの識別関数が定義されたとき、該未知パターンの特徴ベクトルに対する該識別関数の値を計算し、
前記識別関数の値に基づいて前記未知パターンの認識を行い、
認識結果を出力する
処理を前記コンピュータに実行させることを特徴とする搬送信号。
（付記１１） パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、認識を行うパターン認識方法であって、
あるパターン集合について、各パターンの特徴ベクトルと各正解カテゴリの平均特徴ベクトルの差分をとることで、差分ベクトルの集合を生成し、
前記差分ベクトルの集合の自己相関行列を共分散行列とし、未知パターンの特徴ベクトルを平均とするような正規分布を、確率密度関数として用いて、あるカテゴリの確率密度関数の期待値を求め、
前記期待値に基づいて前記カテゴリの識別関数を求め、
前記未知パターンの特徴ベクトルに対する前記識別関数の値を計算し、
前記識別関数の値に基づいて前記未知パターンの認識を行う
ことを特徴とするパターン認識方法。
【００６８】
【発明の効果】
本発明によれば、従来の方法では認識精度が著しく低かった認識対象に対しても、高精度なパターン認識を行うことができるようになる。例えば、文字認識の場合、最も標準的なフォントである明朝体に比べて変形の強いフォント、入出力状況に応じて劣化の激しい文書における文字、変形の強いフォントに対して劣化が加わった文字等の認識精度が向上する。
【図面の簡単な説明】
【図１】本発明のパターン認識装置の原理図である。
【図２】識別関数値の生成を示す図である。
【図３】カテゴリの分布の変化を示す図である。
【図４】第１の文字認識処理のフローチャートである。
【図５】第２の文字認識処理のフローチャートである。
【図６】情報処理装置の構成図である。
【図７】記録媒体を示す図である。
【符号の説明】
１１ 計算手段
１２ 認識手段
２０ 領域
２１、２２、２３ 分布
３１ ＣＰＵ
３２ メモリ
３３ 入力装置
３４ 出力装置
３５ 外部記憶装置
３６ 媒体駆動装置
３７ ネットワーク接続装置
３８ 入力機器
３９ バス
４０ 可搬記録媒体
４１ サーバ
４２ データベース

Claims (8)

1. 未知パターンの認識を行うパターン認識装置であって、
   パターン集合に属する各パターンのｎ次元の特徴ベクトルと各正解カテゴリＣの平均特徴ベクトルｍ _c の差分である差分ベクトルの集合の自己相関行列を共分散行列Σとし、共分散行列Σと各正解カテゴリＣの共分散行列Σ _c の和である行列Σ＋Σ _c のｉ番目の固有値γ _c ⁱ と、固有値γ _c ⁱ に対応する固有ベクトルｚ _c ⁱ と、１以上ｎ以下の整数ｌとを用いて、
   

   

   なる計算式により、前記未知パターンのｎ次元の特徴ベクトルｘに対する識別関数Ψ _c （ｘ）の値を計算する計算手段と、
   前記識別関数Ψ _c （ｘ）の値に基づいて前記未知パターンの認識を行い、認識結果を出力する認識手段と
   を備えることを特徴とするパターン認識装置。
2. 未知パターンの文字認識を行うパターン認識装置であって、
   フォントの文字パターン集合に属する各文字パターンのｎ次元の特徴ベクトルと各正解カテゴリＣの平均特徴ベクトルｍ _c の差分である差分ベクトルの集合の自己相関行列を共分散行列Σとし、共分散行列Σと各正解カテゴリＣの共分散行列Σ _c の和である行列Σ＋Σ _c のｉ番目の固有値γ _c ⁱ と、固有値γ _c ⁱ に対応する固有ベクトルｚ _c ⁱ と、１以上ｎ以下の整数ｌとを用いて、
   

   

   なる計算式により、前記未知パターンのｎ次元の特徴ベクトルｘに対する識別関数Ψ _c （ｘ）の値を計算する計算手段と、
   前記識別関数Ψ _c （ｘ）の値に基づいて前記未知パターンの文字認識を行い、認識結果を出力する認識手段と
   を備えることを特徴とするパターン認識装置。
3. 未知パターンの文字認識を行うパターン認識装置であって、
   入力機器により入力された文字パターン集合に属する各文字パターンのｎ次元の特徴ベクトルと各正解カテゴリＣの平均特徴ベクトルｍ _c の差分である差分ベクトルの集合の自己相関行列を共分散行列Σとし、共分散行列Σと各正解カテゴリＣの共分散行列Σ _c の和である行列Σ＋Σ _c のｉ番目の固有値γ _c ⁱ と、固有値γ _c ⁱ に対応する固有ベクトルｚ _c ⁱ と、１以上ｎ以下の整数ｌとを用いて、
   

   

   なる計算式により、前記未知パターンのｎ次元の特徴ベクトルｘに対する識別関数Ψ _c （ｘ）の値を計算する計算手段と、
   前記識別関数Ψ _c （ｘ）の値に基づいて前記未知パターンの文字認識を行い、認識結果を出力する認識手段と
   を備えることを特徴とするパターン認識装置。
4. 未知パターンの文字認識を行うパターン認識装置であって、
   ある解像度で入力された文字パターン集合に属する各文字パターンのｎ次元の特徴ベクトルと各正解カテゴリＣの平均特徴ベクトルｍ _c の差分である差分ベクトルの集合の自己相関行列を共分散行列Σとし、共分散行列Σと各正解カテゴリＣの共分散行列Σ _c の和である行列Σ＋Σ _c のｉ番目の固有値γ _c ⁱ と、固有値γ _c ⁱ に対応する固有ベクトルｚ _c ⁱ と、１以上ｎ以下の整数ｌとを用いて、
   

   

   なる計算式により、前記未知パターンのｎ次元の特徴ベクトルｘに対する識別関数Ψ _c （ｘ）の値を計算する計算手段と、
   前記識別関数Ψ _c （ｘ）の値に基づいて前記未知パターンの文字認識を行い、認識結果を出力する認識手段と
   を備えることを特徴とするパターン認識装置。
5. 文字パターンの特徴ベクトル空間においてカテゴリ毎に定義された確率密度関数の値に基づいて、文字認識を行うパターン認識装置であって、
   入力文書に含まれる各文字パターンの複数のカテゴリに対する複数の確率密度関数値を求め、該複数の確率密度関数値の最大値がしきい値よりも大きいような文字パターンを抽出し、抽出された文字パターンの集合に属する各文字パターンのｎ次元の特徴ベクトルと各正解カテゴリＣの平均特徴ベクトルｍ _c の差分である差分ベクトルの集合の自己相関行列を共分散行列Σとし、共分散行列Σと各正解カテゴリＣの共分散行列Σ _c の和である行列Σ＋Σ _c のｉ番目の固有値γ _c ⁱ と、固有値γ _c ⁱ に対応する固有ベクトルｚ _c ⁱ と、１以上ｎ以下の整数ｌとを用いて、
   

   

   なる計算式により、前記入力文書に含まれる対象文字パターンのｎ次元の特徴ベクトルｘに対する識別関数Ψ _c （ｘ）の値を計算する計算手段と、
   前記識別関数Ψ _c （ｘ）の値に基づいて前記対象文字パターンの認識を行い、認識結果を出力する認識手段と
   を備えることを特徴とするパターン認識装置。
6. 未知パターンの認識を行うコンピュータのためのプログラムを記録した記録媒体であって、該プログラムは、
   パターン集合に属する各パターンのｎ次元の特徴ベクトルと各正解カテゴリＣの平均特徴ベクトルｍ _c の差分である差分ベクトルの集合の自己相関行列を共分散行列Σとし、共分散行列Σと各正解カテゴリＣの共分散行列Σ _c の和である行列Σ＋Σ _c のｉ番目の固有値γ _c ⁱ と、固有値γ _c ⁱ に対応する固有ベクトルｚ _c ⁱ と、１以上ｎ以下の整数ｌとを用いて、
   

   

   なる計算式により、前記未知パターンのｎ次元の特徴ベクトルｘに対する識別関数Ψ _c （ｘ）の値を計算し、
   前記識別関数Ψ _c （ｘ）の値に基づいて前記未知パターンの認識を行い、
   認識結果を出力する
   処理を前記コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
7. 未知パターンの認識を行うコンピュータのためのプログラムであって、
   パターン集合に属する各パターンのｎ次元の特徴ベクトルと各正解カテゴリＣの平均特徴ベクトルｍ _c の差分である差分ベクトルの集合の自己相関行列を共分散行列Σとし、共分散行列Σと各正解カテゴリＣの共分散行列Σ _c の和である行列Σ＋Σ _c のｉ番目の固有値γ _c ⁱ と、固有値γ _c ⁱ に対応する固有ベクトルｚ _c ⁱ と、１以上ｎ以下の整数ｌとを用いて、
   

   

   なる計算式により、前記未知パターンのｎ次元の特徴ベクトルｘに対する識別関数Ψ _c （ｘ）の値を計算し、
   前記識別関数Ψ _c （ｘ）の値に基づいて前記未知パターンの認識を行い、
   認識結果を出力する
   処理を前記コンピュータに実行させるためのプログラム。
8. 未知パターンの認識を行うパターン認識方法であって、
   パターン集合に属する各パターンのｎ次元の特徴ベクトルと各正解カテゴリＣの平均特徴ベクトルｍ _c の差分である差分ベクトルの集合の自己相関行列を共分散行列Σとし、共分散行列Σと各正解カテゴリＣの共分散行列Σ _c の和である行列Σ＋Σ _c のｉ番目の固有値γ _c ⁱ と、固有値γ _c ⁱ に対応する固有ベクトルｚ _c ⁱ と、１以上ｎ以下の整数ｌとを用いて、
   

   

   なる計算式により、前記未知パターンのｎ次元の特徴ベクトルｘに対する識別関数Ψ _c （ｘ）の値を計算し、
   前記識別関数Ψ _c （ｘ）の値に基づいて前記未知パターンの認識を行う
   ことを特徴とするパターン認識方法。

Images