JP6080580B2

JP6080580B2 - パターン認識装置

Info

Publication number: JP6080580B2
Application number: JP2013022008A
Authority: JP
Inventors: 敬平野; 石井　純; 純石井
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2013-02-07
Filing date: 2013-02-07
Publication date: 2017-02-15
Anticipated expiration: 2033-02-07
Also published as: JP2014153846A

Description

この発明は、誤認識率を抑制するための特徴次元圧縮方式を用いた、文字認識などのパターン認識装置に関する。

パターン認識装置において、入力されたパターンから抽出した特徴ベクトルを適切な手法で次元圧縮することにより、認識精度が改善されることが報告されている。このような特徴次元の圧縮方式としてLDA（Linear Discriminate Analysis）が知られている。LDAの一種である正準判別分析法を用いた先行技術が特開2004-310369号公報（特許文献１）に示されている。

正準判別分析法は認識対象とするカテゴリの分布形状を考慮して、それらのカテゴリを識別するために有効な特徴を取得する特徴次元の圧縮法である。具体的には、同一カテゴリ内における特徴ベクトルの分散が小さくなり、かつ異なるカテゴリ間での特徴ベクトルの分散が大きくなることを基準として、特徴ベクトルを変換する方式である。これにより特徴ベクトルX（p次元）から変換した特徴ベクトルX’（q次元）では、q＜pとなり特徴次元数が圧縮される。

特開2004-310369号公報

LDAにおいて、圧縮した特徴ベクトルの次元数qには上限がある。認識対象とするカテゴリ数をCnとした場合、qはCn-1以下に制限される。そのため数字のようにカテゴリ数Cnが9と小さい場合は、q＝8が最大で得られる特徴次元数となり、表現力の小さい特徴ベクトルしか得られず、十分な認識精度が得られない課題がある。

この発明は上記の問題点を解決するためになされたものであり、認識対象とするカテゴリのデータ以外に、関連データと呼ぶ非認識対象データを考慮して特徴次元圧縮を行うことにより本課題を解決する。また、関連データの追加によって認識対象データの認識率に悪影響を及ぼす可能性があるが、この悪影響については群内・群間平方和積和行列の算出処理を工夫することで抑制する。

この発明に係るパターン認識装置は、認識処理対象の認識対象データのパターン群が格納された認識対象データ格納部と、認識対象データとの関連性を持つが非認識対象である関連データのパターン群が格納された関連データ格納部と、認識対象データ格納部の認識対象データと関連データ格納部の関連データのパターン群から特徴ベクトルを抽出する特徴抽出部と、特徴抽出部で抽出された特徴ベクトルを用いて群内平方和積和行列と群間平方和積和行列を求める群内・群間平方和積和行列算出部と、群内・群間平方和積和行列算出部で求められた群内平方和積和行列および群間平方和積和行列から特徴次元圧縮行列を算出する特徴次元圧縮行列算出部を備え、
前記関連データのパターン群は、認識対象データのカテゴリに類似した形状を持つ非認識対象カテゴリのパターン、誤入力される可能性がある非認識対象カテゴリのパターン、およびノイズのパターンを含有する。

この発明のパターン認識装置によれば、特徴抽出部は認識対象データのカテゴリに加え、関連データと呼ぶ非認識対象データを加えて擬似的にカテゴリ数を増加させて特徴ベクトルを抽出する。これにより、十分な次元数の特徴ベクトルを得ることが可能となり、この十分な次元数の特徴ベクトルから群内・群間平方和積和行列算出部で群内平方和積和行列と群間平方和積和行列を求め、群内平方和積和行列および群間平方和積和行列から特徴次元圧縮行列を算出する構成にされているので、認識対象とするカテゴリ数が少ない場合に、十分な特徴次元数の特徴ベクトルが得られない問題が解決され、全体的な認識率の向上が期待できる。また、認識対象データと非認識対象データとの分離性が高まるような軸が選択可能となることから、認識対象ではないパターンが誤ってパターン認識装置に入力された場合、その誤認識を抑制する効果が期待できる。

この発明の実施の形態１におけるパターン認識装置の基本構成図である。実施の形態１における認識対象データの説明図である。実施の形態１における関連データの説明図である。実施の形態１における特徴次元圧縮の説明図である。実施の形態１における関連データを考慮した特徴次元圧縮の説明図である。この発明の実施の形態２におけるパターン認識装置の基本構成図である。

実施の形態１．
図１はこの発明の実施の形態１によるパターン認識装置を示す基本構成図である。101は認識対象とするカテゴリのパターンを蓄積した認識対象データ格納部、102は非認識対象だが認識対象データと関連性のあるパターンを蓄積した関連データ格納部、103は認識対象データ格納部101と関連データ格納部102に蓄積されたパターンから特徴ベクトルの抽出処理を行う特徴抽出部、104は特徴抽出部103で得た特徴ベクトルから、群内平方和積和行列および群間平方和積和行列を算出する群内・群間平方和積和行列算出部、105は群内・群間平方和積和行列算出部104で得られた群内平方和積和行列および群間平方和積和行列を元に特徴次元圧縮の計算を行う特徴次元圧縮行列算出部、106は特徴次元圧縮行列算出部105で求めた特徴次元圧縮行列を蓄積した特徴次元圧縮行列格納部である。

図２は、認識対象データの説明図である。ここでは手書き数字を認識対象とした場合を説明しており、201は認識対象データ格納部101に蓄積されている認識対象データとしての数字のパターン例である。
図３は、関連データ格納部102に蓄積された関連データの説明図である。ここでは手書き数字を認識対象とした場合の関連データを示しており、301は認識対象データのカテゴリと似た形状を持つ非認識対象データ（関連データ）のカテゴリのパターン例、302はパターン認識装置に誤入力される可能性がある非認識対象（関連データ）のカテゴリのパターン例、303はノイズのパターン例である。

図４は、特徴次元圧縮の説明図である。ここでは401は特徴空間におけるカテゴリC1の分布、402はカテゴリC2の分布である。403は特徴次元圧縮により得られた圧縮後の特徴軸X'1上に投影したカテゴリC1(401)の分布、404は、同様に特徴次元圧縮により得られた圧縮後の特徴軸X'1上に投影したカテゴリC2(402)の分布を示す。

図５は、関連データを考慮した特徴次元圧縮の説明図である。ここでは501は特徴空間における関連データに含まれるカテゴリC3の分布、502、503および504は、特徴次元圧縮後の特徴軸X'2上に投影したカテゴリC3〜C1の分布を示し、502はカテゴリC3の分布を、503はカテゴリC2の分布を、504はカテゴリC1の分布を示す。なお、401〜404は、図４に示されるものと同様のものである。

以降、図１から図５を用いて、この発明の処理内容を説明する。
まず、図１の認識対象データ格納部101に、認識対象データとするカテゴリに属するパターンを蓄積する。例えば、認識対象データとするカテゴリが数字である場合、図２の201に示すような手書き数字の文字パターン群が蓄積される。図２ではパターンの一例を示しているが、一般には１個のカテゴリに対して数万個以上のパターンを蓄積する。

次に、図１の関連データ格納部102に、非認識対象データのパターン群が蓄積される。蓄積されるパターンは認識対象データと関連性を持つ。具体的には、認識対象データカテゴリと似た形状を持つ非認識対象データカテゴリのパターン（以降、パターンＡと呼ぶ）、パターン認識装置に誤入力される可能性がある非認識対象データデータカテゴリのパターン（パターンＢと呼ぶ）、およびノイズのパターン（パターンＣと呼ぶ）を格納する。

認識対象データが手書き数字である場合、例えば関連データのパターンＡには、数字と同様にストローク数が少なくて字形が単純な片仮名や英字の文字パターン301を用いる。関連データのパターンＢには、パターン認識装置へ誤って入力される可能性があるパターンとして、302に示す“〃”や“×”や“？”等のパターンを用いる。関連データのパターンＣ303にはノイズのパターンとして、誤記入した文字を塗りつぶしたパターン304や、パターン認識装置の前処理の誤りにより、画像中から文字以外の領域を誤抽出したパターン305などが蓄積される。

ここで、パターンＡ301はカテゴリ（ア、イ、ウ、Ａ、Ｂ、Ｃなど）を持つ。そのため、以降の特徴次元圧縮の計算では、これらを擬似的なカテゴリとして扱う。パターンＣ303はノイズでありカテゴリを持たない。そのため１個のカテゴリとして扱うか、一般的なクラスタリング手法を適用して類似した形状を持つK個の集合に分類することで、K個の擬似的なカテゴリとして扱う。パターンＢ302はカテゴリを持つが、ノイズの意味合いも持つため、パターンＡ、Ｃのどちらの方法で扱っても良い。詳細は後述するが、パターンＡ301を擬似的なカテゴリとして扱うことで、圧縮後の特徴次元数を増やす効果が得られる。またパターンＢ302，パターンＣ303を用いることで、不正な入力パターンがパターン認識装置に誤入力された場合の誤認識を抑制できる効果が得られる。

次に、特徴抽出部103は、認識対象データ格納部101と関連データ格納部102に蓄積された個々のパターンから特徴ベクトルXを抽出する。ここでXは式１に示すp次元の要素を持つ。このパターンからの特徴ベクトルXの抽出は、一般的な特徴抽出法を利用できる。例えば認識対象が文字である場合は、文字領域から抽出したエッジの局所的な方向性等を用いることができる。

次に群内・群間平方和積和行列算出部104は、特徴抽出部103で得た特徴ベクトルXの集合から、群内平方和積和行列 B と群間平方和積和行列 W を求める。これらは式２に従い計算する。

認識対象データから抽出した特徴ベクトルのみを用い、かつ重み係数 α_k=1とすると、通常の群内平方和積和行列 B と群間平方和積和行列 W の計算と同じである。ここでは、認識対象データと関連データから抽出した特徴ベクトルを用い、かつそのカテゴリ k が認識対象データである場合と関連データである場合で重み係数 α_kの値を変更する。具体的には関連データが持つ重み係数 α_kの値を、認識対象データが持つ重み係数 α_kの値よりも小さくする。これにより、擬似的にカテゴリ数を増やしつつも、関連データを追加することの悪影響を抑制できる。

次に特徴次元圧縮行列算出部105は、群内平方和積和行列 B と群間平方和積和行列 W から特徴次元圧縮行列を求める。この計算は通常の正準判別分析法と同じであり、式３に示す一般固有値問題を解いて固有値λと固有ベクトルaを求めることで実現する。求めた固有値λの大きいq個の固有ベクトルa（次元数＝p）を、特徴次元圧縮に用いる特徴次元圧縮行列とする。求められた特徴次元圧縮行列は特徴次元圧縮行列格納部106に格納される。

求めた特徴次元圧縮行列は、パターン認識装置において、実際のパターン認識処理時に用いられる。具体的には、パターン認識処理時において、まず入力パターンから特徴抽出部103と同じ処理で特徴ベクトルXを抽出する。次に特徴次元圧縮行列格納部106に格納された特徴次元圧縮行列を用いて特徴ベクトルXを式４により圧縮した特徴ベクトルX’に変換する。この圧縮特徴ベクトルX’を予め用意したパターン認識用の辞書と照合を行うことで入力パターンがどのカテゴリに属するかを識別する。

前述の方法で求めた特徴次元圧縮行列がどのような効果を持つかについて、図４と図５を用いて説明する。図４は一般的な正準判別分析法の概念を示す。ここで、認識対象とする２つのカテゴリC1とC2が、p次元の特徴空間内において401と402に示すような分布形状を持って存在していると仮定する。この場合、正準判別分析法を適用すると、これらのカテゴリの分離性能が最もよくなる特徴軸 X'1 を得ることができる。この特徴軸 X'1 上で見ると２つのカテゴリC1とC2の分布は403と404のようになり分布が重ならない。そのため特徴軸 X'1 を用いることで認識率を高めることができる。

ただし、前述の通り正準判別分析法で求まる特徴次元数はCn-1個以下である。そのため２つのカテゴリC1とC2を対象とする Cn=2 の場合、求まる特徴次元数は2-1個の１次元しかない。これに対して本実施の形態に記す方式では、図５に示すように認識対象データとするカテゴリ401, 402に加えて、関連データに含まれるカテゴリ501も用いて群内平方和積和行列Bと群間平方和積和行列Wを求める。このため、仮想的にCn=3となり、２つの特徴軸 X'1 と X'2 を得ることができる。これにより、十分な次元数の特徴ベクトルを得ることが可能となり全体的な認識率の向上が期待できる。また、認識対象データと非認識対象データとの分離性が高まるような軸が選択されることから、認識対象ではないパターンが誤ってパターン認識装置に入力された場合、その誤認識を抑制する効果が期待できる。

しかし、関連データの影響が大きいと、認識対象データのカテゴリ間の分離性ではなく関連データに含まれるカテゴリ間の分離性を高める軸が選択されてしまい、認識率が低下する恐れがある。この問題に対しては、式２に示すように関連データが持つ重み係数α_kの値を、認識対象データが持つ重み係数α_kの値よりも小さくすることで対処することができる。

以上のように、この発明の実施の形態１によれば、認識対象データのカテゴリに、関連データと呼ぶ非認識対象データを加えて擬似的にカテゴリ数を増加させて特徴次元圧縮を行う。これにより認識対象とするカテゴリ数が少ない場合に、十分な特徴次元数の特徴ベクトルが得られない問題を解決し、かつ非認識対象のデータが誤ってパターン認識装置に入力された場合の誤認識を抑制することができる。また、関連データを考慮した場合、その悪影響により認識対象データに対する認識率が低下する恐れがあるが、群内・群間平方和積和行列の算出処理において、関連データが持つ重み係数α_kの値を、認識対象データが持つ重み係数α_kの値よりも小さくすることで本問題を抑制することができる。

なお、式２において関連データが持つ重み係数α_kの値を、認識対象データが持つ重み係数α_kの値よりも小さくすることで、関連データの影響を小さくし、認識対象データに対する認識率が低下を抑制する方法について述べたが、これは予め認識対象データに含まれるデータ数よりも、関連データに含まれるデータ数を少なくすることでも同様な効果を得ることができる。そのため、認識対象データと関連データに含まれるデータ数を、重み係数の値に応じて調整するように実装しても良い。
すなわち、認識対象データ数と関連データ数は、群内・群間平方和積和行列算出部が、認識対象データと関連データからの特徴ベクトルから群内平方和積和行列と群間平方和積和行列を求める際、認識対象データと関連データの影響度を調整可能とするため、前記影響度に応じて認識対象データの数と関連データの数に差異を与えるように実装する。

実施の形態２．
実施の形態２におけるパターン認識装置の基本構成を図６に示す。この実施の形態２では、非認識対象とするデータがパターン認識装置に入力された場合の誤読率をさらに削減するため、特徴次元圧縮行列格納部106に格納する特徴次元圧縮行列の算出後、非認識対象パターンを特定するための辞書（ガベージ辞書と呼ぶ）を作成するようにしている。この図６で、601はガベージ辞書算出部、602はガベージ辞書算出部601により作成されたガベージ辞書である。ガベージ辞書算出部601とガベージ辞書602以外の構成および動作は、上述の実施の形態１と同様である。

ガベージ辞書602は、パターン認識装置に対してあるパターンが入力された場合、これは非認識対象のパターンか認識対象のパターンかを判別するために用いられる辞書である。入力パターンが非認識対象のパターンであると判別した場合、これを棄却判定する（認識対象でないとして除外する）ことで、ノイズの多い環境における誤読率を抑制することができる。

ここでガベージ辞書算出部601は、特徴次元圧縮行列106と関連データ格納部102に格納された関連データのパターンに基づいて、ガベージ辞書602を作成する。具体的には、まず関連データ格納部102に格納された非認識対象データから特徴抽出部103で特徴ベクトルXを抽出し、この特徴ベクトルXに対して特徴次元圧縮行列格納部106に蓄積された特徴次元圧縮行列を用いて次元圧縮した特徴ベクトルY’を求める。次に特徴ベクトルY’からガベージ辞書602に格納するデータを作成する。
特徴ベクトルY’から辞書を作成する方法は多数の方式が存在しており、任意の方式を採用できる。例えば、基本的な方式として特徴ベクトルY’の集合にK平均法などの一般的なクラスタリング処理を適用してK個の辞書ベクトルを作成し、これをガベージ辞書602に格納することで実現できる。

以上のように、関連データから特徴次元圧縮行列を作成するだけでなく、同時に関連データを用いてガベージ辞書も作成する。特徴次元の圧縮に用いたものと同じ関連データを用いてガベージ辞書を作成することで、特徴次元圧縮との親和性が高いガベージ辞書が作成される。このガベージ辞書を用いることで、関連データに含まれるような非認識対象のパターンがパターン認識装置に入力された場合の誤読率を効果的に削減できる。

この発明に係る特徴次元圧縮方式によるパターン認識装置は、誤認識率が抑制されるため、認識精度の高い文字認識装置などに利用される可能性がある。

101；認識対象データ格納部、102；関連データ格納部、103；特徴抽出部、104；群内・群間平方和積和行列算出部、105；特徴次元圧縮行列算出部、106；特徴次元圧縮行列格納部、601；ガベージ辞書算出部、602；ガベージ辞書。

Claims

認識処理対象の認識対象データのパターン群が格納された認識対象データ格納部と、認識対象データと関連性を有するが非認識対象である関連データのパターン群が格納された関連データ格納部と、認識対象データ格納部の認識対象データのパターン群と関連データ格納部の関連データのパターン群から特徴ベクトルを抽出する特徴抽出部と、特徴抽出部で抽出された特徴ベクトルを用いて群内平方和積和行列と群間平方和積和行列を求める群内・群間平方和積和行列算出部と、群内・群間平方和積和行列算出部で求められた群内平方和積和行列および群間平方和積和行列から特徴次元圧縮行列を算出する特徴次元圧縮行列算出部を備え、
前記関連データのパターン群は、認識対象データのカテゴリに類似した形状を持つ非認識対象カテゴリのパターン、誤入力される可能性がある非認識対象カテゴリのパターン、およびノイズのパターンを含有することを特徴とするパターン認識装置。
群内・群間平方和積和行列算出部は、認識対象データから得た特徴ベクトルと関連データから得た特徴ベクトルから群内平方和積和行列と群間平方和積和行列を求める際に、認識対象データと関連データの影響度を調整するための重み係数を用いることを特徴とする請求項１に記載のパターン認識装置。
特徴抽出部は、認識対象データと関連データからそれぞれ特徴ベクトルを抽出する際に、群内・群間平方和積和行列算出部が、認識対象データと関連データからの特徴ベクトルから群内平方和積和行列と群間平方和積和行列を求める際の認識対象データと関連データの影響度を調整可能とするため、前記影響度に応じて認識対象データの数と関連データの数に差異を与えることを特徴とする請求項１に記載のパターン認識装置。
認識対象として入力されたパターンが認識対象のパターンか非認識対象のパターンかを判別するガベージ辞書と、
特徴次元圧縮行列格納部に蓄積された特徴次元圧縮行列を用いて、前記関連データに蓄積された関連データを次元圧縮した特徴ベクトルを求め、この特徴ベクトルから前記ガベージ辞書への格納データを作成するガベージ辞書算出部を備えたことを特徴とする請求項１〜３の何れか１項に記載のパターン認識装置。