JP3810469B2

JP3810469B2 - パターン認識方法

Info

Publication number: JP3810469B2
Application number: JP04785096A
Authority: JP
Inventors: 隆彦川谷
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 1996-03-06
Filing date: 1996-03-06
Publication date: 2006-08-16
Anticipated expiration: 2016-03-06
Also published as: KR100441706B1; KR19990087555A; DE69734507T2; JPH09245124A; WO1997033250A1; EP0885427A1; DE69734507D1; EP0885427B1

Description

【０００１】
【産業上の利用分野】
本発明は文字認識を始めとするパターン認識方法に関するものであり、特にフィッシャーの線形判別分析を応用したパターン認識方法の高精度化を図ろうとするものである。
【０００２】
【従来の技術】
フィッシャーの線形判別分析を応用したパターン認識方法のひとつにＬＤＡ法（川谷隆彦：“距離関数の学習による手書き数字認識”，信学論（D-II），J76-D-II, 9, pp. 1851-1859（平5））がある。ＬＤＡ法は、重み付きユークリッド距離、2次識別関数を原距離関数とし、着目クラスのパターン集合と原距離関数でそのクラスに誤認識を起こしたパターン集合（ライバルパターン集合）との間で線形判別分析を適用して求められる判別関数を原距離関数に重畳させることにより、距離関数のパラメータ（参照ベクトル、重みベクトル、定数項）の学習を行う。ＬＤＡ法では特徴ベクトルの１次の項のみならず、２次の項をも線形の項として用いることに特長がある。原距離関数を重み付きユークリッド距離とした場合について更に詳しく説明する。重み付きユークリッド距離D（ｘ)は、クラスを表わす添字を省略すると次のように定義される。
【０００４】
【数１】

【０００５】
ここで、ｘ=（ｘ_1,...,ｘ_M）^t、μ＝（μ_1,...,μ_M）^t、ω＝（ω_1,...,ω_M）^tはそれぞれ入力のM次元特徴ベクトル、着目クラスの参照ベクトル、重みベクトルである。但し、ｔは転置を表す。ＬＤＡ法では、各クラスについてそのクラスのパターン集合とD（ｘ)を用いて認識した時に得られるライバルパターン集合（そのクラスに誤認識したパターンの集合）との間で線形判別分析を行い判別関数F（ｘ)を求める。線形判別分析では、成分が次式で与えられる２M次元のベクトルy=(y₁,...,y_M,y_M+1,...ｙ_2M）^tを変数として用いる。
ｙ_m＝（ｘ_m−μ_m）²
ｙ_M+m＝（ｘ_m−μ_m）
F（ｘ)は次のように書くことができる。
【０００６】
【数２】

【０００７】
但し、 F（ｘ)の符号とcは、特徴ベクトルがそのクラスのパターン集合に属する時には負、ライバルパターン集合に属する時には正になるように決定される。次に、修正された距離関数G（ｘ)を次式のように定義する。即、
G（ｘ)= D（ｘ) + γF（ｘ)
ここでγは正の定数であり、G（ｘ)を用いて識別を行った時に認識精度が最大となるよう実験的に決められる値である。F（ｘ)の定義から分かるように、F（ｘ)を加えたことにより、距離の値は各パターンに対し、自らが属するクラスに対しては小さく、属さないクラスに対しては大きくなるように修正を受ける。従って、D（ｘ)を用いて識別を行った時には誤認識を起こしたパターンもG（ｘ)により識別を行えば正しく識別される可能性がある。 G（ｘ)は次のように書くことができる。
【０００８】
【数３】

【０００９】
G（ｘ)の形は定数項dが付与された他は原距離関数D（ｘ)と同じであり、参照ベクトル、重みベクトルのm番目の成分の値がそれぞれΔμ_m、Δω_m だけ修正を受けている。これはライバルパターン集合を用い、パラメータが学習されたものとみなすことができる。G（ｘ)を求めるための識別辞書では、修正を受けた参照ベクトル、重みベクトル、定数項が格納される。
【００１０】
ＬＤＡ法ではF（ｘ)が如何に正しく求められるかが鍵となる。F（ｘ)を求めるための線形判別分析では、1次元の軸z=F（ｘ)上に射影したときに得られる判別すべき2つのパターン集合の分布に対し、クラス間分散のクラス内分散に対する比、即ち分散比が最大になるように射影軸が決定される。本発明で問題とするのはz軸上に射影したときの2つのパターン集合の分布の対称性に関してである。認識に用いられる特徴量の分布そのものが非対称であればz軸上のパターン分布は対称にならないと考えられる。文字認識に用いられる特徴の多くは平均値よりも大きい側で長く尾を引くような非対称な分布を呈することはよく知られている。また、2つのパターン集合が特徴空間上で対称に分布していたにしても、2次の項まで用いて線形判別分析を行うと、z軸上のパターン分布は対称にならない。簡単な例で示す。対象となるパターン集合において特徴は無相関で分散が1となるものとし、かつ、F（ｘ)の定義式においてa_m=1、b_m=0となる場合を考える。この場合、F（ｘ)はユークリッド距離を表わすこととなり、z上のパターンの分布はユークリッド距離の分布を表わすこととなる。ユークリッド距離の確率密度分布p(z)は
Ｐ（ｚ）
＝Σｚ^(M-2)/2ｅ^-z/2／（２^M/2Γ（Ｍ／２））
【００１１】
で与えられることが知られている（K.Fukunaga, Introduction to Statistical Pattern Recognition, Second Edition,ACADEMIC PRESS INC(1990)）。ここで、Γはガンマ関数である。上式はガンマ分布の密度関数を表わしている。よく知られているようにガンマ分布の密度関数は非対称な分布を表わす。一般の場合、即ちa_m、b_mが任意の値をとる場合についてはF（ｘ)の分布を定式化することは困難であるが、対称な分布を呈するとは考えられない。z上のパターン分布が対称にならない以上、線形判別分析の結果求められる判別関数は、パターン全体に対しては分散比を最大にするものの、本当に分離したいパターン、即ちエラーを起しやすいパターンに対して最大にするとは限らない。言い換えれば、従来の方法では分離したいパターンに対して判別関数は最適にはならず、G（ｘ)の識別能力の改善効果は限られていた。
【００１２】
【発明が解決しようとする課題】
本発明は上記問題の解決を図り、エラーを起しやすいパターンに対して分散比を最大にすることにより、F（ｘ)の判別能力、引いてはG（ｘ)の識別能力を高めることにある。
【００１３】
【課題を解決するための手段】
上述のように、z軸上の分布を定式化することは困難であり、本課題を解析的に解決することは難しい。そこで本発明では、従来のＬＤＡ法の適用により求められた判別関数の値を全パターンに対して求め、着目クラスのパターン集合からはその値が大きいパターンを、ライバルパターン集合からはその値が小さなパターンを一定数選択することにより、互いにエラーを起こしやすいパターン集合を作成する。次いで、これらのパターン集合の間で再度判別分析を施すことにより、より判別能力の高い判別関数を得るようにする。
【００１４】
【作用】
この処理により、判別関数の判別能力を高めることが出来、その結果、パターン認識精度の著しい向上を期待することができる。
【００１５】
【実施例】
図１は本発明の実施例を示す図である。１は前処理、２は特徴抽出、３は距離算出処理、４は識別辞書、５はクラス決定処理を表わす。
入力されたパターンについて、まず前処理１で位置、大きさの正規化、雑音除去などの前処理が行われ、次いで特徴抽出処理２で識別に用いる特徴が抽出される。距離算出処理３では、４に格納されている識別辞書をもとに各クラスに対する距離が算出される。最後に５のクラス決定処理で最も小さな距離を与えるクラスが求められ、入力パターンが属するクラスと決定される。このような処理の手順そのものは従来の文字認識処理と全く同じであり、本発明のポイントは４の識別辞書の内容にある。図２は識別辞書を求めるための手順を示したものである。
【００１６】
ステップ21において用意された訓練パターンに対する前処理、特徴抽出が行われる。ステップ22において従来の方法でＬＤＡ法を適用し、判別関数を求めると同時に各クラスに対してライバルパターン集合を求める。ステップ23では現在求められている判別関数の値を全訓練パターンに対して求める。初めてステップ23を実行するときにはステップ22で求められた判別関数を用い、2回目以降の時には後述のステップ25で求められた判別関数を用いる。ステップ24では、ステップ23で求められた各訓練パターンに対する判別関数の値を用いて、各クラスに属するパターン集合の中から判別関数の値の大きい順に一定個のパターンを選択し、部分パターン集合を作成する。同様にステップ22で求められた各クラスのライバルパターン集合の中から判別関数の値の小さい順に一定個のパターンを選択し、部分ライバルパターン集合を作成する。
【００１７】
実際に何パターン選択するかは実験的に決めればよい。次いでステップ25において、従来のＬＤＡ法と同様の手順で、各クラスの部分パターン集合と部分ライバルパターン集合の間で線形判別分析を行い、求められた判別関数 F（ｘ) を用いて、G（ｘ) = D（ｘ) + γF（ｘ) により修正された距離関数G（ｘ)を決定する。γはG（ｘ)の正読率が最大になるように決定する。また、従来のＬＤＡ法で学習された距離関数をH（ｘ)とした時に、G（ｘ) = H（ｘ) + γF（ｘ) により修正された距離関数G（ｘ)を決定してもよい。次のステップ26では、ステップ25で求められた距離関数G（ｘ)を用いて全訓練パターンに対して識別を行い、その結果から各クラスの部分パターン集合に含まれなかった、もしくはライバルパターンとして各クラスの部分ライバルパターン集合に含まれなかった誤認識パターンを検出し、そのような誤認識パターンが存在すればステップ28でそれらを各クラスの部分パターン集合、もしくは部分ライバルパターン集合に追加し、ステップ25の処理から繰り返す。そのような誤認識パターンが存在しなければ、ステップ29でそのときの正読率が前回の繰り返しの時のそれとの差を検出し、収束していれば処理を終了し、していなければステップ23から処理を繰り返す。
【００１８】
【発明の効果】
本発明によれば、線形判別分析における判別軸上の分布の非対称性の悪影響を軽減させることが可能となり認識精度の著しい向上が実現できる。本発明の一実施例ではNIST(National Institute of Standards and Technology）が公開している文字データベースＳＤ１９を用いた実験において、従来方法であるＬＤＡ法の99.75%の認識率に対して、本発明では99.87%の認識率が達成出来た。
【図面の簡単な説明】
【第１図】本発明を実施する為のブロック図である。
【第２図】本発明の一実施例を示すフローチャートである。
【符号の説明】
1 前処理
2 特徴抽出処理
3 距離算出処理
4 識別処理
5 クラス決定処理

Claims

プログラムされたコンピュータによって、以下の（ａ）から（ｅ）のステップによって第２の識別辞書を作成し、
プログラムされたコンピュータによって、未知の入力パターンを読込み、前記未知の入力パターンから抽出された特徴値と前記第２の識別辞書に格納されている各クラスの特徴値に関する情報を用いて、各クラスとの距離を求めることにより、前記未知の入力パターンの属するクラスを求めるパターン認識方法。
（ａ）訓練パターンを読込み、前記訓練パターンから特徴ベクトルを抽出し、第１の識別辞書と距離関数を用いて識別対象の全クラスとの距離を求めて識別を行い、前記識別の結果を用いて、前記訓練パターンから、各クラス毎に、前記各クラスに属するパターンから成る第１のパターン集合と、前記各クラス以外のクラスに属するパターンの集合であって、前記各クラスに誤識別されたパターンを含む第１のエラーパターン集合を作成するステップ。
（ｂ）前記各クラスの前記第１のパターン集合と前記第１のエラーパターン集合との間で、第1の線形判別分析を実行するステップ。
（ｃ）前記第１の線形判別分析の結果から、前記各クラスの前記第１のパターン集合から判別関数の値の大きいパターンを所定数選択し第２のパターン集合を生成し、並びに、前記各クラスの前記第１のエラーパターン集合の中から判別関数の値の小さいパターンを所定数選択し第２のエラーパターン集合を生成するステップ。
（ｄ）前記第２のパターン集合と前記第２のエラーパターン集合に対して第２の線形判別分析を行うステップ。
（ｅ）前記第２の線形判別分析によって得られる線形判別関数によって求められる情報を用いて、前記第１の識別辞書を修正することにより、第２の識別辞書を作成するステップ。
さらに、プログラムされたコンピュータによって、以下の（ａ）から（ｆ）のステップで第３の識別辞書を作成し、
前記第３の識別辞書を用いて、前記未知の入力パターンの属するクラスを求める請求項１に記載のパターン認識方法。
（ａ）前記第２の識別辞書と距離関数を用いて前記訓練パターンの認識を行なうステップ。
（ｂ）各クラスごとに、各クラスに属していながら他のクラスに属すると誤って識別され、かつ各クラスの第２のパターン集合に含まれていなかったパターンを第２のパターン集合に追加し第３のパターン集合を作成するステップ。
（ｃ）各クラスごとに、他のクラスに属していながら各クラスに属すると誤って識別され、かつ各クラスの第２のエラーパターン集合に含まれていなかったパターンを第２のエラーパターン集合に追加し第３のエラーパターン集合を作成するステップ。
（ｄ）前記（ｂ）及び（ｃ）の処理を各クラスに対して繰返すステップ。
（ｅ）前記第３のパターン集合と前記第３のエラーパターン集合とを用いて、各クラスごとに第３の線形判別分析を行って求められる判別関数を用いて、前記第２の識別辞書を修正することにより、第３の識別辞書を作成するステップ。
（ｆ）前記（ａ）から（ｅ）の処理を訓練パターンの正読率が収束するまで繰り返すステップ。
前記第１の線形判別分析、及び、前記第２の線形判別分析において、前記特徴ベクトルの１次の項だけではなく、２次の項をも線形の項として用いて、前記第１の識別辞書、及び、前記第２の識別辞書を作成することを特徴とする請求項１に記載のパターン認識方法。
前記第１の線形判別分析と、前記第２の線形判別分析と、前記第３の線形判別分析とにおいて、前記特徴ベクトルの１次の項だけではなく、２次の項をも線形の項として用いて、前記第３の識別辞書を作成することを特徴とする請求項２に記載のパターン認識方法。