JP4543455B2 - パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 - Google Patents
パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 Download PDFInfo
- Publication number
- JP4543455B2 JP4543455B2 JP29505899A JP29505899A JP4543455B2 JP 4543455 B2 JP4543455 B2 JP 4543455B2 JP 29505899 A JP29505899 A JP 29505899A JP 29505899 A JP29505899 A JP 29505899A JP 4543455 B2 JP4543455 B2 JP 4543455B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- matrix
- feature extraction
- feature vector
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像や音声等の認識を行うパターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置に関する。
【０００２】
【従来の技術】
パターン認識とは、カメラやイメージスキャナ、マイクなどのセンシグデバイスを介してコンピュータに取り込まれた、実体の表現、例えば、実体として人物の顔や、文字人の声などを想定すれば、顔の画像や、音声のシグナルを、その実体などとの対応を基本に分類したりすることである。従って、（１）同一の実体にに由来しながらも、センシング時の状況などに依存して、見かけ上、異なった様相の散らばりを呈すること、即ち、クラス内の分散、と（２）実体の相違ゆえに、パターンに現れる相違、即ち、クラス間の分散の、２つの変動要因を扱う技術であると言える。従来、パターン認識の技術分野において、評価の高い方法は、まず、パターン全体の集合に対応した一つの標本空間を仮定し、その上で、クラス内の分散を最小化し、クラス間の分散を最大化するような一貫した関数を個々の入力データに対して適用することで、特徴抽出を実行するという基本的なモデルに基づくものであった。例えば、Fisher の判別分析法(Fukunaga: Introduction to Statistical Pattern Recognition, Academic Press, 1972)、はその代表例として極めてよく知られており、実際、文字認識や音声認識、顔画像認識などの分野ではしばしば利用されてきた。
【０００３】
【発明が解決しようとする課題】
しかし、従来法における仮定、即ち、パターン全体が大域的な一つの分布から引かれているとするモデルは、しばしば、現実の問題から見ると無理のある設定となっている。例えば、身分証の顔写真と、ビデオカメラで直接取り込んだ顔画像の照合を実行するシステムを考察すると、一方は、対象を直接撮影したのに対して、他方は、印刷物などから間接的に取り込まれた画像であり、これらを比べて同一性を判定する必要があるわけである。しかしながら、全く異なったプロセスから生成された全ての画像の集合を一つの分布に由来すると仮定するには、画像の変貌があまりに大きく、実際、身分証写真と本人の照合は、我々人間にとってもしばしば困難な作業となる。従って、従来のモデルにおける、パターン全体を一つの分布で記述し、分類すべき入力データに対して一貫して共通の特徴抽出関数を適用するというアプローチには限界がある。
【０００４】
本発明は、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にすることを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明では、異なるクラス（異なる実体）に対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するセットＡ１、セットＢ１のパターンの間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段を有する。
【０００６】
これにより、従来法に比べ格段に高精度なパターン認識／照合装置が実現できる。
【０００７】
【発明の実施の形態】
本発明の請求項１に記載の発明は、２つのセンシングプロセスを通して獲得されたパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）から、異なるクラスに対応するクラス間分散と、同一のクラスに対応するクラス内分散とからセットＡ１の特徴抽出行列ＡＦ及びセットＢ１の特徴抽出行列ＢＦを求め、教示用パターンセットＢ１のそれぞれのパターンＢ１ｉに対して、前記特徴抽出行列ＢＦを用いて特徴量ｆＢ１ｉを計算し、これら特徴量ｆＢ１ｉの集合｛ｆＢ１ｉ｝と前記特徴抽出行列ＡＦとＢＦを予め参照データベースＦＢ１に保存し、入力されたパターンＡ２ｊに対して前記特徴抽出行列ＡＦを適用して抽出した特徴量ｆＡ２ｊと、前記参照データベースＦＢ１に保存された特徴量の中で最も類似した要素を決定するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散とクラス間分散とから統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【０００８】
請求項２記載の発明は、請求項１記載のパターン認識方法において、特徴抽出行列ＡＦ及び特徴抽出行列ＢＦは、前記教示用パターンセット（Ａ１、Ｂ１）から、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ及びセットＢ１の特徴抽出行列ＢＦを求めるもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【０００９】
請求項３に記載の発明は、請求項２記載のパターン認識方法において、特徴抽出行列ＡＦ及びＢＦは、２つのプロセスで獲得したパターンの集合である教示用パターンセットＡ１とＢ１を獲得し、教示用パターンセットＡ１及びセットＢ１のパターンセットから、それぞれのパターン空間のクラス間分散行列 Ca, Cbを推定する工程と、パターンセットＡ１とＢ１のそれぞれの対応する要素のペアの集合から、それらのＡ１、Ｂ１にまたがったクラス内分散 Cabを計算する工程と、前記２つの分散行列 Ca, Cb のそれぞれ平方根行列の逆行列 Ca sqrt inv, Cb sqrt inv を計算する工程と、前記３つの行列 Ca sqrt inv, Cab, 及び、Cb sqrt inv の積 Cdを計算する工程と、 Cd の特異値分解を行なう工程 から計算するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【００１０】
請求項４に記載の発明は、２つのセンシングプロセスを通して獲得されたパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）から、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求め、２つのプロセスで獲得した入力パターンａ、ｂから前記特徴抽出行列ＡＦ、ＢＦを用いてそれぞれ特徴量ｆａ、ｆｂを計算し、特徴量ｆａとｆｂの類似度から２つのパターンａとパターンｂが同一のものであるかどうかを判定するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン照合を可能にするという作用を有する。
【００１１】
請求項５に記載の発明は、請求項４記載のパターン照合方法において、特徴抽出行列ＡＦ及びＢＦは、２つのプロセスで獲得したパターンの集合である教示用パターンセットＡ１とＢ１を獲得し、教示用パターンセットＡ１及びセットＢ１のパターンセットから、それぞれのパターン空間のクラス間分散行列 Ca, Cbを推定する工程と、パターンセットＡ１とＢ１のそれぞれの対応する要素のペアの集合から、それらのＡ１、Ｂ１にまたがったクラス内分散 Cabを計算する工程と、前記２つの分散行列 Ca, Cb のそれぞれ平方根行列の逆行列 Ca sqrt inv, Cb sqrt inv を計算する工程と、前記３つの行列 Ca sqrt inv, Cab, 及び、Cb sqrt inv の積 Cdを計算する工程と、 Cd の特異値分解を行なう工程 から計算するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【００１２】
請求項６に記載の発明は、２つのセンシングプロセスを通してパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）を獲得するパターン入力手段と、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段と、教示用パターンセットＢ１のそれぞれのパターンＢ１ｉに対して、前記特徴抽出行列ＢＦを用いて特徴量ｆＢ１ｉを計算し、これら特徴量ｆＢ１ｉの集合｛ｆＢ１ｉ｝と前記特徴抽出行列ＢＦとを予め参照データベースＦＢ１に保存し、入力されたパターンＡ２ｊに対して前記特徴抽出行列ＡＦを適用して抽出した特徴量ｆＡ２ｊと最も類似した要素を前記参照データベースＦＢ１の中から選ぶ最適マッチ決定手段とを具備するもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【００１３】
請求項７に記載の発明は、請求項６記載のパターン認識装置において、特徴抽出行列ＡＦ及びＢＦは、２つのプロセスで獲得したパターンの集合である教示用パターンセットＡ１とＢ１を獲得し、教示用パターンセットＡ１及びセットＢ１のパターンセットから、それぞれのパターン空間のクラス間分散行列 Ca, Cbを推定する工程と、パターンセットＡ１とＢ１のそれぞれの対応する要素のペアの集合から、それらのＡ１、Ｂ１にまたがったクラス内分散 Cabを計算する工程と、前記２つの分散行列 Ca, Cb のそれぞれ平方根行列の逆行列 Ca sqrt inv, Cb sqrt inv を計算する工程と、前記３つの行列 Ca sqrt inv, Cab, 及び、Cb sqrt inv の積 Cdを計算する工程と、 Cd の特異値分解を行なう工程 から計算するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識がを可能にするという作用を有する。
【００１４】
請求項８に記載の発明は、２つのセンシングプロセスを通してパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）を獲得するパターン入力手段と、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段と、パターン入力手段から入力された入力パターンａ、ｂから前記特徴抽出行列ＡＦ及びＢＦを用いてそれぞれ特徴量ｆａ、ｆｂを計算する特徴抽出手段と、特徴量ｆａとｆｂの類似度から２つのパターンａとパターンｂが同一のものであるかどうかを判定する同一性判定手段を具備するもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン照合を可能にするという作用を有する。
【００１５】
請求項９に記載の発明は、請求項８記載のパターン照合装置において、特徴抽出行列ＡＦ及びＢＦは、２つのプロセスで獲得したパターンの集合である教示用パターンセットＡ１とＢ１を獲得し、教示用パターンセットＡ１及びセットＢ１のパターンセットから、それぞれのパターン空間のクラス間分散行列 Ca, Cbを推定する工程と、パターンセットＡ１とＢ１のそれぞれの対応する要素のペアの集合から、それらのＡ１、Ｂ１にまたがったクラス内の分散 Cabを計算する工程と、前記２つの分散行列 Ca, Cb のそれぞれ平方根行列の逆行列 Ca sqrt inv, Cb sqrt inv を計算する工程と、前記３つの行列 Ca sqrt inv, Cab, 及び、Cb sqrt inv の積 Cdを計算する工程と、Cd の特異値分解を行なう工程 から計算するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン照合を可能にするという作用を有する。
【００１６】
請求項１０に記載の発明は、コンピュータに記録媒体から読み込まれたプログラムによって動作するもので、コンピュータによりパターン認識を行うプログラムを記録した記録媒体であって、２つのセンシングプロセスを通してパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）を獲得するパターン入力手段と、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段と、教示用パターンセットＢ１のそれぞれのパターンＢ１ｉに対して、前記特徴抽出行列ＢＦを用いて特徴量ｆＢ１ｉを計算し、これら特徴量ｆＢ１ｉの集合｛ｆＢ１ｉ｝と前記特徴抽出行列ＢＦとを予め参照データベースＦＢ１に保存し、入力されたパターンＡ２ｊに対して前記特徴抽出行列ＡＦを適用して抽出した特徴量ｆＡ２ｊと最も類似した要素を前記参照データベースＦＢ１の中から選ぶ最適マッチ決定手段とを具備するもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【００１７】
請求項１１に記載の発明は、コンピュータに記録媒体から読み込まれたプログラムによって動作するもので、コンピュータによりパターン照合を行うプログラムを記録した記録媒体であって、２つのセンシングプロセスを通してパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）を獲得するパターン入力手段と、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段と、教示用パターンセットＢ１のそれぞれのパターンＢ１ｉに対して、前記特徴抽出行列ＢＦを用いて特徴量ｆＢ１ｉを計算し、これら特徴量ｆＢ１ｉの集合｛ｆＢ１ｉ｝と前記特徴抽出行列ＢＦとを予め参照データベースＦＢ１に保存し、入力されたパターンＡ２ｊに対して前記特徴抽出行列ＡＦを適用して抽出した特徴量ｆＡ２ｊと最も類似した要素を前記参照データベースＦＢ１の中から選ぶ最適マッチ決定手段とを具備するもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン照合を可能にするという作用を有する。
【００１８】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１９】
（実施の形態１）
図１に、本発明の実施の形態１におけるパターン認識装置を身分証照合に適用した顔画像認識装置のブロック構成図を示し説明する。
図１は、顔画像認識装置をコンピュータシステムで実現したものである。図１において、１は人物の顔画像（パターンＡ）を直接撮影するためのビデオカメラ、２は身分証の顔写真（パターンＢ）から顔画像を取り込むためのイメージスキャナ、３、４はビデオカメラ１およびイメージスキャナ２からの画像信号を記憶する画像メモリＡ、Ｂ、５はプログラムの格納やワーク用のメモリ、６はＣＰＵ、７、８はそれぞれＡ、Ｂの画像パターンや、特徴抽出の実行によって計算された特徴パターンを記憶するパターンメモリＡ、Ｂ、９はシステムコンソールとしてのキーボード＆ディスプレイ、１０は画像パターン情報など大規模なデータを保存するための２次記憶装置（光磁気ディスクなど）、１１は参照画像データベース、１２〜１６は外部機器とのデータのやり取りを行うインタフェース（Ｉ／Ｆ）、１７はシステムバス、１８は認識結果を出力する出力端子、１９、２０はそれぞれパターンＡ、パターンＢのための特徴抽出行列ＡＦ、ＢＦを格納する特徴抽出行列メモリ、２１はコンピュータシステムで構成されている。
【００２０】
顔画像認識装置は、予め多くの人の身分証がイメージスキャナ等により顔画像をデータベースに登録しておき、ビデオカメラで撮像した顔画像の人物の該当者がデータベースの中にいるか、あるいは登録された身分証のどれに一番類似しているかを認識するものである。その処理は、ビデオ画像用の特徴徴抽出行列ＡＦの計算と身分証画像用の特徴抽出行列ＢＦの計算、さらに、参照画像データベースＦＢ１の構築を行うオフライン処理と、入力された顔画像が参照画像データベースＦＢ１に登録済みの人物かどうかの判定と、登録済みであればその最も類似したものをデータベースのエントリから選ぶオンライン処理とに大別される。
【００２１】
まず、最初にオフライン処理について、図２のオフライン処理動作フローを用いて説明する。オフライン処理の目的は、画像メモリに一旦蓄えられた教示画像は、ビデオカメラからの顔画像はセットＡ１（ビデオ顔画像）と、イメージスキャナからの身分証の顔画像はセットＢ１（身分証写真）として、例えば顔画像データは１次元のデータ列としたパターンＡとパターンＢに変換してパターンメモリＡとパターンメモリＢに保持する（Ｓ１１）。
【００２２】
特徴抽出行列ＡＦ及びＢＦは、以下のステップ１２（Ｓ１２）〜ステップ１６（Ｓ１６）の手順で計算される。まず、パターンＡの標本空間共分散行列 Caが、（数１）に従って計算され、並行して、パターンＢの標本空間共分散行列 Cbが、（数２）に従って計算される（Ｓ１２）。
【００２３】
【数１】
【００２４】
【数２】
続いて、（数３）に従って計算されるパターンＡとパターンＢの相互相関行列 C ab が計算される（Ｓ１３）。
【００２５】
【数３】
続いて、Ca 及び、Cb のそれぞれの平方根行列 Ca sqrt,Cb sqrt が、それぞれ（数4）、（数５）に従って計算される。
【００２６】
【数４】
【００２７】
【数５】
さらに Ca sqrt, Cb sqrt の逆行列 Ca sqrt inv, Cb sqrt inv と、先に求めた、パターンＡとパターンＢの相互相関行列 C ab の積である基礎行列 C 0 が（数６）に従って計算される（Ｓ１４）。
【００２８】
【数６】
続いて、基礎行列 C 0 の特異値分解 が（数７）のように計算される（Ｓ１５）。
【００２９】
【数７】
最後に、この特異値分解に現れる正規直交行列 U, V 、並びに、先に求めた、Ca sqrt inv, Cb sqrt inv を用いて（数８）及び（数９）に従って、特徴抽出行列ＡＦ、ＢＦが計算される（Ｓ１６）。
【００３０】
【数８】
【００３１】
【数９】
続いて、参照画像データベースＦＢ１構築のために、教示画像入力の場合と同様に身分証顔画像をイメージスキャナから取り込み、そのおのおののパターンＢ１ｉに対して特徴抽出行列ＢＦを用いて（数１０）に従って特徴ベクトルｆＢ１ｉを計算し、参照画像データベースＦＢ１に登録する（Ｓ１７）。
【００３２】
【数１０】
以上がオフラインで実行されるプロセスである。
【００３３】
次に、オンライン処理について、オンライン処理の動作フローを図３に示し説明する。オンライン処理の目的は、入力された顔画像が参照画像データベースＦＢ１に登録済みの人物かどうかの判定と、登録済みであればその最も類似したものをデータベースのエントリから選ぶことである。
【００３４】
ビデオカメラ１から直接取り込まれた顔画像は、画像メモリＡ７に記憶され、パターンａ２に変換してパターンメモリＡに転送する（Ｓ３０）。パタンメモリＡに保持されたパターンＡ２ｊは、オフライン時に求めた特徴抽出行列メモリ１９からの特徴抽出行列ＡＦが適用され、（数１１）に従って特徴ベクトルｆＡ２ｊが計算される（Ｓ３１）。
【００３５】
【数１１】
次に、最適マッチ処理で、参照データベースＦＢ１のエントリのインデックスｉを変化させ、特徴ベクトルｆＡ２ｊに類似した特徴ベクトルを参照画像データベースから選びだし、これら（１つ以上）を認識結果として、出力端子１８に出力するものである（Ｓ３３）。
【００３６】
ここで、特徴抽出手段の処理の効果は以下のように説明される。
【００３７】
特徴抽出行列 ＡＦ、及び、ＢＦは（数１）から（数９）に示されたように、基礎行列 C 0 の特異値分解の構成要素から計算され、パターンＡ、Ｂに対して、それぞれ（数８）（数９）に従って計算された特徴抽出行列 ＡＦ、ＢＦ を適用することは、基礎行列のトレースを最大化するという意味を持つ。ここで、（数１２）に示す、評価量Ｊに注目すると、（数１３）に示されるように基礎行列のトレースが最大化されるときＪは最小化されるという性質を持つ。
【００３８】
【数１２】
【００３９】
【数１３】
（数１３）に定義される行列のトレースの最小化は、異なるクラス（異なる人物）に対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラス（人物）に対応するセットＡ１（ビデオ画像）、セットＢ１（写真画像）のパターンの間のクラス内の散らばりであるクラス内分散を最小化するため、結局、基礎行列のトレースの最大化が、最適な特徴抽出変換を与える。
【００４０】
なお、参照画像データベースは、身分証からイメージスキャナによりその顔画像をデータベース化したが、ビデオカメラから顔画像を入力しデータベースを構築しても構わない。また、パターン入力手段として、イメージスキャンとビデオカメラを用いたが、どちらか１方であっても良く、他の入力手段であっても構わない。
【００４１】
また、顔画像データ、パターンセットＡ、Ｂ及び参照画像データベースＦＢ１をオフラインで作成したが、二次記憶装置１０から入力することも可能である。
さらに、オフラインで獲得、作成した、顔画像データ、パターンセットＡ、Ｂ及び参照画像データベースＦＢ１を二次記憶装置１０に格納することも可能である。
【００４２】
なお、本実施の形態では、顔画像認識装置を例にして説明したが、顔以外に車、組み立て部品等の画像データ、あるいは音声データ、文字データ等、パターンデータ化することによりパターン認識装置として幅広く応用が可能である。
【００４３】
（実施の形態２）
本発明の実施の形態２のパターン照合装置を身分証照合に適用した顔画像照合装置のブロック構成図を示し説明する。顔画像照合装置のブロック構成図は、実施の形態１の顔画像認識装置と同じ、コンピュータシステムを用いて実現したもので、ブロック構成図の説明は省略する。
【００４４】
顔画像照合装置は、身分証の顔画像とビデオカメラの顔画像が同一のものかどうかを判定するもので、その処理は予め多くの人の身分証がイメージスキャナ等により顔画像と、ビデオカメラで撮像した顔画像とを獲得し、特徴抽出行列ＡＦ、ＢＦの計算を行うオフライン処理と、イメージスキャナから入力された顔画像（パターンＡ）とビデオカメラから入力した顔画像（パターンＢ）から特徴抽出行列を用いて特徴量を計算し、特徴量同士の類似度から同一かどうかを判定するオンライン処理とに大別される。
【００４５】
まず、最初にオフライン処理について、図４のオフライン処理動作フローを用いて説明する。オフライン処理の目的は、特徴抽出行列ＡＦ、ＢＦの計算にある。
【００４６】
まず、ビデオカメラ１から得られた人物顔の画像信号がＩ／Ｆ１２を介してデジタル変換された画像メモリＡ３に蓄積される。並行して、当人の身分証顔写真からイメージスキャナ２によって身分証の顔画像が獲得されＩ／Ｆ１３を介して画像メモリＢ４に蓄積される（Ｓ１０）。この過程は、特徴抽出行列Ｆの学習に必要な十分な教示画像の数が得られるまで（例えば１５０００人分程度）収集される。
【００４７】
画像メモリに一旦蓄えられた教示画像は、ビデオカメラからの多数の顔画像はセットＡ１（顔画像）として、イメージスキャナからの多数の身分証の顔画像はセットＢ１（身分証写真）として、例えば１次元のデータ列としてパターンＡとパターンＢに変換してパターンメモリＡとパターンメモリＢに保持する（Ｓ１１）。
【００４８】
特徴抽出行列ＡＦ、及び、ＢＦは、以下のステップ１２（Ｓ１２）〜ステップ１６（Ｓ１６）の手順で計算される。まず、パターンＡの標本空間共分散行列 Caが、（数１）に従って計算され、並行して、パターンＢの標本空間共分散行列 Cbが、（数２）に従って計算される（Ｓ１２）。
【００４９】
続いて、（数３）に従って計算されるパターンＡとパターンＢの相互相関行列 C ab が計算される（Ｓ１３）。
続いて、Ca 及び、Cb のそれぞれの平方根行列 Ca sqrt,Cb sqrt が、それぞれ（数4）、（数５）に従って計算される。
【００５０】
さらに Ca sqrt, Cb sqrt の逆行列 Ca sqrt inv, Cb sqrt inv と、先に求めた、パターンＡとパターンＢの相互相関行列 C ab の積である基礎行列 C 0 が（数６）に従って計算される（Ｓ１４）。
【００５１】
続いて、基礎行列 C 0 の特異値分解 が（数７）のように計算される（Ｓ１５）。
最後に、この特異値分解に現れる正規直交行列 U, V 、並びに、先に求めた、Ca sqrt inv, Cb sqrt inv を用いて（数８）及び（数９）に従って、特徴抽出行列ＡＦ、ＢＦが計算される（Ｓ１６）。
【００５２】
以上がオフラインで実行されるプロセスである。
【００５３】
次に、オンライン処理について、オンライン処理の動作フローを図５に示し説明する。オンライン処理の目的は、イメージスキャナ１から入力された身分証の顔画像とビデオカメラ２からの顔画像とが同一人物かどうかを判定するものである。ビデオカメラ１から直接取り込まれた顔画像（Ａ／Ｄ変換後）とイメージスキャナ２から得られた顔画像は、画像メモリＡ３、画像メモリＢ４に入力され、入力された顔画像は画像メモリＡ３、画像メモリＢ４から読み出され、例えば一次元のデータ列に変換され、パターンメモリＡ７及びパターンメモリＢ８に転送される（Ｓ５０）。
【００５４】
パターンメモリＡ、Ｂのパターンａ２及びパターンｂ１は、オフライン時に予め求めた特徴抽出行列メモリ１９、２０からの特徴抽出行列ＡＦ、ＢＦから（数１０）、（数１１）により、それぞれ特徴ベクトルｆＢ１、ｆＡ２を求める（Ｓ５１）。
【００５５】
次に、特徴ベクトルｆＡ２、ｆＢ２の両者の類似度からこれらが同一人物に由来するものであるかどうかを判定する（Ｓ５２）。判定結果 Ｙ／Ｎ をパターン照合のアウトプットとして、出力端子１８に出力する（Ｓ５３）。なお、顔画像データ、パターンセットＡ、Ｂをオフラインで獲得、作成したが、二次記憶装置１０から入力することも可能である。さらに、オフラインで獲得、作成した、顔画像データ、パターンセットＡ、Ｂを二次記憶装置１０に格納することも可能である。
【００５６】
【発明の効果】
以上のように本発明では、比較するパターンデータセットの分布の相違を前提とし、その上で、それぞれの分布に応じて、２つの分布にまたがるサンプルのクラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、最適な特徴抽出を実行するため、従来法に比べ格段に高精度なパターン認識及びパターン照合が実現でき、その効果は非常に大きい。
【図面の簡単な説明】
【図１】本発明の実施の形態１における顔画像認識装置のブロック構成図
【図２】顔画像認識装置のオフライン処理を説明する動作フローチャート
【図３】顔画像認識装置のオンライン処理を説明する動作フローチャート
【図４】本発明の実施の形態２の顔画像照合装置のオフライン処理を説明する動作フローチャート
【図５】顔画像照合装置のオンライン処理を説明する動作フローチャート
【符号の説明】
１ ビデオカメラ（パターンＡ入力手段）
２ イメージスキャナ（パターンＢ入力手段）
３ 画像メモリＡ
４ 画像メモリＢ
５ 高速アクセスメモリ
６ ＣＰＵ
７ パターンメモリＡ
８ パターンメモリＢ
９ コンソール（キーボード＋ディスプレイ）
１０ 二次記憶手段（光磁気ディスク）
１１ 参照画像データベース
１２ Ｉ／Ｆユニット
１３ Ｉ／Ｆユニット
１４ Ｉ／Ｆユニット
１５ Ｉ／Ｆユニット
１６ Ｉ／Ｆユニット
１７ システムバス
１８ 出力端子
１９ 特徴抽出行列ＡＦメモリ
２０ 特徴抽出行列ＢＦメモリ
２１ コンピュータシステム
【発明の属する技術分野】
本発明は、画像や音声等の認識を行うパターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置に関する。
【０００２】
【従来の技術】
パターン認識とは、カメラやイメージスキャナ、マイクなどのセンシグデバイスを介してコンピュータに取り込まれた、実体の表現、例えば、実体として人物の顔や、文字人の声などを想定すれば、顔の画像や、音声のシグナルを、その実体などとの対応を基本に分類したりすることである。従って、（１）同一の実体にに由来しながらも、センシング時の状況などに依存して、見かけ上、異なった様相の散らばりを呈すること、即ち、クラス内の分散、と（２）実体の相違ゆえに、パターンに現れる相違、即ち、クラス間の分散の、２つの変動要因を扱う技術であると言える。従来、パターン認識の技術分野において、評価の高い方法は、まず、パターン全体の集合に対応した一つの標本空間を仮定し、その上で、クラス内の分散を最小化し、クラス間の分散を最大化するような一貫した関数を個々の入力データに対して適用することで、特徴抽出を実行するという基本的なモデルに基づくものであった。例えば、Fisher の判別分析法(Fukunaga: Introduction to Statistical Pattern Recognition, Academic Press, 1972)、はその代表例として極めてよく知られており、実際、文字認識や音声認識、顔画像認識などの分野ではしばしば利用されてきた。
【０００３】
【発明が解決しようとする課題】
しかし、従来法における仮定、即ち、パターン全体が大域的な一つの分布から引かれているとするモデルは、しばしば、現実の問題から見ると無理のある設定となっている。例えば、身分証の顔写真と、ビデオカメラで直接取り込んだ顔画像の照合を実行するシステムを考察すると、一方は、対象を直接撮影したのに対して、他方は、印刷物などから間接的に取り込まれた画像であり、これらを比べて同一性を判定する必要があるわけである。しかしながら、全く異なったプロセスから生成された全ての画像の集合を一つの分布に由来すると仮定するには、画像の変貌があまりに大きく、実際、身分証写真と本人の照合は、我々人間にとってもしばしば困難な作業となる。従って、従来のモデルにおける、パターン全体を一つの分布で記述し、分類すべき入力データに対して一貫して共通の特徴抽出関数を適用するというアプローチには限界がある。
【０００４】
本発明は、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にすることを目的とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、本発明では、異なるクラス（異なる実体）に対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するセットＡ１、セットＢ１のパターンの間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段を有する。
【０００６】
これにより、従来法に比べ格段に高精度なパターン認識／照合装置が実現できる。
【０００７】
【発明の実施の形態】
本発明の請求項１に記載の発明は、２つのセンシングプロセスを通して獲得されたパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）から、異なるクラスに対応するクラス間分散と、同一のクラスに対応するクラス内分散とからセットＡ１の特徴抽出行列ＡＦ及びセットＢ１の特徴抽出行列ＢＦを求め、教示用パターンセットＢ１のそれぞれのパターンＢ１ｉに対して、前記特徴抽出行列ＢＦを用いて特徴量ｆＢ１ｉを計算し、これら特徴量ｆＢ１ｉの集合｛ｆＢ１ｉ｝と前記特徴抽出行列ＡＦとＢＦを予め参照データベースＦＢ１に保存し、入力されたパターンＡ２ｊに対して前記特徴抽出行列ＡＦを適用して抽出した特徴量ｆＡ２ｊと、前記参照データベースＦＢ１に保存された特徴量の中で最も類似した要素を決定するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散とクラス間分散とから統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【０００８】
請求項２記載の発明は、請求項１記載のパターン認識方法において、特徴抽出行列ＡＦ及び特徴抽出行列ＢＦは、前記教示用パターンセット（Ａ１、Ｂ１）から、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ及びセットＢ１の特徴抽出行列ＢＦを求めるもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【０００９】
請求項３に記載の発明は、請求項２記載のパターン認識方法において、特徴抽出行列ＡＦ及びＢＦは、２つのプロセスで獲得したパターンの集合である教示用パターンセットＡ１とＢ１を獲得し、教示用パターンセットＡ１及びセットＢ１のパターンセットから、それぞれのパターン空間のクラス間分散行列 Ca, Cbを推定する工程と、パターンセットＡ１とＢ１のそれぞれの対応する要素のペアの集合から、それらのＡ１、Ｂ１にまたがったクラス内分散 Cabを計算する工程と、前記２つの分散行列 Ca, Cb のそれぞれ平方根行列の逆行列 Ca sqrt inv, Cb sqrt inv を計算する工程と、前記３つの行列 Ca sqrt inv, Cab, 及び、Cb sqrt inv の積 Cdを計算する工程と、 Cd の特異値分解を行なう工程 から計算するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【００１０】
請求項４に記載の発明は、２つのセンシングプロセスを通して獲得されたパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）から、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求め、２つのプロセスで獲得した入力パターンａ、ｂから前記特徴抽出行列ＡＦ、ＢＦを用いてそれぞれ特徴量ｆａ、ｆｂを計算し、特徴量ｆａとｆｂの類似度から２つのパターンａとパターンｂが同一のものであるかどうかを判定するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン照合を可能にするという作用を有する。
【００１１】
請求項５に記載の発明は、請求項４記載のパターン照合方法において、特徴抽出行列ＡＦ及びＢＦは、２つのプロセスで獲得したパターンの集合である教示用パターンセットＡ１とＢ１を獲得し、教示用パターンセットＡ１及びセットＢ１のパターンセットから、それぞれのパターン空間のクラス間分散行列 Ca, Cbを推定する工程と、パターンセットＡ１とＢ１のそれぞれの対応する要素のペアの集合から、それらのＡ１、Ｂ１にまたがったクラス内分散 Cabを計算する工程と、前記２つの分散行列 Ca, Cb のそれぞれ平方根行列の逆行列 Ca sqrt inv, Cb sqrt inv を計算する工程と、前記３つの行列 Ca sqrt inv, Cab, 及び、Cb sqrt inv の積 Cdを計算する工程と、 Cd の特異値分解を行なう工程 から計算するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【００１２】
請求項６に記載の発明は、２つのセンシングプロセスを通してパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）を獲得するパターン入力手段と、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段と、教示用パターンセットＢ１のそれぞれのパターンＢ１ｉに対して、前記特徴抽出行列ＢＦを用いて特徴量ｆＢ１ｉを計算し、これら特徴量ｆＢ１ｉの集合｛ｆＢ１ｉ｝と前記特徴抽出行列ＢＦとを予め参照データベースＦＢ１に保存し、入力されたパターンＡ２ｊに対して前記特徴抽出行列ＡＦを適用して抽出した特徴量ｆＡ２ｊと最も類似した要素を前記参照データベースＦＢ１の中から選ぶ最適マッチ決定手段とを具備するもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【００１３】
請求項７に記載の発明は、請求項６記載のパターン認識装置において、特徴抽出行列ＡＦ及びＢＦは、２つのプロセスで獲得したパターンの集合である教示用パターンセットＡ１とＢ１を獲得し、教示用パターンセットＡ１及びセットＢ１のパターンセットから、それぞれのパターン空間のクラス間分散行列 Ca, Cbを推定する工程と、パターンセットＡ１とＢ１のそれぞれの対応する要素のペアの集合から、それらのＡ１、Ｂ１にまたがったクラス内分散 Cabを計算する工程と、前記２つの分散行列 Ca, Cb のそれぞれ平方根行列の逆行列 Ca sqrt inv, Cb sqrt inv を計算する工程と、前記３つの行列 Ca sqrt inv, Cab, 及び、Cb sqrt inv の積 Cdを計算する工程と、 Cd の特異値分解を行なう工程 から計算するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識がを可能にするという作用を有する。
【００１４】
請求項８に記載の発明は、２つのセンシングプロセスを通してパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）を獲得するパターン入力手段と、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段と、パターン入力手段から入力された入力パターンａ、ｂから前記特徴抽出行列ＡＦ及びＢＦを用いてそれぞれ特徴量ｆａ、ｆｂを計算する特徴抽出手段と、特徴量ｆａとｆｂの類似度から２つのパターンａとパターンｂが同一のものであるかどうかを判定する同一性判定手段を具備するもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン照合を可能にするという作用を有する。
【００１５】
請求項９に記載の発明は、請求項８記載のパターン照合装置において、特徴抽出行列ＡＦ及びＢＦは、２つのプロセスで獲得したパターンの集合である教示用パターンセットＡ１とＢ１を獲得し、教示用パターンセットＡ１及びセットＢ１のパターンセットから、それぞれのパターン空間のクラス間分散行列 Ca, Cbを推定する工程と、パターンセットＡ１とＢ１のそれぞれの対応する要素のペアの集合から、それらのＡ１、Ｂ１にまたがったクラス内の分散 Cabを計算する工程と、前記２つの分散行列 Ca, Cb のそれぞれ平方根行列の逆行列 Ca sqrt inv, Cb sqrt inv を計算する工程と、前記３つの行列 Ca sqrt inv, Cab, 及び、Cb sqrt inv の積 Cdを計算する工程と、Cd の特異値分解を行なう工程 から計算するようにしたもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、クラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン照合を可能にするという作用を有する。
【００１６】
請求項１０に記載の発明は、コンピュータに記録媒体から読み込まれたプログラムによって動作するもので、コンピュータによりパターン認識を行うプログラムを記録した記録媒体であって、２つのセンシングプロセスを通してパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）を獲得するパターン入力手段と、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段と、教示用パターンセットＢ１のそれぞれのパターンＢ１ｉに対して、前記特徴抽出行列ＢＦを用いて特徴量ｆＢ１ｉを計算し、これら特徴量ｆＢ１ｉの集合｛ｆＢ１ｉ｝と前記特徴抽出行列ＢＦとを予め参照データベースＦＢ１に保存し、入力されたパターンＡ２ｊに対して前記特徴抽出行列ＡＦを適用して抽出した特徴量ｆＡ２ｊと最も類似した要素を前記参照データベースＦＢ１の中から選ぶ最適マッチ決定手段とを具備するもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン認識を可能にするという作用を有する。
【００１７】
請求項１１に記載の発明は、コンピュータに記録媒体から読み込まれたプログラムによって動作するもので、コンピュータによりパターン照合を行うプログラムを記録した記録媒体であって、２つのセンシングプロセスを通してパターンのペアの集合である教示用パターンセット（Ａ１、Ｂ１）を獲得するパターン入力手段と、異なるクラスに対応するパターン間の散らばりであるクラス間分散を最大化し、同一のクラスに対応するパターン間のクラス内の散らばりであるクラス内分散を最小化するセットＡ１の特徴抽出行列ＡＦ、及びセットＢ１の特徴抽出行列ＢＦを求める特徴抽出行列生成手段と、教示用パターンセットＢ１のそれぞれのパターンＢ１ｉに対して、前記特徴抽出行列ＢＦを用いて特徴量ｆＢ１ｉを計算し、これら特徴量ｆＢ１ｉの集合｛ｆＢ１ｉ｝と前記特徴抽出行列ＢＦとを予め参照データベースＦＢ１に保存し、入力されたパターンＡ２ｊに対して前記特徴抽出行列ＡＦを適用して抽出した特徴量ｆＡ２ｊと最も類似した要素を前記参照データベースＦＢ１の中から選ぶ最適マッチ決定手段とを具備するもので、比較する２つのデータセットＡ１、Ｂ１の分布に応じて、それぞれ最適な特徴抽出行列が得られるため、高精度なパターン照合を可能にするという作用を有する。
【００１８】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１９】
（実施の形態１）
図１に、本発明の実施の形態１におけるパターン認識装置を身分証照合に適用した顔画像認識装置のブロック構成図を示し説明する。
図１は、顔画像認識装置をコンピュータシステムで実現したものである。図１において、１は人物の顔画像（パターンＡ）を直接撮影するためのビデオカメラ、２は身分証の顔写真（パターンＢ）から顔画像を取り込むためのイメージスキャナ、３、４はビデオカメラ１およびイメージスキャナ２からの画像信号を記憶する画像メモリＡ、Ｂ、５はプログラムの格納やワーク用のメモリ、６はＣＰＵ、７、８はそれぞれＡ、Ｂの画像パターンや、特徴抽出の実行によって計算された特徴パターンを記憶するパターンメモリＡ、Ｂ、９はシステムコンソールとしてのキーボード＆ディスプレイ、１０は画像パターン情報など大規模なデータを保存するための２次記憶装置（光磁気ディスクなど）、１１は参照画像データベース、１２〜１６は外部機器とのデータのやり取りを行うインタフェース（Ｉ／Ｆ）、１７はシステムバス、１８は認識結果を出力する出力端子、１９、２０はそれぞれパターンＡ、パターンＢのための特徴抽出行列ＡＦ、ＢＦを格納する特徴抽出行列メモリ、２１はコンピュータシステムで構成されている。
【００２０】
顔画像認識装置は、予め多くの人の身分証がイメージスキャナ等により顔画像をデータベースに登録しておき、ビデオカメラで撮像した顔画像の人物の該当者がデータベースの中にいるか、あるいは登録された身分証のどれに一番類似しているかを認識するものである。その処理は、ビデオ画像用の特徴徴抽出行列ＡＦの計算と身分証画像用の特徴抽出行列ＢＦの計算、さらに、参照画像データベースＦＢ１の構築を行うオフライン処理と、入力された顔画像が参照画像データベースＦＢ１に登録済みの人物かどうかの判定と、登録済みであればその最も類似したものをデータベースのエントリから選ぶオンライン処理とに大別される。
【００２１】
まず、最初にオフライン処理について、図２のオフライン処理動作フローを用いて説明する。オフライン処理の目的は、画像メモリに一旦蓄えられた教示画像は、ビデオカメラからの顔画像はセットＡ１（ビデオ顔画像）と、イメージスキャナからの身分証の顔画像はセットＢ１（身分証写真）として、例えば顔画像データは１次元のデータ列としたパターンＡとパターンＢに変換してパターンメモリＡとパターンメモリＢに保持する（Ｓ１１）。
【００２２】
特徴抽出行列ＡＦ及びＢＦは、以下のステップ１２（Ｓ１２）〜ステップ１６（Ｓ１６）の手順で計算される。まず、パターンＡの標本空間共分散行列 Caが、（数１）に従って計算され、並行して、パターンＢの標本空間共分散行列 Cbが、（数２）に従って計算される（Ｓ１２）。
【００２３】
【数１】
【数２】
【００２５】
【数３】
【００２６】
【数４】
【数５】
【００２８】
【数６】
【００２９】
【数７】
【００３０】
【数８】
【数９】
【００３２】
【数１０】
【００３３】
次に、オンライン処理について、オンライン処理の動作フローを図３に示し説明する。オンライン処理の目的は、入力された顔画像が参照画像データベースＦＢ１に登録済みの人物かどうかの判定と、登録済みであればその最も類似したものをデータベースのエントリから選ぶことである。
【００３４】
ビデオカメラ１から直接取り込まれた顔画像は、画像メモリＡ７に記憶され、パターンａ２に変換してパターンメモリＡに転送する（Ｓ３０）。パタンメモリＡに保持されたパターンＡ２ｊは、オフライン時に求めた特徴抽出行列メモリ１９からの特徴抽出行列ＡＦが適用され、（数１１）に従って特徴ベクトルｆＡ２ｊが計算される（Ｓ３１）。
【００３５】
【数１１】
【００３６】
ここで、特徴抽出手段の処理の効果は以下のように説明される。
【００３７】
特徴抽出行列 ＡＦ、及び、ＢＦは（数１）から（数９）に示されたように、基礎行列 C 0 の特異値分解の構成要素から計算され、パターンＡ、Ｂに対して、それぞれ（数８）（数９）に従って計算された特徴抽出行列 ＡＦ、ＢＦ を適用することは、基礎行列のトレースを最大化するという意味を持つ。ここで、（数１２）に示す、評価量Ｊに注目すると、（数１３）に示されるように基礎行列のトレースが最大化されるときＪは最小化されるという性質を持つ。
【００３８】
【数１２】
【数１３】
【００４０】
なお、参照画像データベースは、身分証からイメージスキャナによりその顔画像をデータベース化したが、ビデオカメラから顔画像を入力しデータベースを構築しても構わない。また、パターン入力手段として、イメージスキャンとビデオカメラを用いたが、どちらか１方であっても良く、他の入力手段であっても構わない。
【００４１】
また、顔画像データ、パターンセットＡ、Ｂ及び参照画像データベースＦＢ１をオフラインで作成したが、二次記憶装置１０から入力することも可能である。
さらに、オフラインで獲得、作成した、顔画像データ、パターンセットＡ、Ｂ及び参照画像データベースＦＢ１を二次記憶装置１０に格納することも可能である。
【００４２】
なお、本実施の形態では、顔画像認識装置を例にして説明したが、顔以外に車、組み立て部品等の画像データ、あるいは音声データ、文字データ等、パターンデータ化することによりパターン認識装置として幅広く応用が可能である。
【００４３】
（実施の形態２）
本発明の実施の形態２のパターン照合装置を身分証照合に適用した顔画像照合装置のブロック構成図を示し説明する。顔画像照合装置のブロック構成図は、実施の形態１の顔画像認識装置と同じ、コンピュータシステムを用いて実現したもので、ブロック構成図の説明は省略する。
【００４４】
顔画像照合装置は、身分証の顔画像とビデオカメラの顔画像が同一のものかどうかを判定するもので、その処理は予め多くの人の身分証がイメージスキャナ等により顔画像と、ビデオカメラで撮像した顔画像とを獲得し、特徴抽出行列ＡＦ、ＢＦの計算を行うオフライン処理と、イメージスキャナから入力された顔画像（パターンＡ）とビデオカメラから入力した顔画像（パターンＢ）から特徴抽出行列を用いて特徴量を計算し、特徴量同士の類似度から同一かどうかを判定するオンライン処理とに大別される。
【００４５】
まず、最初にオフライン処理について、図４のオフライン処理動作フローを用いて説明する。オフライン処理の目的は、特徴抽出行列ＡＦ、ＢＦの計算にある。
【００４６】
まず、ビデオカメラ１から得られた人物顔の画像信号がＩ／Ｆ１２を介してデジタル変換された画像メモリＡ３に蓄積される。並行して、当人の身分証顔写真からイメージスキャナ２によって身分証の顔画像が獲得されＩ／Ｆ１３を介して画像メモリＢ４に蓄積される（Ｓ１０）。この過程は、特徴抽出行列Ｆの学習に必要な十分な教示画像の数が得られるまで（例えば１５０００人分程度）収集される。
【００４７】
画像メモリに一旦蓄えられた教示画像は、ビデオカメラからの多数の顔画像はセットＡ１（顔画像）として、イメージスキャナからの多数の身分証の顔画像はセットＢ１（身分証写真）として、例えば１次元のデータ列としてパターンＡとパターンＢに変換してパターンメモリＡとパターンメモリＢに保持する（Ｓ１１）。
【００４８】
特徴抽出行列ＡＦ、及び、ＢＦは、以下のステップ１２（Ｓ１２）〜ステップ１６（Ｓ１６）の手順で計算される。まず、パターンＡの標本空間共分散行列 Caが、（数１）に従って計算され、並行して、パターンＢの標本空間共分散行列 Cbが、（数２）に従って計算される（Ｓ１２）。
【００４９】
続いて、（数３）に従って計算されるパターンＡとパターンＢの相互相関行列 C ab が計算される（Ｓ１３）。
続いて、Ca 及び、Cb のそれぞれの平方根行列 Ca sqrt,Cb sqrt が、それぞれ（数4）、（数５）に従って計算される。
【００５０】
さらに Ca sqrt, Cb sqrt の逆行列 Ca sqrt inv, Cb sqrt inv と、先に求めた、パターンＡとパターンＢの相互相関行列 C ab の積である基礎行列 C 0 が（数６）に従って計算される（Ｓ１４）。
【００５１】
続いて、基礎行列 C 0 の特異値分解 が（数７）のように計算される（Ｓ１５）。
最後に、この特異値分解に現れる正規直交行列 U, V 、並びに、先に求めた、Ca sqrt inv, Cb sqrt inv を用いて（数８）及び（数９）に従って、特徴抽出行列ＡＦ、ＢＦが計算される（Ｓ１６）。
【００５２】
以上がオフラインで実行されるプロセスである。
【００５３】
次に、オンライン処理について、オンライン処理の動作フローを図５に示し説明する。オンライン処理の目的は、イメージスキャナ１から入力された身分証の顔画像とビデオカメラ２からの顔画像とが同一人物かどうかを判定するものである。ビデオカメラ１から直接取り込まれた顔画像（Ａ／Ｄ変換後）とイメージスキャナ２から得られた顔画像は、画像メモリＡ３、画像メモリＢ４に入力され、入力された顔画像は画像メモリＡ３、画像メモリＢ４から読み出され、例えば一次元のデータ列に変換され、パターンメモリＡ７及びパターンメモリＢ８に転送される（Ｓ５０）。
【００５４】
パターンメモリＡ、Ｂのパターンａ２及びパターンｂ１は、オフライン時に予め求めた特徴抽出行列メモリ１９、２０からの特徴抽出行列ＡＦ、ＢＦから（数１０）、（数１１）により、それぞれ特徴ベクトルｆＢ１、ｆＡ２を求める（Ｓ５１）。
【００５５】
次に、特徴ベクトルｆＡ２、ｆＢ２の両者の類似度からこれらが同一人物に由来するものであるかどうかを判定する（Ｓ５２）。判定結果 Ｙ／Ｎ をパターン照合のアウトプットとして、出力端子１８に出力する（Ｓ５３）。なお、顔画像データ、パターンセットＡ、Ｂをオフラインで獲得、作成したが、二次記憶装置１０から入力することも可能である。さらに、オフラインで獲得、作成した、顔画像データ、パターンセットＡ、Ｂを二次記憶装置１０に格納することも可能である。
【００５６】
【発明の効果】
以上のように本発明では、比較するパターンデータセットの分布の相違を前提とし、その上で、それぞれの分布に応じて、２つの分布にまたがるサンプルのクラス内分散を最小化し、クラス間分散を最大化するという統一的な基準を満足する、最適な特徴抽出を実行するため、従来法に比べ格段に高精度なパターン認識及びパターン照合が実現でき、その効果は非常に大きい。
【図面の簡単な説明】
【図１】本発明の実施の形態１における顔画像認識装置のブロック構成図
【図２】顔画像認識装置のオフライン処理を説明する動作フローチャート
【図３】顔画像認識装置のオンライン処理を説明する動作フローチャート
【図４】本発明の実施の形態２の顔画像照合装置のオフライン処理を説明する動作フローチャート
【図５】顔画像照合装置のオンライン処理を説明する動作フローチャート
【符号の説明】
１ ビデオカメラ（パターンＡ入力手段）
２ イメージスキャナ（パターンＢ入力手段）
３ 画像メモリＡ
４ 画像メモリＢ
５ 高速アクセスメモリ
６ ＣＰＵ
７ パターンメモリＡ
８ パターンメモリＢ
９ コンソール（キーボード＋ディスプレイ）
１０ 二次記憶手段（光磁気ディスク）
１１ 参照画像データベース
１２ Ｉ／Ｆユニット
１３ Ｉ／Ｆユニット
１４ Ｉ／Ｆユニット
１５ Ｉ／Ｆユニット
１６ Ｉ／Ｆユニット
１７ システムバス
１８ 出力端子
１９ 特徴抽出行列ＡＦメモリ
２０ 特徴抽出行列ＢＦメモリ
２１ コンピュータシステム
Claims (3)
- パターンBとの比較により、パターンAの認識を行うパターン認識方法であって、
パターンAの標本空間共分散行列Caの平方根行列と、パターンBの標本空間共分散行列Cbの平方根行列と、パターンAとパターンBとの相互相関Cabと、に基づき算出される基礎行列C0を特異値分解することで得られる(1)正規直交行列Υと、(2)前記平方根行列Caの逆行列とにより、パターンAの特徴ベクトルを算出に用いる特徴抽出行列AFを算出するステップと、
前記基礎行列C0を特異値分解することで得られる(1)正規直交行列Ψと(2)前記平方根行列Cbの逆行列とにより、パターンBの特徴ベクトルを算出に用いる特徴抽出行列BFを算出するステップと、
パターンBの複数の画像B1iそれぞれに対して前記特徴抽出行列BFを用いて、特徴ベクトルfB1iを算出するステップと、
パターンA画像A2jに対して前記特徴抽出AFを用いて、特徴ベクトルfA2jを算出するステップと、
前記特徴ベクトルfA2jに類似する、前記特徴ベクトルfB1iを認識結果として出力するステップとを、有するパターン認識方法。 - 前記基礎行列 C0は、
前記パターンAと前記パターンBのそれぞれに対応する要素のペアの集合から算出される前記相互相関Cabと、前記標本空間共分散行列 Caの平方根行列の逆行列 Ca sqrt invと、前記標本空間共分散行列Cbの平行根行列の逆行列Cb sqrt invと、の積である、請求項１記載のパターン認識方法。 - パターンBとの比較により、パターンAの認識を行うパターン認識装置であって、
パターンAの標本空間共分散行列Caの平方根行列と、パターンBの標本空間共分散行列Cbの平方根行列と、パターンAとパターンBとの相互相関Cabと、に基づき算出される基礎行列C0を特異値分解することで得られる(1)正規直交行列Υと、(2)前記平方根行列Caの逆行列とにより、パターンAの特徴ベクトルを算出に用いる特徴抽出行列AFを算出する第1の算出部と、
前記基礎行列C0を特異値分解することで得られる(1)正規直交行列Ψと(2)前記平方根行列Cbの逆行列とにより、パターンBの特徴ベクトルを算出に用いる特徴抽出行列BFを算出する第2の算出部と、
パターンBの複数の画像B1iそれぞれに対して前記特徴抽出行列BFを用いて、特徴ベクトルfB1iを算出する第3の算出部と、
パターンA画像A2jに対して前記特徴抽出AFを用いて、特徴ベクトルfA2jを算出する第4の算出部と、
前記特徴ベクトルfA2jに類似する、前記特徴ベクトルfB1iを認識結果として出力する出力部とを、有するパターン認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29505899A JP4543455B2 (ja) | 1999-10-18 | 1999-10-18 | パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29505899A JP4543455B2 (ja) | 1999-10-18 | 1999-10-18 | パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001118068A JP2001118068A (ja) | 2001-04-27 |
| JP4543455B2 true JP4543455B2 (ja) | 2010-09-15 |
Family
ID=17815779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29505899A Expired - Fee Related JP4543455B2 (ja) | 1999-10-18 | 1999-10-18 | パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4543455B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1431915B1 (en) * | 2001-09-25 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd. | Parameter estimation apparatus and data collating apparatus |
| EP1639522B1 (en) * | 2003-06-30 | 2007-08-15 | HONDA MOTOR CO., Ltd. | System and method for face recognition |
| JP5020763B2 (ja) * | 2007-09-28 | 2012-09-05 | Ｋｄｄｉ株式会社 | 音声合成のための決定木を生成する装置、方法及びプログラム |
| CN108595927B (zh) * | 2018-04-04 | 2023-09-19 | 北京市商汤科技开发有限公司 | 身份认证、解锁及支付方法、装置、存储介质、产品和设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10171988A (ja) * | 1996-12-05 | 1998-06-26 | Matsushita Electric Ind Co Ltd | パターン認識・照合装置 |
| JPH10228543A (ja) * | 1996-12-11 | 1998-08-25 | Matsushita Electric Ind Co Ltd | パターン照合装置 |
| JPH11272862A (ja) * | 1998-03-19 | 1999-10-08 | Matsushita Electric Ind Co Ltd | パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 |
-
1999
- 1999-10-18 JP JP29505899A patent/JP4543455B2/ja not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10171988A (ja) * | 1996-12-05 | 1998-06-26 | Matsushita Electric Ind Co Ltd | パターン認識・照合装置 |
| JPH10228543A (ja) * | 1996-12-11 | 1998-08-25 | Matsushita Electric Ind Co Ltd | パターン照合装置 |
| JPH11272862A (ja) * | 1998-03-19 | 1999-10-08 | Matsushita Electric Ind Co Ltd | パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001118068A (ja) | 2001-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5901244A (en) | Feature extraction system and face image recognition system | |
| US8284985B2 (en) | Interactive device for processing documents | |
| US6243492B1 (en) | Image feature extractor, an image feature analyzer and an image matching system | |
| EP0944018B1 (en) | Method and apparatus for recognizing image pattern, method and apparatus for judging identity of image patterns, recording medium for recording the pattern recognizing method and recording medium for recording the pattern identity judging method | |
| CN100492397C (zh) | 人脸元数据生成设备和生成方法、人脸识别系统和方法 | |
| JP3938872B2 (ja) | データ分類装置および物体認識装置 | |
| CN110598008B (zh) | 录制数据的数据质检方法及装置、存储介质 | |
| EP1830308A2 (en) | Pattern recognition apparatus and method therefor | |
| CN110427972A (zh) | 证件视频特征提取方法、装置、计算机设备和存储介质 | |
| CN109740417A (zh) | 发票类型识别方法、装置、存储介质和计算机设备 | |
| JP2001351104A (ja) | パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 | |
| JP4543455B2 (ja) | パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 | |
| JPH0520442A (ja) | 顔画像照合装置 | |
| CN115984968A (zh) | 一种学生时空动作识别方法、装置、终端设备及介质 | |
| CN114612919A (zh) | 一种票据信息处理系统及方法、装置 | |
| JP2000030066A (ja) | 顔画像照合方法及び顔画像照合装置 | |
| KR20110088851A (ko) | 사용자 인증을 위한 특징벡터 추출장치 및 방법 | |
| Tyagi et al. | Face Recognition Based Student Attendance System | |
| Charishma et al. | Smart Attendance System with and Without Mask using Face Recognition | |
| JP3708383B2 (ja) | パターン認識方法及びパターン認識装置 | |
| JP3322216B2 (ja) | パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 | |
| JP3322208B2 (ja) | パターン認識方法及びパターン認識装置並びにパターン照合方法及びパターン照合装置 | |
| Bin Hamed et al. | A secure attendance system using raspberry pi face recognition | |
| Ballary et al. | Deep learning based facial attendance system using convolutional neural network | |
| KR100362228B1 (ko) | 작업 활동 분석 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060914 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20061012 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20091119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100301 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100608 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100621 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |