JP3729581B2 - パターン認識・照合装置 - Google Patents
パターン認識・照合装置 Download PDFInfo
- Publication number
- JP3729581B2 JP3729581B2 JP33911496A JP33911496A JP3729581B2 JP 3729581 B2 JP3729581 B2 JP 3729581B2 JP 33911496 A JP33911496 A JP 33911496A JP 33911496 A JP33911496 A JP 33911496A JP 3729581 B2 JP3729581 B2 JP 3729581B2
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- model
- pattern
- vector
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、顔写真等を用いたユーザ同定や低ビットレート通信の情報圧縮に用いられるパターン認識・照合装置に関するものであり、特に、人物顔を用いたＩＤシステム、免許証携帯者の認証、マンマシンインターフェースやセキュリティーのためのパターン認識・照合装置において、変動成分をモデル成分と直交するように変換した空間で認識・判定するパターン認識・照合装置に関するものである。
【０００２】
【従来の技術】
パターン認識（例えば顔画像認識や音声認識）の技術分野において最近注目を集めている方式は、データベースに登録されたモデル集合から計算される２次の統計量（共分散）をもとにパターンの分布、即ち、上述したデータ空間内にパターンの集合が占める部分を推定し、これをもとに、パターンからの特徴抽出を行なうものである。例えば、よく知られたＫＬ(Karhunen-Loeve)展開方式は、ＫＬ展開によって特徴抽出を行なうもので文献 M.Turk & A.Pentland:“Face Recognition Using Eigenfaces" Proceedings of IEEE, CVPR91. に詳しく述べられており、他の方法もこれに準じたものが多い。
【０００３】
ＫＬ法では、モデル画像Ｍおよび入力パターンＩを
Ｍ＝ΣγiＥi 、 Ｉ＝Σγi'Ｅi ・・・（８）
（γiはＭのｉ成分、γi'はＩのｉ成分）
（和は、ｉ＝１．．．ｐについてとる）
に示す通り、ｐ個の基底ベクトルＥi(ｉ＝１．．．ｐ）の線形結合で近似し、近似データ間で照合をとるものである。
【０００４】
ＫＬ法は、この基底ベクトルとして、ｗ個の教示パターンデータから得られる共分散行列の固有値の大きいものからｐ個（例えば100個程度）のものに対応する固有ベクトルを用いる。その基底ベクトルによって空間を構成すれば、
（１）射影された教示データが最もよく分離される、即ち、区別しやすくなる。
（２）パターンに含まれるノイズ等、不規則に現れる成分（変動）をとり除くことができる。
という利点を有すると考えられている。このＫＬ法において注意すべき点は、モデルパターン集合から得られる統計量に基づいて推定されるパターンベクトルの分布が一般性を持っていること、即ち、それが入力のパターンにおいてもおおよそあてはまっていることを仮定している点である。
【０００５】
実際、例えば顔画像認識において、入力パターンのモデルからの変動がそれほど大きくない場合には非常に精度の高い認識率を達成されることが実験的にも確認されている。
【０００６】
【発明が解決しようとする課題】
しかし、以上のような従来法では入力パターンとモデルの違いが大きくなる場合には十分な認識率を提供することができないという問題があった。これは、例えば画像認識において入力画像とモデル画像とで撮影時の照明条件など環境が大きく変化する場合等に発生するもので、現実にはしばしば発生する深刻な問題である。
【０００７】
従来法における上記問題の原因は、それが、パターンの一般的な分布を、データベースに含まれるモデルパターンの統計量のみを用いて推定できると仮定していることに由来する。
【０００８】
【課題を解決するための手段】
この問題を解決するために、本発明では、モデル集合から得られる統計量に加えて、入力パターンのモデルからの変化を捉えた統計量も予め学習させ利用する。そのため、本発明では、モデルパターンの共分散行列Ｃm（パターンの統計的性質の推定）を入力するモデルベクトル共分散入力手段と、個々のモデルパターンから対応する入力パターンへの変動の共分散行列Ｃp（変化の性質を示す統計的情報）を予め学習させ入力するモデル−入力変動共分散入力手段と、モデルベクトル共分散行列とモデル−入力変動共分散行列との加重平均を
Ｃs≡αＣm＋（１−α）Ｃp （αは０＜α＜１の実数） ・・・（１）
に従ってとり、新たに行列Ｃsを生成する共分散加重平均生成手段と、
Ｃsを
Ｃs＝（ＡＱ1/2）（Ｑ1/2ＡT） ・・・（２）
（Ｑ1/2はＱの平方根行列、ＡTはＡの転置行列）
（ＡはＣsの正規化固有ベクトル行列）
（Ｑは対応する固有値よりなる対角行列）
のようにスペクトル分解し行列Ｑ-1/2ＡTを得る第一の対角化手段と、
モデルベクトル共分散行列Ｃmを、行列Ｄ≡Ｑ-1/2ＡTを用いて変換した行列ＤＣmＤTを
ＤＣmＤT＝ＢＰＢT ・・・（３）
（ＢはＤＣmＤTの正規化固有ベクトル行列）
（Ｐは対応する固有値よりなる対角行列）
のようにスペクトル分解し行列Ｂを得る第２の対角化手段と、
これらの行列Ｑ-1/2ＡT、Ｂを用いて
Ｈ≡ＷＢTＱ-1/2ＡT ・・・（４）
（Ｗ≡diag（α1，α2，・・・αn）、（αiは適当な非負の数））
に従って行列Ｈを生成・保持し、ランタイムにモデルパターンＭと入力パターンＩから
Ｍ'≡ＨＭ、Ｉ'≡ＨＩ ・・・（５）
に従って特徴ベクトルを抽出する特徴抽出手段を備える。
【０００９】
請求項１のパターン認識・照合装置においては、さらに、入力顔の特徴ベクトルに対して
‖Ｍ'−Ｉ'‖ （‖＊‖はユークリッド距離） ・・・（６）
の評価値が最も小さい特徴ベクトルを持つモデルを認識結果として選出する判定手段を有する。
【００１０】
また、請求項５のパターン認識・照合装置は、さらに、モデルと入力パターンの特徴ベクトルの類似性を
（Ｍ'・Ｉ'）／（｜Ｍ'｜｜Ｉ'｜） ・・・（７）
（（＊・＊）はベクトルの内積、｜＊｜はベクトルの大きさ）
に従って評価し、この値が一定値以上かどうかによって、入力パターンがそのモデルに対応するものであるかどうかを判定する判定手段を有する。
【００１１】
以上において、加重平均化された共分散Ｃs及び、モデルベクトル共分散Ｃmを対角化手段１及び２を用いて対角化し、得られた行列Ｈによって特徴抽出を行なうことにより、モデルパターンからの入力パターンの変化が、モデル集合が占める空間に直交するように制御することができる。これによって、モデルと入力パターンの違いが大きい場合でも、認識・照合の最終過程においてモデルの占める空間に直交するような方向の特徴を無視することで入力に対応するモデルが正しくマッチされる。以下、この詳細なメカニズムを説明する。
【００１２】
【発明の実施の形態】
本発明の請求項１に記載した発明は、モデルパターンＭ（モデルベクトルとも呼ぶ）を入力するモデルパターン入力手段と、認識対象の入力パターンＩ（入力ベクトルとも呼ぶ）を入力する入力パターン入力手段と、前記モデルパターンＭから求めたモデルベクトル共分散行列と、前記モデルパターンＭから対応する入力パターンＩを差し引いた変動ベクトルから求めたモデル−入力変動共分散行列とから、モデルパターンの分布空間と変動ベクトルの分布空間とを直交化する特徴抽出用の行列Ｈを予め求めて保持する特徴抽出行列演算手段と、認識実行時に、前記モデルパターンＭと前記行列Ｈとの積から特徴ベクトルＭ’を抽出し、前記入力パターンＩと前記行列Ｈとの積から特徴ベクトルＩ’を抽出する特徴抽出手段と、前記特徴ベクトルＩ'と前記特徴ベクトルＭ'との距離が最も小さい特徴ベクトルを有するモデルパターンを見出し、これによって入力パターンがどのモデルに対応するかを判定する判定手段とを具備するものであり、モデル空間と変動空間を直交させることにより、入力パターンの変動分を除いてモデルパターンと比較して認識するという作用を有する。
本発明の請求項２に記載した発明は、請求項１記載のパターン認識・照合装置において、前記特徴抽出行列演算手段は、前記モデルベクトル共分散行列Ｃmと前記モデル−入力変動共分散行列Ｃpとの加重平均行列を対角化して前記行列Ｈを求めるものであり、加重平均行列を利用してモデル空間と変動空間を直交させる変換行列を算出するという作用を有する。
本発明の請求項３に記載した発明は、請求項２記載のパターン認識・照合装置において、前記特徴抽出行列演算手段は、前記モデルベクトル共分散行列Ｃmと前記モデル−入力変動共分散行列Ｃpとの加重平均行列を対角化し、前記モデルベクトル共分散行列Ｃmを対角化し、それらの結果に基づいて、変動ベクトルの分布空間に直交する空間に入力ベクトルを射影する行列Ｈを求めるものであり、変動ベクトルの影響のない空間にモデルパターンを射影する変換行列を算出するという作用を有する。
本発明の請求項４に記載した発明は、請求項２記載のパターン認識・照合装置において、前記特徴抽出行列演算手段は、前記モデルベクトル共分散行列Ｃmと前記モデル−入力変動共分散行列Ｃpとの加重平均を
Ｃs≡αＣm＋（１−α）Ｃp （αは０＜α＜１の実数） ・・・（１）
に従ってとり、新たに行列Ｃsを生成する共分散加重平均生成手段と、
前記共分散加重平均生成手段の出力の行列Ｃsを
Ｃs＝（ＡＱ1/2）（Ｑ1/2ＡT） ・・・（２）
（ＡはＣsの正規化固有ベクトル行列）
（Ｑは対応する固有値よりなる対角行列）
（Ｑ1/2はＱの平方根行列、ＡTはＡの転置行列）
のようにスペクトル分解し、これより行列
Ｄ≡Ｑ-1/2ＡT （Ｑ-1/2は行列Ｑの平方根行列の逆行列）
を得る第１の対角化手段と、
モデルパターン共分散行列Ｃmを行列Ｄによって変換した行列ＤＣmＤTを
ＤＣmＤT＝ＢＰＢT ・・・（３）
（ＢはＤＣmＤTの正規化固有ベクトル行列）
（Ｐは対応する固有値よりなる対角行列）
のようにスペクトル分解し、行列Ｂを得る第２の対角化手段と、
前記第１及び第２の対角化手段の出力Ｑ-1/2ＡT、Ｂを用いて
Ｈ≡ＷＢTＱ-1/2ＡT ・・・（４）
（Ｗ≡diag（α1，α2，・・・αn）、（αiは適当な非負の数））
に従って行列Ｈを生成・保持する手段とを有するものであり、モデルパターン共分散行列と加重平均行列の同時対角化の結果に基づいて、モデルベクトル空間を変動ベクトルの分布空間からより強く分離する行列Ｈを、行列Ｗを使って生成するという作用を有する。
【００１３】
本発明の請求項５に記載の発明は、モデルパターンと入力パターンの特徴ベクトルの類似性を
（Ｍ'・Ｉ'）／（｜Ｍ'｜｜Ｉ'｜） ・・・（７）
（（＊・＊）はベクトルの内積、｜＊｜はベクトルの大きさ）
に従って評価し、この値が一定値以上かどうかによって、その入力パターンとモデルが同一のものであるかを判定する判定手段を具備するものであり、モデル空間と変動空間を直交させることにより、入力パターンの変動分を除いてモデルパターンと照合するという作用を有する。
【００１４】
（第１の実施の形態）
本発明の第１の実施の形態は、ビデオカメラなどから入力した入力顔画像に一致する顔画像をモデル画像写真のデータベースから選出する顔画像認識装置である。以下、本発明のパターン認識・照合装置を顔画像認識に適用した場合について第１図を用いて説明する。
【００１５】
入力パターン入力手段１は、入力顔を撮影するビデオカメラと、ビデオカメラのアナログ映像信号をデジタル信号に変換するデジタイザと、デジタル映像信号を記憶する画像メモリにより構成される。モデルパターン入力手段２は、モデル画像写真をスキャンして入力するイメージスキャナと、イメージスキャナから入力されたモデル画像写真をデジタル画像ファイルとして格納するデータベースにより構成される。共分散計算ユニット３は、入力パターン入力手段１とモデルパターン入力手段２から画像データを入力し、１つの画像データをベクトルとみなして共分散行列を計算する計算装置である。特徴抽出ユニット４は、共分散行列から変換行列を計算するとともに、１つの画像データをベクトルとみなして変換行列によりベクトル変換して特徴ベクトルを計算する計算装置である。判定ユニット５は、特徴ベクトル間の距離や角度を計算する計算装置である。これらの計算装置は、汎用のプロセッサを用いて構成してもよいし、ＤＳＰなどの専用のプロセッサを用いて構成してもよい。
【００１６】
入力パターン入力手段１とモデルパターン入力手段２と共分散計算ユニット３と特徴抽出ユニット４により、オフラインのプロセスとして、モデルパターンの空間とモデル−入力変動ベクトルの空間を直交化させるような特徴空間の選定を行ない、入力パターン入力手段１とモデルパターン入力手段２と共分散計算ユニット３と判定ユニット５により、オンラインで認識処理を行なう。
【００１７】
最初に、オフラインの処理について説明する。一般にパターンがデータ空間の中で占める空間の次元（例えば顔画像が画像空間全体の中に占める部分の次元）は、もとの空間の次元（例えばピクセル数が10万であれば10万次元）に比べかなり小さく（例えば100次元）なっている場合が多い。同様に、モデル−入力の変動ベクトルもデータ空間においては低次元の空間を占める。まず、モデルパターンの統計的傾向を示す共分散行列Ｃmを、モデルベクトル共分散入力手段から入力する。この共分散行列Ｃmは、モデルパターン入力手段から入力されたモデルパターンを用いて
Ｃm≡ΣＭＭT ・・・（９）
（ＭTは行列Ｍの転置行列、和は全ての標本モデル｛Ｍ｝についてとる。）
に従って直接計算できるが、他の方法で得られたものであっても問題はない。モデルパターンの分布（共分散）を示すものであればよい。この実施形態では、モデルパターン共分散Ｃmはモデルパターン入力手段２であるイメージスキャナ装備のデータベースに入力されたモデル人物顔画像集合｛Ｍ｝を用いて計算する。ここで、簡単のためにモデルベクトルの平均ベクトルは０としている。そうでない場合はＭを（Ｍ−Ｍa）（Ｍaは集合｛Ｍ｝の平均）を用いる。
【００１８】
また、入力パターンと対応するモデルの差（Ｍ−Ｉ）の統計的性質を示す共分散行列Ｃpを、モデル−入力変動共分散入力手段から入力し、入力の変動傾向を学習させる。この共分散Ｃpは入力パターン入力手段から入力される入力パターンのサンプル群と対応するモデルの差を用いて
Ｃp≡Σ（Ｍ−Ｉ）（Ｍ−Ｉ）T ・・・（１０）
（（Ｍ−Ｉ）Tは行列（Ｍ−Ｉ）の転置行列）
（和は得られた全ての（Ｍ,Ｉ）のペアについてとる。）
に従って直接計算できるが、他の方法で得られたものであってもよい。差ベクトルの分布（共分散）を示すものであればよい。この実施形態では、モデル−入力変動ベクトル共分散Ｃpは、入力顔ベクトル｛Ｉ｝（入力パターン）を実際に入力し、対応するモデル顔パターンとの差から式10に従って計算される。
【００１９】
以上の２つの共分散ＣmとＣpの計算は、共通の共分散計算ユニット３によって実施される。これらの共分散の情報は、特徴抽出ユニット４に送られる。
【００２０】
特徴抽出ユニット４では、まず、２つの共分散の加重平均Ｃsを式１に従って計算し、Ｃs、Ｃmの同時対角化を経て、特徴抽出行列Ｈを生成し保持する。画像認識装置の場合は、モデル画像ベクトル｛Ｍ｝から特徴ベクトル｛Ｍ'｝を抽出し特徴抽出ユニットがこれを保持しておく。
【００２１】
特徴抽出ユニット４の中の共分散加重平均生成手段が、得られた２つの共分散、即ち、モデルベクトル共分散Ｃmとモデル−入力変動共分散Ｃpの加重平均を
Ｃs≡αＣm＋（１−α）Ｃp ・・・（１）
（αは０＜α＜１の実数）
に従って計算し、行列Ｃsを生成する。αは、ビデオカメラやイメージスキャナの特性に応じて値を決める必要があるし、モデル画像の画質などにも従って最適値を決める必要があるので、実際に認識の試行を行なって値を求める。例えば、αの初期値を0.5として、認識率が向上するように少しずつ変化させて値を決めればよい。
【００２２】
次に、これらの共分散を用いてパターンの認識に適した特徴空間の選定、即ち、特徴抽出の具体的メカニズムを決定する。ここで、パターンからの特徴抽出とは、もとのパターン（Ｎ次元とする）をより低い次元の空間（例えばＫ次元、Ｋ＜Ｎ）に射影することをさす。したがって、特徴空間を選ぶことは、そのようなＫ次元の空間を構成するＫ個の直交する座標軸（ベクトル）を選ぶことであり、よって特徴抽出とはそのようなベクトルによって構成される線形変換（行列）を適用することにあたる。このために、行列Ｃsとモデルベクトル共分散Ｃmを同時に対角化する変換によって、モデルパターンの空間と変動ベクトルの空間を直交化する。この原理は以下の通りである。
【００２３】
行列Ｃsは第一の対角化手段によって
Ｃs＝（ＡＱ1/2）（Ｑ1/2ＡT） ・・・（２）
（ＡはＣsの正規化固有ベクトル行列）
（Ｑは対応する固有値よりなる対角行列）
（Ｑ1/2はＱの平方根行列、ＡTはＡの転置行列）
のようにスペクトル分解され、行列Ｄ≡Ｑ-1/2ＡTが出力される。
【００２４】
一方、共分散Ｃmは変換ＤによってＤＣmＤTに写された後、第２の対角化手段によって
ＤＣmＤT＝ＢＰＢT ・・・（３）
（ＢはＤＣmＤTの正規化固有ベクトル行列）
（Ｐは対応する固有値よりなる対角行列）
のようにスペクトル分解され、行列Ｂが出力される。
【００２５】
特徴抽出手段は、これらの出力の行列Ｑ-1/2ＡT、Ｂをもとに
Ｈ≡ＷＢTＱ-1/2ＡT ・・・（４）
（Ｗ≡diag（α1，α2，・・・αN）、αiは適当な非負の数）
に従って行列Ｈを生成しこれを保持する。この行列Ｈが特徴抽出を行なう行列である。αiは、特徴に重みづけする係数であり、認識率が向上するように試行しながら最適値を求める方法で決定する。
【００２６】
ここで、行列Ｌを
Ｌ≡ＢTＱ-1/2ＡT ・・・（１１）
と定義する。
【００２７】
行列Ｈは、行列Ｌの適用後各成分に対して定数倍の変換をほどこすものである。今、行列ＬをモデルベクトルＭ、及び、入力ベクトルＩに対して
Ｍ'≡ＬＭ、Ｉ'≡ＬＩ ・・・（１２）
に従って適用、即ち、特徴抽出を行なうと、この変換Ｌによって、行列Ｃs、モデルベクトル共分散Ｃmはそれぞれ
のように単位行列Ｅ、対角行列Ｐに変換される。
【００２８】
同時に、式１からモデル−入力変動共分散Ｃpも
（Ｐは対角行列、αは０＜α＜１の実数、Ｅは単位行列）のように対角化される。
【００２９】
式15のステップより明らかに、式12による変換によって、モデルベクトル共分散Ｃm'とモデル−入力変動共分散Ｃp'は、固有ベクトルを共通に持つことがわかる。さらに式15から、前者の固有値を降順にｘ1＞ｘ2＞ｘ3＞．．．＞ｘN（全て非負）とすると、後者の対応する軸の固有値は
ｙ1＝（１−αｘ1）／（１−α）、
ｙ2＝（１−αｘ2）／（１−α）、
・・・
ｙN＝（１−αｘN）／（１−α）
となるので、降順にｙN＞ｙN-1＞．．．＞ｙ1となり、固有値の順位が完全に逆転する。
【００３０】
共分散行列の固有値は、対応する固有ベクトルの方向での分散、即ち、分布の広がり（の２乗）を示すものであるから、モデルパターンとモデル−入力変動ベクトルの占める空間は式12の変換によって、分布の軸を全て共有し、かつ、軸方向での広がりの大きさの順位が逆転することになる。即ち、モデルパターンの空間とモデル入力変動ベクトルの空間は直交すると言える。行列Ｈは行列Ｌの変換後、各軸方向で分布の広がりの差をさらに拡大することで、この直交化を強調したものである。
【００３１】
以上がオフラインのプロセスであり、これによって、入力パターンのモデルからの平均的な変動傾向を捉え、認識に適した特徴抽出の具体的メカニズムが決定される。パターン認識（登録済みのモデルとのマッチング）の場合はモデルパターンの入力もデータベース機能を含むモデルパターン入力手段２を通してオフラインで予め入力されている。
【００３２】
パターン認識の実行時には、ビデオカメラから取り込まれ、所定の処理を施された新しい入力顔画像Ｉに対して特徴抽出ユニットが、
Ｉ'≡ＨＩ
に従って特徴ベクトルＩ'を計算する。判定ユニットは
‖Ｍ'−Ｉ'‖ （‖＊‖はユークリッド距離） ・・・（６）
を最小にする特徴ベクトルを持つモデル顔を、特徴抽出ユニットが保持しているモデル画像の特徴ベクトル｛Ｍ'｝の中から選び、認識結果として出力する。
【００３３】
（第２の実施の形態）
本発明の第２の実施形態は、ビデオカメラなどから入力した入力顔画像と、イメージスキャナなどから入力した入力画像写真を照合して、一致するか否かを判定する顔画像照合装置である。以下、本発明のパターン認識・照合装置を顔画像照合に適用した場合について、第１図を用いて説明する。
【００３４】
モデルパターン共分散Ｃmはモデルパターン入力手段２であるイメージスキャナ装備のデータベースに入力されたモデル人物顔画像集合｛Ｍ｝を用いて計算する。Ｃmの計算方法は
Ｃm≡ΣＭＭT ・・・（９）
（ＭTは行列Ｍの転置行列、和は全ての標本モデル｛Ｍ｝についてとる。）
に従う。
【００３５】
入力パターン入力手段１は、ビデオカメラとデジタイザと画像メモリにより構成される。モデル−入力変動ベクトル共分散Ｃpは入力顔ベクトル｛Ｉ｝（入力パターン）を実際に入力し、対応するモデル顔パターンとの差から式10により計算される。以上２つの共分散ＣmとＣpの計算は共通の共分散計算ユニット３によって実施される。これらの共分散の情報は、特徴抽出ユニット４に送られる。特徴抽出ユニット４では、まず、２つの共分散の加重平均Ｃsを式１に従って計算し、先に詳述した通りＣs、Ｃmの同時対角化を経て特徴抽出行列Ｈを生成し保持する。以上がオフライン処理である。
【００３６】
照合実行時には、ビデオカメラから取り込まれ、所定の処理を施された新しい入力顔画像Ｉに対して、特徴抽出ユニット４が
Ｉ'≡ＨＩ
に従って特徴ベクトルＩ'を計算する。入力顔画像は、照明などを十分に制御して、最良の画像を撮影できるようにする。
【００３７】
顔画像照合装置では、モデル顔ベクトルＭも実行時にイメージスキャナから入力されるので、実行時に特徴抽出ユニット４が
Ｍ'≡ＨＭ
に従って特徴ベクトルＭ'の抽出を行なう。モデル画像は、写真をスキャナで入力するので、写真の撮影条件の差による変動分はそのまま入力される。
【００３８】
判定ユニット５では、Ｍ'とＩ'から
（Ｍ'・Ｉ'）／（｜Ｍ'｜｜Ｉ'｜） ・・・（７）
（（＊・＊）はベクトルの内積、｜＊｜はベクトルの大きさ）
で定義された値を計算し、その値が予め定めた一定値以上か否かによって、照合が正しいどうかを出力する。
【００３９】
その場で撮影した最良の画像と、変動分を含む写真の画像を入力し、それらをモデルと変動分が分離した空間に写像し、２つのベクトルの間の角度の余弦に対応する量を求めて、人物と写真が一致するか否かを判定することになる。変換Ｈを決める際のＷの重みを適当に調節することにより、判別のつきやすい特徴を選んで照合することができる。
【００４０】
【発明の効果】
以上のように本発明では、モデルパターンが占める空間と、モデル−入力変動ベクトルが占める空間を直交させるような変換を求めて、顔画像認識・照合に適用する。モデル−入力変動ベクトルは、入力パターンの対応するモデルパターンからのずれであるから、変換後にモデルパターンの存在する空間で入力とモデルを照合すれば、このずれをとり除くことができる。また、多数の顔画像と顔写真から、モデルと変動分を直交させる変換をあらかじめ求めて、この変換を使って特徴抽出して、モデルの集合に属さない顔を写真と照合することにより、どのような顔写真でも高い精度で人物と照合することができる。
【００４１】
したがって、従来法に比べ格段に高精度な顔画像認識・照合が実現でき、その効果は非常に大きい。
【図面の簡単な説明】
【図１】本発明による顔画像認識・照合装置の構成を示す図である。
【符号の説明】
１ 入力パターン入力手段
２ モデルパターン入力手段
３ 共分散計算ユニット
４ 特徴抽出ユニット
５ 判定ユニット
【発明の属する技術分野】
本発明は、顔写真等を用いたユーザ同定や低ビットレート通信の情報圧縮に用いられるパターン認識・照合装置に関するものであり、特に、人物顔を用いたＩＤシステム、免許証携帯者の認証、マンマシンインターフェースやセキュリティーのためのパターン認識・照合装置において、変動成分をモデル成分と直交するように変換した空間で認識・判定するパターン認識・照合装置に関するものである。
【０００２】
【従来の技術】
パターン認識（例えば顔画像認識や音声認識）の技術分野において最近注目を集めている方式は、データベースに登録されたモデル集合から計算される２次の統計量（共分散）をもとにパターンの分布、即ち、上述したデータ空間内にパターンの集合が占める部分を推定し、これをもとに、パターンからの特徴抽出を行なうものである。例えば、よく知られたＫＬ(Karhunen-Loeve)展開方式は、ＫＬ展開によって特徴抽出を行なうもので文献 M.Turk & A.Pentland:“Face Recognition Using Eigenfaces" Proceedings of IEEE, CVPR91. に詳しく述べられており、他の方法もこれに準じたものが多い。
【０００３】
ＫＬ法では、モデル画像Ｍおよび入力パターンＩを
Ｍ＝ΣγiＥi 、 Ｉ＝Σγi'Ｅi ・・・（８）
（γiはＭのｉ成分、γi'はＩのｉ成分）
（和は、ｉ＝１．．．ｐについてとる）
に示す通り、ｐ個の基底ベクトルＥi(ｉ＝１．．．ｐ）の線形結合で近似し、近似データ間で照合をとるものである。
【０００４】
ＫＬ法は、この基底ベクトルとして、ｗ個の教示パターンデータから得られる共分散行列の固有値の大きいものからｐ個（例えば100個程度）のものに対応する固有ベクトルを用いる。その基底ベクトルによって空間を構成すれば、
（１）射影された教示データが最もよく分離される、即ち、区別しやすくなる。
（２）パターンに含まれるノイズ等、不規則に現れる成分（変動）をとり除くことができる。
という利点を有すると考えられている。このＫＬ法において注意すべき点は、モデルパターン集合から得られる統計量に基づいて推定されるパターンベクトルの分布が一般性を持っていること、即ち、それが入力のパターンにおいてもおおよそあてはまっていることを仮定している点である。
【０００５】
実際、例えば顔画像認識において、入力パターンのモデルからの変動がそれほど大きくない場合には非常に精度の高い認識率を達成されることが実験的にも確認されている。
【０００６】
【発明が解決しようとする課題】
しかし、以上のような従来法では入力パターンとモデルの違いが大きくなる場合には十分な認識率を提供することができないという問題があった。これは、例えば画像認識において入力画像とモデル画像とで撮影時の照明条件など環境が大きく変化する場合等に発生するもので、現実にはしばしば発生する深刻な問題である。
【０００７】
従来法における上記問題の原因は、それが、パターンの一般的な分布を、データベースに含まれるモデルパターンの統計量のみを用いて推定できると仮定していることに由来する。
【０００８】
【課題を解決するための手段】
この問題を解決するために、本発明では、モデル集合から得られる統計量に加えて、入力パターンのモデルからの変化を捉えた統計量も予め学習させ利用する。そのため、本発明では、モデルパターンの共分散行列Ｃm（パターンの統計的性質の推定）を入力するモデルベクトル共分散入力手段と、個々のモデルパターンから対応する入力パターンへの変動の共分散行列Ｃp（変化の性質を示す統計的情報）を予め学習させ入力するモデル−入力変動共分散入力手段と、モデルベクトル共分散行列とモデル−入力変動共分散行列との加重平均を
Ｃs≡αＣm＋（１−α）Ｃp （αは０＜α＜１の実数） ・・・（１）
に従ってとり、新たに行列Ｃsを生成する共分散加重平均生成手段と、
Ｃsを
Ｃs＝（ＡＱ1/2）（Ｑ1/2ＡT） ・・・（２）
（Ｑ1/2はＱの平方根行列、ＡTはＡの転置行列）
（ＡはＣsの正規化固有ベクトル行列）
（Ｑは対応する固有値よりなる対角行列）
のようにスペクトル分解し行列Ｑ-1/2ＡTを得る第一の対角化手段と、
モデルベクトル共分散行列Ｃmを、行列Ｄ≡Ｑ-1/2ＡTを用いて変換した行列ＤＣmＤTを
ＤＣmＤT＝ＢＰＢT ・・・（３）
（ＢはＤＣmＤTの正規化固有ベクトル行列）
（Ｐは対応する固有値よりなる対角行列）
のようにスペクトル分解し行列Ｂを得る第２の対角化手段と、
これらの行列Ｑ-1/2ＡT、Ｂを用いて
Ｈ≡ＷＢTＱ-1/2ＡT ・・・（４）
（Ｗ≡diag（α1，α2，・・・αn）、（αiは適当な非負の数））
に従って行列Ｈを生成・保持し、ランタイムにモデルパターンＭと入力パターンＩから
Ｍ'≡ＨＭ、Ｉ'≡ＨＩ ・・・（５）
に従って特徴ベクトルを抽出する特徴抽出手段を備える。
【０００９】
請求項１のパターン認識・照合装置においては、さらに、入力顔の特徴ベクトルに対して
‖Ｍ'−Ｉ'‖ （‖＊‖はユークリッド距離） ・・・（６）
の評価値が最も小さい特徴ベクトルを持つモデルを認識結果として選出する判定手段を有する。
【００１０】
また、請求項５のパターン認識・照合装置は、さらに、モデルと入力パターンの特徴ベクトルの類似性を
（Ｍ'・Ｉ'）／（｜Ｍ'｜｜Ｉ'｜） ・・・（７）
（（＊・＊）はベクトルの内積、｜＊｜はベクトルの大きさ）
に従って評価し、この値が一定値以上かどうかによって、入力パターンがそのモデルに対応するものであるかどうかを判定する判定手段を有する。
【００１１】
以上において、加重平均化された共分散Ｃs及び、モデルベクトル共分散Ｃmを対角化手段１及び２を用いて対角化し、得られた行列Ｈによって特徴抽出を行なうことにより、モデルパターンからの入力パターンの変化が、モデル集合が占める空間に直交するように制御することができる。これによって、モデルと入力パターンの違いが大きい場合でも、認識・照合の最終過程においてモデルの占める空間に直交するような方向の特徴を無視することで入力に対応するモデルが正しくマッチされる。以下、この詳細なメカニズムを説明する。
【００１２】
【発明の実施の形態】
本発明の請求項１に記載した発明は、モデルパターンＭ（モデルベクトルとも呼ぶ）を入力するモデルパターン入力手段と、認識対象の入力パターンＩ（入力ベクトルとも呼ぶ）を入力する入力パターン入力手段と、前記モデルパターンＭから求めたモデルベクトル共分散行列と、前記モデルパターンＭから対応する入力パターンＩを差し引いた変動ベクトルから求めたモデル−入力変動共分散行列とから、モデルパターンの分布空間と変動ベクトルの分布空間とを直交化する特徴抽出用の行列Ｈを予め求めて保持する特徴抽出行列演算手段と、認識実行時に、前記モデルパターンＭと前記行列Ｈとの積から特徴ベクトルＭ’を抽出し、前記入力パターンＩと前記行列Ｈとの積から特徴ベクトルＩ’を抽出する特徴抽出手段と、前記特徴ベクトルＩ'と前記特徴ベクトルＭ'との距離が最も小さい特徴ベクトルを有するモデルパターンを見出し、これによって入力パターンがどのモデルに対応するかを判定する判定手段とを具備するものであり、モデル空間と変動空間を直交させることにより、入力パターンの変動分を除いてモデルパターンと比較して認識するという作用を有する。
本発明の請求項２に記載した発明は、請求項１記載のパターン認識・照合装置において、前記特徴抽出行列演算手段は、前記モデルベクトル共分散行列Ｃmと前記モデル−入力変動共分散行列Ｃpとの加重平均行列を対角化して前記行列Ｈを求めるものであり、加重平均行列を利用してモデル空間と変動空間を直交させる変換行列を算出するという作用を有する。
本発明の請求項３に記載した発明は、請求項２記載のパターン認識・照合装置において、前記特徴抽出行列演算手段は、前記モデルベクトル共分散行列Ｃmと前記モデル−入力変動共分散行列Ｃpとの加重平均行列を対角化し、前記モデルベクトル共分散行列Ｃmを対角化し、それらの結果に基づいて、変動ベクトルの分布空間に直交する空間に入力ベクトルを射影する行列Ｈを求めるものであり、変動ベクトルの影響のない空間にモデルパターンを射影する変換行列を算出するという作用を有する。
本発明の請求項４に記載した発明は、請求項２記載のパターン認識・照合装置において、前記特徴抽出行列演算手段は、前記モデルベクトル共分散行列Ｃmと前記モデル−入力変動共分散行列Ｃpとの加重平均を
Ｃs≡αＣm＋（１−α）Ｃp （αは０＜α＜１の実数） ・・・（１）
に従ってとり、新たに行列Ｃsを生成する共分散加重平均生成手段と、
前記共分散加重平均生成手段の出力の行列Ｃsを
Ｃs＝（ＡＱ1/2）（Ｑ1/2ＡT） ・・・（２）
（ＡはＣsの正規化固有ベクトル行列）
（Ｑは対応する固有値よりなる対角行列）
（Ｑ1/2はＱの平方根行列、ＡTはＡの転置行列）
のようにスペクトル分解し、これより行列
Ｄ≡Ｑ-1/2ＡT （Ｑ-1/2は行列Ｑの平方根行列の逆行列）
を得る第１の対角化手段と、
モデルパターン共分散行列Ｃmを行列Ｄによって変換した行列ＤＣmＤTを
ＤＣmＤT＝ＢＰＢT ・・・（３）
（ＢはＤＣmＤTの正規化固有ベクトル行列）
（Ｐは対応する固有値よりなる対角行列）
のようにスペクトル分解し、行列Ｂを得る第２の対角化手段と、
前記第１及び第２の対角化手段の出力Ｑ-1/2ＡT、Ｂを用いて
Ｈ≡ＷＢTＱ-1/2ＡT ・・・（４）
（Ｗ≡diag（α1，α2，・・・αn）、（αiは適当な非負の数））
に従って行列Ｈを生成・保持する手段とを有するものであり、モデルパターン共分散行列と加重平均行列の同時対角化の結果に基づいて、モデルベクトル空間を変動ベクトルの分布空間からより強く分離する行列Ｈを、行列Ｗを使って生成するという作用を有する。
【００１３】
本発明の請求項５に記載の発明は、モデルパターンと入力パターンの特徴ベクトルの類似性を
（Ｍ'・Ｉ'）／（｜Ｍ'｜｜Ｉ'｜） ・・・（７）
（（＊・＊）はベクトルの内積、｜＊｜はベクトルの大きさ）
に従って評価し、この値が一定値以上かどうかによって、その入力パターンとモデルが同一のものであるかを判定する判定手段を具備するものであり、モデル空間と変動空間を直交させることにより、入力パターンの変動分を除いてモデルパターンと照合するという作用を有する。
【００１４】
（第１の実施の形態）
本発明の第１の実施の形態は、ビデオカメラなどから入力した入力顔画像に一致する顔画像をモデル画像写真のデータベースから選出する顔画像認識装置である。以下、本発明のパターン認識・照合装置を顔画像認識に適用した場合について第１図を用いて説明する。
【００１５】
入力パターン入力手段１は、入力顔を撮影するビデオカメラと、ビデオカメラのアナログ映像信号をデジタル信号に変換するデジタイザと、デジタル映像信号を記憶する画像メモリにより構成される。モデルパターン入力手段２は、モデル画像写真をスキャンして入力するイメージスキャナと、イメージスキャナから入力されたモデル画像写真をデジタル画像ファイルとして格納するデータベースにより構成される。共分散計算ユニット３は、入力パターン入力手段１とモデルパターン入力手段２から画像データを入力し、１つの画像データをベクトルとみなして共分散行列を計算する計算装置である。特徴抽出ユニット４は、共分散行列から変換行列を計算するとともに、１つの画像データをベクトルとみなして変換行列によりベクトル変換して特徴ベクトルを計算する計算装置である。判定ユニット５は、特徴ベクトル間の距離や角度を計算する計算装置である。これらの計算装置は、汎用のプロセッサを用いて構成してもよいし、ＤＳＰなどの専用のプロセッサを用いて構成してもよい。
【００１６】
入力パターン入力手段１とモデルパターン入力手段２と共分散計算ユニット３と特徴抽出ユニット４により、オフラインのプロセスとして、モデルパターンの空間とモデル−入力変動ベクトルの空間を直交化させるような特徴空間の選定を行ない、入力パターン入力手段１とモデルパターン入力手段２と共分散計算ユニット３と判定ユニット５により、オンラインで認識処理を行なう。
【００１７】
最初に、オフラインの処理について説明する。一般にパターンがデータ空間の中で占める空間の次元（例えば顔画像が画像空間全体の中に占める部分の次元）は、もとの空間の次元（例えばピクセル数が10万であれば10万次元）に比べかなり小さく（例えば100次元）なっている場合が多い。同様に、モデル−入力の変動ベクトルもデータ空間においては低次元の空間を占める。まず、モデルパターンの統計的傾向を示す共分散行列Ｃmを、モデルベクトル共分散入力手段から入力する。この共分散行列Ｃmは、モデルパターン入力手段から入力されたモデルパターンを用いて
Ｃm≡ΣＭＭT ・・・（９）
（ＭTは行列Ｍの転置行列、和は全ての標本モデル｛Ｍ｝についてとる。）
に従って直接計算できるが、他の方法で得られたものであっても問題はない。モデルパターンの分布（共分散）を示すものであればよい。この実施形態では、モデルパターン共分散Ｃmはモデルパターン入力手段２であるイメージスキャナ装備のデータベースに入力されたモデル人物顔画像集合｛Ｍ｝を用いて計算する。ここで、簡単のためにモデルベクトルの平均ベクトルは０としている。そうでない場合はＭを（Ｍ−Ｍa）（Ｍaは集合｛Ｍ｝の平均）を用いる。
【００１８】
また、入力パターンと対応するモデルの差（Ｍ−Ｉ）の統計的性質を示す共分散行列Ｃpを、モデル−入力変動共分散入力手段から入力し、入力の変動傾向を学習させる。この共分散Ｃpは入力パターン入力手段から入力される入力パターンのサンプル群と対応するモデルの差を用いて
Ｃp≡Σ（Ｍ−Ｉ）（Ｍ−Ｉ）T ・・・（１０）
（（Ｍ−Ｉ）Tは行列（Ｍ−Ｉ）の転置行列）
（和は得られた全ての（Ｍ,Ｉ）のペアについてとる。）
に従って直接計算できるが、他の方法で得られたものであってもよい。差ベクトルの分布（共分散）を示すものであればよい。この実施形態では、モデル−入力変動ベクトル共分散Ｃpは、入力顔ベクトル｛Ｉ｝（入力パターン）を実際に入力し、対応するモデル顔パターンとの差から式10に従って計算される。
【００１９】
以上の２つの共分散ＣmとＣpの計算は、共通の共分散計算ユニット３によって実施される。これらの共分散の情報は、特徴抽出ユニット４に送られる。
【００２０】
特徴抽出ユニット４では、まず、２つの共分散の加重平均Ｃsを式１に従って計算し、Ｃs、Ｃmの同時対角化を経て、特徴抽出行列Ｈを生成し保持する。画像認識装置の場合は、モデル画像ベクトル｛Ｍ｝から特徴ベクトル｛Ｍ'｝を抽出し特徴抽出ユニットがこれを保持しておく。
【００２１】
特徴抽出ユニット４の中の共分散加重平均生成手段が、得られた２つの共分散、即ち、モデルベクトル共分散Ｃmとモデル−入力変動共分散Ｃpの加重平均を
Ｃs≡αＣm＋（１−α）Ｃp ・・・（１）
（αは０＜α＜１の実数）
に従って計算し、行列Ｃsを生成する。αは、ビデオカメラやイメージスキャナの特性に応じて値を決める必要があるし、モデル画像の画質などにも従って最適値を決める必要があるので、実際に認識の試行を行なって値を求める。例えば、αの初期値を0.5として、認識率が向上するように少しずつ変化させて値を決めればよい。
【００２２】
次に、これらの共分散を用いてパターンの認識に適した特徴空間の選定、即ち、特徴抽出の具体的メカニズムを決定する。ここで、パターンからの特徴抽出とは、もとのパターン（Ｎ次元とする）をより低い次元の空間（例えばＫ次元、Ｋ＜Ｎ）に射影することをさす。したがって、特徴空間を選ぶことは、そのようなＫ次元の空間を構成するＫ個の直交する座標軸（ベクトル）を選ぶことであり、よって特徴抽出とはそのようなベクトルによって構成される線形変換（行列）を適用することにあたる。このために、行列Ｃsとモデルベクトル共分散Ｃmを同時に対角化する変換によって、モデルパターンの空間と変動ベクトルの空間を直交化する。この原理は以下の通りである。
【００２３】
行列Ｃsは第一の対角化手段によって
Ｃs＝（ＡＱ1/2）（Ｑ1/2ＡT） ・・・（２）
（ＡはＣsの正規化固有ベクトル行列）
（Ｑは対応する固有値よりなる対角行列）
（Ｑ1/2はＱの平方根行列、ＡTはＡの転置行列）
のようにスペクトル分解され、行列Ｄ≡Ｑ-1/2ＡTが出力される。
【００２４】
一方、共分散Ｃmは変換ＤによってＤＣmＤTに写された後、第２の対角化手段によって
ＤＣmＤT＝ＢＰＢT ・・・（３）
（ＢはＤＣmＤTの正規化固有ベクトル行列）
（Ｐは対応する固有値よりなる対角行列）
のようにスペクトル分解され、行列Ｂが出力される。
【００２５】
特徴抽出手段は、これらの出力の行列Ｑ-1/2ＡT、Ｂをもとに
Ｈ≡ＷＢTＱ-1/2ＡT ・・・（４）
（Ｗ≡diag（α1，α2，・・・αN）、αiは適当な非負の数）
に従って行列Ｈを生成しこれを保持する。この行列Ｈが特徴抽出を行なう行列である。αiは、特徴に重みづけする係数であり、認識率が向上するように試行しながら最適値を求める方法で決定する。
【００２６】
ここで、行列Ｌを
Ｌ≡ＢTＱ-1/2ＡT ・・・（１１）
と定義する。
【００２７】
行列Ｈは、行列Ｌの適用後各成分に対して定数倍の変換をほどこすものである。今、行列ＬをモデルベクトルＭ、及び、入力ベクトルＩに対して
Ｍ'≡ＬＭ、Ｉ'≡ＬＩ ・・・（１２）
に従って適用、即ち、特徴抽出を行なうと、この変換Ｌによって、行列Ｃs、モデルベクトル共分散Ｃmはそれぞれ
【００２８】
同時に、式１からモデル−入力変動共分散Ｃpも
【００２９】
式15のステップより明らかに、式12による変換によって、モデルベクトル共分散Ｃm'とモデル−入力変動共分散Ｃp'は、固有ベクトルを共通に持つことがわかる。さらに式15から、前者の固有値を降順にｘ1＞ｘ2＞ｘ3＞．．．＞ｘN（全て非負）とすると、後者の対応する軸の固有値は
ｙ1＝（１−αｘ1）／（１−α）、
ｙ2＝（１−αｘ2）／（１−α）、
・・・
ｙN＝（１−αｘN）／（１−α）
となるので、降順にｙN＞ｙN-1＞．．．＞ｙ1となり、固有値の順位が完全に逆転する。
【００３０】
共分散行列の固有値は、対応する固有ベクトルの方向での分散、即ち、分布の広がり（の２乗）を示すものであるから、モデルパターンとモデル−入力変動ベクトルの占める空間は式12の変換によって、分布の軸を全て共有し、かつ、軸方向での広がりの大きさの順位が逆転することになる。即ち、モデルパターンの空間とモデル入力変動ベクトルの空間は直交すると言える。行列Ｈは行列Ｌの変換後、各軸方向で分布の広がりの差をさらに拡大することで、この直交化を強調したものである。
【００３１】
以上がオフラインのプロセスであり、これによって、入力パターンのモデルからの平均的な変動傾向を捉え、認識に適した特徴抽出の具体的メカニズムが決定される。パターン認識（登録済みのモデルとのマッチング）の場合はモデルパターンの入力もデータベース機能を含むモデルパターン入力手段２を通してオフラインで予め入力されている。
【００３２】
パターン認識の実行時には、ビデオカメラから取り込まれ、所定の処理を施された新しい入力顔画像Ｉに対して特徴抽出ユニットが、
Ｉ'≡ＨＩ
に従って特徴ベクトルＩ'を計算する。判定ユニットは
‖Ｍ'−Ｉ'‖ （‖＊‖はユークリッド距離） ・・・（６）
を最小にする特徴ベクトルを持つモデル顔を、特徴抽出ユニットが保持しているモデル画像の特徴ベクトル｛Ｍ'｝の中から選び、認識結果として出力する。
【００３３】
（第２の実施の形態）
本発明の第２の実施形態は、ビデオカメラなどから入力した入力顔画像と、イメージスキャナなどから入力した入力画像写真を照合して、一致するか否かを判定する顔画像照合装置である。以下、本発明のパターン認識・照合装置を顔画像照合に適用した場合について、第１図を用いて説明する。
【００３４】
モデルパターン共分散Ｃmはモデルパターン入力手段２であるイメージスキャナ装備のデータベースに入力されたモデル人物顔画像集合｛Ｍ｝を用いて計算する。Ｃmの計算方法は
Ｃm≡ΣＭＭT ・・・（９）
（ＭTは行列Ｍの転置行列、和は全ての標本モデル｛Ｍ｝についてとる。）
に従う。
【００３５】
入力パターン入力手段１は、ビデオカメラとデジタイザと画像メモリにより構成される。モデル−入力変動ベクトル共分散Ｃpは入力顔ベクトル｛Ｉ｝（入力パターン）を実際に入力し、対応するモデル顔パターンとの差から式10により計算される。以上２つの共分散ＣmとＣpの計算は共通の共分散計算ユニット３によって実施される。これらの共分散の情報は、特徴抽出ユニット４に送られる。特徴抽出ユニット４では、まず、２つの共分散の加重平均Ｃsを式１に従って計算し、先に詳述した通りＣs、Ｃmの同時対角化を経て特徴抽出行列Ｈを生成し保持する。以上がオフライン処理である。
【００３６】
照合実行時には、ビデオカメラから取り込まれ、所定の処理を施された新しい入力顔画像Ｉに対して、特徴抽出ユニット４が
Ｉ'≡ＨＩ
に従って特徴ベクトルＩ'を計算する。入力顔画像は、照明などを十分に制御して、最良の画像を撮影できるようにする。
【００３７】
顔画像照合装置では、モデル顔ベクトルＭも実行時にイメージスキャナから入力されるので、実行時に特徴抽出ユニット４が
Ｍ'≡ＨＭ
に従って特徴ベクトルＭ'の抽出を行なう。モデル画像は、写真をスキャナで入力するので、写真の撮影条件の差による変動分はそのまま入力される。
【００３８】
判定ユニット５では、Ｍ'とＩ'から
（Ｍ'・Ｉ'）／（｜Ｍ'｜｜Ｉ'｜） ・・・（７）
（（＊・＊）はベクトルの内積、｜＊｜はベクトルの大きさ）
で定義された値を計算し、その値が予め定めた一定値以上か否かによって、照合が正しいどうかを出力する。
【００３９】
その場で撮影した最良の画像と、変動分を含む写真の画像を入力し、それらをモデルと変動分が分離した空間に写像し、２つのベクトルの間の角度の余弦に対応する量を求めて、人物と写真が一致するか否かを判定することになる。変換Ｈを決める際のＷの重みを適当に調節することにより、判別のつきやすい特徴を選んで照合することができる。
【００４０】
【発明の効果】
以上のように本発明では、モデルパターンが占める空間と、モデル−入力変動ベクトルが占める空間を直交させるような変換を求めて、顔画像認識・照合に適用する。モデル−入力変動ベクトルは、入力パターンの対応するモデルパターンからのずれであるから、変換後にモデルパターンの存在する空間で入力とモデルを照合すれば、このずれをとり除くことができる。また、多数の顔画像と顔写真から、モデルと変動分を直交させる変換をあらかじめ求めて、この変換を使って特徴抽出して、モデルの集合に属さない顔を写真と照合することにより、どのような顔写真でも高い精度で人物と照合することができる。
【００４１】
したがって、従来法に比べ格段に高精度な顔画像認識・照合が実現でき、その効果は非常に大きい。
【図面の簡単な説明】
【図１】本発明による顔画像認識・照合装置の構成を示す図である。
【符号の説明】
１ 入力パターン入力手段
２ モデルパターン入力手段
３ 共分散計算ユニット
４ 特徴抽出ユニット
５ 判定ユニット
Claims (5)
- モデルパターンＭ（モデルベクトルとも呼ぶ）を入力するモデルパターン入力手段と、認識対象の入力パターンＩ（入力ベクトルとも呼ぶ）を入力する入力パターン入力手段と、前記モデルパターンＭから求めたモデルベクトル共分散行列Ｃmと、前記モデルパターンＭから対応する入力パターンＩを差し引いた変動ベクトルから求めたモデル−入力変動共分散行列Ｃpとから、モデルパターンの分布空間と変動ベクトルの分布空間とが直交するように線形変換をする特徴抽出用の行列Ｈを予め求めて保持する特徴抽出行列演算手段と、認識実行時に、前記モデルパターンＭと前記行列Ｈとの積から特徴ベクトルＭ’を抽出し、前記入力パターンＩと前記行列Ｈとの積から特徴ベクトルＩ’を抽出する特徴抽出手段と、前記特徴ベクトルＩ'と前記特徴ベクトルＭ'との距離が最も小さい特徴ベクトルを有するモデルパターンを見出し、これによって入力パターンがどのモデルに対応するかを判定する判定手段とを具備することを特徴とするパターン認識・照合装置。
- 前記特徴抽出行列演算手段は、前記モデルベクトル共分散行列Ｃmと前記モデル−入力変動共分散行列Ｃpとの加重平均行列を対角化して前記行列Ｈを求めることを特徴とする請求項１記載のパターン認識・照合装置。
- 前記特徴抽出行列演算手段は、前記モデルベクトル共分散行列Ｃmと前記モデル−入力変動共分散行列Ｃpとの加重平均行列を対角化し、前記モデルベクトル共分散行列Ｃmを対角化し、それらの結果に基づいて、変動ベクトルの分布空間に直交する空間に入力ベクトルを射影する行列Ｈを求めることを特徴とする請求項２記載のパターン認識・照合装置。
- 前記特徴抽出行列演算手段は、前記モデルベクトル共分散行列Ｃmと前記モデル−入力変動共分散行列Ｃpとの加重平均を
Ｃs≡αＣm＋（１−α）Ｃp （αは０＜α＜１の実数） ・・・（１）
に従ってとり、新たに行列Ｃsを生成する共分散加重平均生成手段と、
前記共分散加重平均生成手段の出力の行列Ｃsを
Ｃs＝（ＡＱ1/2）（Ｑ1/2ＡT） ・・・（２）
（ＡはＣsの正規化固有ベクトル行列）
（Ｑは対応する固有値よりなる対角行列）
（Ｑ1/2はＱの平方根行列、ＡTはＡの転置行列）
のようにスペクトル分解し、これより行列
Ｄ≡Ｑ-1/2ＡT （Ｑ-1/2は行列Ｑの平方根行列の逆行列）
を得る第１の対角化手段と、
モデルパターン共分散行列Ｃmを行列Ｄによって変換した行列ＤＣmＤTを
ＤＣmＤT＝ＢＰＢT ・・・（３）
（ＢはＤＣmＤTの正規化固有ベクトル行列）
（Ｐは対応する固有値よりなる対角行列）
のようにスペクトル分解し、行列Ｂを得る第２の対角化手段と、
前記第１及び第２の対角化手段の出力Ｑ-1/2ＡT、Ｂを用いて
Ｈ≡ＷＢTＱ-1/2ＡT ・・・（４）
（Ｗ≡diag（α1，α2，・・・αn）、（αiは適当な非負の数））
に従って行列Ｈを生成・保持する手段とを有することを特徴とする請求項２記載のパターン認識・照合装置。 - 前記判定手段は、モデルパターンと入力パターンの特徴ベクトルの類似性を
（Ｍ'・Ｉ'）／（｜Ｍ'｜｜Ｉ'｜） ・・・（７）
（（＊・＊）はベクトルの内積、｜＊｜はベクトルの大きさ）
に従って評価し、この値が一定値以上かどうかによって、その入力パターンとモデルが同一のものであるかを判定することを特徴とする請求項１記載のパターン認識・照合装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33911496A JP3729581B2 (ja) | 1996-12-05 | 1996-12-05 | パターン認識・照合装置 |
| US08/984,061 US6345109B1 (en) | 1996-12-05 | 1997-12-03 | Face recognition-matching system effective to images obtained in different imaging conditions |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33911496A JP3729581B2 (ja) | 1996-12-05 | 1996-12-05 | パターン認識・照合装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10171988A JPH10171988A (ja) | 1998-06-26 |
| JP3729581B2 true JP3729581B2 (ja) | 2005-12-21 |
Family
ID=18324396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33911496A Expired - Fee Related JP3729581B2 (ja) | 1996-12-05 | 1996-12-05 | パターン認識・照合装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3729581B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0944018B1 (en) * | 1998-03-19 | 2011-08-24 | Panasonic Corporation | Method and apparatus for recognizing image pattern, method and apparatus for judging identity of image patterns, recording medium for recording the pattern recognizing method and recording medium for recording the pattern identity judging method |
| KR20000023915A (ko) * | 1999-09-22 | 2000-05-06 | 이칠기 | 표정변화와 주변환경에 독립적인 얼굴인식을 위한 학습 및인식방법. |
| JP4543455B2 (ja) * | 1999-10-18 | 2010-09-15 | パナソニック株式会社 | パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 |
| JP4496624B2 (ja) * | 2000-08-28 | 2010-07-07 | パナソニック電工株式会社 | 食事管理支援システム及び食事管理支援方法 |
| KR20010044393A (ko) * | 2001-02-16 | 2001-06-05 | 김영익 | 인간의 얼굴정보를 이용한 출입통제 및 보안 방법 |
| CN100421127C (zh) * | 2002-07-16 | 2008-09-24 | 日本电气株式会社 | 模式特征提取方法及用于执行该方法的设备 |
| US20060104484A1 (en) * | 2004-11-16 | 2006-05-18 | Bolle Rudolf M | Fingerprint biometric machine representations based on triangles |
| KR100716422B1 (ko) * | 2005-01-06 | 2007-05-08 | 에스케이 텔레콤주식회사 | 패턴인식을 이용한 매칭 서비스 시스템 및 방법 |
| JP2007102824A (ja) * | 2007-01-24 | 2007-04-19 | Matsushita Electric Works Ltd | 食事管理支援システム |
| JP4989240B2 (ja) * | 2007-01-24 | 2012-08-01 | パナソニック株式会社 | 食事管理支援システム |
| JP5004743B2 (ja) * | 2007-10-10 | 2012-08-22 | 東芝情報システム株式会社 | データ処理装置 |
-
1996
- 1996-12-05 JP JP33911496A patent/JP3729581B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10171988A (ja) | 1998-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2815045B2 (ja) | 画像特徴抽出装置，画像特徴解析装置，および画像照合システム | |
| Jesorsky et al. | Robust face detection using the hausdorff distance | |
| JP4860472B2 (ja) | 画像認識 | |
| US5710833A (en) | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis | |
| JP4483334B2 (ja) | 画像処理装置 | |
| JP4443722B2 (ja) | 画像認識装置及び方法 | |
| JP4951995B2 (ja) | 顔照合装置 | |
| Barnouti et al. | Face recognition: A literature review | |
| JP3729581B2 (ja) | パターン認識・照合装置 | |
| JPH09134432A (ja) | パターン認識方法 | |
| Meenakshi | Real-Time Facial Recognition System—Design, Implementation and Validation | |
| JP3252941B2 (ja) | 画像切り出し認識装置 | |
| JP4816874B2 (ja) | パラメータ学習装置、パラメータ学習方法、およびプログラム | |
| Behera et al. | Palm print authentication using PCA technique | |
| JP2005202673A (ja) | 画像認識装置 | |
| JP2009031991A (ja) | 顔照合装置 | |
| Sehad et al. | Face recognition under varying views | |
| Kamil et al. | Makeup-Invariant Face Recognition using combined Gabor Filter Bank and Histogram of Oriented Gradients | |
| JP2004145576A (ja) | 画像照合装置、画像照合方法および画像照合プログラム | |
| JP3995614B2 (ja) | パターン認識用辞書生成装置及び方法、パターン認識装置及び方法 | |
| Kamil et al. | Makeup-invariant face identification and verification using fisher linear discriminant analysis-based gabor filter bank and histogram of oriented gradients | |
| JP4068888B2 (ja) | アイリス推定装置およびアイリス照合装置 | |
| Singh et al. | A comparative study of various face recognition algorithms (feature based, eigen based, line based, neural network approaches) | |
| JP3841481B2 (ja) | 特徴抽出装置及びそれを用いたパターン識別装置 | |
| Tawaniya et al. | Image based face detection and recognition using MATLAB |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050726 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051004 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |