JP4087953B2

JP4087953B2 - Pattern recognition apparatus and method

Info

Publication number: JP4087953B2
Application number: JP19912898A
Authority: JP
Inventors: 和広福井; 修山口; 薫鈴木; 賢一前田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-07-14
Filing date: 1998-07-14
Publication date: 2008-05-21
Anticipated expiration: 2018-07-14
Also published as: JP2000030065A

Description

【０００１】
【発明の属する技術分野】
パターン情報に混入する識別に不必要なパターン情報を効率良く取り除いてパターン認識を安定に行う発明に関する。
【０００２】
【従来の技術】
（従来のパターンの認識の内容）
まず、従来の顔画像を対象にしたパターンの認識を例にとって説明する。
【０００３】
顔画像による個人認識は、指紋や手形による識別に比べて非接触で行なえるため使用者の心理的な負担が少なく、ヒューマンインタフェースからセキュリティシステムまで様々な分野への適用が考えられる。
【０００４】
最近の顔画像認識の技術動向に関しては、文献〔塩野充、真田英彦：“個人認証技術の最近の研究動向”、信学技報OSF92-17〕が詳しいが、従来の顔画像識別法は、大きく分けると以下の２つの方法に分類できる。
【０００５】
第１の方法は、目、鼻、口などの特徴点の位置、形状、サイズをパラメータ化して特徴ベクトルを生成し、予め登録されている対象人物の特徴ベクトルとの類似度を計算する方法である。最も類似度が高い辞書ベクトルを表す人物を当人と識別する。これらは「構造解析的方法」に分類される。
【０００６】
第２の方法は、瞳、鼻などの特徴点を基準とした２次元affine変換などの幾何学変換により位置、サイズを正規化された画像と予め登録されている辞書正規化画像とのパターンの類似度に基づいた方法である。第１の方法と同様に最も類似度が高い辞書画像を表す人物を当人と識別する。これらは従来の文字認識で実用化されている方法で「パターン的方法」に分類できる。
【０００７】
そして、文献〔赤松茂“コンピュータによる顔の認識の研究動向”、電子情報通信学会誌Vol.80〕によると、第１の方法に比べて第２の方法が識別率が高いことが報告されている。
【０００８】
第２の方法であるパターン的方法の代表である部分空間法は、これまで文字認識等で幅広く用いられてきた。入力ベクトルと各辞書部分空間との角度を類似度として求め、最小角度を成す部分空間に対応するカテゴリを入力ベクトルのカテゴリと決定する。単純な相関法などに比べて辞書側に冗長性を持たせているためパターンの変形に対する吸収能力に優れている。部分空間法に関する詳細は、「飯島泰蔵“パターン認識理論”森北出版（1989年）」「エルッキ・オヤ著“パターン認識と部分空間法”産業図書（1986年）」などに詳しい。
【０００９】
さらにパターン変形に対する吸収能力を高めた相互部分空間法〔前田賢一、渡辺貞一、“局所的構造を導入したパターン・マッチング法”、信学論(D)、vol.J68-D、No.3,pp.345-352、1985〕、特許〔３次元物体認識装置及びその方法：特願平１０−６６６６３号〕が開発されている。
【００１０】
（相互部分空間法の概念）
ここで、相互部分空間法は、本発明の理解の前提となるため、その内容を以下に詳しく説明する。
【００１１】
相互部分空間法では、辞書側と同様に入力側も部分空間で表し、入力部分空間と辞書部分空間の成す角度θのｃｏｓ²θを類似度とする。
【００１２】
具体的にはｃｏｓ²θは以下の式で定義される。
【００１３】
【数１】

入力部分空間Ｐに対する射影行列をＰ、辞書部分空間Ｑの射影行列をＱとすると、部分空間ＰとＱとの成す角度θのｃｏｓ²θは、ＱＰＱあるいはＰＱＰの固有値となる。
【００１４】
【数２】

となる。
【００１５】
さらに計算の順序を変えて整理すると、
【数３】

という行列Ｘの固有値問題となる。
【００１６】
Ｘの最大固有値が求める最小角度θ1 のｃｏｓ²θ1 となる。
【００１７】
第２固有値は、最大角に直交する方向に計った角度のｃｏｓ²θ2 、以下同様にＮ個のｃｏｓ²θi が順次求まる。
【００１８】
これらのＮ個の角度θは、２つの部分空間が成す“正準角”として知られている。正準角については、文献〔F.chatclin，“行列の固有値”、伊理正夫、伊理由実訳、シュプリンガー・フェアラーク東京、1993年〕などに詳しい。
【００１９】
相互部分空間法は、入力側も辞書側と同様に部分空間で表現するために、パターン変形に対する吸収能力が非常に高い。入力部分空間は、入力される複数枚の画像セットに対してＫＬ展開により求める。あるいは、同時反復法を用いて、動画像から逐次生成することも可能である。
【００２０】
【発明が解決しようとする課題】
ところで、画像を用いた顔認識法の識別性能は、以下に挙げる変動の影響を受け易い。
【００２１】
1.顔向き、表情変化の影響
2.照明変動の影響
3.経年変化の影響（しわ、髪、鬚などの影響）
すなわち、顔認識法の識別性能は、これら３つの課題を解決することが重要である。
【００２２】
（課題１について）
課題１に関しては、顔の動画像系列に対して相互部分空間法を適用すれば、その影響を低減できることが確認されている〔山口修、福井和広、前田賢一、“動画像を用いた顔認識システム”、信学技報、PRMU97-50,pp.17-24,1997 〕。
【００２３】
しかしながら、残りの課題２，３に関して依然として解決されているとは言えない。
【００２４】
（課題２について）
課題２の照明変動に関しては、３次元物体である顔の認識は、平面上に書かれている文字の認識に比較してその影響をより受け易い。顔の側面から外光が照射されて影やハイライトが生じている場合、人は容易に同一人物として認識できるが計算機には正しく認識することが難しい。
【００２５】
高いパターン変形吸収能力を持つ相互部分空間法であるが、照明変動の影響に対するロバスト性は改善されていない。これは相互部分空間法において求める角度θ、つまり角度を計る２つのベクトルｕ，ｖの関係に制約が課せられていないからだと言える。さらに見方を変えるとベクトルｕ，ｖの差分ベクトルに制約が課せられていない事になる。
【００２６】
したがって、相互部分空間法を照明変動を含んだ画像に対して適用すると、最小角度θを成す２つのベクトルの差分ベクトルには照明変動成分が含まれる。異なる人物に対しても、照明変動成分を含むことで実際よりも最小角度が小さくなり、逆に同一人物であるにも拘らず最小角度が大きくなり、異なる人物と識別されてしまう。
【００２７】
（課題３について）
課題３の経年変化による識別性能の低下も同様である。この場合には、差分ベクトルに経年変化による皺などのパターン変動が含まれるために、認識性能が低下してしまう。
【００２８】
これらの変動に対する不安定さの原因は、照明位置や顔向きなどの変化によって生じる照明変動や経年変化によるパターン変動成分も含めて識別を行っている事に起因する。如何に、これらの識別に不要なパターン変化を取り除くかが解決すべき課題である。
【００２９】
（本発明の目的）
本発明は、上記のような点に鑑みなされたもので、パターン情報を収集する際に混入する識別に不必要なパターン変動成分を効率良く取り除いて、安定なパターン認識法及びその方法を提供することを目的とする。
【００３０】
特に顔画像認識に適用した場合には、照明変動成分を効率良く取り除いて安定な顔認識を実現する。
【００３１】
【課題を解決するための手段】
本発明は、認識したい対象の入力パターンを入力する入力手段と、前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、（１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、前記識別手段は、前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、前記制約条件算出手段は、前記複数の第１部分空間の中の任意の２個の第１部分空間を組合せを選び、前記各組合せの２個の第１部分空間の正準角を形成する２つのベクトルの差分ベクトルをそれぞれ求め、これら差分ベクトルにより張られる部分空間を求め、この求めた部分空間を差分部分空間となし、前記任意の２個の第１部分空間を組合せによって求められたそれぞれの差分部分空間の共通部分空間を求め、この共通部分空間を第２部分空間となし、前記第２部分空間を前記制約部分空間とすることを特徴とするパターン認識装置である。本発明は、認識したい対象の入力パターンを入力する入力手段と、前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、（１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、前記識別手段は、前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、前記制約条件算出手段は、前記複数の第１部分空間の第２基底ベクトル以降の基底ベクトルがそれぞれ張る部分空間を自己変動部分空間となし、前記複数の自己変動部分空間から、前記複数の自己変動部分空間の共通部分空間である第３部分空間を生成し、前記第３部分空間を前記制約部分空間とすることを特徴とするパターン認識装置である。本発明は、認識したい対象の入力パターンを入力する入力手段と、前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、（１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、前記識別手段は、前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、前記制約条件算出手段は、前記複数の第１部分空間の中の任意の２個の第１部分空間を組合せを選び、前記各組合せの２個の第１部分空間の正準角を形成する２つのベクトルの差分ベクトルをそれぞれ求め、これら差分ベクトルにより張られる部分空間を求め、この求めた部分空間を差分部分空間となし、前記任意の２個の第１部分空間を組合せによって求められたそれぞれの差分部分空間の共通部分空間を求め、この共通部分空間を第２部分空間となし、前記複数の第１部分空間の第２基底ベクトル以降の基底ベクトルがそれぞれ張る部分空間を自己変動部分空間となし、前記複数の自己変動部分空間から、前記複数の自己変動部分空間の共通部分空間を求め、この共通部分空間を第３部分空間となし、前記第２部分空間と前記第３部分空間の補部分空間との共通部分空間を求め、この共通部分空間を前記制約部分空間とすることを特徴とするパターン認識装置である。本発明は、認識したい対象の入力パターンを入力する入力手段と、前記入力パターンから入力部分空間を算出する入力部分空間算出手段と、前記認識対象に関する複数の比較対象の辞書パターンから辞書部分空間を算出する辞書部分空間算出手段と、（１）パターン認識に影響を与える要因の下において複数のパターンを求め、（２）この求めた複数のパターンから複数の第１部分空間を算出し、（３）前記複数の第１部分空間から制約部分空間を算出する制約条件算出手段と、前記入力部分空間と、前記辞書部分空間を、前記制約部分空間に射影する射影手段と、前記制約部分空間に射影した前記入力部分空間と前記辞書部分空間とから、前記対象を識別する識別手段を具備し、前記識別手段は、前記制約部分空間に射影した入力部分空間と辞書部分空間との成す角度である正準角を計算し、この計算した正準角に基づいて、前記入力部分空間と前記辞書部分空間との類似度を計算し、前記制約条件算出手段は、前記複数の第１部分空間の中の任意の２個の第１部分空間を組合せを選び、前記各組合せの２個の第１部分空間の正準角を形成する２つのベクトルの差分ベクトルをそれぞれ求め、これら差分ベクトルにより張られる部分空間を求め、この求めた部分空間を差分部分空間となし、前記任意の２個の第１部分空間を組合せによって求められたそれぞれの差分部分空間の共通部分空間を求め、この共通部分空間を第２部分空間となし、前記複数の第１部分空間の第２基底ベクトル以降の基底ベクトルがそれぞれ張る部分空間を自己変動部分空間となし、前記複数の自己変動部分空間から、前記複数の自己変動部分空間の共通部分空間を求め、この共通部分空間を第３部分空間となし、前記第２部分空間と前記第３部分空間の射影行列に係数をかけて加算して、生成行列を求め、前記生成行列の０より大きい固有値に対応する固有ベクトルが張る部分空間を求め、この部分空間を３つ以上の前記要因の下において統合した制約部分空間とすることを特徴とするパターン認識装置である。
【００３８】
【発明の実施の形態】
まず、本発明の実施の形態について順番に説明する。
【００３９】
（制約相互部分空間法の概念の説明）
本発明は、予め対象となる部分空間から認識に不必要な部分空間を取り除いておいて、２つの部分空間の成す角度を類似度として求める手段を提供する。この方法が、本発明において、初めて提案する技術思想であり、これを新しく“制約相互部分空間法”と名付ける。
【００４０】
【数４】

この（１４）式が、制約相互部分空間法の概念を数式化したものであり、相互部分空間法の概念を数式化した（１）式と比べて制約条件が付加されている。
【００４１】
制約相互部分空間法の具体的な実現法について説明する。
【００４２】
部分空間Ｐ，Ｑを、制約部分空間Ｌへ射影した部分空間をＰ′，Ｑ′とする。また制約部分空間Ｌに対応する射影行列をＬとすると、以下の関係が成立する。
【００４３】
【数５】

ここで部分空間Ｐ′，Ｑ′に属するベクトルｕ′，ｖ′を考えると、Ｌは線形部分空間なので、その差分に対して以下の関係が成り立つ。
【００４４】
【数６】

これから制約条件下で２つの部分空間の成す角度を計算するには、２つの部分空間Ｐ，Ｑを制約部分空間Ｌへ射影した後で、射影された２つの部分空間Ｐ′，Ｑ′に対して相互部分空間法を適用すれば良いことが分かる。
【００４５】
（制約部分空間の生成）
この制約相互部分空間法において、重要なのがどのように制約部分空間の生成するかにある。
【００４６】
用途に応じた制約条件、すなわち、ある要因に基づいて発生するパターン認識に不要なパターンの条件を抑制するための制約条件を実現するための様々な制約部分空間が考えられる。
【００４７】
例えば、要因の一つである照明変動成分に依存しない部分空間を採用することで、ｕ，ｖの差分ベクトルに含まれる照明変動成分が無視されて、照明に対するロバスト性が向上する。
【００４８】
このような部分空間として２つの部分空間の差として求まる“差分部分空間”について説明する。
【００４９】
【数７】

また、式（４）〜（１３）においてＰとＱ、ｖとｕを入れ換えた式（１３）の固有ベクトルをｃｕi とするとベクトルｖi は、以下の様に求まる。
【００５０】
【数８】

ｕi とｖi の成す角度が２つの部分空間の成す最小角度、ｕ2 とｖ2 の成す角度がそれに直交する方向に計った最小角度となる。同様にｕ3 ，ｖ3 以降のベクトルが求まる。
【００５１】
求めたｅ個の差分ベクトルｄi はお互いに直交している。各差分ベクトルの長さを１．０に正規化した後で、差分部分空間の基底ベクトルとする。
【００５２】
ここで、同じ照明条件で生成した異なる人物ｉ，ｊの部分空間Ｈｉ，Ｈj の差分部分空間をＤijとする。ｍ人分の部分空間セットから２つの部分空間を取り出して合計ｍＣ２個の差分部分空間を求める。それらの共通部分空間をＤとする。実際には、完全な共通部分空間は存在しない場合が多いため、共通部分空間に近い部分空間が求められる。
【００５３】
【数９】

具体的に、差分部分空間Ｄはｍ人分の部分空間セットから以下の手順により求まる。
【００５４】
1.まず各人物の部分空間Ｈに対応する射影行列Ｈを求める。
【００５５】
2.ｍ個から２個を取り出して、合計ｗ＝ｍＣ２個の差分部分空間Ｄijを求める。
【００５６】
3.差分部分空間Ｄijの共通部分空間を求める。そのために射影行列ｗ個の射影行列Ｄk を平均した生成行列Ｇを求める。
【００５７】
【数１０】

ここでαk は以下の式を満たす正の実数である。
【００５８】
【数１１】

生成行列Ｇの固有値は、０．０〜１．０に分布する。０．０に対応する固有ベクトルは共通空間に完全に直交する空間を形成する基底ベクトルとなる。１．０に対応する固有ベクトルは、共通空間を形成する固有ベクトルである。これ以外の固有値に対応する固有ベクトルは、固有値の大きさが共通空間との近さを表す指標になっている。ここでは、固有値が０より大きい固有ベクトルを共通空間Ｄを張る基底ベクトルとする。また、パラメータαを調整することにより、各部分空間の重みを変えることができる。
【００５９】
この差分部分空間は、２つの部分空間が同じ照明条件で生成されているため、照明変動成分を含まない。よって、この部分空間を制約部分空間とすれば照明変動成分の影響を抑えた識別を実現することができる。定性的には、照明変動は主に頬、額領域に影響を及ぼすため、この領域の情報を無視することで照明変動に対するロバスト性が向上する。
【００６０】
また、差分部分空間は、他人との違いを強調して類似した人物同士に対する識別分解能を向上させる効果がある。目、口、鼻など他人との差が表れ易い特徴的な領域のパターン情報を重視して、逆にほほや額領域などの他人との区別には有効でないパターン情報は無視されることになる。
【００６１】
差分部分空間は、各人物毎に準備しても良い。この場合は、当人と他人との差分部分空間の共通部分空間がその人物固有の差分部分空間となる。各自に対して異なる差分部分空間が準備されることになる。
【００６２】
なお、部分空間に対する各操作に関する詳細は、文献〔エルッキ・オヤ著、小川英光、佐藤誠訳、“パターン認識と部分空間法”産業図書、1986〕あるいは〔Therrien,C.W.,"Eigenvalue properties of projection operators and their application to the subspace method of feature extraction",IEEE Trans.Comput,C-24,p.944-948,1975〕に詳しい。
【００６３】
（自己変動部分空間）
同一人物の変形を表す部分空間を“自己変動部分空間”と呼ぶ。自己変動部分空間Ｓは、各人物の部分空間の第２基底ベクトル以降が張る部分空間の共通部分空間として定義される。
【００６４】
（差分部分空間と自己変動部分空間の組み合わせ）
差分部分空間と自己変動部分空間との相関は高い。差分部分空間から自己変動成分に近い部分空間を取り除くことができれば、さらに識別性能が向上する。
【００６５】
【数１２】

ここでＳは部分空間Ｓの射影行列、Ｉは単位行列を示している。
【００６６】
制約部分空間Ｌは、以下に示す生成行列ＧL の０より大きい固有値に対応する固有ベクトルが張る部分空間として求まる。
【００６７】
【数１３】

ここで、重み係数α，βは正の実数である。
【００６８】
または文献「エルッキ・オヤ著：“パターン認識と部分空間法”産業図書（1986）」に述べてある２つの部分空間を直交化する方法を用いて、差分部分空間と自己変動部分空間を直交化すれば良い。
【００６９】
あるいは、参考文献〔エルッキ・オヤ著：“パターン認識と部分空間法”産業図書（1986年）〕に述べてある学習部分空間法の考え方を用いて差分部分空間を自己変動部分空間から遠ざける方向に回転させることもできる。この場合の回転方向は、差分部分空間と自己変動部分空間に相互部分空間法を適用して求まる最小角度を成す２つのベクトルｕ，ｖの中で自己変動部分空間に属するベクトルｖに直交する方向とすることができる。
【００７０】
【実施例】
本発明は、画像を初めとして様々なパターンの認識に適用可能であるが、説明をより具体的に行なうために、顔画像を対象にした場合を説明する。
【００７１】
（顔画像認識装置１０の内容）
以下、本発明の実施例を顔画像認識装置１０を例に取って説明する。
【００７２】
図１は、顔画像認識装置１０の概略構成図を示すブロック図である。顔画像認識装置１０は、画像入力部１１、顔領域抽出部１２、顔特徴点抽出部１３、正規化画像生成部１４、部分空間生成部１５、部分空間射影部１６、制約部分空間格納部１７、相互部分空間類似度計算部１８、辞書部分空間格納部１９、判定部２０、表示部２１からなる。
【００７３】
図２は、予めオフラインで行う辞書部分空間生成の流れを示している。
【００７４】
図３は、制約相互部分空間法の概念を示している。
【００７５】
そして、この顔画像認識装置１０は、ＩＴＶカメラをパソコンに接続してその機能を実現できる。この場合に、顔領域抽出部１２、顔特徴点抽出部１３、正規化画像生成部１４、部分空間生成部１５、部分空間射影部１６、相互部分空間類似度計算部１８、判定部２０の各機能を実現するプログラムをＦＤ，ＣＤ−ＲＯＭ，ＤＶＤなどの記録媒体に記録させておき、それをパソコンに記憶させれば良い。
【００７６】
（画像入力部１１）
画像入力部１１は、認識対象となる人物の画像を入力するためのものであり、例えばＩＴＶカメラからなる。この画像入力部１１から入力された画像０１はＡ／Ｄ変換器によりデジタル化されて顔領域抽出部１２に送られる。例えば、ＩＴＶカメラはモニタの下部に設置される。あるいはモニタの四角に設置しても良い。
【００７７】
（顔領域抽出部１２）
顔領域抽出部１２は、画像入力部１１から送られてきた入力画像から顔領域画像０２を常時抽出し続ける。
【００７８】
本実施例では、予め登録された標準顔画像（テンプレート）を全画面に渡って移動させながら相関値を計算し最も高い相関値をもっている領域を顔領域とする。相関値が設定されたしきい値より低い場合は、顔が存在しないとする。顔の向き変化に対応する為に部分空間法や複合類似度などにより複数のテンプレートを用いるとさらに安定に顔領域を抽出できる。この処理はカラー情報に基づく抽出法に置き換えて良い。
【００７９】
（顔特徴点抽出部１３）
顔特徴点抽出部１３では、抽出された顔領域内から瞳、鼻、口端などの特徴点を抽出する。形状情報とパターン情報を組み合わせた方法〔特願平８−６１４６３号〕が適用可能である。
【００８０】
この方法の基本的な考えは、位置精度の高い形状情報により特徴点の候補を求め、それをパターン照合で検証するというものである。本方法は形状情報により位置決めを行なうので高い位置精度が期待できる。
【００８１】
また、候補群からの正しい特徴点の選択に、マルチテンプレートを用いたマッチングを適用している為に特徴点の形状輝度の変動に対してロバストである。処理速度に関しては、計算コストの少ない分離度フィルターで絞り込んだ候補に対してのみパターン照合するので全体をパターン照合する方法に比べ計算量の大幅な削減が実現できる。この他にも、エッジ情報に基づく方法〔坂本静生、宮尾陽子、田島譲二、“顔画像からの目の特徴点抽出”、信学論D-ＩＩ,Vol.J76-D-ＩＩ,No.8,pp.1796-1804,August,1993〕、〔A．Ｌ.Yuillc,"Feature extraction from faces using deformable templates",IJCV,vol.8:2,pp.99-111,1992〕や固有空間法を適用したEigen feature 法〔Alex Pentland,Rahark Moghaddam,Thad Starner,"View-based and modular eigenspaces for face recognition",CVPR '94,PP.84-91,1994〕、カラー情報〔佐々木努、赤松茂、末永康仁、“顔画像認識のための色情報を用いた顔の位置合わせ法”、IE91-2,pp.9-15,1991 〕に基づく方法が適用可能である。
【００８２】
（正規化画像生成部１４）
正規化画像生成部１４では、特徴点を基準にして正規化を施す。例えば、文献〔山口修、福井和広、前田賢一、“動画像を用いた顔認識システム”、信学技報、PRMU97-50,pp.17-24,1997〕に示された瞳、鼻穴を基準にした正規化処理を適用しても良い。この場合は、両瞳を結んだベクトル、及び鼻穴の中点と瞳中点を結んだベクトルの方向を、それぞれ水平、垂直に変換し、その長さを一定になるようにアフィン変換を施す。
【００８３】
（部分空間生成部１５）
部分空間生成部１５では、正規化画像生成部で逐次生成される正規化画像をヒストグラム平坦化、ベクトル長正規化を施した後でメモリに蓄える。予め規定された枚数の正規化画像が蓄えられたら、入力部分空間の生成を開始する。部分空間を逐次生成するために、同時反復法〔エルッキ・オヤ著、小川英光、佐藤誠訳、“パターン認識と部分空間法”，産業図書、1986年〕を適用する。これにより新しい正規化画像が入力される毎に部分空間が更新されてゆく。
【００８４】
なお、入力部分空間を生成するまでの処理についての詳細は、特許〔人物認証装置及び人物認証方法：特開平９−２５１５３４号〕及び文献〔山口修、福井和広、前田賢一、“動画像を用いた顔認識システム”、信学技報、PRMU97-50,pp.17-24,1997 〕に詳しい。
【００８５】
（部分空間射影部１６）
部分空間射影部１６では、部分空間生成部１５で生成された入力部分空間Ｐinを制約部分空間格納部１７に格納された制約部分空間Ｌ上へ射影した部分空間Ｐ _in ^Lを以下の手順により求める。
【００８６】
1.部分空間Ｐを張るｍ個の基底ベクトルを制約部分空間上へ射影する。
【００８７】
2.各射影ベクトルの長さを正規化する。
【００８８】
3.ｍ個の正規化ベクトルに対してグラムシュミットの直交化を施す。
【００８９】
4.直交化されたｍ個の正規化ベクトルが射影部分空間Ｐ _in ^Lの基底ベクトルとなる。
【００９０】
各部分空間の次元はデータの種類に応じて実験的に決める。例えば差分部分空間の次元数は７０、自己変動部分空間の次元は２０次元、入力部分空間の次元は５次元と設定する。重みパラメータに関しては同様に実験的に決める。例えばα＝０．７、β＝０．１などと設定する。
【００９１】
辞書部分空間格納部１９に格納された人物ｉの辞書部分空間Ｈ ^Li は、各人物に対応する部分空間Ｈi を制約部分空間へ射影した部分空間として予めオフライン処理で部分空間射影部１６により求めておく。この手順を図２に示す。
【００９２】
（相互部分空間類似度計算部１８）
相互部分空間類似度計算部１８では、入力部分空間Ｐ _in ^Lと辞書部分空間格納部１９に格納された人物ｉの辞書部分空間Ｈ _i ^L間の最大ｃｏｓ²θを式（１３）より求める。あるいは、２番目、３番目の固有値を考慮した類似度を求めても良い。例えば、Ｎ番目までの固有値の荷重平均や乗和、あるいは固有値の分布自体をベクトルと見なして類似度とすることもできる。この類似度を辞書登録されているｍ人に対して求める。
【００９３】
（判定部２０）
判定部２０では、ｍ人の中で最も類似度が高く、その値が予め設定されたしきい値より大きい場合、対応する人物ｉを本人と同定する。この場合、第２候補以降の類似度も考慮して決定しても良い。例えば、第２候補との類似度の差がしきい値より小さい場合は不確定とすることができる。
【００９４】
（表示部２１）
ＣＲＴ、スピーカなどの表示部２１では、識別結果を画面に表示したり音声で知らせる。
【００９５】
（制約部分空間の生成）
ここでは、差分部分空間と自己変動部分空間の生成手順について説明する。
【００９６】
(1) 各人物の部分空間生成
照明条件一定においてｍ人に対して複数枚の顔画像データを文献〔山口修、福井和広、前田賢一、“動画像を用いた顔認識システム”、信学技報、PRMU97-50,pp.17-24,1997 〕の方法により収集する。その際被験者の数は多い程好ましい。また収集の際には、被験者に顔を左右上下に向けてもらう。収集した正規化画像データに対して、ヒストグラム平坦化、ベクトル長正規化などの前処理を行った後に、ＫＬ展開を適用して部分空間を張る基底ベクトルを求める。
【００９７】
(2) 差分部分空間の生成
生成手順を図４に示す。
【００９８】
(1) で生成したｍ個の部分空間から２つの部分空間を取り出して、その差分部分空間を求める。これをｍＣ２個の組合せについて行う。さらにｍＣ２個の差分部分空間の共通部分空間を式（２４）により求め、差分部分空間とする。
【００９９】
あるいは、差分部分空間は人物ｉ，ｊの２つの部分空間から求めるのではなく、人物ｉ，ｊの正規化画像の差分画像の集合から求めることも可能である。異なる人物間の差分画像を、全ての組み合わせについて求める。収集した差分画像のデータセットに対してＫＬ展開を適用して固有ベクトルを求める。固有値が基準より大きい固有ベクトルを差分部分空間を張る基底ベクトルとする。
【０１００】
(3) 自己変動部分空間の生成
(1) で生成した各部分空間の第２基底ベクトル以降が張る部分空間を各人の自己変動部分空間として求める。求まったｍ個の自己変動部分空間の共通部分空間が自己変動部分空間となる。
【０１０１】
(4) 差分部分空間と自己変動部分空間を融合した制約部分空間を式（２９）により求める。
【０１０２】
（経年変化に対する制約部分空間）
【数１４】

ここで、重み係数α，β，γは正の実数である。
【０１０３】
さらに、３つ以上の制約部分空間の統合も以下の式により容易に行える。
【０１０４】
【数１５】

ここで、αは正の実数、Ｌi ，ｉ＝ｌ，ｎは制約部分空間Ｌi に対応する射影行列を表している。
【０１０５】
（前処理の併用）
本実施例では、ＴＶカメラから得られる輝度画像を対象とする例について説明した。
【０１０６】
既に述べた様に、本発明において、入力パターンの種類に関する制限は無い。輝度画像から直接生成した差分部分空間は照明変動の影響が多少残っていると思われるので、濃淡情報を照明変動の受け難い特徴量に変換した後、本発明を適用すれば、さらに識別性能の向上が期待できることは容易に類推できる。例えば、文献〔赤松茂、佐々木努、深町映夫、末永康仁、“濃淡画像マッチングによるロバストな正面顔の識別法−フーリエスペクトルによるＫＬ展開の応用−”、信学論(D-II)、J76-DII,7,pp.1363-1373,1993〕に述べられてある様に、濃淡画像から生成したフーリエスペクトルパターンを入力としても本発明の効果が増す。
【０１０７】
（情報フィルタリング処理への適用）
図７は、キーワードを使ってデータベース検索を行う情報フィルタリング装置１００に関する構成図である。
【０１０８】
情報フィルタリング装置１００は、プロファイル入力部１０１、部分空間生成部１０２、部分空間射影部１０３、制約部分空間格納部１０４、類似度算出部１０５、辞書部分空間格納部１０６、判定部１０７から構成される。
【０１０９】
情報フィルタリングでは、ユーザの関心や興味を記述したプロファイルとの類似度を算出し、類似度順にランキングする。
【０１１０】
ここで類似度の算出は、ベクトル空間法をベースに行う〔住田一男他、情報フィルタリング技術、東芝レビュー、Vol.51,No.1,pp.42-44(1996)〕。
【０１１１】
本実施例では、一つのプロファイルを一つの部分空間に対応させる。このためには、データ全体を一度にベクトル化するのではなく、ある規則で区切られたデータ、例えば、章毎のデータに対してベクトル化を行う。章毎に得られたベクトル群から部分空間を生成する。なお類似度は部分空間と部分空間の成す角度から得られる値とする。
【０１１２】
プロファイル入力部１０１に入力されたプロファイルは、部分空間生成部１０２において部分空間に変換される。入力部分空間は、部分空間射影部１０３において制約部分空間格納部１０４に格納された制約部分空間上に射影される。
【０１１３】
射影された入力部分空間は、類似度算出部１０５に送られて辞書部分空間格納部１０４に格納された辞書部分空間との類似度が相互部分空間法により求められる。
【０１１４】
類似度は判定部１０７に送られて入力プロファイルがどのプロファイルに近いかを判定する。
【０１１５】
本実施例で用いる制約部分空間は、予め用意された複数の部分空間に対して、以下の手順により生成する。
【０１１６】
1.異なるプロファイルとして分類すべき２つの部分空間の差分部分空間を全ての組み合わせに対して求める。
【０１１７】
2.求めた差分部分空間から共通部分空間を求め、この求めた制約部分空間１とする。
【０１１８】
3.同じプロファイルと分類したい２つの部分空間の差分部分空間を全ての組み合わせについて求める。
【０１１９】
4.求めた差分部分空間の共通部分空間を求めて、さらにこの共通部分空間と直交する部分空間を制約部分空間２とする。
【０１２０】
5.制約部分空間１と制約部分空間２を組み合わせた部分空間を最終的な制約部分空間とする。
【０１２１】
上記の制約部分空間を用いることにより、精度の悪いキーワードを選択しても、自動的にこれらの影響を取り除いて安定なデータベース検索が行える。
【０１２２】
なお、本発明は、上記の顔画像パターンの認識以外に、音声パターン、情報フィルタリングにおけるプロファイルパターンなどあらゆるパターン情報に対しても成り立つ。
【０１２３】
【発明の効果】
以上、本発明によれば、パターン情報を収得する際に混入する識別に不必要な情報を効率良く取り除いてパターン認識を安定に行うことができる。特に、顔画像認識に適用すると、高い変形吸収能力と照明変動に対する高いロバスト性が実現できる。
【図面の簡単な説明】
【図１】顔画像認識装置１０の構成図である。
【図２】辞書部分空間の生成手順の説明図である。
【図３】制約相互部分空間法の説明図である。
【図４】差分部分空間の生成の説明図である。
【図５】自己変動部分空間の生成の説明図である。
【図６】複数の制約部分空間の統合の説明図である。
【図７】情報フィルタリング装置の構成図である。
【符号の説明】
１１画像入力部
１２顔領域抽出部
１３顔特徴点抽出部
１４正規化画像生成部
１５部分空間生成部
１６制約部分空間格納部
１７辞書部分空間格納部
１８部分空間射影部
１９相互部分空間計算部
２０判定部
２１表示部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an invention for efficiently removing pattern information unnecessary for identification mixed in pattern information and performing pattern recognition stably.
[0002]
[Prior art]
(Content of conventional pattern recognition)
First, a conventional pattern recognition for a face image will be described as an example.
[0003]
Personal recognition using facial images can be performed in a non-contact manner compared to identification using fingerprints or bills, so there is less psychological burden on the user, and it can be applied to various fields from human interfaces to security systems.
[0004]
As for the recent technology trends in facial image recognition, the literature [Mitoshi Shiono, Hidehiko Sanada: “Recent Research Trends in Personal Authentication Technology”, IEICE Technical Report OSF92-17] is well-known. Broadly divided, it can be classified into the following two methods.
[0005]
The first method is a method of generating a feature vector by parameterizing the position, shape, and size of feature points such as eyes, nose, and mouth, and calculating a similarity with a feature vector of a target person registered in advance. is there. The person representing the dictionary vector with the highest similarity is identified from the person. These are classified as “structural analysis methods”.
[0006]
In the second method, the pattern between an image whose position and size are normalized by a geometric transformation such as a two-dimensional affine transformation based on feature points such as the pupil and nose and a dictionary normalized image registered in advance is used. This is a method based on similarity. As in the first method, the person representing the dictionary image with the highest similarity is identified as the person. These can be classified as “patterned methods” by methods that have been put to practical use in conventional character recognition.
[0007]
According to the literature [Shigeru Akamatsu “Research Trends of Face Recognition by Computers”, Journal of the Institute of Electronics, Information and Communication Engineers, Vol. 80], it was reported that the second method had a higher identification rate than the first method. Yes.
[0008]
The subspace method, which is representative of the second pattern method, has been widely used in character recognition and the like so far. The angle between the input vector and each dictionary subspace is obtained as a similarity, and the category corresponding to the subspace forming the minimum angle is determined as the input vector category. Compared to a simple correlation method or the like, the dictionary side has redundancy, so it has an excellent ability to absorb pattern deformation. Details on the subspace method are detailed in “Iijima Taizo“ Pattern Recognition Theory ”by Morikita Publishing (1989)” and “Ecchi Oya“ Pattern Recognition and Subspace Methods ”Industrial Books (1986)”.
[0009]
Furthermore, the mutual subspace method (Kenichi Maeda, Sadaichi Watanabe, “Pattern Matching Method Introducing Local Structure”), Science (D), vol.J68-D, No.3 pp. 345-352, 1985] and a patent [three-dimensional object recognition apparatus and method: Japanese Patent Application No. 10-66663] have been developed.
[0010]
(Concept of mutual subspace method)
Here, since the mutual subspace method is a premise for understanding the present invention, the contents thereof will be described in detail below.
[0011]
In the mutual subspace method, like the dictionary side, the input side is also expressed by a subspace, and the cos of the angle θ formed by the input subspace and the dictionary subspace²Let θ be the similarity.
[0012]
Specifically, cos²θ is defined by the following equation.
[0013]
[Expression 1]

Input subspacePProjective matrix for P, dictionary subspaceQLet Q be the projection matrix ofPWhenQCos of angle θ formed with²θ is an eigenvalue of QPQ or PQP.
[0014]
[Expression 2]

It becomes.
[0015]
Furthermore, if you rearrange the calculation order,
[Equation 3]

This is the eigenvalue problem of the matrix X.
[0016]
Cos of the minimum angle θ1 to be obtained by the maximum eigenvalue of X²θ1.
[0017]
The second eigenvalue is the cos of the angle measured in the direction orthogonal to the maximum angle.²θ2, N cos²θi is obtained sequentially.
[0018]
These N angles θ are known as “canonical angles” formed by two subspaces. The canonical angle is well-known in the literature [F.chatclin, “Eigenvalues of Matrix”, Masao Iri, Actual Translation of Reason, Springer Fairlark Tokyo, 1993].
[0019]
In the mutual subspace method, since the input side is expressed in the subspace like the dictionary side, the ability to absorb pattern deformation is very high. The input subspace is obtained by KL expansion for a plurality of input image sets. Or it is also possible to generate | occur | produce sequentially from a moving image using a simultaneous iteration method.
[0020]
[Problems to be solved by the invention]
By the way, the identification performance of the face recognition method using an image is easily affected by the following fluctuations.
[0021]
1. Effects of face orientation and facial expression changes
2.Effect of lighting fluctuation
3. Effects of aging (effects of wrinkles, hair, wrinkles, etc.)
That is, it is important for the recognition performance of the face recognition method to solve these three problems.
[0022]
(About assignment 1)
Regarding Task 1, it has been confirmed that the effect can be reduced if the mutual subspace method is applied to the moving image sequence [Osamu Yamaguchi, Kazuhiro Fukui, Kenichi Maeda, “Face recognition using moving images. System ", IEICE Technical Report, PRMU 97-50, pp. 17-24, 1997].
[0023]
However, it cannot be said that the remaining problems 2 and 3 are still solved.
[0024]
(Problem 2)
Regarding the illumination variation of Problem 2, the recognition of a face which is a three-dimensional object is more susceptible to the influence than the recognition of a character written on a plane. When external light is radiated from the side of the face and a shadow or highlight occurs, a person can be easily recognized as the same person, but it is difficult for the computer to recognize it correctly.
[0025]
Although it is a mutual subspace method with a high pattern deformation absorption capability, the robustness against the influence of illumination variation is not improved. This can be said to be because there is no restriction on the angle θ obtained in the mutual subspace method, that is, the relationship between the two vectors u and v that measure the angle. Further, if the view is changed, no restriction is imposed on the difference vector between the vectors u and v.
[0026]
Therefore, when the mutual subspace method is applied to an image including illumination variation, the difference vector between the two vectors forming the minimum angle θ includes an illumination variation component. Even for different persons, the minimum angle is smaller than the actual person by including the illumination fluctuation component, and conversely, the minimum angle becomes large despite being the same person, and is identified as a different person.
[0027]
(About Issue 3)
The same is true for the degradation of the identification performance due to the secular change of Problem 3. In this case, since the difference vector includes pattern variations such as wrinkles due to secular change, the recognition performance deteriorates.
[0028]
The cause of the instability with respect to these fluctuations is due to the fact that identification is performed including illumination fluctuations caused by changes in the lighting position and face orientation, and pattern fluctuation components due to secular changes. How to remove pattern changes that are unnecessary for these identifications is a problem to be solved.
[0029]
(Object of the present invention)
The present invention has been made in view of the above points, and provides a stable pattern recognition method and method by efficiently removing pattern fluctuation components unnecessary for identification mixed when collecting pattern information. For the purpose.
[0030]
In particular, when applied to face image recognition, a stable face recognition is realized by efficiently removing illumination fluctuation components.
[0031]
[Means for Solving the Problems]
The present invention provides an input means for inputting an input pattern of a target to be recognized, an input subspace calculation means for calculating an input subspace from the input pattern, and a dictionary subspace from a plurality of comparison target dictionary patterns for the recognition target. Dictionary subspace calculating means for calculating;(1) A plurality of patterns are obtained under a factor affecting pattern recognition, (2) a plurality of first subspaces are calculated from the obtained plurality of patterns, (3)A constraint condition calculating unit that calculates a constraint subspace from the plurality of first subspaces, a projection unit that projects the input subspace and the dictionary subspace onto the constraint subspace, and a projection onto the constraint subspace An identification unit for identifying the object is provided from the input subspace and the dictionary subspace, and the identification unit is a canonical angle that is an angle formed between the input subspace and the dictionary subspace projected onto the constraint subspace. The angle is calculated, and the similarity between the input subspace and the dictionary subspace is calculated based on the calculated canonical angle.The constraint condition calculation means selects a combination of any two first subspaces of the plurality of first subspaces, and forms canonical angles of the two first subspaces of the combinations. Difference vectors of the two vectors to be obtained, subspaces spanned by these difference vectors are obtained, the obtained subspaces are defined as difference subspaces, and the two arbitrary first subspaces are obtained by combination A common subspace of each difference subspace is obtained, this common subspace is defined as a second subspace, and the second subspace is defined as the constrained subspace.This is a pattern recognition apparatus. The present invention provides an input means for inputting an input pattern of a target to be recognized, an input subspace calculation means for calculating an input subspace from the input pattern, and a dictionary subspace from a plurality of comparison target dictionary patterns for the recognition target. Dictionary subspace calculating means for calculating;(1) A plurality of patterns are obtained under a factor affecting pattern recognition, (2) a plurality of first subspaces are calculated from the obtained plurality of patterns, (3)A constraint condition calculating unit that calculates a constraint subspace from the plurality of first subspaces, a projection unit that projects the input subspace and the dictionary subspace onto the constraint subspace, and a projection onto the constraint subspace An identification unit for identifying the object is provided from the input subspace and the dictionary subspace, and the identification unit is a canonical angle that is an angle formed between the input subspace and the dictionary subspace projected onto the constraint subspace. The angle is calculated, and the similarity between the input subspace and the dictionary subspace is calculated based on the calculated canonical angle.The constraint condition calculating means defines a partial space spanned by the basis vectors after the second basis vector of the plurality of first subspaces as a self-variation subspace, and from the plurality of self-variation subspaces, A third subspace that is a common subspace of the self-varying subspace is generated, and the third subspace is used as the constraint subspace.This is a pattern recognition apparatus. The present invention provides an input means for inputting an input pattern of a target to be recognized, an input subspace calculation means for calculating an input subspace from the input pattern, and a dictionary subspace from a plurality of comparison target dictionary patterns for the recognition target. Dictionary subspace calculating means for calculating;(1) A plurality of patterns are obtained under a factor affecting pattern recognition, (2) a plurality of first subspaces are calculated from the obtained plurality of patterns, (3)A constraint condition calculating unit that calculates a constraint subspace from the plurality of first subspaces, a projection unit that projects the input subspace and the dictionary subspace onto the constraint subspace, and a projection onto the constraint subspace An identification unit for identifying the object is provided from the input subspace and the dictionary subspace, and the identification unit is a canonical angle that is an angle formed between the input subspace and the dictionary subspace projected onto the constraint subspace. The angle is calculated, and the similarity between the input subspace and the dictionary subspace is calculated based on the calculated canonical angle.The constraint condition calculation means selects a combination of any two first subspaces of the plurality of first subspaces, and forms canonical angles of the two first subspaces of the combinations. The difference vectors of the two vectors to be obtained are respectively obtained, subspaces spanned by these difference vectors are obtained, the obtained subspaces are made the difference subspaces, and the arbitrary two first subspaces are obtained by combination. A common subspace of each difference subspace is obtained, the common subspace is defined as a second subspace, and a subspace spanned by base vectors after the second base vector of the plurality of first subspaces is a self-variable subspace. From the plurality of self-variation subspaces, a common subspace of the plurality of self-variation subspaces is obtained, this common subspace is defined as a third subspace, A common partial space between the second partial space and the complementary partial space of the third partial space is obtained, and this common partial space is set as the restricted partial space.This is a pattern recognition apparatus. The present invention provides an input means for inputting an input pattern of a target to be recognized, an input subspace calculation means for calculating an input subspace from the input pattern, and a dictionary subspace from a plurality of comparison target dictionary patterns for the recognition target. Dictionary subspace calculating means for calculating;(1) A plurality of patterns are obtained under a factor affecting pattern recognition, (2) a plurality of first subspaces are calculated from the obtained plurality of patterns, (3)A constraint condition calculating unit that calculates a constraint subspace from the plurality of first subspaces, a projection unit that projects the input subspace and the dictionary subspace onto the constraint subspace, and a projection onto the constraint subspace An identification unit for identifying the object is provided from the input subspace and the dictionary subspace, and the identification unit is a canonical angle that is an angle formed between the input subspace and the dictionary subspace projected onto the constraint subspace. The angle is calculated, and the similarity between the input subspace and the dictionary subspace is calculated based on the calculated canonical angle.The constraint condition calculating means selects a combination of any two first subspaces of the plurality of first subspaces, and forms canonical angles of the two first subspaces of the combinations. Difference vectors of the two vectors to be obtained, subspaces spanned by these difference vectors are obtained, the obtained subspaces are defined as difference subspaces, and the two arbitrary first subspaces are obtained by combination A common subspace of each difference subspace is obtained, this common subspace is defined as a second subspace, and a subspace in which base vectors after the second base vector of the plurality of first subspaces are stretched is a self-varying subspace. And determining a common partial space of the plurality of self-variable subspaces from the plurality of self-variable subspaces, forming the common partial space as a third partial space, the second partial space and the third part A projective matrix of space is added with a coefficient to obtain a generation matrix, a subspace spanned by an eigenvector corresponding to an eigenvalue greater than 0 of the generation matrix is obtained, and this subspace is subjected to three or more of the above factors Integrated constraint subspaceThis is a pattern recognition apparatus.
[0038]
DETAILED DESCRIPTION OF THE INVENTION
First, embodiments of the present invention will be described in order.
[0039]
(Explanation of the concept of constrained mutual subspace method)
The present invention provides means for obtaining an angle formed by two partial spaces as a similarity by previously removing a partial space unnecessary for recognition from the target partial space. This method is a technical idea proposed for the first time in the present invention, and this is newly named “constrained mutual subspace method”.
[0040]
[Expression 4]

This expression (14) is a mathematical expression of the concept of the constrained mutual subspace method, and a constraint condition is added as compared with the expression (1) which is a mathematical expression of the concept of the mutual subspace method.
[0041]
A specific method for realizing the constrained mutual subspace method will be described.
[0042]
SubspaceP,QIs the subspace that is projected onto the constraint subspace LP′,Q′. And the constraint subspaceLIf the projection matrix corresponding to is L, the following relationship holds.
[0043]
[Equation 5]

Subspace hereP′,QConsidering the vectors u ′ and v ′ belonging to ′,LSince is a linear subspace, the following relationship holds for the difference.
[0044]
[Formula 6]

To calculate the angle between two subspaces under constraintsP,QThe constrained subspaceLAfter projecting to two subspaces projectedP′,QIt can be seen that the mutual subspace method should be applied to ′.
[0045]
(Generate constraint subspace)
In this constrained mutual subspace method, what is important is how to generate a constrained subspace.
[0046]
Various constraint subspaces for realizing a constraint condition according to the use, that is, a constraint condition for suppressing a pattern condition unnecessary for pattern recognition generated based on a certain factor can be considered.
[0047]
For example, by adopting a partial space that does not depend on one of the factors, which is an illumination variation component, the illumination variation component included in the difference vector between u and v is ignored, and the robustness to illumination is improved.
[0048]
As such a partial space, a “difference partial space” obtained as a difference between two partial spaces will be described.
[0049]
[Expression 7]

Further, if the eigenvector of the equation (13) obtained by exchanging P and Q and v and u in the equations (4) to (13) is cui, the vector vi is obtained as follows.
[0050]
[Equation 8]

The angle formed by ui and vi is the minimum angle formed by the two subspaces, and the angle formed by u2 and v2 is the minimum angle measured in the direction perpendicular thereto. Similarly, vectors after u3 and v3 are obtained.
[0051]
The obtained e difference vectors di are orthogonal to each other. After normalizing the length of each difference vector to 1.0, it is set as the basis vector of the difference subspace.
[0052]
Here, partial spaces of different persons i and j generated under the same lighting conditionsHi,Hthe difference subspace of jDij. Take out two subspaces from the subspace set for m people, and total mCTwo difference subspaces are obtained. Their common subspaceDAnd Actually, in many cases, a perfect common subspace does not exist, and a subspace close to the common subspace is required.
[0053]
[Equation 9]

Specifically, the difference subspaceDIs obtained from the subspace set for m persons according to the following procedure.
[0054]
1. First, the subspace of each personHA projection matrix H corresponding to is obtained.
[0055]
2. Take 2 out of m, total w = mC2 differential subspacesDFind ij.
[0056]
3. Difference subspaceDFind the common subspace of ij. For this purpose, a generator matrix G is obtained by averaging the projection matrices w of the projection matrices Dk.
[0057]
[Expression 10]

Here, αk is a positive real number satisfying the following expression.
[0058]
## EQU11 ##

The eigenvalues of the generator matrix G are distributed between 0.0 and 1.0. The eigenvector corresponding to 0.0 is a basis vector that forms a space completely orthogonal to the common space. The eigenvector corresponding to 1.0 is an eigenvector forming a common space. The eigenvectors corresponding to the other eigenvalues are indexes indicating the closeness of the eigenvalues to the common space. Here, the eigenvectors whose eigenvalues are greater than 0 are common spacesDIs the basis vector. Moreover, the weight of each partial space can be changed by adjusting the parameter α.
[0059]
This difference subspace does not include an illumination variation component because the two subspaces are generated under the same illumination conditions. Therefore, if this partial space is set as a restricted partial space, it is possible to realize identification while suppressing the influence of illumination variation components. Qualitatively, since the illumination variation mainly affects the cheek and forehead region, ignoring the information in this region improves the robustness against the illumination variation.
[0060]
Further, the difference subspace has an effect of enhancing the discrimination resolution for similar persons by emphasizing the difference from others. Emphasis is placed on pattern information in characteristic areas such as eyes, mouth, and nose that tend to show differences from others, and pattern information that is not effective for distinguishing from others such as cheeks and forehead areas is ignored. .
[0061]
The difference subspace may be prepared for each person. In this case, the common subspace of the difference subspace between the person and the other person becomes the difference subspace unique to the person. Different difference subspaces are prepared for each one.
[0062]
For details on each operation on subspaces, refer to the literature [Ercki Oya, Hidemitsu Ogawa, Makoto Sato, "Pattern Recognition and Subspace Method", Sangyo Tosho, 1986] or [Therrien, CW, "Eigenvalue properties of projection operators". and their application to the subspace method of feature extraction ", IEEE Trans.Comput, C-24, p.944-948, 1975].
[0063]
(Self-varying subspace)
A subspace representing the deformation of the same person is called a “self-variable subspace”. Self-varying subspaceSIs defined as a common subspace of subspaces extending from the second basis vector of each person's subspace.
[0064]
(Combination of difference subspace and self-variation subspace)
The correlation between the difference subspace and the self-varying subspace is high. If the subspace close to the self-variation component can be removed from the difference subspace, the identification performance is further improved.
[0065]
[Expression 12]

Where S is the subspaceSProjection matrix I, I denotes a unit matrix.
[0066]
Constraint subspaceLIs obtained as a subspace spanned by eigenvectors corresponding to eigenvalues greater than 0 of the generator matrix GL shown below.
[0067]
[Formula 13]

Here, the weighting factors α and β are positive real numbers.
[0068]
Or, the difference subspace and the self-variation subspace are orthogonalized using the method of orthogonalizing the two subspaces described in the document "Ercki Oya:" Pattern Recognition and Subspace Method "Industrial Book (1986)". Just do it.
[0069]
Alternatively, the difference subspace is moved away from the self-varying subspace using the concept of the learning subspace method described in the reference [Ercki Oya: “Pattern Recognition and Subspace Method” Industrial Book (1986)]. It can also be rotated. The rotation direction in this case is a direction orthogonal to the vector v belonging to the self-variation subspace among the two vectors u and v forming the minimum angle obtained by applying the mutual subspace method to the difference subspace and the self-variation subspace. It can be.
[0070]
【Example】
The present invention can be applied to recognition of various patterns including images, but a case where a face image is targeted will be described for more specific description.
[0071]
(Contents of the face image recognition device 10)
Hereinafter, an embodiment of the present invention will be described taking the face image recognition apparatus 10 as an example.
[0072]
FIG. 1 is a block diagram illustrating a schematic configuration diagram of the face image recognition apparatus 10. The face image recognition device 10 includes an image input unit 11, a face region extraction unit 12, a face feature point extraction unit 13, a normalized image generation unit 14, a subspace generation unit 15, a subspace projection unit 16, and a restricted subspace storage unit 17. , A mutual subspace similarity calculation unit 18, a dictionary subspace storage unit 19, a determination unit 20, and a display unit 21.
[0073]
FIG. 2 shows a flow of dictionary partial space generation performed offline in advance.
[0074]
FIG. 3 illustrates the concept of the constrained mutual subspace method.
[0075]
The face image recognition apparatus 10 can realize its function by connecting an ITV camera to a personal computer. In this case, each of the face area extraction unit 12, the face feature point extraction unit 13, the normalized image generation unit 14, the subspace generation unit 15, the subspace projection unit 16, the mutual subspace similarity calculation unit 18, and the determination unit 20 What is necessary is just to record the program which implement | achieves a function in recording media, such as FD, CD-ROM, DVD, and to memorize | store it in a personal computer.
[0076]
(Image input unit 11)
The image input unit 11 is for inputting an image of a person to be recognized, and is composed of, for example, an ITV camera. The image 01 input from the image input unit 11 is digitized by an A / D converter and sent to the face area extraction unit 12. For example, the ITV camera is installed at the bottom of the monitor. Or you may install in the square of a monitor.
[0077]
(Face region extraction unit 12)
The face area extraction unit 12 always extracts the face area image 02 from the input image sent from the image input unit 11.
[0078]
In the present embodiment, a correlation value is calculated while moving a standard face image (template) registered in advance over the entire screen, and an area having the highest correlation value is set as a face area. When the correlation value is lower than the set threshold value, it is assumed that no face exists. If a plurality of templates are used by the subspace method or the composite similarity in order to cope with the change in face orientation, the face area can be extracted more stably. This processing may be replaced with an extraction method based on color information.
[0079]
(Facial feature point extraction unit 13)
The face feature point extraction unit 13 extracts feature points such as the pupil, nose, and mouth edge from the extracted face region. A method of combining shape information and pattern information (Japanese Patent Application No. 8-61463) is applicable.
[0080]
The basic idea of this method is that feature point candidates are obtained from shape information with high positional accuracy and verified by pattern matching. Since this method performs positioning based on shape information, high positional accuracy can be expected.
[0081]
In addition, since matching using a multi-template is applied to select a correct feature point from the candidate group, it is robust against variations in shape luminance of the feature point. Regarding the processing speed, since pattern matching is performed only for candidates narrowed down by a resolution filter with low calculation cost, the amount of calculation can be greatly reduced as compared with the method of pattern matching for the whole. In addition, methods based on edge information [Shizuo Sakamoto, Yoko Miyao, Joji Tajima, “Extraction of eye feature points from face images”, IEICE D-II, Vol. J76-D-I I, No .8, pp.1796-1804, August, 1993], [A. L. Yuillc, “Feature extraction from faces using deformable templates”, IJCV, vol. 8: 2, pp. 99-111, 1992] and the Eigen feature method using the eigenspace method [Alex Pentland, Rahark Moghaddam, Thad Starner , "View-based and modular eigenspaces for face recognition", CVPR '94, PP.84-91, 1994], color information [Taku Sasaki, Shigeru Akamatsu, Yasuhito Suenaga, "using color information for facial image recognition" A method based on "Face registration method", IE91-2, pp.9-15, 1991] is applicable.
[0082]
(Normalized image generator 14)
The normalized image generation unit 14 performs normalization based on the feature points. For example, the pupils and nostrils shown in the literature [Osamu Yamaguchi, Kazuhiro Fukui, Kenichi Maeda, "Face Recognition System Using Moving Images", IEICE Technical Report, PRMU 97-50, pp. 17-24, 1997] A normalization process based on a standard may be applied. In this case, the direction of the vector connecting both pupils, and the direction of the vector connecting the midpoint of the nostril and the midpoint of the pupil are converted to horizontal and vertical, respectively, and affine transformation is performed so that the length is constant. .
[0083]
(Subspace generator 15)
The subspace generation unit 15 stores the normalized images sequentially generated by the normalized image generation unit in a memory after performing histogram flattening and vector length normalization. When a predetermined number of normalized images are stored, the generation of the input subspace is started. In order to generate subspaces sequentially, we apply the simultaneous iteration method (Erki Oya, Hidemitsu Ogawa, Makoto Sato, “Pattern recognition and subspace method”, Sangyo Tosho, 1986). Thus, the subspace is updated each time a new normalized image is input.
[0084]
For details on the process up to the generation of the input subspace, refer to the patent [person authentication device and person authentication method: Japanese Patent Laid-Open No. 9-251534] and literature [Osamu Yamaguchi, Kazuhiro Fukui, Kenichi Maeda, "Face recognition system", IEICE Technical Report, PRMU97-50, pp.17-24, 1997].
[0085]
(Subspace projection unit 16)
In the subspace projection unit 16, the input subspace generated by the subspace generation unit 15.PConstraint subspace stored in the constraint subspace storage unit 17LSubspace projected aboveP _in ^LIs obtained by the following procedure.
[0086]
1. SubspacePProject the m basis vectors spanning onto the constrained subspace.
[0087]
2. Normalize the length of each projection vector.
[0088]
3. Gram Schmidt orthogonalization is performed on m normalization vectors.
[0089]
4. Orthogonalized m normalized vectors are projected subspacesP _in ^LIs the basis vector of.
[0090]
The dimension of each subspace is determined experimentally according to the type of data. For example, the number of dimensions of the difference subspace is set to 70, the dimension of the self-varying subspace is set to 20 dimensions, and the dimension of the input subspace is set to 5 dimensions. Similarly, the weight parameter is determined experimentally. For example, α = 0.7, β = 0.1, etc. are set.
[0091]
Dictionary subspace of person i stored in dictionary subspace storage unit 19H ^Li is the subspace corresponding to each personHThe subspace projection unit 16 obtains i in advance as a subspace projected onto the constrained subspace by offline processing. This procedure is shown in FIG.
[0092]
(Mutual subspace similarity calculation unit 18)
In the mutual subspace similarity calculation unit 18, the input subspaceP _in ^LAnd the dictionary subspace of person i stored in the dictionary subspace storage unit 19H _i ^LMax cos between²θ is obtained from equation (13). Or you may obtain | require the similarity which considered the 2nd and 3rd eigenvalue. For example, the weighted average or sum of the eigenvalues up to the Nth, or the eigenvalue distribution itself can be regarded as a vector and used as a similarity. This similarity is obtained for m persons registered in the dictionary.
[0093]
(Determination unit 20)
The determination unit 20 identifies the corresponding person i as the principal when the similarity is the highest among the m persons and the value is larger than a preset threshold value. In this case, the determination may be made in consideration of the similarity after the second candidate. For example, if the difference in similarity with the second candidate is smaller than a threshold value, it can be determined as indeterminate.
[0094]
(Display unit 21)
On the display unit 21 such as a CRT or a speaker, the identification result is displayed on the screen or notified by voice.
[0095]
(Generate constraint subspace)
Here, the generation procedure of the difference subspace and the self-variation subspace will be described.
[0096]
(1) Subspace generation for each person
Multiple face image data for m people under constant lighting conditions [Osamu Yamaguchi, Kazuhiro Fukui, Kenichi Maeda, “Face recognition system using moving images”, IEICE Technical Report, PRMU97-50, pp.17 -24, 1997]. At that time, the larger the number of subjects, the better. When collecting, ask the subject to turn his / her face up and down and up and down. The collected normalized image data is subjected to preprocessing such as histogram flattening and vector length normalization, and then KL expansion is applied to obtain a base vector that extends the subspace.
[0097]
(2) Generation of difference subspace
The generation procedure is shown in FIG.
[0098]
Two subspaces are extracted from the m subspaces generated in (1), and a difference subspace is obtained. MCThis is done for two combinations. MCA common subspace of the two difference subspaces is obtained by Expression (24), and is defined as the difference subspace.
[0099]
Alternatively, the difference subspace can be obtained from a set of difference images of normalized images of the persons i and j, instead of being obtained from the two partial spaces of the persons i and j. Difference images between different persons are obtained for all combinations. An eigenvector is obtained by applying KL expansion to the collected differential image data set. An eigenvector whose eigenvalue is larger than the reference is set as a base vector that spans the difference subspace.
[0100]
(3) Generation of self-varying subspace
The subspace spanned by the second basis vector of each subspace generated in (1) is obtained as the self-variable subspace of each person. A common subspace of the m self-variation subspaces obtained is a self-variation subspace.
[0101]
(4) A constrained subspace obtained by merging the difference subspace and the self-varying subspace is obtained by equation (29).
[0102]
(Restricted subspace for secular change)
[Expression 14]

Here, the weighting coefficients α, β, and γ are positive real numbers.
[0103]
Furthermore, the integration of three or more constrained subspaces can be easily performed by the following equation.
[0104]
[Expression 15]

Where α is a positive real number, Li, i = 1, and n are constrained subspaces.Lrepresents the projection matrix corresponding to i.
[0105]
(Combination of pretreatment)
In this embodiment, an example has been described in which a luminance image obtained from a TV camera is targeted.
[0106]
As already described, in the present invention, there is no restriction on the type of input pattern. Since the difference subspace generated directly from the luminance image seems to remain somewhat affected by illumination fluctuations, if the present invention is applied after converting the grayscale information into feature quantities that are not easily affected by illumination fluctuations, the discrimination performance is further improved. It can be easily inferred that improvement can be expected. For example, the literature [Shigeru Akamatsu, Tsutomu Sasaki, Norio Fukamachi, Yasuhito Suenaga, “Robust Front Face Identification by Gray Image Matching -Application of KL Expansion by Fourier Spectrum”, Science Theory (D-II), J76 -DII, 7, pp. 1363-1373, 1993], the effect of the present invention is enhanced even if a Fourier spectrum pattern generated from a grayscale image is input.
[0107]
(Application to information filtering processing)
FIG. 7 is a configuration diagram related to the information filtering apparatus 100 that performs database search using keywords.
[0108]
The information filtering apparatus 100 includes a profile input unit 101, a subspace generation unit 102, a subspace projection unit 103, a restricted subspace storage unit 104, a similarity calculation unit 105, a dictionary subspace storage unit 106, and a determination unit 107. .
[0109]
In information filtering, the degree of similarity with a profile describing the user's interests and interests is calculated and ranked in the order of similarity.
[0110]
Here, the similarity is calculated based on the vector space method [Kazuo Sumita et al., Information Filtering Technology, Toshiba Review, Vol. 51, No. 1, pp. 42-44 (1996)].
[0111]
In this embodiment, one profile is associated with one partial space. For this purpose, the entire data is not vectorized at once, but is vectorized on data delimited by a certain rule, for example, data for each chapter. A subspace is generated from the vector group obtained for each chapter. Note that the similarity is a value obtained from the angle formed between the partial space and the partial space.
[0112]
The profile input to the profile input unit 101 is converted into a partial space in the partial space generation unit 102. The input subspace is projected onto the constrained subspace stored in the constrained subspace storage unit 104 by the subspace projection unit 103.
[0113]
The projected input subspace is sent to the similarity calculation unit 105 and the similarity with the dictionary subspace stored in the dictionary subspace storage unit 104 is obtained by the mutual subspace method.
[0114]
The similarity is sent to the determination unit 107 to determine which profile the input profile is close to.
[0115]
The restricted subspace used in the present embodiment is generated by the following procedure for a plurality of partial spaces prepared in advance.
[0116]
1. Find the difference subspaces of two subspaces to be classified as different profiles for all combinations.
[0117]
2. A common subspace is obtained from the obtained difference subspace, and this obtained restricted subspace 1 is obtained.
[0118]
3. Find the difference subspaces of two subspaces to be classified as the same profile for all combinations.
[0119]
4. A common subspace of the obtained difference subspace is obtained, and a subspace orthogonal to the common subspace is further defined as a restricted subspace 2.
[0120]
5. A subspace combining the constraint subspace 1 and the constraint subspace 2 is defined as a final constraint subspace.
[0121]
By using the restricted subspace described above, even if a low-accuracy keyword is selected, it is possible to automatically remove these influences and perform a stable database search.
[0122]
In addition to the recognition of the face image pattern, the present invention is applicable to all pattern information such as a voice pattern and a profile pattern in information filtering.
[0123]
【The invention's effect】
As described above, according to the present invention, pattern recognition can be performed stably by efficiently removing information unnecessary for identification mixed when pattern information is acquired. In particular, when applied to face image recognition, high deformation absorption capability and high robustness against illumination variation can be realized.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a face image recognition apparatus 10;
FIG. 2 is an explanatory diagram of a procedure for generating a dictionary subspace.
FIG. 3 is an explanatory diagram of a constrained mutual subspace method.
FIG. 4 is an explanatory diagram of generation of a difference subspace.
FIG. 5 is an explanatory diagram of generation of a self-variation subspace.
FIG. 6 is an explanatory diagram of integration of a plurality of constraint subspaces.
FIG. 7 is a configuration diagram of an information filtering device.
[Explanation of symbols]
11 Image input section
12 Face region extraction unit
13 Face feature point extraction unit
14 Normalized image generator
15 Subspace generator
16 Constraint subspace storage
17 Dictionary subspace storage
18 Subspace projection part
19 Mutual subspace calculator
20 judgment part
21 Display section

Claims

An input means for inputting an input pattern of an object to be recognized;
Input subspace calculating means for calculating an input subspace from the input pattern;
Dictionary subspace calculating means for calculating a dictionary subspace from a plurality of comparison target dictionary patterns related to the recognition target;
(1) A plurality of patterns are obtained under a factor affecting pattern recognition, (2) a plurality of first subspaces are calculated from the obtained plurality of patterns, and (3) from the plurality of first subspaces A constraint condition calculation means for calculating a constraint subspace;
Projecting means for projecting the input subspace and the dictionary subspace onto the constrained subspace;
An identification means for identifying the object from the input subspace projected onto the constraint subspace and the dictionary subspace;
The identification means includes
Calculating a canonical angle that is an angle formed by the input subspace and the dictionary subspace projected onto the constraint subspace;
Based on the calculated canonical angle, the similarity between the input subspace and the dictionary subspace is calculated ,
The constraint condition calculation means includes:
A combination of any two first subspaces in the plurality of first subspaces is selected, and a difference vector of two vectors forming a canonical angle of the two first subspaces of each combination is respectively set. Find the subspace spanned by these difference vectors, make this obtained subspace a difference subspace,
A common subspace of each difference subspace obtained by combining the two arbitrary first subspaces is obtained, and this common subspace is defined as a second subspace,
The pattern recognition apparatus, wherein the second subspace is the restricted subspace .

An input means for inputting an input pattern of an object to be recognized;
Input subspace calculating means for calculating an input subspace from the input pattern;
Dictionary subspace calculating means for calculating a dictionary subspace from a plurality of comparison target dictionary patterns related to the recognition target;
(1) A plurality of patterns are obtained under a factor affecting pattern recognition, (2) a plurality of first subspaces are calculated from the obtained plurality of patterns, and (3) from the plurality of first subspaces A constraint condition calculation means for calculating a constraint subspace;
Projecting means for projecting the input subspace and the dictionary subspace onto the constrained subspace;
An identification means for identifying the object from the input subspace projected onto the constraint subspace and the dictionary subspace;
The identification means includes
Calculating a canonical angle that is an angle formed by the input subspace and the dictionary subspace projected onto the constraint subspace;
Based on the calculated canonical angle, the similarity between the input subspace and the dictionary subspace is calculated ,
The constraint condition calculation means includes:
A subspace in which the basis vectors after the second basis vector of the plurality of first subspaces are respectively stretched is defined as a self-varying subspace,
Generating a third subspace which is a common subspace of the plurality of self-varying subspaces from the plurality of self-varying subspaces;
The pattern recognition apparatus, wherein the third subspace is the restricted subspace .

An input means for inputting an input pattern of an object to be recognized;
Input subspace calculating means for calculating an input subspace from the input pattern;
Dictionary subspace calculating means for calculating a dictionary subspace from a plurality of comparison target dictionary patterns related to the recognition target;
(1) A plurality of patterns are obtained under a factor affecting pattern recognition, (2) a plurality of first subspaces are calculated from the obtained plurality of patterns, and (3) from the plurality of first subspaces A constraint condition calculation means for calculating a constraint subspace;
Projecting means for projecting the input subspace and the dictionary subspace onto the constrained subspace;
An identification means for identifying the object from the input subspace projected onto the constraint subspace and the dictionary subspace;
The identification means includes
Calculating a canonical angle that is an angle formed by the input subspace and the dictionary subspace projected onto the constraint subspace;
Based on the calculated canonical angle, the similarity between the input subspace and the dictionary subspace is calculated ,
The constraint condition calculation means includes:
A combination of any two first subspaces in the plurality of first subspaces is selected, and a difference vector of two vectors forming a canonical angle of the two first subspaces of each combination is respectively set. Find the subspace spanned by these difference vectors, make this obtained subspace a difference subspace,
A common subspace of each difference subspace obtained by combining the two arbitrary first subspaces is obtained, and this common subspace is defined as a second subspace,
A subspace in which the basis vectors after the second basis vector of the plurality of first subspaces are respectively stretched is defined as a self-varying subspace,
A common subspace of the plurality of self-varying subspaces is determined from the plurality of self-varying subspaces, and the common subspace is defined as a third subspace.
A pattern recognition apparatus characterized in that a common partial space between the second partial space and a complementary partial space of the third partial space is obtained, and the common partial space is used as the restricted partial space .

An input means for inputting an input pattern of an object to be recognized;
Input subspace calculating means for calculating an input subspace from the input pattern;
Dictionary subspace calculating means for calculating a dictionary subspace from a plurality of comparison target dictionary patterns related to the recognition target;
(1) A plurality of patterns are obtained under a factor affecting pattern recognition, (2) a plurality of first subspaces are calculated from the obtained plurality of patterns, and (3) from the plurality of first subspaces A constraint condition calculation means for calculating a constraint subspace;
Projecting means for projecting the input subspace and the dictionary subspace onto the constrained subspace;
An identification means for identifying the object from the input subspace projected onto the constraint subspace and the dictionary subspace;
The identification means includes
Calculating a canonical angle that is an angle formed by the input subspace and the dictionary subspace projected onto the constraint subspace;
Based on the calculated canonical angle, the similarity between the input subspace and the dictionary subspace is calculated ,
The constraint condition calculation means includes:
A combination of any two first subspaces in the plurality of first subspaces is selected, and a difference vector of two vectors forming a canonical angle of the two first subspaces of each combination is respectively set. Find the subspace spanned by these difference vectors, make this obtained subspace a difference subspace,
A common subspace of each difference subspace obtained by combining the two arbitrary first subspaces is obtained, and this common subspace is defined as a second subspace,
A subspace in which the basis vectors after the second basis vector of the plurality of first subspaces are respectively stretched is defined as a self-varying subspace,
A common subspace of the plurality of self-varying subspaces is determined from the plurality of self-varying subspaces, and the common subspace is defined as a third subspace.
Multiplying the projection matrices of the second subspace and the third subspace by a coefficient to obtain a generator matrix,
Obtaining a subspace spanned by eigenvectors corresponding to eigenvalues greater than 0 of the generator matrix;
A pattern recognition apparatus characterized in that this subspace is a constrained subspace integrated under three or more of the above factors .

The constraint condition calculation means includes:
In the lower three or more of the factors, determined plurality of comparison of the calculated from the pattern a plurality of the first subspace, respectively, to calculate each a plurality of said constraint subspace from said plurality of first subspace,
Multiplying the projection matrix of each constraint subspace by a coefficient to obtain a generator matrix,
Obtaining a subspace spanned by eigenvectors corresponding to eigenvalues greater than 0 of the generator matrix;
The pattern recognition apparatus according to claim 1 , wherein the subspace is a constrained subspace integrated under three or more of the factors.

The pattern recognition apparatus according to at least one of claims 1 to 5 , wherein the predetermined factor of the constraint condition calculation means is a secular change of the target or an illumination variation with respect to the target.

The pattern recognition apparatus according to claim 1 , wherein the target is a face.