JP4375570B2 - 顔認識方法およびシステム - Google Patents

Description

本発明は、顔同定や顔識別、顔の表情認識、顔による男女識別、顔による年齢判別等に利用可能な技術に係り、特に静止画像や動画像に映されている顔情報に関するメタデータを生成する顔メタデータ生成および顔認識技術に関する。

メタデータとは、一般に、データの意味を記述あるいは代表するデータのことであり、顔認識の場合には、主に静止顔画像や動画像などの顔データに関するデータを意味する。

映像・画像や音声などのマルチメディアコンテンツに対するメタデータの標準化活動として、MPEG-7（MPEG(Moving Pictures Experts Group)によって標準化されたマルチメディアコンテンツ記述インタフェースの国際標準規格,ISO/IEC 15938）の活動が広く知られている。この中で顔認識に関するメタデータの記述子として、顔認識記述子が提案されている（非特許文献１）。

この顔認識記述子では、切り出して正規化した顔画像に対して、一般的に固有顔と呼ばれる部分空間法の一種を用いて、顔画像の特徴量を抽出するための基底行列を求め、この基底行列によって画像中から顔特徴量を抽出し、これをメタデータとする。また、この顔特徴量に対する類似度として重み付け絶対値距離を用いることを提案している。

また、顔認識に関する技術には様々な方法があることが知られており、例えば、主成分分析（非特許文献２）あるいは判別分析（非特許文献３）に基づく固有顔による方法などが知られている。

また、指紋画像から得られた特徴量に対して部分空間法を適用する際に、品質指標を導入し適応的にパターン間の距離を測る方法がある（非特許文献４、特許文献１）。

A. Yamada他編, "MPEG-7 Visual part of eXperimental Model Version 9.0," ISO/IEC JTC1/SC29/WG11 N3914, 2001 Moghaddam他,"Probalilistic Visual Learning for Object Detection",IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 7, pp. 696-710, 1997 W. Zhao他, "Discriminant Analysis of Principal Components for Face Recognition," Proceedings of the IEEE Third International Conference on Automatic Face and Gesture Recognition, pp. 336-341, 1998 T. Kamei and M. Mizoguchi, "Fingerprint Preselection Using Eigenfeatures," Proceedings of the 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.918-923, 1998, C.M. Bishop, "Neural Networks for Pattern Recognition", Oxford University Express, 1995 特開平１０−１７７６５０号公報

しかしながら、上記従来の技術では、十分な顔認識の精度を得られなかった。そこで、本発明の目的は、顔認識の精度を向上させることが可能な顔メタデータ生成技術および顔類似度算出技術を提供し、さらに実用的な顔のマッチングシステムを構築するための技術を提供することにある。

本発明によれば、顔画像から信頼性を抽出して、その信頼性に応じて適応的にパターン間の類似度を算出することで、顔認識の精度を向上させることができる。

本発明による顔認識システムは、画像を入力する画像入力部と、顔画像を蓄積する顔画像データベース部と、を有する顔認識システムであって、前記画像から抽出した顔特徴量と前記画像から抽出したコントラスト指標あるいは非対称性指標である信頼性指標とを顔メタデータとして出力する顔メタデータ生成部と、前記顔メタデータ生成部によって生成された顔メタデータを蓄積する顔メタデータ蓄積部と、信頼性指標の値ごとに予め記憶しておいた顔特徴量間の差ベクトルの事後分布を用いて、前記画像から抽出した信頼性指標の値に対応した事後分布を推定し、前記事後分布に基づいて算出した顔特徴量間距離を顔類似度として出力する顔類似度算出部と、入力された指令に応じて、前記顔メタデータ生成部、前記顔メタデータ蓄積部および前記顔類似度算出部を制御し、顔画像マッチングを実行する制御部と、を備えたことを特徴とする。

本発明による顔認識方法は、画像を入力する画像入力部と顔画像を蓄積する顔画像データベース部とを有するシステムにおける顔認識方法であって、前記画像から抽出した顔特徴量と前記画像から抽出したコントラスト指標あるいは非対称性指標である信頼性指標とを顔メタデータとして出力し、前記顔メタデータ生成部によって生成された複数の顔メタデータを顔メタデータ蓄積部に蓄積し、ある顔画像の顔メタデータと前記顔メタデータ蓄積部に蓄積された複数の顔メタデータの各々とを入力し、信頼性指標の値ごとに予め記憶しておいた顔特徴量間の差ベクトルの事後分布を用いて、前記画像から抽出した信頼性指標の値に対応した事後分布を推定し、前記事後分布に基づいて算出した顔特徴量間距離を顔類似度として出力し、前記顔類似度に従って顔画像マッチング結果を出力する、ことを特徴とする。

本発明によれば、画像から抽出した顔特徴量とコントラスト指標あるいは非対称性指標である信頼性指標とを顔メタデータとして出力し、信頼性指標の値ごとに予め記憶しておいた顔特徴量間の差ベクトルの事後分布を用いて、前記画像から抽出した信頼性指標の値に対応した事後分布を推定し、前記事後分布に基づいて算出した顔特徴量間距離を顔類似度として出力することにより、高精度の顔画像マッチングを達成することができる。

（発明の原理）
はじめに本発明の原理について説明する。一般に、パターン認識を行う際、認識を行いたいクラスに対する学習データを大量に用意することが可能であるならば、その学習データに対する統計解析に基づいてパターンの分布関数を推定し、パターン認識機構を構築することができる。しかしながら、顔認識応用の場合、個人毎には１枚だけの登録画像しか得られず、ごく少数の登録画像しか許されないことが多い。

このような場合であっても、顔の特徴ベクトルに対して信頼性指標という指標を与え、その指標に基づくクラスを考えることで、その信頼性指標に対するクラスの統計解析を行いパターンの分布関数を推定することで、一枚の登録画像しか得られないような顔認識応用に対しても信頼性指標を通じた分布関数に基づくパターン認識機構を構築することができる。

以下、誤差分布に基づく場合のマハラノビス距離とクラス内分布やクラス間分布に基づく判別距離についての顔認識の原理について説明する。

いま、ある一人の顔を観測する場合を考える。誤差がない場合に顔画像から得られる特徴ベクトルをｖ₀とし、実際に観測 される観測ベクトルｖは、誤差ベクトルεが重畳しているとする(数１)。

ここで、特徴ベクトルｖ₀を２回観測するとすれば、二つの観測ベクトルｖ₁とｖ₂が得られる（数２）。

いま、誤差ベクトルε₁、誤差ベクトルε₂に対して相関を持つ信頼性指標θ₁、信頼性指標θ₂がそれぞれ得られ、その事後分布がｐ(ε|θ₁)、ｐ(ε|θ₂)であるとする。

このような分布が得られたときのｖ₁とｖ₂の差ベクトルｓの事後分布がｐ(ｓ|θ₁,θ₂)と表されるとすれば、パターン間の類似度ｄ(ｖ₁,ｖ₂)として、次の対数尤度を用いることができる。

事後分布ｐ(ε|θ₁)、ｐ(ε|θ₂)がそれぞれ正規分布であるとすると、差ベクトルｓの分布ｐ(ｓ|θ₁, θ₂)も正規分布となる。ここで、誤差ベクトルの事後分布ｐ(ε|θ_i) (i=1,2)として平均０で共分散行列Σε(θ_i)の正規分布を考えると、差ベクトルｓの分布は、平均０で、共分散行列Σ_s(θ₁, θ₂)は次式（数４）となる。

つまり、事後分布ｐ(ｓ|θ₁, θ₂)は次式（数５）で表される。

従って、（数３）は、次式（数６）に示すように、共分散行列Σε(θ₁)やΣε(θ₂)を用いて、信頼性指標θ₁,やθ₂に対して適応的なマハラノビス距離に書き表すことができる。

誤差ベクトルの各要素間における独立性を仮定すれば、（数５）は次式（数７）となる。

ここで、σ_s,k(θ₁, θ₂)²は共分散行列Σ_s(θ₁, θ₂)のｋ番目の対角要素であり、つまり、観測誤差の分散である。また、σε_,k(θ₁)²、σε_,k(θ₂)²は、それぞれ共分散行列Σε(θ₁)、Σε(θ₂)のｋ番目の対角要素である。ｓ_kは差ベクトルｓのｋ番目の要素である。

このように正規分布を仮定することで、（数３）は、次式（数８）のように各特徴ベクトルの要素毎の分散σε_,k(θ₁)、σε_,k(θ₂)を用いて、信頼性指標θ₁やθ₂に対して適応的なマハラノビス距離によって類似度を定義することができる。

ここで、ｖ_1,k、ｖ_2,kはそれぞれ特徴ベクトルｖ₁、ｖ₂のｋ番目の要素である。

上記説明では事後分布ｐ(ｓ|θ₁, θ₂)として正規分布を仮定したが、以下、混合正規分布を仮定する。さて、事後分布ｐ(ｓ|θ₁, θ₂)として、次式（数９）によって示すように、正規分布ｐ(ｓ|θ₁, θ₂, j) (j=1,2,...,M)の和によって事後分布ｐ(ｓ|θ₁, θ₂)が表現できると仮定する。

従って、次式（数１０）により適応的混合マハラノビス距離を定義することができる。

事後分布ｐ(ｓ|θ₁, θ₂, j)の共分散行列Σ_s(θ₁, θ₂, j)およびP(j)の推定については、一般的な推定方法である最尤推定法やＥＭアルゴリズムを用いて推定することができる（非特許文献５を参照）。

混合正規分布を仮定することで、分布をより正確に近似でき、マッチング性能が向上するが、大量の学習データが必要になるとともに演算量もまた大幅に増加する。

前述の誤差分布に基づくマハラノビス距離は、検索する顔が他の登録されている顔データの中でどれに最も近いかを調べる顔同定(face identification)のような問題に対して優れている距離である。

一方、顔識別(face verification)の問題では、入力された顔が登録された画像との同一性を判定する上で、受け入れるか、棄却するかが重要な問題である。以下で説明する「判別距離」と名付ける距離は、この顔識別問題に対しては 前述のマハラノビス距離を用いる場合よりも、優れた類似度尺度となっている。

いま、顔の二つの特徴ベクトルｖが、一致すると判定すべき、つまり、二つの特徴ベクトルが同一クラス内に属している(例えば、二つの特徴ベクトルが同じ人物の顔データである)ならば、それらの特徴ベクトルの組み合わせはクラスＷに属しているとする。また、二つの特徴ベクトルｖが不一致と判定すべき、つまり、クラス間の特徴ベクトルである(例えば、二つの特徴ベクトルが異なった人物の顔データである)ならば、それらの組み合わせはクラスＢに属しているとする。

二つの特徴ベクトルｖ₁、ｖ₂に対して信頼性指標θ₁、θ₂が得られるとする。差ベクトルｓと二つの信頼性指標θ₁、θ₂(以下、二つの信頼性指標のセットを[θ_i]と表記する。)が観測されたときに一致している と見倣すクラスＷと不一致と見倣すべきクラスＢとの判別問題を考えると、次式（数１１）の判別則(decision rule)が得られる。

上記（数１１）の左辺は、ベイズ定理(Bayes Theorem)によって次式（数１２）のように書き直すことができる。

ここで、Ｗ、Ｂと[θ_i]の生じる確率は独立であると仮定して、P(Ｗ,[θ_i])=P(Ｗ)P([θ_i])、P(Ｂ,[θi])=P(Ｂ)P([θ_i])としている。

パターン間の距離ｄ(ｖ₁,ｖ₂)として（数１２）の対数尤度を計算することで、次式（数１３）のように、顔識別問題に適した類似度を求めることができる。

個別のマッチング毎に事前確率Ｐ(Ｗ)、Ｐ(Ｂ)が異なり、且つ、それを知ることができるならば、（数１３）の第２項を計算することが望ましい。しかし、多くの場合、個別のマッチング毎に事前確率を知ることができないので、事前確率は一定と仮定することで、第２項を一定と見倣し、類似度の計算からは除外する。

事後確率Ｐ(ｓ|Ｗ,[θ_i])、Ｐ(ｓ|Ｂ,[θ_i])を、それぞれクラス内分布ｐ_W(ｓ|[θ_i])、クラス間分布ｐ_B(ｓ|[θ_i])と書き代えると、次式（数１４）となる。

次に、クラス内分布ｐ_W(ｓ|[θ_i])、クラス間分布ｐ_B(ｓ|[θ_i])がそれぞれ正規分布であると仮定し、その平均がそれぞれ０、共分散行列がそれぞれΣ_W([θ_i])、Σ_B([θ_i])とすれば、事後分布はそれぞれ次式（数１５）で書き表すことができる。

上式を（数１４）に代入すると(但し、（数１４）の第２項は省略)、次式（数１６）で示す距離を得ることができる。これを「適応的判別距離」と呼ぶことにする。

差ベクトルｓの各要素間における独立性を仮定すれば、（数１５）は、次式となる。

ここで、σ_W,k(θ_i)²、σ_B,k(θ_i)²は、それぞれ共分散行列Σ_W(θ_i)、Σ_B(θ_i)のｋ番目の対角要素であり、つまり、クラス内分散とクラス間分散に相当する。ｓ_kは差ベクトルｓのｋ番目の要素である。

このように正規分布を仮定することで（数１６）は、次式（数１８）のように、各特徴ベクトルの要素毎のクラス内分散σ_W,k(θ_i)²、クラス間分散σ_B,k(θ_i)²を用いて、信頼性指標[θ_i]に対して適応的な判別距離による類似度を定義することができる。

上記までの説明ではクラス内分散σ_W,k(θ_i)²、クラス間分散σ_B,k(θ_i)²として 正規分布を仮定したが、以下では混合分布を仮定する。

次式（数１９）のように、クラス内分布ｐ_W(ｓ|[θ_i])、クラス間分布ｐ_B(ｓ|[θ_i])として、それぞれ正規分布ｐ_W(ｓ|[θ_i], j_W) (j_W=1,2,...,M_W)、ｐ_B(ｓ|[θ_i], j_B) (j_B=1,2,...,M_B)の和によって事後分布が表現できると仮定する。

従って、この対数尤度を用いて次式（数２０）の適応的混合マハラノビス距離を導くことができる。

クラス内分布ｐ_W(ｓ|[θ_i], j_W)、クラス間分布ｐ_B(ｓ|[θ_i], j_B)の共分散行列Σ_W(s|[θ_i], j_W)、Σ_B(s|[θ_i], j_B)および P(j_W)、P(j_B)の推定については、最尤推定法やＥＭアルゴリズムを用いて推定することができる。

混合分布を仮定することで、分布をより正確に近似でき、マッチング性能を 向上させることができるが、同時に大量の学習データが必要になるとともに、演算量も大幅に増加する。

このように顔特徴量に対してさらに信頼性指標を抽出することによって、信頼性指標に対して適応的な距離規範を導くことができ、高精度な顔認識機構を構築することができる。なお、上記では、特徴ベクトルに対する信頼性指標をスカラー量(一つの成分のみ)か、ベクトル量(複数の成分をもつ)か特定していないが、どちらの場合でも成立する議論であり、複数の要素を用いることで、性能の向上が期待できる。

具体的な信頼性指標については、実験的に有効な信頼性指標を発見することが必要であり、顔認識の場合では、画像のコントラストを表すコントラスト指標や、正面顔の認識では、照明変動や姿勢変動によって生じる顔画像の左右の対称性の歪みからの量を表す非対称指標を用いると高い効果が得られ、それらの信頼性指標を組み合わせてベクトル量とすることで、より精度の向上が期待できる。

（実施の形態）
図１は、本発明の一実施形態による顔画像マッチングシステムを示すブロック図である。以下、顔画像マッチングシステムについて詳細に説明する。

図１に示すように、本発明による顔画像マッチングシステムには、顔画像を入力する顔画像入力部１１と、入力された顔画像からそれらの顔特徴量、信頼性指標の顔メタデータを生成する顔メタデータ生成部１２と、抽出された顔メタデータを蓄積する顔メタデータ蓄積部１３と、顔メタデータから顔の類似度を算出する顔類似度算出部１４と、顔画像を蓄積する顔画像データベース１５と、画像の登録要求・検索要求に応じて、画像の入力・メタデータの生成・メタデータの蓄積・顔類似度の算出の制御を行う制御部１６と、顔画像や他の情報を表示するディスプレイの表示部１７と、が設けられている。

また、顔メタデータ生成部１２は、入力された顔画像から顔特徴を抽出する顔特徴抽出部１２１と、信頼性指標を抽出する信頼性指標抽出部１２２とから構成され、顔類似度算出部１４は、信頼性指標から事後分布に関するパラメータ情報を推定する分布推定部１４１と顔特徴量と分布推定部１４１からの事後分布情報から顔特徴量間の距離を算出する距離算出部１４２によって構成される。

登録時には、画像入力部１１では、スキャナあるいはビデオカメラなどで顔写真等を顔の大きさや位置を合わせた上で入力する。あるいは、人物の顔を直接ビデオカメラなどから入力しても構わない。この場合には、前述のMoghaddamの文献に示されているような顔検出技術を用いて、入力された画像の顔位置を検出し、顔画像の大きさ等を自動的に正規化する方がよいであろう。

また、入力された顔画像は必要に応じて顔画像データベース１５に登録する。顔画像登録と同時に、顔メタデータ生成部１２によって顔メタデータを生成し、顔メタデータ蓄積部１３に蓄積する。

検索時には同様に顔画像入力部１１によって顔画像を入力し、顔メタデータ生成部１２にて顔メタデータを生成する。生成された顔メタデータは、一旦 顔メタデータ蓄積部１３に登録するか、または、直接に顔類似度算出部１４へ送られる。検索では、予め入力された顔画像がデータベース中にあるかどうかを確認する場合(顔同定)には、顔メタデータ蓄積部１３に登録されたデータの一つ一つとの類似度を算出する。最も類似度が高い(距離値が小さい)結果に基づいて制御部１６では、顔画像データベース１５から、顔画像を選び、表示部１７等に顔画像の表示を行い、検索画像と登録画像における顔の同一性を作業者が確認する。

一方、予めＩＤ番号等で特定された顔画像と検索の顔画像が一致するかどうかを確認する場合(顔識別)では、特定されたＩＤ番号の顔画像と一致するか否かを顔類似度算出部１４にて計算し、予め決められた類似度よりも類似度が低い(距離値が大きい)場合には一致しないと判定し、類似度が高い場合には一致すると判定し、その結果を表示部１７に表示する。このシステムを入室管理用に用いるならば、表示する代わりに、制御部１６から自動ドアに対して、その開閉制御信号を送ることで、自動ドアの制御によって入室管理を行うことができる。

上記のように、顔画像マッチングシステムは動作するが、このような動作はコンピュータシステム上で実現することもできる。たとえば、次に詳述するようなメタデータ生成を実行するメタデータ生成プログラムおよび類似度算出を実行する類似度算出プログラムをそれぞれメモリに格納しておき、これらをプログラム制御プロセッサによってそれぞれ実行することで顔画像マッチングを実現することができる。

次に、この顔画像マッチングシステムの動作、特に顔メタデータ生成部１２と顔類似度算出部１４について詳細に説明する。

（１）顔メタデータ生成
顔メタデータ生成部１２では、位置と大きさを正規化した画像I(x, y)を用いて、顔特徴量を抽出する。位置と大きさの正規化は、例えば、目位置が(16, 24)、(31, 24)、サイズが46×56画素となるように画像を正規化しておくとよい。以下では、このサイズに画像が正規化されている場合について説明する。

顔特徴量として、所謂、固有顔の手法(前述Moghaddamの論文)を用いて特徴抽出する。つまり、画像中の画素値を要素とする特徴ベクトルΛに対して、顔画像サンプル集合[Λ]の主成分分析によって得られた基底ベクトルの中から選択した部分基底ベクトルによって特定される基底行列Ｕと、顔画像サンプル集合[Λ]における平均ベクトルである平均顔Ψとを用いて、特徴ベクトルｖ＝Ｕ^T(Λ−Ψ)を算出し特徴ベクトルとする。このように、入力画像ではなく、部分基底ベクトルを用いることで、入力画像のデータ量を削減することができる。このようにデータ量を削減することは、メタデータベースにおける蓄積量を少なくするだけではなく、高速なマッチングを実現するためには重要な要素である。この特徴ベクトルの次元数としては、例えば、４８次元の特徴量を用いればよい。

このように一般的に用いられる固有顔による手法の他に、主成分分析に対して判別分析を組み合わせた手法(前述、W. Zhaoの論文)等を用いて部分基底ベクトルを規定しても構わない。

また、前述したような顔画像サンプルにおける特徴ベクトル集合[Λ]の主成分分析や判別分析によって得られる基底ベクトルの中から選択した部分基底ベクトルによって特定される基底行列Ｕnと、顔画像を左右反転される画素値の変換と対応するように基底ベクトルの要素を入 れ換えた反転部分基底ベクトルによって特定される基底行列Ｕmの線形和によって得られる行列Ｕ(＝ aＵn + bＵm)を基底行列として、顔特徴ベクトルを抽出してもよい。例えばa=b=1とすると、得られる顔特徴ベクトルは、入力画像空間で左右の変換に対して対称な成分のみを抽出 することができる。顔は本来左右対称であるので、照明の影響で非対称となった画像成分や顔の向きが正面に向いていないために生じる非対称成分が本来ノイズに相当するものであるので、これを除去し、対称な成分のみを抽出することで、照明や姿勢の変動に対して安定な顔特徴量を抽出することが可能となる。

また、画像をフーリエ変換し、得られた複素フーリエ成分の各成分の大きさを要素とするベクトルを特徴ベクトルΛとして算出し、上記のような主成分分析や判別分析によって次元圧縮を行い顔特徴量を抽出してもよい。このように画像をフーリエ変換することで、位置ずれに対して強い顔特徴量を抽出することができる。このようにして、顔特徴抽出部１２１では、顔特徴量ｖを抽出する。

信頼性指標抽出部１２２では、顔特徴量ｖの信頼性指標として有効なコントラスト指標θ_contrastと非対称性指標θ_asymmetricを抽出する。コントラスト指標θ_contrastとして、顔画像 I(x,y)の画素値の標準偏差を次式（数２１）によって計算する。

ここでround()は数値の丸め処理を意味する。このように抽出された信頼性指標θ_contrastを[0,1,2,...,15]の4 bitの範囲に収まるように、値域を越えるものは値を制限する。なお、上記ではコントラスト指標として、画像の標準偏差を計算したが、分散や画像中の画素値の最大値と最小値の差を抽出してもよい。画像中の画素値の最大値と最小値による コントラスト指標は、標準偏差や分散による場合よりも演算量が少ないが、効果は相対的に小さい。

非対称性指標θ_asymmetricとして、顔画像 I(x,y)とその反転画像との間の差分の絶対値(１乗)の平均を次式（数２２）により抽出する。

このように抽出された信頼性指標θ_asymmetricを[0,1,2,...,15]の4 bitの範囲に収まるように値域を越えるものは値を制限する。なお、上記では非対称指標として、絶対値による値(１乗)を用いたが差分の２乗等を用いてもよい。また、平均の代わりに、和等の値を用いても同等の効果を得ることができる。また、差分の最大値を検出して、その値を非対称指標として用いれば演算量が少なくて済む。

信頼性指標抽出部１２２では、顔画像に対して、特徴ベクトルｖと信頼性指標θ_contrastと信頼性指標θ_asymmetricを抽出し、顔メタデータとして出力する。前述したように、上記顔メタデータ生成手順をコンピュータプログラムによってコンピュータに実行させることもできる。

（２）顔類似度算出
次に、顔類似度算出部１４の動作について説明する。顔類似度算出部１４では、二つの顔メタデータの信頼性指標θ_contrast,1、θ_constrast,2とθ_asymmetric,1、θ_asymmetric,2を用いて、分布推定部１４１が事後分布に関するパラメータ情報を推定し、二つの顔メタデータの二つの特徴ベクトルｖ₁、ｖ ₂と事後分布に関するパラメータ情報とを用いて距離算出部１４２が顔特徴間の類似度ｄを算出する。

ここでは、（数８）あるいは（数１８）によって顔の類似度を計算する場合について説明する。

（数８）あるいは（数１８）にて表記されている信頼性指標θ₁、θ₂は本実施形態ではベクトルであり、それぞれの要素はθ₁ = (θ_contrast,1, θ_asymmetric,1)^T、θ₂ = (θ_contrast,2, θ_asymmetric,2)^Tとなる。コントラスト指標、非対称性指標はそれぞれ4bitで表現されているので、θ_iのとり得る状態は256個の状態となる。与えられた信頼性指標θ_iによって、２５６個の状態の中の一つの状態が特定できる。

分布推定部１４１では、後述するように、予め求めておいた信頼性指標θ(256個の状態がある)に対する差ベクトルの分散値σε_{, k}(θ)や分散値σ_W,k(θ)、分散値σ_B,k (θ)をテーブルに記憶しておき、信頼性指標θ₁およびθ₂を用いて、それぞれの分散値テーブルの値を参照し、得られた分散値を事後分布情報として、距離算出部１４２に引き渡す。なお、顔同定の場合には、（数８）で必要な分散値σε_,k(θ₁)、分散値σε_,k (θ₂)の値を距離算出部１４２に出力すればよく、顔識別の場合には、（数１８）に必要な分散値σ_W,k(θ)、分散値σ_B,k(θ)を出力する。

距離算出部１４２では、（数８）あるいは（数１８）に従って適応的マハラノビス距離あるいは適応的判別距離を算出し、類似度ｄとして出力する。

前述した分散値テーブルの分散値は、予め用意した顔画像データサンプルを用いて計算しておく。顔画像サンプルにおける特徴ベクトル集合[ｖ_i]とその信頼性指標[θ_i]から、それぞれの分散値は次のように計算できる。

ここで、"(i, j)がクラスＷに属する"とは、データiとデータjが同一クラス(同一人物)から得られたデータである(クラス内である)ことを意味し、"(i, j)がクラスＢに属する"とは、データiとデータjが異なるクラス(異なる人物)から得られたデータである(クラス間である)ことを意味する。また、Ｎε(θ)、Ｎ_W(θ)、Ｎ_B(θ)はそれぞれのクラスに属するデータの組み合わせの数である。このようにθのビン毎に分散値を計算する際に、そのデータ数が少な過ぎる場合には、近傍のビンのデータを併合するようにして、サンプル数を確保するようにする(これは、分布推定におけるk近傍法(前述Bishop の文献,pp.53)によってbinを併合するのと同様な手法である)。

ここで、（数１８）の場合、（数４）と同様に、σ_W,k([θ_i])² = σ_W,k(θ₁)² + σ_W,k(θ₂)²、および、σ_B,k([θ_i])² = σ_B,k(θ₁)² +σ_B,k(θ₂)²となることに注意されたい。

なお、誤差分散σε_,k(θ)²とクラス内分散σ_W,k(θ)²が同じになるので、顔画像マッチングシステムで（数８）と（数１８）の両方の距離を計算する場合には、これらの分散値テーブルを共有して構わない。

また、誤差分布とクラス間分布は強い相関がある場合が多いので、誤差分 散σε_,k(θ)²の代わりにクラス間分散σ_B,k(θ)²を用いても、信頼性指標を用いない場合よりは精度が向上する(しかし、誤差分散を用いた方が精度が良い)。

このように顔メタデータ間の類似度を信頼性指標θ_contrastや信頼性指標θ_asymmetricを介した事後分布情報を用いて算出することで、精度のよい顔認識を行うことが可能である。前述したように、上記顔類似度算出手順をコンピュータプログラムによってコンピュータに実行させることもできる。

なお、ここでは（数８）と（数１８）を用いて、類似度を計算しているが、次のような様々な計算方法によって近似的に計算し、高速化等を図ることもできる。

上記各式の右辺第二項(lnの部分)を計算しないことで、さらなる高速演算を図ることができる。

また、（数６）や（数１６）によって類似度を計算する場合も、基本的には同様に予め用意した顔画像データサンプルから、それぞれの計算に必要な差ベクトルの誤差の共分散行列Σε(θ)や差ベクトルのクラス内の共分散行列Σ_W(θ)、クラス間の共分散行列Σ_B(θ)を算出して、共分散テーブルとして用意しておき、類似度計算の際にその共分散テーブルを参照するようにすればよい。この方法は共分散行列を用いて距離を計算するために演算量が増加するが、十分な学習サンプルがある場合には類似度計算の精度を向上させることができる。

（数３）の事後分布や（数１４）のクラス間分布、クラス間分布に対して混合正規分布を仮定して、分布関数を推定することで、それぞれ（数１０）や（数２０）の適応的混合マハラノビス距離や適応的混合判別距離を計算してもよい。この場合も、分散や共分散行列を用いて、事後分布情報を計算するのと同様に顔画像データサンプルから、混合正規分布を表す共分散行列Σ_s(θ₁, j)、P(j)等の混合分布を特定するパラメータを求めておき、テーブルとして記憶しておけばよい。なお、この推定については、一般的な推定方法である最尤推定法やＥＭアルゴリズムを用いて推定すればよい。

ここまでの説明では、一枚の顔画像が登録され、一枚の顔画像を用いて検索する場合について説明したが、一人の顔に対して複数の画像が登録され、一枚の顔画像を用いて検索する場合には、例えば、次のようにすればよい。

検索側の特徴ベクトルをｖ_queとし、登録側の特徴ベクトルをｖ_reg,kとし、複数画像登録の場合の類似度d_multi(ｖ_que, [ｖ_reg,1, ｖ_reg,2, ... ,ｖ_reg,n])として、次式（数２７、数２８）に示す計算式に基づき類似度を計算すればよい。

あるいは、

同様に１つの顔当たりの複数枚の画像登録と複数画像による検索の場合も、各組み合わせの類似度の平均や最小値を求め類似度を算出することで、一つの顔データに対する類似度を算出することができる。これは、動画像を複数画像と見倣すことで、本発明のマッチングシステムを動画像における顔認識に対しても適用できることを意味する。

また、上記説明では、同一人物の顔の同定や顔の識別を中心に説明したが、例えば、男性の顔を一つのカテゴリー、女性の顔を一つのカテゴリーと考えて、それぞれの分布に関する情報を求め、男女の顔を識別する性別識別を行ったり、笑った顔、怒った顔、悲しい顔などの表情のカテゴリーを考えて、顔の表情を認識する表情認識に適用することも可能である。１０代、２０代、３０代、４０代というようにカテゴリーを設定し、そのカテゴリー毎に誤差分布、クラス内分布やクラス間分布を求めることで、年齢判別を行うことも可能であり、様々な顔認識に対して本発明を適用することが可能である。

本発明の一実施形態による顔画像マッチングシステムの構成を示すブロック図である。

符号の説明

11: 顔画像入力部
12: 顔メタデータ生成部
13: 顔メタデータ蓄積部
14: 顔類似度算出部
15: 顔画像データベース
16: 制御部
17: 表示部
121: 顔特徴抽出部
122: 信頼性指標抽出部
141: 分布推定部
142: 距離算出部

Claims (4)

1. 画像を入力する画像入力部と、顔画像を蓄積する顔画像データベース部と、を有する顔認識システムにおいて、
   前記画像から抽出した顔特徴量と前記画像から抽出したコントラスト指標あるいは非対称性指標である信頼性指標とを顔メタデータとして出力する顔メタデータ生成部と、
   前記顔メタデータ生成部によって生成された顔メタデータを蓄積する顔メタデータ蓄積部と、
   信頼性指標の値ごとに予め記憶しておいた顔特徴量間の差ベクトルの事後分布を用いて、前記画像から抽出した信頼性指標の値に対応した事後分布を推定し、前記事後分布に基づいて算出した顔特徴量間距離を顔類似度として出力する顔類似度算出部と、
   入力された指令に応じて、前記顔メタデータ生成部、前記顔メタデータ蓄積部および前記顔類似度算出部を制御し、顔画像マッチングを実行する制御部と、
   を備えたことを特徴とする顔認識システム。
2. 画像を入力する画像入力部と顔画像を蓄積する顔画像データベース部とを有するシステムにおける顔認識方法において、
   前記画像から抽出した顔特徴量と前記画像から抽出したコントラスト指標あるいは非対称性指標である信頼性指標とを顔メタデータとして出力し、
   前記顔メタデータ生成部によって生成された複数の顔メタデータを顔メタデータ蓄積部に蓄積し、
   ある顔画像の顔メタデータと前記顔メタデータ蓄積部に蓄積された複数の顔メタデータの各々とを入力し、
   信頼性指標の値ごとに予め記憶しておいた顔特徴量間の差ベクトルの事後分布を用いて、前記画像から抽出した信頼性指標の値に対応した事後分布を推定し、前記事後分布に基づいて算出した顔特徴量間距離を顔類似度として出力し、
   前記顔類似度に従って顔画像マッチング結果を出力する、
   ことを特徴とする顔認識方法。
3. コンピュータに、顔画像の類似度を算出させるためのコンピュータプログラムにおいて、
   前記顔画像から顔特徴量を抽出する顔特徴抽出ステップと、
   前記顔画像からコントラスト指標あるいは非対称性指標である信頼性指標を抽出する信頼性指標抽出ステップと、
   信頼性指標の値ごとに予め記憶しておいた顔特徴量間の差ベクトルの事後分布を用いて、前記顔画像から抽出した信頼性指標の値に対応した事後分布を推定し、前記事後分布に基づいて算出した顔特徴量間距離を顔類似度として出力するステップと、
   を有することを特徴とする類似度算出プログラム。
4. コンピュータに、顔認識をさせるコンピュータプログラムにおいて、
   入力画像から抽出された顔特徴量と前記画像から抽出したコントラスト指標あるいは非対称性指標である信頼性指標とを顔メタデータとして出力するステップと、
   出力された複数の顔メタデータを顔メタデータ蓄積部に蓄積するステップと、
   ある顔画像の顔メタデータと前記顔メタデータ蓄積部に蓄積された複数の顔メタデータの各々とを入力するステップと、
   信頼性指標の値ごとに予め記憶しておいた顔特徴量間の差ベクトルの事後分布を用いて、前記画像から抽出した信頼性指標の値に対応した事後分布を推定し、前記事後分布に基づいて算出した顔特徴量間距離を顔類似度として出力するステップと、
   前記顔類似度に従って顔画像マッチング結果を出力するステップと、
   を有することを特徴とする顔認識プログラム。

Images