JP4947769B2

JP4947769B2 - 顔照合装置および方法並びにプログラム

Info

Publication number: JP4947769B2
Application number: JP2006143869A
Authority: JP
Inventors: 順也森田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-05-24
Filing date: 2006-05-24
Publication date: 2012-06-06
Anticipated expiration: 2026-05-24
Also published as: JP2007316809A

Description

本発明は、照合対象画像が特定の人物の顔を表す顔画像であるか否か照合判定する顔照合装置および方法並びにそのためのプログラムに関するものである。

従来、照合対象となる顔画像が特定の人物の顔を表す顔画像であるか否か照合判定する顔照合手法について種々提案されている。

例えば、非特許文献１では、画素を要素とする多次元の特徴量データを主成分分析により低次元化し、この低次元の特徴量空間における未知パターンの座標と登録パターンの座標との間のユークリッド距離に基づいて照合を行う手法が提案されている。

また例えば、特許文献１では、非特許文献１を利用した手法であって、両目や唇などの顔の特徴点を検出し、アフィン変換を用いてその顔の位置や大きさを所定の位置や大きさに正規化する手法が提案されている。ここでは、正規化の際の顔の位置ずれに対応するため、フーリエ変換によって得られるパワースペクトルを特徴量データとして利用している。

また例えば、非特許文献２では、判別分析を利用することで、クラス間の分離がよくなるような低次元の特徴量空間を作成し、その低次元の特徴量空間における未知パターンの座標と登録パターンの座標との比較により照合を行う手法が提案されている。
特開平５−０２０４４２号公報 M.A.Turk and A.P.Pentland:"Face recognition using eigenfaces", Proc. of IEEE CVPR, pp.586-591, June, 1991. W.Zhao, R.Chakkeappa, A.Krishnaswamy:"Discriminant Analysis of Principle Components for Face Recognition", Proc. of IEEE 3rd International Conference on AFGR, pp.336-341, April, 1998.

ところで、上述の特許文献１および非特許文献１，２の顔を照合する手法は、多数の顔画像からなる顔画像群に基づいて、顔画像の特徴を低次元で効率よく表現できる特徴量空間を求め、その低次元の特徴量空間における未知パターンの座標と登録パターンの座標との比較により照合を行う手法であるが、これらの手法は、“固有顔”を用いた照合手法として知られており、顔の幾何学的正規化を行って正確に位置合せされた顔に対しては精度のよい照合を行うことができる。また、顔の幾何学的正規化に加えて照明に依存する画像成分の正規化（以下、照明正規化という）も前処理として行うことで、照明変化に対してロバストになる。

ここで、どのような顔画像群（学習用画像）を用いてその学習により低次元の特徴量空間を決めるか、また、どのような顔の幾何学的正規化方法、照明正規化方法を用いるかによって、顔照合処理の特徴（長所および短所）に違いが生じてくる。

例えば、特許文献１の手法のように、両目と唇を基準点に変換する方法（自由度６のアフィン変換）は、顔の向きに多少の変化があっても両目と唇の位置を一致させた顔の比較を行うことができるが、顔のアスペクト比（縦横比）という個人差を表す重要な情報を捨てていることになる。これに対して、顔のアスペクト比を変換せずに顔の位置、大きさの正規化を行う方法（自由度４のアフィン変換）は、略正面を向いた顔同士の比較には有効であるが、顔の向きの変化により両目の間の距離、目と唇の間の距離が変化する場合には、２つの顔の両目、唇位置にずれが生じるため不向きである。

これは、学習画像や照明正規化方法についても同様のことが言え、正面顔同士を精度よく比較するための学習画像・照明正規化方法と、顔の向きや表情の変化等を考慮した学習画像・照明正規化方法が考えられ、どちらも長所・短所が存在する。

このように、学習画像、幾何学的正規化方法、照明正規化方法として、ある特定の一手法を用いると、どうしても照合に不向きな画像（短所）が出てくるため、照合精度を保障しようとすると照合可能な顔の表情や向きが限定され、逆に、照合可能な顔の表情や向きを拡大しようとすると照合精度が抑えられるという問題がある。

本発明は上記事情に鑑み、照合可能な顔の表情や向きの対応範囲の拡大と照合精度の向上を同時に図ることができる顔照合装置および方法並びにそのためのプログラムを提供することを目的とするものである。

本発明の顔照合装置は、照合対象である被照合顔画像について、顔の態様が所定の条件を満たす第１の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第１の種類の特徴量を抽出する第１の特徴量抽出手段と、前記被照合顔画像について、顔の態様が前記所定の条件とは異なる条件を満たす第２の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第２の種類の特徴量を抽出する第２の特徴量抽出手段と、特定の人物の顔を表す特定顔画像について抽出された前記第１の種類の特徴量と、前記第１の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第１の類似度を算出する第１の類似度算出手段と、前記特定顔画像について抽出された前記第２の種類の特徴量と、前記第２の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第２の類似度を算出する第２の類似度算出手段と、前記第１および第２の類似度を用いて、前記被照合顔画像が表す顔と前記特定顔画像が表す顔の照合判定を行う照合判定手段とを備えたことを特徴とするものである。

本発明の顔照合装置において、前記第１の学習用顔画像群を、顔の表情および向きが略同じである複数の顔画像からなるものとし、前記第２の学習用顔画像群を、顔の表情および向きの組合せが異なる複数の顔画像を含むものとしてもよい。この場合、前記第１の学習用顔画像群は、例えば、顔の表情が略無表情であり顔の向きが略正面である顔画像からなるものとすることができる。ここで、第２の学習用顔画像群としては、例えば、顔の表情が歯が見えるほどの笑顔、歯が見えない微笑んだ顔、無表情等の変化があり、顔の向きが正面、左向き、右向き、左斜め向き、右斜め向き、上方斜め向き、下方斜め向き等の変化がある顔画像群を考えることができる。

本発明の顔照合装置において、前記被照合顔画像に対して顔のアスペクト比を維持する幾何学的正規化を行う第１の幾何学的正規化手段と、前記被照合顔画像に対して顔のアスペクト比を変え得る幾何学的正規化を行う第２の幾何学的正規化手段とをさらに備え、前記第１の特徴量抽出手段を、前記第１の幾何学的正規化手段により正規化された後の顔画像について特徴量を抽出するものとし、前記第２の特徴量抽出手段を、前記第２の幾何学的正規化手段により正規化された後の顔画像について特徴量を抽出するものとしてもよい。

第１の幾何学的正規化としては、例えば、画像のアスペクト比固定の拡縮、回転、平行移動のみを考慮した自由度４のアフィン変換を考えることができ、第２の幾何学的正規化としては、例えば、画像の左右方向の拡縮、上下方向の拡縮、回転、平行移動を考慮した自由度６のアフィン変換を考えることができる。

また、本発明の顔照合装置において、前記被照合顔画像に対して周波数が所定の閾値以下である低周波数成分を抑制する処理を施して、該顔画像の照明依存成分を正規化する第１の照明正規化手段と、前記被照合顔画像に対して輝度ヒストグラムを平滑化する処理を施して、該顔画像の照明依存成分を正規化する第２の照明正規化手段とをさらに備え、前記第１の特徴量抽出手段を、前記第１の照明正規化手段により正規化された後の顔画像について特徴量を抽出するものとし、前記第２の特徴量抽出手段を、前記第２の照明正規化手段により正規化された後の顔画像について特徴量を抽出するものとしてもよい。

本発明の顔照合装置において前記所定の分析は、主成分分析または線形判別分析であることが望ましい。これらの分析により固有空間またはそれに準ずる空間を定義することができ、対象となる画像データをこの空間に射影して特徴量を抽出する。

本発明の顔照合装置において、前記照合判定手段は、前記第１の類似度と前記第２の類似度との和の大小に基づいて照合判定するものであってもよいし、前記第１および第２の類似度のうち値がより大きい方の類似度の大小に基づいて照合判定するものであってもよい。

本発明の顔照合方法は、照合対象である被照合顔画像について、顔の態様が所定の条件を満たす第１の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第１の種類の特徴量を抽出する第１の特徴量抽出ステップと、前記被照合顔画像について、顔の態様が前記所定の条件とは異なる条件を満たす第２の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第２の種類の特徴量を抽出する第２の特徴量抽出ステップと、特定の人物の顔を表す特定顔画像について抽出された前記第１の種類の特徴量と、前記第１の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第１の類似度を算出する第１の類似度算出ステップと、前記特定顔画像について抽出された前記第２の特徴量種類の特徴量と、前記第２の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第２の類似度を算出する第２の類似度算出ステップと、前記第１および第２の類似度を用いて、前記被照合顔画像が表す顔と前記特定顔画像が表す顔の照合判定を行う照合判定ステップとを有することを特徴とするものである。

本発明のプログラムは、コンピュータを、照合対象である被照合顔画像について、顔の態様が所定の条件を満たす第１の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第１の種類の特徴量を抽出する第１の特徴量抽出手段と、前記被照合顔画像について、顔の態様が前記所定の条件とは異なる条件を満たす第２の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第２の種類の特徴量を抽出する第２の特徴量抽出手段と、特定の人物の顔を表す特定顔画像について抽出された前記第１の種類の特徴量と、前記第１の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第１の類似度を算出する第１の類似度算出手段と、前記特定顔画像について抽出された前記第２の特徴量種類の特徴量と、前記第２の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第２の類似度を算出する第２の類似度算出手段と、前記第１および第２の類似度を用いて、前記被照合顔画像が表す顔と前記特定顔画像が表す顔の照合判定を行う照合判定手段として機能させることを特徴とするものである。

なお、本発明のプログラムは、コンピュータ読取り可能な記録媒体に記録して供給するようにしてもよいし、インターネット等のネットワークを介してダウンロードする形態で供給するようにしてもよい。

本発明の顔照合装置および方法によれば、特定の人物の顔を表す特定顔画像について、顔の態様が第１の条件を満たす第１の学習用顔画像群を分析して決められた、顔の固体判別が可能な第１の特徴量グループの特徴量と、顔の態様が第２の条件を満たす第２の学習用顔画像群を分析して決められた、顔の固体判別が可能な第２の特徴量グループの特徴量とを算出して記憶しておき、入力された被照合顔画像について、同様に各グループの特徴量を算出し、被照合顔画像と特定顔画像との間で、各グループの特徴量同士で比較して、それぞれ類似度を算出し、これら類似度を総合的に利用して両顔画像の照合判定を行うようにしているので、それぞれの顔照合処理、すなわち、類似度の算出の短所を互いに補うことが可能となり、照合可能な顔の表情や向きの対応範囲の拡大と照合精度の向上を同時に図ることができる。

以下、本発明の実施形態について説明する。図１は本発明の実施形態である顔照合装置の構成を示す概略ブロック図である。この顔照合装置は、入力された被照合顔画像と既に登録された登録顔画像（特定顔画像）との間で、抽出された特徴量同士を比較して類似度を算出し、その類似度の大小に基づいて顔の照合判定を行うものであり、無表情で正面を向いた顔の固体判別に特に有効な特徴量の比較による類似度と、表情や向きに変化のある顔の固体判別に特に有効な特徴量の比較による類似度とを用いて、顔の照合判定を行うものである。

図１に示すように、この顔照合装置１は、入力された被照合顔画像Ｐにおける顔を検出する顔検出部１０と、検出された顔から顔部品等の顔の特徴点を検出する顔特徴点検出部２０と、被照合顔画像Ｐに対して顔特徴点検出部２０により検出された特徴点の位置に基づく第１の幾何学的正規化処理を施して正規化顔画像Ｐ１′を得る第１の幾何学的正規化部３１と、正規化顔画像Ｐ１′に対して画像の照明依存成分を正規化する第１の照明正規化処理を施して正規化顔画像Ｐ１″を得る第１の照明正規化部４１と、正規化顔画像Ｐ１″を第１の特徴量空間へ射影して第１の特徴量グループの特徴量ＦＰ１を抽出する第１の特徴量抽出部５１と、登録された特定の人物の顔を表す登録顔画像Ｔに対して第１の幾何学的正規化処理および第１の照明正規化処理を施して得られた正規化顔画像Ｔ１″を第１の特徴量空間へ射影して抽出された第１の特徴量グループの特徴量ＦＴ１を記憶する第１の登録顔特徴量記憶部６１と、特徴量ＦＰ１と特徴量ＦＴ１とを比較して被照合顔画像Ｐと登録顔画像Ｔとの間の第１の類似度Ｒ１を算出する第１の類似度算出部７１と、被照合顔画像Ｐに対して顔特徴点検出部２０により検出された特徴点の位置に基づく第２の幾何学的正規化処理を施して正規化顔画像Ｐ２′を得る第２の幾何学的正規化部３２と、正規化顔画像Ｐ２′に対して画像の照明依存成分を正規化する第２の照明正規化処理を施して正規化顔画像Ｐ２″を得る第２の照明正規化部４２と、正規化顔画像Ｐ２″を第２の特徴量空間へ射影して第２の特徴量グループの特徴量ＦＰ２を抽出する第２の特徴量抽出部５２と、上記の特定の人物の顔を表す登録顔画像Ｔに対して第２の幾何学的正規化処理および第２の照明正規化処理を施して得られた正規化顔画像Ｔ２″を第２の特徴量空間へ射影して抽出された第２の特徴量グループの特徴量ＦＴ２を記憶する第２の登録顔特徴量記憶部６２と、特徴量ＦＰ２と特徴量ＦＴ２とを比較して被照合顔画像Ｐと登録顔画像Ｔとの間の第２の類似度Ｒ２を算出する第２の類似度算出部７２と、第１の類似度Ｒ１と第２の類似度Ｒ２を用いて総合類似度ＲＴを算出する総合類似度算出部８０と、総合類似度ＲＴの大小に基づいて被照合顔画像Ｐと登録顔画像Ｔとの照合判定を行う照合判定部９０とを備えている。

なお、第１の幾何学的正規化部３１、第１の照明正規化部４１、第１の特徴量抽出部５１、第１の登録顔特徴量記憶部６１および第１の類似度算出部７１は、特に無表情で正面を向いた顔の固体判別に有効な類似度算出手段を構成しており、一方、第２の幾何学的正規化部３２、第２の照明正規化部４２、第２の特徴量抽出部５２、第２の登録顔特徴量記憶部６２および第２の類似度算出部７２は、特に表情や向きに変化のある顔の固体判別に有効な類似度算出手段を構成している。

顔検出部１０は、入力された被照合顔画像Ｐの画像データに基づいて、被照合顔画像Ｐに含まれる顔を検出するものであり、テンプレートマッチングによる手法や顔の多数のサンプル画像を用いたマシンラーニング学習により得られた顔判別器を用いる手法等により、顔のおおよその位置を検出するものである。

顔特徴点検出部２０は、被照合顔画像Ｐ上で顔検出部１０により検出された顔の位置周辺において、顔を構成する主要な顔部品を顔の特徴点として検出するものであり、具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法や顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、左右目頭、左右目尻、左右小鼻、左右口角、上唇の計９個の特徴点の位置を検出するものである。

図２は、第１および第２の幾何学的正規化処理の流れを示す図であり、図３は、第１および第２の幾何学的正規化処理の概念を表す図である。

第１の幾何学的正規化部３１は、被照合顔画像Ｐに対して第１の幾何学的正規化処理を施して正規化済みの正規化顔画像Ｐ１′を得るものであり、顔特徴点検出部２０により検出された計９点の各特徴点が予め決められた基準位置に近づくように、被照合顔画像Ｐに施すアフィン変換のパラメータを求め、当該パラメータによるアフィン変換を実際に被照合顔画像Ｐに適用して変形し、変形された被照合顔画像Ｐから顔を含む画像を切り出して、顔位置検出部１０により検出された顔が予め決められた位置や大きさで表された正規化顔画像Ｐ１′を取得するものである。このとき、検出された顔のアスペクト比（縦横比）を変えないように、縦横比固定の拡縮、回転、平行移動のみを考慮した自由度４のアフィン変換、すなわち、次式（１−１），（１−２）を満たすような変換を用いる。

ｘ′＝ａｘ＋ｂｙ＋ｃ（１−１）
ｙ′＝−ｂｘ＋ａｙ＋ｄ（１−２）
ここで、（ｘ，ｙ）は変換前の画素の座標、（ｘ′，ｙ′）は変換後の画素の座標、ａ，ｂ，ｃ，ｄはそれぞれ変換のパラメータを表している。

一方、第２の幾何学的正規化部３２は、被照合顔画像Ｐに対して第２の幾何学的正規化処理を施して正規化済みの正規化顔画像Ｐ２′を得るものであり、第１の幾何学的正規化部３１と同様にアフィン変換を用いて被照合顔画像Ｐを変形するものであるが、この第２の幾何学的正規化処理では、被照合顔画像Ｐにおける顔のアスペクト比を変え得るように、縦の拡縮、横の拡縮、回転、平行移動を考慮した自由度６のアフィン変換、すなわち、次式（２−１），（２−２）を満たすような変換を用いる。

ｘ′＝ａｘ＋ｂｙ＋ｃ（２−１）
ｙ′＝ｄｘ＋ｅｙ＋ｆ（２−２）
ここで、（ｘ，ｙ）は変換前の画素の座標、（ｘ′，ｙ′）は変換後の画素の座標、ａ，ｂ，ｃ，ｄ，ｅ，ｆはそれぞれ変換のパラメータを表している。

図４は、第１および第２の照明正規化処理の流れを示す図であり、図５は、第１および第２の幾何学的正規化処理の概念を表す図である。

第１の照明正規化部４１は、正規化顔画像Ｐ１′に対して第１の照明正規化処理を施して正規化顔画像Ｐ１″を得るものである。具体的には、正規化顔画像Ｐ１′に対してDiffusion Normalizeを行った後、所定のマスクを適用して処理対象を顔領域に限定し、顔領域の直接照明に依存する成分を取り除く直接照明除去を行い、４分割ヒストグラム平滑化を行って照明の違いによるばらつきを抑えた正規化顔画像Ｐ１″を取得するものである。

ここで、Diffusion Normalizeとは、画像に対して周波数が所定の閾値以下である低周波成分を抑制する処理の１つであり、ガウシアンフィルタ等を通して作成したボケ画像（低周波画像）で元画像を除算することで、照明に依存する低周波成分を取り除くものである。具体的には、文献G.Gilboa, YY Zeevi and N.Sochen, “Image Enhancement and Denoising by Complex Diffusion Processes”, IEEE Transaction on PAMI, Vol.25, No.8, pp.1020-1036, 2004.（参考文献１）の手法を用いる。

また、直接照明除去とは、処理対象である顔領域の水平方向における画素値の変化曲線が、実際の変化曲線から直線成分を差し引いて得られた曲線となるように画素値の変換を行うものである。

また、４分割ヒストグラム平滑化とは、処理対象である顔領域を縦横に割って４分割し、分割された各領域毎に画素値とその頻度を表す輝度ヒストグラムを作成し、各領域毎にこの輝度ヒストグラムが占有する画素値の幅が画素値の採り得る最大幅内でより広がるように画素値の変換を行うものである。

一方、第２の照明正規化部４２は、正規化顔画像Ｐ２′に対して第２の照明正規化処理を施して正規化顔画像Ｐ２″を得るものであり、第１の照明正規化部４１と基本的に同様の手法を用いるものであるが、この第２の照明正規化処理では、Diffusion Normalizeは行わない。これは、文献JH Lai, PC Yuen and GC Feng, “Face recognition using holistic Fourier invariant features”, PR Vol.34 No.1, pp.95-109, 2001.（参考文献２）で述べられているように、顔の表情の変化に対して不変である特徴量が画像の低周波成分に含まれており、その低周波成分を照明依存成分として取り除いてしまうと、表情に変化のある顔を照合する場合に、顔の固体判別に有用な情報が欠落した状態で照合することとなるため、このような不具合を抑制するためである。

なお、第１および第２の照明正規化処理の両方の処理においてDiffusion Normalizeを行った場合の顔の照合精度（認識性能）を、Diffusion Normalizeを行わない場合と比較して見てみると、無表情・正面顔で照合を行った場合には照合精度が大幅に向上するのに対し、表情に変化のある顔で照合を行った場合には照合精度が逆に低下するといった結果が得られた。

図６は、第１および第２の特徴量空間を決定するために行われる第１および第２の学習の処理の流れを示す図である。

第１の特徴量抽出部５１は、正規化顔画像Ｐ１″における第１の特徴量グループの特徴量ＦＰ１を抽出するものであり、正規化顔画像Ｐ１″の画像データをより低次元の第１の特徴量空間へ第１の射影行列を用いて射影して特徴量を抽出するものである。ここで、第１の特徴量空間は、下記のような第１の学習により決定される。

無表情で正面を向いた顔の多数の学習用顔画像に対して、上記の第１の幾何学的正規化処理および第１の照明正規化処理を施して得られた正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により第１の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第１の特徴量空間とする。このようにして決められた第１の特徴量空間は、無表情で正面を向いた顔の固体判別がしやすい空間となっている。

一方、第２の特徴量抽出部５２は、正規化顔画像Ｐ２″における第２の特徴量グループの特徴量ＦＰ２を抽出するものであり、正規化顔画像Ｐ２″の画像データをより低次元の第２の特徴量空間へ第２の射影行列を用いて射影して特徴量を抽出するものである。ここで、第２の特徴量空間は、下記のような第２の学習により決定される。

表情および向きに変化のある顔の多数の学習用顔画像に対して、上記の第２の幾何学的正規化処理および第２の照明正規化処理を施して得られた正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により第２の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第２の特徴量空間とする。このようにして決められた第２の特徴量空間は、表情や向きに変化のある顔の固体判別がしやすい空間となっている。

なお、表１は、上記の第１および第２の学習の特徴を対比してまとめたものである。

第１の登録顔特徴量記憶部６１は、登録された特定の人物の顔を表す登録顔画像Ｔに対して上記の第１の幾何学的正規化処理および第１の照明正規化処理を施して得られた正規化顔画像Ｔ１″を、上記の第１の特徴量空間へ射影して抽出された第１の特徴量グループの特徴量ＦＴ１を記憶するものである。

第２の登録顔特徴量記憶部６２は、登録顔画像Ｔに対して上記の第２の幾何学的正規化処理および第２の照明正規化処理を施して得られた正規化顔画像Ｔ２″を、上記の第２の特徴量空間へ射影して抽出された第２の特徴量グループの特徴量ＦＴ２を記憶するものである。

第１の類似度算出部７１は、第１の特徴量抽出部５１により抽出された特徴量ＦＰ１と第１の登録顔特徴量記憶部６１に記憶されている特徴量ＦＴ１とを比較して、被照合顔画像Ｐと登録顔画像Ｔとの間の第１の類似度Ｒ１を算出するものであり、ここでは、特開２００５−１４９５０６号公報に述べられているＡＧＭモデル（付加ガウスモデル）を利用して算出する。

ＡＧＭモデルとは、個人差を表す変数と個人内の見えの変化（照明変化、顔向き変化、経年変化など）を表す変数の和で顔データが表現できると仮定した確率モデルであり、各変数は正規分布に従うものとする。あらかじめ各正規分布のパラメータを推定しておくことで、登録顔画像数が少ない場合にも見えの変化を考慮したロバストな類似度算出処理が可能となる。各正規分布のパラメータ推定には、第１および第２の特徴量空間を決定する際に利用した学習用顔画像群を用いる。

なお、第１の特徴量空間において、特徴量ＦＰ１で規定される被照合顔画像Ｐの座標と、特徴量ＦＴ１で規定される登録顔画像Ｔの座標との間のユークリッド距離をそのまま第１の類似度Ｒ１として用いる方法など、他の類似度算出方法を用いてもよい。

第２の類似度算出部７２は、第２の特徴量抽出部５２により抽出された特徴量ＦＰ２と第２の登録顔特徴量記憶部６２に記憶されている特徴量ＦＴ２とを比較して、被照合顔画像Ｐと登録顔画像Ｔとの間の第２の類似度Ｒ２を算出するものであり、第１の類似度算出部７１と同様にＡＧＭモデルを利用して算出する。

総合類似度算出部８０は、第１の類似度Ｒ１と第２の類似度Ｒ２とを用いて総合的な類似度を表す総合類似度ＲＴを算出するものであり、ここでは、第１の類似度Ｒ１と第２の類似度Ｒ２との和を総合類似度ＲＴとする。なお、総合類似度ＲＴは、このような算出方法のほか、例えば、第１の類似度Ｒ１および第２の類似度Ｒ２のうち値がより大きい方を総合類似度ＲＴとする方法や、第１の類似度Ｒ１および第２の類似度Ｒ２の値の組合せとそのときの実際の照合判定における正解とに基づく学習により得られた基準に従って総合類似度ＲＴを算出する方法等を用いることもできる。

照合判定部９０は、総合類似度ＲＴの大小に基づいて被照合顔画像Ｐと登録顔画像Ｔの照合判定を行ってその判定結果Ｊを出力するものであり、ここでは、総合類似度ＲＴが所定の閾値ＴＨ以上である場合に、被照合顔画像Ｐの顔と登録顔画像Ｔの顔が同一人物の顔であると判定する。

次に、本発明の実施形態である顔照合装置１における処理の流れについて説明する。

図７は、顔照合装置１における処理の流れを示したフローチャートである。図６に示すように、顔照合装置１に被照合顔画像Ｐが入力されると（ステップＳ１）、顔検出部１０が、テンプレートマッチング手法またはマシンラーニング学習で得られた判別器を用いた手法等により被照合顔画像Ｐに含まれる顔を検出し（ステップＳ２）、顔特徴点検出部２０が、被照合顔画像Ｐ中の検出された顔の位置周辺でその顔の特徴点、すなわち、その顔における、左右目頭、左右目尻、左右小鼻、左右口角、上唇の計９個の特徴点を検出する（ステップＳ３）。

顔の特徴点が検出されると、第１の幾何学的正規化部３１が、検出された顔の特徴点を所定の基準位置に近づけるアフィン変換であって顔のアスペクト比が変わらない自由度４のアフィン変換のパラメータを求め、当該パラメータによるアフィン変換を被照合顔画像Ｐに適用して変形し、変形された被照合顔画像Ｐから顔を含む画像を切り出して、顔位置検出部１０により検出された顔が予め決められた位置や大きさで表された正規化顔画像Ｐ１′を取得する（ステップＳ４）。そして、第１の照明正規化部４１が、正規化顔画像Ｐ１′に対してDiffusion Normalizeを行った後、所定のマスクを適用して処理対象を顔領域に限定し、顔領域の直接照明に依存する成分を取り除き、４分割ヒストグラム平滑化を行って照明の違いによるばらつきを抑えた正規化顔画像Ｐ１″を取得する（ステップＳ５）。

正規化顔画像Ｐ１″が取得されると、第１の特徴量抽出部５１は、正規化顔画像Ｐ１″の画像データを、無表情で正面を向いた顔の固体判別がしやすい空間である第１の特徴量空間へ第１の射影行列を用いて射影して、正規化顔画像Ｐ１″における第１の特徴量グループの特徴量ＦＰ１を抽出する（ステップＳ６）。

特徴量ＦＰ１が抽出されると、第１の類似度算出部７１が、この特徴量ＦＰ１と第１の登録顔特徴量記憶部６１に記憶されている特徴量ＦＴ１とに基づいて、ＡＧＭモデルを利用して第１の類似度Ｒ１を算出する（ステップＳ７）。

同様に、第２の幾何学的正規化部３２が、検出された顔の特徴点を所定の基準位置に近づけるアフィン変換であって顔のアスペクト比が変化し得る自由度６のアフィン変換のパラメータを求め、当該パラメータによるアフィン変換を被照合顔画像Ｐに適用して変形し、変形された被照合顔画像Ｐから顔を含む画像を切り出して、顔位置検出部１０により検出された顔が予め決められた位置や大きさで表された正規化顔画像Ｐ２′を取得する（ステップＳ８）。そして、第２の照明正規化部４２が、正規化顔画像Ｐ２′に対して所定のマスクを適用して処理対象を顔領域に限定し、顔領域の直接照明に依存する成分を取り除き、４分割ヒストグラム平滑化を行って照明の違いによるばらつきを抑えた正規化顔画像Ｐ２″を取得する（ステップＳ９）。

正規化顔画像Ｐ２″が取得されると、第２の特徴量抽出部５２は、正規化顔画像Ｐ２″の画像データを、表情および向きに変化のある顔の固体判別がしやすい空間である第２の特徴量空間へ第２の射影行列を用いて射影して、正規化顔画像Ｐ２″における第２の特徴量グループの特徴量ＦＰ２を抽出する（ステップＳ１０）。

特徴量ＦＰ２が抽出されると、第２の類似度算出部７２が、この特徴量ＦＰ２と第２の登録顔特徴量記憶部６２に記憶されている特徴量ＦＴ２とに基づいて、ＡＧＭモデルを利用して第２の類似度Ｒ２を算出する（ステップＳ１１）。

第１の類似度Ｒ１および第２の類似度Ｒ２が算出されると、総合類似度算出部８０が、第１の類似度Ｒ１と第２の類似度Ｒ２の和を総合類似度ＲＴとして算出（ステップＳ１２）する。そして、照合判定部９０が、この総合類似度ＲＴが所定の閾値以上であるか否かを判定し、肯定される場合には被照合顔画像Ｐにおける顔と登録顔画像Ｔにおける顔とが同一人物の顔であると判定し、逆に否定される場合には同一人物の顔でないと判定し、その判定結果Ｊを出力する（ステップＳ１３）。

このように、本発明の実施形態である顔照合装置によれば、特定の人物の顔を表す登録顔画像Ｔについて、第１の学習用顔画像群である、無表情正面顔だけの顔画像群を分析して決められた、顔の固体判別が可能な第１の特徴量グループの特徴量ＦＴ１と、第２の学習用顔画像群である、表情・向きに変化のある顔からなる顔画像群を分析して決められた、顔の固体判別が可能な第２の特徴量グループの特徴量ＦＴ２とを算出して記憶しておき、入力された被照合顔画像Ｐについて、同様に各グループの特徴量ＦＰ１，ＦＰ２を算出し、被照合顔画像Ｐと登録顔画像Ｔとの間で、各グループの特徴量同士で比較して、すなわち、特徴量ＦＰ１とＦＴ１の組合せ、特徴量ＦＰ２とＦＴ２の組合せ毎に比較して、それぞれ類似度Ｒ１，Ｒ２を算出し、これら類似度Ｒ１，Ｒ２を総合的に利用して両顔画像の照合判定を行うようにしているので、それぞれの顔照合処理（類似度の算出）の短所を互いに補うことが可能となり、照合可能な顔の表情や向きの対応範囲の拡大と照合精度の向上を同時に図ることができる。

また、本実施形態の顔照合装置によれば、第１の学習用顔画像群を、顔の表情および向きが略同じである複数の顔画像からなるものとし、第２の学習用顔画像群を、顔の表情および向きが異なる複数の顔画像からなるものとしているので、照合可能な顔の表情および向きが限定されないため、顔画像に基づく顔の照合を顔の向きや表情によらず安定して行うことができる。

また、本実施形態の顔照合装置によれば、第１の学習用顔画像群を、顔の表情が略無表情であり顔の向きが略正面である顔画像からなるものとしているので、特に照合に用いられる頻度が高いと推定される、無表情正面顔の顔での高い照合精度を期待することができる。

また、本実施形態の顔照合装置によれば、被照合顔画像Ｐに対して顔のアスペクト比を維持する幾何学的正規化を行う第１の幾何学的正規化部３１と、被照合顔画像Ｐに対して顔のアスペクト比を変え得る幾何学的正規化を行う第２の幾何学的正規化部３２とを備え、第１の特徴量抽出部５１を、第１の幾何学的正規化部３１により正規化された後の顔画像について特徴量を抽出するものとし、第２の特徴量抽出部５２を、第２の幾何学的正規化部３２により正規化された後の顔画像について特徴量を抽出するものとしているので、顔のアスペクト比という顔の個人差を表す重要な情報を有効に活かせる処理上ではその情報を保持し、一方、有効に活かせない処理上では幾何学的正規化本来の機能を優先して顔の正規化を行うことができ、照合精度の向上をより期待することができる。

また、本実施形態の顔照合装置によれば、被照合顔画像Ｐに対して所定の閾値以下の周波数成分を抑制する処理を施して、当該顔画像の照明依存成分を正規化する第１の照明正規化部４１と、被照合顔画像Ｐに対して輝度ヒストグラムを平滑化する処理を施して、当該顔画像の照明依存成分を正規化する第２の照明正規化部４２とを備え、第１の特徴量抽出部５１を、第１の照明正規化部４１により正規化された後の顔画像について特徴量を抽出するものとし、第２の特徴量抽出部５２を、第２の照明正規化部４２により正規化された後の顔画像について特徴量を抽出するものとしているので、顔の表情の変化に対して不変である特徴が含まれる、画像の低周波成分の情報を有効に活かせる処理上ではその情報を保持し、一方、有効に活かせない処理上では照明正規化本来の機能を優先して顔の正規化を行うことができ、照合精度の向上をより期待することができる。

以上、本発明の実施形態である顔照合装置について説明したが、上記顔照合装置における各処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

顔照合装置１の構成を示すブロック図幾何学的正規化処理の流れを示す図幾何学的正規化処理の概念を示す図照明正規化処理の流れを示す図第１および第２の幾何学的正規化処理の概念を表す図特徴量空間を決定するために行われる学習の処理の流れを示す図顔照合装置１における処理の流れを示す図

符号の説明

１顔検出システム
１０顔検出部
２０顔特徴点検出部
３１第１の幾何学的正規化部
３２第２の幾何学的正規化部
４１第１の照明正規化部
４２第２の照明正規化部
５１第１の特徴量算出部
５２第２の特徴量算出部
６１第１の登録顔特徴量記憶部
６２第２の登録顔特徴量記憶部
７１第１の特徴量抽出部
７２第２の特徴量抽出部
８０総合類似度算出部
９０照合判定部

Claims

照合対象である被照合顔画像について、顔の態様が所定の条件を満たす第１の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第１の種類の特徴量を抽出する第１の特徴量抽出手段と、
前記被照合顔画像について、顔の態様が前記所定の条件とは異なる条件を満たす第２の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第２の種類の特徴量を抽出する第２の特徴量抽出手段と、
特定の人物の顔を表す特定顔画像について抽出された前記第１の種類の特徴量と、前記第１の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第１の類似度を算出する第１の類似度算出手段と、
前記特定顔画像について抽出された前記第２の種類の特徴量と、前記第２の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第２の類似度を算出する第２の類似度算出手段と、
前記第１および第２の類似度を用いて、前記被照合顔画像が表す顔と前記特定顔画像が表す顔の照合判定を行う照合判定手段とを備え、
前記第１の学習用顔画像群が、顔の表情および向きが略同じである複数の顔画像からなるものであり、
前記第２の学習用顔画像群が、顔の表情および向きの組合せが異なる複数の顔画像を含むものであることを特徴とする顔照合装置。
前記第１の学習用顔画像群が、顔の表情が略無表情であり顔の向きが略正面である顔画像からなるものであることを特徴とする請求項１記載の顔照合装置。
前記被照合顔画像に対して顔のアスペクト比を維持する幾何学的正規化を行う第１の幾何学的正規化手段と、
前記被照合顔画像に対して顔のアスペクト比を変え得る幾何学的正規化を行う第２の幾何学的正規化手段とをさらに備え、
前記第１の特徴量抽出手段が、前記第１の幾何学的正規化手段により正規化された後の顔画像について特徴量を抽出するものであり、前記第２の特徴量抽出手段が、前記第２の幾何学的正規化手段により正規化された後の顔画像について特徴量を抽出するものであることを特徴とする請求項１または２記載の顔照合装置。
前記被照合顔画像に対して周波数が所定の閾値以下である低周波数成分を抑制する処理を施して、該顔画像の照明依存成分を正規化する第１の照明正規化手段と、
前記被照合顔画像に対して輝度ヒストグラムを平滑化する処理を施して、該顔画像の照明依存成分を正規化する第２の照明正規化手段とをさらに備え、
前記第１の特徴量抽出手段が、前記第１の照明正規化手段により正規化された後の顔画像について特徴量を抽出するものであり、前記第２の特徴量抽出手段が、前記第２の照明正規化手段により正規化された後の顔画像について特徴量を抽出するものであることを特徴とする請求項１、２または３記載の顔照合装置。
前記所定の分析が、主成分分析または線形判別分析であることを特徴とする請求項１から４いずれか記載の顔照合装置。
前記照合判定手段が、前記第１の類似度と前記第２の類似度との和の大小に基づいて照合判定するものであることを特徴とする請求項１から５記載の顔照合装置。
前記照合判定手段が、前記第１および第２の類似度のうち値がより大きい方の類似度の大小に基づいて照合判定するものであることを特徴とする請求項１から５いずれか記載の顔照合装置。
照合対象である被照合顔画像について、顔の態様が所定の条件を満たす第１の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第１の種類の特徴量を抽出する第１の特徴量抽出ステップと、
前記被照合顔画像について、顔の態様が前記所定の条件とは異なる条件を満たす第２の学習用顔画像群に対する前記所定の分析により決定された、該顔画像群における顔の固体判別が可能な第２の種類の特徴量を抽出する第２の特徴量抽出ステップと、
特定の人物の顔を表す特定顔画像について抽出された前記第１の種類の特徴量と、前記第１の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第１の類似度を算出する第１の類似度算出ステップと、
前記特定顔画像について抽出された前記第２の特徴量種類の特徴量と、前記第２の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第２の類似度を算出する第２の類似度算出ステップと、
前記第１および第２の類似度を用いて、前記被照合顔画像が表す顔と前記特定顔画像が表す顔の照合判定を行う照合判定ステップとを有し、
前記第１の学習用顔画像群が、顔の表情および向きが略同じである複数の顔画像からなるものであり、
前記第２の学習用顔画像群が、顔の表情および向きの組合せが異なる複数の顔画像を含むものであることを特徴とする顔照合方法。
コンピュータを、
照合対象である被照合顔画像について、顔の態様が所定の条件を満たす第１の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第１の種類の特徴量を抽出する第１の特徴量抽出手段と、
前記被照合顔画像について、顔の態様が前記所定の条件とは異なる条件を満たす第２の学習用顔画像群に対する所定の分析により決定された、該顔画像群における顔の固体判別が可能な第２の種類の特徴量を抽出する第２の特徴量抽出手段と、
特定の人物の顔を表す特定顔画像について抽出された前記第１の種類の特徴量と、前記第１の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第１の類似度を算出する第１の類似度算出手段と、
前記特定顔画像について抽出された前記第２の特徴量種類の特徴量と、前記第２の特徴量抽出手段により抽出された特徴量とを比較して、前記被照合顔画像と前記特定顔画像との間の類似性を表す第２の類似度を算出する第２の類似度算出手段と、
前記第１および第２の類似度を用いて、前記被照合顔画像が表す顔と前記特定顔画像が表す顔の照合判定を行う照合判定手段として機能させ、
前記第１の学習用顔画像群が、顔の表情および向きが略同じである複数の顔画像からなるものであり、
前記第２の学習用顔画像群が、顔の表情および向きの組合せが異なる複数の顔画像を含むものであることを特徴とするプログラム。