JP4317465B2 - 顔識別装置、顔識別方法及び顔識別プログラム - Google Patents

Description

本発明は、撮像対象である対象人物の顔を識別する顔識別装置、顔識別方法及び顔識別プログラムに関するものである。
より詳細には、対象人物を撮像して得られた撮像画像において仮定した顔の領域（顔領域）が、対象人物の顔の識別に好適であるか否かを判断し、好適であると判断された顔の領域（顔領域）に基づいて、対象人物の顔の識別を行う顔識別装置、顔識別方法及び顔識別プログラムに関するものである。

近年、ＣＣＤカメラなどのビデオカメラ（以下、単に「カメラ」という）によって対象人物を撮像した画像から、対象人物の顔を認識する方法及びその装置が数多く提案されている。
この種の従来の技術としては、以下のようなものがある。
特開平０９−２５１５３４号公報（段落００２１） 特開平１０−２３２９３４号公報（段落００２３、図１） 特開平１１−０１５９７９号公報（段落００１５〜００３１、図２）

これら特許文献に記載された発明では、対象人物を撮像して得られた撮像画像から顔の領域（顔領域）を抽出し、抽出した顔領域に含まれる目や口などの特徴点を基準として顔領域に正規化処理を施して、正規化した顔領域の画像（正規化顔画像）を作成する。そして、正規化顔画像と予め用意された辞書画像とを比較・照合して、対象人物の顔の認識・識別を行っている。

特許文献１及び特許文献２に記載された発明の場合、顔領域の抽出は、撮像画像の全画面に渡って標準顔画像（テンプレート）を移動させながら相関値を計算し、相関値の最も高い領域を顔領域と見なすことで行っている。
また、特許文献３に記載された発明の場合、顔領域の抽出は、撮像画像における肌色の領域と暗い領域とを検索し、肌色領域内に暗い領域が一定の割合で含まれている肌色領域を顔領域と見なすことで行っている。

しかし、対象人物が移動している場合や、対象人物の撮像を移動しながら行う場合には、光源と対象人物との間の位置関係が変化するので、撮像画像内の対象人物の顔に影が入り、この影の影響を受けて、顔領域の抽出を適切に行えないことがある。
このような場合、前記特許文献に記載の発明では、抽出された顔領域が対象人物の顔の認識・識別に好適であるか否かを判断せずに、対象人物の顔の認識・識別が行われる。よって、不適切な顔領域が抽出された場合、不適切な顔領域に基づいて対象人物の顔の認識・識別を行うことになり、対象人物の顔の認識・識別を正確に行えないという問題が生じている。
そこで、このような問題を生じることのない方法及び装置に対する要求があった。

本発明は、カメラによって撮像された対象人物の撮像画像を基に前記対象人物の顔を識別する識別手段を備えた顔識別装置に関するものである。
この顔識別装置は、前記撮像画像から生成した前記対象人物の輪郭画像を参照して、前記撮像画像内において前記対象人物が存在する対象人物存在領域を設定し、肌色領域情報を参照して、前記対象人物存在領域に含まれる肌色領域を抽出し、当該肌色領域を含む検索領域を予め用意された楕円形の顔テンプレートで走査すると共に、前記顔テンプレートに所定の適合度を示す前記肌色領域を顔領域として推定する顔領域推定手段と、前記カメラから前記対象人物までの距離を表す距離情報に基づいて前記顔領域を基準サイズの画像に変換して基準画像を生成すると共に、当該基準画像における前記顔領域の重心を基準として検索域を設定し、当該検索域に含まれる画素ごとに円形エッジを探索し、所定の円形エッジとなる画素の中から前記対象人物の右瞳候補点と左瞳候補点とを検出する瞳候補点検出手段と、前記右瞳候補点と前記左瞳候補点とを結ぶ線分が前記基準画像内で水平となるように前記基準画像を回転した後に、前記右瞳候補点と前記左瞳候補点との間隔を基準として正規化画像を生成すると共に、当該正規化画像の中で前記左目候補点を含む左目正規化画像をベクトルで表す左目参照用ベクトルと、当該正規化画像の中で前記右目候補点を含む右目正規化画像をベクトルで表す右目参照用ベクトルとを生成し、前記左目参照用ベクトルと前記右目参照用ベクトルとを含む参照用データを生成する参照用データ生成手段と、前記参照用データに含まれる前記左目参照用ベクトルと正規化された複数の左目画像から予め得た左目固有ベクトルとの近似度である距離値を求めると共に、前記右目参照用ベクトルと複数の右目画像から予め得た右目固有ベクトルとの近似度である距離値を求め、求めた両距離値を基に前記顔領域の適否を評価する顔領域評価手段とを含んで構成される。

この顔識別装置では、前記瞳候補点検出手段において、前記右瞳候補点と前記左瞳候補点とを少なくとも２つ以上検出し、前記参照用データ生成手段において、検出された前記右瞳候補点と左瞳候補点との総ての組み合わせについて前記参照用データを作成することが好ましい。

さらに、この顔識別装置では、前記顔領域評価手段において前記顔領域が不適であると判断された場合、前記顔領域評価手段は、前記顔領域推定手段に、前記対象人物の顔領域を再推定するように要求することが好ましく、前記顔領域評価手段において前記顔領域が適切であると判断された場合、前記顔領域評価手段は、瞳候補点検出手段において検出された前記右瞳候補点と前記左瞳候補点とを基準として、前記顔領域の補正を行うことが好ましい。

また、本発明は、カメラによって撮像された対象人物の撮像画像を基に前記対象人物の顔を識別する方法であって、前記撮像画像から生成した前記対象人物の輪郭画像を参照して、前記撮像画像内において前記対象人物が存在する対象人物存在領域を設定し、肌色領域情報を参照して、前記対象人物存在領域に含まれる肌色領域を抽出し、当該肌色領域を含む検索領域を予め用意された楕円形の顔テンプレートで走査すると共に、前記顔テンプレートに所定の適合度を示す前記肌色領域を顔領域として推定する顔領域推定ステップと、前記カメラから前記対象人物までの距離を表す距離情報に基づいて前記顔領域を基準サイズの画像に変換して基準画像を生成すると共に、当該基準画像における前記顔領域の重心を基準として検索域を設定し、当該検索域に含まれる画素ごとに円形エッジを探索し、所定の円形エッジとなる画素の中から前記対象人物の右瞳候補点と左瞳候補点とを検出する瞳候補点検出ステップと、前記右瞳候補点と前記左瞳候補点とを結ぶ線分が前記基準画像内で水平となるように前記基準画像を回転した後に、前記右瞳候補点と前記左瞳候補点との間隔を基準として正規化画像を生成すると共に、当該正規化画像の中で前記左目候補点を含む左目正規化画像をベクトルで表す左目参照用ベクトルと、当該正規化画像の中で前記右目候補点を含む右目正規化画像をベクトルで表す右目参照用ベクトルとを生成し、前記左目参照用ベクトルと前記右目参照用ベクトルとを含む参照用データを生成する参照用データ生成ステップと、前記参照用データに含まれる前記左目参照用ベクトルと正規化された複数の左目画像から予め得た左目固有ベクトルとの近似度である距離値を求めると共に、前記右目参照用ベクトルと複数の右目画像から予め得た右目固有ベクトルとの近似度である距離値を求め、求めた両距離値を基に前記顔領域の適否を評価する顔領域評価ステップと、前記顔領域評価ステップにおいて、前記顔領域が好適であると判断された場合に、前記正規化画像から前記対象人物の顔データを作成する顔データ作成ステップと、前記顔データ作成ステップで作成された顔データを、記憶手段に登録された顔データと比較・照合する顔識別ステップとを有することを特徴とする顔識別方法に関するものである。

さらに本発明は、カメラによって撮像された対象人物の撮像画像を基に前記対象人物の顔を識別するために、コンピュータを、前記撮像画像から生成した前記対象人物の輪郭画像を参照して、前記撮像画像内において前記対象人物が存在する対象人物存在領域を設定し、肌色領域情報を参照して、前記対象人物存在領域に含まれる肌色領域を抽出し、当該肌色領域を含む検索領域を予め用意された楕円形の顔テンプレートで走査すると共に、前記顔テンプレートに所定の適合度を示す前記肌色領域を顔領域として推定する顔領域推定手段、前記カメラから前記対象人物までの距離を表す距離情報に基づいて前記顔領域を基準サイズの画像に変換して基準画像を生成すると共に、当該基準画像における前記顔領域の重心を基準として検索域を設定し、当該検索域に含まれる画素ごとに円形エッジを探索し、所定の円形エッジとなる画素の中から前記対象人物の右瞳候補点と左瞳候補点とを検出する瞳候補点検出手段、前記右瞳候補点と前記左瞳候補点とを結ぶ線分が前記基準画像内で水平となるように前記基準画像を回転した後に、前記右瞳候補点と前記左瞳候補点との間隔を基準として正規化画像を生成すると共に、当該正規化画像の中で前記左目候補点を含む左目正規化画像をベクトルで表す左目参照用ベクトルと、当該正規化画像の中で前記右目候補点を含む右目正規化画像をベクトルで表す右目参照用ベクトルとを生成し、前記左目参照用ベクトルと前記右目参照用ベクトルとを含む参照用データを生成する参照用データ生成手段、前記参照用データに含まれる前記左目参照用ベクトルと正規化された複数の左目画像から予め得た左目固有ベクトルとの近似度である距離値を求めると共に、前記右目参照用ベクトルと複数の右目画像から予め得た右目固有ベクトルとの近似度である距離値を求め、求めた両距離値を基に前記顔領域の適否を評価する顔領域評価手段、前記顔領域評価手段において、前記顔領域が好適であると判断された場合に、前記正規化画像から前記対象人物の顔データを作成する顔データ作成手段、前記顔データ作成手段で作成された顔データを、記憶手段に登録された顔データと比較・照合する顔識別手段として機能させることを特徴とする顔識別プログラムに関するものである。

本発明によると、撮像画像から生成した対象人物の輪郭情報、肌色領域情報、及び距離情報に基づいて顔領域が推定されると共に、推定された顔領域を距離情報に基づいて基準サイズの画像に変換して基準画像を生成する。そして、基準画像において、顔領域の重心を基準として対象人物の右瞳候補点と左瞳候補点とを検出し、検出された右瞳候補点と左瞳候補点との間隔を基準として基準画像の正規化処理を行って、対象人物の参照用データを作成する。そして、作成された参照用データを予め用意された基準データと比較して、推定された顔領域が対象人物の顔の識別に好適に利用できるか否かが評価される。
これにより、対象人物の顔の領域であると推定された領域が、対象人物の顔領域として好適であるか否かが判断できるので、顔領域として推定された領域が対象人物の顔領域として不適切である場合には再度顔領域の推定を行い、顔領域として推定された領域が対象人物の顔領域として適切である場合には、この顔領域を基に対象人物の顔の識別・認識を行うことができる。
よって、より正確に対象人物の顔の識別・認識を行うことができる。

また、検索された左瞳候補点と右瞳候補点との総ての組み合わせについて参照用データが作成され、当該参照用データと基準データとの比較により、どの左瞳候補点と右候補点との組み合わせが、対象人物の顔の識別に好適に利用できるかが評価できる。
これにより、従来のように、厳密に瞳候補点を検索する必要がないので、対象人物の顔の識別・認識に要する処理時間を短縮することが可能となる。

以下、添付図面を参照しながら、本発明の好ましい実施態様を説明する。ここでは、始めに、本発明に係る顔識別装置４を含む顔識別システムＡの構成について図１乃至図５を参照して説明し、その後、顔識別システムＡの動作について図１４及び図１５を参照して説明する。

（顔識別システムＡの構成）
まず、本発明に係る顔識別装置４を含む顔識別システムＡの全体構成について図１を参照して説明する。図１は顔識別システムＡの全体構成を示すブロック図である。

図１に示すように、顔識別システムＡは、対象人物（図示せず）を撮像する２台のカメラ１（１ａ，１ｂ）と、カメラ１で撮像された画像（撮像画像）を解析して各種情報を生成する撮像画像解析装置２と、撮像画像解析装置２で生成された各種情報に基づいて対象人物の輪郭を抽出する輪郭抽出装置３と、撮像画像解析装置２で生成された各種情報及び輪郭抽出装置３で抽出された対象人物の輪郭（輪郭情報）に基づいて、対象人物の顔を識別する顔識別装置４とから構成される。以下、カメラ１、撮像画像解析装置２、輪郭抽出装置３、顔識別装置４について、順に説明する。

（カメラ１）
カメラ１（１ａ，１ｂ）はカラーＣＣＤカメラであり、右カメラ１ａと左カメラ１ｂは、左右に距離Ｂだけ離れて並設されている。ここでは、右カメラ１ａを基準カメラとしている。カメラ１ａ，１ｂで撮像された画像（撮像画像）は、フレーム毎に図示しないフレームグラバに記憶された後、撮像画像解析装置２に同期して入力される。

なお、カメラ１ａ，１ｂで画像（撮像画像）は、図示しない補正機器によりキャリブレーション処理とレクティフィケーション処理を行い、画像補正した後に撮像画像解析装置２に入力される。また、カメラ１が移動カメラであり、撮像画像内の背景が変化する場合は、撮像画像毎のパン、チルト等のカメラ移動量に基づいて、撮像画像をそのカメラ移動量分だけ補正する。

（撮像画像解析装置２）
撮像画像解析装置２は、カメラ１ａ，１ｂから入力された画像（撮像画像）を解析して、「距離情報」、「動き情報」、「エッジ情報」、「肌色領域情報」を生成する装置である。

図２は、図１に示した顔識別システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。図２に示すように、撮像画像解析装置２は、「距離情報」を生成する距離情報生成部２１と、「動き情報」を生成する動き情報生成部２２と、「エッジ情報」を生成するエッジ情報生成部２３と、「肌色領域情報」を生成する肌色領域情報生成部２４とから構成されている。

（距離情報生成部２１）
距離情報生成部２１は、同時刻にカメラ１ａ，１ｂで撮像された２枚の撮像画像の視差に基づいて、各画素についてカメラ１からの距離を検出する。具体的には、基準カメラであるカメラ１ａで撮像された第１の撮像画像と、カメラ１ｂで撮像された第２の撮像画像とからブロック相関法を用いて視差を求め、その視差から三角法を用いてカメラ１から各画素に撮像された物までの距離を求める。そして、求めた距離を第１の撮像画像の各画素に対応付けて、距離を画素値で表した距離画像Ｄ１（図３（ａ）参照）を生成する。この距離画像Ｄ１が距離情報となる。図３（ａ）の例では、同一の距離に対象人物Ｃが存在している。

なお、ブロック相関法とは、第１の撮像画像と第２の撮像画像とで特定の大きさの同一ブロック（例えば１６×１６画素）を比較し、第１の撮像画像と第２の撮像画像とでブロック内の被写体が何画素分ずれているかを調べることにより視差を検出する方法である。

（動き情報生成部２２）
動き情報生成部２２は、基準カメラであるカメラ１ａで時系列に撮像した時刻ｔにおける「撮像画像（ｔ）」と、時刻ｔ＋１における「撮像画像（ｔ＋１）」との差分に基づいて、対象人物の動きを検出する。具体的には、「撮像画像（ｔ）」と「撮像画像（ｔ＋１）」との差分をとり、各画素の変位を調べる。そして、調べた変位に基づいて変位ベクトルを求め、求めた変位ベクトルを画素値で表わした差分画像Ｄ２（図３（ｂ）参照）を生成する。この差分画像Ｄ２が動き情報となる。図３（ｂ）の例では、対象人物Ｃの左腕に動きが検出されている。

（エッジ情報生成部２３）
エッジ情報生成部２３は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）における各画素の濃淡情報又は色情報に基づいて、その撮像画像内に存在するエッジを抽出したエッジ画像を生成する。具体的には、撮像画像における各画素の輝度に基づいて、輝度が大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像Ｄ３（図３（ｃ）参照）を生成する。このエッジ画像Ｄ３がエッジ情報となる。

エッジの検出は、例えばＳｏｂｅｌオペレータを画素毎に乗算し、行又は列単位で、隣の線分と所定の差がある線分をエッジ（横エッジ又は縦エッジ）として検出する。なお、Ｓｏｂｅｌオペレータとは、ある画素の近傍領域の画素に対して重み係数を持つ係数行例のことである。

（肌色領域情報生成部２４）
肌色領域情報生成部２４は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）から、その撮像画像内に存在する対象人物の肌色領域を抽出する。具体的には、撮像画像における全画素のＲＧＢ値を、色相、明度、彩度からなるＨＬＳ空間に変換し、色相、明度、彩度が予め設定された閾値の範囲内にある画素を肌色領域として抽出する（図３（ｄ）参照）。図３（ｄ）の例では、対象人物Ｃの顔が肌色領域Ｒ１として抽出され、手先が肌色領域Ｒ２として抽出されている。この肌色領域Ｒ１，Ｒ２が肌色領域情報となる。

撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」は、輪郭抽出装置３に入力される。また、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」と「肌色領域情報（肌色領域Ｒ１，Ｒ２）」は、顔識別装置４に入力される。

（輪郭抽出装置３）
輪郭抽出装置３は、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」に基づいて、対象人物の輪郭を抽出する装置である（図１参照）。

図２に示すように、輪郭抽出装置３は、対象人物が存在する距離である「対象距離」を設定する対象距離設定部３１と、「対象距離」に基づいた「対象距離画像」を生成する対象距離画像生成部３２と、「対象距離画像内」における「対象領域」を設定する対象領域設定部３３と、「対象領域内」から「対象人物の輪郭」を抽出する輪郭抽出部３４とから構成されている。

（対象距離設定部３１）
対象距離設定部３１は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）と、動き情報生成部２２で生成された差分画像Ｄ２（図３（ｂ）参照）とに基づいて、対象人物が存在する距離である「対象距離」を設定する。具体的には、距離画像Ｄ１における同一の画素値を有する画素を一群（画素群）として、差分画像Ｄ２における前記画素群の画素値を累計する。そして、画素値の累計値が所定値よりも大きい、かつ、カメラ１に最も近い距離にある領域に、最も動き量の多い移動物体、即ち対象人物が存在しているとみなし、その距離を対象距離とする（図４（ａ）参照）。図４（ａ）の例では、対象距離は２．２ｍに設定されている。対象距離設定部３１で設定された対象距離は、対象距離画像生成部３２に入力される。

（対象距離画像生成部３２）
対象距離画像生成部３２は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）を参照し、対象距離設定部３１で設定された対象距離±αｍに存在する画素に対応する画素をエッジ画像Ｄ３（図３（ｃ）参照）から抽出した「対象距離画像Ｄ４」を生成する。具体的には、距離画像Ｄ１における対象距離設定部３１から入力された対象距離±αｍに対応する画素を求める。そして、求められた画素のみをエッジ情報生成部２３で生成されたエッジ画像Ｄ３（図３（ｃ）参照）から抽出し、対象距離画像Ｄ４（図４（ｂ）参照）を生成する。したがって、対象距離画像Ｄ４は、対象距離に存在する対象人物をエッジで表した画像になる。なお、図３（ｃ）の例では、αは０．５ｍに設定されている。対象距離画像生成部３２で生成された対象距離画像Ｄ４は、対象領域設定部３３と輪郭抽出部３４に入力される。

（対象領域設定部３３）
対象領域設定部３３は、対象距離画像生成部３２で生成された対象距離画像Ｄ４内における「対象領域Ｔ」を設定する。具体的には、対象距離画像Ｄ４の縦方向の画素値を累計したヒストグラムＨを生成し、ヒストグラムＨにおける度数が最大となる位置を、対象人物Ｃの水平方向における中心位置と特定する（図５（ａ）参照）。そして、特定された中心位置の左右に特定の大きさ（例えば０．５ｍ）の範囲を対象領域Ｔとして設定する（図５（ｂ）参照）。なお、対象領域Ｔの縦方向の範囲は、特定の大きさ（例えば２ｍ）に設定される。また、対象領域Ｔを設定する際は、カメラ１のチルト角や、カメラ１の高さ等のカメラパラメータを参照して、対象領域Ｔの設定範囲を補正する。対象領域設定部３３で設定された対象領域Ｔは、輪郭抽出部３４に入力される。

（輪郭抽出部３４）
輪郭抽出部３４は、対象距離画像生成部３２で生成された対象領域画像Ｄ４（図４（ｂ）参照）において、対象領域設定部３３で設定された対象領域Ｔ内から対象人物Ｃの輪郭を抽出する。具体的には、Ｓｎａｋｅｓと呼ばれる手法を用いて対象人物Ｃの輪郭Ｏを抽出する（図５（ｃ）参照）。なお、Ｓｎａｋｅｓとは、スネークと呼ばれる閉曲線からなる動的輪郭モデルを用い、予め定義したエネルギーを最小化するように閉曲線を収縮変形させることにより、物体の輪郭を抽出する手法である。輪郭抽出部３４で抽出された対象人物Ｃの輪郭Ｏは、「輪郭情報」として顔識別装置４に入力される（図１参照）。

（顔識別装置４）
図６は、図１に示した顔識別システムＡに含まれる顔識別装置４の構成を示すブロック図である。
顔識別装置４は、輪郭抽出装置３から入力される輪郭情報、そして撮像画像解析装置２から入力される肌色領域情報及び距離情報に基づいて、対象人物の撮像により得られた撮像画像から対象人物の顔が存在すると予想される領域（顔推定領域）を推定し、この顔推定領域が対象人物の顔識別に好適に利用できるかを判断し、好適に利用できると判断した場合のみに対象人物の識別を行い、好適に利用できないと判断した場合には、好適に利用できる顔推定領域の再推定等を行うものである。

図１及び図６に示すように、顔識別装置４は、顔領域推定手段５０と、瞳候補点検出手段６０と、参照用データ生成手段７０と、顔領域評価手段８０と、顔識別手段９０と、記憶手段１００とから構成される。

記憶手段１００には、顔データベースと、瞳データベースと、顔データベース及び瞳データベースのそれぞれに合わせて生成された固有空間を規定する顔と瞳の固有ベクトルとが登録されている。
顔データベースには、個人の顔を固有ベクトルの線形和で表したときの係数が、複数人数分登録されている。
瞳データベースには、個人の瞳を固有ベクトルの線形和で表したときの係数が、複数人数分登録されている。
顔の固有ベクトルは、十分なばらつきを持った複数の正規化された顔画像を主成分分析して得られた固有ベクトルのうち、寄与率の高いものである。
瞳の固有ベクトルは、十分なばらつきを持った複数の正規化された瞳画像を主成分分析して得られた固有ベクトルのうち、寄与率の高いものである。

（顔領域推定手段５０）
顔領域推定手段５０は、輪郭抽出装置３から入力される輪郭情報、そして撮像画像解析装置２から入力される肌色領域情報及び距離情報に基づいて、カメラ１で撮像された画像（撮像画像）から、対象人物の顔が存在するであろう領域（顔推定領域）を決定するものである。

この顔領域推定手段５０は、顔領域検索部５１を含んで構成される。
この顔領域推定手段５０の顔領域検索部５１は、対象人物の撮像により得られた撮像画像の中から対象人物の顔が存在すると推定される領域（顔推定領域）を検索するものである。
具体的には、図７（ａ）に示すように、顔領域検索部５１は、輪郭抽出装置３から入力された輪郭情報を参照して、撮像画像内において対象人物が存在する領域（対象人物存在領域）を確認する。そして、顔領域検索部５１は、撮像画像解析装置２から入力された肌色領域情報を参照して、対象人物存在領域に含まれる肌色領域を確認し、確認された肌色領域とその近傍の領域を検索領域として設定する。そして、この検索領域を予め用意された楕円形の顔テンプレートで走査し、この顔テンプレートと所定の適合度を示す肌色領域を顔推定領域とする。

本実施の形態では、顔テンプレートの楕円内に含まれる肌色領域の面積の割合（面積割合）、顔テンプレートのエッジと肌色領域のエッジとの重なり具合（エッジ適合度）をそれぞれ求め、面積割合やエッジ適合度が所定の閾値を超えた際に、顔テンプレートの楕円が位置する肌色領域を顔推定領域として決定している。
そして、顔領域検索部５１は、顔推定領域が撮像画像においてどこに存在するのかを示すデータ（顔推定領域データ）を生成すると共に、顔推定領域に含まれる画素の画素値を参照して、この顔領域とカメラ１との距離を示す距離データを生成する。
そして、顔領域検索部５１は、顔推定領域データと距離データとを、瞳候補点検出手段６０の基準画像生成部６１に出力する。

（瞳候補点検出手段６０）
瞳候補点検出手段６０は、顔推定領域の中から、対象人物の左目が存在すると予想される領域（左目候補点）と、右目が存在すると予想される領域（右目候補点）とを検出するものである。
この瞳候補点検出手段６０は、基準画像生成部６１と、瞳検索領域設定部６２と、瞳候補点検出部６３とを含んで構成される。

基準画像生成部６１は、顔領域検索部５１から出力された顔推定領域データと距離データに基づいて、対象人物の撮像により得られた撮像画像を拡大縮小して、所定距離における画像と同等のサイズの画像（基準画像）に調整するものである。
具体的には、基準画像生成部６１は、顔領域検索部５１から入力された距離データを参照し、カメラ１から対象人物の顔推定領域（対象人物の顔）までの距離を求める。そして、所定距離が１ｍに設定されている場合には、撮像画像の大きさを、カメラ１から顔推定領域までの距離が１ｍの場合に相当する大きさの画像に調整して、これを基準画像とする。

すなわち、基準画像生成部６１は、カメラ１から対象人物の顔推定領域までの距離が１．５ｍである場合、撮像画像の大きさを距離が１ｍである場合に相当する大きさの画像に拡大し、距離が０．５ｍである場合、撮像画像の大きさを距離が１ｍである場合に相当する大きさの画像に縮小する。
ここで、この基準画像は、撮像画像をα倍して生成することができ、αは次式のような関係にある。
α ＝（顔推定領域内の画素の距離値の平均）／所定距離

ここで、後述する参照用データ生成手段７０の正規化処理部７３において、対象人物の左右の瞳の間の距離が所定ピクセル（例えば、Ｎピクセル）になるように正規化処理が行われるので、本実施の形態では、基準画像における対象人物の左右の瞳の間の距離がほぼ同じピクセル数、すなわちＮピクセルになる大きさの基準画像とすることが好ましい。

例えば、焦点距離がｆｍｍ、セルサイズがＣｍｍ／ｐｉｘのカメラの場合、人間の瞳の間の距離Ｌは平均で６５ｍｍであるので、Ｎピクセルが６５ｍｍになるおおよその所定距離Ｘは、前記値を次式に代入して求めることができる。
Ｘ＝ｆＬ／ＮＣ＝６５ｆ／ＮＣ
よって、この所定距離は、カメラ１の焦点距離やセルサイズに応じて変更されるものである。

そして、基準画像生成部６１は、生成した基準画像を示すデータ（基準画像データ）を、瞳検索領域設定部６２と、参照用データ生成手段７０の正規化処理部７３とに出力する。

なお、本実施の形態では、撮像画像を拡大縮小して所定距離における画像と同じスケールの画像としたものそのものを基準画像としているが、この基準画像の中から、顔推定領域を含んだその周辺領域を所定の大きさで切り出したもの（図７（ｂ））を基準画像とする構成としても良い。
この場合、基準画像の情報量を減らすことができるので、この基準画像生成部６１の後段に位置する瞳検索領域設定部６２、瞳候補点検出部６３、そして参照用データ生成手段７０での処理の際の負担を軽減することができる。
なお、本実施の形態では、説明の便宜上、基準画像の中から顔推定領域の周辺を切り出したもの（図７（ｂ））を基準画像として、以下の説明を行う。

瞳検索領域設定部６２は、顔推定領域の重心Ｇを基準として、対象人物の右目を検索する領域（右目領域Ｒ）と、左目を検索する領域（左目領域Ｌ）とを基準画像の中で設定するものである。
具体的には、図８（ａ）に示すように、瞳検索領域設定部６２は、顔領域検索部５１において生成された顔推定領域データを参照して顔推定領域の重心Ｇを求め、重心Ｇが基準画像内のどの位置にあるのかを、基準画像生成部６１から入力された基準画像データを参照して決定する。
そして、基準画像内において、この重心Ｇを中心として上側に何ピクセル（画素）、下側に何ピクセル、左側に何ピクセル、そして右側に何ピクセルというような所定の大きさの範囲を基準画像において設定する。

本実施の形態では、右目候補点と左目候補点を検出するために、右目候補点検索用に設定された領域（右目領域Ｒ）と、左目候補点検策用に設定された領域（左目領域Ｌ）とが、設定されることになる（図８（ａ）参照）。
なお、各領域（右目領域Ｒと左目領域Ｌ）は、重心Ｇを基準として、上側が広く、下側が狭く、基準画像の中心側が狭く、基準画像の両側側が広くなるような範囲で設定されている。

このように、重心Ｇを基準とするのは、検出された顔推定領域の左右方向における中心を基準として、右目領域と左目領域とを設定すると、撮像画像において対象人物の顔が傾いている場合には、設定された右目領域と左目領域の中に対象人物の瞳が含まれないことがあり得るからである。
また、本実施の形態では、肌色領域情報を利用して顔推定領域を決定しているので、照明による陰影のため肌色領域が正しく検出できず、重心Ｇと本当の顔中心がずれることがある。
例えば、対象人物の首に相当する肌色領域も含んだ形で顔推定領域が決定された場合、重心Ｇは、本来選択されるべき顔推定領域の重心よりも下側に位置し、対象人物の瞳と重心Ｇとが離れてしまうことが考えられる。よって、このような場合であっても、右目候補点と左目候補点との検索が可能となるようにするために、各領域（右目領域Ｒと左目領域Ｌ）を広めに、特に重心Ｇを基準とした上側を広く取っている。

図９（ａ）は、基準画像において設定された右目領域Ｒと左目領域Ｌの拡大図である。図から明らかなように、設定された右目領域Ｒと左目領域Ｌ内では、対象人物の目の周辺の領域が複数の画素の濃淡で表されている。

瞳候補点検出部６３は、設定した右目領域Ｒと左目領域Ｌの中に含まれる画素ごとに円形エッジを探索し、所定の円形エッジとなる画素、すなわち円形エッジ強度の高い画素の中から前記瞳候補点を検出するものである。
具体的には、瞳候補点検出部６３は、右目領域Ｒと左目領域Ｌをそれぞれ円形エッジフィルタで走査し、各領域に含まれる画素（ピクセル）ごとに円形度値を計算する。そして、円形度値の値が最も高い画素を各領域から検出して、これを瞳候補点とする。これにより、各領域において少なくとも一つの瞳候補点が検出されることになる。

ここで、本実施の形態で用いる円形エッジフィルタは、図８（ｂ）に示すように、半径の異なる複数のリングから構成されており、次式から求めた円形度値が、この円形エッジフィルタの中心部が位置する画素の円形度値として取り扱われている。
円形度値＝（領域１の平均輝度レベル）／（領域２の平均輝度レベル）
この円形度値は、複数のリングの中央部ｅが位置する画素について、当該画素を中心とする円形が周囲にあるかを示すものであり、前記式の領域１、領域２は、図８（ｂ）において、たとえば、（ａ，ｂ）、（ｂ，ｃ）などの二つの領域を示す。この円形度値の値が高くなるほど、円形が存在すること、すなわち円形エッジ強度が高いことを意味するものである。

本実施の形態では、瞳候補点検出部６３は、各領域（右目領域Ｒと左目領域Ｌ）のそれぞれにおいて、円形度の値が高い画素のうちの上位３つの画素を瞳候補点として検出する。そして、検出された各瞳候補点に識別番号を付与する。すなわち、図９（ａ）に示すように、右目領域Ｒ内で検出された瞳候補点を、順番に右瞳候補点Ｒ₁，Ｒ₂，Ｒ₃と、左目領域Ｌ内で検出された瞳候補点を、順番に左瞳候補点Ｌ₁，Ｌ₂，Ｌ₃として定める。

そして瞳候補点検出部６３は、瞳候補点の各領域内（右目領域Ｒと左目領域Ｌ）における位置を示す位置情報と当該瞳候補点に該当する識別番号とを示す瞳候補点データを、各瞳候補点について生成し、生成した瞳候補点データを参照用データ生成手段７０に出力する。
なお、本実施の形態では瞳候補点の検出を、基準画像において設定された右目領域Ｒと左目領域Ｌに含まれる画素ごとに円形度値を求めて行っているが、黒丸のテンプレートを用いたパターンマッチングにより、瞳候補点を検索する構成としても良い。

（参照用データ生成手段７０）
参照用データ生成手段７０は、検出された右瞳候補点と左瞳候補点の総ての組み合わせについて、各組み合わせに含まれる右瞳候補点と左瞳候補点を基準として基準画像の正規化処理を行い、参照用データを生成するものである。
ここで、参照用データとは、この参照用データ生成手段７０の後段に位置する顔領域評価手段８０で行われる顔領域評価に用いられるデータであり、選択された右目候補点と左目候補点との組み合わせが対象人物の識別に好適であるか否かの判断に用いられるデータである。
この参照用データ生成手段７０は、瞳ペア設定部７１と、瞳ペア調整部７２と、正規化処理部７３と、参照用データ生成部７４とから構成される。

瞳ペア設定部７１は、瞳候補点検出部６３において検出された右瞳候補点と左瞳候補点との組み合わせを設定するものである。
具体的には、瞳ペア設定部７１は、瞳候補点検出手段６０から入力された瞳候補点データを参照して、左目候補点の数と右目候補点の数とを確認し、左目候補点と右目候補点の総ての組み合わせを設定する。

本実施の形態では、図９（ａ）に示すように、左目領域と右目領域には、右瞳候補点と左瞳候補点とがそれぞれ３つずつ含まれているので、図９（ｂ）に示す合計９つの組み合わせ（ペア１〜ペア９）が設定される。
よって、左目候補点と右目候補点の数がそれぞれ２つずつである場合には、合計４つの組み合わせが瞳ペア設定部７１により設定されることになる。
そして、瞳ペア設定部７１は、図９（ｂ）に示すような内容の情報を、組み合わせ情報として瞳ペア調整部７２に出力する。

瞳ペア調整部７２は、瞳ペア設定部７１において設定された組み合わせ（ペア１〜ペア９）の中から、左瞳候補点と右瞳候補点との幾何配置の妥当性等を基準として瞳候補点の選別を行う、すなわち、明らかに瞳に相当しない瞳候補点を含むペアを除外するものである。
具体的には、瞳ペア調整部７２は、各ペアの左瞳候補点と右瞳候補点との間の距離ｄを求め（図１０（ａ）参照）、この求めた距離ｄが所定の範囲に収まらない場合、当該ペアを除外する。

本実施の形態の場合、距離情報に基づいて基準画像が生成されているので、当該基準画像に含まれる２点（画素）間の距離を求めることができる。すなわち、瞳候補点データに含まれる位置情報から、右瞳候補点と左瞳候補点との距離ｄを求めることができる。
従って、計算により求めた距離ｄの値が、所定の範囲に収まっていない場合、当該瞳ペアに含まれる右瞳候補点と左瞳候補点のうちの少なくとも一方が、瞳に相当しないと判断できることになる。
尚、ここで用いる所定の範囲は、人の瞳間の平均距離６５ｍｍを基準にして任意に設定されるものである。

このように、明らかに瞳に相当しないと考えられる瞳候補点を含むペアを、この瞳ペア調整部７２において除外するのは、
１）図８（ａ）及び図９（ａ）に示すように、検索された瞳候補点（右目候補点（Ｒ₁〜Ｒ₃）と左目候補点（Ｌ₁〜Ｌ₃））の中には、瞳に相当しない領域、例えば眉毛に相当する領域も含まれているので、瞳に相当しない瞳候補点（Ｒ₁、Ｒ₂、Ｌ₁）が含まれる組合せを除外して、この瞳ペア調整部７２の後段に位置する正規化処理部７３での処理を軽減することができる、
２）この瞳ペア調整部７２における処理により、明らかに瞳に相当しない領域を除外できるので、各瞳検索領域から検出される瞳候補点の数を増やして、瞳候補点検出の確度の向上を図ることができる、という理由によるものである。

従って、図１０（ｂ）に示すように、左目候補点と右目候補点との距離ｄだけでなく、左目候補点と右目候補点とを結ぶ線分Ａと水平線Ｂとの交差角αを求め、このαが所定角度以上となるペアを除外する構成とすることも可能である。
この場合、対象人物の顔が傾いた状態で撮像された場合を考慮して、この所定角度αは、２０度程度に設定されていることが好ましい。
従って、この場合、交差角αが２０度以上となるペアは除外されることになる。

そして、瞳ペア調整部７２は、除外されなかったペアを、正規化処理の対象となるペア（正規化対象ペア）と決定し、どのペアが正規化処理の対象であるのかを示す情報と当該ペアに含まれる瞳候補点（右瞳候補点と左瞳候補点）に関するデータ（瞳候補点データ）とを含む情報（正規化対象情報）を生成し、これを正規化処理部７３に出力する。
例えば、図９（ｂ）に示すペアのうち、ペア２、ペア３、そしてペア９が、閾値で設定された範囲に収まらない場合には、瞳ペア調整部７２は、ペア１、ペア４、ペア５、ペア６、ペア７、そしてペア８を正規化対象ペアと決定し、正規化対象ペアとして決定されたペアを示す情報と、当該ペアに含まれる瞳候補点に関する瞳候補点データとを含んで構成される正規化対象情報を生成し、これを正規化処理部７３に出力する。

なお、総てのペアが除外された場合、瞳ペア調整部７２は、ペア不存在情報を顔領域評価手段８０に出力する。

正規化処理部７３は、正規化対象ペアに含まれる瞳候補点（右目候補点と左目候補点）を基準として、基準画像における顔推定領域から正規化顔画像を生成するものである。

具体的には、正規化処理部７３は、瞳ペア調整部７２から出力された正規化対象情報を参照して、正規化処理の対象となるペアを確認する。そして、正規化処理の対象となるペアの各々について、各ペアに含まれる右目候補点と左目候補点との間隔を基準として基準顔画像内の顔推定領域の正規化処理を行って、所定画素の領域（Ｍ×Ｍ画素で表される領域）で構成される正規化顔画像を作成する。

本実施の形態では、図１１に示すように、正規化処理部７３は、右目候補点の中心と左目候補点の中心とを結ぶ線分が基準画像内で水平になるように、顔領域推定手段５０において推定された顔推定領域を回転する。そして、瞳候補点（右目候補点と左目候補点）の位置が所定画素の領域の高さ方向における下から３／４の位置に配置されると共に、右目候補点と左目候補点との間が所定画素（Ｎ画素）で表されるように、回転後の顔推定領域を拡大・縮小して、正規化顔画像を作成する。
従って、ペア１、ペア４、ペア５、ペア６、ペア７、そしてペア８が正規化対象ペアである場合、合計６つの正規化顔画像が、正規化処理部７３において作成されることになる。
そして、正規化処理部７３は正規化処理により得られた正規化顔画像を、参照用データ生成部７４に出力する（図６参照）。

参照用データ生成部７４は、正規化処理部７３から入力された正規化顔画像から、参照用データを生成するものである。ここで、参照用データとは、この参照用データ生成部７４の後段に位置する顔領域評価手段８０で行われる顔領域評価に用いられるデータであり、選択された右目候補点と左目候補点との組み合わせが対象人物の識別に好適であるか否かの判断に用いられるデータである。

具体的には、図１２に示すように、参照用データ生成部７４は、正規化処理部７３から入力された正規化顔画像の中で、左目候補点を含んだその周辺の領域（左目正規化画像）と右目候補点を含んだその周辺の領域（右目正規化画像）とを設定し、設定された各領域に含まれる画素の値をベクトルで表すものである。

ここで、左目正規化画像をベクトルで表したものを左目参照用ベクトル、右目正規化画像をベクトルで表したものを右目参照用ベクトルとすると、参照用データ生成部７４は、左目参照用ベクトルと、右目参照用ベクトルと、そして、これらベクトルがどの正規化対象ペアから生成されたベクトルであるかを示す情報とを含んで構成される参照用データを、正規化対象ペア毎に生成し、生成した参照用データを顔領域評価手段８０に出力する。

従って、ペア１、ペア４、ペア５、ペア６、ペア７、そしてペア８が正規化対象ペアである場合、合計６つの参照用データが顔領域評価手段８０に出力される。
さらに、参照用データ生成部７４は、後述する顔領域評価手段８０から入力される識別対象情報を参照し、当該識別対象情報において示されたペア（例えば、ペア８）について作成された正規化顔画像を顔識別手段９０に出力する。

顔領域評価手段８０は、参照用データ生成部７４から出力された参照用データに基づいて、正規化対象ペアとして決定されたペアの中で、
１）どのペアに含まれる左目候補点と右目候補点とが対象人物の左目と右目を示すものとして適切であるか、
２）顔領域推定手段５０の顔領域検索部５１で検索された顔推定領域が、対象人物の顔の識別に好適であるか、を判断するものである。

具体的には、顔領域評価手段８０は、左目参照用ベクトルと記憶手段１００内に記憶された左目固有ベクトルとの近似度である距離値Ｌｌを求める。さらに、顔領域評価手段８０は、右目参照用ベクトルについても、記憶手段１００内に記憶された右目固有ベクトルとの近似度である距離値Ｌｒを求める。
尚、ここでの計算は、いわゆる固有顔手法を利用して、ＤＦＥＳ（Ｄｅｆｆｅｒｅｎｃｅ Ｆｒｏｍ Ｅｙｅ Ｓｐａｃｅ：目空間からの距離）計算によりユークリッド距離を求めることで行われる。
そして、顔領域評価手段８０は、この距離値（Ｌｌ、Ｌｒ）を総ての正規化対象ペアについて求め、その中から、距離値の値が最も小さい正規化対象ペアを検索する。そして、距離値の値が最も小さい当該正規化対象ペアの距離値を、所定の閾値と比較する。

例えば、ペア１、ペア４、ペア５、ペア６、ペア７、そしてペア８に対応する参照用ベクトルが顔領域評価手段８０に入力されており、ペア８の距離値が一番小さい値を示した場合、顔領域評価手段８０は、このペア８の距離値を所定の閾値と比較する。
そして、この距離値が所定の閾値よりも小さい場合、すなわち近似度が十分に高い場合、顔領域評価手段８０は、ペア８に含まれる瞳候補点（左瞳候補点と右瞳候補点）が、対象人物の左目と右目を示すものとして適切であり、顔領域推定手段５０で検索された顔推定領域が、対象人物の顔の識別に好適な顔領域であると決定する。
そして、適切であると決定された正規化対象ペア（ここでは、ペア８）を示す識別対象情報を、参照用データ生成部７４に出力する。
これを受けて、参照用データ生成部７４は、正規化対象ペア（ここではペア８）について生成された正規化顔画像を顔識別手段９０に出力することになる。

一方、距離値が所定の閾値よりも大きい場合や、瞳ペア調整部７２からペア不存在情報が入力された場合、顔領域推定手段５０で検索された顔推定領域は対象人物の顔の識別に不適切であると見なし、顔領域評価手段８０は、顔推定領域の再検索を命令する信号（顔領域再検索命令信号）を顔領域推定手段５０に出力する。
これにより、顔領域推定手段５０は、撮像画像の中から新たに顔推定領域を決定するか、撮像画像における別のフレームから新たに顔推定領域を決定することになる。

従って、図１３に示すように、顔領域推定手段５０において顔推定領域を決定する際に、顔の存在しない領域を顔推定領域として決定した場合、例えば対象人物の首の領域を顔推定領域として決定した場合や額近傍の領域を顔推定領域と決定した場合、決定された顔推定領域から求めた参照用ベクトルと記憶手段１００に記憶された固有ベクトル空間との間の距離値が大きくなるので、決定された顔推定領域が不適切な領域であることを確認することが可能となる。

（顔識別手段９０）
顔識別手段９０は、正規化顔画像から求めた特徴パラメータを基に記憶手段１００を参照し、当該記憶手段１００中に特徴パラメータが登録された人物群の中で、求めた特徴パラメータに最も近い特徴パラメータを有する人物を検索するものである。

具体的には、顔識別手段９０は、参照用データ生成部７４から入力された正規化顔画像の特徴抽出により、対象人物の顔を表す特徴パラメータを求め、求めた特徴パラメータを基に記憶手段１００を参照する。そして、当該記憶手段１００に特徴パラメータが登録された人物群の中で、参照用データ生成部７４から入力された正規化顔画像の特徴抽出により得られた特徴パラメータに最も近い特徴パラメータを有する人物を検索する。

本実施の形態において、参照用データ生成部７４から入力された正規化顔画像がペア８について作成されたものである場合、ペア８を基準にして生成された正規化顔画像の特徴パラメータを求める。そして、求めた特徴パラメータに最も近い特徴パラメータを有する人物を、記憶手段１００の中から検索する。

ここで、特徴パラメータに最も近い特徴パラメータを有する人物の検索は、生成された特徴パラメータと、記憶手段１００に記憶された各人物の特徴パラメータと間の差が、ある閾値以下となるものを記憶手段１００において検索し、この条件を満たす特徴パラメータを有する顔データが、特徴パラメータが合致する顔データとして取り扱われる（図１２参照）。

そして、顔識別手段９０は、記憶手段１００内に、特徴パラメータが合致する顔データが存在する場合には、当該顔データの氏名情報を参照し、対象人物が誰であるのかを認識し、認識結果を出力する。
一方、特徴パラメータが合致する顔データが存在しない場合には、対象人物が登録されていない旨の認識結果を出力する。

（顔識別装置における処理動作）
次に、図１に示すブロック図、そして図１４に示すフローチャートを参照して、顔識別装置４において行われる処理について詳しく説明する。

図１に示す撮像画像解析装置２により対象人物Ｃの撮像が行われ、撮像画像解析装置２から距離情報及び肌色領域情報が、輪郭抽出装置３から輪郭情報が、顔識別装置４にそれぞれ入力されると、顔領域推定手段５０の顔領域検索部５１は、輪郭情報と肌色情報とを参照し、対象人物の撮像により得られた撮像画像内における肌色領域とその近傍の領域を検索領域として設定し、この検索領域を予め用意された楕円形の顔テンプレートで走査して、この顔テンプレートと所定の適合度を示す領域を顔推定領域とする（ステップＳ３０１）。
そして、顔領域検索部５１は、顔推定領域が撮像画像においてどこに存在するのかを示すデータ（顔推定領域データ）と共に、当該顔推定領域に含まれる画素の画素値を参照して、この顔推定領域とカメラ１との距離を示す距離データを生成する（ステップＳ３０２）。

すると、瞳候補点検出手段６０の基準画像生成部６１は、生成された顔推定領域データと距離データとに基づいて、撮像画像を拡大縮小して、所定距離における画像と同等のサイズの画像（基準画像）に調整する（ステップＳ３０３）。

続いて、瞳候補点検出手段６０の瞳検索領域設定部６２は、顔推定領域の重心Ｇを基準にして、対象人物の右目を検索する領域（右目領域Ｒ）と、左目を検索する領域（左目領域Ｌ）とを基準画像の中で設定する（ステップＳ３０４）。
すると、瞳候補点検出手段６０の瞳候補点検出部６３は、設定した右目領域と左目領域をそれぞれ円形エッジフィルタで走査して（ステップＳ３０５）、各領域の中から瞳候補点（左瞳候補点、右瞳候補点）を検出する（ステップＳ３０６）。

参照用データ生成手段７０の瞳ペア設定部７１は、瞳候補点検出部６３において検出された左目候補点の数と右目候補点の数とを確認し、左目候補点と右目候補点の総ての組み合わせを設定する（ステップＳ３０７）。

すると、参照用データ生成手段７０の瞳ペア調整部７２は、ステップ３０７において設定された総ての組み合わせについて、各組み合わせ（ペア）の左瞳候補点と右瞳候補点との間の距離ｄを求め（図１０（ｂ）参照）、この求めた距離ｄが所定の範囲に収まるか否かを確認する（ステップＳ３０８）、そして、瞳ペア調整部７２は所定の範囲に収まらないペアを除外し、除外されなかったペアを正規化対象ペアと決定する（ステップＳ３０９）。

参照用データ生成手段７０の正規化処理部７３は、正規化対象ペアに含まれる瞳候補点（右目候補点と左目候補点）を基準として、基準顔画像における顔推定領域から正規化顔画像を生成する（ステップＳ３１０）。

参照用データ生成手段７０の参照用データ生成部７４は、正規化処理部７３から入力された正規化顔画像から、左目候補点を含んだその周辺の領域（左目正規化画像）と右目候補点を含んだその周辺の領域（右目正規化画像）とを設定し、設定された各領域をベクトルで表して、それぞれ左目参照用ベクトル、右目参照用ベクトルとし、これらを含む参照用データを生成する（ステップＳ３１１）。

顔領域評価手段８０は、参照用データに含まれる左目参照用ベクトルと記憶手段１００内に記憶された左目固有ベクトルとの近似度である距離値Ｌｌ、右目参照用ベクトルと記憶手段１００内に記憶された右目固有ベクトルと近似度である距離値Ｌｒとをそれぞれ求める。
そして、顔推定領域が顔識別に好適であるのかを、近似度をもとに判断する（ステップＳ３１２）。

顔識別手段９０は、顔推定領域が顔識別に好適であると判断された場合（Ｙｅｓ）、参照用データ生成部７４から入力された正規化顔画像から特徴パラメータを求め、求めた特徴パラメータを基に記憶手段１００を参照し、当該記憶手段１００に特徴パラメータが登録された人物群の中で、参照用データ生成部７４から入力された正規化顔画像の特徴抽出により得られた特徴パラメータに最も近い特徴パラメータを有する人物を検索し、特徴パラメータが所定の条件を満たす顔データが存在する場合には、当該顔データの氏名情報を参照し、対象人物が誰であるのかを認識し、認識結果を出力する（ステップＳ３１３）。

（顔識別システムＡの動作）
次に、顔識別システムＡの動作について図１に示す顔識別システムＡの全体構成を示すブロック図と、図１５に示すフローチャートを参照して説明する。

＜撮像画像解析ステップ＞
図１５に示すフローチャートを参照して、撮像画像解析装置２では、カメラ１ａ，１ｂから撮像画像が入力されると（ステップＳ１０１）、距離情報生成部２１において、撮像画像から距離情報である距離画像Ｄ１（図３（ａ）参照）を生成し（ステップＳ１０２）、動き情報生成部２２において、撮像画像から動き情報である差分画像Ｄ２（図３（ｂ）参照）を生成する（ステップＳ１０３）。また、エッジ情報生成部２３において、撮像画像からエッジ情報であるエッジ画像Ｄ３（図３（Ｃ）参照）を生成し（ステップＳ１０４）、肌色領域情報生成部２４において、撮像画像から肌色領域情報である肌色領域Ｒ１，Ｒ２（図３（ｄ）参照）を抽出する（ステップＳ１０５）。

＜輪郭抽出ステップ＞
引き続き図１５に示すフローチャートを参照して、輪郭抽出装置３では、まず、対象距離設定部３１において、ステップＳ１０２とステップＳ１０３で生成された距離画像Ｄ１と差分画像Ｄ２から、対象人物が存在する距離である対象距離を設定する（ステップＳ１０６）。続いて、対象距離画像生成部３２において、ステップＳ１０４で生成されたエッジ画像Ｄ３からステップＳ１０６で設定された対象距離に存在する画素を抽出した対象距離画像Ｄ４（図４（ｂ）参照）を生成する（ステップＳ１０７）。

次に、対象領域設定部３３において、ステップＳ１０７で生成された対象距離画像Ｄ４内における対象領域Ｔ（図５（ｂ）参照）を設定する（ステップＳ１０８）。そして、輪郭抽出部３４において、ステップＳ１０８で設定された対象領域Ｔ内から、対象人物の輪郭Ｏ（図５（ｃ）参照）を抽出する（ステップＳ１０９）。

＜顔領域決定ステップ＞
図１５に示すフローチャートを参照して、
顔領域推定手段５０において、ステップＳ１０２において生成された距離情報、ステップＳ１０５において生成された肌色領域情報、そしてＳステップ１０９で生成された輪郭情報に基づいて、撮像画像内において対象人物の顔が存在するであろう領域（顔推定領域）を決定し、当該顔推定領域とカメラ１との距離を示す距離データを生成する（ステップＳ１１０）。
＜瞳候補点検出ステップ＞
続いて、瞳候補点検出手段６０において、ステップＳ１１０において生成された距離データに基づいて基準画像を生成し、この基準画像内の顔推定領域の重心Ｇを基準にして、基準画像内において、対象人物の瞳を検索する領域を設定する。そして、この領域を円形エッジフィルタで走査して瞳候補点（左瞳候補点、右瞳候補点）を検出する（ステップＳ１１１）。

＜参照用データ生成ステップ＞
参照用データ生成手段７０において、瞳候補点の中に含まれる左瞳候補点と右瞳候補点の総ての組み合わせを設定し、その中で、左瞳候補点と右瞳候補点との間の距離ｄが所定の範囲に収まる左瞳候補点と右瞳候補点の組み合わせ（ペア）を正規化対象ペアと決定する。
そして、正規化対象ペアに含まれる瞳候補点（右目候補点と左目候補点）を基準として、基準顔画像における顔推定領域から正規化顔画像を生成し、この中から、後段のステップ１１３における評価に用いられる参照用データを生成する（ステップＳ１１２）。

＜顔領域評価ステップ＞
続いて、顔領域評価手段８０において、参照用データに基づいて、顔領域推定手段５０で決定された顔領域が、対象人物の顔の識別に好適であるかを判断する（ステップＳ１１３）。

＜顔識別ステップ＞
最後に、顔識別手段９０において、ステップ１１３において、顔領域推定手段５０で決定された顔領域が、対象人物の顔の識別に好適である場合、ステップ１１２で生成された正規化顔画像から特徴パラメータを求め、記憶手段１００に記憶された特徴パラメータの中で、最も近い特徴パラメータを検索し、カメラ１を介して撮像された対象人物の顔の識別を行う（ステップＳ１１４）。

（瞳候補点の補正）
前述の実施の形態では、瞳候補点検出部６３は、右目領域と左目領域をそれぞれ円形エッジフィルタで走査し、各領域に含まれる画素（ピクセル）ごとに円形度を計算し、円形度の値が最も高い画素を瞳候補点としている。
ここで、瞳候補点の位置の精度を向上させるために、対象人物の顔の識別に好適であると判断された正規化対象ペアを確認し、当該正規化対象ペアに含まれる瞳候補点（左瞳候補点と右瞳候補点）の位置の補正を行う瞳候補点補正部７５をさらに備えた構成とすることも可能である。

この瞳候補点補正部７５は、左目候補点と右目候補点の周りの画素のそれぞれを基準にして、新たに左目参照用ベクトルと右目参照用ベクトルを求める。そして、これらと左目固有ベクトルと、右目固有ベクトルとの間の近似度を求め、より近似度の高い画素が、左瞳候補点と右瞳候補点の近傍にある場合、当該画素に瞳候補点を変更するものである。

図１６を参照してより具体的に説明すると、この図において、グラフの底面に写っているのは左目と眉毛を含む画像であり、その上の曲面は、各画素における近似度（ＤＦＥＳ値）である。この図において、曲面と底面との距離が近いほど近似度が高いことを示している。
例えば、はじめに図中の画素Ｘが瞳候補点として検索されていたとしても、この画素Ｘの周辺の画素について上述の方法により近似度（ＤＦＥＳ値）を求め、画素Ｙの方がより高い近似度を示した場合に、当該画素Ｙが瞳候補点としてより適切であると判断し、瞳候補点を画素Ｙに変更する。

これにより、正規化処理部７３において、変更後の瞳候補点に基づいて正規化顔画像を再度生成し、この正規化顔画像に基づいて、顔識別手段９０において、対象人物の識別を行えば、より正確な対象人物の識別が行えることになる。

（参照用データ生成部７４での処理の他の態様）
前述したように、本実施の形態では、参照用データ生成部７４は、正規化処理部７３から入力された正規化顔画像の中で左目正規化画像と右目正規化画像とを設定し、設定された各領域をベクトル（左目参照用ベクトル、右目参照用ベクトル）で表すように構成されている。
しかしながら、参照用データ生成部７４において、左目参照用ベクトルと、右目参照用ベクトルとを生成せずに、正規化顔画像の全体をベクトルで表した顔参照用ベクトルを生成する構成とすることも可能である。

この場合、顔領域評価手段８０では、顔参照用ベクトルと記憶手段１００の顔固有ベクトルとの距離値を求め、すなわち、ＤＦＦＳ（Ｄｅｆｆｅｒｅｎｃｅ Ｆｒｏｍ Ｆａｃｅ Ｓｐａｃｅ：顔空間からの距離）計算によりユークリッド距離を求め、この距離値を基に、前述の手順に従って、顔領域推定手段５０において決定された顔推定領域が、対象人物の顔の識別に好適であるか否かの判断を行うことができる（図１２参照）。

（顔推定領域の補正）
ここで、顔領域推定手段において対象人物の顔が存在すると推定された領域（顔推定領域）が対象人物の顔の領域として適切であると顔領域評価手段において判断された場合に、顔領域評価手段は、瞳候補点検出手段において検出された右瞳候補点と左瞳候補点とを基準として、顔推定領域を再度推定、すなわち顔推定領域の補正を行う構成とすることも可能である。

具体的には、対象人物の顔を検索するために撮像画像において設定された検索領域を楕円形の顔テンプレートで走査する際に、この顔テンプレート内の目に相当する位置と、瞳候補点との位置を一致させて、すなわち右瞳候補点と前記左瞳候補点とを基準として、顔推定領域を再設定（補正）する。

これにより、この補正された顔推定領域（補正後顔推定領域）は、当初推定された顔推定領域よりもより正確に対象人物の顔が存在する領域を示しているので、より正確に対象人物の顔が存在すると領域を決定することが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明は前記実施形態に限定されるものではない。例えば、本実施形態では、顔識別システムとして説明したが、顔識別システムの各構成の処理を汎用的なコンピュータ言語で記述したプログラムとしてとらえることも可能である。

また、本発明に係る顔識別装置は、対象人物が移動している場合や、対象人物の撮像を移動しながら行う場合のように、光源と対象人物との間の位置関係が変化して、顔領域の抽出が常に成功するとは限らない状況であっても、顔識別に好適な顔領域であるかの評価を行った上で顔領域の抽出が行われるので、対象人物の顔識別を好適に行うことができる。よって、脚式歩行ロボットや自動車などの種々の移動体への応用も可能である。

顔識別システムＡの全体構成を示すブロック図である。 図１に示した顔識別システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。 （ａ）は距離画像Ｄ１、（ｂ）は差分画像Ｄ２、（ｃ）はエッジ画像Ｄ３、（ｄ）は肌色領域Ｒ１，Ｒ２を示す図である。 対象距離を設定する方法を説明するための図である。 対象領域Ｔを設定する方法と、対象領域Ｔ内から対象人物Ｃの輪郭Ｏを抽出する方法を説明するための図である。 図１に示した顔識別システムＡに含まれる顔識別装置４の構成を示すブロック図である。 （ａ）は、撮像画像から生成した基準画像において、顔推定領域を決定する方法を説明する図である。 （ｂ）は、基準画像における顔推定領域として決定された領域周辺の拡大図である。 （ａ）は、顔推定領域の中から、左目候補点と右目候補点とを検索する左目領域と右目領域とを示す図である。 （ｂ）は、円形エッジフィルタの一態様を説明する図である。 （ａ）は、左目領域と右目領域において検索された左瞳候補点と右瞳候補点を説明するための図である。 （ｂ）は、左瞳候補点と右目候補点について設定された組み合わせを説明する図である。 （ａ）は、左瞳候補点と右目候補点とのペアの中から、不適切なペアを除外する方法を説明する図である。 （ｂ）は、左瞳候補点と右目候補点とのペアの中から、不適切なペアを除外する方法を説明する図である。 基準画像から、正規化顔画像を生成するまでの手順を説明する図である。 顔推定領域から生成した参照用データと基準データとの近似度を求める場合を説明する説明図である。 顔領域の推定を失敗した場合の例を示す図である。 顔識別装置４における処理を説明するためのフローチャートである。 顔認識システムＡにおける処理を説明するためのフローチャートである。 瞳候補点を補正する際に行う近似計算の結果を模式的に表す図である。

符号の説明

Ａ 顔識別システム
１ カメラ
２ 撮像画像解析装置
３ 輪郭抽出装置
４ 顔識別装置
５０ 顔領域推定手段
６０ 瞳候補点検出手段
７０ 参照用データ生成手段
８０ 顔領域評価手段
９０ 顔識別手段
１００ 記憶手段

Claims (6)

1. カメラによって撮像された対象人物の撮像画像を基に前記対象人物の顔を識別する顔識別手段を備えた顔識別装置であって、
   前記撮像画像から生成した前記対象人物の輪郭画像を参照して、前記撮像画像内において前記対象人物が存在する対象人物存在領域を設定し、肌色領域情報を参照して、前記対象人物存在領域に含まれる肌色領域を抽出し、当該肌色領域を含む検索領域を予め用意された楕円形の顔テンプレートで走査すると共に、前記顔テンプレートに所定の適合度を示す前記肌色領域を顔領域として推定する顔領域推定手段と、
   前記カメラから前記対象人物までの距離を表す距離情報に基づいて前記顔領域を基準サイズの画像に変換して基準画像を生成すると共に、当該基準画像における前記顔領域の重心を基準として検索域を設定し、当該検索域に含まれる画素ごとに円形エッジを探索し、所定の円形エッジとなる画素の中から前記対象人物の右瞳候補点と左瞳候補点とを検出する瞳候補点検出手段と、
   前記右瞳候補点と前記左瞳候補点とを結ぶ線分が前記基準画像内で水平となるように前記基準画像を回転した後に、前記右瞳候補点と前記左瞳候補点との間隔を基準として正規化画像を生成すると共に、当該正規化画像の中で前記左目候補点を含む左目正規化画像をベクトルで表す左目参照用ベクトルと、当該正規化画像の中で前記右目候補点を含む右目正規化画像をベクトルで表す右目参照用ベクトルとを生成し、前記左目参照用ベクトルと前記右目参照用ベクトルとを含む参照用データを生成する参照用データ生成手段と、
   前記参照用データに含まれる前記左目参照用ベクトルと正規化された複数の左目画像から予め得た左目固有ベクトルとの近似度である距離値を求めると共に、前記右目参照用ベクトルと複数の右目画像から予め得た右目固有ベクトルとの近似度である距離値を求め、求めた両距離値を基に前記顔領域の適否を評価する顔領域評価手段と
   を有することを特徴とする顔識別装置。
2. 前記瞳候補点検出手段では、前記右瞳候補点と前記左瞳候補点とを少なくとも２つ以上ずつ検出し、
   前記参照用データ生成手段では、検出された前記右瞳候補点と左瞳候補点との総ての組み合わせについて前記参照用データを作成することを特徴とする請求項１に記載の顔識別装置。
3. 前記顔領域評価手段において前記顔領域が不適であると判断された場合、
   前記顔領域評価手段は、前記顔領域推定手段に、前記対象人物の顔領域を再推定するように要求することを特徴とする請求項１又は請求項２に記載の顔識別装置。
4. 前記顔領域評価手段において前記顔領域が適切であると判断された場合、
   前記顔領域評価手段は、前記右瞳候補点と前記左瞳候補点とを基準として、前記顔領域の補正を行うことを特徴とする請求項１乃至請求項３の何れか一項に記載の顔識別装置。
5. カメラによって撮像された対象人物の撮像画像を基に前記対象人物の顔を識別する方法であって、
   前記撮像画像から生成した前記対象人物の輪郭画像を参照して、前記撮像画像内において前記対象人物が存在する対象人物存在領域を設定し、肌色領域情報を参照して、前記対象人物存在領域に含まれる肌色領域を抽出し、当該肌色領域を含む検索領域を予め用意された楕円形の顔テンプレートで走査すると共に、前記顔テンプレートに所定の適合度を示す前記肌色領域を顔領域として推定する顔領域推定ステップと、
   前記カメラから前記対象人物までの距離を表す距離情報に基づいて前記顔領域を基準サイズの画像に変換して基準画像を生成すると共に、当該基準画像における前記顔領域の重心を基準として検索域を設定し、当該検索域に含まれる画素ごとに円形エッジを探索し、所定の円形エッジとなる画素の中から前記対象人物の右瞳候補点と左瞳候補点とを検出する瞳候補点検出ステップと、
   前記右瞳候補点と前記左瞳候補点とを結ぶ線分が前記基準画像内で水平となるように前記基準画像を回転した後に、前記右瞳候補点と前記左瞳候補点との間隔を基準として正規化画像を生成すると共に、当該正規化画像の中で前記左目候補点を含む左目正規化画像をベクトルで表す左目参照用ベクトルと、当該正規化画像の中で前記右目候補点を含む右目正規化画像をベクトルで表す右目参照用ベクトルとを生成し、前記左目参照用ベクトルと前記右目参照用ベクトルとを含む参照用データを生成する参照用データ生成ステップと、
   前記参照用データに含まれる前記左目参照用ベクトルと正規化された複数の左目画像から予め得た左目固有ベクトルとの近似度である距離値を求めると共に、前記右目参照用ベクトルと複数の右目画像から予め得た右目固有ベクトルとの近似度である距離値を求め、求めた両距離値を基に前記顔領域の適否を評価する顔領域評価ステップと、
   前記顔領域評価ステップにおいて、前記顔領域が好適であると判断された場合に、前記正規化画像から前記対象人物の顔データを作成する顔データ作成ステップと、
   前記顔データ作成ステップで作成された顔データを、記憶手段に登録された顔データと比較・照合する顔識別ステップと
   を有することを特徴とする顔識別方法。
6. カメラによって撮像された対象人物の撮像画像を基に前記対象人物の顔を識別するために、コンピュータを、
   前記撮像画像から生成した前記対象人物の輪郭画像を参照して、前記撮像画像内において前記対象人物が存在する対象人物存在領域を設定し、肌色領域情報を参照して、前記対象人物存在領域に含まれる肌色領域を抽出し、当該肌色領域を含む検索領域を予め用意された楕円形の顔テンプレートで走査すると共に、前記顔テンプレートに所定の適合度を示す前記肌色領域を顔領域として推定する顔領域推定手段、
   前記カメラから前記対象人物までの距離を表す距離情報に基づいて前記顔領域を基準サイズの画像に変換して基準画像を生成すると共に、当該基準画像における前記顔領域の重心を基準として検索域を設定し、当該検索域に含まれる画素ごとに円形エッジを探索し、所定の円形エッジとなる画素の中から前記対象人物の右瞳候補点と左瞳候補点とを検出する瞳候補点検出手段、
   前記右瞳候補点と前記左瞳候補点とを結ぶ線分が前記基準画像内で水平となるように前記基準画像を回転した後に、前記右瞳候補点と前記左瞳候補点との間隔を基準として正規化画像を生成すると共に、当該正規化画像の中で前記左目候補点を含む左目正規化画像をベクトルで表す左目参照用ベクトルと、当該正規化画像の中で前記右目候補点を含む右目正規化画像をベクトルで表す右目参照用ベクトルとを生成し、前記左目参照用ベクトルと前記右目参照用ベクトルとを含む参照用データを生成する参照用データ生成手段、
   前記参照用データに含まれる前記左目参照用ベクトルと正規化された複数の左目画像から予め得た左目固有ベクトルとの近似度である距離値を求めると共に、前記右目参照用ベクトルと複数の右目画像から予め得た右目固有ベクトルとの近似度である距離値を求め、求めた両距離値を基に前記顔領域の適否を評価する顔領域評価手段、
   前記顔領域評価手段において、前記顔領域が好適であると判断された場合に、前記正規化画像から前記対象人物の顔データを作成する顔データ作成手段、
   前記顔データ作成手段で作成された顔データを、記憶手段に登録された顔データと比較・照合する顔識別手段
   として機能させることを特徴とする顔識別プログラム。