JP4910507B2 - 顔認証システム及び顔認証方法 - Google Patents

Description

本発明は、人体の顔領域の三次元データに基づき認証データの登録処理及び照合処理等を行う顔認証システム及び顔認証方法に関する。

従来、人体の顔領域の二次元画像データを利用して、個人認証を行う各種の方法が提案されている。例えば、認証対象者の顔領域を含む二次元画像を取得し、この画像と所定の顔テンプレートとのテンプレートマッチングを行って顔領域を特定した上で画像情報を予め登録しておき、認証時に取得された顔領域の画像と登録画像との特徴量同士を比較することで個人認証を行う方法が知られている。

また、特許文献１には、上記のような二次元画像データを取得する撮像装置に加えて、顔領域の三次元データを取得する三次元形状測定機器を用い、二次元画像データ及び三次元データを参照して個人認証を行う方法も提案されている。この方法によれば、顔領域の三次元的な特徴量を加えて認証処理を行うことができるので、一層的確で効率的な認証が実行可能となる。なお、特許文献２には、同一対象物について二次元画像データ及び三次元データを所得する場合において、三次元データの欠落領域を二次元画像上で表示させる技術が開示されている。
特開２００４−１２６７３８号公報 特開２０００−７６４６０号公報

ところで、顔領域の三次元データを取得する際、顔向き等により三次元データが欠落する場合が多々ある。三次元データは、例えば対象物にパターン光を投影し、その反射光を受光する方式で測定されるが、撮像光学系に顔が正対していないと、頬付近のように急峻な傾斜部分に照射された光の反射光が十分に受光されない場合が生じる。この場合、反射光の受光量が不十分な部分がデータ欠落部分となる。

このような欠落を含む状態で認証対象者のテンプレートが登録されると、認証精度が低下するため、登録時に取得された三次元データの品質を評価することが望ましい。これは、照合時に取得される三次元データについても同様である。この品質の評価は、単純に顔領域における三次元データの欠落割合を算出するだけでは不十分である。すなわち、単純な欠落割合の算出では、顔の姿勢等によるデータの欠落なのか、撮影条件の不備等（照明具合が悪い、遮蔽物が介在した等）に基づく欠落なのかが判別できないからである。

従って本発明は、三次元データの登録時若しくは照合時に、そのデータの品質を的確に評価することができる顔認証システム及び顔認証方法を提供することを目的とする。

本発明の請求項１に係る顔認証システムは、認証対象者の顔領域の三次元データを多点で取得するデータ入力手段と、前記三次元データに基づく認証データの登録処理若しくは照合処理を行う処理手段とを備え、前記処理手段は、前記三次元データの取得点毎に、当該三次元データの品質を評価して品質データを生成する品質評価手段と、前記品質データに基づいて、前記顔領域における品質の分布を求める品質分布導出手段とを含むことを特徴とする。

この構成によれば、品質評価手段により三次元データの取得点毎に品質データが生成され、品質分布導出手段により顔領域における品質の分布が求められる。顔の姿勢等による三次元データの欠落の場合、その欠落パターンはある程度典型化することができる。これは、顔がほぼ左右対称な形状を有していることに起因する。顔は、左右の周辺部で正面に対して急峻な勾配をもつため、顔が正面を向いていない場合は、三次元データの欠落（三次元データの品質が悪い部分）は左右非対称に出現することが多い。従って、三次元データの品質分布を求めることで、顔の向きの不適切さが原因である三次元データの欠落を把握できるようになり、より欠落が少ない状態での認証データの登録や照合を誘導できるようになる。

上記構成において、前記品質評価手段は、前記三次元データの品質を所定の閾値を用いて高低評価するものであって、前記品質分布導出手段は、前記三次元データの品質が低品質であると評価された部分の前記顔領域における偏り度合いを求めるように構成することが望ましい（請求項２）。

この構成によれば、三次元データの品質が所定の閾値を用いて２値的に高低評価される。そして、低品質であると評価された部分が、顔領域においてどのような偏り度合いを呈しているかが導出される。この偏り度合いは、顔の向きによって変化する。すなわち、顔が正面を向いている場合は、概ね顔の中央部分が高品質で周辺部分がまんべんなく低品質であるような偏りとなる。一方、顔が正面を向いていない場合は、低品質部分が一つの周辺部分に偏在した偏りとなる。従って、顔の姿勢等による三次元データの欠落状態を簡単且つ的確に把握できるようになる。

また、上記構成において、前記品質評価手段は、前記三次元データの品質を所定の指標を用いた信頼値として評価するものであって、前記品質分布導出手段は、前記三次元データの信頼値指標の前記顔領域における偏り度合いを求めるように構成することができる（請求項３）。この構成によれば、三次元データの品質を２値的に評価するのではなく、２値化する前の信頼値で偏り度合いが求められるので、一層精細な偏りを求めることが可能となる。

これらの構成において、前記品質分布導出手段は、前記偏り度合いを、顔の左右方向に相当する軸方向について導出することが望ましい（請求項４）。顔テンプレートの場合、顔が上下方向に傾いているよりも、左右方向に傾いている場合の方が、三次元データの欠落が生じ易い。つまり、面積的に小さい顎や比較的平坦な額が傾いた場合より、急峻な勾配を持つ両頬の部分が傾いた方がデータ欠落の度合いが大きい。従って、顔の左右方向に相当する軸方向について偏り度合いを導出することで、効率良く、且つ的確に、欠落部分の偏りを評価することができる。

上記いずれかの構成において、前記処理手段は、前記顔領域のうち、生体の特定形状部位に相当する領域を除外して判定領域を特定する判定領域特定手段を更に備え、前記品質分布導出手段は、前記判定領域において前記偏り度合いを導出することが望ましい（請求項５）。この場合、前記生体の特定形状部位が、眼及び髭に相当する領域であることが望ましい（請求項６）。

三次元データの欠落は、生体の固有形状に起因して発生することがある。例えば、上述のパターン光照射方式の場合、眼の領域については正反射が生じるため、測定に適した反射光を受光できない。また髭が存在している領域では、表面形状が極めて複雑であるため光が散乱するので、やはり測定に適した反射光を受光できない。従って、このような特定部位を除いて判定領域を設定することで、顔の姿勢等による三次元データの欠落状態をより的確に把握できるようになる。

また、前記品質分布導出手段は、前記偏り度合いを、顔の所定の位置を基準とした対称度に基づいて導出する構成とすることができる（請求項７）。この構成によれば、例えば顔領域を左右に二分する中心線を対称軸として、対称位置にあるポイント同士の品質がいずれも「高」、いずれも「低」、或いは「高と低」であるかに基づき、偏り度合いが導出される。

上記いずれかの構成において、前記処理手段は、前記品質分布の導出結果に基づいて、前記登録処理若しくは照合処理を実行させるか否かを判定する判定手段を更に備えることが望ましい（請求項８）。この構成によれば、品質分布の導出結果、例えば低品質部分の偏り度合いが、予め定めた基準よりも低いものである場合に、判定手段に登録処理若しくは照合処理を実行させることは不適切と判定させることで、信頼性の低い三次元データの登録、或いは信頼性の低い三次元データに基づく照合を未然に回避させることができる。

この場合、前記判定手段は、前記三次元データの品質が低品質であると評価された部分の前記顔領域における偏り度合いと、低品質であると評価された部分が前記顔領域に占める割合とに基づいて前記判定を行うことが望ましい（請求項９）。偏り度合いが正常と判定されるケースでも、低品質であると評価された部分の割合があまりに多い場合、特徴量の比較数が減ることになるので認証の信頼性が低下する。従って、低品質部分の偏り度合いだけでなく、顔領域に占める割合をも考慮することで、一層的確な認証が行えるようになる。

上記構成において、前記判定手段は、前記登録処理若しくは照合処理を実行させないと判定した場合に、所定の報知信号を生成して出力することが望ましい（請求項１０）。具体的には、前記報知信号を音声情報に変換して出力する音声出力手段を更に備える構成（請求項１１）、或いは前記報知信号を画像情報に変換して表示する表示手段を更に備える構成（請求項１２）とすることができる。これらの構成によれば、ユーザに対して音声や画像情報にて、データ入力手段により取得された三次元データが不適切なものであったことを報知したり、再度の三次元データの計測を促したりすることができる。

また、上記構成において、前記判定手段は、前記登録処理若しくは照合処理を実行させないと判定した場合に、前記データ入力手段による三次元データの取得条件の変更を促す報知信号、若しくは三次元データの取得条件を変更させる制御信号を生成して出力する構成とすることができる（請求項１３）。この構成によれば、取得された三次元データが不適切なものであった場合、三次元データの取得条件の変更を促す報知信号、若しくは三次元データの取得条件を変更させる制御信号を生成がされるので、ユーザに望ましい状態でのリトライを実行させることができる。

本発明の請求項１４に係る顔認証方法は、認証対象者の顔領域の三次元データを取得するステップと、前記三次元データの所定の部分毎に、当該三次元データの品質を評価するステップと、前記品質の評価結果に基づいて、前記顔領域における品質の分布を求めるステップとを含むことを特徴とする。

この場合、前記品質の分布を求めた結果に基づいて、前記三次元データに基づく認証データの登録処理若しくは照合処理を実行させるか否かを判定するステップを更に含むことが望ましい（請求項１５）。

また、本発明の請求項１６に係る顔認証方法は、認証対象者の顔領域の三次元データを取得するステップと、前記三次元データの所定の部分毎に、所定の閾値を用いて当該三次元データの品質の高低を評価するステップと、前記品質の評価結果に基づいて、前記三次元データの品質が低品質であると評価された部分の前記顔領域における偏り度合いを求めるステップと、前記偏り度合いが適正範囲であるか否かを判定するステップとを含むことを特徴とする。

本発明の顔認証システム及び顔認証方法によれば、品質評価手段により三次元データの取得点毎に品質データが生成され、品質分布導出手段により顔領域における品質の分布が求められるので、例えば低品質な部分の偏り度合いを求めることにより、顔の姿勢等による三次元データの欠落状態を簡単且つ的確に把握できる。従って、三次元データの登録時若しくは照合時に、そのデータの品質を的確に評価することができるので、精度が高い登録及び認証動作を行うことができる。

以下、図面に基づいて、本発明の実施形態につき説明する。図１は、本発明の実施形態に係る顔認証システムの概略構成を示すブロック図である。この顔認証システムは、認証対象者Ｈの認証データをＩＣカード７０へ書き込む処理（登録処理）を行うための登録機１０と、認証データが記録されたＩＣカード７０を読み取って認証対象者Ｈに対する照合処理を行うための照合機２０（２０Ａ、２０Ｂ、２０Ｃ・・・）とを備えて成る。

当該顔認証システムの運用例を挙げると、登録機１０が管理局等のコアセンターに設置され、複数の照合機２０Ａ、２０Ｂ、２０Ｃ・・・がアクセスポイントであるブランチセンターに分散配置される。認証対象者Ｈは、コアセンターにおいて登録機１０でＩＣカード７０に自身の認証データとなる顔の三次元データを登録する。そして、認証対象者Ｈは登録済みのＩＣカード７０を携帯し、アクセスを希望するポイントのブランチセンターに設置されている照合機２０に対して前記ＩＣカード７０を用いて照合処理を行い、アクセス許可を受けるというものである。

図２は、上記登録機１０（照合機２０）のハード構成の一例を示す構成図である。この登録機１０は、認証対象者Ｈの顔の三次元データ及び二次元画像データを取得して認証データをＩＣカード７０に書き込むものであって、顔の三次元データを入力する非接触型の三次元デジタイザ３０（データ入力手段）、二次元画像データを入力するデジタルカメラ４０、所定の登録処理を行うパーソナルコンピュータ５０（処理手段）、及びＩＣカード７０に対する認証データの書き込み処理を行うＩＣカードライタ６１を含んで構成されている。

三次元デジタイザ３０は、光切断法と呼ばれる方式を用いて認証対象者Ｈの顔領域の三次元データを入力するものである。この三次元デジタイザ３０は、所定の発光手段と受光手段とを含む光学ユニットが内蔵された略直方体形状のハウジングに、投光窓を備えた投光部３１と、受光窓を備えた受光部３２とが設けられてなる。投光部３１は、受光部３２の上側の、基線長に応じた所定距離だけ離れた位置に設けられている。

投光部３１からは、水平方向に拡がるレーザビームであるスリット光が射出される。このスリット光は、水平方向に所定の放射角度で拡がり（扇形）、垂直方向に幅を有する平面状の光である。スリット光は、認証対象者Ｈの顔に向けて照射され、その顔の表面で反射された反射光の一部が受光部３２に入射するようになっている。三次元デジタイザ３０は、レーザ光の投光角、反射光の受光角、及び投光点と受光点との間の基線長に基づき、三角測量の原理で反射点までの距離を求める。かかる距離情報に基づき、認証対象者Ｈの顔領域の三次元データが格子状の多点で取得される。

デジタルカメラ４０は、被写体光像を結像する撮像光学系、被写体光像を光電変換する撮像素子等を含み、認証対象者Ｈの顔領域についての二次元デジタル画像データを入力するためのものである。

パーソナルコンピュータ５０は、三次元デジタイザ３０により取得された三次元形状の測定データ、及びデジタルカメラ４０により取得された画像データを取り込んで、認証対象者Ｈについての所定の登録処理を行うための各種演算処理を行う。パーソナルコンピュータ５０は、液晶ディスプレイ等からなる表示部５１（表示手段）、キーボードやマウス等からなる操作部５２及びハードディスク装置等を備える本体部５３を備える。

なお、照合機２０も登録機１０と基本構成は略同一である。照合機２０の場合、ＩＣカードライタ６１に替えて、ＩＣカード７０に記録されている認証データを読み取るＩＣカードリーダ６２が用いられる。また、パーソナルコンピュータ５０は、所定の照合処理を行うために機能し（但し、その処理内容の要部は登録処理と略同一である）、さらに認証が失敗した場合に警告のビープ音を発生するスピーカＳＰが追加される。

図３は、パーソナルコンピュータ５０の本体部５３の概略構成を示すブロック図である。本体部５３には、認証対象者Ｈの顔領域の三次元データ及び二次元画像データを取得するために、三次元デジタイザ３０及びデジタルカメラ４０とのデータ通信を可能とするインターフェイス５４、前記三次元データ及び二次元画像データ、さらに演算処理や制御処理などのデータを一時的に格納するＲＡＭ（Random Access Memory）５５、種々の制御プログラム等を記憶するＲＯＭ（Read Only Memory）５６、及び各種の動作を制御するＣＰＵ（Central Processing Unit）５７が備えられている。

図４は、登録機１０における、ＲＡＭ５５へ一時的に格納されるデータに対応付けた、ＣＰＵ５７の機能構成を示す機能ブロック図である。ＣＰＵ５７は、ＲＯＭ５６に格納された制御プログラムを実行することにより、品質評価部５７１（品質評価手段）、テンプレート照合部５７２、テクスチャ解析部５７３、領域特定部５７４（判定領域特定手段）、データ投影部５７５、欠落度算出部５７６、偏り度算出部５７７（品質分布導出手段）、判定部５７８（判定手段）及び処理制御部５７９を具備するように機能する。

図５は、照合機２０における、ＲＡＭ５５へ一時的に格納されるデータに対応付けた、ＣＰＵ５７の機能構成を示す機能ブロック図である。照合機２０のＣＰＵ５７は、認証処理部としての機能も果たす処理制御部５７９Ａの他は、登録機１０と実質的に同一の機能構成を有する。以下、処理制御部５７９、５７９Ａを除いては、上記の各機能部を登録機１０及び照合機２０に共通のものとして説明する。

ＲＡＭ５５には、三次元デジタイザ３０から入力される認証対象者Ｈの顔部分を含む三次元形状の測定データに基づいて作成された例えば格子状に並んだ三次元点群で構成される三次元データを記憶する三次元データ記憶部５５１と、デジタルカメラ４０から入力される認証対象者Ｈの顔部分を含む二次元画像データを記憶する二次元画像データ記憶部５５２と、これらのデータの位置関係を相互に関連付ける相関情報を記憶する相関情報記憶部５５３とが含まれる。さらに、ＲＡＭ５５には、後述する固有顔テンプレートを記憶する固有顔テンプレート記憶部５５４、及び眼テンプレートを記憶する眼テンプレート記憶部５５５が備えられている。

図６（ａ）、（ｂ）は、上記二次元画像データ記憶部５５２及び三次元データ記憶部５５１に一時的に記憶される、認証対象者Ｈの二次元画像データＤ１及び三次元データＤ２の一例を示す説明図である。ここでは、本実施形態の特徴を説明する便宜上、認証対象者Ｈは口髭ｍを生やしており、認証対象者Ｈの顔向きが正対せず若干横向きの状態（右手方向へ顔が少しだけ横向いた状態）で三次元データＤ２が取得された場合を例示している。

二次元画像データＤ１の画像座標Ｐ（ｘ，ｙ）と、三次元データＤ２を構成する三次元点の三次元座標Ｑ（ｘ，ｙ，ｚ）とは、予め校正された同次投影行列により対応付けられている。例えば、図６（ａ）に示す鼻頭部の二次元画像データＤ１の画像座標Ｐ_１（ｘ_１１，ｙ_１１）と、図６（ｂ）に示す同じ鼻頭部の三次元データＤ２の三次元座標Ｑ_１（ｘ_１１，ｙ_１１，ｚ_１１）とが対応付けられており、データ相互の位置関係の関連付けが為されている。上記相関情報記憶部５５３に格納される相関情報は、このような対応付けに関するデータである。

品質評価部５７１は、三次元データＤ２の取得点毎に、当該三次元データＤ２の品質を評価して品質データを生成する。この品質データは種々の手法により作成できるが、例えば三次元データＤ２の品質を所定の閾値を用いて高低評価し、三次元データＤ２の各々に有効又は無効のフラグを付帯させる方式を採用することができる。

図７は、三次元デジタイザ３０の受光部３２で受光される顔からの反射光の光量に基づき、品質の評価を行う場合の例を示すグラフである。このグラフは、図６（ｂ）のＸ方向、すなわち顔の左右方向に並ぶ三次元データＤ２の取得点列における反射光量をグラフ化したものである。この場合、所定の反射光量閾値Ｔｈが設定され、閾値Ｔｈよりも低い反射光量が検出されている領域Ｘａについては低品質であると判定し、その領域に座標点をもつ三次元データに無効フラグ（フラグ＝０）が付帯される。一方、閾値Ｔｈよりも高い反射光量が検出されている領域Ｘｂについては高品質であると判定し、その領域に座標点をもつ三次元データに有効フラグ（フラグ＝１）が付帯される。これにより、三次元デジタイザ３０で取得された三次元データＤ２が２値的に評価され、無効フラグが付帯されたデータの座標点についてはデータ欠落点と扱われるようになる。

このような有効／無効フラグの付与処理は、三次元デジタイザ３０の内部で行わせる（品質評価部５７１の機能を三次元デジタイザ３０に具備させる）ようにしても良い。この場合、三次元データＤ２の取得点毎に有効／無効の記述が付帯された状態で、三次元データ記憶部５５１に三次元データＤ２が格納されることとなる。

一般に、スリット光を照射して物体の三次元計測を行うこの種の三次元デジタイザ３０においては、眼の領域については正反射が生じるため、測定に適した反射光を受光できない。このため、図６（ａ）に示す認証対象者Ｈの眼ｅ，ｅの領域に対応する、図６（ｂ）に示す第１領域８１、第２領域８２に座標点をもつ三次元データには、結果的に無効フラグが付帯される場合が多い。また、口髭ｍが存在している領域では、表面形状が極めて複雑であるため光が散乱するので、やはり測定に適した反射光を受光できない。このため、口髭ｍの領域に対応する第３領域８３に座標点をもつ三次元データにも、無効フラグが付帯され易くなる。

さらに、顔は、左右の周辺部で正面に対して急峻な勾配をもつことから、頬付近に照射された光は受光されにくく、低い反射光量で受光されることが多い。特に、図６（ａ）に示すように顔が正面を向いていない場合は、横を向いている側の頬ｃの急峻度が高い状態となることから三次元データの欠落が一層生じ易い。これに対し、他方の頬については急峻度が緩和されることから三次元データの欠落が生じ難くなる。従って、前記頬ｃの領域に対応する第４領域８４に座標点をもつ三次元データにも、無効フラグが付帯され易くなる。つまり、顔の対称性に起因して、顔が正面を向いていない場合は、一般に三次元データの欠落は左右非対称に出現するようになる。

以上の通り、本事例のように口髭ｍを生やした認証対象者Ｈが若干右手方向へ横向いた状態で三次元データＤ２が取得された場合、図６（ｂ）に示すように品質評価部５７１は、多くの場合、眼ｅ，ｅ、口髭ｍ及び右手側の頬ｃの領域に対応する第１〜第４領域８１〜８４に座標点をもつ三次元データに無効フラグを付帯させることとなる。

図４に戻って、テンプレート照合部５７２は、図６（ａ）に示したような認証対象者Ｈの二次元画像から認証対象部となる顔領域を特定する処理を行う。図８は、このような特定処理を模式的に示す図であって、図６（ａ）に示したような態様で取得されている二次元画像データＤ１に対し、固有顔テンプレートＴＰ１を照合する処理を行う。すなわち、固有顔テンプレートＴＰ１を認証対象者Ｈの二次元画像に対して位置をスライドさせつつ、テンプレートとの照合度（一致度合い）を検証する。そして、最も照合度の高い位置における固有顔テンプレートＴＰ１の領域を、認証対象者Ｈの顔領域ｆとして特定する。

なお、固有顔テンプレートＴＰ１は、眼、鼻、口の領域を囲む矩形状のテンプレートであって、多数人から採取された情報に基づき、眼、鼻、口等の配置や形状等が特定されたテンプレートである。かかる固有顔テンプレートＴＰ１についての情報は、ＲＡＭ５５の固有顔テンプレート記憶部５５４に予め格納される。テンプレート照合部５７２は、固有顔テンプレート記憶部５５４から固有顔テンプレートＴＰ１を読み出し、二次元画像データＤ１に対して照合する処理を行う。このようにして認証対象者Ｈの顔領域ｆを特定することで、認証には不向きな頭髪部分が除外されるようになる。

またテンプレート照合部５７２は、二次元画像について特定された顔領域ｆから、さらに眼ｅ，ｅの領域を特定する処理を行う。図９は、このような特定処理を模式的に示す図である。この場合も上記と同様にして、顔領域ｆの二次元画像に対し眼テンプレートＴＰ２を照合する処理を行い、最も照合度の高い位置における眼テンプレートＴＰ２の領域を、認証対象者Ｈの眼ｅ，ｅの領域として特定する。テンプレート照合部５７２は、眼テンプレート記憶部５５５から眼テンプレートＴＰ２を読み出し、顔領域ｆの二次元画像データに対して照合する処理を行う。

テクスチャ解析部５７３は、顔領域ｆの二次元画像データに対し、髭の領域、主に口髭ｍの領域の同定を目的としてテクスチャ解析処理を行う。例えば、ガボールフィルタエネルギーや輝度レベル共起行列等のテクスチャ解析を行い、その結果求められたテクスチャ特徴量のパラメータが所定値内である画素領域を、口髭ｍの領域として特定する。さらに、前記テクスチャ特徴量に基づき、顔の輪郭外部分ｓが顔領域ｆの二次元画像データに含まれている場合には、そのような輪郭外部分ｓの領域も特定する。図１０は、顔領域ｆの画像に対し、口髭ｍの領域と、輪郭外部分ｓの領域とが特定されている状態を模式的に示す図である。

領域特定部５７４は、顔領域ｆのうち、生体の特定形状部位に相当する領域を除外して、後述する三次元データの品質判定（偏り度算出）を行うための判定領域を、二次元画像上で特定する処理を行う。ここでは、生体の特定形状部位は、専ら眼及び髭に相当する領域である。

図１１は、領域特定部５７４による判定領域の特定処理を模式的に示す図である。テンプレート照合部５７２において固有顔テンプレートＴＰ１を用いて特定された顔領域ｆから、同じくテンプレート照合部５７２において眼テンプレートＴＰ２を用いて特定された眼ｅ，ｅの領域が判定領域から除外される。すなわち、眼ｅ，ｅの領域に相当する座標に位置する画素出力に除外情報の記述が与えられる。さらに、テクスチャ解析部５７３にて特定された口髭ｍの領域と、輪郭外部分ｓの領域とが、同様にして判定領域から除外される。そして、除外後の残部が、判定領域ｄとして特定される。

データ投影部５７５は、三次元データ記憶部５５１に格納されている三次元データＤ２を、領域特定部５７４にて特定された二次元画像上の判定領域ｄへ投影させる処理を行う。具体的には、品質評価部５７１で無効フラグが付帯されていない三次元データＤ２の有効格子点の三次元座標値を、所定の座標変換行列を用いて二次元画像データＤ１の画素座標値へ座標変換する処理を行う。そして、判定領域ｄ内において、有効格子点が投影されていない領域を三次元データの欠落領域として特定する。

図１２は、データ投影部５７５の処理を模式的に示す図である。図６（ｂ）で先に説明したように、本事例では眼ｅ，ｅ、口髭ｍ及び右手側の頬ｃの領域に対応する第１〜第４領域８１〜８４に存在する格子点の三次元データに無効フラグが付帯されている。ここで、眼ｅ，ｅの領域と口髭ｍの領域とは判定領域ｄからは既に除外されている。この結果、右手側の頬ｃの領域に対応する第４領域８４のみが、三次元データの欠落領域として特定されることとなる。

欠落度算出部５７６は、判定領域ｄとして特定された部分の面積に対する三次元データの欠落領域の面積の割合を求める演算を行う。本事例では、判定領域ｄの面積に対して第４領域８４の面積が占める面積割合Ｐが算出される。かかる面積割合Ｐの算出を行うのは、三次元データの欠落領域の面積割合があまりに大きいとデータ信頼性が低下するため、信頼性を担保できるデータ量が確保されているかを確認するためである。

偏り度算出部５７７は、三次元データの欠落部分（三次元データの品質が低品質であると評価された部分）の顔領域ｆにおける偏り度合いを求める演算を行う。この偏り度合いは、顔の左右方向に相当する軸方向（図６（ｂ）のｘ軸方向）について導出される。これは、顔が上下方向に傾いているよりも、左右方向に傾いている場合の方が、三次元データの欠落が生じ易いからである。つまり、面積的に小さい顎や比較的平坦な額が傾いた場合より、急峻な勾配を持つ両頬の部分が傾いた方がデータ欠落の度合いが大きい。従って、顔の左右方向に相当する軸方向について偏り度合いを導出することで、効率良く、且つ的確に、欠落部分の偏りを評価することができる。

偏り度算出部５７７は、三次元データの欠落判定領域ｄの中心位置に対して、三次元データ欠落部分を除いた領域の重心位置がどの程度ずれているかに基づいて偏り度合いを導出する。図１３は、このような偏り度合いを導出する方法を模式的に示す図である。いま、欠落判定領域ｄの中心位置座標をＸｔ、三次元データ欠落部分を除いた有効領域の重心位置座標をＸｃ、三次元データの欠落領域（本事例では第４領域８４の部分）をｇとする。この場合、有効領域の重心位置座標Ｘｃは、二次元画像の画素位置をｉとすると次の（１）式により求めることができる。

そして、偏り度Ｈは、有効領域の重心位置座標Ｘｃと欠落判定領域ｄの中心位置座標Ｘｔとから、次の（２）式にて求めることができる。
Ｈ＝｜Ｘｃ−Ｘｔ｜ ・・・（２）

一般に上記偏り度Ｈは、顔の向きによって変化する。すなわち、顔が正面を向いている場合は、概ね顔の中央部分が高品質で周辺部分がまんべんなく低品質であるような偏りとなる。つまり、図１４に示すように、両頬の周縁に相当する部分に三次元データ欠落部分８４１、８４２が現れるようになる。この場合、欠落領域の面積割合は少なくなり、十分な認証データが得られ易い。これに対し、図１３に示すように、顔が正面を向いていない場合は、欠落部分（第４領域８４）が一つの周辺部分に偏在した偏りとなる。この場合、欠落領域の面積割合は比較的大きくなり、的確な認証を行うには不十分なことがある。

判定部５７８は、偏り度算出部５７７により算出された偏り度Ｈと、欠落度算出部５７６により算出された三次元データの欠落領域の面積割合Ｐとに基づいて、登録機１０の場合（図４）は、ＩＣカードライタ６１によりＩＣカード７０に対して認証データを登録する書き込みを行わせるか否かを判定する。また、照合機２０の場合（図５）は、ＩＣカードリーダ６２により読み取られたＩＣカード７０の認証データとの照合処理を、処理制御部５７９Ａに行わせるか否かを判定する。

判定部５７８による判定は、偏り度Ｈ及び面積割合Ｐについて予め設定された所定の閾値を超過しているか否かに基づいて行われる。概略的には、図１３に示すように三次元データ欠落部分が一方に偏っている場合は、登録処理若しくは照合処理を実行しない旨の判定を行い、図１４に示すように三次元データ欠落部分の偏りが小さい場合は、登録処理若しくは照合処理を実行する旨の判定を行う。

処理制御部５７９は、ユーザから操作部５２を介して与えられる操作信号を受けて、上記の動作を行うＣＰＵ５７内の各機能部を適時に動作させる全体制御を行う。そして、登録機１０の場合、判定部５７８が登録処理を「実行可」と判定したとき、ＩＣカードライタ６１に対し、ＩＣカード７０へ認証データを書き込ませる制御信号を与える。これを受けてＩＣカードライタ６１は、認証対象者Ｈの二次元画像データＤ１及び三次元データＤ２のテンプレートを、所定のフォーマットでＩＣカード７０へ書き込む。

一方、判定部５７８が登録処理を「実行不可」と判定したとき、これをユーザに報知するための報知信号を生成する。この報知信号は、例えば「もう一度顔画像の入力を行って下さい」などといったメッセージとして表示部５１へ表示される。この場合、三次元デジタイザ３０及びデジタルカメラ４０から今回入力された三次元データ及び二次元画像データは、ＩＣカード７０には書き込まれない。

また、照合機２０の場合、処理制御部５７９Ａは、判定部５７８が登録処理を「実行可」と判定したとき、ＩＣカードリーダ６２に対し、ＩＣカード７０の認証データを読み取らせる制御信号を与える。続いて、照合のために三次元デジタイザ３０及びデジタルカメラ４０から今回入力された三次元データ及び二次元画像データと、ＩＣカード７０に記録されている三次元データ及び二次元画像データのテンプレートとを照合する処理を実行する。この照合処理としては、例えば三次元画像及び二次元画像について、それぞれ固有顔パラメータをマルチモーダル照合する手法（例えば、Kevin W.Bowyer, Kyong Chang and Patrick Flynn,An Evaluation of Multimodal 2D+3D face Biometrics,IEEE Trans. on Pattern Analysis and Machine Intelligence, 27(4):619-624,April 2005に開示されているマルチモーダル照合）を採用することができる。

一方、判定部５７８が登録処理を「実行不可」と判定したとき、処理制御部５７９Ａは、これをユーザに報知するための報知信号を生成する。この報知信号は、例えば音声信号に変換され、再入力を促すビープ音としてスピーカＳＰから発せられる。この場合、認証処理は行われない。

次に、以上の通り構成された本実施形態に係る顔認証システムの動作について説明する。図１５は、当該顔認証システムの動作フローを示すフローチャートである。処理が開始されると、図２に示すように、三次元デジタイザ３０及びデジタルカメラ４０により、認証対象者Ｈについての二次元画像データ（以下、２Ｄデータ）及び三次元データ（以下、３Ｄデータ）が取得され、これらデータがパーソナルコンピュータ５０の本体部５３へ入力される（ステップＳ１）。この２Ｄデータ及び３Ｄデータは、ＲＡＭ５５へ一時的に格納される。

続いて、３Ｄデータを用い、品質評価部５７１により当該３Ｄデータの品質評価が実行される（ステップＳ２）。例えば、３Ｄデータの各格子点の反射光量に基づいて、有効／無効フラグが付帯される。なお、この品質評価は、三次元デジタイザ３０内で行わせるようにしても良い。

また、２Ｄデータを用い、テンプレート照合部５７２により、図８に示したように当該２Ｄデータに固有顔テンプレートＴＰ１を照合する処理が行われ、認証対象者Ｈの顔領域ｆが特定される（ステップＳ３）。さらに、図９に示したように、顔領域ｆの２Ｄデータに眼テンプレートＴＰ２を照合する処理が行われ、眼ｅ，ｅの領域が特定される（ステップＳ４）。

次に、テクスチャ解析部５７３により、顔領域ｆの２Ｄデータに対してテクスチャ解析処理が行われる（ステップＳ５）。これにより、例えば認証対象者Ｈが口髭ｍを生やしている場合には、テクスチャ特徴量に基づきその口髭ｍの領域が特定される。さらに、顔の輪郭外部分ｓの領域も特定される（図１０参照）。

その後、領域特定部５７４により、顔領域ｆの２Ｄデータ中において、３Ｄデータ欠落部の偏り度合いを判定するための判定領域ｄが特定される（ステップＳ６）。この特定処理は、顔領域ｆから、眼ｅ，ｅの領域、口髭ｍの領域及び顔の輪郭外部分ｓの領域を除外する処理である（図１１参照）。

これに続き、データ投影部５７５により、３Ｄデータを２Ｄデータ上で特定された判定領域ｄへ投影させる処理が行われる。すなわち、ステップＳ２において有効フラグが付帯されている３Ｄデータが、判定領域ｄへ投影される。そして、判定領域ｄ中における３Ｄデータの欠落領域が特定される（ステップＳ７）。例えば、認証対象者Ｈが右手方向に横向きの状態で３Ｄデータが取得されたような場合は、右手側の頬の領域に対応する部分（第４領域８４）が、欠落領域として特定されることになる（図１２参照）。

しかる後、欠落度算出部５７６により、判定領域ｄの面積に対して３Ｄデータ欠落領域の面積が占める面積割合Ｐが算出される（ステップＳ８）。また、偏り度算出部５７７により、上記（１）式、（２）式に基づき、図１３に示すように、３Ｄデータ欠落領域の偏り度Ｈが算出される（ステップＳ９）。

図１６は、認証データの登録時（登録機１０の場合）における、上記ステップＳ９以降の処理を示すフローチャートである。この場合、判定部５７８により、上記面積割合Ｐが所定の閾値Ｔｈ１を上回っているか否か、及び偏り度Ｈが所定の閾値Ｔｈ２を上回っているか否かが判定される（ステップＳ１１）。

面積割合Ｐ及び偏り度Ｈの双方が閾値Ｔｈ１、Ｔｈ２を上回っている場合（ステップＳ１１でＹＥＳ）、処理制御部５７９は、ＩＣカードライタ６１を介してＩＣカード７０へ、今回入力された２Ｄデータ及び３Ｄデータを認証データとして書き込ませる（ステップＳ１２）。一方、面積割合Ｐ及び偏り度Ｈの一方又は双方が閾値Ｔｈ１、Ｔｈ２を下回っている場合（ステップＳ１１でＮＯ）、処理制御部５７９は、表示部５１に２Ｄデータ及び３Ｄデータ再入力を促すプロンプト表示（所定のメッセージ等の表示）を行わせる（ステップＳ１３）。その後、図１５のステップＳ１に戻って、処理が繰り返される。

図１７は、照合時（照合機２０の場合）における、上記ステップＳ９以降の処理を示すフローチャートである。この場合も、判定部５７８により、上記面積割合Ｐが所定の閾値Ｔｈ１を上回っているか否か、及び偏り度Ｈが所定の閾値Ｔｈ２を上回っているか否かが判定される（ステップＳ２１）。

面積割合Ｐ及び偏り度Ｈの双方が閾値Ｔｈ１、Ｔｈ２を上回っている場合（ステップＳ２１でＹＥＳ）、処理制御部５７９Ａは、ＩＣカードリーダ６２にＩＣカード７０の記録データを読み取らせ、その記録データと今回入力された２Ｄデータ及び３Ｄデータとを照合させる照合処理を実行する（ステップＳ２２）。一方、面積割合Ｐ及び偏り度Ｈの一方又は双方が閾値Ｔｈ１、Ｔｈ２を下回っている場合（ステップＳ２１でＮＯ）、処理制御部５７９Ａは、スピーカＳＰを介して警告音を発生させ、ユーザに２Ｄデータ及び３Ｄデータの再入力を促す（ステップＳ２３）。その後、図１５のステップＳ１に戻って、処理が繰り返される。

以上説明した本実施形態に係る顔認証システムによれば、品質評価部５７１により三次元データの取得点毎に品質データ（有効／無効フラグの付帯）が生成され、偏り度算出部５７７により顔領域ｆにおける品質の分布が求められるので、顔の姿勢に起因する三次元データの欠落状態を簡単且つ的確に把握できる。従って、三次元データの登録時若しくは照合時に、そのデータの品質を的確に評価することができるので、精度が高い認証動作を行うことができる。

以上、本発明の実施形態につき説明したが、本発明はこれに限定されるものではない。例えば、下記［１］〜［７］に示すような変形実施形態を取ることができる。

［１］上記実施形態では、三次元データの品質を有効、無効の２値的に評価する例について説明した。このような方法に替えて、２値化する前の三次元データに基づき品質を評価するようにしても良い。例えば、図７に示したような反射光量データ（所定の指標）が得られている場合、この反射光量データ自体を三次元データの取得点毎の信頼値Ｗｉとして評価するようにしても良い。

この場合、偏り度算出部５７７は、上記（１）式で示した有効フラグの付帯された有効領域の重心を求める代わりに、上記信頼値Ｗｉの重心を下記（３）式に基づいて求めることとなる。この構成によれば、三次元データの品質を２値的に評価するのではなく、２値化する前の信頼値で偏り度合いが求められるので、一層精細な偏りを求めることが可能となる。

［２］二次元及び三次元の画像がデジタルカメラ４０及び三次元デジタイザ３０で取得される際、認証対象者Ｈの顔向きは正面に正対しているものの首を傾けた状態で撮像されてしまうことがある。首の傾きが大きい場合、Ｘ軸方向（顔の左右方向）における三次元データの品質の偏り度合いの評価に影響を与えることも考えられる。この点を考慮して、例えば上記実施形態で説明した眼テンプレートＴＰ２（図９）による眼ｅ，ｅの位置の検出時に、両目を結ぶ線を求め、この線が画像のＸ軸と平行となるように二次元及び三次元画像を回転させるステップを介在させるようにしても良い。

［３］三次元データの欠落の偏り度合いを求める他の方法として、顔の所定の位置を基準とした対称度に基づいて導出する方法を採用することもできる。図１８は、この対称度に基づく方法を模式的に示す図である。この方法は、顔領域ｆの画像に対称軸Ｘ_０（顔の左右方向の中心を垂直に通る軸）を設定し、先ず画素ｊと、この画素ｉと対称軸Ｘ_０について対称な画素ｊとを選定する。次に、両画素の品質、上記実施形態で言うならば画素ｉに付帯されているフラグと画素ｊに付帯されているフラグとを比較する。そして、画素ｉと画素ｊのフラグが一致していない場合は「偏り」と判定する。このような処理を各画素について行い、「偏り」と判定された画素ペアの数に基づいて、三次元データの欠落の偏り度合いを評価するようにしても良い。

［４］例えば照合時において、上記（２）式で求められた偏り度Ｈが所定の閾値よりも低い場合でも、三次元データの欠落部分を除外して照合処理を行うようにしても良い。或いは、三次元データの欠落部分についての寄与度を下げる重み付け処理を施した上で照合処理を行うようにしても良い。

［５］上記判定部５７８が、ＩＣカード７０への登録処理若しくは照合処理を実行させないと判定した場合に、デジタルカメラ４０及び三次元デジタイザ３０による二次元及び三次元データの取得条件の変更を促す具体的な情報（「正面を向いて撮影して下さい」などといったメッセージや、照明条件等の撮影条件の変更を促すメッセージ、撮影条件を選択させる選択肢等）を表示部５１へ表示させるようにしても良い。或いは、デジタルカメラ４０及び三次元デジタイザ３０の撮影条件等を自動的に変更させる制御信号を処理制御部５７９、５７９Ａが生成可能なように構成しても良い。この構成によれば、取得された二次元及び三次元データが不適切なものであった場合、これらデータの取得条件の変更を促す報知信号、若しくはデータの取得条件を変更させる制御信号を生成がされるので、ユーザに望ましい状態でのリトライを実行させることができる。

［６］上記実施形態では、三次元データを入力するデータ入力手段として三次元デジタイザ３０を例示したが、本発明では他の三次元計測装置も適用可能であり、例えば２台のデジタルカメラを用いたステレオ撮像方式の三次元計測装置を採用することができる。

［７］上記実施形態では、ＩＣカード７０を認証対象者に携帯させる例を示した。このようなＩＣカード７０に替えて、登録機１０を介してセンターサーバに認証データを記録させ、前記センターサーバにインターネット等を介して照合機２０を接続しておき、照合時にセンターサーバに認証データを読み出して照合処理を行うようにしても良い。

本発明の実施形態に係る顔認証システムの概略構成を示すブロック図である。 上記顔認証システムを構成する登録機（照合機）のハード構成の一例を示す構成図である。 パーソナルコンピュータの本体部の概略構成を示すブロック図である。 登録機のＣＰＵの機能構成を示す機能ブロック図である。 照合機のＣＰＵの機能構成を示す機能ブロック図である。 （ａ）、（ｂ）は、認証対象者Ｈの二次元画像データＤ１及び三次元データＤ２の一例を示す説明図である。 三次元デジタイザの受光部で受光される顔からの反射光の光量に基づき、品質の評価を行う場合の例を示すグラフである。 二次元画像から認証対象部となる顔領域を特定する処理を模式的に示す図である。 顔領域から、さらに眼の領域を特定する処理を模式的に示す図である。 顔領域の画像に対し、口髭の領域と、輪郭外部分の領域とが特定されている状態を模式的に示す図である。 三次元データの偏り度合いを判定する判定領域の特定処理を模式的に示す図である。 データ投影部の処理を模式的に示す図である。 三次元データの偏り度合いを導出する方法を模式的に示す図である。 三次元データの偏り度合いの導出例を模式的に示す図である。 顔認証システムの動作フローを示すフローチャートである。 認証データの登録時における、図１５のステップＳ９以降の処理を示すフローチャートである。 照合時における、図１５のステップＳ９以降の処理を示すフローチャートである。 三次元データの偏り度合いを導出する他の方法を模式的に示す図である。

符号の説明

１０ 登録機
２０、２０Ａ〜２０Ｃ 照合機
３０ 三次元デジタイザ（データ入力手段）
４０ デジタルカメラ
５０ パーソナルコンピュータ（処理手段）
５１ 表示部（表示手段）
５２ 操作部
５３ 本体部
５５ ＲＡＭ
５５１ 三次元データ記憶部
５５２ 二次元画像データ記憶部
５５３ 相関情報記憶部
５５４ 固有顔テンプレート記憶部
５５５ 眼テンプレート記憶部
５７１ 品質評価部（品質評価手段）
５７２ テンプレート照合部
５７３ テクスチャ解析部
５７４ 領域特定部（判定領域特定手段）
５７５ データ投影部
５７６ 欠落度算出部
５７７ 偏り度算出部（品質分布導出手段）
５７８ 判定部（判定手段）
５７９、５７９Ａ 処理制御部
６１ ＩＣカードライタ
６２ ＩＣカードリーダ
７０ ＩＣカード

Claims (16)

1. 認証対象者の顔領域の三次元データを多点で取得するデータ入力手段と、前記三次元データに基づく認証データの登録処理若しくは照合処理を行う処理手段とを備え、
   前記処理手段は、
   前記三次元データの取得点毎に、当該三次元データの品質を評価して品質データを生成する品質評価手段と、
   前記品質データに基づいて、前記顔領域における品質の分布を求める品質分布導出手段とを含むことを特徴とする顔認証システム。
2. 前記品質評価手段は、前記三次元データの品質を所定の閾値を用いて高低評価するものであって、
   前記品質分布導出手段は、前記三次元データの品質が低品質であると評価された部分の前記顔領域における偏り度合いを求めることを特徴とする請求項１に記載の顔認証システム。
3. 前記品質評価手段は、前記三次元データの品質を所定の指標を用いた信頼値として評価するものであって、
   前記品質分布導出手段は、前記三次元データの信頼値指標の前記顔領域における偏り度合いを求めることを特徴とする請求項１に記載の顔認証システム。
4. 前記品質分布導出手段は、前記偏り度合いを、顔の左右方向に相当する軸方向について導出することを特徴とする請求項２又は３に記載の顔認証システム。
5. 前記処理手段は、前記顔領域のうち、生体の特定形状部位に相当する領域を除外して判定領域を特定する判定領域特定手段を更に備え、
   前記品質分布導出手段は、前記判定領域において前記偏り度合いを導出することを特徴とする請求項２〜４のいずれかに記載の顔認証システム。
6. 前記生体の特定形状部位が、眼及び髭に相当する領域であることを特徴とする請求項５に記載の顔認証システム。
7. 前記品質分布導出手段は、前記偏り度合いを、顔の所定の位置を基準とした対称度に基づいて導出することを特徴とする請求項２に記載の顔認証システム。
8. 前記処理手段は、前記品質分布の導出結果に基づいて、前記登録処理若しくは照合処理を実行させるか否かを判定する判定手段を更に備えることを特徴とする請求項１〜７のいずれかに記載の顔認証システム。
9. 前記判定手段は、前記三次元データの品質が低品質であると評価された部分の前記顔領域における偏り度合いと、低品質であると評価された部分が前記顔領域に占める割合とに基づいて前記判定を行うことを特徴とする請求項８に記載の顔認証システム。
10. 前記判定手段は、前記登録処理若しくは照合処理を実行させないと判定した場合に、所定の報知信号を生成して出力することを特徴とする請求項９に記載の顔認証システム。
11. 前記報知信号を音声情報に変換して出力する音声出力手段を更に備えることを特徴とする請求項１０に記載の顔認証システム。
12. 前記報知信号を画像情報に変換して表示する表示手段を更に備えることを特徴とする請求項１０に記載の顔認証システム。
13. 前記判定手段は、前記登録処理若しくは照合処理を実行させないと判定した場合に、前記データ入力手段による三次元データの取得条件の変更を促す報知信号、若しくは三次元データの取得条件を変更させる制御信号を生成して出力することを特徴とする請求項９に記載の顔認証システム。
14. 認証対象者の顔領域の三次元データを取得するステップと、
    前記三次元データの所定の部分毎に、当該三次元データの品質を評価するステップと、
    前記品質の評価結果に基づいて、前記顔領域における品質の分布を求めるステップとを含むことを特徴とする顔認証方法。
15. 前記品質の分布を求めた結果に基づいて、前記三次元データに基づく認証データの登録処理若しくは照合処理を実行させるか否かを判定するステップを更に含むことを特徴とする請求項１４に記載の顔認証方法。
16. 認証対象者の顔領域の三次元データを取得するステップと、
    前記三次元データの所定の部分毎に、所定の閾値を用いて当該三次元データの品質の高低を評価するステップと、
    前記品質の評価結果に基づいて、前記三次元データの品質が低品質であると評価された部分の前記顔領域における偏り度合いを求めるステップと、
    前記偏り度合いが適正範囲であるか否かを判定するステップとを含むことを特徴とする顔認証方法。

Images