JP4814666B2

JP4814666B2 - 顔解析システム

Info

Publication number: JP4814666B2
Application number: JP2006080973A
Authority: JP
Inventors: 幸男佐藤; 広樹山口; 康裕中島; 宏州小林
Original assignee: 株式会社スペースビジョン
Priority date: 2006-03-23
Filing date: 2006-03-23
Publication date: 2011-11-16
Anticipated expiration: 2026-03-23
Also published as: JP2007257310A

Description

本発明は、例えば個人識別や個人認証のための、顔解析のための技術に関する。

近年、セキュリティ意識の高まりやネットワーク利用の拡大により、強固なセキュリティを保持できかつ利便性の高い個人認証システムが求められている。その中で最も期待されている技術の一つとして、本人の生体的特徴や特性といった個人特有の情報を利用して本人確認を行うバイオメトリクス認証が注目を浴びている。認証に用いるバイオメトリクスとしては、例えば指紋、顔、網膜パターン、声紋など、様々なものが提案されている。しかし、いずれの場合も、基本的な考え方は、登録ユーザの生体的特徴をシステムに登録しておき、認証対象のユーザから呈示された生体部分から取得した生体的特徴をその登録ユーザの生体的特徴と比較し、両者が所定範囲内の近さであれば、認証対象のユーザが登録ユーザであると判定する、というものである。

バイオメトリクス認証のうち顔認証は非接触で認証を行えるという大きな利点があるため有望視されている。

顔認証の従来技術は、大きく分けて２Ｄ−２Ｄ認証と２Ｄ−３Ｄ認証とに分類できる。前者は、認証対象として呈示された顔の画像データも、比較対象となるシステムに登録された顔画像データも、共に２次元の画像データを用いるというものである。後者は、システムに登録する顔データとして３次元のデータを用いることで、認証対象として呈示された顔の向きの違いに対応できるようにしたものである。

これら従来技術は、いずれも認証対象の顔をカメラで撮影して得られる２次元の顔画像を用いるため、撮影時の照明の影響や、認証対象の顔の位置及び向き（姿勢）の影響を受けやすいという問題がある。

このような問題に対する解決策として、呈示された顔のデータもこれに対する比較対象となる登録データも共に３次元の形状データと用いることが考えられる。顔の３次元形状データは、例えばレンジファインダを用いることで得ることができる。３次元の形状データ同士の比較であれば、照明の影響は受けない。また、３次元形状データを用いる場合、比較対象の形状同士の姿勢を３次元的に合わせることができるので、撮影時の顔の姿勢の影響も受けにくい。

ここで、レンジファインダにより得られる顔の３次元形状データは顔の表面の各点を示す３次元の点の集合である。高い精度を得るべく十分に高解像度のレンジファインダを用いた場合、顔表面を示す点の数は数万点規模に上る。呈示された顔のデータと登録データを比較する際、このような莫大な数に上る生の点の集合同士を比較するのは、計算量の点で現実的ではない。

そこで、顔の３次元形状を示す点群のうち、顔の構造上の特徴を示す特徴点の組合せにより顔をモデル化し、モデル同士の比較で認証を行うことが考えられる。このような顔の三次元形状のモデル化の手法として、非特許文献１に示される方式が知られている。この方式では、顔に数百点の特徴点を設定している。特徴点は、目頭や目尻、唇の両端など、顔の特徴となる構造部分に対して配される。目や鼻、口元などといった顔の特徴を強く示す部分ほど特徴点は密に配置される。非特許文献１に示される手法では、レンジファインダにより顔の３次元形状を示す生の点群と、２次元の顔画像とを取得し、２次元の顔画像上で特徴点の中でも重要度の高い代表点（例えば目頭や目尻など）をオペレータに指定させ、代表点以外の特徴点をそれら代表点同士の補間により推定している。このように求められた特徴点の３次元座標の組が、顔のモデルを表す。このモデルを非特許文献１ではパッチモデルと呼んでいる。

登録データ及び呈示された顔のデータとしてそれぞれパッチモデルを用いることで、認証は両モデルの数百点規模の点同士の比較となり、数万点規模の生データの比較からみて計算量を大幅に削減できる。

このように特徴点群からなるモデル同士の比較は有望であるが、問題もある。問題の一つは、同じ人の顔でも常に同じ３次元形状であるとは限らないということである。例えば、目の開き具合や口元の形などは顔の表情の変化に応じて都度変化する。このような各部の形状変化は生の３次元形状からパッチモデルに引き継がれるため、同一人物につき、登録されたモデルと呈示された顔から作成したモデルとを比較した場合でも、表情の変化によって同一人物のものと判定されにくくなるおそれがある。

以上、顔認証の場合の問題を説明したが、同様の問題は、ユーザが呈示した顔が登録された複数人の内のどの人に該当するかを識別する顔認識の場合にも生じる。
中村公謙、子安武彦、市川知弥、天野敏之、佐藤幸男:"ＮＣＦを用いた標準顔パッチモデルの顔形状データへの当てはめ" 画像の認識・理解シンポジウム(2002)

本発明は、顔の認証又は認識のためのシステムにおいて、認識又は認証の精度を改善する。

参考例では、ユーザごとに、そのユーザの複数の３次元の顔形状モデルを記憶した顔データベースであって、顔形状モデルは顔形状における複数の特徴点の３次元座標を含むところの顔データベースと、同一ユーザの複数の顔形状モデルの間での同一特徴点の３次元座標のばらつきである個人内ばらつきを計算する個人内ばらつき計算部と、顔データベースに登録されたユーザの顔形状モデルの間での同一特徴点の３次元座標のばらつきである個人間ばらつきを計算する個人間ばらつき計算部と、特徴点ごとに、その特徴点の個人内ばらつきと個人間ばらつきとに基づき重みを計算する重み計算部と、ユーザが呈示した顔から得られた顔形状モデルと顔データベースに登録されたそのユーザの顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定する判定部と、を備える顔解析システムを提供する。

別の参考例では、前記重み計算部は、特徴点の個人間ばらつきを個人内ばらつきで除した比に基づき前記重みを求める。

さらに別の参考例では、システムは、ユーザが呈示した顔が顔データベースに登録された顔と同一であると判定された場合にそのユーザが呈示した顔から得られた顔形状モデルをそのユーザの顔形状モデルとして前記顔データベースに追加し、前記個人内ばらつき計算部と前記個人間ばらつき計算部と前記重み計算部にその追加された顔形状モデルを反映した重みを再計算させる重み更新部、を更に備える。

本発明では、ユーザごとに、そのユーザの顔形状における複数の特徴点の３次元座標を含んだ登録顔形状モデルを記憶した登録顔データベースと、顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部と、ユーザが呈示した顔から得られた顔形状モデルと登録顔データベースに登録されたそのユーザの登録顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が登録顔データベースに登録された顔と同一であるか否かを判定する判定部と、
を備え、前記重み情報記憶部が記憶する各特徴点の重みは、同一ユーザの複数の顔形状モデルサンプルの間での同一特徴点の３次元座標のばらつきである個人内ばらつきが小さい特徴点ほど大きい値となり、複数のユーザの顔形状モデルサンプルの間での同一特徴点の３次元座標のばらつきである個人間ばらつきが大きい特徴点ほど大きい値となるよう設定されている、ことを特徴とする顔解析システムであって、ユーザが呈示した顔が前記登録顔データベースに登録された顔と同一であると判定された場合にそのユーザが呈示した顔から得られた顔形状モデルを新たな顔形状モデルサンプルとして追加し、その追加された顔形状モデルサンプルを反映して前記各特徴点の重みを再計算して前記重み情報記憶部に記憶させる重みを更新する重み更新部、を更に備える顔解析システム、を提供する。

さらに別の参考例では、ユーザごとに、そのユーザの顔形状における複数の特徴点の３次元座標を含んだ登録顔形状モデルを記憶した登録顔データベースと、顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部と、ユーザが呈示した顔から得られた顔形状モデルと顔データベースに登録されたそのユーザの顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定する判定部と、を備え、前記重み情報記憶部が記憶する各特徴点の重みは、同一ユーザの複数の顔形状モデルの間での同一特徴点の３次元座標のばらつきである個人内ばらつきが小さい特徴点ほど大きい値である顔解析システム、を提供する。

さらに別の参考例では、ユーザごとに、そのユーザの顔形状における複数の特徴点の３次元座標を含んだ登録顔形状モデルを記憶した登録顔データベースと、顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部と、ユーザが呈示した顔から得られた顔形状モデルと顔データベースに登録されたそのユーザの顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定する判定部と、を備え、前記重み情報記憶部が記憶する各特徴点の重みは、複数のユーザの顔形状モデルの間での同一特徴点の３次元座標のばらつきである個人間ばらつきが大きい特徴点ほど大きい値である顔解析システム、を提供する。

さらに別の参考例では、各ユーザの登録３次元顔形状データを記憶した顔データベースと、３次元顔形状の各特徴点についての重みを記憶した重み情報記憶部であって、それら特徴点のうち、額、鼻筋、頬、顎の内の少なくとも１つに属する特徴点の重みがその他の特徴点の重みよりも大きい値を持つ重み情報記憶部と、ユーザが呈示した顔から得られた３次元顔形状データと顔データベースに登録されたそのユーザの登録３次元顔形状データとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づき呈示された顔が顔データベースに登録された顔と同一であるか否かを判定する判定部と、を備える顔解析システムを提供する。

以下、図面を参照して、本発明の実施の形態（以下「実施形態」と呼ぶ）について説明する。

図１を参照して、本発明の実施形態のシステム構成を説明する。図１に示すように、このシステムは、レンジファインダ１０とユーザＩＤ入力装置２０と顔認証装置３０とを備える。

レンジファインダ１０は、ステレオ法等により三次元距離計測を行う装置である。レンジファインダ１０は、例えばレーザビームのスリットやスポットで対象物表面を走査し、それらスリット又はスポットを異なる位置に配置された２つのカメラで同時に撮影し、各カメラの配置位置と各カメラの撮影した画像内でのスリット又はスポットの位置との関係に基づき、三角測量の原理によりそれらスリット上の各点、或いはスポットの３次元位置を求める。対象物表面上の各点の３次元位置は、距離画像の形で表現される。距離画像では、マトリクス状に配列された各画素の画素位置がその画素に対応する対象物表面上の点の２次元座標（Ｘ，Ｙ座標）に対応し、各画素の画素値がその画素に対応する対象物表面上の点の基準点又は基準面からの距離（Ｚ座標）に対応する。ＸＹＺはこのシステムの世界座標系である。このようなレンジファインダは周知であるので、これ以上の説明は省略する。

また、よく知られるように、レンジファインダの中には、三次元形状計測の際のレーザ光の反射光から、対象物の可視画像（輝度画像又はＲＧＢ等のカラー画像）を生成できるものある。このように生成される可視画像の画素は、三次元計測の結果である距離画像の画素と対応づけることができる。本実施形態のレンジファインダ１０も、このように距離画像とそれに対応する可視画像を出力するようなものであってよい。この可視画像は、後述する顔の３次元モデルである顔パッチモデルのテクスチャ情報として用いることができる。レンジファインダ１０が撮影した顔の画像をテクスチャ画像と呼ぶ。

本実施形態では、認証を受けるユーザが呈示したそのユーザの顔（以下「対象顔」と呼ぶ）をこのレンジファインダ１０で計測し、その顔の距離画像を求める。レンジファインダ１０が求めた距離画像のデータは、顔認証装置３０の呈示モデル作成部３２に入力される。また、レンジファインダ１０が顔の距離画像と共にテクスチャ画像を撮影する場合は、そのテクスチャ画像の情報も呈示モデル作成部３２に入力される。

ユーザＩＤ入力装置２０は、認証を受けるユーザから、ユーザＩＤ（識別情報）の入力を受けるための装置である。ユーザＩＤは、ユーザが識別できる情報であればよく、例えばユーザの氏名であってもよいし、社員番号等の識別番号であってもよい。ユーザＩＤ入力装置２０は、入力方式を問わない。例えば、ユーザＩＤの文字列の入力を受け付けるためのキーボードであってもよいし、ユーザＩＤの音声入力を受け付ける装置であってもよいし、ユーザが携帯するＩＤカードの磁気ストライプやＩＣチップからユーザＩＤを読み出す装置であってもよい。ユーザＩＤ入力装置２０は、ユーザの入力からユーザＩＤを求め、そのユーザＩＤを顔認証装置３０の認証部３４に渡す。

顔認証装置３０は、対象顔の距離画像（もしあればテクスチャ画像も）に基づき、そのユーザの本人認証を行う。

呈示モデル作成部３２は、ユーザが呈示した対象顔の距離画像（もしあればテクスチャ画像も）から、その対象顔の呈示モデルを作成する。本実施形態では、顔を顔パッチモデルと呼ぶモデルで表現する。顔パッチモデルは、顔の表面形状を、その形状の構造上の特徴点の組合せで表現したモデルである。特徴点は、例えば目頭や目尻を含む目の輪郭、唇の輪郭、鼻の稜線、眉の生える額の稜線など、顔の構造上の特徴部位の３次元位置を示す頂点である。顔パッチモデルは、例えば、図２に示すように隣接する特徴点同士を線分で結んでできる三角形のパッチ群から構成されるワイヤーフレームモデルである。各特徴点は、その点の３次元位置座標、その点の法線情報を有する。また、顔パッチモデルにテクスチャも組み込む場合は、特徴点に、テクスチャ画像におけるその点の画素値（例えば輝度値又はＲＧＢ値）を持たせればよい。顔パッチモデルを構成する特徴点の数は予め取り決めておく。発明者らは、例えば顔形状に対して４６５点の特徴点を設定した。各特徴点には、目頭や目尻、唇の右端などのように、顔の表面形状構造上での「意味」が割り当てられている。このように各特徴点には意味があるので、各特徴点に通し番号を割り当てることができる。この番号の順に各特徴点の３次元座標を並べることで、顔パッチモデルの３次元形状Ｐを次式のように多次元ベクトルで表現することができる（この例は４６５点の特徴点×３次元のベクトル）。

このように顔形状を多次元のベクトルで表現すれば、単純なベクトルの平均で標準顔を作ることができるなど、非常に加工や解析が容易に行えるという利点がある。

呈示モデル作成部３２による呈示モデルの作成の流れを図３に示す。この処理では、まず、入力された顔データ４０（すなわち距離画像）に対し、顔パッチモデルを当てはめるモデルフィティングを行う（Ｓ１）。モデルフィッティングは、例えば非特許文献２と同様にして行えばよい。

すなわち、顔認証装置３０は、該装置を操作するオペレータに対し、図４に示すように代表点位置指定用画面５０を表示する。この画面には、距離画像と同時に撮影されたテクスチャ画像が表示され、そのテクスチャ画像上に、顔の特徴点の中の代表点（図中白丸で示す）が表示される。代表点としては、目頭や目尻など、特徴点の中で特に分かりやすい点が選ばれている。代表点の数は数十点程度である。これら代表点は、選択して位置を移動させることができる。オペレータはポインティングデバイス等で代表点を選択し、それを対象顔のテクスチャ画像に合わせて、目頭や目尻などの代表点の正しい位置へと移動させる。テクスチャ画像上での代表点の位置が分かれば、その位置に対応する距離画像上の画素の値から、代表点の３次元位置が特定できる。特定された各代表点の３次元位置に顔パッチモデルの各代表点を合わせ、残りの特徴点の３次元位置は、周囲の代表点からの補間により求める。このような処理により、対象顔の顔パッチモデル４２ができる。

顔解析を行うためには、顔パッチモデル４２を一定の規格に当てはめる必要がある。そこで、顔パッチモデル４２を、多くの人の顔パッチモデルから作成した平均的な顔のパッチモデルである標準顔パッチモデルに対して位置合わせする（Ｓ２）。位置合わせは、例えば、顔パッチモデル４２と標準顔パッチモデルとの対応する特徴点同士のユークリッド距離の総和が最小となるように、顔パッチモデル４２を標準顔パッチモデルに対して並進、回転させることにより行う。このような位置合わせの結果、規格化（正準化）された解析用顔パッチモデル（呈示モデル）４４ができる。この解析用顔パッチモデル４４は、認証部３４に渡される。

認証部３４は、認証対象のユーザの解析用顔パッチモデルを、そのユーザがユーザＩＤ入力部２０に入力したユーザＩＤに対応する登録顔パッチモデルと比較することで、両者が同一人物のものかを判定する。登録顔パッチモデルは、ユーザ本人の顔パッチモデルとして本システムに登録されたモデルである。登録顔パッチモデルは、登録モデルＤＢ（データベース）３６に登録されている。

解析用顔パッチモデルと登録顔パッチモデルとが同一人物のものであるか否かは、両モデルの比較により判定できる。対応する特徴点同士の距離が近ければ、それら両モデルが近いといえる。例えば、それら両モデルの間で対応する特徴点同士の距離の総和（例えば対応する特徴点同士の位置の差の二乗和）から両モデルの相異度を求め、その相異度を閾値と比較することで、それら両モデルが同一人物のものか否かを判定すればよい。例えば総和が閾値より小さければ、２つのモデルが同一人物のものであると判定できる。

ただし、このような判定には次のような問題がある。すなわち、顔の三次元形状は、表情の影響などにより常に一定であるとはいえない。表情の影響を受けやすい領域では、同一人物を比較しても差異が大きくなってしまうことがある。レンジファインダ１０での撮影の際に、ユーザに真顔でいるようにしたとしても、表情の影響が少なからず残る。また、撮影時のユーザの姿勢によって輪郭にずれが生じてしまったり、オクルージョンが生じてしまったりすることもある。このようなことから、解析用顔パッチモデル４４と登録顔パッチモデルとを単純に比較したのでは、高精度の認証は望めない。

そこで、本実施形態では、高精度の認証を行うために、特徴点同士の距離の総和を求める際に、顔のなかで表情等が変わっても安定して抽出できる領域の特徴点に対し、表情等の変化による影響が大きい部分の特徴点よりも大きな重み付けを行う。

このために、本実施形態では、「個人内分散」を用いて、安定して抽出できる領域を求める。「個人」の顔パッチモデルの集合は、同一人物について異なる複数の時点で取得した顔パッチモデルの集合である。顔認証の場合母集団として複数の登録ユーザがあり、各登録ユーザごとに個人のモデルの集合が規定される。「個人内分散」は、１人の個人内の顔パッチモデル同士の間での、同じ特徴点の三次元位置の分散であり、特徴点ごとに規定される。

個人内分散は、複数の個人にわたって規定することができる。一つの特徴点（仮にｉ番目とする）の複数人にわたっての個人内分散は、個人ごとでの当該特徴点の個人内分散の総和と等しくなる。

図５に示すようにｎ個の個人があったとする。各個人内のサンプル数は同一でなくてもよい。ｎ個人で合計Ｎ個のサンプルがあるとする。そして、図５に示すように、同一個人内でのサンプルの番号をｉとし、個人の番号をｋとする。注目する特徴点についてのｎ個人にわたる個人内分散は、次式で表される。

ここでｐ_kiは、個人ｋのサンプルｉにおける注目する特徴点のベクトル（３次元座標）であり、ｐ_kは、個人ｋの全サンプルにわたる注目する特徴点の平均ベクトルである。

この個人内分散の計算は、同一の特徴点の３次元座標をユーザの複数の顔形状モデルに渡って平均したものに対するそれら各顔形状モデルのその特徴点の３次元座標の分散を求め、その分散を全ユーザに渡って総合したものと言える。

個人内分散が小さい特徴点ほど同一人物において変化の少ない、安定して検出できる頂点であるといえる。逆に、個人内分散が大きい特徴点は、表情などの影響を受けやすい不安定な頂点であり、認証における本人拒否の原因となる。したがって、この母集団において求めた個人内分散が小さい特徴点ほど、解析用顔パッチモデルと登録顔パッチモデルとの比較（距離計算）の際の重みを大きくすると、個人の中で変化しにくい特徴点に重点をおいた比較が可能になる。

以上は、同一人物内での顔の表情変化や経時的変化に着目したものであった。顔の識別の観点には、そのような観点の他に人と人の間での違いの出やすさという観点がある。顔の容貌は人ごとに異なるので、同じ特徴点でもその位置は基本的に人ごとに異なるが、その相違の程度には部位ごとに差があり、人ごとに違いが出やすい特徴点と出にくい特徴点がある。人によって差の出やすい特徴点ほど個人識別において重要である。したがって、人によって差の出やすい特徴点ほど解析用顔パッチモデルと登録顔パッチモデルとの比較（距離計算）の際の重みを大きくすることが好適である。

そこで、「個人間分散」という概念を導入する。個人間分散は、同じ特徴点の位置の母集団に属する全個人にわたっての分散であり、特徴点ごとに計算される。個人間分散は、複数の人の顔パッチモデルの特徴点のばらつきの尺度となる。

複数個人における個人間分散は、当該特徴点についての個人ごとの平均ベクトルと全個人の平均ベクトルとの差の総和と等しくなる。ｎ個人の全Ｎ個のデータにおいて、ｎ_kを個人ｋのサンプル数、ｐ_kを個人ｋにおける注目特徴点の平均ベクトル、ｐを全個人に渡っての注目特徴点の平均ベクトルとすると、個人間分散は次式で表される。

この個人間分散は、同一の特徴点の３次元座標を全ユーザの全顔形状モデルに渡って平均したものに対する各ユーザの各顔形状モデルのその特徴点の３次元座標の平均値の分散である、ということができる。

個人間分散が大きい特徴点ほど人と人の間での差異が大きく、人物による違いが出やすい頂点であるといえる。逆に、個人間分散が小さい特徴点は、人物による違いが出にくく、認証における他人受入の原因となる。したがって、母集団において求めた個人間分散が大きい特徴点ほど解析用顔パッチモデルと登録顔パッチモデルとの比較の際の重みを大きくすると、人物ごとの違いの出やすい特徴点に重点をおいた比較が可能になる。

以上、個人内分散と個人間分散について説明した。これら個人内分散と個人間分散とは個別に用いてもよいが、両者を組み合わせることで、それら両者の特性を併せ持った評価を行うことができる。ここでは、両者の組合せ方として、両者の比をとる「分散比」を説明する。

分散比ｒは、個人内分散Ｖ_Wで個人間分散Ｖ_Bを除した値であり、次式で表される。

分散比ｒが大きい特徴点は、同一人物内の比較では差異が小さく、他者間の比較で差異が大きくなる頂点であるといえる。したがって、分散比が大きい特徴点ほど認証において有効な頂点となる。そこで、分散比が大きい特徴点ほど解析用顔パッチモデルと登録顔パッチモデルとの比較の際の重みを大きくすることで、精度のよい比較が可能になる。

各特徴点に対する具体的な重みの決め方は、分散比が大きい特徴点ほど大きい重みを与えるという条件の中で様々なものが考えられるが、一つの方法として、特徴点の分散比ｒそのものをその特徴点の重みとすることもできる。以下、この方法について説明する。

分散比ｒは顔パッチモデルの特徴点ごとに算出される。パッチモデルの特徴点の総数をＭとすると、次式のような分散比のベクトルを考えることができる。

分散比を重みとして扱うために、上記分散比のベクトルを次式で正規化する。

そして、正規化後のベクトルを重みベクトルと定義する。重みベクトルＷは次式のようになる。

本実施形態では、多くのユーザの様々な時点の撮影で得た顔パッチモデル（サンプル）から、上述のようにして重みベクトルＷを計算しておき、それを図１の装置の重み情報記憶部３８に登録しておく。発明者らが実験で求めたところでは、図６において太線で囲んだ額、鼻筋、頬骨近傍、顎の各部が、その他の目や唇などといった部位よりも重みが大きくなった。従来の画像ベースでの顔認証・顔認識では、目や唇などのように人間の目で見た時の顔の注目部位が重視されていたのに対し、この距離画像ベースの顔パッチモデルを用いた認証・認識では、それよりもむしろ額等といった比較的人間の目で見た時に注目されにくい部分に大きい重みが割り当てられる。

認証部３４は、解析用顔パッチモデルと登録顔パッチモデルとの相異度diffを計算する際、この重みベクトルＷを用いる。この相異度の計算は、例えば以下のように行う。

登録顔パッチモデルを
とし、解析用顔パッチモデルを
とし、ｗ_kを重みベクトルとし、Ｍを特徴点の総数（この例では４６５）とすると、相異度diffは、例えば以下の計算式で計算できる。

この計算で求めた相異度を閾値と比較することで、認証対象の人が本人であるか否かを判定できる。

以上、実施形態を説明した。次に実施形態の変形例を説明する。

上記の実施形態では、全個人における分散比から重みベクトルを求めることによって、全被験者における、つまり一般的な顔における個人性の出やすさを表現した。これに対し、この変形例では、各個人に対し個人内分散と個人間分散を定義して分散比を算出し、個人別の重みベクトルを求めることによって、個人毎の特徴を解析する。

この変形例での個人内分散は、注目個人Ｘ内での分散であり、注目人物のパッチモデルにおける特徴点の位置のばらつきを示す。また個人間分散は、注目個人Ｘと他の個人との間での２個人間の分散の総和であり、注目人物とその他の人物との間での特徴点位置のばらつきを示す。

以下に注目する人物Ｘに対する重みベクトルの算出方法を示す。

ｎ_xを個人Ｘのサンプル数、ｎ_kを個人ｋのサンプル数、ｐ_kiを個人ｋのｉ番目のサンプルにおける注目する特徴点のベクトル、ｐ_kを個人ｋにおける注目する特徴点の平均ベクトル、ｐ_Xを個人Ｘにおけるｃ平均ベクトル、ｐ_Xkを個人Ｘと個人ｋの２個人における注目する特徴点の平均ベクトルとして、個人内分散Ｖ_WXと個人間分散Ｖ_BXをそれぞれ以下の式で定義する。

この個人内分散は、個々のユーザに固有のものとして求められるものであり、同一の特徴点の３次元座標をそのユーザの複数の顔形状モデルに渡って平均したものに対するそれら各顔形状モデルのその特徴点の３次元座標の分散である。また、ここでの個人間分散は、個々のユーザに固有のものとして求められるものであり、当該ユーザと他のユーザとの２者の各顔形状モデルにおいて、同一の特徴点の３次元座標を当該ユーザの複数の顔形状モデルに渡って平均した平均値に対するそれら２者のその特徴点の３次元座標のばらつきを、他のユーザ全てにわたって総合したものということができる。

求めた個人内分散Ｖ_WXで個人間分散Ｖ_BXを除することで、分散比ｒが求められる。以上の処理をパッチモデルの各特徴点に行うことで、４６５個の分散比が得られる。これらを所定の順序で並べたものが、この変形例における固有重みベクトルとなる。この固有重みベクトルを、登録モデルＤＢ３６に登録された登録ユーザごとに求めておき、重み情報記憶部３８に登録しておく。認証部３４は、ユーザＩＤ入力装置２０から入力されたユーザＩＤに対応する固有重みベクトルを重み情報記憶部３８から求め、それを用いて解析用顔パッチモデルと登録顔パッチモデルとの相異度diffを上記実施形態と同様の式で計算する。

この変形例によれば、個々の人ごとの固有重みベクトルを用いて重み付けを行うので、より高精度に判定を行うことができる。

なお、上記実施形態及び変形例のシステムでは、ユーザが本人認証を受けるたびに、そのユーザの顔パッチモデルを得ることができる。そこで、本人認証によりユーザ本人と確認できた顔パッチモデルを新たなサンプルとして順次登録モデルＤＢ３６に蓄積してもよい。そして、その蓄積の都度あるいは定期的など所定のタイミングで、図７に示す顔認証装置３０内の重み計算部３９が、その時点で登録モデルＤＢ３６に蓄積されたサンプルのパッチモデル群に対して上記実施形態又は変形例の処理を行う。これにより、重みベクトル又は個々人ごとの固有重みベクトルを求め、重み情報記憶部３８に登録する。図７の変形例によれば、順次新しいサンプルのパッチモデルを追加し、それに応じて重みベクトルを更新できるので、月日の流れに応じた顔の変化に対応することができる。なお、この場合、重みベクトルを求める際のサンプルを最新のものから所定数個などと限定し、古いサンプルを用いないようにすることも好適である。

また、この変形例では、認証部３４で解析用顔パッチモデルと比較する登録顔パッチモデルとしては、該当するユーザのモデルのうち最も新しく登録モデルＤＢ３６に蓄積されたものを用いればよい。また、この代わりに、重みベクトルを求めるのに用いた当該ユーザのサンプルの平均（特徴点ごとにその位置を平均したもの）をそのユーザの登録顔パッチモデルとして作成し、利用してもよい。

また、以上の実施形態、変形例では分散比を重みとして用いたが、同一人物内の比較では差異が小さくなり、他者間の比較で差異が大きくなるような特徴点ほど大きくなるような重みは、個人内分散と個人間分散を他の方法で組合せても作ることができる。

また、個人内分散と個人間分散とを組み合わせた重みは非常に有効であるが、個人内分散又は個人間分散のうちの一方のみから重みを決定する方式でも、ある程度の効果を得ることができる。例えば、個人内分散が小さい特徴点ほど大きい重みを割り当てるようにすれば、個人の顔の表情変化や経年変化の影響を受けにくい特徴点を重視した本人認証ができる。また、個人間分散が大きい特徴点ほど大きい重みを割り当てるようにすれば、個人差の大きい特徴点を重視した本人認証を行うことができる。

また、以上の実施形態、変形例では、特徴点の位置のばらつきの尺度として分散を用いたが、そのような尺度は分散に限らない。例えば標準偏差等、他の尺度を用いてもかまわない。

また、以上に例示したシステムは、ユーザの呈示した顔が、そのユーザ自身が入力したユーザＩＤの登録顔と同じかどうかを判定する顔認証のためのシステムであった。しかし、上記実施形態及び変形例に示した手法は、顔認証以外に、顔認識にも利用することができる。顔認識では、ユーザの呈示した顔に基づき、そのユーザが誰であるかを認識する技術である。この場合、データベースに各ユーザの顔パッチモデルを登録しておき、ユーザが呈示した顔から生成した解析用顔パッチモデルと、それら各ユーザの登録顔パッチモデルと比較する。その比較の結果、解析用顔パッチモデルとの相異度が閾値以下の登録顔パッチモデルがあれば、顔を呈示したユーザが、その登録顔パッチモデルのユーザであると判定する。その比較の際に、上述の方式で作成した重みベクトルを利用することができる。

また以上の実施例及び変形例では、呈示モデル作成部３２がユーザの呈示した対象顔の距離画像から解析用顔パッチモデルを作成する際に、オペレータが代表点を指定することが必要であったが、このようなオペレータの関与を不要とすることもできる。以下、解析用顔パッチモデルを自動で求める変形例について説明する。

この変形例では、呈示モデル作成部３２は、対象顔の距離画像から解析用顔パッチモデルを作成するために、予め用意した標準顔パッチモデル（標準顔パッチモデル１２６）を、対象顔に合わせて変形するというアプローチをとる。このような処理のための機能モジュールとして、呈示モデル作成部３２は、図８に示すように、正準化処理部１１２、２次元ＤＰマッチング部１１４、モデル変形部１１６及び記憶装置１２０を備える。

正準化処理部１１２は、レンジファインダ１０から受け取った距離画像における対象顔の位置と向き（姿勢）と大きさを正準化（正規化）する。

対象顔の距離画像は、レンジファインダ１０に対する対象顔の向きや距離によって、その向きや大きさが変化してくる。レンジファインダ１０による形状計測では、対象顔を正面かつ所定の距離から撮影するようにはするが、被写体が人間である以上、顔を固定する機構などを設けない限りは、揺動や多少の位置の変化は避けられず、厳密に正面方向から正しい距離で形状計測することは困難である。したがって、顔を固定する機構などを設けないシステムでは、同じ対象顔でも、形状計測の都度その距離画像の向きや大きさが変化してくる。このような変化は、作成されるパッチモデルの精度に悪影響を与えるので、本実施形態では正準化処理部１１２により対象顔の距離画像の向きや大きさを正準化するのである。

標準顔パッチモデル１２６は、レンジファインダ１０に対して所定の距離にある所定の向きの顔を想定して作成されたものである。標準顔パッチモデル１２６は、十分な数の人の顔から作成した顔パッチモデルの平均（例えば、特徴点ごとにその座標をそれらサンプル間で平均したもの）である。

正準化処理部１１２が行う正準化は、対象顔の距離画像を、レンジファインダ１０から見て対象顔がその距離の位置でその向きを向いた状態を示すものとなるように変換する処理である。以下、正準化処理の詳細を説明する。

人間の顔は完全な左右対称ではないが、ある程度の対称性が仮定できる。そこで顔を最も左右対称に分割する平面を正中面と定義し、正中面による姿勢補正を行う。

三次元空間中の平面は次式（１）のように、
と与えられるので、非線形最小二乗法の一つである滑降シンプレックス法を使用し、誤差評価関数Ｅ₁ を最小化する方向へ平面の係数（ａ，ｂ，ｃ，ｄ）を変動させることで、正中面として最適な平面を推定する。計測で得られた顔の三次元情報である点群Ｐと、その点群Ｐを平面基準（すなわち評価対象である正中面の候補）について鏡映して得られる点群
との間で、互いに対応する点同士の間のユークリッド距離を求め、点群全体でのその距離の平均を評価関数Ｅ₁ とする。すなわち、評価関数Ｅ₁ は、
となる。式中のＮ_p は点群Ｐの総点数、ｐ_i は点群Ｐ中の点、ｑ_iは点群
中でのｐ_i の対応点を示している。算出された正中面を、顔パッチモデルを表現する世界座標の原点を含むＹＺ平面に合わせることで、正中面による姿勢補正を図る。図９に、システムの世界座標系ＸＹＺと顔の距離画像３００の関係を図示する。

ここで、顔の撮影はレンジファインダ１０にほぼ正対した状態で行われているので、このことを前提条件として利用する。顔がほぼ正面を向いているため、算出される正中面はＸＹ平面やＸＺ平面になることは無く、ＹＺ平面(x=0)に近い形で求められる。そこで、（１）式におけるｘの係数ａを定数とし、変動させるパラメータから除外する。変動するパラメータを減らすことで、正中面算出の計算コストが削減でき、また解を安定化させることができる。
また、点群Ｐと点群
には、点の粗密・ばらつきが生じているため、点群間での対応が取りにくい。そこで、予め点群Ｐを世界座標のｘ，ｙ値についてリサンプリングした点群Ｐ_Rを作成しておき、点群Ｐと点群
の対応を、点群
と点群Ｐ_Rで代行することで計算コストの削減を図る。カメラ（レンジファインダ１０）にほぼ正対して撮影が行われたことより、ｘ，ｙ値についてリサンプリングして得られる点群Ｐ_R点群Ｐを十分に代表できる点群と考えられる。また点群
と点群Ｐ_R の対応は、図１０のように線形補間を利用して、世界座標のｘ，ｙ値が同じになる点同士で取る。そのため、誤差評価関数Ｅ₁'は次の（３）式のように改められる。

ここで、式中のＮ_q は点群
の総点数、ｑ_j は点群
中の点、ｒ_j は点群Ｐ_Rを線形補間して得たｑ_j の対応点を示す。
（１）式のａを定数とし、ｂ，ｃ，ｄを様々に変えながら、点群Ｐの鏡像である点群
を求め、誤差評価関数Ｅ₁'の値を計算する。滑降シンプレックス法を用いてその誤差評価関数Ｅ₁'の値が最小となる時のａ，ｂ，ｃ，ｄを求める。これらａ，ｂ，ｃ，ｄを（１）式に代入して得られる式が、対象顔の正中面を表す。この正中面が世界座標系のＹＺ面に一致するように対象顔の距離画像の座標系を回転及び平行移動させることで、対象顔の距離画像の姿勢が補正できる。

次に、正中面による姿勢補正が完了したデータに対し、平均鼻断面を用いることで更に姿勢と位置の補正を行う。平均鼻断面は、十分な数の人の正中面断面データより鼻領域のみを取りだし、それら鼻断面の平均をとることで作成できる。

鼻は表情が変化しても形状の変化が少なく、顔のほぼ中央に位置しているため計測で情報を取得しやすいという長所がある。また鼻自体の形状は個人差が大きいが、断面の形状に関してはそれほど差異がないという特徴もある。そのため、対象顔の正中面による断面データを、平均鼻断面に最も合うように位置合わせすることで、正中面だけでは補正できなかったＸ軸回りの回転とＹ，Ｚ方向に関する並進の補正が可能となる。

位置合わせには正中面算出時でも用いた滑降シンプレックス法を使用する。具体的には、平均鼻断面の点群Ｓと、対象顔の距離画像の正中面断面の点群Ｔとの間の対応する点同士の平均ユークリッド距離を誤差評価関数Ｅ₂ として、Ｅ₂ が最小となるまで顔（すなわち正中面による姿勢補正後の距離画像）全体の並進・回転を繰り返す。点群Ｓと点群Ｔとの間の対応点の取り方は、例えばユークリッド距離が最も近い点同士を対応点とするやり方でよい。誤差評価関数Ｅ₂ を次式に示す。

ここで式中のＮ_s は点群Ｓの総点数、ｓ_i は点群Ｓ中の点、ｔ_i は点群Ｔ中における点ｓ_i の対応点を示す。

次に、図１１に示すように、平均鼻断面を用いた姿勢及び位置補正が完了した対象顔の点群５００に対し、新たに画像平面５０２（世界座標系のＸＹ平面に平行な面）を設け、その点群５００を画像平面５０２に正射影することで、画像中の顔のサイズ・位置を補正した正準化距離画像５０４を得る。正射影は、線形補間と世界座標のｘ，ｙ値についてのリサンプリング処理を用いて行われる。すなわち、この正射影処理では、その点群５０２の中からＸ，Ｙの各軸方向についてそれぞれ所定間隔ごとに点をリサンプリングする。このとき、その位置に点がない場合は、周囲の点から補間する。そしてこのリサンプリングした点群を画像平面５０２に平行投影する。こうすることで、距離画像の画像座標(u,v)と世界座標(x,y,z)が対応付けられた距離画像を取得できる。例えばＶＧＡ規格の画像を用いる場合、顔は縦長であるため、正準化距離画像の画像サイズは横480×縦640ピクセルとする。

以上、対象顔の距離画像の正準化について説明した。なお、図１２に示すように、対象顔の距離画像６０２の各画素とテクスチャ（距離画像と同時に取得した可視画像）６０４の各画素は１対１で対応しているため、距離画像の正準化結果を参照することでテクスチャに関しても正準化ができる。この正準化においてテクスチャを正射影する際に、距離画像が行った線形補間の面積比をテクスチャにも適応することで、正準化されたテクスチャ（正準化テクスチャと呼ぶ）を生成する。正準化テクスチャの画像サイズも480×640 ピクセルであり、図１２に示すように正準化距離画像６０６と正準化テクスチャ６０８の各画素も１対１で対応している。

以上、正準化処理部１１２について説明した。レンジファインダ１０に対する対象顔の向きや位置を正しい状態とする機構を設ければ、以上のような正準化処理部１１２は必ずしも必要ない。

正準化処理部１１２が作成した正準化距離画像６０６は（正準化テクスチャ６０８も作成した場合はそれも）、２次元ＤＰマッチング部１１４に渡される。

２次元ＤＰマッチング部１１４は、その正準化距離画像と、標準顔パッチモデルの距離画像との間で２次元ＤＰマッチングを行うことで、両距離画像の間での画素間の対応関係を求める。

標準顔パッチモデルの距離画像は、標準顔パッチモデル１２６から作成しておく。基本的な作成方法は、姿勢及び位置補正が完了した対象顔の点群５００から正準化距離画像を作成する方法と同様であり、標準顔パッチモデル１２６の示す３次元表面形状の各点のＺ座標を、それら各点を世界座標系のＸＹ平面に平行投影した位置の画素の画素値（距離値）とすればよい。標準顔パッチモデル１２６は正準化された多数の顔パッチモデルからの平均として求められたものなので、既に正準化済みである。

ここで、標準顔パッチモデルの場合３次元の点の数が４６５点しかないため、リサンプリングをする際に距離画像の各画素に対応するモデルの３次元頂点が存在しない場合がほとんどである。そのため、距離画像の各画素に対応するモデルの３次元位置を推定する必要がある。

この推定では、まず、標準顔パッチモデルを構成する各パッチについて、そのパッチを構成する３つの特徴点からパッチの面を求める。パッチは微小であり平面とみなすことができるため、図１３に示すように、距離画像の画素に対応するパッチ内の点ｖ₄ の３次元座標（ｘ₄，ｙ₄，ｚ₄）のうちのｚ座標は、次式に示すように、パッチを構成する３頂点ｖ₁〜ｖ₃からの距離の比から求めることができる。なお点ｖ₄ のｘ，ｙ座標は距離画像の画素の位置に対応しており、容易に求められる。

このようにして距離画像の各画素に対応するｚ座標を求めることで、標準顔パッチモデル１２６の距離画像（図８の標準顔パッチモデル距離画像１２２）が求められる。このようにして作成した標準顔パッチモデル１２６の距離画像１２２は、呈示モデル作成部３２の記憶装置１２０内に保存されており、必要に応じ、２次元ＤＰマッチング部１１４から参照される。また、記憶装置１２０には、この他に標準顔パッチモデル１２６も保存されている。また、標準顔パッチモデル１２６を構成する各特徴点がその距離画像１２２のどの画素に対応するかは、その作成の際に分かるので、その対応関係を示す特徴点対応付け情報１２４を作成しておき、記憶装置１２０に保存しておく。

次に、２次元ＤＰマッチング部１１４による、このような標準顔パッチモデル距離画像１２２と、正準化処理部１２２が出力した正準化距離画像との画素同士の対応付け処理について説明する。

ＤＰ（動的計画法）マッチングは単語認識の分野において、話者による発音のくせの違いから生じる時間軸上の非線形の伸縮を吸収する手法として提案された。ＤＰマッチングは時間軸という１次元の軸上でのマッチング処理であり、これを２次元に拡張したのが２次元ＤＰマッチングである。２次元ＤＰマッチングは、従来公知の技術であり、画像同士のマッチングなどに利用されている。

２次元ＤＰマッチング部１１４は、基本的には、このような従来公知の２次元ＤＰマッチング処理を行うものでよい。ただし、通常の２次元ＤＰマッチングでは、計算量が画素数の指数乗のオーダーとなるので、画素数が多いと計算コストが非常に大きくなってしまう。

そこで、ここでは、距離画像の水平方向と垂直方向のそれぞれについて独立に１次元ＤＰマッチングを行い、その結果を組み合わせることで、２次元ＤＰマッチングを近似する。この処理の基礎情報として、１次元ＤＰマッチング処理について説明する。

２つの時系列（特徴ベクトルの系列）Ａ，Ｂを、
Ａ＝ａ₁，ａ₂，・・・，ａ_I
Ｂ＝ｂ₁，ｂ₂，・・・，ｂ_J
とし、ＡとＢの対応を考える。一般にＡとＢは時間軸が異なっているため、同じインデックス番号同士が対応しているとは限らない。

そこで図１４に示すようなＡ，Ｂからなる平面を考える。この図において、コスト関数(warping function)、すなわちＡ，Ｂ両パターンの対応付けは、この平面上の格子点ｆ = (ｉ，ｊ) の系列
Ｆ＝ｆ₁，ｆ₂，・・・，ｆ_k
ｆ_k ＝(ｉ_k，ｊ_k)
で表現することができる。２つの特徴ベクトルａ_iとｂ_jの距離を
ｄ(ｆ) = ｄ(ｉ，ｊ)
で表すと、Ｆに沿った距離の総和は、
で表すことができ、この値が小さいほどＡとＢの対応付けがよいことを示す。

ここで、（５）式を次のような制約条件のもとで、Ｆに関して最小化することを考える。
1. 単調連続性条件
2. 境界条件
3. 整合窓の条件

このとき、最小化する目的関数Ｄ（Ｆ）は加法的になるので、この最小化は、Ｆのすべての可能性について総当り的に調べることなく、効率的に解くことができる。

部分点列ｆ₁，ｆ₂，・・・，ｆ_k(ｆ_k = (ｉ，ｊ)) に対する部分和ｇ(ｆ_k) を上で述べた制約条件を用いて考えると、
となる。したがって、ｇ（１，１）＝ｄ（１，１），ｊ＝１として、整合窓の範囲内でｉを変えながら（６）式を計算し、次にｊを増加させて、ｊ＝Ｊとなるまで同様の計算を繰り返せば、最後にｇ（Ｉ，Ｊ）としてＡ，Ｂ２つの時系列間の時間正規化後の距離が求まる。この距離が最小となる時のｉとｊの対応付けが、最終的なマッチング結果となる。

次に、２次元ＤＰマッチングを水平方向及び垂直方向についての独立な１次元ＤＰマッチングで近似する本実施形態の計算方式について説明する。

まず、画像サイズＭ×Ｎの２枚の距離画像に対して水平方向に１次元ＤＰマッチング処理を行うことにより、水平方向の変形を吸収する。まず図１５に示すように、両距離画像Ａ，Ｂ（例えば画像Ａが対象顔の正準化距離画像、画像Ｂが標準顔パッチモデル距離画像１２２）をそれぞれ垂直方向にスライスしていくことで列ごとの断面形状、
を抽出する。図１５では、上段に距離画像Ａ及びＢが示され、各列のスライスの線が示される。下段には、あるスライス線における断面形状が示される。

ここでｚ_Aij，ｚ_Bij は、距離画像Ａ、Ｂにおけるｊ行ｉ列目の画素の画素値すなわちｚ値である。ｉ_Ai、ｉ_Biは、それぞれ距離画像Ａ，Ｂのｉ列目の各画素のｚ値を順に並べたベクトルであり、ｉ列目における断面形状を示す。なお、ここでは水平方向が行方向、垂直方向が列方向としている。Ｉ_A、Ｉ_Bは、各列の断面形状ベクトルを順に並べた配列である。

このような断面形状の列について、１次元ＤＰマッチングを行う。この計算では、断面形状ｉ_Aiとｉ_Biとの間の距離ｓ(ｉ_Ai，ｉ_Bi) を、マッチングにおけるコストとする。この場合、（６）式を次の（７）〜（９）式のように変えればよい。

ここで断面形状の類似度（距離）ｓ(ｉ_Ai，ｉ_Bi)は、距離画像の画素値すなわちz値の差の絶対値をコストとした１次元ＤＰを用いて計算する。計算式を以下に示す。

この１次元ＤＰでは、制約条件として上述の単調連続性条件、境界条件、及び整合窓の条件を用いる。発明者の実験によれば、整合窓サイズｒは１５が好適である。

以上の計算でコスト最小となる時のｉ_Aiとｉ_Biの対応関係が、距離画像ＡとＢとをマッチさせる時の水平（Ｘ軸）方向の画素番号（インデックス）の対応関係となる。この対応関係により、距離画像ＡとＢの間の水平方向の伸縮が吸収できる。

以上、水平方向についての１次元ＤＰマッチング処理について説明した。２次元ＤＰマッチング部１１４は、この処理と並行して、垂直方向についての１次元ＤＰマッチングも行う。垂直方向についての処理では、距離画像Ａ，Ｂを水平方向にスライスして断面パターンを得る。これ以外は、水平方向の場合と同様でよい。この処理により、距離画像ＡとＢとをマッチさせる時の水平（Ｘ軸）方向の画素番号（インデックス）の対応関係が求められる。この対応関係により距離画像間の垂直方向の伸縮が吸収できる。

以上のようにして、距離画像Ａ（正準化距離画像）と距離画像Ｂ（標準顔パッチモデル距離画像１２２）との間で、画素インデックスの行成分と列成分の対応関係が得られる。この対応関係を図式化して示すと、図１６に示すようなものとなる。すなわち、水平方向のマッチングで距離画像Ａの列番号ｉ_Aと距離画像Ｂの列番号ｉ_Bとが対応することが分かり、垂直方向のマッチングで距離画像Ａの行番号ｊ_Aと距離画像Ｂの列番号ｊ_Bとが対応することが分かったとすると、距離画像Ａ上の画素ｐ（ｉ_A，ｊ_A）が距離画像Ｂ上の画素ｑ（ｉ_B，ｊ_B）に対応することになる。同様にして、距離画像Ａの全ての画素について、距離画像Ｂにおけるその対応画素が分かる。

マッチング対象となる対象顔の距離画像も標準顔パッチモデル距離画像１２２も、共に正準化されているので、このように水平、垂直方向に独立にＤＰマッチングを行う方式でも、両距離画像間の画素同士の対応付けを、高い精度で行うことができる。

２次元ＤＰマッチング部１１４は、このような対応関係の情報をモデル変形部１１６に渡す。

モデル変形部１１６は、この対応関係に従い、標準顔パッチモデル１２６を変形することで、対象顔のパッチモデル１３０を作成する。

すなわち、その対応関係によれば、標準顔パッチモデル距離画像１２２の各画素が対象顔の正準化距離画像のどの画素に対応するかが分かる。また、標準顔パッチモデル１２６の各特徴点が、標準顔パッチモデル距離画像１２２のどの画素に対応しているかは、特徴点対応付け情報１２４から分かる。これらの情報を合わせれば、標準顔パッチモデル１２６の各特徴点が、正準化距離画像のどの画素に対応しているかが分かる。ここで、正準化距離画像の画素の画素位置（ｘ，ｙ）と画素値（ｚ）から、その画素が示す３次元位置が分かる。モデル変形部１１６は、各特徴点が、正準化距離画像における各対応画素の示す３次元位置に移動するように、標準顔パッチモデル１２６を変形する。これにより対象顔の解析用顔パッチモデル１３０ができる。

以上に説明した呈示モデル作成部３２によれば、２次元ＤＰマッチングを用いることで、対象顔を計測して得た距離画像と標準顔パッチモデル距離画像１２２との間の画素の対応付けを自動処理で行うことができるので、対象顔の解析用顔パッチモデルを自動生成することができる。また、本実施形態では、対象顔の距離画像を正準化する正準化処理部１１２を設けたので、対象顔の向きや位置が正しい状態かずれていても、それを標準顔パッチモデル距離画像１２２に合わせることができる。その結果、２次元ＤＰマッチングを２つの異なる方向（例えば水平方向と垂直方向）についての１次元ＤＰマッチングの組合せで近似することができ、通常の２次元ＤＰマッチングを行う場合よりも計算コストを大幅に低減することができる。逆に言えば、通常の２次元ＤＰマッチングを行う場合には、正常化処理部は必ずしも必要ない。

次に、顔のテクスチャ情報を利用して、より精度の高い解析用顔パッチモデルを生成する変形例を説明する。

上の例では、標準顔の特徴点に対応する対象顔上の点を距離画像の情報のみから求めた。この方法は３次元形状の類似性から特徴点の対応点を求めるものである。ところが、顔の特徴点は、必ずしも３次元形状として特徴的な部分に位置するとは限らない。例えば、鼻の稜線は３次元形状として非常に特徴的なので、その稜線上の特徴点については、距離画像の情報だけでも、対象顔上の対応点を高精度で見出すことができる。ところが、例えば目は、個人により大きな差があるのにもかかわらずその差が３次元形状にはあまり顕著に現れないため、距離画像の情報だけから対応点を求めたのでは、高い精度が得られない場合がある。そこで、この変形例では、距離画像に加え、レンジファインダ１０でその距離画像と同時に得られるテクスチャ情報を利用することで、特徴点の対応点を精度よく求められるようにする。以下、この変形例の処理について詳しく説明する。

この変形例の構成は、図８に示すものと同様でよい。ただし、２次元ＤＰマッチング部１１４が実行する計算処理が、上記の例とは異なる。すなわちこの変形例では、上記実施形態における（１０）〜（１２）式の代わりに、次の（１３）〜（１５）式で表される計算を行う。

この例では、テクスチャ画像はグレースケール画像である。ｌ_Aij，ｌ_Bijは、それぞれ、対象顔のテクスチャ画像Ａ（正準化済み）、標準顔のテクスチャ画像Ｂのｊ行ｉ列目の画素の輝度値である。ここで、標準顔のテクスチャ画像は、標準顔パッチモデルを作成する際に用いた多数のサンプル顔のテクスチャ画像の平均から求めればよい。この式において、距離画像の画素値は距離（ｚ値）であり、テクスチャ画像の画素値は輝度なので、両者の値をそのまま足し引きするのは適切ではない。そこで重み係数αを用いて３次元形状とテクスチャの関係を制御する。最適なαの値は、実験等により求めることができる。発明者の実験では、距離（Ｚ値）の単位をmm、輝度の階調を２５６としたが、α = 0.22
のときに、もっとも精度のよいモデルが生成できた。

スライス（断面）内の点の対応付けを上記（１３）〜（１５）式の１次元ＤＰマッチングにより求め、更にそれらスライスの列についての対応付けを（７）〜（９）式の１次元ＤＰマッチングにより行うことで、対象顔と標準顔との間での画素同士の対応関係がより高精度に求められる。そして、この対応関係の情報を用いて標準顔パッチモデルを変形することで、対象顔のパッチモデルを求めることができる。

このような計算によれば、テクスチャの近さがＤＰマッチングのコスト計算に反映されるので、３次元形状だけでは高精度の対応付けが困難な特徴点について、より精度のよい対応付けが可能となる。

以上の変形例では、テクスチャの重みαを画像全域で同一としていた。しかしながら、例えば眉はテクスチャ的には特徴的な部分ではあるが、例えば化粧で眉を描くことで容易に変更できる部分でもある。このほかにも、ひげのように、テクスチャ的には特徴を持つにもかかわらず、変更が容易な部分がある。これに対し、目や唇などは、そのような変化は少ない。マッチングにテクスチャ情報を反映させる場合、容易に変化し得る部分の影響が大きいと、同じ人の顔からパッチモデルを作成しても、その部分の違いにより生成されるパッチモデルの差が大きくなってしまう。

そこで、このような問題を解消又は軽減するための更なる変形例として、顔の部分部分で重みαを可変とする例を以下に説明する。

この変形例では、例えば眉の隆線近傍や、ひげの生える鼻の下やあごなどのように同一人内での変化が大きい部分は、相対的にαの値を小さくする。逆に目や唇のように同一人内での変化の小さい部分は、相対的にαの値を大きくする。このような顔の各部位のα値の情報を作成し、呈示モデル作成部３２に持たせておく。ここで標準顔パッチモデルは、各頂点（特徴点）がそれぞれ顔のどの部位に該当するかという情報（特徴点の意味）を保持しているので、この特徴点の情報を元に、標準顔パッチモデル距離画像１２２の各画像座標（各画素）がそれぞれどの部位に該当するかを決めることができる。このようにして距離画像１２２の各画像座標がどの部位に属するかを決めれば、それに応じてそれら各画像座標にその部位に応じた適切なα値を割り当てればよい。例えば、描き眉が存在しうる範囲の各画像座標には、目が存在しうる範囲の画像座標よりも小さいα値を割り当てる。部位ごとの適切なα値は、実験により求めればよい。目や口など形状よりもテクスチャに特徴がより強く表れる部位にはαの値を大きくし、眉の部分を含む額や鼻などテクスチャよりも形状に特徴が表れる部位にはαの値を小さくするなど、動的にα値を設定することが可能となる。

この変形例では（１３）〜（１５）式の代わりに、次式を用いる。

ここでｕ，ｖは、標準顔パッチモデル１２２の距離画像における画像座標であり、α（ｕ，ｖ）はその画像座標におけるα値である。この計算式において用いる重みα（ｕ，ｖ）としては、その式に代入する標準顔パッチモデル距離画像の画素の画像座標に対応する値を採用すればよい。

このような計算によれば、顔の部位の特性に応じ、より適切なマッチングを行うことができ、対象顔と標準顔との対応付けの精度向上ができ、より高精度の顔パッチモデルの作成が見込める。

以上に説明した呈示モデル作成部３２の各種の例では、顔のテクスチャ情報としてグレースケール画像を用いたが、この代わりにＲＧＢなどのカラー画像を用いてももちろんよい。この場合、コスト評価式に現れるテクスチャの差としては、対象顔と標準顔の間の画素値同士（ＲＧＢ値）の距離を用いればよい。

また、以上の各例では、テクスチャ画像のグレースケール値やカラー値などの画素値をそのままマッチング時の評価に用いたが、その代わりに、そのような画素値の微分を画素ごとに求め、画素値の代わりに微分値を用いて同様の評価を行ってもよい。微分値は、テクスチャ画像に微分フィルタを適用することで求めることができる。例えば、日焼けや化粧により顔の肌の色が変わると、生のテクスチャ画像ではその色の差が評価にそのまま反映されてしまう。ところが、日焼けや化粧により肌の色が全体的に変わったとしても、場所ごとの色の変化を示す微分値はそれほど顕著に変わらないと考えられるので、微分値を用いることでそのような色の変化がある場合にマッチングの精度を向上させることができる。

また、テクスチャ画像の画素値とその微分値の両方をマッチングの評価に反映させてもよい。

以上に説明した実施形態又は変形例の装置は、例えば、汎用のコンピュータにて上述の各部の機能又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、ハードウエアとして、例えばＣＰＵ（中央演算装置）、一次記憶、各種Ｉ／Ｏ（入出力）インタフェースなどがバスを介して相互に接続された構成を有する。そのバスに対し、Ｉ／Ｏインタフェースを介して、ハードディスク装置などの固定二次記憶や、ＣＤ又はＤＶＤ、フラッシュメモリなどの可搬型の不揮発性記録媒体を取り扱うドライブが接続される。上述の顔モデル作成装置の各部の処理内容が記述されたプログラムが、可搬型の記録媒体又はネットワークを経由して固定二次記憶に保存され、コンピュータにインストールされる。そして、インストールされたプログラムが一次記憶に読み出され、ＣＰＵで実行されることにより、上述の実施形態又は変形例の装置が実現される。

なお、このように実施形態又は変形例の装置の全てをソフトウエアで実現する代わりに、呈示モデル作成部３２などの要素モジュールを、ＡＳＩＣ(Application Specific Integrated Circuit)等のハードウエア回路や、デジタル・シグナル・プロセッサなどを用いて構成することも可能である。

実施形態のシステム構成の一例を示す図である。顔パッチモデルの例を示す図である。解析用顔パッチモデルの作成処理の流れを示すフローチャートである。代表点指定用の画面表示の例を示す図である。個人内分散及び個人間分散の母集団を説明するための図である。重みの分布を説明するための図である。変形例のシステム構成を示す図である。呈示モデル作成部の一構成例を示す図である。顔の距離画像と世界座標系との関係を示す図である。点群同士の対応付けにおける補間処理を説明するための図である。姿勢・位置の補正後の点群を射影して正準化距離画像を作成する処理を説明するための図である。距離画像とテクスチャ画像の対応関係を説明するための図である。標準顔パッチモデルに対応する距離画像を作成する際の補間処理を説明するための図である。１次元ＤＰマッチングを説明するための図である。対象顔と標準顔の距離画像同士の間の水平方向についてのＤＰマッチングの処理を説明するための図である。対象顔と標準顔の画素ごとの対応付けを説明するための図である。

符号の説明

１０レンジファインダ、２０ユーザＩＤ入力装置、３０顔認証装置、３２呈示モデル作成部、３４認証部、３６登録モデルＤＢ、３８重み情報記憶部。

Claims

ユーザごとに、そのユーザの顔形状における複数の特徴点の３次元座標を含んだ登録顔形状モデルを記憶した登録顔データベースと、
顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部と、
ユーザが呈示した顔から得られた顔形状モデルと登録顔データベースに登録されたそのユーザの登録顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が登録顔データベースに登録された顔と同一であるか否かを判定する判定部と、
を備え、前記重み情報記憶部が記憶する各特徴点の重みは、同一ユーザの複数の顔形状モデルサンプルの間での同一特徴点の３次元座標のばらつきである個人内ばらつきが小さい特徴点ほど大きい値となり、複数のユーザの顔形状モデルサンプルの間での同一特徴点の３次元座標のばらつきである個人間ばらつきが大きい特徴点ほど大きい値となるよう設定されている、
ことを特徴とする顔解析システムであって、
ユーザが呈示した顔が前記登録顔データベースに登録された顔と同一であると判定された場合にそのユーザが呈示した顔から得られた顔形状モデルを新たな顔形状モデルサンプルとして追加し、その追加された顔形状モデルサンプルを反映して前記各特徴点の重みを再計算して前記重み情報記憶部に記憶させる重みを更新する重み更新部、
を更に備える顔解析システム。
コンピュータを、
ユーザごとに、そのユーザの顔形状における複数の特徴点の３次元座標を含んだ登録顔形状モデルを記憶した登録顔データベース、
顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部、
ユーザが呈示した顔から得られた顔形状モデルと登録顔データベースに登録されたそのユーザの登録顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が登録顔データベースに登録された顔と同一であるか否かを判定する判定部、
として機能させるためのプログラムであって、
前記重み情報記憶部が記憶する各特徴点の重みは、同一ユーザの複数の顔形状モデルサンプルの間での同一特徴点の３次元座標のばらつきである個人内ばらつきが小さい特徴点ほど大きい値となり、複数のユーザの顔形状モデルサンプルの間での同一特徴点の３次元座標のばらつきである個人間ばらつきが大きい特徴点ほど大きい値となるよう設定されている、
ことを特徴とするプログラムであって、
前記コンピュータを、
ユーザが呈示した顔が前記登録顔データベースに登録された顔と同一であると判定された場合にそのユーザが呈示した顔から得られた顔形状モデルを新たな顔形状モデルサンプルとして追加し、その追加された顔形状モデルサンプルを反映して前記各特徴点の重みを再計算して前記重み情報記憶部に記憶させる重みを更新する重み更新部、
として更に機能させるためプログラム。
。