JP4814666B2 - 顔解析システム - Google Patents

顔解析システム Download PDF

Info

Publication number
JP4814666B2
JP4814666B2 JP2006080973A JP2006080973A JP4814666B2 JP 4814666 B2 JP4814666 B2 JP 4814666B2 JP 2006080973 A JP2006080973 A JP 2006080973A JP 2006080973 A JP2006080973 A JP 2006080973A JP 4814666 B2 JP4814666 B2 JP 4814666B2
Authority
JP
Japan
Prior art keywords
face
user
registered
feature point
shape model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006080973A
Other languages
English (en)
Other versions
JP2007257310A (ja
Inventor
幸男 佐藤
広樹 山口
康裕 中島
宏州 小林
Original Assignee
株式会社スペースビジョン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社スペースビジョン filed Critical 株式会社スペースビジョン
Priority to JP2006080973A priority Critical patent/JP4814666B2/ja
Publication of JP2007257310A publication Critical patent/JP2007257310A/ja
Application granted granted Critical
Publication of JP4814666B2 publication Critical patent/JP4814666B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Collating Specific Patterns (AREA)

Description

本発明は、例えば個人識別や個人認証のための、顔解析のための技術に関する。
近年、セキュリティ意識の高まりやネットワーク利用の拡大により、強固なセキュリティを保持できかつ利便性の高い個人認証システムが求められている。その中で最も期待されている技術の一つとして、本人の生体的特徴や特性といった個人特有の情報を利用して本人確認を行うバイオメトリクス認証が注目を浴びている。認証に用いるバイオメトリクスとしては、例えば指紋、顔、網膜パターン、声紋など、様々なものが提案されている。しかし、いずれの場合も、基本的な考え方は、登録ユーザの生体的特徴をシステムに登録しておき、認証対象のユーザから呈示された生体部分から取得した生体的特徴をその登録ユーザの生体的特徴と比較し、両者が所定範囲内の近さであれば、認証対象のユーザが登録ユーザであると判定する、というものである。
バイオメトリクス認証のうち顔認証は非接触で認証を行えるという大きな利点があるため有望視されている。
顔認証の従来技術は、大きく分けて2D−2D認証と2D−3D認証とに分類できる。前者は、認証対象として呈示された顔の画像データも、比較対象となるシステムに登録された顔画像データも、共に2次元の画像データを用いるというものである。後者は、システムに登録する顔データとして3次元のデータを用いることで、認証対象として呈示された顔の向きの違いに対応できるようにしたものである。
これら従来技術は、いずれも認証対象の顔をカメラで撮影して得られる2次元の顔画像を用いるため、撮影時の照明の影響や、認証対象の顔の位置及び向き(姿勢)の影響を受けやすいという問題がある。
このような問題に対する解決策として、呈示された顔のデータもこれに対する比較対象となる登録データも共に3次元の形状データと用いることが考えられる。顔の3次元形状データは、例えばレンジファインダを用いることで得ることができる。3次元の形状データ同士の比較であれば、照明の影響は受けない。また、3次元形状データを用いる場合、比較対象の形状同士の姿勢を3次元的に合わせることができるので、撮影時の顔の姿勢の影響も受けにくい。
ここで、レンジファインダにより得られる顔の3次元形状データは顔の表面の各点を示す3次元の点の集合である。高い精度を得るべく十分に高解像度のレンジファインダを用いた場合、顔表面を示す点の数は数万点規模に上る。呈示された顔のデータと登録データを比較する際、このような莫大な数に上る生の点の集合同士を比較するのは、計算量の点で現実的ではない。
そこで、顔の3次元形状を示す点群のうち、顔の構造上の特徴を示す特徴点の組合せにより顔をモデル化し、モデル同士の比較で認証を行うことが考えられる。このような顔の三次元形状のモデル化の手法として、非特許文献1に示される方式が知られている。この方式では、顔に数百点の特徴点を設定している。特徴点は、目頭や目尻、唇の両端など、顔の特徴となる構造部分に対して配される。目や鼻、口元などといった顔の特徴を強く示す部分ほど特徴点は密に配置される。非特許文献1に示される手法では、レンジファインダにより顔の3次元形状を示す生の点群と、2次元の顔画像とを取得し、2次元の顔画像上で特徴点の中でも重要度の高い代表点(例えば目頭や目尻など)をオペレータに指定させ、代表点以外の特徴点をそれら代表点同士の補間により推定している。このように求められた特徴点の3次元座標の組が、顔のモデルを表す。このモデルを非特許文献1ではパッチモデルと呼んでいる。
登録データ及び呈示された顔のデータとしてそれぞれパッチモデルを用いることで、認証は両モデルの数百点規模の点同士の比較となり、数万点規模の生データの比較からみて計算量を大幅に削減できる。
このように特徴点群からなるモデル同士の比較は有望であるが、問題もある。問題の一つは、同じ人の顔でも常に同じ3次元形状であるとは限らないということである。例えば、目の開き具合や口元の形などは顔の表情の変化に応じて都度変化する。このような各部の形状変化は生の3次元形状からパッチモデルに引き継がれるため、同一人物につき、登録されたモデルと呈示された顔から作成したモデルとを比較した場合でも、表情の変化によって同一人物のものと判定されにくくなるおそれがある。
以上、顔認証の場合の問題を説明したが、同様の問題は、ユーザが呈示した顔が登録された複数人の内のどの人に該当するかを識別する顔認識の場合にも生じる。
中村公謙、子安武彦、市川知弥、天野敏之、佐藤幸男:"NCFを用いた標準顔パッチモデルの顔形状データへの当てはめ" 画像の認識・理解シンポジウム(2002)
本発明は、顔の認証又は認識のためのシステムにおいて、認識又は認証の精度を改善する。
参考例では、ユーザごとに、そのユーザの複数の3次元の顔形状モデルを記憶した顔データベースであって、顔形状モデルは顔形状における複数の特徴点の3次元座標を含むところの顔データベースと、同一ユーザの複数の顔形状モデルの間での同一特徴点の3次元座標のばらつきである個人内ばらつきを計算する個人内ばらつき計算部と、顔データベースに登録されたユーザの顔形状モデルの間での同一特徴点の3次元座標のばらつきである個人間ばらつきを計算する個人間ばらつき計算部と、特徴点ごとに、その特徴点の個人内ばらつきと個人間ばらつきとに基づき重みを計算する重み計算部と、ユーザが呈示した顔から得られた顔形状モデルと顔データベースに登録されたそのユーザの顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定する判定部と、を備える顔解析システムを提供する。
別の参考例では、前記重み計算部は、特徴点の個人間ばらつきを個人内ばらつきで除した比に基づき前記重みを求める。
さらに別の参考例では、システムは、ユーザが呈示した顔が顔データベースに登録された顔と同一であると判定された場合にそのユーザが呈示した顔から得られた顔形状モデルをそのユーザの顔形状モデルとして前記顔データベースに追加し、前記個人内ばらつき計算部と前記個人間ばらつき計算部と前記重み計算部にその追加された顔形状モデルを反映した重みを再計算させる重み更新部、を更に備える。
本発明では、ユーザごとに、そのユーザの顔形状における複数の特徴点の3次元座標を含んだ登録顔形状モデルを記憶した登録顔データベースと、顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部と、ユーザが呈示した顔から得られた顔形状モデルと登録顔データベースに登録されたそのユーザの登録顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が登録顔データベースに登録された顔と同一であるか否かを判定する判定部と、
を備え、前記重み情報記憶部が記憶する各特徴点の重みは、同一ユーザの複数の顔形状モデルサンプルの間での同一特徴点の3次元座標のばらつきである個人内ばらつきが小さい特徴点ほど大きい値となり、複数のユーザの顔形状モデルサンプルの間での同一特徴点の3次元座標のばらつきである個人間ばらつきが大きい特徴点ほど大きい値となるよう設定されている、ことを特徴とする顔解析システムであって、ユーザが呈示した顔が前記登録顔データベースに登録された顔と同一であると判定された場合にそのユーザが呈示した顔から得られた顔形状モデルを新たな顔形状モデルサンプルとして追加し、その追加された顔形状モデルサンプルを反映して前記各特徴点の重みを再計算して前記重み情報記憶部に記憶させる重みを更新する重み更新部、を更に備える顔解析システム、を提供する。
さらに別の参考例では、ユーザごとに、そのユーザの顔形状における複数の特徴点の3次元座標を含んだ登録顔形状モデルを記憶した登録顔データベースと、顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部と、ユーザが呈示した顔から得られた顔形状モデルと顔データベースに登録されたそのユーザの顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定する判定部と、を備え、前記重み情報記憶部が記憶する各特徴点の重みは、同一ユーザの複数の顔形状モデルの間での同一特徴点の3次元座標のばらつきである個人内ばらつきが小さい特徴点ほど大きい値である顔解析システム、を提供する。
さらに別の参考例では、ユーザごとに、そのユーザの顔形状における複数の特徴点の3次元座標を含んだ登録顔形状モデルを記憶した登録顔データベースと、顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部と、ユーザが呈示した顔から得られた顔形状モデルと顔データベースに登録されたそのユーザの顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が顔データベースに登録された顔と同一であるか否かを判定する判定部と、を備え、前記重み情報記憶部が記憶する各特徴点の重みは、複数のユーザの顔形状モデルの間での同一特徴点の3次元座標のばらつきである個人間ばらつきが大きい特徴点ほど大きい値である顔解析システム、を提供する。
さらに別の参考例では、各ユーザの登録3次元顔形状データを記憶した顔データベースと、3次元顔形状の各特徴点についての重みを記憶した重み情報記憶部であって、それら特徴点のうち、額、鼻筋、頬、顎の内の少なくとも1つに属する特徴点の重みがその他の特徴点の重みよりも大きい値を持つ重み情報記憶部と、ユーザが呈示した顔から得られた3次元顔形状データと顔データベースに登録されたそのユーザの登録3次元顔形状データとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づき呈示された顔が顔データベースに登録された顔と同一であるか否かを判定する判定部と、を備える顔解析システムを提供する。
以下、図面を参照して、本発明の実施の形態(以下「実施形態」と呼ぶ)について説明する。
図1を参照して、本発明の実施形態のシステム構成を説明する。図1に示すように、このシステムは、レンジファインダ10とユーザID入力装置20と顔認証装置30とを備える。
レンジファインダ10は、ステレオ法等により三次元距離計測を行う装置である。レンジファインダ10は、例えばレーザビームのスリットやスポットで対象物表面を走査し、それらスリット又はスポットを異なる位置に配置された2つのカメラで同時に撮影し、各カメラの配置位置と各カメラの撮影した画像内でのスリット又はスポットの位置との関係に基づき、三角測量の原理によりそれらスリット上の各点、或いはスポットの3次元位置を求める。対象物表面上の各点の3次元位置は、距離画像の形で表現される。距離画像では、マトリクス状に配列された各画素の画素位置がその画素に対応する対象物表面上の点の2次元座標(X,Y座標)に対応し、各画素の画素値がその画素に対応する対象物表面上の点の基準点又は基準面からの距離(Z座標)に対応する。XYZはこのシステムの世界座標系である。このようなレンジファインダは周知であるので、これ以上の説明は省略する。
また、よく知られるように、レンジファインダの中には、三次元形状計測の際のレーザ光の反射光から、対象物の可視画像(輝度画像又はRGB等のカラー画像)を生成できるものある。このように生成される可視画像の画素は、三次元計測の結果である距離画像の画素と対応づけることができる。本実施形態のレンジファインダ10も、このように距離画像とそれに対応する可視画像を出力するようなものであってよい。この可視画像は、後述する顔の3次元モデルである顔パッチモデルのテクスチャ情報として用いることができる。レンジファインダ10が撮影した顔の画像をテクスチャ画像と呼ぶ。
本実施形態では、認証を受けるユーザが呈示したそのユーザの顔(以下「対象顔」と呼ぶ)をこのレンジファインダ10で計測し、その顔の距離画像を求める。レンジファインダ10が求めた距離画像のデータは、顔認証装置30の呈示モデル作成部32に入力される。また、レンジファインダ10が顔の距離画像と共にテクスチャ画像を撮影する場合は、そのテクスチャ画像の情報も呈示モデル作成部32に入力される。
ユーザID入力装置20は、認証を受けるユーザから、ユーザID(識別情報)の入力を受けるための装置である。ユーザIDは、ユーザが識別できる情報であればよく、例えばユーザの氏名であってもよいし、社員番号等の識別番号であってもよい。ユーザID入力装置20は、入力方式を問わない。例えば、ユーザIDの文字列の入力を受け付けるためのキーボードであってもよいし、ユーザIDの音声入力を受け付ける装置であってもよいし、ユーザが携帯するIDカードの磁気ストライプやICチップからユーザIDを読み出す装置であってもよい。ユーザID入力装置20は、ユーザの入力からユーザIDを求め、そのユーザIDを顔認証装置30の認証部34に渡す。
顔認証装置30は、対象顔の距離画像(もしあればテクスチャ画像も)に基づき、そのユーザの本人認証を行う。
呈示モデル作成部32は、ユーザが呈示した対象顔の距離画像(もしあればテクスチャ画像も)から、その対象顔の呈示モデルを作成する。本実施形態では、顔を顔パッチモデルと呼ぶモデルで表現する。顔パッチモデルは、顔の表面形状を、その形状の構造上の特徴点の組合せで表現したモデルである。特徴点は、例えば目頭や目尻を含む目の輪郭、唇の輪郭、鼻の稜線、眉の生える額の稜線など、顔の構造上の特徴部位の3次元位置を示す頂点である。顔パッチモデルは、例えば、図2に示すように隣接する特徴点同士を線分で結んでできる三角形のパッチ群から構成されるワイヤーフレームモデルである。各特徴点は、その点の3次元位置座標、その点の法線情報を有する。また、顔パッチモデルにテクスチャも組み込む場合は、特徴点に、テクスチャ画像におけるその点の画素値(例えば輝度値又はRGB値)を持たせればよい。顔パッチモデルを構成する特徴点の数は予め取り決めておく。発明者らは、例えば顔形状に対して465点の特徴点を設定した。各特徴点には、目頭や目尻、唇の右端などのように、顔の表面形状構造上での「意味」が割り当てられている。このように各特徴点には意味があるので、各特徴点に通し番号を割り当てることができる。この番号の順に各特徴点の3次元座標を並べることで、顔パッチモデルの3次元形状Pを次式のように多次元ベクトルで表現することができる(この例は465点の特徴点×3次元のベクトル)。
このように顔形状を多次元のベクトルで表現すれば、単純なベクトルの平均で標準顔を作ることができるなど、非常に加工や解析が容易に行えるという利点がある。
呈示モデル作成部32による呈示モデルの作成の流れを図3に示す。この処理では、まず、入力された顔データ40(すなわち距離画像)に対し、顔パッチモデルを当てはめるモデルフィティングを行う(S1)。モデルフィッティングは、例えば非特許文献2と同様にして行えばよい。
すなわち、顔認証装置30は、該装置を操作するオペレータに対し、図4に示すように代表点位置指定用画面50を表示する。この画面には、距離画像と同時に撮影されたテクスチャ画像が表示され、そのテクスチャ画像上に、顔の特徴点の中の代表点(図中白丸で示す)が表示される。代表点としては、目頭や目尻など、特徴点の中で特に分かりやすい点が選ばれている。代表点の数は数十点程度である。これら代表点は、選択して位置を移動させることができる。オペレータはポインティングデバイス等で代表点を選択し、それを対象顔のテクスチャ画像に合わせて、目頭や目尻などの代表点の正しい位置へと移動させる。テクスチャ画像上での代表点の位置が分かれば、その位置に対応する距離画像上の画素の値から、代表点の3次元位置が特定できる。特定された各代表点の3次元位置に顔パッチモデルの各代表点を合わせ、残りの特徴点の3次元位置は、周囲の代表点からの補間により求める。このような処理により、対象顔の顔パッチモデル42ができる。
顔解析を行うためには、顔パッチモデル42を一定の規格に当てはめる必要がある。そこで、顔パッチモデル42を、多くの人の顔パッチモデルから作成した平均的な顔のパッチモデルである標準顔パッチモデルに対して位置合わせする(S2)。位置合わせは、例えば、顔パッチモデル42と標準顔パッチモデルとの対応する特徴点同士のユークリッド距離の総和が最小となるように、顔パッチモデル42を標準顔パッチモデルに対して並進、回転させることにより行う。このような位置合わせの結果、規格化(正準化)された解析用顔パッチモデル(呈示モデル)44ができる。この解析用顔パッチモデル44は、認証部34に渡される。
認証部34は、認証対象のユーザの解析用顔パッチモデルを、そのユーザがユーザID入力部20に入力したユーザIDに対応する登録顔パッチモデルと比較することで、両者が同一人物のものかを判定する。登録顔パッチモデルは、ユーザ本人の顔パッチモデルとして本システムに登録されたモデルである。登録顔パッチモデルは、登録モデルDB(データベース)36に登録されている。
解析用顔パッチモデルと登録顔パッチモデルとが同一人物のものであるか否かは、両モデルの比較により判定できる。対応する特徴点同士の距離が近ければ、それら両モデルが近いといえる。例えば、それら両モデルの間で対応する特徴点同士の距離の総和(例えば対応する特徴点同士の位置の差の二乗和)から両モデルの相異度を求め、その相異度を閾値と比較することで、それら両モデルが同一人物のものか否かを判定すればよい。例えば総和が閾値より小さければ、2つのモデルが同一人物のものであると判定できる。
ただし、このような判定には次のような問題がある。すなわち、顔の三次元形状は、表情の影響などにより常に一定であるとはいえない。表情の影響を受けやすい領域では、同一人物を比較しても差異が大きくなってしまうことがある。レンジファインダ10での撮影の際に、ユーザに真顔でいるようにしたとしても、表情の影響が少なからず残る。また、撮影時のユーザの姿勢によって輪郭にずれが生じてしまったり、オクルージョンが生じてしまったりすることもある。このようなことから、解析用顔パッチモデル44と登録顔パッチモデルとを単純に比較したのでは、高精度の認証は望めない。
そこで、本実施形態では、高精度の認証を行うために、特徴点同士の距離の総和を求める際に、顔のなかで表情等が変わっても安定して抽出できる領域の特徴点に対し、表情等の変化による影響が大きい部分の特徴点よりも大きな重み付けを行う。
このために、本実施形態では、「個人内分散」を用いて、安定して抽出できる領域を求める。「個人」の顔パッチモデルの集合は、同一人物について異なる複数の時点で取得した顔パッチモデルの集合である。顔認証の場合母集団として複数の登録ユーザがあり、各登録ユーザごとに個人のモデルの集合が規定される。「個人内分散」は、1人の個人内の顔パッチモデル同士の間での、同じ特徴点の三次元位置の分散であり、特徴点ごとに規定される。
個人内分散は、複数の個人にわたって規定することができる。一つの特徴点(仮にi番目とする)の複数人にわたっての個人内分散は、個人ごとでの当該特徴点の個人内分散の総和と等しくなる。
図5に示すようにn個の個人があったとする。各個人内のサンプル数は同一でなくてもよい。n個人で合計N個のサンプルがあるとする。そして、図5に示すように、同一個人内でのサンプルの番号をiとし、個人の番号をkとする。注目する特徴点についてのn個人にわたる個人内分散は、次式で表される。
ここでpkiは、個人kのサンプルiにおける注目する特徴点のベクトル(3次元座標)であり、pkは、個人kの全サンプルにわたる注目する特徴点の平均ベクトルである。
この個人内分散の計算は、同一の特徴点の3次元座標をユーザの複数の顔形状モデルに渡って平均したものに対するそれら各顔形状モデルのその特徴点の3次元座標の分散を求め、その分散を全ユーザに渡って総合したものと言える。
個人内分散が小さい特徴点ほど同一人物において変化の少ない、安定して検出できる頂点であるといえる。逆に、個人内分散が大きい特徴点は、表情などの影響を受けやすい不安定な頂点であり、認証における本人拒否の原因となる。したがって、この母集団において求めた個人内分散が小さい特徴点ほど、解析用顔パッチモデルと登録顔パッチモデルとの比較(距離計算)の際の重みを大きくすると、個人の中で変化しにくい特徴点に重点をおいた比較が可能になる。
以上は、同一人物内での顔の表情変化や経時的変化に着目したものであった。顔の識別の観点には、そのような観点の他に人と人の間での違いの出やすさという観点がある。顔の容貌は人ごとに異なるので、同じ特徴点でもその位置は基本的に人ごとに異なるが、その相違の程度には部位ごとに差があり、人ごとに違いが出やすい特徴点と出にくい特徴点がある。人によって差の出やすい特徴点ほど個人識別において重要である。したがって、人によって差の出やすい特徴点ほど解析用顔パッチモデルと登録顔パッチモデルとの比較(距離計算)の際の重みを大きくすることが好適である。
そこで、「個人間分散」という概念を導入する。個人間分散は、同じ特徴点の位置の母集団に属する全個人にわたっての分散であり、特徴点ごとに計算される。個人間分散は、複数の人の顔パッチモデルの特徴点のばらつきの尺度となる。
複数個人における個人間分散は、当該特徴点についての個人ごとの平均ベクトルと全個人の平均ベクトルとの差の総和と等しくなる。n個人の全N個のデータにおいて、nkを個人kのサンプル数、pkを個人kにおける注目特徴点の平均ベクトル、pを全個人に渡っての注目特徴点の平均ベクトルとすると、個人間分散は次式で表される。
この個人間分散は、同一の特徴点の3次元座標を全ユーザの全顔形状モデルに渡って平均したものに対する各ユーザの各顔形状モデルのその特徴点の3次元座標の平均値の分散である、ということができる。
個人間分散が大きい特徴点ほど人と人の間での差異が大きく、人物による違いが出やすい頂点であるといえる。逆に、個人間分散が小さい特徴点は、人物による違いが出にくく、認証における他人受入の原因となる。したがって、母集団において求めた個人間分散が大きい特徴点ほど解析用顔パッチモデルと登録顔パッチモデルとの比較の際の重みを大きくすると、人物ごとの違いの出やすい特徴点に重点をおいた比較が可能になる。
以上、個人内分散と個人間分散について説明した。これら個人内分散と個人間分散とは個別に用いてもよいが、両者を組み合わせることで、それら両者の特性を併せ持った評価を行うことができる。ここでは、両者の組合せ方として、両者の比をとる「分散比」を説明する。
分散比rは、個人内分散VWで個人間分散VBを除した値であり、次式で表される。
分散比rが大きい特徴点は、同一人物内の比較では差異が小さく、他者間の比較で差異が大きくなる頂点であるといえる。したがって、分散比が大きい特徴点ほど認証において有効な頂点となる。そこで、分散比が大きい特徴点ほど解析用顔パッチモデルと登録顔パッチモデルとの比較の際の重みを大きくすることで、精度のよい比較が可能になる。
各特徴点に対する具体的な重みの決め方は、分散比が大きい特徴点ほど大きい重みを与えるという条件の中で様々なものが考えられるが、一つの方法として、特徴点の分散比rそのものをその特徴点の重みとすることもできる。以下、この方法について説明する。
分散比rは顔パッチモデルの特徴点ごとに算出される。パッチモデルの特徴点の総数をMとすると、次式のような分散比のベクトルを考えることができる。
分散比を重みとして扱うために、上記分散比のベクトルを次式で正規化する。
そして、正規化後のベクトルを重みベクトルと定義する。重みベクトルWは次式のようになる。
本実施形態では、多くのユーザの様々な時点の撮影で得た顔パッチモデル(サンプル)から、上述のようにして重みベクトルWを計算しておき、それを図1の装置の重み情報記憶部38に登録しておく。発明者らが実験で求めたところでは、図6において太線で囲んだ額、鼻筋、頬骨近傍、顎の各部が、その他の目や唇などといった部位よりも重みが大きくなった。従来の画像ベースでの顔認証・顔認識では、目や唇などのように人間の目で見た時の顔の注目部位が重視されていたのに対し、この距離画像ベースの顔パッチモデルを用いた認証・認識では、それよりもむしろ額等といった比較的人間の目で見た時に注目されにくい部分に大きい重みが割り当てられる。
認証部34は、解析用顔パッチモデルと登録顔パッチモデルとの相異度diffを計算する際、この重みベクトルWを用いる。この相異度の計算は、例えば以下のように行う。
登録顔パッチモデルを
とし、解析用顔パッチモデルを
とし、wkを重みベクトルとし、Mを特徴点の総数(この例では465)とすると、相異度diffは、例えば以下の計算式で計算できる。
この計算で求めた相異度を閾値と比較することで、認証対象の人が本人であるか否かを判定できる。
以上、実施形態を説明した。次に実施形態の変形例を説明する。
上記の実施形態では、全個人における分散比から重みベクトルを求めることによって、全被験者における、つまり一般的な顔における個人性の出やすさを表現した。これに対し、この変形例では、各個人に対し個人内分散と個人間分散を定義して分散比を算出し、個人別の重みベクトルを求めることによって、個人毎の特徴を解析する。
この変形例での個人内分散は、注目個人X内での分散であり、注目人物のパッチモデルにおける特徴点の位置のばらつきを示す。また個人間分散は、注目個人Xと他の個人との間での2個人間の分散の総和であり、注目人物とその他の人物との間での特徴点位置のばらつきを示す。
以下に注目する人物Xに対する重みベクトルの算出方法を示す。
xを個人Xのサンプル数、nkを個人kのサンプル数、pkiを個人kのi番目のサンプルにおける注目する特徴点のベクトル、pkを個人kにおける注目する特徴点の平均ベクトル、pXを個人Xにおけるc平均ベクトル、pXkを個人Xと個人kの2個人における注目する特徴点の平均ベクトルとして、個人内分散VWXと個人間分散VBXをそれぞれ以下の式で定義する。
この個人内分散は、個々のユーザに固有のものとして求められるものであり、同一の特徴点の3次元座標をそのユーザの複数の顔形状モデルに渡って平均したものに対するそれら各顔形状モデルのその特徴点の3次元座標の分散である。また、ここでの個人間分散は、個々のユーザに固有のものとして求められるものであり、当該ユーザと他のユーザとの2者の各顔形状モデルにおいて、同一の特徴点の3次元座標を当該ユーザの複数の顔形状モデルに渡って平均した平均値に対するそれら2者のその特徴点の3次元座標のばらつきを、他のユーザ全てにわたって総合したものということができる。
求めた個人内分散VWXで個人間分散VBXを除することで、分散比rが求められる。以上の処理をパッチモデルの各特徴点に行うことで、465個の分散比が得られる。これらを所定の順序で並べたものが、この変形例における固有重みベクトルとなる。この固有重みベクトルを、登録モデルDB36に登録された登録ユーザごとに求めておき、重み情報記憶部38に登録しておく。認証部34は、ユーザID入力装置20から入力されたユーザIDに対応する固有重みベクトルを重み情報記憶部38から求め、それを用いて解析用顔パッチモデルと登録顔パッチモデルとの相異度diffを上記実施形態と同様の式で計算する。
この変形例によれば、個々の人ごとの固有重みベクトルを用いて重み付けを行うので、より高精度に判定を行うことができる。
なお、上記実施形態及び変形例のシステムでは、ユーザが本人認証を受けるたびに、そのユーザの顔パッチモデルを得ることができる。そこで、本人認証によりユーザ本人と確認できた顔パッチモデルを新たなサンプルとして順次登録モデルDB36に蓄積してもよい。そして、その蓄積の都度あるいは定期的など所定のタイミングで、図7に示す顔認証装置30内の重み計算部39が、その時点で登録モデルDB36に蓄積されたサンプルのパッチモデル群に対して上記実施形態又は変形例の処理を行う。これにより、重みベクトル又は個々人ごとの固有重みベクトルを求め、重み情報記憶部38に登録する。図7の変形例によれば、順次新しいサンプルのパッチモデルを追加し、それに応じて重みベクトルを更新できるので、月日の流れに応じた顔の変化に対応することができる。なお、この場合、重みベクトルを求める際のサンプルを最新のものから所定数個などと限定し、古いサンプルを用いないようにすることも好適である。
また、この変形例では、認証部34で解析用顔パッチモデルと比較する登録顔パッチモデルとしては、該当するユーザのモデルのうち最も新しく登録モデルDB36に蓄積されたものを用いればよい。また、この代わりに、重みベクトルを求めるのに用いた当該ユーザのサンプルの平均(特徴点ごとにその位置を平均したもの)をそのユーザの登録顔パッチモデルとして作成し、利用してもよい。
また、以上の実施形態、変形例では分散比を重みとして用いたが、同一人物内の比較では差異が小さくなり、他者間の比較で差異が大きくなるような特徴点ほど大きくなるような重みは、個人内分散と個人間分散を他の方法で組合せても作ることができる。
また、個人内分散と個人間分散とを組み合わせた重みは非常に有効であるが、個人内分散又は個人間分散のうちの一方のみから重みを決定する方式でも、ある程度の効果を得ることができる。例えば、個人内分散が小さい特徴点ほど大きい重みを割り当てるようにすれば、個人の顔の表情変化や経年変化の影響を受けにくい特徴点を重視した本人認証ができる。また、個人間分散が大きい特徴点ほど大きい重みを割り当てるようにすれば、個人差の大きい特徴点を重視した本人認証を行うことができる。
また、以上の実施形態、変形例では、特徴点の位置のばらつきの尺度として分散を用いたが、そのような尺度は分散に限らない。例えば標準偏差等、他の尺度を用いてもかまわない。
また、以上に例示したシステムは、ユーザの呈示した顔が、そのユーザ自身が入力したユーザIDの登録顔と同じかどうかを判定する顔認証のためのシステムであった。しかし、上記実施形態及び変形例に示した手法は、顔認証以外に、顔認識にも利用することができる。顔認識では、ユーザの呈示した顔に基づき、そのユーザが誰であるかを認識する技術である。この場合、データベースに各ユーザの顔パッチモデルを登録しておき、ユーザが呈示した顔から生成した解析用顔パッチモデルと、それら各ユーザの登録顔パッチモデルと比較する。その比較の結果、解析用顔パッチモデルとの相異度が閾値以下の登録顔パッチモデルがあれば、顔を呈示したユーザが、その登録顔パッチモデルのユーザであると判定する。その比較の際に、上述の方式で作成した重みベクトルを利用することができる。
また以上の実施例及び変形例では、呈示モデル作成部32がユーザの呈示した対象顔の距離画像から解析用顔パッチモデルを作成する際に、オペレータが代表点を指定することが必要であったが、このようなオペレータの関与を不要とすることもできる。以下、解析用顔パッチモデルを自動で求める変形例について説明する。
この変形例では、呈示モデル作成部32は、対象顔の距離画像から解析用顔パッチモデルを作成するために、予め用意した標準顔パッチモデル(標準顔パッチモデル126)を、対象顔に合わせて変形するというアプローチをとる。このような処理のための機能モジュールとして、呈示モデル作成部32は、図8に示すように、正準化処理部112、2次元DPマッチング部114、モデル変形部116及び記憶装置120を備える。
正準化処理部112は、レンジファインダ10から受け取った距離画像における対象顔の位置と向き(姿勢)と大きさを正準化(正規化)する。
対象顔の距離画像は、レンジファインダ10に対する対象顔の向きや距離によって、その向きや大きさが変化してくる。レンジファインダ10による形状計測では、対象顔を正面かつ所定の距離から撮影するようにはするが、被写体が人間である以上、顔を固定する機構などを設けない限りは、揺動や多少の位置の変化は避けられず、厳密に正面方向から正しい距離で形状計測することは困難である。したがって、顔を固定する機構などを設けないシステムでは、同じ対象顔でも、形状計測の都度その距離画像の向きや大きさが変化してくる。このような変化は、作成されるパッチモデルの精度に悪影響を与えるので、本実施形態では正準化処理部112により対象顔の距離画像の向きや大きさを正準化するのである。
標準顔パッチモデル126は、レンジファインダ10に対して所定の距離にある所定の向きの顔を想定して作成されたものである。標準顔パッチモデル126は、十分な数の人の顔から作成した顔パッチモデルの平均(例えば、特徴点ごとにその座標をそれらサンプル間で平均したもの)である。
正準化処理部112が行う正準化は、対象顔の距離画像を、レンジファインダ10から見て対象顔がその距離の位置でその向きを向いた状態を示すものとなるように変換する処理である。以下、正準化処理の詳細を説明する。
人間の顔は完全な左右対称ではないが、ある程度の対称性が仮定できる。そこで顔を最も左右対称に分割する平面を正中面と定義し、正中面による姿勢補正を行う。
三次元空間中の平面は次式(1)のように、
と与えられるので、非線形最小二乗法の一つである滑降シンプレックス法を使用し、誤差評価関数E1 を最小化する方向へ平面の係数(a,b,c,d)を変動させることで、正中面として最適な平面を推定する。計測で得られた顔の三次元情報である点群Pと、その点群Pを平面基準(すなわち評価対象である正中面の候補)について鏡映して得られる点群
との間で、互いに対応する点同士の間のユークリッド距離を求め、点群全体でのその距離の平均を評価関数E1 とする。すなわち、評価関数E1 は、
となる。式中のNp は点群Pの総点数、pi は点群P中の点、qiは点群
中でのpi の対応点を示している。算出された正中面を、顔パッチモデルを表現する世界座標の原点を含むYZ平面に合わせることで、正中面による姿勢補正を図る。図9に、システムの世界座標系XYZと顔の距離画像300の関係を図示する。
ここで、顔の撮影はレンジファインダ10にほぼ正対した状態で行われているので、このことを前提条件として利用する。顔がほぼ正面を向いているため、算出される正中面はXY平面やXZ平面になることは無く、YZ平面(x=0)に近い形で求められる。そこで、(1)式におけるxの係数aを定数とし、変動させるパラメータから除外する。変動するパラメータを減らすことで、正中面算出の計算コストが削減でき、また解を安定化させることができる。
また、点群Pと点群
には、点の粗密・ばらつきが生じているため、点群間での対応が取りにくい。そこで、予め点群Pを世界座標のx,y値についてリサンプリングした点群PR を作成しておき、点群Pと点群
の対応を、点群
と点群PR で代行することで計算コストの削減を図る。カメラ(レンジファインダ10)にほぼ正対して撮影が行われたことより、x,y値についてリサンプリングして得られる点群PR 点群Pを十分に代表できる点群と考えられる。また点群
と点群PR の対応は、図10のように線形補間を利用して、世界座標のx,y 値が同じになる点同士で取る。そのため、誤差評価関数E1'は次の(3)式のように改められる。
ここで、式中のNq は点群
の総点数、qj は点群
中の点、rj は点群PR を線形補間して得たqj の対応点を示す。
(1)式のaを定数とし、b,c,dを様々に変えながら、点群Pの鏡像である点群
を求め、誤差評価関数E1'の値を計算する。滑降シンプレックス法を用いてその誤差評価関数E1'の値が最小となる時のa,b,c,dを求める。これらa,b,c,dを(1)式に代入して得られる式が、対象顔の正中面を表す。この正中面が世界座標系のYZ面に一致するように対象顔の距離画像の座標系を回転及び平行移動させることで、対象顔の距離画像の姿勢が補正できる。
次に、正中面による姿勢補正が完了したデータに対し、平均鼻断面を用いることで更に姿勢と位置の補正を行う。平均鼻断面は、十分な数の人の正中面断面データより鼻領域のみを取りだし、それら鼻断面の平均をとることで作成できる。
鼻は表情が変化しても形状の変化が少なく、顔のほぼ中央に位置しているため計測で情報を取得しやすいという長所がある。また鼻自体の形状は個人差が大きいが、断面の形状に関してはそれほど差異がないという特徴もある。そのため、対象顔の正中面による断面データを、平均鼻断面に最も合うように位置合わせすることで、正中面だけでは補正できなかったX軸回りの回転とY,Z方向に関する並進の補正が可能となる。
位置合わせには正中面算出時でも用いた滑降シンプレックス法を使用する。具体的には、平均鼻断面の点群Sと、対象顔の距離画像の正中面断面の点群Tとの間の対応する点同士の平均ユークリッド距離を誤差評価関数E2 として、E2 が最小となるまで顔(すなわち正中面による姿勢補正後の距離画像)全体の並進・回転を繰り返す。点群Sと点群Tとの間の対応点の取り方は、例えばユークリッド距離が最も近い点同士を対応点とするやり方でよい。誤差評価関数E2 を次式に示す。
ここで式中のNs は点群Sの総点数、si は点群S中の点、ti は点群T中における点si の対応点を示す。
次に、図11に示すように、平均鼻断面を用いた姿勢及び位置補正が完了した対象顔の点群500に対し、新たに画像平面502(世界座標系のXY平面に平行な面)を設け、その点群500を画像平面502に正射影することで、画像中の顔のサイズ・位置を補正した正準化距離画像504を得る。正射影は、線形補間と世界座標のx,y値についてのリサンプリング処理を用いて行われる。すなわち、この正射影処理では、その点群502の中からX,Yの各軸方向についてそれぞれ所定間隔ごとに点をリサンプリングする。このとき、その位置に点がない場合は、周囲の点から補間する。そしてこのリサンプリングした点群を画像平面502に平行投影する。こうすることで、距離画像の画像座標(u,v)と世界座標(x,y,z)が対応付けられた距離画像を取得できる。例えばVGA規格の画像を用いる場合、顔は縦長であるため、正準化距離画像の画像サイズは横480×縦640ピクセルとする。
以上、対象顔の距離画像の正準化について説明した。なお、図12に示すように、対象顔の距離画像602の各画素とテクスチャ(距離画像と同時に取得した可視画像)604の各画素は1対1で対応しているため、距離画像の正準化結果を参照することでテクスチャに関しても正準化ができる。この正準化においてテクスチャを正射影する際に、距離画像が行った線形補間の面積比をテクスチャにも適応することで、正準化されたテクスチャ(正準化テクスチャと呼ぶ)を生成する。正準化テクスチャの画像サイズも480×640 ピクセルであり、図12に示すように正準化距離画像606と正準化テクスチャ608の各画素も1対1で対応している。
以上、正準化処理部112について説明した。レンジファインダ10に対する対象顔の向きや位置を正しい状態とする機構を設ければ、以上のような正準化処理部112は必ずしも必要ない。
正準化処理部112が作成した正準化距離画像606は(正準化テクスチャ608も作成した場合はそれも)、2次元DPマッチング部114に渡される。
2次元DPマッチング部114は、その正準化距離画像と、標準顔パッチモデルの距離画像との間で2次元DPマッチングを行うことで、両距離画像の間での画素間の対応関係を求める。
標準顔パッチモデルの距離画像は、標準顔パッチモデル126から作成しておく。基本的な作成方法は、姿勢及び位置補正が完了した対象顔の点群500から正準化距離画像を作成する方法と同様であり、標準顔パッチモデル126の示す3次元表面形状の各点のZ座標を、それら各点を世界座標系のXY平面に平行投影した位置の画素の画素値(距離値)とすればよい。標準顔パッチモデル126は正準化された多数の顔パッチモデルからの平均として求められたものなので、既に正準化済みである。
ここで、標準顔パッチモデルの場合3次元の点の数が465点しかないため、リサンプリングをする際に距離画像の各画素に対応するモデルの3次元頂点が存在しない場合がほとんどである。そのため、距離画像の各画素に対応するモデルの3次元位置を推定する必要がある。
この推定では、まず、標準顔パッチモデルを構成する各パッチについて、そのパッチを構成する3つの特徴点からパッチの面を求める。パッチは微小であり平面とみなすことができるため、図13に示すように、距離画像の画素に対応するパッチ内の点v4 の3次元座標(x4,y4,z4 )のうちのz座標は、次式に示すように、パッチを構成する3頂点v1〜v3からの距離の比から求めることができる。なお点v4 のx,y座標は距離画像の画素の位置に対応しており、容易に求められる。
このようにして距離画像の各画素に対応するz座標を求めることで、標準顔パッチモデル126の距離画像(図8の標準顔パッチモデル距離画像122)が求められる。このようにして作成した標準顔パッチモデル126の距離画像122は、呈示モデル作成部32の記憶装置120内に保存されており、必要に応じ、2次元DPマッチング部114から参照される。また、記憶装置120には、この他に標準顔パッチモデル126も保存されている。また、標準顔パッチモデル126を構成する各特徴点がその距離画像122のどの画素に対応するかは、その作成の際に分かるので、その対応関係を示す特徴点対応付け情報124を作成しておき、記憶装置120に保存しておく。
次に、2次元DPマッチング部114による、このような標準顔パッチモデル距離画像122と、正準化処理部122が出力した正準化距離画像との画素同士の対応付け処理について説明する。
DP(動的計画法)マッチングは単語認識の分野において、話者による発音のくせの違いから生じる時間軸上の非線形の伸縮を吸収する手法として提案された。DPマッチングは時間軸という1次元の軸上でのマッチング処理であり、これを2次元に拡張したのが2次元DPマッチングである。2次元DPマッチングは、従来公知の技術であり、画像同士のマッチングなどに利用されている。
2次元DPマッチング部114は、基本的には、このような従来公知の2次元DPマッチング処理を行うものでよい。ただし、通常の2次元DPマッチングでは、計算量が画素数の指数乗のオーダーとなるので、画素数が多いと計算コストが非常に大きくなってしまう。
そこで、ここでは、距離画像の水平方向と垂直方向のそれぞれについて独立に1次元DPマッチングを行い、その結果を組み合わせることで、2次元DPマッチングを近似する。この処理の基礎情報として、1次元DPマッチング処理について説明する。
2つの時系列(特徴ベクトルの系列)A,Bを、
A=a1,a2,・・・,aI
B=b1,b2,・・・,bJ
とし、AとBの対応を考える。一般にAとBは時間軸が異なっているため、同じインデックス番号同士が対応しているとは限らない。
そこで図14に示すようなA,Bからなる平面を考える。この図において、コスト関数(warping function)、すなわちA,B両パターンの対応付けは、この平面上の格子点f = (i,j) の系列
F=f1,f2,・・・,fk
k =(ik,jk)
で表現することができる。2つの特徴ベクトルaiとbjの距離を
d(f) = d(i,j)
で表すと、Fに沿った距離の総和は、
で表すことができ、この値が小さいほどAとBの対応付けがよいことを示す。
ここで、(5)式を次のような制約条件のもとで、Fに関して最小化することを考える。
1. 単調連続性条件
2. 境界条件
3. 整合窓の条件
このとき、最小化する目的関数D(F)は加法的になるので、この最小化は、Fのすべての可能性について総当り的に調べることなく、効率的に解くことができる。
部分点列f1,f2,・・・,fk(fk = (i,j)) に対する部分和g(fk) を上で述べた制約条件を用いて考えると、
となる。したがって、g(1,1)=d(1,1),j=1として、整合窓の範囲内でiを変えながら(6)式を計算し、次にjを増加させて、j=Jとなるまで同様の計算を繰り返せば、最後にg(I,J)としてA,B2つの時系列間の時間正規化後の距離が求まる。この距離が最小となる時のiとjの対応付けが、最終的なマッチング結果となる。
次に、2次元DPマッチングを水平方向及び垂直方向についての独立な1次元DPマッチングで近似する本実施形態の計算方式について説明する。
まず、画像サイズM×Nの2枚の距離画像に対して水平方向に1次元DPマッチング処理を行うことにより、水平方向の変形を吸収する。まず図15に示すように、両距離画像A,B(例えば画像Aが対象顔の正準化距離画像、画像Bが標準顔パッチモデル距離画像122)をそれぞれ垂直方向にスライスしていくことで列ごとの断面形状、
を抽出する。図15では、上段に距離画像A及びBが示され、各列のスライスの線が示される。下段には、あるスライス線における断面形状が示される。
ここでzAij,zBij は、距離画像A、Bにおけるj行i列目の画素の画素値すなわちz値である。iAi、iBiは、それぞれ距離画像A,Bのi列目の各画素のz値を順に並べたベクトルであり、i列目における断面形状を示す。なお、ここでは水平方向が行方向、垂直方向が列方向としている。IA、IBは、各列の断面形状ベクトルを順に並べた配列である。
このような断面形状の列について、1次元DPマッチングを行う。この計算では、断面形状iAiとiBiとの間の距離s(iAi,iBi) を、マッチングにおけるコストとする。この場合、(6)式を次の(7)〜(9)式のように変えればよい。
ここで断面形状の類似度(距離)s(iAi,iBi)は、距離画像の画素値すなわちz値の差の絶対値をコストとした1次元DPを用いて計算する。計算式を以下に示す。
この1次元DPでは、制約条件として上述の単調連続性条件、境界条件、及び整合窓の条件を用いる。発明者の実験によれば、整合窓サイズrは15が好適である。
以上の計算でコスト最小となる時のiAiとiBiの対応関係が、距離画像AとBとをマッチさせる時の水平(X軸)方向の画素番号(インデックス)の対応関係となる。この対応関係により、距離画像AとBの間の水平方向の伸縮が吸収できる。
以上、水平方向についての1次元DPマッチング処理について説明した。2次元DPマッチング部114は、この処理と並行して、垂直方向についての1次元DPマッチングも行う。垂直方向についての処理では、距離画像A,Bを水平方向にスライスして断面パターンを得る。これ以外は、水平方向の場合と同様でよい。この処理により、距離画像AとBとをマッチさせる時の水平(X軸)方向の画素番号(インデックス)の対応関係が求められる。この対応関係により距離画像間の垂直方向の伸縮が吸収できる。
以上のようにして、距離画像A(正準化距離画像)と距離画像B(標準顔パッチモデル距離画像122)との間で、画素インデックスの行成分と列成分の対応関係が得られる。この対応関係を図式化して示すと、図16に示すようなものとなる。すなわち、水平方向のマッチングで距離画像Aの列番号iAと距離画像Bの列番号iBとが対応することが分かり、垂直方向のマッチングで距離画像Aの行番号jAと距離画像Bの列番号jBとが対応することが分かったとすると、距離画像A上の画素p(iA,jA)が距離画像B上の画素q(iB,jB)に対応することになる。同様にして、距離画像Aの全ての画素について、距離画像Bにおけるその対応画素が分かる。
マッチング対象となる対象顔の距離画像も標準顔パッチモデル距離画像122も、共に正準化されているので、このように水平、垂直方向に独立にDPマッチングを行う方式でも、両距離画像間の画素同士の対応付けを、高い精度で行うことができる。
2次元DPマッチング部114は、このような対応関係の情報をモデル変形部116に渡す。
モデル変形部116は、この対応関係に従い、標準顔パッチモデル126を変形することで、対象顔のパッチモデル130を作成する。
すなわち、その対応関係によれば、標準顔パッチモデル距離画像122の各画素が対象顔の正準化距離画像のどの画素に対応するかが分かる。また、標準顔パッチモデル126の各特徴点が、標準顔パッチモデル距離画像122のどの画素に対応しているかは、特徴点対応付け情報124から分かる。これらの情報を合わせれば、標準顔パッチモデル126の各特徴点が、正準化距離画像のどの画素に対応しているかが分かる。ここで、正準化距離画像の画素の画素位置(x,y)と画素値(z)から、その画素が示す3次元位置が分かる。モデル変形部116は、各特徴点が、正準化距離画像における各対応画素の示す3次元位置に移動するように、標準顔パッチモデル126を変形する。これにより対象顔の解析用顔パッチモデル130ができる。
以上に説明した呈示モデル作成部32によれば、2次元DPマッチングを用いることで、対象顔を計測して得た距離画像と標準顔パッチモデル距離画像122との間の画素の対応付けを自動処理で行うことができるので、対象顔の解析用顔パッチモデルを自動生成することができる。また、本実施形態では、対象顔の距離画像を正準化する正準化処理部112を設けたので、対象顔の向きや位置が正しい状態かずれていても、それを標準顔パッチモデル距離画像122に合わせることができる。その結果、2次元DPマッチングを2つの異なる方向(例えば水平方向と垂直方向)についての1次元DPマッチングの組合せで近似することができ、通常の2次元DPマッチングを行う場合よりも計算コストを大幅に低減することができる。逆に言えば、通常の2次元DPマッチングを行う場合には、正常化処理部は必ずしも必要ない。
次に、顔のテクスチャ情報を利用して、より精度の高い解析用顔パッチモデルを生成する変形例を説明する。
上の例では、標準顔の特徴点に対応する対象顔上の点を距離画像の情報のみから求めた。この方法は3次元形状の類似性から特徴点の対応点を求めるものである。ところが、顔の特徴点は、必ずしも3次元形状として特徴的な部分に位置するとは限らない。例えば、鼻の稜線は3次元形状として非常に特徴的なので、その稜線上の特徴点については、距離画像の情報だけでも、対象顔上の対応点を高精度で見出すことができる。ところが、例えば目は、個人により大きな差があるのにもかかわらずその差が3次元形状にはあまり顕著に現れないため、距離画像の情報だけから対応点を求めたのでは、高い精度が得られない場合がある。そこで、この変形例では、距離画像に加え、レンジファインダ10でその距離画像と同時に得られるテクスチャ情報を利用することで、特徴点の対応点を精度よく求められるようにする。以下、この変形例の処理について詳しく説明する。
この変形例の構成は、図8に示すものと同様でよい。ただし、2次元DPマッチング部114が実行する計算処理が、上記の例とは異なる。すなわちこの変形例では、上記実施形態における(10)〜(12)式の代わりに、次の(13)〜(15)式で表される計算を行う。
この例では、テクスチャ画像はグレースケール画像である。lAij,lBijは、それぞれ、対象顔のテクスチャ画像A(正準化済み)、標準顔のテクスチャ画像Bのj行i列目の画素の輝度値である。ここで、標準顔のテクスチャ画像は、標準顔パッチモデルを作成する際に用いた多数のサンプル顔のテクスチャ画像の平均から求めればよい。この式において、距離画像の画素値は距離(z値)であり、テクスチャ画像の画素値は輝度なので、両者の値をそのまま足し引きするのは適切ではない。そこで重み係数αを用いて3次元形状とテクスチャの関係を制御する。最適なαの値は、実験等により求めることができる。発明者の実験では、距離(Z値)の単位をmm、輝度の階調を256としたが、α = 0.22
のときに、もっとも精度のよいモデルが生成できた。
スライス(断面)内の点の対応付けを上記(13)〜(15)式の1次元DPマッチングにより求め、更にそれらスライスの列についての対応付けを(7)〜(9)式の1次元DPマッチングにより行うことで、対象顔と標準顔との間での画素同士の対応関係がより高精度に求められる。そして、この対応関係の情報を用いて標準顔パッチモデルを変形することで、対象顔のパッチモデルを求めることができる。
このような計算によれば、テクスチャの近さがDPマッチングのコスト計算に反映されるので、3次元形状だけでは高精度の対応付けが困難な特徴点について、より精度のよい対応付けが可能となる。
以上の変形例では、テクスチャの重みαを画像全域で同一としていた。しかしながら、例えば眉はテクスチャ的には特徴的な部分ではあるが、例えば化粧で眉を描くことで容易に変更できる部分でもある。このほかにも、ひげのように、テクスチャ的には特徴を持つにもかかわらず、変更が容易な部分がある。これに対し、目や唇などは、そのような変化は少ない。マッチングにテクスチャ情報を反映させる場合、容易に変化し得る部分の影響が大きいと、同じ人の顔からパッチモデルを作成しても、その部分の違いにより生成されるパッチモデルの差が大きくなってしまう。
そこで、このような問題を解消又は軽減するための更なる変形例として、顔の部分部分で重みαを可変とする例を以下に説明する。
この変形例では、例えば眉の隆線近傍や、ひげの生える鼻の下やあごなどのように同一人内での変化が大きい部分は、相対的にαの値を小さくする。逆に目や唇のように同一人内での変化の小さい部分は、相対的にαの値を大きくする。このような顔の各部位のα値の情報を作成し、呈示モデル作成部32に持たせておく。ここで標準顔パッチモデルは、各頂点(特徴点)がそれぞれ顔のどの部位に該当するかという情報(特徴点の意味)を保持しているので、この特徴点の情報を元に、標準顔パッチモデル距離画像122の各画像座標(各画素)がそれぞれどの部位に該当するかを決めることができる。このようにして距離画像122の各画像座標がどの部位に属するかを決めれば、それに応じてそれら各画像座標にその部位に応じた適切なα値を割り当てればよい。例えば、描き眉が存在しうる範囲の各画像座標には、目が存在しうる範囲の画像座標よりも小さいα値を割り当てる。部位ごとの適切なα値は、実験により求めればよい。目や口など形状よりもテクスチャに特徴がより強く表れる部位にはαの値を大きくし、眉の部分を含む額や鼻などテクスチャよりも形状に特徴が表れる部位にはαの値を小さくするなど、動的にα値を設定することが可能となる。
この変形例では(13)〜(15)式の代わりに、次式を用いる。
ここでu,vは、標準顔パッチモデル122の距離画像における画像座標であり、α(u,v)はその画像座標におけるα値である。この計算式において用いる重みα(u,v)としては、その式に代入する標準顔パッチモデル距離画像の画素の画像座標に対応する値を採用すればよい。
このような計算によれば、顔の部位の特性に応じ、より適切なマッチングを行うことができ、対象顔と標準顔との対応付けの精度向上ができ、より高精度の顔パッチモデルの作成が見込める。
以上に説明した呈示モデル作成部32の各種の例では、顔のテクスチャ情報としてグレースケール画像を用いたが、この代わりにRGBなどのカラー画像を用いてももちろんよい。この場合、コスト評価式に現れるテクスチャの差としては、対象顔と標準顔の間の画素値同士(RGB値)の距離を用いればよい。
また、以上の各例では、テクスチャ画像のグレースケール値やカラー値などの画素値をそのままマッチング時の評価に用いたが、その代わりに、そのような画素値の微分を画素ごとに求め、画素値の代わりに微分値を用いて同様の評価を行ってもよい。微分値は、テクスチャ画像に微分フィルタを適用することで求めることができる。例えば、日焼けや化粧により顔の肌の色が変わると、生のテクスチャ画像ではその色の差が評価にそのまま反映されてしまう。ところが、日焼けや化粧により肌の色が全体的に変わったとしても、場所ごとの色の変化を示す微分値はそれほど顕著に変わらないと考えられるので、微分値を用いることでそのような色の変化がある場合にマッチングの精度を向上させることができる。
また、テクスチャ画像の画素値とその微分値の両方をマッチングの評価に反映させてもよい。
以上に説明した実施形態又は変形例の装置は、例えば、汎用のコンピュータにて上述の各部の機能又は処理内容を記述したプログラムを実行することにより実現される。コンピュータは、ハードウエアとして、例えばCPU(中央演算装置)、一次記憶、各種I/O(入出力)インタフェースなどがバスを介して相互に接続された構成を有する。そのバスに対し、I/Oインタフェースを介して、ハードディスク装置などの固定二次記憶や、CD又はDVD、フラッシュメモリなどの可搬型の不揮発性記録媒体を取り扱うドライブが接続される。上述の顔モデル作成装置の各部の処理内容が記述されたプログラムが、可搬型の記録媒体又はネットワークを経由して固定二次記憶に保存され、コンピュータにインストールされる。そして、インストールされたプログラムが一次記憶に読み出され、CPUで実行されることにより、上述の実施形態又は変形例の装置が実現される。
なお、このように実施形態又は変形例の装置の全てをソフトウエアで実現する代わりに、呈示モデル作成部32などの要素モジュールを、ASIC(Application Specific Integrated Circuit)等のハードウエア回路や、デジタル・シグナル・プロセッサなどを用いて構成することも可能である。
実施形態のシステム構成の一例を示す図である。 顔パッチモデルの例を示す図である。 解析用顔パッチモデルの作成処理の流れを示すフローチャートである。 代表点指定用の画面表示の例を示す図である。 個人内分散及び個人間分散の母集団を説明するための図である。 重みの分布を説明するための図である。 変形例のシステム構成を示す図である。 呈示モデル作成部の一構成例を示す図である。 顔の距離画像と世界座標系との関係を示す図である。 点群同士の対応付けにおける補間処理を説明するための図である。 姿勢・位置の補正後の点群を射影して正準化距離画像を作成する処理を説明するための図である。 距離画像とテクスチャ画像の対応関係を説明するための図である。 標準顔パッチモデルに対応する距離画像を作成する際の補間処理を説明するための図である。 1次元DPマッチングを説明するための図である。 対象顔と標準顔の距離画像同士の間の水平方向についてのDPマッチングの処理を説明するための図である。 対象顔と標準顔の画素ごとの対応付けを説明するための図である。
符号の説明
10 レンジファインダ、20 ユーザID入力装置、30 顔認証装置、 32 呈示モデル作成部、34 認証部、36 登録モデルDB、38 重み情報記憶部。

Claims (2)

  1. ユーザごとに、そのユーザの顔形状における複数の特徴点の3次元座標を含んだ登録顔形状モデルを記憶した登録顔データベースと、
    顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部と、
    ユーザが呈示した顔から得られた顔形状モデルと登録顔データベースに登録されたそのユーザの登録顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が登録顔データベースに登録された顔と同一であるか否かを判定する判定部と、
    を備え、前記重み情報記憶部が記憶する各特徴点の重みは、同一ユーザの複数の顔形状モデルサンプルの間での同一特徴点の3次元座標のばらつきである個人内ばらつきが小さい特徴点ほど大きい値となり、複数のユーザの顔形状モデルサンプルの間での同一特徴点の3次元座標のばらつきである個人間ばらつきが大きい特徴点ほど大きい値となるよう設定されている、
    ことを特徴とする顔解析システムであって、
    ユーザが呈示した顔が前記登録顔データベースに登録された顔と同一であると判定された場合にそのユーザが呈示した顔から得られた顔形状モデルを新たな顔形状モデルサンプルとして追加し、その追加された顔形状モデルサンプルを反映して前記各特徴点の重みを再計算して前記重み情報記憶部に記憶させる重みを更新する重み更新部、
    を更に備える顔解析システム
  2. コンピュータを、
    ユーザごとに、そのユーザの顔形状における複数の特徴点の3次元座標を含んだ登録顔形状モデルを記憶した登録顔データベース、
    顔形状モデル中の各特徴点に対する重みを記憶した重み情報記憶部、
    ユーザが呈示した顔から得られた顔形状モデルと登録顔データベースに登録されたそのユーザの登録顔形状モデルとの間での同一特徴点同士の位置誤差をそれぞれの特徴点についての重みにより重み付けし、その重み付け結果を全ての特徴点について総合することで評価値を求め、その評価値に基づきユーザが呈示した顔が登録顔データベースに登録された顔と同一であるか否かを判定する判定部、
    として機能させるためのプログラムであって、
    前記重み情報記憶部が記憶する各特徴点の重みは、同一ユーザの複数の顔形状モデルサンプルの間での同一特徴点の3次元座標のばらつきである個人内ばらつきが小さい特徴点ほど大きい値となり、複数のユーザの顔形状モデルサンプルの間での同一特徴点の3次元座標のばらつきである個人間ばらつきが大きい特徴点ほど大きい値となるよう設定されている、
    ことを特徴とするプログラムであって、
    前記コンピュータを、
    ユーザが呈示した顔が前記登録顔データベースに登録された顔と同一であると判定された場合にそのユーザが呈示した顔から得られた顔形状モデルを新たな顔形状モデルサンプルとして追加し、その追加された顔形状モデルサンプルを反映して前記各特徴点の重みを再計算して前記重み情報記憶部に記憶させる重みを更新する重み更新部、
    として更に機能させるためプログラム。
JP2006080973A 2006-03-23 2006-03-23 顔解析システム Expired - Fee Related JP4814666B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006080973A JP4814666B2 (ja) 2006-03-23 2006-03-23 顔解析システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006080973A JP4814666B2 (ja) 2006-03-23 2006-03-23 顔解析システム

Publications (2)

Publication Number Publication Date
JP2007257310A JP2007257310A (ja) 2007-10-04
JP4814666B2 true JP4814666B2 (ja) 2011-11-16

Family

ID=38631490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006080973A Expired - Fee Related JP4814666B2 (ja) 2006-03-23 2006-03-23 顔解析システム

Country Status (1)

Country Link
JP (1) JP4814666B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5024067B2 (ja) * 2007-01-19 2012-09-12 コニカミノルタホールディングス株式会社 顔認証システム、方法及びプログラム
JP4952267B2 (ja) * 2007-01-19 2012-06-13 コニカミノルタホールディングス株式会社 3次元形状処理装置、3次元形状処理装置の制御方法、および3次元形状処理装置の制御プログラム
JP5505323B2 (ja) * 2011-01-25 2014-05-28 富士通株式会社 生体認証装置、生体認証装置を制御する制御プログラム、生体認証装置を制御する制御方法及び生体認証システムの制御方法
JP2012248047A (ja) * 2011-05-30 2012-12-13 Seiko Epson Corp 生体識別装置、及び、生体識別方法
JP5894505B2 (ja) * 2012-05-21 2016-03-30 株式会社Nttドコモ 画像コミュニケーションシステム、画像生成装置及びプログラム
KR101370042B1 (ko) 2012-10-29 2014-03-25 주식회사 에스원 얼굴 이미지 색인화 방법, 이를 이용한 이미지 검색 장치 및 그 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01114986A (ja) * 1987-10-29 1989-05-08 Nippon Genshiryoku Bougo Syst Kk 個人識別装置
JP2002269563A (ja) * 2001-03-08 2002-09-20 Matsushita Electric Ind Co Ltd 顔画像照合システム
JP4611575B2 (ja) * 2001-06-20 2011-01-12 セコム株式会社 本人認証用の顔画像照合装置
JP2004362079A (ja) * 2003-06-02 2004-12-24 Fuji Photo Film Co Ltd 本人認証装置
JP2006031103A (ja) * 2004-07-12 2006-02-02 Toshiba Corp 生体認証装置、生体認証方法および通行制御装置

Also Published As

Publication number Publication date
JP2007257310A (ja) 2007-10-04

Similar Documents

Publication Publication Date Title
US7512255B2 (en) Multi-modal face recognition
JP4950787B2 (ja) 画像処理装置及びその方法
US7221809B2 (en) Face recognition system and method
US9262671B2 (en) Systems, methods, and software for detecting an object in an image
US7925060B2 (en) Authentication system and registration system related to facial feature information
US7693564B2 (en) System, apparatus and method for forensic facial approximation
JP4780198B2 (ja) 認証システム及び認証方法
JP2007257324A (ja) 顔モデル作成システム
JP4999731B2 (ja) 顔画像処理装置
JP2008204200A (ja) 顔解析システム及びプログラム
JP4696778B2 (ja) 認証装置、認証方法及びプログラム
JP2000306095A (ja) 画像照合・検索システム
WO2007050630A2 (en) Face recognition system and method
Li et al. Efficient 3D face recognition handling facial expression and hair occlusion
JP4814666B2 (ja) 顔解析システム
JP2014211719A (ja) 情報処理装置およびその方法
JP5751865B2 (ja) 顔画像処理装置
US20070046662A1 (en) Authentication apparatus and authentication method
JP4952267B2 (ja) 3次元形状処理装置、3次元形状処理装置の制御方法、および3次元形状処理装置の制御プログラム
JP5018029B2 (ja) 認証システム及び認証方法
KR20170079680A (ko) 가중치 보간 맵을 이용한 표정 합성 장치 및 방법
JP2009211148A (ja) 顔画像処理装置
CN111652018A (zh) 一种人脸注册方法和认证方法
Zappa et al. Uncertainty of 3D facial features measurements and its effects on personal identification
JP2009031996A (ja) 画像照合装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110809

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110826

R150 Certificate of patent or registration of utility model

Ref document number: 4814666

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees