JP6318162B2 - ３次元の顔モデルを生成する方法 - Google Patents

Description

本発明の分野は、後方の非正面の画像から個人の正面像を生成するための、個人の顔の画像処理の分野である。

本発明は、特に顔認識によって個人を識別することに適用される。

顔認識による個人の識別は、２つの顔画像を比較することにより、且つこの比較から、画像上の特徴的な顔同士の類似点を評価するスコアを推定することによって行われる。

比較された顔が同じポーズで画像上に出現しない場合、画像上の特徴的な顔が同一人物から生じたものであっても、類似スコアは実質的に下がる可能性がある。画像上の顔のポーズが同一ではないので、これは、結果として、行われた識別方法の効果のかなりの損失につながる。

したがって、２つの顔が比較画像上で同じポーズを有する場合だけでなく、正面視において認識される顔が視られる場合、この視野が顔の形状上の大部分の情報を提供するので、最適な認識効果が得られる。

但し、識別のための顔の顔画像を系統的に取得することはできない。実際に、ほとんどの状況において、例えば身分証明書などの予め記録された個人の顔画像は、監視カメラなどの取得システムによって「オン・ザ・フライ」で取得された個人の画像と比較される。個人は取得システムを見ていないので、このように取得された画像は、実際には顔画像ではない。

この場合、画像の処置方法は、正面視で視られた、顔の画像から、同じ顔の画像を生成するように開発されている。

このために、取得された画像は、画像上の個人の顔の３次元形状と、そのポーズ、すなわち正面像に対するその位置と、顔の形状の３次元構造上に重ね合わせられた顔の表面の物理的な外見である顔のテクスチャの表現とを決定するために処理される。

モデル（眼、鼻孔、鼻先、唇のコーナなどの位置）の特徴点と画像上の顔の対応点との間の差を最小化するために、個人の顔の３次元形状の決定は、人間の顔の変形可能な３次元モデルの変形によって本質的に行われる。

異なるタイプの３次元の顔モデルは、既に提案されている。Ａ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ Ｆｏｒ ｔｈｅ Ｓｙｎｔｈｅｓｉｓ ｏｆ ３Ｄ Ｆａｃｅｓ，Ｖ．Ｂｌａｎｚ，Ｔ．Ｖｅｔｔｅｒ，Ｍａｘ−Ｐｌａｎｃｋ−Ｉｎｓｔｉｔｕｔｅ ｆｕｒ Ｂｉｏｌｏｇｉｓｃｈｅ Ｋｙｂｅｒｎｅｔｉｋは、例えば、個人の顔の見本から生成された３次元の顔モデルを開示し、ここで、特徴点は対応付けて配置され、「主成分の分析（ａｎａｌｙｓｉｓ ｉｎ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔｓ）」と呼ばれる統計分析が行われる。この分析は、人間の顔の形状がガウスの確率密度に従うという、特に制限的な仮説に基づく。

この仮説は立証されないので、したがって、このように生成された顔のモデルは、あらゆる人間の顔を生成するためには恐らく用いれ得ない。

Ａ Ｍｏｒｐｈａｂｌｅ Ｍｏｄｅｌ Ｆｏｒ ｔｈｅ Ｓｙｎｔｈｅｓｉｓ ｏｆ ３Ｄ Ｆａｃｅｓ，Ｖ．Ｂｌａｎｚ，Ｔ．Ｖｅｔｔｅｒ，Ｍａｘ−Ｐｌａｎｃｋ−Ｉｎｓｔｉｔｕｔｅ ｆｕｒ Ｂｉｏｌｏｇｉｓｃｈｅ Ｋｙｂｅｒｎｅｔｉｋ

本発明の目的は、上記短所を有さずに、特にあらゆる人間の画像上の特徴的な顔の形状を決定する、個人の顔画像の処理方法を提案することである。

この点において、本発明の目的は、個人の顔の複数の画像から変形可能な３次元の顔のモデルを生成するための方法であって、
−顔のテンプレートを生成するステップと、
−個人の顔の見本の形状を取得するステップと、
−個人の顔の各々の見本に対して、変形されたテンプレートの形状が顔の見本の形状に対応するようにテンプレートを繰り返し変形して、初期テンプレートと変形されたテンプレートとの間の変形を決定するステップであって、前記テンプレートの繰り返される変形は、変形されたテンプレートが人間の顔の形状に維持するように制約するために、初期テンプレートと変形されたテンプレートとの間の差の微分係数を最小化することを備えるステップと、
−テンプレートの形状と、個人の顔の各々の見本に対する初期テンプレートと変形されたテンプレートとの間の変形との一次結合として顔のモデルを生成するステップと
から構成されるステップを備えることを特徴とする方法である。

有利には、但し、必要に応じて、本発明による方法は、また、以下の
−個人の顔の見本の形状の取得は、個人の顔の各々の見本の特徴点の検出と、顔の見本間の特徴的な対応点の対応付けを備えること、
−テンプレートの繰り返しの変形は、個人の顔の各々の見本ごとに、前記特徴点と個人の顔の見本の対応点との間の位置の差を最小化するためにテンプレートの特徴点の位置の修正を備えること、
−テンプレートの繰り返しの変形は、テンプレートのポイントと顔の見本の表面との間の位置の差の最小化することをさらに備えること、
−テンプレートの繰り返しの変形のステップは、
顔の見本の特徴点とテンプレートの対応点との間の位置の差と、
初期テンプレートと変形されたテンプレートとの間の差の微分係数と、
テンプレートのポイントと顔の見本の表面との間の位置の差との一次結合を繰り返し最小化することを備え、
一次結合の係数は、一方の繰り返しから他方の繰り返しまで変化すること
の少なくとも１つの特徴を有する。

本発明は、また、画像から個人の顔の３次元表現を生成するステップから構成されるステップを備える少なくとも１つの個人の顔画像の処理方法であって、前記表現は、
−個人の顔の特徴点の位置と基準となる人間の顔の形状の対応点の位置との間の比較によって画像上の個人の顔のポーズのドラフトを決定するステップと、
−変形されたモデルの形状が画像上の個人の顔の形状に対応するように、本発明による顔のモデルを生成する方法を実行することによって取得された３次元モデルを繰り返し修正することによって画像上の個人の顔の形状およびポーズを決定するステップであって、３次元モデルの変形はモデルの一次結合の係数の変形によって行われるステップと、
から構成されるステップを備え、
変形されたモデルが人間の顔に対応することを保証するために一次結合の係数の修正が制限されることを特徴とする処理方法を提案する。

有利には、但し、必要に応じて、顔画像の処理方法は、以下の、
−一次結合の係数の修正は、初期モデルと変形されたモデルとの間の差の微分係数の基準を最小化することによって制限されることと、
−画像上の個人の顔のポーズおよび形状は、画像上の個人の顔の特徴点とモデルの対応点との間の差を最小化するために３次元モデルのポーズおよび形状を繰り返し修正することによって同時に推定されることと、
−モデルのポーズの修正は、先述のグループからスケールの平行移動、回転、変更の少なくとも１つの変換を備えることと、
−３次元モデルの形状の修正は、各々の顔の見本を得るために、顔テンプレートとテンプレートに対して適用された変形との間の一次結合の係数を決定することを備えることと、
の少なくとも１つの特徴をさらに備え、
−方法は、画像上の個人の顔のポーズおよび形状の推定から、個人の顔のテクスチャの表現を生成し、個人の顔の正面像を生成するステップから構成されるステップをさらに備える。

−方法は、個人の複数の顔画像上で行われ、
個人の顔のポーズのドラフトの決定のためのステップは、個人の各々の顔画像上で行われ、
個人の顔の形状およびポーズの決定のためのステップは、変形されたモデルの形状が画像上の個人の顔の形状に対応するように、３次元モデルを繰り返し変形することによってすべての顔画像上で行われる。

本発明は、識別される個人の少なくとも１つの制御サーバであって個人の顔の画像の取得を実行するように構成された取得手段を備える制御サーバと、インデックスを付けられた個人のＮ個の基準画像のベースの少なくとも１つの管理サーバとを備える個人の識別のためのシステムであって、
制御サーバおよび管理サーバの１つが本発明による処理方法を実行して、得られた個人の顔の正面像から、個人を識別するためにベースの基準画像と比較して顔認識の処理を行うように構成された処理手段を備えることを特徴とする個人の識別のためのシステムを最終的に提案する。

本発明の他の特徴、目的、および有利性は、非限定的な例として与えられた、添付の図面に対する以下の詳細な説明から明らかになる。

画像の処理方法を実行するように構成された識別システムの例を示す。 顔の３次元モデルの生成のための方法の主要なステップを示す。 本発明による画像の処理方法の主要なステップを示す。 顔の特徴点を示す。 微分行列の計算のために用いられる記号を示す。 画像内の個人を識別するために処理される顔の画像である。 個人の顔の形状の復元と、前記顔のテクスチャの表現である。 個人の顔の形状の復元と、前記顔のテクスチャの表現である。 図５ａの画像から復元された個人の顔の顔画像である。 同じ顔の入力画像、およびこれらの入力画像から得られた顔の顔画像である。 同じ顔の入力画像、およびこれらの入力画像から得られた顔の顔画像である。

画像の処理システム

図１を参照して、これは、画像の処理方法を実行するように構成された識別システム１を示す。個人Ｉの識別の間、画像の適切な取得手段１１を取り付けられた制御サーバＳＣは、個人の顔の画像の取得を実行する。

この画像は、非正面になり得る。個人Ｉを識別するために、制御サーバＳＣは、また、身分証明書内に格納される、今回は正面の、個人の顔画像を取得することができる。

制御サーバは、この画像を「正面にする」ことを目的とした処理を、すなわち、この画像から正面の画像を生成することを、個人の顔の第１の画像で、実行するように構成された処理手段を有利には備える。この正面化処理に続いて、制御サーバは、画像上の特徴的な顔が同一人物に対応するか否かを決定するために２つの正面の画像を有利には比較することができる。

代替的に、第２の顔画像は、管理サーバＳＧのデータベース内の他の画像の中に格納されることができる。制御サーバは、取得した第１の画像を管理サーバに対して送信し、管理サーバは、第１の画像の処理方法と個人Ｉを識別する比較とを実行する。この場合、比較は、個人の「正面にされた」画像と、データベース内に記録された顔画像の各々との間で行うことができる。

顔画像の処理方法

図２を参照すると、個人の顔の正面の画像を取得するための顔画像の処理方法が記載される。

コンピュータ科学において、人間の顔などの各３次元のオブジェクトは、以下の３つの要素によって記述されることができる。

−３Ｄ頂点集合から構成される対象物の形状。ここで、各頂点は、３つの直交方向に沿って座標によって規定されたオブジェクトのポイントである。Ｎは、オブジェクトの頂点ｖｉの数であり、各オブジェクトは、頂点が列に配置される３×Ｎ次元行列

によって記述される。

−三角形を形成するために頂点を相互に接合することによって具体化されるオブジェクトの表面。三角形のリストは、したがって、各オブジェクトに対して規定され、各三角形は、行列Ｓの対応する列の３つのインデックスによって示される。

−３次元のオブジェクトの形状およびその表面から取得された３次元のオブジェクトに着色するために用いられる画像であるオブジェクトのテクスチャの表現。三角形のリストによって規定されるオブジェクトの表面は、オブジェクトの頂点を特定のテクスチャに対応させるために用いられる。

変形可能な３Ｄモデルの生成

方法は、人間の顔のあらゆるタイプの形状を取得するために変形され得る人間の顔の形状の３次元モデルを生成するステップから構成される第１のステップ１００を備える。

このモデルは、個人の顔の見本の一次結合として数学的に定式化され、次式によって記述される。

ここで、Ｓ^０は、モデルのベースを構成する人間の顔の形状のテンプレートであり、

は、特定の見本の顔の形状を、現実の個人として示す。結果として、Ｓ^ｊは、顔の見本の１つとテンプレートとの間の差異を示す。

係数

は、識別される個人の顔に対応させるために、モデルＳを変形するために後でそれ自体決定される。

このモデルを取得するためのステップは、ここで記載されることになる。

ステップ１１０の間、人間の顔のテンプレートＳ^０が生成され、テンプレートＳ^０は、特定の個人の顔の形状、または複数の個人の顔の形状の平均であり得る。すべてのケースにおいて、顔の形状（単数）または形状（複数）は、顔のポイントに対応する一連の頂点によって規定される。これらのポイントは、とりわけ、図３に表現される、眼のコーナ、口の端部、鼻孔、鼻の先端、耳などのＮ_ｓ個（典型的には２２個）の顔の特徴点を備える。

これらの特徴点は、オペレータによって正面の顔画像から手動的にマークされることができるし、または、サーバによって自動的にマークされることができる。

人間の顔のテンプレートは、３Ｄスキャナによって取得される約数千のオーダーの他の頂点をさらに備える。

ステップ１２０の間、現実の個人の顔の見本の形状の取得が行われる。この取得は、頂点のリストを生成するための個人の顔の特徴点をマークすることによって、同じように予め行われる。

このように取得された顔の形状は、各々

に対応する。３次元モデルを構築するために、顔とテンプレートとの間の偏差Ｓ^ｊは、顔の各形状の頂点のリストから決定される。

３次元モデルＳによって生成される形状は、すべて、数学的な逸脱ではなく、可能的な顔の形状でなければならない。この結果を保証するために、顔の形状の見本は、すべて、規定数に対応付けて（すなわち、顔の各頂点をリンクすることによって）配置される。例えば、鼻の端部における所定の数、および唇の左コーナ上の他の数は、属性付けられる。これらの数は、頂点のインデックスに対応する。

テンプレートの特定の特徴は、頂点のインデックス化が既に完了した顔の形状である。結果的に、顔の形状の各見本の頂点のインデックス化は、ステップ１３０の間に、形状の各見本の頂点をテンプレートの頂点に対応付けて配置することによって行われる。

これを行うために、ステップ１３１の間、テンプレートは、テンプレートの形状と顔の見本の形状との間の差を最小化するために繰り返し変形され、変形されたテンプレートは、人間の顔の形状に常に対応していなければならない。

最小化される数学関数は、３つの項を備える。

第１の項は、顔の見本の特徴点とテンプレートの対応点との間の距離を最小化する役目をする。それは次式によって記述される。

ここで、ｉは、特徴点のインデックスであり、Ｓ_ｊｉは、特徴点ｉに対応する個人の見本の顔のポイントの頂点であり、ｖ_ｋｉは、同じ特徴点ｉに対応する変形の後のテンプレートのポイントの頂点であり、Ｎ_ｓは、顔における特徴点の数、例えば２２である。

したがって、目的は、顔の見本上の同じ特徴点の位置に対応させるためにテンプレートの特徴点の位置を繰り返し修正することである。

第２の項は、テンプレートの顔の形状の表面を顔の見本の形状の表面に対応付けて配置する役目をする。最小化される関数は、テンプレートのポイントと特徴点に最接近する顔の見本の表面のポイントとの間の差を示す。それは次式として記述される。

ここで、ｐ_ｖｉは、顔の見本の表面のポイント、すなわち、頂点ｖ_ｉの顔の表面上の投影に対応するポイントである。例えば、顔の見本の表面は、非正面の画像から取得される場合、不完全であり、且つテンプレートのポイントが顔の見本のポイントに対応しないことがあり得る。この場合、テンプレートのこれらのポイントは、考慮されない。

テンプレートの変形のために用いられた顔の見本が不完全であるか、またはノイズを含んでいるとしても、第３の項は、現実の人間の顔のままであるように変形されたテンプレートを制約する。この項は、各繰り返しにおけるテンプレートの変換の微分係数の基準を最小化することによって、変形されたテンプレートを可能な限り「最も平滑」に、すなわち、可能な限り最も連続的にする。この基準は、以下の通り表現される。

ここで、ｖは、変形されたテンプレートの３Ｄ頂点の縦続であり、ｖｅｃ（Ｓ^０）は、変換前のテンプレートに対する同一項であり、ｖおよびｖｅｃ（Ｓ^０）は、

サイズのベクトルである。

関数の微分は線形演算であるので、その計算は、行列による関数の乗算によって行うことができる。この場合、Ａは、次元

の、ベクトル

の微分行列であり、ここで、Ｔは、テンプレートの表面の三角形の数である。

テンプレートの表面の三角形ｔの変形の微分係数は、隣接三角形ｑと三角形ｔとの最終的な差分の近似によって、三角形ｔの近くの三角形ｑに対して以下の通り算定される。

ここで、Ｎ_ｔは、三角形ｔの近くのすべての三角形ｑであり、ｗ_ｑ，ｔは、三角形ｔおよびｑの表面に依存する重み付け係数であり、ｄ_ｔは、その重心のレベルにおける三角形ｔの変形であり、ｂ_ｔは、三角形ｔの重心の位置である。重心と重み付け係数との間の距離は、変形されていないテンプレートＳ^０上で算定される。

図４を参照すると、重み付け係数ｗ_ｑ，ｔは、ベースが三角形ｔおよびｑを接続するリッジである２つの三角形の表面の総和であり、このベースの反対側の頂点は、それぞれ三角形ｔの重心ｂ_ｔおよび三角形ｑの重心ｂ_ｑである。

その重心のレベルにおける三角形ｔの変形ｄ_ｔ（すなわち、変形されていないテンプレートと変形されたテンプレートとの間の重心の変位）を取得するために、三角形ｔの頂点に関連付けられた要素上以外はどこもゼロである次元

の行列Ｂ_ｔを、形状の変形

で乗算する。これらの要素は、均等に１／３である。

三角形ｔの重心ｂ_ｔがその３つの頂点の平均であるので、変形

によるこの行列Ｂの乗算は、三角形の重心の変位を生成する。

次元

の行列Ａは、各三角形ｔに関連付けられた次元行列Ｂ_ｔをすべて垂直に縦続することによって取得され、三角形ｔの頂点に対応する係数は、重み付け係数ｗ_ｑ，ｔにより乗算され、重心間の距離

によって除算される。

微分行列Ａは、変形されていないテンプレートの表面（Ｓ^０の三角形のリスト）に単に依存し、変形されたテンプレートｖの形状には依存しない、ということは明らかである。したがって、それは一定である。

上で詳細に記述された３つの項が同時に最小化されるので、したがって、以下が決定される。

ここで、

および

は、各項の重み付け係数である。この最小化は、特異値への分解によって線形に解決されることができる。

対応付けの開始において、この最小化が繰り返されるので、テンプレートは、個人の顔の見本から恣意的に取り除かれることができ、したがって、テンプレートのポイントｖ_ｉに最も近い顔の表面のポイントｐ_ｖｉは、十分に規定されない。

に対しては他の重み付け係数に対して比較的低い値が決められる。また、

に対してはかなりの値が、変換が擬リジッド（ｑｕａｓｉ−ｒｉｇｉｄ）である、ということを保証するために決められる、すなわち、テンプレートの顔の形状は、可能な限り最も変形されない。

最小化の各繰り返しにおいて、

の値は増加される。各々の繰り返しにおける、ポイントｐ_ｖｉは、この繰り返しに対して変形されたテンプレートのポイントｖ_ｉに最接近するように、個人の顔の見本の表面上で検索される。最小化が繰り返されるので、これらのポイントｐ_ｖｉは、ますます減少し、係数

の値は、比較をさらに柔軟にするために減じられる。

この繰り返しされる対応付けステップは、個人の顔の各見本に対して行われる。対応付けステップは、顔の見本に対応し、且つＳ^ｊの値（テンプレートと顔の見本との間の偏差）が導き出され得る、変形されたテンプレートとともに終了する。

したがって、このステップが完了すると、これは、個人のあらゆる顔を取得するために一次結合を作成することができるテンプレートＳ^０および偏差Ｓ^ｊを備える３次元の顔の変形可能なモデルを生成する。

一旦このモデルが取得されれば、それは個人の顔画像から顔の３次元形状を生成するために用いられることができる。

図２へ戻ると、ステップ２００の間に、例えば図１の制御サーバによって、識別される個人の顔の画像が取得される。このような画像の例は、図５ａに添付される。

その後、画像上の顔のポーズまたは位置のいわゆる「リジッド」な推定ステップ３００が行われる。推定は、顔の変形を備えないために、リジッドと呼ばれる。

ポーズは、３つの回転角と、２つの平行移動パラメータと、１つのスケールファクタとの６つのパラメータを用いることによって、基準に対して相対的に規定されるとともに、次式として規定される。

ここで、ｐは、各３次元頂点ｖの投影のＸおよびＹ座標を備える２次元ベクトルであり、ｓは、スケールのパラメータであり、Ｒは、２つのラインが回転行列の２つの第１のラインである

型の行列であり、ｔは、ＸおよびＹにおける平行移動ベクトルである。

回転の行列は、オイラー角ａ_ｘ、ａ_ｙおよびａ_ｚの関数として、以下の通り表現される。

ポーズを推定するために、画像上の個人の顔の特徴点の位置は、例えば、オペレータを指示することによって、または自動検出によって、同じ手段で取得される。この点において、以下の文献を参照することができ得る。

−Ｙｏｗ ｅｔ ａｌ． Ｆｅａｔｕｒｅ−ｂａｓｅｄ ｈｕｍａｎ ｆａｃｅ ｄｅｔｅｃｔｉｏｎ．Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，１５（９）：７１３−７３５，１９９７
−Ｎｉｋｏｌａｉｄｉｓ ａｎｄ Ｐｉｔａｓ，Ｆａｃｉａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｄｅｔｅｒｍｉｎａｔｉｏｎ ｏｆ ｐｏｓｅ，Ｐｒｏｃ． ｏｆ ｔｈｅ ＮＯＢＬＥＳＳＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ｎｏｎｌｉｎｅａｒ Ｍｏｄｅｌ Ｂａｓｅｄ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ，ｐａｇｅ２５７−２６２，１９９８
−Ｌｅｅ ｅｔ ａｌ． Ｒｅａｌｔｉｍｅ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ｐｅｒｓｏｎ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ，ＩＡＰＲ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ， ２０００

次に、これらのポイントの位置は、この場合３次元モデルの生成のために用いられたテンプレートＳ^０になり得る顔のタイプの見本の対応点の頂点の投影に対して比較される。この比較は、以下の手段で個人の顔の頂点の投影とテンプレートと間の差分を最小化するために、上記のパラメータの変更によって、顔テンプレートのポーズを繰り返し修正することにより行われる。

ここで、ｐ_ｉは、画像上の特徴点ｉの位置であり、ｖ_ｉは、テンプレートの対応点ｉの頂点である。非正面である関連する個人の画像に応じて、いくつかの特徴点は、画像上で非可視になり得るし、または、それらの位置は不確かになり得る。

したがって、各特徴点ｉは、ポイントの位置上の「信頼度」を表現する重み付け係数ｃ_ｉを属性づけられる。ポイントが画像上で非可視である場合、その信頼係数は、ゼロである。

画像上の個人のポーズの決定は、次式のように表現される。

最小化の完了の際にテンプレートのために取得されたポーズは、画像上の個人の顔のポーズを構成する。

この最適化の問題は、解のリニアサーチである第１のステップ３１０と、第１のステップにより取得されたポーズの推定を改良する非線形の最小化３２０である第２のステップとの２つのステップの手順により解決される。

線形推定のステップ３１０がここで記載されることになる。

この推定は、特徴点の位置と、「逆投影」のエラーと呼ばれるそれらの投影のモデリングとの間の距離が、ゼロ平均と、

に等しい差分タイプとを有するガウシアンであり、且つエラーがすべてのポイントに対して独立である場合、従来の式の解が以下の線形システムの解であることが示され得る、という仮説から出発する。

および

この過剰に決定された線形システムの解決は、標準的な線形代数であって、Ｇｏｌｕｂ ｅｔ ａｌ． Ｍａｔｒｉｘ ｃｏｍｐｕｔａｔｉｏｎｓ ｖｏｌｕｍｅ ３，Ｊｏｈｎｓ Ｈｏｐｋｉｎｓ Ｕｎｉｖ Ｐｒ，１９９６に記載の特異値分解から与えられる疑似逆を用いることによって行われる。

この線形の解決３１０の第１のステップは、ポーズの十分な出発の推定を提供するが、但し、線形の解決のために予め採用された仮説が実践に基づかないので、非線形の推定ステップ３２０によって推定を改良する必要がある。

線形のステップの結果は、繰り返される非線形のステップ３２０を行うことによって改良され、その好適な方法は、レーベンバーグマーカート（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｄｔ）最小化である。Ｇｉｌｌ ｅｔ ａｌ． Ｐｒａｃｔｉｃａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ． Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，Ｌｏｎｄｏｎ ａｎｄ Ｎｅｗ Ｙｏｒｋ，１９８１を参照することができ得る。

このステップは、画像上の個人の顔のポーズの第１の推定を最終的に生成し、このポーズは、その後、前記顔のポーズおよび形状の「柔軟な」推定ステップ４００の間に改良される。したがって、このステージにおいて、顔のポーズの「ドラフト」が決定されていると考えられる。

ポーズおよび形状の柔軟な推定ステップ４００が、ここで記載されることになる。この推定は、ステップ１００において取得された３次元の顔のモデルによって行われる。前に示されたように、このモデルは、テンプレートＳ^０および個人の見本に対するこのテンプレートの偏差の一次結合として、以下の通り表現される。

あらゆる顔の形状は、一次結合の係数

の選択によって生成されることができる。

したがって、画像上の個人の顔の形状およびポーズの柔軟な推定は、画像上の個人の顔の特徴点ｐ_ｉの投影とモデルの同じ投影との間の差分の最小化によって行われる。これを行うために、（係数

を介して）モデルによって取得される顔の形状、および顔のポーズパラメータは、繰り返し修正される。

数学上、したがって、目的は以下の最小値を生成することである。

但し、この式の解答は、もはや人間の顔に対応しない、変形された顔のモデルの形状として現れるかもしれない。実際、個人の顔の特徴点ｐ_ｉは、ノイズがある可能性若しくはアクセス不能になる可能性があり、システムは、適正且つ十分には決定されないだろう。

係数

は、現実的な人間の顔を生成するのを保証するように制約される。このために、３次元モデルの変形の微分係数の基準は、最小化され、モデルの変形された頂点は、ここで、１とＭとの間のｊに対する

を備えるベクトルａの関数として規定される。３次元モデルの変形の微分係数は、先の微分行列Ａと同じ方法で構築された行列Ａ’によって変形されたモデルを乗算することによって取得される。

この最小化ステップは、個人に関係なく実証され、したがって、方法が可能な限り一般的であることを可能にする、顔の連続性の仮説に対応し、すなわちあらゆる個人に適用可能である。

したがって、以下の式が結果として生じる。

この式は、レーベンバーグマーカート最小化アルゴリズムを用いることによって、非線形の最小化ステップと同様に、解決される。ポーズの初期化は、リジッドな推定ステップの観点から取得されたポーズによって提供される。最小化のために用いられる初期形状は、オリジナルのテンプレートＳ^０の形状であり、すなわち、初期の係数

の値は、ゼロである。

一旦この推定が行われれば、３次元の変形されたモデルは、そのため、図５ｂに示される画像上の個人の顔の３次元形状に対応する。この３次元形状は、顔の表現を取得するために単純に扱われることができる。

また、３次元形状およびオリジナルの画像から、個人の顔のテクスチャの表現は、図５ｃに示されるステップ５００の間に生成される。これを行うために、オリジナルの画像は、３次元形式のポイントの位置においてサンプリングされる。

最終的に、ステップ６００の間、正面視に配置された個人の２次元顔画像は、顔の形状、および顔のテクスチャの表現から生成される。この画像は、図５ｄに示される。それは顔認識による従来の識別方法のための基本原理として機能することができる。

個人の顔の単一の３次元形状、および個人の顔のテクスチャの単一の表現を取得するために同じ個人の複数の入力画像に対してこの方法を行うことができることは、最終的に認識される。但し、１セットのポーズパラメータは、各入力画像に対して推定されなければならない。

ポーズの線形および非線形の推定ステップ３１０および３２０は、各力画像に対して行われる。その後、ポーズおよび形状の柔軟な推定ステップ４００は、以下の最小値を検索することによって、Ｋ個のすべての画像上で行われる。

その後、顔のテクスチャの表現は、各画像から、および各入力画像上の顔の各要素の視認度の関数として、取り出され、それらは顔のテクスチャの単一の表現を生成するために混合される。

新たな合成画像は、以前の単一の画像に対する方法と同じ方法で実現される。

図６ａは、同じ個人の２つの入力画像を示す。また、図６ｂは、この方法によって生成された個人の顔画像を示す。

Claims (11)

1. 個人の顔の複数の画像から３次元の変形可能な顔モデルを生成する方法であって、
   顔テンプレート（Ｓ^０）を生成するステップと、
   個人の顔の見本の形状
   

   

   を取得するステップと、
   個人の顔の各々の見本に対して、変形されたテンプレートの形状が顔の見本の形状に対応するようにテンプレートを繰り返し変形して、初期テンプレートと変形されたテンプレートとの間の変形（Ｓ^ｊ）を決定するステップであって、前記繰り返される変形は、変形されたテンプレートが人間の顔の形状を維持するように制約するために、初期テンプレートと変形されたテンプレートとの間の差の微分係数を最小化することを備えるステップと、
   テンプレートの形状（Ｓ^０）と、個人の顔の各々の見本に対する初期テンプレートと変形されたテンプレートとの間の変形（Ｓ^ｊ）との一次結合として顔のモデルを生成するステップと
   から構成されるステップを備え、
   個人の顔の見本の形状の取得は、個人の顔の各々の見本の特徴点の検出と、顔の見本間の特徴的な対応点の対応付けを備え、
   テンプレートの繰り返しの変形は、個人の顔の各々の見本ごとに、前記特徴点と個人の顔の見本の対応点との間の位置の差を最小化するためにテンプレートの特徴点の位置の修正を備えることを特徴とする方法。
2. テンプレートの繰り返しの変形は、テンプレートのポイントと顔の見本の表面との間の位置の差の最小化することをさらに備える請求項１に記載の方法。
3. テンプレートの繰り返しの変形のステップは、
   顔の見本の特徴点とテンプレートの対応点との間の位置の差と、
   初期テンプレートと変形されたテンプレートとの間の差の微分係数と、
   テンプレートのポイントと顔の見本の表面との間の位置の差と
   の一次結合を繰り返し最小化することを備え、
   一次結合の係数は、一方の繰り返しから他方の繰り返しまで変化する請求項１または２に記載の方法。
4. 画像から個人の顔の３次元表現を生成するステップから構成されるステップを備える少なくとも１つの個人の顔画像の処理方法であって、前記表現は、
   個人の顔の特徴点の位置と人間の顔の基準形状の対応点の位置との間の比較によって画像上の個人の顔のポーズのドラフトを決定するステップと、
   変形されたモデルの形状が画像上の個人の顔の形状に対応するように、請求項１から３のいずれか一項に記載の方法を実行することによって取得された３次元モデルを繰り返し変形することによって画像上の個人の顔の形状およびポーズを決定するステップであって、３次元モデルの変形はモデルの一次結合の係数の変形によって行われるステップと、
   から構成されるステップを備え、
   変形されたモデルが人間の顔に対応することを保証するために一次結合の係数の修正が制限されることを特徴とする処理方法。
5. 一次結合の係数の修正は、初期モデルと変形されたモデルとの間の差の微分係数の基準を最小化することによって制限される請求項４に記載の処理方法。
6. 画像上の個人の顔のポーズおよび形状は、画像上の個人の顔の特徴点とモデルの対応点との間の差を最小化するために３次元モデルのポーズおよび形状を繰り返し修正することによって同時に推定される請求項４または５に記載の処理方法。
7. モデルのポーズの修正は、先述するグループからスケールの平行移動、回転、変更の少なくとも１つの変換を備える請求項６に記載の処理方法。
8. ３次元モデルの形状の修正は、各々の顔の見本を得るために、顔テンプレートとテンプレートに対して適用された変形との間の一次結合の係数を決定することを備える請求項７に記載の処理方法。
9. 画像上の個人の顔のポーズおよび形状の推定から、個人の顔のテクスチャの表現を生成するステップと、
   個人の顔の正面像を生成するステップと
   から構成されるステップをさらに備える請求項４から８のいずれか一項に記載の処理方法。
10. 個人の複数の顔画像上で行われる請求項４から９のいずれか一項に記載の処理方法であって、
    個人の顔のポーズのドラフトの決定のためのステップは、個人の各々の顔画像上で行われ、
    個人の顔の形状およびポーズの決定のためのステップは、変形されたモデルの形状が画像上の個人の顔の形状に対応するように、３次元モデルを繰り返し変形することによってすべての顔画像上で行われる処理方法。
11. 識別される個人の（Ｉ）の少なくとも１つの制御サーバ（ＳＣ）であって個人（Ｉ）の顔の画像の取得を実行するように構成された取得手段を備える制御サーバ（ＳＣ）と、インデックスを付けられた個人のＮ個の基準画像のベース（ＤＢ）の少なくとも１つの管理サーバ（ＳＧ）とを備える個人の識別のためのシステムであって、
    制御サーバ（ＳＣ）および管理サーバ（ＳＧ）のいずれか１つが請求項９または１０の処理方法を実行して、得られた個人の顔の正面像から、個人を識別するためにベースの基準画像と比較して顔認識の処理を行うように構成された処理手段を備えることを特徴とする個人の識別のためのシステム。

Images