JP6744905B2 - 改善された年齢モデル化方法 - Google Patents

Description

本発明は、顔の画像上に見える顔のシワおよびシミをモデル化するための画像処理の分野に関する。本発明は、顔のシワおよびシミのシミュレーションを含む、加齢または若返りのシミュレーションにも関する。

公表文献T. F. Cootes他"Active Appearance Models", Proc. European Conference on Computer Vision 1998, Vol. 2, 484-498頁, Springer, 1998から、顔の形状および外観に対するいくつかの特徴を顔の画像から抽出することによる、個人の顔のモデル化の方法が既知である。

この方法は、顔の形状または外観が変更された新たな画像をシミュレートするために、顔のモデルが得られると、このモデルのいくつかのパラメータを変更することも可能にする。

このモデルは、特に、以下の２つの公表文献に記載されているように、顔の外観に対する年齢の影響をシミュレートするために用いられてきた。
− A. Lanitis他 "Modeling the Process of Ageing in Face Images", IEEE, 131-136頁vol. 1, DOI 10.1109/ICCV.1999.791208、
− A. Lanitis他 "Toward automatic simulation of aging effects on face images”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(4):442-455

年齢変動をシミュレートするために実施される技法は、T. F. Cootesのアクティブ外観モデルを利用する。基準母集団を形成する複数の個人の顔の画像が、アクティブ外観モデルを用いて処理され、顔ごとに、顔のモデルが抽出される。

図１に概略的に示されるように、この処理は、１つの画像から、顔の形状を表す固定長ベクトル、および顔の外観を表す固定長ベクトルを抽出することを含む。

母集団の全ての顔について２つのベクトルが取得されると、顔の形状を表す全てのベクトルに対し主成分分析が行われ、形状重みが得られ、顔の外観を表す全てのベクトルに対し別の主成分分析が行われ、外観重みが得られ、形状重みおよび外観重みの連結に対し最終的な主成分分析が行われ、顔のテクスチャおよび形状の双方の変動がモデル化される部分空間が作成される。

年齢に対するこの新たに作成された空間からの座標の回帰は、顔の加齢の方向を示す。このため、この空間に新たな顔を投影し、これを顔の加齢の方向に変換し、修正された形状およびテクスチャを有する顔の画像を再構成して、加齢したまたは若返った外観を得ることができる。

しかしながら、この手法は、生成される加齢した外観がぼやけているという制限を有する。なぜなら、シワおよびシミ等の高周波の詳細がモデルにおいて十分に検討されていないためである。

この問題を受け、Bukar AM他"On Facial Age Progression Based on Modified Active Appearance Models with Face Texture" Advances in Computational Intelligence Systems, vol 513, Springer International Publishing, Cham, 465-479頁に開示されている手法等の別の手法は、アクティブ外観モデルを用いて、外観および形状を含む顔のモデルを生成し、外観に対し、高周波の詳細のパッチを重ね合わせる後処理ステップを追加する。この後処理は、これらの高周波の詳細における年齢の進行に対する影響の統計的分析に基づいて行われるものではなく、このため年齢の進行をシミュレートするのに十分精密でない場合がある。

最後に、国際公開第２００９／０１４８３２号パンフレットから、年齢に伴うシワの変化をシミュレートするために人物の顔の画像を操作する方法も既知である。しかしながら、この方法は、人物の顔の無表情の画像および表情画像を処理することによって実施され、このため、年齢の進行から統計的に学習されておらず、結果として年齢の進行の関連シミュレーションが得られない場合がある。

国際公開第２００９／０１４８３２号パンフレット

T. F. Cootes他 "Active Appearance Models", Proc. European Conference on Computer Vision 1998, Vol. 2, 484-498頁, Springer, 1998 A. Lanitis他 "Modeling the Process of Ageing in Face Images", IEEE, 131-136頁vol. 1, DOI 10.1109/ICCV.1999.791208 A. Lanitis他 "Toward automatic simulation of aging effects on face images", IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(4):442-455 Bukar AM他 "On Facial Age Progression Based on Modified Active Appearance Models with Face Texture" Advances in Computational Intelligence Systems, vol 513, Springer International Publishing, Cham, 465-479頁 G. J. Edwards、A. Lanitis、C. J. TaylorおよびT. F. Cootes "Statistical Face Models : Improved Specificity. Image and Vision Computing, Vol. 16, no 3, 203-211頁, 1998

上記を鑑みて、本発明は、従来技術の制限のうちの少なくとも１つを克服することを目的とする。

特に、本発明は、シワ等の顔の高周波の詳細を、関連性をもってモデル化し、人物の年齢変動をシミュレートするためにこのモデル化を用いることを目的とする。

本発明の別の目的は、シワの展開に対する年齢変動の影響を正確に反映することである。

本発明の別の目的は、同じ人物が有し得る異なるライフスタイルまたは挙動に従って、この人物の加齢をシミュレートすることを可能にすることである。

このために、顔の画像から、顔の年齢に関係した特性（trait）をモデル化する方法が開示される。年齢に関係した特性は、シワまたはシミのいずれかであり、この方法は、
− 顔の同じ性質の年齢に関係した特性ごとに、年齢に関連した特性の形状および外観のパラメータを含むベクトルを生成するステップと、
− 生成されたベクトルから、顔における同じ性質の年齢に関係した特性をモデル化する単一の表現ベクトルを生成するステップと、
を含み、単一の表現ベクトルは、顔における特性の数、および顔にわたる、特性の形状パラメータおよび外観パラメータの同時確率に関する情報を記憶する。

実施形態において、特性の形状および外観のパラメータを含むベクトルを生成するステップは、
− 特性の複数の点の座標を取得するステップと、
− 前記座標を処理して特性の形状パラメータを推測するステップと、
を含む。

特定の実施形態において、年齢に関係した特性はシワであり、この方法は、各シワの少なくとも５つの点の座標の取得を含み、点は、シワにわたって規則的に間隔をあけられ、シワの各端部に少なくとも１つの点を含む。

この場合、シワの形状特徴は、
− シワの中心の座標と、
− シワの長さと、
− 基準軸に対するシワの角度と、
− シワの曲率と、
を含むことができる。

シワの外観パラメータは、好ましくはシワの厚さσおよび深さＡを含み、これらのパラメータを抽出するための画像の処理は、シワごとに、
− シワを含む画像の一部をハイパスフィルタリングするステップと、
− 各シワを共通形状にワープするステップと、
− ワープされたシワの複数の横方向プロファイルにおいて曲線を当てはめ、プロファイルごとに、当てはめられた曲線の最大振幅値および幅値を抽出するステップと、
− 複数のプロファイルの各々について抽出された最大振幅値および幅値からそれぞれＡおよびσを計算するステップと、
を含む。

好ましくは、曲線は二次微分ローレンツ関数である。

実施形態において、単一の表現ベクトルは、顔の同じ性質の特性の平均特徴を更に含む。

好ましくは、表現ベクトルを生成するステップは、
− 顔における少なくとも１つのゾーンを定義するステップと、
− ゾーンごとに、
ゾーンの年齢に関係した特性の同時確率を計算するステップと、
年齢に関係した特性の同時確率、ゾーンの年齢に関係した特性の数、およびゾーンの年齢に関係した特性の平均特徴を含むゾーンベクトルを定義するステップと、
ゾーンベクトルを連結して表現ベクトルを得るステップと、
を含む。

好ましい実施形態では、年齢に関係した特性の同時確率は、一度に２つ取得される各特性を表すベクトルの全ての特徴の同時確率を計算することによって近似される。

人物の年齢をモデル化する方法も開示される。この方法は、
− 基準母集団を形成する複数の個人の顔の画像を処理して、画像ごとに、
いずれも上記で説明した方法を実施することによって得られた、シワモデルおよびシミモデルのうちの少なくとも１つと、
形状モデルと、
外観モデルと、
を抽出するステップと、
− 複数のシワモデルおよび／またはシミモデル、形状モデル、ならびに外観モデルに対し、それぞれの主成分分析を行い、それぞれ、シワおよび／またはシミ、形状、ならびに外観の重みを得るステップと、
− シワおよび／またはシミ、形状、ならびに外観の重みに対し主成分分析を行い、集約された重みを得るステップと、
− 関数の当てはめにより、集約された重みと、年齢または見た目年齢との間の関係を推測するステップと、
を含む。

基準母集団は、以下のうちの少なくとも１つに関して類似のライフスタイルを有するものとして選択することができる。
− 喫煙、
− 飲酒、
− 日光への露出、
− 栄養、
− スキンケア製品の使用。

基準母集団は、性別、地理的ロケーション、および民族性に従って選択することもできる。

実施形態において、人物の年齢をモデル化する方法は、人物の年齢変動をシミュレートするステップを更に含むことができ、このステップは、
− 人物の顔の画像に対応するプロットの１つの集約された重みを選択するステップと、
− 対応する年齢または見た目年齢を特定するステップと、
− 当てはめられた関数により、年齢変動に従って変更される年齢または見た目年齢のための更新された集約重みをシミュレートするステップと、
− 更新された集約重みを処理して、年齢変動に対応する人物の顔の画像を推測するステップと
を含む。

コンピュータプログラム製品も開示され、このコンピュータプログラム製品は、プロセッサによって実行されるとき、上記の説明による方法を実行するための命令を含む。

画像処理ユニットも開示され、この画像処理ユニットは、命令を記憶するメモリと、メモリに記憶された命令を実行するように適合された計算機とを備え、この画像処理ユニットは、人物の顔の少なくとも１つの画像を受信し、受信した画像に対し、上記の説明による方法を実施するように構成される。

本発明による方法は、画像が撮られた人物の年齢がいくつであろうと、顔の画像から、顔のシワの固定長の表現を生成することを可能にする。より詳細には、シワの数および外観がいかなるものであろうと、全てのシワをモデル化するベクトルは常に同じサイズである。

結果として、複数の顔のシワをモデル化するベクトルを主成分分析にかけることができ、したがって、このシワモデル化は、このモデルの精密度および関連度を高めるためにアクティブ外観モデルに組み込むことができる。

このモデルを用いて、年齢変動を正確にシミュレートし、加齢した外観を有する画像を生成することが可能である。人物のライフスタイルに従って、様々な加齢した外観をシミュレートし、年齢の知覚に影響を及ぼす顔の視覚的手がかり（visual cue）に対する加齢の影響を低減するために、特定のスキンケア製品を勧めることも可能である。

本発明の他の特徴および利点は、添付の図面を参照して非限定的な例として与えられる以下の詳細な説明から明らかとなろう。

既に提示した、アクティブ外観モデルの実施を概略的に示す図である。 モデル化方法の実施形態、および人物の顔をモデル化するための、アクティブ外観モデルへのその統合を示す。 本発明の実施形態によるモデル化方法の主要ステップを示す。 図４ａは、平均形状にワープされたシワ、およびシワの選択された輝度プロファイルを表す。図４ｂは、図４ａの選択された輝度プロファイルに対し当てはめられた二次微分ローレンツ曲線を表す。 １人の人物の眉間のシワの同時確率のサブセットの例を示す。 シワモデルからのシワの表現の再構成の例を示す。 シワモデルからのシワの表現の再構成の例を示す。 本発明の１つの実施形態による加齢シミュレーション方法の結果の例を示し、中央に、ある人物の顔の元の画像を示し、左側に、２０歳若返った同じ人物を示し、右側に、２０歳加齢した同じ人物を示す。 本発明の１つの実施形態による方法を実行するためのシステムを概略的に示す。

ここで、図２および図３を参照して、人物の顔の年齢に関係した特性をモデル化するための方法が説明される。

以下の全てにおいて、年齢に関係した特性は、シワまたはシミに関係する。これらは、年齢と共に増大する傾向があり、したがって年齢の知覚に影響を及ぼす２つの視覚的手がかりである。

この方法は、図８に概略的に示される画像処理ユニット１によって実施されることが好ましい場合がある。この画像処理ユニット１は、以下に開示される方法による、画像および画像から抽出されたデータを処理するためのコード命令、好ましくはソフトウェア命令を記憶するメモリ１０を備える。画像処理ユニット１は、コード命令を実行するように構成された計算機１１も備える。計算機は、好ましくは、プロセッサ、マイクロプロセッサとすることができ、またはそうでなければ、マイクロコントローラーとすることができる。

画像処理ユニットによって処理される画像は、好ましくは、専用インタフェース１５を通じて、カメラ１２またはストレージデバイス１３からロードされる。ストレージデバイスは、ＳＤカード、ＵＳＢスティック等のポータブルストレージデバイスとすることができる。ストレージデバイスは、画像処理ユニットが接続されるローカルまたはリモートデータベース等の固定メモリとすることもできる。

シワまたはシミをモデル化する方法
図２および図３に戻ると、ここで、顔のシワまたはシミのいずれかをモデル化するベクトルを抽出するための、顔の画像の処理が説明される。シワおよびシミの双方のモデル化が望ましい場合、このモデル化は、シワについて１回、およびシミについて１回、別個に行うことができる。

方法はまず、顔の同じ性質の年齢に関連した特性（すなわち、シワまたはシミ）ごとに、特性の形状特徴および外観特徴を記憶するベクトルを生成するステップ１００を含む。

第１のサブステップ１１０中、特性は、複数の点により注釈付けされ、それらの座標が取得される。注釈付けは、好ましくは、顔の画像に対し、オペレータによって手動で行われる。

好ましい実施形態では、特性がシワであるとき、各シワは、少なくとも５つの点で注釈付けされ、更に好ましくは、厳密に５つの点で注釈付けされる。好ましい実施形態では、点は、シワの長さに沿って規則的に位置決めされ、点のうちの１つは、シワの各端部に位置する。このため、５つの点の場合、点のうちの２つがシワの端部に位置し、１つは中心に位置し、残りの２つは、中心とそれぞれの端部との間の半分の距離に位置する。

シミの場合、複数の点は、好ましくは、シミの境界の周りに規則的に分布することができる。

次に、複数の形状特徴を推測するサブステップ１２０中に、注釈付け点の座標が処理される。

好ましくは、シワの形状特徴は、以下を含む。
− シワの中心の座標（ｃ_ｘ，ｃ_ｙ）、
− 注釈付けの最初の点と最後の点との間の測地距離に等しいシワの長さｌ、
− 所定の軸、例えば水平軸を基準としたシワの角度α、
− 次の式：
の最小二乗法による最小化として計算されるシワの曲率Ｃ。ここで、ＸおよびＹは、それぞれ、原点を中心とするシワの横座標および縦座標であり、最初の点および最後の点が水平方向に位置合わせされている。

したがって、シワの場合、形状は、５つのパラメータ（ｃ_ｘ，ｃ_ｙ，ｌ，α，Ｃ）を用いてモデル化することができる。

シミの場合、注釈付け点の座標は、シミの上の所定の形状、例えば、円または楕円に当てはめるように処理することができ、形状パラメータは、当てはめられた形状を特徴付けるパラメータ（例えば、中心座標または焦点座標、半径または軌道長半径および軌道短半径、所定の軸を基準とした角度）を含むことができる。ベクトルは、好ましくは、シミの上でどのような形状が当てはめられようと、同じ長さを有するように構築される。

好ましい実施形態によれば、シミの形状特徴は、以下を含む。
− シミの中心の座標（ｃ_ｘ，ｃ_ｙ）、
− それぞれ長軸の長さおよび短軸の長さに等しい、シミの長さｌ_ＭＡＪおよびｌ_ｍｉｎ。これらの軸は、シミの境界に沿った点において当てはめられた楕円の軸である、
− 所定の軸、例えば水平軸を基準としたシミの角度α。

したがって、シミの場合、形状は、５つのパラメータ（ｃ_ｘ，ｃ_ｙ，ｌ_ＭＡＪ，ｌ_ｍｉｎ，α）を用いてモデル化することができる。

次に、方法は、各シワまたはシミからの外観特徴の抽出１３０を含む。

シワの場合にこれを行うために、各シワは、そのシワの周りの境界ボックスを生成することによって選択され、各ボックスは、肌の色に関連する低周波情報を除去し、シワの外観自体に関する高周波情報を維持するために、ハイパスフィルタリングされる。

このハイパスフィルタリングは、ボックスに含まれる画像の部分と、そのぼやけたバージョンとの間のガウス差によって行われる。

次に、シワの外観が所定の形状にワープされる。この所定の形状は、例えば、顔のシワの平均形状とすることができる。これは、顔の特定のゾーンにおける、顔の複数の画像のシワの平均形状とすることもできる。図４ａに示す特定の実施形態において、所定の形状は、所定の長さの水平のシワとすることもできる。

次に、シワの複数の横方向プロファイルの各々において曲線が当てはめられる。図４ａの例示的な実施形態において、横方向プロファイルは、境界ボックスのピクセルの列であり、各ピクセルは、関連付けられた濃度または輝度を有する。一実施形態において、境界ボックスのピクセルの全ての列の各々に対し曲線を当てはめることができる。しかしながら、計算の必要性を制限するためには、より少ない列が選択されることが好ましい。このため、方法の精度と計算の必要性との間のバランスに従ってサンプリングレートを定義することができる。例えば、シワは、その長さにわたって、５列〜１０列のピクセルでサンプリングすることができる。

好ましくは、曲線は、釣鐘曲線の二次微分であり、特に、図４ｂの例示的な実施形態におけるように、二次微分ガウス関数または二次微分ローレンツ関数である。図４ｂは、シワの輝度プロファイルにおけるそのような関数の当てはめを示す。

二次微分ローレンツ関数は、以下の形態をとる。
ここで、
− ｏは、縦座標軸に沿ったオフセットパラメータであり、
− μは、横座標軸に沿ったオフセットパラメータであり、
− Ａは、関数のピーク振幅であり、
− σは、関数の標準偏差である。

このため、二次微分ローレンツ関数を、シワの複数の輝度プロファイルの各々に対し最小二乗による最小化により当てはめ、それぞれシワの深さおよび幅を表す値Ａおよびσを推測することができる。

それぞれの平均値
および
は、好ましくは、各輝度プロファイルにおける関数の当てはめから得られた値から計算される。

シミの場合の代替的なステップ１３０’の間、外観パラメータは、シミの平均値または中央値から、シミの周囲の肌の平均値または中央値を減算したものとして計算することができる。

次に、サブステップ１４０は、形状特徴および外観特徴を含むベクトルを生成することを含む。上記でシワに関して与えられた例によれば、ベクトルは、以下のような７つのパラメータの組である：

次に、方法は、顔の全てのシワまたは顔の全てのシミをモデル化する、単一の固定長の表現ベクトルを生成するステップ２００を含む。「固定長」とは、顔におけるシワ／シミの数および配置がいかなるものであっても、表現ベクトルが同じ長さを有することを意味する。

以下でより詳細に説明されるように、この固定長表現により、ある母集団において取得される複数の表現ベクトルにわたって主成分分析を行うことが可能になる。

表現ベクトルは、顔ごとにシワまたはシミの構造および配置をモデル化する少なくとも１つの確率密度を含む。好ましくは、各顔は、例えば、額、法令線、顎、頬等のような複数のゾーンに分割される。ゾーンの数は、少なくとも５つとすることができ、以下の例では１５に等しい。別の実施形態において、プロセスは、顔全体にわたって定義される単一のゾーンにわたって行うことができる。

ステップ２００は、ステップ１００の終了時に得られたシワ／シミの形状特徴および外観特徴の同時確率を顔にわたって計算するサブステップ２１０を含む。好ましくは、顔を構成する複数のゾーンの各々について同時確率が計算される。

シワに関して上記で与えられた例において、１つのシワを表すベクトルは７つのパラメータを有し、このため、同時確率はＰ（ｄ_１，．．．ｄ_７）であり、ここで、ｄ_ｉ，ｉ＝１．．７は、１つのシワを表すベクトルのｉ番目の変数である。

そのような同時確率は、次元に起因して、大きなメモリフットプリントを有する可能性がある。この問題を回避するために、好ましい実施形態によれば、前記同時確率は、一度に２つ取得される全ての確率変数について、全ての同時確率を計算することによって近似される。したがって、Ｐ（ｄ_１，．．．ｄ_７）は、組｛Ｐ（ｄ_１，ｄ_２），Ｐ（ｄ_１，ｄ_３），．．．，Ｐ（ｄ_６，ｄ_７）｝によって近似される。ここで、Ｐ（ｄ_ｉ，ｄ_ｊ）の各々が、現在のゾーンについて特性パラメータｄ_ｉおよびｄ_ｊの分布を記述する。

７つのパラメータを有するベクトルの場合、２１個の同時確率が計算される。計算は、好ましくは、カーネル密度推定（ＫＤＥ）によって行われる。

好ましくは、この計算は、特性（シワまたはシミ）を表すベクトルのパラメータから平均特性が減算されたものに対し行われる。平均特性は、ステップ１００の終了時に得られたのと同じ構造を有するベクトルであり、そのパラメータは、それぞれ、検討されるゾーンにおいて計算されたベクトルのパラメータの平均値である。

１人の人物の眉間のシワに対応する顔の１つのゾーンについて計算される組の同時確率のいくつかの例が図５に示される。これは、組の２１個の同時確率のうちの１０個を含む。

次に、方法は、顔のゾーンの各々について、以下を含むベクトルを構築するサブステップ２２０を含む。
− ゾーンのシワまたはシミの数、
− ゾーンの平均のシワまたはシミ、および、
− シワまたはシミから平均のシワ（シミ）が減算されたものに対し計算された２１個の同時確率。

同時確率をベクトルに変換するために、例えば、顔のゾーンの行ごとに、同時確率の値を前の行の末尾のベクトルに付加することができる。

最後に、ゾーンごとに構築されたベクトルが連結され、顔のシワまたはシミの表現ベクトルが作成される。

表現ベクトルから、１組のシワまたは１組のシミを再構成するために、この方法を反転することができることを強調することが重要である。ここで、前記表現ベクトルから年齢に関係した特性を再構成する方法３００を、図６ａ〜図６ｅを参照して説明する。

以下のプロセスは、ゾーンのシワまたはシミの数に到達するまで反復的に行われる。

第１のステップ３１０は、同時確率Ｐ（ｄ_ｉ，ｄ_ｊ）のうちの１つのピークを検出し、ピークの対応する値でベクトルを開始することを含む。シワの再構成に関する特定の例によれば、ピークは、好ましくは、シワの中心の座標の同時確率Ｃ_ｘ、Ｃ_ｙについて検出することができる。図６ａに示す例では、Ｃ_ｘ＝３９、Ｃ_ｙ＝４１であり、開始されたベクトルは、（３９，４１，０，０，０，０，０）である。これは、再構成されたシワが、Ｃ_ｘ＝３９およびＣ_ｙ＝４１を有することを意味する。

次のステップ３２０は、第３のパラメータｄを決定することを含み、この値は、２つの第１のパラメータおよび第３のパラメータの間の同時確率の各々を最大化する。前の例では、このステップは、同時確率Ｐ（ｃ_ｘ＝３９，ｄ）およびＰ（ｃ_ｙ＝４１，ｄ）を最大化することに関する。

図６ｂおよび図６ｃに与えられる例によれば、第３のパラメータｄは、シワの長さｌである。図６ｃにおいて、１−Ｄ密度Ｐ（ｃ_ｘ＝３９，ｌ）およびＰ（ｃ_ｙ＝４１，ｌ）が抽出され、要素ごとの最小化演算に前記１−Ｄ密度が適用され、第３の曲線が得られる。ｌの値が、最大の確率を有する座標として、ａｒｇｍａｘ（ｍｉｎ（Ｐ（ｃ_ｘ＝３９，ｌ），Ｐ（ｃ_ｙ＝４１，ｌ）））として選択される。図に示される例によれば、ｌ＝１である。

図６ｄおよび図６ｅに示されるように、次に、このステップは、第４のパラメータｄ’を得るために反復される（なお、図５、６ｄ〜６ｅに記載の「ａ」は、「α」のことである）。図において、第４のパラメータはαとして選択される。１−Ｄ密度Ｐ（ｃ_ｘ＝３９，α）、Ｐ（ｃ_ｙ＝４１，α）、Ｐ（ｌ＝１，α）が抽出され、曲線が、要素ごとの最小演算の結果として生成され、αの値がこの曲線の最大値として選択される。
α＝ａｒｇｍａｘ（ｍｉｎ（Ｐ（ｃ_ｘ＝３９，α）、Ｐ（ｃ_ｙ＝４１，α）、Ｐ（ｌ＝１，α）））．

このステップは、シワの全てのパラメータを得るまで反復される。

全てのパラメータが得られると、これらは平均特性のパラメータに合算され、再構成される特性を特徴付けるパラメータが得られる。

特性は、形状パラメータおよび外観パラメータから簡単に生成することができる。シワについて与えられた前の例によれば、形状は、所望の長さｌに達するまで、曲率によって定義された多項式をサンプリングすることによって、形状パラメータ（ｃ_ｘ，ｃ_ｙ，ｌ，α，Ｃ）から作成され、この形状を構成する点が角度αに従って回転され、形状が中心ｃ_ｘ，ｃ_ｙに中心合わせされる。外観は、空の画像を作成し、各列に、パラメータ（Ａ，σ）の二次微分ローレンツ関数に従って変動プロファイルの影響を与えることによって生成される。

最後に、外観が新たに作成された形状にワープされる。

人物の年齢をモデル化する方法
図２を参照して、ここで、人物の年齢をモデル化する方法が説明される。

この方法４００は、基準母集団を形成する複数の個人の顔の画像を処理して顔モデルを推測すること（４１０）を含む。

各画像の処理４１１は、以下を含むことができる。
− 以後「形状モデル化ベクトル」と呼ばれる、顔の形状パラメータをモデル化するベクトルを抽出すること、
− 以後「外観モデル化ベクトル」と呼ばれる、顔の外観パラメータをモデル化するベクトルを抽出すること、
− 上記で説明した方法に従って、以後「シワモデル化ベクトル」と呼ばれる、顔のシワをモデル化するベクトルを抽出すること、および／または、
− 上記で説明した方法に従って、以後「シミモデル化ベクトル」と呼ばれる、顔のシミをモデル化するベクトルを抽出すること。

本発明の好ましい実施形態によれば、形状パラメータおよび外観パラメータの抽出は、上記で引用したCootes他の公表文献において詳述されているアクティブ外観モデルに従って行われる。G. J. Edwards、A. Lanitis、C. J. TaylorおよびT. F. Cootes "Statistical Face Models : Improved Specificity” Image and Vision Computing, Vol. 16, no 3, 203-211頁, 1998による論文に開示されている顔モデル等の他の顔モデルが用いられてもよい。

したがって、基準母集団について、形状モデル化ベクトルの組、外観モデル化ベクトルの組、およびシワモデル化ベクトルおよび／またはシミモデル化ベクトルの組が得られる。

処理は、ベクトルの各組に対しそれぞれ主成分分析（ＰＣＡ）を行い（４１２）、前の各ＰＣＡの結果に対し最終的なＰＣＡを行って（４１３）、基準母集団の平均的な顔に対する形状、外観およびシワにおける顔の変動をモデル化する空間を生成することを含む。

したがって、これに従って各画像が処理される結果として、生成された空間において重みのベクトルＷ_ｉが得られる。

次に、ステップ４２０の間に、基準母集団の重み行列Ｗが、画像が撮られた人物の年齢または見た目年齢に対し関係付けられる。

次に、空間への画像の射影のＰＣＡ重みＷと、基準母集団の年齢または見た目年齢Ａとの間で回帰が行われる。好ましくは、最良の結果を得るために三次多項式回帰が行われる。
ｆ（Ｗ）＝Ｋ^ＴＷ^３＋Ｌ^ＴＷ^２＋Ｍ^ＴＷ＋Ｎ＝Ａ
ここで、Ｋ、Ｌ、ＭおよびＮは、回帰関数ｆのパラメータの行列である。好ましくは、回帰は、線形最小二乗回帰によって行われる。

次に、基準母集団の顔は、ステップ４３０中に以下によってより年齢が高くまたは低く見えるようにすることができる。
− 顔に対応し、人物の年齢または見た目年齢に対応する重みＷ_{ｃｕｒｒｅｎｔ}を選択する、
− 回帰関数を用いて、ｙ歳（ｙは、加齢または若返りをシミュレートするために、正または負であり得る）の年齢変動を有する同じ顔に対応する重みＷ_ｎｅｗをシミュレートする。前記重みは、以下の定式により計算される。
Ｗ_ｎｅｗ＝Ｗ_{ｃｕｒｒｅｎｔ}＋（ｆ^−１（ａ＋ｙ）−ｆ^−１（ａ））
ここで、ｆ^−１（ａ）は、複数の異なる顔が同じ年齢に一致し得ると仮定して、年齢ａに対応する平均ＰＣＡ重みＷ_{ｍｅａｎ，ａ}として計算される。ｆ−１（ａ）を得るために、以下を含むモンテカルロシミュレーションが行われる。
− 複数の重みＷの生成、
− ｆ（Ｗ）を計算することによる対応する年齢（または見た目年齢）の特定、
− 所与の年齢ａについて、ｆ^−１（ａ）が、ｆ（Ｗ_ａ）＝ａであるような生成された重みＷからの全ての重みＷ_ａの平均であるルックアップテーブルを作成する。

重みＷ_ｎｅｗが得られると、この重みに対応する顔を、主成分分析の逆によって得ることができる。

したがって、年齢の増減をシミュレートすることが可能である。例が図７に与えられている。図７は、中央に、顔の元の画像を示し、左側に、２０歳若返った顔の再構成された画像を示し、右側に、２０歳加齢した顔の再構成された画像を示す。

この例では、基準データベースは、無表情で同じ照明条件下で正面の姿勢で撮影された４００人の白人女性で構成された。形状、外観およびシワをモデル化するベクトルが各顔から抽出され、上記の方法に従ってＰＣＡが実行された。ＰＣＡ重みが見た目年齢に対し回帰され、見た目年齢は、３０個の未知の（uninformed）レートでレーティングされ、平均見た目年齢が得られた。データセット内の見た目年齢は、４９歳〜８５歳の範囲に及び、平均は６９歳であった。

図７から見て取ることができるように、シミュレートされた加齢は、顔の形状に影響を及ぼす。口、目および眉毛の大きさは小さくなる傾向にあり、顔のたるみが顎の下端に現れる。また、シミュレートされた加齢は、顔の外観にも影響を及ぼす。顔は全体的により白く、黄色がかるようになり、眉毛およびまつげは見えにくくなり、口は赤みがなくなる。最終的に、シミュレートされた加齢は、シワに影響を及ぼす。なぜなら、より多くのシワが現れ、既存のシワがより深く、広くかつ長くなるためである。

好ましくは、より関連度が高く精密なシミュレーションを得るために、回帰関数が構築される基準母集団は、民族性、地理的ロケーションおよび／または性別に従って選択することができる。

更に、１人の人物の加齢をシミュレートするために用いられる回帰関数を、別のライフスタイル、性別、民族性または地理的ロケーションを有する別の基準母集団の回帰から得て、加齢に対するその影響をシミュレートすることもできる。

例えば、基準母集団は、類似のアルコールまたはタバコ消費、栄養、日光への露出、スキンケア製品の使用等に基づいて精巧に作ることができる。

次に、基準母集団の各々について回帰関数を計算することができ、顔の加齢に対する様々なライフスタイルの影響を比較するために、同じ顔に対し様々な回帰を用いて加齢シミュレーションを行うことができる。

この比較は、スキンケア製品または日焼け止め製品の使用の視覚的手がかりに対する影響を、そのような製品を使用しない場合と比較してシミュレートするために行うこともできる。

更に別の例によれば、それぞれの地理的ロケーションについてプロットされた異なる回帰関数の同じ顔に対する影響を比較することによって、加齢に対する環境要因の影響を研究することができる。

１ 画像処理ユニット
１０ メモリ
１１ 計算機
１２ カメラ
１３ ストレージデバイス
１５ 専用インタフェース

Claims (15)

1. 顔の画像から、顔の年齢に関係した特性をモデル化する方法であって、該モデル化された年齢に関係した特性はシワまたはシミのいずれかであり、前記方法は、
   − 前記顔の年齢に関係した特性ごとに、前記年齢に関係した特性の形状および外観のパラメータを含むベクトルを生成するステップ（１００）と、
   − 前記生成されたベクトルから、前記顔の前記年齢に関係した特性をモデル化する単一の表現ベクトルを生成するステップ（２００）と
   を含み、
   前記単一の表現ベクトルは、前記顔における前記年齢に関係した特性の数、および前記顔にわたって計算された前記年齢に関係した特性の前記形状および外観のパラメータの同時確率を記憶する、前記方法。
2. 前記年齢に関係した特性の形状および外観のパラメータを含むベクトルを生成する前記ステップ（１００）は、
   − 前記年齢に関係した特性の複数の点の座標を取得するステップ（１１０）と、
   − 前記座標を処理して前記年齢に関係した特性の形状パラメータを推測するステップ（１２０）と
   を含む、請求項１に記載の方法。
3. 前記年齢に関係した特性はシワであり、前記方法は、各シワの少なくとも５つの点の座標の取得を含み、前記点は、前記シワにわたって規則的に間隔をあけられ、前記シワの各端部に少なくとも１つの点を含む、請求項２に記載の方法。
4. シワの前記形状のパラメータは、
   − 前記シワの中心の座標と、
   − 前記シワの長さと、
   − 基準軸に対する前記シワの角度と、
   − 前記シワの曲率と
   を含む、請求項１または２に記載の方法。
5. シワの前記外観のパラメータは、前記シワの厚さσおよび深さＡを含み、前記画像を処理してこれらのパラメータを抽出するステップ（１３０）は、シワごとに、
   − 前記シワを含む前記画像の一部をハイパスフィルタリングするステップと、
   − 各シワを共通形状にワープするステップと、
   − 前記ワープされたシワの複数の横方向プロファイルにおいて曲線を当てはめ、プロファイルごとに、前記当てはめられた曲線の最大振幅値および幅値を抽出するステップと、
   − 前記複数のプロファイルの各々について抽出された前記最大振幅値および前記幅値からそれぞれＡおよびσを計算するステップと
   を含む、請求項１または２に記載の方法。
6. 前記曲線は二次微分ローレンツ関数である、請求項５に記載の方法。
7. 前記単一の表現ベクトルは、前記顔の前記年齢に関係した特性の平均特徴を更に含む、請求項１〜６のいずれか一項に記載の方法。
8. 前記表現ベクトルを生成するステップ（２００）は、
   − 前記顔における少なくとも１つのゾーンを定義するステップ、および
   − ゾーンごとに、
   前記ゾーンの前記年齢に関係した特性の同時確率を計算し（２１０）、
   前記年齢に関係した特性の前記同時確率、前記ゾーンの年齢に関係した特性の数、および前記ゾーンの前記年齢に関係した特性の平均特徴を含むゾーンベクトルを定義し、
   前記ゾーンベクトルを連結して前記表現ベクトルを得る（２２０）ステップ
   を含む、請求項１〜７のいずれか一項に記載の方法。
9. 前記年齢に関係した特性の前記同時確率は、一度に２つ取得される各年齢に関係した特性を表す前記ベクトルの全ての特徴の同時確率を計算することによって近似される、請求項１〜８のいずれか一項に記載の方法。
10. 人物の年齢をモデル化する方法であって、
    − 基準母集団を形成する複数の個人の顔の画像を処理して（４１１）、画像ごとに、
    請求項１〜９のいずれか一項に記載の方法を実施することによって得られた、シワモデルおよびシミモデルのうちの少なくとも１つ、
    形状モデル、および
    外観モデル
    を抽出するステップと、
    − 複数のシワモデルおよび／またはシミモデル、形状モデル、ならびに外観モデルに対し、それぞれの主成分分析を行い（４１２）、それぞれ、シワおよび／またはシミ、形状、ならびに外観の重みを得るステップと、
    − 前記シワおよび／またはシミ、形状、ならびに外観の重みに対し主成分分析を行い、集約された重みを得るステップ（４１３）と、
    − 関数の当てはめにより、集約された重みと、年齢または見た目年齢との間の関係を推測するステップ（４２０）と
    を含む、前記方法。
11. 前記基準母集団は、
    − 喫煙、
    − 飲酒、
    − 日光への露出、
    − 栄養、
    − スキンケア製品の使用、
    のうちの少なくとも１つに関して類似のライフスタイルを有するものとして選択される、請求項１０に記載の方法。
12. 前記基準母集団は、性別、地理的ロケーション、および民族性に従って選択される、請求項１０または１１に記載の方法。
13. 人物の年齢変動をシミュレートするステップ（４３０）を更に含み、このステップは、
    − 前記人物の前記顔の前記画像に対応するプロットの１つの集約された重みを選択するステップと、
    − 対応する年齢または見た目年齢を特定するステップと、
    − 当てはめられた関数により、前記年齢変動に従って変更される年齢または見た目年齢のための更新された集約重みをシミュレートするステップと、
    − 前記更新された集約重みを処理して、前記年齢変動に対応する前記人物の前記顔の画像を推測するステップと
    を含む、請求項１０〜１２のいずれか一項に記載の方法。
14. プロセッサによって実行されるとき、請求項１〜１３のいずれか一項に記載の方法を実行するための命令を含むコンピュータプログラム製品。
15. 命令を記憶するメモリ（１０）と、前記メモリに記憶された命令を実行するように適合された計算機（１１）とを備える画像処理ユニット（１）であって、
    前記画像処理ユニット（１）は、人物の顔の少なくとも１つの画像を受信し、前記受信した画像に対し、請求項１〜１３のいずれか一項に記載の方法を実施するように構成されている、前記画像処理ユニット（１）。