JP5651385B2 - 顔評価方法 - Google Patents

Description

本発明は、顔画像評価方法、顔評価方法および画像処理装置に関する。

規格化された顔画像を主成分分析して多次元の基底ベクトル（固有ベクトル）とその重み係数（固有係数）を算出する画像演算方法が提案されている。
特許文献１には、被験者の顔画像を主成分分析して得られた重み係数のうち、顔の立体感に関する官能的な評価スコアへの寄与度の高いものの値を変化させて画像を再構成することが記載されている。これにより、ベースメイクを変えた場合の顔の見た目の印象を評価することができる。

特許文献２には、被験者の顔画像を主成分分析して得られた重み係数のうち、見た目年齢への寄与度の高い係数の値を変化させて画像を再構成することが記載されている。これにより、被験者の見た目年齢を変える化粧方法や化粧料を知ることができる。

特開２００８−２７６４０５号公報 特開２００９−２９４９５８号公報

化粧や美容施術の効果を定量化する客観的な指標が望まれている。特許文献１や２の方法は、顔の立体感や見た目年齢を自在に変化させた顔画像を生成するものであるが、化粧や美容施術の仕上がりを定量化するものでは必ずしもない。

本発明は上述のような課題に鑑みてなされたものであり、顔画像に基づいてその顔の美観を客観的に定量化することのできる顔画像評価方法、顔評価方法および画像処理装置を提供するものである。

本発明によれば、規格化された顔画像のテクスチャを主成分分析して複数次の基底ベクトルの重み係数を算出し、低次側の一部の前記重み係数に基づく前記テクスチャの大域的な見た目の印象、または高次側の一部の前記重み係数に基づく前記テクスチャの局所的な見た目の印象、の少なくとも一方を評価する顔画像評価方法が提供される。

本発明によれば、被験者の規格化された顔画像を取得し、規格化された前記顔画像のテクスチャを主成分分析して複数次の基底ベクトルの重み係数を算出し、低次側の一部の前記重み係数に基づく前記テクスチャの大域的な見た目の印象に関する大域パラメータ、または高次側の一部の前記重み係数に基づく前記テクスチャの局所的な見た目の印象に関する局所パラメータの少なくとも一方を算出し、算出された前記大域パラメータまたは前記局所パラメータに基づいて前記顔の視覚的な質感を定量的に評価する顔評価方法が提供される。

本発明によれば、規格化された顔画像のテクスチャを主成分分析して複数次の基底ベクトルの重み係数を算出する主成分分析手段と、低次側または高次側の一部の前記重み係数と、他の顔画像の当該低次側または高次側の一部の重み係数との近接度を算出する固有空間距離算出手段と、を含む画像処理装置が提供される。

ここで、顔画像とは、人間の顔の少なくとも一部を撮像した画像をいう。また、顔画像のテクスチャとは、顔の表面の質感を表す画像パターンをいう。

上記発明において、大域パラメータとは、顔画像のテクスチャの大域的な見た目の印象に関するパラメータである。具体的には、肌のツヤや肌色のグラデーションなど、肌を遠方視した場合の全体的な視覚的傾向を示す指標である。
また、局所パラメータとは、被験者画像のテクスチャの局所的な見た目の印象に関するパラメータである。具体的には、肌のしみなどの色むらや、しわまたは肌荒れなどの微小な凹凸など、肌を接近視した場合の局所的な視覚的傾向を示す指標である。

また、上記の画像処理装置の各種の構成要素は、個々に独立した存在である必要はなく、複数の構成要素が一個の要素として形成されていること、一つの構成要素が複数の要素で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等を許容する。

本発明によれば、顔画像に基づいてその顔の美観を客観的に定量化することのできる顔画像評価方法、顔評価方法および画像処理装置が提供される。

本発明の第一実施形態にかかる顔画像評価方法のフローチャートである。 被験者の顔画像（正面画像）の一例である。 規格化された顔画像である。 平均顔画像である。 第１基底ベクトルを示す図である。 第２７基底ベクトルを示す図である。 第６０基底ベクトルを示す図である。 第９０基底ベクトルを示す図である。 低次ユークリッド距離と化粧のナチュラル度との関係を示す散布図である。 高次ユークリッド距離と化粧のカバー度との関係を示す散布図である。 低次ユークリッド距離と化粧のカバー度との関係を示す散布図である。 高次ユークリッド距離と化粧のナチュラル度との関係を示す散布図である。 評価結果の一例を示す図である。 本発明の第二実施形態にかかる顔評価方法のフローチャートである。 画像処理装置の機能ブロック図である。

＜第一実施形態＞
はじめに、本発明の第一実施形態にかかる顔画像評価方法の概要を説明する。
この顔画像評価方法は、顔画像のテクスチャの見た目の印象を評価する方法に関する。

この方法では、まず、規格化された顔画像のテクスチャを主成分分析して複数次の基底ベクトルの重み係数を算出する。
そして、低次側の一部の重み係数に基づくテクスチャの大域的な見た目の印象、または高次側の一部の重み係数に基づくテクスチャの局所的な見た目の印象、の少なくとも一方を評価する。

以下、本実施形態の顔画像評価方法（以下、本方法）について、図面を参照してより詳細に説明する。図１は、本方法を示すフローチャートである。図２は被験者の顔画像（正面画像）の一例である。図３は、規格化された顔画像である。

本方法は、評価対象とする顔画像のテクスチャの大域的な見た目の印象と局所的な見た目の印象とを、基準となる対比画像との関係で客観的に評価するものである。

より具体的には、本方法は、顔画像取得工程Ｓ１０、顔画像正規化工程Ｓ２０、主成分分析工程Ｓ３０、低次ユークリッド距離算出工程Ｓ４０、高次ユークリッド距離算出工程Ｓ５０および評価工程Ｓ６０を含んでいる。

顔画像取得工程Ｓ１０は、評価対象となる顔画像を取得する工程である。顔画像を取得するにあたっては、デジタルカメラを用いて被験者の顔画像を撮影してもよく、または著名人を含む任意の人物に関する撮影済みの顔画像の画像データを、記憶媒体またはネットワーク経由で取得してもよい。被験者は素顔でもよく、または化粧を施した顔（化粧顔）でもよい。以下、本方法を提供する対象者（被験者）の化粧顔の画像（化粧画像）を用いる場合を例示する。このほか、肌のシミ取りや美白化などの美容施術の前後の被験者の顔画像を用いてもよい。

なお、本発明において素顔とは、化粧顔に用いられている化粧料の少なくとも一部が塗布されていない状態の未化粧顔を意味するものであり、一切の化粧料が塗布されていない素肌状態に限定されるものではない。すなわち、メイク化粧料を塗布した化粧顔を被験者の顔画像に用いる場合、対比画像には、一切の化粧料が塗布されていない素肌の画像を用いてもよく、または下地化粧料のみを塗布した顔の画像を用いてもよい。

顔画像正規化工程Ｓ２０は、取得した顔画像に正規化などの規格化処理を施して、被験者の顔の形状的な特徴（毛髪の生えぎわ、頬または顎などの輪郭、眉、目、鼻など）を捨象した規格化画像を生成する工程である。図３に示す規格化画像は、多数のサンプル画像から予め求められた平均的な顔形状と、被験者の肌に固有のテクスチャと、により構成されている。なお、規格化処理にはモーフィング処理をおこなうことができる。モーフィング処理は、市販の顔画像合成システム（例えば、株式会社国際電気通信基礎研究所、futon）を用いて行うことができる。

なお、被験者の顔画像を取得した後にモーフィング処理により規格化することに限らず、顔画像取得工程Ｓ１０では、予め規格化処理が施された顔画像をネットワーク経由などで取得してもよい。その場合、顔画像正規化工程Ｓ２０は不要である。

主成分分析工程Ｓ３０は、上記で得られた被験者の規格化画像（以下、被験者画像という場合がある）のテクスチャを、多数のサンプル画像に共通な基底ベクトル（固有顔）の線形和に分解する演算工程である。

被験者画像の各画素値は、主成分分析法（ＰＣＡ：principal component analysis）により下式（１）のように分解される。

（数１）
規格化画像（被験者画像）＝平均顔画像＋y₁＊第１基底ベクトル＋y₂＊第２基底ベクトル＋y₃＊第３基底ベクトル＋・・・＋y_k＊第ｋ基底ベクトル・・・＋y_n-1＊第（ｎ−１）基底ベクトル＋y_n＊第ｎ基底ベクトル （１）

図４は平均顔画像である。図５〜図８は、それぞれ第１基底ベクトル、第２７基底ベクトル、第６０基底ベクトル、第９０基底ベクトルを示す図である。

基底ベクトルの係数（y_k）を、重み係数（固有係数）という。ここで、基底ベクトルを求めるための母集団となるサンプル画像を多数用いることにより、規格化されたあらゆる顔画像を、所定の精度で上式（１）に分解することができる。また、平均顔画像と、基底ベクトルおよび重み係数と、を用いて被験者画像を再構成することができる。

サンプル画像は、実在人物の顔画像でもよく、仮想人物の顔画像でもよい。サンプル画像の取得および規格化と基底ベクトルの算出は、本方法による被験画像の評価演算に先だって予めおこなっておく。本方法の場合、５０枚以上、好ましくは９０枚以上のサンプル画像を用いることで、実用的な精度で被験者画像の主成分分析および再構成が可能である。以下、本方法では、９０枚のサンプル画像に基づいて算出された第１から第９０基底までの基底ベクトルを用いて被験者画像の評価をおこなう場合を例示して説明する。

本実施形態で用いる基底ベクトルは、予め規格化された多数のサンプル画像をそれぞれラスタスキャンして得られた共分散行列の固有ベクトル解析により求められ、固有値の大きい順に並べられている。なお、顔画像の形状的な特徴は平均顔画像に含められている。各次の基底ベクトル同士は互いに直交しており、被験者の顔の形状的な特徴が捨象されたテクスチャが基底ベクトルごとに分解される。本方法では、独立成分分析などのその他の成分分析法ではなく主成分分析法をおこなうことにより、顔の部位の影響を除いて、あらゆる被験者の肌のテクスチャを基底ベクトルの線形和で表現することができる。これに対し、たとえば独立成分分析法でヘモグロビン（赤み）成分画像やメラニン（黒み）成分画像を顔画像から抽出した場合、任意の被験者の顔画像を、成分画像の線形和で表現することができない場合がある。独立成分分析法の場合、唇など赤みの強い部位やほくろなど黒みの強い部位など、顔の部位の影響を強く受けるため、テクスチャの成分画像が互いに直交しないためである。

本方法では、基準となる対比画像と被験者画像とを共通の上式（１）で記述することができる。そして、重み係数y_kの値を比較することで対比画像と被験者画像との近接度（または乖離度）を算出することができる。

被験者画像と対比画像との重み係数の近接度を算出する方法は特に限定されない。本実施形態では、顔画像（被験者画像）と対比画像との重み係数のユークリッド距離に基づいて近接度を算出する場合を例示する。

低次ユークリッド距離算出工程Ｓ４０と高次ユークリッド距離算出工程Ｓ５０は、対比画像と被験者画像との近接度を算出する工程である。

ここで、本発明者らの検討により、基底ベクトルのうち低次側（固有値の大きい基底側）の重み係数に基づくことでテクスチャの大域的な見た目の印象が評価でき、高次側（固有値の小さい基底側）の重み係数に基づくことでテクスチャの局所的な見た目の印象が評価できることが明らかとなった。

この点は、図５〜図８を互いに比較することで分かるように、低次側の基底ベクトルは被験者画像およびサンプル画像がより顕著に共通している成分であり、高次側の基底ベクトルは被験者画像およびサンプル画像が僅かに共有している成分であることに起因する。より詳細には、低次側の基底ベクトル（図５を参照）は、被験者の肌を遠方視した場合のような大域的なテクスチャの傾向を表している。これに対し、高次側の基底ベクトル（図７、８を参照）は、被験者の肌を接近視した場合のような局所的なテクスチャの傾向を表している。そして、中間の基底ベクトル（図６を参照）は、低次と高次の境界にあたる。
したがって、低次側の重み係数が一致する度合いである近接度を求めることにより、対比画像と被験者画像の大域的なテクスチャの一致度を知ることができる。そして、高次側の重み係数の近接度を求めることにより、対比画像と被験者画像の局所的なテクスチャの一致度を知ることができる。

以下、化粧料としてファンデーションを用いた場合を例に、具体的に説明する。テクスチャの大域的な見た目の印象としては、肌色や肌の質感が素顔から大きく変化したか否かという化粧仕上がりの自然さ（素肌らしさ）、言い換えると化粧のナチュラル度が挙げられる。一方、テクスチャの局所的な見た目の印象としては、しみ、しわ、肌荒れが隠れるように均一な肌色に塗れたか否かという化粧仕上がりの美しさ、言い換えると化粧のカバー度が挙げられる。化粧のナチュラル度やカバー度は、本来官能的に判断される、相反する心理量であるが、本方法によればこれを数値的に客観化することができる。

図９から図１２は、化粧顔と素顔との低次側および高次側の重み係数のユークリッド距離（以下、低次ユークリッド距離および高次ユークリッド距離）という物理量が、肌の大域的および局所的な質感という心理量と、きわめて高い相関をそれぞれ有していることを示す散布図である。
図９は、低次ユークリッド距離と化粧のナチュラル度との関係を示す散布図である。具体的には、８人の被験者に関して、ファンデーションを塗布した化粧顔と、塗布していない素顔を、それぞれ被験者画像（化粧顔）と対比画像（素顔）とした。そして、被験者ごとに、対比画像（素顔）に対して被験者画像（化粧顔）の化粧仕上がりが自然と感じられるか否か（ナチュラル度の高さ）を２０人の評定者による官能評価値により多段階で判定した。一方、被験者画像と対比画像の低次側の重み係数のユークリッド距離を算出した。同図は、このユークリッド距離（横軸）と、化粧仕上がりの自然さ（縦軸）との関係を示す。縦軸の値が大きいほど、化粧仕上がりが自然でナチュラル度が高いことを意味している。
図１０は、高次ユークリッド距離と化粧のカバー度との関係を示す散布図である。同図は、上記の被験者画像（化粧顔）と対比画像（素顔）との高次側の重み係数のユークリッド距離（横軸）と、化粧仕上がりの粗さ（カバー度の低さ）に関する官能評価値（縦軸）との関係を示している。縦軸の値が大きいほど、化粧仕上がりが粗くカバー度が低いことを意味している。

図９の低次側の重み係数のユークリッド距離ｄ_low(y⁽¹⁾,y⁽²⁾)は、下式（２）に基づいて算出した。y⁽¹⁾は、被験者画像の重み係数であり、y⁽²⁾は対比画像の重み係数である。

一方、図１０の高次側の重み係数のユークリッド距離ｄ_high(y⁽¹⁾,y⁽²⁾)は、下式（３）に基づいて算出した。

ここで、低次と高次の臨界次数（ｋ）は２７とし、最高次数（ｎ）は９０とした。
この結果、図９の相関係数ｒは−０．９２９と、きわめて高い相関が認められた。また、図１０の相関係数ｒは−０．８１０と、こちらもきわめて高い相関が認められた。

すなわち、図９の結果から、低次ユークリッド距離が近接するに従って（横軸＝小）、化粧仕上がりが自然でナチュラル度が高いと評価できた。言い換えると、化粧顔の大域的な見た目の印象であるツヤや肌色のグラデーションが素顔に近くなることが明らかとなった。

また、図１０の結果から、高次ユークリッド距離が近接するに従って（横軸＝小）、化粧仕上がりが粗くてカバー度が低いと評価されることが明らかとなった。言い換えると、高次ユークリッド距離が素顔に近い化粧顔の場合、顔の局所的な見た目の印象である微細な色むらや凹凸が十分に隠されておらず、メイク化粧料としてのファンデーションの機能が十分に発揮されていないと評価されることが明らかとなった。

さらに、図１１と図１２より、上記の傾向はより明らかとなる。図１１は、図９および図１０と同様の８人の被験者画像（化粧顔）とその対比画像（素顔）について、低次ユークリッド距離（横軸）と化粧仕上がりの粗さ（縦軸）との関係を示す散布図である。
図１２は、同様に、高次ユークリッド距離（横軸）と化粧仕上がりの自然さ（縦軸）との関係を示す散布図である。

図１１の相関係数ｒは−０．５２４と、ほぼ相関は認められなかった。つまり、化粧顔と素顔との低次ユークリッド距離は、化粧仕上がりの粗さ（カバー度の低さ）とはほぼ無関係であることが分かった。また、図１２の相関係数ｒは−０．３１０と、こちらもほぼ相関は認められなかった。つまり、化粧顔と素顔との高次ユークリッド距離は、化粧仕上がりの自然さ（ナチュラル度の高さ）とはほぼ無関係であることが分かった。

これらの結果より、被験者画像とその対比画像との低次ユークリッド距離は、被験者画像と対比画像との大域的な見た目の印象の近接度を表し（図９）、かつ被験者画像と対比画像との局所的な見た目の印象の近接度を表すものではない（図１１）といえる。そして、被験者画像とその対比画像との高次ユークリッド距離は、被験者画像と対比画像との局所的な見た目の印象の近接度を表し（図１０）、かつ被験者画像と対比画像との大域的な見た目の印象の近接度を表すものではない（図１２）といえる。

以上より、本方法では、顔画像（被験者画像）と異なる対比画像により、複数次の基底ベクトルのうち低次側の一部の重み係数または高次側の一部の重み係数を算出する。つぎに、顔画像（被験者画像）と対比画像との、低次側の一部の重み係数の近接度または高次側の一部の重み係数の近接度を算出する。そして、算出された近接度に基づいて顔画像（被験者画像）と対比画像との大域的または局所的な見た目の類似度を判定する。

評価工程Ｓ６０は、被験者画像の大域的または局所的な見た目の印象に関する評価値を取得する工程である。具体的には、被験者画像と対比画像との低次ユークリッド距離またはその換算値（大域パラメータ）を、被験者画像の大域的な見た目の印象に関する評価値として取得する。そして、被験者画像と対比画像との高次ユークリッド距離またはその換算値（局所パラメータ）を、被験者画像の局所的な見た目の印象に関する評価値として取得する。

より具体的には、本方法では、顔画像（被験者画像）と対比画像との、低次側の一部の重み係数の近接度と、高次側の一部の重み係数の近接度と、をそれぞれ算出する（低次ユークリッド距離算出工程Ｓ４０、高次ユークリッド距離算出工程Ｓ５０）。そして、評価工程Ｓ６０では、算出されたそれぞれの近接度に基づいて顔画像（被験者画像）と対比画像との大域的および局所的な見た目の類似度を判定する。

本方法は、低次側の所定次数の基底ベクトルの重み係数に基づく評価と、高次側の所定次数の基底ベクトルの重み係数に基づく評価と、をそれぞれおこなうことを特徴とする。本実施形態では、所定の臨界次数（例えば、第２７基底）以下の全次数（第１基底から第２７基底）の重み係数の近接度による第一の評価と、この臨界次数を超える全次数（第２８から第９０基底）の重み係数の近接度による第二の評価と、をおこなう。

すなわち、低次側の一部の重み係数は、第１基底から第ｋ（ｋは１以上の整数）基底までのｋ個の重み係数であり、高次側の一部の重み係数は、第ｋ＋１基底を最低次とする連続する複数個の重み係数である。このように、臨界次数（第ｋ基底）を境界として低次側と高次側の全基底をそれぞれ用いて重み係数を評価することで、被験者画像と対比画像との近接度を高い精度で判定することができる。

第１基底から第ｋ基底までの基底ベクトルの累積寄与率は７０〜９０％が好ましい。この数値範囲であることで、第１から第ｋ基底までの低次ユークリッド距離にかかる大域パラメータによって、被験者画像と対比画像との大域的な見た目の共通性を好適に評価することができる。また、この数値範囲であることで、第ｋ＋１規定以上の高次ユークリッド距離にかかる局所パラメータによって、被験者画像と対比画像との局所的な見た目の共通性を好適に評価することができる。

ここで、累積寄与率（ＡＣＲ：Accumulated Cover Rate）は、下式（４）で求められる。式（４）で、λ_iは第ｉ基底ベクトルの固有値である。そして、累積寄与率が０．７〜０．９、好ましくは０．８となる臨界次数（ｋ）を算出し、ｋ次以下を低次側の基底ベクトルと定め、ｋ＋１次以上を高次側の基底ベクトルと定めるとよい。

図１３は、評価工程Ｓ６０で出力される評価結果の一例を示す図である。
同図は、一人の被験者について、その素顔画像を共通の対比画像とし、ファンデーションをメイク化粧料１から４に変えた場合の化粧画像をそれぞれ被験者画像として、低次ユークリッド距離（横軸）と高次ユークリッド距離（縦軸）との関係をプロットした散布図である。言い換えると、横軸は各化粧料を用いた場合のナチュラル度を表す大域パラメータ、縦軸は同じくカバー度を表す局所パラメータである。

図１３からわかるように、本方法によれば、化粧料を塗布したときの見た目の相反する官能指標といえる素肌感（化粧のナチュラル度）ときれいな塗布（化粧のカバー度）について、大域的な見た目にあたるナチュラル度と、局所的な見た目にあたるカバー度と、のバランスを化粧料ごとに対比することが可能である。そして、例えばナチュラル度が高く素肌感の高い化粧料を求める消費者に対して、ナチュラル度が高いメイク化粧料３と４のうち、さらにカバー度が比較的良好なメイク化粧料３を推奨するなど、消費者のニーズに応じた化粧料を客観的に選定することができる。

本実施形態は種々の変更を許容する。
たとえば、低次側と高次側の重み係数とは、一部が重複してもよい。また、サンプル画像から求められた全次数の基底ベクトルを必ずしも使用しなくてもよい。すなわち、例えば、第２基底から第１０基底までの重み係数に基づく第一の評価と、第８基底から第２０基底までの重み係数に基づく第二の評価と、をおこなってもよい。

さらに、対比画像には種々の画像を用いることができる。本実施形態では被験者画像を被験者の化粧顔の画像とし、対比画像をその素顔画像としたが、本発明はこれに限られない。対比画像には、サンプル画像から求められた平均顔画像（図３）を用いてもよい。すなわち、対比画像は実在人物の顔画像に限られない。このほか、対比画像としては、化粧料や化粧方法（メイク）を変化させた当該被験者の他の化粧画像を用いてもよい。また、官能的に美肌であると評価された美肌モデルの顔画像や、著名人の顔画像を対比画像に用いてもよい。

本方法において、対比画像は、被験者画像と同様に規格化（顔画像正規化工程Ｓ２０）および主成分分析（主成分分析工程Ｓ３０）されて重み係数y⁽²⁾が算出されてもよい。または、対比画像は予め規格化および主成分分析されて、重み係数y⁽²⁾が基底記憶部２４（図１５を参照）に記憶されていてもよい。

また、上式（２）と（３）では、各次の重み係数（y_k）を等しい重率で低次ユークリッド距離と高次ユークリッド距離を算出することを例示したが、本発明はこれに限られない。各次の重み係数（y_k）に所定の係数を乗じたうえで近接度を求めてもよい。

＜第二実施形態＞
本発明の第二実施形態にかかる顔評価方法の概要を説明する。
この顔評価方法は、被験者の顔画像のテクスチャの見た目の印象に関するパラメータに基づいて、被験者の顔の視覚的な質感を評価する方法に関する。

この方法では、被験者の規格化された顔画像を取得する。つぎに、この規格化された顔画像のテクスチャを主成分分析して複数次の基底ベクトルの重み係数を算出する。そして、低次側の一部の重み係数に基づくテクスチャの大域的な見た目の印象に関する大域パラメータ、または高次側の一部の重み係数に基づくテクスチャの局所的な見た目の印象に関する局所パラメータの少なくとも一方を算出する。さらに、算出された大域パラメータまたは局所パラメータに基づいて顔の視覚的な質感を定量的に評価する。

以下、本実施形態の顔評価方法（以下、本方法）について、図面を参照してより詳細に説明する。図１４は本方法を示すフローチャートである。

顔画像取得工程Ｓ１０、顔画像正規化工程Ｓ２０、主成分分析工程Ｓ３０、低次ユークリッド距離算出工程Ｓ４０および高次ユークリッド距離算出工程Ｓ５０は、第一実施形態と共通するため、適宜説明を省略する。

第二実施形態では、被験者の規格化された顔画像（被験者画像）には、化粧を施した顔（化粧顔）の顔画像を撮影して用いる（顔画像取得工程Ｓ１０）。より具体的には、被験者の素顔画像（対比画像）および化粧を施した被験者の化粧画像（被験者画像）を顔画像として用いる。

本方法は、顔画像のテクスチャの大域的または局所的な見た目の印象に関するパラメータに基づいて、被験者の顔を客観的に評価する。また、評価対象とする被験者の顔画像から他の画像を生成して表示出力する点で第一実施形態と相違する。

本実施形態の大域パラメータは、顔画像のテクスチャの大域的な見た目の印象に関するパラメータであり、肌を遠方視した場合の全体的な視覚的傾向が対比画像と近接または乖離している程度を示す指標である。
また、本実施形態の局所パラメータは、被験者画像のテクスチャの局所的な見た目の印象に関するパラメータであり、肌を接近視した場合の局所的な視覚的傾向が対比画像と近接または乖離している程度を示す指標である。

より具体的には、本方法では、主成分分析に供された複数のサンプル画像より算出された平均顔画像と、顔画像の低次側の一部の重み係数と、顔画像の高次側の一部の重み係数に関する補正値と、基底ベクトルと、に基づいて、局所的な見た目の印象を変化させた他の顔画像を再構成する。

言い換えると、本方法では、局所的な見た目の印象に寄与する高次側の基底ベクトルの重み係数を補正して、被験者の仮想的な肌状態を表す画像を生成する。これにより、被験者の大域的な見た目の印象を保持しつつ、肌の局所的なムラや凹凸を変化させた場合の見た目の印象を模擬することができる。本実施形態では、他の顔画像として、化粧の仕上がりの自然さ（ナチュラル度）を保持したまま、仕上がりの粗さ（カバー度の低さ）を改善した理想画像を生成する場合を例示する。

まず、モーフィング処理（顔画像正規化工程Ｓ２０）された被験者画像より、主成分分析により基底ベクトルとその重み係数を算出する。

そして、所定の累積寄与率となる臨界次数以下の低次側の基底ベクトルの重み係数に基づいて、被験者画像と対比画像との低次ユークリッド距離にかかる大域パラメータを算出する（低次ユークリッド距離算出工程Ｓ４０）。
一方、臨界次数を超える高次側の基底ベクトルの重み係数に基づいて、被験者画像と対比画像との高次ユークリッド距離にかかる局所パラメータを算出する（高次ユークリッド距離算出工程Ｓ５０）。

理想画像生成工程Ｓ７０は、被験者画像の高次側の重み係数を補正して、局所的な見た目の印象を変化させた顔画像を生成する。
被験者画像の高次側の重み係数は、種々の観点で補正することができる。

一例として、重み係数の補正値は、顔画像と異なる美肌画像により算出した高次側の一部の重み係数とすることができる。より具体的には、予め官能評価等により美肌であると評価された美肌モデルの顔画像について主成分分析をおこなって重み係数を算出しておく。美肌モデルの重み係数のうち臨界次数を超える高次側の値をもって、被験者画像の重み係数を置換する。これにより、上式（１）に示したように、被験者画像の低次側の重み係数と、美肌モデルの高次側の重み係数と、平均顔画像とを用いて、他の顔画像（理想画像）を再構成することができる。

また、理想画像としては、被験者画像の低次側の重み係数を補正した画像を生成してもよい。すなわち、被験者画像の低次側の重み係数を、素肌画像における低次側の重み係数によって置換してもよい。これにより、被験者画像の大域パラメータのみが変化してナチュラル度を向上した顔画像を得ることができる。

さらに、理想画像としては、被験者画像の低次側と高次側の重み係数をともに補正した画像を生成してもよい。すなわち、被験者画像の低次側の重み係数を、素肌画像における低次側の重み係数によって置換し、さらに高次側の重み係数を、美肌モデルの高次側の重み係数によって置換してもよい。これにより、被験者画像のナチュラル度とカバー度をともに理想化した画像を得ることができる。

図１３に示した第一実施形態の評価結果を参照すると、ナチュラル度とカバー度がともに高い理想画像は、同図の右上に図示した破線の領域に位置する。

生成された理想画像は、ディスプレイ装置などの出力部６０（図１５を参照）により表示出力される（表示出力工程Ｓ８０）。

表示出力工程Ｓ８０では、被験者が自身の化粧を自ら評価することに加え、評価された化粧のナチュラル度とカバー度とに基づいて、化粧料や化粧の施し方等に関するアドバイスを美容専門家から被験者に提供してもよい。

なお、本方法においては、理想画像の生成および表示に加えて、第一実施形態と同様の評価出力をおこなってもよい。

例えば、素顔画像と化粧画像との大域パラメータの近接度に基づいて化粧のナチュラル度を評価するとよい。具体的には、素顔画像と化粧画像との間の大域パラメータが小さいほど、化粧画像はナチュラル度が高いと判断することができる。
一方、素顔画像と化粧画像との局所パラメータの近接度に基づいて化粧のカバー度を評価するとよい。具体的には、素顔画像と化粧画像との間の局所パラメータが小さいほど、化粧画像はカバー度が低いと判断することができる。

また、本方法では、再構成された上記の他の顔画像（理想画像）を対比画像に用いてもよい。これにより、理想的な化粧状態と現在の化粧顔との間の低次ユークリッド距離および高次ユークリッド距離を求めることができる。これにより被験者は、現在の化粧に対して、ナチュラル度またはカバー度のいずれかを変えることで理想的な化粧状態となるかを把握することができる。

また、本方法では、化粧画像として、異なる化粧をそれぞれ施した被験者の複数枚の画像を含んでもよい。そして、化粧のナチュラル度とカバー度を化粧画像ごとにそれぞれ評価するとよい。

異なる化粧としては、化粧料の種類の相違、メイク方法の種類の相違、化粧施術者（メイク専門家または被験者自身）の相違、被験者の現在と過去の化粧技量の相違などを挙げることができる。すなわち、図１３に示したように、複数の被験者画像の大域パラメータと局所パラメータを対比することで、いずれの化粧が理想画像に近いかを知ることができる。

＜画像処理装置＞
図１５は、第一、第二実施形態の顔画像評価方法および顔評価方法（以下、あわせて本方法という）を実現する画像処理装置１００の機能ブロック図である。

同図を参照して、本実施形態の画像処理装置１００を以下に説明する。
画像処理装置１００は、同図に示すように、主成分分析部２０と固有空間距離算出部（距離算出部３０）とを備えている。主成分分析部２０は、規格化された顔画像のテクスチャを主成分分析して複数次の基底ベクトルの重み係数を算出する。距離算出部３０は、低次側または高次側の一部の重み係数と、他の顔画像の当該低次側または高次側の一部の重み係数との近接度を算出する。

以下、本実施形態の画像処理装置１００を具体的に説明する。
画像処理装置１００は、コンピュータプログラムが実装されたコンピュータ装置に、必要に応じて各種デバイスが接続されて構築されている。画像処理装置１００の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与されたデータ処理装置、コンピュータプログラムによりデータ処理装置に実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。

本実施形態の画像処理装置１００は、撮像部１０、規格化部１２、主成分分析部２０、距離算出部３０、設定部４０、累積演算部４２、評価部５０、画像生成部５２、出力部６０を、演算処理手段として備えている。また、画像処理装置１００は、多数のサンプル画像を記憶する画像記憶部２２と、サンプル画像を主成分分析して算出された基底ベクトルを記憶する基底記憶部２４と、を記憶手段として備えている。なお、画像記憶部２２は画像データを記憶する機能を有していればよく、本方法を実施する際に画像記憶部２２にサンプル画像が現に記憶されていることを必ずしも要するものではない。また、基底記憶部２４は基底ベクトルのベクトルデータを記憶する機能を有していればよく、画像処理装置１００を構築した時点においてこれらのデータが現に記憶されていることを必ずしも要するものではない。

撮像部１０は、被験者の顔画像を撮影して顔画像データを取得する手段であり、具体的にはデジタルカメラを用いることができる。規格化部１２は、取得した顔画像データにモーフィング処理などの規格化処理を施して規格化画像を生成する手段である。

主成分分析部２０は、画像記憶部２２に蓄積された多数のサンプル画像、およびバス９０を介して規格化部１２より受け付けた被験者の規格化画像（被験者画像）に対して、それぞれテクスチャの主成分分析をおこなって多次元の基底ベクトルおよびその重み係数を算出する手段である。
より具体的には、主成分分析部２０は、画像記憶部２２に予め蓄積された多数の規格化されたサンプル画像を対象として、そのテクスチャの主成分分析をおこない、サンプル画像の枚数（ｎ枚）と同数の次元の基底ベクトルを抽出する。抽出された基底ベクトルは基底記憶部２４に記憶される。また、主成分分析部２０は、サンプル画像の平均顔画像を算出する。

さらに、画像記憶部２２には、被験者画像との評価の基準となる対比画像が記憶されている。対比画像は、被験者画像と前後して撮像部１０で撮影されて規格化部１２で規格化された他の画像でもよく、ネットワーク等を経由して画像記憶部２２に格納された画像でもよい。対比画像としては、被験者と同一人物または被験者と異なる人物の画像を用いるほか、主成分分析部２０で生成された平均顔画像など実在しない人物の画像を用いてもよい。被験者と同一人物の画像を対比画像に用いる場合、被験者画像に対し、化粧の有無を相違させた画像のほか、化粧料の種類、メイクの種類または化粧施術者の技量を相違させた画像を用いてもよい。被験者と異なる人物の画像を対比画像に用いる場合、著名人の顔画像や美肌モデルの顔画像、または被験者と同性で年齢の異なる人物の顔画像を用いてもよい。

つぎに、主成分分析部２０は、被験者画像と対比画像を主成分分析し、多次元（ｎ次元）の基底ベクトルおよびその重み係数の線形和に分解する。ここで、対比画像の主成分分析は、被験者画像の取得に先だって予めおこなってもよい。または、画像処理装置１００は、被験者画像の主成分分析の後に対比画像を取得して、これを主成分分析部２０で主成分分析してもよい。
なお、基底記憶部２４は、主成分分析部２０により算出された被験者画像と対比画像の重み係数を記憶しておく。

距離算出部３０は、被験者画像と対比画像との重み係数の近接度を算出する手段である。距離算出部３０は、多次元の重み係数のうち、臨界次数（ｋ）を境界とする低次側と高次側のそれぞれについて被験者画像と対比画像との重み係数の近接度を算出する。

より具体的には、距離算出部３０は、顔画像（被験者画像）と他の顔画像（対比画像）との、第１基底から第ｋ（ｋは１以上の整数）基底までのｋ個の重み係数の近接度と、第ｋ＋１基底を最低次とする連続する複数個の重み係数の近接度とをともに算出する。

臨界次数（ｋ）は距離算出部３０に予め設定しておいてもよい。
また、本実施形態の画像処理装置１００は、累積寄与率の設定を受け付ける設定部４０と、受け付けた累積設定値に基づいて臨界次数（ｋ）を算出する累積演算部４２を備えている。より具体的には、累積演算部４２は、上式（４）で算出される累積寄与率が設定部４０で受け付けた１未満（例えば０．８）の累積設定値を超える最低次数（ｋ）を、臨界次数として算出する。

すなわち、本実施形態の距離算出部３０は、第１基底からの基底ベクトルの累積寄与率が予め設定された累積設定値を超えることとなる最低次数を算出し、かつ算出された最低次数を低次側と高次側との臨界次数とする。

距離算出部３０は、被験者画像と対比画像との間の、第１〜第ｋ基底の低次ユークリッド距離と、第ｋ＋１〜第ｎ基底の高次ユークリッド距離と、をそれぞれ算出する。

評価部５０は、低次ユークリッド距離に基づく大域パラメータと、高次ユークリッド距離に基づく局所パラメータを、被験者画像の評価結果として算出する。一例として、被験者画像を化粧画像、対比画像を素顔画像とした場合において、大域パラメータとしては、低次ユークリッド距離と負の相関のあるナチュラル度を挙げることができる。同様に、局所パラメータとしては、高次ユークリッド距離と正の相関のあるカバー度を挙げることができる。

このほか、被験者画像を素肌画像、対比画像を他人（例えば著名人）の素肌画像とした場合において、大域パラメータとしては、低次ユークリッド距離と負の相関のある、肌の全体的な傾向の一致度を挙げることができる。肌の全体的な傾向としては、肌のツヤや、肌色のグラデーションが例示される。同様に、局所パラメータとしては、高次ユークリッド距離と負の相関のある、肌の局所的な傾向の一致度を挙げることができる。肌の局所的な傾向としては、肌のしみなど色むらや、しわまたは肌荒れなどの微小な凹凸が例示される。
言い換えると、この場合、被験者と当該他人の肌の全体的な傾向と局所的な傾向のそれぞれの一致度が評価部５０で算出される。このため、被験者は、当該他人（例えば著名人）に近い化粧顔を実現するにあたり、肌のツヤなどの全体的な傾向を変える必要があるのか、または色むらなどの局所的な傾向を変える必要があるのかを把握することができる。

また、本実施形態の画像処理装置１００は、被験者の理想的な化粧状態を示す理想画像を生成する画像生成部５２を備えている。
理想的な化粧状態は種々が存在するが、一例として、被験者と異なる美肌モデルの顔画像（美肌画像）のテクスチャより算出した高次側の重み係数により被験者画像を補正するとよい。具体的には、画像記憶部２２に記憶された美肌画像を主成分分析部２０で主成分分析して求められた重み係数のうち、累積演算部４２で算出された臨界次数（ｋ）を超える高次側の値を補正値として、被験者画像の当該重み係数の値を変更する。これにより、被験者画像のナチュラル度を維持したまま、局所的なテクスチャを美肌モデルに近似させてカバー度を向上した画像を得ることができる。

画像生成部５２が生成した理想画像は、ディスプレイ装置などの出力部６０で表示出力されて被験者の目視に供される。出力部６０では、被験者画像（化粧画像）や対比画像（素顔画像）をあわせて表示してもよい。これにより被験者は、被験者画像（化粧顔）と、理想的な化粧状態である理想画像とを対比することで、自らの化粧の巧拙や化粧料の選択の適否を判断することができる。

１０ 撮像部
１２ 規格化部
２０ 主成分分析部
２２ 画像記憶部
２４ 基底記憶部
３０ 距離算出部
４０ 設定部
４２ 累積演算部
５０ 評価部
５２ 画像生成部
６０ 出力部
９０ バス
１００ 画像処理装置

Claims (4)

1. 被験者の規格化された素顔画像及び化粧を施した被験者の規格化された化粧画像を取得し、
   規格化された前記素顔画像及び前記化粧画像のテクスチャをそれぞれ主成分分析して複数次の基底ベクトルの重み係数をそれぞれ算出し、
   低次側の一部の前記重み係数に基づく前記素顔画像及び前記化粧画像のテクスチャの大域的な見た目の印象に関する大域パラメータ、及び、高次側の一部の前記重み係数に基づく前記素顔画像及び前記化粧画像のテクスチャの局所的な見た目の印象に関する局所パラメータを算出し、
   前記素顔画像と前記化粧画像との前記大域パラメータの近接度に基づいて前記化粧のナチュラル度を評価し、
   前記素顔画像と前記化粧画像との前記局所パラメータの近接度に基づいて前記化粧のカバー度を評価する、
   顔評価方法。
2. 前記化粧画像が、異なる化粧をそれぞれ施した前記被験者の複数枚の画像を含む請求項１に記載の顔評価方法。
3. 前記化粧のナチュラル度とカバー度を前記化粧画像ごとにそれぞれ評価する請求項２に記載の顔評価方法。
4. 評価された前記化粧のナチュラル度とカバー度とに基づいて、前記化粧に関するアドバイスを前記被験者に提供する請求項１から３のいずれか一項に記載の顔評価方法。