JP6008698B2 - 顔画像分析装置及び顔画像分析方法 - Google Patents

顔画像分析装置及び顔画像分析方法 Download PDF

Info

Publication number
JP6008698B2
JP6008698B2 JP2012244698A JP2012244698A JP6008698B2 JP 6008698 B2 JP6008698 B2 JP 6008698B2 JP 2012244698 A JP2012244698 A JP 2012244698A JP 2012244698 A JP2012244698 A JP 2012244698A JP 6008698 B2 JP6008698 B2 JP 6008698B2
Authority
JP
Japan
Prior art keywords
component
face image
cumulative
dark
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012244698A
Other languages
English (en)
Other versions
JP2014093043A (ja
Inventor
崇訓 五十嵐
崇訓 五十嵐
延偉 陳
延偉 陳
順二 守口
順二 守口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kao Corp
Original Assignee
Kao Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kao Corp filed Critical Kao Corp
Priority to JP2012244698A priority Critical patent/JP6008698B2/ja
Publication of JP2014093043A publication Critical patent/JP2014093043A/ja
Application granted granted Critical
Publication of JP6008698B2 publication Critical patent/JP6008698B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、顔画像の分析技術に関する。
画像解析技術等を用いて肌の特定部位を測定し、その測定結果に基づいて透明感やつや等といった肌の質感を客観的に定量化する様々な手法が提案されている。
下記特許文献1では、皮膚表面にP偏光及びS偏光を入射させ、その反射光の反射率を算出することにより、皮膚の透明感を評価する手法が提案されている。下記特許文献2及び3では、肌の測定対象部位の輝度を測定することにより得られるヒストグラムの形状に基づいて肌の状態や化粧崩れの度合いを評価する手法が提案されている。下記特許文献4では、肌画像データに対して多重解像度解析等を施すことによりその肌の物理的な光沢度及び肌表面の見かけの粗さに相当する値を取得し、肌のつや状態を評価する手法が提案されている。
下記特許文献5及び6では、顔画像に着目した技術が提案されている。具体的には、下記特許文献5では、顔画像に着目し、所定形状の顔型の顔画像において立体感が異なる合成顔画像を作成する方法が提案されている。上記特許文献6では、規格化された顔画像のテクスチャを主成分分析して複数次の基底ベクトルの重み係数を算出し、低次側の重み係数に基づいて大域的な見た目の印象を評価し、高次側の重み係数に基づいて局所的な見た目の印象を評価する手法が提案されている。
特開2004−215991号公報 特開2009−134372号公報 特開2009−131336号公報 特開2004−166801号公報 特開2008−276405号公報 特開2012−8617号公報
しかしながら、上述の特許文献1から4で提案される各手法は、肌の部分情報を用いているため、各被験者の顔全体の見た目の質感を正確に定量化できていない可能性がある。見た目の質感は、皮膚の凹凸、色むら等、様々な因子を総合的に評価することにより得られるからである。目視による顔全体の質感評価は、顔全体と部分的な肌との両方から得られる情報に寄与すると考えられる。また、特許文献5及び6は、透明感といった顔の質感の評価を提案しているわけではない。
本発明は、上述のような点を考慮してなされたものであり、顔画像に基づいて顔全体の質感を高精度に定量化する技術を提供する。
本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。
第1の態様に係る顔画像分析装置は、形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、当該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得するサンプル取得手段と、形状が規格化された分析対象顔画像を主成分分析することにより、当該分析対象顔画像のための各基底関数の基底係数をそれぞれ算出する主成分分析手段と、主成分分析手段により算出される各基底係数及びサンプル取得手段により取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成する再構成手段と、隣接する累積寄与率のペアに関し再構成手段により生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、上記隣接する累積寄与率の各ペアについてそれぞれ生成する差分算出手段と、明差分画像及び暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、上記隣接する累積寄与率の各ペアについてそれぞれ算出する代表値算出手段と、上記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、上記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する累積値算出手段と、を有する。
第2の態様に係る顔画像分析方法は、少なくとも1つのコンピュータが、形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、当該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得し、分析対象顔画像の形状を規格化し、形状が規格化された分析対象顔画像を主成分分析することにより、当該分析対象顔画像のための各基底関数の基底係数をそれぞれ算出し、算出される各基底係数及び取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成し、当該隣接する累積寄与率のペアに関し生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、上記隣接する累積寄与率の各ペアについてそれぞれ生成し、明差分画像及び暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、上記隣接する累積寄与率の各ペアについてそれぞれ算出し、上記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、上記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する、ことを含む。
なお、本発明の別態様としては、上記第1態様に係る各構成をコンピュータに実現させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
上記各態様によれば、顔画像に基づいて顔全体の質感を高精度に定量化する技術を提供することができる。尚、高精度に定量化とは、従来に比べ、人、好ましくは専門パネラの官能評価に近似する内容を客観的に示す値を得ることを意味する。
主成分分析により得られる、平均顔画像と各固有顔画像との線形和を概念的に示す図である。 各再現顔画像の生成例を概念的に示す図である。 明差分画像及び暗差分画像の生成例を概念的に示す図である。 明成分累積値の算出例を概念的に示す図である。 第1実施形態における顔画像分析装置のハードウェア構成例を概念的に示す図である。 第1実施形態における顔画像分析装置の処理構成例を概念的に示す図である。 分析対象顔画像に関する明成分グラフの例を示す図である。 分析対象顔画像に関する暗成分グラフの例を示す図である。 基準顔画像及び分析対象顔画像に関する明成分グラフの例を示す図である。 基準顔画像及び分析対象顔画像に関する暗成分グラフの例を示す図である。 第1実施形態における顔画像分析装置の動作例を示すフローチャートである。 第2実施形態における顔画像分析装置の処理構成例を概念的に示す図である。 明成分差分グラフの例を示す図である。 暗成分差分グラフの例を示す図である。 比較グラフの例を示す図である。 化粧前顔画像及び化粧後顔画像を分析対象顔画像とする比較グラフの例を示す図である。 5つの透明感顔画像に関する明成分グラフを示す図である。 5つの透明感顔画像に関する暗成分グラフを示す図である。 68%以上98%以下の累積寄与率の範囲における明成分グラフを示す図である。 68%以上98%以下の累積寄与率の範囲における暗成分グラフを示す図である。 代表的な透明感顔画像及び比較対象顔画像に関する明成分グラフを示す図である。 代表的な透明感顔画像及び比較対象顔画像に関する暗成分グラフを示す図である。 各距離が略等しい幅で増加するような距離の組み合わせに対応する16枚の顔画像と、各顔画像に関し算出される原点からの距離とを示す図である。 図17に示される各顔画像に関する明成分累積値の差分及び暗成分累積値の差分と、各顔画像に関する官能評価結果とを示す図である。 図17に示される各顔画像に関し算出される原点からの距離と、各顔画像に関する官能評価結果とを示す図である。 原点からの距離の範囲毎の質感分析結果を示す情報の例を示す図である。
以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。
本実施形態に係る顔画像分析装置は、形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、当該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得するサンプル取得部と、形状が規格化された分析対象顔画像を主成分分析することにより、当該分析対象顔画像のための各基底関数の基底係数をそれぞれ算出する主成分分析部と、主成分分析部により算出される各基底係数及びサンプル取得部により取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成する再構成部と、隣接する累積寄与率のペアに関し再構成部により生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、上記隣接する累積寄与率の各ペアについてそれぞれ生成する差分算出部と、明差分画像及び暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、上記隣接する累積寄与率の各ペアについてそれぞれ算出する代表値算出部と、上記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、上記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する累積値算出部と、を有する。
本実施形態に係る顔画像分析方法は、少なくとも1つのコンピュータが、形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、当該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得し、分析対象顔画像の形状を規格化し、形状が規格化された分析対象顔画像を主成分分析することにより、当該分析対象顔画像のための各基底関数の基底係数をそれぞれ算出し、算出される各基底係数及び取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成し、当該隣接する累積寄与率のペアに関し生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、上記隣接する累積寄与率の各ペアについてそれぞれ生成し、明差分画像及び暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、上記隣接する累積寄与率の各ペアについてそれぞれ算出し、上記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、上記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する、ことを含む。
ここで、形状が規格化された複数のサンプル顔画像は、複数のサンプル顔画像から得られる平均的な顔形状(毛髪の生え際、輪郭、眉、目、鼻等の形状)と、複数のサンプル顔の各々に固有のテクスチャ情報とからそれぞれ形成される。また、形状が規格化された分析対象顔画像は、上記複数のサンプル顔画像から得られる平均的な顔形状と、被験者の顔に固有のテクスチャ情報とから形成される。規格化には、例えば、AFIM(Automatic Facial Image Manipulation system)(下記参考文献1参照)等のモーフィング処理が利用される。
参考文献1:寺田卓馬他、"顔画像の自動モーフィングシステムAFIMによる顔テクスチャの統計解析"、日本顔学会誌、2009年10月5日
形状が規格化された複数のサンプル顔画像の主成分分析(PCA(Principal Component Analysis))によれば、サンプル数に対応するN次元固有ベクトル(Nは顔画像の画素数である)と各N次元固有ベクトルの重み係数とが得られる。N次元固有ベクトルが複数の基底関数と表記され、各重み係数が基底係数と表記される。そして、形状が規格化された分析対象顔画像の主成分分析によれば、形状が規格化された分析対象顔画像が、形状が規格化された複数のサンプル顔画像の平均顔画像情報と当該複数の基底関数との線形和に分解され、その分析対象顔画像に対応する各基底係数がそれぞれ算出される。
上記式は、主成分分析法を示している。xは入力画像、mは平均顔、u,u, ... uは、基底関数(固有ベクトル)であり固有値の大きい順に並ぶ。bは基底係数、v,v,vはそれぞれ画素R,G,Bの値を示す。xが、形状が規格化された複数のサンプル顔画像及び形状が規格化された分析対象顔画像に相当し、mが上記平均顔画像情報に相当する。
主成分分析により得られる線形和では、各基底関数uは、各基底関数に対応して算出される固有値の大きい順に並ぶ。そして、図1に示されるように、低次側の基底は、分析対象顔を遠方視した場合のような大域的なテクスチャの傾向を表し、高次側の基底は、分析対象顔を近接視した場合のような局所的なテクスチャの傾向を表す。なお、各基底関数により表わされる顔画像は固有顔画像とも表記される。図1は、主成分分析により得られる、平均顔画像と各固有顔画像との線形和を概念的に示す図である。なお、以降の顔画像を含む各図面では、個人情報保護の観点から目周辺が黒く塗りつぶされている。これは、本実施形態の処理に関連するものではない。
本実施形態では、主成分分析により得られる情報を用いて、分析対象顔画像に関し、所定精度の各累積寄与率に対応する各再現顔画像がそれぞれ生成される。所定精度とは、再現顔画像を生成するための累積寄与率の刻み幅を意味する。
主成分分析により得られる各基底関数は、対応する固有値が大きい程、それが表現する情報量が大きくなる。即ち、低次の基底ほど、入力画像に対する寄与率が大きくなる。一方で、同じ基底番号の基底であっても、入力画像となる分析対象顔画像のテクスチャに応じて、その基底が示す寄与率が異なる場合がある。従って、上記各再現顔画像を各基底番号に対応して生成するようにした場合、各再現顔画像の再現度合いが、入力画像となる分析対象顔画像毎に異なる可能性がある。
そこで、本実施形態では、分析対象顔画像毎に統一される指標として、上述のような累積寄与率(ACR(Accumulated Cover Rate))が用いられる。累積寄与率は、各基底関数に対応する各固有値を用いて得ることができ、平均顔画像から或る基底までの線形和で得られる再現顔画像の、入力顔画像に対する再現度合を示す。即ち、本実施形態では、各再現顔画像は、平均顔画像から、或る累積寄与率を示す基底までの線形和によりそれぞれ生成される。
図2は、各再現顔画像の生成例を概念的に示す図である。図2の例では、累積寄与率の所定精度(刻み幅)は3%に設定されている。累積寄与率50%は平均顔画像のみによって達成され、累積寄与率100%は全基底の線形和で達成される。
本実施形態では、このように生成される各再現顔画像を用いて、隣接する累積寄与率の各ペアに関し、明差分画像及び暗差分画像の少なくとも一方(明差分画像のみ、暗差分画像のみ、それら両方のいずれか1つ)がそれぞれ生成される。上述のように、各基底関数は、基底番号の小さい順に、大域的なテクスチャの傾向から局所的なテクスチャの傾向をそれぞれ表す。よって、本実施形態によれば、隣接する2つの累積寄与率に対応する2つの再現顔画像間の差分を取ることで、顔全体の質感に与える影響の異なる詳細レベル(大域傾向から局所傾向)毎のテクスチャ情報を区別して取得することができる。大雑把に言えば、詳細レベルが低い大域傾向を形成するテクスチャ情報と、詳細レベルが高い局所傾向を形成するテクスチャ情報とを区別して取得することができる。
また、明差分画像及び暗差分画像は、再現顔画像間の明暗情報の差分により算出されるため、本実施形態によれば、人間の視覚に伴う心理作用としての見え方に影響を与え易い明暗の特徴情報を得ることができる。即ち、当該明暗情報の差分の算出により、平均より明るく視認される成分としてテカリ成分が抽出され、平均より暗く視認される成分として色ムラ成分及び凹凸ムラ成分が抽出される。つまり、明差分画像によれば、テカリ成分を抽出することができ、暗差分画像によれば、色ムラ成分及び凹凸ムラ成分を抽出することができる。当該明暗情報として、例えば、明度情報、輝度情報、RGBのG値などが用いられ得るが、輝度情報が用いられることが望ましい。色ムラ成分とは、毛穴のよごれ、シミ、そばかす等であり、凹凸ムラ成分とは、毛穴やしわ等である。
図3は、明差分画像及び暗差分画像の生成例を概念的に示す図である。図3の例では、累積寄与率の所定精度は3%に設定されており、3%の刻み幅で隣接する2つの累積寄与率に対応する2つの再現顔画像間の差分から、明差分画像及び暗差分画像のペアがそれぞれ生成されている。
本実施形態では、上述のように取得されたテクスチャ情報を数値化するために、明差分画像及び暗差分画像について明成分代表値及び暗成分代表値の少なくとも一方が算出され、更に、これらの累積値として、隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方がそれぞれ算出される。上述のように明差分画像にはテカリ成分が含まれ、暗差分画像には色ムラ成分及び凹凸ムラ成分が含まれるため、明差分画像から得られる明成分代表値は、テカリ成分の強さを示し、暗差分画像から得られる暗成分代表値は、色ムラ成分及び凹凸ムラ成分の強さを示す。ここでの代表値とは、例えば、ヒストグラムの平均値、分散値、標準偏差等の統計値、及び、ヒストグラムの面積である。この代表値については、明成分及び暗成分の大きさを何らかの形で示すものであれば、その具体的形態は制限されない。
図4は、明成分累積値の算出例を概念的に示す図である。図4のグラフでは、隣接する累積寄与率の各ペアについて算出される各明成分累積値は、そのペア内の高い側の累積寄与率上にそれぞれプロットされている。本実施形態によれば、隣接する累積寄与率の各ペアについて算出される明成分累積値及び暗成分累積値の少なくとも一方により、図4の例のようなグラフを生成することができる。なお、暗成分累積値についても、図4と同様に算出される。
このように、本実施形態によれば、顔のテクスチャ特性及び人間の視覚に伴う心理作用が再現された画像処理により、分析対象顔画像の顔全体の質感に与える影響の異なる顔のテクスチャ情報の詳細レベル毎に、テカリ成分に関する指標(明成分代表値)、及び、色ムラ成分及び凹凸ムラ成分に関する指標(暗成分代表値)の少なくとも一方を正確に取得することができる。更に、本実施形態によれば、顔全体の質感に与える影響の異なる詳細レベルの昇順に、テカリ成分に関する指標、及び、色ムラ成分及び凹凸ムラ成分に関する指標の少なくとも一方の各累積値をそれぞれ算出することができる。
例えば、図4によれば、横軸が上記詳細レベルに相当し、縦軸がその詳細レベルにおけるテカリ成分に関する指標に相当するため、明成分累積値の軌跡の形状から、分析対象顔に関し、その顔の質感に影響を及ぼすテカリ状態を評価することができる。同様に、暗成分累積値の軌跡の形状から、分析対象顔に関し色ムラ状態及び凹凸ムラ状態を評価することができる。
このように、本実施形態によれば、隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の少なくとも一方から選ばれる累積値により、分析対象顔画像に写る顔全体の質感を高精度に定量化することができる。明成分累積値と暗成分累積値との両方を用いれば、テカリ成分に関する指標と、色ムラ成分及び凹凸ムラ成分に関する指標との両方を得ることができるため、いずれか一方を使う場合に比べ、より高精度に顔全体の質感を定量化することができる。ここで、顔全体の質感とは、被験者の顔全体を或る人が見た場合に、美肌感、透明感、光沢感、暗さ感、凹凸感から選ばれる顔全体の質感であり、好ましくは、透明感である。被験者の顔の形状以外のテクスチャからその人が受けるであろう感じである。
以下、上述の実施形態について更に詳細を説明する。
[第1実施形態]
〔装置構成〕
図5は、第1実施形態における顔画像分析装置(以降、分析装置とも表記する)10のハードウェア構成例を概念的に示す図である。第1実施形態における分析装置10は、いわゆるコンピュータであり、例えば、バス5で相互に接続される、CPU(Central Processing Unit)2、メモリ3、入出力インタフェース(I/F)4等を有する。メモリ3は、RAM(Random Access Memory)、ROM(Read Only Memory)、ハードディスク、可搬型記憶媒体等である。
入出力I/F4は、入力部7、出力部9、ネットワーク(図示せず)を介して他のコンピュータと通信を行う通信装置等と接続される。入力部7は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。出力部9は、ディスプレイ装置やプリンタ等のようなユーザに情報を提供する装置である。なお、分析装置10のハードウェア構成は制限されない。
図6は、第1実施形態における分析装置10の処理構成例を概念的に示す図である。第1実施形態における分析装置10は、画像取得部11、規格化処理部12、主成分分析部13、サンプルデータ格納部14、再構成部15、差分算出部16、代表値算出部17、累積値算出部18、情報生成部19、基準データ格納部20等を有する。これら各処理部は、例えば、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F4を介してインストールされ、メモリ3に格納されてもよい。
画像取得部11は、被験者の顔が写る分析対象顔画像の画像データを取得する。この画像データは、可搬型記録媒体、他のコンピュータ等から入出力I/F4を経由して取得される。本実施形態では、当該画像データのデータ形式は制限されない。よって、当該画像データは、例えば、JPEG(Joint Photographic Experts Group)形式、GIF(Graphic Interchange Format)形式等のファイルとして取得される。以降、顔画像の画像データを単に顔画像とも表記する。
画像取得部11により取得される顔画像には、被験者の顔全体が写っていればよく、背景や頭部以外の部位が写っていてもよい。また、被験者の顔は素顔でもよく、化粧を施した顔(化粧顔)でもよい。また、当該顔画像は、明暗情報を保持していれば、カラー画像であってもよいし、グレースケール画像であってもよい。
規格化処理部12は、画像取得部11により取得された分析対象顔画像に正規化等の規格化処理を施して、被験者の顔の形状的な特徴を捨象した規格化画像を生成する。即ち、規格化処理部12は、上述したように、形状が規格化された分析対象顔画像を生成する。規格化処理部12以降で扱われる、形状が規格化された分析対象顔画像は、単に、分析対象顔画像と表記される。
サンプルデータ格納部14は、上述の実施形態のサンプル取得部により取得される平均顔画像情報及び複数の基底関数を格納する。平均顔画像情報及び基底関数については上述した通りである。
主成分分析部13は、サンプルデータ格納部14に格納される平均顔画像情報及び複数の基底関数を用いて、規格化処理部12により処理された分析対象顔画像を主成分分析することにより、分析対象顔画像のための各基底関数の基底係数をそれぞれ算出する。主成分分析部13は、上述の実施形態の主成分分析部に相当するため、詳細は上述の通りである。
再構成部15は、主成分分析部13により算出される各基底係数、並びに、サンプルデータ格納部14に格納される複数の基底関数及び平均顔画像情報に基づいて、50%より大きい所定下限値から100%未満の所定上限値までの範囲における所定精度の各累積寄与率に対応する各再現顔画像をそれぞれ生成する。上記所定下限値及び上記所定上限値並びに上記所定精度は、次のような観点で予め決定されメモリ3に格納される。
本発明者らは、50%以上100%以下という累積寄与率の全範囲内に、顔全体の質感に与える影響が特に大きいテクスチャ情報を表す質感寄与範囲とそれ以外のテクスチャ情報を表す範囲とが存在し、その質感寄与範囲が50%以上上記所定下限値未満及び上記所定上限値以上100%以下を含まない範囲であることを明らかにした。これは、顔の全体的印象を決め得るためには、基底次の低い項、即ち、大域的なテクスチャの傾向に着目するという関連技術の常識とは異なる新たな技術的発想であり、本発明者らにより、顔全体の質感に寄与するテクスチャ情報が、顔の全体的印象を決め得る累積寄与率の範囲とは必ずしも一致しない累積寄与率の範囲に存在することが見出された。本実施形態では、上記所定下限値及び上記所定上限値は、顔全体の質感に与える影響が特に大きいテクスチャ情報を表す質感寄与範囲を示すように予め設定される。なお、質感寄与範囲を設定するための上記所定下限値及び上記所定上限値の具体的数値についての考察は実施例の項で説明する。
一方、累積寄与率に関する上記所定精度(刻み幅)については、細か過ぎると、隣接する累積寄与率のペア毎の明暗情報の差が生じなくなり、明差分画像及び暗差分画像から得られるべきテクスチャ情報を取得できなくなる場合がある。一方で、累積寄与率の当該所定精度が粗すぎると、隣接する累積寄与率の各再現顔画像間において、明暗情報の平均値の差が大きくなってしまうため、明差分画像及び暗差分画像に、その明暗情報の平均値のずれの情報が含まれてしまい、取得したいテクスチャ情報を正確に取得できなくなる場合がある。そこで、当該所定精度は、サンプルデータ格納部14に格納される複数の基底関数を得るためのサンプル顔画像の質及びそのサンプル数に応じて、隣接する累積寄与率のペア毎の明暗情報の差が適度に生じ、隣接する累積寄与率の各再現顔画像間の明暗情報の平均値の差が適度に一致するような値に予め設定され、メモリ3に格納される。この累積寄与率に関する所定精度の具体的数値についての考察も実施例の項において説明する。
差分算出部16は、隣接する累積寄与率のペアに関し再構成部15により生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出し、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像を、当該隣接する累積寄与率の各ペアについてそれぞれ生成する。
代表値算出部17は、差分算出部16により生成された明差分画像及び暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値を、上記隣接する累積寄与率の各ペアについてそれぞれ算出する。
累積値算出部18は、代表値算出部17により算出された明成分代表値及び暗成分代表値に基づいて、当該隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値を累積寄与率の昇順にそれぞれ累積し、当該隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値をそれぞれ算出する。ここで算出される明成分累積値及び暗成分累積値は、上記所定下限値から上記所定上限値までの累積寄与率の範囲内の累積値である。
基準データ格納部20は、分析対象顔画像と比較するための基準顔画像に対応する、当該隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の群を格納する。基準データ格納部20に格納される当該基準顔画像に対応する明成分累積値及び暗成分累積値の群は、可搬型記録媒体、他のコンピュータ等から入出力I/F4を経由して取得されてもよいし、分析対象顔画像の代わりに基準顔画像が上述の各処理部で処理されることにより取得されてもよい。
基準顔画像には、顔の質感に関する比較観点に応じた顔の全体が写っていればよく、例えば、専門評価員等の官能評価により透明感があると判定された顔の全体が写る顔画像が当該基準顔画像として選択される。また、当該基準顔画像は、明暗情報を保持していれば、カラー画像であってもよいし、グレースケール画像であってもよい。
情報生成部19は、累積値算出部18により算出された隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値を用いて、次のような明成分グラフ及び暗成分グラフを形成するためのデータを生成する。明成分グラフでは、累積寄与率を示す第1軸と明成分累積値を示す第2軸とを含む座標に、累積値算出部18により算出された、当該隣接する累積寄与率の各ペアについての明成分累積値がプロットされる。暗成分グラフでは、累積寄与率を示す第1軸と暗成分累積値を示す第2軸とを含む座標に、累積値算出部18により算出された、当該隣接する累積寄与率の各ペアについての暗成分累積値がプロットされる。当該グラフを形成するためのデータとは、当該グラフを出力部9に出力するためのデータであり、画面表示用データであってもよいし、印刷用データであってもよいし、画面表示用データ又は印刷用データを持つデータファイルであってもよい。
図7Aは、分析対象顔画像に関する明成分グラフの例を示す図である。図7Bは、分析対象顔画像に関する暗成分グラフの例を示す図である。図7A及び図7Bの例では、上記所定下限値及び上記所定上限値で決められる累積対象とする累積寄与率の範囲は、68%から98%に設定されている。また、図7A及び図7Bの例では、明成分グラフ及び暗成分グラフの基となる明成分代表値及び暗成分代表値に分散値が利用されている。また、図7A及び図7Bに示されるグラフでは、各明成分累積値及び各暗成分累積値は、当該隣接する累積寄与率のペア内の高い側の累積寄与率上にそれぞれプロットされている。
更に、情報生成部19は、基準顔画像に関する、当該隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の群を、基準データ格納部20から抽出し、抽出された明成分累積値及び暗成分累積値の群が分析対象顔画像のそれらに重畳されるように、上記明成分グラフ及び上記暗成分グラフを形成するためのデータを生成するようにしてもよい。この場合、情報生成部19は、基準取得手段に相当する。
図8Aは、基準顔画像及び分析対象顔画像に関する明成分グラフの例を示す図である。図8Bは、基準顔画像及び分析対象顔画像に関する暗成分グラフの例を示す図である。図8A及び図8Bの例においても、上記所定下限値及び上記所定上限値で決められる累積対象とする累積寄与率の範囲は、68%から98%に設定されている。また、図8A及び図8Bの例では、明成分グラフ及び暗成分グラフの基となる明成分代表値及び暗成分代表値に分散値が利用されている。この例における明成分グラフでは、分析対象顔画像に関する、当該隣接する累積寄与率の各ペアについての明成分累積値に、基準顔画像に関するそれが重畳的にプロットされている。同様に、暗成分グラフでは、分析対象顔画像に関する、当該隣接する累積寄与率の各ペアについての暗成分累積値に、基準顔画像に関するそれが重畳的にプロットされている。
情報生成部19は、上述の4タイプの全グラフを形成するためのデータを生成してもよいし、それら全グラフの中のいずれか1つ、又は、いずれか複数のグラフを形成するためのデータを生成してもよい。また、図7A、図7B、図8A及び図8Bの各例では、上記第1軸が横軸に、上記第2軸が縦軸に設定されているが、本実施形態は、明成分グラフ及び暗成分グラフをこのような例に限定しない。
〔動作例〕
以下、第1実施形態における顔画像分析方法について図9を用いて説明する。図9は、第1実施形態における分析装置10の動作例を示すフローチャートである。図9の例では、基準顔画像及び分析対象顔画像に関するデータが重畳されてなる明成分グラフ及び暗成分グラフ(図8A及び図8Bの例参照)を形成するためのデータが生成される例が挙げられている。また、このとき既に、分析装置10が、分析対象顔画像と比較するための基準顔画像に対応する、当該隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の群を保持しているものと仮定する。
分析装置10は、被験者の顔が写る分析対象顔画像を取得する(S91)。
続いて、分析装置10は、その分析対象顔画像に正規化等の規格化処理を施す(S92)。これにより、形状が規格化された分析対象顔画像が生成される。以降の各処理では、この形状が規格化された分析対象顔画像が扱われ、以降、形状が規格化された分析対象顔画像を分析対象顔画像と簡略化して表記する。
分析装置10は、工程(S92)で生成された分析対象顔画像に対して主成分分析を実行する(S93)。この主成分分析では、分析装置10は、形状が規格化された複数のサンプル顔画像の主成分分析により予め取得されていた複数の基底関数を用い、分析対象顔画像のための各基底関数の基底係数をそれぞれ算出する。即ち、形状が規格化された分析対象顔画像が、形状が規格化された複数のサンプル顔画像の平均顔画像情報と当該複数の基底関数との線形和に分解され、その分析対象顔画像に対応する各基底係数がそれぞれ算出される。
続いて、分析装置10は、工程(S93)で算出された各基底係数、並びに、複数のサンプル顔画像の主成分分析により予め算出されていた複数の基底関数及び平均顔画像情報に基づいて、50%より大きい所定下限値から100%未満の所定上限値までの範囲における所定精度の各累積寄与率に対応する各再現顔画像をそれぞれ生成する(S94)。
分析装置10は、隣接する累積寄与率のペアに関し工程(S94)で生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出する。これにより、分析装置10は、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像を、当該隣接する累積寄与率の各ペアについてそれぞれ生成する(S95)。
分析装置10は、工程(S95)で生成された明差分画像及び暗差分画像における各色情報から、明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値を、当該隣接する累積寄与率の各ペアについてそれぞれ算出する(S96)。
続いて、分析装置10は、工程(S96)で算出された、当該隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値を、累積寄与率の昇順にそれぞれ累積し、当該隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値をそれぞれ算出する(S97)。
分析装置10は、基準顔画像に関する、当該隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値と、分析対象顔画像に関する、当該隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値と、が重畳された明成分グラフ及び暗成分グラフを形成するためのデータを生成する(S98)。以降、このデータに基づいて、図7A、図7B、図8A、図8Bの例のようなグラフが出力される。
ここで、基準顔画像に関する、当該隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の群は、上述の工程(S91)から工程(S97)が、分析対象顔画像の代わりに基準顔画像に対して実行されることで、取得されるようにしてもよい。
〔第1実施形態の作用及び効果〕
このように、第1実施形態では、所定下限値から所定上限値までの累積寄与率の範囲における、隣接する累積寄与率の各ペアについて、明成分累積値及び暗成分累積値がそれぞれ算出される。隣接する累積寄与率の或るペアに関する明成分累積値は、上述したように、そのペアより低い累積寄与率の中の隣接する累積寄与率の各ペアに対応する2つの再現顔画像間の明成分情報の各差分が当該累積寄与率の昇順に累積された値である。同様に、隣接する累積寄与率の或るペアに関する暗成分累積値は、上述したように、そのペアより低い累積寄与率の中の隣接する累積寄与率の各ペアに対応する2つの再現顔画像間の暗成分情報の各差分が当該累積寄与率の昇順に累積された値である。更に、明成分累積値及び暗成分累積値が算出される累積寄与率の範囲は、顔全体の質感に与える影響が特に大きいテクスチャ情報を表す範囲に設定されている。
これにより、明成分累積値は、対応するペアの累積寄与率の再現顔画像に含まれる、顔全体の質感に与える影響の大きいテカリ成分の強さを示し、暗成分累積値は、対応するペアの累積寄与率の再現顔画像に含まれる、顔全体の質感に与える影響の大きい色ムラ成分及び凹凸ムラ成分の強さを示す。第1実施形態では、所定精度の各累積寄与率について、明成分累積値及び暗成分累積値がプロットされた、明成分グラフ及び暗成分グラフを形成するためのデータが生成される。
従って、第1実施形態によれば、明成分グラフ及び暗成分グラフにより、顔全体の質感に与える影響の大きい、テカリ成分、色ムラ成分及び凹凸ムラ成分の強さを客観的に定量化することができ、ひいては、被験者の顔全体の質感を高精度に定量化することができる。
また、第1実施形態によれば、各明成分累積値を隣接する累積寄与率のペア毎に表わすことにより、顔全体の質感に与える影響の異なる詳細度レベル(大域傾向から局所傾向)毎のテカリ成分の強さを区別して取得することができる。同様に、各暗成分累積値を隣接する累積寄与率のペア毎に表わすことにより、顔全体の質感に与える影響の異なる詳細度レベル(大域傾向から局所傾向)毎の色ムラ成分及び凹凸ムラ成分の強さを区別して取得することができる。例えば、図7Aの例によれば、所定下限値を含む累積寄与率のペアから所定上限値を含む累積寄与率のペアまで、即ち、大域的なテクスチャから局所的なテクスチャまで、明成分累積値が略均一の上昇幅で推移している。この場合、大域的にも局所的にも顔全体の質感に影響を与えるテカリ成分が存在していると分析することができる。一方、図7Bの例によれば、74%の累積寄与率上にプロットされた暗成分累積値から、80%の累積寄与率上にプロットされた暗成分累積値までの上昇幅が、他の範囲の上昇度に比べて、大きくなっている。この場合、この上昇幅が大きい累積寄与率の範囲で表わされるテクスチャにおいて、色ムラ成分及び凹凸ムラ成分の少なくとも一方が存在していると分析することができる。
更に、第1実施形態では、上述の分析対象顔画像に関するデータに、基準顔画像に関する、当該隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値が重畳された明成分グラフ及び暗成分グラフを形成するためのデータが生成される。従って、第1実施形態によれば、基準顔画像として、官能評価により美肌や透明感のある肌と判定された顔画像を用いることで、その基準顔と被験者の顔との、顔全体から生じる質感の差を客観的に示すことができる。例えば、図8A及び図8Bの例によれば、分析対象の被験者の顔と基準顔との間で、顔全体の質感に或る程度差が存在することが分かる。更に、例えば、図8Aの明成分グラフと図8Bの暗成分グラフとを比較することにより、被験者の顔全体の質感は、テカリ成分よりも、色ムラ成分及び凹凸ムラ成分の少なくとも一方により大きく由来していると分析することもできる。
[第2実施形態]
第2実施形態では、顔画像を分析するための指標として、基準顔画像と分析対象顔画像との間における、明成分累積値の差分及び暗成分累積値の差分が用いられる。以下、第2実施形態における分析装置10について、第1実施形態と異なる内容を中心に説明する。以下の説明では、第1実施形態と同様の内容については適宜省略する。
図10は、第2実施形態における分析装置10の処理構成例を概念的に示す図である。第2実施形態における分析装置10は、第1実施形態の構成に加えて、比較部21及び分析情報生成部22を更に有する。比較部21及び分析情報生成部22は、他の各処理部と同様に、例えば、CPU2によりメモリ3に格納されるプログラムが実行されることにより実現される。
比較部21は、基準データ格納部20から、基準顔画像に関する明成分累積値及び暗成分累積値の群を抽出し、当該隣接する累積寄与率の各ペアについて、基準データ格納部20から抽出される明成分累積値と、累積値算出部18により算出される明成分累積値との差分、及び、基準データ格納部20から取得される暗成分累積値と、累積値算出部18により算出される暗成分累積値との差分をそれぞれ算出する。
情報生成部19は、累積寄与率を示す第1軸と、比較部21により算出される差分を示す第2軸とを含む座標に、比較部21により算出される、当該隣接する累積寄与率の各ペアについての明成分累積値の差分がプロットされた明成分差分グラフ、及び、比較部21により算出された、当該隣接する累積寄与率の各ペアについての暗成分累積値の差分がプロットされた暗成分差分グラフの少なくとも一方を形成するためのデータを生成する。
図11Aは、明成分差分グラフの例を示す図である。図11Bは、暗成分差分グラフの例を示す図である。図11A及び図11Bの例では、上記所定下限値及び上記所定上限値で決められる累積対象とする累積寄与率の範囲は、68%から98%に設定されている。また、図11A及び図11Bの例では、明成分グラフ及び暗成分グラフの基となる明成分代表値及び暗成分代表値に分散値が利用されている。図11A及び図11Bの例によれば、分析対象顔画像Bは、隣接する累積寄与率の各ペアにおいて差分が小さいため、分析対象顔画像Bに写る顔全体の質感は、基準顔画像に写る顔のそれと近いと判定できる。一方で、分析対象顔画像Aは、明成分差分グラフ及び暗成分差分グラフの両方において、差分が生じているため、分析対象顔画像Aに写る顔は、基準顔画像に写る顔よりもテカリ成分、色ムラ成分及び凹凸ムラ成分が多いと判定できる。更に、累積寄与率の上限値を含むペアにおいて、明成分差分グラフよりも暗成分差分グラフのほうが差分が大きいため、分析対象顔画像Aに写る顔は、テカリ成分よりも、色ムラ成分及び凹凸ムラ成分がより多いと判定することもできる。
情報生成部19は、比較部21により算出された明成分累積値に関する差分を示す第1軸と暗成分累積値に関する差分を示す第2軸とを含む座標に、比較部21により算出された、当該隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値に関する差分がプロットされた比較グラフを形成するためのデータを生成するようにしてもよい。
図12は、比較グラフの例を示す図である。図12で示される比較グラフでは、横軸に明成分累積値に関する差分が設定され、縦軸に暗成分累積値に関する差分が設定されている。各プロットは、隣接する累積寄与率の、対応する各ペアをそれぞれ示している。図12に示されるように、当該比較グラフによれば、顔全体の質感が基準顔画像に写る顔に近い場合に、原点付近にプロットが集まり、顔全体の質感が基準顔画像に写る顔から遠い場合に、原点から離れる方向にプロットが置かれる。
分析情報生成部22は、比較部21により算出された明成分累積値及び暗成分累積値に関する各差分のうち、隣接する累積寄与率のいずれか1つのペアについての明成分累積値及び暗成分累積値に関する各差分が示す位置の原点からの距離を算出し、その算出された距離に基づいて、基準顔画像に写る顔を基準とした、分析対象顔画像に写る顔の質感分析情報を生成する。距離の算出対象は、上記所定上限値を含む、隣接する累積寄与率のペアについて算出された明成分累積値の差分及び暗成分累積値の差分とされることが望ましい。図12の例では、丸で囲まれた各プロットの原点(0,0)からの各距離がそれぞれ算出される。分析情報生成部22は、当該距離の範囲毎の質感分析結果を示す情報を予めメモリ3に保持し、この情報を用いて分析対象顔画像に写る顔の質感分析情報を生成する。
〔第2実施形態の作用及び効果〕
第2実施形態では、当該隣接する累積寄与率の各ペアについて、基準顔画像に関する明成分累積値と、分析対象顔画像に関する明成分累積値との差分、及び、基準顔画像に関する暗成分累積値と、分析対象顔画像に関する暗成分累積値との差分がそれぞれ算出される。このように、第2実施形態によれば、基準顔と分析対象顔との間におけるテカリ成分の強さの差、及び、色ムラ成分及び凹凸ムラ成分の強さの差を、大域的傾向から局所的傾向までのテクスチャの各詳細レベルについてそれぞれ定量化することができる。
更に、第2実施形態では、隣接する累積寄与率の各ペアについて明成分累積値の差分がそれぞれプロットされた明成分差分グラフ、及び、隣接する累積寄与率の各ペアについて暗成分累積値の差分がそれぞれプロットされた暗成分差分グラフの少なくとも一方が出力される。明成分差分グラフによれば、顔テクスチャの各詳細レベルにおける、基準顔と分析対象顔との間のテカリ成分に関する差を把握し易くすることができる。
更に、第2実施形態では、明成分累積値の差分及び暗成分累積値の差分が示す位置の原点からの距離に基づいて、基準顔画像に写る顔を基準とした、分析対象顔画像に写る顔の質感分析情報が生成される。これにより、第2実施形態によれば、基準顔画像及び分析対象顔画像を用いることにより、被験者の顔の客観的な質感分析情報を自動生成することができる。例えば、美肌感があると評価された顔が写る画像を基準顔画像とした場合、被験者の顔の美肌感に関する分析情報(美肌への近さ等)が自動生成される。
[補足]
上述の各実施形態では、分析対象顔画像に写る顔を特に制限せず、その顔自体の全体的な質感の定量化が行われたが、分析対象顔画像及び基準顔画像の選定の仕方により、その定量化情報を用いて化粧効果等を評価することもできる。
例えば、画像取得部11が、形状が規格化された化粧前顔画像及び形状が規格化された化粧後顔画像を当該分析対象顔画像として取得する場合、情報生成部19は、明成分グラフ及び暗成分グラフに、化粧前顔画像及び化粧後顔画像に関しそれぞれ算出された明成分累積値及び暗成分累積値が重畳されるように、当該データを生成する。また、情報生成部19は、明成分差分グラフ及び暗成分差分グラフに、化粧前顔画像及び化粧後顔画像に関しそれぞれ算出された明成分累積値の差分及び暗成分累積値の差分が重畳されるように、当該データを生成するようにしてもよい。また、情報生成部19は、比較グラフに、化粧前顔画像及び化粧後顔画像に関しそれぞれ算出された明成分累積値の差分及び暗成分累積値の差分が重畳されるように、当該データを生成するようにしてもよい。なお、画像取得部11は、化粧前顔画像を基準顔画像として取得し、化粧後顔画像を分析対象顔画像として取得するようにしてもよい。
図13は、化粧前顔画像及び化粧後顔画像を分析対象顔画像とする比較グラフの例を示す図である。図13によれば、化粧後顔画像に対応する原点からの距離が、化粧前顔画像に対応する原点からの距離よりも短くなっているため、テカリ成分、ムラ成分及び凹凸ムラ成分がその化粧により十分に消されていると判定できる。この場合、分析情報生成部22は、化粧後顔画像及び化粧前顔画像の各々について原点からの距離を算出し、その算出された距離の差により、化粧後顔画像に写る化粧顔に施された化粧の効果を示す化粧効果情報を質感分析情報として生成するようにしてもよい。
他の例として、画像取得部11が、化粧顔の経時変化を示す、形状が規格化された複数の化粧顔画像を分析対象顔画像として取得してもよい。この場合、情報生成部19により生成されるデータから出力されるグラフにより、所定時間経過前後の各化粧顔画像に関しそれぞれ質感の定量化をすることができる。また、所定時間経過前後の各化粧顔画像に関し、原点からの距離をそれぞれ算出することができる。これにより、その化粧の時間的な崩れ度合い情報が質感分析情報として取得され得る。
他の例として、画像取得部11が、スキンケア化粧料を用いる前のスキンケア前顔画像、及び、スキンケア化粧料を用いた後のスキンケア後顔画像を当該分析対象顔画像として取得するようにしてもよい。これによれば、スキンケア化粧料を用いる前と後との顔の質感を定量化することができ、ひいては、スキンケア化粧料の効果を評価することもできる。
[変形例]
上述の各実施形態では、再構成部15における再現顔画像の生成対象が、上記所定下限値から上記所定上限値までの累積寄与率の範囲に制限されたが、再構成部15は、50%以上100%以下の累積寄与率の全範囲に関し、各再現顔画像をそれぞれ生成するようにしてもよい。この場合、差分算出部16、代表値算出部17、又は、累積値算出部18が、最終的に、上記所定下限値から上記所定上限値までの累積寄与率の範囲に対応する明成分累積値及び暗成分累積値が生成されるように、計算対象とする再現顔画像を制限するようにすればよい。
以下に実施例を挙げ、上述の各実施形態を更に詳細に説明する。本発明は以下の実施例から何ら制限を受けない。以下の実施例では、形状が規格化された複数のサンプル顔画像として、視点、照明及び形状の各条件が統一された277枚の顔画像が用いられ、累積寄与率の所定精度が3%に設定される。
本実施例では、専門評価員が透明感を感じた5つの顔画像(以降、透明感顔画像と表記する)の各々を分析対象顔画像とし、上述の第1実施形態の手法が実施された。図14Aは、5つの透明感顔画像に関する明成分グラフを示す図であり、図14Bは、5つの透明感顔画像に関する暗成分グラフを示す図である。ここで、68%以上98%以下の累積寄与率の範囲に限定して明成分累積値及び暗成分累積値を求めると、図15A及び図15Bのようなグラフが表わされた。
図15Aは、68%以上98%以下の累積寄与率の範囲における明成分グラフを示す図であり、図15Bは、68%以上98%以下の累積寄与率の範囲における暗成分グラフを示す図である。図15A及び図15Bに示されるように、隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値は、68%以上98%以下の累積寄与率の範囲において、各透明感顔画像間で同様の傾向を示している。そこで、本実施例の条件下(サンプル数277、累積寄与率精度3%)では、顔全体の透明感に与える影響が特に大きいテクスチャ情報を持つ質感寄与範囲は、68%以上98%以下の範囲に設定することができる。
なお、本実施例では、累積寄与率の質感寄与範囲として68%以上98%以下の範囲が設定されたが、各透明感顔画像のプロット軌跡が同じような形状を示す範囲をその質感寄与範囲として設定されればよい。よって、図14A及び図14Bの例によれば、質感寄与範囲を示す所定下限値は59%以上68%未満に設定されてもよく、当該質感寄与範囲を示す所定上限値は95%程度に設定されてもよい。更に、累積寄与率の質感寄与範囲として上述の68%以上98%以下の範囲の内側、即ち、所定上限値が68%以上で、所定下限値が98%以下の範囲に設定されてもよい。
ここで、上述の5つの透明感顔画像における明成分累積値及び暗成分累積値を平均することで、代表的な透明感顔画像に関する明成分累積値及び暗成分累積値を算出し、その算出されたデータに対応する顔画像が代表的な透明感顔画像として位置付けられる。本実施例では、この代表的な透明感顔画像と他の顔画像との間の関係が比較された。比較対象として、テカリ成分、色ムラ成分及び凹凸ムラ成分のような透明感の阻害要因を持つ顔の顔画像(図16A及び図16Bでは透明感阻害顔と表記)及び透明感の阻害要因が少なく透明感が感じられる顔の顔画像(図16A及び図16Bでは美肌顔と表記)が用いられた。
図16Aは、代表的な透明感顔画像及び比較対象顔画像に関する明成分グラフを示す図であり、図16Bは、代表的な透明感顔画像及び比較対象顔画像に関する暗成分グラフを示す図である。図16A及び図16Bに示されるように、68%以上98%以下の累積寄与率の範囲における明成分累積値及び暗成分累積値が、代表的な透明感顔画像と美肌顔の画像との間で同様に累積寄与率の増加割合が小さい傾向を示し、代表的な透明感顔画像と透明感阻害顔の画像との間で異なる傾向を示した。この比較からも、上述のような累積寄与率の質感寄与範囲が、顔全体の透明感に与える影響が特に大きいテクスチャ情報を持つことの正当性が証明される。併せて、上述の各実施形態において、隣接する累積寄与率の各ペアについて算出される明成分累積値及び暗成分累積値が、顔全体の質感を高精度に定量化したものであることも証明される。
更に、本実施例では、ランダムに選ばれた複数の顔画像を分析対象顔画像とし、基準顔画像を上述の代表的な透明感顔画像として、各分析対象顔画像について、上述の第2実施形態における、明成分累積値の差分及び暗成分累積値の差分が示す位置の原点からの距離がそれぞれ算出された。そして、算出された距離の中から、各距離が略等しい幅で増加するような距離の組み合わせ(16枚の顔画像に対応)が抽出され、その組み合わせに対応する各顔画像について、第2実施形態の手法で算出される各距離と、専門評価員の官能評価(心理評価)の結果とが比較された。
図17は、各距離が略等しい幅で増加するような距離の組み合わせに対応する16枚の顔画像と、各顔画像に関し算出される原点からの距離とを示す図である。図17に示されるように、第2実施形態の手法によれば、顔画像B61が、当該代表的な透明感顔画像から最も離れる、即ち、最も大きい透明感阻害要因を持つと分析することができ、顔画像B16が、当該代表的な透明感顔画像に最も近似する、即ち、最も透明感阻害要因が小さいと分析することができる。
図18は、図17に示される各顔画像に関する明成分累積値の差分及び暗成分累積値の差分と、各顔画像に関する官能評価結果とを示す図である。図18に示される各プロットは、16枚の各顔画像に関し算出された明成分累積値の差分及び暗成分累積値の差分をそれぞれ示し、各プロットに付された数値が、専門評価員の官能評価の結果をそれぞれ示す。官能評価では、16枚の顔画像の透明感について、専門評価員により、次の5段階で評価され、その評価の平均値が各顔画像についてそれぞれ評価結果として算出された。
1:透明感がある、2:やや透明感がある、3:どちらとも言えない、4:やや透明感がない、5:透明感がない
図18によれば、原点に近い位置にプロットされた顔画像の官能評価結果が1であり、プロット位置が原点から離れれば離れる程、その顔画像の官能評価結果を示す数値が概ね大きくなっている。このような結果について、スピアマンの順位相関係数によれば、原点からの距離の順位と、官能評価結果の順位との間に、0.98という相関値が得られた。このことから、上述の第2実施形態において、基準顔画像に写る顔を基準とした、分析対象顔画像に写る顔の質感を示すものとして算出される原点からの距離が、官能評価の結果と高い相関を示すことが検証された。これにより、上述の各実施形態における顔全体の質感の定量化の正当性も証明される。
図19は、図17に示される各顔画像に関し算出される原点からの距離と、各顔画像に関する官能評価結果とを示す図である。図19においても、上述の第2実施形態の手法により算出される原点からの距離が、専門評価員の官能評価の結果と相関を示すことが確認できる。
図20は、原点からの距離の範囲毎の質感分析結果を示す情報の例を示す図である。上述のような結果から、分析情報生成部22は、図20に示されるような、原点からの距離の範囲毎の質感分析結果を示す情報を予めメモリ3に保持し、この情報を用いて分析対象顔画像に写る顔の質感分析情報を生成するようにすればよい。
なお、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。
上記の各実施形態及び各変形例の一部又は全部は、次のようにも特定され得る。但し、上述の各実施形態及び各変形例が以下の記載に制限されるものではない。
<1>形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得するサンプル取得手段と、
形状が規格化された分析対象顔画像を主成分分析することにより、該分析対象顔画像のための前記各基底関数の基底係数をそれぞれ算出する主成分分析手段と、
前記主成分分析手段により算出される各基底係数及び前記サンプル取得手段により取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成する再構成手段と、
隣接する累積寄与率のペアに関し前記再構成手段により生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、隣接する累積寄与率の各ペアについてそれぞれ生成する差分算出手段と、
前記明差分画像及び前記暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、前記隣接する累積寄与率の各ペアについてそれぞれ算出する代表値算出手段と、
前記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、前記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する累積値算出手段と、
を備える顔画像分析装置。
<2>前記累積値算出手段は、50%より大きい所定下限値から100%未満の所定上限値までの前記累積寄与率の範囲で、前記明成分累積値及び前記暗成分累積値を得る、
<1>に記載の顔画像分析装置。
<3>前記所定下限値は68%以上であり、前記所定上限値は98%以下であり、累積寄与率の前記所定精度は3%である、
<2>に記載の顔画像分析装置。
<4>累積寄与率を示す第1軸と前記明成分累積値を示す第2軸とを含む座標に、前記累積値算出手段により算出された、前記隣接する累積寄与率の各ペアについての明成分累積値がプロットされた明成分グラフ、及び、累積寄与率を示す第1軸と前記暗成分累積値を示す第2軸とを含む座標に、前記累積値算出手段により算出された、前記隣接する累積寄与率の各ペアについての暗成分累積値がプロットされた暗成分グラフの少なくとも1つを形成するためのデータを生成する第1情報生成手段、
を更に備える<1>から<3>のいずれか1つに記載の顔画像分析装置。
<5>前記分析対象顔画像と比較するための基準顔画像に対応する、前記隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の少なくとも一方の群を取得する基準取得手段、
を更に備え、
前記第1情報生成手段は、前記基準取得手段により取得される前記隣接する累積寄与率の各ペアについての明成分累積値が重畳的にプロットされた前記明成分グラフ、及び、前記基準取得手段により取得される前記隣接する累積寄与率の各ペアについての暗成分累積値が重畳的にプロットされた前記暗成分グラフの少なくとも1つを形成するためのデータを生成する、
<4>に記載の顔画像分析装置。
<6>前記分析対象顔画像と比較するための基準顔画像に対応する、前記隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の少なくとも一方の群を取得する基準取得手段と、
前記隣接する累積寄与率の各ペアについて、前記基準取得手段により取得される明成分累積値と前記累積値算出手段により算出される明成分累積値との差分、及び、前記基準取得手段により取得される暗成分累積値と前記累積値算出手段により算出される暗成分累積値との差分の少なくとも一方をそれぞれ算出する比較手段と、
を更に備える<1>から<5>のいずれか1つに記載の顔画像分析装置。
<7>累積寄与率を示す第1軸と、前記比較手段により算出される差分を示す第2軸とを含む座標に、前記比較手段により算出される、前記隣接する累積寄与率の各ペアについての明成分累積値の差分がプロットされた明成分差分グラフ、及び、前記比較手段により算出される、前記隣接する累積寄与率の各ペアについての暗成分累積値の差分がプロットされた暗成分差分グラフ、並びに、前記明成分累積値に関する差分を示す第1軸と前記暗成分累積値に関する差分を示す第2軸とを含む座標に、前記比較手段により算出された、前記隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値に関する差分がプロットされた比較グラフの少なくとも1つを形成するためのデータを生成する第2情報生成手段、
を更に備える<6>に記載の顔画像分析装置。
<8>前記隣接する累積寄与率のいずれか1つのペアについて前記比較手段により算出される明成分累積値及び暗成分累積値の少なくとも一方に関する差分が示す位置の原点からの距離を算出し、該算出された距離に基づいて、前記基準顔画像に写る顔を基準とした、前記分析対象顔画像に写る顔の質感分析情報を生成する分析情報生成手段、
を更に備える<6>又は<7>に記載の顔画像分析装置。
<9>形状が規格化された化粧前顔画像及び形状が規格化された化粧後顔画像を前記分析対象顔画像として取得する画像取得手段、
を更に備え、
前記分析情報生成手段は、前記化粧前顔画像及び前記化粧後顔画像に関する化粧効果情報を前記質感分析情報として生成する、
<8>に記載の顔画像分析装置。
<10>化粧顔の経時変化を示す、形状が規格化された複数の化粧顔画像を前記分析対象顔画像として取得する画像取得手段、
を更に備え、
前記分析情報生成手段は、前記化粧顔の化粧崩れ度合い情報を前記質感分析情報として生成する、
<8>又は<9>に記載の顔画像分析装置。
<11>少なくとも1つのコンピュータが、
形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得し、
分析対象顔画像の形状を規格化し、
形状が規格化された分析対象顔画像を主成分分析することにより、該分析対象顔画像のための前記各基底関数の基底係数をそれぞれ算出し、
前記算出される各基底係数及び前記取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成し、
隣接する累積寄与率のペアに関し生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、隣接する累積寄与率の各ペアについてそれぞれ生成し、
前記明差分画像及び前記暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、前記隣接する累積寄与率の各ペアについてそれぞれ算出し、
前記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、前記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する、
ことを含む顔画像分析方法。
<12>明成分累積値及び暗成分累積値の前記算出は、50%より大きい所定下限値から100%未満の所定上限値までの前記累積寄与率の範囲で、前記明成分累積値及び前記暗成分累積値を得る、
<11>に記載の顔画像分析方法。
<13>前記所定下限値は68%以上であり、前記所定上限値は98%以下であり、累積寄与率の前記所定精度は3%である、
<12>に記載の顔画像分析方法。
<14>前記少なくとも1つのコンピュータが、
累積寄与率を示す第1軸と前記明成分累積値を示す第2軸とを含む座標に、前記隣接する累積寄与率の各ペアについて算出された明成分累積値がプロットされた明成分グラフ、及び、累積寄与率を示す第1軸と前記暗成分累積値を示す第2軸とを含む座標に、前記隣接する累積寄与率の各ペアについて算出された暗成分累積値がプロットされた暗成分グラフの少なくとも1つを形成するためのデータを生成する、
ことを更に含む<11>から<13>のいずれか1つに記載の顔画像分析方法。
<15>前記少なくとも1つのコンピュータが、
前記分析対象顔画像と比較するための基準顔画像に対応する、前記隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の少なくとも一方の群を取得し、
前記取得される前記隣接する累積寄与率の各ペアについての明成分累積値が重畳的にプロットされた前記明成分グラフ、及び、前記取得される前記隣接する累積寄与率の各ペアについての暗成分累積値が重畳的にプロットされた前記暗成分グラフの少なくとも1つを形成するためのデータを生成する、
ことを更に含む<14>に記載の顔画像分析方法。
<16>前記少なくとも1つのコンピュータが、
前記分析対象顔画像と比較するための基準顔画像に対応する、前記隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の少なくとも一方の群を取得し、
前記隣接する累積寄与率の各ペアについて、前記基準顔画像に関し取得される明成分累積値と前記分析対象顔画像に関し算出される明成分累積値との差分、及び、前記基準顔画像に関し取得される暗成分累積値と前記分析対象顔画像に関し算出される暗成分累積値との差分の少なくとも一方をそれぞれ算出する、
ことを更に含む<11>から<15>のいずれか1つに記載の顔画像分析方法。
<17>前記少なくとも1つのコンピュータが、
累積寄与率を示す第1軸と、前記算出される差分を示す第2軸とを含む座標に、前記隣接する累積寄与率の各ペアについての明成分累積値の差分がプロットされた明成分差分グラフ、及び、前記隣接する累積寄与率の各ペアについての暗成分累積値の差分がプロットされた暗成分差分グラフ、並びに、前記明成分累積値に関する差分を示す第1軸と前記暗成分累積値に関する差分を示す第2軸とを含む座標に、前記隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値に関する差分がプロットされた比較グラフの少なくとも1つを形成するためのデータを生成する、
ことを更に含む<16>に記載の顔画像分析方法。
<18>前記少なくとも1つのコンピュータが、
前記隣接する累積寄与率のいずれか1つのペアについて算出される明成分累積値及び暗成分累積値の少なくとも一方に関する差分が示す位置の原点からの距離を算出し、
前記算出された距離に基づいて、前記基準顔画像に写る顔を基準とした、前記分析対象顔画像に写る顔の質感分析情報を生成する、
ことを更に含む<16>又は<17>に記載の顔画像分析方法。
<19>前記少なくとも1つのコンピュータが、
形状が規格化された化粧前顔画像及び形状が規格化された化粧後顔画像を前記分析対象顔画像として取得し、
前記化粧前顔画像及び前記化粧後顔画像に関する化粧効果情報を前記質感分析情報として生成する、
ことを更に含む<18>に記載の顔画像分析方法。
<20>前記少なくとも1つのコンピュータが、
化粧顔の経時変化を示す、形状が規格化された複数の化粧顔画像を前記分析対象顔画像として取得し、
前記化粧顔の化粧崩れ度合い情報を前記質感分析情報として生成する、
ことを更に含む<18>又は<19>に記載の顔画像分析方法。
<21>少なくとも1つのコンピュータに、
形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得するサンプル取得手段と、
形状が規格化された分析対象顔画像を主成分分析することにより、該分析対象顔画像のための前記各基底関数の基底係数をそれぞれ算出する主成分分析手段と、
前記主成分分析手段により算出される各基底係数及び前記サンプル取得手段により取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成する再構成手段と、
隣接する累積寄与率のペアに関し前記再構成手段により生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、隣接する累積寄与率の各ペアについてそれぞれ生成する差分算出手段と、
前記明差分画像及び前記暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、前記隣接する累積寄与率の各ペアについてそれぞれ算出する代表値算出手段と、
前記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、前記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する累積値算出手段と、
を実現させるプログラム。
2 CPU
3 メモリ
4 入出力I/F
9 出力部
10 顔画像分析装置(分析装置)
11 画像取得部
12 規格化処理部
13 主成分分析部
14 サンプルデータ格納部
15 再構成部
16 差分算出部
17 代表値算出部
18 累積値算出部
19 情報生成部
20 基準データ格納部
21 比較部
22 分析情報生成部

Claims (9)

  1. 形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得するサンプル取得手段と、
    形状が規格化された分析対象顔画像を主成分分析することにより、該分析対象顔画像のための前記各基底関数の基底係数をそれぞれ算出する主成分分析手段と、
    前記主成分分析手段により算出される各基底係数及び前記サンプル取得手段により取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成する再構成手段と、
    隣接する累積寄与率のペアに関し前記再構成手段により生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、隣接する累積寄与率の各ペアについてそれぞれ生成する差分算出手段と、
    前記明差分画像及び前記暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、前記隣接する累積寄与率の各ペアについてそれぞれ算出する代表値算出手段と、
    前記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、前記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する累積値算出手段と、
    を備える顔画像分析装置。
  2. 前記累積値算出手段は、50%より大きい所定下限値から100%未満の所定上限値までの前記累積寄与率の範囲で、前記明成分累積値及び前記暗成分累積値を得る、
    請求項1に記載の顔画像分析装置。
  3. 前記所定下限値は68%以上であり、前記所定上限値は98%以下であり、累積寄与率の前記所定精度は3%である、
    請求項2に記載の顔画像分析装置。
  4. 前記分析対象顔画像と比較するための基準顔画像に対応する、前記隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の群を取得する基準取得手段と、
    累積寄与率を示す第1軸と前記明成分累積値を示す第2軸とを含む座標に、前記隣接する累積寄与率の各ペアについての前記累積値算出手段により算出された明成分累積値及び前記基準取得手段により取得される明成分累積値が重畳的にプロットされた明成分グラフ、及び、累積寄与率を示す第1軸と前記暗成分累積値を示す第2軸とを含む座標に、前記隣接する累積寄与率の各ペアについての前記累積値算出手段により算出された暗成分累積値及び前記基準取得手段により取得される暗成分累積値が重畳的にプロットされた暗成分グラフの少なくとも一つを形成するためのデータを生成する第1情報生成手段と、
    を更に備える請求項3に記載の顔画像分析装置。
  5. 前記分析対象顔画像と比較するための基準顔画像に対応する、前記隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値の少なくとも一方の群を取得する基準取得手段と、
    前記隣接する累積寄与率の各ペアについて、前記基準取得手段により取得される明成分累積値と前記累積値算出手段により算出される明成分累積値との差分、及び、前記基準取得手段により取得される暗成分累積値と前記累積値算出手段により算出される暗成分累積値との差分の少なくとも一方をそれぞれ算出する比較手段と、
    を更に備える請求項1から4のいずれか1項に記載の顔画像分析装置。
  6. 累積寄与率を示す第1軸と、前記比較手段により算出される差分を示す第2軸とを含む座標に、前記比較手段により算出される、前記隣接する累積寄与率の各ペアについての明成分累積値の差分がプロットされた明成分差分グラフ、及び、前記比較手段により算出される、前記隣接する累積寄与率の各ペアについての暗成分累積値の差分がプロットされた暗成分差分グラフ、並びに、前記明成分累積値に関する差分を示す第1軸と前記暗成分累積値に関する差分を示す第2軸とを含む座標に、前記比較手段により算出された、前記隣接する累積寄与率の各ペアについての明成分累積値及び暗成分累積値に関する差分がプロットされた比較グラフの少なくとも1つを形成するためのデータを生成する第2情報生成手段、
    を更に備える請求項5に記載の顔画像分析装置。
  7. 前記隣接する累積寄与率のいずれか1つのペアについて前記比較手段により算出される明成分累積値及び暗成分累積値の少なくとも一方に関する差分が示す位置の原点からの距離を算出し、該算出された距離に基づいて、前記基準顔画像に写る顔を基準とした、前記分析対象顔画像に写る顔の質感分析情報を生成する分析情報生成手段、
    を更に備える請求項5又は6に記載の顔画像分析装置。
  8. 少なくとも1つのコンピュータが、
    形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得し、
    分析対象顔画像の形状を規格化し、
    形状が規格化された分析対象顔画像を主成分分析することにより、該分析対象顔画像のための前記各基底関数の基底係数をそれぞれ算出し、
    前記算出される各基底係数及び前記取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成し、
    隣接する累積寄与率のペアに関し生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、隣接する累積寄与率の各ペアについてそれぞれ生成し、
    前記明差分画像及び前記暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、前記隣接する累積寄与率の各ペアについてそれぞれ算出し、
    前記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、前記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する、
    ことを含む顔画像分析方法。
  9. 少なくとも1つのコンピュータに、
    形状が規格化された複数のサンプル顔画像の平均顔画像情報、及び、該複数のサンプル顔画像に対する主成分分析により得られる複数の基底関数を取得するサンプル取得手段と、
    形状が規格化された分析対象顔画像を主成分分析することにより、該分析対象顔画像のための前記各基底関数の基底係数をそれぞれ算出する主成分分析手段と、
    前記主成分分析手段により算出される各基底係数及び前記サンプル取得手段により取得される複数の基底関数及び平均顔画像情報に基づいて、所定精度の複数次の各累積寄与率に対応する各再現顔画像をそれぞれ生成する再構成手段と、
    隣接する累積寄与率のペアに関し前記再構成手段により生成された低次側再現顔画像と高次側再現顔画像との間の明暗情報の差分を算出することにより、低次側再現顔画像よりも暗い成分が除去された明差分画像、及び、低次側再現顔画像よりも明るい成分が除去された暗差分画像の少なくとも一方を、隣接する累積寄与率の各ペアについてそれぞれ生成する差分算出手段と、
    前記明差分画像及び前記暗差分画像における各色情報から明成分の強さを示す明成分代表値及び暗成分の強さを示す暗成分代表値の少なくとも一方を、前記隣接する累積寄与率の各ペアについてそれぞれ算出する代表値算出手段と、
    前記隣接する累積寄与率の各ペアに関する明成分代表値及び暗成分代表値の少なくとも一方を累積寄与率の昇順にそれぞれ累積することにより、前記隣接する累積寄与率の各ペアについて明成分累積値及び暗成分累積値の少なくとも一方をそれぞれ算出する累積値算出手段と、
    を実現させるプログラム。
JP2012244698A 2012-11-06 2012-11-06 顔画像分析装置及び顔画像分析方法 Active JP6008698B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012244698A JP6008698B2 (ja) 2012-11-06 2012-11-06 顔画像分析装置及び顔画像分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012244698A JP6008698B2 (ja) 2012-11-06 2012-11-06 顔画像分析装置及び顔画像分析方法

Publications (2)

Publication Number Publication Date
JP2014093043A JP2014093043A (ja) 2014-05-19
JP6008698B2 true JP6008698B2 (ja) 2016-10-19

Family

ID=50937048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012244698A Active JP6008698B2 (ja) 2012-11-06 2012-11-06 顔画像分析装置及び顔画像分析方法

Country Status (1)

Country Link
JP (1) JP6008698B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6533729B2 (ja) * 2015-09-29 2019-06-19 富士フイルム株式会社 肌評価装置、肌評価方法および肌評価プログラム
JP6530703B2 (ja) * 2015-12-22 2019-06-12 花王株式会社 肌状態評価方法
JP7040889B2 (ja) * 2016-06-02 2022-03-23 ポーラ化成工業株式会社 肌状態の鑑別のための画像解析方法
JP6986676B2 (ja) * 2016-12-28 2021-12-22 パナソニックIpマネジメント株式会社 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ
US20200327726A1 (en) * 2019-04-15 2020-10-15 XRSpace CO., LTD. Method of Generating 3D Facial Model for an Avatar and Related Device
CN111784658B (zh) * 2020-06-29 2022-07-01 厦门市美亚柏科信息股份有限公司 一种用于人脸图像的质量分析方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3729692B2 (ja) * 1999-10-19 2005-12-21 株式会社資生堂 表面状態解析方法
JP2007006182A (ja) * 2005-06-24 2007-01-11 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム

Also Published As

Publication number Publication date
JP2014093043A (ja) 2014-05-19

Similar Documents

Publication Publication Date Title
JP6008698B2 (ja) 顔画像分析装置及び顔画像分析方法
JP6026655B2 (ja) 透明感評価装置、透明感評価装置の作動方法、透明感評価方法および透明感評価プログラム
JP7248820B2 (ja) 美容的皮膚属性を決定するための機器及び方法
US20080212894A1 (en) Method and apparatus for simulation of facial skin aging and de-aging
JP2006142005A (ja) 肌状態診断システムおよび美容のためのカウンセリングシステム
JP6473401B2 (ja) 肌の光沢評価装置、光沢評価方法および光沢評価プログラム
KR20210139309A (ko) 미용 피부 속성을 시각화하기 위한 장치 및 방법
US20080304736A1 (en) Method of estimating a visual evaluation value of skin beauty
JPWO2011162050A1 (ja) 年齢の推定方法、男女の判別方法
JP5753055B2 (ja) 肌画像分析装置及び肌画像分析方法
JP5426475B2 (ja) 肌の色ムラ解析装置、肌の色ムラ解析方法、及び肌の色ムラ解析プログラム
JP4682373B2 (ja) 顔画像合成装置、顔画像合成方法および顔画像合成プログラム
JP2009082338A (ja) エントロピーを用いた肌の鑑別方法
JP2007252891A (ja) 肌の美しさの目視評価値の推定方法
Choi et al. Age face simulation using aging functions on global and local features with residual images
JP2013212177A (ja) 画像解析方法、画像解析装置、及び画像解析プログラム
Fan et al. An automated estimator of image visual realism based on human cognition
JP2006061170A (ja) 皮膚の鑑別法
JP2012008617A (ja) 顔画像評価方法、顔評価方法および画像処理装置
WO2015125552A1 (ja) うるおい感評価装置、うるおい感評価方法およびうるおい感評価プログラム
Malik et al. Novel techniques for enhancement and segmentation of acne vulgaris lesions
CN107847136B (zh) 弹力感评价装置、弹力感评价方法以及弹力感评价程序
CN108135346B (zh) 皮肤评价装置、皮肤评价方法及记录介质
JP2021121328A (ja) 肌状態の鑑別方法、化粧料の評価方法、化粧料の設計方法
JP2007252892A (ja) 皮膚表面の立体形状の目視評価値の推定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160913

R151 Written notification of patent or utility model registration

Ref document number: 6008698

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250