JP6908743B2 - 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 - Google Patents

Description

本発明は、顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法、顔印象解析装置、顔印象解析プログラム、顔の見た目印象の解析方法に関するものである。

人は、その外観や言動などの様々な要因によって、他者に対して多種多様な印象を与える。その中でも、視覚的な情報、特に顔の見た目は、その人の印象を決める非常に大きな要因の一つであるといえる。

そのため、人の顔の見た目の印象を客観的に推定する技術について研究がおこなわれている。例えば、特許文献１には、被験者の目尻のような解析領域に予め複数の追跡点を配置して動画像を撮影し、表情の変化に伴う追跡点の変化量を追跡して肌の圧縮率を取得することによって、被験者の肌状態を解析する技術が公開されている。

特開２０１４−１９３１９７号公報

先述の通り、被験者の顔の見た目の印象を客観的に推定するためのパラメータについて検討されてきたが、これは、被験者の顔の特定の部位より、特定のパラメータを取得するものに過ぎない。

しかし、人の見た目の印象は、種々の因子によって形成されており、より正確な推定手段が望まれていた。

そこで、本発明では、顔の見た目印象への影響が大きい部位、及び顔の見た目印象と相関関係が高い因子を抽出する方法、その因子に基づいて顔の見た目印象を鑑別する方法を提供することを課題とする。

上記課題を解決するために、本発明に係る顔の見た目印象の決定部位の抽出方法は、
顔の表情変化の動的情報を評価者に提示し、該評価者に顔の見た目印象の評価をさせる目視評価工程と、
前記動的情報を目視する前記評価者の視線データを解析し、前記動的情報中において前記評価者が注視した領域の解析を行う視線解析工程と、を含むことを特徴とする。

これにより、人が動的情報に基づいて顔の見た目印象を評価する際に注目する部位、すなわち、顔の見た目印象を決定する部位を抽出することができる。

本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。

本発明に係る顔の見た目印象の決定因子の抽出方法は、
顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量を測定する物理量測定工程と、
前記物理量の中から、前記顔の見た目印象と相関関係の高い因子を抽出する、因子抽出工程と、を含むことを特徴とする。
これにより、後述する顔の見た目印象の鑑別において用いる物理量を特定することができる。

本発明の好ましい形態では、前記物理量測定工程が、前記顔に複数のマーカーを設定して撮影されたモーションキャプチャ動画像より、前記物理量として前記マーカーに関する量を測定する工程を含むことを特徴とする。

本発明の好ましい形態では、前記マーカーに関する量が、前記マーカーの位置、移動量、速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも１つを含むことを特徴とする。

本発明の好ましい形態では、前記マーカーに関する量が、複数の前記マーカーの間の距離の時間変化に関する量を含むことを特徴とする。

本発明の好ましい形態では、前記マーカーに関する量が、３つ以上の前記マーカーによって形成される面の面積及び／又は形状を示す値の時間変化に関する量を含むことを特徴とする。

本発明の好ましい形態では、前記物理量測定工程が、前記顔に複数の格子点を設定する格子点設定工程を有し、
前記物理量が、前記格子点に関する量を含むことを特徴とする。

本発明の好ましい形態では、前記格子点に関する量が、前記格子点毎の速度ベクトルの大きさ及び／又は向きの時間変化に関する量を含むことを特徴とする。

本発明の好ましい形態では、顔の見た目印象の決定因子の抽出方法が、前記顔の表情変化を含む動的情報を評価者に提示して顔の見た目印象の目視評価値を得る、目視評価値取得工程を有し、
前記因子抽出工程が、前記物理量と前記目視評価値との相関関係を解析して前記因子を抽出することを含むこと特徴とする。
目視評価値を用いることによって、実際に人が顔を目視した際に受ける印象と相関関係の高い因子を抽出することができる。

本発明の好ましい形態では、顔の見た目印象の決定因子の抽出方法が、皮膚に関する生理学的量を測定する、生理学的量測定工程を有し、
前記因子抽出工程が、前記物理量と前記生理学的量との相関関係を解析して前記因子を抽出すること含むことを特徴とする。
生理学的量を用いることによって、実際に皮膚等の生体組織における生理学的現象と相関関係の高い顔の見た目印象の決定因子を抽出することができる。

本発明の好ましい形態では、前記生理学的量が、前記印象決定部位における皮膚表面物性及び／又は内部物性であることを特徴とする。

本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。

本発明の好ましい形態では、前記物理量が、前記印象決定部位における皮膚の運動に関する量であることを特徴とする。

本発明に係る顔の見た目印象の鑑別方法は、
顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量に基づいて、被験者の顔の見た目印象を鑑別することを特徴とする。
印象決定部位に生じる物理量を用いることによって、他者に与える顔の見た目印象をより正確に鑑別することができる。

本発明の好ましい形態では、前記物理量が、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも１つを含むことを特徴とする。

本発明の好ましい形態では、前記物理量が、前記顔に含まれる１つの基準点と、前記顔に含まれる少なくとも２つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする。

本発明の好ましい形態では、前記物理量が、前記顔に含まれる少なくとも３つの特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする。

本発明の好ましい形態では、前記顔の見た目印象の鑑別が、前記物理量と、顔の見た目印象の目視評価値との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の顔の見た目印象の目視評価値を算出することを含むことを特徴とする。

本発明の好ましい形態では、前記顔の見た目印象の鑑別が、前記物理量と、皮膚に関する生理学的量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚に関する生理学的量を算出することを含むことを特徴とする。

本発明の好ましい形態では、前記生理学的量が、前記印象決定部位における皮膚表面物性及び／又は内部物性であることを特徴とする。

本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。

本発明の好ましい形態では、前記物理量が、前記印象決定部位における皮膚の運動に関する量であることを特徴とする。

本発明に係る顔印象解析装置は、
表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、顔印象解析装置であって、
前記表情変化の過程を含む動画像を取得する動画像取得手段と、
前記動画像より、前記表情変化によって生じる物理量を測定する、物理量測定手段と、を備えることを特徴とする。
このような構成の装置とすることにより、本発明に係る顔の見た目印象の鑑別方法を実施することができる。

本発明の好ましい形態では、前記物理量測定手段が、前記動画像より複数の特徴点を抽出する特徴点抽出手段と、
前記動画像より前記特徴点の動きベクトルを特定する動きベクトル特定手段と、
前記動きベクトルを解析し、前記物理量を算出する動きベクトル解析手段と、を有することを特徴とする。

本発明の好ましい形態では、前記物理量が、前記動きベクトルの大きさ及び／又は向きの時間変化に関する量を含むことを特徴とする。

本発明の好ましい形態では、前記物理量測定手段が、前記動画像より複数の特徴点を抽出する特徴点抽出手段と、
前記動画像の各フレームにおける前記特徴点の座標を算出する特徴点座標算出手段と、
前記各フレーム間において対応する前記特徴点を特定し、前記物理量を算出する特徴点追跡手段と、を有することを特徴とする。

本発明の好ましい形態では、前記物理量が、少なくとも１つの前記特徴点の、座標の変位量、移動速度、加速度、移動方向、加速度の方向の内、少なくとも１つを含むことを特徴とする。

本発明の好ましい形態では、前記物理量が、前記顔に含まれる１つの基準点と、前記顔に含まれる少なくとも２つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする。

本発明の好ましい形態では、前記物理量が、少なくとも３つの前記特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする。

本発明の好ましい形態では、前記物理量の測定を、顔の見た目印象を決定する印象決定部位に対して行うことを特徴とする。

本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。

本発明の好ましい形態では、前記顔印象解析装置は、前記物理量と、顔を目視評価して得られた顔の見た目印象の目視評価値との相関関係を記憶する、相関関係記憶手段を有し、
該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の見た目印象の目視評価値を算出する、目視評価値算出手段を有することを特徴とする。

本発明の好ましい形態では、前記顔印象解析装置は、前記物理量と、皮膚に関する生理学的量との相関関係を記憶する、相関関係記憶手段を有し、
該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の生理学的量を算出する、生理学的量算出手段を有することを特徴とする。

本発明の好ましい形態では、前記生理学的量が、前記印象決定部位における皮膚表面物性及び／又は内部物性であることを特徴とする。

本発明に係る顔印象解析プログラムは、
表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、顔印象解析プログラムであって、
コンピュータを、
顔の表情変化によって生じる皮膚変化の物理量を測定する手段と、
前記物理量に基づいて被験者の顔の見た目印象を鑑別する手段と、
として機能させることを特徴とする。

本発明に係る顔の見た目印象の解析方法は、
表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、動画像取得手段と、物理量測定手段と、を備える顔印象解析装置を用いた顔の見た目印象の解析方法であって、
前記動画像取得手段が、前記表情変化の過程を含む動画像を取得するステップと、
前記物理量測定手段が、前記表情変化によって生じる物理量を算出するステップと、を備えることを特徴とする。

本発明に係る化粧効果の鑑別方法は、
顔の表情変化によって生じる皮膚変化の物理量に基づいた被験者の顔の見た目印象の鑑別による化粧効果の鑑別方法であって、
化粧前の顔の表情変化によって生じる、化粧前の前記物理量を抽出する化粧前物理量測定工程と、
前記物理量と前記顔の見た目印象の目視評価値の相関関係に基づいて、化粧前の目視評価値を算出する化粧前目視評価値算出工程と、
化粧後の顔の表情変化によって生じる、化粧後の前記物理量を抽出する化粧後物理量測定工程と、
前記相関関係に基づいて、化粧後の目視評価値を算出する化粧後目視評価値算出工程と、
前記化粧前の目視評価値と、前記化粧後の目視評価値と、を比較し、化粧効果を評価する化粧効果評価工程と、を備えることを特徴とする。

表情変化によって生じる物理量のうち、顔の見た目の印象を決定する部位における、顔の見た目印象と相関関係が高い物理量（決定因子）を顔の見た目印象を鑑別するための指標として用いることにより、実際に人が目視によって受ける顔の見た目印象を、簡便にかつ正確に鑑別することができる。

本発明に係る顔の見た目印象の決定部位の抽出方法、及び顔の見た目印象の決定因子の抽出方法を示すフローチャートである。 動画像からの物理量の測定処理を示すフローチャートである。 本発明に係る顔印象解析装置の機能ブロック図である。 本発明に係る顔印象解析装置による顔の見た目印象の鑑別方法を示すフローチャートである。 本発明に係る顔印象解析装置による目視評価値／生理学的量の算出処理を示すフローチャートである。 目視評価値の取得に用いる動画像／連続静止画像の例を示す図である。（図面代用写真） 目視評価値の取得の際の評価者への動画像／連続静止画像の提示方法を示す図である。（図面代用写真） 動画像／連続静止画像に対する目視評価値の集計結果を示す図である。 動画像／連続静止画像に対する視線評価の結果の例を示す図である。（図面代用写真） 動画像中における評価対象の表情変化を示す図である。（図面代用写真） 動画像中におけるマーカーの移動速度の時間変化を示す図である。 動画像中におけるマーカーの移動速度の積算値を示す図である。 モーションキャプチャ用のマーカーの配置を示す図である。 動画像中における評価対象の表情変化を示す図である。（図面代用写真） 動画像中におけるマーカー間の距離の単位時間当たりの変化量の時間変化を示す図である。 面積の時間変化の解析対象とする領域設定を示す図である。 解析対象領域における皮膚の伸縮率の測定結果を示すグラフである。 格子点の設定と動きベクトルの例を示す図である。（図面代用写真） 動画像中における評価対象の表情変化を示す図である。（図面代用写真） 動きベクトルの大きさの時間変化の測定結果を示す図である。 動画像中の動きベクトルの波形の幅の平均値を示す図である。

［１］本発明の顔の見た目印象の決定部位の抽出方法及び顔の見た目印象の決定因子の抽出方法
本発明は、顔の表情変化を含む動画像を評価者へと提示して顔の見た目印象の評価を行い、その際の評価者の視線を解析することによって顔の見た目印象の決定部位を抽出する方法、及び動画像より物理量を測定して、その中から顔の見た目印象と相関関係の高い因子を抽出する、顔の見た目印象の決定因子の抽出方法である。

本発明にいう「顔の見た目印象」とは、評価対象の顔を他者が見た際に、視覚的に受ける印象である。例えば、年齢印象について着目すれば、実年齢よりも若く見える、といった若々しさや、あるいは老けて見える、といった老化印象などの印象が挙げられる。また、他にも、評価対象を見た際に感じる魅力など、種々の印象が挙げられる。

図１は、本発明の顔の見た目印象の決定部位の抽出方法、及び顔の見た目印象の決定因子の抽出方法を示すフローチャートである。これを参照して、本発明の顔の見た目印象の決定部位と決定因子の抽出方法について、詳細に説明する。

＜動画像の取得＞
まず、ステップＳ１１にて、評価対象の顔の動画像を取得する。ここでは、先に述べたように、顔の表情の変化を含む動画像を取得する。

ここでは一般的なカメラ装置で評価対象の顔の動画像を撮影した映像を用いてよいが、後の物理量測定工程における画像解析に耐えうる程度の解像度を有していることが好ましい。

なお、一般的に動画像は多数の静止画像（フレーム）の連続によって構成されるものであり、単位時間当たりのフレーム数を表すフレームレートによって、その動きの滑らかさが表される。ここでは、後の目視評価値の取得工程にて評価者に動画像を提示する際に、評価者が、それが単なる静止画像の連続でなく動画像であると知覚できる程度以上のフレームレートを有する動画像を取得することが好ましい。

また、ステレオカメラを用いたステレオ動画像の撮影を行ってもよい。このような構成とすれば、後に説明する物理量測定工程において、三次元的な解析を行うことができる。

より具体的には、評価対象の顔に複数のマーカーをつけ、その上で評価対象の顔の動画像のステレオカメラによる撮影を行うことで、各マーカーの三次元的な位置の追跡を行うモーションキャプチャを実施することができる。

＜目視評価値の取得＞
ステップＳ１２では、動画像に対する目視評価値の取得を行う。これは、ステップＳ１１で取得した動画像を、評価者へと提示し、評価者がその動画像より受けた印象を提示することによって行う。

例えば、顔の見た目印象のうち、年齢印象についての、決定部位及び決定因子の抽出を目的とする場合であれば、評価対象の顔の表情変化を含む動画像を評価者へと提示し、評価対象の年齢の推定を求める（推定年齢の回答を求める）などの方法がある。また、別の例として、魅力に関する顔の見た目印象の決定因子の抽出を目的とするのであれば、年齢印象の場合と同様に評価対象の顔の表情変化を含む動画像を評価者へと提示した後に、評価対象を魅力的に感じたか否かの回答を求める方法が挙げられる。このようにして得た目視評価値は、評価対象の顔の見た目印象を直接示す値であるといえる。

また、動画像中より、表情変化前の１フレームと、表情変化後の１フレームを静止画像として抽出し、それらの２フレームのみを連続した静止画像として評価者へと提示して、同じように印象の評価を促す工程を設けてもよい。これにより、動的刺激としての動画像が評価者へ与える評価対象の顔の印象との対比として、静的刺激としての連続した静止画像が評価者与える評価対象の顔の印象を取得し、印象決定部位及び印象決定因子の抽出のための解析をより詳細に行うことができる。

なお、動画像を評価者へと提示する際には、評価者の視線情報を取得し、評価者が評価対象の顔のどの領域に何回、何秒間視線を滞留させたかといった情報を取得する。

＜印象決定部位の抽出＞
ステップＳ１３においては、動画像を評価者へと提示した際の、評価者の視線情報を解析し、印象決定部位の抽出を行う。

ある印象の評価を課した評価者が動画像を観測する際に、多くの回数、また、長時間視線を滞留させた領域は、意識的、無意識的に関わらず、評価者がその印象を判断する際に注視する領域、すなわち、その印象の決定部位を含んでいるといえる。

例えば、動画像に表示された対象の推定年齢の回答を求めることを評価者へ伝え、動画像を提示した際に、評価者の視線が多くの回数、長時間滞留した領域は、年齢印象の決定部位を含んでいる。

ステップＳ１３では、上記のように、目視評価の際に評価者の視線が多く滞留した領域とその周辺を、その見た目印象の決定部位として抽出する。

＜物理量の測定＞
続くステップＳ１４では、動画像の解析を行い、物理量の測定を行う。これは、ステップＳ１３で特定した印象決定部位のみを対象として行ってもよいし、動画像に含まれる全領域を対象として行ってもよい。図２（ａ）は、二次元の動画像のオプティカルフロー法による解析を行い、それによって得られる皮膚の動きベクトルを用いた物理量の算出処理を示すフローチャートである。

まず、ステップＳ２１では、動画像中の各フレームより、特徴点の抽出を行う。ここでは、フレーム中の各画素の輝度値などから皮膚の凹凸を判別して特徴点を設定する方法や、動画像中にグリッド状に特徴点を設定する方法、すなわち、格子状に特徴点を配置する方法など、任意の方法を用いてよい。

そして、ステップＳ２２で、各特徴点の動きベクトルの特定を行う。動きベクトルは、フレーム間における輝度の変化などによって求めることができる。

その後、ステップＳ２３で、動きベクトルの解析を行い、顔の表情変化に伴って生じた物理量の算出を行う。ここでの物理量の例としては、先述した特徴点の座標の変位量、移動速度、加速度、移動方向などや、平面の運動の波動性パラメータ、例えば周期、周長など、顔の皮膚の運動に関する量が挙げられる。また、輝度や色調のような光学的な量、それらの変化量や周波数特性などを算出する構成、粒子画像流速測定法（ＰＩＶ，Ｐｅｒｔｉｃｌｅ Ｉｍａｇｅ Ｖｅｌｏｃｉｔｙ）やその他の方法による解析を行う構成としてもよい。

このようなそれぞれの物理量は、各フレームにおける値として求めてもよいし、また、動画像全体を通しての平均値として求めてもよい。あるいは、頬部、顎部といったように領域を設定し、その領域内における値の積算値や平均値などを求めてもよい。

物理量測定の別の手法として、特徴点の座標追跡による物理量の算出処理を図２（ｂ）のフローチャートに示す。

まず、ステップＳ３１において、ステップＳ２１と同様、任意の方法にて特徴点の算出を行う。または、ステップＳ１１における動画像の撮影の際に、予め撮影対象となる顔にマーカーなどを配置しておき、それらを特徴点として用いてもよい。

そして、ステップＳ３２において、動画像中の各フレームにおける各特徴点の座標を算出する。

そして、ステップＳ３３で、各フレーム間における特徴点の座標の変化の追跡を行い、ステップＳ２３の説明にて挙げたような、物理量を算出する。例えば、各特徴点の速度や加速度の時間変化である。また、基準点とする特徴点を設定し、それと他の任意の特徴点との間の距離の時間変化を求めてもよい。これはすなわち、任意の特徴点の顔上での相対的な速度にあたる値である。更に別の物理量として、３つ以上の特徴点によって囲まれる面積の時間変化が挙げられる。これにより、顔上の任意の部位の皮膚の伸縮の態様を数値化することができる。

また、先に述べたように、ステップＳ１１においてステレオ動画像を取得した場合には、平面のみでなく、奥行きも加味した三次元的な解析を行うことができる。すなわち、ステップＳ３２においてステレオ法などの任意の方法での三次元空間における特徴点座標を算出し、ステップＳ３３で三次元空間における特徴点の座標変化の追跡を行うことができる。これにより、表情変化に伴う皮膚の立体的な動きを、より正確に解析することができる。

なお、上述した動きベクトルを用いた物理量の測定と、特徴点の座標の追跡による物理量の測定は、そのどちらか一方、又はそれら両方を行う構成としてよい。さらに、これらと異なる手法による動画像解析を行い、物理量の測定を行ってもよい。

＜生理学的量の測定＞
ステップＳ１５では、動画像の撮影対象となる顔の皮膚に関する生理学的量の測定を行う。
皮膚に関する生理学的量としては、皮膚表面物性及び／又は内部物性、皮膚組織の組成等が挙げられ、顔の見た目印象と相関のあることが知られているものを用いることができる。例えば、顔の見た目印象が年齢印象である場合には、老化への関与メカニズムが明らかにされている皮膚に関する生理学的量を用いることができる。このような生理学的量として、皮膚表面の物性、例えば皮膚表面粗さ、角層表皮の物性、例えば角層水分量、真皮の物性、例えばコラーゲン線維束量や構造、脂肪層の物性、例えば脂肪体の位置、大きさなど、乳頭層もしくは乳頭層の物性、例えば、乳頭構造の単位面積あたりの個数、高さなどが挙げられる。前記生理学的量は、好ましくは、前記印象決定部位の生理学的量である。
生理学的量の測定は、従来知られている方法により行うことができる。本発明では、非侵襲的方法（手術を伴わない方法）により行う場合に限定される。

ステップＳ１１〜Ｓ１５の各工程は、次の相関関係の解析を行うのに十分な、複数の異なる顔を対象として行う。

＜見た目印象決定因子の抽出＞
ステップＳ１６では、ステップＳ１４において動画像より取得した物理量より、顔の見た目印象の決定因子の抽出を行う。

ここでは、ステップＳ１４で取得した物理量と、ステップＳ１２で取得した目視評価値、又はステップＳ１５で測定した生理学的量との相関関係の解析を行い、物理量の中から、目視評価値又は生理学的量を決定する因子となるものを抽出する。

例えば、目視評価値の異なる評価対象の、複数の動画像を比較し、それらの動画像からそれぞれ測定した物理量の中で、両者の間に差異があるものは、目視評価値との相関関係を有することが予測される。そして、さらに別の動画像についても同様の比較を行うことで、目視評価値と相関関係を持ち、見た目印象の決定因子となっている物理量、そしてその物理量と目視評価値との相関関係を明らかにすることができる。
相関関係の解析は、従来知られている方法を用いて行うことができる。

また、先述したように、ステップＳ１２における目視評価値の取得の際に、表情変化の前後２枚の静止画像を提示した場合の目視評価値を取得している場合には、それに対応する動画像に対する目視評価値との比較を行ってもよい。例えば、同一の評価対象の静止画像に対する目視評価値と、動画像に対する目視評価値とが大きく異なる場合には、その動画像中に含まれる物理量が、顔の見た目の印象の決定因子であると推定できる。

同様に、動画像から得られた物理量と皮膚に関する生理学的量との相関関係を解析することにより、皮膚に関する生理学的量と相関の高い物理量を決定することができ、当該物理量が、顔の見た目の印象の決定因子であると推定できる。

以上のように、本発明によれば、表情変化を含む動画像を評価者へと提示し、評価者の視線を解析することによって、顔の見た目印象を決定する部位を、そして、該動画像より物理量を抽出し、それらを解析することによって、顔の見た目印象の決定因子を抽出することができる。

なお、目視評価値の取得及び物理量との相関関係の解析と、生理学的量の測定及び物理量との相関関係の解析は、それら両方を行ってもよいし、必要に応じてどちらか一方のみを行ってもよい。また、さらに異なる評価値や量を用い、それと動画像より測定した物理量との相関関係の解析を行ってもよい。

［２］本発明の顔の見た目印象の鑑別方法及び顔印象解析装置
本発明は、表情変化を含む、被験者の顔の印象決定部位の動画像を取得し、それを解析することによって物理量を測定して、被験者の顔の見た目印象を鑑別する方法、及び顔の見た目印象解析装置である。

図３に機能ブロック図を示すように、本発明に係る顔印象解析装置は、動画像取得手段１と、物理量測定手段２と、相関関係記憶手段３と、目視評価値算出手段４と、生理学的量算出手段５と、を備える。

さらに、動画像取得手段１は、ステレオ動画像取得手段１１を有し、物理量測定手段２は、特徴点抽出手段２１と、動きベクトル特定手段２２と、動きベクトル解析手段２３と、特徴点座標算出手段２４と、特徴点追跡手段２５と、を有する。

相関関係記憶手段３は、顔の見た目印象の決定因子の抽出の過程において、物理量と目視評価値とを解析して得られた相関関係を示す式や、物理量と生理学的量とを解析して得られた相関関係を示す式などの情報を保持する。

なお、本発明に係る顔印象解析装置は、演算装置と、主記憶装置と、補助記憶装置と、各種の入出力装置と、を備える、汎用的なコンピュータ装置を用い、その補助記憶装置に、コンピュータ装置を先述した各手段として機能させるための顔印象解析プログラムを記憶させることで実現する。そして、該コンピュータ装置を顔印象解析装置として機能させる際には、顔印象解析プログラムを必要に応じて主記憶装置上に展開し、演算装置による処理を行う。

また、動画像取得手段１としてカメラ装置を用い、それによって得た動画像を物理量測定手段２へと受け渡す構成や、相関関係記憶手段３を汎用的なサーバ装置によって実現する構成など、任意の複数機器を、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）接続や記録メディアを用いたデータの受け渡し、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク経由での通信を可能に構成してもよい。

＜動画像の取得＞
図４は、顔印象解析装置による、被験者の顔の見た目印象の鑑別方法を示すフローチャートである。まず、ステップＳ４１において、動画像取得手段１を用いて、被験者の顔の表情変化を含む動画像を取得する。なお、ステレオ動画像取得手段１１によって、被験者の顔の表情変化を含むステレオ動画像を取得してもよい。また、この際に、後の物理量の測定において特徴点として使用するマーカーを、被験者の顔に予め設置した動画像を取得してもよい。

＜物理量の測定＞
そして、ステップＳ４２において、物理量測定手段２を用いて、物理量の測定を行う。
ここでは、先に図２を参照して説明した内容と同様の処理にて、先述した顔の見た目印象の決定因子の抽出方法によって、顔の見た目印象の決定因子として抽出された物理量の算出を行う。

図２（ａ）に示す動きベクトルを用いた物理量の算出を行う場合には、ステップＳ２１の特徴点抽出処理を特徴点抽出手段２１によって行い、ステップＳ２２の動きベクトルの特定処理を動きベクトル特定手段２２によって行った後、ステップＳ２３の動きベクトル解析処理を動きベクトル解析手段２３によって行う。

図２（ｂ）に示す特徴点座標を用いた物理量の算出を行う場合には、ステップＳ３１の特徴点抽出処理を特徴点抽出手段２１によって行い、ステップＳ３２の特徴点座標の算出処理を特徴点座標算出手段２４によって行った後、ステップＳ３３の特徴点座標の追跡処理を特徴点追跡手段２５によって行う。

また、ステップＳ４１においてステレオ動画像を取得していた場合には、ステップＳ３２においてステレオ法などの任意の方法での三次元空間における特徴点座標を算出し、ステップＳ３３で三次元空間における特徴点の座標変化の追跡を行ってもよい。

なお、動きベクトルを用いた物理量の測定と、特徴点座標を用いた物理量の測定の両方を用いて物理量の算出を行う場合には、ステップＳ２１とステップＳ３１における特徴点座標算出処理は、どちらか一方のみを行って特徴点を共有する構成としてもよいし、それぞれの手法において効果的に物理量を測定するために、ステップＳ２１とステップＳ３１を共に実行してそれぞれ異なる特徴点を抽出する構成としてもよい。

＜顔の見た目印象の解析＞
ステップＳ４３では、ステップＳ４２で測定した物理量の解析を行い、顔の見た目印象の鑑別を行う。それにより、被験者の顔の見た目印象の目視評価値と、被験者の顔の皮膚に関する生理学的量のうちの、少なくとも１つの算出を行う。

図５（ａ）は、目視評価値算出手段４による目視評価値の算出処理を示すフローチャートである。まず、ステップＳ５１で、相関関係記憶手段３より、物理量と目視評価値との相関関係データを取得する。

そして、ステップＳ５２において、ステップＳ４２で取得した物理量と、ステップＳ５１で取得した相関関係データとに基づいて、目視評価値の算出を行う。算出された目視評価値から、被験者の顔の見た目印象の鑑別を行うことができる。

図５（ｂ）は、生理学的量算出手段５による生理学的量の算出処理を示すフローチャートである。こちらについても、上述の目視評価値の算出処理と同様の処理であり、まずステップＳ６１で、相関関係記憶手段３より、物理量と生理学的量との相関関係データを取得する。

そして、ステップＳ６２において、ステップＳ４２で取得した物理量と、ステップＳ６１で取得した相関関係データとに基づいて、生理学的量の算出を行う。算出された生理学的量から、被験者の顔の見た目印象の鑑別を行うことができる。

以上のように、被験者の顔の表情変化を含む動画像を解析することによって物理量を測定し、該被験者についての物理量から、物理量と目視評価値又は生理学的量との相関関係に基づいて、被験者についての目視評価値及び／又は生理学的量を算出し、算出値から被験者の顔の見た目印象の鑑別を行うことができる。

なお、ステレオ動画像取得手段１１を用いてステレオ動画像を取得すれば、物理量測定手段２によって三次元的な解析を行うことが可能となるが、ステレオ動画像取得手段１１は一般的な単眼カメラなどと比較して高価である。そのため、ステレオ動画像取得手段１１を省略し、一般的な単眼カメラなどを動画像取得手段１として備え、物理量測定手段２によって二次元的な解析のみを行う構成としてもよい。このような構成とすることにより、顔印象解析装置を低コストに実現することができる。

また、本発明に係る顔の見た目印象の鑑別方法及び顔印象解析装置の利用方法として、化粧効果の鑑別方法が挙げられる。これはすなわち、被験者の化粧前の顔の動画像を用いて行った見た目印象の解析結果と、被験者の化粧後の顔の動画像を用いて行った見た目印象の解析とを比較することにより、化粧が見た目印象へ及ぼした効果を鑑別するものである。

以下に、顔の見た目の年齢印象の目視評価値の取得、印象決定部位の抽出、及び物理量の測定についての実施例を挙げて、本発明について更に詳細に説明を加えるが、本発明がこの実施例にのみ限定されないことは言うまでもない。

［１］動画像と連続静止画像による目視評価値の取得
＜動画像の取得＞
２０人の評価対象（年齢は２０〜６０歳代）について、顔の表情変化を含む９秒間の動画像を撮影した。そして、動画像中より、表情変化前の１フレームと、表情変化後の１フレームとを、共に静止画像として抽出し、それらの２フレームのみを９秒間に表示する、連続静止画像を作成した。図６（ａ）に動画像の模式図を、図６（ｂ）に連続静止画像の模式図を、それぞれ示す。

＜目視評価値の取得＞
モニターを用いて１５人の評価者に、上記の動画像又は連続静止画像を、ランダムに表示し、顔の見た目の年齢印象の目視評価値の取得を行った。評価者への動画像及び連続静止画像の提示の際には、視線解析装置を用いて、評価者の視線が動画像及び静止画像のどの領域に何回、何秒間滞留するかの解析を行った。図７に、評価者への動画像及び静止画像の提示方法の模式図を示す。

まず、図７（ａ）に示すように、これから数字が表示され、次いで評価対象の顔が表示されること、そして、数字の世代の前半か後半かの回答を求める指示を提示した。これにより、この後表示される動画像又は連続静止画像を見る際に、評価者は評価対象の年齢印象についての判別を意識することになる。

次いで、図７（ｂ）に示すように、数字を表示した。この数字は、この後に動画像又は連続静止画像中の評価対象の実年齢の１の位を切り捨てたものである。本実施例における対象の年齢は先述の通り２０〜６０歳代であるので、２０、３０、４０、５０、６０のうちの何れかの数字を表示した。

そして、図７（ｃ）に示すように、９秒間の動画像あるいは連続静止画像を表示し、その後、図７（ｄ）に示すように、図７（ｃ）で表示した評価対象が、図７（ｂ）で表示した数字の世代の前半か後半かの回答を求めた。

すなわち、図７に示した一例では、評価対象の年齢が３０〜３９歳の間の何れかであり、評価者はそれに対して、３０代前半か３０代後半かの回答を行った。

上記のような手順で取得した評価者の回答において、評価者が世代の後半であると評価した場合には、すなわち、評価対象に対して老化印象を感じたものであると判断できる。

図８は、評価者より取得した目視評価値を全評価対象について集計したものである。ここに示すように、連続静止画像よりも動画像の方が評価者へと高い年齢印象を与えたことが読み取れる。これより、動画像に含まれる表情変化中の動きに、評価者へと高い年齢印象を与える因子が含まれていることがわかる。

＜印象決定部位の抽出＞
ある評価対象についての動画像及び連続静止画像を表示した際の評価者の視線解析結果を、図９に示す。図９（ａ）は評価対象の動画像を表示した際に、図９（ｂ）は評価対象の連続静止画像を表示した際に、評価者の視線の滞留が多く見られた点を示すものである。

これらの視線解析結果を見ると、動画像、連続静止画像のどちらを表示した場合についても、評価者は評価対象の頬及び目の周辺に着目していたことがわかる。これより、顔の見た目の年齢印象の決定部位は、頬及び目の周辺部であることが見いだされた。

また、動画像と連続静止画像のどちらについても年齢印象の決定部位が同一であるにもかかわらず、動画像の方が与える年齢印象が高いことより、年齢印象の決定因子は、年齢印象の決定部位における表情変化時の動きによって生じる物理量にあることが見いだされた。

［２］モーションキャプチャによる物理量の測定
＜動画像の取得＞
２０代から６０代の３０人の女性を評価対象として、その顔に反射マーカーを、計測点を示すためのマーカーとして貼り付け、複数のカメラによって各評価対象の表情変化を含む動画像の撮影を行った。そして、この動画像を解析することにより、マーカーの三次元的な座標の変化を追跡する、モーションキャプチャを行った。また、評価者へ動画像を提示し、各評価対象の年齢の目視評価値の取得を行った。

ここでは、真顔の状態から、図１０（ａ）に示すような口を大きく開いた状態へ、そして図１０（ｂ）に示すような口を閉じた表情をとった後に、再度真顔に戻る、という一連の表情変化を含む動画を、モーションキャプチャ及び目視評価値の取得に用いた。

そして、下記に示すように、マーカーの移動位置、移動量、移動速度、２つのマーカーの動きの関係性、３つ以上のマーカーによって囲まれる面積の時間変化のそれぞれについて解析を行い、物理量を抽出した。

＜マーカーの移動速度の測定＞
各評価対象の顔におけるマーカーの移動の追跡をおこない、その移動速度の測定を行ったところ、図１１に示すような結果が得られた。

図１１（ａ）は、年齢の目視評価値が実年齢よりも高かった評価対象、すなわち、見た目の年齢印象の高い評価対象の、図１１（ｂ）は、年齢の目視評価値が実年齢よりも低かった評価対象、すなわち、見た目の年齢印象の低い評価対象の、それぞれにおけるマーカーの移動速度の時間変化を示すグラフである。なお、これは、縦軸にマーカーの移動速度を、横軸に、動画像中におけるフレーム数を時間要素として採用したものである。また、真顔の状態から図１０（ａ）に示したような口を大きく開いた表情への表情変化時のマーカーの速度方向を伸び方向の速さ、図１０（ｂ）に示したような口を閉じた表情への表情変化時のマーカーの移動速度を縮み方向の速さとして示した。

ここに示すように、老けて見える評価対象の特徴点の速度変化のグラフは、若く見える評価対象のそれに比べ、鋭いピークを持ち、速度の収束が早い結果となった。すなわち、老けて見える評価対象の特徴点の移動速度の変化は、若く見える評価対象のそれに比べて激しいものであると言える。

図１２は、図１１（ａ）に示した、老けて見える評価対象の特徴点の移動の速さと、図１１（ｂ）に示した、若く見える評価対象の特徴点の移動の速さのそれぞれを積算し、それぞれのグラフの面積を算出したグラフである。

図１２において、若く見える評価対象の方が、グラフ面積が大きくなっていることからも、若く見える評価対象の特徴点の移動速度の変化が、老けて見える評価対象のそれよりも緩やかであることが読み取れる。

この結果より、表情の変化に対して、特徴点、すなわち皮膚の動きが緩やかに追従するような、しなやかな動きが、評価者に対して若く見える印象を与える可能性が見いだされた。

＜２つのマーカーの動きの関係性＞
図１３は、評価対象の顔の左側面部に設定されたマーカーを示す図である。ここに示すように、額の上部のマーカーを基準点Ｍ０として、頬の２点のマーカーＭ１、マーカーＭ２、及び顎に位置するマーカーＭ３を設定した。

そして、図１４（ａ）に示すような真顔の状態から、図１４（ｂ）に示すような口を大きく開いた表情への変化の際の、基準点Ｍ０とマーカーＭ１との間の距離Ｌ１の単位時間当たりの変化量Ｖ１と、基準点Ｍ０とマーカーＭ２との間の距離Ｌ２の単位時間当たりの変化量Ｖ２と、基準点Ｍ０とマーカーＭ３との間の距離Ｌ３の単位時間当たりの変化量Ｖ３と、の３つの変化量の時間変化を測定した。これはすなわち、基準点Ｍ０を基準とした、マーカーＭ１、Ｍ２、Ｍ３の相対速度の時間変化であると言える。

上記の測定の結果、図１５のグラフに示すような結果が得られた。図１５（ａ）は、目視評価で若い見た目印象を持つと評価された評価対象の測定結果を示すグラフである。これを見ると、Ｖ１〜Ｖ３の最大値の絶対値は異なるが、それぞれが最大値をとる時刻は非常に近いことが読み取れる。一方で、図１５（ｂ）に示す、目視評価で老けた見た目印象を持つと評価された評価対象の測定結果をみると、Ｖ３が最大値をとった後、遅れてＶ１、Ｖ２が最大値をとるという結果となった。

これはすなわち、老けた見た目印象を持つ評価対象の表情変化においては、マーカーＭ１及びマーカーＭ２によってあらわされる頬の動きが、マーカーＭ３によって示される顎の動きよりも遅れていると言える。

この結果より、表情変化時の頬の動きの追従性が良い場合に、評価者に対して若く見える印象を与える可能性が見いだされた。

＜３つ以上のマーカーによって囲まれる面積の時間変化＞
図１６に示すように、３つのマーカーによって囲まれる顎部Ａ１と、４つのマーカーによって囲まれる頬部Ａ２と、の２つの領域を設定した。そして、表情変化時における、それぞれの領域の面積の時間変化を測定し、それらの値を時間積算した結果を、各領域における皮膚の伸縮率として算出すると、図１７のグラフに示すような結果が得られた。

図１７（ａ）は、目視評価で若い見た目印象を持つと評価された評価対象の測定結果を示すグラフである。また、図１７（ｂ）は、目視評価で老けた見た目印象を持つと評価された評価対象の測定結果を示すグラフである。これらを比較すると、若い見た目印象を持つ評価対象は、顎部Ａ１よりも頬部Ａ２の伸縮率が高いのに対して、老けた見た目印象を持つ評価対象は、顎部Ａ１よりも頬部Ａ２の伸縮性が低いという結果が得られた。

この結果より、頬部Ａ２の皮膚が顎部Ａ１と比較して柔軟に伸縮する場合に、評価者に対して若く見える印象を与える可能性が見いだされた。

［３］オプティカルフロー法による物理量の測定
＜動画像の取得＞
２０代から６０代の８０人の女性の評価対象のそれぞれについて、顔の表情変化を含む二次元の動画像の撮影を行った。そして、動画像中にグリッド状の格子点を設定し、動画像中の各フレーム間の濃淡変化から、図１８に示すように、各フレームの各格子点における、皮膚の動きベクトルを求めた。また、動画像を評価者へ提示し、各評価対象の年齢の目視評価値の取得を行った。

なお、動画像の解析と、目視評価値の取得には、真顔から図１９（ａ）の口を開けた表情をとり、図１９（ｂ）の真顔を経て、図１９（ｃ）に示すような表情へと変化し、また真顔に戻る動画像を用いた。

＜動きベクトルの変化＞
表情変化中における動きベクトルの大きさ、すなわち、皮膚の動きの速さを、頬部位領域について解析した結果、図２０に示すようなグラフが得られた。これは、縦軸を各フレームにおける動きベクトルの大きさの平均値、横軸をフレーム数、すなわち時間軸として、皮膚の動きの速さの時間変化を示すものである。これを見ると、グラフ中に実線で示す、目視評価で若い見た目印象を持つと評価された評価対象の測定結果に比べて、グラフ中に破線で示す目視評価で老けた見た目印象を持つと評価された評価対象の測定結果は、特に図１９（ｃ）に示すような表情への変化時において、鋭いピークを持つ形状となった。

図２１は、図２０に示した、老けて見える評価対象の皮膚の動きの速さと、若く見える評価対象の皮膚の動きの速さの収束する時間幅を算出した結果を示すグラフである。これを見ると、先に図１２を参照して説明した、モーションキャプチャ動画による表情変化時のマーカーの動きの速さの測定結果が示す皮膚物性と同じように、若く見える評価対象の方が、グラフ値が大きくなっており、動きの変化が緩やかであることが読み取れる。

すなわち、評価対象の顔へとマーカーを物理的に設置し、複数台のカメラを用いて撮影することが必要となる三次元動画モーションキャプチャによる解析に代えて、簡単に撮影することのできる二次元動画像のオプティカルフロー法による解析によっても、同様の解析結果が得られる可能性が示唆された。

本発明は、化粧品販売、カウンセリング、エステティック等の場面で、顧客の見た目の年齢印象等を簡便かつ正確に鑑別することなどに利用できる。

１ 動画像取得手段
１１ ステレオ動画像取得手段
２ 物理量測定手段
２１ 特徴点抽出手段
２２ 動きベクトル特定手段
２３ 動きベクトル解析手段
２４ 特徴点座標算出手段
２５ 特徴点追跡手段
３ 相関関係記憶手段
４ 目視評価値算出手段
５ 生理学的量算出手段

Claims (10)

1. 顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量を、複数の評価対象についてそれぞれ複数種類測定する物理量測定工程と、
   前記複数の評価対象について、皮膚に関する生理学的量を測定する、生理学的量測定工程と、
   複数種類の前記物理量と前記生理学的量との相関関係を解析して、前記物理量の中から、前記生理学的量と相関関係の高い因子を顔の見た目印象の決定因子として抽出する、因子抽出工程と、を含むことを特徴とする、顔の見た目印象の決定因子の抽出方法。
2. 前記物理量測定工程が、前記顔に複数のマーカーを設定して撮影されたモーションキャプチャ動画像より、前記物理量として前記マーカーに関する量を測定する工程を含むことを特徴とする、請求項１に記載の顔の見た目印象の決定因子の抽出方法。
3. 前記マーカーに関する量が、前記マーカーの位置、移動量、速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも１つを含むことを特徴とする、請求項２に記載の顔の見た目印象の決定因子の抽出方法。
4. 前記マーカーに関する量が、複数の前記マーカーの間の距離の時間変化に関する量を含むことを特徴とする、請求項２又は請求項３に記載の顔の見た目印象の決定因子の抽出方法。
5. 前記マーカーに関する量が、３つ以上の前記マーカーによって形成される面の面積及び／又は形状を示す値の時間変化に関する量を含むことを特徴とする、請求項２から請求項４の何れかに記載の顔の見た目印象の決定因子の抽出方法。
6. 前記物理量測定工程が、前記顔に複数の格子点を設定する格子点設定工程を有し、
   前記物理量が、前記格子点に関する量を含むことを特徴とする、請求項１から請求項５の何れかに記載の顔の見た目印象の決定因子の抽出方法。
7. 前記格子点に関する量が、前記格子点毎の速度ベクトルの大きさ及び／又は向きの時間変化に関する量を含むことを特徴とする、請求項６に記載の顔の見た目印象の決定因子の抽出方法。
8. 前記複数の評価対象について、前記顔の表情変化を含む動的情報を評価者に提示して顔の見た目印象の目視評価値を得る、目視評価値取得工程を有し、
   前記因子抽出工程が、前記物理量と前記目視評価値との相関関係を解析して前記因子を抽出することを含むこと特徴とする、請求項１から請求項７の何れかに記載の顔の見た目印象の決定因子の抽出方法。
9. 前記生理学的量が、前記印象決定部位における皮膚表面物性及び／又は内部物性であることを特徴とする、請求項１から請求項８の何れかに記載の顔の見た目印象の決定因子の抽出方法。
10. 前記顔の見た目印象が年齢印象であることを特徴とする、請求項１から請求項９の何れかに記載の顔の見た目印象の決定因子の抽出方法。
    

Images