JP7153112B2 - Evaluation method, evaluation device and evaluation program - Google Patents

Evaluation method, evaluation device and evaluation program Download PDF

Info

Publication number
JP7153112B2
JP7153112B2 JP2021098225A JP2021098225A JP7153112B2 JP 7153112 B2 JP7153112 B2 JP 7153112B2 JP 2021098225 A JP2021098225 A JP 2021098225A JP 2021098225 A JP2021098225 A JP 2021098225A JP 7153112 B2 JP7153112 B2 JP 7153112B2
Authority
JP
Japan
Prior art keywords
skin
impression
face
physical quantity
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021098225A
Other languages
Japanese (ja)
Other versions
JP2021128807A (en
Inventor
興治 水越
元紀 黒住
麻耶 本郷
次郎 藪崎
みゆき 蒲池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pola Chemical Industries Inc
Original Assignee
Pola Chemical Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pola Chemical Industries Inc filed Critical Pola Chemical Industries Inc
Publication of JP2021128807A publication Critical patent/JP2021128807A/en
Application granted granted Critical
Publication of JP7153112B2 publication Critical patent/JP7153112B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法、顔印象解析装置、顔印象解析プログラム、顔の見た目印象の解析方法に関するものである。 The present invention provides a method for extracting a determining part of a facial visual impression, a method for extracting a determinant of a facial visual impression, a method for discriminating a facial visual impression, a facial impression analysis device, a facial impression analysis program, and a facial visual impression analysis. It is about the method.

人は、その外観や言動などの様々な要因によって、他者に対して多種多様な印象を与える。その中でも、視覚的な情報、特に顔の見た目は、その人の印象を決める非常に大きな要因の一つであるといえる。 People give a wide variety of impressions to others depending on various factors such as their appearance and behavior. Among them, it can be said that visual information, particularly the appearance of a face, is one of the very important factors that determine the impression of a person.

そのため、人の顔の見た目の印象を客観的に推定する技術について研究がおこなわれている。例えば、特許文献1には、被験者の目尻のような解析領域に予め複数の追跡点を配置して動画像を撮影し、表情の変化に伴う追跡点の変化量を追跡して肌の圧縮率を取得することによって、被験者の肌状態を解析する技術が公開されている。 Therefore, research is being conducted on techniques for objectively estimating the visual impression of a person's face. For example, in Patent Document 1, a plurality of tracking points are arranged in advance in an analysis area such as the outer corner of the eye of a subject, and a moving image is captured. A technique for analyzing the skin condition of a subject by obtaining the is disclosed.

特開2014-193197号公報JP 2014-193197 A

先述の通り、被験者の顔の見た目の印象を客観的に推定するためのパラメータについて検討されてきたが、これは、被験者の顔の特定の部位より、特定のパラメータを取得するものに過ぎない。 As mentioned above, parameters for objectively estimating the visual impression of a subject's face have been studied, but this is nothing more than acquiring specific parameters from specific parts of the subject's face.

しかし、人の見た目の印象は、種々の因子によって形成されており、より正確な推定手段が望まれていた。 However, a person's visual impression is formed by various factors, and a more accurate estimation means has been desired.

そこで、本発明では、顔の見た目印象への影響が大きい部位、及び顔の見た目印象と相関関係が高い因子を抽出する方法、その因子に基づいて顔の見た目印象を鑑別する方法を提供することを課題とする。 Therefore, the present invention provides a method for extracting a site that greatly affects the visual impression of the face, a factor that is highly correlated with the visual impression of the face, and a method for discriminating the visual impression of the face based on the factor. is the subject.

上記課題を解決するために、本発明に係る顔の見た目印象の決定部位の抽出方法は、
顔の表情変化の動的情報を評価者に提示し、該評価者に顔の見た目印象の評価をさせる目視評価工程と、
前記動的情報を目視する前記評価者の視線データを解析し、前記動的情報中において前記評価者が注視した領域の解析を行う視線解析工程と、を含むことを特徴とする。
In order to solve the above problems, a method for extracting a determining part of a facial visual impression according to the present invention includes:
a visual evaluation step of presenting dynamic information of changes in facial expression to an evaluator and having the evaluator evaluate the visual impression of the face;
and a line-of-sight analysis step of analyzing line-of-sight data of the evaluator viewing the dynamic information, and analyzing a region of the dynamic information gazed at by the evaluator.

これにより、人が動的情報に基づいて顔の見た目印象を評価する際に注目する部位、すなわち、顔の見た目印象を決定する部位を抽出することができる。 This makes it possible to extract the part that a person pays attention to when evaluating the visual impression of the face based on the dynamic information, that is, the part that determines the visual impression of the face.

本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the visual impression of the face is an impression of age.

本発明に係る顔の見た目印象の決定因子の抽出方法は、
顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量を測定する物理量測定工程と、
前記物理量の中から、前記顔の見た目印象と相関関係の高い因子を抽出する、因子抽出工程と、を含むことを特徴とする。
これにより、後述する顔の見た目印象の鑑別において用いる物理量を特定することができる。
The method for extracting determinants of visual impression of a face according to the present invention includes:
a physical quantity measuring step of measuring a physical quantity of a change in skin caused by a change in facial expression at an impression-determining site that determines the visual impression of the face;
and a factor extraction step of extracting a factor highly correlated with the visual impression of the face from the physical quantity.
As a result, it is possible to specify the physical quantity used in discriminating the visual impression of the face, which will be described later.

本発明の好ましい形態では、前記物理量測定工程が、前記顔に複数のマーカーを設定して撮影されたモーションキャプチャ動画像より、前記物理量として前記マーカーに関する量を測定する工程を含むことを特徴とする。 In a preferred embodiment of the present invention, the physical quantity measuring step includes a step of measuring quantities related to the markers as the physical quantities from a motion-capture moving image shot with a plurality of markers set on the face. .

本発明の好ましい形態では、前記マーカーに関する量が、前記マーカーの位置、移動量、速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも1つを含むことを特徴とする。 In a preferred embodiment of the present invention, the quantity relating to the marker includes at least one of the position of the marker, the amount of movement, the magnitude of velocity, the direction of velocity, the magnitude of acceleration, and the direction of acceleration. do.

本発明の好ましい形態では、前記マーカーに関する量が、複数の前記マーカーの間の距離の時間変化に関する量を含むことを特徴とする。 A preferred embodiment of the present invention is characterized in that the amount relating to the markers includes an amount relating to temporal changes in the distances between the plurality of markers.

本発明の好ましい形態では、前記マーカーに関する量が、3つ以上の前記マーカーによって形成される面の面積及び/又は形状を示す値の時間変化に関する量を含むことを特徴とする。 A preferred embodiment of the present invention is characterized in that the amount relating to the markers includes an amount relating to time change of values indicating the area and/or shape of the surface formed by the three or more markers.

本発明の好ましい形態では、前記物理量測定工程が、前記顔に複数の格子点を設定する格子点設定工程を有し、
前記物理量が、前記格子点に関する量を含むことを特徴とする。
In a preferred embodiment of the present invention, the physical quantity measurement step includes a grid point setting step of setting a plurality of grid points on the face,
The physical quantity includes a quantity relating to the lattice points.

本発明の好ましい形態では、前記格子点に関する量が、前記格子点毎の速度ベクトルの大きさ及び/又は向きの時間変化に関する量を含むことを特徴とする。 A preferred embodiment of the present invention is characterized in that the quantities relating to the grid points include quantities relating to temporal changes in the magnitude and/or direction of the velocity vector for each of the grid points.

本発明の好ましい形態では、顔の見た目印象の決定因子の抽出方法が、前記顔の表情変化を含む動的情報を評価者に提示して顔の見た目印象の目視評価値を得る、目視評価値取得工程を有し、
前記因子抽出工程が、前記物理量と前記目視評価値との相関関係を解析して前記因子を抽出することを含むこと特徴とする。
目視評価値を用いることによって、実際に人が顔を目視した際に受ける印象と相関関係の高い因子を抽出することができる。
In a preferred embodiment of the present invention, the method for extracting determinants of visual impression of a face comprises visual evaluation values obtained by presenting dynamic information including changes in facial expression to an evaluator to obtain visual evaluation values of visual impression of the face. having an acquisition step;
The factor extracting step includes extracting the factor by analyzing the correlation between the physical quantity and the visual evaluation value.
By using the visual evaluation value, it is possible to extract factors that are highly correlated with the impression that a person receives when actually looking at the face.

本発明の好ましい形態では、顔の見た目印象の決定因子の抽出方法が、皮膚に関する生理学的量を測定する、生理学的量測定工程を有し、
前記因子抽出工程が、前記物理量と前記生理学的量との相関関係を解析して前記因子を抽出すること含むことを特徴とする。
生理学的量を用いることによって、実際に皮膚等の生体組織における生理学的現象と相関関係の高い顔の見た目印象の決定因子を抽出することができる。
In a preferred form of the present invention, a method for extracting determinants of a facial visual impression comprises a physiological quantity measurement step of measuring a physiological quantity relating to the skin,
The factor extraction step includes extracting the factor by analyzing the correlation between the physical quantity and the physiological quantity.
By using the physiological quantity, it is possible to extract determinants of facial visual impressions that are highly correlated with physiological phenomena in body tissues such as skin.

本発明の好ましい形態では、前記生理学的量が、前記印象決定部位における皮膚表面物性及び/又は内部物性であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the physiological quantity is skin surface physical properties and/or internal physical properties at the impression-determining site.

本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the visual impression of the face is an impression of age.

本発明の好ましい形態では、前記物理量が、前記印象決定部位における皮膚の運動に関する量であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the physical quantity is a quantity relating to skin movement at the impression-determining site.

本発明に係る顔の見た目印象の鑑別方法は、
顔の見た目印象を決定する印象決定部位における、顔の表情変化によって生じる皮膚変化の物理量に基づいて、被験者の顔の見た目印象を鑑別することを特徴とする。
印象決定部位に生じる物理量を用いることによって、他者に与える顔の見た目印象をより正確に鑑別することができる。
The method for distinguishing the visual impression of a face according to the present invention includes:
The visual impression of the subject's face is discriminated based on the physical quantity of the skin change caused by the change in facial expression at the impression determining site that determines the visual impression of the face.
By using the physical quantity generated in the impression-determining part, it is possible to more accurately discriminate the visual impression of the face given to others.

本発明の好ましい形態では、前記物理量が、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも1つを含むことを特徴とする。 In a preferred embodiment of the present invention, the physical quantity includes at least one of a magnitude of movement speed, a direction of speed, a magnitude of acceleration, and a direction of acceleration of feature points included in the face. do.

本発明の好ましい形態では、前記物理量が、前記顔に含まれる1つの基準点と、前記顔に含まれる少なくとも2つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする。 In a preferred embodiment of the present invention, the physical quantity includes a quantity relating to temporal change in distance between one reference point included in the face and each of at least two feature points included in the face. do.

本発明の好ましい形態では、前記物理量が、前記顔に含まれる少なくとも3つの特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする。 A preferred embodiment of the present invention is characterized in that the physical quantity includes a quantity related to time change of an area surrounded by at least three feature points included in the face.

本発明の好ましい形態では、前記顔の見た目印象の鑑別が、前記物理量と、顔の見た目印象の目視評価値との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の顔の見た目印象の目視評価値を算出することを含むことを特徴とする。 In a preferred embodiment of the present invention, the visual impression of the face is discriminated based on the correlation between the physical quantity and the visual evaluation value of the visual impression of the face, and the visual impression of the face of the subject is determined from the measured value of the physical quantity of the subject. It is characterized by including calculating a visual evaluation value of the impression.

本発明の好ましい形態では、前記顔の見た目印象の鑑別が、前記物理量と、皮膚に関する生理学的量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚に関する生理学的量を算出することを含むことを特徴とする。 In a preferred embodiment of the present invention, the discrimination of the visual impression of the face is based on the correlation between the physical quantity and the physiological quantity relating to the skin, and the physiological quantity relating to the skin of the subject is calculated from the measured value of the physical quantity relating to the subject. It is characterized by including calculating.

本発明の好ましい形態では、前記生理学的量が、前記印象決定部位における皮膚表面物性及び/又は内部物性であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the physiological quantity is skin surface physical properties and/or internal physical properties at the impression-determining site.

本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the visual impression of the face is an impression of age.

本発明の好ましい形態では、前記物理量が、前記印象決定部位における皮膚の運動に関する量であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the physical quantity is a quantity relating to skin movement at the impression-determining site.

本発明に係る顔印象解析装置は、
表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、顔印象解析装置であって、
前記表情変化の過程を含む動画像を取得する動画像取得手段と、
前記動画像より、前記表情変化によって生じる物理量を測定する、物理量測定手段と、を備えることを特徴とする。
このような構成の装置とすることにより、本発明に係る顔の見た目印象の鑑別方法を実施することができる。
The facial impression analysis device according to the present invention includes:
A facial impression analysis device that analyzes the visual impression of a subject's face based on the movement of the skin when the facial expression changes,
a moving image acquiring means for acquiring a moving image including the facial expression change process;
and physical quantity measuring means for measuring a physical quantity caused by the facial expression change from the moving image.
With the device having such a configuration, it is possible to carry out the method for discriminating a visual impression of a face according to the present invention.

本発明の好ましい形態では、前記物理量測定手段が、前記動画像より複数の特徴点を抽出する特徴点抽出手段と、
前記動画像より前記特徴点の動きベクトルを特定する動きベクトル特定手段と、
前記動きベクトルを解析し、前記物理量を算出する動きベクトル解析手段と、を有することを特徴とする。
In a preferred embodiment of the present invention, the physical quantity measuring means includes feature point extraction means for extracting a plurality of feature points from the moving image;
motion vector identification means for identifying a motion vector of the feature point from the moving image;
and motion vector analysis means for analyzing the motion vector and calculating the physical quantity.

本発明の好ましい形態では、前記物理量が、前記動きベクトルの大きさ及び/又は向きの時間変化に関する量を含むことを特徴とする。 A preferred embodiment of the present invention is characterized in that the physical quantity includes a quantity relating to temporal change in magnitude and/or direction of the motion vector.

本発明の好ましい形態では、前記物理量測定手段が、前記動画像より複数の特徴点を抽出する特徴点抽出手段と、
前記動画像の各フレームにおける前記特徴点の座標を算出する特徴点座標算出手段と、
前記各フレーム間において対応する前記特徴点を特定し、前記物理量を算出する特徴点追跡手段と、を有することを特徴とする。
In a preferred embodiment of the present invention, the physical quantity measuring means includes feature point extraction means for extracting a plurality of feature points from the moving image;
feature point coordinate calculation means for calculating the coordinates of the feature points in each frame of the moving image;
and feature point tracking means for identifying the corresponding feature points between the frames and calculating the physical quantity.

本発明の好ましい形態では、前記物理量が、少なくとも1つの前記特徴点の、座標の変位量、移動速度、加速度、移動方向、加速度の方向の内、少なくとも1つを含むことを特徴とする。 In a preferred embodiment of the present invention, the physical quantity includes at least one of coordinate displacement amount, moving speed, acceleration, moving direction, and acceleration direction of at least one feature point.

本発明の好ましい形態では、前記物理量が、前記顔に含まれる1つの基準点と、前記顔に含まれる少なくとも2つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする。 In a preferred embodiment of the present invention, the physical quantity includes a quantity relating to temporal change in distance between one reference point included in the face and each of at least two feature points included in the face. do.

本発明の好ましい形態では、前記物理量が、少なくとも3つの前記特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする。 A preferred embodiment of the present invention is characterized in that the physical quantity includes a quantity relating to time change of the area surrounded by the at least three feature points.

本発明の好ましい形態では、前記物理量の測定を、顔の見た目印象を決定する印象決定部位に対して行うことを特徴とする。 A preferred embodiment of the present invention is characterized in that the physical quantity is measured with respect to an impression-determining part that determines the visual impression of the face.

本発明の好ましい形態では、前記顔の見た目印象が年齢印象であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the visual impression of the face is an impression of age.

本発明の好ましい形態では、前記顔印象解析装置は、前記物理量と、顔を目視評価して得られた顔の見た目印象の目視評価値との相関関係を記憶する、相関関係記憶手段を有し、
該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の見た目印象の目視評価値を算出する、目視評価値算出手段を有することを特徴とする。
In a preferred embodiment of the present invention, the facial impression analysis device has correlation storage means for storing a correlation between the physical quantity and a visual evaluation value of the visual impression of the face obtained by visual evaluation of the face. ,
The present invention further comprises visual evaluation value calculation means for calculating a visual evaluation value of the subject's visual impression from the measured values of the physical quantities of the subject based on the correlation stored in the correlation storage means.

本発明の好ましい形態では、前記顔印象解析装置は、前記物理量と、皮膚に関する生理学的量との相関関係を記憶する、相関関係記憶手段を有し、
該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の生理学的量を算出する、生理学的量算出手段を有することを特徴とする。
In a preferred embodiment of the present invention, the facial impression analysis device has correlation storage means for storing a correlation between the physical quantity and a physiological quantity relating to skin,
The apparatus is characterized by comprising physiological quantity calculation means for calculating a physiological quantity of the subject's skin from the measured values of the physical quantity of the subject based on the correlation stored in the correlation storage means.

本発明の好ましい形態では、前記生理学的量が、前記印象決定部位における皮膚表面物性及び/又は内部物性であることを特徴とする。 A preferred embodiment of the present invention is characterized in that the physiological quantity is skin surface physical properties and/or internal physical properties at the impression-determining site.

本発明に係る顔印象解析プログラムは、
表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、顔印象解析プログラムであって、
コンピュータを、
顔の表情変化によって生じる皮膚変化の物理量を測定する手段と、
前記物理量に基づいて被験者の顔の見た目印象を鑑別する手段と、
として機能させることを特徴とする。
A facial impression analysis program according to the present invention includes:
A facial impression analysis program that analyzes the visual impression of a subject's face based on the movement of the skin when the facial expression changes,
the computer,
means for measuring physical quantities of skin changes caused by facial expression changes;
means for discriminating the visual impression of the subject's face based on the physical quantity;
It is characterized by functioning as

本発明に係る顔の見た目印象の解析方法は、
表情変化時の皮膚の動きに基づいて対象者の顔の見た目印象を解析する、動画像取得手段と、物理量測定手段と、を備える顔印象解析装置を用いた顔の見た目印象の解析方法であって、
前記動画像取得手段が、前記表情変化の過程を含む動画像を取得するステップと、
前記物理量測定手段が、前記表情変化によって生じる物理量を算出するステップと、を備えることを特徴とする。
The method for analyzing the visual impression of a face according to the present invention includes:
A facial visual impression analysis method using a facial impression analysis device comprising moving image acquiring means and physical quantity measuring means for analyzing the visual impression of a subject's face based on the movement of the skin when the expression changes. hand,
a step in which the moving image acquiring means acquires a moving image including the process of the facial expression change;
and calculating a physical quantity caused by the facial expression change by the physical quantity measuring means.

本発明に係る化粧効果の鑑別方法は、
顔の表情変化によって生じる皮膚変化の物理量に基づいた被験者の顔の見た目印象の鑑別による化粧効果の鑑別方法であって、
化粧前の顔の表情変化によって生じる、化粧前の前記物理量を抽出する化粧前物理量測定工程と、
前記物理量と前記顔の見た目印象の目視評価値の相関関係に基づいて、化粧前の目視評価値を算出する化粧前目視評価値算出工程と、
化粧後の顔の表情変化によって生じる、化粧後の前記物理量を抽出する化粧後物理量測定工程と、
前記相関関係に基づいて、化粧後の目視評価値を算出する化粧後目視評価値算出工程と、
前記化粧前の目視評価値と、前記化粧後の目視評価値と、を比較し、化粧効果を評価する化粧効果評価工程と、を備えることを特徴とする。
The method for distinguishing cosmetic effects according to the present invention includes:
A method for discriminating cosmetic effects by discriminating the visual impression of a subject's face based on physical quantities of skin changes caused by changes in facial expression,
a pre-makeup physical quantity measurement step of extracting the physical quantity before makeup caused by a change in facial expression before makeup;
a pre-makeup visual evaluation value calculation step of calculating a pre-makeup visual evaluation value based on the correlation between the physical quantity and the visual evaluation value of the visual impression of the face;
A post-makeup physical quantity measurement step of extracting the physical quantity after makeup caused by a change in facial expression after makeup;
A post-makeup visual evaluation value calculation step of calculating a post-makeup visual evaluation value based on the correlation;
and a cosmetic effect evaluation step of comparing the visual evaluation value before makeup and the visual evaluation value after makeup to evaluate the cosmetic effect.

表情変化によって生じる物理量のうち、顔の見た目の印象を決定する部位における、顔の見た目印象と相関関係が高い物理量(決定因子)を顔の見た目印象を鑑別するための指標として用いることにより、実際に人が目視によって受ける顔の見た目印象を、簡便にかつ正確に鑑別することができる。 Of the physical quantities generated by changes in facial expression, physical quantities (determinants) that are highly correlated with the visual impression of the face in the parts that determine the visual impression of the face are used as indices for discriminating the visual impression of the face. It is possible to simply and accurately discriminate the visual impression of a face that a person receives visually.

本発明に係る顔の見た目印象の決定部位の抽出方法、及び顔の見た目印象の決定因子の抽出方法を示すフローチャートである。4 is a flow chart showing a method of extracting a determining part of a facial visual impression and a method of extracting a determinant of a facial visual impression according to the present invention. 動画像からの物理量の測定処理を示すフローチャートである。4 is a flow chart showing a process of measuring a physical quantity from a moving image; 本発明に係る顔印象解析装置の機能ブロック図である。1 is a functional block diagram of a facial impression analysis device according to the present invention; FIG. 本発明に係る顔印象解析装置による顔の見た目印象の鑑別方法を示すフローチャートである。4 is a flow chart showing a method for discriminating a visual impression of a face by the facial impression analysis device according to the present invention; 本発明に係る顔印象解析装置による目視評価値/生理学的量の算出処理を示すフローチャートである。4 is a flowchart showing visual evaluation value/physiological quantity calculation processing by the facial impression analysis apparatus according to the present invention. 目視評価値の取得に用いる動画像/連続静止画像の例を示す図である。(図面代用写真)FIG. 10 is a diagram showing an example of moving images/continuous still images used for obtaining a visual evaluation value; (Photo substitute for drawing) 目視評価値の取得の際の評価者への動画像/連続静止画像の提示方法を示す図である。(図面代用写真)FIG. 10 is a diagram showing a method of presenting moving images/continuous still images to an evaluator when obtaining a visual evaluation value; (Photo substitute for drawing) 動画像/連続静止画像に対する目視評価値の集計結果を示す図である。FIG. 10 is a diagram showing the total result of visual evaluation values for moving images/continuous still images; 動画像/連続静止画像に対する視線評価の結果の例を示す図である。(図面代用写真)FIG. 10 is a diagram showing an example of a result of line-of-sight evaluation for moving images/continuous still images; (Photo substitute for drawing) 動画像中における評価対象の表情変化を示す図である。(図面代用写真)FIG. 10 is a diagram showing changes in facial expression of an evaluation target in a moving image; (Photo substitute for drawing) 動画像中におけるマーカーの移動速度の時間変化を示す図である。FIG. 10 is a diagram showing temporal changes in moving speed of a marker in a moving image; 動画像中におけるマーカーの移動速度の積算値を示す図である。FIG. 10 is a diagram showing integrated values of moving speeds of markers in a moving image; モーションキャプチャ用のマーカーの配置を示す図である。FIG. 10 is a diagram showing placement of markers for motion capture; 動画像中における評価対象の表情変化を示す図である。(図面代用写真)FIG. 10 is a diagram showing changes in facial expression of an evaluation target in a moving image; (Photo substitute for drawing) 動画像中におけるマーカー間の距離の単位時間当たりの変化量の時間変化を示す図である。It is a figure which shows the time change of the variation|change_quantity per unit time of the distance between the markers in a moving image. 面積の時間変化の解析対象とする領域設定を示す図である。FIG. 10 is a diagram showing setting of a region to be analyzed for changes in area over time; 解析対象領域における皮膚の伸縮率の測定結果を示すグラフである。4 is a graph showing measurement results of skin stretch ratio in an analysis target region. 格子点の設定と動きベクトルの例を示す図である。(図面代用写真)FIG. 4 is a diagram showing an example of grid point setting and motion vectors; (Photo substitute for drawing) 動画像中における評価対象の表情変化を示す図である。(図面代用写真)FIG. 10 is a diagram showing changes in facial expression of an evaluation target in a moving image; (Photo substitute for drawing) 動きベクトルの大きさの時間変化の測定結果を示す図である。FIG. 10 is a diagram showing a measurement result of temporal change in motion vector magnitude; 動画像中の動きベクトルの波形の幅の平均値を示す図である。FIG. 10 is a diagram showing average widths of waveforms of motion vectors in a moving image;

[1]本発明の顔の見た目印象の決定部位の抽出方法及び顔の見た目印象の決定因子の抽出方法
本発明は、顔の表情変化を含む動画像を評価者へと提示して顔の見た目印象の評価を行い、その際の評価者の視線を解析することによって顔の見た目印象の決定部位を抽出する方法、及び動画像より物理量を測定して、その中から顔の見た目印象と相関関係の高い因子を抽出する、顔の見た目印象の決定因子の抽出方法である。
[1] A method of extracting a determining part of a facial visual impression and a method of extracting a determinant of a facial visual impression according to the present invention. A method of evaluating the impression and extracting the determining part of the visual impression of the face by analyzing the gaze of the evaluator at that time, and measuring the physical quantity from the moving image and correlating it with the visual impression of the face from among them. This is a method for extracting determinants of visual impression of a face, which extracts factors with high .

本発明にいう「顔の見た目印象」とは、評価対象の顔を他者が見た際に、視覚的に受ける印象である。例えば、年齢印象について着目すれば、実年齢よりも若く見える、といった若々しさや、あるいは老けて見える、といった老化印象などの印象が挙げられる。また、他にも、評価対象を見た際に感じる魅力など、種々の印象が挙げられる。 The “visual impression of the face” referred to in the present invention is the visual impression received when another person sees the face to be evaluated. For example, focusing on the age impression, there are impressions such as youthful impression such as looking younger than actual age and aging impression such as looking older. In addition, there are various other impressions, such as attractiveness felt when viewing an evaluation target.

図1は、本発明の顔の見た目印象の決定部位の抽出方法、及び顔の見た目印象の決定因子の抽出方法を示すフローチャートである。これを参照して、本発明の顔の見た目印象の決定部位と決定因子の抽出方法について、詳細に説明する。 FIG. 1 is a flow chart showing a method of extracting a determining part of a facial visual impression and a method of extracting a determinant of a facial visual impression according to the present invention. With reference to this, a detailed description will be given of the method of extracting the determinant site and determinant factor of the visual impression of the face according to the present invention.

<動画像の取得>
まず、ステップS11にて、評価対象の顔の動画像を取得する。ここでは、先に述べたように、顔の表情の変化を含む動画像を取得する。
<Acquisition of moving images>
First, in step S11, a moving image of a face to be evaluated is acquired. Here, as described above, a moving image including changes in facial expression is acquired.

ここでは一般的なカメラ装置で評価対象の顔の動画像を撮影した映像を用いてよいが、後の物理量測定工程における画像解析に耐えうる程度の解像度を有していることが好ましい。 A moving image of the face to be evaluated may be used here, which is obtained by shooting a moving image of the face to be evaluated with a general camera device.

なお、一般的に動画像は多数の静止画像(フレーム)の連続によって構成されるものであり、単位時間当たりのフレーム数を表すフレームレートによって、その動きの滑らかさが表される。ここでは、後の目視評価値の取得工程にて評価者に動画像を提示する際に、評価者が、それが単なる静止画像の連続でなく動画像であると知覚できる程度以上のフレームレートを有する動画像を取得することが好ましい。 In general, moving images are composed of a series of many still images (frames), and the smoothness of motion is expressed by the frame rate, which indicates the number of frames per unit time. Here, when presenting a moving image to the evaluator in the subsequent process of obtaining a visual evaluation value, the frame rate should be set at a rate higher than the level at which the evaluator perceives that it is a moving image rather than a series of still images. It is preferable to acquire a moving image with

また、ステレオカメラを用いたステレオ動画像の撮影を行ってもよい。このような構成とすれば、後に説明する物理量測定工程において、三次元的な解析を行うことができる。 Alternatively, a stereo camera may be used to capture stereo moving images. With such a configuration, a three-dimensional analysis can be performed in the physical quantity measurement process described later.

より具体的には、評価対象の顔に複数のマーカーをつけ、その上で評価対象の顔の動画像のステレオカメラによる撮影を行うことで、各マーカーの三次元的な位置の追跡を行うモーションキャプチャを実施することができる。 More specifically, a motion that tracks the three-dimensional position of each marker by attaching multiple markers to the face to be evaluated, and then shooting a moving image of the face to be evaluated with a stereo camera. Capturing can be performed.

<目視評価値の取得>
ステップS12では、動画像に対する目視評価値の取得を行う。これは、ステップS11で取得した動画像を、評価者へと提示し、評価者がその動画像より受けた印象を提示することによって行う。
<Acquisition of visual evaluation value>
In step S12, a visual evaluation value for the moving image is acquired. This is done by presenting the moving image acquired in step S11 to the evaluator and presenting the impression that the evaluator received from the moving image.

例えば、顔の見た目印象のうち、年齢印象についての、決定部位及び決定因子の抽出を目的とする場合であれば、評価対象の顔の表情変化を含む動画像を評価者へと提示し、評価対象の年齢の推定を求める(推定年齢の回答を求める)などの方法がある。また、別の例として、魅力に関する顔の見た目印象の決定因子の抽出を目的とするのであれば、年齢印象の場合と同様に評価対象の顔の表情変化を含む動画像を評価者へと提示した後に、評価対象を魅力的に感じたか否かの回答を求める方法が挙げられる。このようにして得た目視評価値は、評価対象の顔の見た目印象を直接示す値であるといえる。 For example, if the purpose is to extract the determinant parts and determinants of the age impression of the visual impression of the face, a moving image containing changes in the facial expression to be evaluated is presented to the evaluator, and the evaluation is performed. There are methods such as obtaining an estimate of the age of the subject (requiring an estimated age response). As another example, if the purpose is to extract determinants of facial visual impressions related to attractiveness, a moving image containing facial expression changes to be evaluated is presented to the evaluator as in the case of age impression. There is a method of requesting an answer as to whether or not the subject was found attractive after the evaluation. It can be said that the visual evaluation value thus obtained is a value that directly indicates the visual impression of the face to be evaluated.

また、動画像中より、表情変化前の1フレームと、表情変化後の1フレームを静止画像として抽出し、それらの2フレームのみを連続した静止画像として評価者へと提示して、同じように印象の評価を促す工程を設けてもよい。これにより、動的刺激としての動画像が評価者へ与える評価対象の顔の印象との対比として、静的刺激としての連続した静止画像が評価者与える評価対象の顔の印象を取得し、印象決定部位及び印象決定因子の抽出のための解析をより詳細に行うことができる。 In addition, one frame before the expression change and one frame after the expression change were extracted as still images from the moving image, and only those two frames were presented to the evaluator as continuous still images. A step of prompting the evaluation of the impression may be provided. As a result, the impression of the face of the evaluation object given to the evaluator by the continuous still images as the static stimulus is obtained in comparison with the impression of the face of the evaluation object given to the evaluator by the moving image as the dynamic stimulus. More detailed analysis can be performed to extract critical sites and impression determinants.

なお、動画像を評価者へと提示する際には、評価者の視線情報を取得し、評価者が評価対象の顔のどの領域に何回、何秒間視線を滞留させたかといった情報を取得する。 When presenting the moving image to the evaluator, the evaluator's line of sight information is acquired, and information such as how many times and for how many seconds the evaluator holds the line of sight on which area of the evaluation target face is obtained. .

<印象決定部位の抽出>
ステップS13においては、動画像を評価者へと提示した際の、評価者の視線情報を解析し、印象決定部位の抽出を行う。
<Extraction of impression-determining site>
In step S13, the visual line information of the evaluator when the moving image is presented to the evaluator is analyzed to extract impression-determining parts.

ある印象の評価を課した評価者が動画像を観測する際に、多くの回数、また、長時間視線を滞留させた領域は、意識的、無意識的に関わらず、評価者がその印象を判断する際に注視する領域、すなわち、その印象の決定部位を含んでいるといえる。 When an evaluator assigning an evaluation of a certain impression observes the moving image, the evaluator judges the impression regardless of consciously or unconsciously in the area where the gaze is held many times or for a long time. It can be said that it includes the area to be gazed at when doing so, that is, the site that determines the impression.

例えば、動画像に表示された対象の推定年齢の回答を求めることを評価者へ伝え、動画像を提示した際に、評価者の視線が多くの回数、長時間滞留した領域は、年齢印象の決定部位を含んでいる。 For example, when the evaluator is asked to answer the estimated age of the subject displayed in the moving image, and when the moving image is presented, the area where the evaluator's gaze stays many times and stays for a long time may indicate the age impression. Contains decision sites.

ステップS13では、上記のように、目視評価の際に評価者の視線が多く滞留した領域とその周辺を、その見た目印象の決定部位として抽出する。 In step S13, as described above, the area where the evaluator's line of sight stays a lot during the visual evaluation and its surroundings are extracted as the determined parts of the visual impression.

<物理量の測定>
続くステップS14では、動画像の解析を行い、物理量の測定を行う。これは、ステップS13で特定した印象決定部位のみを対象として行ってもよいし、動画像に含まれる全領域を対象として行ってもよい。図2(a)は、二次元の動画像のオプティカルフロー法による解析を行い、それによって得られる皮膚の動きベクトルを用いた物理量の算出処理を示すフローチャートである。
<Measurement of physical quantity>
In the subsequent step S14, the moving image is analyzed and physical quantities are measured. This may be performed for only the impression-determining site specified in step S13, or may be performed for all regions included in the moving image. FIG. 2(a) is a flow chart showing a process of calculating a physical quantity using a skin motion vector obtained by analyzing a two-dimensional moving image by the optical flow method.

まず、ステップS21では、動画像中の各フレームより、特徴点の抽出を行う。ここでは、フレーム中の各画素の輝度値などから皮膚の凹凸を判別して特徴点を設定する方法や、動画像中にグリッド状に特徴点を設定する方法、すなわち、格子状に特徴点を配置する方法など、任意の方法を用いてよい。 First, in step S21, feature points are extracted from each frame in the moving image. Here, a method of determining the unevenness of the skin from the brightness value of each pixel in the frame and setting the feature points, and a method of setting the feature points in a grid pattern in the moving image. Any method, such as an arrangement method, may be used.

そして、ステップS22で、各特徴点の動きベクトルの特定を行う。動きベクトルは、フレーム間における輝度の変化などによって求めることができる。 Then, in step S22, the motion vector of each feature point is specified. A motion vector can be obtained from a change in luminance between frames or the like.

その後、ステップS23で、動きベクトルの解析を行い、顔の表情変化に伴って生じた物理量の算出を行う。ここでの物理量の例としては、先述した特徴点の座標の変位量、移動速度、加速度、移動方向などや、平面の運動の波動性パラメータ、例えば周期、周長など、顔の皮膚の運動に関する量が挙げられる。また、輝度や色調のような光学的な量、それらの変化量や周波数特性などを算出する構成、粒子画像流速測定法(PIV,Perticle Image Velocity)やその他の方法による解析を行う構成としてもよい。 After that, in step S23, the motion vector is analyzed, and the physical quantity caused by the change in facial expression is calculated. Examples of physical quantities here include displacement amount, movement speed, acceleration, movement direction, etc. of coordinates of feature points mentioned above, and wave parameters of plane movement, such as period, circumference, etc., related to facial skin movement. quantity. In addition, it may be configured to calculate optical quantities such as luminance and color tone, their variation and frequency characteristics, and to perform analysis by PIV (Particle Image Velocity) or other methods. .

このようなそれぞれの物理量は、各フレームにおける値として求めてもよいし、また、動画像全体を通しての平均値として求めてもよい。あるいは、頬部、顎部といったように領域を設定し、その領域内における値の積算値や平均値などを求めてもよい。 Each of these physical quantities may be obtained as a value in each frame, or may be obtained as an average value over the entire moving image. Alternatively, areas such as cheeks and chin may be set, and an integrated value or average value of values within the area may be obtained.

物理量測定の別の手法として、特徴点の座標追跡による物理量の算出処理を図2(b)のフローチャートに示す。 As another method of measuring the physical quantity, the process of calculating the physical quantity by tracking the coordinates of the feature points is shown in the flowchart of FIG. 2(b).

まず、ステップS31において、ステップS21と同様、任意の方法にて特徴点の算出を行う。または、ステップS11における動画像の撮影の際に、予め撮影対象となる顔にマーカーなどを配置しておき、それらを特徴点として用いてもよい。 First, in step S31, similar to step S21, feature points are calculated by an arbitrary method. Alternatively, when the moving image is captured in step S11, markers or the like may be placed in advance on the face to be captured and used as feature points.

そして、ステップS32において、動画像中の各フレームにおける各特徴点の座標を算出する。 Then, in step S32, the coordinates of each feature point in each frame in the moving image are calculated.

そして、ステップS33で、各フレーム間における特徴点の座標の変化の追跡を行い、ステップS23の説明にて挙げたような、物理量を算出する。例えば、各特徴点の速度や加速度の時間変化である。また、基準点とする特徴点を設定し、それと他の任意の特徴点との間の距離の時間変化を求めてもよい。これはすなわち、任意の特徴点の顔上での相対的な速度にあたる値である。更に別の物理量として、3つ以上の特徴点によって囲まれる面積の時間変化が挙げられる。これにより、顔上の任意の部位の皮膚の伸縮の態様を数値化することができる。 Then, in step S33, changes in the coordinates of feature points between frames are tracked, and physical quantities are calculated as described in step S23. For example, it is the time change of the velocity and acceleration of each feature point. Alternatively, a feature point may be set as a reference point, and the change over time in the distance between it and any other feature point may be obtained. This is a value corresponding to the relative velocity of arbitrary feature points on the face. Still another physical quantity is the change over time of the area surrounded by three or more feature points. As a result, it is possible to quantify the mode of expansion and contraction of the skin at any site on the face.

また、先に述べたように、ステップS11においてステレオ動画像を取得した場合には、平面のみでなく、奥行きも加味した三次元的な解析を行うことができる。すなわち、ステップS32においてステレオ法などの任意の方法での三次元空間における特徴点座標を算出し、ステップS33で三次元空間における特徴点の座標変化の追跡を行うことができる。これにより、表情変化に伴う皮膚の立体的な動きを、より正確に解析することができる。 Further, as described above, when stereo moving images are acquired in step S11, three-dimensional analysis can be performed taking into account not only the plane but also the depth. That is, in step S32, feature point coordinates in the three-dimensional space can be calculated by an arbitrary method such as the stereo method, and in step S33, coordinate changes of the feature points in the three-dimensional space can be tracked. As a result, it is possible to more accurately analyze the three-dimensional movement of the skin that accompanies changes in facial expression.

なお、上述した動きベクトルを用いた物理量の測定と、特徴点の座標の追跡による物理量の測定は、そのどちらか一方、又はそれら両方を行う構成としてよい。さらに、これらと異なる手法による動画像解析を行い、物理量の測定を行ってもよい。 Either one or both of the measurement of the physical quantity using the motion vector and the measurement of the physical quantity by tracking the coordinates of the feature point may be used. Furthermore, moving image analysis may be performed by a method different from these methods to measure the physical quantity.

<生理学的量の測定>
ステップS15では、動画像の撮影対象となる顔の皮膚に関する生理学的量の測定を行う。
皮膚に関する生理学的量としては、皮膚表面物性及び/又は内部物性、皮膚組織の組成等が挙げられ、顔の見た目印象と相関のあることが知られているものを用いることができる。例えば、顔の見た目印象が年齢印象である場合には、老化への関与メカニズムが明らかにされている皮膚に関する生理学的量を用いることができる。このような生理学的量として、皮膚表面の物性、例えば皮膚表面粗さ、角層表皮の物性、例えば角層水分量、真皮の物性、例えばコラーゲン線維束量や構造、脂肪層の物性、例えば脂肪体の位置、大きさなど、乳頭層もしくは乳頭層の物性、例えば、乳頭構造の単位面積あたりの個数、高さなどが挙げられる。前記生理学的量は、好ましくは、前記印象決定部位の生理学的量である。
生理学的量の測定は、従来知られている方法により行うことができる。本発明では、非侵襲的方法(手術を伴わない方法)により行う場合に限定される。
<Measurement of physiological quantity>
In step S15, a physiological quantity is measured for the skin of the face that is the object of shooting the moving image.
Physiological quantities related to the skin include surface physical properties and/or internal physical properties of the skin, composition of skin tissue, and the like, and those known to be correlated with the visual impression of the face can be used. For example, when the visual impression of the face is the impression of age, a physiological quantity relating to the skin, for which the mechanism involved in aging has been clarified, can be used. Such physiological quantities include skin surface physical properties such as skin surface roughness, stratum corneum epidermis physical properties such as stratum corneum water content, dermal physical properties such as collagen fiber bundle amount and structure, and fat layer physical properties such as fat. Physical properties of the papillary layer or papillary layer, such as the position and size of the body, such as the number of papillary structures per unit area, height, and the like. Said physiological quantity is preferably the physiological quantity of said impression-determining site.
Physiological quantities can be measured by conventionally known methods. The present invention is limited to non-invasive methods (methods without surgery).

ステップS11~S15の各工程は、次の相関関係の解析を行うのに十分な、複数の異なる顔を対象として行う。 Each of steps S11-S15 is performed on a plurality of different faces, sufficient for the following correlation analysis.

<見た目印象決定因子の抽出>
ステップS16では、ステップS14において動画像より取得した物理量より、顔の見た目印象の決定因子の抽出を行う。
<Extraction of visual impression determinant>
In step S16, determinants of the visual impression of the face are extracted from the physical quantity obtained from the moving image in step S14.

ここでは、ステップS14で取得した物理量と、ステップS12で取得した目視評価値、又はステップS15で測定した生理学的量との相関関係の解析を行い、物理量の中から、目視評価値又は生理学的量を決定する因子となるものを抽出する。 Here, the correlation between the physical quantity obtained in step S14 and the visual evaluation value obtained in step S12 or the physiological quantity measured in step S15 is analyzed, and from among the physical quantities, the visual evaluation value or the physiological quantity Extract factors that determine

例えば、目視評価値の異なる評価対象の、複数の動画像を比較し、それらの動画像からそれぞれ測定した物理量の中で、両者の間に差異があるものは、目視評価値との相関関係を有することが予測される。そして、さらに別の動画像についても同様の比較を行うことで、目視評価値と相関関係を持ち、見た目印象の決定因子となっている物理量、そしてその物理量と目視評価値との相関関係を明らかにすることができる。
相関関係の解析は、従来知られている方法を用いて行うことができる。
For example, comparing multiple moving images of evaluation targets with different visual evaluation values, and among the physical quantities measured from those moving images, if there is a difference between the two, the correlation with the visual evaluation value is calculated. expected to have Then, by performing similar comparisons on other video images, we clarified the physical quantities that have correlations with the visual evaluation values and are determinants of the visual impression, as well as the correlations between these physical quantities and the visual evaluation values. can be
Correlation analysis can be performed using a conventionally known method.

また、先述したように、ステップS12における目視評価値の取得の際に、表情変化の前後2枚の静止画像を提示した場合の目視評価値を取得している場合には、それに対応する動画像に対する目視評価値との比較を行ってもよい。例えば、同一の評価対象の静止画像に対する目視評価値と、動画像に対する目視評価値とが大きく異なる場合には、その動画像中に含まれる物理量が、顔の見た目の印象の決定因子であると推定できる。 In addition, as described above, when obtaining the visual evaluation value in step S12, if the visual evaluation value for the case where two still images before and after the expression change are presented is obtained, the corresponding moving image may be compared with a visual evaluation value for For example, when the visual evaluation value for a still image and the visual evaluation value for a moving image of the same evaluation target are significantly different, the physical quantity contained in the moving image is considered to be the determinant of the visual impression of the face. can be estimated.

同様に、動画像から得られた物理量と皮膚に関する生理学的量との相関関係を解析することにより、皮膚に関する生理学的量と相関の高い物理量を決定することができ、当該物理量が、顔の見た目の印象の決定因子であると推定できる。 Similarly, by analyzing the correlation between the physical quantity obtained from the moving image and the physiological quantity related to the skin, it is possible to determine the physical quantity highly correlated with the physiological quantity related to the skin, and the physical quantity is the appearance of the face. can be presumed to be a determinant of the impression of

以上のように、本発明によれば、表情変化を含む動画像を評価者へと提示し、評価者の視線を解析することによって、顔の見た目印象を決定する部位を、そして、該動画像より物理量を抽出し、それらを解析することによって、顔の見た目印象の決定因子を抽出することができる。 As described above, according to the present invention, a moving image including changes in facial expression is presented to an evaluator, and by analyzing the line of sight of the evaluator, a portion that determines the visual impression of the face is determined, and the moving image is used. By extracting more physical quantities and analyzing them, it is possible to extract determinants of the visual impression of the face.

なお、目視評価値の取得及び物理量との相関関係の解析と、生理学的量の測定及び物理量との相関関係の解析は、それら両方を行ってもよいし、必要に応じてどちらか一方のみを行ってもよい。また、さらに異なる評価値や量を用い、それと動画像より測定した物理量との相関関係の解析を行ってもよい。 Acquisition of visual evaluation values and analysis of correlations with physical quantities, measurement of physiological quantities and analysis of correlations with physical quantities may be performed in both, or only one of them may be performed as necessary. you can go Further, different evaluation values and quantities may be used, and the correlation between them and physical quantities measured from moving images may be analyzed.

[2]本発明の顔の見た目印象の鑑別方法及び顔印象解析装置
本発明は、表情変化を含む、被験者の顔の印象決定部位の動画像を取得し、それを解析することによって物理量を測定して、被験者の顔の見た目印象を鑑別する方法、及び顔の見た目印象解析装置である。
[2] A method for discriminating a visual impression of a face and a facial impression analysis device according to the present invention The present invention obtains a moving image of a part of the subject's face that determines the impression, including expression changes, and analyzes the moving image to measure the physical quantity. and a method for discriminating the visual impression of a subject's face, and a facial visual impression analysis apparatus.

図3に機能ブロック図を示すように、本発明に係る顔印象解析装置は、動画像取得手段1と、物理量測定手段2と、相関関係記憶手段3と、目視評価値算出手段4と、生理学的量算出手段5と、を備える。 As shown in the functional block diagram of FIG. and a quantitative calculation means 5 .

さらに、動画像取得手段1は、ステレオ動画像取得手段11を有し、物理量測定手段2は、特徴点抽出手段21と、動きベクトル特定手段22と、動きベクトル解析手段23と、特徴点座標算出手段24と、特徴点追跡手段25と、を有する。 Furthermore, the moving image acquiring means 1 has a stereo moving image acquiring means 11, and the physical quantity measuring means 2 includes a feature point extracting means 21, a motion vector identifying means 22, a motion vector analyzing means 23, and a feature point coordinate calculating means. It has means 24 and feature point tracking means 25 .

相関関係記憶手段3は、顔の見た目印象の決定因子の抽出の過程において、物理量と目視評価値とを解析して得られた相関関係を示す式や、物理量と生理学的量とを解析して得られた相関関係を示す式などの情報を保持する。 The correlation storage means 3 analyzes the formula showing the correlation obtained by analyzing the physical quantity and the visual evaluation value, and the physical quantity and the physiological quantity in the process of extracting the determinant of the visual impression of the face. Holds information such as the formula that indicates the obtained correlation.

なお、本発明に係る顔印象解析装置は、演算装置と、主記憶装置と、補助記憶装置と、各種の入出力装置と、を備える、汎用的なコンピュータ装置を用い、その補助記憶装置に、コンピュータ装置を先述した各手段として機能させるための顔印象解析プログラムを記憶させることで実現する。そして、該コンピュータ装置を顔印象解析装置として機能させる際には、顔印象解析プログラムを必要に応じて主記憶装置上に展開し、演算装置による処理を行う。 The facial impression analysis apparatus according to the present invention uses a general-purpose computer device that includes an arithmetic device, a main memory device, an auxiliary memory device, and various input/output devices. It is realized by storing a facial impression analysis program for causing the computer device to function as each means described above. When the computer device functions as a facial impression analysis device, the facial impression analysis program is developed on the main storage device as necessary and processed by the arithmetic device.

また、動画像取得手段1としてカメラ装置を用い、それによって得た動画像を物理量測定手段2へと受け渡す構成や、相関関係記憶手段3を汎用的なサーバ装置によって実現する構成など、任意の複数機器を、USB(Universal Serial Bus)接続や記録メディアを用いたデータの受け渡し、インターネットやLAN(Local Area Network)などのネットワーク経由での通信を可能に構成してもよい。 In addition, a camera device is used as the moving image acquisition means 1, and the moving image obtained by the camera device is transferred to the physical quantity measuring means 2, or a configuration in which the correlation storage means 3 is realized by a general-purpose server device. A plurality of devices may be configured to enable data transfer using a USB (Universal Serial Bus) connection or recording media, and communication via a network such as the Internet or a LAN (Local Area Network).

<動画像の取得>
図4は、顔印象解析装置による、被験者の顔の見た目印象の鑑別方法を示すフローチャートである。まず、ステップS41において、動画像取得手段1を用いて、被験者の顔の表情変化を含む動画像を取得する。なお、ステレオ動画像取得手段11によって、被験者の顔の表情変化を含むステレオ動画像を取得してもよい。また、この際に、後の物理量の測定において特徴点として使用するマーカーを、被験者の顔に予め設置した動画像を取得してもよい。
<Acquisition of moving images>
FIG. 4 is a flow chart showing a method for discriminating visual impressions of a subject's face by a facial impression analyzer. First, in step S41, the moving image acquisition means 1 is used to acquire a moving image including facial expression changes of the subject. Note that the stereo moving image acquisition means 11 may acquire a stereo moving image including facial expression changes of the subject. Also, at this time, a moving image may be obtained in which markers used as feature points in subsequent measurement of physical quantities are placed in advance on the subject's face.

<物理量の測定>
そして、ステップS42において、物理量測定手段2を用いて、物理量の測定を行う。
ここでは、先に図2を参照して説明した内容と同様の処理にて、先述した顔の見た目印象の決定因子の抽出方法によって、顔の見た目印象の決定因子として抽出された物理量の算出を行う。
<Measurement of physical quantity>
Then, in step S42, the physical quantity is measured using the physical quantity measuring means 2. FIG.
Here, the physical quantity extracted as the determinant of the visual impression of the face is calculated by the above-described method of extracting the determinant of the visual impression of the face in the same manner as the processing described above with reference to FIG. conduct.

図2(a)に示す動きベクトルを用いた物理量の算出を行う場合には、ステップS21の特徴点抽出処理を特徴点抽出手段21によって行い、ステップS22の動きベクトルの特定処理を動きベクトル特定手段22によって行った後、ステップS23の動きベクトル解析処理を動きベクトル解析手段23によって行う。 When the physical quantity is calculated using the motion vector shown in FIG. 2(a), the feature point extracting process of step S21 is performed by the feature point extracting means 21, and the motion vector specifying process of step S22 is performed by the motion vector specifying means. 22, the motion vector analysis means 23 performs the motion vector analysis process of step S23.

図2(b)に示す特徴点座標を用いた物理量の算出を行う場合には、ステップS31の特徴点抽出処理を特徴点抽出手段21によって行い、ステップS32の特徴点座標の算出処理を特徴点座標算出手段24によって行った後、ステップS33の特徴点座標の追跡処理を特徴点追跡手段25によって行う。 When calculating physical quantities using the feature point coordinates shown in FIG. After the coordinate calculation means 24 performs the tracking process of the feature point coordinates in step S33, the feature point tracking means 25 performs the tracking process.

また、ステップS41においてステレオ動画像を取得していた場合には、ステップS32においてステレオ法などの任意の方法での三次元空間における特徴点座標を算出し、ステップS33で三次元空間における特徴点の座標変化の追跡を行ってもよい。 If the stereo moving image has been acquired in step S41, the feature point coordinates in the three-dimensional space are calculated by any method such as the stereo method in step S32, and the feature point coordinates in the three-dimensional space are calculated in step S33. Tracking of coordinate changes may be performed.

なお、動きベクトルを用いた物理量の測定と、特徴点座標を用いた物理量の測定の両方を用いて物理量の算出を行う場合には、ステップS21とステップS31における特徴点座標算出処理は、どちらか一方のみを行って特徴点を共有する構成としてもよいし、それぞれの手法において効果的に物理量を測定するために、ステップS21とステップS31を共に実行してそれぞれ異なる特徴点を抽出する構成としてもよい。 Note that when the physical quantity is calculated using both the measurement of the physical quantity using the motion vector and the measurement of the physical quantity using the feature point coordinates, whichever of the feature point coordinate calculation processes in steps S21 and S31 is performed Only one method may be performed and the feature points may be shared. Alternatively, in order to effectively measure the physical quantity in each method, both steps S21 and S31 may be performed to extract different feature points. good.

<顔の見た目印象の解析>
ステップS43では、ステップS42で測定した物理量の解析を行い、顔の見た目印象の鑑別を行う。それにより、被験者の顔の見た目印象の目視評価値と、被験者の顔の皮膚に関する生理学的量のうちの、少なくとも1つの算出を行う。
<Analysis of visual impression of face>
In step S43, the physical quantity measured in step S42 is analyzed, and the visual impression of the face is discriminated. Thereby, at least one of a visual evaluation value of the visual impression of the subject's face and a physiological quantity relating to the skin of the subject's face is calculated.

図5(a)は、目視評価値算出手段4による目視評価値の算出処理を示すフローチャートである。まず、ステップS51で、相関関係記憶手段3より、物理量と目視評価値との相関関係データを取得する。 FIG. 5(a) is a flow chart showing a visual evaluation value calculation process by the visual evaluation value calculation means 4. FIG. First, in step S51, the correlation data between the physical quantity and the visual evaluation value is acquired from the correlation storage means 3. FIG.

そして、ステップS52において、ステップS42で取得した物理量と、ステップS51で取得した相関関係データとに基づいて、目視評価値の算出を行う。算出された目視評価値から、被験者の顔の見た目印象の鑑別を行うことができる。 Then, in step S52, a visual evaluation value is calculated based on the physical quantity obtained in step S42 and the correlation data obtained in step S51. The visual impression of the subject's face can be discriminated from the calculated visual evaluation value.

図5(b)は、生理学的量算出手段5による生理学的量の算出処理を示すフローチャートである。こちらについても、上述の目視評価値の算出処理と同様の処理であり、まずステップS61で、相関関係記憶手段3より、物理量と生理学的量との相関関係データを取得する。 FIG. 5(b) is a flow chart showing the physiological quantity calculation process by the physiological quantity calculation means 5. As shown in FIG. This is also the same processing as the above-described visual evaluation value calculation processing.

そして、ステップS62において、ステップS42で取得した物理量と、ステップS61で取得した相関関係データとに基づいて、生理学的量の算出を行う。算出された生理学的量から、被験者の顔の見た目印象の鑑別を行うことができる。 Then, in step S62, a physiological quantity is calculated based on the physical quantity obtained in step S42 and the correlation data obtained in step S61. The visual impression of the subject's face can be discriminated from the calculated physiological quantity.

以上のように、被験者の顔の表情変化を含む動画像を解析することによって物理量を測定し、該被験者についての物理量から、物理量と目視評価値又は生理学的量との相関関係に基づいて、被験者についての目視評価値及び/又は生理学的量を算出し、算出値から被験者の顔の見た目印象の鑑別を行うことができる。 As described above, the physical quantity is measured by analyzing the moving image containing the change in facial expression of the subject, and from the physical quantity of the subject, based on the correlation between the physical quantity and the visual evaluation value or the physiological quantity, the subject A visual evaluation value and/or a physiological quantity for is calculated, and the visual impression of the subject's face can be discriminated from the calculated value.

なお、ステレオ動画像取得手段11を用いてステレオ動画像を取得すれば、物理量測定手段2によって三次元的な解析を行うことが可能となるが、ステレオ動画像取得手段11は一般的な単眼カメラなどと比較して高価である。そのため、ステレオ動画像取得手段11を省略し、一般的な単眼カメラなどを動画像取得手段1として備え、物理量測定手段2によって二次元的な解析のみを行う構成としてもよい。このような構成とすることにより、顔印象解析装置を低コストに実現することができる。 If a stereo moving image is obtained using the stereo moving image obtaining means 11, three-dimensional analysis can be performed by the physical quantity measuring means 2, but the stereo moving image obtaining means 11 is a general monocular camera. It is expensive compared to others. Therefore, the stereo moving image acquiring means 11 may be omitted, a general monocular camera or the like may be provided as the moving image acquiring means 1, and only two-dimensional analysis may be performed by the physical quantity measuring means 2. FIG. With such a configuration, the facial impression analysis device can be realized at low cost.

また、本発明に係る顔の見た目印象の鑑別方法及び顔印象解析装置の利用方法として、化粧効果の鑑別方法が挙げられる。これはすなわち、被験者の化粧前の顔の動画像を用いて行った見た目印象の解析結果と、被験者の化粧後の顔の動画像を用いて行った見た目印象の解析とを比較することにより、化粧が見た目印象へ及ぼした効果を鑑別するものである。 Further, as a method for discriminating a visual impression of a face and a method for using the facial impression analysis apparatus according to the present invention, there is a method for discriminating a makeup effect. That is, by comparing the results of visual impression analysis performed using a moving image of the subject's face before makeup and the visual impression analysis performed using a moving image of the subject's face after applying makeup, It distinguishes the effect that makeup has on the visual impression.

以下に、顔の見た目の年齢印象の目視評価値の取得、印象決定部位の抽出、及び物理量の測定についての実施例を挙げて、本発明について更に詳細に説明を加えるが、本発明がこの実施例にのみ限定されないことは言うまでもない。 Hereinafter, the present invention will be described in more detail with examples of obtaining a visual evaluation value of the age impression of the appearance of the face, extracting impression-determining parts, and measuring physical quantities. It goes without saying that it is not limited only to the examples.

[1]動画像と連続静止画像による目視評価値の取得
<動画像の取得>
20人の評価対象(年齢は20~60歳代)について、顔の表情変化を含む9秒間の動画像を撮影した。そして、動画像中より、表情変化前の1フレームと、表情変化後の1フレームとを、共に静止画像として抽出し、それらの2フレームのみを9秒間に表示する、連続静止画像を作成した。図6(a)に動画像の模式図を、図6(b)に連続静止画像の模式図を、それぞれ示す。
[1] Acquisition of visual evaluation values using moving images and continuous still images <Acquisition of moving images>
For 20 evaluation subjects (aged 20s to 60s), 9-second moving images including changes in facial expressions were taken. Then, one frame before the expression change and one frame after the expression change were both extracted as still images from the moving image, and continuous still images were created by displaying only these two frames for 9 seconds. FIG. 6A shows a schematic diagram of a moving image, and FIG. 6B shows a schematic diagram of continuous still images.

<目視評価値の取得>
モニターを用いて15人の評価者に、上記の動画像又は連続静止画像を、ランダムに表示し、顔の見た目の年齢印象の目視評価値の取得を行った。評価者への動画像及び連続静止画像の提示の際には、視線解析装置を用いて、評価者の視線が動画像及び静止画像のどの領域に何回、何秒間滞留するかの解析を行った。図7に、評価者への動画像及び静止画像の提示方法の模式図を示す。
<Acquisition of visual evaluation value>
Using a monitor, 15 evaluators randomly displayed the above moving images or continuous still images, and acquired a visual evaluation value of the impression of the appearance of the face. When the moving image and continuous still images are presented to the evaluator, a line-of-sight analysis device is used to analyze how many times and how many seconds the evaluator's line of sight stays in which area of the moving image and still image. rice field. FIG. 7 shows a schematic diagram of a method of presenting moving images and still images to the evaluator.

まず、図7(a)に示すように、これから数字が表示され、次いで評価対象の顔が表示されること、そして、数字の世代の前半か後半かの回答を求める指示を提示した。これにより、この後表示される動画像又は連続静止画像を見る際に、評価者は評価対象の年齢印象についての判別を意識することになる。 First, as shown in FIG. 7(a), a number was displayed, then a face to be evaluated was displayed, and an instruction was presented asking for an answer as to whether the generation of the number is the first half or the second half. As a result, the evaluator will be aware of the age impression of the evaluation target when viewing the moving image or continuous still images that will be displayed thereafter.

次いで、図7(b)に示すように、数字を表示した。この数字は、この後に動画像又は連続静止画像中の評価対象の実年齢の1の位を切り捨てたものである。本実施例における対象の年齢は先述の通り20~60歳代であるので、20、30、40、50、60のうちの何れかの数字を表示した。 Then, numbers were displayed as shown in FIG. 7(b). This number is obtained by truncating the real age of the subject to be evaluated in the moving image or continuous still image after this. Since the ages of the subjects in this example are in their 20s to 60s as described above, any number of 20, 30, 40, 50, and 60 is displayed.

そして、図7(c)に示すように、9秒間の動画像あるいは連続静止画像を表示し、その後、図7(d)に示すように、図7(c)で表示した評価対象が、図7(b)で表示した数字の世代の前半か後半かの回答を求めた。 Then, as shown in FIG. 7(c), a moving image or continuous still images for 9 seconds are displayed, and then, as shown in FIG. 7(d), the evaluation object displayed in FIG. Answers were asked whether it was the first half or the second half of the generation indicated in 7(b).

すなわち、図7に示した一例では、評価対象の年齢が30~39歳の間の何れかであり、評価者はそれに対して、30代前半か30代後半かの回答を行った。 In other words, in the example shown in FIG. 7, the age of the subject of evaluation is somewhere between 30 and 39 years old, and the evaluator answered that he was in his early 30s or late 30s.

上記のような手順で取得した評価者の回答において、評価者が世代の後半であると評価した場合には、すなわち、評価対象に対して老化印象を感じたものであると判断できる。 If the evaluator evaluates that the evaluator is in the second half of the generation based on the evaluator's responses obtained by the above-described procedure, it can be determined that the evaluator has an aging impression on the subject.

図8は、評価者より取得した目視評価値を全評価対象について集計したものである。ここに示すように、連続静止画像よりも動画像の方が評価者へと高い年齢印象を与えたことが読み取れる。これより、動画像に含まれる表情変化中の動きに、評価者へと高い年齢印象を与える因子が含まれていることがわかる。 FIG. 8 shows visual evaluation values acquired from evaluators for all evaluation objects. As shown here, it can be read that the moving images gave the evaluators a higher impression of age than the continuous still images. From this, it can be seen that the movement during facial expression change contained in the moving image contains a factor that gives the evaluator a high impression of age.

<印象決定部位の抽出>
ある評価対象についての動画像及び連続静止画像を表示した際の評価者の視線解析結果を、図9に示す。図9(a)は評価対象の動画像を表示した際に、図9(b)は評価対象の連続静止画像を表示した際に、評価者の視線の滞留が多く見られた点を示すものである。
<Extraction of impression-determining site>
FIG. 9 shows the result of analysis of the line of sight of an evaluator when a moving image and continuous still images of a certain evaluation object are displayed. Fig. 9(a) shows that when the moving image to be evaluated is displayed, and Fig. 9(b) shows that when the continuous still images to be evaluated are displayed, the evaluator's gaze stays frequently. is.

これらの視線解析結果を見ると、動画像、連続静止画像のどちらを表示した場合についても、評価者は評価対象の頬及び目の周辺に着目していたことがわかる。これより、顔の見た目の年齢印象の決定部位は、頬及び目の周辺部であることが見いだされた。 Looking at these line-of-sight analysis results, it can be seen that the evaluator focused on the cheeks and around the eyes of the evaluation target regardless of whether the moving image or the continuous still image was displayed. From this, it was found that the areas that determine the impression of age on the face are the cheeks and the periphery of the eyes.

また、動画像と連続静止画像のどちらについても年齢印象の決定部位が同一であるにもかかわらず、動画像の方が与える年齢印象が高いことより、年齢印象の決定因子は、年齢印象の決定部位における表情変化時の動きによって生じる物理量にあることが見いだされた。 In addition, although the site that determines the age impression is the same for both the moving image and the continuous still images, the age impression given by the moving image is higher than that of the moving image. It was found that it is in the physical quantity caused by the movement at the time of facial expression change in the part.

[2]モーションキャプチャによる物理量の測定
<動画像の取得>
20代から60代の30人の女性を評価対象として、その顔に反射マーカーを、計測点を示すためのマーカーとして貼り付け、複数のカメラによって各評価対象の表情変化を含む動画像の撮影を行った。そして、この動画像を解析することにより、マーカーの三次元的な座標の変化を追跡する、モーションキャプチャを行った。また、評価者へ動画像を提示し、各評価対象の年齢の目視評価値の取得を行った。
[2] Measurement of physical quantities by motion capture <Acquisition of video images>
Thirty women in their 20s to 60s were evaluated, and reflective markers were attached to their faces to indicate measurement points. Multiple cameras were used to capture moving images of each subject's facial expressions. gone. By analyzing this moving image, motion capture was performed to track changes in the three-dimensional coordinates of the marker. In addition, the moving images were presented to the evaluators, and visual evaluation values for the age of each evaluation subject were obtained.

ここでは、真顔の状態から、図10(a)に示すような口を大きく開いた状態へ、そして図10(b)に示すような口を閉じた表情をとった後に、再度真顔に戻る、という一連の表情変化を含む動画を、モーションキャプチャ及び目視評価値の取得に用いた。 Here, from the state of a straight face, to the state where the mouth is wide open as shown in FIG. 10(a), and after taking the expression with the mouth closed as shown in FIG. A video containing a series of facial expression changes was used for motion capture and acquisition of visual evaluation values.

そして、下記に示すように、マーカーの移動位置、移動量、移動速度、2つのマーカーの動きの関係性、3つ以上のマーカーによって囲まれる面積の時間変化のそれぞれについて解析を行い、物理量を抽出した。 Then, as shown below, the movement position, movement amount, movement speed of the markers, the relationship between the movements of the two markers, and the time change of the area surrounded by three or more markers are analyzed, and physical quantities are extracted. did.

<マーカーの移動速度の測定>
各評価対象の顔におけるマーカーの移動の追跡をおこない、その移動速度の測定を行ったところ、図11に示すような結果が得られた。
<Measurement of moving speed of marker>
When the movement of the marker on the face of each evaluation target was tracked and the movement speed was measured, the results shown in FIG. 11 were obtained.

図11(a)は、年齢の目視評価値が実年齢よりも高かった評価対象、すなわち、見た目の年齢印象の高い評価対象の、図11(b)は、年齢の目視評価値が実年齢よりも低かった評価対象、すなわち、見た目の年齢印象の低い評価対象の、それぞれにおけるマーカーの移動速度の時間変化を示すグラフである。なお、これは、縦軸にマーカーの移動速度を、横軸に、動画像中におけるフレーム数を時間要素として採用したものである。また、真顔の状態から図10(a)に示したような口を大きく開いた表情への表情変化時のマーカーの速度方向を伸び方向の速さ、図10(b)に示したような口を閉じた表情への表情変化時のマーカーの移動速度を縮み方向の速さとして示した。 FIG. 11(a) shows an evaluation target whose visual evaluation value for age is higher than the actual age, that is, an evaluation target with a high visual impression of age, and FIG. 10 is a graph showing temporal changes in the moving speed of the marker in each of the evaluation subjects with a low age impression, that is, the evaluation subjects with a low visual impression of age. It should be noted that the vertical axis represents the moving speed of the marker, and the horizontal axis represents the number of frames in the moving image as time elements. Also, the velocity direction of the marker when the facial expression changes from a straight face to a facial expression with the mouth wide open as shown in FIG. The movement speed of the marker when the expression changes to the closed expression is shown as the speed in the contraction direction.

ここに示すように、老けて見える評価対象の特徴点の速度変化のグラフは、若く見える評価対象のそれに比べ、鋭いピークを持ち、速度の収束が早い結果となった。すなわち、老けて見える評価対象の特徴点の移動速度の変化は、若く見える評価対象のそれに比べて激しいものであると言える。 As shown here, the graph of the speed change of the feature point of the evaluation object that looks old has a sharper peak than that of the evaluation object that looks young, and the speed converges faster. In other words, it can be said that the change in the moving speed of the feature point of the evaluation target that looks old is more drastic than that of the evaluation target that looks young.

図12は、図11(a)に示した、老けて見える評価対象の特徴点の移動の速さと、図11(b)に示した、若く見える評価対象の特徴点の移動の速さのそれぞれを積算し、それぞれのグラフの面積を算出したグラフである。 FIG. 12 shows the moving speed of the evaluation target feature points that look old shown in FIG. 11A and the moving speed of the evaluation target feature points that look young shown in FIG. 11B. are integrated, and the area of each graph is calculated.

図12において、若く見える評価対象の方が、グラフ面積が大きくなっていることからも、若く見える評価対象の特徴点の移動速度の変化が、老けて見える評価対象のそれよりも緩やかであることが読み取れる。 In FIG. 12, the young-looking evaluation target has a larger graph area, which also indicates that the change in the moving speed of the feature points of the young-looking evaluation target is slower than that of the old-looking evaluation target. can be read.

この結果より、表情の変化に対して、特徴点、すなわち皮膚の動きが緩やかに追従するような、しなやかな動きが、評価者に対して若く見える印象を与える可能性が見いだされた。 From these results, it was found that feature points, i.e., supple movements in which the skin gently follows changes in facial expression, may give the evaluator an impression of looking younger.

<2つのマーカーの動きの関係性>
図13は、評価対象の顔の左側面部に設定されたマーカーを示す図である。ここに示すように、額の上部のマーカーを基準点M0として、頬の2点のマーカーM1、マーカーM2、及び顎に位置するマーカーM3を設定した。
<Relationship between movement of two markers>
FIG. 13 is a diagram showing markers set on the left side of the face to be evaluated. As shown here, a marker on the upper part of the forehead is set as a reference point M0, and two cheek markers M1, M2, and a chin marker M3 are set.

そして、図14(a)に示すような真顔の状態から、図14(b)に示すような口を大きく開いた表情への変化の際の、基準点M0とマーカーM1との間の距離L1の単位時間当たりの変化量V1と、基準点M0とマーカーM2との間の距離L2の単位時間当たりの変化量V2と、基準点M0とマーカーM3との間の距離L3の単位時間当たりの変化量V3と、の3つの変化量の時間変化を測定した。これはすなわち、基準点M0を基準とした、マーカーM1、M2、M3の相対速度の時間変化であると言える。 Then, the distance L1 between the reference point M0 and the marker M1 when the expression changes from the straight face state as shown in FIG. 14(a) to the expression with the mouth wide open as shown in FIG. 14(b) change per unit time V1, change per unit time V2 in distance L2 between reference point M0 and marker M2, and change per unit time in distance L3 between reference point M0 and marker M3 Time changes of three amounts of change of the amount V3 and V3 were measured. In other words, it can be said that this is the change over time of the relative velocities of the markers M1, M2, and M3 with reference to the reference point M0.

上記の測定の結果、図15のグラフに示すような結果が得られた。図15(a)は、目視評価で若い見た目印象を持つと評価された評価対象の測定結果を示すグラフである。これを見ると、V1~V3の最大値の絶対値は異なるが、それぞれが最大値をとる時刻は非常に近いことが読み取れる。一方で、図15(b)に示す、目視評価で老けた見た目印象を持つと評価された評価対象の測定結果をみると、V3が最大値をとった後、遅れてV1、V2が最大値をとるという結果となった。 As a result of the above measurements, the results shown in the graph of FIG. 15 were obtained. FIG. 15(a) is a graph showing measurement results of an evaluation object evaluated as having a young visual impression in visual evaluation. Looking at this, it can be read that although the absolute values of the maximum values of V1 to V3 are different, the times at which the respective maximum values are obtained are very close. On the other hand, looking at the measurement results of the evaluation target that was evaluated to have an aged visual impression in the visual evaluation shown in FIG. It resulted in taking

これはすなわち、老けた見た目印象を持つ評価対象の表情変化においては、マーカーM1及びマーカーM2によってあらわされる頬の動きが、マーカーM3によって示される顎の動きよりも遅れていると言える。 In other words, it can be said that the movement of the cheek indicated by the markers M1 and M2 lags behind the movement of the jaw indicated by the marker M3 in the facial expression change of the evaluation target with an aged visual impression.

この結果より、表情変化時の頬の動きの追従性が良い場合に、評価者に対して若く見える印象を与える可能性が見いだされた。 From this result, it was found that when the cheek movements follow well when facial expressions change, the evaluator may be given the impression of looking younger.

<3つ以上のマーカーによって囲まれる面積の時間変化>
図16に示すように、3つのマーカーによって囲まれる顎部A1と、4つのマーカーによって囲まれる頬部A2と、の2つの領域を設定した。そして、表情変化時における、それぞれの領域の面積の時間変化を測定し、それらの値を時間積算した結果を、各領域における皮膚の伸縮率として算出すると、図17のグラフに示すような結果が得られた。
<Time change of area surrounded by three or more markers>
As shown in FIG. 16, two regions were set, a chin A1 surrounded by three markers and a cheek A2 surrounded by four markers. Then, when the change in the area of each region over time was measured when the facial expression changed, and the results of integrating these values over time were calculated as the stretch ratio of the skin in each region, the results shown in the graph of FIG. 17 were obtained. Got.

図17(a)は、目視評価で若い見た目印象を持つと評価された評価対象の測定結果を示すグラフである。また、図17(b)は、目視評価で老けた見た目印象を持つと評価された評価対象の測定結果を示すグラフである。これらを比較すると、若い見た目印象を持つ評価対象は、顎部A1よりも頬部A2の伸縮率が高いのに対して、老けた見た目印象を持つ評価対象は、顎部A1よりも頬部A2の伸縮性が低いという結果が得られた。 FIG. 17(a) is a graph showing measurement results of an evaluation object evaluated as having a young visual impression in visual evaluation. FIG. 17(b) is a graph showing measurement results of an evaluation object that was visually evaluated as having an aged visual impression. Comparing these, the evaluation subjects with a young appearance impression have a higher expansion ratio in the cheek area A2 than the chin area A1, while the evaluation subjects with an old appearance impression have a higher elasticity ratio in the cheek area A2 than in the chin area A1. The result was that the elasticity of the material was low.

この結果より、頬部A2の皮膚が顎部A1と比較して柔軟に伸縮する場合に、評価者に対して若く見える印象を与える可能性が見いだされた。 From this result, it was found that when the skin of the cheek A2 expands and contracts more flexibly than the skin of the chin A1, there is a possibility of giving the evaluator an impression of looking younger.

[3]オプティカルフロー法による物理量の測定
<動画像の取得>
20代から60代の80人の女性の評価対象のそれぞれについて、顔の表情変化を含む二次元の動画像の撮影を行った。そして、動画像中にグリッド状の格子点を設定し、動画像中の各フレーム間の濃淡変化から、図18に示すように、各フレームの各格子点における、皮膚の動きベクトルを求めた。また、動画像を評価者へ提示し、各評価対象の年齢の目視評価値の取得を行った。
[3] Measurement of physical quantity by optical flow method <Acquisition of moving images>
For each of 80 women in their twenties to sixties to be evaluated, two-dimensional moving images including changes in facial expressions were taken. Grid-like lattice points were set in the moving image, and the motion vector of the skin at each lattice point in each frame was obtained from the change in gradation between each frame in the moving image, as shown in FIG. In addition, the moving images were presented to the evaluators, and visual evaluation values for the age of each evaluation subject were obtained.

なお、動画像の解析と、目視評価値の取得には、真顔から図19(a)の口を開けた表情をとり、図19(b)の真顔を経て、図19(c)に示すような表情へと変化し、また真顔に戻る動画像を用いた。 For the analysis of the moving image and the acquisition of the visual evaluation value, the facial expression with the mouth open shown in FIG. We used a moving image that changed to a serious expression and then returned to a straight face.

<動きベクトルの変化>
表情変化中における動きベクトルの大きさ、すなわち、皮膚の動きの速さを、頬部位領域について解析した結果、図20に示すようなグラフが得られた。これは、縦軸を各フレームにおける動きベクトルの大きさの平均値、横軸をフレーム数、すなわち時間軸として、皮膚の動きの速さの時間変化を示すものである。これを見ると、グラフ中に実線で示す、目視評価で若い見た目印象を持つと評価された評価対象の測定結果に比べて、グラフ中に破線で示す目視評価で老けた見た目印象を持つと評価された評価対象の測定結果は、特に図19(c)に示すような表情への変化時において、鋭いピークを持つ形状となった。
<Change in motion vector>
A graph as shown in FIG. 20 was obtained as a result of analyzing the magnitude of the motion vector during facial expression change, ie, the speed of skin movement, for the cheek region. This graph shows the temporal change in the speed of skin movement, with the vertical axis representing the average magnitude of the motion vector in each frame and the horizontal axis representing the number of frames, that is, the time axis. Looking at this, compared to the measurement results of the evaluation target, which was evaluated as having a young visual impression in the visual evaluation indicated by the solid line in the graph, it was evaluated as having an aged visual impression in the visual evaluation indicated by the broken line in the graph. The measurement result of the evaluated subject has a shape with a sharp peak, especially when the facial expression changes as shown in FIG. 19(c).

図21は、図20に示した、老けて見える評価対象の皮膚の動きの速さと、若く見える評価対象の皮膚の動きの速さの収束する時間幅を算出した結果を示すグラフである。これを見ると、先に図12を参照して説明した、モーションキャプチャ動画による表情変化時のマーカーの動きの速さの測定結果が示す皮膚物性と同じように、若く見える評価対象の方が、グラフ値が大きくなっており、動きの変化が緩やかであることが読み取れる。 FIG. 21 is a graph showing the result of calculating the time width for convergence of the speed of motion of the skin of the evaluation target that looks old and the speed of motion of the skin of the evaluation target that looks young shown in FIG. 20 . Looking at this, similar to the skin physical properties indicated by the measurement results of the speed of movement of the marker when the facial expression changes with the motion capture video, which was described earlier with reference to FIG. The graph value is large, and it can be read that the change in movement is gradual.

すなわち、評価対象の顔へとマーカーを物理的に設置し、複数台のカメラを用いて撮影することが必要となる三次元動画モーションキャプチャによる解析に代えて、簡単に撮影することのできる二次元動画像のオプティカルフロー法による解析によっても、同様の解析結果が得られる可能性が示唆された。 In other words, instead of 3D video motion capture analysis, which requires physically placing a marker on the face to be evaluated and shooting with multiple cameras, a 2D image can be easily captured. It was suggested that similar analysis results could be obtained by analyzing moving images using the optical flow method.

本発明は、化粧品販売、カウンセリング、エステティック等の場面で、顧客の見た目の年齢印象等を簡便かつ正確に鑑別することなどに利用できる。 INDUSTRIAL APPLICABILITY The present invention can be used to easily and accurately discriminate a customer's visual age impression in situations such as cosmetics sales, counseling, and esthetics.

1 動画像取得手段
11 ステレオ動画像取得手段
2 物理量測定手段
21 特徴点抽出手段
22 動きベクトル特定手段
23 動きベクトル解析手段
24 特徴点座標算出手段
25 特徴点追跡手段
3 相関関係記憶手段
4 目視評価値算出手段
5 生理学的量算出手段
1 Moving image acquiring means 11 Stereo moving image acquiring means 2 Physical quantity measuring means 21 Feature point extracting means 22 Motion vector identifying means 23 Motion vector analyzing means 24 Feature point coordinate calculating means 25 Feature point tracking means 3 Correlation storing means 4 Visual evaluation value Calculation means 5 Physiological quantity calculation means

Claims (10)

顔の表情変化によって生じる皮膚変化の物理量と、非侵襲的方法により測定された皮膚に関する生理学的量との相関関係に基づいて、被験者についての前記物理量の測定値から被験者の前記生理学的量を算出することを特徴とする、評価方法。 Calculating the physiological quantity of the subject from the measured value of the physical quantity of the subject based on the correlation between the physical quantity of the skin change caused by the change in facial expression and the physiological quantity of the skin measured by a noninvasive method An evaluation method characterized by: 前記生理学的量が、皮膚表面物性、皮膚内部物性及び皮膚組織の組成のうちの何れかを 示す量であることを特徴とする、請求項1に記載の評価方法。 2. The evaluation method according to claim 1, wherein the physiological quantity is a quantity that indicates any one of skin surface physical properties, skin internal physical properties, and skin tissue composition. 前記生理学的量が、真皮のコラーゲン繊維に関する量を含む、請求項1又は請求項2に記載の評価方法。 3. The evaluation method according to claim 1 or 2, wherein the physiological quantity includes a quantity relating to dermal collagen fibers. 前記物理量が、前記顔に含まれる特徴点の移動の速度の大きさ、速度の方向、加速度の大きさ、加速度の方向の内、少なくとも1つを含むことを特徴とする、請求項1から請求項3の何れかに記載の評価方法。 1. The physical quantity includes at least one of a magnitude of movement speed, a direction of speed, a magnitude of acceleration, and a direction of acceleration of feature points included in the face. Item 3. The evaluation method according to any one of items 3. 前記物理量が、前記顔に含まれる1つの基準点と、前記顔に含まれる少なくとも2つの特徴点のそれぞれとの間の距離の時間変化に関する量を含むことを特徴とする、請求項1から請求項4の何れかに記載の評価方法。 3. The physical quantity includes a quantity relating to temporal change in distance between one reference point included in the face and each of at least two feature points included in the face. 5. The evaluation method according to any one of items 4. 前記物理量が、前記顔に含まれる少なくとも3つの特徴点によって囲まれる面積の時間変化に関する量を含むことを特徴とする、請求項1から請求項5の何れかに記載の評価方法。 6. The evaluation method according to any one of claims 1 to 5, wherein said physical quantity includes a quantity relating to time change of an area surrounded by at least three feature points included in said face. 表情変化時の皮膚の動きに基づいて、被験者の皮膚に関する生理学的量を算出する、評価装置であって、
被験者について、表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
前記物理量と、非侵襲的方法により測定された前記生理学的量との相関関係を記憶する、相関関係記憶手段と、
該相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の前記生理学的量を算出する、生理学的量算出手段と、を備えることを特徴とする、評価装置。
An evaluation device that calculates a physiological quantity related to the subject's skin based on the movement of the skin when the facial expression changes,
Physical quantity measuring means for measuring the physical quantity of the skin change caused by the facial expression change of the subject;
Correlation storage means for storing the correlation between the physical quantity and the physiological quantity measured by a non-invasive method ;
physiological quantity calculation means for calculating the physiological quantity of the subject's skin from the measured value of the physical quantity of the subject based on the correlation stored in the correlation storage means. , evaluation equipment.
前記生理学的量が、皮膚表面物性、皮膚内部物性及び皮膚組織の組成のうちの何れかを示す量であることを特徴とする、請求項7に記載の評価装置。 8. The evaluation apparatus according to claim 7, wherein the physiological quantity is a quantity indicating any one of skin surface physical properties, skin internal physical properties, and skin tissue composition. 前記生理学的量が、真皮のコラーゲン繊維に関する量を含む、請求項7又は請求項8に記載の評価装置。 9. An assessment device according to claim 7 or claim 8, wherein the physiological quantity comprises a quantity relating to collagen fibers of the dermis. 表情変化時の皮膚の動きに基づいて、被験者の皮膚に関する生理学的量を算出する、評価プログラムであって、
コンピュータを、
被験者について、前記表情変化によって生じる皮膚変化の物理量を測定する物理量測定手段と、
前記物理量と、非侵襲的方法に測定された前記生理学的量との相関関係を記憶する、相関関係記憶手段と、
相関関係記憶手段に記憶された相関関係に基づいて、被験者についての前記物理量の測定値から被験者の皮膚の前記生理学的量を算出する、生理学的量算出手段と、
として機能させることを特徴とする、評価プログラム。
An evaluation program that calculates a physiological quantity related to the subject's skin based on the movement of the skin when the facial expression changes,
the computer,
Physical quantity measuring means for measuring a physical quantity of a skin change caused by the facial expression change of the subject;
Correlation storage means for storing a correlation between the physical quantity and the physiological quantity measured by a non-invasive method ;
physiological quantity calculation means for calculating the physiological quantity of the subject's skin from the measured value of the physical quantity of the subject based on the correlation stored in the correlation storage means;
An evaluation program characterized by functioning as a
JP2021098225A 2015-03-31 2021-06-11 Evaluation method, evaluation device and evaluation program Active JP7153112B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015073855 2015-03-31
JP2015073855 2015-03-31
JP2020008485A JP6908743B2 (en) 2015-03-31 2020-01-22 How to extract the part that determines the appearance of the face, how to extract the determinants of the appearance of the face, how to distinguish the appearance of the face

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020008485A Division JP6908743B2 (en) 2015-03-31 2020-01-22 How to extract the part that determines the appearance of the face, how to extract the determinants of the appearance of the face, how to distinguish the appearance of the face

Publications (2)

Publication Number Publication Date
JP2021128807A JP2021128807A (en) 2021-09-02
JP7153112B2 true JP7153112B2 (en) 2022-10-13

Family

ID=57322957

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016015201A Active JP6651366B2 (en) 2015-03-31 2016-01-29 Extraction method of determinants of facial appearance impression
JP2020008485A Active JP6908743B2 (en) 2015-03-31 2020-01-22 How to extract the part that determines the appearance of the face, how to extract the determinants of the appearance of the face, how to distinguish the appearance of the face
JP2021098225A Active JP7153112B2 (en) 2015-03-31 2021-06-11 Evaluation method, evaluation device and evaluation program
JP2021110403A Active JP7177224B2 (en) 2015-03-31 2021-07-01 Facial visual impression discrimination method, facial impression analysis device, facial impression analysis program, facial visual impression analysis method, and makeup effect discrimination method

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016015201A Active JP6651366B2 (en) 2015-03-31 2016-01-29 Extraction method of determinants of facial appearance impression
JP2020008485A Active JP6908743B2 (en) 2015-03-31 2020-01-22 How to extract the part that determines the appearance of the face, how to extract the determinants of the appearance of the face, how to distinguish the appearance of the face

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021110403A Active JP7177224B2 (en) 2015-03-31 2021-07-01 Facial visual impression discrimination method, facial impression analysis device, facial impression analysis program, facial visual impression analysis method, and makeup effect discrimination method

Country Status (1)

Country Link
JP (4) JP6651366B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6993087B2 (en) * 2017-01-17 2022-02-04 花王株式会社 Skin strain measurement method
JP7023635B2 (en) * 2017-07-28 2022-02-22 ポーラ化成工業株式会社 Information output system, information output program and information output method related to skin condition care
JP7183005B2 (en) * 2017-12-01 2022-12-05 ポーラ化成工業株式会社 Skin analysis method and skin analysis system
JP6968731B2 (en) * 2018-02-28 2021-11-17 ポーラ化成工業株式会社 Facial skin followability estimation method, estimation device and estimation program, and subcutaneous tissue viscoelasticity estimation method, estimation device and estimation program
JP7084210B2 (en) * 2018-06-05 2022-06-14 ポーラ化成工業株式会社 A method for estimating the level of fibrosis of the fibrotic structure surrounding adipocytes, an estimation device and an estimation program, and a method for estimating facial skin motility, an estimation device and an estimation program.
JP7509492B2 (en) * 2020-08-12 2024-07-02 ポーラ化成工業株式会社 Output method, output system, and output program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518125A (en) 2005-12-07 2009-05-07 イーエルシー マネージメント エルエルシー Method for evaluating the effects of exogenous and intrinsic factors on the skin
JP2010166939A (en) 2009-01-20 2010-08-05 Yaskawa Information Systems Co Ltd Expression measuring method, expression measuring program, and expression measuring apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518125A (en) 2005-12-07 2009-05-07 イーエルシー マネージメント エルエルシー Method for evaluating the effects of exogenous and intrinsic factors on the skin
JP2010166939A (en) 2009-01-20 2010-08-05 Yaskawa Information Systems Co Ltd Expression measuring method, expression measuring program, and expression measuring apparatus

Also Published As

Publication number Publication date
JP6651366B2 (en) 2020-02-19
JP2020061194A (en) 2020-04-16
JP6908743B2 (en) 2021-07-28
JP2016194901A (en) 2016-11-17
JP2021128807A (en) 2021-09-02
JP7177224B2 (en) 2022-11-22
JP2021182399A (en) 2021-11-25

Similar Documents

Publication Publication Date Title
JP7153112B2 (en) Evaluation method, evaluation device and evaluation program
Pollick et al. Estimating the efficiency of recognizing gender and affect from biological motion
US9330298B2 (en) Face impression analyzing method, aesthetic counseling method, and face image generating method
JP2016521411A (en) Head and eye tracking
US20190066390A1 (en) Methods of Using an Imaging Apparatus in Augmented Reality, in Medical Imaging and Nonmedical Imaging
US20080304736A1 (en) Method of estimating a visual evaluation value of skin beauty
JP7564429B2 (en) How to evaluate wrinkles
JP2007252891A (en) Estimation method of evaluation value by visual recognition of beauty of skin
Ten Harkel et al. Reliability and agreement of 3D anthropometric measurements in facial palsy patients using a low-cost 4D imaging system
JP5651385B2 (en) Face evaluation method
JP6201520B2 (en) Gaze analysis system and method using physiological indices
JP6968731B2 (en) Facial skin followability estimation method, estimation device and estimation program, and subcutaneous tissue viscoelasticity estimation method, estimation device and estimation program
JP2021121328A (en) Skin condition discrimination method, cosmetic evaluation method, and cosmetic design method
JP6886773B2 (en) How to extract the part that determines the appearance of the face, how to extract the determinants of the appearance of the face, how to distinguish the appearance of the face
JP5538786B2 (en) Method and apparatus for evaluating transient wrinkles
JP5276454B2 (en) Facial expression measurement method, facial expression measurement program, and facial expression measurement apparatus
JP7509492B2 (en) Output method, output system, and output program
Doğan Implementation of eye tracking technology on cultural heritage research and practice
JP6445418B2 (en) Impression estimation device, impression estimation method, and program
Volk et al. Objective Measurement of Outcomes inFacial Palsy
TW201945898A (en) Information processing device and program
JP7520679B2 (en) Method for estimating lively face degree, device for estimating lively face degree, and program for estimating lively face degree
CN114863093B (en) Neural network training method based on eye movement technology and building design method and system
WO2023217644A1 (en) Method for diagnosing the skin by means of 3d facial analysis
JP2024047454A (en) Skin analysis method and method of creating skin correlation model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220930

R150 Certificate of patent or registration of utility model

Ref document number: 7153112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150