JP6983831B2 - 弛み評価方法、弛み評価装置、及び弛み評価プログラム - Google Patents
弛み評価方法、弛み評価装置、及び弛み評価プログラム Download PDFInfo
- Publication number
- JP6983831B2 JP6983831B2 JP2019058309A JP2019058309A JP6983831B2 JP 6983831 B2 JP6983831 B2 JP 6983831B2 JP 2019058309 A JP2019058309 A JP 2019058309A JP 2019058309 A JP2019058309 A JP 2019058309A JP 6983831 B2 JP6983831 B2 JP 6983831B2
- Authority
- JP
- Japan
- Prior art keywords
- slack
- shape data
- face
- dimensional
- face shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
Description
このような肌質感の評価方法として、被験者の撮影画像(二次元データ)に基づく方法が多く提案されているが、肌の弛み、特に、顔肌の弛みに係る評価については、弛みが顔の輪郭、目、頬、鼻尻といった三次元形状に寄与するところが大きいため、被験者の顔の撮影画像の明暗及び色に基づく評価の精度には不十分なところがあった。
例えば、特許文献1には、多変量解析を用いて、多数の被験者の顔表面の三次元座標データから抽出し、顔の造作の印象傾向と高い相関のある高次の基底ベクトルを取得し、その重み係数を相違させた2つ以上の頭部画像を対比可能に配置した顔印象判定チャート、及び顔印象の傾向と、重み係数の次数との関係を示す印象対応チャートを作成するとともに、2つの頭部画像の差異にあたる特徴量を算出し、その特徴量が被験者の顔に発現している度合いを判断指標として、被験者の顔形状(ほうれい線及び頬の弛み等)を評価する方法が示されている。
また、特許文献2の方法は、肌の形状変化をカラー表示することで、どの部分にどの程度弛みが存在するのかを把握することはできるものの、客観的にどの程度弛みが存在するのかわからないため、高精度に弛みを評価することができない。
第1の特徴量及び第2の特徴量は、差分体積及び差分表面積の少なくとも1つであることが好ましい。
第1の特徴量及び第2の特徴量は、弛みの出やすい顔の特徴点を基準にして、評価対象者及び複数の被験者の顔に複数の領域を設定し、複数の領域の少なくとも1つの領域から算出されたものであることが好ましい。
顔の特徴点とは、目、頬、頬下、鼻尻、口角及び顎の少なくとも1つであることが好ましい。
第1の特徴量及び第2の特徴量は、差分体積及び差分表面積の少なくとも1つであることが好ましい。
特徴量算出手段は、弛みの出やすい顔の特徴点を基準にして、評価対象者及び複数の被験者の顔に複数の領域を設定し、複数の領域の少なくとも1つの領域から算出されたものであることが好ましい。
顔の特徴点とは、目、頬、頬下、鼻尻、口角及び顎の少なくとも1つであることが好ましい。
実施の形態1
図1に、この発明の実施の形態1に係る肌の弛み評価装置の構成を示す。図1に示す肌の弛み評価装置は、被験者の顔表面に基づいて取得した三次元顔形状データを用いて、被験者の顔肌の弛みを評価するものである。この弛み評価装置は、被験者の顔から三次元顔形状データを取得する三次元顔形状データ取得部2には、三次元理想顔データ形状生成部4、特徴量算出部6、弛み指標値算出部8、弛み評価部10、表示部12、制御部14、操作部16、データベース18、及びモデル式生成部20を有する。ここで、三次元顔形状データ取得部2には、三次元理想顔データ形状生成部4、特徴量算出部6、弛み指標値算出部8、弛み評価部10、及び表示部12が順次接続されている。また、三次元理想顔形状データ形状生成部4、特徴量算出部6、弛み指標値算出部8、弛み評価部10、及び表示部12は、制御部14に接続され、この制御部14には、操作部16が接続されている。また、弛み指標値算出部8及び弛み評価部10にはデータベース18が接続され、このデータベース18には、モデル式生成部20が接続されている。
例えば、
三次元形状測定装置による三次元顔形状データの取得方法としては、特に限定されず、例えば、格子パターン投影方式による撮影手法、レーザーによる光切断方式による撮影手法、及びステレオ方式による撮影手法等の従来ある撮影手法により得られる三次元画像を用いることができる。
また、三次元顔形状データは、三次元形状測定装置を用いて取得する方法に限定されず、被験者の顔をデジタルカメラ、及びCCD(charge coupled device)カメラなどを用いて撮影した1枚の画像、又は複数の撮影画像から従来の手法により三次元顔形状を構築したデータを使用してもよい。
Aaron S. Jackson, Adrian Bulat, Vasileios Argyriou, Georgios Tzimiropoulos, “Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression”, ICCV 2017
が挙げられる。
また、複数の画像から三次元顔形状を構築する従来の方法としては、例えば、
[1] M.I.A. Lourakis and A.A. Argyros (2009). "SBA: A Software Package for Generic Sparse Bundle Adjustment".ACM Transactions on Mathematical Software (ACM) 36 (1): 1-30.
[2] R. Hartley, A. Zisserman, "Multiple View Geometry in Computer Vision", Cambridge University Press, 2003.
[3] B. Triggs; P. McLauchlan; R. Hartley; A. Fitzgibbon (1999). "Bundle Adjustment: A Modern Synthesis".Proceedings of the International Workshop on Vision Algorithms.Springer-Verlag. pp. 298-372.
が挙げられる。
また、過去に、顔表面に弛みがなく、はりがある若齢時の被験者の顔から取得した三次元顔形状を三次元理想顔形状とすることもできる。例えば、被験者が40代であれば、被験者が20代のときに取得した複数の三次元顔形状の平均顔を理想顔とすることもできる。
また、例えば、被験者の同性の子供の顔形状を取得することが可能な場合は、その子供の顔形状を被験者の理想顔とすることもできる。
また、過去に、被験者の顔表面に弛みがなく、はりがある若齢時の顔を撮影した撮影画像を三次元顔形状データ取得部2の三次元形状測定装置へ入力して構築した三次元顔形状を三次元理想顔形状とすることもできる。例えば、被験者が40代であれば、被験者が20代のときに撮影した複数の画像の平均顔を理想顔とすることもできる。
ここで、顔の特徴点としては、図2に示すように、目(1及び2)、頬(3及び4)、鼻尻(5及び6)頬下(7及び8)、口角(9及び10)、及び顎(11)が挙げられる。また、解析領域R1〜R8としては、図3に示すように、左右目の下の眼輪筋に該当する領域(R1及びR6)、左右鼻横の大小頬骨筋に該当する領域(R2及びR7)、左右頬輪郭に存在する咬筋に該当する領域(R3及びR8)、左右口角付近に存在する頬筋及び笑筋に該当する領域(R4及びR9)、顎輪郭に存在するオトガイ横筋に該当する領域(R5及びR10)が設定される。
弛み評価に用いる1又は2以上の解析領域は、顔の表情、性別、国別、地域別、皮膚への化粧及び薬剤の塗布状況に応じて選択することができる。
その中でも、精度良く弛みを評価できるため、解析領域RS1、RS2、RS3、及びRS4を選択することが好ましい。理由は、弛みの印象に大きく寄与する筋肉が存在する領域であるためである。
弛み評価部10は、データベース18から読み出された目視評価値と弛み指標値との関係と、弛み指標値算出部8から入力された弛み指標値とを比較することにより、評価対象者の顔肌の弛みを評価し、その結果を表示部12へ出力する。
操作部16は、操作者が情報の入力操作を行うためのもので、キーボード、マウス、トラックボール、タッチパネル等から形成することができる。
制御部14は、操作者により操作部16から入力された各種の指令信号等に基づいて、肌の装置内の各部の制御を行うものである。
ここで、先述した線形モデル式の作成方法を説明する。
まず、三次元顔形状データ取得部2は、無作為に選ばれた複数の被験者の顔それぞれから、三次元顔形状データを取得する。次いで、三次元理想顔形状データ生成部4へ入力される。三次元理想顔形状データ生成部4では、各被験者に対応する三次元顔形状データそれぞれに基づいて、各被験者の弛みのない三次元理想顔形状データが生成される。各被験者に対応する三次元理想顔形状データ、及び三次元理想顔形状データはセットで解析範囲設定部22に入力され、各被験者の顔に基づいて、弛みを評価する複数の解析領域R1〜R8が設定され、差分体積算出部24、及び差分表面積算出26において、各被験者に対応する三次元理想顔形状データと三次元理想顔形状データとの差分が弛み特徴量として算出され、弛み指標値算出部8に入力される。
なお、上述のモデル式の生成方法以外に、サポートベクター回帰を用いてモデル式を生成してもよいし、その他の公知の機械学習の手法を用いてもよい。
なお、予め肌の弛みの目視評価を実施して算出された目視評価値と弛み指標値との関係を格納したデータベースを弛み指標値算出部8及び弛み評価部10に接続することもできる。
弛み評価部10は、データベースから読み出された目視評価値と弛み指標値との関係と、弛み指標値算出部8から入力された弛み指標値とを比較することにより、評価対象者の顔肌の弛みを評価することができる。
図4は、実施の形態1に係る肌の弛み評価装置により実行される肌の弛み評価方法のフローチャートを示す図である。
まず、3D(三次元)顔形状データ取得部2は、評価対象者の顔の三次元顔形状データを取得する(ステップS1)。三次元顔形状データは、3D(三次元)理想顔形状データ生成部4に出力され、評価対象者の三次元顔形状に基づいて、三次元形状編集ソフトを用いて、弛みのない理想的な三次元顔形状が手動で生成される。三次元顔形状データ及び三次元理想顔形状データは、特徴量算出部6の解析範囲設定部22に出力される。
複数の解析領域が設定された三次元顔形状データ及び三次元理想顔形状データは、それぞれ、差分体積算出部24及び差分表面積算出部26に出力され、解析範囲設定部22で設定された解析領域ごとの体積及び表面積の少なくとも1つが算出され、弛み特徴量として、両データの差分体積及び差分表面積の少なくとも1つが算出される(ステップS3)。
実施例1
(1)弛み指標値算出のモデル式の作成
まず、弛み指標値を算出するためのモデル式を作成するために、無作為に選びだした37人の被験者それぞれの三次元顔形状データ、及び三次元理想顔形状データを取得した。三次元理想顔形状データは、37人の被験者の三次元顔形状データを基に手動で作成した。
ついで、本願の実施の形態1の肌の弛み評価装置を用いて、取得した、三次元顔形状データ及び三次元理想顔形状データの顔形状を位置合わせした後、図3に示すように、顔形状に複数の解析領域を設定した。また、複数の解析領域に基づく差分体積を算出し、その中から、解析領域RS1、RS2、RS3、及びRS4における差分体積を弛み指標値として選択した。また、下記5段階の弛みグレード分類による各被験者の顔肌(三次元顔形状)の目視評価を、パネラー7人により行った。各被験者の顔肌の目視評価値(弛み印象値)は、7人のパネラーによる目視評価値の平均値とした。
5 たるんでいない
4 わずかにたるんでいる
3 ややたるんでいる
2 たるんでいる
1 とてもたるんでいる
評価対象者37人それぞれから、モデル式作成時と同様に、三次元顔形状データ、及び三次元理想顔形状データを取得し、解析領域RS1、RS2、RS3、及びRS4における差分体積(弛み指標値)を算出した。
また、さらに、評価対象者37人の三次元顔形状データそれぞれの目視評価を先述した方法と同様の方法で行い、弛み印象値をもとめた。
図5は、弛み指標値と弛み印象値の相関関係を示すグラフ(y=0.788+0.775)を示す。弛み指標の値と目視評価値との間の相関を求めた結果、相関係数R2は、0.788であった。
これより、モデル式を用いて算出された弛み指標値と目視評価値(弛み印象値)との相関関係の方は、高い相関が得られることが分かる。
Claims (11)
- 評価対象者の顔の第1の三次元顔形状データを取得し、
前記評価対象者の顔に基づいて、弛みのない第1の三次元理想顔形状データを生成し、
前記第1の三次元顔形状データと前記第1の三次元理想顔形状データとの差分を前記評価対象者の顔の弛みを評価する第1の特徴量として算出し、
予め作成された顔の弛みを評価するモデルと前記第1の特徴量に基づいて、弛み指標値を算出し、
前記弛み指標値に基づいて、前記評価対象者の顔の弛みを評価する方法であって、
前記モデルは、複数の被験者それぞれの顔から取得した第2の三次元顔形状データ、前記複数の被験者それぞれの顔に基づいて作成された、複数の弛みのない第2の三次元理想顔形状データ、及び前記複数の被験者それぞれの顔の弛みの目視評価値に基づいて作成されたものである
弛み評価方法。 - 前記モデルは、
前記被験者それぞれの前記第2の三次元顔形状データと前記第2の三次元理想顔形状データとの差分を、前記複数の被験者それぞれの顔の弛みを評価する第2の特徴量として算出し、
前記被験者それぞれの顔の弛みの目視評価値及び前記第2の特徴量を回帰分析して導かれたものである請求項1に記載の弛み評価方法。 - 前記第1の特徴量及び前記第2の特徴量は、差分体積及び差分表面積の少なくとも1つである請求項2に記載の弛み評価方法。
- 前記第1の特徴量及び前記第2の特徴量は、
弛みの出やすい顔の特徴点を基準にして、前記評価対象者及び前記複数の被験者の顔に複数の領域を設定し、前記複数の領域の少なくとも1つの領域から算出されたものである請求項2または3に記載の弛み評価方法。 - 前記顔の特徴点とは、目、頬、頬下、鼻尻、口角及び顎の少なくとも1つである請求項4に記載の弛み評価方法。
- 評価対象者の顔の第1の三次元顔形状データを取得する顔形状データ取得手段と、
前記評価対象者の顔に基づいて、弛みのない第1の三次元理想顔形状データを作成する理想顔形状生成手段と、
前記第1の三次元顔形状データと前記第1の三次元理想顔形状データとの差分を前記評価対象者の顔の弛みを評価する第1の特徴量として算出する特徴量算出手段と、
予め作成された顔の弛みを評価するモデルと前記第1の特徴量に基づいて、弛み指標値を算出する弛み指標値算出手段と、
前記弛み指標値に基づいて、評価対象者の顔の弛みを評価する弛み評価手段と、
を有し、
前記モデルは、複数の被験者それぞれの顔から取得した第2の三次元顔形状データ、前記複数の被験者それぞれの顔に基づいて作成された、複数の弛みのない第2の三次元理想顔形状データ、及び前記複数の被験者それぞれの顔の弛みの目視評価値に基づいて作成されたものである、
弛み評価装置。 - 前記弛み評価装置は、さらに、前記モデルを生成するモデル生成手段を有し、
前記顔形状データ取得手段は、前記複数の被験者それぞれの顔から取得した第2の三次元顔形状データを取得し、
前記理想顔形状生成手段は、前記複数の被験者それぞれの顔に基づいて作成された第2の三次元理想顔形状データを生成し、
前記特徴量算出手段は、前記第2の三次元顔形状データと前記第2の三次元理想顔形状データとの差分を評価する第2の特徴量として算出し、
前記モデル生成手段は、前記複数の被験者それぞれの顔の弛みの目視評価値及び前記第2の特徴量を回帰分析して前記モデルを生成する、
請求項6に記載の弛み評価装置。 - 前記第1の特徴量及び前記第2の特徴量は、差分体積及び差分表面積の少なくとも1つである請求項7に記載の弛み評価装置。
- 前記特徴量算出手段は、弛みの出やすい顔の特徴点を基準にして、前記評価対象者及び前記複数の被験者の顔に複数の領域を設定し、前記複数の領域の少なくとも1つの領域から算出されたものである請求項7または8に記載の弛み評価装置。
- 前記顔の特徴点とは、目、頬、頬下、鼻尻、口角及び顎の少なくとも1つである請求項9に記載の弛み評価装置。
- 評価対象者の顔の第1の三次元顔形状データを取得するステップと、
前記評価対象者の顔に基づいて、弛みのない第1の三次元理想顔形状データを生成するステップと、
前記第1の三次元顔形状データと前記第1の三次元理想顔形状データとの差分を前記評価対象者の顔の弛みを評価する第1の特徴量として算出するステップと、
予め作成された顔の弛みを評価するモデルと前記第1の特徴量に基づいて、弛み指標値を算出するステップと、
前記弛み指標値に基づいて、前記評価対象者の顔の弛みを評価するステップ、を有し、
前記モデルは、複数の被験者それぞれの顔から取得した第2の三次元顔形状データ、前記被験者の顔それぞれに基づいて作成された、複数の弛みのない第2の三次元理想顔形状データ、及び前記複数の被験者それぞれの顔の弛みの目視評価値に基づいて作成されたものである
コンピュータに実行させるための弛み評価プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019058309A JP6983831B2 (ja) | 2019-03-26 | 2019-03-26 | 弛み評価方法、弛み評価装置、及び弛み評価プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019058309A JP6983831B2 (ja) | 2019-03-26 | 2019-03-26 | 弛み評価方法、弛み評価装置、及び弛み評価プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020156690A JP2020156690A (ja) | 2020-10-01 |
JP6983831B2 true JP6983831B2 (ja) | 2021-12-17 |
Family
ID=72640514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019058309A Active JP6983831B2 (ja) | 2019-03-26 | 2019-03-26 | 弛み評価方法、弛み評価装置、及び弛み評価プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6983831B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4364647A1 (en) * | 2021-06-28 | 2024-05-08 | Shiseido Company, Ltd. | Method for determining reason for change in under-eye sagging, device for determining reason for change in under-eye sagging, program, method for evaluating under-eye sagging, device for evaluating under-eye sagging, and program |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5659625A (en) * | 1992-06-04 | 1997-08-19 | Marquardt; Stephen R. | Method and apparatus for analyzing facial configurations and components |
JP4303092B2 (ja) * | 2003-11-12 | 2009-07-29 | 株式会社国際電気通信基礎技術研究所 | 年齢推定装置、年齢推定方法および年齢推定プログラム |
JP2010022547A (ja) * | 2008-07-18 | 2010-02-04 | Pola Chem Ind Inc | 皮膚透明感の鑑別法 |
JP2011150595A (ja) * | 2010-01-22 | 2011-08-04 | Shiseido Co Ltd | 顔形状評価装置、顔形状評価方法、及び顔形状評価プログラム |
CN102870136B (zh) * | 2010-06-21 | 2017-05-10 | 宝丽化学工业有限公司 | 年龄估计方法 |
JP2014004105A (ja) * | 2012-06-22 | 2014-01-16 | Rohto Pharmaceut Co Ltd | 皮膚のたるみ量の測定方法 |
JP6528228B2 (ja) * | 2014-10-21 | 2019-06-12 | ポーラ化成工業株式会社 | 皮膚のタルミ度合いの評価方法 |
US10395099B2 (en) * | 2016-09-19 | 2019-08-27 | L'oreal | Systems, devices, and methods for three-dimensional analysis of eyebags |
CN109427053A (zh) * | 2017-08-31 | 2019-03-05 | 丽宝大数据股份有限公司 | 皮肤老化状态评估方法与电子装置 |
JP6473959B1 (ja) * | 2018-05-14 | 2019-02-27 | 株式会社三砂堂漢方 | 皮膚たるみ量測定方法および皮膚たるみ量測定装置 |
-
2019
- 2019-03-26 JP JP2019058309A patent/JP6983831B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020156690A (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5231685B1 (ja) | 顔印象分析方法、美容カウンセリング方法および顔画像生成方法 | |
KR101488130B1 (ko) | 러닝 폼 진단 시스템 및 러닝 폼을 득점화하는 방법 | |
US7242999B2 (en) | Method and apparatus for identifying virtual body profiles | |
Hontanilla et al. | Automatic three-dimensional quantitative analysis for evaluation of facial movement | |
US20120086793A1 (en) | Video image information processing apparatus and video image information processing method | |
US20100121201A1 (en) | Non-invasive wound prevention, detection, and analysis | |
US8332186B2 (en) | Method and apparatus for generating a model of an object | |
Meintjes et al. | A stereo-photogrammetric method to measure the facial dysmorphology of children in the diagnosis of fetal alcohol syndrome | |
JP2001346627A (ja) | 化粧アドバイスシステム | |
JP7153112B2 (ja) | 評価方法、評価装置および評価プログラム | |
Gilani et al. | Geometric facial gender scoring: objectivity of perception | |
Ten Harkel et al. | Reliability and agreement of 3D anthropometric measurements in facial palsy patients using a low-cost 4D imaging system | |
JP6983831B2 (ja) | 弛み評価方法、弛み評価装置、及び弛み評価プログラム | |
JP2019074343A (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2023189309A1 (ja) | コンピュータプログラム、情報処理方法及び情報処理装置 | |
KR101309013B1 (ko) | 안면 영상과 엑스레이 영상을 이용한 형상진단기 | |
Alagha et al. | Objective grading facial paralysis severity using a dynamic 3D stereo photogrammetry imaging system | |
JP5905702B2 (ja) | 顔印象判定チャート | |
JP6593673B2 (ja) | 身体情報取得装置および身体情報取得方法 | |
JP2942502B2 (ja) | 皮膚のたるみ量測定装置及び測定方法 | |
Wu et al. | Learning to rank the severity of unrepaired cleft lip nasal deformity on 3d mesh data | |
JP2016159114A (ja) | 肌分析システム、肌分析装置および肌分析用プログラム | |
TWI716344B (zh) | 增齡分析方法、使用增齡分析方法之衰老修護之輔助方法、增齡分析裝置及電腦可讀取之記錄媒體 | |
JP4481142B2 (ja) | 顔形状分類方法および顔形状評価方法および顔形状評価装置 | |
Sutton et al. | Both the observer's expertise and the subject's facial symmetry can affect anatomical position of the head |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211029 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6983831 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |