JP2024043496A - 顔形状改善支援装置、顔形状改善支援システム、顔形状改善支援方法、施術及び/又は物質を提案する方法、並びにプログラム - Google Patents

顔形状改善支援装置、顔形状改善支援システム、顔形状改善支援方法、施術及び/又は物質を提案する方法、並びにプログラム Download PDF

Info

Publication number
JP2024043496A
JP2024043496A JP2023142051A JP2023142051A JP2024043496A JP 2024043496 A JP2024043496 A JP 2024043496A JP 2023142051 A JP2023142051 A JP 2023142051A JP 2023142051 A JP2023142051 A JP 2023142051A JP 2024043496 A JP2024043496 A JP 2024043496A
Authority
JP
Japan
Prior art keywords
facial
smile
user
training
support device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023142051A
Other languages
English (en)
Inventor
英輔 高井
優哉 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Publication of JP2024043496A publication Critical patent/JP2024043496A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】美容的な顔形状改善が効果的に得られるようユーザを支援する装置を提供する。【解決手段】笑顔の表出動作をするユーザの顔組織の状態を取得する取得部と、前記ユーザの顔組織の状態が、所定基準を満たす笑顔に対応する状態であるか否かを判定する判定部と、当該判定の結果を出力する出力部と、を備えた(A)笑顔トレーニング支援装置と、顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を取得する取得部と、前記複数の顔画像を用いて、前記ユーザの、少なくとも前記笑顔の表出動作後の顔形状を評価する評価部と、を備えた(B)顔形状評価装置と、を有する。【選択図】図1

Description

本発明は、顔形状改善支援装置、顔形状改善支援システム、顔形状改善支援方法、施術及び/又は物質を提案する方法、並びにプログラムに関する。
美容分野において、顔のたるみ解消、顔の引き締め等の顔形状の改善は強く求められており、そのための様々な美容器具又は美容方法等も知られている。例えば、ユーザの顔の筋肉に対し、振動、圧力等のエネルギーを適用させる美容器具等が知られている(特許文献1、2)。
特開2016-198429号公報 特開2020-5974号公報
しかしながら、上述の従来技術は、ユーザが自らの意志で筋肉を動かすことを促すものではないので、美容器具の使用条件によっては、筋肉に適用させるエネルギーが不十分であったり、又は過度な使用によって却って筋肉を傷めたりすることがあり、十分な効果が得られない可能性もある。また、美容器具による効果が直ぐに確認できないため、ユーザが顔形状改善のための努力を止めてしまうこともある。
上記に鑑みて、本発明の一態様は、美容的な顔形状改善が効果的に得られるようユーザを支援する装置を提供することを課題とする。
本発明の一態様による顔形状改善支援装置は、笑顔の表出動作をするユーザの顔組織の状態を取得する取得部と、前記ユーザの顔組織の状態が、所定基準を満たす笑顔に対応する状態であるか否かを判定する判定部と、当該判定の結果を出力する出力部と、を備えた(A)笑顔トレーニング支援装置と、顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を取得する取得部と、前記複数の顔画像を用いて、前記ユーザの、少なくとも前記笑顔の表出動作後の顔形状を評価する評価部と、を備えた(B)顔形状評価装置と、を有する。
本発明の一態様によれば、美容的な顔形状改善が効果的に得られるようユーザを支援する装置を提供できる。
一実施態様による顔形状改善支援システムの全体構成を示す図である。 笑顔判定基準の作成のフローの一例を示す。 笑顔表出時の筋電位について説明するための図である。 重力ふくらみ及び重力へこみについて説明するための図である。 重力ふくらみと重力へこみとの関係を示す図である。 顔内移動たるみ及び頬前後たるみについて説明するための図である。 一実施形態による顔形状改善支援方法の一例のフロー図である。 顔形状評価の一例のフロー図である。 トレーニング内容の作成及び笑顔トレーニングの一例のフロー図である。 笑顔トレーニングに含まれる笑顔エクセサイズの一例のフロー図である。 別の変形例による顔形状改善方法のフロー図である。 一実施形態による笑顔トレーニング支援装置、及び/又は顔形状評価装置のハードウェア構成の一例を示すブロック図である。
本発明の一実施形態は、笑顔の表出動作をするユーザの顔組織の状態を取得する取得部と、前記ユーザの顔組織の状態が、所定基準を満たす笑顔に対応する状態であるか否かを判定する判定部と、当該判定の結果を出力する出力部と、を備えた(A)笑顔トレーニング支援装置と、顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を取得する取得部と、前記複数の顔画像を用いて、前記ユーザの、少なくとも前記笑顔の表出動作後の顔形状を評価する評価部と、を備えた(B)顔形状評価装置と、を有する、顔形状改善支援装置である。
本明細書において、「顔形状の改善」は、顔の形状の美容的な改善を指す。よって、顔形状の改善には、例えばたるみの改善若しくは解消、むくみの改善の若しくは解消、顔全体の大きさの縮小(小顔化)、リフトアップ、引き締め、顔輪郭の補正等が含まれる。なお、顔のたるみとは、顔の表面組織(骨に付いている組織)が、特に頬の部分が鉛直方向下側に垂れ下がることを指す。
本発明者らは、顔の筋肉をユーザが自らの意志で、すなわち随意的に動かすことの重要性に着目し、笑顔を表出するトレーニング、特に魅力的且つ/又は自然と判定される笑顔を表出するトレーニングを行うことが、顔形状の改善に効果的であることを見出した。そして、本形態では、(A)笑顔トレーニング支援装置と(B)顔形状評価装置とを組み合わせることによって顔形状改善の効果を向上できることを見出した。より具体的には、本形態によれば、笑顔トレーニングにおいて(A)笑顔トレーニング支援装置を用いることで、ユーザが適切な笑顔を表出しているかの判定(笑顔判定)を行うことができ、且つ(B)顔形状評価装置を用いることでトレーニングの成果を容易に評価できる。
図1に、一実施形態の構成を説明するための機能ブロック図を示す。図1に示すように、顔形状改善支援システム100は、顔形状改善支援装置80を含むものであり、さらに測定機器30、表示機器40、及び撮像機器50を備えていてよい。顔形状改善支援装置80は、(A)笑顔トレーニング支援装置と、(B)顔形状評価装置とを含む。
<(A)笑顔トレーニング支援装置>
(A)笑顔トレーニング支援装置は、魅力的且つ/又は自然と判定される笑顔を行うトレーニング(笑顔トレーニング)支援するものである。ユーザは笑顔の表出をしていたとしても、笑顔が適切なものであるかどうか、すなわち、笑顔表出動作が顔形状改善に結びつく動作になっているのかどうか、分からない場合がある。本形態における(A)笑顔トレーニング支援装置を利用することで、表出した笑顔が適切な笑顔か否かを即時に若しくはリアルタイムで判定できるので、笑顔の表出動作の修正が容易となり、ユーザは、顔形状改善のための無駄の少ないトレーニングを行うことができる。
(A)笑顔トレーニング支援装置は、パーソナルコンピュータ、タブレット、スマートフォン等の任意のコンピュータであってよい。また、(A)笑顔トレーニング支援装置は、図1に示すように、情報取得部11、登録部12、笑顔判定部13、トレーニング内容作成部14、及び出力部15を含んでいてよい。(A)笑顔トレーニング支援装置は、プログラムを実行することで、情報取得部11、登録部12、笑顔判定部13、トレーニング内容作成部14、及び出力部15として機能させることができる。
また、(A)笑顔トレーニング支援装置は、測定機器30及び表示機器40とともに、笑顔トレーニング支援デバイス10を構成していてよい。測定機器30と(A)笑顔トレーニング支援装置との間、及び表示機器40と(A)笑顔トレーニング支援装置との間では、有線通信又は無線通信を介してデータを送受信することができる。笑顔トレーニング支援デバイス10としては、例えば、特願2021-043016及び当該出願を基礎とする国際公開第2022/196419号に記載されたシステム又は装置を利用できる。
測定機器30は、ユーザ1の顔組織の状態を取得できる、すなわちユーザ1の顔の組織の状態に関する情報を取得できる。この顔組織の状態は、笑顔の判定(後に詳述)を可能にするものであれば特に限定されないが、顔の筋肉の状態、顔の脂肪の状態、顔の皮膚組織の状態、顔の外観の状態(顔表面のシワ、顔表面の色状態等)であってよく、これらのうち、好ましくは顔の筋肉の状態、より好ましくは顔の筋電位であってよい。よって、測定機器30は、顔の筋電位を測定可能な電極を備えた測定用接触子であると好ましい。その場合、電極がユーザ1の顔の所定箇所に密着して位置固定されるように構成できる。測定機器30にて、筋電位のある時点での測定値を測定することもできるし、筋電位の経時的な変化も測定することができる。
表示機器40は、(A)笑顔トレーニング支援装置にて出力される情報を表示して、ユーザ1に通知できるものであればよく、タブレット、スマートフォン等のユーザ端末として構成されていてもよい。(A)笑顔トレーニング支援装置は、表示機器40と別体の装置となっていてもよいし、表示機器40を含むように構成されていてもよい。
情報取得部11は、測定機器30から、当該測定機器30にて測定された顔組織の状態に係る情報を取得する。情報取得部11では、取得された情報(データ)を加工又は処理することもでき、例えば、顔組織の状態に係る情報が筋電位である場合には、筋電図(筋電位の経時的な記録)等を生成することもできる。
登録部12は、取得された情報、当該情報を加工又は処理して得られた情報、外部から入力されたデータ等を登録することができる。例えば、筋電図等のデータも登録することができる。また、登録部12は、笑顔トレーニング内容、ユーザ1の情報、さらには後述の笑顔判定部13における判定で利用される、予め設定しておいた笑顔の客観的な所定基準等も登録しておくことができる。
笑顔判定部13は、情報取得部11にて取得された顔組織の状態に係る情報に基づいて、ユーザ1の表出した笑顔が、所定基準を満たすものかを判定する。判定に際しては、取得されたユーザ1の顔組織の状態に係る情報又はその情報から抽出された特徴量を、予め設定しておいた特徴量の所定基準と比較する。この予め設定しておく所定基準は、人によって決められたものであってもよいし、笑顔トレーニング支援デバイス10を利用して設定してもよい。
ここで、笑顔判定に際しての所定基準(笑顔判定基準)の作成の一例について説明する。笑顔判定基準は、複数の被験者を対象にして得られるデータに基づいて予め作成しておくことができる。笑顔判定基準の作成は、笑顔トレーニング支援デバイス10を利用して行うことが好ましい。
図2に、笑顔判定基準作成の一例のフロー図を示す。本例は、笑顔判定に利用される顔組織の状態として、顔の筋電位を用いたものとする。図2に示すように、まず、複数の被験者の笑顔表出時の筋電位を測定する(S1)。その場合、例えば、被験者に複数種類の笑顔を表出してもらうと共に、その笑顔を表出した際の筋電位の経時的な変化を測定する。測定には、測定機器30(図1)が利用される。測定機器30は、筋電位を測定する筋肉の箇所にもよるが、測定用接触子、例えば左右対をなす筋肉の筋電位を測定する場合には一対のパッドを含む形態であってよい。筋電位の経時的な変化は、例えば筋電図という形で出力することができる。
図3に、筋電図の一例である積分筋電図を示す。図3に示す積分筋電図において、アタックタイムは、顔の所定箇所における筋電位が最大となるまでの期間であり、リリースタイムは、顔の所定箇所における筋電位が、笑顔の状態から笑顔が解除された状態(真顔の状態)に戻るまでの期間である。また、斜線部分が、筋電位の積分値(筋電位の大きさともいう)である。
測定される筋電位は、顔の筋肉のうち1種類以上の筋電位とすることができ、好ましくは、眼輪筋、小頬骨筋、大頬骨筋、及び笑筋の少なくとも1種類の筋肉の筋電位とすることができ、より好ましくはこれらの筋肉の少なくとも1種類の左右両方の筋電位であってよい。また、筋電位は、1種類の筋肉において1箇所(1チャンネル)又は複数箇所(複数チャンネル)で測定されてもよいし、左右対になっている筋肉の場合には各側の筋肉において1箇所又は複数箇所で測定されてもよい。なお、上記筋肉のように左右対をなす筋肉の場合、例えば、図3に示すような測定用接触子(測定機器)30によって顔を挟み、一対のパッドが左右両側の筋肉に対応するように配置することができる。
続いて、筋電位の特徴量を抽出する(S2)。利用される筋電位の特徴量としては、筋電位の大きさ(筋電位の積分値)、筋電位の立ち上がり速度、目周辺の筋電位と口周辺の筋電位との相関の強さ、これらの特徴量から算出される統計値(総和、平均、偏差等)が挙げられる。これらの特徴量は、1つ又は複数組み合わせて利用することができる。
筋電位の積分値(図3の斜線部分)は、笑顔の大きさに相当する。筋電位の積分値は、眼輪筋、小頬骨筋、大頬骨筋、及び笑筋の少なくとも1つにて測定された筋電位であってよく、好ましくは、これらの4種類の筋肉にて測定された測定値の総和、若しくは平均であってよい。
筋電位の立ち上がり速度は、筋電位が最大になるまでの速度である。筋電位の立ち上がり速度も、眼輪筋、小頬骨筋、大頬骨筋、及び笑筋の少なくとも1つにて測定された筋電位であってよく、好ましくは、これらの4種類の筋肉にて測定された測定値の総和、若しくは平均であってよい。
目周辺の筋電位と口周辺の筋電位との相関の強さは、眼輪筋における筋電位と、小頬骨筋、大頬骨筋、及び笑筋の少なくとも1つの筋電気との相関の強さであってよい。この目周辺の筋電位と口周辺の筋電位との相関の強さは、目の動きと口の動きとの相関の強さで合って、当該相関の強さが弱い場合、笑顔は不自然になりやすいので、このような特徴量を利用することで、不自然な笑顔を除外することができる。
また、笑顔判定基準(笑顔の所定基準)の作成に利用される筋電位の特徴量には、筋電図から抽出されるその他の特徴量も含まれていてよい。その他の特徴量は、例えば、所定期間内の筋電位の大きさ、筋電位が計測されるタイミング、筋電位の経時的な変化のパターン(筋電図の形状)、立ち下がりの速度(笑顔の状態から真顔の状態に戻るまでの速度)等であってよい。また、上述した特徴量の組み合わせ、筋電位を複数の種類の筋肉で測定した場合には、その総和、平均、偏差等であってもよい。
筋電位の測定(S1、図2)の際には、表出された複数種類の笑顔の動画を撮影し、複数の被験者(笑顔を表出した被験者であってもよいし別の被験者であってもよい)によって、各笑顔の魅力度を視覚的に評価してもらい、数値化しておく。そして、ステップS1で表出された笑顔の視覚的に評価と、測定された筋電位との間での相関を取得する(S3)。さらに、取得された相関に基づき、魅力的な笑顔に対応する特徴量の範囲を、所定基準として設定する(S4)。すなわち、上記魅力的な笑顔に対応する特徴量の範囲(筋電位を測定する場合には、筋電位から抽出される特徴量の範囲)を、笑顔判定基準とする。この特徴量の範囲の設定は、人によって行ってもよいし、機械学習等を利用して行ってもよい。なお、魅力度に換えて、笑顔の自然さを視覚的に評価してもよい。
再び図1を参照する。笑顔判定部13は、ユーザ1が笑顔トレーニング(後にさらに詳述)を行う際に、上記のように予め設定しておいた所定基準(笑顔判定基準)を利用して、ユーザ1が表出した笑顔が、所定基準を満たすかどうかについて判定する。すなわち、筋電位の測定値から抽出された特徴量を、上記のように予め設定しておいた筋電位の特徴量の範囲と比較して、その範囲内にあるか否かを判定する。笑顔判定部13による笑顔の判定結果が出力されれば、その出力内容をユーザ1にフィードバックできる。
(A)笑顔トレーニング支援装置におけるトレーニング内容作成部14は、笑顔トレーニングのための、スケジュール、及びユーザに提供するガイダンス(案内)を作成する。なお、本明細書において、「笑顔トレーニング」は、顔形状改善のために行われる、笑顔表出を利用した顔の鍛錬の過程、若しくはその過程のために利用される手段を指し、笑顔表出動作を含む笑顔エクセサイズ(後に詳述)のみならず、笑顔エクセサイズ自体ではないが笑顔エクセサイズを助成する、ユーザ又はユーザ以外が実施する手段を含み得る。よって、「笑顔トレーニング」は、複数日数にわたって、場合によっては数週間、数か月、又は数年にわたって行われるものも含む。笑顔トレーニングにおいては、通常、複数回を1セットとする笑顔表出動作(例えば、笑顔を作り出し、維持し、笑顔を止めるまでの動作)が含まれる。この1セットの笑顔表出動作を、「笑顔エクセサイズ」と呼ぶ場合があるが、「笑顔エクセサイズ」に含める笑顔表出動作は1回に設定されていてもよい。
トレーニング内容作成部14において作成されるガイダンスは、ユーザが笑顔エクセサイズを行う際に適切な笑顔動作を導くガイダンス(エクセサイズガイダンス)、笑顔トレーニングの全体のスケジュールや注意点に関するガイダンス、装置の一般的な使用方法に関するガイダンスを含んでいてよい。
ガイダンスの形式は、特に限定されず、視覚、聴覚、及び触覚の1以上に訴えるものであってよく、例えば、音、光、振動等を利用して提供されるものであってよい。具体的には、ガイダンスは、ディスプレイ、タブレット、スマートフォン等である表示機器40に表示し、画像及び/又は動画の形態で提供することができるし、スピーカー等によって音声で提供できる。或いは、動作指示は、イラストや説明文等が記載された紙媒体の形式で提供してもよいし、インストラクター等の人による指導であってもよい。
トレーニング内容作成部14では、一旦作成されたトレーニングのスケジュールやガイダンスを、笑顔エクセサイズの判定結果の集計、顔形状評価結果等に応じて、再作成又は修正することもできる(後に詳述)。
出力部15は、(A)笑顔トレーニング装置内における情報を出力できる。例えば、笑顔判定の結果、トレーニングの内容等を出力できる。出力部15による出力は、ユーザ1の視覚、聴覚、及び触覚の1以上に訴える形式であってよく、例えば、音、光、振動等を利用するものであってよい。
<(B)顔形状評価装置>
(B)顔形状評価装置は、ユーザの顔形状を評価するものである。上述の(A)笑顔トレーニング支援装置を利用して笑顔トレーニングを行っていても、顔形状は微小にしか変化しないことが多く、顔形状の改善効果があったとしても、ユーザが気付かないこともある。そのような場合、ユーザは顔形状改善の効果の実感が得られないとして、笑顔トレーニングを諦めてしまう場合がある。これに対し、本形態では、ユーザは、例えば、笑顔トレーニング前後で、(B)顔形状評価装置を利用して顔形状を評価することで、笑顔トレーイングの効果を確認することができる。なお、(B)顔形状評価装置による顔形状の評価は、ユーザの所望のタイミングで行うことができる。笑顔トレーニングの途中、例えば笑顔トレーニングにおける笑顔エクセサイズに含まれる1回の笑顔表出動作の前後等であってもよい。
(B)顔形状評価装置は、顔形状を評価するためのコンピュータ(例えば、サーバ)であってよい。(B)顔形状評価装置は、図1に示すように、情報取得部21、登録部22、算出部23、評価部24、及び出力部25を含んでいてよい。(B)顔形状評価装置は、プログラムを実行することで、情報取得部21、登録部22、算出部23、評価部24、及び出力部25として機能させることができる。
また、(B)顔形状評価装置は、撮像機器50、解析装置60、及び表示機器70とともに、顔形状評価デバイス20を構成していてよい。撮像機器50は解析装置60を介して(B)顔形状評価装置に接続されてデータの送受信が可能となっているが、その間の接続は、有線通信又は無線通信を利用するものであってよい。(B)顔形状評価装置としては、例えば、国際公開第2021/241475号に記載の装置を利用できる。
撮像機器50は、ユーザ1の顔の三次元形状を表す画像(三次元形状顔画像)のデータを生成する。例えば、撮像機器50は、3D(3次元)画像を撮影可能な機器であってよい。より具体的には、撮像機器50は、複数の画像を、ユーザの顔組織にかかる重力ベクトルが異なる状態で撮影する、すなわち顔組織に対する重力の大きさ若しくは方向、又はその両方が異なる状態で、好ましくは重力の方向が異なる状態で撮影する。例えば、ユーザの顔が水平位である時(顔の正中線を重力の方向に対して直角に静止させた時)、及び垂直位であるとき(顔の正中線を重力の方向に対して平行に静止させた時)の、三次元形状顔画像のデータを生成する。
解析装置60は、撮像機器50が生成したデータに基づいて、顔形状評価に用いられる情報を算出するためのコンピュータ(例えば、パーソナルコンピュータ、タブレット、スマートフォン等)であってよい。具体的には、解析装置60は、ユーザの顔組織にかかる重力ベクトルが異なる状態で撮像された複数の顔画像を比較した場合の、ユーザの顔の三次元形状の変化に係る量を算出することができる。例えば、ユーザの顔が水平位のときの三次元形状顔画像と、垂直位のときの三次元形状顔画像との間の三次元形状の変化に基づいて、重力ふくらみ量(VCswelling)及び重力へこみ量(VCshrinking)(後に詳述)を算出することが好ましい。
なお、図1では、解析装置60が(B)顔形状評価装置とは別のコンピュータとなるように説明したが、解析装置60と(B)顔形状評価装置とが1つのコンピュータで実装されていてもよい。
表示機器70は、(B)顔形状評価装置にて出力される情報を表示して、ユーザ1に通知できるものであればよく、タブレット、スマートフォン等のユーザ端末として構成されていてもよい。また、表示機器70と撮像機器50とがユーザ端末に含められていてよい。表示機器70は、(B)顔形状評価装置と別体の装置となっていてもよいし、表示機器70を含むように構成されていてもよい。
撮像機器50で取得される三次元顔画像が、水平位の時及び垂直位の時の画像であり、解析装置60で重力ふくらみ量(VCswelling)及び重力へこみ量(VCshrinking)が算出された場合、(B)顔形状評価装置では、顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)(後に詳述)をさらに算出する。そして、顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)を指標として、顔形状の評価を行う。以下、撮像機器50においてユーザ1の水平位及び垂直位の顔画像を撮像し、比較する場合を例として説明する。
(B)顔形状評価装置の情報取得部21は、解析装置60が算出した重力ふくらみ量(VCswelling)及び重力へこみ量(VCshrinking)を取得する。
登録部22は、例えば、情報取得部21で取得された重力ふくらみ量(VCswelling)及び重力へこみ量(VCshrinking)を算出部23が参照できるように登録する。また、登録部22は、算出部23で算出された結果、外部から入力されユーザに関する情報等も登録することができる。
算出部23は、重力ふくらみ量(VCswelling)及び重力へこみ量(VCshrinking)から、顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)を算出する。算出された顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)は、評価部24及び出力部25が参照できるように登録部22に登録される。
ここで、重力ふくらみ量(VCswelling)及び重力へこみ量(VCshrinking)、並びに顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)について、より詳細に説明する。
ユーザの顔が水平位である時の三次元形状顔画像と、ユーザの顔が垂直位であるときの三次元形状顔画像とを取得し、水平位の時の三次元形状と垂直位の時の三次元形状とを対比した場合、図4(a)に示す顔画像おける破線内の部位で、重力ふくらみが見られる。すなわち、図4(a)における破線内の部位では、水平位よりも垂直位の時の方が体積が大きい。そして、垂直位の時の方が体積が大きい部位の両者(つまり、水平位と垂直位)の体積の差分を、重力ふくらみ量(VCswelling)とする。
また、ユーザの顔が水平位である時の三次元形状顔画像と、ユーザの顔が垂直位である時の三次元形状顔画像とを取得し、水平位のときの三次元形状と垂直位のときの三次元形状とを対比した場合、図4(b)に示す破線内の部位で、重力へこみが見られる。すなわち、図4(b)における破線内の部位では、水平位よりも垂直位の時の方が体積が小さい。そして、垂直位の時の方が体積が小さい部位の両者(つまり、水平位と垂直位)の体積の差分を、重力へこみ量(VCshrinking)とする。
さらに、重力ふくらみ(図4(a))の量(VCswelling)と、重力へこみ(図4(b))の量(VCshrinking)とから、下記の式(1)を用いて、2種類のたるみ(「顔内移動たるみ量(Sf)」と「頬前後たるみ量(Sc)」)が算出できる。下記の式(1)は、重力へこみ量(VCshrinking)をx軸とし、重力ふくらみ量(VCswelling)をy軸としたとき、反時計回りに45度だけ座標を変換することによって、2種類のたるみ(「顔内移動たるみ量(Sf)」と「頬前後たるみ量(Sc)」)が定量できることを表している。このような、重力ふくらみ及び重力へこみと、「顔内移動たるみ量(Sf)」及び「頬前後たるみ量(Sc)」との関係は、図5にも示されている。
Figure 2024043496000002

(上式中、VCshrinking=重力へこみ量、VCswelling=重力ふくらみ量、Sf=顔内移動たるみ量、Sc=頬前後たるみ量、θ=π/4である)
顔内移動たるみは、頬上部から下部に垂れ下がるたるみであり、頬前後たるみは、頬上部から下部に垂れ下がるたるみ以外のたるみ(例えば、口元の頬が変形することによって口腔側から頬が前後に移動するたるみ)である。図6(a)に、典型的な顔内移動たるみの発生位置を、図6(b)に、典型的な頬前後たるみの発生位置を、それぞれ矢印で示す。
再び図1を参照する。評価部24は、顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)を指標として、たるみタイプとその程度を評価する。
出力部25は、(B)顔形状評価装置内の各種情報を出力できる。例えば、顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)の値、たるみタイプとその程度等を出力できる。(B)顔形状評価装置の表示手段に顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)の値、たるみタイプとその程度を表示する構成とすることもできる。なお、出力部25による出力は、ユーザ1の視覚、聴覚、及び触覚の1以上に訴える形式になっていてよく、例えば、音、光、振動等を利用するものであってよい。
このように、(B)顔形状評価装置においては、たるみを構成する因子として、2つの因子、すなわち「顔内移動たるみ」と「頬前後たるみ」という2種類のたるみがあるとの知見に基づき、人の顔が水平位である時と垂直位である時との間での顔の体積量の変化に応じて、顔形状評価を行うことができる。
なお、(B)顔形状評価装置による顔形状評価においては、「顔内移動たるみ」及び「頬前後たるみ」に加え、見た目のたるみに寄与する第三の因子である、たるみ肌係数を利用することもできる。たるみ肌係数(Cs)は、重力ふくらみ量(VCswelling)と視感スコア(視感評価、Sssとも呼ぶ)との関係から、下記の式(2)を用いて定義できる。
Figure 2024043496000003
視感スコア(Sss)とは、たるみの視感による評価を数値化したものである。視感スコア(Sss)は、例えば、T. Ezure, J. Hosoi, S. Amano and T. Tsuchiya, Skin Research and Technology 2009; 15: 299-305に記載されているように、人の顔が基準写真1~5のどれに最も近いか判定者の判定により算出される。例えば、視感スコア(Sss)は、被験者の顔が垂直位(つまり、顔の正中線を重力の方向に対して平行に静止させた状態)の時の斜め横顔の画像(顔の正面から左右に45度の角度から顔を撮影した画像)から算出される。なお、視感スコア(Sss)は、視感スコアが判定された斜め横顔の画像を教師データとして機械学習により生成された学習済みモデルを用いて算出されてもよい。視感スコアは、頬上部、頬下部、頬後方の各部位で判定されるが、いずれかを平均することで新たに生成してもよい。視感スコア(Sss)は、特に頬上部と頬下部における視感スコアを平均し、頬上下部における見た目のたるみを示す。
さらに、重力ふくらみ量(VCswelling)と顔内移動たるみ量(Sf)と頬前後たるみ量(Sc)との関係からは、下記の式(3)が見出されている。
Figure 2024043496000004
上記の式(2)と式(3)から、見た目のたるみ(つまり、視感スコア(Sss))と、たるみ肌係数(Cs)と、顔内移動たるみ量(Sf)と、頬前後たるみ量(Sc)との関係を下記の式(4)で表すことができる。
Figure 2024043496000005
また、たるみ肌係数(Cs)は、粘弾性取得装置によって取得された皮膚粘弾性のパラメータと相関していることが分かっている。よって、粘弾性取得装置によって取得された皮膚粘弾性のパラメータのうちから1つ又は2以上を用いてたるみ肌係数を算出することができる。
なお、(A)笑顔トレーニング支援装置及び(B)顔形状評価装置は、1つの装置として構成されていてもよいし、別々の装置として構成されていてもよい。また、笑顔トレーニング支援デバイス10及び顔形状評価デバイス20も、1つの装置として構成されていてもよいし、別々のシステムとして構成されていてもよい。笑顔トレーニング支援デバイス10と顔形状評価デバイス20とが別々の装置として構成されている場合、笑顔トレーニング支援デバイス10という1つのシステムと、顔形状評価デバイス20という1つのシステムとが組み合わせられ、顔形状改善システム全体を構成する。また、(A)笑顔トレーニング支援装置及び(B)顔形状評価装置が1つの装置として構成されているか別々の装置として構成されているかに関わらず、笑顔トレーニング支援デバイス10の表示機器40と、顔形状評価デバイス20の表示機器70とを、1つの装置で機能させることもできる。
<顔形状改善支援方法>
本発明の一実施形態は、顔形状の改善を支援する方法であって、所定基準を満たす笑顔を表出するための動作指示(ガイダンス)を生成し、前記指示を受けて笑顔の表出動作をするユーザの顔組織の状態を取得し、前記ユーザの顔組織の状態が、所定基準を満たす笑顔に対応する状態であるか否かを判定し、当該判定の結果を出力し、前記出力の少なくとも後に、顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を用いて、前記ユーザの、少なくとも前記笑顔の表出動作後の顔形状を評価することを含む、顔形状改善支援方法であってよい。
より具体的には、(A)笑顔トレーニング支援装置が、所定基準を満たす笑顔を表出するための動作指示(ガイダンス)を生成し、前記指示を受けて笑顔の表出動作をするユーザの顔組織の状態を取得し、前記ユーザの顔組織の状態が、所定基準を満たす笑顔に対応する状態であるか否かを判定し、当該判定の結果を出力することができ、(B)顔形状評価装置が、顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を用いて、前記ユーザの、少なくとも前記笑顔の表出動作後の顔形状を評価することができる。ここで、(A)笑顔トレーニング支援装置と(B)顔形状評価装置とが互いに独立して機能していてよいし、両者が互いに協働して機能するようになっていてもよい。すなわち、(A)笑顔トレーニング支援装置と(B)顔形状評価装置との間で、情報の送受信がなくてもよいし、情報の送受信があってもよい。
図7に、一実施形態による顔形状改善支援方法の一例を示す。図7の例は、(A)笑顔トレーニング支援装置と(B)顔形状評価装置との間で情報の送受信がある、すなわち両者が協働して機能する場合の顔形状改善支援方法の例である。
図7に示すように、まず、ユーザ1は、ユーザ情報を(A)笑顔トレーニング支援装置に入力して、提供することがきる(S01)。ユーザ情報は、例えば、年齢、性別、人種、居住地、職業、習慣、普段使用している化粧品等である。ユーザ情報は、(A)笑顔トレーニング支援装置にて取得され(S101)、また(B)顔形状評価装置において取得され(S201)、各装置において必要に応じて登録される。ユーザ情報の入力はなくてもよいが、ユーザ情報は、(A)笑顔トレーニング支援装置におけるトレーニング内容の作成(S103)、或いは(B)顔形状評価装置における顔形状評価(S202)において利用され、ユーザ1に応じた支援、及びより詳細な顔形状評価をすることができる。
(B)顔形状評価装置による顔形状評価は、ユーザ1が笑顔トレーニング(S03)を行う前に行ってもよい。その場合、図7に示すように、ユーザ1が顔形状情報を提供し(S02')、その顔形状情報を(B)顔形状評価装置が取得して、顔形状評価を行う(S202')。
ここで、図8に、(B)顔形状評価装置による顔形状評価(S202'、図7)の内容のより詳細なフロー図を示す。なお、図8は、笑顔トレーニング(S03)後の顔形状評価(S202、図7)のフロー図であってもよい。図8に示すように、顔形状評価においては、三次元形状の顔画像を生成し(S21)、当該顔画像から重力ふくらみ量(VCswelling)及び重力へこみ量(VCshrinking)を算出する(S22)。重力ふくらみ量(VCswelling)は、水平位の時の三次元形状と垂直位の時の三次元形状とを対比し、垂直位の時に体積が大きい部位(図4(a)に示す部位)の両者(つまり、水平位と垂直位)の体積の差分として求められる。また、重力へこみ量(VCshrinking)は、水平位の時の三次元形状と垂直位の時の三次元形状とを対比し、垂直位の時に体積が小さい部位(図4(b)に示す部位)の両者(つまり、水平位と垂直位)の体積の差分として求められる。
さらに、ステップ22(S22)で算出した重力ふくらみ量(VCswelling)及び重力へこみ量(VCshrinking)から、顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)を算出することができる(S23)。より具体的には、上述した式(1)の座標変換により、重力ふくらみ量(VCswelling)及び重力へこみ量(VCshrinking)から顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)を算出できる。
(B)顔形状評価装置では、算出した顔内移動たるみ量(Sf)及び頬前後たるみ量(Sc)を指標として、たるみタイプとその程度を評価することができる。例えば、顔内移動たるみ量(Sf)の割合を加齢により生じるたるみの割合とし、頬前後たるみ量(Sc)の割合を個人差により生じるたるみの割合として、例えば、下記のようなたるみタイプを評価することができる(S24)。
タイプ(顔内移動たるみ、頬前後たるみ)
タイプ1、(有、無):加齢たるみタイプ
タイプ2、(無、有):部分たるみタイプ
タイプ3、(有、有):たるみ顔タイプ
タイプ4、(無、無):たるみゼロタイプ
また、顔内移動たるみを対象者の年齢の平均と比較して、(大、中、小)など程度で示してもよい。
タイプ1、(中):たるみ年齢相応タイプ
タイプ2、(小):若く見えるたるみタイプ
タイプ3、(大):老けて見えるたるみタイプ等。
ステップ24(S24)でされた評価結果(たるみタイプ及びたるみの程度、並びにその他の顔形状に係る評価)は、出力され、表示機器70等で表示することができる。
なお、ステップ21(S21)においては、(B)顔形状評価装置は、ユーザ1の水平位及び垂直位の三次元形状顔画像を反復して取得してもよい。そして、重力ふくらみ量(VCswelling)と、重力へこみ量(VCshrinking)と、顔内移動たるみ量(Sf)と、頬前後たるみ量(Sc)と、のうちの少なくとも1つを、反復して取得された三次元形状顔画像を用いて算出された値の代表値とすることもできる。これにより、顔形状評価の精度を高めることができる。代表値は、例えば平均値であるが、中央値、最頻値等であってもよい。
再び図7を参照する。(B)顔形状評価装置にて評価された顔形状の結果は出力され(S203')、(B)顔形状評価装置内に登録することができるが、(A)笑顔トレーニング支援装置へと送信されて、(A)笑顔トレーニング支援装置によって取得されてもよい(S102')。
なお、笑顔トレーニング(S03)前の顔形状評価に係る一連のステップ、すなわちステップS02'、S202'、S203'及びS102'(点線囲み部分)は、ユーザ1の希望、トレーニングの方針等によっては省略することもできる。但し、笑顔トレーニング(S03)の前後で、顔形状評価(S202'、S202)を行うことで、笑顔トレーニング(S03)前後の顔形状の変化を把握することができる。
図7に示すように、(A)笑顔トレーニング支援装置では、トレーニング内容作成部14(図1)において、笑顔トレーニングの内容が作成される(S103)。笑顔トレーニングの内容には、トレーニングのスケジュール(笑顔エクセサイズを1週間に何日行うか、インターバル日数、1日のうちいつ笑顔エクセサイズを行うか等)、トレーニングで行われる笑顔エクセサイズの内容(複数回の笑顔表出動作を1セットとする笑顔エクセサイズ1回において続けて行う笑顔表出動作は何回か、1回の笑顔表出動作にかける時間、笑顔を表出までの時間、笑顔を表出して維持する時間、笑顔判定基準等)、さらにはユーザ1が、笑顔エクセサイズ及び笑顔エクセサイズにおける個々の笑顔表出動作を効果的に行うことができるようユーザ1を導くガイダンス(案内若しくは指示)が含まれていてよい。
笑顔トレーニング(S03)後、ユーザ1は顔形状情報を(B)顔形状評価装置に提供し(S02)、(B)顔形状評価装置は顔形状評価を行うことができる(S202)。顔形状評価(S202)は、図8を参照して上述したステップ202'(S202')と同様に行うことができる。
さらに、(B)顔形状評価装置は顔形状評価(S202)の結果を出力するが、その結果は、(A)笑顔トレーニング支援装置で取得される(S102)。ここで、取得された顔形状の評価結果は、(A)笑顔トレーニング支援装置のトレーニング内容作成部14(図1)に送信される。
このように、(B)顔形状評価装置での顔形状評価(S202、S202')の結果を、(A)笑顔トレーニング支援装置に送信することにより、評価結果を利用して若しくは参照して、笑顔トレーニングの内容を修正、又は再作成することができる。笑顔トレーニングの内容について選択肢が複数ある場合には、選択肢の中から新たな選択をすることもできる。笑顔トレーニングの内容の修正、再作成、又は選択は、人によって行われてもよいし、機械学習によって行われてもよい。このような本形態により、笑顔トレーニングの成果を客観的に評価し、その評価を笑顔トレーニングに反映させることができるので、笑顔トレーニングを効果的に行うことができ、またユーザ個人に応じた笑顔トレーニングを行うことができる。なお、笑顔トレーニング(S03)の前後で顔形状評価(S202、S202')を行い、笑顔トレーニング(S03)前後での顔形状の評価結果を取得した場合には、両者から顔形状の変化に関する情報が得られるので、この情報を、笑顔トレーニングの内容に反映させることができる。
さらに、図9に、図7に示す(A)笑顔トレーニング支援装置によるトレーニング内容の作成ステップ103(S103)及び笑顔トレーニング支援ステップ104(S104)を、より詳細に記載したフロー図を示す。図9に示すように、トレーニング内容の作成(S103)は、トレーニングスケジュールの作成(S1031)、及びガイダンスの作成(S1032)を含んでいてよい。ガイダンスは、ユーザ1が笑顔トレーニング(S03)を滞りなく、好ましくは効果的に行うことができるようにするためのガイダンスであってよく、例えば、笑顔エクセサイズ及び笑顔エクセサイズにおける個々の笑顔表出動作を効果的に行うことを促すガイダンス(笑顔エクセサイズガイダンス)を含む。
図9に示すように、笑顔トレーニング支援ステップ(S104)は、笑顔エクセサイズガイダンスをユーザ1に提供すること(S1041)、笑顔エクセサイズにおいてユーザ1が表出した笑顔の判定(笑顔判定)を行うこと(S1042)、及び笑顔エクセサイズの結果を集計すること(S1043)を含んでいてよい。笑顔エクセサイズガイダンスは、上述したように、視覚、聴覚、及び触覚の1以上に訴えるものであってよい。
笑顔判定(S1042)では、笑顔エクセサイズに含まれる笑顔表出動作に対し、ユーザ1が表出した笑顔が所定基準(笑顔判定基準)を満たすかどうかを判定する。この所定基準の作成例については、図2を参照して説明した通りであり(ステップS1~S4)、顔組織の状態の特徴量、好ましくは顔の筋電位の特徴量の範囲を設定することによって行うことができる。
さらに図9に示すように、笑顔トレーニング支援ステップ104(S104)では、笑顔エクセサイズにおいて表出された笑顔の判定結果を集計し、登録することができる。笑顔の判定結果とは、ユーザ1が表出した笑顔が、所定基準を満たしていたか否か(魅力的な笑顔を表出できていたか否か)、複数回の笑顔表出動作を1セットとした笑顔エクセサイズにおいて表出された笑顔のうち、何割が笑顔の所定基準を満たしていたか、等を含む。このような笑顔判定結果は、図7に示すように、トレーニング内容作成部14(図1)に送られ得る。これにより、笑顔判定結果の集計ステップ(S1043)にて集計された笑顔判定結果を考慮して、トレーニング内容が作成される(S103)。トレーニング内容の作成には、トレーニング内容の修正、再作成、或いは既に登録されている複数のトレーニング内容からの選択が含まれる。
このように、笑顔判定結果を考慮してトレーニング内容を作成することにより、例えば、ユーザ1が、所定基準を満たす笑顔の表出ができていなかった場合、或いは笑顔エクセサイズにおいて所定基準を満たす笑顔の割合が少なかった場合に、笑顔トレーニング若しくは笑顔エクセサイズの内容を、ユーザ1の所定基準の達成を促すように変更することができる。例えば、笑顔エクセサイズガイダンスにおいて、笑顔表出時に意識する部位を画像で示す等の、より細かいガイダンスを加えることができる。また、例えば、ユーザ1が、笑顔エクセサイズにおいて所定基準を満たす笑顔の割合が多かった、或いはほとんど所定基準を満たしていた場合には、所定基準のレベルを引き上げて(筋電位の特徴量の範囲を狭めて)、魅力度最大の笑顔に対応する笑顔に近付くことが要求されるようにもできる。」これにより、より一層効果的な笑顔トレーニングを行うことができる。
図10に、図7に示す笑顔トレーニングのステップ03(S03)で行われる笑顔エクセサイズの一例のフロー図を示す。図10に示すように、(A)笑顔トレーニング支援装置により、トレーニング内容作成ステップ103(S103、図7及び図8)にて作成されたエクセサイズガイダンスが提供される(S11)。ユーザ1はエクセサイズガイダンスを認識し(S031)、エクセサイズガイダンスに従って笑顔を表出する(S032)。エクセサイズガイダンスには、笑顔表出の動作の具体内容、及び表出時間等も含まれる。
ユーザ1が笑顔を表出する際には、(A)笑顔トレーニング支援装置は、少なくとも笑顔の表出開始から終了までの顔の筋電位を経時的に測定し、その情報を取得する(S12)。測定は、測定用接触子(測定機器)30(図1)によって行うことができる。続いて、取得された筋電位の情報から筋電位の特徴量を抽出する(S13)。抽出は、判定部13(図1)にて行われる。筋電位の特徴量の種類は、所定基準作成(図2)についての説明にて述べた通りである。また、このステップS13において抽出される特徴量は、所定基準の設定(図2)にて使用された特徴量と同じとする。
さらに、抽出された特徴量が、予め設定された所定範囲にあるか(所定基準を満たすか)を、判定部13(図1)にて判定し(S14)、その結果を出力する(S15)。判定は、ユーザ1の笑顔表出により得られた筋電位の特徴量と、所定基準の設定にて使用された特徴量の範囲とを比較する。ユーザ1の笑顔表出の際に測定された筋電位の特徴量が所定範囲にある場合、ユーザ1が表出した笑顔が所定基準を満たしている(笑顔判定基準を満たしている)との結果となり、その結果の出力(S15)を表示機器40等でユーザ1に伝えることができ、ユーザ1は結果を取得できる(S035)。
なお、(A)笑顔トレーニング支援装置は、右側の筋肉及び左側の筋肉それぞれについて、筋電位の取得(S12)、特徴量の抽出(S13)、及び筋電位の特徴量の、設定された特徴量の範囲との比較(S14)を行ってもよい。
笑顔エクセサイズは複数回の笑顔表出動作を1セットとすることが好ましいので、笑顔エクセサイズ1セット(1回)において続けて行う笑顔表出動作の回数を予め設定しておくことができる。笑顔表主動作の回数の設定は、トレーニング内容作成部14によりトレーニング内容作成ステップ103(S103)にて行うことができる。ユーザ1が行った笑顔表出動作の回数の合計が、設定回数に満たない場合(S16)には、(A)笑顔トレーニング支援装置は、再びエクセサイズガイダンスをユーザに提供し、笑顔表出動作を促す。一方、笑顔表出動作の回数の合計が設定回数以上となったならば(S16)、その笑顔エクセサイズは終了となる。
なお、本形態による顔形状改善支援方法においては、顔形状評価ステップ202(S202、図7)での評価部24で評価された結果を踏まえ、笑顔トレーニング以外の、顔形状改善のための追加的な措置を提案することもできる。この追加的措置は、笑顔トレーニングを補助するためのものであってもよい。追加的措置には、美容物質及び美容施術の1以上が含まれていてよい。美容物質は、例えば化粧料、サプリメントであってよいし、美容施術は、美容器具、美容機器、又はユーザ自ら若しくはユーザ以外の人による施術であってよく、筋電気刺激(Electrical Muscle Stimulation;EMS)であってよい。
上記の追加的措置の提案又は選択は、評価部24で得られた結果に基づき、人により又は機械学習を利用して行うことができる。また、追加的措置の提案及び出力を担う構成要素(追加的措置提案部)を、(A)笑顔トレーニング支援装置及び(B)顔形状評価装置のいずれか又は両方に含めることができる。その場合、追加的措置提案部は、(A)笑顔トレーニング支援装置内の出力部15、又は(B)顔形状評価装置内の出力部25に含まれていてもよい。或いは、追加的措置提案部を、顔形状改善支援装置80内であって、(A)笑顔トレーニング支援装置及び(B)顔形状評価装置以外に設けられた装置内に含めることができる。
例えば、顔形状評価ステップ202(S202、図7)での評価部24による評価において、顔内移動たるみ量(Sf)の割合が高いことが示された場合には、顔内移動たるみを解消する措置を提案できる。また、評価結果において、頬前後たるみ量(Sc)の割合が高いことが示された場合には、頬前後たるみを解消する措置を提案できる。
<変形例>
さらに以下、上述の顔形状改善支援方法の変形例について説明する。変形例としては、顔形状改善支援方法において、笑顔トレーニング以外の身体的なトレーニング(以下、フィジカルトレーニングと呼ぶ)を追加的に行うものが挙げられる。フィジカルトレーニングとは、ユーザ自らが身体又は身体組織を動かすことによって行うトレーニングであり、フィジカルトレーニングとして公知のものであってよい。具体例としては、筋力トレーニング(腹筋運動、腕立て伏せ、スクワット等)、音楽又はリズムを利用したトレーニング(エアロビクス、ボクセサイズ、ダンス)、ストレッチ、ヨガ、ピラティス、スポーツトレーニング(ランニング、ボクシング、武道)等が挙げられる。フィジカルトレーニングは、トレーニング用器具又は機器等(後述のフィジカルトレーニング支援デバイスを含む)による支援あり又はなしで行うものであってよい。フィジカルトレーニングは、ユーザの自宅、ジム又はクラブ(スポーツジム、フィットネスジム等)等において実施されるものであってよい。
本実施形態による顔形状改善支援方法では、上述のように、顔形状を評価することを含み、当該顔形状の評価は、顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を作成し、このような顔画像に基づき顔形状の評価を行う。一方、フィジカルトレーニングには、トレーニング中に顔組織にかかる重力ベクトルが変化するものがある。一変形例では、このような所定のフィジカルトレーニングによる重力ベクトルの変化を、顔形状の評価(図7のS202)のための顔画像の作成のために利用する。例えば、フィジカルトレーニングとして腹筋運動を行う場合、腹筋運動1回を行う間に、身体を起こした状態と身体を寝かした状態が生じ、顔組織にかかる重力ベクトルが変化する。すなわち、所定のフィジカルトレーニングにおいて、顔組織にかかる重力ベクトルが変化する状況が必然的に作り出されることになる。よって、このような所定のフィジカルトレーニングを行っている間に顔画像を撮像することで、顔組織にかかる重力ベクトルが異なる状態での複数の顔画像を取得することができ、さらには重力ふくらみ量及び重力へこみ量、並びにこれらの量から算出される顔内移動たるみ量及び頬前後たるみ量を得ることができる。顔組織にかかる重力ベクトルが変化する状況を作り出すことが可能であるフィジカルトレーニングとしては、上述の腹筋運動の他、背筋運動、ストレッチ、ヨガ、ピラティスといった、顏組織にかかる重力方向が変化するフィジカルトレーニングが好ましい。
上記変形例によれば、ユーザは、フィジカルトレーニング自体の効果を得つつ、顔形状の評価を行うことができる。よって、日常的にいつもフィジカルトレーニングを行っているユーザは、いつものフィジカルトレーニングの際に、顔形状の評価を行うことができるので、身体(顔以外の部位)及び顔の状態を共に改善できる。
なお、上記変形例においても、顔形状の評価(図7のS202)を踏まえ、顔形状改善のための追加的な措置、すなわち、笑顔トレーニング以外の、美容物質及び美容施術の1以上を含む措置を行うことができる。ここで、変形例による顔形状改善方法が、ジム、クラブ等の施設で実施される場合には、顔形状の評価の結果に係る情報を、施設のデータベース等に送信して、保存することができる。そして、そのような情報に基づき、施設内のカウンセラー、セラピスト等が、美容物質及び美容施術の1以上を含む措置を提案する、又は行うことができる。
このように、上記一変形例による顔形状改善支援方法は、フィジカルトレーニングを行うことをさらに含み、当該フィジカルトレーニングにおいて、顔組織にかかる重力ベクトルが異なる状態が作り出される。また、上記変形例を行うための顔形状改善支援装置では、(B)顔形状評価装置に含まれる取得部が、フィジカルトレーニング中に顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を取得する。
別の変形例では、ユーザが、フィジカルトレーニングを、笑顔トレーニング(図7のS03)とともに行う。別の言い方をすると、ユーザが、上述のフィジカルトレーニング中に笑顔トレーニングを行う。例えば、フィジカルトレーニングと同時に笑顔トレーニングを行ってもよいし、フィジカルトレーニングとは別時間であるが、フィジカルトレーニング直前又は直後に行ってもよい。フィジカルトレーニングと笑顔トレーニングとを同時に行う場合には、フィジカルトレーニング中に、ユーザは、エクセサイズガイダンスを受けて笑顔の表出動作をする(図9のS031、S032)。その際、フィジカルトレーニングのガイダンスを行う人であるインストラクターがいる場合には、笑顔トレーニングのガイダンスが、フィジカルトレーニングのガイダンスとともにインストラクターによって提供されてよい。また、フィジカルトレーニングのインストラクターがいてもいなくても、笑顔トレーニングのガイダンスを、笑顔トレーニング支援デバイス10に含まれる表示機器40に表示することもできる。さらに、フィジカルトレーニングを、例えば、笑顔トレーニング支援デバイス10に含まれる測定機器30としての測定用接触子(パッド等)を顔に配置した状態で行い、測定機器30により筋電位を測定しつつ笑顔トレーニング(図7のS03)を行うことができる。
上記別の変形例によれば、ユーザは、フィジカルトレーニングを行いながら笑顔トレーニングを行うことで、フィジカルトレーニングの本来の目的である身体のトレーニングを行うことができるとともに、フィジカルトレーニングのみでは得られない笑顔の表出トレーニングを行って、魅力的な笑顔を表出できるようになり、ひいては顔形状の改善も得ることができる。よって、身体(顔以外の部位)及び顔の状態を共に改善できる。
このように、上記別の変形例による顔形状改善支援方法は、フィジカルトレーニングを行うことをさらに含み、当該ガイダンスを受けて笑顔の表出動作をするユーザの顔組織の状態を取得し、当該ユーザの顔組織の状態が、所定基準を満たす笑顔に対応する状態であるか否かを判定し、当該判定の結果を出力することを、前記フィジカルトレーニング中に行う。また、上記別の変形例を行うための顔形状改善支援装置では、取得部、判定部、及び出力部による動作が、フィジカルトレーニング中に行われる。
上述のように、フィジカルトレーニングは、トレーニング用器具又は機器等を用いて、又は用いなくとも行うことができるが、トレーニング用器具又は機器として、フィジカルトレーニング支援装置を含むフィジカルトレーニング支援デバイスを用いてもよい。以下、更に別の変形例として、顔形状改善支援システム200、及び当該システムを用いて行うことのできる顔形状改善支援方法について説明する。
図11に、変形例で用いられる顔形状改善支援システム200の全体構成を示す。顔形状改善支援システム200は、図1に示す顔形状改善支援システム100に対応するシステムであり、顔形状改善支援システム100に対して、(C)フィジカルトレーニング支援装置を含むフィジカルトレーニング支援デバイス90が追加されたものである。
フィジカルトレーニング支援デバイス90の基本的な構成は、ランニングマシーン、筋力トレーニングマシーン等のフィジカルトレーニングを支援する公知のマシーンであってよく、(C)フィジカルトレーニング支援装置の基本的な構成は、公知のフィジカルトレーニング支援デバイスと同様であってよい。図11に示すように、(C)フィジカルトレーニング支援装置は、情報取得部91、登録部92、トレーニング内容作成部94、及び出力部95を含んでいてよい。(C)フィジカルトレーニング支援装置も、プログラムを実行することで、情報取得部91、登録部92、トレーニング内容作成部94、及び出力部95として機能させることができる。
さらに、(C)フィジカルトレーニング支援装置は、測定機器30a、トレーニング機器30b及び表示機器40aとともに、フィジカルトレーニング支援デバイス90を構成していてよい。フィジカルトレーニング支援デバイス90における測定機器30a、トレーニング機器30b及び表示機器40aは、公知の形態による測定機器、トレーニング機器及び表示機器であってよい。測定機器30aと(C)フィジカルトレーニング支援装置との間、トレーニング機器30bと(C)フィジカルトレーニング支援装置との間、及び表示機器40と(C)フィジカルトレーニング支援装置との間では、有線通信又は無線通信を介してデータを送受信することができる。
測定機器30aは、フィジカルトレーニングに際し、必要に応じてユーザ1の状態(心拍数、呼吸数、血流等)を測定する機器であってよい。トレーニング機器30bは、フィジカルトレーニングの種類によるが、フィジカルトレーニングを支援するための機器若しくは器具である。また、表示装置40aは、フィジカルトレーニングを行う上でのユーザ1に対するガイダンス(案内若しくは指示)を表示する装置であってよい。フィジカルトレーニング支援デバイス90が、例えば、ランニングマシーンである場合には、トレーニング機器40bは、ランニングマシーン本体(アーム等の不動部、ランニングベルト等の可動部を含む)であってよいし、測定機器30aは、心拍計、ランニング速度測定器等であってよい。また、表示装置40bは、ディスプレイであってよい。なお、他のフィジカルトレーニング支援デバイス90における表示機器40aの具体例を挙げるならば、ヨガ、エアロビクス等のフィジカルトレーニングで利用されるミラーに組み込まれたディスプレイ等であってもよい。また、フィジカルトレーニングの内容に関わらずユーザ1が身に着けることが可能なスマートウォッチ等の機器等であってもよい。
情報取得部91は、測定機器30aから、測定機器30aによって測定されたユーザ1の状態に関する情報、例えばフィジカルトレーニング中又はフィジカルトレーニング前後にユーザ1の血圧、心拍数等の身体的データ等を取得できる。また、情報取得部91では、取得された情報を加工又は処理できる。登録部92は、情報取得部91によって取得された情報、当該情報を加工又は処理して得られた情報、外部から入力されたデータ等を登録することができる。トレーニング内容作成部94は、フィジカルトレーニングのためのスケジュール、フィジカルトレーニングのためのガイダンス(案内)を作成できる。出力部95は、フィジカルトレーニング支援装置内に生成された情報又は登録された情報を出力できる。このような情報には、上記のトレーニング内容作成部94で生成された情報も含まれる。出力部95により出力される情報は、上記の表示装置40aによってユーザ1に表示できる。
図11に示すように、上述の(C)フィジカルトレーニング支援装置は、(A)笑顔トレーニング支援装置及び(B)顔形状評価装置とともに、顔形状改善支援装置280を構成していてよい。(A)笑顔トレーニング支援装置、(B)顔形状評価装置、及び(C)フィジカルトレーニング支援装置は一体的に構成されていてもよいし、これらの装置のうち1又は2が別体として構成されていてもよい。
また、図11に示す例では、笑顔トレーニング支援デバイス10における表示機器40と、フィジカルトレーニングにおける表示機器40aとは別体として示されているが、これらの表示機器40、40aは一体となっていてよい。その場合、表示機器がディスプレイであるとすると、例えば笑顔トレーニング支援装置にて生成された笑顔トレーニングのためのガイダンスと、(C)フィジカルトレーニング支援装置にて生成されたフィジカルトレーニングのためのガイダンスとを同じディスプレイに表示できる。
以上の変形例による、ユーザがフィジカルトレーニングを追加的に行うことを含む顔形状改善方法、顔形状改善装置、及び顔形状改善システムによれば、たるみ改善等の顔形状改善が効果的に得られるのは勿論であるが、ユーザ1は、笑顔トレーニングによって魅力的な笑顔の表出が容易に可能となり、フィジカルトレーニングによって健康増進、スタイル向上等も得られるので、総合的な美容効果を得ることができる。
<ハードウェア構成>
図12に、上述の(A)笑顔トレーニング支援装置及び/又は(B)顔形状評価装置(図1)のハードウェア構成の一例、又は(A)笑顔トレーニング支援装置、(B)顔形状評価装置、及び(C)フィジカルトレーニング支援装置の1以上(図11)の一例を示すブロック図を示す。
(A)笑顔トレーニング支援装置、(B)顔形状評価装置、及び(C)フィジカルトレーニング支援装置の1以上は、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003を有していてよい。CPU1001、ROM1002、RAM1003は、いわゆるコンピュータを形成する。
また、(A)笑顔トレーニング支援装置、(B)顔形状評価装置、及び(C)フィジカルトレーニング支援装置の1以上は、補助記憶装置1004、表示装置1005、操作装置1006、I/F(Interface)装置1007、ドライブ装置1008を有していてよい。(A)笑顔トレーニング支援装置、(B)顔形状評価装置、及び(C)フィジカルトレーニング支援装置の1以上の各ハードウェアは、バスBを介して相互に接続されている。
CPU1001は、補助記憶装置1004にインストールされている各種プログラムを実行する演算デバイスである。
ROM1002は、不揮発性メモリである。ROM1002は、補助記憶装置1004にインストールされている各種プログラムをCPU1001が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ROM1002はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する、主記憶デバイスとして機能する。
RAM1003は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリである。RAM1003は、補助記憶装置1004にインストールされている各種プログラムがCPU1001によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶装置1004は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
表示装置1005は、(A)笑顔トレーニング支援装置、(B)顔形状評価装置、及び(C)フィジカルトレーニング支援装置の1以上の内部状態等を表示する表示デバイスである。
操作装置1006は、(A)笑顔トレーニング支援装置、(B)顔形状評価装置、及び(C)フィジカルトレーニング支援装置の管理者が(A)笑顔トレーニング支援装置、(B)顔形状評価装置、及び(C)フィジカルトレーニング支援装置の1以上に対してそれぞれ、各種指示を入力する入力デバイスである。
I/F装置1007は、ネットワークに接続し、(A)笑顔トレーニング支援装置、(B)顔形状評価装置、及び(C)フィジカルトレーニング支援装置の1以上と通信を行うための通信デバイスである。
ドライブ装置1008は記憶媒体1009をセットするためのデバイスである。ここでいう記憶媒体1009には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体1009には、EPROM (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置1004にインストールされる各種プログラムは、例えば、配布された記憶媒体1009がドライブ装置1008にセットされ、該記憶媒体1009に記録された各種プログラムがドライブ装置1008により読み出されることでインストールされる。あるいは、補助記憶装置1004にインストールされる各種プログラムは、I/F装置1007を介して、ネットワークよりダウンロードされることでインストールされてもよい。
以上、本発明を実施形態に基づき説明したが、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態は、特許請求の範囲に記載された範囲内において、様々な変更、修正、置換、付加、削除、及び組合せ等が可能であり、それらも本発明の技術的範囲に属する。
A 笑顔トレーニング支援装置
B 顔形状評価装置
C フィジカルトレーニング支援装置
1 ユーザ
10 笑顔トレーニング支援デバイス
11 情報取得部
12 登録部
13 笑顔判定部
14 トレーニング内容作成部
15 出力部
20 顔形状評価デバイス
21 情報取得部
22 登録部
23 算出部
24 評価部
25 出力部
30 測定機器
40 表示機器
50 撮像機器
60 解析装置
80、280 顔形状改善支援装置
90 フィジカルトレーニング支援デバイス
100、200 顔形状改善支援システム
1001 CPU
1002 ROM
1003 RAM
1004 補助記憶装置
1005 表示装置
1006 操作装置
1007 I/F装置
1008 ドライブ装置
1009 記憶媒体

Claims (17)

  1. 笑顔の表出動作をするユーザの顔組織の状態を取得する取得部と、
    前記ユーザの顔組織の状態が、所定基準を満たす笑顔に対応する状態であるか否かを判定する判定部と、
    当該判定の結果を出力する出力部と、を備えた(A)笑顔トレーニング支援装置と、
    顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を取得する取得部と、
    前記複数の顔画像を用いて、前記ユーザの、少なくとも前記笑顔の表出動作後の顔形状を評価する評価部と、を備えた(B)顔形状評価装置と、
    を有する、顔形状改善支援装置。
  2. 前記(A)笑顔トレーニング支援装置において、
    前記判定が、前記ユーザの顔の筋電位の特徴量が、前記所定基準を満たす笑顔に対応する筋電位の特徴量の所定範囲にあるか否かの判定である、請求項1に記載の顔形状改善支援装置。
  3. 前記特徴量が、筋電位の大きさ、筋電位の経時的な変化のパターン、及び筋電位の立ち上がり速度の1以上、並びに/又はこれらから算出される統計値である、請求項2に記載の顔形状改善支援装置。
  4. 前記筋電位が、眼輪筋、小頬骨筋、大頬骨筋、及び笑筋の1以上の筋電位である、請求項2に記載の顔形状改善支援装置。
  5. 前記特徴量が、
    顔の2以上の箇所における筋電位の積分値、
    顔の2以上の箇所における筋電位が最大になるまでの速度、並びに
    眼輪筋における筋電位と、小頬骨筋、大頬骨筋、及び笑筋の1以上における筋電位との相関の強さ、の1以上である、請求項3に記載の顔形状改善支援装置。
  6. 前記筋電位の特徴量の所定範囲が、機械学習の結果に基づいて決められている、請求項2に記載の顔形状改善支援装置。
  7. 前記判定の結果の出力が、視覚、聴覚、及び触覚の1以上に訴えるものである、請求項1に記載の顔形状改善支援装置。
  8. 前記(B)顔形状評価装置において、
    前記複数の顔画像が、前記ユーザの、少なくとも水平位及び垂直位の三次元形状顔画像を含み、
    前記顔形状の評価が、前記三次元形状顔画像間から得られた重力ふくらみ量及び重力へこみ量から算出された顔内移動たるみ量及び頬前後たるみ量を指標とした、たるみタイプ及びその程度の評価である、請求項1に記載の顔形状改善支援装置。
  9. 前記顔内移動たるみ量と前記頬前後たるみ量が、前記重力ふくらみ量及び前記重力へこみ量から下式:
    Figure 2024043496000006
    (式中、VCshrinking=重力へこみ量、VCswelling=重力ふくらみ量、Sf=顔内移動たるみ量、Sc=頬前後たるみ量、θ=π/4である)
    により求められる、請求項8に記載の顔形状改善支援装置。
  10. 前記(A)笑顔トレーニング支援装置が、笑顔トレーニングのためのトレーニング内容を生成するトレーニング内容作成部をさらに備え、
    前記トレーニング内容が、前記(B)顔形状評価装置における前記評価部における顔形状の評価に基づき修正又は再作成される、請求項1に記載の顔形状改善支援装置。
  11. 前記トレーニング内容が、前記ユーザの笑顔表出動作を促すためのガイダンスを含む、請求項10に記載の顔形状改善支援装置。
  12. 測定機器と、表示機器と、撮像機器と、コンピュータと、を備えた、顔形状改善支援システムであって、
    前記コンピュータが、
    所定基準を満たす笑顔を表出するためのガイダンスを含むトレーニング内容を生成するトレーニング内容作成部と、
    笑顔の表出動作をするユーザの顔組織の状態を取得する情報取得部と、
    前記ユーザの顔組織の状態が、前記所定基準を満たす笑顔に対応する状態であるか否かを判定する判定部と、
    当該判定の結果を出力する出力部と、を備えた(A)笑顔トレーニング支援装置、と、
    顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を取得する取得部と、
    前記複数の顔画像を用いて、前記ユーザの、少なくとも前記笑顔の表出動作後の顔形状を評価する評価部と、を備えた(B)顔形状評価装置と、
    を有し、
    前記測定機器が、前記ユーザの顔組織の状態を測定し、
    前記表示機器が、前記所定基準を満たす笑顔の表出動作のためのガイダンスを表示し、
    前記撮像機器が、前記ユーザの顔画像を撮影する、顔形状改善支援システム。
  13. ユーザ端末をさらに有し、
    前記ユーザ端末に、前記表示機器と前記撮像機器とが含まれる、請求項12に記載の顔形状改善支援システム。
  14. 所定基準を満たす笑顔を表出するためのガイダンスを生成し、
    前記ガイダンスを受けて笑顔の表出動作をするユーザの顔組織の状態を取得し、
    前記ユーザの顔組織の状態が、所定基準を満たす笑顔に対応する状態であるか否かを判定し、
    当該判定の結果を出力し、
    前記出力の少なくとも後に、顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を用いて、前記ユーザの、少なくとも前記笑顔の表出動作後の顔形状を評価することを含む、顔形状改善支援方法。
  15. 請求項14に記載の方法で得られた前記顔形状の評価に基づき、前記ガイダンスを修正又は再作成する、顔形状改善支援方法。
  16. 請求項14に記載の顔形状改善支援方法で得られた前記顔形状の評価に基づき、美容のための施術及び/又は物質を提案する方法。
  17. コンピュータを、
    笑顔の表出動作をするユーザの顔組織の状態を取得する取得部、
    前記ユーザの顔組織の状態が、所定基準を満たす笑顔に対応する状態であるか否かを判定する判定部、及び
    当該判定の結果を出力する出力部として機能させ、且つ
    顔組織にかかる重力ベクトルが異なる状態でそれぞれ撮像された複数の顔画像を取得する取得部、及び
    前記複数の顔画像を用いて、前記ユーザの、少なくとも前記笑顔の表出動作後の顔形状を評価する評価部として機能させるための、プログラム。
JP2023142051A 2022-09-16 2023-09-01 顔形状改善支援装置、顔形状改善支援システム、顔形状改善支援方法、施術及び/又は物質を提案する方法、並びにプログラム Pending JP2024043496A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022148441 2022-09-16
JP2022148441 2022-09-16

Publications (1)

Publication Number Publication Date
JP2024043496A true JP2024043496A (ja) 2024-03-29

Family

ID=90418375

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023142051A Pending JP2024043496A (ja) 2022-09-16 2023-09-01 顔形状改善支援装置、顔形状改善支援システム、顔形状改善支援方法、施術及び/又は物質を提案する方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2024043496A (ja)

Similar Documents

Publication Publication Date Title
US11633659B2 (en) Systems and methods for assessing balance and form during body movement
CA2834833C (en) Running form diagnostic system and method for scoring running form
JP6045139B2 (ja) 映像生成装置、映像生成方法及びプログラム
Holzleitner et al. Perception of strength from 3D faces is linked to facial cues of physique
US20150255005A1 (en) Movement evaluation device and program therefor
AU2015234210B2 (en) Motion capture and analysis system for assessing mammalian kinetics
US20200168311A1 (en) Methods and systems of embodiment training in a virtual-reality environment
Wellner et al. Does a virtual audience influence rowing?
WO2021039857A1 (ja) 映像生成装置
JP2021090779A (ja) 筋の状態を評価するためのプログラム、コンピュータ装置、及びシステム、並びに筋の状態の評価方法
JP2024043496A (ja) 顔形状改善支援装置、顔形状改善支援システム、顔形状改善支援方法、施術及び/又は物質を提案する方法、並びにプログラム
JP7353556B2 (ja) 咀嚼支援システム
Fitzgerald et al. Usability evaluation of e-motion: a virtual rehabilitation system designed to demonstrate, instruct and monitor a therapeutic exercise programme
Kider Jr et al. A data-driven appearance model for human fatigue
CN115006822A (zh) 一种智能健身镜控制系统
JP2018038753A (ja) 歩行分析方法及び歩行分析装置
KR20220098064A (ko) 사용자 맞춤형 운동 훈련 방법 및 시스템
JP2021185999A (ja) 身体能力提示方法および身体能力提示装置
JP6832429B2 (ja) 筋の状態を評価するためのプログラム、コンピュータ装置、及びシステム、並びに筋の状態の評価方法
WO2024058013A1 (ja) 顔形状を改善する方法、及び顔形状を改善する装置
JP2020081088A (ja) 情報処理装置、情報処理システム、および、プログラム
JP6431785B2 (ja) 心理状態のフィードバック方法、システム、及びプログラム
JP6970480B1 (ja) 情報処理システム、サーバ、情報処理方法及びプログラム
JP7333537B2 (ja) プログラム、情報処理装置、および情報処理方法
Peeters Design guidelines for vibrotactile motion steering