JP7779487B2 - 肌状態推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル - Google Patents
肌状態推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデルInfo
- Publication number
- JP7779487B2 JP7779487B2 JP2022580719A JP2022580719A JP7779487B2 JP 7779487 B2 JP7779487 B2 JP 7779487B2 JP 2022580719 A JP2022580719 A JP 2022580719A JP 2022580719 A JP2022580719 A JP 2022580719A JP 7779487 B2 JP7779487 B2 JP 7779487B2
- Authority
- JP
- Japan
- Prior art keywords
- nose
- skin condition
- user
- shape
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
- A61B5/442—Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour of tissue for diagnostic purposes
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Dermatology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、肌状態推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデルに関する。
従来、適切な肌の手入れ等のために、肌の状態を予測する技術が知られている。例えば、特許文献１では、超音波画像から、将来の目や口の周辺におけるシワの形成やシワのレベルを予測している。
しかしながら、特許文献１では、超音波診断装置が必要であり、簡易に今後起こりやすい肌の状態を予測することは容易ではなかった。
そこで、本発明では、肌の状態を容易に得ることを目的とする。
本発明の一実施形態に係る方法は、ユーザの鼻の特徴を特定するステップと、前記ユーザの鼻の特徴に基づいて、前記ユーザの肌の状態を推定するステップと、を含む。
本発明では、鼻の特徴から、肌の状態を容易に推定することができる。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
＜用語の説明＞
「肌の状態」とは、シワ、シミ、たるみ、クマ、ほうれい線、くすみ、ハリ、水分、皮脂、メラニン、血行、血管、血液、毛穴、肌の色の少なくとも１つである。例えば、「肌の状態」とは、シワ、シミ、たるみ、クマ、ほうれい線、くすみ、ハリ、水分、皮脂、メラニン、血行、血管、血液、毛穴、肌の色といった肌の状態を構成する要素の有無、度合いである。また、「肌の状態」とは、顔の一部と、顔全体と、顔の複数の箇所と、のいずれかにおける肌の状態である。なお、「肌の状態」とは、ユーザの未来の肌の状態であってもよいし、ユーザの現在の肌の状態であってもよい。本発明では、鼻の特徴と肌の状態との相関に基づいて、鼻の特徴から肌の状態を推定する。
「肌の状態」とは、シワ、シミ、たるみ、クマ、ほうれい線、くすみ、ハリ、水分、皮脂、メラニン、血行、血管、血液、毛穴、肌の色の少なくとも１つである。例えば、「肌の状態」とは、シワ、シミ、たるみ、クマ、ほうれい線、くすみ、ハリ、水分、皮脂、メラニン、血行、血管、血液、毛穴、肌の色といった肌の状態を構成する要素の有無、度合いである。また、「肌の状態」とは、顔の一部と、顔全体と、顔の複数の箇所と、のいずれかにおける肌の状態である。なお、「肌の状態」とは、ユーザの未来の肌の状態であってもよいし、ユーザの現在の肌の状態であってもよい。本発明では、鼻の特徴と肌の状態との相関に基づいて、鼻の特徴から肌の状態を推定する。
＜全体構成＞
図１は、本発明の一実施形態に係る全体の構成を示す図である。肌状態推定装置１０は、ユーザ２０の鼻の特徴から、ユーザ２０の肌の状態を推定する。例えば、肌状態推定装置１０は、カメラ機能を有するスマートフォン等である。後段で、図２を参照しながら、肌状態推定装置１０について詳細に説明する。
図１は、本発明の一実施形態に係る全体の構成を示す図である。肌状態推定装置１０は、ユーザ２０の鼻の特徴から、ユーザ２０の肌の状態を推定する。例えば、肌状態推定装置１０は、カメラ機能を有するスマートフォン等である。後段で、図２を参照しながら、肌状態推定装置１０について詳細に説明する。
なお、本明細書では、肌状態推定装置１０が１つの機器（例えば、カメラ機能を有するスマートフォン等）である場合を説明するが、肌状態推定装置１０が複数の機器（例えば、カメラ機能を有さない機器とデジタルカメラ）から構成されてもよい。また、カメラ機能は、肌を３次元的に撮影する機能であってもよいし、２次元的に撮影する機能であってもよい。また、肌状態推定装置１０以外の装置（サーバ等）が、本明細書で説明する肌状態推定装置１０が実行する処理のうちの一部の処理を実行するようにしてもよい。
＜肌状態推定装置１０の機能ブロック＞
図２は、本発明の一実施形態に係る肌状態推定装置１０の機能ブロックを示す図である。肌状態推定装置１０は、画像取得部１０１と、鼻特徴特定部１０２と、肌状態推定部１０３と、骨格推定部１０４と、出力部１０５と、を備えることができる。また、肌状態推定装置１０は、プログラムを実行することで、画像取得部１０１、鼻特徴特定部１０２、肌状態推定部１０３、骨格推定部１０４、出力部１０５、として機能することができる。以下、それぞれについて説明する。
図２は、本発明の一実施形態に係る肌状態推定装置１０の機能ブロックを示す図である。肌状態推定装置１０は、画像取得部１０１と、鼻特徴特定部１０２と、肌状態推定部１０３と、骨格推定部１０４と、出力部１０５と、を備えることができる。また、肌状態推定装置１０は、プログラムを実行することで、画像取得部１０１、鼻特徴特定部１０２、肌状態推定部１０３、骨格推定部１０４、出力部１０５、として機能することができる。以下、それぞれについて説明する。
画像取得部１０１は、ユーザ２０の鼻を含む画像を取得する。なお、鼻を含む画像は、鼻と鼻以外とが撮影された画像（例えば、顔全体が撮影された画像）でもよいし、鼻のみが撮影された画像（例えば、肌状態推定装置１０の表示装置に表示された所定の領域内にユーザ２０の鼻の領域がおさまるように撮影された画像）でもよい。なお、鼻の特徴が画像以外から特定される場合には、画像取得部１０１は不要である。
鼻特徴特定部１０２は、ユーザ２０の鼻の特徴を特定する。例えば、鼻特徴特定部１０２は、画像取得部１０１が取得したユーザ２０の鼻を含む画像の画像情報（例えば、画像の画素値）から、ユーザ２０の鼻の特徴を特定する。
肌状態推定部１０３は、鼻特徴特定部１０２が特定したユーザ２０の鼻の特徴に基づいて、ユーザ２０の肌の状態を推定する。例えば、肌状態推定部１０３は、鼻特徴特定部１０２が特定したユーザ２０の鼻の特徴に基づいて、ユーザ２０の肌の状態を分類する。
なお、肌状態推定部１０３は、骨格推定部１０４が推定したユーザ２０の顔の骨格に関する形状に基づいて、ユーザ２０の肌の状態（例えば、顔の骨格の形状に起因している肌の状態）を推定することもできる。
骨格推定部１０４は、鼻特徴特定部１０２が特定したユーザ２０の鼻の特徴に基づいて、ユーザ２０の顔の骨格に関する形状を推定する。例えば、骨格推定部１０４は、鼻特徴特定部１０２が特定したユーザ２０の鼻の特徴に基づいて、ユーザ２０の顔の骨格に関する形状を分類する。
出力部１０５は、肌状態推定部１０３が推定したユーザ２０の肌の状態の情報を出力（例えば、表示）する。
＜肌の状態＞
ここで、肌の状態について説明する。例えば、肌の状態は、シワ、シミ、たるみ、クマ、ほうれい線、くすみ、ハリ、水分、皮脂、メラニン、血行、血管、血液、キメ、毛穴、肌の色の少なくとも１つである。より詳細には、例えば、肌の状態は、目尻のシワ、目の下のシワ、額のシワ、アイホールのシワ、目袋のたるみ、目のクマ、ほうれい線（鼻唇溝、口元）、鼻唇溝の深さ、マリオネットラインのたるみ、あごのたるみ、HbSO2 Index (血中酸素飽和度指数)、Hb Index(ヘモグロビン量)、HbO2 (酸化ヘモグロビン量)、肌の色み、肌の明るさ、水分の保持力(TEWL)、皮丘の数、皮膚の粘弾性、血中の酸素量、血管の密度、毛細血管数、血管分岐数、血管と表皮間の距離、表皮厚、HDLコレステロール、皮脂、水分量、メラニンインデックス（メラニンの指標）、毛穴、透明度、色むら（茶み、赤み）、ｐＨ等である。肌状態推定部１０３は、鼻の特徴と肌の状態との相関に基づいて、鼻の特徴から肌の状態を推定する。
ここで、肌の状態について説明する。例えば、肌の状態は、シワ、シミ、たるみ、クマ、ほうれい線、くすみ、ハリ、水分、皮脂、メラニン、血行、血管、血液、キメ、毛穴、肌の色の少なくとも１つである。より詳細には、例えば、肌の状態は、目尻のシワ、目の下のシワ、額のシワ、アイホールのシワ、目袋のたるみ、目のクマ、ほうれい線（鼻唇溝、口元）、鼻唇溝の深さ、マリオネットラインのたるみ、あごのたるみ、HbSO2 Index (血中酸素飽和度指数)、Hb Index(ヘモグロビン量)、HbO2 (酸化ヘモグロビン量)、肌の色み、肌の明るさ、水分の保持力(TEWL)、皮丘の数、皮膚の粘弾性、血中の酸素量、血管の密度、毛細血管数、血管分岐数、血管と表皮間の距離、表皮厚、HDLコレステロール、皮脂、水分量、メラニンインデックス（メラニンの指標）、毛穴、透明度、色むら（茶み、赤み）、ｐＨ等である。肌状態推定部１０３は、鼻の特徴と肌の状態との相関に基づいて、鼻の特徴から肌の状態を推定する。
＜鼻の特徴と肌の状態との対応関係＞
ここで、鼻の特徴と肌の状態との対応関係について説明する。肌状態推定部１０３は、事前に肌状態推定装置１０等に記憶されている鼻の特徴と肌の状態との対応関係に基づいて、肌の状態を推定する。なお、鼻の特徴だけでなく、鼻の特徴および顔の特徴の一部に基づいて、肌の状態を推定するようにしてもよい。
ここで、鼻の特徴と肌の状態との対応関係について説明する。肌状態推定部１０３は、事前に肌状態推定装置１０等に記憶されている鼻の特徴と肌の状態との対応関係に基づいて、肌の状態を推定する。なお、鼻の特徴だけでなく、鼻の特徴および顔の特徴の一部に基づいて、肌の状態を推定するようにしてもよい。
対応関係は、事前に決められたデータベースであってもよいし、機械学習された学習済みモデルであってもよい。データベースは、被験者に対して行われた実験の結果等に基づいて、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）と、肌の状態と、が紐づけられている。また、学習済みモデルは、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）の情報が入力されると、肌の状態の情報が出力される予測モデルである。
＜＜学習済みモデルの生成＞＞
本発明の一実施形態では、肌状態推定装置１０等のコンピュータは、学習済みモデルを生成することができる。具体的には、肌状態推定装置１０等のコンピュータは、入力データが鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）であり、出力データが肌の状態である教師データを取得し、該教師データを用いて機械学習して、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）が入力されると肌の状態が出力される学習済みモデルを生成することができる。このように、入力データが鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）であり、出力データが肌の状態である教師データを用いて機械学習することによって、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）が入力されると肌の状態が出力される学習済みモデルが生成される。
本発明の一実施形態では、肌状態推定装置１０等のコンピュータは、学習済みモデルを生成することができる。具体的には、肌状態推定装置１０等のコンピュータは、入力データが鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）であり、出力データが肌の状態である教師データを取得し、該教師データを用いて機械学習して、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）が入力されると肌の状態が出力される学習済みモデルを生成することができる。このように、入力データが鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）であり、出力データが肌の状態である教師データを用いて機械学習することによって、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）が入力されると肌の状態が出力される学習済みモデルが生成される。
＜顔の骨格に関する形状と肌の状態との対応関係＞
ここで、顔の骨格に関する形状と肌の状態との対応関係について説明する。上述したように、肌状態推定部１０３は、事前に肌状態推定装置１０等に記憶されている顔の骨格に関する形状と肌の状態との対応関係に基づいて、肌の状態を推定することもできる。
ここで、顔の骨格に関する形状と肌の状態との対応関係について説明する。上述したように、肌状態推定部１０３は、事前に肌状態推定装置１０等に記憶されている顔の骨格に関する形状と肌の状態との対応関係に基づいて、肌の状態を推定することもできる。
対応関係は、事前に決められたデータベースであってもよいし、機械学習された学習済みモデルであってもよい。データベースは、被験者に対して行われた実験の結果等に基づいて、顔の骨格に関する形状と、肌の状態と、が紐づけられている。また、学習済みモデルは、顔の骨格に関する形状の情報が入力されると、肌の状態の情報が出力される予測モデルである。
＜＜学習済みモデルの生成＞＞
本発明の一実施形態では、肌状態推定装置１０等のコンピュータは、学習済みモデルを生成することができる。具体的には、肌状態推定装置１０等のコンピュータは、入力データが顔の骨格に関する形状であり、出力データが肌の状態である教師データを取得し、該教師データを用いて機械学習して、顔の骨格に関する形状が入力されると肌の状態が出力される学習済みモデルを生成することができる。このように、入力データが顔の骨格に関する形状であり、出力データが肌の状態である教師データを用いて機械学習することによって、顔の骨格に関する形状が入力されると肌の状態が出力される学習済みモデルが生成される。
本発明の一実施形態では、肌状態推定装置１０等のコンピュータは、学習済みモデルを生成することができる。具体的には、肌状態推定装置１０等のコンピュータは、入力データが顔の骨格に関する形状であり、出力データが肌の状態である教師データを取得し、該教師データを用いて機械学習して、顔の骨格に関する形状が入力されると肌の状態が出力される学習済みモデルを生成することができる。このように、入力データが顔の骨格に関する形状であり、出力データが肌の状態である教師データを用いて機械学習することによって、顔の骨格に関する形状が入力されると肌の状態が出力される学習済みモデルが生成される。
＜未来の肌の状態と現在の肌の状態＞
なお、推定される肌の状態は、ユーザ２０の未来の肌の状態であってもよいし、ユーザ２０の現在の肌の状態であってもよい。鼻の特徴（あるいは鼻の特徴から推定された顔の骨格に関する形状）と肌の状態との対応関係が、ユーザ２０の実年齢よりも高い年齢の者のデータをもとに作成されている（例えば、実験の被験者の年齢、あるいは、機械学習するときの学習用データになった者の年齢がユーザ２０の実年齢よりも高い）場合には、ユーザ２０の未来の肌が推定される。一方、鼻の特徴（あるいは鼻の特徴から推定された顔の骨格に関する形状）と肌の状態との対応関係が、ユーザ２０の実年齢と同一の年齢の者のデータをもとに作成されている（例えば、実験の被験者の年齢、あるいは、機械学習するときの学習用データになった者の年齢がユーザ２０の実年齢と同一である）場合には、ユーザ２０の現在の肌が推定される。なお、鼻の特徴だけでなく、鼻の特徴および顔の特徴の一部に基づいて、肌の状態を推定するようにしてもよい。
なお、推定される肌の状態は、ユーザ２０の未来の肌の状態であってもよいし、ユーザ２０の現在の肌の状態であってもよい。鼻の特徴（あるいは鼻の特徴から推定された顔の骨格に関する形状）と肌の状態との対応関係が、ユーザ２０の実年齢よりも高い年齢の者のデータをもとに作成されている（例えば、実験の被験者の年齢、あるいは、機械学習するときの学習用データになった者の年齢がユーザ２０の実年齢よりも高い）場合には、ユーザ２０の未来の肌が推定される。一方、鼻の特徴（あるいは鼻の特徴から推定された顔の骨格に関する形状）と肌の状態との対応関係が、ユーザ２０の実年齢と同一の年齢の者のデータをもとに作成されている（例えば、実験の被験者の年齢、あるいは、機械学習するときの学習用データになった者の年齢がユーザ２０の実年齢と同一である）場合には、ユーザ２０の現在の肌が推定される。なお、鼻の特徴だけでなく、鼻の特徴および顔の特徴の一部に基づいて、肌の状態を推定するようにしてもよい。
以下、鼻の特徴（あるいは鼻の特徴から推定された顔の骨格に関する形状）と肌の状態との対応関係に基づく推定例を説明する。
＜＜肌の状態の推定例１＞＞
例えば、肌状態推定部１０３は、鼻根と鼻梁が高いときに目尻にシワが出やすいと推定することができる。また、例えば、肌状態推定部１０３は、頬の形状が頬骨の高い位置が上部にある形状の場合、目尻のシワがある、または、将来シワになる可能性があると推定（ＯＮ／ＯＦＦを判断）することができる。
例えば、肌状態推定部１０３は、鼻根と鼻梁が高いときに目尻にシワが出やすいと推定することができる。また、例えば、肌状態推定部１０３は、頬の形状が頬骨の高い位置が上部にある形状の場合、目尻のシワがある、または、将来シワになる可能性があると推定（ＯＮ／ＯＦＦを判断）することができる。
＜＜肌の状態の推定例２＞＞
例えば、肌状態推定部１０３は、鼻翼が丸みがあるほど、また、例えば目が大きい場合、目の下にシワが出来やすいと推定することができる。
例えば、肌状態推定部１０３は、鼻翼が丸みがあるほど、また、例えば目が大きい場合、目の下にシワが出来やすいと推定することができる。
例えば、肌状態推定部１０３は、眼窩は横長、小さいなど形状の特徴があるが、眼窩が大きく縦と横の幅が近い形状で目の下のシワが多いと推定することができる。また、例えば、肌状態推定部１０３は、顔輪郭に基づいて、目の下のシワを推定することができる。また、例えば、肌状態推定部１０３は、目間距離が広いほど、目の下のシワが少ないと推定することができる。
＜＜肌の状態の推定例３＞＞
例えば、肌状態推定部１０３は、鼻翼の丸さ、および、鼻梁の高さに基づいて、目袋のたるみを推定することができる。具体的には、肌状態推定部１０３は、鼻翼の丸さと鼻梁の高さの和が大きいほど、目袋がたるんでいると推定することができる。
例えば、肌状態推定部１０３は、鼻翼の丸さ、および、鼻梁の高さに基づいて、目袋のたるみを推定することができる。具体的には、肌状態推定部１０３は、鼻翼の丸さと鼻梁の高さの和が大きいほど、目袋がたるんでいると推定することができる。
例えば、肌状態推定部１０３は、顔輪郭がオーバル、面長の場合に目袋がたるみやすいと推定することができる。
＜＜肌の状態の推定例４＞＞
例えば、肌状態推定部１０３は、鼻梁の低さ、および、鼻翼の丸さに基づいて、ＨｂＣＯ２（還元ヘモグロビン）を推定することができる。
例えば、肌状態推定部１０３は、鼻梁の低さ、および、鼻翼の丸さに基づいて、ＨｂＣＯ２（還元ヘモグロビン）を推定することができる。
例えば、肌状態推定部１０３は、顔輪郭に基づいて、HbSO2 (酸素飽和度)を推定することができる。
＜＜肌の状態の推定例５＞＞
例えば、肌状態推定部１０３は、鼻梁が低く、鼻翼が丸い、または目間距離が離れているほど水分量が低いと推定することができる。
例えば、肌状態推定部１０３は、鼻梁が低く、鼻翼が丸い、または目間距離が離れているほど水分量が低いと推定することができる。
例えば、肌状態推定部１０３は、頭蓋骨指数の高さ、顔の縦横比に基づいて、肌水分量を推定することができる。
＜＜肌の状態の推定例６＞＞
例えば、肌状態推定部１０３は、鼻翼の丸さに基づいて、皮脂を推定することができる。
例えば、肌状態推定部１０３は、鼻翼の丸さに基づいて、皮脂を推定することができる。
例えば、肌状態推定部１０３は、顔輪郭に基づいて、皮脂を推定することができる。
＜＜肌の状態の推定例７＞＞
例えば、肌状態推定部１０３は、鼻翼が丸く鼻梁が高いほどメラニンインデックスは高く
メラニン量が多い、鼻梁が低く目間距離が狭いほどメラニンインデックスは低いと推定することができる。
例えば、肌状態推定部１０３は、鼻翼が丸く鼻梁が高いほどメラニンインデックスは高く
メラニン量が多い、鼻梁が低く目間距離が狭いほどメラニンインデックスは低いと推定することができる。
例えば、肌状態推定部１０３は、唇が上下ともに厚いほど、メラニンインデックスが高くメラニン量が多いと推定することができる。また、例えば、肌状態推定部１０３は、唇が上下ともに薄いほど、メラニンインデックスが低いと推定することができる。
＜＜肌の状態の推定例８＞＞
例えば、肌状態推定部１０３は、鼻翼が丸い場合に目のクマが出やすいと推定することができる。
例えば、肌状態推定部１０３は、鼻翼が丸い場合に目のクマが出やすいと推定することができる。
＜＜肌の状態の推定例９＞＞
例えば、肌状態推定部１０３は、鼻梁が低く目間距離が広めの場合、または、顎の角度に丸みがある場合にフェイスラインがたるみやすいと推定することができる。
例えば、肌状態推定部１０３は、鼻梁が低く目間距離が広めの場合、または、顎の角度に丸みがある場合にフェイスラインがたるみやすいと推定することができる。
＜＜肌の状態の推定例１０＞＞
例えば、肌状態推定部１０３は、鼻梁が高いほど血中酸素量が多いと推定することができる。
例えば、肌状態推定部１０３は、鼻梁が高いほど血中酸素量が多いと推定することができる。
＜＜肌の状態の推定例１１＞＞
例えば、肌状態推定部１０３は、鼻翼の大きさまたは鼻根の高さの変化位置から血管密度を推定することができ、鼻翼が大きいほど血管密度が高い。
例えば、肌状態推定部１０３は、鼻翼の大きさまたは鼻根の高さの変化位置から血管密度を推定することができ、鼻翼が大きいほど血管密度が高い。
＜＜肌の状態の推定例１２＞＞
例えば、肌状態推定部１０３は、鼻翼の大きさから表皮厚を推定することができる。
例えば、肌状態推定部１０３は、鼻翼の大きさから表皮厚を推定することができる。
＜＜肌の状態の推定例１３＞＞
例えば、肌状態推定部１０３は、鼻根の高さの変化位置から血管分岐数を推定することができる。
例えば、肌状態推定部１０３は、鼻根の高さの変化位置から血管分岐数を推定することができる。
＜＜総合的な肌の状態の推定＞＞
本発明の一実施形態では、肌状態推定部１０３は、上記の推定例１～９等で推定した値から、総合的にシワ、シミ、たるみ、クマ、ほうれい線、くすみ、ハリ、水分、皮脂、メラニン、血行、血管、血液、毛穴、肌の色として肌の状態を表すことができる。以下、一例を示す。
・シワ：目尻、目の下、額、アイホールのシワの１つまたは２つ以上の項目から表す。
・シミ：茶色の色むら、赤みの色むら、メラニンの１つまたは２つ以上の項目から表す。
・たるみ：目袋、あご、マリオネットラインの１つまたは２つ以上の項目から表す。
・クマ：目の茶クマ、青クマの１つまたは２つの項目から表す。
・ほうれい線：鼻唇溝のほうれい線、口元のほうれい線の１つまたは２つの項目から表す。
・くすみ：透明度、メラニン、色むら、肌の色、酸素飽和度、水分、皮丘の数の１つまたは２つ以上の項目から表す。
・ハリ：水分、皮脂、たるみ、皮膚の粘弾性の１つまたは２つ以上の項目から表す。
・水分：水分量、水分の保持力(TEWL)、皮丘の数、ｐＨの１つまたは２つの項目から表す。
・キメ：皮丘の数、水分の１つまたは２つ以上の項目から表す。
・肌の色：肌の色み、肌の明るさ、メラニン、血中の酸素量、HbO2(酸化ヘモグロビン量) の１つまたは２つ以上の項目から表す。
・皮脂：皮脂量、毛穴の１つまたは２つの項目から表す。
なお、水分と皮脂から標準肌、乾燥肌、脂性肌、混合肌を分類してもよい。
・メラニン：メラニンインデックス、メラニン量、色むらの１つまたは２つの項目から表す。
・血行：HbSO2 Index (血中酸素飽和度指数)、Hb Index(ヘモグロビン量)、HbO2 (酸化ヘモグロビン量)、血中酸素量、肌の色の少なくとも１つまたは２つの項目から表す。
・血管：血管の密度、毛細血管数、血管分岐数、血管と表皮間の距離、表皮厚の１つまたは２つ以上の項目から表す。
・血液：HDLコレステロール
本発明の一実施形態では、肌状態推定部１０３は、上記の推定例１～９等で推定した値から、総合的にシワ、シミ、たるみ、クマ、ほうれい線、くすみ、ハリ、水分、皮脂、メラニン、血行、血管、血液、毛穴、肌の色として肌の状態を表すことができる。以下、一例を示す。
・シワ：目尻、目の下、額、アイホールのシワの１つまたは２つ以上の項目から表す。
・シミ：茶色の色むら、赤みの色むら、メラニンの１つまたは２つ以上の項目から表す。
・たるみ：目袋、あご、マリオネットラインの１つまたは２つ以上の項目から表す。
・クマ：目の茶クマ、青クマの１つまたは２つの項目から表す。
・ほうれい線：鼻唇溝のほうれい線、口元のほうれい線の１つまたは２つの項目から表す。
・くすみ：透明度、メラニン、色むら、肌の色、酸素飽和度、水分、皮丘の数の１つまたは２つ以上の項目から表す。
・ハリ：水分、皮脂、たるみ、皮膚の粘弾性の１つまたは２つ以上の項目から表す。
・水分：水分量、水分の保持力(TEWL)、皮丘の数、ｐＨの１つまたは２つの項目から表す。
・キメ：皮丘の数、水分の１つまたは２つ以上の項目から表す。
・肌の色：肌の色み、肌の明るさ、メラニン、血中の酸素量、HbO2(酸化ヘモグロビン量) の１つまたは２つ以上の項目から表す。
・皮脂：皮脂量、毛穴の１つまたは２つの項目から表す。
なお、水分と皮脂から標準肌、乾燥肌、脂性肌、混合肌を分類してもよい。
・メラニン：メラニンインデックス、メラニン量、色むらの１つまたは２つの項目から表す。
・血行：HbSO2 Index (血中酸素飽和度指数)、Hb Index(ヘモグロビン量)、HbO2 (酸化ヘモグロビン量)、血中酸素量、肌の色の少なくとも１つまたは２つの項目から表す。
・血管：血管の密度、毛細血管数、血管分岐数、血管と表皮間の距離、表皮厚の１つまたは２つ以上の項目から表す。
・血液：HDLコレステロール
本発明の一実施形態では、肌状態推定部１０３は、鼻の特徴から、肌の強み、肌の弱みのように肌の特徴を表すことができる。例えば、鼻の特徴がタイプ１の場合、目尻のシワの評価値が平均評価値よりも低いため、肌の強みとして表す。鼻の特徴がタイプ２の場合、目尻のシワの評価値が平均評価値よりも高いため、肌の弱みとして表す。肌の強み、弱みは、顔の各所ごとに表すことができる。タイプ１の場合、肌の強みは、目尻や額のシワ、シミであり、肌の弱みは、クマ、鼻唇溝のほうれい線、口回りのたるみ、水分保持力である。肌状態推定部１０３は、これらの肌の状態から肌の総合指標（この場合、たるみタイプの肌）を推定することができる。タイプ２の場合、肌の強みは、頬のたるみ、水分保持力、血行、シミであり、肌の弱みは、目尻や額のシワ、シミである。肌状態推定部１０３は、これらの肌の状態から肌の総合指標（この場合、しわタイプの肌）を推定することができる。
＜顔の骨格に関する形状＞
ここで、顔の骨格に関する形状について説明する。「顔の骨格に関する形状」とは、顔の骨格そのものの形状と、該骨格に起因する顔の形状と、のうちの少なくとも一方をいう。骨格推定部１０４は、鼻の特徴と顔の骨格に関する形状との相関に基づいて、鼻の特徴から顔の骨格に関する形状を推定する。
ここで、顔の骨格に関する形状について説明する。「顔の骨格に関する形状」とは、顔の骨格そのものの形状と、該骨格に起因する顔の形状と、のうちの少なくとも一方をいう。骨格推定部１０４は、鼻の特徴と顔の骨格に関する形状との相関に基づいて、鼻の特徴から顔の骨格に関する形状を推定する。
例えば、顔の骨格に関する形状は、眼窩と、頬骨と、鼻骨と、梨状口（鼻腔の顔面側に開く口）と、頭蓋骨指数と、上顎骨と、下顎骨と、唇と、口角と、目と、蒙古ひだ（上まぶたが目頭を覆う部分にある皮膚のひだ）と、顔輪郭と、目と眉の位置関係（例えば、目と眉が離れている、近い等）と、のうちの少なくとも１つにおける、各骨の形状の特徴、骨格の位置関係、角度等である。以下、顔の骨格に関する形状の一例を示す。なお、かっこ内は、推定される具体的な内容の一例である。
・眼窩（横長、正方形、丸みを帯びている）
・頬骨、頬（ピーク位置、丸み）
・鼻骨（幅、形状）
・梨状口（形状）
・頭蓋骨指数（頭蓋骨の幅／奥行＝７０、７５、８０、８５、９０）
・上顎骨、上顎（眼窩との位置関係、鼻唇角）
・下顎骨、下顎（奥行長さ、奥行角度、前方角度、輪郭形状（エラ））
・前頭部(額の丸み、額の形状)
・眉（目と眉の距離、眉形状、眉濃さ）
・唇（上下ともに厚い、下唇が厚い、上下ともに薄い、横に大きい、小さい）
・口角（上り、下がり、標準）
・目（面積、角度、眉と目の距離、目間距離）
・蒙古ひだ（有り、無し）
・顔輪郭（Ｒｅｃｔａｎｇｌｅ、Ｒｏｕｎｄ、Ｏｂａｌ、Ｈｅａｒｔ、Ｓｑｕａｒｅ、Ａｖｅｒａｇｅ、Ｎａｔｕｒａｌ、Ｌｏｎｇ）
・眼窩（横長、正方形、丸みを帯びている）
・頬骨、頬（ピーク位置、丸み）
・鼻骨（幅、形状）
・梨状口（形状）
・頭蓋骨指数（頭蓋骨の幅／奥行＝７０、７５、８０、８５、９０）
・上顎骨、上顎（眼窩との位置関係、鼻唇角）
・下顎骨、下顎（奥行長さ、奥行角度、前方角度、輪郭形状（エラ））
・前頭部(額の丸み、額の形状)
・眉（目と眉の距離、眉形状、眉濃さ）
・唇（上下ともに厚い、下唇が厚い、上下ともに薄い、横に大きい、小さい）
・口角（上り、下がり、標準）
・目（面積、角度、眉と目の距離、目間距離）
・蒙古ひだ（有り、無し）
・顔輪郭（Ｒｅｃｔａｎｇｌｅ、Ｒｏｕｎｄ、Ｏｂａｌ、Ｈｅａｒｔ、Ｓｑｕａｒｅ、Ａｖｅｒａｇｅ、Ｎａｔｕｒａｌ、Ｌｏｎｇ）
＜鼻の特徴と顔の骨格に関する形状との対応関係＞
ここで、鼻の特徴と顔の骨格に関する形状との対応関係について説明する。骨格推定部１０４は、事前に肌状態推定装置１０等に記憶されている鼻の特徴と顔の骨格に関する形状との対応関係に基づいて、顔の骨格に関する形状を推定する。なお、鼻の特徴だけでなく、鼻の特徴および顔の特徴の一部に基づいて、顔の骨格に関する形状を推定するようにしてもよい。
ここで、鼻の特徴と顔の骨格に関する形状との対応関係について説明する。骨格推定部１０４は、事前に肌状態推定装置１０等に記憶されている鼻の特徴と顔の骨格に関する形状との対応関係に基づいて、顔の骨格に関する形状を推定する。なお、鼻の特徴だけでなく、鼻の特徴および顔の特徴の一部に基づいて、顔の骨格に関する形状を推定するようにしてもよい。
対応関係は、事前に決められたデータベースであってもよいし、機械学習された学習済みモデルであってもよい。データベースは、被験者に対して行われた実験の結果等に基づいて、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）と、顔の骨格に関する形状と、が紐づけられている。また、学習済みモデルは、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）の情報が入力されると、顔の骨格に関する形状の情報が出力される予測モデルである。なお、鼻の特徴と顔の骨格に関する形状との対応関係は、骨格に影響しうる要因をもとに分類した集団（例えば、コーカソイド、モンゴロイド、ニグロイド、オーストラロイド等）ごとに作成されてもよい。
＜＜学習済みモデルの生成＞＞
本発明の一実施形態では、肌状態推定装置１０等のコンピュータは、学習済みモデルを生成することができる。具体的には、肌状態推定装置１０等のコンピュータは、入力データが鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）であり、出力データが顔の骨格に関する形状である教師データを取得し、該教師データを用いて機械学習して、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）が入力されると顔の骨格に関する形状が出力される学習済みモデルを生成することができる。このように、入力データが鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）であり、出力データが顔の骨格に関する形状である教師データを用いて機械学習することによって、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）が入力されると顔の骨格に関する形状が出力される学習済みモデルが生成される。
本発明の一実施形態では、肌状態推定装置１０等のコンピュータは、学習済みモデルを生成することができる。具体的には、肌状態推定装置１０等のコンピュータは、入力データが鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）であり、出力データが顔の骨格に関する形状である教師データを取得し、該教師データを用いて機械学習して、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）が入力されると顔の骨格に関する形状が出力される学習済みモデルを生成することができる。このように、入力データが鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）であり、出力データが顔の骨格に関する形状である教師データを用いて機械学習することによって、鼻の特徴（鼻の特徴および顔の特徴の一部でもよい）が入力されると顔の骨格に関する形状が出力される学習済みモデルが生成される。
以下、鼻の特徴と顔の骨格に関する形状との対応関係に基づく推定例を説明する。
＜＜顔の骨格に関する形状の推定例１＞＞
例えば、骨格推定部１０４は、鼻根の高さまたは低さまたは鼻根の高さの変化位置、および、鼻梁の高さまたは低さに基づいて、頭蓋骨指数を推定することができる。具体的には、骨格推定部１０４は、鼻根と鼻梁の少なくとも一方が高いほど、頭蓋骨指数が低いと推定する。
例えば、骨格推定部１０４は、鼻根の高さまたは低さまたは鼻根の高さの変化位置、および、鼻梁の高さまたは低さに基づいて、頭蓋骨指数を推定することができる。具体的には、骨格推定部１０４は、鼻根と鼻梁の少なくとも一方が高いほど、頭蓋骨指数が低いと推定する。
＜＜顔の骨格に関する形状の推定例２＞＞
例えば、骨格推定部１０４は、鼻梁の幅に基づいて、口角の上りまたは下がりを推定することができる。具体的には、骨格推定部１０４は、鼻梁の幅が広いほど、口角が下がっていると推定する。
例えば、骨格推定部１０４は、鼻梁の幅に基づいて、口角の上りまたは下がりを推定することができる。具体的には、骨格推定部１０４は、鼻梁の幅が広いほど、口角が下がっていると推定する。
＜＜顔の骨格に関する形状の推定例３＞＞
例えば、骨格推定部１０４は、鼻翼の丸さ、および、鼻尖の尖度に基づいて、唇の大きさおよび厚さ（１．上下ともに大きく厚い、２．下唇が厚い、３．上下ともに薄く小さい）を推定することができる。
例えば、骨格推定部１０４は、鼻翼の丸さ、および、鼻尖の尖度に基づいて、唇の大きさおよび厚さ（１．上下ともに大きく厚い、２．下唇が厚い、３．上下ともに薄く小さい）を推定することができる。
＜＜顔の骨格に関する形状の推定例４＞＞
例えば、骨格推定部１０４は、鼻根に基づいて、蒙古ひだの有無を推定することができる。具体的には、骨格推定部１０４は、鼻根が低いと判定された場合に、蒙古ひだが有ると推定する。
例えば、骨格推定部１０４は、鼻根に基づいて、蒙古ひだの有無を推定することができる。具体的には、骨格推定部１０４は、鼻根が低いと判定された場合に、蒙古ひだが有ると推定する。
＜＜顔の骨格に関する形状の推定例５＞＞
例えば、骨格推定部１０４は、鼻梁の低さまたは高さ、および、鼻根の高さ、および、鼻翼の丸さおよび大きさに基づいて、下顎の形状を分類（例えば、３つに分類）することができる。
例えば、骨格推定部１０４は、鼻梁の低さまたは高さ、および、鼻根の高さ、および、鼻翼の丸さおよび大きさに基づいて、下顎の形状を分類（例えば、３つに分類）することができる。
＜＜顔の骨格に関する形状の推定例６＞＞
例えば、骨格推定部１０４は、鼻梁の高さに基づいて、梨状口を推定することができる。
例えば、骨格推定部１０４は、鼻梁の高さに基づいて、梨状口を推定することができる。
＜＜顔の骨格に関する形状の推定例７＞＞
例えば、骨格推定部１０４は、鼻梁の低さに基づいて、目間距離を推定することができる。具体的には、骨格推定部１０４は、鼻梁が低いほど、目間距離が広いと推定する。
例えば、骨格推定部１０４は、鼻梁の低さに基づいて、目間距離を推定することができる。具体的には、骨格推定部１０４は、鼻梁が低いほど、目間距離が広いと推定する。
＜＜顔の骨格に関する形状の推定例８＞＞
例えば、骨格推定部１０４は、鼻根の高さおよび鼻梁の高さに基づいて、前頭部の丸みを推定することができる。
例えば、骨格推定部１０４は、鼻根の高さおよび鼻梁の高さに基づいて、前頭部の丸みを推定することができる。
＜＜顔の骨格に関する形状の推定例９＞＞
例えば、骨格推定部１０４は、鼻梁の高さ、低さ、鼻翼の大きさ、鼻根の高さの変化位置に基づいて、目と眉の距離、眉形状を推定することができる。
例えば、骨格推定部１０４は、鼻梁の高さ、低さ、鼻翼の大きさ、鼻根の高さの変化位置に基づいて、目と眉の距離、眉形状を推定することができる。
＜処理方法＞
図３は、本発明の一実施形態に係る肌状態推定の処理の流れを示すフローチャートである。
図３は、本発明の一実施形態に係る肌状態推定の処理の流れを示すフローチャートである。
ステップ１（Ｓ１）において、鼻特徴特定部１０２は、鼻を含む画像から特徴点（例えば、眉頭、目頭、鼻先の特徴点）を抽出する。
ステップ２（Ｓ２）において、鼻特徴特定部１０２は、Ｓ１で抽出された特徴点をもとに、鼻の領域を抽出する。
なお、鼻を含む画像が、鼻のみが撮影された画像（例えば、肌状態推定装置１０の表示装置に表示された所定の領域内にユーザ２０の鼻の領域がおさまるように撮影された画像）である場合には、鼻のみが撮影された画像がそのまま用いられる（つまり、Ｓ１は、省略されうる）。
ステップ３（Ｓ３）において、鼻特徴特定部１０２は、Ｓ２で抽出された鼻の領域の画像の階調数を下げる（例えば、２値化する）。例えば、鼻特徴特定部１０２は、明度と、輝度と、ＲＧＢのＢｌｕｅと、ＲＧＢのＧｒｅｅｎと、のうちの少なくとも１つを用いて、鼻の領域の画像の階調数を下げる。なお、Ｓ３は、省略されうる。
ステップ４（Ｓ４）において、鼻特徴特定部１０２は、鼻の特徴（鼻の骨格）を特定する。具体的には、鼻特徴特定部１０２は、鼻の領域の画像の画像情報（例えば、画像の画素値）をもとに、鼻の特徴量を算出する。例えば、鼻特徴特定部１０２は、鼻の領域の画素値の平均値、所定の値以下または以上の画素数、画素累積値、画素値の変化量等を、鼻の特徴量として算出する。
ステップ５（Ｓ５）において、骨格推定部１０４は、顔の骨格に関する形状を推定する。なお、Ｓ５は、省略されうる。
ステップ６（Ｓ６）において、肌状態推定部１０３は、Ｓ４で特定された鼻の特徴（あるいは、Ｓ５で推定された顔の骨格に関する形状）に基づいて、肌の状態（例えば、未来の肌の悩み）を推定する。
＜鼻の特徴＞
ここで、鼻の特徴について説明する。例えば、鼻の特徴は、鼻根と、鼻梁と、鼻尖と、鼻翼と、のうちの少なくとも１つである。
ここで、鼻の特徴について説明する。例えば、鼻の特徴は、鼻根と、鼻梁と、鼻尖と、鼻翼と、のうちの少なくとも１つである。
図４は、本発明の一実施形態に係る鼻の特徴について説明するための図である。図４では、鼻根と、鼻梁と、鼻尖と、鼻翼と、の位置を示す。
＜＜鼻根＞＞
鼻根は、鼻の付け根の部分である。例えば、鼻の特徴は、鼻根の高さと、鼻根の低さと、鼻根の幅と、鼻根が高く変化する、鼻根の変化位置と、のうちの少なくとも１つである。
鼻根は、鼻の付け根の部分である。例えば、鼻の特徴は、鼻根の高さと、鼻根の低さと、鼻根の幅と、鼻根が高く変化する、鼻根の変化位置と、のうちの少なくとも１つである。
＜＜鼻梁＞＞
鼻梁は、眉間と鼻先の間の部分である。例えば、鼻の特徴は、鼻梁の高さと、鼻梁の低さと、鼻梁の幅と、のうちの少なくとも１つである。
鼻梁は、眉間と鼻先の間の部分である。例えば、鼻の特徴は、鼻梁の高さと、鼻梁の低さと、鼻梁の幅と、のうちの少なくとも１つである。
＜＜鼻尖＞＞
鼻尖は、鼻の先端部（鼻先）である。例えば、鼻の特徴は、鼻尖の丸みまたは尖度と、鼻尖の向きと、のうちの少なくとも１つである。
鼻尖は、鼻の先端部（鼻先）である。例えば、鼻の特徴は、鼻尖の丸みまたは尖度と、鼻尖の向きと、のうちの少なくとも１つである。
＜＜鼻翼＞＞
鼻翼は、鼻のあたまの両側のふくれている部分である。例えば、鼻の特徴は、鼻翼の丸みまたは尖度と、鼻翼の大きさと、のうちの少なくとも１つである。
鼻翼は、鼻のあたまの両側のふくれている部分である。例えば、鼻の特徴は、鼻翼の丸みまたは尖度と、鼻翼の大きさと、のうちの少なくとも１つである。
＜鼻領域の抽出＞
図５は、本発明の一実施形態に係る鼻領域の抽出について説明するための図である。鼻特徴特定部１０２は、鼻を含む画像における鼻の領域を抽出する。例えば、鼻の領域は、図５の（ａ）のように、鼻全体でもよいし、図５の（ｂ）のように、鼻の一部（例えば、右半分または左半分）でもよい。
図５は、本発明の一実施形態に係る鼻領域の抽出について説明するための図である。鼻特徴特定部１０２は、鼻を含む画像における鼻の領域を抽出する。例えば、鼻の領域は、図５の（ａ）のように、鼻全体でもよいし、図５の（ｂ）のように、鼻の一部（例えば、右半分または左半分）でもよい。
＜鼻特徴量の算出＞
図６は、本発明の一実施形態に係る鼻特徴量の算出について説明するための図である。
図６は、本発明の一実施形態に係る鼻特徴量の算出について説明するための図である。
ステップ１１（Ｓ１１）において、鼻を含む画像における鼻の領域が抽出される。
ステップ１２（Ｓ１２）において、Ｓ１１で抽出された鼻の領域の画像の階調数が下げられる（例えば、２値化される）。なお、Ｓ１２は、省略されうる。
ステップ１３（Ｓ１３）において、鼻の特徴量が算出される。なお、図６では、画像の高明度側を０、低明度側を２５５、として画素累積値を表している。例えば、鼻特徴特定部１０２は、複数の領域（例えば、Ｓ１２の分割された領域）ごとに正規化を行う。次に、鼻特徴特定部１０２は、領域ごとに、（例えば、画像の低明度側または高明度側のデータを用いて）画素値の平均値、所定の値以下または以上の画素数、Ｘ方向とＹ方向の少なくとも一方の画素累積値、Ｘ方向とＹ方向の少なくとも一方の画素値の変化量等を、鼻の特徴量として算出する。図６のＳ１３では、Ｙ方向の各位置におけるＸ方向の画素累積値が計算されている。
以下、各特徴量の算出方法について説明する。
例えば、鼻根の特徴量は、Ｓ１２の分割された領域のうちの上部（眼寄り）の領域の特徴量であり、鼻梁の特徴量は、Ｓ１２の分割された領域のうちの上部または中央部の領域の特徴量であり、鼻尖および鼻翼の特徴量は、Ｓ１２の分割された領域のうちの下部（口寄り）の領域の特徴量である。これら鼻の特徴量は目間距離で正規化を行う。
・鼻根の高さ：鼻の上部の領域におけるＹ方向の画素値の変化量から高さ、低さが判断される。なお、高さまたは低さが数値として算出されてもよいし、高いまたは低いに分類されてもよい。鼻根の高さの変化位置は、Ｓ１３では鼻２はＹ方向で値がすぐに変化し、鼻根の高さの変化位置が上部にあることが分かる。
・鼻根の幅：鼻の上部の領域をＸ方向で複数(２～４等)に分割し、各領域の画素値の平均値のパターンから幅が判断される。
・鼻梁の高さ：鼻の中央部の領域の画素累積値の平均値から高さ、低さが判断される。なお、高さまたは低さが数値として算出されてもよいし、高いまたは低いに分類されてもよい。
・鼻梁の幅：鼻の中央部の領域をＸ方向で複数(２～４等)に分割し、各領域の画素値の平均値のパターンから幅が判断される。
・鼻尖の丸みまたは尖度：他の鼻の特徴(鼻梁の高さ、鼻翼の丸みまたは尖度)から求められ、鼻梁が低く鼻翼が丸いほど丸みを帯びている。
・鼻尖の向き：鼻の中央部の領域において、Ｘ方向の画素累積値の最大値に対して所定の割合の位置の鼻の最下点からの幅から求められ、幅が広いほど上向きである。
・鼻翼の丸みまたは尖度：鼻の下部の領域におけるＹ方向の値の変化量から丸みまたは尖度が判断される。
・鼻翼の大きさ：下部の領域の中央部分において所定の値以下となる画素数の割合から判断される。画素数が多いほど鼻翼が大きい。
・鼻根の幅：鼻の上部の領域をＸ方向で複数(２～４等)に分割し、各領域の画素値の平均値のパターンから幅が判断される。
・鼻梁の高さ：鼻の中央部の領域の画素累積値の平均値から高さ、低さが判断される。なお、高さまたは低さが数値として算出されてもよいし、高いまたは低いに分類されてもよい。
・鼻梁の幅：鼻の中央部の領域をＸ方向で複数(２～４等)に分割し、各領域の画素値の平均値のパターンから幅が判断される。
・鼻尖の丸みまたは尖度：他の鼻の特徴(鼻梁の高さ、鼻翼の丸みまたは尖度)から求められ、鼻梁が低く鼻翼が丸いほど丸みを帯びている。
・鼻尖の向き：鼻の中央部の領域において、Ｘ方向の画素累積値の最大値に対して所定の割合の位置の鼻の最下点からの幅から求められ、幅が広いほど上向きである。
・鼻翼の丸みまたは尖度：鼻の下部の領域におけるＹ方向の値の変化量から丸みまたは尖度が判断される。
・鼻翼の大きさ：下部の領域の中央部分において所定の値以下となる画素数の割合から判断される。画素数が多いほど鼻翼が大きい。
＜＜顔タイプ＞＞
上述したように、「顔の骨格に関する形状」とは、"顔の骨格そのものの形状"と、"骨格に起因する顔の形状"と、のうちの少なくとも一方をいう。「顔の骨格に関する形状」は、顔タイプを含むことができる。
上述したように、「顔の骨格に関する形状」とは、"顔の骨格そのものの形状"と、"骨格に起因する顔の形状"と、のうちの少なくとも一方をいう。「顔の骨格に関する形状」は、顔タイプを含むことができる。
本発明の一実施形態では、ユーザの鼻の特徴に基づき、ユーザの顔が複数の顔タイプ（具体的には、"顔の骨格そのものの形状"と"骨格に起因する顔の形状"とのうちの少なくとも一方に基づき分類される顔タイプ）のうちのいずれの顔タイプであるかを推定することができる。以下、図７～図８を参照しながら顔タイプについて説明する。
図７は、本発明の一実施形態に係る各顔タイプの鼻の特徴の一例である。図７は、各顔タイプ（顔タイプＡ～Ｌの各タイプ）の鼻の特徴を示す。なお、鼻梁と鼻翼と鼻根と鼻尖との全て（４つ）を用いて顔タイプが推定されてもよいし、一部（例えば、鼻梁と鼻翼との２つ、鼻梁と鼻根との２つ、鼻梁のみ、鼻翼のみ等）を用いて顔タイプが推定されてもよい。
このように、鼻の特徴から、顔タイプを推定する。例えば、顔タイプAの鼻の特徴からは、目の丸み：丸い、目の傾き：下がり、目の大きさ：小さい、眉の形状：アーチ状、眉と目の位置：離れている、顔の輪郭：ROUNDと推定される。また、例えば、顔タイプLの鼻の特徴からは、目の丸み：シャープ、目の傾き：かなり上がり、目の大きさ：大きい、眉の形状：シャープ、眉と目の位置：かなり近い、顔の輪郭：RECTANGLEと推定される。
図８は、本発明の一実施形態に係る鼻の特徴から推定された顔の一例である。本発明の一実施形態では、ユーザの鼻の特徴に基づいて、ユーザの顔が図８に示されるような種々の顔タイプの顔のうちのいずれの顔タイプであるかを推定することができる。
このように、生活習慣や撮影時の状況に影響を受けにくい鼻の特徴量から顔タイプを分類することができる。例えば、鼻の特徴に基づいて分類された顔タイプを、メイクのガイドや肌の特性を提示するときに利用することができる（例えば、どのような顔の特徴を有する顔タイプであるか、どのような印象を与えるか顔タイプであるかに基づき、メイクのガイドや肌の特性を提示することができる）。
＜効果＞
このように、本発明では、鼻の特徴から肌の状態を容易に推定することができる。本発明の一実施形態では、鼻の特徴から未来の肌の状態を推定して、未来の肌の悩みをより効果的に抑えることができる化粧品を選択したり、マッサージ等の美容法を決定することができる。
このように、本発明では、鼻の特徴から肌の状態を容易に推定することができる。本発明の一実施形態では、鼻の特徴から未来の肌の状態を推定して、未来の肌の悩みをより効果的に抑えることができる化粧品を選択したり、マッサージ等の美容法を決定することができる。
＜ハードウェア構成＞
図９は、本発明の一実施形態に係る肌状態推定装置１０のハードウェア構成を示す図である。肌状態推定装置１０は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３を有する。ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、いわゆるコンピュータを形成する。
図９は、本発明の一実施形態に係る肌状態推定装置１０のハードウェア構成を示す図である。肌状態推定装置１０は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３を有する。ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、いわゆるコンピュータを形成する。
また、肌状態推定装置１０は、補助記憶装置１００４、表示装置１００５、操作装置１００６、Ｉ／Ｆ（Interface）装置１００７、ドライブ装置１００８を有することができる。
なお、肌状態推定装置１０の各ハードウェアは、バスＢを介して相互に接続されている。
ＣＰＵ１００１は、補助記憶装置１００４にインストールされている各種プログラムを実行する演算デバイスである。
ＲＯＭ１００２は、不揮発性メモリである。ＲＯＭ１００２は、補助記憶装置１００４にインストールされている各種プログラムをＣＰＵ１００１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ１００２は、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。
ＲＡＭ１００３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ１００３は、補助記憶装置１００４にインストールされている各種プログラムがＣＰＵ１００１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶装置１００４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
表示装置１００５は、肌状態推定装置１０の内部状態等を表示する表示デバイスである。
操作装置１００６は、肌状態推定装置１０を操作する者が肌状態推定装置１０に対して各種指示を入力する入力デバイスである。
Ｉ／Ｆ装置１００７は、ネットワークに接続し、他の装置と通信を行うための通信デバイスである。
ドライブ装置１００８は記憶媒体１００９をセットするためのデバイスである。ここでいう記憶媒体１００９には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体１００９には、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置１００４にインストールされる各種プログラムは、例えば、配布された記憶媒体１００９がドライブ装置１００８にセットされ、該記憶媒体１００９に記録された各種プログラムがドライブ装置１００８により読み出されることでインストールされる。あるいは、補助記憶装置１００４にインストールされる各種プログラムは、Ｉ／Ｆ装置１００７を介して、ネットワークよりダウンロードされることでインストールされてもよい。
肌状態推定装置１０は、撮影装置１０１０を有する。撮影装置１０１０は、ユーザ２０を撮影する。
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本国際出願は２０２１年２月１５日に出願された日本国特許出願２０２１－０２１９１６号に基づく優先権を主張するものであり、２０２１－０２１９１６号の全内容をここに本国際出願に援用する。
１０ 肌状態推定装置
２０ ユーザ
１０１ 画像取得部
１０２ 鼻特徴特定部
１０３ 肌状態推定部
１０４ 骨格推定部
１０５ 出力部
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ 補助記憶装置
１００５ 表示装置
１００６ 操作装置
１００７ Ｉ／Ｆ装置
１００８ ドライブ装置
１００９ 記憶媒体
１０１０ 撮影装置
２０ ユーザ
１０１ 画像取得部
１０２ 鼻特徴特定部
１０３ 肌状態推定部
１０４ 骨格推定部
１０５ 出力部
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ 補助記憶装置
１００５ 表示装置
１００６ 操作装置
１００７ Ｉ／Ｆ装置
１００８ ドライブ装置
１００９ 記憶媒体
１０１０ 撮影装置
Claims (15)
- ユーザの鼻の形状を特定するステップと、
前記ユーザの鼻の形状に基づいて、前記ユーザの肌の状態を推定するステップと
を含む肌状態推定方法。 - 前記ユーザの鼻を含む画像を取得するステップをさらに含み、
前記ユーザの鼻の形状は、前記画像の画像情報から特定される、請求項１に記載の肌状態推定方法。 - 前記ユーザの肌の状態は、前記ユーザの未来の肌の状態である、請求項１または２に記載の肌状態推定方法。
- 前記肌の状態は、シワ、シミ、顔のたるみ、クマ、ほうれい線、肌のくすみ、ハリ、水分、皮脂、メラニン、血行、血管、血液、肌のキメ、肌の毛穴、肌の色の少なくとも１つである、請求項１から３のいずれか一項に記載の肌状態推定方法。
- 前記肌の状態から肌の総合指標を推定するステップをさらに含む、請求項４に記載の肌状態推定方法。
- 前記肌の状態は、顔の一部と、顔全体と、顔の複数の箇所と、のいずれかにおける肌の状態である、請求項１から５のいずれか一項に記載の肌状態推定方法。
- 前記ユーザの鼻の形状に基づいて、前記ユーザの顔の骨格に関する形状を推定するステップをさらに含み、
前記ユーザの肌の状態の推定は、前記ユーザの顔の骨格に関する形状に基づいている、請求項１から６のいずれか一項に記載の肌状態推定方法。 - 前記ユーザの肌の状態は、前記ユーザの顔の骨格に関する形状に起因している、請求項７に記載の肌状態推定方法。
- 前記鼻の形状は、鼻根と、鼻梁と、鼻尖と、鼻翼とのうちの少なくとも１つの形状である、請求項１から８のいずれか一項に記載の肌状態推定方法。
- 前記ユーザの肌の状態は、前記鼻の形状が入力されると前記肌の状態が出力される学習済みモデルを用いて推定される、請求項１から９のいずれか一項に記載の肌状態推定方法。
- ユーザの鼻の形状を特定する特定部と、
前記ユーザの鼻の形状に基づいて、前記ユーザの肌の状態を推定する推定部と
を備えた肌状態推定装置。 - コンピュータを
ユーザの鼻の形状を特定する特定部、
前記ユーザの鼻の形状に基づいて、前記ユーザの肌の状態を推定する推定部
として機能させるためのプログラム。 - 肌状態推定装置とサーバとを含むシステムであって、
ユーザの鼻の形状を特定する特定部と、
前記ユーザの鼻の形状に基づいて、前記ユーザの肌の状態を推定する推定部と
を備えたシステム。 - 入力データが鼻の形状であり、出力データが肌の状態である教師データを取得するステップと、
前記教師データを用いて機械学習して、前記鼻の形状が入力されると前記肌の状態が出力される学習済みモデルを生成するステップと
を含む学習済みモデル生成方法。 - 入力データが鼻の形状であり、出力データが肌の状態である教師データを用いて機械学習することによって生成された、前記鼻の形状が入力されると前記肌の状態を出力するよう、コンピュータを機能させるための学習済みモデル。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021021916 | 2021-02-15 | ||
| JP2021021916 | 2021-02-15 | ||
| PCT/JP2022/005909 WO2022173056A1 (ja) | 2021-02-15 | 2022-02-15 | 肌状態推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2022173056A1 JPWO2022173056A1 (ja) | 2022-08-18 |
| JPWO2022173056A5 JPWO2022173056A5 (ja) | 2024-12-23 |
| JP7779487B2 true JP7779487B2 (ja) | 2025-12-03 |
Family
ID=82838389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022580719A Active JP7779487B2 (ja) | 2021-02-15 | 2022-02-15 | 肌状態推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20240074694A1 (ja) |
| JP (1) | JP7779487B2 (ja) |
| CN (1) | CN116801800A (ja) |
| WO (1) | WO2022173056A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025013876A1 (ja) * | 2023-07-13 | 2025-01-16 | 株式会社資生堂 | 肌状態予測方法、装置、およびプログラム |
| WO2025013875A1 (ja) * | 2023-07-13 | 2025-01-16 | 株式会社資生堂 | 肌内部特性予測方法、肌内部特性に基づく予測方法、装置、およびプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014219781A (ja) | 2013-05-07 | 2014-11-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム |
| JP2018079298A (ja) | 2016-11-07 | 2018-05-24 | 株式会社 資生堂 | 肌水分量計測装置、ウェアラブルデバイス、肌水分量測定方法、肌水分量評価方法、肌水分量モニタリングシステム、肌水分量評価ネットワークシステム、及び肌水分量評価プログラム |
| WO2020209378A1 (ja) | 2019-04-12 | 2020-10-15 | 株式会社 資生堂 | Ｕｐｅ測定により皮膚状態を決定する方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101140533B1 (ko) * | 2007-03-08 | 2012-05-02 | 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. | 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법 |
| JP6550642B2 (ja) * | 2014-06-09 | 2019-07-31 | パナソニックＩｐマネジメント株式会社 | 皺検出装置および皺検出方法 |
| JP2015232746A (ja) * | 2014-06-09 | 2015-12-24 | パナソニックＩｐマネジメント株式会社 | 皺検出装置および皺検出方法 |
| EP3189475A4 (en) * | 2014-09-03 | 2018-04-11 | Samet Privacy, LLC | Image processing apparatus for facial recognition |
-
2022
- 2022-02-15 JP JP2022580719A patent/JP7779487B2/ja active Active
- 2022-02-15 CN CN202280010218.8A patent/CN116801800A/zh active Pending
- 2022-02-15 US US18/262,620 patent/US20240074694A1/en active Pending
- 2022-02-15 WO PCT/JP2022/005909 patent/WO2022173056A1/ja not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014219781A (ja) | 2013-05-07 | 2014-11-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 肌解析装置、肌解析システム、肌解析方法および肌解析プログラム |
| JP2018079298A (ja) | 2016-11-07 | 2018-05-24 | 株式会社 資生堂 | 肌水分量計測装置、ウェアラブルデバイス、肌水分量測定方法、肌水分量評価方法、肌水分量モニタリングシステム、肌水分量評価ネットワークシステム、及び肌水分量評価プログラム |
| WO2020209378A1 (ja) | 2019-04-12 | 2020-10-15 | 株式会社 資生堂 | Ｕｐｅ測定により皮膚状態を決定する方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116801800A (zh) | 2023-09-22 |
| JPWO2022173056A1 (ja) | 2022-08-18 |
| WO2022173056A1 (ja) | 2022-08-18 |
| US20240074694A1 (en) | 2024-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI747372B (zh) | 偵測臨床表徵的方法以及影像系統 | |
| EP2174296B1 (en) | Method and apparatus for realistic simulation of wrinkle aging and de-aging | |
| EP1596573B1 (en) | Image correction apparatus | |
| US20120044335A1 (en) | Makeup simulation system, makeup simulation apparatus, makeup simulation method, and makeup simulation program | |
| JP3639476B2 (ja) | 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 | |
| JP7779487B2 (ja) | 肌状態推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル | |
| JP2004303193A (ja) | 画像処理装置 | |
| US20200146622A1 (en) | System and method for determining the effectiveness of a cosmetic skin treatment | |
| WO2000076398A1 (en) | Skin imaging and analysis systems and methods | |
| KR20150072463A (ko) | 안면 영상을 이용하는 건강 상태 판단 장치 및 건강 상태 판단 방법 | |
| CN106934073A (zh) | 基于三维立体图像的人脸对比系统、方法及移动终端 | |
| ES3034281T3 (en) | Method and system for anonymizing facial images | |
| CN113344837A (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| US9330300B1 (en) | Systems and methods of analyzing images | |
| JP7106126B2 (ja) | 自律神経系活動評価装置 | |
| WO2022173055A1 (ja) | 骨格推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル | |
| US12594023B2 (en) | Method and device for providing alopecia information | |
| US20240032856A1 (en) | Method and device for providing alopecia information | |
| CN113033250A (zh) | 脸部肌肉状态分析与评价方法 | |
| CN113724366B (zh) | 3d模型生成方法、装置及设备 | |
| JP7226745B2 (ja) | 三次元顔形態の判別装置、方法、プログラム、およびシステム | |
| TWI466038B (zh) | Eyelid length measurement method and device thereof | |
| JP2005228076A (ja) | 画像補正装置 | |
| JP2023155988A (ja) | 鼻唇側影分析方法 | |
| CN119013706A (zh) | 脸部分类方法、装置及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241213 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20241213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20251009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20251021 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251112 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7779487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |