JP7226745B2 - 三次元顔形態の判別装置、方法、プログラム、およびシステム - Google Patents
三次元顔形態の判別装置、方法、プログラム、およびシステム Download PDFInfo
- Publication number
- JP7226745B2 JP7226745B2 JP2021508455A JP2021508455A JP7226745B2 JP 7226745 B2 JP7226745 B2 JP 7226745B2 JP 2021508455 A JP2021508455 A JP 2021508455A JP 2021508455 A JP2021508455 A JP 2021508455A JP 7226745 B2 JP7226745 B2 JP 7226745B2
- Authority
- JP
- Japan
- Prior art keywords
- age group
- facial expression
- discriminant function
- face
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
図1は、本発明の一実施形態に係る判別システム100の全体の構成図である。判別システム100は、判別装置101とユーザ端末102とを含む。以下、それぞれについて説明する。
図2は、本発明の一実施形態に係る判別装置101の機能ブロック図である。判別装置101は、三次元形態情報取得部201、三次元形態生成部202、特徴変量計測部203、判別部204、判別関数記憶部205を含む。判別装置101は、プログラムを実行することで、三次元形態情報取得部201、三次元形態生成部202、特徴変量計測部203、判別部204として機能する。以下、それぞれについて説明する。
三次元形態生成部202は、三次元の座標系(人間の顔の左右方向をx軸とし、上下方向をy軸とし、前後方向(奥行き)をz軸とする)を決定する。また、三次元形態生成部202は、三次元形態情報を解剖学的な計測点に基づいてデータ処理することによって、人間の顔の断面図を生成することができる。図3は、本発明の一実施形態に係る断面図の一例である。図3には、目尻Exと口角点Chとを結ぶ線で人間の顔を切断した場合のyz断面が示されている。なお、断面は、鼻下点、鼻の最突点、眉間点、鼻根点、上唇点、下唇点、オトガイ点等の任意の点を通る断面であってよい。
三次元形態生成部202は、三次元形態情報に基づいて、人間の顔のメッシュ(ポリゴンメッシュ)を生成することができる。図4は、本発明の一実施形態に係るメッシュの一例である。
特徴変量計測部203は、生成した断面図から特徴変量を計測する。例えば、図3では、目尻Exを基点とする口角Chのz軸方向における角度(v7)、目尻Exを基点とする当該断面における頬の突点P(Ex-Ch)の角度(v8)、目尻Exと口角Chの外形曲線の長さ(v12)、外形曲線で閉じられる面積(v13)などを特徴変量とすることができる。
特徴変量計測部203は、生成したメッシュから特徴変量を計測する。例えば、図4では、ある特定部位のz平均値に対する差分や比率を特徴変量とすることができる。
判別部204は、判別関数記憶部205に記憶されている4つの判別関数(線形でも非線形でもよい)に、特徴変量計測部203が計測した特徴変量を代入する。
判別関数1は、第1の表情(例えば、安静時の顔)である者が、第1の年齢層(ヤング群)であるか第2の年齢層(エルダー群)であるかを判別するための判別関数である。例えば、判別関数1に特徴変量を代入した結果がプラス(正の値)であると、エルダー群であると判定される。以下は、判別関数1で用いられる特徴変量と重み係数とを示す。判別関数1で用いられる特徴変量は、「目の下のふくらみ」「顔の輪郭のたるみ」「鼻翼部の突出」「顔の幅」「鼻下部の垂直的距離」「口唇の前突」「鼻下部の凸型形態」である。
判別関数2は、第2の表情(例えば、笑顔表出時の顔)である者が、第1の年齢層(ヤング群)であるか第2の年齢層(エルダー群)であるかを判別するための判別関数である。例えば、判別関数2に特徴変量を代入した結果がプラス(正の値)であると、エルダー群であると判定される。以下は、判別関数2で用いられる特徴変量と重み係数とを示す。判別関数2で用いられる特徴変量は、「目と口角との垂直的距離」「鼻下部の凸型形態」「目の下のふくらみ」「顎角部のたるみ」「眼裂の垂直距離と水平距離の比率」である。
判別関数3は、第1の年齢層(ヤング群)に属する者が第1の表情(例えば、安静時の顔)であるか第2の表情(例えば、笑顔表出時の顔)であるかを判別するための判別関数である。例えば、判別関数3に特徴変量を代入した結果がマイナス(負の値)であると、笑顔表出時であると判定される。以下は、判別関数3で用いられる特徴変量と重み係数とを示す。判別関数3で用いられる特徴変量は、「笑顔表出時の顔の幅の増加量」「笑顔表出時の頬の突出の増加量」「笑顔表出時の鼻の後方移動量」「笑顔表出時の目の上方移動量」「笑顔表出時の下赤唇の厚みの減少量」「笑顔表出時の上下赤唇および口角の後方移動量」「笑顔表出時の下顔面高の減少量」「笑顔表出時のおとがい唇溝の深さの減少量」である。
判別関数4は、第2の年齢層(エルダー群)に属する者が第1の表情(例えば、安静時の顔)であるか第2の表情(例えば、笑顔表出時の顔)であるかを判別するための判別関数である。例えば、判別関数4に特徴変量を代入した結果がマイナス(負の値)であると、笑顔表出時であると判定される。以下は、判別関数4で用いられる特徴変量と重み係数とを示す。判別関数4で用いられる特徴変量は、「笑顔表出時の下顔面高の減少量」「笑顔表出時の頬の突出量」である。
また、判別部204は、上記の判別関数を用いずに、予めパターン化されたいくつかの三次元形態の集合の中央値とパターンマッチング(例えば、マンハッタン距離やユークリッド距離等による機械学習)を行う構成とすることもできる。例えば、図7は、本発明の一実施形態に係る判別システムの一例である。
また、判別部204は、上記の判別関数を用いずに、過去の最も似た三次元形態を参照する構成とすることもできる。
本発明の一実施形態に係る判別装置、方法、プログラム、およびシステムは、美容分野に適用することができる。具体的には、スマートフォン等に組み込まれている深度センサーを用いて、安静時と笑顔表出時の顔の三次元形態を撮影し、笑顔の加齢の程度を測定する機器を提供することができる。本発明を用いて、表情トレーニングの効果を測定したり、化粧品の効果を笑顔の表出という観点から顧客に対して客観的に示したりすることが可能となる。
本発明の一実施形態に係る判別装置、方法、プログラム、およびシステムは、医療分野に適用することができる。具体的には、介護の原因疾患の第2位である認知症では、その発症過程の初期に表情が乏しくなることが知られている。本発明を用いて、表情を計測することにより、通常の加齢による変化と疾病による変化を分離して解析することが可能になり、疾病の早期発見につながる可能性がある。また、顎顔面部の形成異常に由来する顔や表情の形態的な歪みが原因となり、個人にとって重大な社会心理学的な不適応という問題を引き起こすことがあり、近年、社会心理学的な立場から、より良い容貌および表情を確立することが矯正歯科治療や形成外科治療の目的として重要視されてきている。顔の形態異常に対する治療は主に思春期から青年前期にかけて行われるが、その結果として得られた容貌・表情は、青年後期から壮年期にかけて加齢とともに変化しながらその役割を果たす。すなわち、矯正歯科治療や形成外科治療を行う際には、治療直後の容貌・表情だけを目標とするのではなく、治療後の容貌・表情の加齢変化を考慮に入れた治療計画を立てる必要があるといえる。加齢変化を三次元的に明らかにすることで、加齢変化を考慮に入れた治療計画が可能となる。
図9は、本発明の一実施形態に係る判別装置101のハードウェア構成を示すブロック図である。判別装置101は、CPU(Central Processing Unit)1、ROM(Read Only Memory)2、RAM(Random Access Memory)3を有する。CPU1、ROM2、RAM3は、いわゆるコンピュータを形成する。
101 判別装置
102 ユーザ端末
103 ネットワーク
201 三次元形態情報取得部
202 三次元形態生成部
203 特徴変量計測部
204 判別部
205 判別関数記憶部
Claims (8)
- 顔の三次元形態情報を取得する三次元形態情報取得部と、
前記三次元形態情報に基づいて、前記顔の人間が第1の年齢層であるか前記第1の年齢層よりも高い第2の年齢層であるか、および、前記顔が第1の表情であるか第2の表情であるかを判別する判別部と
を備え、
前記判別部は、
前記第1の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第1の判別関数と、
前記第2の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第2の判別関数と、
前記第1の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第3の判別関数と、
前記第2の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第4の判別関数と、により判別する
判別装置。 - 前記第2の表情は笑顔表出時の顔である、請求項1に記載の判別装置。
- 前記第1の判別関数および前記第2の判別関数は、前記三次元形態情報に基づいて生成された三次元形態から計測された特徴変量を含み、前記特徴変量は、前記第1の年齢層に属する人間と前記第2の年齢層に属する人間との差異を示す、請求項1または2に記載の判別装置。
- 前記第3の判別関数および前記第4の判別関数は、前記三次元形態情報に基づいて生成された三次元形態から計測された特徴変量を含み、前記特徴変量は、前記第1の表情である人間と前記第2の表情である人間との差異を示す、請求項1から3のいずれか一項に記載の判別装置。
- 前記第4の判別関数の前記特徴変量の個数は、前記第3の判別関数の特徴変量の個数よりも少ない、請求項4に記載の判別装置。
- コンピュータが実行する方法であって、
顔の三次元形態情報を取得するステップと、
前記三次元形態情報に基づいて、前記顔の人間が第1の年齢層であるか前記第1の年齢層よりも高い第2の年齢層であるか、および、前記顔が第1の表情であるか第2の表情であるかを判別するステップと
を含み、
前記判別するステップでは、
前記第1の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第1の判別関数と、
前記第2の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第2の判別関数と、
前記第1の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第3の判別関数と、
前記第2の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第4の判別関数と、により判別する
方法。 - コンピュータを
顔の三次元形態情報を取得する三次元形態情報取得部、
前記三次元形態情報に基づいて、前記顔の人間が第1の年齢層であるか前記第1の年齢層よりも高い第2の年齢層であるか、および、前記顔が第1の表情であるか第2の表情であるかを判別する判別部
として機能させ、
前記判別部は、
前記第1の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第1の判別関数と、
前記第2の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第2の判別関数と、
前記第1の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第3の判別関数と、
前記第2の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第4の判別関数と、により判別する
プログラム。 - 判別装置とユーザ端末とを含む判別システムであって、
前記判別装置は、
前記ユーザ端末から、顔の三次元形態情報を取得する三次元形態情報取得部と、
前記三次元形態情報に基づいて、前記顔の人間が第1の年齢層であるか前記第1の年齢層よりも高い第2の年齢層であるか、および、前記顔が第1の表情であるか第2の表情であるかを判別する判別部と、を備え、
前記判別部は、
前記第1の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第1の判別関数と、
前記第2の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第2の判別関数と、
前記第1の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第3の判別関数と、
前記第2の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第4の判別関数と、により判別し、
前記ユーザ端末は、
前記判別装置が判別した結果を受信する、判別システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/012719 WO2020194488A1 (ja) | 2019-03-26 | 2019-03-26 | 三次元顔形態の判別装置、方法、プログラム、およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020194488A1 JPWO2020194488A1 (ja) | 2020-10-01 |
JP7226745B2 true JP7226745B2 (ja) | 2023-02-21 |
Family
ID=72611150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021508455A Active JP7226745B2 (ja) | 2019-03-26 | 2019-03-26 | 三次元顔形態の判別装置、方法、プログラム、およびシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7226745B2 (ja) |
WO (1) | WO2020194488A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009093490A (ja) | 2007-10-10 | 2009-04-30 | Mitsubishi Electric Corp | 年齢推定装置及びプログラム |
JP2014178969A (ja) | 2013-03-15 | 2014-09-25 | Nec Solution Innovators Ltd | 情報処理装置及び判定方法 |
JP2015219648A (ja) | 2014-05-15 | 2015-12-07 | カシオ計算機株式会社 | 年齢推定装置、撮像装置、年齢推定方法及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016177755A (ja) * | 2015-03-23 | 2016-10-06 | 日本電気株式会社 | 注文端末装置、注文システム、客情報生成方法、及びプログラム |
JP6596865B2 (ja) * | 2015-03-23 | 2019-10-30 | 日本電気株式会社 | 電話機、電話システム、電話機の音量設定方法、及びプログラム |
JP6886773B2 (ja) * | 2015-03-31 | 2021-06-16 | ポーラ化成工業株式会社 | 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法 |
JP2018120644A (ja) * | 2018-05-10 | 2018-08-02 | シャープ株式会社 | 識別装置、識別方法およびプログラム |
-
2019
- 2019-03-26 JP JP2021508455A patent/JP7226745B2/ja active Active
- 2019-03-26 WO PCT/JP2019/012719 patent/WO2020194488A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009093490A (ja) | 2007-10-10 | 2009-04-30 | Mitsubishi Electric Corp | 年齢推定装置及びプログラム |
JP2014178969A (ja) | 2013-03-15 | 2014-09-25 | Nec Solution Innovators Ltd | 情報処理装置及び判定方法 |
JP2015219648A (ja) | 2014-05-15 | 2015-12-07 | カシオ計算機株式会社 | 年齢推定装置、撮像装置、年齢推定方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020194488A1 (ja) | 2020-10-01 |
JPWO2020194488A1 (ja) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lou et al. | Realistic facial expression reconstruction for VR HMD users | |
CN111539912B (zh) | 基于人脸结构定位的健康指标评估方法、设备和存储介质 | |
Agarwal et al. | Detecting deep-fake videos from aural and oral dynamics | |
KR101738278B1 (ko) | 영상을 이용한 감정 인식 방법 | |
JP6191943B2 (ja) | 視線方向推定装置、視線方向推定装置および視線方向推定プログラム | |
KR102050396B1 (ko) | 모아레 이미지를 이용한 피부 탄력 측정 방법 및 장치 | |
CN113436734A (zh) | 基于人脸结构定位的牙齿健康评估方法、设备和存储介质 | |
JP2017009598A (ja) | 美容施術効果の解析方法 | |
KR20180138379A (ko) | 치아의 형태적 특성을 분석하는 장치 및 방법 | |
US9330300B1 (en) | Systems and methods of analyzing images | |
JP7226745B2 (ja) | 三次元顔形態の判別装置、方法、プログラム、およびシステム | |
Hayes | A geometric morphometric evaluation of the Belanglo ‘Angel’facial approximation | |
CN114586069A (zh) | 用于生成牙科图像的方法 | |
KR102495889B1 (ko) | 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치 | |
Mejía et al. | Head measurements from 3D point clouds | |
KR101779840B1 (ko) | 미소 검출 기반 얼굴 분석 장치 및 방법 | |
CN116092157A (zh) | 一种智能面舌诊方法、系统及智能设备 | |
JP7439932B2 (ja) | 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース | |
JP5897745B2 (ja) | 加齢分析方法及び加齢分析装置 | |
JP7321951B2 (ja) | 肌解析方法、肌解析システム及び肌解析プログラム | |
Cordea et al. | A 3-D anthropometric-muscle-based active appearance model | |
KR102074977B1 (ko) | 전자 장치 및 그의 제어 방법 | |
WO2022173055A1 (ja) | 骨格推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル | |
Hsu et al. | Extraction of visual facial features for health management | |
Al-Meyah et al. | 4D analysis of facial ageing using dynamic features |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7226745 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |