JP7226745B2 - 三次元顔形態の判別装置、方法、プログラム、およびシステム - Google Patents

三次元顔形態の判別装置、方法、プログラム、およびシステム Download PDF

Info

Publication number
JP7226745B2
JP7226745B2 JP2021508455A JP2021508455A JP7226745B2 JP 7226745 B2 JP7226745 B2 JP 7226745B2 JP 2021508455 A JP2021508455 A JP 2021508455A JP 2021508455 A JP2021508455 A JP 2021508455A JP 7226745 B2 JP7226745 B2 JP 7226745B2
Authority
JP
Japan
Prior art keywords
age group
facial expression
discriminant function
face
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508455A
Other languages
English (en)
Other versions
JPWO2020194488A1 (ja
Inventor
千尋 谷川
健治 高田
春奈 関根
ルリ子 ▲高▼野
定樹 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Shiseido Co Ltd
Original Assignee
Osaka University NUC
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC, Shiseido Co Ltd filed Critical Osaka University NUC
Publication of JPWO2020194488A1 publication Critical patent/JPWO2020194488A1/ja
Application granted granted Critical
Publication of JP7226745B2 publication Critical patent/JP7226745B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Description

本発明は、三次元顔形態の判別装置、方法、プログラム、およびシステムに関する。
従来、人間の顔を定量的に評価する手法が研究されている。例えば、特許文献1では、三次元形状計測装置で計測した顔の三次元形状情報を用いて、顔の各点における曲面の曲率を求め、該曲率の分布に基づいて顔の形状を評価している(特許文献1の段落[0007])。
特開2009-54060号公報
しかしながら、特許文献1では、顔の各点における曲面の曲率の分布に基づいて、顔の形状を評価しているに過ぎない。
そこで、本発明の一実施形態では、顔の三次元形態の評価の精度を向上することを目的とする。
本発明の一態様は、顔の三次元形態情報を取得する三次元形態情報取得部と、前記三次元形態情報に基づいて、前記顔の人間が第1の年齢層であるか前記第1の年齢層よりも高い第2の年齢層であるかを判別する判別部と、を備える。
本発明によれば、顔の三次元形態の評価の精度を向上することができる。
本発明の一実施形態に係る判別システムの全体の構成図である。 本発明の一実施形態に係る判別装置の機能ブロック図である。 本発明の一実施形態に係る断面図の一例である。 本発明の一実施形態に係るメッシュの一例である。 本発明の一実施形態に係る有意差の認められる特徴変量を説明するための図である。 本発明の一実施形態に係る有意差の認められる特徴変量を説明するための図である。 本発明の一実施形態に係る判別システムの一例である。 本発明の一実施形態に係る判別処理を示すフローチャートである。 本発明の一実施形態に係る判別装置のハードウェア構成を示すブロック図である。
以下、図面に基づいて本発明の実施の形態を説明する。
<システム構成>
図1は、本発明の一実施形態に係る判別システム100の全体の構成図である。判別システム100は、判別装置101とユーザ端末102とを含む。以下、それぞれについて説明する。
判別装置101は、人間の顔の三次元の形態についての情報(以下、三次元形態情報ともいう)に基づいて、その人間がいずれのグループに属するかを判別するための装置である。判別装置101は、1または複数のコンピュータからなる。判別装置101は、任意のネットワーク103を介して、ユーザ端末102とデータを送受信することができる。
具体的には、判別装置101は、ユーザ端末102から取得した人間の顔の三次元形態情報に基づいて、その人間が、第1の年齢層(以下、ヤング群ともいう)に属するか、あるいは、第1の年齢層よりも高い年齢層である第2の年齢層(以下、エルダー群ともいう)に属するかを判別する。また、判別装置101は、ユーザ端末102から取得した人間の顔の三次元形態情報に基づいて、その人間が、第1の年齢層の第1の表情(以下、安静時の顔ともいう)であるか、第1の年齢層の第2の表情(以下、笑顔表出時の顔ともいう)であるか、第2の年齢層の第1の表情であるか、第2の年齢層の第2の表情であるかを判別する構成とすることもできる。また、判別装置101は、ユーザ端末102から取得した人間の顔の三次元形態情報に基づいて、その人間が、第1の表情であるか、あるいは、第2の表情であるかを判別する構成とすることもできる。後段で、図2を参照しながら、判別装置101について詳細に説明する。
ユーザ端末102は、人間の顔の三次元形態情報に基づいてその人間がいずれのグループに属するかを判別したい者が利用する端末である。ユーザ端末102は、パーソナルコンピュータ、タブレット、スマートフォン等のコンピュータである。ユーザ端末102は、任意のネットワーク103を介して、判別装置101とデータを送受信することができる。
具体的には、ユーザ端末102は、人間の顔の三次元形態情報を示すデータを、判別装置101へ送信する。また、ユーザ端末102は、人間がいずれのグループに属するかを判別した結果を示すデータを、判別装置101から受信してディスプレイ等の表示手段に表示する。例えば、ユーザ端末102は、ユーザ端末102に内蔵された深度センサー等により取得された、人間の顔の三次元形態情報を示すデータを用いることができる。
なお、本明細書では、判別装置101とユーザ端末102とを別々のコンピュータとして説明するが、判別装置101とユーザ端末102とを1つのコンピュータで実装するようにしてもよい。
<機能構成>
図2は、本発明の一実施形態に係る判別装置101の機能ブロック図である。判別装置101は、三次元形態情報取得部201、三次元形態生成部202、特徴変量計測部203、判別部204、判別関数記憶部205を含む。判別装置101は、プログラムを実行することで、三次元形態情報取得部201、三次元形態生成部202、特徴変量計測部203、判別部204として機能する。以下、それぞれについて説明する。
三次元形態情報取得部201は、ユーザ端末102から、人間の顔の三次元形態情報を示すデータを受信する。また、三次元形態情報取得部201は、受信したデータを他の機能部が参照できるようにメモリに記憶する。
ここで、三次元形態情報について説明する。人間の顔の三次元形態情報は、例えば、"カメラが撮影した人間の顔の画像(2次元画像)"と"深度センサーが取得した深度センサーから人間までの距離"とに基づく、人間の顔の三次元の形状を表すことができる情報である。また、人間の顔の三次元形態情報は、例えば、ステレオカメラ等の2台以上のカメラが異なる視点から撮影した画像の視差に基づく、人間の顔の三次元の形状を表すことができる情報である。
三次元形態情報取得部201は、安静時の顔の三次元形態情報を取得してもよいし、あるいは、笑顔表出時の顔の三次元形態情報を取得してもよいし、あるいは、安静時の顔の三次元形態情報と笑顔表出時の顔の三次元形態情報との両方を取得してもよい。
本明細書で、安静時の顔とは、表情が表出していない顔である。また、笑顔表出時の顔とは、笑っている表情が表出している顔である。笑顔は、「笑顔表出時の顔の三次元形態」として定義することもできるし、「安静時の顔の三次元形態と笑顔表出時の顔の三次元形態との差分」として定義することもできる。
なお、本明細書では安静時の顔を一例として説明するが、本発明は、表情が表出していない任意の顔(例えば、寝顔等)に適用することができる。また、本明細書では笑顔表出時の顔を一例として説明するが、本発明は、笑顔以外の表情(例えば、泣いている、怒っている等)が表出している顔に適用することができる。
図2に戻る。三次元形態生成部202は、三次元形態情報取得部201が取得した三次元形態情報に基づいて、人間の顔の三次元形態を生成する。また、三次元形態生成部202は、生成した三次元形態のデータを他の機能部が参照できるようにメモリに記憶する。以下、<断面図>による三次元形態の生成と<メッシュ>による三次元形態の生成との2つの例について説明する。
<断面図>
三次元形態生成部202は、三次元の座標系(人間の顔の左右方向をx軸とし、上下方向をy軸とし、前後方向(奥行き)をz軸とする)を決定する。また、三次元形態生成部202は、三次元形態情報を解剖学的な計測点に基づいてデータ処理することによって、人間の顔の断面図を生成することができる。図3は、本発明の一実施形態に係る断面図の一例である。図3には、目尻Exと口角点Chとを結ぶ線で人間の顔を切断した場合のyz断面が示されている。なお、断面は、鼻下点、鼻の最突点、眉間点、鼻根点、上唇点、下唇点、オトガイ点等の任意の点を通る断面であってよい。
<メッシュ>
三次元形態生成部202は、三次元形態情報に基づいて、人間の顔のメッシュ(ポリゴンメッシュ)を生成することができる。図4は、本発明の一実施形態に係るメッシュの一例である。
特徴変量計測部203は、三次元形態の特徴変量を計測する。また、特徴変量計測部203は、計測した特徴変量を他の機能部が参照できるようにメモリに記憶する。特徴変量は、人間の顔の形態の特徴を表す特徴パラメータである。以下、上記の<断面図>の場合の特徴変量の計測と<メッシュ>の場合の特徴変量の計測との2つの例について説明する。
<断面図>
特徴変量計測部203は、生成した断面図から特徴変量を計測する。例えば、図3では、目尻Exを基点とする口角Chのz軸方向における角度(v7)、目尻Exを基点とする当該断面における頬の突点P(Ex-Ch)の角度(v8)、目尻Exと口角Chの外形曲線の長さ(v12)、外形曲線で閉じられる面積(v13)などを特徴変量とすることができる。
その他、特徴変量は、様々な断面位置における顔の部位のz方向へ突出する量、突点部の角度、突出量、凹点部の角度であってもよい。
<メッシュ>
特徴変量計測部203は、生成したメッシュから特徴変量を計測する。例えば、図4では、ある特定部位のz平均値に対する差分や比率を特徴変量とすることができる。
判別部204は、人間の顔の三次元形態情報に基づいて生成した三次元形態の特量変量から、その人間がいずれのグループに属するかを判別する。また、判別部204は、判別した結果をユーザ端末102に通知する。以下、<判別関数>による判別、<パターンマッチング>による判別、<過去のデータ>による判別の例について説明する。
<判別関数>
判別部204は、判別関数記憶部205に記憶されている4つの判別関数(線形でも非線形でもよい)に、特徴変量計測部203が計測した特徴変量を代入する。
以下、判別関数について説明する。例示は、表情の種類のうち安静時と笑顔表出時とを対象に、人間の顔の三次元形態を用いて、2群(ヤング群、エルダー群)の識別に有効な要素(特徴変量)を示したものである。
具体的には、安静時には、鼻下部の凸型の形態、目の下のふくらみが大きい、下顔面の幅が大きい、口唇の前突が大きい、顎角部のたるみが大きい、額の幅が大きい、鼻翼部の突出が大きい場合に、エルダー群と判別される。また、笑顔表出時には、口角の下垂、鼻下部の凸型の形態、目の垂直的高さが小さい、顎角部のたるみが大きい、目の下のふくらみが大きい、口唇の突出が大きい場合に、エルダー群と判別される。また、エルダー群は、安静時であるか笑顔表出時であるかが判定されにくい(つまり、識別に有意な特徴変量が少ない)。例えば、図5および図6は、本発明の一実施形態に係る有意差の認められる特徴変量を説明するための図である。ヤング群(例えば、18~32歳)とエルダー群(例えば、55~65歳)との差異が示されている。
そして、人間の顔の三次元形態(安静時と笑顔表出時)から抽出した特徴変量を用いて、2群(ヤング群、エルダー群)を識別する判別関数を創出した(以下の<判別関数1><判別関数2>)。また、人間の顔の三次元形態(ヤング群とエルダー群)から抽出した特徴変量を用いて、2つの表情(安静時、笑顔表出時)を識別する判別関数を創出した(以下の<判別関数3><判別関数4>)。4つの判別関数は、それぞれ、多変量(つまり、有意差の認められた特徴変量)と重み係数とからなる。
本発明の判別関数では、ヤング群とエルダー群の差異を最大化するような特徴変量および重み係数が採用されている。また、本発明の判別関数では、安静時と笑顔表出時の差異を最大化するような特徴変量および重み係数が採用されている。そして、本発明の判別関数では、特徴変量をそれぞれ別々に評価するのではなく多変量(つまり、多次元のベクトル)として同時に扱うことを特徴としている。
次に、4つの判別関数について説明する。判別関数記憶部205には、以下の4つの判別関数が記憶されている。
<判別関数1>
判別関数1は、第1の表情(例えば、安静時の顔)である者が、第1の年齢層(ヤング群)であるか第2の年齢層(エルダー群)であるかを判別するための判別関数である。例えば、判別関数1に特徴変量を代入した結果がプラス(正の値)であると、エルダー群であると判定される。以下は、判別関数1で用いられる特徴変量と重み係数とを示す。判別関数1で用いられる特徴変量は、「目の下のふくらみ」「顔の輪郭のたるみ」「鼻翼部の突出」「顔の幅」「鼻下部の垂直的距離」「口唇の前突」「鼻下部の凸型形態」である。
Figure 0007226745000001
<判別関数2>
判別関数2は、第2の表情(例えば、笑顔表出時の顔)である者が、第1の年齢層(ヤング群)であるか第2の年齢層(エルダー群)であるかを判別するための判別関数である。例えば、判別関数2に特徴変量を代入した結果がプラス(正の値)であると、エルダー群であると判定される。以下は、判別関数2で用いられる特徴変量と重み係数とを示す。判別関数2で用いられる特徴変量は、「目と口角との垂直的距離」「鼻下部の凸型形態」「目の下のふくらみ」「顎角部のたるみ」「眼裂の垂直距離と水平距離の比率」である。
Figure 0007226745000002
<判別関数3>
判別関数3は、第1の年齢層(ヤング群)に属する者が第1の表情(例えば、安静時の顔)であるか第2の表情(例えば、笑顔表出時の顔)であるかを判別するための判別関数である。例えば、判別関数3に特徴変量を代入した結果がマイナス(負の値)であると、笑顔表出時であると判定される。以下は、判別関数3で用いられる特徴変量と重み係数とを示す。判別関数3で用いられる特徴変量は、「笑顔表出時の顔の幅の増加量」「笑顔表出時の頬の突出の増加量」「笑顔表出時の鼻の後方移動量」「笑顔表出時の目の上方移動量」「笑顔表出時の下赤唇の厚みの減少量」「笑顔表出時の上下赤唇および口角の後方移動量」「笑顔表出時の下顔面高の減少量」「笑顔表出時のおとがい唇溝の深さの減少量」である。
Figure 0007226745000003
<判別関数4>
判別関数4は、第2の年齢層(エルダー群)に属する者が第1の表情(例えば、安静時の顔)であるか第2の表情(例えば、笑顔表出時の顔)であるかを判別するための判別関数である。例えば、判別関数4に特徴変量を代入した結果がマイナス(負の値)であると、笑顔表出時であると判定される。以下は、判別関数4で用いられる特徴変量と重み係数とを示す。判別関数4で用いられる特徴変量は、「笑顔表出時の下顔面高の減少量」「笑顔表出時の頬の突出量」である。
Figure 0007226745000004
上述したように、判別部204は、判別関数記憶部205に記憶されている4つの判別関数に、特徴変量計測部203が計測した特徴変量を代入する。また、判別部204は、判別関数1~4の結果のうち絶対値が大きいものを使う。例えば、判別関数1の結果が"+2"、判別関数2の結果が"+10"、判別関数3の結果が"-2"、判別関数4の結果が"-13"であったとする。そうすると、判別関数2と判別関数4から、エルダー群に属する者であり、かつ、笑顔表出時の顔であることが判別される。
なお、上述したように、三次元形態情報取得部201は、安静時の顔の三次元形態情報と笑顔表出時の顔の三次元形態情報との両方を取得することができる。また、笑顔は、「安静時の顔の三次元形態と笑顔表出時の顔の三次元形態との差分」として定義することができる。上述したように、エルダー群は、安静時であるか笑顔表出時であるかが判定されにくい。そのため、判別装置101は、安静時の顔の三次元形態と笑顔表出時の顔の三次元形態との差分を用いることによって、より正確にヤング群とエルダー群との判別をする(つまり、部位特異的な移動量の減少が認められると(つまり、差分が小さいと)エルダー群である)ことができる。
<パターンマッチング>
また、判別部204は、上記の判別関数を用いずに、予めパターン化されたいくつかの三次元形態の集合の中央値とパターンマッチング(例えば、マンハッタン距離やユークリッド距離等による機械学習)を行う構成とすることもできる。例えば、図7は、本発明の一実施形態に係る判別システムの一例である。
図7の例では、三次元形態の特徴変量および重み係数から特徴ベクトルが作成される。そして、作成された被験者の特徴ベクトルと、各グループ(例えば、第1の年齢層の第1の表情であるグループ、第1の年齢層の第2の表情であるグループ、第2の年齢層の第1の表情であるグループ、第2の年齢層の第2の表情であるグループ)との距離(例えば、マンハッタン距離、ユークリッド距離、マハラノビス距離等)に基づいて、被験者が属するグループが判断される。
<過去のデータ>
また、判別部204は、上記の判別関数を用いずに、過去の最も似た三次元形態を参照する構成とすることもできる。
図8は、本発明の一実施形態に係る判別処理を示すフローチャートである。
ステップ801(S801)において、三次元形態情報取得部201は、ユーザ端末102から、人間の顔の三次元形態情報を示すデータを受信する。
ステップ802(S802)において、三次元形態生成部202は、S801で取得した三次元形態情報に基づいて、人間の顔の三次元形態を生成する。
ステップ803(S803)において、特徴変量計測部203は、S802で生成した三次元形態の特徴変量を計測する。
ステップ804(S804)において、判別部204は、S803で計測した特量変量から、その人間がいずれのグループに属するかを判別する。
ステップ805(S805)において、判別部204は、S804で判別した結果をユーザ端末102へ通知する。
このように、本発明の一実施形態では、人間の顔の三次元形態の特徴変量から、その人間がいずれのグループに属するかを判別することができる。発明者が見出した「第1の表情(例えば、安静時の顔)において、第1の年齢層(ヤング群)と第2の年齢層(エルダー群)との差異を最大化する特徴変量」、「第2の表情(例えば、笑顔表出時の顔)において、第1の年齢層(ヤング群)と第2の年齢層(エルダー群)との差異を最大化する特徴変量」、「第1の年齢層(ヤング群)において、第1の表情(例えば、安静時の顔)と第2の表情(例えば、笑顔表出時の顔)との差異を最大化する特徴変量」、「第2の年齢層(エルダー群)において、第1の表情(例えば、安静時の顔)と第2の表情(例えば、笑顔表出時の顔)との差異を最大化する特徴変量」を用いることによって、その人間がいずれのグループに属するかを判別することができる。
<美容分野における応用>
本発明の一実施形態に係る判別装置、方法、プログラム、およびシステムは、美容分野に適用することができる。具体的には、スマートフォン等に組み込まれている深度センサーを用いて、安静時と笑顔表出時の顔の三次元形態を撮影し、笑顔の加齢の程度を測定する機器を提供することができる。本発明を用いて、表情トレーニングの効果を測定したり、化粧品の効果を笑顔の表出という観点から顧客に対して客観的に示したりすることが可能となる。
<医療分野における応用>
本発明の一実施形態に係る判別装置、方法、プログラム、およびシステムは、医療分野に適用することができる。具体的には、介護の原因疾患の第2位である認知症では、その発症過程の初期に表情が乏しくなることが知られている。本発明を用いて、表情を計測することにより、通常の加齢による変化と疾病による変化を分離して解析することが可能になり、疾病の早期発見につながる可能性がある。また、顎顔面部の形成異常に由来する顔や表情の形態的な歪みが原因となり、個人にとって重大な社会心理学的な不適応という問題を引き起こすことがあり、近年、社会心理学的な立場から、より良い容貌および表情を確立することが矯正歯科治療や形成外科治療の目的として重要視されてきている。顔の形態異常に対する治療は主に思春期から青年前期にかけて行われるが、その結果として得られた容貌・表情は、青年後期から壮年期にかけて加齢とともに変化しながらその役割を果たす。すなわち、矯正歯科治療や形成外科治療を行う際には、治療直後の容貌・表情だけを目標とするのではなく、治療後の容貌・表情の加齢変化を考慮に入れた治療計画を立てる必要があるといえる。加齢変化を三次元的に明らかにすることで、加齢変化を考慮に入れた治療計画が可能となる。
<ハードウェア構成>
図9は、本発明の一実施形態に係る判別装置101のハードウェア構成を示すブロック図である。判別装置101は、CPU(Central Processing Unit)1、ROM(Read Only Memory)2、RAM(Random Access Memory)3を有する。CPU1、ROM2、RAM3は、いわゆるコンピュータを形成する。
また、判別装置101は、補助記憶装置4、表示装置5、操作装置6、I/F(Interface)装置7、ドライブ装置8を有する。なお、判別装置101の各ハードウェアは、バス9を介して相互に接続されている。
CPU1は、補助記憶装置4にインストールされている各種プログラムを実行する演算デバイスである。
ROM2は、不揮発性メモリである。ROM2は、補助記憶装置4にインストールされている各種プログラムをCPU1が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ROM2はBIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する、主記憶デバイスとして機能する。
RAM3は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリである。RAM3は、補助記憶装置4にインストールされている各種プログラムがCPU1によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶装置4は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。
表示装置5は、判別装置101の内部状態等を表示する表示デバイスである。
操作装置6は、判別装置101の管理者が判別装置101に対して各種指示を入力する入力デバイスである。
I/F装置7は、ネットワーク103に接続し、ユーザ端末102と通信を行うための通信デバイスである。
ドライブ装置8は記憶媒体10をセットするためのデバイスである。ここでいう記憶媒体10には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体10には、EPROM (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
なお、補助記憶装置4にインストールされる各種プログラムは、例えば、配布された記憶媒体10がドライブ装置8にセットされ、該記憶媒体10に記録された各種プログラムがドライブ装置8により読み出されることでインストールされる。あるいは、補助記憶装置4にインストールされる各種プログラムは、I/F装置7を介して、ネットワーク103とは異なる他のネットワークよりダウンロードされることでインストールされてもよい。
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
100 判別システム
101 判別装置
102 ユーザ端末
103 ネットワーク
201 三次元形態情報取得部
202 三次元形態生成部
203 特徴変量計測部
204 判別部
205 判別関数記憶部

Claims (8)

  1. 顔の三次元形態情報を取得する三次元形態情報取得部と、
    前記三次元形態情報に基づいて、前記顔の人間が第1の年齢層であるか前記第1の年齢層よりも高い第2の年齢層であるか、および、前記顔が第1の表情であるか第2の表情であるかを判別する判別部と
    を備え
    前記判別部は、
    前記第1の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第1の判別関数と、
    前記第2の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第2の判別関数と、
    前記第1の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第3の判別関数と、
    前記第2の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第4の判別関数と、により判別する
    判別装置。
  2. 前記第2の表情は笑顔表出時の顔である、請求項に記載の判別装置。
  3. 前記第1の判別関数および前記第2の判別関数は、前記三次元形態情報に基づいて生成された三次元形態から計測された特徴変量を含み、前記特徴変量は、前記第1の年齢層に属する人間と前記第2の年齢層に属する人間との差異を示す、請求項1または2に記載の判別装置。
  4. 前記第3の判別関数および前記第4の判別関数は、前記三次元形態情報に基づいて生成された三次元形態から計測された特徴変量を含み、前記特徴変量は、前記第1の表情である人間と前記第2の表情である人間との差異を示す、請求項1から3のいずれか一項に記載の判別装置。
  5. 前記第4の判別関数の前記特徴変量の個数は、前記第3の判別関数の特徴変量の個数よりも少ない、請求項に記載の判別装置。
  6. コンピュータが実行する方法であって、
    顔の三次元形態情報を取得するステップと、
    前記三次元形態情報に基づいて、前記顔の人間が第1の年齢層であるか前記第1の年齢層よりも高い第2の年齢層であるか、および、前記顔が第1の表情であるか第2の表情であるかを判別するステップと
    を含み、
    前記判別するステップでは、
    前記第1の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第1の判別関数と、
    前記第2の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第2の判別関数と、
    前記第1の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第3の判別関数と、
    前記第2の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第4の判別関数と、により判別する
    方法。
  7. コンピュータを
    顔の三次元形態情報を取得する三次元形態情報取得部、
    前記三次元形態情報に基づいて、前記顔の人間が第1の年齢層であるか前記第1の年齢層よりも高い第2の年齢層であるか、および、前記顔が第1の表情であるか第2の表情であるかを判別する判別部
    として機能させ
    前記判別部は、
    前記第1の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第1の判別関数と、
    前記第2の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第2の判別関数と、
    前記第1の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第3の判別関数と、
    前記第2の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第4の判別関数と、により判別する
    プログラム。
  8. 判別装置とユーザ端末とを含む判別システムであって、
    前記判別装置は、
    前記ユーザ端末から、顔の三次元形態情報を取得する三次元形態情報取得部と、
    前記三次元形態情報に基づいて、前記顔の人間が第1の年齢層であるか前記第1の年齢層よりも高い第2の年齢層であるか、および、前記顔が第1の表情であるか第2の表情であるかを判別する判別部と、を備え、
    前記判別部は、
    前記第1の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第1の判別関数と、
    前記第2の表情である人間が、前記第1の年齢層であるか前記第2の年齢層であるかを判別する第2の判別関数と、
    前記第1の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第3の判別関数と、
    前記第2の年齢層に属する人間が、前記第1の表情であるか前記第2の表情であるかを判別する第4の判別関数と、により判別し、
    前記ユーザ端末は、
    前記判別装置が判別した結果を受信する、判別システム。
JP2021508455A 2019-03-26 2019-03-26 三次元顔形態の判別装置、方法、プログラム、およびシステム Active JP7226745B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/012719 WO2020194488A1 (ja) 2019-03-26 2019-03-26 三次元顔形態の判別装置、方法、プログラム、およびシステム

Publications (2)

Publication Number Publication Date
JPWO2020194488A1 JPWO2020194488A1 (ja) 2020-10-01
JP7226745B2 true JP7226745B2 (ja) 2023-02-21

Family

ID=72611150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508455A Active JP7226745B2 (ja) 2019-03-26 2019-03-26 三次元顔形態の判別装置、方法、プログラム、およびシステム

Country Status (2)

Country Link
JP (1) JP7226745B2 (ja)
WO (1) WO2020194488A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093490A (ja) 2007-10-10 2009-04-30 Mitsubishi Electric Corp 年齢推定装置及びプログラム
JP2014178969A (ja) 2013-03-15 2014-09-25 Nec Solution Innovators Ltd 情報処理装置及び判定方法
JP2015219648A (ja) 2014-05-15 2015-12-07 カシオ計算機株式会社 年齢推定装置、撮像装置、年齢推定方法及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016177755A (ja) * 2015-03-23 2016-10-06 日本電気株式会社 注文端末装置、注文システム、客情報生成方法、及びプログラム
JP6596865B2 (ja) * 2015-03-23 2019-10-30 日本電気株式会社 電話機、電話システム、電話機の音量設定方法、及びプログラム
JP6886773B2 (ja) * 2015-03-31 2021-06-16 ポーラ化成工業株式会社 顔の見た目印象の決定部位の抽出方法、顔の見た目印象の決定因子の抽出方法、顔の見た目印象の鑑別方法
JP2018120644A (ja) * 2018-05-10 2018-08-02 シャープ株式会社 識別装置、識別方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009093490A (ja) 2007-10-10 2009-04-30 Mitsubishi Electric Corp 年齢推定装置及びプログラム
JP2014178969A (ja) 2013-03-15 2014-09-25 Nec Solution Innovators Ltd 情報処理装置及び判定方法
JP2015219648A (ja) 2014-05-15 2015-12-07 カシオ計算機株式会社 年齢推定装置、撮像装置、年齢推定方法及びプログラム

Also Published As

Publication number Publication date
WO2020194488A1 (ja) 2020-10-01
JPWO2020194488A1 (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
Lou et al. Realistic facial expression reconstruction for VR HMD users
CN111539912B (zh) 基于人脸结构定位的健康指标评估方法、设备和存储介质
Agarwal et al. Detecting deep-fake videos from aural and oral dynamics
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
JP6191943B2 (ja) 視線方向推定装置、視線方向推定装置および視線方向推定プログラム
KR102050396B1 (ko) 모아레 이미지를 이용한 피부 탄력 측정 방법 및 장치
CN113436734A (zh) 基于人脸结构定位的牙齿健康评估方法、设备和存储介质
JP2017009598A (ja) 美容施術効果の解析方法
KR20180138379A (ko) 치아의 형태적 특성을 분석하는 장치 및 방법
US9330300B1 (en) Systems and methods of analyzing images
JP7226745B2 (ja) 三次元顔形態の判別装置、方法、プログラム、およびシステム
Hayes A geometric morphometric evaluation of the Belanglo ‘Angel’facial approximation
CN114586069A (zh) 用于生成牙科图像的方法
KR102495889B1 (ko) 반자동 라벨링에 따라 학습된 딥러닝 기반 주름 검출 모델을 이용하여 얼굴 주름을 검출하기 위한 방법 및 장치
Mejía et al. Head measurements from 3D point clouds
KR101779840B1 (ko) 미소 검출 기반 얼굴 분석 장치 및 방법
CN116092157A (zh) 一种智能面舌诊方法、系统及智能设备
JP7439932B2 (ja) 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース
JP5897745B2 (ja) 加齢分析方法及び加齢分析装置
JP7321951B2 (ja) 肌解析方法、肌解析システム及び肌解析プログラム
Cordea et al. A 3-D anthropometric-muscle-based active appearance model
KR102074977B1 (ko) 전자 장치 및 그의 제어 방법
WO2022173055A1 (ja) 骨格推定方法、装置、プログラム、システム、学習済みモデル生成方法、および学習済みモデル
Hsu et al. Extraction of visual facial features for health management
Al-Meyah et al. 4D analysis of facial ageing using dynamic features

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230201

R150 Certificate of patent or registration of utility model

Ref document number: 7226745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150