JP6850723B2 - 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム - Google Patents
顔表情識別システム、顔表情識別方法及び顔表情識別プログラム Download PDFInfo
- Publication number
- JP6850723B2 JP6850723B2 JP2017527431A JP2017527431A JP6850723B2 JP 6850723 B2 JP6850723 B2 JP 6850723B2 JP 2017527431 A JP2017527431 A JP 2017527431A JP 2017527431 A JP2017527431 A JP 2017527431A JP 6850723 B2 JP6850723 B2 JP 6850723B2
- Authority
- JP
- Japan
- Prior art keywords
- facial expression
- person
- mounting device
- detection
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008921 facial expression Effects 0.000 title claims description 426
- 238000000034 method Methods 0.000 title claims description 76
- 238000001514 detection method Methods 0.000 claims description 153
- 238000010801 machine learning Methods 0.000 claims description 65
- 230000008569 process Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 description 88
- 238000013500 data storage Methods 0.000 description 42
- 230000017531 blood circulation Effects 0.000 description 20
- 210000004709 eyebrow Anatomy 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 210000003467 cheek Anatomy 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 210000000744 eyelid Anatomy 0.000 description 6
- 230000000306 recurrent effect Effects 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 5
- 238000000513 principal component analysis Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010033546 Pallor Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
<顔表情識別システム>
本発明の第1の実施形態に係る顔表情識別システムは、図1に示すように、中央演算処理装置(CPU)1、記憶装置2、装着装置(ウェアラブルデバイス)3、複数の検出装置(光センサ)4a,4b,4c,4d,4e,4f,4g,4h,4i,4j,4k,4l,4m,4n,4o,4p,4q、入力装置5及び出力装置6を備える。CPU1と、記憶装置2、検出装置4a〜4q、入力装置5及び出力装置6とは有線又は無線で信号を送受信可能である。
次に、図7のフローチャートを参照しながら、本発明の第1の実施形態に係る顔表情マップ作成方法を含む顔表情識別方法の一例を説明する。なお、以下に示す顔表情識別方法はあくまでも一例であり、この手順に限定されるものではない。
本発明の第1の実施形態に係る顔表情識別プログラムは、図7及び図8に示した顔表情識別の手順をCPU1に実行させる。即ち、本発明の第1の実施形態に係る顔表情識別プログラムは、(a)複数の検出装置4a〜4qが、装着装置3を頭部に装着した人物の顔面と、装着装置3との距離を検出する手順、(b)記憶装置2に予め記憶された、複数の検出装置4a〜4qによる過去の検出結果と顔表情との対応関係を機械学習して得られた学習データを用いて、複数の検出装置4a〜4qによる検出結果に基づいて人物の顔表情を識別する手順、(c)複数の検出装置4a〜4qによる検出結果が得られた時点での地理情報を取得する手順、(d)顔表情の識別結果と地理情報とを対応付けた顔表情マップを作成する手順等をCPU1等のコンピュータに実行させる。本発明の第1の実施形態に係る顔表情識別プログラムは、図1に示した記憶装置2等の記憶手段に記憶される。
本発明の第2の実施形態に係る顔表情識別システムは、図9に示すように、CPU1が機械学習部10、顔表情識別部11に加え、時刻情報取得部15及び顔表情分布算出部16を備え、図1に示した地理情報取得部12、顔表情マップ作成部13及び推薦情報抽出部14を備えない点が、図1に示したCPU1の構成と異なる。また、記憶装置2が、学習データ記憶部20、顔表情記憶部21に加え、時刻情報記憶部24及び顔表情分布記憶部25を備え、図1に示した地理情報記憶部22及び顔表情マップ記憶部23を備えない点が、図1に示した記憶装置2の構成と異なる。
本発明の第3の実施形態に係る顔表情識別システムは、図15に示すように、CPU1、記憶装置2、装着装置3、入力装置5及び出力装置6を備える。CPU1と、記憶装置2、装着装置3、入力装置5及び出力装置6とは、有線又は無線で信号やデータを互いに送受信可能である。
次に、図23のフローチャートを参照しながら、本発明の第3の実施形態に係る顔表情識別システムを用いた機械学習方法(学習フェーズ)の一例を説明する。
次に、図24のフローチャートを参照しながら、本発明の第3の実施形態に係る顔表情識別方法(識別フェーズ)の一例を説明する。
学習フェーズにおいて、装着装置3の表示部62に4種類のアバターの顔画像を周期的に表示し、装着装置3を装着したユーザがアバターの顔画像を真似たときに光センサ61a〜61pがセンサ情報を100フレームずつ取得した。図25は、得られた光センサ61a〜61pのセンサ値に対して主成分分析による第1主成分の算出結果を示す。
本発明の第4の実施形態に係る顔表情識別システムは、図36に示すように、装着装置3がずれセンサ63を更に備える点と、CPU1がずれ量算出部34及び修正提示部35を更に備える点と、記憶装置2がずれデータ記憶部55を更に備える点が、図15に示した第3の実施形態に係る顔表情識別システムと異なる。他の構成は図15に示した第3の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。
本発明の第5の実施形態に係る顔表情識別システムは、図44に示すように、装着装置3が血流センサ64を更に備える点と、記憶装置2が血流データ記憶部56を更に備える点が、図15に示した第3の実施形態に係る顔表情識別システムと異なる。他の構成は図15に示した第3の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。
本発明の第6の実施形態に係る顔表情識別システムは、図45に示すように、CPU1が光センサ調整部37を更に備える点が、図15に示した第3の実施形態に係る顔表情識別システムと異なる。他の構成は図15に示した第3の実施形態に係る顔表情識別システムと同様であるので、重複した説明を省略する。
上記のように、本発明は第1〜第6の実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
2…記憶装置
3…装着装置
4a,4b,4c,4d,4e,4f,4g,4h,4i,4j,4k,4l,4m,4n,4o,4p,4q…検出装置
5…入力装置
6…出力装置
10…機械学習部
11…顔表情識別部33
12…地理情報取得部
13…顔表情マップ作成部
14…推薦情報抽出部
15…時刻情報取得部
16…顔表情分布算出部
20…学習データ記憶部
21…顔表情記憶部
22…地理情報記憶部
23…顔表情マップ記憶部
24…時刻情報記憶部
25…顔表情分布記憶部
31…アバター表示制御部
32…学習データ生成部
33…顔表情識別部
40…表示部
41,42…アバター
50…アバターデータ記憶部
51…学習データ記憶部
52…光センサデータ記憶部
53…識別結果記憶部
61a,61b,61c,61d,61e,61f,61g,61h,61i,61j,61k,61l,61m,61n,61o,61p…検出装置
62…表示部
71…本体部
72…フレキシブル回路基板
73a,73b…レンズ
80…マルチクラス分類器
81〜84…回帰ネットワーク
100…アバター
Claims (9)
- 人物の頭部に装着可能な装着装置と、
前記装着装置の前記人物の顔面に対向する複数箇所にそれぞれ配置され、前記装着装置を装着したときの前記顔面と前記装着装置間の距離を前記複数箇所でそれぞれ検出する、複数の検出装置と、
前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶する記憶装置と、
前記学習データを前記記憶装置から読み出し、前記複数の検出装置による検出結果を入力データとして前記人物の顔表情を識別する顔表情識別部と、
前記複数の検出装置による検出結果が得られた時点での地理情報を取得する地理情報取得部と、
前記顔表情識別部による識別結果と、前記地理情報取得部により取得された地理情報とを対応付けた顔表情マップを作成する顔表情マップ作成部と、
を備えることを特徴とする顔表情識別システム。 - 人物の頭部に装着可能な装着装置と、
前記装着装置の前記人物の顔面に対向する複数箇所にそれぞれ配置され、前記装着装置を装着したときの前記顔面と前記装着装置間の距離を前記複数箇所でそれぞれ検出する、複数の検出装置と、
前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを記憶する記憶装置と、
前記装着装置に備えられ、前記人物の顔面の皮膚の移動量を検出するイメージセンサと、
前記学習データを前記記憶装置から読み出し、前記複数の検出装置による検出結果及び前記イメージセンサにより検出された移動量を入力データとして前記人物の顔表情を識別する顔表情識別部と、
を備えることを特徴とする顔表情識別システム。 - 人物の頭部に装着可能な装着装置と、
前記装着装置の前記人物の顔面に対向する複数箇所にそれぞれ配置され、前記装着装置を装着したときの前記顔面と前記装着装置間の距離を前記複数箇所でそれぞれ検出する、複数の検出装置と、
前記複数の検出装置による検出結果を入力データとして、前記装着装置を装着したときのずれ量を算出するずれ量算出部と、
前記複数の検出装置による過去の検出結果のデータと、顔表情と、前記ずれ量とを対応付けることにより、機械学習のためのデータセットを生成する学習データ生成部と、
前記データセットに基づいて、前記機械学習を行うことにより、前記ずれ量それぞれに対応した学習データを得る機械学習部と、
前記学習データを記憶する記憶装置と、
前記複数の検出装置による検出結果が得られた時点での前記ずれ量に対応する前記学習データを前記記憶装置から読み出し、前記複数の検出装置による検出結果を入力データとして前記人物の顔表情を識別する顔表情識別部と、
を備えることを特徴とする顔表情識別システム。 - 装着装置の複数箇所にそれぞれ配置された複数の検出装置が、前記装着装置を人物の頭部に装着したときの前記人物の顔面と前記装着装置間の距離を前記複数箇所で検出するステップと、
記憶装置に記憶された、前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを前記記憶装置から読み出し、顔表情識別部が前記複数の検出装置による検出結果を入力データとして前記人物の顔表情を識別するステップと、
地理情報取得部が、前記複数の検出装置による検出結果が得られた時点での地理情報を取得するステップと、
顔表情マップ作成部が、前記顔表情識別部による識別結果と、前記地理情報取得部により取得された地理情報とを対応付けた顔表情マップを作成するステップと、
を含むことを特徴とする顔表情識別方法。 - 装着装置の複数箇所にそれぞれ配置された複数の検出装置が、前記装着装置を人物の頭部に装着したときの前記人物の顔面と前記装着装置間の距離を前記複数箇所で検出するステップと、
前記装着装置が備えるイメージセンサが、前記人物の顔面の皮膚の移動量を検出するステップと、
記憶装置に記憶された、前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを前記記憶装置から読み出し、顔表情識別部が前記複数の検出装置による検出結果及び前記イメージセンサにより検出された移動量を入力データとして前記人物の顔表情を識別するステップと、
を含むことを特徴とする顔表情識別方法。 - 装着装置の複数箇所にそれぞれ配置された複数の検出装置が、前記装着装置を人物の頭部に装着したときの前記人物の顔面と前記装着装置間の距離を前記複数箇所で検出するステップと、
ずれ量算出部が、前記複数の検出装置による検出結果を入力データとして、前記装着装置を装着したときのずれ量を算出するステップと、
学習データ生成部が、前記複数の検出装置による過去の検出結果のデータと、顔表情と、前記ずれ量とを対応付けることにより、機械学習のためのデータセットを生成するステップと、
機械学習部が、前記データセットに基づいて、前記機械学習を行うことにより、前記ずれ量それぞれに対応した学習データを得るステップと、
記憶装置が、前記学習データを記憶するステップと、
前記複数の検出装置による検出結果が得られた時点での前記ずれ量に対応する前記学習データを前記記憶装置から読み出し、顔表情識別部が前記複数の検出装置による検出結果を入力データとして前記人物の顔表情を識別するステップと、
を含むことを特徴とする顔表情識別方法。 - 装着装置の複数箇所にそれぞれ配置された複数の検出装置が、前記装着装置を人物の頭部に装着したときの前記人物の顔面と前記装着装置間の距離を前記複数箇所で検出する処理と、
記憶装置に記憶された、前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを前記記憶装置から読み出し、顔表情識別部が前記複数の検出装置による検出結果を入力データとして前記人物の顔表情を識別する処理と、
地理情報取得部が、前記複数の検出装置による検出結果が得られた時点での地理情報を取得する処理と、
顔表情マップ作成部が、前記顔表情識別部による識別結果と、前記地理情報取得部により取得された地理情報とを対応付けた顔表情マップを作成する処理と、
を含む一連の処理をコンピュータに実行させることを特徴とする顔表情識別プログラム。 - 装着装置の複数箇所にそれぞれ配置された複数の検出装置が、前記装着装置を人物の頭部に装着したときの前記人物の顔面と前記装着装置間の距離を前記複数箇所で検出する処理と、
前記装着装置が備えるイメージセンサが、前記人物の顔面の皮膚の移動量を検出する処理と、
記憶装置に記憶された、前記複数の検出装置による過去の検出結果のデータと顔表情との対応関係を機械学習して得られた学習データを前記記憶装置から読み出し、顔表情識別部が前記複数の検出装置による検出結果及び前記イメージセンサにより検出された移動量を入力データとして前記人物の顔表情を識別する処理と、
を含む一連の処理をコンピュータに実行させることを特徴とする顔表情識別プログラム。 - 装着装置の複数箇所にそれぞれ配置された複数の検出装置が、前記装着装置を人物の頭部に装着したときの前記人物の顔面と前記装着装置間の距離を前記複数箇所で検出する処理と、
ずれ量算出部が、前記複数の検出装置による検出結果を入力データとして、前記装着装置を装着したときのずれ量を算出する処理と、
学習データ生成部が、前記複数の検出装置による過去の検出結果のデータと、顔表情と、前記ずれ量とを対応付けることにより、機械学習のためのデータセットを生成する処理と、
機械学習部が、前記データセットに基づいて、前記機械学習を行うことにより、前記ずれ量それぞれに対応した学習データを得る処理と、
記憶装置が、前記学習データを記憶する処理と、
前記複数の検出装置による検出結果が得られた時点での前記ずれ量に対応する前記学習データを前記記憶装置から読み出し、顔表情識別部が前記複数の検出装置による検出結果を入力データとして前記人物の顔表情を識別する処理と、
を含む一連の処理をコンピュータに実行させることを特徴とする顔表情識別プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015134460 | 2015-07-03 | ||
JP2015134460 | 2015-07-03 | ||
PCT/JP2016/069683 WO2017006872A1 (ja) | 2015-07-03 | 2016-07-01 | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017006872A1 JPWO2017006872A1 (ja) | 2018-04-19 |
JP6850723B2 true JP6850723B2 (ja) | 2021-03-31 |
Family
ID=57685715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017527431A Active JP6850723B2 (ja) | 2015-07-03 | 2016-07-01 | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6850723B2 (ja) |
WO (1) | WO2017006872A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2561537B (en) | 2017-02-27 | 2022-10-12 | Emteq Ltd | Optical expression detection |
JP6924128B2 (ja) * | 2017-11-24 | 2021-08-25 | Kddi株式会社 | モーフィング画像生成装置及びモーフィング画像生成方法 |
CN112106066A (zh) * | 2018-03-16 | 2020-12-18 | 奇跃公司 | 根据眼睛跟踪相机的面部表情 |
KR102138809B1 (ko) * | 2018-04-13 | 2020-07-28 | 인하대학교 산학협력단 | 미세한 표정변화 검출을 위한 2차원 랜드마크 기반 특징점 합성 및 표정 세기 검출 방법 |
CN109670393B (zh) * | 2018-09-26 | 2023-12-19 | 平安科技(深圳)有限公司 | 人脸数据采集方法、设备、装置及计算机可读存储介质 |
JP2020052793A (ja) * | 2018-09-27 | 2020-04-02 | 株式会社Nttドコモ | システム |
WO2020170645A1 (ja) * | 2019-02-22 | 2020-08-27 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
KR102243040B1 (ko) * | 2019-04-10 | 2021-04-21 | 한양대학교 산학협력단 | 전자 장치, 아바타 얼굴 표정 표시 시스템 및 제어 방법 |
KR102108422B1 (ko) * | 2019-08-07 | 2020-05-11 | (주)자이언트스텝 | Ai 기반의 표정 분류 및 리타겟팅을 통한 가상 캐릭터의 표정 최적화 시스템 및 방법, 및 컴퓨터 판독 가능한 저장매체 |
CN111240482B (zh) * | 2020-01-10 | 2023-06-30 | 北京字节跳动网络技术有限公司 | 一种特效展示方法及装置 |
JP7295045B2 (ja) * | 2020-01-16 | 2023-06-20 | 株式会社コロプラ | プログラム、コンピュータが実行する方法及びコンピュータ |
US11803237B2 (en) | 2020-11-14 | 2023-10-31 | Facense Ltd. | Controlling an eye tracking camera according to eye movement velocity |
FR3117221B1 (fr) * | 2020-12-04 | 2023-01-06 | Socialdream | dispositif immersif |
WO2023287425A1 (en) * | 2021-07-16 | 2023-01-19 | Hewlett-Packard Development Company, L.P. | Identification of facial expression of head-mountable display wearer |
US11765115B2 (en) * | 2021-07-29 | 2023-09-19 | Snap Inc. | Emoji recommendation system using user context and biosignals |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014021707A (ja) * | 2012-07-18 | 2014-02-03 | Nikon Corp | 情報入出力装置、及び情報入出力方法 |
JP2015031996A (ja) * | 2013-07-31 | 2015-02-16 | Kddi株式会社 | 携帯型動き検出装置、感情情報集計装置、感情情報取得報知システム、感情情報取得報知方法およびコンピュータプログラム |
JP2015092646A (ja) * | 2013-11-08 | 2015-05-14 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
-
2016
- 2016-07-01 JP JP2017527431A patent/JP6850723B2/ja active Active
- 2016-07-01 WO PCT/JP2016/069683 patent/WO2017006872A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2017006872A1 (ja) | 2018-04-19 |
WO2017006872A1 (ja) | 2017-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6850723B2 (ja) | 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム | |
EP3807710B1 (en) | Augmented reality display with frame modulation functionality | |
US11783524B2 (en) | Producing realistic talking face with expression using images text and voice | |
US11736756B2 (en) | Producing realistic body movement using body images | |
Vinola et al. | A survey on human emotion recognition approaches, databases and applications | |
Suzuki et al. | Recognition and mapping of facial expressions to avatar by embedded photo reflective sensors in head mounted display | |
CN118605029A (zh) | 利用映像的增强现实系统和方法 | |
KR20220072879A (ko) | 혼합 현실 교정을 위한 안구주위 테스트 | |
CN109475294A (zh) | 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台 | |
KR20190015349A (ko) | 증강 현실 아이덴티티 검증 | |
US20190362134A1 (en) | Makeup evaluation system and operating method thereof | |
US20240282149A1 (en) | Liveness detection method and apparatus, and training method and apparatus for liveness detection system | |
CN110349667A (zh) | 结合调查问卷及多模态范式行为数据分析的孤独症评估系统 | |
EP3579176A1 (en) | Makeup evaluation system and operation method thereof | |
US20190045270A1 (en) | Intelligent Chatting on Digital Communication Network | |
US11127181B2 (en) | Avatar facial expression generating system and method of avatar facial expression generation | |
TWI829944B (zh) | 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法 | |
RU2671990C1 (ru) | Способ отображения трехмерного лица объекта и устройство для него | |
TWM643208U (zh) | 具表情及人臉辨識與提示功能之互動式穿戴電子裝置 | |
TWI842225B (zh) | 具表情及人臉辨識與提示功能之互動式穿戴電子裝置以及互動式穿戴電子裝置處理方法 | |
Libralon et al. | Geometrical facial modeling for emotion recognition | |
Wahl | Methods for monitoring the human circadian rhythm in free-living | |
US11861778B1 (en) | Apparatus and method for generating a virtual avatar | |
US20240028294A1 (en) | Automatic Quantitative Food Intake Tracking | |
Bulzacki | Machine recognition of human gestures through principal joint variable analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190626 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201105 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20201105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201210 |
|
TRDD | Decision of grant or rejection written | ||
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20201211 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6850723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |