JP6752819B2 - 感情検出システム - Google Patents
感情検出システム Download PDFInfo
- Publication number
- JP6752819B2 JP6752819B2 JP2017557112A JP2017557112A JP6752819B2 JP 6752819 B2 JP6752819 B2 JP 6752819B2 JP 2017557112 A JP2017557112 A JP 2017557112A JP 2017557112 A JP2017557112 A JP 2017557112A JP 6752819 B2 JP6752819 B2 JP 6752819B2
- Authority
- JP
- Japan
- Prior art keywords
- anonymous
- image data
- subject
- stimulus
- emotion detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims description 132
- 238000001514 detection method Methods 0.000 title claims description 98
- 230000002996 emotional effect Effects 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 53
- 238000012545 processing Methods 0.000 claims description 38
- 230000004044 response Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 28
- 230000009471 action Effects 0.000 description 17
- 239000000470 constituent Substances 0.000 description 15
- 238000004891 communication Methods 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006397 emotional response Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 230000004936 stimulating effect Effects 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Telephonic Communication Services (AREA)
Description
本特許文献内の資料の一部は、米国及び他国の著作権法下で著作権保護を受ける。著作権の所有者は、特許文献又は特許開示が米国特許商標庁の公的に利用可能なファイル又は記録において出現する限り、何人によるそのファクシミリ複製にも反論を有さないが、そうでない場合は何であれすべての著作権を留保する。著作権所有者はここで、37 C.F.R.§1.14に従うその権利を限定なく含め、本特許文献を秘密に維持させるその権利のいずれも放棄しない。
前に説明されたように、従来の感情検出器はいくつかの恩恵を提供するが、適用に依存して、さらに欠点にも悩まされる。例えば、プライバシーに関して、大抵の人間の対象は、一定の見張りに晒されたくはない。このことは、見張りが上記人間の対象の正確な肖像及び振る舞いを持続的に記録する場合、特に当てはまる。さらに、大抵の人間の対象は、見張り記録が誤使用され、盗まれ、あるいはその他の方法で自分達の許可なく使用されることについて、懸念する。対比を目的として、大抵の人間のユーザは、カメラに自分達のあらゆる動きを連続的に記録させることに反対し、自身を表現すること又は自分達の感情反応を匿名的に解析されることに反対しない。
図1は、感情検出装置の1つの例、PERS100を示す。PERS100は、プログラマブル装置を用いて実装でき、例えば、下記で図9及び図10を参照して説明されるシステムのコンポーネントのうち任意のものを用いて製作されてもよい。図1に示されるように、PERS100は、ハウジング102を含み、ハウジング102内に、カメラ104、顔イメージプロセッサ106、及び出力バッファ114が配設される。いくつかの例において、ハウジングは、プラスチック、アルミニウム、又は何らかの他の耐久性のある材料で作られる。ハウジング102は、留め具を含むことができ、上記留め具は、ハウジングが様々な場所及び向き又は様々な構造において設置されることを可能にする。例えば、ハウジング102は、クランプ、樹脂、面ファスナー、又は他のメカニズムを含んで、感情検出装置がカウンタ、コンピュータモニタ、壁、ビルボード、標識、椅子、セキュリティカメラ、又は他の場所に設置されることを可能にすることができる。いくつかの例において、カメラ104は2次元カメラである。他の例において、カメラ104は3次元カメラである。いくつかの例において、PERS100は、回路を有するネットワークインターフェース(例えば、有線又は無線送受信器、コネクタ、アンテナ等)と、PERS100が通信ネットワークを介して他の装置と通信することを集合的に可能にするソフトウェアスタックとをさらに含む。
図4は、対象410の感情状態を監視し、かつ該感情状態に任意選択で影響するように構成された感情検出システム400を示す。図示されるように、感情検出システム400は、感情検出装置402、リモート装置404、刺激コントローラ406、及びネットワーク408を含む。刺激コントローラ406は、刺激412と刺激414とを含む刺激を生成することができる。感情検出装置402には、例えば、上記で図1〜図3を参照して説明されたPERSを含むことができる。リモート装置には、任意のプログラマブル装置、例えば、下記で図7及び図8を参照して説明されるシステムのうち任意のものなどを含むことができる。通信ネットワーク408には、システムが情報を交換することができる任意の通信ネットワークを含むことができる。例えば、ネットワーク408は、パブリックネットワーク、例えばインターネットなどであってもよく、他のパブリック又はプライベートネットワーク、例えばLAN、WAN、エクストラネット、及びイントラネットなどを含んでもよい。図4に示されるように、感情検出装置402、リモート装置404、及び任意選択で刺激コントローラ406は、ネットワーク408に接続され、ネットワーク408を介してデータを通信する。
図7は、本開示の一実施形態に従い構成されたコンピューティングシステム700を示す。いくつかの実施形態において、システム700は対象の感情状態を検出するコンピューティングシステムであり得るが、システム700はこの文脈に限定されない。例えば、システム700は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント(PDA)、セルラー電話、組み合わせのセルラー電話/PDA、テレビジョン、スマートデバイス(例えば、スマートフォン、スマートタブレット、又はスマートテレビジョン)、モバイルインターネットデバイス(MID)、メッセージング装置、データ通信装置、セットトップボックス、ゲームコンソール、又はグラフィックスレンダリング動作を実行しコンテンツを表示することができる他のこうしたコンピューティング環境に組み込まれてもよい。
下記の例はさらなる実施形態に関連し、該実施形態から多数の組み合わせ及び構成が明らかになるであろう。
Claims (25)
- 感情検出装置を含む感情検出システムであって、前記感情検出装置は、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサにより実行可能であり、かつ
対象の顔を表すイメージデータを受信し、
前記イメージデータを解析して、前記顔における複数の点を識別し、
前記複数の点を記述した匿名データセットを記憶することであって、前記匿名データセットの各要素は識別子フィールドと場所フィールドとを含み、
前記匿名データセットを、前記感情検出装置とは区別可能なリモート装置に送信し、
前記イメージデータを削除する
ように構成された顔イメージ処理モジュールと、
を含む、感情検出システム。 - 前記イメージデータは、2次元イメージデータと3次元イメージデータとのうち少なくとも1つを含む、請求項1に記載の感情検出システム。
- 前記顔イメージ処理モジュールは、
データセットを汎用顔に正規化することにより少なくとも部分的に前記イメージデータを解析し、
前記データセットを記憶することにより少なくとも部分的に前記匿名データセットを記憶する
ように構成される、請求項1に記載の感情検出システム。 - 前記イメージデータは目印点を含む、請求項1に記載の感情検出システム。
- 前記匿名データセットの各要素の前記場所フィールドは、2次元値及び3次元値のうち少なくとも1つを含む、請求項1に記載の感情検出システム。
- 前記感情検出装置は、前記イメージデータを取得するように構成されたカメラをさらに含み、前記顔イメージ処理モジュールは、前記イメージデータを解析すること、前記匿名データセットを記憶すること、及び前記匿名データセットを送信することの前に、前記カメラを非アクティブ化するように構成される、請求項1に記載の感情検出システム。
- 前記感情検出装置は、前記カメラと前記メモリと前記少なくとも1つのプロセッサと前記顔イメージ処理モジュールとを含むハウジングをさらに含む、請求項6に記載の感情検出システム。
- 前記リモート装置、をさらに含み、前記リモート装置は、
前記イメージデータを受信することの前に前記対象に提供される刺激を識別し、
前記匿名データセットを解析して、前記刺激を提示されたときの前記対象の感情状態を決定する
ように構成される、請求項1に記載の感情検出システム。 - 前記刺激は、非インタラクティブコンテンツとインタラクティブコンテンツとのうち少なくとも1つを含む、請求項8に記載の感情検出システム。
- 前記刺激は、前記対象に提供されるコンテンツの一部を含む、請求項8に記載の感情検出システム。
- 前記コンテンツの一部はビデオフレームのシーケンスを含む、請求項10に記載の感情検出システム。
- 前記対象を刺激するように構成された刺激コントローラ、をさらに含む請求項1乃至11のうちいずれか1項に記載の感情検出システム。
- 前記リモート装置、をさらに含み、前記リモート装置は、前記刺激コントローラにメッセージを送信するように構成され、前記刺激コントローラは、前記メッセージを受信することに応答して前記対象を刺激するように構成される、請求項12に記載の感情検出システム。
- 前記リモート装置、をさらに含み、前記リモート装置は、
前記匿名データセットを解析して、前記対象の推定された感情状態を識別し、
前記対象の前記推定された感情状態に基づいて前記対象のターゲット感情状態を識別し、
前記対象を前記ターゲット感情状態に移行する刺激を識別し、
前記刺激を用いて前記対象を刺激する
ように構成される、請求項1乃至11のうちいずれか1項に記載の感情検出システム。 - 装置を用いて感情を検出する方法であって、
対象の顔を表すイメージデータを受信するステップと、
前記イメージデータを解析して、前記顔における複数の点を識別するステップと、
前記複数の点を記述した匿名データセットを記憶するステップであって、前記匿名データセットの各要素は識別子フィールドと場所フィールドとを含む、ステップと、
前記匿名データセットを、前記装置とは区別可能なリモート装置に送信するステップと、
前記イメージデータを削除するステップと、
を含む方法。 - 前記イメージデータを解析するステップは、データセットを汎用顔に正規化するステップを含み、前記匿名データセットを記憶するステップは、前記データセットを記憶するステップを含む、請求項15に記載の方法。
- 前記イメージデータを解析するステップは、目印点を識別するステップを含む、請求項15に記載の方法。
- 前記イメージデータをカメラを介して取得するステップと、
前記イメージデータを解析するステップ、前記匿名データセットを記憶するステップ、及び前記匿名データセットを送信するステップの前に、前記カメラを非アクティブ化するステップと、
をさらに含む請求項15に記載の方法。 - 前記イメージデータを受信するステップの前に前記対象に提供される刺激を識別するステップと、
前記匿名データセットを解析して、前記刺激を提示されたときの前記対象の感情状態を決定するステップと、
をさらに含む請求項15乃至18のうちいずれか1項に記載の方法。 - 前記刺激を識別するステップは、前記対象に提供されるコンテンツの一部を識別するステップを含む、請求項19に記載の方法。
- 前記コンテンツの一部を識別するステップは、前記コンテンツ内のビデオフレームのシーケンスと前記コンテンツ内の1つ以上の時間オフセットとのうち少なくとも1つを識別するステップを含む、請求項20に記載の方法。
- プロセッサに動作を実行させるコンピュータプログラムであって、前記動作は、
対象の顔を表すイメージデータを受信することと、
前記イメージデータを解析して、前記顔における複数の点を識別することと、
前記複数の点を記述した匿名データセットを記憶することであって、前記匿名データセットの各要素は識別子フィールドと場所フィールドとを含む、ことと、
前記匿名データセットを、前記プロセッサとは区別可能なリモート装置に送信することと、
前記イメージデータを削除することと、
を含む、コンピュータプログラム。 - 前記イメージデータを解析することは、データセットを汎用顔に正規化することを含み、前記匿名データセットを記憶することは、前記データセットを記憶することを含む、請求項22に記載のコンピュータプログラム。
- 前記動作は、
前記イメージデータを受信することの前に前記対象に提供される刺激を識別することと、
前記匿名データセットを解析して、前記刺激を提示されたときの前記対象の感情状態を決定することと、
をさらに含む、請求項22又は23に記載のコンピュータプログラム。 - 請求項22乃至24のうちいずれか1項に記載のコンピュータプログラムを記憶したコンピュータ読取可能記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/752,100 | 2015-06-26 | ||
US14/752,100 US9600715B2 (en) | 2015-06-26 | 2015-06-26 | Emotion detection system |
PCT/US2016/033737 WO2016209453A1 (en) | 2015-06-26 | 2016-05-23 | Emotion detection system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018521381A JP2018521381A (ja) | 2018-08-02 |
JP6752819B2 true JP6752819B2 (ja) | 2020-09-09 |
Family
ID=57586357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017557112A Active JP6752819B2 (ja) | 2015-06-26 | 2016-05-23 | 感情検出システム |
Country Status (6)
Country | Link |
---|---|
US (1) | US9600715B2 (ja) |
EP (1) | EP3314530A4 (ja) |
JP (1) | JP6752819B2 (ja) |
KR (1) | KR102611913B1 (ja) |
CN (1) | CN107710222A (ja) |
WO (1) | WO2016209453A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210196169A1 (en) * | 2017-11-03 | 2021-07-01 | Sensormatic Electronics, LLC | Methods and System for Monitoring and Assessing Employee Moods |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106562792B (zh) * | 2015-10-08 | 2021-08-06 | 松下电器(美国)知识产权公司 | 信息提示装置的控制方法和信息提示装置 |
US10534955B2 (en) * | 2016-01-22 | 2020-01-14 | Dreamworks Animation L.L.C. | Facial capture analysis and training system |
US10387571B2 (en) * | 2016-07-20 | 2019-08-20 | Vidicons LLC | Networked device with suggested response to incoming message |
US10636175B2 (en) | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
US10846517B1 (en) * | 2016-12-30 | 2020-11-24 | Amazon Technologies, Inc. | Content modification via emotion detection |
US10747859B2 (en) * | 2017-01-06 | 2020-08-18 | International Business Machines Corporation | System, method and computer program product for stateful instruction-based dynamic man-machine interactions for humanness validation |
WO2019007406A1 (zh) * | 2017-07-05 | 2019-01-10 | 上海寒武纪信息科技有限公司 | 一种数据处理装置和方法 |
US11086634B2 (en) | 2017-07-05 | 2021-08-10 | Shanghai Cambricon Information Technology Co., Ltd. | Data processing apparatus and method |
CN107578014B (zh) | 2017-09-06 | 2020-11-03 | 上海寒武纪信息科技有限公司 | 信息处理装置及方法 |
CN109583577B (zh) | 2017-09-29 | 2021-04-23 | 上海寒武纪信息科技有限公司 | 运算装置及方法 |
CN107992822B (zh) | 2017-11-30 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像处理方法和装置、计算机设备、计算机可读存储介质 |
US10740617B2 (en) * | 2017-12-19 | 2020-08-11 | Intel Corporation | Protection and recovery of identities in surveillance camera environments |
US10776609B2 (en) * | 2018-02-26 | 2020-09-15 | Samsung Electronics Co., Ltd. | Method and system for facial recognition |
CN108401129A (zh) * | 2018-03-22 | 2018-08-14 | 广东小天才科技有限公司 | 基于穿戴式设备的视频通话方法、装置、终端及存储介质 |
CN108741822B (zh) * | 2018-05-22 | 2021-06-08 | 国家电网公司客户服务中心南方分中心 | 一种呼叫中心客服座位工椅 |
US11279041B2 (en) * | 2018-10-12 | 2022-03-22 | Dream Face Technologies, Inc. | Socially assistive robot |
US11017430B2 (en) | 2018-11-16 | 2021-05-25 | International Business Machines Corporation | Delivering advertisements based on user sentiment and learned behavior |
KR20200093090A (ko) * | 2019-01-07 | 2020-08-05 | 현대자동차주식회사 | 차량 및 그 제어방법 |
JP7122286B2 (ja) * | 2019-04-19 | 2022-08-19 | ヤフー株式会社 | 決定装置、決定方法及び決定プログラム |
US11102353B2 (en) | 2019-05-07 | 2021-08-24 | Avaya Inc. | Video call routing and management based on artificial intelligence determined facial emotion |
CN112446243A (zh) * | 2019-08-29 | 2021-03-05 | 鸿富锦精密电子(郑州)有限公司 | 电子装置及基于情绪的内容推送方法 |
WO2021165430A1 (en) * | 2020-02-21 | 2021-08-26 | Philip Morris Products Sa | Method and apparatus for interactive and privacy-preserving communication between a server and a user device |
CN115104099A (zh) * | 2020-02-21 | 2022-09-23 | 菲利普莫里斯生产公司 | 用于服务器与用户设备之间的交互式和隐私保护通信的方法和装置 |
US11656681B2 (en) | 2020-08-31 | 2023-05-23 | Hypear, Inc. | System and method for determining user interactions with visual content presented in a mixed reality environment |
US11341543B2 (en) | 2020-08-31 | 2022-05-24 | HYPE AR, Inc. | System and method for generating visual content associated with tailored advertisements in a mixed reality environment |
US11240469B1 (en) * | 2020-12-18 | 2022-02-01 | Frqncy, Inc. | Systems and methods for audience interactions in real-time multimedia applications |
JPWO2022249460A1 (ja) * | 2021-05-28 | 2022-12-01 | ||
KR20230106995A (ko) * | 2022-01-07 | 2023-07-14 | 현대자동차주식회사 | 감성 모델링 방법 및 장치 |
US20230370692A1 (en) * | 2022-05-14 | 2023-11-16 | Dish Network Technologies India Private Limited | Customized content delivery |
US11843829B1 (en) * | 2022-05-24 | 2023-12-12 | Rovi Guides, Inc. | Systems and methods for recommending content items based on an identified posture |
Family Cites Families (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5960099A (en) * | 1997-02-25 | 1999-09-28 | Hayes, Jr.; Carl Douglas | System and method for creating a digitized likeness of persons |
TWI221574B (en) | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
JP3593067B2 (ja) * | 2001-07-04 | 2004-11-24 | 沖電気工業株式会社 | 画像コミュニケーション機能付き情報端末装置および画像配信システム |
KR200265257Y1 (ko) * | 2001-11-15 | 2002-02-21 | 삼성네트웍스 주식회사 | 상황적응적 감성 조정 장치 |
US7221809B2 (en) * | 2001-12-17 | 2007-05-22 | Genex Technologies, Inc. | Face recognition system and method |
US6947579B2 (en) * | 2002-10-07 | 2005-09-20 | Technion Research & Development Foundation Ltd. | Three-dimensional face recognition |
US7233684B2 (en) | 2002-11-25 | 2007-06-19 | Eastman Kodak Company | Imaging method and system using affective information |
US7824409B2 (en) * | 2003-01-31 | 2010-11-02 | Zimmer, Inc. | Modular impaction grafting tamps |
CN1839410B (zh) * | 2003-07-18 | 2015-05-20 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法 |
US8488023B2 (en) | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
US7606392B2 (en) | 2005-08-26 | 2009-10-20 | Sony Corporation | Capturing and processing facial motion data |
US7751599B2 (en) * | 2006-08-09 | 2010-07-06 | Arcsoft, Inc. | Method for driving virtual facial expressions by automatically detecting facial expressions of a face image |
JP4710778B2 (ja) * | 2006-09-28 | 2011-06-29 | 株式会社日立製作所 | 小型カメラ搭載型の列車内情報表示システム |
DE602009000214D1 (de) * | 2008-04-07 | 2010-11-04 | Ntt Docomo Inc | Gefühlerkennungsmitteilungssystem und Mitteilungsspeicherserver dafür |
US8462996B2 (en) | 2008-05-19 | 2013-06-11 | Videomining Corporation | Method and system for measuring human response to visual stimulus based on changes in facial expression |
CN101620669B (zh) * | 2008-07-01 | 2011-12-07 | 邹采荣 | 一种人脸身份和表情的同步识别方法 |
US8154615B2 (en) * | 2009-06-30 | 2012-04-10 | Eastman Kodak Company | Method and apparatus for image display control according to viewer factors and responses |
US20110063440A1 (en) * | 2009-09-11 | 2011-03-17 | Neustaedter Carman G | Time shifted video communications |
TWI430185B (zh) * | 2010-06-17 | 2014-03-11 | Inst Information Industry | 臉部表情辨識系統及其辨識方法及其電腦程式產品 |
US8705813B2 (en) * | 2010-06-21 | 2014-04-22 | Canon Kabushiki Kaisha | Identification device, identification method, and storage medium |
US8667519B2 (en) * | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
US8671347B2 (en) * | 2011-01-07 | 2014-03-11 | Empire Technology Development Llc | Quantifying frustration via a user interface |
WO2012139242A1 (en) * | 2011-04-11 | 2012-10-18 | Intel Corporation | Personalized program selection system and method |
KR20160013266A (ko) * | 2011-04-11 | 2016-02-03 | 인텔 코포레이션 | 개인화된 광고 선택 시스템 및 방법 |
JP2013020365A (ja) * | 2011-07-08 | 2013-01-31 | Namco Bandai Games Inc | ゲームシステム、プログラム、及び情報記憶媒体 |
US8903176B2 (en) * | 2011-11-14 | 2014-12-02 | Sensory Logic, Inc. | Systems and methods using observed emotional data |
JP5845988B2 (ja) * | 2012-03-16 | 2016-01-20 | 大日本印刷株式会社 | 画像処理システム、画像処理方法、サーバおよびプログラム |
US20140063237A1 (en) * | 2012-09-03 | 2014-03-06 | Transportation Security Enterprises, Inc.(TSE), a Delaware corporation | System and method for anonymous object identifier generation and usage for tracking |
JP6254785B2 (ja) * | 2012-07-24 | 2017-12-27 | サイトセンシング株式会社 | 視聴率調査システム、並びに表情情報生成装置及び表情情報生成プログラム |
WO2014139118A1 (en) * | 2013-03-14 | 2014-09-18 | Intel Corporation | Adaptive facial expression calibration |
US9105119B2 (en) * | 2013-05-02 | 2015-08-11 | Emotient, Inc. | Anonymization of facial expressions |
KR20150009032A (ko) * | 2013-07-09 | 2015-01-26 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
CN103731728A (zh) * | 2014-01-24 | 2014-04-16 | 浪潮软件集团有限公司 | 一种实时收视调查的方法 |
CN104182619B (zh) * | 2014-08-05 | 2017-06-06 | 上海市精神卫生中心 | 基于智能终端实现情绪特征参数采集和处理的系统及方法 |
CN104361356B (zh) * | 2014-12-08 | 2017-08-11 | 清华大学 | 一种基于人机交互的电影受众体验评价方法 |
-
2015
- 2015-06-26 US US14/752,100 patent/US9600715B2/en active Active
-
2016
- 2016-05-23 WO PCT/US2016/033737 patent/WO2016209453A1/en unknown
- 2016-05-23 JP JP2017557112A patent/JP6752819B2/ja active Active
- 2016-05-23 KR KR1020187002447A patent/KR102611913B1/ko active IP Right Grant
- 2016-05-23 EP EP16814923.5A patent/EP3314530A4/en not_active Withdrawn
- 2016-05-23 CN CN201680031101.2A patent/CN107710222A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210196169A1 (en) * | 2017-11-03 | 2021-07-01 | Sensormatic Electronics, LLC | Methods and System for Monitoring and Assessing Employee Moods |
Also Published As
Publication number | Publication date |
---|---|
CN107710222A (zh) | 2018-02-16 |
EP3314530A4 (en) | 2019-02-20 |
KR102611913B1 (ko) | 2023-12-11 |
JP2018521381A (ja) | 2018-08-02 |
WO2016209453A1 (en) | 2016-12-29 |
EP3314530A1 (en) | 2018-05-02 |
KR20180014195A (ko) | 2018-02-07 |
US9600715B2 (en) | 2017-03-21 |
US20160379047A1 (en) | 2016-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6752819B2 (ja) | 感情検出システム | |
US9749692B2 (en) | Providing recommendations based upon environmental sensing | |
Zhang et al. | Watching the TV watchers | |
US20200228359A1 (en) | Live streaming analytics within a shared digital environment | |
US11165784B2 (en) | Methods and systems for establishing communication with users based on biometric data | |
US20170095192A1 (en) | Mental state analysis using web servers | |
US20150264432A1 (en) | Selecting and presenting media programs and user states based on user states | |
Ogawa et al. | Favorite video classification based on multimodal bidirectional LSTM | |
CN114222960A (zh) | 用于计算机生成现实的多模态输入 | |
KR20140045412A (ko) | 환경 센싱에 기초한 비디오 하이라이트 식별 기법 | |
JP2015510308A (ja) | 個人のリアクションを伴うコンテンツの消費 | |
WO2016195474A1 (en) | Method for analysing comprehensive state of a subject | |
US20170351768A1 (en) | Systems and methods for content targeting using emotional context information | |
WO2013068884A1 (en) | System and method for granular tagging and searching multimedia content based on user reaction | |
CN103760968A (zh) | 数字标牌显示内容选择方法和装置 | |
US11430561B2 (en) | Remote computing analysis for cognitive state data metrics | |
JP2022516640A (ja) | 生体データを利用したハイライト映像生成方法及びその装置 | |
US11854242B2 (en) | Systems and methods for providing personalized saliency models | |
Andrejevic | FCJ-187 The droning of experience | |
CN114270409A (zh) | 在计算机生成现实记录中提供限制 | |
US20120310106A1 (en) | Device-independent neurological monitoring system | |
Barra et al. | Biometric data on the edge for secure, smart and user tailored access to cloud services | |
Kang et al. | A visual-physiology multimodal system for detecting outlier behavior of participants in a reality TV show | |
US20240037944A1 (en) | Computer-generated reality recorder | |
US20200226012A1 (en) | File system manipulation using machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190517 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6752819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |