JP6132335B2 - 感情推定装置及び感情推定方法 - Google Patents
感情推定装置及び感情推定方法 Download PDFInfo
- Publication number
- JP6132335B2 JP6132335B2 JP2013053622A JP2013053622A JP6132335B2 JP 6132335 B2 JP6132335 B2 JP 6132335B2 JP 2013053622 A JP2013053622 A JP 2013053622A JP 2013053622 A JP2013053622 A JP 2013053622A JP 6132335 B2 JP6132335 B2 JP 6132335B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- timing
- information
- face image
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
図1は、実施形態における感情推定システム1のハードウェア構成例を概念的に示す図である。感情推定システム1は、図1に示されるように、撮像装置2、生体センサ3及び感情推定装置10を有する。
図2は、実施形態における感情推定装置10の処理構成例を概念的に示す図である。実施形態における感情推定装置10は、画像取得部11、生体情報取得部12、顔画像DB13、生体情報DB14、タイミング推定部15、感情情報登録部16、感情情報DB17、感情推定部18等を有する。これら各処理部は、例えば、CPU5によりメモリ6に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、CD(Compact Disc)、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力I/F7を介してインストールされ、メモリ6に格納されてもよい。
以下、実施形態における感情推定方法について図3を用いて説明する。図3は、実施形態における感情推定システム1の動作例を示すシーケンスチャートである。図3では、(S31)〜(S35)が登録モードにおける処理を示し、(S36)及び(S37)が推定モードにおける処理を示す。図3では、登録モードと推定モードとがシーケンシャルに実行される例が示されるが、各動作モードは連続して実行されなくてもよい。また、以下の説明では、感情推定装置10が各方法の実行主体となるが、感情推定装置10に含まれる上述の各処理部が実行主体となってもよい。
上述したように本実施形態では、登録モードにおいて、被判定者の顔画像情報と所定感情との対応関係が感情情報DB17に登録され、推定モードにおいて、感情情報DB17に格納される対応関係と、新たに取得された被判定者の顔画像情報とに基づいて、その被判定者の感情が推定される。登録モードでは、次のように、感情情報DB17へのデータ登録が行われる。被判定者の生体情報が順次測定されると共に、その被判定者の顔を含む画像が順次撮像されることで、その被判定者に関する生体情報及び顔画像情報の各時系列データがそれぞれ取得される。そして、その生体情報の時系列データから、被判定者が各所定感情を有していたであろうタイミングがそれぞれ推定され、顔画像情報の時系列データから、各所定感情のタイミングに対応する各顔画像情報がそれぞれ抽出され、抽出された各顔画像情報が各所定感情と関連付けられて感情情報DB17にそれぞれ格納される。
感情推定装置10は、複数の装置(コンピュータ)として実現されてもよい。
図4は、変形例における感情推定システム1の処理構成例を概念的に示す図である。図4に示されるように、感情推定システム1は、上記登録モード時の処理のみを行う情報登録装置20、及び、上記推定モード時の処理のみを行う感情推定装置10を有するようにしてもよい。この場合、感情推定装置10は、画像取得部11及び感情推定部18を有し、情報登録装置20は、上述の感情推定部18以外の処理部を有する。また、顔画像DB13、生体情報DB14及び感情情報DB17が更に他のコンピュータ上に実現されてもよい。
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1. 撮像された被判定者の顔を示す顔画像情報を取得する画像取得部と、
前記画像取得部により取得される顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定する感情推定部と、
を備える感情推定装置。
2. 生体センサにより測定される前記被判定者の生体情報の時系列データを取得する生体情報取得部と、
前記生体情報取得部により取得される生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定するタイミング推定部と、
前記画像取得部により取得される前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記タイミング推定部により推定されるタイミングに対応する顔画像情報を特定し、特定された顔画像情報を、該タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する感情情報登録部と、
を更に備える1.に記載の感情推定装置。
3. 前記タイミング推定部は、前記所定感情へ変化した後のタイミング、又は、前記所定感情を強く表しているタイミングを、前記被判定者が所定感情を有したタイミングとして推定する、
2.に記載の感情推定装置。
4. 前記生体情報は、脳波、脈拍、心拍、心電図、呼吸、発汗、血圧、体温のうちの少なくとも一つの情報である2.又は3.に記載の感情推定装置。
5. 少なくとも1つのコンピュータにより実行される感情推定方法において、
撮像された被判定者の顔を示す顔画像情報を取得し、
前記取得された顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定する、
ことを含む感情推定方法。
6. 生体センサにより測定される前記被判定者の生体情報の時系列データを取得し、
前記取得された生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定し、
前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記推定されたタイミングに対応する顔画像情報を特定し、
前記特定された顔画像情報を、前記タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する、
ことを更に含む5.に記載の感情推定方法。
7. 前記タイミングの推定は、前記所定感情へ変化した後のタイミング、又は、前記所定感情を強く表しているタイミングを、前記被判定者が所定感情を有したタイミングとして推定する、
6.に記載の感情推定方法。
8. 5.から7.のいずれか1つに記載の感情推定方法を少なくとも1つのコンピュータに実行させるプログラム。
2 撮像装置
3 生体センサ
5 CPU
6 メモリ
7 入出力I/F
10 感情推定装置
11 画像取得部
12 生体情報取得部
13 顔画像DB
14 生体情報DB
15 タイミング推定部
16 感情情報登録部
17 感情情報DB
18 感情推定部
20 情報登録装置
Claims (6)
- 撮像された被判定者の顔を示す顔画像情報を取得する画像取得部と、
前記画像取得部により取得される顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定する感情推定部と、
生体センサにより測定される前記被判定者の生体情報の時系列データを取得する生体情報取得部と、
前記生体情報取得部により取得される生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定するタイミング推定部と、
前記画像取得部により取得される前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記タイミング推定部により推定されるタイミングに対応する顔画像情報を特定し、特定された顔画像情報を、該タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する感情情報登録部と、
を備える感情推定装置。 - 前記タイミング推定部は、前記所定感情へ変化した後のタイミング、又は、前記所定感情を強く表しているタイミングを、前記被判定者が所定感情を有したタイミングとして推定する、
請求項1に記載の感情推定装置。 - 前記生体情報は、脳波、脈拍、心拍、心電図、呼吸、発汗、血圧、体温のうちの少なくとも一つの情報である請求項1又は2に記載の感情推定装置。
- 少なくとも1つのコンピュータにより実行される感情推定方法において、
撮像された被判定者の顔を示す顔画像情報を取得し、
前記取得された顔画像情報、及び、感情情報格納部に格納される、前記被判定者の各所定感情にそれぞれ対応する複数の表情画像情報を用いて、前記被判定者の感情を推定し、
生体センサにより測定される前記被判定者の生体情報の時系列データを取得し、
前記取得された生体情報の時系列データに基づいて、前記被判定者が所定感情を有したタイミングを推定し、
前記被判定者について逐次撮像された顔画像に関する顔画像情報の時系列データの中から、前記推定されたタイミングに対応する顔画像情報を特定し、
前記特定された顔画像情報を、前記タイミングに対応する前記所定の感情に関連付けて前記感情情報格納部に格納する、
ことを含む感情推定方法。 - 前記タイミングの推定は、前記所定感情へ変化した後のタイミング、又は、前記所定感情を強く表しているタイミングを、前記被判定者が所定感情を有したタイミングとして推定する、
請求項4に記載の感情推定方法。 - 請求項4又は5に記載の感情推定方法を少なくとも1つのコンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053622A JP6132335B2 (ja) | 2013-03-15 | 2013-03-15 | 感情推定装置及び感情推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013053622A JP6132335B2 (ja) | 2013-03-15 | 2013-03-15 | 感情推定装置及び感情推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014178970A JP2014178970A (ja) | 2014-09-25 |
JP6132335B2 true JP6132335B2 (ja) | 2017-05-24 |
Family
ID=51698832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013053622A Active JP6132335B2 (ja) | 2013-03-15 | 2013-03-15 | 感情推定装置及び感情推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6132335B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111923322B (zh) * | 2020-05-22 | 2021-03-02 | 帕艾斯电子技术(南京)有限公司 | 温度传感器、注塑封装模具及注塑封装方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107209562B (zh) * | 2015-02-13 | 2021-04-30 | 索尼公司 | 信息处理系统、信息处理装置、控制方法和存储媒体 |
US10255487B2 (en) | 2015-12-24 | 2019-04-09 | Casio Computer Co., Ltd. | Emotion estimation apparatus using facial images of target individual, emotion estimation method, and non-transitory computer readable medium |
US10939833B2 (en) * | 2017-05-01 | 2021-03-09 | Samsung Electronics Company, Ltd. | Determining artery location using camera-based sensing |
CN111247505B (zh) * | 2017-10-27 | 2024-04-09 | 索尼公司 | 信息处理装置、信息处理方法、记录介质以及信息处理系统 |
WO2019193781A1 (ja) * | 2018-04-04 | 2019-10-10 | パナソニックIpマネジメント株式会社 | 感情推定装置、感情推定方法及びプログラム |
JP2022006253A (ja) | 2020-06-24 | 2022-01-13 | オムロン株式会社 | 感情判定装置および感情判定方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6931147B2 (en) * | 2001-12-11 | 2005-08-16 | Koninklijke Philips Electronics N.V. | Mood based virtual photo album |
US7319780B2 (en) * | 2002-11-25 | 2008-01-15 | Eastman Kodak Company | Imaging method and system for health monitoring and personal security |
-
2013
- 2013-03-15 JP JP2013053622A patent/JP6132335B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111923322B (zh) * | 2020-05-22 | 2021-03-02 | 帕艾斯电子技术(南京)有限公司 | 温度传感器、注塑封装模具及注塑封装方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2014178970A (ja) | 2014-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6132335B2 (ja) | 感情推定装置及び感情推定方法 | |
JP7303854B2 (ja) | 評価装置 | |
JP6721156B2 (ja) | 生体情報分析装置、システム、及び、プログラム | |
JP7329549B2 (ja) | ユーザのストレスレベルを決定するための装置、システムおよび方法 | |
KR101535432B1 (ko) | 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법 | |
KR102271432B1 (ko) | 웨어러블 디바이스 및 그 제어 방법 | |
Gradl et al. | An overview of the feasibility of permanent, real-time, unobtrusive stress measurement with current wearables | |
WO2017069644A2 (en) | Wireless eeg headphones for cognitive tracking and neurofeedback | |
EP2609533A2 (en) | Monitoring method and system for assessment or prediction of mood trends | |
JP2014171660A (ja) | 心房細動解析装置、心房細動解析システム、心房細動解析方法およびプログラム | |
JP6788656B2 (ja) | Ecgデータにおける活動の自動ラベリングのための方法及びシステム | |
WO2016185931A1 (ja) | 生体情報測定装置 | |
da Silveira et al. | Ongoing challenges of evaluating mulsemedia QoE | |
CA3199919A1 (en) | Systems and methods for measuring hemodynamic parameters with wearable cardiovascular sensing | |
US20190298190A1 (en) | Pulse detection, measurement and analysis based health management system, method and apparatus | |
JP6992505B2 (ja) | 情報処理装置、方法及びプログラム | |
JP7325576B2 (ja) | 端末装置、出力方法及びコンピュータプログラム | |
TWI768999B (zh) | 生理監測系統和估計生命體徵資料的方法 | |
Assaf et al. | Sleep detection using physiological signals from a wearable device | |
Badura et al. | Multimodal signal acquisition for pain assessment in physiotherapy | |
JP2020073108A (ja) | 睡眠段階判定方法、睡眠段階判定装置、及び睡眠段階判定プログラム | |
Bernardeschi et al. | Using smartwatch sensors to support the acquisition of sleep quality data for supervised machine learning | |
Sowmiya et al. | Pulse rate estimation with a smartphone camera using image processing algorithm | |
JP2015188649A (ja) | 複数の生理指標および視線の分析支援装置、プログラム | |
WO2022065073A1 (ja) | 生体情報解析システム、情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20140613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170321 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6132335 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |