JP7385892B2 - Emotion estimation system and emotion estimation device - Google Patents
Emotion estimation system and emotion estimation device Download PDFInfo
- Publication number
- JP7385892B2 JP7385892B2 JP2019091325A JP2019091325A JP7385892B2 JP 7385892 B2 JP7385892 B2 JP 7385892B2 JP 2019091325 A JP2019091325 A JP 2019091325A JP 2019091325 A JP2019091325 A JP 2019091325A JP 7385892 B2 JP7385892 B2 JP 7385892B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- emotions
- subject
- biosignal
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims description 358
- 210000004556 brain Anatomy 0.000 claims description 45
- 239000003086 colorant Substances 0.000 claims description 12
- 230000002996 emotional effect Effects 0.000 description 38
- 239000013256 coordination polymer Substances 0.000 description 21
- 230000008859 change Effects 0.000 description 14
- 238000000034 method Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 239000003550 marker Substances 0.000 description 9
- 238000003786 synthesis reaction Methods 0.000 description 9
- 239000002131 composite material Substances 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000001815 facial effect Effects 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 210000000624 ear auricle Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000037007 arousal Effects 0.000 description 1
- 210000000467 autonomic pathway Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000013186 photoplethysmography Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、対象者の感情を推定する技術に関連する。 The present invention relates to a technique for estimating a subject's emotions.
特許文献1は、対象者より取得された生体情報に基づいて当該対象者の感情を推定する技術を開示している。
本発明の目的は、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供することである。 An object of the present invention is to provide a new user interface based on a subject's emotions estimated through the acquisition of biometric information.
上記目的を達成するための一態様は、感情推定システムであって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた色を記憶しているストレージと、
前記第一生体信号に対応する第一座標軸と前記第二生体信号に対応する第二座標軸により形成される座標平面を表示する表示装置と、
を備えており、
前記プロセッサは、前記第一データセットにより定まる前記座標平面上の位置に標識を表示させるとともに、前記複数の感情値のうち最大値を有する一つに対応付けられた色を前記表示装置に表示させる。
One aspect of achieving the above objective is an emotion estimation system,
an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores colors associated with each of the plurality of emotions;
a display device that displays a coordinate plane formed by a first coordinate axis corresponding to the first biological signal and a second coordinate axis corresponding to the second biological signal;
It is equipped with
The processor displays a marker at a position on the coordinate plane determined by the first data set, and causes the display device to display a color associated with one having a maximum value among the plurality of emotional values. .
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた色を記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記第一生体信号に対応する第一座標軸と前記第二生体信号に対応する第二座標軸により形成される座標平面を表示装置に表示させるとともに、前記第一データセットにより定まる当該座標平面上の位置に標識を表示させる第一表示信号と、
前記複数の感情値のうち最大値を有する一つに対応付けられた色を前記表示装置に表示させる第二表示信号と、
を前記出力インターフェースに出力させる。
One aspect of achieving the above object is an emotion estimation device, comprising:
an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores colors associated with each of the plurality of emotions;
an output interface;
It is equipped with
The processor includes:
Displaying a coordinate plane formed by a first coordinate axis corresponding to the first biological signal and a second coordinate axis corresponding to the second biological signal on a display device, and a position on the coordinate plane determined by the first data set. a first display signal for displaying a sign;
a second display signal that causes the display device to display a color associated with the one having the maximum value among the plurality of emotional values;
is output to the output interface.
座標平面を形成している二つの座標軸は、対象者の心拍と脳波に対応している。心拍と脳波は、心理学において知られているPleasantness-Unpleasantness(快/不快)とArousal-Sleep(覚醒/眠気)という二つの指標となじみがよい。したがって、当該二つの指標を座標軸として形成される座標平面上に対象者の心拍と脳波に対応する標識を表示させ、さらにラッセルの円環モデルで用いられている形容詞を対応付けることにより、当該モデルからの類推に基づいて対象者の心理状態を直感的に把握できる。さらに、推定された対象者の感情に対応づけられた色が同時に表示されるので、感情の視覚的把握がさらに促されうる。 The two coordinate axes forming the coordinate plane correspond to the subject's heartbeat and brain waves. Heartbeat and brain waves are closely related to two indicators known in psychology: Pleasantness-Unpleasantness and Arousal-Sleep. Therefore, by displaying markers corresponding to the subject's heartbeat and brain waves on a coordinate plane formed with these two indicators as the coordinate axes, and by associating the adjectives used in Russell's circular model, we can The psychological state of the subject can be intuitively grasped based on the analogy. Furthermore, since colors associated with the estimated emotions of the subject are displayed at the same time, visual understanding of the emotions can be further facilitated.
心拍や脳波といった生体情報は、意識的に変えることが難しい。しかしながら、上記のような構成によれば、座標平面上の標識と推定された感情に対応付けられた色の表示を通じて、対象者の外見に表出しない感情の把握が容易になる。これにより、他者による対象者の感情理解、あるいは対象者による自身の感情理解が促されうる。 It is difficult to consciously change biological information such as heartbeat and brain waves. However, according to the above-described configuration, it becomes easy to understand the emotion that is not expressed in the subject's appearance through displaying the color associated with the marker on the coordinate plane and the estimated emotion. This can encourage others to understand the subject's emotions, or the subject to understand his or her own emotions.
したがって、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供できる。 Therefore, it is possible to provide a new user interface based on the subject's emotions estimated through the acquisition of biometric information.
上記目的を達成するための一態様は、感情推定システムであって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた色を記憶しているストレージと、
表示装置と、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応する前記複数の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた色を前記表示装置に表示させる。
One aspect of achieving the above objective is an emotion estimation system,
an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores colors associated with each of the plurality of emotions;
a display device;
It is equipped with
The processor includes:
identifying a first emotion included in the plurality of emotions corresponding to one having the maximum value among the plurality of emotion values;
setting a second emotion different from the first emotion included in the plurality of emotions based on the identified first emotion;
A color associated with the second emotion is displayed on the display device.
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた色を記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応する前記複数の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた色を表示装置に表示させる表示信号を、前記出力インターフェースに出力させる。
One aspect of achieving the above object is an emotion estimation device, comprising:
an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores colors associated with each of the plurality of emotions;
an output interface;
It is equipped with
The processor includes:
identifying a first emotion included in the plurality of emotions corresponding to one having the maximum value among the plurality of emotion values;
setting a second emotion different from the first emotion included in the plurality of emotions based on the identified first emotion;
A display signal that causes a display device to display a color associated with the second emotion is output to the output interface.
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の現在感情が、色の表示を通じて目標感情へ導かれうる。換言すると、対象者の表情や所作に依存しない感情制御を可能にする新規なユーザインターフェースを提供できる。 According to the above configuration, the subject's current emotion estimated based on biological information such as heartbeat and brain waves, which is difficult to change consciously, can be guided to the target emotion through color display. In other words, it is possible to provide a novel user interface that enables emotional control that does not depend on the facial expressions or actions of the subject.
上記目的を達成するための一態様は、感情推定システムであって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力装置と、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応づけられた音、香り、画像、および言語の少なくとも一つを前記出力装置に出力させる。
One aspect of achieving the above objective is an emotion estimation system,
an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores at least one of a sound, a scent, an image, and a language associated with each of the plurality of emotions;
an output device;
It is equipped with
The processor includes:
The output device outputs at least one of a sound, a scent, an image, and a language associated with the one having the maximum value among the plurality of emotional values.
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応づけられた音、香り、画像、および言語の少なくとも一つを出力装置に出力させる制御信号を、前記出力インターフェースに出力させる。
One aspect of achieving the above object is an emotion estimation device, comprising:
an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores at least one of a sound, a scent, an image, and a language associated with each of the plurality of emotions;
an output interface;
It is equipped with
The processor includes:
The output interface outputs a control signal that causes the output device to output at least one of a sound, a scent, an image, and a language associated with the one having the maximum value among the plurality of emotional values.
心拍や脳波といった生体情報は、意識的に変えることが難しい。しかしながら、上記のような構成によれば、推定された感情に対応付けられた音、香り、画像、および言語の少なくとも一つの提示を通じて、対象者の外見に表出しない感情の把握が容易になる。これにより、他者による対象者の感情理解、あるいは対象者による自身の感情理解が促されうる。 It is difficult to consciously change biological information such as heartbeat and brain waves. However, according to the above configuration, it becomes easier to understand the emotions that are not expressed in the subject's outward appearance through the presentation of at least one of sounds, scents, images, and language that are associated with the estimated emotions. . This can encourage others to understand the subject's emotions, or the subject to understand his or her own emotions.
したがって、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供できる。 Therefore, it is possible to provide a new user interface based on the subject's emotions estimated through the acquisition of biometric information.
上記目的を達成するための一態様は、感情推定システムであって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力装置と、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応する前記複数の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた音、香り、画像、および言語の少なくとも一つを前記出力装置に出力させる。
One aspect of achieving the above objective is an emotion estimation system,
an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores at least one of a sound, a scent, an image, and a language associated with each of the plurality of emotions;
an output device;
It is equipped with
The processor includes:
identifying a first emotion included in the plurality of emotions corresponding to one having the maximum value among the plurality of emotion values;
setting a second emotion different from the first emotion included in the plurality of emotions based on the identified first emotion;
The output device is caused to output at least one of a sound, a scent, an image, and a language associated with the second emotion.
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数の感情値のうち最大値を有する一つに対応する前記複数の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた音、香り、画像、および言語の少なくとも一つを出力装置に出力させる制御信号を、前記出力インターフェースに出力させる。
One aspect of achieving the above object is an emotion estimation device, comprising:
an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores at least one of a sound, a scent, an image, and a language associated with each of the plurality of emotions;
an output interface;
It is equipped with
The processor includes:
identifying a first emotion included in the plurality of emotions corresponding to one having the maximum value among the plurality of emotion values;
setting a second emotion different from the first emotion included in the plurality of emotions based on the identified first emotion;
The output interface outputs a control signal that causes the output device to output at least one of a sound, a scent, an image, and a language associated with the second emotion.
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の現在感情が、音、香り、画像、および言語の少なくとも一つの提示を通じて目標感情へ導かれうる。換言すると、対象者の表情や所作に依存しない感情制御を可能にする新規なユーザインターフェースを提供できる。 According to the above configuration, the subject's current emotions estimated based on biological information such as heartbeat and brain waves, which are difficult to change consciously, are communicated to the target through the presentation of at least one of sound, scent, image, and language. Can be guided by emotions. In other words, it is possible to provide a novel user interface that enables emotional control that does not depend on the facial expressions or actions of the subject.
上記目的を達成するための一態様は、感情推定装置であって、
対象者の脈拍に対応する第一生体信号と当該対象者の脳波に対応する第二生体信号を受け付ける入力インターフェースと、
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
出力インターフェースと、
を備えており、
前記プロセッサは、特定の期間における前記複数の感情値の各々の経時変化に対応する第一パラメータ信号、当該特定の期間における当該経時変化の第一時間積分値に対応する第二パラメータ信号、および当該特定の期間における当該第一時間積分値の第二時間積分値に対応する第三パラメータ信号の少なくとも一つを、前記出力インターフェースに出力させる。
One aspect of achieving the above object is an emotion estimation device, comprising:
an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
an output interface;
It is equipped with
The processor generates a first parameter signal corresponding to a temporal change of each of the plurality of emotional values in a specific period, a second parameter signal corresponding to a first time integral value of the temporal change in the specific period, and At least one of the third parameter signals corresponding to the second time integral value of the first time integral value in a specific period is outputted to the output interface.
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の感情に対して、物理学における加速度、速度、移動距離に対応しうるパラメータを定義できる。これにより、感情の時間変化に係る定量的な分析が可能となり、対象者の感情変化に対する理解が促されうる。 According to the above configuration, parameters that can correspond to acceleration, speed, and distance traveled in physics are used to estimate the subject's emotions based on biological information such as heartbeat and brain waves that are difficult to change consciously. can be defined. This enables quantitative analysis of changes in emotions over time, and can facilitate understanding of changes in the subject's emotions.
添付の図面を参照しつつ、実施形態の例について以下詳細に説明する。 Examples of embodiments will now be described in detail with reference to the accompanying drawings.
図1は、第一実施形態に係る感情推定システム10の構成を例示している。感情推定システム10は、感情推定装置11と表示装置12を備えている。
FIG. 1 illustrates the configuration of an
感情推定装置11は、対象者に装着された脈拍センサ51と脳波センサ52より取得された脈拍と脳波に基づいて当該対象者の感情を推定し、推定結果に基づく動作を表示装置12に行なわせる装置である。
The
脈拍センサ51は、対象者の脈拍を検出し、検出された脈拍に対応する第一生体信号VS1を出力するように構成されている。例えば、脈拍センサ51は、対象者の指先、手首、耳朶などに装着され、光電式容積脈波記録法に基づいて脈拍を検出する。このような脈拍センサ51の構成自体は周知であるので、詳細な説明は省略する。脈拍は、心電図、血圧、心音などに基づいて検出されてもよい。
The
具体的には、第一生体信号VS1は、自律神経の状態の評価に用いられる心拍数のゆらぎに対応させることができる。心拍数のゆらぎは、pNNxなどの指標により表現されうる。例えば、pNN50は、30個の連続する心拍において、隣接する心拍波形のピーク同士の間隔であるRR間隔が50ミリ秒を超える心拍の割合を示している。pNNxの値が大きいほど、交感神経が優位であり、身体活動が活発であることを示している。 Specifically, the first biological signal VS1 can be made to correspond to fluctuations in heart rate used to evaluate the state of autonomic nerves. Fluctuations in heart rate can be expressed by an index such as pNNx. For example, pNN50 indicates the percentage of heartbeats in which the RR interval, which is the interval between peaks of adjacent heartbeat waveforms, exceeds 50 milliseconds in 30 consecutive heartbeats. The larger the value of pNNx, the more dominant the sympathetic nerves are, indicating that the physical activity is more active.
脳波センサ52は、対象者の脳波を検出し、検出された脳波に対応する第二生体信号VS2を出力するように構成されている。脳波センサ52は、対象者の頭部に装着される非侵襲型のセンサであり、例えば、耳朶と額の電位差を取得することによって当該対象者の脳波を検出する。
The
このような脳波センサ52の一例として、NeuroSky社のMindWave Mobileが知られている。当該装置は、取得されたβ波に基づいて対象者の集中の度合いを表すAttentionという指標値を出力する。また、当該装置は、取得されたα波に基づいて対象者の安静の度合いを表すMeditationという指標値を出力する。第二生体信号VS2は、Attentionの値とMeditationの値の差分に対応している。Attentionの値の方が大きいほど、覚醒状態にあることを示している。Meditationの値が大きいほど、眠気が強い状態にあることを示している。最終的に単一の値を有する第二生体信号VS2が得られるのであれば、適宜の脳波センサが使用されうる。
MindWave Mobile by NeuroSky is known as an example of such a
感情推定装置11は、入力インターフェース111とプロセッサ112を備えている。入力インターフェース111は、脈拍センサ51から出力された第一生体信号VS1と脳波センサ52から出力された第二生体信号VS2を受け付ける。入力インターフェース111は、必要に応じて、後述するプロセッサ112による処理が可能なように第一生体信号VS1と第二生体信号VS2を変換する信号変換回路を含みうる。
The
入力インターフェース111と脈拍センサ51および脳波センサ52との間の通信は、有線接続を介して行なわれてもよいし、無線接続を介して行なわれてもよい。
Communication between the input interface 111 and the
図2は、プロセッサ112により実行される処理の流れの一例を示している。プロセッサ112は、入力インターフェース111により受け付けられた第一生体信号VS1と第二生体信号VS2に基づいて、第一データセットD1を取得する(STEP11)。第一データセットD1は、ある時点における第一生体信号VS1の値(第一の値)と第二生体信号VS2の値(第二の値)を含んでいる。すなわち、第一データセットD1は、当該時点における対象者の心拍のゆらぎと脳波状態を表している。
FIG. 2 shows an example of the flow of processing executed by the
第一データセットD1は、図3の(A)に示される座標平面CP上の点として表されうる。座標平面CPは、第一生体信号VS1に対応する横軸と第二生体信号VS2に対応する縦軸により形成される二次元座標平面である。横軸は、第一座標軸の一例である。縦軸は、第二座標軸の一例である。 The first data set D1 may be represented as a point on the coordinate plane CP shown in FIG. 3(A). The coordinate plane CP is a two-dimensional coordinate plane formed by a horizontal axis corresponding to the first biological signal VS1 and a vertical axis corresponding to the second biological signal VS2. The horizontal axis is an example of the first coordinate axis. The vertical axis is an example of the second coordinate axis.
座標平面CPは、ラッセルの円環モデルにおいて用いられる座標平面に対応させることができる。ラッセルの円環モデルは、心理学の分野において高い信頼性とともに心理計測に使用されている。当該座標平面は、快/不快を表す横軸(Valence-Unpleasant)と覚醒/眠気(Arousal-Deactivation)を表す縦軸により形成されている。 The coordinate plane CP can correspond to the coordinate plane used in Russell's toroidal model. Russell's circular model is used for psychometric measurements with high reliability in the field of psychology. The coordinate plane is formed by a horizontal axis representing pleasure/unpleasantness (Valence-Unpleasant) and a vertical axis representing arousal/drowsiness (Arousal-Deactivation).
ラッセルの円環モデルにおいては、様々な感情を表す形容詞が、二次元平面上に円環状に配置されている。本実施形態においては、ラッセルの円環モデルから代表的な八つの感情を選び、図3の(B)に示される四つの感情座標軸を定義している。四つの感情座標軸の各々は、ラッセルの円環モデル上に配置された複数の感情のうち対をなすものに対応付けられている。具体的には、四つの感情座標軸は、「驚き-眠い」に対応する感情座標軸、「興奮-憂鬱」に対応する感情座標軸、「喜び-悲しみ」に対応する感情座標軸、および「リラックス-怒り」に対応する感情座標軸を含んでいる。 In Russell's circular model, adjectives expressing various emotions are arranged in a circular pattern on a two-dimensional plane. In this embodiment, eight representative emotions are selected from Russell's circular model, and four emotion coordinate axes shown in FIG. 3B are defined. Each of the four emotion coordinate axes is associated with a pair of emotions arranged on Russell's circular model. Specifically, the four emotional coordinate axes are the emotional coordinate axis corresponding to "surprise - sleepy", the emotional coordinate axis corresponding to "excitement - depression", the emotional coordinate axis corresponding to "joy - sadness", and the emotional coordinate axis corresponding to "relaxation - anger". Contains emotional coordinate axes corresponding to .
本例においては、四つの感情座標軸同士の間に形成される角度は一定値をとる(45°)。上述した座標平面CPとラッセルの円環モデルの対応性に基づき、四つの感情座標軸は、原点を共有するように、座標平面CPと重ねることができる。 In this example, the angle formed between the four emotion coordinate axes takes a constant value (45°). Based on the correspondence between the coordinate plane CP and Russell's circular model described above, the four emotion coordinate axes can be overlapped with the coordinate plane CP so that they share the origin.
続いて、プロセッサ112は、第一データセットD1を第二データセットD2に変換する(図2におけるSTEP12)。第二データセットD2は、八つの感情値を含んでいる。八つの感情値の各々は、四つの感情座標軸のいずれか一つにおける値を表している。
Subsequently, the
第一データセットD1から第二データセットD2への変換は、以下のようにして行なわれる。まず、図4の(A)に示されるように、ある時点における第一データセットD1により特定される点Pの最も近くに位置している感情座標軸と次に近くに位置している感情座標軸が特定される。二つの感情座標軸は、点Pから座標平面CPの横軸と縦軸に下ろした二つの垂線と交差する三つの感情座標軸のうち、原点から交点までの長さが最も長い感情座標軸と次に長い感情座標軸として選ばれる。図示された例においては、「喜び」を含む感情座標軸と「興奮」を含む感情座標軸が選ばれている。 Conversion from the first data set D1 to the second data set D2 is performed as follows. First, as shown in (A) of FIG. 4, the emotional coordinate axis located closest to the point P specified by the first data set D1 at a certain point in time and the emotional coordinate axis located next closest are be identified. The two emotional coordinate axes are the emotional coordinate axis with the longest length from the origin to the intersection point and the next longest emotional coordinate axis among the three emotional coordinate axes that intersect the two perpendicular lines drawn from point P to the horizontal and vertical axes of the coordinate plane CP. chosen as the emotional coordinate axis. In the illustrated example, an emotional coordinate axis including "joy" and an emotional coordinate axis including "excitement" are selected.
なお、点Pが座標平面CPにおける横軸と縦軸のいずれかの上に位置している場合、選ばれる感情座標軸は一つとなる。 Note that if the point P is located on either the horizontal axis or the vertical axis in the coordinate plane CP, only one emotional coordinate axis will be selected.
続いて、図4の(B)に示されるように、選ばれた二つの感情座標軸について、原点から点Pへ向かうベクトルの分解が行なわれる。結果として、一つまたは二つの感情座標軸に対応付けられた感情が有意な値を持つ。図示された例においては、「喜び」と「興奮」が有意な値を持っている。残りの感情座標軸の各々に対応付けられた感情の値はゼロとされる。 Subsequently, as shown in FIG. 4B, vectors from the origin to point P are decomposed for the two selected emotional coordinate axes. As a result, emotions associated with one or two emotion coordinate axes have significant values. In the illustrated example, "joy" and "excitement" have significant values. The emotion value associated with each of the remaining emotion coordinate axes is set to zero.
続いて、プロセッサ112は、対象者の感情の推定を行なう(図2におけるSTEP13)。具体的には、ラッセルの円環モデルから選ばれた八つの感情の一つが、ある時点t1における対象者の推定感情として特定される。より具体的には、前述の処理により最も大きい感情値を有する感情座標軸に対応付けられた感情が特定される。図4の(B)に示される例においては、「喜び」に対応づけられた感情座標軸が最も大きい感情値を有している。したがって、プロセッサ112は、ある時点t1における対象者の感情として「喜び」を推定する。
Subsequently, the
図1に示されるように、感情推定装置11は、ストレージ113を備えている。ストレージ113は、プロセッサ112と協働して所定のデータを記憶可能な装置である。ストレージ113としては、半導体メモリやハードディスクドライブ装置が例示されうる。
As shown in FIG. 1, the
図3の(B)に示されるように、本実施形態においては、上記の八つの感情の各々に一つの色が対応付けられている。ストレージ113には、八つの感情に対応付けられた八つの色に対応する色データが格納されている。
As shown in FIG. 3B, in this embodiment, one color is associated with each of the eight emotions described above. The
続いて、プロセッサ112は、脈拍センサ51と脳波センサ52による検出結果、および対象者の感情の推定結果に基づいて、表示装置12に表示動作を行なわせる(図2におけるSTEP14)。表示装置12は、図3の(A)に示される座標平面CPを表示できるように構成されている。表示装置12は、感情の推定結果に基づく複数の色を表示できるように構成されている。
Subsequently, the
具体的には、プロセッサ112は、第一表示信号DS1を生成する。第一表示信号DS1は、表示装置12に座標平面CPを表示させるとともに、第一データセットD1により定まる座標平面CP上の位置に標識を表示させる信号である。図3の(A)に示される例においては、時点t1における第一生体信号VS1と第二生体信号VS2に基づく第一データセットD1により定まる位置に、標識M1が表示されている。
Specifically,
図1に示されるように、感情推定装置11は、出力インターフェース114を備えている。出力インターフェース114は、表示装置12と通信可能に接続されている。プロセッサ112は、出力インターフェース114に第一表示信号DS1を出力させる。出力インターフェース114は、表示装置12の仕様に応じた変換を第一表示信号DS1に適用する信号変換回路を含みうる。
As shown in FIG. 1, the
出力インターフェース114と表示装置12との間の通信は、有線接続を介して行なわれてもよいし、無線接続を介して行なわれてもよい。
Communication between
プロセッサ112は、STEP13において推定された感情に対応付けられた色を示す色データをストレージ113から読み出し、第二表示信号DS2を生成する。第二表示信号DS2は、推定された感情に対応付けられた色を表示装置12に表示させる信号である。プロセッサ112は、出力インターフェース114に第二表示信号DS2を出力させる。出力インターフェース114は、表示装置12の仕様に応じた変換を第二表示信号DS2に適用する信号変換回路を含みうる。
The
図3の(A)に示される例においては、標識M1に対応する第一データセットD1に基づいて推定された対象者の感情は、「喜び」である。したがって、「喜び」に対応付けられた「黄緑」が、表示装置12に表示される。例えば、座標平面CPの背景色が、黄緑色に変更される。
In the example shown in FIG. 3A, the subject's emotion estimated based on the first data set D1 corresponding to the marker M1 is "joy". Therefore, "yellow green" associated with "joy" is displayed on the
図3の(A)に示される例においては、時点t2において取得された第一データセットD1に対応する位置に標識M2が表示されている。この第一データセットD1に基づいて推定された時点t2における対象者の感情は、「怒り」である。したがって、「怒り」に対応付けられた色である「赤」が、表示装置12に表示される。例えば、座標平面CPの背景色が、赤色に変更される。
In the example shown in FIG. 3A, a marker M2 is displayed at a position corresponding to the first data set D1 acquired at time t2. The emotion of the subject at time t2 estimated based on this first data set D1 is "anger." Therefore, “red”, which is a color associated with “anger”, is displayed on the
第二表示信号DS2に基づく色の表示は、様々な態様でなされうる。座標平面CPの背景色に代えて標識の色が変更されてもよいし、座標平面CPとは異なる箇所に設けられた表示領域が発色してもよい。 Color display based on the second display signal DS2 can be performed in various ways. The color of the sign may be changed instead of the background color of the coordinate plane CP, or a display area provided at a location different from the coordinate plane CP may be colored.
続いて、図2に示されるように、プロセッサ112により行なわれる処理は、STEP11に戻る。すなわち、脈拍センサ51と脳波センサ52の検出結果に対応する第一データセットD1が取得される度に、対象者の感情が推定される。表示装置12においては、第一データセットD1に対応する座標平面CP上の位置に標識が表示されるとともに、推定された感情に対応付けられた色が表示される。検出結果が変化すれば、標識は、座標平面CP上を移動する。推定された感情が変化すれば、表示される色が変化する。
Subsequently, as shown in FIG. 2, the processing performed by the
座標平面CPを形成している二つの座標軸は、対象者の心拍と脳波に対応している。心拍と脳波は、心理学において知られているPleasantness-Unpleasantness(快/不快)とArousal-Sleep(覚醒/眠気)という二つの指標となじみがよい。したがって、当該二つの指標を座標軸として形成される座標平面CP上に対象者の心拍と脳波に対応する標識を表示させ、さらにラッセルの円環モデルで用いられている形容詞を対応付けることにより、当該モデルからの類推に基づいて対象者の心理状態を直感的に把握できる。さらに、推定された対象者の感情に対応づけられた色が同時に表示されるので、感情の視覚的把握がさらに促されうる。 The two coordinate axes forming the coordinate plane CP correspond to the subject's heartbeat and brain waves. Heartbeat and brain waves are closely related to two indicators known in psychology: Pleasantness-Unpleasantness and Arousal-Sleep. Therefore, by displaying markers corresponding to the subject's heartbeat and brain waves on the coordinate plane CP formed with these two indices as the coordinate axes, and further associating the adjectives used in Russell's circular model, the model It is possible to intuitively grasp the psychological state of the subject based on analogies from . Furthermore, since colors associated with the estimated emotions of the subject are displayed at the same time, visual understanding of the emotions can be further facilitated.
心拍や脳波といった生体情報は、意識的に変えることが難しい。しかしながら、上記のような構成によれば、座標平面CP上の標識と推定された感情に対応付けられた色の表示を通じて、対象者の外見に表出しない感情の把握が容易になる。これにより、他者による対象者の感情理解、あるいは対象者による自身の感情理解が促されうる。 It is difficult to consciously change biological information such as heartbeat and brain waves. However, according to the above-described configuration, it becomes easy to grasp the emotions that are not expressed in the subject's appearance through the display of the color associated with the marker on the coordinate plane CP and the estimated emotion. This can encourage others to understand the subject's emotions, or the subject to understand his or her own emotions.
したがって、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供できる。 Therefore, it is possible to provide a new user interface based on the subject's emotions estimated through the acquisition of biometric information.
図1に示されるように、プロセッサ112は、第一パラメータ信号PS1、第二パラメータ信号PS2、第三パラメータ信号PS3の少なくとも一つを生成しうる。プロセッサ112は、生成された第一パラメータ信号PS1、第二パラメータ信号PS2、第三パラメータ信号PS3の少なくとも一つを、出力インターフェース114に出力させうる。
As shown in FIG. 1,
第一パラメータ信号PS1は、特定の期間における各感情値の経時変化を表す第一パラメータPR1に対応している。時点tnにおける第一パラメータPR1(tn)は、次式によって表される。
第二パラメータ信号PS2は、当該特定の期間における第一パラメータPR1の時間積分値を表す第二パラメータPR2に対応している。時点tnにおける第二パラメータPR2(tn)は、次式によって表される。
第三パラメータ信号PS3は、当該特定の期間における第二パラメータPR2の時間積分値を表す第三パラメータPR3に対応している。時点tnにおける第三パラメータPR3(tn)は、次式によって表される。
各感情座標軸について得られた感情値(感情量)に対して物理学における加速度、速度、移動距離に対応しうるパラメータを定義することにより、感情の時間変化に係る定量的な分析が可能とされうる。これにより、対象者の感情変化に対する理解が促されうる。 By defining parameters that can correspond to acceleration, speed, and travel distance in physics for the emotional values (emotional quantities) obtained for each emotional coordinate axis, quantitative analysis of changes in emotions over time becomes possible. sell. This may facilitate understanding of the subject's emotional changes.
図1に示されるように、プロセッサ112は、合成パラメータ信号SPSを生成しうる。プロセッサ112は、生成された合成パラメータ信号SPSを、出力インターフェース114に出力させうる。
As shown in FIG. 1,
合成パラメータ信号SPSは、八つの感情座標軸について得られた八つの第一パラメータPR1の合成値である合成パラメータSPRに対応している。時点tnにおける合成パラメータSPR(tn)は、次式によって表される。
各感情座標軸について得られた感情値(感情量)の合成値に対応する合成パラメータを定義することにより、感情の総体に係る定量的な分析が可能とされうる。これにより、対象者の感情の全体像に対する理解が促されうる。 By defining a synthesis parameter corresponding to a synthesis value of emotion values (amounts of emotions) obtained for each emotion coordinate axis, quantitative analysis of the totality of emotions may be possible. This may facilitate understanding of the subject's overall emotions.
また、より複雑な推定感情に対応する出力を得ることができる。例えば、図3の(B)に示される例の場合、第一データセットD1に基づいて推定された対象者の感情は、「喜び」と「興奮」の合成感情である。上記の合成パラメータ信号SPSは、この合成感情に対応する値を持ちうる。表示装置12においては、この合成感情を表す色が表示されうる。例えば、「喜び」に対応する黄緑色と「興奮」に対応する黄色の中間色が表示されうる。
Furthermore, it is possible to obtain an output corresponding to a more complex estimated emotion. For example, in the case of the example shown in FIG. 3B, the subject's emotion estimated based on the first data set D1 is a composite emotion of "joy" and "excitement." The above synthetic parameter signal SPS can have a value corresponding to this synthetic emotion. On the
なお、感情推定装置11は、第一表示信号DS1と第二表示信号DS2の出力に代えて、第一パラメータ信号PS1、第二パラメータ信号PS2、第三パラメータ信号PS3、および合成パラメータ信号SPSの少なくとも一つを出力する装置として構成されうる。
Note that, instead of outputting the first display signal DS1 and the second display signal DS2, the
図5は、プロセッサ112により実行される処理の別例を示している。図2を参照して説明したものと実質的に同一の処理については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
FIG. 5 shows another example of processing performed by the
本例においては、プロセッサ112は、図2に示されるSTEP13と同様の手法により、対象者の現在感情を推定する(STEP23)。現在感情は、第一感情の一例である。すなわち、ラッセルの円環モデルから選ばれた八つの感情の一つが、現時点における対象者の推定感情として特定される。図6に示される例においては、「怒り」が対象者の現在感情として推定されている。
In this example, the
続いて、プロセッサ112は、目標感情を設定する(STEP24)。目標感情は、第二感情の一例である。目標感情もまた、第二データセットD2への変換時に使用されるラッセルの円環モデルから選ばれた八つの感情の一つとして選択される。図6に示される例においては、「リラックス」が目標感情として設定されている。
Subsequently, the
目標感情は、対象者の現在感情に依らず特定の感情として予め設定されうる。例えば、「喜び」や「リラックス」といったポジティブな感情が予め選択されうる。あるいは、ラッセルの円環モデルにおいて原点を挟んで現在感情と反対側に位置する感情が、目標感情として自動的に設定されうる。例えば、現在感情が「憂鬱」である場合に「興奮」が目標感情として設定されうる。 The target emotion may be set in advance as a specific emotion regardless of the subject's current emotion. For example, positive emotions such as "joy" and "relaxation" may be selected in advance. Alternatively, an emotion located on the opposite side of the origin from the current emotion in Russell's circular model may be automatically set as the target emotion. For example, if the current emotion is "depressed," "excitement" may be set as the target emotion.
続いて、プロセッサ112は、目標感情に対応付けられた色を、表示装置12に表示させる(STEP25)。具体的には、STEP23において設定された目標感情に対応付けられた色を示す色データをストレージ113から読み出し、当該色を表示装置12に表示させる第二表示信号DS2を生成する。プロセッサ112は、出力インターフェース114に第二表示信号DS2を出力させる。
Subsequently, the
図6に示される例においては、目標感情である「リラックス」に対応付けられた「緑」が表示装置12に表示される。現在感情として「怒り」を抱いている対象者は、表示装置12に表示された「緑」を見ることにより、「リラックス」した状態への移行を促されうる。対象者が色と感情の対応付けを予め認識していると、感情の移行がより円滑に促されうる。
In the example shown in FIG. 6, "green" associated with the target emotion "relax" is displayed on the
なお、本例においては、第一表示信号DS1に基づく座標平面CPへの指標の表示は、必須ではない。 Note that in this example, displaying the index on the coordinate plane CP based on the first display signal DS1 is not essential.
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の現在感情が、色の表示を通じて目標感情へ導かれうる。換言すると、対象者の表情や所作に依存しない感情制御を可能にする新規なユーザインターフェースを提供できる。 According to the above configuration, the subject's current emotion estimated based on biological information such as heartbeat and brain waves, which is difficult to change consciously, can be guided to the target emotion through color display. In other words, it is possible to provide a novel user interface that enables emotional control that does not depend on the facial expressions or actions of the subject.
図5に示されるように、プロセッサ112は、目標感情に対応付けられた色の表示に先立ち、対象者の現在感情に対応付けられた色を、表示装置12に表示させうる(STEP26)。
As shown in FIG. 5, the
具体的には、プロセッサ112は、STEP23において推定された感情に対応付けられた色を示す色データをストレージ113から読み出し、当該色を表示装置12に表示させる第二表示信号DS2を生成する。プロセッサ112は、出力インターフェース114に第二表示信号DS2を出力させる。
Specifically, the
図6に示される例においては、現在感情である「怒り」に対応付けられた「赤」が、まず表示装置12に表示される。続いて、目標感情である「リラックス」に対応付けられた「緑」が、表示装置12に表示される。
In the example shown in FIG. 6, "red" associated with the current emotion "anger" is first displayed on the
このような構成によれば、感情制御の起点となる対象者の現在の感情が視覚的に把握されうる。心拍や脳波といった生体情報は意識的に変えることが難しいので、対象者の表情や所作に依らず、感情制御の起点となる感情に対する他者あるいは対象者自身による理解が促されうる。 According to such a configuration, the subject's current emotion, which is the starting point for emotional control, can be visually grasped. Since it is difficult to consciously change biological information such as heartbeat and brain waves, it is possible to encourage others or the subject themselves to understand emotions, which are the starting point for emotional control, regardless of the subject's facial expressions or actions.
図5に示されるSTEP26に加えてあるいは代えて、プロセッサ112は、目標感情に対応付けられた色の表示に先立ち、対象者の現在感情に対応付けられた色と目標感情に対応付けられた色の中間色を、表示装置12に表示させうる(STEP27)。
In addition to or in place of STEP 26 shown in FIG. 5, the
具体的には、プロセッサ112は、ラッセルの円環モデルにおいて現在感情と目標感情の間に位置する少なくとも一つの感情に対応付けられた少なくとも一つの色を示す色データをストレージ113から読み出し、当該少なくとも一つの色を表示装置12に表示させる第二表示信号DS2を生成する。プロセッサ112は、出力インターフェース114に第二表示信号DS2を出力させる。当該少なくとも一つの色は、中間色の一例である。
Specifically, the
図6に示される例においては、現在感情である「怒り」と目標感情である「リラックス」の間に位置する「驚き」、「興奮」、および「喜び」にそれぞれ対応付けられた「橙」、「黄」、および「黄緑」の少なくとも一つがまず表示装置12に表示される。続いて、目標感情である「リラックス」に対応付けられた「緑」が、表示装置12に表示される。複数の中間色が表示される場合、ラッセルの円環モデルにおける現在感情から目標感情へ至る経路上に配置された感情の順序に基づいて表示がなされることが好ましい。図示の例においては、「橙」、「黄」、および「黄緑」の順序で表示がなされうる。
In the example shown in FIG. 6, "orange" is associated with "surprise," "excitement," and "joy," which are located between the current emotion "anger" and the target emotion "relaxation." , "yellow", and "yellow-green" are first displayed on the
このような構成によれば、現在感情から目標感情への移行を円滑にできる。特に現在感情と目標感情の差異が大きいほど、目標感情に対応付けられた色の提示に伴う唐突感が抑制され、滑らかな感情移行が促されうる。 According to such a configuration, it is possible to smoothly transition from the current emotion to the target emotion. In particular, the greater the difference between the current emotion and the target emotion, the more abrupt the presentation of the color associated with the target emotion can be suppressed, and the smoother the emotion transition can be promoted.
上述したプロセッサ112の機能は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。この場合、ROMには、上述した処理を実行するコンピュータプログラムが記憶されうる。ROMは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ112は、ROM上に記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上述した処理を実行する。ストレージ113は、上記の汎用メモリとして使用されてもよい。プロセッサ112は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ASIC、FPGAなどの専用集積回路によって実現されてもよい。プロセッサ112は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
The functions of
感情推定システム1は、様々な態様で実現されうる。例えば、独立して稼働する装置に感情推定装置11と表示装置12が内蔵されてもよいし、遠隔に位置する感情推定装置11による処理の結果が、ユーザの近傍に位置する表示装置12に表示されてもよい。
The
図7は、第二実施形態に係る感情推定システム20の構成を例示している。感情推定システム20は、感情推定装置21と出力装置22を備えている。第一実施形態に係る感情推定システム10を参照して説明したものと実質的に同一の構成要素については、同一の参照符号を付与し、繰り返しとなる説明を省略する。
FIG. 7 illustrates the configuration of an
感情推定装置21は、プロセッサ212とストレージ213を備えている。ストレージ213は、プロセッサ212と協働して所定のデータを記憶可能な装置である。ストレージ213としては、半導体メモリやハードディスクドライブ装置が例示されうる。ストレージ213には、図3の(B)に示される八つの感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つに対応する出力データが格納されている。
The
図8は、プロセッサ212により実行される処理の流れの一例を示している。図2を参照して説明したものと実質的に同一の処理については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
FIG. 8 shows an example of the flow of processing executed by the
プロセッサ212は、脈拍センサ51と脳波センサ52による検出結果、および対象者の感情の推定結果に基づいて、出力装置22に出力動作を行なわせる(STEP34)。
The
具体的には、プロセッサ212は、STEP13において推定された感情に対応付けられた音、香り、画像、および言語の少なくとも一つを示す出力データをストレージ213から読み出し、制御信号CSを生成する。制御信号CSは、推定された感情に対応付けられた音、香り、画像、および言語を出力装置22に出力させる信号である。
Specifically, the
図7に示されるように、感情推定装置21は、出力インターフェース214を備えている。出力インターフェース214は、出力装置22と通信可能に接続されている。出力インターフェース214と出力装置22との間の通信は、有線接続を介して行なわれてもよいし、無線接続を介して行なわれてもよい。プロセッサ212は、出力インターフェース214に制御信号CSを出力させる。出力インターフェース214は、出力装置22の仕様に応じた変換を制御信号CSに適用する信号変換回路を含みうる。
As shown in FIG. 7, the
例えば、STEP13において推定された感情が図3の(B)に示される「喜び」である場合、「喜び」に対応付けられた音、香り、画像、および言語の少なくとも一つが、出力装置22から出力される。 For example, if the emotion estimated in STEP 13 is "joy" shown in FIG. Output.
心拍や脳波といった生体情報は、意識的に変えることが難しい。しかしながら、上記のような構成によれば、推定された感情に対応付けられた音、香り、画像、および言語の少なくとも一つの提示を通じて、対象者の外見に表出しない感情の把握が容易になる。これにより、他者による対象者の感情理解、あるいは対象者による自身の感情理解が促されうる。 It is difficult to consciously change biological information such as heartbeat and brain waves. However, according to the above configuration, it becomes easier to understand the emotions that are not expressed in the subject's outward appearance through the presentation of at least one of sounds, scents, images, and language that are associated with the estimated emotions. . This can encourage others to understand the subject's emotions, or the subject to understand his or her own emotions.
したがって、生体情報の取得を通じて推定された対象者の感情に基づく新規なユーザインターフェースを提供できる。 Therefore, it is possible to provide a new user interface based on the subject's emotions estimated through the acquisition of biometric information.
図9は、プロセッサ212により実行される処理の別例を示している。図8を参照して説明したものと実質的に同一の処理については、同一の参照符号を付与し、繰り返しとなる説明は省略する。
FIG. 9 shows another example of the processing executed by the
本例においては、プロセッサ212は、図8に示されるSTEP13と同様の手法により、対象者の現在感情を推定する(STEP43)。現在感情は、第一感情の一例である。すなわち、ラッセルの円環モデルから選ばれた八つの感情の一つが、現時点における対象者の推定感情として特定される。図6に示される例においては、「怒り」が対象者の現在感情として推定されている。
In this example, the
続いて、プロセッサ212は、目標感情を設定する(STEP44)。目標感情は、第二感情の一例である。目標感情もまた、第二データセットD2への変換時に使用されるラッセルの円環モデルから選ばれた八つの感情の一つとして選択される。図6に示される例においては、「リラックス」が目標感情として設定されている。
Subsequently, the
目標感情は、対象者の現在感情に依らず特定の感情として予め設定されうる。例えば、「喜び」や「リラックス」といったポジティブな感情が予め選択されうる。あるいは、ラッセルの円環モデルにおいて原点を挟んで現在感情と反対側に位置する感情が、目標感情として自動的に設定されうる。例えば、現在感情が「憂鬱」である場合に「興奮」が目標感情として設定されうる。 The target emotion may be set in advance as a specific emotion regardless of the subject's current emotion. For example, positive emotions such as "joy" and "relaxation" may be selected in advance. Alternatively, an emotion located on the opposite side of the origin from the current emotion in Russell's circular model may be automatically set as the target emotion. For example, if the current emotion is "depressed," "excitement" may be set as the target emotion.
続いて、プロセッサ212は、目標感情に対応付けられた音、香り、画像、および言語の少なくとも一つを、出力装置22に出力させる(STEP45)。具体的には、STEP23において設定された目標感情に対応付けられた音、香り、画像および言語の少なくとも一つを示す出力データをストレージ213から読み出し、当該音、香り、画像および言語の少なくとも一つを出力装置22に出力させる制御信号CSを生成する。プロセッサ212は、出力インターフェース214に制御信号CSを出力させる。
Subsequently, the
図6に示される例においては、目標感情である「リラックス」に対応付けられた音、香り、画像および言語の少なくとも一つが、出力装置22から出力される。現在感情として「怒り」を抱いている対象者は、出力装置22から音、香り、画像および言語の少なくとも一つの提示を受けることにより、「リラックス」した状態への移行を促されうる。対象者が音、香り、画像および言語の少なくとも一つと感情の対応付けを予め認識していると、感情の移行がより円滑に促されうる。
In the example shown in FIG. 6, at least one of a sound, a scent, an image, and a language associated with the target emotion "relax" is output from the
上記のような構成によれば、意識的に変えることが難しい心拍や脳波といった生体情報に基づいて推定された対象者の現在感情が、音、香り、画像および言語の少なくとも一つの提示を通じて目標感情へ導かれうる。換言すると、対象者の表情や所作に依存しない感情制御を可能にする新規なユーザインターフェースを提供できる。 According to the above configuration, the subject's current emotion estimated based on biological information such as heartbeat and brain waves, which are difficult to change consciously, is changed to the target emotion through the presentation of at least one of sound, scent, image, and language. can be led to In other words, it is possible to provide a novel user interface that enables emotional control that does not depend on the facial expressions or actions of the subject.
図9に示されるように、プロセッサ212は、目標感情に対応付けられた音、香り、画像および言語の少なくとも一つの出力に先立ち、対象者の現在感情に対応付けられた音、香り、画像および言語の少なくとも一つを、出力装置22に出力させうる(STEP46)。
As shown in FIG. 9, prior to outputting at least one of the sounds, scents, images, and language associated with the target emotion, the
具体的には、プロセッサ212は、STEP43において推定された感情に対応付けられた音、香り、画像および言語の少なくとも一つを示す出力データをストレージ213から読み出し、当該音、香り、画像および言語の少なくとも一つを出力装置22に出力させる制御信号CSを生成する。プロセッサ212は、出力インターフェース214に制御信号CSを出力させる。
Specifically, the
図6に示される例においては、現在感情である「怒り」に対応付けられた音、香り、画像および言語の少なくとも一つが、まず出力装置22から出力される。続いて、目標感情である「リラックス」に対応付けられた音、香り、画像および言語の少なくとも一つが、出力装置22から出力される。
In the example shown in FIG. 6, at least one of a sound, a scent, an image, and a language associated with the current emotion "anger" is first output from the
このような構成によれば、感情制御の起点となる対象者の現在の感情が感覚的に把握されうる。心拍や脳波といった生体情報は意識的に変えることが難しいので、対象者の表情や所作に依らず、感情制御の起点となる感情に対する他者あるいは対象者自身による理解が促されうる。 According to such a configuration, the subject's current emotion, which is the starting point for emotional control, can be intuitively grasped. Since it is difficult to consciously change biological information such as heartbeat and brain waves, it is possible to encourage others or the subject themselves to understand emotions, which are the starting point for emotional control, regardless of the subject's facial expressions or actions.
図9に示されるSTEP46に加えてあるいは代えて、プロセッサ112は、目標感情に対応付けられた音、香り、画像および言語の少なくとも一つの出力に先立ち、対象者の現在感情に対応付けられた音、香り、画像および言語の少なくとも一つを、出力装置22に出力させうる(STEP47)。
In addition to or in place of STEP 46 shown in FIG. 9, the
具体的には、プロセッサ212は、ラッセルの円環モデルにおいて現在感情と目標感情の間に位置する少なくとも一つの感情に対応付けられた音、香り、画像および言語の少なくとも一つを示す出力データをストレージ213から読み出し、当該音、香り、画像および言語の少なくとも一つを出力装置22に表示させる制御信号CSを生成する。プロセッサ212は、出力インターフェース214に制御信号を出力させる。
Specifically, the
図6に示される例においては、現在感情である「怒り」と目標感情である「リラックス」の間に位置する「驚き」、「興奮」、および「喜び」の少なくとも一つに対応付けられた音、香り、画像および言語の少なくとも一つがまず出力装置22から出力される。続いて、目標感情である「リラックス」に対応付けられた音、香り、画像および言語の少なくとも一つが、出力装置22から出力される。複数種の中間感情に対応する音、香り、画像および言語の少なくとも一つが表示される場合、ラッセルの円環モデルにおける現在感情から目標感情へ至る経路上に配置された中間感情の順序に基づいて、音、香り、画像および言語の少なくとも一つの出力がなされることが好ましい。図示の例においては、「驚き」、「興奮」、および「喜び」の順序で、対応する音、香り、画像および言語の少なくとも一つの出力がなされうる。
In the example shown in FIG. 6, the target emotion is associated with at least one of "surprise," "excitement," and "joy," which are located between the current emotion "anger" and the target emotion "relaxation." At least one of sounds, scents, images, and language is first output from the
このような構成によれば、現在感情から目標感情への移行を円滑にできる。特に現在感情と目標感情の差異が大きいほど、目標感情に対応付けられた音、香り、画像および言語の少なくとも一つの提示に伴う唐突感が抑制され、滑らかな感情移行が促されうる。 According to such a configuration, it is possible to smoothly transition from the current emotion to the target emotion. In particular, the larger the difference between the current emotion and the target emotion, the more the sudden feeling associated with the presentation of at least one of the sound, scent, image, and language associated with the target emotion can be suppressed, and a smooth emotional transition can be promoted.
上述したプロセッサ212の機能は、汎用メモリと協働して動作する汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、CPU、MPU、GPUが例示されうる。汎用メモリとしては、ROMやRAMが例示されうる。この場合、ROMには、上述した処理を実行するコンピュータプログラムが記憶されうる。ROMは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ212は、ROM上に記憶されたプログラムの少なくとも一部を指定してRAM上に展開し、RAMと協働して上述した処理を実行する。ストレージ213は、上記の汎用メモリとして使用されてもよい。プロセッサ212は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ASIC、FPGAなどの専用集積回路によって実現されてもよい。プロセッサ212は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。
The functions of
感情推定システム2は、様々な態様で実現されうる。例えば、独立して稼働する装置に感情推定装置21と出力装置22が内蔵されてもよいし、遠隔に位置する感情推定装置21による処理の結果が、ユーザの近傍に位置する出力装置22から出力されてもよい。
The emotion estimation system 2 can be realized in various ways. For example, the
上記の各実施形態は、本発明の理解を容易にするための例示にすぎない。上記の各実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。 Each of the above embodiments is merely an example to facilitate understanding of the present invention. The configurations according to each of the embodiments described above may be modified and improved as appropriate without departing from the spirit of the present invention.
上記の各実施形態においては、第二データセットD2を構成する複数の感情値に対応付けられた複数の感情として、ラッセルの円環モデル上に配置された八つの感情が選ばれている。また、当該八つの感情に対応する四つの感情座標軸同士の角度間隔は、一定とされている。しかしながら、ラッセルの円環モデルから選ばれる複数の感情の数と種別は、任意に定められうる。例えば、「喜び」、「怒り」、および「悲しみ」に対応する三つの感情座標軸が定義されうる。したがって、選ばれる複数の感情の数と種別によっては、複数の感情座標軸同士の角度間隔は一定でなくてもよい。また、上記の八つの感情以外のものが選ばれてもよい。 In each of the embodiments described above, eight emotions arranged on Russell's circular model are selected as the plurality of emotions associated with the plurality of emotion values constituting the second data set D2. Further, the angular intervals between the four emotion coordinate axes corresponding to the eight emotions are constant. However, the number and types of emotions selected from Russell's circular model can be arbitrarily determined. For example, three emotion coordinate axes may be defined corresponding to "joy," "anger," and "sadness." Therefore, depending on the number and type of the plurality of emotions selected, the angular intervals between the plurality of emotion coordinate axes may not be constant. Moreover, emotions other than the eight above may be selected.
10、20:感情推定システム、11、21:感情推定装置、111:入力インターフェース、112、212:プロセッサ、113、213:ストレージ、114、214:出力インターフェース、12:表示装置、22:出力装置、VS1:第一生体信号、VS2:第二生体信号、D1:第一データセット、D2:第二データセット、CP:座標平面、DS1:第一表示信号、DS2:第二表示信号、PS1:第一パラメータ信号、PS2:第二パラメータ信号、PS3:第三パラメータ信号、SPS:合成パラメータ信号、CS:制御信号 10, 20: Emotion estimation system, 11, 21: Emotion estimation device, 111: Input interface, 112, 212: Processor, 113, 213: Storage, 114, 214: Output interface, 12: Display device, 22: Output device, VS1: first biological signal, VS2: second biological signal, D1: first data set, D2: second data set, CP: coordinate plane, DS1: first display signal, DS2: second display signal, PS1: second One parameter signal, PS2: second parameter signal, PS3: third parameter signal, SPS: composite parameter signal, CS: control signal
Claims (6)
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数種の感情の各々に対応付けられた色を記憶しているストレージと、
表示装置と、
を備えており、
前記プロセッサは、
前記複数種の感情値のうち最大値を有する一つに対応する前記複数種の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数種の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた色を前記表示装置に表示させる、
感情推定システム。 an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores colors associated with each of the plurality of emotions;
a display device;
It is equipped with
The processor includes:
identifying a first emotion included in the plurality of emotions corresponding to one having the maximum value among the plurality of emotion values;
setting a second emotion different from the first emotion included in the plurality of types of emotions based on the identified first emotion;
displaying a color associated with the second emotion on the display device;
Emotion estimation system.
請求項1に記載の感情推定システム。 The processor causes the display device to display the color associated with the first emotion prior to displaying the color associated with the second emotion.
The emotion estimation system according to claim 1.
請求項1または2に記載の感情推定システム。 The processor causes the display device to display an intermediate color between the color associated with the first emotion and the color associated with the second emotion, prior to displaying the color associated with the second emotion.
The emotion estimation system according to claim 1 or 2.
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数種の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力装置と、
を備えており、
前記プロセッサは、
前記複数種の感情値のうち最大値を有する一つに対応する前記複数種の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数種の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた音、香り、画像、および言語の少なくとも一つを前記出力装置に出力させる、
感情推定システム。 an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores at least one of sounds, scents, images, and languages associated with each of the plurality of types of emotions;
an output device;
It is equipped with
The processor includes:
identifying a first emotion included in the plurality of emotions corresponding to one having the maximum value among the plurality of emotion values;
setting a second emotion different from the first emotion included in the plurality of types of emotions based on the identified first emotion;
causing the output device to output at least one of a sound, a scent, an image, and a language associated with the second emotion;
Emotion estimation system.
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数種の感情の各々に対応付けられた色を記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数種の感情値のうち最大値を有する一つに対応する前記複数種の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数種の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた色を表示装置に表示させる表示信号を、前記出力インターフェースに出力させる、
感情推定装置。 an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores colors associated with each of the plurality of emotions;
an output interface;
It is equipped with
The processor includes:
identifying a first emotion included in the plurality of emotions corresponding to one having the maximum value among the plurality of emotion values;
setting a second emotion different from the first emotion included in the plurality of types of emotions based on the identified first emotion;
causing the output interface to output a display signal that causes a display device to display a color associated with the second emotion;
Emotion estimation device.
前記第一生体信号に対応する第一の値と前記第二生体信号に対応する第二の値を含む第一データセットを、ラッセルの円環モデル上に配置された複数種の感情の量に対応する複数の感情値を含む第二データセットに変換するプロセッサと、
前記複数種の感情の各々に対応付けられた音、香り、画像、および言語の少なくとも一つを記憶しているストレージと、
出力インターフェースと、
を備えており、
前記プロセッサは、
前記複数種の感情値のうち最大値を有する一つに対応する前記複数種の感情に含まれる第一感情を特定し、
特定された前記第一感情に基づいて、前記複数種の感情に含まれる当該第一感情とは異なる第二感情を設定し、
前記第二感情に対応付けられた音、香り、画像、および言語の少なくとも一つを出力装置に出力させる制御信号を、前記出力インターフェースに出力させる、
感情推定装置。 an input interface that receives a first biosignal corresponding to the subject's pulse and a second biosignal corresponding to the subject's brain waves;
A first data set including a first value corresponding to the first biosignal and a second value corresponding to the second biosignal is converted into quantities of multiple types of emotions arranged on Russell's circular model. a processor for converting into a second data set including a plurality of corresponding emotion values;
a storage that stores at least one of sounds, scents, images, and languages associated with each of the plurality of types of emotions;
an output interface;
It is equipped with
The processor includes:
identifying a first emotion included in the plurality of emotions corresponding to one having the maximum value among the plurality of emotion values;
setting a second emotion different from the first emotion included in the plurality of types of emotions based on the identified first emotion;
causing the output interface to output a control signal that causes the output device to output at least one of a sound, a scent, an image, and a language associated with the second emotion;
Emotion estimation device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019091325A JP7385892B2 (en) | 2019-05-14 | 2019-05-14 | Emotion estimation system and emotion estimation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019091325A JP7385892B2 (en) | 2019-05-14 | 2019-05-14 | Emotion estimation system and emotion estimation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020185138A JP2020185138A (en) | 2020-11-19 |
JP7385892B2 true JP7385892B2 (en) | 2023-11-24 |
Family
ID=73220632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019091325A Active JP7385892B2 (en) | 2019-05-14 | 2019-05-14 | Emotion estimation system and emotion estimation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7385892B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240225503A9 (en) * | 2021-03-24 | 2024-07-11 | Nec Corporation | Information processing device, control method, and storage medium |
JP7531120B2 (en) | 2021-08-27 | 2024-08-09 | パナソニックIpマネジメント株式会社 | Mood state estimation system, mood state estimation method, and program |
CN113907756B (en) * | 2021-09-18 | 2024-07-23 | 深圳大学 | Wearable system of physiological data based on multiple modes |
WO2023127930A1 (en) * | 2021-12-28 | 2023-07-06 | 株式会社デンソーテン | Emotion inference device and emotion inference model generation method |
JP2023159482A (en) * | 2022-04-20 | 2023-11-01 | 株式会社豊田中央研究所 | Feeling guidance device, feeling guidance method, database used for the same and scent classification display object |
WO2024172066A1 (en) * | 2023-02-15 | 2024-08-22 | ヤマハ発動機株式会社 | Estimated emotion processing device, production method thereof, estimated emotion processing program and storage medium |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005058449A (en) | 2003-08-12 | 2005-03-10 | Sony Corp | Feeling visualization device, feeling visualization method and feeling visualized output object |
JP2006106711A (en) | 2004-09-10 | 2006-04-20 | Matsushita Electric Ind Co Ltd | Information processing terminal |
WO2010001512A1 (en) | 2008-07-03 | 2010-01-07 | パナソニック株式会社 | Impression degree extraction apparatus and impression degree extraction method |
JP2017144222A (en) | 2015-10-14 | 2017-08-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Emotion estimating method, emotion estimating apparatus, and recording medium storing program |
JP2017176580A (en) | 2016-03-31 | 2017-10-05 | 大日本印刷株式会社 | Emotion control device, emotion control method, and program |
JP2018169906A (en) | 2017-03-30 | 2018-11-01 | パナソニックIpマネジメント株式会社 | Dozing prevention device, doze prevention method, and program |
JP2018189720A (en) | 2017-04-28 | 2018-11-29 | パナソニックIpマネジメント株式会社 | Information output control device, information output control method, information output system and program |
JP2019000937A (en) | 2017-06-14 | 2019-01-10 | トヨタ自動車株式会社 | Communication device, communication robot, and communication control program |
-
2019
- 2019-05-14 JP JP2019091325A patent/JP7385892B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005058449A (en) | 2003-08-12 | 2005-03-10 | Sony Corp | Feeling visualization device, feeling visualization method and feeling visualized output object |
JP2006106711A (en) | 2004-09-10 | 2006-04-20 | Matsushita Electric Ind Co Ltd | Information processing terminal |
WO2010001512A1 (en) | 2008-07-03 | 2010-01-07 | パナソニック株式会社 | Impression degree extraction apparatus and impression degree extraction method |
JP2017144222A (en) | 2015-10-14 | 2017-08-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Emotion estimating method, emotion estimating apparatus, and recording medium storing program |
JP2017176580A (en) | 2016-03-31 | 2017-10-05 | 大日本印刷株式会社 | Emotion control device, emotion control method, and program |
JP2018169906A (en) | 2017-03-30 | 2018-11-01 | パナソニックIpマネジメント株式会社 | Dozing prevention device, doze prevention method, and program |
JP2018189720A (en) | 2017-04-28 | 2018-11-29 | パナソニックIpマネジメント株式会社 | Information output control device, information output control method, information output system and program |
JP2019000937A (en) | 2017-06-14 | 2019-01-10 | トヨタ自動車株式会社 | Communication device, communication robot, and communication control program |
Also Published As
Publication number | Publication date |
---|---|
JP2020185138A (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7385892B2 (en) | Emotion estimation system and emotion estimation device | |
US10863939B2 (en) | Emotion estimating method, emotion estimating apparatus, and recording medium storing program | |
CA3003765C (en) | Drowsiness onset detection | |
Cowley et al. | The psychophysiology primer: a guide to methods and a broad review with a focus on human–computer interaction | |
JP6435104B2 (en) | System and method for determining changes in physical condition | |
US20180303370A1 (en) | Sensitivity evaluation method | |
Schmidt et al. | Wearable affect and stress recognition: A review | |
Kuriakose et al. | Understanding the psycho-physiological implications of interaction with a virtual reality-based system in adolescents with autism: A feasibility study | |
US20170071521A1 (en) | Representing a subject's state of mind using a psychophysiological model | |
US9814423B2 (en) | Method and system for monitoring pain of users immersed in virtual reality environment | |
JP2015016273A (en) | Mind balance evaluation device and program for the same | |
US20170360334A1 (en) | Device and Method for Determining a State of Consciousness | |
CN112617747A (en) | State estimation device, state estimation method, and storage medium | |
da Silveira et al. | Ongoing challenges of evaluating mulsemedia QoE | |
Suzuki et al. | A prototype of multi-modal interaction robot based on emotion estimation method using physiological signals | |
WO2017064826A1 (en) | Sensitivity evaluation method | |
Mavridou | Affective state recognition in Virtual Reality from electromyography and photoplethysmography using head-mounted wearable sensors. | |
Davis-Stewart | Stress Detection: Stress Detection Framework for Mission-Critical Application: Addressing Cybersecurity Analysts Using Facial Expression Recognition | |
de Magalhães | Feel my heart: Emotion recognition using the electrocardiogram | |
Parsinejad | Inferring mental workload changes of subjects unfamiliar with a touch screen game through physiological and behavioral measurements | |
Poli | Measurement and processing of multimodal physiological signals in response to external stimuli by wearable devices and evaluation of parameters influencing data acquisition | |
Huang et al. | Designing a Multi-modal Wearable Mixed Reality System for Body Awareness in Workspaces | |
KR20240020070A (en) | Electronic device for providing image related with text and operation method thereof and storage medium | |
Chen | The Evaluation and Application of Bio-Emotion Estimation Methods | |
VAN LAERHOVEN | Wearable affect and stress recognition: A review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230731 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7385892 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |