JP7311118B2

JP7311118B2 - 感情推定方法および感情推定システム

Info

Publication number: JP7311118B2
Application number: JP2021553450A
Authority: JP
Inventors: 泰之浦岡; 耕一村田; 健二田窪; 雅史古田; 弥佐藤
Original assignee: Shimadzu Corp; Kyoto University
Current assignee: Shimadzu Corp; Kyoto University
Priority date: 2019-10-30
Filing date: 2020-10-20
Publication date: 2023-07-19
Anticipated expiration: 2040-10-20
Also published as: WO2021085231A1; JPWO2021085231A1

Description

本開示は、感情推定方法および感情推定システムに関する。

心理学の分野において、人間の感情を表現するための種々のモデルが提案されている。たとえば非特許文献１には「ラッセルの円環モデル」が開示されている。ラッセルの円環モデルとは、快－不快を表す横軸と、覚醒－眠気を表す縦軸とを有する二次元平面上で、様々な感情を表せるとしたモデルである。

James A. Russell and Geraldine Pratt, "A Description of the Affective Quality Attributed to Environments", Journal of Personality and Social Psychology, 1980, Vol. 38, No. 2, 311-322 Wataru Sato, Tomomi Fujimura, Takanori Kochiyama, Naoto Suzuki, "Relationships among Facial Mimicry, Emotional Experience, and Emotion Recognition", Journal of PLoS ONE, 2013, 8(3), 1-8

対象者の顔の筋肉から筋電位信号を取得し、筋電位信号に基づいて対象者の感情を推定する技術が提案されている。

本発明者らは、人間には快／不快だけでは分類することができない、より複雑な感情が存在する点に着目した。たとえば、スポーツまたはゲーム等において熱戦の末にポイントを奪われたり敗れたりした場合などには、「悔しいながらも楽しい」との感情が生じることがある。このような複雑な感情についても対象者の顔の筋肉の筋電位信号から推定可能であることが望ましい。

本開示は、かかる課題を解決するためになされたものであり、本開示の目的は、複雑な感情を推定可能な技術を提供することである。

本開示の第１の態様に係る感情推定方法は、第１～第３のステップを含む。第１のステップは、対象者の顔の筋肉のうちの異なる種類の筋肉にそれぞれ対応する複数の筋電位信号を取得するステップである。第２のステップは、複数の筋電位信号に基づいて複数の感情指数を算出するステップである。第３のステップは、複数の感情指数と人間の感情との間の関係を示す情報を用いて、複数の感情指数から対象者の感情を推定するステップである。

本開示の第２の態様に係る感情推定システムは、複数の筋電位センサと、演算装置とを備える。複数の筋電位センサは、対象者の顔の筋肉のうちの異なる種類の筋肉にそれぞれ対応するように配置され、対応する筋肉の筋電位信号を出力する。演算装置は、複数の筋電位センサからの複数の筋電位信号に基づいて対象者の感情を推定するように構成されている。演算装置は、複数の筋電位信号に基づいて複数の感情指数を算出し、複数の感情指数と人間の感情との間の関係を示す情報を用いて、複数の感情指数から対象者の感情を推定する。

本開示によれば、複雑な感情を推定できる。

本開示の実施の形態に係る感情推定システムの全体構成を概略的に示す図である。実施の形態における複数のセンサの装着部位を説明するための図である。比較例における感情推定方法を説明するための概念図である。第１の筋電位センサおよび第２の筋電位センサの各々により検出された筋電位信号の一例を示す図である。比較例における感情価の課題を説明するための概念図である。本実施の形態における感情推定方法を説明するための概念図である。２つの感情指数間の関係を説明するための図である。感情指数から対象者の感情を推定するためのマップの概念図である。実施の形態に係る感情推定方法を示すフローチャートである。変形例に係る感情推定システムの全体構成を概略的に示す図である。変形例における覚醒度センサの装着部位を説明するための図である。変形例における複数のマップの概念図（第１図）である。変形例における複数のマップの概念図（第２図）である。変形例における複数のマップの概念図（第３図）である。変形例に係る感情推定方法を示すフローチャートである。

以下、本実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付して、その説明は繰り返さない。

［実施の形態］
＜システム構成＞
図１は、本開示の実施の形態に係る感情推定システムの全体構成を概略的に示す図である。図１を参照して、感情推定システム１００は、対象者（被験者）からの筋電位信号を取得し、取得した筋電位信号により表される筋肉活動に基づいて、対象者の感情を推定する。感情推定システム１００は、対象者に装着されるウェアラブル端末１０と、対象者の周囲の環境に設置される固定端末９０とを備える。ウェアラブル端末１０と固定端末９０とは双方向通信が可能に構成されている。

ウェアラブル端末１０は、複数の筋電位センサ１と、信号処理回路２と、コントローラ３と、通信モジュール４と、バッテリ５とを備える。信号処理回路２とコントローラ３と通信モジュール４とバッテリ５とは、専用の筐体６の内部に収容されている。

複数の筋電位センサ１の各々は、対象者の顔に装着され、装着部位の筋電位信号を検出する。筋電位信号とは、筋肉を動かす際に発生する微弱な電気信号を意味する。本開示において、対象者の「顔」は、顔面（顔の前面または側面）に限定されず、「顔」には対象者の首が含まれ得る。たとえば、対象者の喉に筋電位センサを装着し、対象者の嚥下動作に伴う筋電位変化を検出するようにしてもよい。複数の筋電位センサ１は、互いに異なる種類の筋肉に装着される。筋肉の種類は部位によって特定され得る。筋肉の種類を特定する際、筋肉の組成または構造まで必ずしも限定しなくともよく、部位が異なれば異なる種類の筋肉として扱える。本実施の形態において、複数の筋電位センサ１は、第１筋電位センサ１１と、第２筋電位センサ１２とを含む。

図２は、本実施の形態における第１筋電位センサ１１および第２筋電位センサ１２の装着部位を説明するための図である。図２を参照して、第１筋電位センサ１１は対象者の眉に装着される。より詳細には、第１筋電位センサ１１は、作用電極１１１と、参照電極１１２とを含む。作用電極１１１および参照電極１１２は、皺眉筋の直上に装着される。作用電極１１１および参照電極１１２の装着部位は、皺眉筋の近傍であれば皺眉筋の直上から多少ずれてもよい。第１筋電位センサ１１は、参照電極１１２の電位を基準とした作用電極１１１の電位を皺眉筋の筋電位として検出する。第１筋電位センサ１１は、皺眉筋の活動を示す筋電位信号を信号処理回路２に出力する。

第２筋電位センサ１２は対象者の頬に装着される。より詳細には、第２筋電位センサ１２は、作用電極１２１と、参照電極１２２とを含む。作用電極１２１および参照電極１２２は、大頬骨筋の直上に装着される。ただし、作用電極１２１および参照電極１２２の装着部位は、大頬骨筋の近傍であれば大頬骨筋の直上から多少ずれてもよい。第２筋電位センサ１２は、参照電極１２２の電位を基準とした作用電極１２１の電位を大頬骨筋の筋電位として検出する。第２筋電位センサ１２は、大頬骨筋の活動を示す筋電位信号を信号処理回路２に出力する。

図１を再び参照して、信号処理回路２は、いずれも図示しないが、フィルタ、アンプ、Ａ／Ｄコンバータなどを含む。信号処理回路２は、複数の筋電位センサ１により取得された筋電位信号の各々に所定の信号処理（ノイズ除去、整流、増幅、デジタル化など）を施し、当該処理後の各信号をコントローラ３に出力する。以下では、第１筋電位センサ１１からの筋電位信号を信号処理回路２により処理したものを「筋電位信号ＭＳ１」と記載し、第２筋電位センサ１２からの筋電位信号を信号処理回路２により処理したものを「筋電位信号ＭＳ２」と記載する。

コントローラ３は、ＣＰＵ（Central Processing Unit）などのプロセッサ３１と、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）などのメモリ３２と、入出力ポート３３とを含む演算装置である。コントローラ３は、筋電位信号ＭＳ１，ＭＳ２に基づいて、対象者の感情を推定するための演算処理を実行する。この演算処理については後述する。また、コントローラ３は、通信モジュール４を制御することで外部（固定端末９０など）との情報の授受も可能に構成されている。

通信モジュール４は、近距離無線通信規格に準拠した通信機器である。通信モジュール４は、コントローラ３による制御に応答して、コントローラ３の演算結果を示す信号（対象者の感情の推定結果を示す信号）などを固定端末９０に送信する。

バッテリ５は、リチウムイオン二次電池等の二次電池である。バッテリ５は、ウェアラブル端末１０内の各機器に動作電圧を供給する。

固定端末９０は、たとえばＰＣ（Personal Computer）またはサーバである。固定端末９０は、図示しない通信モジュールを介してウェアラブル端末１０との間で通信を行い、コントローラ３の演算結果を示す信号を受信する。固定端末９０は、演算装置９１と、表示装置９２とを備える。

演算装置９１は、コントローラ３と同様に、プロセッサと、メモリと、入出力ポート（いずれも図示せず）とを含み、種々の演算処理を実行可能に構成されている。表示装置９２は、たとえば液晶ディスプレイであって、ウェアラブル端末１０から受信したコントローラ３の演算結果を表示する。

なお、図１に示した感情推定システム１００のハードウェア構成は例示に過ぎず、これに限定されるものではない。たとえば、信号処理回路２とコントローラ３とが対象者に装着可能であることは必須ではなく、信号処理回路２とコントローラ３とは固定端末９０に設けられていてもよい。一方で、固定端末９０が定置型であることも必須ではなく、固定端末９０に代えて、スマートホンなどの携帯端末を採用してもよい。また、対象者の感情の推定結果を表示するための小型モニタをウェアラブル端末１０に設けてもよい。

＜感情の表出＞
一般に、不愉快なとき、心配事があるときなどの不快の感情は、皺眉筋の活動に表れると考えられている。一方、嬉しいとき、安心したときなどの快の感情は、大頬骨筋の活動に表れると考えられている。これらの筋肉の活動を監視することで、以下に説明する比較例のように対象者の感情を推定することも考えられる。

図３は、比較例における感情推定方法を説明するための概念図である。図３を参照して、比較例では、快／不快を表す指標である「感情価Ｚ」が算出される（非特許文献２参照）。第１筋電位センサ１１により検出された皺眉筋の活動量をｘと表し、第２筋電位センサ１２により検出された大頬骨筋の活動量をｙと表す。そして、下記式（１）に示すように、活動量ｘ，ｙの各々に適切な係数を乗算し、当該乗算後の活動量同士を足し合わせる。なお、式（１）に示された２つの係数（－０．２５，０．２７）は一例に過ぎない。

感情価Ｚは、正の場合には快の感情を表し、負の場合には不快の感情を表す。式（１）から理解されるように、感情価Ｚは、快／不快の感情を一次元的に表すことができる指標であるため、快／不快の感情を統一的に扱う上で有益である。

その一方で、人間には、快／不快だけでは分類することができない、より複雑な感情が存在する。以下では、この感情について、運動中（この例では卓球のプレイ中）の対象者から取得された筋電位信号ＭＳ１，ＭＳ２を例に説明する。

図４は、第１筋電位センサ１１および第２筋電位センサ１２の各々により検出された筋電位信号の一例を示す図である。横軸は経過時間を表す。縦軸は、上から順に、信号処理回路２による信号処理後の皺眉筋の筋電位信号ＭＳ１の電圧と、信号処理回路２による信号処理後の大頬骨筋の筋電位信号ＭＳ２の電圧とを表す。電圧の振れ幅が大きいほど筋肉の活動が大きい。

図４を参照して、まず、時間帯Ｔ１において皺眉筋の活動が検出された。これは、対象者がプレイ中にミスしたタイミングと一致する。時間帯Ｔ１には大頬骨筋の活動は検出されなかった。

また、時間帯Ｔ２において大頬骨筋の活動が検出された。この電圧変化は、対戦相手と交わした会話を対象者が楽しんだことによるものである。時間帯Ｔ２には皺眉筋の活動は検出されなかった。

さらに、時間帯Ｔ３において皺眉筋の活動が検出された。これは、プレイがうまくいかないのはなぜなのかと対象者が悩んだことに起因する信号変化と考えられる。時間帯Ｔ３には大頬骨筋の活動は、ほとんど検出されなかった。

その後、時間帯Ｔ４において、皺眉筋の活動と大頬骨筋の活動とが同時に検出された。このときにどのように感じていたか対象者に聞き取り調査を行ったところ、「プレイが楽しくて笑顔になったが、そのプレイ中にミスが出て悔しい思いをした」との回答であった。このように、人間には、複数の感情が混在した複雑な感情が湧くことがある。

また、他の例として、人間は、考え事をしていたり心配事があったりする場合に、眉間に皺が寄った状態で口がまっすぐに横に伸びた表情を取り、皺眉筋の活動と大頬骨筋の活動とが同時に検出されることがある。このような感情も単なる快／不快とは異なる複雑な感情である。しかしながら、以下に説明するように、比較例では、そのような複雑な感情を推定することはできない。

図５は、比較例における感情価Ｚの課題を説明するための概念図である。図５を参照して、上記式（１）にて説明したように、感情価Ｚは、快／不快の感情を一次元的に表す指標である。そのため、皺眉筋の活動を表す負の項（－０．２５ｘ）と大頬骨筋の活動を表す正の項（０．２７ｙ）とが互いに打ち消し合って０（または０に近い値）となる可能性がある。そうすると、実際には複数の感情が同時に存在しているにも拘らず、「特に何も感じていない」（Ｚ≒０の場合）と推定される可能性がある。あるいは、「やや快に感じた」（Ｚが正だが、０に近い場合）と推定されたり、「わずかに不快に感じた」（Ｚが負だが、０に近い場合）と推定されたりする可能性もある。

感情価Ｚでは快と不快とが単一軸の両極に配置されている。これには、快と不快とが対極をなしており、人間が快と不快とを同時に経験することはないとの暗黙の前提が存在する。そのため、比較例では、複数の感情が混ざり合った複雑な感情を推定できない。

図６は、本実施の形態における感情推定方法を説明するための概念図である。図６を参照して、以下では、第１筋電位センサ１１により検出された皺眉筋の活動量をｘ１と表し、第２筋電位センサ１２により検出された大頬骨筋の活動量をｘ２と表す（ｘ１≧０，ｘ２≧０）。本実施の形態では、感情価Ｚに代えて、２つの「感情指数Ｅ１，Ｅ２」が用いられる。感情指数Ｅ１，Ｅ２は、４つの係数ｋ_１１～ｋ_２２を用いて以下の行列式で表現される（式（２）参照）。

係数ｋ_１１～ｋ_２２の各々は、事前の心理学的な実験の結果に基づいて予め定められた正の定数である。より具体的には、感情情報を伴う様々な刺激を一定数の被験者に与え、それに対する反応としての筋電位信号ＭＳ１，ＭＳ２を取得する。他の例として、様々な刺激を一定数の被験者に与え、それに対する反応としての筋電位信号ＭＳ１，ＭＳ２を取得しつつ、第１筋電位センサ１１および第２筋電位センサ１２以外の感情取得装置（カメラ、心拍センサ、汗センサ、脳波センサなど）を用いて感情情報を取得してもよい。そして、皺眉筋の活動量ｘ１と大頬骨筋の活動量ｘ２と感情との間の対応関係を多変量解析等の手法を用いて求めることにより、各係数ｋ_１１～ｋ_２２を決定できる。

なお、式（２）を書き下すと、下記式（３）が導出される。式（２）または式（３）より、感情指数Ｅ１が皺眉筋の活動量ｘ１と大頬骨筋の活動量ｘ２との両方に基づいて算出されることが理解されるとともに、感情指数Ｅ２も皺眉筋の活動量ｘ１と大頬骨筋の活動量ｘ２との両方に基づいて算出されることが理解される。

このように、感情指数Ｅ１，ＥＳの算出においては、筋電位信号ＭＳ１，ＭＳ２毎に、その筋電位信号に対応する筋肉の活動量ｘと係数ｋとの積を算出し、その積の総和を取ってもよい（式（３）参照）。あるいは、筋電位信号ＭＳ１，ＭＳ２毎に、前記複数の筋電位信号毎に、その筋電位信号に対応する筋肉の活動量ｘと所定の係数とを行列的に掛け合わせることで積を算出し、その積の総和を取ってもよい（式（２）参照）。

図７は、感情指数Ｅ１と感情指数Ｅ２との間の関係を説明するための図である。図７を参照して、本実施の形態において、感情指数Ｅ１は、肯定的（ポジティブ）な感情の強さを表す指標である。感情指数Ｅ１には、主に大頬骨筋の活動量ｘ２の影響が反映されるものの、皺眉筋の活動量ｘ１も影響を与え得る。一方、感情指数Ｅ２は、否定的（ネガティブ）な感情の強さを表す指標である。感情指数Ｅ２には、主に皺眉筋の活動量ｘ１の影響が反映されるものの、大頬骨筋の活動量ｘ２も影響を与え得る。

感情指数Ｅ１と感情指数Ｅ２とは、感情価Ｚとは異なり、互いに相殺し合う関係にはない。また、感情指数Ｅ１と感情指数Ｅ２とは、一方が大きくなると他方が必然的に小さくなるとのトレードオフの関係にもない。この意味で、感情指数Ｅ１と感情指数Ｅ２とは、互いに独立した指標である。

本実施の形態では、まず、筋電位信号ＭＳ１，ＭＳ２から感情指数Ｅ１，Ｅ２が算出され、さらに感情指数Ｅ１，Ｅ２に基づいて対象者の感情が推定される。感情指数Ｅ１，Ｅ２からの感情推定には、以下に説明するようなマップが用いられる。

図８は、感情指数Ｅ１，Ｅ２から対象者の感情を推定するためのマップの概念図である。図８を参照して、このマップＭＰにおいては、事前実験の結果に基づき、感情指数Ｅ１と感情指数Ｅ２との組合せ（Ｅ１，Ｅ２）毎に、人間の対応する感情が予め定められている。２つの感情が混在した複雑な感情が対象者に生じている場合、２つの感情指数の組合せ（Ｅ１，Ｅ２）が領域Ｑ内に位置することとなる。よって、コントローラ３は、筋電位信号ＭＳ１，ＭＳ２から算出された感情指数の組合せ（Ｅ１，Ｅ２）が領域Ｑ内に位置する場合に、複数の感情が混在した複雑な感情が対象者に生じていると推定できる。なお、マップＭＰは、本開示に係る「情報」の一例に相当するが、マップに代えてテーブルを用いてもよい。

＜処理フロー＞
図９は、本実施の形態に係る感情推定方法を示すフローチャートである。図９および後述する図１３に示すフローチャートでは、左側にウェアラブル端末１０により実行される処理を図示し、右側に固定端末９０により実行される処理を図示している。これらの処理は、所定の演算周期でメインルーチンから呼び出され、ウェアラブル端末１０のコントローラ３または固定端末９０の演算装置９１により繰り返し実行される。各ステップは、コントローラ３または演算装置９１によるソフトウェア処理によって実現されるが、コントローラ３または演算装置９１内に作製されたハードウェア（電気回路）によって実現されてもよい。なお、図中ではステップを「Ｓ」と記載する。

ステップ１１において、コントローラ３は、第１筋電位センサ１１から皺眉筋の活動を示す筋電位信号ＭＳ１を取得する。また、ステップ１２において、コントローラ３は、第２筋電位センサ１２から大頬骨筋の活動を示す筋電位信号ＭＳ２を取得する。これらの筋電位信号ＭＳ１，ＭＳ２は同時に（あるいは十分に短い時間差で）取得されたものであることが好ましい。

ステップ１３において、コントローラ３は、上記式（２）または式（３）に従って、ステップ１１，１２にて取得された２つの筋電位信号ＭＳ１，ＭＳ２から２つの感情指数Ｅ１，Ｅ２を算出する。

ステップ１４において、コントローラ３は、図８に示したマップＭＰを参照することによって、ステップ１３にて算出した感情指数Ｅ１，Ｅ２に対応するユーザの感情を推定する。

コントローラ３は、ステップ１１，１２にて取得した筋電位信号ＭＳ１，ＭＳ２を示すデータを固定端末９０に送信するように通信モジュール４を制御する。また、コントローラ３は、感情指数Ｅ１，Ｅ２の算出結果（ステップ１３）を示すデータと、ユーザの感情の推定結果（ステップ１４）を示すデータとついても固定端末９０に送信させる。固定端末９０の演算装置９１は、ウェアラブル端末１０から各種データを受信すると、受信したデータを表示するように表示装置９２を制御する（ステップ１９）。ステップ１１～１９の処理を繰り返し実行することにより、対象者の感情を表示装置９２に経時的に表示できる。

なお、図９では、コントローラ３が筋電位信号ＭＳ１，ＭＳ２から感情指数Ｅ１，Ｅ２を即時に算出する例について説明した。しかし、コントローラ３は、リアルタイム処理に代えてバッチ処理を実行してもよい。すなわち、コントローラ３は、筋電位信号ＭＳ１，ＭＳ２のデータをメモリ３２に時系列に格納しておき、後に（たとえば感情推定を開始するための操作を受け付けたタイミングで）感情指数Ｅ１，Ｅ２を算出してもよい。また、コントローラ３は、２つの筋電位信号ＭＳ１，ＭＳ２のデータを固定端末９０に送信し、固定端末９０の演算装置９１によって感情指数Ｅ１，Ｅ２を算出してもよい。

以上のように、本実施の形態においては、２つの筋電位信号ＭＳ１，ＭＳ２から対象者の感情するための指標として、感情価Ｚに代えて感情指数Ｅ１，Ｅ２が採用される。本実施の形態における感情指数Ｅ１，Ｅ２は、行列式である式（２）またはその書き下しである式（３）から算出されるが、これらの式では、各筋肉の活動量が１つの感情のみに寄与するのではなく、各筋肉の活動量が程度の差はあっても複数の感情に対して寄与し得ることが表現されている。また、感情価Ｚが筋電位信号ＭＳ１の寄与と筋電位信号ＭＳ２の寄与とが相殺し得る指標であるのに対して、感情指数Ｅ１，Ｅ２は、筋電位信号ＭＳ１の寄与と筋電位信号ＭＳ２の寄与とが相殺し合わない点において、互いに独立した指標である。よって、感情指数Ｅ１，Ｅ２の採用により、複数の感情が混在した複雑な感情を推定することが可能になる。

本実施の形態では、２つの筋電位センサを対象者の顔に装着する例について説明した。しかし、筋電位センサの装着数は２つに限定されず、３つ以上の筋電位センサを対象者の顔に装着してもよい。たとえば、ｎ（ｎは３以上の自然数）個の筋電位センサを用いてｎ個の感情指数を算出する場合には、正方行列を用いた下記式（４）に従って、筋肉の活動量ｘと感情指数Ｅとの間の関係を規定できる。

また、筋肉の活動量ｘの数と感情指数Ｅの数とが異なってもよい。その場合には式（４）において係数ｋの行列を非正方行列とすればよい。

［変形例］
対象者に生じる感情は、対象者の覚醒度によっても影響され得る。覚醒度とは、感情が引き起こす身体的または認知的な喚起の程度を示す指標であり、興奮性（高覚醒）と沈静性（低覚醒）との間の値を取る。この変形例においては、感情指数Ｅ１，Ｅ２と覚醒度とを組み合わせることによって、対象者の感情をより詳細に推定する構成について説明する。

図１０は、変形例に係る感情推定システムの全体構成を概略的に示す図である。図１０を参照して、感情推定システム２００は、複数の筋電位センサ１（この例では第１筋電位センサ１１および第２筋電位センサ１２）に加えて覚醒度センサ７をさらに備える点において、実施の形態に係る感情推定システム１００（図１参照）と異なる。感情推定システム２００の他の構成は、感情推定システム１００の対応する構成と同様であるため、説明は繰り返さない。

図１１は、変形例における覚醒度センサ７の装着部位を説明するための図である。図１１を参照して、覚醒度センサ７は、たとえば対象者の額に装着される。覚醒度センサ７は、額における皮膚電気活動を監視するための信号を信号処理回路２に出力する。皮膚電気活動には、皮膚インピーダンス（もしくは皮膚インピーダンス逆数である皮膚コンダクタンス）、または、皮膚の電位活動などの様々な生体活動が含まれ得る。なお、皮膚電気活動による情報は、本開示に係る「生体情報」の一例である。

以下では、皮膚電気活動のうち皮膚コンダクタンスを取得する例について説明する。信号処理回路２により処理された信号を「皮膚コンダクタンス信号ＲＳ」と称する。コントローラ３は、皮膚コンダクタンス信号ＲＳに基づいて、対象者の覚醒度Ａを定量化する。より具体的には、皮膚コンダクタンス信号ＲＳは、比較的長時間のレベル変動を表す皮膚コンダクタンスレベル（ＳＣＬ：Skin Conductance Level）と、数秒オーダの一過性の変動を表す皮膚コンダクタンス反応（ＳＣＲ：Skin Conductance Response）とを含む。コントローラ３は、ＳＣＬの変化に基づいて対象者の覚醒度Ａを算出する。なお、覚醒度センサ７の装着部位は額に限定されず、たとえば、対象者のこめかみであってもよいし、対象者の手のひらであってもよい。本実施の形態では、図８にて説明したような２次元マップが対象者の覚醒度Ａ毎に複数準備される。

図１２Ａ～図１２Ｃは、変形例における複数のマップの概念図である。図１２Ａ～図１２Ｃを参照して、変形例では、高覚醒、中覚醒および低覚醒の３つの区分に覚醒度Ａを分け、各区分に対応するように合計３つの２次元マップＭＰ１～ＭＰ３が事前に作成される。対象者の覚醒度Ａが高い区分に属する場合、高覚醒に対応するマップＭＰ１が参照される。対象者の覚醒度Ａが中程度の区分に属する場合、中覚醒に対応するマップＭＰ２が参照される。対象者の覚醒度Ａが低い区分に属する場合、低覚醒に対応するマップＭＰ３が参照される。なお、ここで覚醒度Ａを３つの区分に分けたのは一例に過ぎず、区分数は２つであってもよいし４つ以上であってもよい。

このように覚醒度Ａに応じた複数のマップを準備することにより、感情指数の組合せ（Ｅ１，Ｅ２）が等しくても覚醒度Ａが異なる場合には、コントローラ３は、対象者が異なる感情を経験していると判断できる。一例として、「悔しいが楽しい」との感情と、対象者が作り笑顔を見せているときの感情とを区別することが可能となる。

図１３は、変形例に係る感情推定方法を示すフローチャートである。図１３を参照して、このフローチャートは、ステップ２４～２６の処理をさらに含む点と、ステップ１４の処理に代えてステップ１７の処理を含む点とにおいて、実施の形態におけるフローチャート（図９参照）と異なる。ステップ２１～２３の処理は、実施の形態におけるステップ１１～１３の処理とそれぞれ同様である。

ステップ２４において、コントローラ３は、覚醒度センサ７から皮膚コンダクタンス信号ＲＳを取得する。取得された皮膚コンダクタンス信号ＲＳは、コントローラ３内のメモリ３２に時系列に格納される。

ステップ２５において、コントローラ３は、ステップ２４にて取得された皮膚コンダクタンス信号ＲＳと、メモリ３２に格納された過去の皮膚コンダクタンス信号ＲＳとを解析することによって、対象者の覚醒度Ａを算出する。

ステップ２６において、コントローラ３は、予め準備された複数のマップＭＰ１～ＭＰ３（図１２Ａ～図１２Ｃ参照）の中からステップ２５にて算出された覚醒度Ａに応じたマップを選択する。

ステップ２７において、コントローラ３は、ステップ２６にて選択されたマップを参照して、ステップ２３にて算出された感情指数の組合せ（Ｅ１，Ｅ２）に対応する感情を推定する。

なお、この変形例では、複数の２次元マップが準備されると説明したが、これに代えて３次元マップを準備してもよい。この３次元マップは、第１軸～第３軸として、感情指数Ｅ１と感情指数Ｅ２と覚醒度Ａとを有する。このような３次元マップを参照することによっても感情指数Ｅ１，Ｅ２と覚醒度Ａとの組み合わせに応じて対象者の感情を推定することが可能である。

以上のように、本変形例によれば、実施の形態と同様に、複数の感情が混在した複雑な感情を推定できる。さらに、本変形例によれば、覚醒度Ａをさらに導入することによって、感情指数Ｅ１，Ｅ２が等しくても覚醒度Ａが異なれば異なる感情と区別されるので、より詳細に対象者の感情を推定することが可能となる。

＜態様＞
上述した複数の例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

（第１項）
第１の態様に係る感情推定方法は、
対象者の顔の筋肉のうちの異なる種類の筋肉にそれぞれ対応する複数の筋電位信号を取得するステップと、
前記複数の筋電位信号に基づいて複数の感情指数を算出するステップと、
前記複数の感情指数と人間の感情との間の関係を示す情報を用いて、前記複数の感情指数から前記対象者の感情を推定するステップとを含んでもよい。

第１項に記載の感情推定方法によれば、複数の感情指数と人間の感情との間の関係を示す情報を用いることで、複雑な感情を推定できる。

（第２項）
第１項に記載の感情推定方法において、前記算出するステップは、前記複数の筋電位信号の各々に対応する筋肉の活動量を求め、求めた活動量に基づいて前記複数の感情指数を算出するステップを含み得る。

第２項に記載の感情推定方法によれば、筋肉の活動量から感情指数を高精度に算出できる。

（第３項）
第２項に記載の感情推定方法において、前記算出するステップは、
前記複数の筋電位信号毎に、その筋電位信号に対応する筋肉の活動量と所定の係数との積を算出するステップと、
前記複数の筋電位信号のすべてについて前記積の総和を取ることによって、前記複数の感情指数を算出するステップとを含み得る。

（第４項）
第２項に記載の感情推定方法において、前記算出するステップは、
前記複数の筋電位信号毎に、その筋電位信号に対応する筋肉の活動量と所定の係数とを行列的に掛け合わせることで積を算出するステップと、
前記複数の筋電位信号のすべてについて前記積の総和を取ることによって、前記複数の感情指数を算出するステップとを含み得る。

第３項または第４項に記載の感情推定方法によれば、筋肉の活動量から感情指数をより高精度に算出できる。

（第５項）
第１項～第４項に記載の感情推定方法において、前記推定するステップは、前記複数の感情指数と前記対象者の感情との間で予め定められたマップを参照することによって、前記複数の感情指数から前記対象者の感情を推定するステップを含み得る。

第５項に記載の感情推定方法によれば、複数の感情指数と対象者の感情の関係が予め定められたマップを用いることで、複数の感情指数から対象者の感情を高精度に推定できる。

（第６項）
第１項～第５項に記載の感情推定方法において、前記取得するステップは、
前記対象者の皺眉筋の筋電位信号を取得するステップと、
前記対象者の大頬骨筋の筋電位信号を取得するステップとを含み得る。

第６項に記載の感情推定方法によれば、複数の筋電位信号を容易に取得できる。
（第７項）
第６項に記載の感情推定方法において、前記複数の感情指数は、肯定的な感情を指標する第１感情指数と、否定的な感情を指標する第２感情指数とを含み、
前記算出するステップは、前記対象者の皺眉筋の活動量と前記対象者の大頬骨筋の活動量とに基づいて、前記第１感情指数と前記第２感情指数とを算出するステップを含み得る。

第７項に記載の感情推定方法によれば、第１感情指数と第２感情指数とを高精度に算出できる。

（第８項）
第１項～第７項に記載の感情推定方法において、前記対象者の生体情報に基づいて前記対象者の覚醒度を算出するステップをさらに含み、
前記推定するステップは、前記複数の感情指数と前記覚醒度と前記対象者の感情との対応関係を参照することによって、前記複数の感情指数と前記覚醒度とから前記対象者の感情を推定するステップを含み得る。

第８項に記載の感情推定方法によれば、感情指数の組合せが等しくても覚醒度が異なる場合には、対象者が異なる感情を経験していると判断できる。

（請求項９）
第１項～第８項に記載の感情推定方法において、前記推定するステップにより推定した前記対象者の感情を表示装置に経時的に表示するステップをさらに含み得る。

第９項に記載の感情推定方法によれば、対象者の感情の経時変化を容易に観察できる。
（第１０項）
第１の態様に係る感情推定システムは、
対象者の顔の筋肉のうちの異なる種類の筋肉にそれぞれ対応するように配置され、対応する筋肉の筋電位信号を出力する複数の筋電位センサと、
前記複数の筋電位センサからの複数の筋電位信号に基づいて前記対象者の感情を推定するように構成された演算装置とを備え、
前記演算装置は、
前記複数の筋電位信号に基づいて複数の感情指数を算出し、
前記複数の感情指数と人間の感情との間の関係を示す情報を用いて、前記複数の感情指数から前記対象者の感情を推定してもよい。

第１０項に記載の感情推定システムによれば、第１項に記載の感情推定方法と同様に、複雑な感情を推定できる。

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施の形態の説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１複数の筋電位センサ、１１第１筋電位センサ、１２第２筋電位センサ、１１１，１２１作用電極、１１２，１２２参照電極、２信号処理回路、３コントローラ、３１ＣＰＵ、３２メモリ、３３入出力ポート、４通信モジュール、５バッテリ、６筐体、７覚醒度センサ、１０ウェアラブル端末、９０固定端末、９１演算装置、９２表示装置、１００，２００感情推定システム。

Claims

対象者の顔の筋肉のうちの異なる種類の筋肉にそれぞれ対応する複数の筋電位信号を取得するステップと、
前記複数の筋電位信号にそれぞれ対応する複数の筋肉の活動量の寄与を各々が受ける複数の感情指数を算出するステップと、
前記複数の感情指数と人間の感情との間の関係を示す情報を用いて、前記複数の感情指数から前記対象者の感情を推定するステップとを含む、感情推定方法。
前記算出するステップは、前記複数の感情指数がトレードオフの関係にない点において互いに独立しているように、前記複数の感情指数を算出するステップを含む、請求項１に記載の感情推定方法。
前記算出するステップは、
前記複数の筋電位信号毎に、その筋電位信号に対応する筋肉の活動量と所定の係数との積を算出するステップと、
前記複数の筋電位信号のすべてについて前記積の総和を取ることによって、前記複数の感情指数を算出するステップとを含む、請求項１または２に記載の感情推定方法。
前記算出するステップは、
前記複数の筋電位信号毎に、その筋電位信号に対応する筋肉の活動量と所定の係数とを行列的に掛け合わせることで積を算出するステップと、
前記複数の筋電位信号のすべてについて前記積の総和を取ることによって、前記複数の感情指数を算出するステップとを含む、請求項１または２に記載の感情推定方法。
前記推定するステップは、前記複数の感情指数と前記対象者の感情との間で予め定められたマップを参照することによって、前記複数の感情指数から前記対象者の感情を推定するステップを含む、請求項１または２に記載の感情推定方法。
前記取得するステップは、
前記対象者の皺眉筋の筋電位信号を取得するステップと、
前記対象者の大頬骨筋の筋電位信号を取得するステップとを含む、請求項１または２に記載の感情推定方法。
前記複数の感情指数は、肯定的な感情を指標する第１感情指数と、否定的な感情を指標する第２感情指数とを含み、
前記算出するステップは、
前記対象者の皺眉筋の活動量と前記対象者の大頬骨筋の活動量との両方に基づいて前記第１感情指数を算出するステップと、
前記対象者の皺眉筋の活動量と前記対象者の大頬骨筋の活動量との両方に基づいて前記第２感情指数を算出するステップを含む、請求項６に記載の感情推定方法。
前記対象者の生体情報に基づいて前記対象者の覚醒度を算出するステップをさらに含み、
前記推定するステップは、前記複数の感情指数と前記覚醒度と前記対象者の感情との対応関係を参照することによって、前記複数の感情指数と前記覚醒度とから前記対象者の感情を推定するステップを含む、請求項１または２に記載の感情推定方法。
前記推定するステップにより推定した前記対象者の感情を表示装置に経時的に表示するステップをさらに含む、請求項１または２に記載の感情推定方法。
対象者の顔の筋肉のうちの異なる種類の筋肉にそれぞれ対応するように配置され、対応する筋肉の筋電位信号を出力する複数の筋電位センサと、
前記複数の筋電位センサからの複数の筋電位信号に基づいて前記対象者の感情を推定するように構成された演算装置とを備え、
前記演算装置は、
前記複数の筋電位信号にそれぞれ対応する複数の筋肉の活動量の寄与を各々が受ける複数の感情指数を算出し、
前記複数の感情指数と人間の感情との間の関係を示す情報を用いて、前記複数の感情指数から前記対象者の感情を推定する、感情推定システム。