JP2024021933A - 推定装置、推定システム、および、推定方法 - Google Patents

Abstract

【課題】誤差要素が多く、誤判定が起こり易い感情推定において、誤判定を抑制することができる技術を提供する。
【解決手段】例示的な推定装置は、感情を推定する推定装置であって、コントローラを備える。前記コントローラは、生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される３つの領域のいずれに属するかを識別する。前記コントローラは、前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定する。
【選択図】図１０

Description

本発明は、感情の推定を行う技術に関する。

従来、カメラや心拍計等のセンサにより取得した物理量に基づいて、人の感情を推定し、推定した感情を提示する装置が知られる（例えば、特許文献１参照）。

特開２０１７－７３１０７号公報

ところで、人の感情は複雑であり、その分類は容易ではない。例えば、人の感情を推し測ることを可能とする指標の一例である覚醒度について説明する。覚醒度は、脳波等の生体信号から得られる指標値によって、覚醒状態と非覚醒状態とに明確に分けられるわけではなく、あいまいな状態を含む。すなわち、感情の推定は、誤差要素が多く、誤判定が起こり易い傾向がある。

本発明は、上記の点に鑑み、誤差要素が多く、誤判定が起こり易い感情推定において、誤判定を抑制することができる技術を提供することを目的とする。

例示的な本発明の推定装置は、感情を推定する推定装置であって、コントローラを備える。前記コントローラは、生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される３つの領域のいずれに属するかを識別する。前記コントローラは、前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定する。

例示的な本発明によれば、誤差要素が多く、誤判定が大きくなり易い感情推定において、誤判定を抑制することができる。

推定システムの構成例を示す図 感情推定モデル（心理平面）の一例を示す図 第１実施形態の推定装置の構成例を示す図 センサテーブルの一例を示す図 心理平面テーブルの一例を示す図 特殊タスクテーブルの一例を示す図 第１タスクおよび第２タスクの実行時における生理反応の指標値の時間変化を模式的に示した図 生理反応の時間変化を模試的に示す図 ニュートラル領域の推定された上限値の時間変化を示す模式図 ニュートラル領域テーブルの一例を示す図 ニュートラル領域を含む心理平面の一例を示す図 第１実施形態の推定装置によって実行される推定処理の前段部の一例を示すフローチャート 第１実施形態の推定装置によって実行される推定処理の後段部の一例を示すフローチャート 感情の推定結果が表示された画面を例示する図 感情の推定結果が表示された画面を例示する図 第１実施形態の推定装置によって実行される推定処理の前段部の他の例を示すフローチャート 第１実施形態の推定システムの変形例の概略の構成を示す図 第２実施形態の推定装置の構成例を示す図 適性推定用のタスクテーブルの一例を示す図 第２実施形態の推定装置によって実行される適性推定処理の一例を示すフローチャート 第２実施形態の推定装置によって実行される適性推定処理の変形例を示すフローチャート 適性レベルテーブルの一例を示す図 ユーザが感情推定に不適であることを報知する画面例 感情の推定結果を画面に仮表示する例を示す図 第２実施形態の推定装置によって実行される適性推定処理の他の変形例を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．第１実施形態＞
［１－１．推定システム］
図１は、本発明の第１実施形態に係る推定システム１の構成例を示す図である。本実施形態において、ユーザＵ１は、ｅスポーツのプレーヤである。ユーザＵ１は、感情の推定が行われる者である。すなわち、推定システム１は、ｅスポーツのプレーヤＵ１の感情を推定するシステムとして構成されている。

なお、図１には、ユーザＵ１が一人のみ示されているが、ユーザＵ１は複数であってもよい。また、ユーザＵ１は、ｅスポーツのプレーヤ以外であってもよい。例えば、ユーザＵ１は、医療機関における患者、教育機関における生徒、車両のドライバ、映像や音楽といったコンテンツの視聴者等であってもよい。

図１に示すように、推定システム１は、サーバ１０と、端末装置２０と、生体センサ３０と、ゲーム装置４０とを備える。サーバ１０と端末装置２０とは、ネットワークＮを介して接続される。ネットワークＮは、例えばインターネットまたはイントラネットである。端末装置２０と、生体センサ３０およびゲーム装置４０とは、有線または無線により通信可能に設けられる。端末装置２０と、生体センサ３０およびゲーム装置４０とは、例えば、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信規格にしたがって接続される。

サーバ１０は、物理サーバであっても、仮想サーバであってもよい。本実施形態では、サーバ１０は、感情を推定する推定装置を構成する。すなわち、推定システム１は、推定装置１０を備える。以下、サーバ１０のことを推定装置１０と表現する。推定装置１０の詳細については後述する。なお、推定装置１０は、１つのサーバによって構成されても、複数のサーバによって構成されてもよい。

端末装置２０は、例えば、パーソナルコンピュータ、スマートフォン、または、タブレット型コンピュータである。本実施形態では、端末装置２０はオペレータＯ１によって使用される。ただし、端末装置２０は、ユーザＵ１が使用する構成であってもよい。この場合、端末装置２０は、ゲーム装置４０を兼ねてよい。また、端末装置２０は、例えばユーザＵ１の数が複数である場合に、複数とされてもよい。

生体センサ３０は、ユーザＵ１に装着され、ユーザＵ１の生体信号をセンサ信号として検出する。すなわち、推定システム１は、生体信号を計測する生体センサ３０を備える。本実施形態では、生体センサ３０は、第１センサ３１と第２センサ３２とを含む。第１センサ３１は、ヘッドギア型の脳波センサである。第２センサ３２は、リストバンド型の光学式心拍（脈拍）センサである。ただし、第１センサ３１および第２センサ３２は、取得したい生体情報等に応じて他の生体センサに変更されてよい。他の生体センサは、例えば、心電式心拍センサ、血圧計、または、ＮＩＲＳ（Near Infrared Spectroscopy）装置等であってよい。

ゲーム装置４０は、ユーザＵ１がゲームに関わる操作等を行う操作部４１と、表示画面を有する表示部４２とを備える。ゲーム装置４０は、当該装置を操作するユーザＵ１の情報等を、端末装置２０に適宜送信する。また、ゲーム装置４０は、端末装置２０から適宜情報を受信する。

ここで、図１を参照して、推定システム１の処理の流れを説明する。

第１センサ３１および第２センサ３２は、ユーザＵ１の生体信号を計測し、計測結果をセンサ信号として端末装置２０に出力する（ステップＳ１）。端末装置２０は、入力されたセンサ信号を推定装置（サーバ）１０に送信する。推定装置１０は、入力されたセンサ信号に基づき、ユーザＵ１の感情状態を推定する（ステップＳ３）。

ここで、ステップＳ３の感情推定の概要について説明する。推定装置１０は、入力されたセンサ信号に基づき、心身状態を示す指標（生理反応）の値である指標値を生成する。本実施形態では、推定装置１０は、脳波および心拍に関する２つの心身状態を示す指標の指標値を生成する。例えば、脳波に関する心身状態を示す指標は、中枢神経系覚醒度（以下、単に覚醒度と記載する）であり、その指標値は「脳波のβ波／α波」で与えることができる。また、例えば、心拍に関する心身状態を示す指標は、自律神経系の活性度であり、その指標値は「心拍ＬＦ成分の標準偏差」で与えることができる。指標値は、予めメモリ等に記憶される算出用のモデル（算出式や変換データテーブル）を用いて算出される。

なお、第１センサ３１および第２センサ３２が演算機能を有する構成（コンピュータ等が内蔵された構成）として、センサ３１、３２が、指標値を算出する構成としてもよい。また、端末装置２０が、第１センサ３１および第２センサ３２から入力されたセンサ信号に基いて指標値を算出する構成としてもよい。

推定装置１０は、算出した指標値と、予めメモリ等に記憶される感情推定モデルとを用いてユーザＵ１の感情を推定する。なお、感情推定モデルは、医学的エビデンス（論文等）に基づいて作成される。

図２は、感情推定モデル（心理平面）の一例を示す図である。心理学に関する各種医学的エビデンスによると、心理は身体状態を示す２種類の指標に基づき推定できるとされる。図２に示される２種類の心身状態の指標を軸とする心理平面は、当該技術思想に従った感情推定モデルの一例である。図２において、一例として、縦軸は「覚醒度（覚醒－不覚醒）」、横軸は「自律神経系の活性度（交換神経活性（強い感情）－副交感神経活性（弱い感情）」である。

図２に示す心理平面では、縦軸と横軸で分離される４つの象限のそれぞれに、該当する心理状態が割り当てられている。各軸からの距離が、該当する心理状態の強度を示す。図２の例では、第一象限に「楽しい、喜び、怒り、悲しみ」の心理状態が割り当てられている。また、第二象限に「憂鬱」の心理状態が割り当てられている。また、第三象限に「リラックス、落ち着き」の心理状態が割り当てられている。また、第四象限に「不安、恐怖、不愉快」の心理状態が割り当てられている。

生体信号の計測結果に基づいて得られる２種類の心身状態の指標値を、心理平面にプロットすることにより得られる座標から、心理状態の推定を行うことができる。具体的には、プロットした座標が、心理平面のどの象限に存在するか、また原点から距離がどの程度であるかに基づき、心理状態とその強度を推定することができる。

なお、本実施形態では、詳細には、図２に示す感情推定モデルに対してキャリブレーションを行い、キャリブレーション後の感情推定モデルを用いて感情の推定が行われる。これについては後述する。また、図２に示す例では、感情推定モデルは２次元の平面であるが、３次元以上の空間であってもよい。

図１に戻って、推定装置１０は、感情の推定を行うと、得られた推定結果を端末装置２０に提供（送信）する（ステップＳ４）。例えば、端末装置２０は、受信したユーザＵ１の感情情報を、オペレータＯ１の操作に基づき画面に表示する。また、例えば、端末装置２０は、受信したユーザＵ１の感情情報を、ゲーム装置４０の表示部４２に表示させる。また、端末装置２０は、受信したユーザＵ１の感情情報を、外部のゲームシステムに提供する。

感情の推定結果は、例えばｅスポーツにおけるユーザＵ１のメンタルトレーニングに利用することができる。例えば、ビデオゲームのプレイ中に、ユーザＵ１が勝負において不利な感情（不安、怒り等）を覚えた場面については、当該感情状態に対応した集中的なトレーニングが必要と判断される。当該トレーニングにおいて、推定システム１で推定されたユーザＵ１の感情情報が利用される。

また、各種ｅスポーツには、複数のユーザＵ１が協力してプレイするタイプや、複数のユーザＵ１が対戦するタイプがある。このようなタイプのｅスポーツにおいて、各プレーヤの感情状態が表示される構成等とすると、感情状態に応じてゲーム戦術を変える等、高度なゲームプレイが行うことが可能になる。また、ｅスポーツの観戦者が各プレーヤの感情状態を把握してゲームを観戦するといった構成も可能であり、ゲーム観戦の楽しみの要素を増やすことができる。

また、推定システム１によって感情を推定する対象（ユーザＵ１）が医療機関における患者である場合、推定された感情は、検査及び治療等に利用することができる。例えば、医療機関のスタッフは、患者が不安に感じていることを把握して、カウンセリング等の対応策を施すことができる。なお、医療機関のスタッフは、オペレータＯ１（図１参照）の一例であってよい。

また、推定システム１によって感情を推定する対象（ユーザＵ１）が教育機関における生徒である場合、推定された感情は、授業内容の改善に利用することができる。例えば、教師は、生徒が授業を退屈に感じていることを把握して、授業の内容を生徒が興味を引く内容に改善することができる。なお、教師は、オペレータＯ１（図１参照）の一例であってよい。

また、推定システム１によって感情を推定する対象（ユーザＵ１）が車両のドライバである場合、推定された感情は、安全運転の促進に利用することができる。例えば、車載装置は、ドライバが運転中に適度な緊張を感じていないことを把握して、運転に集中することを促すメッセージを出力することができる。なお、車載装置は、端末装置２０の一例であってよい。

また、推定システム１によって感情を推定する対象（ユーザＵ１）が、映像や音楽といったコンテンツの視聴者である場合、推定された感情は、さらなるコンテンツの作成に利用することができる。例えば、映像コンテンツの配信者は、視聴者が楽しく感じたシーンを集めて、ハイライト映像を作成することができる。なお、映像コンテンツの配信者は、オペレータＯ１（図１参照）の一例であってよい。

なお、以上においては、サーバ１０が推定装置である例を示したが、例えば、端末装置２０や、ｅスポーツのプレーヤが使用するゲーム装置４０が推定装置であってもよい。また、例えば、推定装置は、複数の装置で構成されてよい。例えば、通信接続されたサーバ１０、端末装置２０、および、ゲーム装置４０が、感情を推定するための処理を分散して行ってもよい。

［１－２．推定装置］
図３は、本発明の第１実施形態に係る推定装置１０の構成例を示す図である。なお、図３においては、本実施形態の特徴を説明するために必要な構成要素が示されており、一般的な構成要素についての記載は省略されている。図３に示すように，推定装置１０は、通信部１１および記憶部１２を備える。また、推定装置１０はコントローラ１３を備える。推定装置１０は、いわゆるコンピュータ装置であってよい。なお、推定装置１０は、キーボード等の入力装置や、ディスプレイ等の出力装置を備える構成であってもよい。

通信部１１は、ネットワークＮを介して他の装置との間でデータの通信を行うためのインタフェースである。通信部１１は、例えばＮＩＣ（Network Interface Card）である。

記憶部１２は、揮発性メモリおよび不揮発性メモリを含んで構成される。揮発性メモリには、例えばＲＡＭ（Random Access Memory）が含まれてよい。不揮発性メモリには、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、又は、ハードディスクドライブが含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納される。なお、不揮発性メモリに格納されるプログラムおよびデータの少なくとも一部は、有線や無線で接続される他のコンピュータ装置、又は、可搬型記録媒体から取得される構成としてもよい。

図３に示すように、本実施形態では、記憶部１２には、テーブル（データテーブル）１２１が含まれる。詳細には、テーブル１２１には、各種処理用の複数のテーブルが含まれる。例えば、テーブル１２１には、センサテーブル１２１ａおよび心理平面テーブル１２１ｂが含まれる。図４Ａは、センサテーブル１２１ａの一例を示す図である。図４Ｂは、心理平面テーブル１２１ｂの一例を示す図である。

図４Ａに示すように、センサテーブル１２１ａの項目には、「センサＩＤ」、「センサ種別」、「生体信号種別」、「対応指標ＩＤ」、「対応指標種別」、および、「指標変換情報」が含まれる。なお、テーブルの項目は、データ記憶セル（記憶枠）に対応する。

センサテーブル１２１ａの項目「センサＩＤ」は、センサテーブル１２１ａにおけるデータレコードを識別するための識別情報であるセンサＩＤデータを記憶する。センサＩＤデータは、センサテーブル１２１ａにおけるデータレコードの主キーでもある。つまりセンサテーブル１２１ａでは、センサＩＤデータごとにデータレコードが構成され、当該データレコードにセンサＩＤデータに紐づいた各項目のデータが記憶されることになる。

センサテーブル１２１ａの項目「センサ種別」は、センサ種別を特定するための情報を記憶する。本例では、センサ名称（型番等のデータでも可）が記憶される。

センサテーブル１２１ａの項目「生体信号種別」は、センサにより検出される生体信号に基づく計測値の種別を記憶する。この生体信号種別データは、対応指標種別データと相関のあるデータである。学術的に、対応指標種別データは、それと対応する生体信号種別データを取得することにより推定（算出）できると認識されている。

センサテーブル１２１ａの項目「対応指標ＩＤ」は、生体信号を検出するセンサの信号に基づき生成（算出）される心身状態指標を識別するための識別情報を記憶する。そして、センサテーブル１２１ａの項目「対応指標種別」は、指標の種別（名称等）を記憶する。

センサテーブル１２１ａの項目「指標変換情報」は、生体信号を検出するセンサから得られる信号に基づき指標値を算出するための変換情報（演算式や変換データテーブル等）を記憶する。つまり、センサＩＤデータに対応するセンサにより検出された生体信号を、指標変換情報に従って変換処理することにより、対応指標ＩＤで識別される心身状態指標の指標値が推定（算出）されることになる。

たとえば、図４Ａで示すセンサテーブル１２１ａにおけるセンサＩＤ「ＳＮ０１」のデータレコードは、次のような情報を有する。「脳波センサＢＡ」の出力信号により「脳波のβ波／α波」が計測される。そして、この「脳波のβ波／α波」を「ＦＸ０１」の指標変換情報を用いて変換することによって、「覚醒度」の指標値が得られる。

図４Ｂに示すように、心理平面テーブル１２１ｂは、指標種別（具体的には指標ＩＤデータを使用）を縦軸および横軸のパラメータとする２次元マトリックステーブルである。心理平面テーブル１２１ｂにおいては、２種類の指標種別で定まる記憶セル（記憶枠）に、当該２種類の指標種別データで使用できる心理平面種別のデータが記憶されている。例えば、指標として用いる指標種別が、指標種別ＶＳｍと指標種別ＶＳｎであれば、感情の推定に用いる心理平面は心理平面ｍｎとなる。心理平面ｍｎを用いた処理を行なうための情報が読み出され、感情の推定処理に使用されることになる。

なお、センサテーブル１２１ａと心理平面テーブル１２１ｂとにおいては、共通の指標ＩＤが用いられる。すなわち、センサテーブル１２１ａと心理平面テーブル１２１ｂとに基づいて、ユーザＵ１に装着された２種類のセンサに対応する心理平面ｍｎを決定することができる。例えば、ユーザＵ１に装着されたセンサ種別が「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」と「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」であるとする。この場合、「脳波センサＢＡ（指標ＩＤ：ＶＳ０１）」および「心拍センサＨＡ（指標ＩＤ：ＶＳ０２）」に対応する指標ＩＤデータがセンサテーブル１２１ａに基づき決定される。そして、心理平面テーブル１２１ｂに基づき、「覚醒度」（ＶＳ０１）と「自律神経系活性度」（ＶＳ０２）を指標とする心理平面０１－０２が、感情の推定に用いる心理平面として決定されることになる。

図３に戻って、コントローラ１３は、演算処理等を行うプロセッサを含む。プロセッサは、例えばＣＰＵ（Central Processing Unit）を含んで構成されてよい。コントローラ１３は、１つのプロセッサで構成されてもよいし、複数のプロセッサで構成されてもよい。複数のプロセッサで構成される場合には、それらのプロセッサは互いに通信可能に接続されればよい。なお、推定装置１０がクラウドサーバで構成される場合、プロセッサを構成するＣＰＵは仮想ＣＰＵであってよい。

図３に示すように、コントローラ１３は、その機能として、取得部１３１と、領域決定部１３２と、感情推定部１３３と、提供部１３４とを備える。本実施形態においては、コントローラ１３の機能は、記憶部１２に記憶されるプログラムにしたがった演算処理をプロセッサが実行することによって実現される。

なお、本実施形態の範囲には、推定装置１０の少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。不揮発性記録媒体は、例えば、上述の不揮発性メモリの他、光記録媒体（例えば光ディスク）、光磁気記録媒体（例えば光磁気ディスク）、ＵＳＢメモリ、或いは、ＳＤカード等であってよい。

また、各機能部１１１～１１４は、１つのプログラムにより実現されてもよいが、例えば、機能部ごとに別々のプログラムにより実現される構成であってもよい。また、各機能部１１１～１１４が別々のサーバとして実現されてもよい。また、各機能部１１１～１１４は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。各機能部１１１～１１４の少なくとも一部は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等を用いて実現されてもよい。すなわち、各機能部１１１～１１４は、専用のＩＣ等を用いてハードウェアにより実現されてもよい。また、各機能部１１１～１１４は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、各機能部１１１～１１４は、概念的な構成要素である。１つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が１つの構成要素に統合されてもよい。

取得部１３１は、通信部１１を介して、端末装置２０から第１センサ３１および第２センサ３２で計測されたデータ（センサ信号）を受信する。取得部１３１は、受信したデータを、その後の処理のために必要に応じて記憶部１２に記憶する。

領域決定部１３２は、感情推定モデル（本例では心理平面）を、各ユーザＵ１の感情の推定に適したモデルとするためのキャリブレーションを行うための準備処理を実行する。ここで、当該準備処理の具体的な内容について説明する前に、キャリブレーションが必要な理由について説明する。

上述した図２に示す心理平面においては、生体信号に基づく各指標（縦軸および横軸）が２つの領域に分割されている。このような心理平面を利用する場合、例えば次のようになる。覚醒度を表す指標値は、「覚醒」と「非覚醒」とのいずれか一方に分類され、自律神経系活性度を表す指標は、「交感神経活性（強い感情）」と「副交感神経活性（弱い感情）」とのいずれか一方に分類される。しかしながら、例えば、覚醒度の場合を例に説明すると、人間の心身状態は、覚醒と非覚醒という状態だけでなく、どちらとも言えないニュートラルな状態もある。そして、このニュートラルな状態の範囲は、一般に個人差が存在する。同様なことが、自律神経系活性度にも言える。このために、図２に示す心理平面を単純に利用して感情の推定を行うと、感情の推定に誤りが生じる可能性がある。このような点を考慮して、本実施形態では、感情推定モデルである心理平面をキャリブレーションして利用する構成となっている。

領域決定部１３２は、キャリブレーションの準備処理として、生体信号に基づく各指標を、ニュートラル領域、正領域、および、負領域で構成される３つの領域に分割する処理を行う。別の言い方をすると、領域決定部１３２は、心理平面の縦軸および横軸を構成する各生理反応を上述の３つの領域に分けるために、ニュートラル領域を決定する領域決定処理を行う構成になっている。

なお、ニュートラル領域は、生理反応（心身状態）が曖昧であり、特定することができない領域である。正領域は、ニュートラル領域に対して一方側の領域であり、ニュートラル領域よりも指標値が大きくなる領域である。負領域は、ニュートラル領域に対して他方側の領域であり、ニュートラル領域よりも指標値が小さくなる領域である。正領域および負領域では、生理反応は明確である。例えば生理反応の種別が覚醒度の場合、正領域は覚醒状態を示し、負領域は非覚醒状態を示す。例えば生理反応の種別が自律神経系活性度の場合、正領域は交感神経が活性である状態を示し、負領域は副交感神経が活性である状態を示す。

以下、領域決定部１３２が、各指標（生理反応）においてニュートラル領域を決定する領域決定処理について２つの例を挙げて説明する。

領域決定処理の第１の例では、ユーザＵ１に特殊タスクを実行させ、当該タスクの実行時における生体信号の計測結果に応じてニュートラル領域を決定する。特殊タスクは、医学的エビデンスに基づいて決められ、生理反応の種別ごとに予め準備される。予め準備された特殊タスクは、特殊タスクテーブル１２１ｃとして記憶部１２に記憶されている。すなわち、本実施形態においては、テーブル１２１（図３参照）には、特殊タスクテーブル１２１ｃが含まれる。

図５は、特殊タスクテーブル１２１ｃの一例を示す図である。図５に示すように、特殊タスクテーブル１２１ｃの項目には、「タスクＩＤ」、「センサ種別」、「対応指標種別」、「タスク種別」、および、「タスク内容」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図４Ａと同様であるために、説明は省略する。なお、「対応指標種別」は、対応生理反応種別と表現してもよい。

特殊タスクテーブル１２１ｃの項目「タスクＩＤ」は、特殊タスクテーブル１２１ｃにおけるタスク情報を識別するための識別情報であるＩＤデータを記憶する。

特殊タスクテーブル１２１ｃの項目「タスク種別」は、生理反応を大とする第１タスクと、生理反応を小とする第２タスクとのいずれであるかを記憶する。なお、生理反応が大となると、指標値が大となる。生理反応が小となると、指標値が小となる。生理反応を大とするタスクであるか、小とするタスクであるかは、医学的エビデンスに基づいて決められる。例えば生理反応の種別が覚醒度である場合、覚醒度を大きくするタスクは第１タスクであり、覚醒度を小さくするタスクは第２タスクである。また、例えば生理反応の種別が自律神経系活性度である場合、交感神経を活性とするタスクは第１タスクであり、副交感神経を活性とする（すなわち、交感神経を不活性とする）タスクは第２タスクである。

特殊タスクテーブル１２１ｃの項目「タスク内容」は、ユーザＵ１に実行させるタスクの具体的な内容を記憶する。タスク内容は、上述のタスク種別と共に医学的エビデンスに基づき決定される。例えば生理反応の種別が覚醒度である場合の第１タスクのタスク内容は、「表示される数字を暗算加算」である。暗算加算の回数は、例えば１０回等であってよい。また、例えば生理反応の種別が覚醒度である場合の第２タスクのタスク内容は、「安静にして拳を握る」である。拳を握って安静にする時間は、例えば３分等であってよい。また、例えば生理反応の種別が自律神経系活性度である場合の第１タスクのタスク内容は、「起立テスト」である。起立テストでは、例えば、所定時間開眼仰臥位で安静とし、その後、上半身を起こして開眼長座位で所定時間安静とすることが要求される。所定時間は３分等であってよい。また、例えば生理反応の種別が自律神経系活性度である場合の第２タスクのタスク内容は、「アシュネルテスト」である。アシュネルテストでは、例えば、閉眼安静状態にて、片目の瞼を人差し指および中指の腹で静かに所定時間押すことが要求される。アシュネルテストの別の例は、アイマスクを所定時間着用することであってもよい。所定時間は３分等であってよい。

特殊タスクテーブル１２１ｃの内容からわかるように、各生理反応においてニュートラル領域を決定するにあたっては、生理反応の種別ごとに、ユーザＵ１による第１タスクおよび第２タスクの実行が必要とされる。領域決定部１３２（すなわちコントローラ１３）は、各生理反応においてニュートラル領域を決定するにあたっては、次のような処理を行う。まず、領域決定部１３２は、互いを比較した場合に、タスクの実行時に得られる指標値が大きくなるとされる第１タスクと、小さくなるとされる第２タスクとをユーザＵ１に実行させる。そして、領域決定部１３２は、第１タスクおよび第２タスクの実行により得られる指標値に基づきニュートラル領域を決定する。なお、ニュートラル領域が決定されると、正領域および負領域は自動的に決定される。すなわち、生理反応（指標）を３つの領域に分割することができる。また、生理反応種別ごとに行われる第１タスクと第２タスクとが行われるタイミングは、時間差を有し、タスクごとに生理反応の計測が行われる。

このような構成では、感情の推定の前に、ユーザＵ１に事前に特殊タスクを実行させて、その結果に応じて正領域、ニュートラル領域、および、負領域が決定されることになる。このために、ユーザＵ１が現在置かれている環境等を適切に反映して、生理反応（指標）を３つの領域に分割することができる。すなわち、感情の推定を適切に行うことが期待できる。

上述のニュートラル領域の決定手法の具体例について、図６を参照しながら説明する。図６は、第１タスクおよび第２タスクの実行時における生理反応の指標値の時間変化を模式的に示した図である。図６において、横軸は時間、縦軸は生理反応（指標）である。図６において、信号αは、第１タスクの実行時に得られる指標値の時間変化に相当する。信号βは、第２タスクの実行時に得られる指標値の時間変化に相当する。図６では、第１タスク、第２タスクの順に特殊タスクが実行されているが、これは例示であり、第２タスク、第１タスクの順に特殊タスクが実行されてもよい。また、図６において、矢印ＮＲで示される領域（縦軸の一部の領域）は、ニュートラル領域に該当する。

領域決定部１３２は、第１タスクの実行時に得られる指標値の時間変化データを統計処理して、ニュートラル領域ＮＲの上限値を決定する。例えば、領域決定部１３２は、第１タスクの実行時に得られる指標値の時間変化データをスムージング処理し、スムージング処理後のデータの最小値をニュートラル領域ＮＲの上限値とする。また、領域決定部１３２は、第２タスクの実行時に得られる指標値の時間変化データを統計処理して、ニュートラル領域ＮＲの下限値を決定する。例えば、領域決定部１３２は、第２タスクの実行時に得られる指標値の時間変化データをスムージング処理し、スムージング処理後のデータの最大値をニュートラル領域ＮＲの下限値とする。なお、スムージング処理は、例えば、微細なピーク信号のようなノイズ成分等の除去を目的として行われてよい。

換言すると、領域決定部１３２（すなわちコントローラ１３）は、第１タスクの実行時に得られる指標値により、ニュートラル領域と正領域との境界を定める。また、領域決定部１３２は、第２タスクの実行時に得られる指標値により、ニュートラル領域と負領域との境界を定める。このような構成は、生理反応の大小の差が大きい２つのタスク（第１タスクおよび第２タスク）を準備できる場合に好適である。

なお、領域決定部１３２は、生理反応の種別ごとにニュートラル領域の上限値および下限値を決定する。このために、本実施形態では、２つの生理反応（覚醒度および自律神経系活性度）のそれぞれについて、第１タスクおよび第２タスクで構成される特殊タスクの実行がユーザＵ１に対して要求される。そして、２つの生理反応のそれぞれについて、特殊タスクの実行時の生体信号の計測結果に応じてニュートラル領域の決定処理が行われる。

また、以上では、第１タスクの実行時に得られる指標値の変動範囲である第１変動範囲と、第２タスクの実行時に得られる指標値の変動範囲である第２変動範囲とが離れていることを前提として、２つの変動範囲の間をニュートラル領域ＮＲとした（図６参照）。なお、指標値の変動範囲は、指標値の時間変化に伴う値変動の範囲のことを指す。しかしながら、例えば、第１タスクと第２タスクとの間で生理反応の大小差が小さい場合には、第１変動範囲と第２変動範囲とが重なることもあり得る。このような場合には、例えば、第１タスクの実行時に得られる指標値の時間変化データをスムージング処理して得られるデータの最小値をニュートラル領域ＮＲの下限値としてよい。また、例えば、第２タスクの実行時に得られる指標値の時間変化データをスムージング処理して得られるデータの最大値をニュートラル領域ＮＲの上限値としてよい。

換言すると、領域決定部１３２（すなわちコントローラ１３）は、第２タスクの実行時に得られる指標値により、ニュートラル領域と正領域との境界を定めてよい。また、領域決定部１３２は、第１タスクの実行時に得られる指標値により、ニュートラル領域と負領域との境界を定めてもよい。更に別の言い方をすると、上記第１変動範囲と上記第２変動範囲とが重なる領域をニュートラル領域ＮＲに決定してよい。上記第１変動範囲と上記第２変動範囲とが重なる領域に基づいてニュートラル領域ＮＲを決定してよい。このような構成の採用により、第１タスクおよび第２タスクを決定する上での制約を緩和して、特殊タスクの設定を行い易くすることができる。

次に、ニュートラル領域を決定する領域決定処理の第２の例について説明する。第２の例では、ユーザＵ１に対して特殊タスクの実行を要求しない。第２の例では、生理反応の時系列データの蓄積が進むにつれて、統計処理で推定されるニュートラル領域の上限値と下限値とのそれぞれが一定の値に収束するという点に着目して、ニュートラル領域を決定する。なお、ニュートラル領域が決定されると、正領域および負領域は自動的に決定される。すなわち、ニュートラル領域が決定されると、生理反応を３つの領域に分割することができる。

換言すると、第２の例では、領域決定部１３２（すなわちコントローラ１３）は、指標値の時系列データを蓄積し、時系列データの統計処理結果に基づきニュートラル領域を決定する。このような構成では、感情の推定を行う前にユーザＵ１に対して特殊タスクの実行を要求する必要がなく、ユーザＵ１の負担を低減することができる。

特殊タスクなしでニュートラル領域を決定する手法について、図７および図８を参照しながら説明する。図７は、生理反応の時間変化を模式的に示す図である。図７において、横軸は時間、縦軸は生理反応（指標）である。図８は、ニュートラル領域（図７参照）の推定された上限値の時間変化を示す模式図である。図８において、横軸は時間、縦軸はニュートラル領域の推定される上限値である。なお、ニュートラル領域の推定される下限値の時間変化は、図８に示す上限値と同様の時間変化を示す。すなわち、図８に示すグラフの縦軸は下限値と読み替えられてもよい。

図７に示すように、人の生理反応（心身状態とも言える）は、特殊タスクを与えなくても、時間の変化（時間に伴い変化する環境等の変化に基づく）とともに様々な状態に変化する。詳細には、時間変化に伴い、生理反応が、大きい状態、小さい状態、或いは、曖昧な状態（ニュートラル状態）間で変動する。生理反応は外部からの刺激等により上下に変移するため、生理反応の値の分布は統計的に特徴あるものとなる。例えば、外部刺激等が無い状態が多いので、通常、生理反応の値はニュートラル領域に含まれる。刺激があると生理反応の値は急に変動する等の傾向がある。生理反応の時系列データを蓄積し、蓄積したデータを先の３つの状態に分けるクラスタ分析を行うことによってニュートラル領域の上限値と下限値を推定することができる。クラスタ分析には、公知の手法が利用されればよい。例えば、クラスタ分析の手法として、ｋ－ｍｅａｎｓ法、大津の多値化手法、混合ガウスモデル等が利用されてよい。

図８においては、時間の経過にともなって、生理反応の時系列データの蓄積量が増大することが想定されている。すなわち、図８においては、統計手法（詳細例はクラスタ分析）を用いたニュートラル領域の上限値の推定に利用されるデータ量は、時間の経過とともに増大することが想定されている。時間の経過にともなってデータ量が増大することにより、推定される上限値は、図８に示すように時間の経過にともって一定の値に収束していく。この傾向は、上述のように下限値でも同様である。収束した上限値および下限値で特定されるニュートラル領域は、信頼性が高いと解される。このために、本例では、推定される上限値および下限値が収束したと判定された段階で、ニュートラル領域を決定する構成としている。

なお、上限値が収束したか否かは、現時点における推定の上限値と、前回の推定の上限値との比較に基づき判定されてよい。例えば、両者の比が１に対して所定の範囲内であれば、収束したと判定されてよい。また、本例においても、領域決定部１３２は、生理反応の種別ごとにニュートラル領域の上限値および下限値を決定する。

領域決定部１３２は、特殊タスクを行って、或いは、特殊タスクを行うことなく決定した上限値および下限値を記憶部１２に記憶する。詳細には、領域決定部１３２は、決定した上限値および下限値をデータテーブル化して記憶部１２に記憶する。すなわち、テーブル１２１（図３参照）には、ユーザＵ１ごとのニュートラル領域情報を含むニュートラル領域テーブル１２１ｄが含まれる。

図９は、ニュートラル領域テーブル１２１ｄの一例を示す図である。図９に示すように、ニュートラル領域テーブル１２１ｄの項目には、「ユーザＩＤ」、「センサ種別」、「対応指標種別」、「上限値」、「下限値」、および、「取得日時」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図４Ａや図５と同様であるために、説明は省略する。

ニュートラル領域テーブル１２１ｄの項目「ユーザＩＤ」は、ニュートラル領域テーブル１２１ｄにおけるユーザ情報を識別するための識別情報であるユーザＩＤデータを記憶する。ユーザＩＤデータは、例えば、ゲーム装置４０から端末装置２０を介して推定装置１０に送信される。

ニュートラル領域テーブル１２１ｄの項目「上限値」および「下限値」には、領域決定部１３２により決定された上限値および下限値の情報が記憶される。ニュートラル領域テーブル１２１ｄの項目「取得日時」には、上限値および下限値の情報が記憶された日時情報が記憶される。ユーザＩＤ等の項目ごとに決定される上限値および下限値は、最新の情報が取得されるごとに更新される。また、上限値および下限値の情報が更新されると、取得日時も更新される。

図３に戻って、感情推定部１３３は、取得部１３１が取得したデータに基づき感情の推定に用いるモデルを選択する。具体的には、感情推定部１３３は、取得されたデータとセンサテーブル１２１ａとを照合して、取得したデータに含まれるセンサ種別および生体信号種別に対応する「対応指標種別」のデータ（指標種別データ）を抽出する。そして、感情推定部１３３は、抽出した指標種別データの「指標ＩＤ」と心理平面テーブル１２１ｂとを照合して、感情の推定に用いるモデル（心理平面）を選択する。例えば、センサＩＤが「ＳＮ０１」（センサ種別：脳波センサＢＡ）と「ＳＮ０２」（センサ種別：心拍センサＨＡ）の場合、対応する指標ＩＤは、「ＶＳ０１」（指標種別：覚醒度）と「ＶＳ０２」（指標種別：自律神経系活性度）となる（図４Ａ参照）。これらに基づき、感情推定部１３３は、使用する感情推定モデルとして心理平面０１－０２を選択する。

感情推定部１３３は、使用する心理平面を選択すると、感情推定の対象となっているユーザＵ１のユーザＩＤを用いて、ニュートラル領域テーブル１２１ｄから選択した心理平面の指標種別に対応するニュートラル領域の上限値および下限値を抽出する。そして、感情推定部１３３は、選択した心理平面を、抽出した上限値および下限値を用いてニュートラル領域を含む心理平面に加工する。別の言い方をすると、感情推定部１３３は、予め準備された感情推定モデルに対してキャリブレーションを行う。

図１０は、ニュートラル領域を含む心理平面の一例を示す図である。図１０に示すニュートラル領域を含む心理平面は、図２に示す心理平面を加工したものである。図１０において、斜線で示す領域ＮＲは、ニュートラル領域である。指標種別「覚醒度」の上限値により、覚醒度（縦軸）におけるニュートラル領域と正領域との境界が決まる。指標種別「覚醒度」の下限値により、覚醒度（縦軸）におけるニュートラル領域と負領域との境界が決まる。指標種別「自律神経系活性度」の上限値により、自律神経系活性度（横軸）におけるニュートラル領域と正領域との境界が決まる。指標種別「自律神経系活性度」の下限値により、自律神経系活性度（横軸）におけるニュートラル領域と負領域との境界が決まる。

加工された心理平面において、指標種別「覚醒度」の上限値および下限値により決まる第１ニュートラル領域ＮＲ１は、横軸と平行な方向に延びる帯状の領域である。また、加工された心理平面において、指標種別「自律神経系活性度」の上限値および下限値により決まる第２ニュートラル領域ＮＲ２は、縦軸と平行な方向に延びる帯状の領域である。心理平面に設けられるニュートラル領域ＮＲは、第１ニュートラル領域ＮＲ１と第２ニュートラル領域ＮＲ２とで構成され、その形状は、十字架状である。なお、それぞれ帯状に構成される第１ニュートラル領域ＮＲ１と第２ニュートラル領域ＮＲ２との幅は、互いに同じとなる場合もあるし、互いに異なる場合もある。また、図１０に示す例では、第１ニュートラル領域ＮＲ１および第２ニュートラル領域ＮＲ２とは、それぞれ縦軸または横軸と重なっている。ここでいう縦軸および横軸は、当初、生体信号値から予想（設定）された軸のことである。ただし、第１ニュートラル領域ＮＲ１および第２ニュートラル領域ＮＲ２のうちの少なくとも一方が軸（当初予定の軸）からずれた位置となる場合もある。別の言い方をすると、ニュートラル領域ＮＲの決定は、結果として縦横軸（原点を通る）を決めることになると言うことができる。各ニュートラル領域ＮＲ１、ＮＲ２の中間位置が縦横軸とされてよい。

感情推定部１３３は、キャリブレーションを行った心理平面を生成すると、当該心理平面を用いて感情の推定処理を実行する。感情推定部１３３は、取得部１３１により取得された生体信号に基づく情報をセンサテーブル１２１ａにおける指標変換情報を用いて指標値に変換する。本実施形態では、第１センサ３１（センサ種別：脳波センサＢＡ）と第２センサ３２（センサ種別：心拍センサＨＡ）とから得られるデータを用いて、覚醒度の指標値と、自律神経系活性度の指標値とが求められる。

そして、感情推定部１３３は、先の加工により得られたニュートラル領域ＮＲを含む心理平面上に、各指標値をプロットして得られる座標の位置に応じて感情の推定を行う。本実施形態では、覚醒度を縦軸、自律神経系活性度を横軸としニュートラル領域を含む心理平面（図１０参照）上に、覚醒度の指標値と自律神経系活性度の指標値とをそれぞれプロットして得られる座標の位置に応じて感情の推定を行う。

感情推定部１３３は、指標値のプロットにより得られる座標位置がニュートラル領域ＮＲである場合、ユーザＵ１の感情の種別を特定できない状態であると判定する。すなわち、感情推定部１３３は、感情不定状態であると判定する。一方、指標値のプロットにより得られる座標位置がニュートラル領域ＮＲの領域外である場合には、ユーザＵ１の感情の種別が、座標位置に対応する感情であると推定（特定）する。例えば、座標位置が、図１０における第１ニュートラル領域ＮＲ１よりも上側、且つ、第２ニュートラル領域ＮＲ２よりも右側である場合（第一象限である場合）、「楽しい、喜び、怒り、悲しみ」といった感情を有すると推定（特定）する。

以上からわかるように、コントローラ１３は、生体信号に基づく指標値が、ニュートラル領域、ニュートラル領域に対して一方側の正領域、および、ニュートラル領域に対して他方側の負領域で構成される３つの領域のいずれに属するかを識別する。そして、コントローラ１３は、指標値がニュートラル領域に属する場合に、感情不定状態であると判定する。なお、この感情不定状態であるとの判定は、例えば「感情不定状態フラグ」を立てるといった直接的判定であってよい。また、この感情不定状態であるとの判定には、先に示した直接的判定だけでなく、指標値がニュートラル領域に属する場合に以降の処理内容を変更するといった実質的な判定を行う間接的判定が含まれてもよい。

また、コントローラ１３は、指標値を複数種求める。コントローラ１３は、複数種の指標値のそれぞれについて上述の３つの領域のいずれに属するかを識別する。コントローラ１３は、複数種の指標値のいずれもがニュートラル領域の領域外である場合に、複数種の指標値と、予め準備された感情推定モデルとを用いて感情の種別を特定する。なお、本実施形態では、複数種は２種類である。ただし、３種類以上の指標値が求める構成であってよい。この場合、感情推定モデルは、２次元の平面ではなく、３次元以上の空間とされてよい。

本実施形態のように、ニュートラル領域を設けて感情の推定を行う構成とすると、誤差要素が多く、誤判定が生じ易い傾向がある感情の推定処理において、誤った推定を行う可能性を低減することができる。また、ニュートラル領域は、ユーザＵ１ごとに作成される。そして、ニュートラル領域の位置や大きさ（幅）は、ユーザＵ１ごとに、通常は異なる。ニュートラル領域が設けられることによって、各ユーザの特性に合わせた感情の推定を行うことができ、感情の推定精度を向上させることができる。

図３に戻って、提供部１３４は、感情推定部１３３が推定した感情の情報を、ネットワークＮを介して端末装置２０に提供する。これにより、オペレータＯ１は、提供部１３４により提供された感情の情報を閲覧する等して利用する。オペレータＯ１は、感情の情報をｅスポーツのプレーヤであるユーザＵ１に提供してもよい。

［１－３．推定方法］
次に、推定装置１０によって実行される推定方法について説明する。

なお、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、本実施形態の範囲に含まれる。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態の範囲に含まれる。また、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、１つのプログラムのみで構成されてもよいが、複数のプログラムによって構成されてもよい。

（１－３－１．特殊タスクを行う場合）
まず、特殊タスクを行ってニュートラル領域を決定した後に、感情の推定を行う場合の処理例について説明する。図１１は、第１実施形態の推定装置１０によって実行される推定処理の前段部の一例を示すフローチャートである。図１２は、第１実施形態の推定装置１０によって実行される推定処理の後段部の一例を示すフローチャートである。ここで、推定処理の前段部は、上述のニュートラル領域を決定する領域決定処理に該当する。そして、図１１に示す例においては、推定処理の前段部は、特殊タスクを実行する場合の領域決定処理に該当する。また、推定処理の後段部は、感情推定モデルを利用した感情の推定処理に該当する。

図１１に示す処理は、例えば、第１センサ３１および第２センサ３２を含む生体センサ３０からの信号を、推定装置１０の取得部１３１が取得開始することにより開始される。当該取得開始は、例えばユーザＵ１の指示操作等により行われてよい。図１２に示す処理は、図１１に示す処理に続いて行われる。なお、図１１に示す前段部の処理は、ｅスポーツが開始される前に行われることが好ましい。

ステップＳ１１では、領域決定部１３２が、取得部１３１で取得した生体センサ３０の情報と、センサテーブル１２１ａとに基づいて対象となる指標種別を特定する。本実施形態では、指標種別として、「覚醒度」および「自律神経系活性度」が特定される。指標種別が特定されると、次のステップＳ１２に処理が進められる。

ステップＳ１２では、領域決定部１３２が、感情の推定対象であるユーザＵ１について、各指標種別のニュートラル領域の上限値および下限値が決定済みであるか否かを判定する。感情推定対象のユーザＵ１の、ニュートラル領域の上限値および下限値が決定済みであるか否かは、ニュートラル領域テーブル１２１ｄ（図９参照）に含まれる情報により判定される。本実施形態では、感情推定対象のユーザＵ１の、「覚醒度」および「自律神経系活性度」のニュートラル領域の上限値および下限値が決定済みであるか否かが確認される。決定済みである場合（ステップＳ１２でＹｅｓ）、ステップＳ２０（図１２参照）に処理が進められる。決定済みでない場合（ステップＳ１２でＮｏ）、ステップＳ１３に処理が進められる。

なお、ステップＳ１２の処理は行われなくてもよい。すなわち、過去に各指標種別のニュートラル領域の上限値および下限値が決定されたか否かにかかわらず、各指標種別のニュートラル領域の上限値および下限値を決定する処理が行われてもよい。ニュートラル領域は、例えばユーザＵ１が置かれる環境やユーザＵ１の体調等によって変動する可能性がある。このために、ｅスポーツの開始前に毎回、ニュートラル領域の上限値および下限値が決定されることが好ましい。

また、本実施形態では、ステップＳ１１で特定された指標種別の中に、ニュートラル領域の上限値および下限値が決定済みでない指標種別が存在すると、先に特定した全ての指標種別に対して上限値および下限値を決定する処理が行われる。ただし、これは例示である。すなわち、ニュートラル領域の上限値および下限値が決定済みでない指標種別に限って、ニュートラル領域の上限値および下限値を決定する処理が行われる構成としてもよい。

ステップＳ１３では、領域決定部１３２が変数ｘを１とする。本実施形態では、変数ｘが１である場合、ステップＳ１１で特定された２つの指標種別のうち、第１指標種別の処理を行うと判定する。また、変数ｘが２である場合、ステップＳ１１で特定された２つの指標種別のうち、第２指標種別の処理を行うと判定する。変数ｘが１とされると、次のステップＳ１４に処理が進められる。

ステップＳ１４では、領域決定部１３２は、変数が１であるために、ユーザＵ１に対して第１指標種別の第１タスクの実行を要求する。タスクの要求は、例えば、ユーザＵ１が使用するゲーム装置４０の表示部４２に要求事項を画面表示することにより行われる。タスクの要求は、画面表示に代えて、或いは、画面表示に加えて音声案内によって行われてもよい。要求事項には、第１タスクの具体的内容が含まれることが好ましい。第１タスクの内容に関する情報は、特殊タスクテーブル１２１ｃ（図５参照）に含まれる。本実施形態では、例えば、第１指標種別は「覚醒度」である。そして、第１タスクの内容は、「表示部４２に表示される数字を暗算で加算する」である。第１指標種別の第１タスクの実行要求が行われると、次のステップＳ１５に処理が進められる。

ステップＳ１５では、領域決定部１３２が、第１指標種別の第１タスクの実行時に第１センサ３１から得られる信号に基づいて、ニュートラル領域の上限値を決定する。ユーザＵ１のタスクの開始および終了は、例えば、タスクの開始時および終了時にユーザＵ１に操作部材の操作を行うことを要求するようにし、当該操作部材の操作情報によって判定される構成としてよい。操作部材は、例えば、ゲーム装置４０の操作部４１に含まれてよい。また、別の例として、ユーザＵ１のタスクの開始および終了は、ゲーム装置４０等に配置されるユーザＵ１を撮影するカメラから得られる情報によって判定される構成としてもよい。本実施形態では、領域決定部１３２は、感情推定の対象となるユーザＵ１の、覚醒度におけるニュートラル領域の上限値を決定する。なお、決定された上限値は、ニュートラル領域テーブル１２１ｄ（図９参照）に保存される。ニュートラル領域の上限値が決定されると、次のステップＳ１６に処理が進められる。

ステップＳ１６では、領域決定部１３２が、ユーザＵ１に対して第１指標種別の第２タスクの実行を要求する。タスクの要求に関わる処理は、第１タスクの場合と同様であってよく、ここでは、詳細な説明は省略する。本実施形態では、第１指標種別は「覚醒度」であるために、第２タスクの内容は、「安静にして拳を握る」である。第１指標種別の第２タスクの実行要求が行われると、次のステップＳ１７に処理が進められる。

ステップＳ１７では、領域決定部１３２が、第１指標種別の第２タスクの実行時に第１センサ３１から得られる信号に基づいて、ニュートラル領域の下限値を決定する。ユーザＵ１のタスクの開始および終了の判定は、第１タスクの場合と同様であってよい。本実施形態では、領域決定部１３２は、感情推定の対象となるユーザＵ１の、覚醒度におけるニュートラル領域の下限値を決定する。なお、決定された下限値は、ニュートラル領域テーブル１２１ｄに保存される。ニュートラル領域の下限値が決定されると、次のステップＳ１８に処理が進められる。

なお、本例では、第１タスク、第２タスクの順で特殊タスクが実行される構成としているが、この順番は反対であってもよい。

ステップＳ１８では、領域決定部１３２が変数ｘに１を加算する処理を行う。変数ｘに対する加算処理が完了すると、次のステップＳ１９に処理が進められる。

ステップＳ１９では、領域決定部１３２が、変数ｘが３以上であるか否かを判定する。変数ｘが３より小さい場合（ステップＳ１９でＮｏ）、ステップＳ１４に処理が戻され、ステップＳ１４以降の処理が繰り返される。ただし、この段階では、変数ｘが２である。このために、第２指標種別に関する処理が行われる。本実施形態では、第２指標種別は「自律神経系活性度」である。このために、ステップＳ１４で要求される第１タスクの内容は、「起立テスト」である。ステップＳ１５では、感情推定の対象となるユーザＵ１の、自律神経系活性度におけるニュートラル領域の上限値が決定される。また、ステップＳ１６で要求される第２タスクの内容は、「アシュネルテスト」である。ステップ１７では、感情推定の対象となるユーザＵ１の、自律神経系活性度におけるニュートラル領域の下限値が決定される。変数ｘが３以上である場合（ステップＳ１９でＹｅｓ）、ステップＳ２０（図１２参照）に処理が進められる。

なお、本実施形態では、第１指標種別、第２指標種別の順番でニュートラル領域の上限値および下限値が決定される構成とした。ただしこれは例示であい、第２指標種別、第１指標種別の順番でニュートラル領域の上限値および下限値が決定されてもよい。

ステップＳ２０では、感情推定部１３３が、予め記憶される心理平面を、先の領域決定処理で得た指標種別ごとのニュートラル領域情報（上限値および下限値）によって加工する。そして、感情推定部１３３は、ニュートラル領域を含む心理平面を用いて感情の推定処理を行う。本実施形態では、例えば図１０に示す加工された心理平面が使用されて感情の推定が行われる。上述のように、感情不定状態と判定されて感情の種別が特定されない場合と、感情の種別が具体的に特定される場合とがある。心理平面を用いた感情の推定処理が行われると、次のステップＳ２１に処理が進められる。

ステップＳ２１では、提供部１３４が感情の推定結果を外部に提供する。提供部１３４は、例えば、端末装置２０に感情の推定結果を提供する。端末装置２０の表示画面には、感情の推定結果が適宜表示されてよい。また、端末装置２０のオペレータＯ１は、感情の推定結果を利用した処理を適宜実施してよい。また、端末装置２０に提供された感情の推定処理の結果は、端末装置２０から自動的に、或いは、端末装置２０のオペレータＯ１の操作によって、ゲーム装置４０に出力されてよい。そして、ゲーム装置４０に出力された感情の推定結果は、例えば、表示部４２に表示されてよい。

図１３Ａおよび図１３Ｂは、感情の推定結果が表示された画面を例示する図である。図１３Ａおよび図１３Ｂに示す例では、画面上（詳細には画面右側）に、感情の推定結果を簡単に認識することを可能とする感情マップが示される。感情マップは、一例として、心理平面に計測結果（座標位置）をプロットしたグラフを含むグラフィック情報である。また、図１３Ａおよび図１３Ｂに示す例では、画面上に、感情の推定結果を文字列で示す領域が設けられている。

図１３Ａは、２つの指標値で特定された座標位置がニュートラル領域ＮＲ外であった場合の結果を示す図である。この場合、感情の種別を特定できるために、感情の種別の特定結果が示される。また、図１３Ｂは、２つの指標値で特定された座標位置がニュートラル領域ＮＲ上であった場合の結果を示す図である。この場合、感情不定状態で感情の種別を特定できないために、その旨が文字列により表示される。なお、図１３Ｂに示す例では、自律神経系活性度（横軸）についてのみ注目すると、プロットされた位置はニュートラル領域ＮＲではない。このために、例えば、「自律神経系活性度」については「弱い感情」の状態と推定されますといった表示を行ってもよい。

（１－３－２．特殊タスクを行わない場合）
次に、特殊タスクを行わずにニュートラル領域を決定した後に、感情の推定を行う場合の処理例について説明する。図１４は、第１実施形態の推定装置１０によって実行される推定処理の前段部の他の例を示すフローチャートである。図１４に示す例では、推定処理の前段部は、特殊タスクを実行しない場合の領域決定処理に該当する。本例でも、推定処理の前段部が終了すると、図１２に示す推定処理の後段部が行われる。

図１４に示す処理は、例えば、第１センサ３１および第２センサ３２を含む生体センサ３０からの信号を、推定装置１０の取得部１３１が取得開始することにより開始される。なお、図１４に示す処理は、ｅスポーツが開始される直前（例えば２０分前等）に開始されることが好ましい。これにより、ｅスポーツを実際に行う環境等となるべく同じ状態としてニュートラル領域の決定を行うことができる。例えば、ｅスポーツを開始する前にウォーミングアップを行わせて（ゲームのウォーミングアップモードの実行）、その際に蓄積されるデータを利用して図１４に示す処理が行われてもよい。ただし、図１４に示す処理は、ｅスポーツの開始から数時間以上前に行われてもよい。また、図１４に示す処理は、ユーザＵ１が日常生活を行っている間に行われてもよい。また、図１４に示す処理は、場合によっては、ｅスポーツの開始後に行われてもよい。

ステップＳ３１では、領域決定部１３２が、取得部１３１で取得した生体センサ３０の情報に基づいて対象となる指標種別を特定する。当該処理は、図１１に示すステップＳ１１と同様であるために、詳細な説明は省略する。指標種別が特定されると、次のステップＳ３２に処理が進められる。

ステップＳ３２では、領域決定部１３２が、感情の推定対象であるユーザＵ１について、各指標種別のニュートラル領域の上限値および下限値が決定済みであるか否かを判定する。決定済みである場合（ステップＳ３２でＹｅｓ）、ステップＳ２０（図１２参照）に処理が進められる。決定済みでない場合（ステップＳ３２でＮｏ）、ステップＳ３３に処理が進められる。ステップＳ３２の処理は、図１１に示すステップＳ１２と同様であるために、詳細な説明は省略する。なお、図１１に示す例と同様に、ステップＳ３２の処理は行われなくてもよい。

ステップＳ３３では、領域決定部１３２が、指標種別ごとに、例えばクラスタ分析等の統計処理手法を用いて、ニュートラル領域の上限値および下限値を推定する。なお、クラスタ分析等の統計処理が行われる対象データは、指標種別ごとに蓄積された指標値の時系列データである。本実施形態では、「覚醒度」と「自律神経系活性度」との各指標値の時系列データを用いて、指標種別ごとにニュートラル領域の上限値および下限値が推定される。指標種別ごとの上限値および下限値が推定されると、次のステップＳ３４に処理が進められる。

ステップＳ３４では、領域決定部１３２が、指標種別ごとに、ニュートラル領域の上限値および下限値が収束したか否かを判定する。本実施形態では、「覚醒度」のニュートラル領域の上限値および下限値が収束した否かが判定される。また、「自律神経系活性度」のニュートラル領域の上限値および下限値が収束した否かが判定される。全ての指標種別のニュートラル領域の上限値および下限値が収束したと判定されると（ステップＳ３４でＹｅｓ）、次のステップＳ３５に処理が進められる。一方、ニュートラル領域の上限値および下限値が収束していない指標種別が存在する場合（ステップＳ３４でＮｏ）、ステップＳ３３に処理が戻され、ステップＳ３３以降の処理が行われる。

ステップＳ３５では、領域決定部１３２が、指標種別ごとに、先に収束したと判定された上限値および下限値を、ニュートラル領域の上限値および下限値に決定する。決定された上限値および下限値は、ニュートラル領域テーブル１２１ｄに保存される。指標種別ごとの、ニュートラル領域の上限値および下限値が決定されると、図１２に示すステップＳ２０に処理が進められて、感情の推定処理が行われる。当該感情の推定処理は、上述したために説明は省略する。

なお、上限値および下限値が収束したと判定する判定条件（閾値）を厳しく設定しすぎると、上限値等が収束したと判定されるまでの時間が長くなる。そこで、時系列データの蓄積量が少ない段階では、判定条件を緩めに設定し、なるべく早くニュートラル領域が決定される構成としてよい。このようにすると、ニュートラル領域の設定精度は低下するが、短時間で感情の推定処理を行える状態とすることができる。そして、感情の推定が行える状態を早期に確保しつつ、データの蓄積量に応じて判定条件を変化させながら、図１４に示すステップＳ３３以降の処理を継続してもよい。このようにすると、ニュートラル領域の設定精度を徐々に上げ、感情の推定精度も徐々に高めることができる。

上述のニュートラル領域の設定精度を徐々に上げる構成は、例えばｅスポーツにおいて、次のような使い方ができる。ニュートラル領域の設定精度が低いゲーム開始当初においては、感情の推定精度が低い点をユーザＵ１に知らせつつ、感情の推定結果を画面表示する。ニュートラル領域の設定精度が上がり、感情の推定精度が所定レベル以上に上がった段階で、感情の推定精度が低いといった通知を解除し、正式に感情の推定結果を画面表示する。

また、上述のニュートラル領域の設定精度を徐々に上げる構成は、例えば自動運転可能な車両において、次のような使い方ができる。ニュートラル領域の設定精度が低い段階では、単にドライバに感情の推定結果のみを表示する。ニュートラル領域の設定精度が上がり、感情の推定精度が所定レベル以上に上がった段階で、感情の推定結果に応じて自動運転と手動運転との切り替えを自動で行う。例えば、感情の推定結果からドライバがイライラしていると判定されると危険と判定して、手動運転を自動運転に切り替えるといったことができる。

［１－４．変形例］
次に、第１実施形態の変形例について説明する。

（１－４－１．第１変形例）
以上では、領域決定部１３２によって決定されたニュートラル領域をそのまま利用して感情推定モデル（心理平面）のキャリブレーションを行う構成とした。これとは異なり、コントローラ１３は、感情の推定結果の使用目的に応じて、ニュートラル領域の調整を行ってもよい。ニュートラル領域の調整は、詳細には、領域決定部１３２によって決定されたニュートラル領域の幅を調整することを意味する。このような構成とすると、感情の推定処理によって感情の種別を特定できる可能性を使用目的に応じて変動させることができる。

例えば、感情の推定の正確さを多少犠牲にしても、できるだけ推定される感情の種別をユーザＵ１に知らせたい場合には、心理平面において帯状となるニュートラル領域の幅が狭くなるように調整してよい。このように調整すれば、生体信号から得られる指標値がニュートラル領域に属する可能性が低減される。この結果、感情の種別を特定できる可能性を高くすることができる。なお、感情の推定の正確さを多少犠牲にしても、できるだけ推定される感情の種別をユーザＵ１に知らせたい場合としては、単に感情の種別を画面表示したい場合であって、感情の種別に応じた制御処理を行わない場合等が挙げられる。

また、例えば、感情の種別をできるだけ正確に把握したい場合には、心理平面において帯状となるニュートラル領域の幅が広くなるように調整してよい。このように調整すれば、生体信号から得られる指標値が十分に大きくないと、ニュートラル領域に属することになる。この結果、感情の種別を誤って特定する可能性を低くすることができる。なお、感情の種別をできるだけ正確に把握したい場合としては、例えば、感情の推定結果をメンタルトレーニングに利用したい場合が挙げられる。また、感情の種別をできるだけ正確に把握したい場合としては、例えば、感情の種別を利用して車両の運転制御を行いたい場合が挙げられる。

（１－４－２．第２変形例）
以上では、感情推定モデルのみを利用して感情の推定を行う構成としたが、これは例示である。コントローラ１３は、感情推定モデルを用いた感情の推定に際して、生体信号とは異なる情報から推定される感情の推定結果を加味してよい。このように構成することにより、感情の種別をより適切に推定することができる。

図１５は、第１実施形態の推定システム１の変形例の概略の構成を示す図である。図１５に示すように、変形例の推定装置（サーバ）１０Ａも、上述の第１実施形態と同様に、端末装置２０ＡとネットワークＮにより通信可能に接続されている。ただし、本変形例においては、端末装置２０Ａに生体信号の他に画像信号が入力され、当該画像信号が推定装置１０Ａに送信される点が上述の実施形態と異なる。なお、生体信号は、正確には生体信号を生体センサ３０で計測したセンサ信号である。また、画像信号は、ユーザＵ１を撮影するカメラ（不図示）から出力される信号である。当該カメラは、例えばゲーム装置４０に内蔵されてよい。また、ゲーム装置４０とは別に設置される構成であってもよい。

推定装置１０Ａは、上述の第１実施形態と同様に、図１０等に示される感情推定モデルを用いて感情の推定を行う。ここで、感情推定モデルの利用により、「楽しみ、喜び、怒り、悲しみ」（心理平面の第一象限に該当）の感情を有すると推定されたとする。このような場合に、推定装置１０Ａは、ユーザＵ１の顔画像の画像処理を行い、表情の解析を行って感情の種別を分類する。例えば、画像情報を利用して、「楽しみ、喜び」、「怒り」、「悲しみ」の３つのいずれかに分類する。すなわち、画像情報を加味することで、感情推定モデルにより推定される感情の種別を、より詳細に分類することができる。

なお、以上では、感情推定モデル（心理平面）により、第一象限の感情が推定された場合を例示したが、他の象限の感情が推定された場合にも、画像情報を利用した分類が行われてよい。例えば、感情推定モデルを利用して推定された感情の種別に、ポジティブな感情とネガティブな感情とが混在しているような場合に、画像情報を利用した分類が行われてよい。また、以上では、画像情報を利用したが、例えば音声情報等の画像情報以外の情報が利用されてもよい。

車両のドライバの感情の推定を行う場合を例に説明する。この場合、例えばドライブレコーダ用の車載カメラ等を、上述の画像情報を得るカメラとして利用することができる。画像情報以外を利用する場合、例えばドライブレコーダ等の車載装置が有するマイクにより得られる音声情報が利用されてもよい。なお、音声情報を利用する場合、ドライバに対して所定の質問をして、それに対するドライバの応答を解析して感情の分類を行ってもよい。また、画像情報以外を利用する場合の例として、ＣＡＮ（Controller Area Network）情報や、運転行動情報等が利用されてもよい。

感情の推定に利用されるＣＡＮ情報としては、例えばアクセル情報、ブレーキ情報、又は、舵角情報等が挙げられる。例えば、アクセル、ブレーキ、および、舵角は、ドライバが怒りの感情やイライラした感情を有する場合に粗い操作となり易く、これらの情報を解析することで感情の分類が可能である。また、運転行動情報は、例えば、ＣＡＮ情報、レーダ情報、ＬｉＤＡＲ（Light Detection and Ranging）情報、および、車両の周辺環境を撮影する画像情報のちの少なくとも１つの情報から取得することができる。例えば、歩行者や他の車両に道を譲る傾向が認められれば、怒りや悲しみの感情を有しないと判定できる。また、例えば、車間距離が短いと認められれば、怒りの感情やイライラした感情を有すると判定できる。

＜２．第２実施形態＞
次に、第２実施形態について説明する。第２実施形態の説明にあたって、第１実施形態と同様の構成要素については、基本的に同様の符号を付し、特に説明の必要がない場合には説明を省略する。

［２－１．推定システム］
第２実施形態の推定システムは、第１実施形態の推定システム１と同様の構成である。このために、第２実施形態の推定システムの詳細な説明は省略する。なお、第２実施形態の推定システムは、推定装置１０Ｂ（後述の図１６参照）と、生体信号を計測する生体センサ３０（図１参照）とを備える。生体センサ３０は、脳波センサとして構成される第１センサ３１と、心拍センサとして構成される第２センサ３２とを含む。

［２－２．推定装置］
図１６は、本発明の第２実施形態に係る推定装置１０Ｂの構成例を示す図である。推定装置１０Ｂの構成は、概ね第１実施形態の推定装置１０（図３参照）と同様である。推定装置１０Ｂは、第１実施形態と同様に、通信部１１および記憶部１２を備える。また、推定装置１０Ｂは、コントローラ１３Ｂを備える。

コントローラ１３Ｂの構成は、第１実施形態のコントローラ１３の構成と同様である。また、コントローラ１３Ｂの機能は、第１実施形態のコントローラ１３の機能と概ね同様である。ただし、コントローラ１３Ｂは、その機能として、適性推定部１３５を備える点で第１実施形態のコントローラ１３と異なる。適性推定部１３５は、他の機能部１３１～１３４と同様に、例えば、ソフトウェアにより実現される。なお、適性推定部１３５は、専用のＩＣ等を用いてハードウェアにより実現されてもよいし、ソフトウェアおよびハードウェアを併用して実現されてもよい。

また、本実施形態の推定装置１０Ｂは、各機能部１３１～１３５のうち、取得部１３１および適性推定部１３５を備え、領域決定部１３２、感情推定部１３３、および、提供部１３４は備えない構成であってもよい。この場合、推定装置１０Ｂは、感情の推定を行うための準備を行う装置であってよい。そして、領域決定部１３２、感情推定部１３３、および、提供部１３４のうち、少なくとも感情推定部１３３を備える感情推定装置が、推定装置１０Ｂとは別に設けられてよい。

適性推定部１３５の説明を行う前に、適性推定部１３５が設けられる理由について説明しておく。生体信号に基づいて得られる情報は、環境や体調等の影響を受けやすい。このために、生体信号に基づいて感情の推定を行う時点で、当該感情推定の対象となる者が、環境等の影響を受けて、感情推定に不適な状態となっていることがあり得る。そして、このような状態で感情推定が行われると、感情推定の誤りが生じる可能性が高く、感情の推定精度が低下する虞がある。本実施形態では、このような感情推定精度の低下を抑制するために、適性推定部１３５が設けられている。

適性推定部１３５は、ユーザＵ１の、生体信号に基づく感情推定に対する適性を推定する。詳細には、適性推定部１３５（すなわちコントローラ１３Ｂ）は、ユーザＵ１に複数種のタスクを与える。また、適性推定部１３５は、複数種のタスクそれぞれの実行時における生体信号に基づく指標値を取得する。また、適性推定部１３５は、複数の指標値間の関係性に基づき、ユーザＵ１の感情推定に対する適性を推定する。

このような構成によれば、感情推定の実施前に複数種のタスクをユーザＵ１に実行させることによって、ユーザＵ１の感情推定に対する適性を推定することができる。この結果、感情推定に適した状態で感情の推定を行うできる可能性が高まり、感情推定の精度を向上することができる。

以上のような機能を有する適性推定部１３５について、更に詳細に説明する。

適性推定部１３５がユーザＵ１に実行させる複数種のタスクのそれぞれは、医学的エビデンスに基づき生理反応（例えば覚醒度等）を所定の状態に喚起できるタスクである。そして、複数種のタスクは、互いに、喚起できる生理反応の大きさ（指標値）が異なる。すなわち、複数種のタスクのそれぞれをユーザＵ１に実行させた際に得られる生理反応の大きさ（指標値）には序列が生じる。

本実施形態において、テーブル１２１（図１６参照）には、適性推定用のタスクテーブル１２１ｅが含まれる。適性推定用のタスクテーブル１２１ｅは、上述の複数種のタスクに関する情報を含む。図１７は、適性推定用のタスクテーブル１２１ｅの一例を示す図である。図１７に示すように、適性推定用のタスクテーブル１２１ｅの項目には、「タスクＩＤ」、「センサ種別」、「対応指標種別」、「序列」、および、「タスク内容」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図４Ａ等と同様であるために、説明は省略する。なお、「対応指標種別」は、対応生理反応種別と表現してもよい。

適性推定用のタスクテーブル１２１ｅの項目「タスクＩＤ」は、適性推定用のタスクテーブル１２１ｅにおけるタスク情報を識別するための識別情報であるＩＤデータを記憶する。

適性推定用のタスクテーブル１２１ｅの項目「序列」は、上述の複数種のタスクをユーザＵ１が実行した場合における生理反応の大きさ（指標値）の序列情報を記憶する。この序列情報は、医学的エビデンスに基づき決められる。例えば、生理反応の種別（指標種別）が覚醒度である場合、序列は、タスクに実行時に得られる指標値の大きさで決まる。適性推定用のテーブル１２１ｅにおいては、医学的エビデンスにより指標値が大きくなると判断されるものほど、序列が上位となる（序列を示す数字が小さくなる）構成である。

適性推定用のタスクテーブル１２１ｅの項目「タスク内容」は、ユーザＵ１に実行させるタスクの具体的な内容を記憶する。タスク内容は、上述の序列と共に医学的エビデンスに基づき決定される。例えば生理反応の種別が覚醒度である場合の序列１位のタスク内容は、「圧痛を与える」である。「圧痛を与える」とは、詳細には、足裏マッサージなど、誰もが痛いと感じる圧痛を所定時間与えることである。また、例えば生理反応の種別が覚醒度である場合の序列２位のタスク内容は、「表示される数字を暗算加算」である。また、例えば生理反応の種別が覚醒度である場合の序列３位のタスク内容は、「安静にして拳を握る」である。また、例えば生理反応の種別が覚醒度である場合の序列４位のタスク内容は、「閉眼安静（何も考えない）」である。

適性推定部１３５は、例えば、ユーザＵ１が装着している生体センサ３０のセンサ種別情報と、適性推定用のタスクテーブル１２１ｅとを照合して、ユーザＵ１に実行させる複数種のタスクを決定する。なお、センサ種別情報については、取得部１３１が、生体センサ３０と通信接続される端末装置２０を介して取得する。また、ユーザＵ１が装着する生体センサ３０が複数種類である場合、各種別の生体センサ３０を用いた適性推定が行われてもよい。また、ユーザＵ１が装着する生体センサ３０が複数種類である場合に、いずれか１つの種別の生体センサ３０を用いた適性推定が行われてもよい。

例えば、本実施形態では、ユーザＵ１が装着する生体センサ３０は、第１センサ３１と第２センサ３２との２つである。適性推定用のタスクテーブル１２１ｅに、これら２つのセンサ３１、３２に対応する適性推定用のタスクがある場合には、各センサ３１、３２を用いた適性推定が行われてもよいし、いずれか一方のセンサを用いた適性推定が行われてもよい。いずれか一方のセンサを用いた適性推定が行われる場合、例えば、予め準備された優先順位情報に従って、適性推定を行うセンサの種別が決められてよい。また、適性推定用のタスクテーブル１２１ｅに、いずれか一方のセンサに対応する適性推定用のタスクしかない場合には、当該センサを用いた適性推定が行われればよい。

例えばセンサ種別が脳波センサＢＡである場合を例に説明する。適性推定部１３５は、ユーザＵ１に４つのタスクを実行させる。４つのタスクの実行させる順番は、特に限定されないが、例えば、序列の順位が低い方（すなわち覚醒度が小さい方）から行われる。適性推定部１３５は、ユーザＵ１が実行した４種類のタスクそれぞれの指標値（覚醒度の大きさ）を取得する。なお、指標値は、ユーザＵ１の脳波を計測する脳波センサＢＡから得られる信号と、センサテーブル１２１ａ（図４Ａ参照）に含まれる指標変換情報とを用いて求められる。適性推定部１３５は、取得した４つの指標値の序列を、それらの指標値の大きさに応じて決定する。

そして、適性推定部１３５は、ユーザＵ１による各タスクの実行時に得られる指標値の序列が、適性推定用のタスクテーブル１２１ｅの序列と一致するか否かを判定する。両者が一致する場合、適性推定部１３５は、ユーザＵ１が感情の推定に適した状態と推定する。両者が一致しない場合、適性推定部１３５は、ユーザＵ１が感情の推定に不適な状態であると推定する。

すなわち、コントローラ１３Ｂは、複数種のタスクそれぞれの実行時に得られる指標値の大きさの序列が、予め設定された序列である設定序列と一致する場合に、ユーザＵ１が感情の推定に適した状態であると推定する。また、コントローラ１３Ｂは、複数種のタスクそれぞれの実行時に得られる指標値の大きさの序列が、設定序列と異なる場合に、ユーザＵ１が感情の推定に不適な状態であると推定する。このように構成では、医学的エビデンスに基づいて決まる生理反応の大きさの序列に応じて、簡単にユーザＵ１が感情の推定に適した状態であるか否かを判定できる。

なお、以上に示す例では、生理反応の種別が覚醒度である場合、適性推定用にユーザＵ１が要求されるタスクの種類は４種類である（図１７参照）。ただし、これは、例示である。適性推定用にユーザＵ１が要求されるタスクの種類は複数種類であればよく、例えば２つ等であってもよい。なお、タスクを実行させた際に起こる生理反応の大きさが大きく離れた２つのタスクだけを行わせる構成とすると、ユーザＵ１の体調や置かれている環境が変わった場合でも、ユーザＵ１によるタスクの実行時に得られる序列が設定序列と入れ替わらない可能性がある。すなわち、適性推定の意義が損なわれる可能性がある。このような点に注意して、適性推定が適当なものとなるように（環境変化等に応じてタスクの実行時に得られる序列が適当に入れ替わるように）ユーザＵ１に実行させるタスクの種類は決定されることが好ましい。

本実施形態では、ユーザＵ１が感情の推定に適した状態と推定されると、領域決定部１３２および感情推定部１３３により、上述の第１実施形態と同様の感情推定が行われる。すなわち、コントローラ１３Ｂは、ユーザＵ１が感情推定に適した状態と推定される場合に、生体信号に基づく指標値による感情推定を実行する。コントローラ１３Ｂは、生体信号に基づく指標値が、ニュートラル領域、正領域、および、負領域で構成される３つの領域のいずれに属するかを識別する。コントローラ１３Ｂは、指標値がニュートラル領域に属する場合に、感情不定状態であると判定する。コントローラ１３Ｂは、指標値を複数種求め、複数種の指標値のいずれもがニュートラル領域の領域外である場合に、複数種の指標値と、予め準備された感情推定モデルとを用いて感情の種別を推定する。

なお、第２実施形態の感情の推定の手法は、第１実施形態の感情の推定の手法と全く異なる手法であってもよい。感情の推定の手法は、公知の手法であってもよい。

また、本実施形態では、提供部１３４によって、感情の推定結果が、ネットワークＮを介して端末装置２０に提供される。

［２－３．推定方法］
次に、推定装置１０Ｂによって実行される推定方法について説明する。

なお、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、本実施形態の範囲に含まれる。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態の範囲に含まれる。また、本実施形態の推定方法をコンピュータ装置に実現させるコンピュータプログラムは、１つのプログラムのみで構成されてもよいが、複数のプログラムによって構成されてもよい。

図１８は、第２実施形態の推定装置１０Ｂによって実行される適性推定処理の一例を示すフローチャートである。図１８に示す処理は、例えば、第１センサ３１および第２センサ３２を含む生体センサ３０からの信号を、推定装置１０Ｂの取得部１３１が取得開始することにより開始される。なお、図１８に示す適性推定処理は、ｅスポーツが開始される前に行われることが好ましい。

ステップＳ４１では、適性推定部１３５が変数ｎをゼロとする。なお、変数ｎは回数を示す。変数ｎがゼロとされると次のステップＳ４２に処理が進められる。

ステップＳ４２では、適性推定部１３５が、取得部１３１で取得した生体センサ３０の情報と、適性推定用のテーブル１２１ｅとに基づいて対象となる指標値を特定する。本実施形態では、例えばセンサ種別として脳波センサが特定され、更に、指標として覚醒度が特定される。そして、適性推定部１３５は、特定された指標に対応したタスクをユーザＵ１に対して順次与え、与えられたタスクをユーザが実行している際に生体信号に基づく指標値を取得する。

本実施形態では、例えば、「閉眼安静（何も考えない）」、「安静にして拳を握る」、「表示される数字を暗算加算」、「圧痛を与える」がユーザＵ１に対して順次与えられる。そして、ユーザＵ１によるタスクの実行ごとに、脳波に基づく指標値（覚醒度の指標値）が取得される。なお、タスクは、例えば、ユーザＵ１が使用するゲーム装置４０における画面表示を利用して与えられてよい。また、タスクは、画面表示に代えて、或いは、画面表示に加えて音声案内によって与えられてもよい。適性推定部１３５は、与えたタスクごとの指標値を取得すると、次のステップＳ４３に処理を進める。

ステップＳ４３では、適性推定部１３５は、ユーザＵ１のタスクの実行に応じて取得した複数（本実施形態では４つ）の指標値を、値が大きい方から序列の順位が上となるように並べる。そして、適性推定部１３５は、ユーザＵ１のタスクの実行により得られた序列が、適性推定用のテーブル１２１ｅに記憶される設定序列（項目「序列」に示される序列）と同じであるか否かを判定する。適性推定部１３５は、２つの序列が同じである場合（ステップＳ４３でＹｅｓ）、次のステップＳ４４に処理を進める。一方、適性推定部１３５は、２つの序列が異なる場合（ステップＳ４３でＮｏ）、ステップＳ４２に処理を戻す。

ステップＳ４４では、適性推定部１３５が、変数ｎに１を加える。変数ｎに１を加える処理が行われると、次のステップＳ４５に処理が進められる。

ステップＳ４５では、適性推定部１３５が、変数ｎが予め準備された閾回数ｎｔｈ以上であるか否かを判定する。閾回数ｎｔｈは、例えば実験を行って決定される。変数ｎが閾回数以上であれば（ステップＳ４５でＹｅｓ）、ユーザＵ１が感情の推定に適した状態であると推定して、図１１に示すステップＳ１１或いは図１４に示すステップＳ３１に処理が進められる。そして、図１１或いは図１４に示す処理の完了後に、図１２に示すステップＳ２０に処理が進められて感情の推定が行われる。なお、図１１或いは図１４に示されるキャリブレーションの準備処理は省略されてもよい。一方、変数ｎが閾回数より小さい場合には（ステップＳ４５でＮｏ）、ステップＳ４２に処理が戻される。

以上からわかるように、本実施形態では、ユーザＵ１のタスクの実行により得られる序列と、予め準備された設定序列との一致回数が所定の複数回となった場合に、ユーザＵ１が感情の推定に適した状態であると推定される。ただし、これは例示であり、ユーザＵ１のタスクの実行により得られる序列と、予め準備された設定序列とが、一回一致すれば、ユーザＵ１が感情の推定に適した状態であると推定されてもよい。

また、本実施形態では、ユーザＵ１のタスクの実行により得られる序列と、予め準備された設定序列との一致回数が所定の複数回とならなければ、ユーザＵ１が感情の推定に不適な状態であると推定して、いつまでも適性推定用のタスクが与えられる。ただし、これは例示である。例えば、ユーザＵ１のタスクの実行により得られる序列と、予め準備された設定序列との不一致回数が所定回数となった時点で、ユーザＵ１が感情の推定に不適な状態であると推定して、適性推定の処理が一旦終了されてもよい。

［２－４．変形例］
次に、第２実施形態の変形例について説明する。

（２－４－１．第１変形例）
図１９は、第２実施形態の推定装置１０Ｂによって実行される適性推定処理の変形例を示すフローチャートである。

ステップＳ５１では、適性推定部１３５が、取得部１３１で取得した生体センサ３０の情報と、適性推定用のテーブル１２１ｅとに基づいて対象となる指標を特定する。そして、適性推定部１３５は、特定された指標に対応したタスクをユーザＵ１に対して順次与え、与えられたタスクをユーザが実行している際に生体信号に基づく指標値を取得する。これらの処理は、上述の図１８のステップＳ４２の処理と同様である。適性推定部１３５は、与えたタスクごとの指標値を取得すると、次のステップＳ５２に処理を進める。

ステップＳ５２では、適性推定部１３５が、ユーザＵ１のタスクの実行に応じて取得した複数の指標値を、値が大きい方から序列の順位が上となるように並べる。そして、適性推定部１３５は、ユーザＵ１のタスクの実行により得られた序列と、適性推定用のテーブル１２１ｅに記憶される設定序列（項目「序列」に示される序列）とを比較する。例えば、当該比較により、２つの序列が完全に一致するといった結果が得られる。また、例えば、当該比較により、２つの序列の間で、前後関係にある順位の入れ替わりが１つあるという結果が得られる。例えば、生理反応（指標）が覚醒度の場合を例に説明する。前後関係にある順位の入れ替わりが１つある場合として、「安静にして拳を握る」が行われた場合に得られる指標値の大きさの順位が２位となり、「表示される数字を暗算加算」が行われた場合に得られる指標値の大きさの順位が３位となる場合が挙げられる。比較結果が得られると、次のステップＳ５３に処理が進められる。

ステップＳ５３では、適性推定部１３５が、先に得られた比較結果に応じて適性レベルを推定する。適性レベルの推定には、適性レベルテーブル１２１ｆ（図２０参照）が利用される。図２０は、適性レベルテーブル１２１ｆの一例を示す図である。図２０に示すように、適性レベルテーブル１２１ｆの項目には、「適性推定タスクＩＤ」、「センサ種別」、「対応指標種別」、「比較状況」、および、「適性レベル」が含まれる。項目「センサ種別」および「対応指標種別」は、上述の図１７等と同様であるために、説明は省略する。

適性レベルテーブル１２１ｆの項目「適性タスクＩＤ」は、適性推定用のタスクテーブル１２１ｅ（図１７参照）の項目「タスクＩＤ」に対応した情報を記憶する。

適性レベルテーブル１２１ｆの項目「比較状況」は、ステップＳ５２における比較結果と照合する情報を記憶する。なお、生理反応の種別によってタスクの数に違いがあることがある。このために、「比較状況」と「適性レベル」との対応関係は、必ずしも一通りとはならない。このような点を考慮して、本例では、生理反応の種別ごとに「比較状況」が設けられている。例えば、生理反応の種別（指標種別）が覚醒度である場合、比較状況の情報には、「完全一致」、「前後関係にある順位の入れ替わりが１つあり」、および、「その他」が含まれる。「その他」は、比較結果が「完全一致」と「前後関係にある順位の入れ替わりが１つあり」とのいずれでもない場合である。

引き続き、生理反応の種別が覚醒度の場合を例に説明する。「その他」として、例えば、２つ離れた順位の入れ替わりが１つある場合が挙げられる。このような場合として、例えば、「安静にして拳を握る」が行われた場合に得られる指標値の大きさの順位が１位となり、ユーザＵ１が「圧痛を与える」を行った場合に得られる指標値の大きさの順位が３位となる場合が挙げられる。また、「その他」には、例えば、序列の順位の入れ替わり箇所が２つ存在する場合が含まれる。このような場合として、次の第１の場合と、第２の場合との両方が満たされる場合が挙げられる。第１の場合は、例えば、「安静にして拳を握る」が行われた場合に得られる指標値の大きさの順位が４位となり、「閉眼安静」が行われた場合に得られる指標値の大きさの順位が３位となる場合である。第２の場合は、例えば、「圧痛を与える」が行われた場合に得られる指標値の大きさの順位が２位となり、「表示される数字を暗算加算」を行った場合に得られる指標値の大きさの順位が１位となる場合である。

適性レベルテーブル１２１ｆの項目「適性レベル」は、比較結果の内容に応じて決まる適性レベルの情報が含まれる。図２０に示す例では、比較結果が「完全一致」の場合に適性レベルは「適正」である。比較結果が「前後関係にある順位の入れ替えが１つあり」の場合の適性レベルは、「やや不安定」である。比較結果が「その他」の場合の適性レベルは、「不適」である。なお、本例では、適性レベルは３段階であるが、これは例示であり、４段階以上であってもよい。

適性レベルが推定されると、次のステップＳ５４に処理が進められる。

ステップＳ５４では、適性推定部１３５が、ユーザＵ１の感情の推定を実施するか否かを判定する。例えば、図２０に示すような３段階で適性レベルが推定される構成では、上位２つのレベルの場合に、感情の推定を実施すると判定されてよい。なお、上位２つのレベルには、「適正」および「やや不安定」が該当する。また、最も低いレベルの場合には、感情の推定を実施しないと判定されてよい。なお、最も低いレベルには、「不適」が該当する。

感情の推定を実施すると判定された場合（ステップＳ５４でＹｅｓ）、図１１に示すステップＳ１１或いは図１４に示すステップＳ３１に処理が進められる。そして、図１１或いは図１４に示す処理の完了後に、図１２に示すステップＳ２０に処理が進められて感情の推定が行われる。また、感情の推定を実施しないと判定された場合（ステップＳ５４でＮｏ）、ステップＳ５５に処理が進められる。

ステップＳ５５では、適性推定部１３５は、ユーザＵ１が感情推定に不適であることを報知する処理を行う。例えば、適性推定部１３５は、ユーザＵ１が使用するゲーム装置４０（図１参照）の画面に、ユーザＵ１が感情推定に不適であることを報知させる。図２１は、ユーザＵ１が感情推定に不適であることを報知する画面例である。図２１に示すように、ユーザＵ１が感情推定に不適な状態である場合、例えば２０分後等に再度適性確認を行うように促してもよい。

以上からわかるように、本変形例では、コントローラ１３Ｂは、複数種のタスクそれぞれの実行時に得られる指標値の大きさの序列と、複数種のタスクに予め設定された序列である設定序列とのずれ度合に応じて、ユーザの感情推定に対する適性のレベルを推定する。このように適性レベルの推定を行う構成とすると、コントローラ１３Ｂは、レベルに応じて感情推定の結果の利用形態を変更することができる。

例えば、適性レベルが「適正」と推定された場合には、感情の推定結果を上述の図１３Ａや図１３Ｂに示すような通常表示を行ってよい。一方、適性レベルが「やや不安定」と推定された場合には、図２２に示すように、感情の推定結果を仮表示する構成としてよい。図２２は、感情の推定結果を画面に仮表示する例を示す図である。図２２では、注意書きを画面表示の中に入れて、仮表示であることをユーザＵ１に知らせる構成となっている。また、例えば、自動運転制御の場合を例に挙げて説明すると、適性レベルが「適正」である場合には、感情の推定結果に応じて自動運転に関わる制御を行う構成としてよい。一方、適性レベルが「やや不安定」である場合には、感情の推定結果は単に車載装置の画面に参考程度に表示するだけとし、自動運転に関わる制御には用いない構成としてよい。

また、コントローラ１３Ｂは、適性レベルに応じてニュートラル領域ＮＲ（図１０参照）の調整を行ってよい。このように構成することによって、感情の推定の誤りが生じる可能性を抑制することができる。例えば、適性レベルが「やや不安定」である場合に、適性レベルが「適正」である場合に比べて、ニュートラル領域の幅が広く調整されてよい。

（２－４－２．第２変形例）
図２３は、第２実施形態の推定装置１０Ｂによって実行される適性推定処理の他の変形例を示すフローチャートである。図２３に示すフローチャートは、図１９に示すフローチャートと概ね同様である。このために、異なる部分に絞って説明する。図２３に示す例では、感情の推定を実施しないと判定された場合（ステップＳ５４でＮｏ）、ステップＳ５５に即座に処理が進められず、その前に、ステップＳ５６の処理が行われる。この点が、図１９に示すフローとは異なる。なお、本変形例では、ステップＳ５３の適性レベルの推定に変えて、感情推定に適した状態であるか否かの推定が行われてもよい。

ステップＳ５６では、適性推定部１３５が、感情の推定を行う他の手段があるか否かを判定する。他の手段は、例えば、ユーザＵ１が装着している他の生体センサ３０であってよい。例えば、脳波センサである第１センサ３１を用いて感情推定に不適な状態であると判定された場合でも、心拍センサである第２センサ３２を用いて感情推定に適した状態であると推定される可能性がある。このような場合には、脳波センサの代わりに心拍センサを用いて感情推定が行われてよい。また、例えば、他の手段は、ユーザＵ１の顔画像を撮影するカメラ（センサの一例）であってもよい。すなわち、カメラで撮影されたユーザＵ１の顔画像を用いて感情推定が行われてよい。

以上からわかるように、コントローラ１３Ｂは、ユーザＵ１が感情推定に不適な状態であると推定された場合に、当該不適との推定を行うに至った情報を与えたセンサと異なるセンサの情報を利用して感情推定を実行してよい。このように構成することで、感情の推定結果が得られないという状態になる可能性を抑制することができる。

＜３．留意事項等＞
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。

１・・・推定システム
１０、１０Ａ、１０Ｂ・・・推定装置
１３、１３Ｂ・・・コントローラ
３０・・・生体センサ
ＮＲ・・・ニュートラル領域

Claims (10)

1. 感情を推定する推定装置であって、
   コントローラを備え、
   前記コントローラは、
   生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される３つの領域のいずれに属するかを識別し、
   前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定する、推定装置。
2. 前記コントローラは、
   前記指標値を複数種求め、
   前記複数種の指標値のそれぞれについて前記３つの領域のいずれに属するかを識別し、
   前記複数種の指標値のいずれもが前記ニュートラル領域の領域外である場合に、前記複数種の指標値と、予め準備された感情推定モデルとを用いて感情の種別を特定する、請求項１に記載の推定装置。
3. 前記コントローラは、
   互いを比較した場合に、タスクの実行時に得られる前記指標値が大きくなるとされる第１タスクと、小さくなるとされる第２タスクとを、感情の推定が行われるユーザに実行させ、
   前記第１タスクおよび前記第２タスクの実行により得られる前記指標値に基づき前記ニュートラル領域を決定する、請求項１に記載の推定装置。
4. 前記コントローラは、
   前記第１タスクの実行時に得られる前記指標値により、前記ニュートラル領域と前記正領域との境界を定め、
   前記第２タスクの実行時に得られる前記指標値により、前記ニュートラル領域と前記負領域との境界を定める、請求項３に記載の推定装置。
5. 前記コントローラは、
   前記第２タスクの実行時に得られる前記指標値により、前記ニュートラル領域と前記正領域との境界を定め、
   前記第１タスクの実行時に得られる前記指標値により、前記ニュートラル領域と前記負領域との境界を定める、請求項３に記載の推定装置。
6. 前記コントローラは、
   前記指標値の時系列データを蓄積し、
   前記時系列データの統計処理結果に基づき前記ニュートラル領域を決定する、請求項１に記載の推定装置。
7. 前記コントローラは、感情の推定結果の使用目的に応じて、前記ニュートラル領域の調整を行う、請求項１に記載の推定装置。
8. 前記コントローラは、前記感情推定モデルを用いた前記感情の推定に際して、前記生体信号とは異なる情報から推定される感情の推定結果を加味する、請求項２に記載の推定装置。
9. 感情を推定する推定装置と、生体信号を計測する生体センサとを有する推定システムであって、
   前記推定装置は、
   前記生体センサが計測した生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される３つの領域のいずれに属するかを識別し、
   前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定し、
   前記指標値が前記正領域または前記負領域に属する場合に、前記指標値に属する領域に対応する感情を推定結果とする、推定システム。
10. 生体信号に基づく指標値が、ニュートラル領域、前記ニュートラル領域に対して一方側の正領域、および、前記ニュートラル領域に対して他方側の負領域で構成される３つの領域のいずれに属するかを識別し、
    前記指標値が前記ニュートラル領域に属する場合に、感情不定状態であると判定する、
    処理を装置が実行する、推定方法。

Images