JP7154493B2 - 自律神経活動評価装置、自律神経活動評価方法及びプログラム - Google Patents

Description

特許法第３０条第２項適用 平成３０年１月１８日発行 一般社団法人人工生命とロボット国際学会刊行 「第２３回ＡＲＯＢ 予稿集」第８４５－８４８頁に発表

特許法第３０条第２項適用 平成３０年１月１９日開催 一般社団法人人工生命とロボット国際学会主催 「人工生命とロボット国際学会 第２３回ＡＲＯＢ（Ｔｈｅ Ｔｗｅｎｔｙ－Ｔｈｉｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｌｉｆｅ ａｎｄ Ｒｏｂｏｔｉｃｓ）で発表

本発明は、被験者の自律神経活動を評価する自律神経活動評価装置、自律神経活動評価方法及びプログラムに関する。

人間の自律神経活動を評価する方法が、従来から各種提案され、実用化されている。例えば、被験者の心拍、脳波、眼電図、皮膚電位、皮膚温度、筋電図などから、自律神経活動を評価することが行われている。
具体的には、例えば皮膚電位の場合、被験者の皮膚に電極を貼り付けて、生体内部の電気的活動を測定することで、発汗による電気的抵抗値の低下を検出して、被験者が精神的に緊張しているか等の評価を行っている。

特許文献１には、皮膚温度を計測して、人間の脳活動を推定する手法が記載されている。この特許文献１に記載された手法は、赤外線サーモグラフィ装置を用いて、被験者の顔面全体から顔面皮膚温度データを取得し、脳の安静時の顔面皮膚温度データと、脳の活動時の顔面皮膚温度データを取得して、脳活動を反映した皮膚温度の変化を示す成分を同定するための解析を行うものである。

特開２０１６－１８２５０４号公報

特許文献１に記載されるように、赤外線サーモグラフィ装置を用いて顔面皮膚温度データを取得することで、測定装置と被験者を非接触な状態にして計測が可能になる。したがって、被験者に電極やセンサを直接取り付けることなく、脳活動の状態を推定することができる。
しかしながら、特許文献１に記載された手法を用いて、赤外線サーモグラフィ装置で顔面全体の皮膚温度を取得する場合、その皮膚温度から判別できる状態は、極めて簡単な状態の判別に限られている。具体的には、不快感を持つ刺激に対して、鼻部の皮膚温度が反映することは従来から知られており、不快感のようなネガティブ側の反応は、鼻部を含む顔面の皮膚温度測定である程度推定ことは可能であった。これに対して、ポジティブ側の反応を従来手法で推定することは困難であり、従来手法では、ポジティブ側の反応とネガティブ側の反応の双方を含んだ詳細な自律神経活動を推定することは極めて困難であった。

また、被験者の状態によって、赤外線サーモグラフィ装置を用いて得た顔面皮膚温度データにばらつきが発生することがある。例えば、被験者が眼鏡を装着している場合と非装着の場合とでは、顔面皮膚温度の値に大きな変動が生じてしまい、自律神経活動の推定結果の信頼性が低下するという問題がある。

本発明の目的は、被験者の自律神経活動の評価を非接触で精度よく行うことができる自律神経活動評価装置、自律神経活動評価方法及びプログラムを提供することにある。

本発明の自律神経活動評価装置は、被験者にコンテンツを提示した際の生体情報を計測して、被験者の自律神経活動を評価する自律神経活動評価装置であって、被験者の顔を撮影した熱画像データを取得する熱画像取得部と、熱画像取得部が取得した熱画像データから、被験者の鼻先部分を含む被験者の顔の約下半分の領域の熱画像データを、解析領域に設定する解析領域設定部と、解析領域設定部が設定した解析領域内の熱画像データから温度を算出する温度算出部と、温度算出部が算出した温度に基づいて、被験者の自律神経活動の評価情報を得る評価処理部と、を備える。

また、本発明の自律神経活動評価方法は、被験者にコンテンツを提示した際の生体情報を計測して、前記被験者の自律神経活動を評価する自律神経活動評価方法であって、以下の（ａ）～（ｄ）に記載する処理を含む。
（ａ）被験者の顔を撮影した熱画像データを取得する熱画像取得処理、
（ｂ）熱画像取得処理により取得した熱画像データから、被験者の鼻先部分を含む被験者の顔の約下半分の領域の熱画像データを、解析領域に設定する解析領域設定処理、
（ｃ）解析領域設定処理により設定した解析領域内の熱画像データから温度を算出する温度算出処理、
（ｄ）温度算出処理によって算出された温度に基づいて、被験者の自律神経活動の評価情報を得る評価処理。

また、本発明のプログラムは、上記自律神経活動評価方法の（ａ）～（ｄ）に記載される各処理を実行する手順を、コンピュータに実行させるためのプログラムである。

本発明によると、被験者の自律神経活動の評価を適切に行うことができる。例えば、眼鏡を装着した被験者であっても、眼鏡の影響のない領域の熱画像から温度を得ることができるので、眼鏡の装着の有無によって評価値が変動することがない適切な評価結果を得ることが可能になる。

本発明の一実施の形態例による自律神経活動評価装置を使った評価状態の例を示す説明図である。 本発明の一実施の形態例による自律神経活動評価装置の構成例を示すブロック図である。 本発明の一実施の形態例による自律神経活動評価装置のハードウェア構成の例を示すブロック図である。 本発明の一実施の形態例による評価時の開始から終了までを示すタイムチャートである。 本発明の一実施の形態例による評価処理時の流れを示すフローチャートである。 コンテンツ（作品Ａ）を被験者（ｘ１）が閲覧したときの被験者自身による作品評価を示す図である。 コンテンツ（作品Ａ）を被験者（ｘ１）が閲覧したときの熱画像の例を示す図である。 コンテンツ（作品Ａ）を被験者（ｘ１）が閲覧したときの熱画像の時系列変化を示す図である。 コンテンツ（作品Ａ）を被験者（ｘ１）が閲覧したときの分散値の変動を示す特性図である。 コンテンツ（作品Ｂ）を被験者（ｘ１）が閲覧したときの被験者自身による作品評価を示す図である。 コンテンツ（作品Ｂ）を被験者（ｘ１）が閲覧したときの熱画像の例を示す図である。 コンテンツ（作品Ｂ）を被験者（ｘ１）が閲覧したときの熱画像の時系列変化を示す図である。 コンテンツ（作品Ｂ）を被験者（ｘ１）が閲覧したときの分散値の変動を示す特性図である。 コンテンツ（作品Ｃ）を被験者（ｘ２）が閲覧したときの被験者自身による作品評価を示す図である。 コンテンツ（作品Ｃ）を被験者（ｘ２）が閲覧したときの熱画像の例を示す図である。 コンテンツ（作品Ｃ）を被験者（ｘ２）が閲覧したときの熱画像の時系列変化を示す図である。 コンテンツ（作品Ｃ）を被験者（ｘ２）が閲覧したときの分散値の変動を示す特性図である。 コンテンツ（作品Ｂ）を被験者（ｘ２）が閲覧したときの被験者自身による作品評価を示す図である。 コンテンツ（作品Ｂ）を被験者（ｘ２）が閲覧したときの熱画像の例を示す図である。 コンテンツ（作品Ｂ）を被験者（ｘ２）が閲覧したときの熱画像の時系列変化を示す図である。 コンテンツ（作品Ｂ）を被験者（ｘ２）が閲覧したときの分散値の変動を示す特性図である。

［１．一実施の形態例による測定例］
以下、本発明の一実施の形態例（以下、「本例」と称する）を、添付図面を参照して説明する。
図１は、被験者ｘが表示装置３００に表示されたコンテンツを閲覧した場合に、本例の自律神経活動評価装置２００で評価処理を行う例を示す。表示装置３００に表示されるコンテンツとしては、例えば複数ページで構成される漫画がある。本例の場合、コンテンツのページ送りは、被験者ｘ自身の操作で行われる。

コンテンツを閲覧している被験者ｘの顔は、赤外線サーモグラフィ装置１００により撮影される。例えば、被験者ｘの顔から約５０cm離れた箇所に赤外線サーモグラフィ装置１００が設置され、赤外線サーモグラフィ装置１００により被験者ｘの顔を撮影した熱画像が得られる。熱画像は、被験者ｘの顔の皮膚表面の温度を示す画像である。

赤外線サーモグラフィ装置１００で得られた熱画像データは、自律神経活動評価装置２００に取り込まれ、熱画像データから温度を算出する処理が行われる。自律神経活動評価装置２００は、コンテンツを見ている被験者ｘの顔の温度変化に基づいて、被験者ｘの自律神経活動を評価する処理を行う。なお、被験者ｘによるコンテンツのページ送り操作は、例えば自律神経活動評価装置２００に接続された操作入力部２０９により行われる。

［２．一実施の形態例による装置構成例］
図２は、本例の自律神経活動評価装置２００の構成を示す機能ブロック図である。自律神経活動評価装置２００は、例えばコンピュータ装置で構成されるが、図２は自律神経活動評価装置２００の機能面から見た構成を示している。

赤外線サーモグラフィ装置１００は、一定のフレーム周期で熱画像を撮影する。自律神経活動評価装置２００の熱画像取得部２０１は、赤外線サーモグラフィ装置１００から供給される熱画像データを取得する。すなわち、熱画像取得部２０１は、赤外線サーモグラフィ装置１００で熱画像が撮影されるフレーム周期で熱画像データを取得する熱画像取得処理を行う。
熱画像取得部２０１が取得した熱画像データは顔領域抽出部２０２に供給され、熱画像データから被験者ｘの顔の領域が抽出される。そして、顔領域抽出部２０２で抽出された顔の領域の熱画像データは、解析領域設定部２０３に供給される。解析領域設定部２０３は、供給される顔の熱画像データの内で、自律神経活動の評価に使用する解析領域を設定する解析領域設定処理を行う。本例の場合には、顔の下半分の領域を解析領域としている。

解析領域設定部２０３で設定された解析領域（顔の下半分）の熱画像データは、温度算出部２０４に供給される。温度算出部２０４は、供給される解析領域の熱画像データの各画素から、温度値を算出する温度算出処理を行う。このとき、温度算出部２０４は、各フレームの熱画像データから、解析領域内での最高値、最低値、最頻値及び平均値を取得する。
温度算出部２０４で得られた温度値のデータは、分散値算出部２０５及び評価処理部２０６に供給される。分散値算出部２０５は、各フレーム内の解析領域での温度の分散を算出する。分散値算出部２０５が算出した分散値も評価処理部２０６に供給される。

評価処理部２０６は、温度算出部２０４で算出した解析領域の温度値（最高値、最低値、最頻値、及び平均値）と分散値算出部２０５で算出した分散値に基づいて、コンテンツを見ている被験者ｘの自律神経活動を評価する。この評価処理部２０６が行う評価処理の詳細については後述する。

評価処理部２０６で得られる自律神経活動の評価結果は、計測制御部２０７に供給される。計測制御部２０７は、評価処理部２０６で得られた評価結果を、コンテンツを見ている被験者ｘの評価結果として、出力部２１０から外部に出力する。例えば、自律神経活動評価装置２００に接続された別のコンピュータ装置に、評価結果のデータを出力する。あるいは、自律神経活動評価装置２００に接続（又は内蔵）された表示装置３００に評価結果を表示するようにしてもよい。

また、計測制御部２０７には、コンテンツ記憶部２０８が接続されている。コンテンツ記憶部２０８には、表示装置３００に表示されるコンテンツのデータが記憶されており、計測制御部２０７は、コンテンツ記憶部２０８からコンテンツデータを読み出して、表示装置３００に１ページずつ表示させる。このときのページ送り操作は、例えば被験者ｘによる操作入力部２０９での操作により行われる。

図３は、自律神経活動評価装置２００をコンピュータ装置で構成した場合のハードウェア構成例を示す。
図３に示すコンピュータは、バス８にそれぞれ接続されたＣＰＵ（Control Processing Unit：中央処理装置）１、ＲＯＭ（Read Only Memory）２、およびＲＡＭ（Random Access Memory）３を備える。さらに、コンピュータ装置は、記憶装置４、操作入力部５、表示装置６、及び通信インターフェース７を備える。

ＣＰＵ１は、本実施の形態例に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ２から読み出して実行する。
ＲＡＭ３には、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。本実施の形態例に係る各システムおよび装置における処理の実行は、主にＣＰＵ１がプログラムコードを実行することにより実現される。

表示装置６は、例えば、液晶ディスプレイモニタであり、この表示装置６によりコンピュータで実行される処理の結果が利用者に表示される。表示装置６は、図２に示す自律神経活動評価装置２００に接続された表示装置３００に相当する。
操作入力部５には、例えば、キーボード、マウスなどが用いられ、利用者は操作入力部５を用いて所定の入力を行う。操作入力部５は、図２に示す自律神経活動評価装置２００の操作入力部２０９に相当する。

記憶装置４には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの大容量データ記憶媒体が用いられる。記憶装置４には、各種説明情報や、このコンピュータを機能させるためのプログラムが記録される。
通信インターフェース７には、例えば、ＮＩＣ（Network Interface Card）などが用いられる。通信インターフェース７は、端子が接続されたＬＡＭ（Local Area Network）、専用線などを介して外部と各種データの送受信を行う。

［３．自律神経活動の評価処理の流れ］
図４は、本例の自律神経活動の評価処理の開始から終了までの時間の流れを示す。
図４に示すように、被験者ｘの評価処理を行う際には、最初に表示装置３００にコンテンツが表示されない前レスト期間Ｔａを設定する。この前レスト期間Ｔａは、例えば３０秒などの予め決めた長さに設定される。

そして、前レスト期間Ｔａが経過すると、自律神経活動評価装置２００の計測制御部２０７は、コンテンツの閲覧を開始する（コンテンツ閲覧期間Ｔｂ）。このコンテンツ閲覧期間Ｔｂが開始されると、計測制御部２０７は、コンテンツ記憶部２０８に記憶されたコンテンツ（例えば漫画）の１ページ目を表示装置３００に表示する。
その後、被験者ｘは、操作入力部２０９を使って、コンテンツのページ送り操作を行い、コンテンツを１ページずつ最終ページまで閲覧する。このように被験者ｘ自身がページ送り操作を行うため、コンテンツ閲覧期間Ｔｂは一定の時間にはならない。すなわち、被験者ｘによって、コンテンツ閲覧期間Ｔｂが異なる。

そして、最終ページの閲覧が終了すると、計測制御部２０７は、表示装置３００にコンテンツを表示しない後レスト期間Ｔｃを設定し、後レスト期間Ｔｃの経過を待って評価処理を終了する。この後レスト期間Ｔｃも、前レスト期間Ｔａと同様に例えば３０秒などの予め決めた長さに設定される。

以上説明したように、自律神経活動評価装置２００は、被験者ｘにコンテンツを閲覧させて、前レスト期間Ｔａ、コンテンツ閲覧期間Ｔｂ、後レスト期間Ｔｃの全ての期間で、被験者ｘの顔を撮影した熱画像を取得してその評価処理を行う。

図５は、自律神経活動評価装置２００が行う自律神経活動の評価処理の流れを示すフローチャートである。
まず、前レスト期間Ｔａが開始すると（ステップＳ１１）、自律神経活動評価装置２００の顔領域抽出部２０２は、赤外線サーモグラフィ装置１００から伝送された熱画像データから、顔領域を抽出する（ステップＳ１２）。そして、解析領域設定部２０３は、顔領域の内の下半分を解析領域に設定する（ステップＳ１３）。

解析領域設定部２０３で解析領域が設定されると、温度算出部２０４は、設定された解析領域（顔の下半分の領域）内の各画素の温度を算出する（ステップＳ１４）。ここでは、温度算出部２０４は、解析領域内の最高温度、最低温度、最頻温度及び平均温度を算出する。さらに、分散値算出部２０５は、温度算出部２０４で算出された解析領域内の各画素の温度から、解析領域内の温度の分散値を算出する（ステップＳ１５）。
なお、分散値は、例えば次式に基づいて算出される。次式において、Ｔは解析領域全体の平均温度、Ｘ_ｉは解析領域内の各画素の温度であり、分散値算出部２０５は、解析領域内のｎ個の画素全ての温度の分散を求める処理を行う。

その後、自律神経活動評価装置２００の計測制御部２０７は、後レスト期間Ｔｃが終了したか否かを判断する（ステップＳ１６）。ここで、後レスト期間Ｔｃが終了するタイミングでないと判断したとき（ステップＳ１６のＮｏ）、ステップＳ１２における顔領域抽出部２０２の処理に戻る。

また、ステップＳ１６において、後レスト期間Ｔｃが終了するタイミングであると判断したとき（ステップＳ１６のＹｅｓ）、評価処理部２０６は、それぞれの期間で得られた温度から、自律神経活動の評価処理を行う（ステップＳ１７）。そして、評価処理部２０６で得られた評価結果を、出力部２１０から出力する（ステップＳ１８）。

［４．評価処理の具体例］
次に、２人の被験者ｘ１，ｘ２がコンテンツを閲覧したときの、本例の自律神経活動評価装置２００により自律神経活動を評価した具体例について説明する。
ここでは、被験者ｘ１がコンテンツ（作品Ａ及び作品Ｂ）を閲覧したときの評価例と、別の被験者ｘ２がコンテンツ（作品Ｃ及び作品Ｂ）を閲覧したときの評価例を示す。

まず、図６～図９を参照して、被験者ｘ１がコンテンツ（作品Ａ）を閲覧したときの評価例について説明する。
図６は、被験者ｘ１がコンテンツ（作品Ａ）を閲覧する前の心理状態と閲覧した後の心理状態とを、被験者ｘ１によるアンケートの回答によって取得し、その閲覧前の心理状態と閲覧後の心理状態との差分値を、心理評価として示すグラフである。
ここでは、作品Ａを閲覧した際のアンケート回答として、［快－不快］、［喜び－哀しみ］、［怒り－恐れ］、［好き－嫌悪］、［安らぐ－驚き］の５種類の心理状態を得るようにした。

ここでは、［快］の反対の感情を［不快］、［喜び］の反対の感情を［哀しみ］、［怒り］の反対の感情を［恐れ］、［好き］の反対の感情を［嫌悪］、［安らぐ］の反対の感情を［驚き］とする。図６のグラフにおいて、０から数値が高くなる程、［快］、［喜び］、［怒り］、［好き］、［安らぐ］のポジティブ側の感情を高く持ったことを示す。［快］、［喜び］、［怒り］、［好き］、［安らぐ］の心理状態と反対になる、ネガティブ側の心理状態である［不快］、［哀しみ］、［恐れ］、［嫌悪］、［驚き］については、０からマイナス側に増える数値で示されるため、図６の例では示されていない。

図６に示す回答例では、コンテンツ（作品Ａ）を閲覧した直後に、ポジティブ側の評価が増加し、具体的には、［快］の感情が急増し、［喜び］の感情が微増し、［好き］の感情が増加し、［安らぎ］の感情が増加している。

次に、赤外線サーモグラフィ装置１００で得た、被験者ｘ１がコンテンツ（作品Ａ）を閲覧中の熱画像の例を、図７及び図８に示す。なお、図７などの各図に示す熱画像は、本来は色で温度変化を示すカラー画像である。したがって、モノクロ画像として示す図面上では、画像の濃淡がある程度の温度変化を反映しているが、必ずしも正確な温度を反映しているとは限らない。

図７は、コンテンツ（作品Ａ）を閲覧中の被験者ｘ１を撮影した熱画像の全体と、解析領域である顔の下半分の付近を拡大した熱画像とを示す。解析領域には、図７に示すように、顔の鼻部、唇部、右頬部、左頬部が含まれる。
図８は、この解析領域である顔の下半分の付近の熱画像を、時系列で並べたものである。図８の例では、コンテンツ（作品Ａ）の閲覧開始から１０秒間隔で、１６０秒までの１７個の熱画像を示す。各画像の下に記載した数値が、閲覧開始からの秒数である。なお、この例では、０秒から３０秒までが前レスト期間Ｔａであり、１４０秒以降が後レスト期間Ｔｃである。

図８に示すように、被験者ｘ１がコンテンツ（作品Ａ）を閲覧した場合、鼻部は、閲覧開始から１１０秒あたりまで温度にほとんど変化がなく、その後上昇している。また、口唇部は、閲覧開始から９０秒あたりまで温度にほとんど変化がなく、その後上昇している。但し、鼻部の温度変化と唇部の温度変化は、完全には拮抗していない。

図９は、解析領域である顔の下半分の温度の分散値の変化を示す。図９の横軸は時間（秒）であり、縦軸は分散値を示し、分散値は上に行くほど温度の分散が大きくなっていることを示す。
この図９から分かるように、コンテンツ（作品Ａ）を閲覧している期間内で、分散が徐々に増大している。

このように温度の分散が大きくなっている場合、評価処理部２０６は、被験者ｘ１の感情が、コンテンツ（作品Ａ）の閲覧により高まったと評価する。この被験者ｘ１の感情の高まりがあったとする評価は、図６に示す被験者自身によるアンケートでの回答で、［快］の感情が急増した状態等を反映した、被験者ｘ１自身の感情を的確に捉えた評価結果である。

次に、図１０～図１３を参照して、被験者ｘ１がコンテンツ（作品Ｂ）を閲覧したときの評価例について説明する。
図１０は、被験者ｘ１がコンテンツ（作品Ｂ）を閲覧する前の心理状態と閲覧した後の心理状態とを、被験者ｘ１によるアンケートの回答によって取得し、その閲覧前の心理状態と閲覧後の心理状態との差分値を、心理評価として示すグラフである。この図１０のアンケート回答の分類は、既に説明した図６のアンケート回答と同様に、［快－不快］、［喜び－哀しみ］、［怒り－恐れ］、［好き－嫌悪］、［安らぐ－驚き］の５種類の心理状態である。

図１０の例では、コンテンツ（作品Ｂ）を閲覧した直後に、ネガティブ側の評価が増加し、具体的には、［不快］、［哀しみ］、［恐れ］、［嫌悪］、［驚き］の５種類のネガティブ側の感情がいずれも増加している。

次に、赤外線サーモグラフィ装置１００で得た、被験者ｘ１がコンテンツ（作品Ｂ）を閲覧中の熱画像の例を、図１１及び図１２に示す。図１１は、コンテンツ（作品Ｂ）を閲覧中の被験者ｘ１を撮影した熱画像の全体と、解析領域である顔の下半分の付近を拡大した熱画像とを示す。

図１２は、この解析領域である顔の下半分の付近の熱画像を、時系列で並べたものである。図１２の例では、コンテンツ（作品Ｂ）の閲覧開始から１０秒間隔で、１１０秒までの１２個の熱画像を示す。各画像の下に記載した数値が、閲覧開始からの秒数である。なお、この例では、０秒から３０秒までが前レスト期間Ｔａであり、９０秒以降が後レスト期間Ｔｃである。
この図１２に示す被験者ｘ１がコンテンツ（作品Ｂ）を閲覧した場合、時系列的には温度変化が少ないが、鼻先に着目すると温度が徐々に低下している。

図１３は、解析領域である顔の下半分の温度の分散値の変化を示す。図１３の横軸は時間（秒）であり、縦軸は分散値を示し、分散値は上に行くほど温度の分散が大きくなっていることを示す。
この図１３から分かるように、コンテンツ（作品Ｂ）を閲覧している期間内で、分散値にほとんど変化がないことがわかる。

このように温度の分散に変化がない場合、評価処理部２０６は、コンテンツ（作品Ｂ）の閲覧により被験者ｘ１の感情の高まりがないと評価する。この被験者ｘ１の感情の高まりないとする評価は、図１０に示す被験者自身によるアンケートでの回答で、ネガティブ側の感情が高い状態を反映した、被験者ｘ１自身の感情を的確に捉えた評価結果になる。

次に、図１４～図１７を参照して、被験者ｘ２がコンテンツ（作品Ｃ）を閲覧したときの評価例について説明する。
図１４は、被験者ｘ２がコンテンツ（作品Ｃ）を閲覧する前の心理状態と閲覧した後の心理状態とを、被験者ｘ１によるアンケートの回答によって取得し、その閲覧前の心理状態と閲覧後の心理状態との差分値を、心理評価として示すグラフである。この図１４のアンケート回答の分類は、既に説明した図６及び図１０のアンケート回答と同様に、［快－不快］、［喜び－哀しみ］、［怒り－恐れ］、［好き－嫌悪］、［安らぐ－驚き］の５種類の心理状態である。

図１４の例では、コンテンツ（作品Ｃ）を閲覧した直後に、ポジティブ側の評価が微増し、具体的には、［快］、［喜び］、［好き］、［安らぐ］の４種類のポジティブ側の感情がいずれも微増している。

次に、赤外線サーモグラフィ装置１００で得た、被験者ｘ２がコンテンツ（作品Ｃ）を閲覧中の熱画像の例を、図１５及び図１６に示す。図１５は、コンテンツ（作品Ｃ）を閲覧中の被験者ｘ２を撮影した熱画像の全体と、解析領域である顔の下半分の付近を拡大した熱画像とを示す。

図１６は、この解析領域である顔の下半分の付近の熱画像を、時系列で並べたものである。図１６の例では、コンテンツ（作品Ｃ）の閲覧開始から１０秒間隔で、１１０秒までの１２個の熱画像を示す。各画像の下に記載した数値が、閲覧開始からの秒数である。なお、この例では、０秒から３０秒までが前レスト期間Ｔａであり、７０秒以降が後レスト期間Ｔｃである。
この図１６に示すように、被験者ｘ２がコンテンツ（作品Ｃ）を閲覧した場合、非常に温度変化が少ないことがわかる。

図１７は、解析領域である顔の下半分の温度の分散値の変化を示す。図１７の横軸は時間（秒）であり、縦軸は分散値を示し、分散値は上に行くほど温度の分散が大きくなっていることを示す。
この図１７から分かるように、コンテンツ（作品Ｃ）を閲覧している期間内で、分散値にほとんど変化がなく、若干分散値が小さな値に変化している傾向があることがわかる。

このように温度の分散にほとんど変化がない場合、評価処理部２０６は、コンテンツ（作品Ｃ）の閲覧により被験者ｘ２の感情の高まりがないと評価する。この被験者ｘ２の感情の高まりないとする評価は、図１４に示す被験者自身によるアンケートでの回答で、ポジティブ側の感情が微増した状態を反映した、被験者ｘ２自身の感情を的確に捉えた評価結果になる。

次に、図１８～図２１を参照して、被験者ｘ２がコンテンツ（作品Ｂ：図１０～図１３の例の作品Ｂと同じ）を閲覧したときの評価例について説明する。
図１８は、被験者ｘ２がコンテンツ（作品Ｃ）を閲覧する前の心理状態と閲覧した後の心理状態とを、被験者ｘ１によるアンケートの回答によって取得し、その閲覧前の心理状態と閲覧後の心理状態との差分値を、心理評価として示すグラフである。この図１８のアンケート回答の分類は、既に説明した図６、図１０、及び図１４のアンケート回答と同様に、［快－不快］、［喜び－哀しみ］、［怒り－恐れ］、［好き－嫌悪］、［安らぐ－驚き］の５種類の心理状態である。

図１８の例では、コンテンツ（作品Ｃ）を閲覧した直後に、ネガティブ側の評価が微増又は増加し、具体的には、［不快］、［哀しみ］のネガティブ側の感情が増加し、［恐れ］、［嫌悪］、［驚き］のネガティブ側の感情が微増している。

次に、赤外線サーモグラフィ装置１００で得た、被験者ｘ２がコンテンツ（作品Ｂ）を閲覧中の熱画像の例を、図１９及び図２０に示す。図１９は、コンテンツ（作品Ｂ）を閲覧中の被験者ｘ２を撮影した熱画像の全体と、解析領域である顔の下半分の付近を拡大した熱画像とを示す。

図２０は、この解析領域である顔の下半分の付近の熱画像を、時系列で並べたものである。図２０の例では、コンテンツ（作品Ｂ）の閲覧開始から１０秒間隔で、１４０秒までの１５個の熱画像を示す。各画像の下に記載した数値が、閲覧開始からの秒数である。なお、この例では、０秒から３０秒までが前レスト期間Ｔａであり、１００秒以降が後レスト期間Ｔｃである。
この図２０に示すように、被験者ｘ２がコンテンツ（作品Ｂ）を閲覧した場合、非常に温度変化が少ないことがわかる。

図２１は、解析領域である顔の下半分の温度の分散値の変化を示す。図２１の横軸は時間（秒）であり、縦軸は分散値を示し、分散値は上に行くほど温度の分散が大きくなっていることを示す。
この図２１から分かるように、コンテンツ（作品Ｂ）を閲覧している期間内で、分散値にほとんど変化がないことがわかる。

このように温度の分散にほとんど変化がない場合、評価処理部２０６は、コンテンツ（作品Ｃ）の閲覧により被験者ｘ２の感情の高まりがないと評価する。この被験者ｘ２の感情の高まりないとする評価は、図１８に示す被験者自身によるアンケートでの回答で、ネガティブ側の感情が若干増加した状態を反映した、被験者ｘ２自身の感情を的確に捉えた評価結果になる。

以上の実例からわかるように、被験者がコンテンツを閲覧した際に、そのコンテンツの内容によって、コンテンツから与えられる感動（感情）に大きな差があり、その感動を受けた度合いが、被験者の顔の下半分の皮膚表面温度の分布変化に現れて、分散値の変化として取得することができる。したがって、被験者の顔の下半分の皮膚表面温度の分散値の変動が大きいとき、被験者が感動するコンテンツであると評価することができる。逆に、被験者の顔の下半分の皮膚表面温度の分散値の変動が小さいとき、被験者が感動しないコンテンツであると評価することができる。
しかも、被験者の顔の温度を検出する際に、顔の下半分の領域を解析領域としたことで、被験者が眼鏡を掛けている場合と掛けていない場合や、被験者の頭髪の状態などの影響を排除した適切な評価が可能になる。

また、被験者ごとにコンテンツの閲覧でどの程度感動したかを評価することができることで、それぞれの被験者の嗜好に合ったコンテンツの推薦などが可能になる。また、漫画などのコンテンツを販売している事業者にとっては、販売しているコンテンツがユーザに与える感動などを定量的に評価できるようになり、より感動を与えるコンテンツの製作に貢献する。

［５．変形例］
なお、図２に示す自律神経活動評価装置２００の構成は、一例を示すものであり、熱画像を取得して同様の解析処理が可能であれば、その他の構成としてもよい。上述した実施の形態例では、自律神経活動評価装置２００は、コンピュータ装置にソフトウェアを実装することで構成したが、専用のハードウェアで同様の構成としてもよい。自律神経活動の評価処理を行うためのソフトウェア（プログラム）については、半導体メモリや光ディスクなどの様々な記録媒体で配布する他に、インターネットなどを経由して伝送して配布するようにしてもよい。

また、上述した実施の形態では、自律神経活動評価装置２００は、顔領域抽出部２０２が被験者の顔の領域を抽出した後、解析領域設定部２０３が顔の領域内から解析領域として、顔の下半分の領域を設定するようにした。これに対して、例えば顔領域抽出部２０２を省略して、解析領域設定部２０３が熱画像から直接、顔の下半分の領域を解析領域として取り出すようにしてもよい。
また、上述した実施の形態では、コンテンツとして漫画を閲覧する例としたが、本発明は、その他の様々なコンテンツを被験者が閲覧する場合に適用が可能である。

１…中央制御ユニット（ＣＰＵ）、２…ＲＯＭ、３…ＲＡＭ、４…記憶装置、５…操作入力部、６…表示装置、７…通信インターフェース、８…バスライン、１００…赤外線サーモグラフィ装置、２００…自律神経活動評価装置（コンピュータ装置）、２０１…熱画像取得部、２０２…顔領域抽出部、２０３…解析領域設定部、２０４…温度算出部、２０５…分散値算出部、２０６…評価処理部、２０７…計測制御部、２０８…コンテンツ記憶部、２０９…操作入力部、２１０…出力部、３００…表示装置

Claims (6)

1. 被験者にコンテンツを提示した際の生体情報を計測して、前記被験者の自律神経活動を評価する自律神経活動評価装置であって、
   被験者の顔を撮影した熱画像データを取得する熱画像取得部と、
   前記熱画像取得部が取得した熱画像データから、前記被験者の鼻先部分を含む前記被験者の顔の約下半分の領域の熱画像データを、解析領域に設定する解析領域設定部と、
   前記解析領域設定部が設定した解析領域内の熱画像データから温度を算出する温度算出部と、
   前記温度算出部が算出した温度に基づいて、前記被験者の自律神経活動の評価情報を得る評価処理部と、を備える
   自律神経活動評価装置。
2. 更に、前記温度算出部で得られた温度値のデータに基づいて、前記熱画像の各フレーム内の温度の分散を算出する分散値算出部を備え、
   前記評価処理部は、前記温度算出部が算出した温度及び前記分散値算出部が算出した分散に基づいて、前記被験者の自律神経活動の評価情報を得て、前記コンテンツの提示により、前記温度算出部が算出した分散の値が大きな値に変化したとき、前記被験者に感情の高まりが生じたと評価する
   請求項１に記載の自律神経活動評価装置。
3. 前記温度算出部は、各フレームの熱画像データから、前記解析領域内における画素の温度値の最高値、最低値、最頻値及び平均値を算出する、
   請求項１または２に記載の自律神経活動評価装置。
4. 前記評価処理部は、前記解析領域設定部が設定した、前記被験者の鼻先部分を含む前記被験者の顔の約下半分の解析領域の内の、鼻先部分及び口元の温度変化に注目して評価を行う
   請求項１または２に記載の自律神経活動評価装置。
5. 被験者にコンテンツを提示した際の生体情報を計測して、前記被験者の自律神経活動を評価する自律神経活動評価方法であって、
   被験者の顔を撮影した熱画像データを取得する熱画像取得処理と、
   前記熱画像取得処理により取得した熱画像データから、前記被験者の鼻先部分を含む前記被験者の顔の約下半分の領域の熱画像データを、解析領域に設定する解析領域設定処理と、
   前記解析領域設定処理により設定した解析領域内の熱画像データから温度値を算出する温度算出処理と、
   前記温度算出処理によって算出された温度に基づいて、前記被験者の自律神経活動の評価情報を得る評価処理と、を含む
   自律神経活動評価方法。
6. 被験者にコンテンツを提示した際の生体情報を計測して、前記被験者の自律神経活動を評価する手順をコンピュータに実行させるプログラムであって、
   被験者の顔を撮影した熱画像データを取得する熱画像取得手順と、
   前記熱画像取得手順により取得した熱画像データから、前記被験者の鼻先部分を含む前記被験者の顔の約下半分の領域の熱画像データを、解析領域に設定する解析領域設定手順と、
   前記解析領域設定手順により設定した解析領域内の熱画像データから温度値を算出する温度算出手順と、
   前記温度算出手順によって算出された温度に基づいて、前記被験者の自律神経活動の評価情報を得る評価手順と、をコンピュータに実行させるためのプログラム。

Images