JP7395429B2 - 感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラム - Google Patents

Description

本開示は、感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラムに関する。

従来、コンサートなどのライブ会場において、イベント参加者の表情をカメラで撮影した映像から、イベント参加者の感情の推移を解析するシステムが開発されている（例えば、非特許文献１参照）。

"エイベックス×ＭＳが観客の感情を捉える－－エンタメ業界でＡＩを活用するという挑戦"、［ｏｎｌｉｎｅ］、ｃｎｅｔ Ｊａｐａｎ（朝日インタラクティブ株式会社）、［２０２０年４月３日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｊａｐａｎ．ｃｎｅｔ．ｃｏｍ／ａｒｔｉｃｌｅ／３５１１６０８５／＞ "薄型フレキシブル電池（Ａｉｒ Ｐａｔｃｈ Ｂａｔｔｅｒｙ）（開発中）"、［ｏｎｌｉｎｅ］、マクセルホールディングス株式会社、［２０１９年１２月９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ｂｉｚ．ｍａｘｅｌｌ．ｃｏｍ／ｊａ／ｐｒｉｍａｒｙ＿ｂａｔｔｅｒｉｅｓ／ａｉｒ＿ｐａｔｃｈ＿ｂａｔｔｅｒｙ．ｈｔｍｌ＞

しかしながら、従来のシステムによると、イベント参加者の感情を知ることはできるものの、イベント参加者の感情がコンサートや映画などのイベントの制作者の意図に合致しているかを知ることが困難である。

本開示は、このような事情に鑑みてなされたものであり、イベント制作者の意図に基づくイベント参加者の感情を解析することのできる感情解析装置、感情解析システム、感情解析方法、及びコンピュータプログラムを提供することを目的とする。

本開示の一態様に係る感情解析装置は、ユーザの感情を解析する感情解析装置であって、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得する第１取得部と、前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第２取得部と、前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備える。

本開示の他の態様に係る感情解析システムは、ユーザの顔に接触させるセンサと、前記ユーザの感情を解析する感情解析装置とを備え、前記感情解析装置は、前記センサから前記ユーザの感情に関連する物理量の計測値を取得し、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値を取得する第１取得部と、前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第２取得部と、前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを有する。

本開示の他の態様に係る感情解析方法は、ユーザの感情を解析する感情解析方法であって、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得するステップと、前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、取得された前記計測値及び前記第１属性値と、取得された前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含む。

本開示の他の態様に係るコンピュータプログラムは、ユーザの感情を解析する感情解析装置としてコンピュータを機能させるためのコンピュータプログラムであって、前記コンピュータを、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得する第１取得部と、前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第２取得部と、前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部として機能させる。

なお、本開示は、感情解析方法に含まれる特徴的なステップをコンピュータに実行させるためのコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、感情解析装置の一部又は全部を実現する半導体集積回路として実現することもできる。

本開示によると、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。

図１は、実施形態１に係る感情解析システムの全体構成を示す図である。 図２は、実施形態１に係る感情解析システムを構成するシール型センサ及びサーバのそれぞれの機能構成を示すブロック図である。 図３は、実施形態１に係るシール型センサの構成を示す図である。 図４は、回路層へのひずみゲージの配置位置の一例を示す図である。 図５は、実施形態１に係る感情解析システムによるひずみ量の収集処理の手順の一例を示すシーケンス図である。 図６は、実施形態１に係るサーバによる感情解析処理の手順の一例を示すフローチャートである。 図７は、計測値データの一例を示す図である。 図８は、期待値データの一例を示す図である。 図９は、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。 図１０は、記憶部に記憶される類似度の一例を示す図である。 図１１は、ひずみ量の計測値の時間的推移を示すグラフの一例を示す図である。 図１２Ａは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。 図１２Ｂは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。 図１３Ａは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。 図１３Ｂは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。 図１４Ａは、正規化前のひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。 図１４Ｂは、正規化後のひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図である。 図１５は、アトラクションの一例を示す図である。

［本開示の実施形態の概要］
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る感情解析装置は、ユーザの感情を解析する感情解析装置であって、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得する第１取得部と、前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第２取得部と、前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備える。

この構成によると、イベントにおけるあらかじめ設定された期待時刻及び期待場所の少なくとも一方において、物理量の期待値とどれくらい一致した物理量をイベント参加者であるユーザが示したかを知ることができる。この物理量は感情と関連している。つまり、期待する感情とどれくらい一致した感情をユーザが示したかを知ることができる。よって、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。

（２）好ましくは、前記期待値及び前記第２属性値は、前記第１取得部により取得された複数のユーザの前記計測値及び前記第１属性値に基づいて算出される。

この構成によると、効率的かつ自動的に期待値及び第２属性値を作成することができる。これにより、例えば、同じ内容のコンテンツが繰り返し実行されるイベント（例えば、映画、テーマパークのアトラクション、演劇、コンサート）において、過去にユーザが示した反応をイベント制作者の意図として、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。

（３）さらに好ましくは、前記第１属性値は前記計測時刻を示し、前記第２属性値は前記期待時刻を示し、前記算出部は、前記計測時刻及び前記期待時刻の一方を所定の反応時間だけずらした上で前記評価値を算出する。

この構成によると、ユーザの反応時間をあらかじめ想定した上で物理量の計測値及び物理量の期待値の類似性を示す評価値を算出することができる。何らかの事象の変化がユーザの感情の表出につながるが、事象が変化してから感情の表出までの間には時間がかかる。例えば、お化け屋敷などのアトラクションにおいて、ユーザを驚かす事象が発生した場合には、その事象が発生してから顔の筋肉が震えるなどの感情の表出までの間には時間がかかる。この時間を反応時間として事前に設定しておくことで、事象の発生時刻に期待時刻を設定したとしても反応時間を考慮した上で上記評価値を正確に算出することができる。

（４）また、前記第１属性値は前記計測時刻を示し、前記第２属性値は前記期待時刻を示し、前記算出部は、さらに、前記評価値に基づいて前記計測時刻及び前記期待時刻の差を算出してもよい。

この構成によると、イベント制作者の意図する期待時刻とずれた時刻にユーザが感情を表出した場合に、その時刻の差を算出することができる。例えば、音楽コンサートにおいて演奏時間がイベント制作者の意図よりも長くなるなど、イベントの時間長が当初予定していた時間長からずれる場合がある。このような場合であっても、計測時刻及び期待時刻の一方をずらすことにより類似度が最大となるときの計測時刻及び期待時刻の差を算出することができる。これにより、イベント制作者は、計測時刻のずれを知ることができる。また、計測時刻のずれを考慮することで、イベント制作者の意図に基づくイベント参加者の感情をより正確に解析することができる。

（５）また、前記算出部は、前記計測値及び前記第１属性値と、前記期待値及び前記第２属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の正規化相互相関を算出してもよい。

この構成によると、計測値及び期待値の正規化相互相関により、計測値及び期待値の類似性を評価することができる。

（６）また、前記算出部は、前記計測値及び前記第１属性値と、前記期待値及び前記第２属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の平均絶対値誤差を算出してもよい。

この構成によると、計測値及び期待値の平均絶対値誤差により、計測値及び期待値の類似性を評価することができる。

（７）また、前記算出部は、前記計測値及び前記第１属性値と、前記期待値及び前記第２属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の平均平方二乗誤差を算出してもよい。

この構成によると、計測値及び期待値の平均平方二乗誤差により、計測値及び期待値の類似性を評価することができる。

（８）また、前記算出部は、前記計測値及び前記第１属性値と、前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の少なくとも一方を正規化し、少なくとも一方が正規化された前記計測値及び前記期待値の類似性を示す評価値を算出してもよい。

この構成によると、感情の出方の異なる複数のユーザについて計測値を正規化することができるため、複数のユーザ間で類似性を示す評価値を精度よく比較することが可能になる。

（９）また、前記第１取得部は、前記ユーザの顔に接触させたセンサから、前記ユーザの顔の形状の変化の度合いを示す前記物理量の計測値を取得してもよい。

ユーザは、感情が変化して笑ったり、怒ったりした場合には、顔の表情筋が変化する。このため、顔の形状の変化の度合いを示す物理量の計測値をセンサから直接的に取得することにより、任意の時刻及び場所においてユーザの感情を解析することができる。

（１０）本開示の一実施形態に係る感情解析システムは、ユーザの顔に接触させるセンサと、前記ユーザの感情を解析する感情解析装置とを備え、前記感情解析装置は、前記センサから前記ユーザの感情に関連する物理量の計測値を取得し、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値を取得する第１取得部と、前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第２取得部と、前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを有する。

この構成によると、イベントにおけるあらかじめ設定された期待時刻及び期待場所の少なくとも一方において、物理量の期待値とどれくらい一致した物理量をイベント参加者であるユーザが示したかを知ることができる。この物理量は感情と関連している。つまり、期待する感情とどれくらい一致した感情をユーザが示したかを知ることができる。よって、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。また、ユーザは、感情が変化して笑ったり、怒ったりした場合には、顔の表情筋が変化する。このため、顔の形状の変化の度合いを示す物理量の計測値をセンサから直接的に取得することにより、任意の時刻及び場所においてユーザの感情を解析することができる。

（１１）本開示の一実施形態に係る感情解析方法は、ユーザの感情を解析する感情解析方法であって、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得するステップと、前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、取得された前記計測値及び前記第１属性値と、取得された前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含む。

この構成は、上述の感情解析装置における特徴的な処理をステップとして含む。このため、この構成によると、上述の感情解析装置と同様の作用及び効果を奏することができる。

（１２）本開示の他の実施形態に係るコンピュータプログラムは、ユーザの感情を解析する感情解析装置としてコンピュータを機能させるためのコンピュータプログラムであって、前記コンピュータを、ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得する第１取得部と、前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第２取得部と、前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部として機能させる。

この構成によると、コンピュータを、上述の感情解析装置として機能させることができる。このため、上述の感情解析装置と同様の作用及び効果を奏することができる。

［本開示の実施形態の詳細］
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
また、同一の構成要素には同一の符号を付す。それらの機能及び名称も同様であるため、それらの説明は適宜省略する。

＜実施形態１＞
〔感情解析システムの全体構成〕
図１は、本開示の実施形態１に係る感情解析システムの全体構成を示す図である。

感情解析システム１は、シール型センサ３と、サーバ４とを備える。

シール型センサ３は、接着面を有し、かつシート状をなす。シール型センサ３は、例えば、接着面によりユーザ２の顔に貼り付けられ、表情の変化に応じた顔の形状の変化の度合いを示す物理量を計測する。

なお、図１では、一人のユーザ２に貼り付けられたシール型センサ３のみを示しているが、複数のユーザ２の各々に、シール型センサ３が貼り付けられるものとする。

シール型センサ３は無線通信が可能であり、アクセスポイント７（中継器）を介してインターネット又はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク６に接続される。

サーバ４は、感情解析装置として機能し、ネットワーク６に有線又は無線により接続され、ネットワーク６を介して複数のシール型センサ３の各々から物理量の計測値を受信する。サーバ４は、受信した物理量の計測値に基づいて、シール型センサ３を顔に接着させたユーザ２の感情を解析する。サーバ４は、感情の解析結果をサーバ４に接続された表示装置に表示したり、ネットワーク６を介して他の装置に送信したりする。

例えば、映画館、音楽コンサート会場、劇場又はアトラクション会場などのイベント会場への入場時に、イベント開催者が参加者であるユーザ２にシール型センサ３を配布する。シール型センサ３を受け取ったユーザ２は、自身の顔（例えば、頬の部分）にシール型センサ３を貼る。ユーザ２が抵抗なくシール型センサ３を貼れるように、シール型センサ３の他者から視認可能な面には文字や画像（例えば、応援するチームのマーク）などが印刷されているのが望ましい。これにより、ユーザ２は、フェイスシールを貼る感覚でシール型センサ３を顔に貼ることができる。

アクセスポイント７は、イベント会場の複数の個所に設置されていることが望ましい。これにより、サーバ４は、会場内をユーザ２が移動しても、シール型センサ３から物理量の計測値を満遍なく収集することができる。また、サーバ４は、アクセスポイント７の位置と、アクセスポイント７が受信した物理量の計測値とを対応付けることができる。このため、アクセスポイント７の位置ごとにユーザ２の感情を解析することができる。なお、アクセスポイント７は、特に、イベント制作者が感情の解析が必要だと思う場所に配置されるのが望ましい。例えば、アトラクション（イベント）の事象発生場所（例えば、ジェットコースターが急降下する場所、お化け屋敷においてユーザを驚かす場所）毎にアクセスポイント７が設置される。これにより、サーバ４は、イベントの事象発生場所ごとにユーザの感情を分析することができ、事象発生場所においてユーザがイベント制作者の意図通りの感情を抱いたか否かを分析することができる。

〔シール型センサ３及びサーバ４の構成〕
図２は、実施形態１に係る感情解析システム１を構成するシール型センサ３及びサーバ４のそれぞれの機能構成を示すブロック図である。

シール型センサ３は、電源部３１と、センサ部３２と、計時部３３と、無線通信部３４と、記憶部３９とを備える。

電源部３１は、センサ部３２、計時部３３及び無線通信部３４に、各処理部を駆動するための電力を供給する。電源部３１は、例えば、シート型電池又はパッチ型電池である（例えば、非特許文献２参照）。図２では、電力の供給線を破線で示している。

また、電源部３１は、生体のエネルギーを利用して発電を行い、発電電力を供給してもよい。電源部３１は、例えば、シール型センサ３が貼り付けられるユーザ２の熱エネルギーを利用した温度差発電を行う。より詳細には、電源部３１は、ユーザ２の皮膚に接触されるシート状のゼーベック素子（熱電素子）を備え、ゼーベック素子内部の温度差により起電力を生じるゼーベック効果を利用して発電を行う。

また、電源部３１は、生体の汗を利用して発電を行ってもよい。より詳細には、電源部３１は、ユーザ２の皮膚に接触されるシート状のバイオ燃料電池を備え、バイオ燃料電池が、人間の汗に含まれている乳酸を酸化させる酵素により汗を電流に変換することで発電を行う。

計時部３３は、時刻を計時するクロック又はタイマである。

センサ部３２は、センサ部３２の接着面が接触する面（ユーザ２の顔面）の形状の変化の度合いを示す物理量を計測する。センサ部３２は、例えば、ひずみゲージを備える。ひずみゲージはユーザ２の顔の皮膚が動くことによりひずみゲージに加わった力を電圧（以下、「ひずみ量」という。）として計測する。センサ部３２は、ひずみゲージが計測したひずみ量を無線通信部３４に出力する。

無線通信部３４は、小型かつ省電力の無線通信を行う通信インタフェースを備える。無線通信部３４は、例えば、Ｗｉ－ＳＵＮ（Ｗｉｒｅｌｅｓｓ Ｓｍａｒｔ Ｕｔｉｌｉｔｙ Ｎｅｔｗｏｒｋ）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）又はＺｉｇＢｅｅ（登録商標）などの通信規格に従ってデータ通信を行う。無線通信部３４は、センサ部３２からひずみ量の計測値を受け、計時部３３からひずみ量の計測時刻を受け、ひずみ量及び計測時刻にシール型センサ３のＩＤ（識別子）（以下、「センサＩＤ」という。）を付加して、アクセスポイント７及びネットワーク６を経由してこれらのデータをサーバ４に送信する。なお、センサＩＤは、例えば、記憶部３９にあらかじめ記憶されており、無線通信部３４は、記憶部３９からセンサＩＤを読み出して、ひずみ量の計測値に付加するものとする。

記憶部３９は、センサ部３２により計測された物理量を記憶するための記憶装置である。

センサ部３２は、計測したひずみ量を計時部３３から取得したひずみ量の計測時刻と対応付けて、記憶部３９に書き込む。

無線通信部３４は、記憶部３９から、複数の時刻において計測されたひずみ量を読み出し、読み出したひずみ量の計測値及び計測時刻にセンサＩＤを付加してサーバ４に送信する。

サーバ４は、通信部４１、処理部４２及び記憶部４３を備える。

サーバ４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、通信インタフェース等を備えるコンピュータにより実現することができる。処理部４２は、ＲＯＭ又はＨＤＤ等の不揮発性メモリに記憶されたコンピュータプログラムをＲＡＭに展開して、ＣＰＵ上で実行することにより機能的に実現される。

通信部４１は、ネットワーク６を介して、シール型センサ３から、ひずみ量の計測値、計測時刻及びセンサＩＤを受信する。

処理部４２は、第１取得部４２ａと、第２取得部４２ｂと、算出部４２ｃとを有する。

第１取得部４２ａは、通信部４１が受信したひずみ量の計測値と、ひずみ量の計測時刻及びセンサＩＤとを計測値データとして記憶部４３に記憶する。なお、計測値データには、計測時刻とともに又は計測時刻の代わりに、ひずみ量の計測場所の情報が含まれていてもよい。ここで、ひずみ量の計測場所の情報として、ひずみ量の計測値を受信したアクセスポイント７の情報（例えば、アクセスポイント７のＩＤ）を利用することができる。ひずみ量の計測時刻又は計測場所は、ひずみ量の計測値の属性を示す第１属性値である。
また、第１取得部４２ａは、記憶部４３から計測値データを読み出す。

第２取得部４２ｂは、記憶部４３から、記憶部４３に事前に記憶されている期待値データを読み出す。ここで、期待値データは、イベントごとにあらかじめ設定された時刻（以下、「期待時刻」という）と、期待時刻における物理量（ひずみ量）の期待値とを含む。期待値データは、例えば、イベント制作者により設定される。なお、期待値データには、期待時刻とともに又は期待時刻の代わりに、あらかじめ設定された場所（以下、「期待場所」という）が含まれていてもよい。なお、期待値データの設定者はイベント制作者に限定されるものではなく、それ以外の者であってもよい。ひずみ量の期待時刻又は期待場所は、ひずみ量の期待値の属性を示す第２属性値である。なお、第１属性値と第２属性値とは同種の値である。つまり、第１属性値が計測時刻を示す場合には、第２属性値は期待時刻を示し、第１属性値が計測場所を示す場合には、第２属性値は期待場所を示す。また、第１属性値が計測時刻及び計測場所を示す場合には、第２属性値は期待時刻及び期待場所を示す。

算出部４２ｃは、第１取得部４２ａが取得した計測値データと、第２取得部４２ｂが取得した期待値データとに基づいて、計測値データが示すひずみ量の計測値と、期待値データが示すひずみ量の期待値との類似度を算出することによって、センサＩＤごとに感情を解析する。ここで、解析の対象とする感情は、例えば、ユーザ２の喜びである。ユーザ２の喜びが大きいほどユーザ２は笑顔になるためひずみ量の計測値が大きくなり、ユーザ２の喜びが小さいほどユーザ２は素の顔になるためひずみ量の計測値が小さくなる。

例えば、イベントが映画などの映像コンテンツの再生イベントである場合には、映像コンテンツの再生時刻が期待時刻と予め対応付けられている。また、計測値データは、コンテンツの再生時刻において計測されたユーザ２のひずみ量を含む。このため、算出部４２ｃは、期待時刻において計測されたユーザ２のひずみ量の計測値と、計測時刻におけるひずみ量の期待値との類似度を算出することができる。類似度が大きいほど、イベント制作者の意図通りのひずみ量をユーザが示したことになる。つまり、類似度が大きいほどイベント制作者の意図通りの感情をユーザが示したことになる。他方、類似度が小さいほど、イベント制作者の意図と反したひずみ量をユーザが示したことになる。つまり、類似度が小さいほど、イベント制作者の意図と反した感情をユーザが示したことになる。
算出部４２ｃは、算出した類似度を表示装置の画面に表示してもよいし、外部の装置に出力してもよい。

記憶部４３は、上述した計測値データ及び期待値データ等の感情解析処理に必要なデータを記憶する記憶装置であり、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性メモリ、又はフラッシュメモリ、ハードディスク等の不揮発性メモリにより構成される。

図３は、実施形態１に係るシール型センサ３の構成を示す図である。図３では、シール型センサ３を通常の使用方法で皮膚に貼り付ける場合に、皮膚に近い側を「下方」、皮膚から遠い側を「上方」とする。シール型センサ３は、例えば、シート状の接着層３Ａと、シート状の回路層３Ｂと、シート状の印刷層３Ｃとの３層により構成される。接着層３Ａには、下方に皮膚への刺激が少ない肌用の粘着剤が塗布されている。また、粘着剤の下方には、剥離シート３Ｄが設けられている。ユーザ２は、剥離シート３Ｄを剥がした後に、接着層３Ａの下方を肌に接触させることによりシール型センサ３を皮膚に貼り付ける。

接着層３Ａの上方には、回路層３Ｂが配置されている。回路層３Ｂには、上述した電源部３１、センサ部３２、計時部３３及び無線通信部３４を実現する回路が構成される。回路層３Ｂは、例えばフレキシブル基板上にＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップを配置することにより構成される。なお、電源部３１が温度差発電又は汗を利用した発電を行う場合には、ゼーベック素子又はバイオ燃料電池を皮膚に接触させることが望ましい。このため、ゼーベック素子又はバイオ燃料電池の下方には、接着層３Ａは配置されておらず、ゼーベック素子又はバイオ燃料電池が皮膚に接触する構成とする。

印刷層３Ｃは、回路層３Ｂの上方に配置され、印刷面を有する。印刷面は、印刷層３Ｃの上方に位置し、印刷面には、文字及び画像の少なくとも一方が印刷可能である。なお、ユーザ２が印刷面にペン等で文字又は画像を書き込むことができるように、印刷面の一部又は全部が白色等の無地であってもよいし、透明もしくは半透明であってもよい。

図４は、回路層３Ｂへのひずみゲージ３８の配置位置の一例を示す図である。ひずみゲージ３８は、センサ部３２の一部を構成する。回路層３Ｂには、例えば、四隅と中央部とにひずみゲージ３８が配置されている。このように、複数の個所にひずみゲージ３８を配置することにより、ひずみゲージ３８を１つ配置する場合に比べて、高精度に顔の形状の変化の度合いを計測することができる。

〔感情解析システム１によるひずみ量の収集処理〕
図５は、実施形態１に係る感情解析システム１によるひずみ量の収集処理の手順の一例を示すシーケンス図である。

センサ部３２は、計時部３３から出力される時刻に基づいて、現在時刻がひずみ量の計測タイミングであるか否かを判断する（Ｓ１）。例えば、ひずみ量を１秒毎に計測する場合には、センサ部３２は、時刻が正秒（小数点以下が０である秒）であれば、現在時刻がひずみ量の計測タイミングであると判断し、それ以外の時刻であればひずみ量の計測タイミングでないと判断する。

センサ部３２は、現在時刻がひずみ量の計測タイミングでなければ（Ｓ１でＮＯ）、現在時刻が計測タイミングになるまで待機する（Ｓ１）。

センサ部３２は、現在時刻がひずみ量の計測タイミングであれば（Ｓ１でＹＥＳ）、ひずみ量を計測する（Ｓ２）。なお、センサ部３２は、回路層３Ｂに複数のひずみゲージ３８が配置されている場合には、複数のひずみゲージ３８が計測したひずみ量を計測値としてもよいし、複数のひずみ量の計測値から１以上のひずみ量を算出し、算出したひずみ量をひずみ量の計測値としてもよい。例えば、センサ部３２は、複数のひずみ量の計測値の平均値を計測値としてもよいし、複数のひずみ量の計測値の最大値及び最小値を計測値としてもよい。

センサ部３２は、計時部３３からひずみ量の計測時刻を取得し、ひずみ量の計測値と計測時刻とを記憶部３９に書き込む（Ｓ３）。

無線通信部３４は、計時部３３から出力される時刻と、送信周期を定義した条件（例えば、１分ごと）又は送信時刻を定義した条件（例えば、１２時００分、イベント開始から３０分後等）とに基づいて、現在時刻がひずみ量の計測値の送信タイミングであるか否かを判断する（Ｓ４）。

現在時刻が送信タイミングでなければ（Ｓ４においてＮＯ）、ステップＳ１に戻る。現在時刻が送信タイミングであれば（Ｓ４においてＹＥＳ）、無線通信部３４は、センサ部３２により計測された未送信のひずみ量の計測値と、計時部３３により計時されたひずみ量の計測時刻と、センサＩＤとを、計測値データとしてサーバ４に送信し、サーバ４の通信部４１は、当該計測値データを受信する（Ｓ５）。具体的には、無線通信部３４は、１つのセンサＩＤと、計測数分の計測時刻及びひずみ量の計測値の組とを含む計測値データをサーバ４に送信する。

サーバ４の第１取得部４２ａは、通信部４１が受信した計測値データを受け、当該データを記憶部４３に書き込む（Ｓ６）。

感情解析システム１は、図５のシーケンス図に示す処理を繰り返し実行することにより、サーバ４の記憶部４３にひずみ量の計測値を含むデータを蓄積していく。

〔サーバ４による感情解析処理〕
図６は、実施形態１に係るサーバ４による感情解析処理の手順の一例を示すフローチャートである。

感情解析処理は、所定の周期（例えば、１０分毎）に実行されてもよいし、サーバ４がシール型センサ３から計測値データを受信するたびに実行されてもよい。また、作業者の指示するタイミングに実行されてもよい。

第１取得部４２ａは、ひずみ量の計測値、計測時刻及びセンサＩＤの組み合わせからなる計測値データを、記憶部４３から読み出す（Ｓ１０１）。

図７は、計測値データの一例を示す図である。計測値データは、ユーザ２ごとに計測時刻及び計測時刻に計測されたひずみ量の計測値を示すデータであり、ユーザＩＤと、計測時刻と、ひずみ量の計測値とを含む。例えば、ユーザＩＤ「Ｕ００１」のユーザ２の顔面に貼られたシール型センサ３によって計測時刻「１２：００：００」に計測されたひずみ量の計測値は５０ｍＶであり、計測時刻「１２：００：０１」に計測されたひずみ量の計測値は５２ｍＶである。また、ユーザＩＤ「Ｕ００２」のユーザ２の顔面に貼られたシール型センサ３によって計測時刻「１２：００：００」に計測されたひずみ量の計測値は６４ｍＶであり、計測時刻「１２：００：０１」に計測されたひずみ量の計測値は６５ｍＶである。
再び図６を参照して、第２取得部４２ｂは、ひずみ量の計測値及び期待時刻からなる期待値データを、記憶部４３から読み出す（Ｓ１０２）。

図８は、期待値データの一例を示す図である。期待値データは、イベント制作者により設定された期待時刻と、期待時刻におけるひずみ量の期待値とを含む。例えば、期待時刻「１２：００：００」におけるユーザ２の顔面に貼られたシール型センサ３により計測されるひずみ量の期待値は５５ｍＶであり、期待時刻「１３：００：００」における期待値は１５０ｍＶである。期待時刻「１３：００：００」における期待値を、期待時刻「１２：００：００」における期待値よりも大きい値に設定しているのは、期待時刻「１３：００：００」においてユーザ２が喜ぶことをイベント制作者が意図しているためである。

再び図６を参照して、算出部４２ｃは、ステップＳ１０１で読み出された計測値データと、ステップＳ１０２で読み出された期待値データとに基づいて、ひずみ量の計測値とひずみ量の期待値との類似度を算出する（Ｓ１０３）。

図９を用いて、ひずみ量の計測値とひずみ量の期待値との類似度の算出処理を説明する。図９は、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図９のグラフには、ひずみ量の期待値６１の時間的推移と、ユーザＡ、ユーザＢ及びユーザＣに貼付されたシール型センサ３により計測されたひずみ量の計測値６２、６３及び６４のそれぞれの時間的推移を示している。なお、ユーザＡ、ユーザＢ及びユーザＣは、互いに異なるユーザＩＤのユーザ２である。以下で説明するユーザＤ、ユーザＥ及びユーザＦについても同様である。

算出部４２ｃは、期待値６１があらかじめ定められた閾値Ｔｈ（例えば、１５０ｍＶ）以上となる時間区間を検出し、各時間区間において、ユーザ２ごとに、ひずみ量の計測値とひずみ量の期待値との類似度を算出する。

例えば、算出部４２ｃは、期待値６１が閾値Ｔｈ以上となる時間区間として、再生時刻（期待時刻）ｔ１から再生時刻ｔ２までの時間区間Ｔ１と、再生時刻ｔ３から再生時刻ｔ４までの時間区間Ｔ２とを検出する。イベント制作者は、時間区間Ｔ１及びＴ２において、ユーザ２が笑うことを期待している。このため、これらの時間区間において、ひずみ量の期待値が他の時間に比べて大きくなっている。

算出部４２ｃは、時間区間Ｔ１において、ユーザＡについて、計測値６２と期待値６１との類似度を算出する。例えば、算出部４２ｃは、式１に従って、時間区間Ｔ１における計測値６２と期待値６１との正規化相互相関を類似度Ｒ（Ｔ１，Ａ）として算出する。同様に、算出部４２ｃは、時間区間Ｔ１において、ユーザＢについて、計測値６３と期待値６１との類似度Ｒ（Ｔ１，Ｂ）を算出する。また、算出部４２ｃは、時間区間Ｔ１において、ユーザＣについて、計測値６４と期待値６１との類似度Ｒ（Ｔ１，Ｃ）を算出する。

ここで、Ｍ_Ａ（ｔ）は、時刻ｔにおけるユーザＡのひずみ量の計測値６２を示し、Ａｖｅ（Ｔ１，Ｍ_Ａ）は、時間区間Ｔ１における計測値６２の平均値を示す。また、Ｅ（ｔ）は、時刻ｔにおけるひずみ量の期待値６１を示し、Ａｖｅ（Ｔ１，Ｅ）は、時間区間Ｔ１における期待値６１の平均値を示す。

さらに、算出部４２ｃは、他の時間区間（例えば、時間区間Ｔ２）についても、ユーザ２ごとに、計測値と期待値との類似度を算出する。
なお、計測値と期待値との類似度は、正規化相互相関に限定されるものではなく、計測値と期待値との類似性を示す値であれば、それ以外の値であってもよい。

また、算出部４２ｃは、計測値と期待値との類似性を示す評価値として、計測値と期待値との類似度の代わりに、計測値と期待値との誤差又は距離を算出してもよい。例えば、算出部４２ｃは、式２に従って、時間区間Ｔ１におけるユーザＡの計測値６２と期待値６１との平均絶対値誤差Ｅ（Ｔ１，Ａ）を算出する。

ここで、ｎ（Ｔ１）は、時間区間Ｔ１における期待値６１又は計測値６２のサンプル数を示す。
なお、計測値と期待値の誤差は、式２に示したものに限定されるものではなく、ＲＭＳ（平均平方二乗）誤差であってもよい。
さらに、算出部４２ｃは、各時間区間について、ユーザ２ごとに算出した評価値（類似度、誤差、距離等）の平均値を算出してもよい。

算出部４２ｃは、ステップＳ１０３で算出した類似度を記憶部４３に記憶させる（Ｓ１０４）。なお、算出部４２ｃは、算出した類似度を外部に出力するようにしてもよい。

図１０は、記憶部４３に記憶される類似度の一例を示す図である。
図１０は、映像コンテンツの各時間区間Ｔ１～Ｔ３について、ユーザＡ、Ｂ及びＣのそれぞれについての期待値６１と計測値との類似度を示している。また、時間区間ごとにユーザＡ、Ｂ及びＣの類似度の平均値を示している。

例えば、時間区間Ｔ１について、ひずみ量の期待値６１とユーザＡのひずみ量の計測値６２との類似度は９０である。また、時間区間Ｔ１について、ひずみ量の期待値６１とユーザＢのひずみ量の計測値６３との類似度は７５である。さらに、時間区間Ｔ１について、ひずみ量の期待値６１とユーザＣのひずみ量の計測値６４との類似度は６５である。また、時間区間Ｔ１において、ユーザＡ、Ｂ及びＣの計測値６２～６４について算出された期待値６１との類似度の平均値は７６．６（＝（９０＋７５＋６５）／３）である。

〔実施形態１の効果等〕
以上説明したように、本開示の実施形態１によると、あらかじめ設定された期待時刻において、物理量の期待値とどれくらい一致した物理量をユーザ２が示したかを知ることができる。この物理量は感情と関連している。つまり、期待する感情とどれくらい一致した感情をユーザ２が示したかを知ることができる。よって、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。

また、従来のシステムでは、個々のイベント参加者をカメラで撮影しているため、各参加者の顔画像から感情を解析するには、高解像度撮影が可能なカメラを用いたり、複数のカメラを用いたりしなければならず、コスト面でも問題があった。実施形態１によると、カメラを用いずにイベント参加者の感情を解析可能であるため、低コストで複数のイベント参加者の感情解析が可能である。

また、第１取得部４２ａは、ユーザ２の顔に接触させたシール型センサ３から、ユーザ２の顔の形状の変化の度合いを示す物理量（ひずみ量）の計測値を取得している。ユーザ２は、感情が変化して笑ったり、怒ったりした場合には、顔の表情筋が変化する。このため、顔の形状の変化の度合いを示す物理量の計測値をシール型センサ３から直接的に取得することにより、任意の時刻及び場所においてユーザ２の感情を解析することができる。

シール型センサ３を用いたユーザ２の感情解析では、例えば喜びの感情を怒りの感情と誤って解析してしまうこともあり得る。しかしながら、シール型センサ３は多数のユーザ２に低コストで配布が可能である。このため、多数のユーザ２の計測値を統計的に処理することによって、誤検知の影響を軽減することができる。

例えば、ユーザ２がお笑いライブショーの観客である場合には、大多数のユーザ２は喜びの感情を抱くと考えられる。つまり、ユーザ２が怒りの感情を抱くとは考えにくい。このため、怒りの感情を抱いているユーザ２の計測値を喜びの感情についての計測値と考えて感情の解析処理を行ったとしても、そのようなユーザ２は全体のごく一部である。よって、怒りの感情を抱くユーザ２が含まれていたとしても、多数のユーザ２の計測値を統計的に処理することによって、誤検知の影響を軽減しつつ、喜びの感情の解析を行うことができる。このように、イベントの種類によっては、ユーザ２が表出する感情を限定することが可能であるため、多数のユーザ２の計測値を統計的に処理することにより、感情の誤検知の影響を軽減することができる。

＜実施形態２＞
実施形態１では、イベント制作者が期待値データを作成することとした。実施形態２では、開催済みイベントの過去の計測値データを用いて期待値データを作成する例について説明する。

図１１を用いて、期待値データの作成処理を説明する。図１１は、ひずみ量の計測値の時間的な推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図１１には、ユーザＡ、ユーザＢ及びユーザＣに貼付されたシール型センサ３により計測されたひずみ量の計測値６２、６３及び６４のそれぞれの時間的推移を示している。ここでは、第１取得部４２ａが３名のユーザ２の計測値データを取得しているものとする。

算出部４２ｃは、ユーザＡ～Ｃのひずみ量の計測値の平均値を算出する。図１１には、算出した平均値６５の時間的な推移を示している。算出部４２ｃは、算出した平均値６５を次回のイベント開催時におけるひずみ量の期待値とする期待値データを作成し、当該期待値データを記憶部４３に書き込む。これにより、次回のイベント開催時におけるひずみ量の計測値とひずみ量の期待値との類似度を算出する際には、第２取得部４２ｂがひずみ量の期待値を示す期待値データを記憶部４３から読み出し、算出部４２ｃが読み出した期待値データを用いて類似度を算出する。

以上説明したように、本開示の実施形態２によると、効率的かつ自動的に期待値データを作成することができる。これにより、例えば、同じ内容のコンテンツが繰り返し実行されるイベント（例えば、映画、演劇、コンサート、テーマパークのアトラクション）において、過去にユーザ２が示した反応をイベント制作者の意図として、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。

＜実施形態３＞
ユーザ２を驚かす又はユーザ２を笑わすなどの感覚刺激の提示を行ってからユーザ２が驚く又は笑うといった行動による反応が生じるまでには時間がかかる。実施形態３では、このような反応時間を考慮して物理量の計測値及び期待値の類似度を算出する例について説明する。

図１２Ａ及び図１２Ｂを用いて、反応時間を考慮した物理量の計測値及び期待値の類似度の算出方法について説明する。
図１２Ａは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。期待値６１は、ひずみ量の期待値の時間的推移を示す。図１２Ａには、ユーザＤに貼付されたシール型センサ３により計測されたひずみ量の計測値６６の時間的推移を示す。

算出部４２ｃは、ひずみ量の計測値及び期待値の類似度を算出する際、計測時刻及び期待時刻の一方を所定の反応時間Δだけずらした上で類似度を算出する。ここで、反応時間Δはあらかじめ設定されているものとする。

図１２Ｂは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図１２Ｂでは、図１２Ａに示したひずみ量の期待値６１を反応時間Δだけ時間的に後ろにずらしている。これにより、計測時刻ｔ＋Δに計測されたひずみ量の計測値が、イベント制作者により設定された期待時刻ｔにおけるひずみ量の期待値と対応付けられたうえで、実施形態１と同様にひずみ量の計測値及び期待値の類似度が算出される。

以上説明したように、本開示の実施形態３によると、ユーザ２の反応時間をあらかじめ想定した上で物理量の計測値及び物理量の期待値の類似度を算出することができる。何らかの事象の変化がユーザの感情の表出につながるが、事象が変化してから感情の表出までの間には時間がかかる。例えば、お化け屋敷などのアトラクションにおいて、ユーザを驚かす事象が発生した場合には、その事象が発生してから顔の筋肉が震えるなどの感情の表出までの間には時間がかかる。同様に、お笑いライブショーなどのライブイベントにおいて、漫才師がユーザを笑わせる事象が発生した場合には、その事象が発生してから感情の表出までの間には時間がかかる。この時間を反応時間として事前に設定しておくことで、事象の発生時刻を期待時刻として設定したとしても反応時間を考慮した上で上記類似度を正確に算出することができる。

＜実施形態４＞
映画などの映像コンテンツの再生や、特定の乗り物に乗って所定速度でユーザ２が移動するライド型アトラクションなどのイベントにおいては、ユーザ２の感情の変化を引き起こす事象の発生時刻が、イベント制作者が事前に設定した発生時刻と大きくずれる可能性は低い。これに対し、音楽コンサートやお笑いライブショーなどのライブイベントにおいては、このような発生時刻のずれが生じる可能性が高い。実施形態４では、ライブイベントのように事象の発生時刻にずれが生じる場合であっても、ユーザ２の感情を解析する例について説明する。

図１３Ａ及び図１３Ｂを用いて、事象の発生時刻のずれを考慮した物理量の計測値及び期待値の類似度の算出方法について説明する。
図１３Ａは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図１３Ａには、ひずみ量の期待値６１の時間的推移を示している。また、図１３Ａには、ユーザＥに貼付されたシール型センサ３により計測されたひずみ量の計測値６７の時間的推移を示している。

算出部４２ｃは、時間区間ごとにひずみ量の計測値及び期待値の類似度を算出する際、計測時刻及び期待時刻の一方を所定時間（例えば、１秒）ずつずらしながら類似度を算出し、類似度が最大となるときの計測時刻と期待時刻とのずれ時間を算出する。ただし、計測時刻又は期待時刻をずらすことが可能な時間範囲は事前に設定されているものとする。例えば、計測時刻は、前後１０秒間の時間範囲内でしかずらすことができないものとする。

図１３Ｂは、ひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図１３Ｂでは、図１３Ａに示したひずみ量の計測値６７を時間ＴＬだけ時間的に前にずらしている。これにより、計測時刻ｔ＋ＴＬに計測されたひずみ量の計測値が、イベント制作者により設定された期待時刻ｔにおけるひずみ量の期待値と対応付けられたうえで、ひずみ量の計測値及び期待値の類似度が算出される。

例えば、図１３Ａに示すように、時間区間Ｔ１について、ひずみ量の計測値との間の類似度が最大となるひずみ量の期待値のずれ時間ＴＬは０である。

他方、図１３Ａ及び図１３Ｂに示すように、時間区間Ｔ２について、ひずみ量の計測値と期待値との類似度を算出する際には、計測値６７を時間的に前にずらすことにより、類似度が最大となる。つまり、時刻ｔ５に計測されたひずみ量の計測値と期待時刻ｔ３のひずみ量の期待値とが対応付けられるように計測値６７をずらした場合に、期待値６１と計測値６７の類似度が最大となる。このため、算出部４２ｃは、期待時刻ｔ３におけるひずみ量の期待値に対する計測値のずれ時間はＴＬ（＝ｔ５－ｔ３）であると算出する。算出部４２ｃは、算出したずれ時間ＴＬを時間区間Ｔ２及びユーザＥの識別情報と対応付けて記憶部４３に書き込んでもよい。また、算出部４２ｃは、時間ＴＬだけずらしたときの類似度を記憶部４３に書き込んでもよい。また、算出部４２ｃは、これらのデータを外部に出力してもよい。

以上説明したように、本開示の実施形態４によると、イベント制作者の意図する期待時刻とずれた時刻にユーザ２が感情を表出した場合に、その時刻の差（ずれ時間）を算出することができる。例えば、音楽コンサートにおいて演奏時間がイベント制作者の意図よりも長くなるなど、イベントの時間長が当初予定していた時間長からずれる場合がある。このような場合であっても、計測時刻及び期待時刻の一方をずらすことにより類似度が最大となるときの計測時刻及び期待時刻の差を算出することができる。これにより、イベント制作者は、計測時刻のずれを知ることができる。また、計測時刻のずれを考慮することで、イベント制作者の意図に基づくイベント参加者の感情をより正確に解析することができる。

＜実施形態５＞
感情表出の態様はユーザ２によって様々である。例えば、内心では大笑いをしているにもかかわらず、感情が出にくいユーザ２は感情が出やすいユーザ２に比べて表情の変化が乏しく、これに伴いひずみ量が小さい。このため、各ユーザ２のひずみ量のばらつきを抑えた上で感情を解析することにより、より正確な感情解析を行うことが期待できる。このため、本開示の実施形態５では、ユーザ２間のひずみ量のばらつき抑制のために、各ユーザ２のひずみ量の計測値を正規化する方法について説明する。

図１４Ａ及び図１４Ｂを用いて、ひずみ量の計測値を正規化する方法について説明する。
図１４Ａは、正規化前のひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図１４Ａには、ひずみ量の期待値６１の時間的推移を示している。また、図１４Ａには、ユーザＦに貼付されたシール型センサ３により計測されたひずみ量の計測値６８の時間的推移を示している。

サーバ４の算出部４２ｃは、例えば連続する３つの時間区間Ｔ１～Ｔ３のそれぞれについて、期待値６１の最大値と計測値６８の最大値との差の絶対値ｄ１～ｄ３をそれぞれ計算する。なお、時間区間Ｔ１～Ｔ３の算出方法は、実施形態１に示した通りである。

算出部４２ｃは、絶対値ｄ１～ｄ３の最小値を算出する。ここでは、絶対値ｄ３が最小値である。算出部４２ｃは、最小値ｄ３が０となるように、計測値６８を正規化する。つまり、算出部４２ｃは、絶対値の最小値に対応する時間区間Ｔｍｉｎ（ここでは、最小値ｄ３に対応する時間区間Ｔ３）を特定し、以下の式３に従い、計測値６８を正規化する。
ＮＭ（ｔ）＝Ｍ（ｔ）×ｍａｘ（Ｅ（ｔ））／ｍａｘ（Ｍ（ｔ）） …（式３）

ここで、Ｍ（ｔ）は正規化前の計測値６８を示し、ＮＭ（ｔ）は正規化後の計測値を示す。ｍａｘ（Ｅ（ｔ））は、時間区間Ｔｍｉｎ（時間区間Ｔ３）における期待値６１の最大値を示し、ｍａｘ（Ｍ（ｔ））は、時間区間Ｔｍｉｎ（時間区間Ｔ３）における計測値６８の最大値を示す。

図１４Ｂは、正規化後のひずみ量の計測値及びひずみ量の期待値の時間的推移を示すグラフの一例を示す図であり、横軸が時間を示し、縦軸がひずみ量を示す。図１４Ｂには、ひずみ量の期待値６１の時間的推移を示している。また、図１４Ｂには、図１４Ａに示したひずみ量の計測値６８を正規化した後の計測値６９の時間的推移を示している。
算出部４２ｃは、正規化後の計測値６９に対して、実施形態１から実施形態４で示したように期待値６１との類似性を評価する評価値を算出する。

以上説明したように、本開示の実施形態５によると、感情の出方の異なる複数のユーザ２について計測値を正規化することができるため、複数のユーザ２間で類似性を示す評価値を精度よく比較することが可能になる。

なお、正規化する際に３つの時間区間Ｔ１～Ｔ３を用いたが、時間区間の数は３に限定されるものではない。例えば、イベントの開始から終了までの間に存在するすべての時間区間を用いて正規化を行ってもよいし、特定の時間帯における時間区間を用いて正規化を行ってもよい。

また、実施形態５では、計測値６８を正規化したが、期待値６１を正規化してもよい。例えば、上述の例では、算出部４２ｃは、最小値ｄ３が０となるように、期待値６１を正規化してもよい。

また、計測値６８及び期待値６１の両方を正規化してもよい。例えば、上述の例では、算出部４２ｃは、最小値ｄ３に対応した時間区間Ｔ３において、期待値６１の最大値と計測値６８の最大値とが、あらかじめ定められた値に一致するように、計測値６８及び期待値６１の両方を正規化してもよい。

＜実施形態６＞
実施形態１から実施形態５では、計測値データ及び期待値データに計測時刻及び期待時刻がそれぞれ含まれる例を説明したが、実施形態６では、計測値データ及び期待値データに計測場所及び期待場所がそれぞれ含まれる例について説明する。

図１５は、アトラクションの一例を示す図である。ここでは、アトラクションとしてお化け屋敷を想定する。図１５は、お化け屋敷を上方から見た模式図を示している。お化け屋敷７０の内部には複数の壁７２が設置され、ユーザ２は、入口からお化け屋敷７０の内部に進入し、出口まで通路７１を歩行する。通路の途中には、事象発生場所７３が事前に設定されている。事象発生場所７３とは、ユーザ２の感情の変化を引き起こすための事象を発生させる場所であり、例えば、事象発生場所７３には、ユーザ２を驚かすための仕掛けが設置される。

また、事象発生場所７３の近傍には、事象発生場所７３でのユーザ２のひずみ量を取得するためにアクセスポイント７が設置されているものとする。通信可能範囲７４は、アクセスポイント７による通信可能範囲を示しており、通信可能範囲７４に事象発生場所７３が含まれるようにアクセスポイント７が設置されるのが好ましい。

第１取得部４２ａは、通信部４１が受信したひずみ量の計測値と、ひずみ量の計測時刻と、ひずみ量の計測場所と、センサＩＤとを示す計測値データを記憶部４３に記憶する。ここで、ひずみ量の計測場所の情報は、ひずみ量の計測値を受信したアクセスポイント７（例えば、アクセスポイント７のＩＤ）又はアクセスポイント７に対応した位置を示す情報である。

第２取得部４２ｂが記憶部４３から読み出す期待値データには、さらに、期待場所の情報が含まれている。

算出部４２ｃは、期待場所と計測場所との照合を行い、両者が一致する計測値データ及び期待値データに基づいて、ひずみ量の計測値及び期待値の類似度を算出する。類似度の算出方法については、実施形態１から実施形態５に示したものと同様である。このため、その詳細な説明はここでは繰り返さない。

以上説明したように、本開示の実施形態６によると、あらかじめ設定された期待場所において、物理量の期待値とどれくらい一致した物理量をユーザ２が示したかを知ることができる。この物理量は感情と関連している。つまり、期待する感情とどれくらい一致した感情をユーザが示したかを知ることができる。よって、イベント制作者の意図に基づくイベント参加者の感情を解析することができる。

＜変形例１＞
上述の実施形態では、シール型センサ３は、電源部３１を備えることとしていたが、外部から供給されるエネルギーにより電力を発生可能な場合には、電源部３１を備えていなくてもよい。

例えば、サーバ４が、ＲＦＩＤ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｅｒ）リーダ／ライタ（中継器）を介して、シール型センサ３と通信を行うこととする。ＲＦＩＤリーダ／ライタは、電磁波を用いて近距離の無線通信を行う装置の一例である。なお、電磁波を用いて近距離の無線通信を行うことのできる装置であれば、ＲＦＩＤリーダ／ライタ以外の装置を用いることも可能である。

ＲＦＩＤリーダ／ライタは、ネットワーク６に直接接続されていてもよいし、アクセスポイント７などの他の機器を介して接続されていてもよい。

シール型センサ３の無線通信部３４は、ＲＦＩＤリーダ／ライタとの間で電磁波を用いた通信を行うアンテナ（例えば、コイル状アンテナ）を備える。また、無線通信部３４は、無線通信部３４から受信した電磁波をアンテナで受けて電力を発生させる電源部の役割を有する。無線通信部３４が発生した電力はセンサ部３２、計時部３３及び記憶部３９に供給される。

＜変形例２＞
上述の実施形態では、複数のひずみ量を記憶部３９に蓄積し、送信タイミングにまとめて送信することとした。しかしながら、ひずみ量の計測タイミングと送信タイミングとが等しい場合、又はひずみ量の計測周期と送信周期とが等しい場合には、シール型センサ３は、ひずみ量の計測のたびに、ひずみ量を記憶部３９に蓄積することなくサーバ４に送信してもよい。

これにより、ひずみ量を記憶するための記憶部３９の記憶領域を削減したり、シール型センサ３に記憶部３９を設ける必要がなくなる。

［付記］
以上、本開示の実施形態に係る感情解析システム１について説明したが、本開示は、この実施形態に限定されるものではない。

たとえば、上記の各装置を構成する構成要素の一部又は全部は、１又は複数のシステムＬＳＩなどの半導体装置から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ－ＲＯＭ、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。

また、サーバ４は、複数のプロセッサ又は複数のコンピュータにより実現されてもよい。

また、サーバ４の一部又は全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、サーバ４の一部又は全部の機能がクラウドサーバにより実現されていてもよい。

また、センサ部３２は、筋電センサでもよい。筋電センサとは、筋肉で発生する微弱な電場の変化を検出するセンサである。

さらに、上記実施形態及び上記変形例の少なくとも一部を任意に組み合わせてもよい。

今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ 感情解析システム
２ ユーザ
３ シール型センサ
３Ａ 接着層
３Ｂ 回路層
３Ｃ 印刷層
３Ｄ 剥離シート
４ サーバ
６ ネットワーク
７ アクセスポイント
３１ 電源部
３２ センサ部
３３ 計時部
３４ 無線通信部
３８ ゲージ
３９ 記憶部
４１ 通信部
４２ 処理部
４２ａ 第１取得部
４２ｂ 第２取得部
４２ｃ 算出部
４３ 記憶部
６１ 期待値
６２ 計測値
６３ 計測値
６４ 計測値
６５ 平均値
６６ 計測値
６７ 計測値
６８ 計測値
７０ 屋敷
７１ 通路
７２ 壁
７３ 事象発生場所
７４ 通信可能範囲

Claims (15)

1. イベントの参加者であるユーザの感情を解析する感情解析装置であって、
   前記イベントの開催時におけるユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得する第１取得部と、
   前記第１属性値と同種の値であり、かつ、前記イベントの制作者によってあらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における、前記イベントの制作者によってあらかじめ設定された前記物理量の期待値とを取得する第２取得部と、
   前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備える、感情解析装置。
2. 前記期待値及び前記第２属性値は、前記第１取得部による前記計測値の取得時に開催されている前記イベントよりも過去のイベントにおいて前記第１取得部により取得された複数のユーザの前記計測値及び前記第１属性値に基づいて算出される、請求項１に記載の感情解析装置。
3. ユーザの感情を解析する感情解析装置であって、
   ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得する第１取得部と、
   前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第２取得部と、
   前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備え、
   前記第１属性値は前記計測時刻を示し、
   前記第２属性値は前記期待時刻を示し、
   前記算出部は、前記計測時刻及び前記期待時刻の一方を所定の反応時間だけずらした上で前記評価値を算出する、感情解析装置。
4. ユーザの感情を解析する感情解析装置であって、
   ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得する第１取得部と、
   前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第２取得部と、
   前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備え、
   前記第１属性値は前記計測時刻を示し、
   前記第２属性値は前記期待時刻を示し、
   前記算出部は、さらに、前記評価値に基づいて前記計測時刻及び前記期待時刻の差を算出する、感情解析装置。
5. 前記算出部は、前記計測値及び前記第１属性値と、前記期待値及び前記第２属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の正規化相互相関を算出する、請求項１から請求項４のいずれか１項に記載の感情解析装置。
6. 前記算出部は、前記計測値及び前記第１属性値と、前記期待値及び前記第２属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の平均絶対値誤差を算出する、請求項１から請求項４のいずれか１項に記載の感情解析装置。
7. 前記算出部は、前記計測値及び前記第１属性値と、前記期待値及び前記第２属性値とに基づいて、前記評価値として、前記計測値及び前記期待値の平均平方二乗誤差を算出する、請求項１から請求項４のいずれか１項に記載の感情解析装置。
8. ユーザの感情を解析する感情解析装置であって、
   ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得する第１取得部と、
   前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得する第２取得部と、
   前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを備え、
   前記算出部は、前記計測値及び前記第１属性値と、前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の少なくとも一方を正規化し、少なくとも一方が正規化された前記計測値及び前記期待値の類似性を示す評価値を算出する、感情解析装置。
9. 前記第１取得部は、前記ユーザの顔に接触させたセンサから、前記ユーザの顔の形状の変化の度合いを示す前記物理量の計測値を取得する、請求項１から請求項８のいずれか１項に記載の感情解析装置。
10. イベントの参加者であるユーザの顔に接触させるセンサと、
    前記ユーザの感情を解析する感情解析装置とを備え、
    前記感情解析装置は、
    前記センサから前記イベントの開催時における前記ユーザの感情に関連する物理量の計測値を取得し、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値を取得する第１取得部と、
    前記第１属性値と同種の値であり、かつ、前記イベントの制作者によってあらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における、前記イベントの制作者によってあらかじめ設定された前記物理量の期待値とを取得する第２取得部と、
    前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部とを有する、感情解析システム。
11. イベントの参加者であるユーザの感情を解析する感情解析方法であって、
    前記イベントの開催時におけるユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得するステップと、
    前記第１属性値と同種の値であり、かつ、前記イベントの制作者によってあらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における、前記イベントの制作者によってあらかじめ設定された前記物理量の期待値とを取得するステップと、
    取得された前記計測値及び前記第１属性値と、取得された前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含む、感情解析方法。
12. ユーザの感情を解析する感情解析方法であって、
    ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得するステップと、
    前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、
    取得された前記計測値及び前記第１属性値と、取得された前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含み、
    前記第１属性値は前記計測時刻を示し、
    前記第２属性値は前記期待時刻を示し、
    前記評価値を算出するステップでは、前記計測時刻及び前記期待時刻の一方を所定の反応時間だけずらした上で前記評価値を算出する、感情解析方法。
13. ユーザの感情を解析する感情解析方法であって、
    ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得するステップと、
    前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、
    取得された前記計測値及び前記第１属性値と、取得された前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含み、
    前記第１属性値は前記計測時刻を示し、
    前記第２属性値は前記期待時刻を示し、
    前記評価値を算出するステップでは、さらに、前記評価値に基づいて前記計測時刻及び前記期待時刻の差を算出する、感情解析方法。
14. ユーザの感情を解析する感情解析方法であって、
    ユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得するステップと、
    前記第１属性値と同種の値であり、かつ、あらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における前記物理量の期待値とを取得するステップと、
    取得された前記計測値及び前記第１属性値と、取得された前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出するステップとを含み、
    前記評価値を算出するステップでは、前記計測値及び前記第１属性値と、前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の少なくとも一方を正規化し、少なくとも一方が正規化された前記計測値及び前記期待値の類似性を示す評価値を算出する、感情解析方法。
15. イベントの参加者であるユーザの感情を解析する感情解析装置としてコンピュータを機能させるためのコンピュータプログラムであって、
    前記コンピュータを、
    前記イベントの開催時におけるユーザの感情に関連する物理量の計測値と、当該物理量の計測時刻及び計測場所の少なくとも一方を示す第１属性値とを取得する第１取得部と、
    前記第１属性値と同種の値であり、かつ、前記イベントの制作者によってあらかじめ設定された時刻及び場所をそれぞれ示す期待時刻及び期待場所の少なくとも一方を示す第２属性値と、前記第２属性値が示す前記期待時刻及び前記期待場所の少なくとも一方における、前記イベントの制作者によってあらかじめ設定された前記物理量の期待値とを取得する第２取得部と、
    前記第１取得部が取得した前記計測値及び前記第１属性値と、前記第２取得部が取得した前記期待値及び前記第２属性値とに基づいて、前記計測値及び前記期待値の類似性を示す評価値を算出する算出部として機能させる、コンピュータプログラム。

Images