JP7172705B2 - 感情推定装置、感情推定方法、プログラム、及び感情推定システム - Google Patents

Description

本発明は、感情推定装置、感情推定方法、プログラム、及び感情推定システムに関する。

近年、人を対象とした様々な計測情報に基づき、当該人の感情を推定する技術が各種提案されている。さらに、推定された感情に応じたサービスの提供も行われ始めている。

上記技術に関連し、下記特許文献１には、例えば、ユーザと他のユーザが対面している際に、ユーザの感情を推定することで、他のユーザの感情を間接的に推定する技術が開示されている。感情は、ユーザ間で伝染し得るものである。例えば、ユーザと他のユーザとが対面で会話をしている際に、他のユーザの感情は、ユーザの感情の影響を受け、ユーザの感情と相関性の高い感情となり得る。当該技術では、センサ装置により計測した情報に基づきユーザの感情を推定し、推定した感情と相関性の高い感情が他のユーザに伝染しているとみなすことで、他のユーザに関する情報を計測することなく他のユーザの感情を推定する。

国際公開第２０１６／１７０８１０号

しかしながら、上記特許文献１の技術では、推定されたユーザの感情及び他のユーザの感情の各々が、ユーザと他のユーザのどちらが感情の発生源（以下、「感情発生源」とも称される）であるかを推定することまでは考慮されていない。感情発生源が考慮されることで、例えば、ユーザが感情発生源であるか否かに応じたサービスがユーザに提供され得る。そのため、感情に応じたサービスを提供する際には、感情発生源も考慮されることが望ましい。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザに対して感情発生源に応じたサービスを適切に提供することが可能な、新規かつ改良された感情推定装置、感情推定方法、プログラム、及び感情推定システムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、ユーザの計測情報から抽出される前記ユーザの特徴量に基づき、前記ユーザの感情を推定する感情推定部と、前記感情推定部が推定した第１のユーザの前記感情と第２のユーザの前記感情とを比較し、前記第１のユーザの前記感情と前記第２のユーザの前記感情との共通性を判定する感情比較部と、前記共通性が認められる場合、前記第１のユーザの前記感情の発生源が前記第１のユーザまたは前記第２のユーザであるかを推定する感情発生源推定部と、を備える、感情推定装置が提供される。

前記感情発生源推定部は、前記第１のユーザと前記第２のユーザの内、前記共通性が認められた前記感情をより早く表出していたユーザを、前記第１のユーザの前記感情の前記発生源と推定してもよい。

前記第１のユーザの前記感情と前回推定時の前記第１のユーザの前記感情とが同一である場合、前記感情発生源推定部は、前回推定時の前記第１のユーザの前記感情の前記発生源を、前記第１のユーザの前記感情の前記発生源と推定してもよい。

前記第１のユーザの前記感情と前回推定時の前記第１のユーザの前記感情とが同一でなく、かつ前記第１のユーザの前記感情と前回推定時の前記第２のユーザの前記感情とが同一である場合、前記感情発生源推定部は、前記第２のユーザを、前記第１のユーザの前記感情の前記発生源と推定してもよい。

前記第１のユーザの前記感情と前回推定時の前記第１のユーザの前記感情とが同一でなく、かつ前記第１のユーザの前記感情と前回推定時の前記第２のユーザの前記感情とが同一でない場合、前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定してもよい。

前記共通性が認められない場合、前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定してもよい。

前記感情推定部が初めて前記第１のユーザの前記感情を推定した場合、前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定してもよい。

前記感情比較部は、各々の前記ユーザの位置情報及び姿勢情報に基づき、複数の前記ユーザの中から、前記第１のユーザの前記感情の比較対象となる前記第２のユーザを決定してもよい。

前記感情比較部は、前記姿勢情報に基づき、前記第１のユーザの視野方向を推定し、前記位置情報に基づき、複数の前記ユーザの中から前記第１のユーザの前記視野方向に存在する前記ユーザを推定し、推定した前記ユーザを、前記比較対象となる前記第２のユーザと決定してもよい。

複数の前記比較対象が存在する場合、前記感情比較部は、前記第１のユーザの前記感情と複数の前記比較対象の各々の前記感情とを比較し、前記第１のユーザの前記感情と複数の前記比較対象の各々の前記感情との前記共通性を判定してもよい。

前記共通性が認められ、かつ前記第１のユーザの前記感情と前回推定時の前記比較対象の前記感情とが同一である前記比較対象が存在する場合、前記感情発生源推定部は、前回推定時の前記比較対象の前記感情の前記発生源を、前記第１のユーザの前記感情の前記発生源と推定してもよい。

前記共通性が認められる前記比較対象が存在しない、または前記第１のユーザの前記感情と前回推定時の前記比較対象の前記感情とが同一である前記比較対象が存在しない場合、前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定してもよい。

前記比較対象が存在しない場合、前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定してもよい。

前記感情比較部は、前記感情のカテゴリを示す２次元円環モデルに基づき、前記第１のユーザの前記感情と前記第２のユーザの前記感情とを分類し、各々の前記感情が分類された前記カテゴリを比較することで、前記共通性の判定を行ってもよい。

前記第１のユーザの前記感情が分類されたカテゴリと前記第２のユーザの前記感情が分類されたカテゴリとが同一のカテゴリである場合、前記感情比較部は、前記第１のユーザの前記感情と前記第２のユーザの前記感情とに前記共通性があると判定してもよい。

前記感情推定部は、前記ユーザの前記感情を機械学習により推定してもよい。

前記特徴量は、前記ユーザの顔画像から抽出される前記ユーザの表情の変化を示す情報であってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、ユーザの計測情報から抽出される前記ユーザの特徴量に基づき、前記ユーザの感情を推定することと、前記推定することにより推定した第１のユーザの前記感情と第２のユーザの前記感情とを比較し、前記第１のユーザの前記感情と前記第２のユーザの前記感情との共通性を判定することと、前記共通性が認められる場合、前記第１のユーザの前記感情の発生源が前記第１のユーザまたは前記第２のユーザであるかを推定することと、を含む、プロセッサにより実行される感情推定方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、ユーザの計測情報から抽出される前記ユーザの特徴量に基づき、前記ユーザの感情を推定する感情推定部と、前記感情推定部が推定した第１のユーザの前記感情と第２のユーザの前記感情とを比較し、前記第１のユーザの前記感情と前記第２のユーザの前記感情との共通性を判定する感情比較部と、前記共通性が認められる場合、前記第１のユーザの前記感情の発生源が前記第１のユーザまたは前記第２のユーザであるかを推定する感情発生源推定部と、として機能させるための、プログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、ユーザの計測情報から抽出される前記ユーザの特徴量に基づき、前記ユーザの感情を推定する感情推定部と、前記感情推定部が推定した第１のユーザの前記感情と第２のユーザの前記感情とを比較し、前記第１のユーザの前記感情と前記第２のユーザの前記感情との共通性を判定する感情比較部と、前記共通性が認められる場合、前記第１のユーザの前記感情の発生源が前記第１のユーザまたは前記第２のユーザであるかを推定する感情発生源推定部と、を備える、感情推定システムが提供される。

以上説明したように本発明によれば、ユーザに対して感情発生源に応じたサービスを適切に提供することが可能である。

本発明の第１の実施形態による感情推定システムの概要を示す図である。 本発明の第１の実施形態による感情推定サーバの機能構成例を示すブロック図である。 本発明の一実施形態による２次元円環モデルの一例を示す図である。 本発明の一実施形態による記憶部に記憶される情報の一例を示す図である。 本発明の第１の実施形態によるメイン処理の流れの一例を示すフローチャートである。 本発明の第１の実施形態による感情発生源推定処理の流れの一例を示すフローチャートである。 本発明の第２の実施形態による感情推定システムの概要を示す図である。 本発明の第２の実施形態による感情推定サーバの機能構成例を示すブロック図である。 本発明の第２の実施形態による複数のユーザの姿勢及び位置の一例を示す図である。 本発明の第２の実施形態によるメイン処理の流れの一例を示すフローチャートである。 本発明の第２の実施形態による感情発生源推定処理の流れの一例を示すフローチャートである。 本発明の一実施形態による感情推定装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成または論理的意義を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成または論理的意義を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。

＜＜１．第１の実施形態＞＞
まず、本発明の第１の実施形態について説明する。第１の実施形態では、２人のユーザが対面している状況で、センサ装置により計測されるユーザに関する情報（以下、「計測情報」とも称される）に基づく感情発生源の推定が行われる例について説明する。

＜１－１．システム概要＞
まず、図１を参照して、本発明の第１の実施形態による感情推定システムの概要について説明する。図１は、本発明の第１の実施形態による感情推定システム１０００－１の概要を示す図である。図１に示すように、感情推定システム１０００－１は、感情推定サーバ１０－１、センサ装置２０－１、及びネットワーク３０を備える。

（１）感情推定サーバ１０－１
感情推定サーバ１０－１は、ユーザの感情発生源を推定する感情推定装置である。以下では、感情推定装置がサーバ装置により実現される例について説明するが、感情推定装置を実現する装置は、かかる例に限定されない。例えば、感情推定装置は、スマートフォン、タブレット端末、またはウェアラブル端末等の装置により実現されてもよい。

感情推定サーバ１０－１は、２人のユーザの感情を推定し、推定した各々のユーザの感情を比較することで、各々のユーザの感情発生源を推定する。具体的に、まず、感情推定サーバ１０－１は、センサ装置２０－１による計測が可能な領域（以下、「対象領域」とも称される）内に存在するユーザの計測情報に基づき、ユーザの感情の推定を行う。例えば、感情推定サーバ１０－１は、センサ装置２０－１が計測するユーザ４０ａ（第１のユーザ）の計測情報に基づき、ユーザ４０ａの感情を推定する。また、感情推定サーバ１０－１は、センサ装置２０－１が計測するユーザ４０ｂ（第２のユーザ）の計測情報に基づき、ユーザ４０ｂの感情を推定する。

次いで、感情推定サーバ１０－１は、推定したユーザ４０ａの感情とユーザ４０ｂの感情とを比較し、各々の感情の共通性を判定する。例えば、感情推定サーバ１０－１は、感情のカテゴリを示す情報に基づき、ユーザ４０ａの感情とユーザ４０ｂの感情とを比較し、各々の感情の共通性の有無を判定する。

そして、感情推定サーバ１０－１は、各々のユーザの感情の共通性の判定結果に基づき、各々のユーザの感情発生源を推定する。例えば、各々のユーザの感情に共通性が認められる場合、感情推定サーバ１０－１は、ユーザ４０ａとユーザ４０ｂの内、共通性が認められた感情をより早く表出していたユーザ４０を、ユーザ４０ａの感情発生源と推定する。同様に、感情推定サーバ１０－１は、ユーザ４０ｂの感情発生源も推定し得る。

かかる構成により、感情推定サーバ１０－１は、ユーザ４０の感情発生源を推定することができる。さらに、感情推定サーバ１０－１は、ユーザ４０に対して、推定した感情発生源に応じたサービスを適切に提供することができる。

なお、第１のユーザまたは第２のユーザとなるユーザは、感情推定サーバ１０－１による感情発生源の推定対象及び感情の比較対象に応じて変わり得る。例えば、感情推定サーバ１０－１による感情発生源の推定対象がユーザ４０ａ、感情の比較対象がユーザ４０ｂである場合、ユーザ４０ａが第１のユーザとなり、ユーザ４０ｂが第２のユーザとなる。他方、感情推定サーバ１０－１による感情発生源の推定対象がユーザ４０ｂ、感情の比較対象がユーザ４０ａである場合、ユーザ４０ｂが第１のユーザとなり、ユーザ４０ａが第２のユーザとなる。

なお、ユーザ４０ａとユーザ４０ｂの各々が存在する空間は、同一の空間に限定されない。例えば、ユーザ４０ａとユーザ４０ｂとが異なる空間に存在してもよく、感情推定サーバ１０－１は、各々の空間に設けられたセンサ装置２０－１による計測情報に基づき、ユーザ４０の感情発生源を推定してもよい。一例として、異なる部屋に存在するユーザ４０ａとユーザ４０ｂとが、テレビ会議にて会話をしている例が挙げられる。

（２）センサ装置２０－１
センサ装置２０－１は、感情推定サーバ１０－１における処理にて用いられる計測情報を計測する装置である。センサ装置２０－１は、例えば、感情推定サーバ１０－１がユーザ４０の感情を推定するための情報（以下、「感情情報」とも称される）を計測する。感情情報の計測後、センサ装置２０－１は、ネットワーク３０を介して、計測した感情情報を感情推定サーバ１０へ送信する。そのため、センサ装置２０－１は、計測情報を感情推定サーバ１０－１へ送信するための通信機能も有する。

感情情報を計測するセンサ装置２０－１は、多様なセンサ装置により実現され得る。例えば、感情情報を計測するセンサ装置２０－１は、カメラ、サーモグラフィカメラ、またはマイクロフォン等の少なくともいずれか１つにより実現され得る。なお、以下では、センサ装置２０－１がカメラにより実現される例について説明する。

カメラは、ＲＧＢカメラ等のレンズ系、駆動系、及び撮像素子を有し、画像（静止画像又は動画像）を撮像する撮像装置である。センサ装置２０－１は、当該カメラにより、対象領域内のユーザ４０の顔が撮像された顔画像を取得することができる。

サーモグラフィカメラは、サーモ画像を取得する装置である。センサ装置２０－１は、当該サーモグラフィカメラにより、対象領域内のユーザ４０の体表面の体温の分布を示すサーモ画像を取得することができる。

マイクロフォンは、周囲の音を検出する装置である。マイクロフォンは、周囲の音を収音し、アンプおよびＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を介してデジタル信号に変換した音声データを出力する。センサ装置２０－１は、当該マイクロフォンにより、対象領域内のユーザ４０同士の会話の音声を取得することができる。

なお、センサ装置２０－１の数は、特に限定されない。例えば、センサ装置２０－１は、１つであってもよいし、ユーザの人数に応じた数のセンサ装置２０－１が設置されてもよい。

（３）ネットワーク３０
ネットワーク３０は、感情推定サーバ１０－１及びセンサ装置２０－１を接続する機能を有する。ネットワーク３０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク３０は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。また、ネットワーク３０は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信網を含んでもよい。

＜１－２．機能構成例＞
以上、本発明の第１の実施形態による感情推定システム１０００－１の概要について説明した。続いて、図２を参照して、本発明の第１の実施形態による感情推定サーバの機能構成例について説明する。図２は、本発明の第１の実施形態による感情推定サーバ１０－１の機能構成例を示すブロック図である。図２に示すように、感情推定サーバ１０－１は、通信部１１０、制御部１２０－１、及び記憶部１３０を備える。

（１）通信部１１０
通信部１１０は、外部装置と通信を行う機能を有する。通信部１１０は、例えば、外部装置との通信において、外部装置から受信する情報を制御部１２０－１へ出力する。具体的に、通信部１１０は、ネットワーク３０を介したセンサ装置２０－１との通信において、センサ装置２０－１から計測情報を受信し、制御部１２０－１へ出力する。

通信部１１０は、例えば、外部装置との通信において、制御部１２０－１から入力される情報を外部装置へ送信する。具体的に、通信部１１０は、制御部１２０－１のユーザ計測部１２２－１から入力される計測情報の取得に関する指示をセンサ装置２０－１へ送信する。

（２）制御部１２０－１
制御部１２０－１は、感情推定サーバ１０－１の全体の動作を制御する機能を有する。当該機能を実現するために、制御部１２０－１は、図２に示すように、ユーザ計測部１２２－１、感情推定部１２４－１、感情比較部１２６－１、及び感情発生源推定部１２８－１を有する。

（２－１）ユーザ計測部１２２－１
ユーザ計測部１２２－１は、センサ装置２０－１に計測情報を計測させ、計測情報を取得する機能を有する。ユーザ計測部１２２－１は、例えば、感情推定部１２４－１による感情の推定の対象となるユーザ４０の感情情報を、センサ装置２０－１に計測させる。この時、ユーザ計測部１２２－１は、通信部１１０及びネットワーク３０を介して、感情情報の計測に関する指示をセンサ装置２０－１へ送信する。センサ装置２０－１による感情情報の計測後、ユーザ計測部１２２－１は、ネットワーク３０及び通信部１１０を介してセンサ装置２０－１から感情情報を取得し、取得した感情情報を感情推定部１２４－１へ出力する。

上述の機能を実現するために、ユーザ計測部１２２－１は、第１のユーザ計測部１２２－１ａ及び第２のユーザ計測部１２２－１ｂを有する。

第１のユーザ計測部１２２－１ａは、センサ装置２０－１に第１のユーザの感情情報を計測させる機能を有する。例えば、第１のユーザがユーザ４０ａである場合、第１のユーザ計測部１２２－１ａは、ユーザ４０ａの感情情報をセンサ装置２０－１に計測させる。他方、第１のユーザがユーザ４０ｂである場合、第１のユーザ計測部１２２－１ａは、ユーザ４０ｂの感情情報をセンサ装置２０－１に計測させる。

第２のユーザ計測部１２２－１ｂは、センサ装置２０－１に第２のユーザの感情情報を計測させる機能を有する。例えば、第２のユーザがユーザ４０ａである場合、第２のユーザ計測部１２２－１ｂは、ユーザ４０ａの感情情報をセンサ装置２０－１に計測させる。他方、第２のユーザがユーザ４０ｂである場合、第２のユーザ計測部１２２－１ｂは、ユーザ４０ｂの感情情報をセンサ装置２０－１に計測させる。

（２－２）感情推定部１２４－１
感情推定部１２４－１は、ユーザ４０の感情を推定する機能を有する。感情推定部１２４－１は、例えば、ユーザ計測部１２２－１から入力された感情情報から抽出されるユーザ４０の特徴量に基づき、ユーザ４０の感情を推定する。感情の推定後、感情推定部１２４－１は、推定した感情を示す情報（例えば感情名または感情のカテゴリ名）を感情比較部１２６へ出力する。

特徴量は、感情情報から抽出されるユーザ４０の特徴を示す情報である。感情情報がユーザ４０の顔画像である場合、特徴量は、例えば、当該顔画像から抽出されるユーザ４０の表情の変化を示す情報である。表情の変化を示す情報は、具体的に、ユーザ４０の眉毛の上がり具合または下がり具合、ユーザ４０の口角の上がり具合または下がり具合等である。

感情情報がユーザ４０同士の会話の音声である場合、特徴量は、例えば、当該音声から抽出されるユーザ４０の声の変化を示す情報である。声の変化を示す情報は、具体的に、ユーザ４０の声質の変化、声量の変化、声の大きさの変化、会話の速度の変化等である。

感情情報がユーザ４０のサーモ画像である場合、特徴量は、例えば、当該サーモ画像から抽出されるユーザ４０の体温の変化を示す情報である。体温の変化を示す情報は、具体的に、ユーザ４０の体温の上がり具合または下がり具合等である。

感情推定部１２４－１は、例えば、ユーザ４０の感情を機械学習により推定する。機械学習の手法の一例として、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やディープラーニングが挙げられる。また、感情推定部１２４－１は、統計的手法を用いてユーザ４０の感情を推定してもよい。

上述の機能を実現するために、感情推定部１２４－１は、第１のユーザ感情推定部１２４－１ａ及び第２のユーザ感情推定部１２４－１ｂを有する。

第１のユーザ感情推定部１２４－１ａは、第１のユーザの感情を推定する機能を有する。例えば、第１のユーザがユーザ４０ａである場合、第１のユーザ感情推定部１２４－１ａは、ユーザ４０ａの感情を推定する。他方、第１のユーザがユーザ４０ｂである場合、第１のユーザ感情推定部１２４－１ａは、ユーザ４０ｂの感情を推定する。

第２のユーザ感情推定部１２４－１ｂは、第２のユーザの感情を推定する機能を有する。例えば、第２のユーザがユーザ４０ａである場合、第２のユーザ感情推定部１２４－１ｂは、ユーザ４０ａの感情を推定する。他方、第２のユーザがユーザ４０ｂである場合、第２のユーザ感情推定部１２４－１ｂは、ユーザ４０ｂの感情を推定する。

（２－３）感情比較部１２６－１
感情比較部１２６－１は、複数のユーザ４０の感情を比較し、各々の感情の共通性を判定する機能を有する。例えば、感情比較部１２６－１は、感情推定部１２４－１から入力されるユーザ４０ａとユーザ４０ｂの感情を比較し、各々の感情の共通性を判定する。具体的に、感情比較部１２６－１は、感情のカテゴリを示す情報に基づき、ユーザ４０ａの感情とユーザ４０ｂの感情を分類し、各々の感情が分類されたカテゴリを比較することで、共通性の判定を行う。判定後、感情比較部１２６－１は、判定結果を感情発生源推定部１２８－１へ出力する。なお、感情比較部１２６－１は、ユーザ４０の現在の感情と過去の感情とを比較してもよい。

（感情の分類方法）
感情の分類方法は、様々な方法が提案されている。本発明の実施形態では、例えば、ラッセル（Ｒｕｓｓｅｌｌ）の２次元円環モデルによる感情の分類方法が用いられる。ここで、図３を参照して、２次元円環モデルについて説明する。図３は、本発明の一実施形態による２次元円環モデルの一例を示す図である。

図３に示すように、２次元円環モデル５０は、覚醒度の程度（覚醒－眠気）と快感情の程度（快－不快）の２次元上の軸に各感情を円環上に配することで感情全体を包括している。当該２次元円環モデル５０は、本実施形態における感情のカテゴリを示す情報である。感情のカテゴリの一例として、図３に示すように、領域５１の驚き、領域５２の喜び、領域５３の幸せ、領域５４のリラックス、領域５５の眠い、領域５６の飽き、領域５７の退屈、領域５８の憂鬱、領域５９の不満、領域６０の怒り、領域６１の恐れ等が挙げられる。

感情比較部１２６－１は、２次元円環モデルに基づき、ユーザ４０ａの感情とユーザ４０ｂの感情とを分類し、各々の感情が分類されたカテゴリを比較することで、共通性の判定を行う。

例えば、ユーザ４０ａの感情が分類されたカテゴリとユーザ４０ｂの感情が分類されたカテゴリとが同一のカテゴリである場合、感情比較部１２６－１は、ユーザ４０ａの感情とユーザ４０ｂの感情とに共通性があると判定する。一例として、ユーザ４０ａの感情が領域５１の驚きに、ユーザ４０ｂの感情も領域５１の驚きに分類されたとする。この場合、感情比較部１２６－１は、ユーザ４０ａの感情とユーザ４０ｂの感情とが同一カテゴリに分類されているため、ユーザ４０ａの感情とユーザ４０ｂの感情とに共通性があると判定する。

一方、ユーザ４０ａの感情が分類されたカテゴリとユーザ４０ｂの感情が分類されたカテゴリとが同一のカテゴリでない場合、感情比較部１２６－１は、ユーザ４０ａの感情とユーザ４０ｂの感情とに共通性がないと判定する。一例として、ユーザ４０ａの感情が領域５１の驚きに、ユーザ４０ｂの感情が領域５２の喜びに分類されたとする。この場合、感情比較部１２６－１は、ユーザ４０ａの感情とユーザ４０ｂの感情とが同一カテゴリに分類されていないため、ユーザ４０ａの感情とユーザ４０ｂの感情とに共通性がないと判定する。

なお、感情比較部１２６－１は、領域５１から領域６１の領域の内、複数の領域を組み合わせて１つのカテゴリと捉えてもよい。例えば、感情比較部１２６－１は、領域５１、領域５２、領域５３を覚醒－快の感情を示す１つのカテゴリと捉えてよい。また、感情比較部１２６－１は、領域５４、領域５５を快－眠気の感情を示す１つのカテゴリと捉えてよい。また、感情比較部１２６－１は、領域５６、領域５７、領域５８を眠気－不快の感情を示す１つのカテゴリと捉えてよい。また、感情比較部１２６－１は、領域５９、領域６０、領域６１を不快－覚醒の感情を示す１つのカテゴリと捉えてよい。

また、感情比較部１２６－１は、領域５１、領域５２、領域５３、領域５９、領域６０、領域６１を覚醒の感情を示す１つのカテゴリと捉えてよい。また、感情比較部１２６－１は、領域５１、領域５２、領域５３、領域５４、領域５５を快の感情を示す１つのカテゴリと捉えてよい。また、感情比較部１２６－１は、領域５４、領域５５、領域５６、領域５７、領域５８を眠気の感情を示す１つのカテゴリと捉えてよい。また、感情比較部１２６－１は、領域５６、領域５７、領域５８、領域５９、領域６０、領域６１を不快の感情を示す１つのカテゴリと捉えてよい。

なお、感情の分類方法は、かかる例に限定されない。他の例としては、例えばポール・エクマン（Ｐａｕｌ Ｅｋｍａｎ）により提唱された、驚き、恐怖、怒り、嫌悪、悲しみ、幸福の六感情による分類方法が挙げられる。

（２－４）感情発生源推定部１２８－１
感情発生源推定部１２８－１は、ユーザ４０の感情発生源を推定する機能を有する。例えば、感情発生源推定部１２８－１は、感情比較部１２６－１から入力される共通性の判定結果に基づき、ユーザ４０ａとユーザ４０ｂの感情発生源を推定する。

ここで、図４を参照しながら、ユーザ４０ａ及びユーザ４０ｂの感情発生源の推定例について説明する。図４は、本発明の一実施形態による記憶部１３０に記憶される情報の一例を示す図である。なお、各々のユーザ４０の現在の感情に関する情報は、図４に示す表のＮｏ６の行に示されており、各々のユーザ４０の前回推定時の感情に関する情報は、図４に示す表のＮｏ５の行に示されているとする。

（共通性が認められる場合）
ユーザ４０ａの感情とユーザ４０ｂの感情とに共通性が認められる場合、感情発生源推定部１２８－１は、ユーザ４０ａの感情発生源がユーザ４０ａまたはユーザ４０ｂであるかを推定する。具体的に、感情発生源推定部１２８－１は、ユーザ４０ａの現在の感情と前回推定時の感情とが同一であるか否かに応じて、ユーザ４０ａの感情発生源を推定する。同様に、感情発生源推定部１２８－１は、ユーザ４０ｂの感情発生源も推定する。

ユーザ４０ａの現在の感情と前回推定時の感情とが同一である場合、感情発生源推定部１２８－１は、ユーザ４０ａの現在の感情発生源として、前回推定時の感情発生源を継承する。例えば、ユーザ４０ａの現在の感情と前回推定時の感情とが同一である場合、感情発生源推定部１２８－１は、前回推定時のユーザ４０ａの感情の感情発生源を、ユーザ４０ａの感情発生源と推定する。図４に示す例の場合、ユーザ４０ａの現在の感情と前回推定時の感情はどちらも「喜び」であるため、ユーザ４０ａの現在の感情発生源には、前回推定時の感情発生源である「ユーザ４０ａ」が継承される。同様に、ユーザ４０ｂの現在の感情と前回推定時の感情とが同一である場合、感情発生源推定部１２８－１は、前回推定時のユーザ４０ｂの感情の感情発生源を、ユーザ４０ｂの感情発生源と推定する。

ユーザ４０ａの現在の感情と前回推定時の感情とが同一でない場合、感情発生源推定部１２８－１は、さらに、ユーザ４０ａの現在の感情と前回推定時のユーザ４０ｂの感情とが同一であるか否かに応じて、ユーザ４０ａの感情発生源を推定する。同様に、感情発生源推定部１２８－１は、ユーザ４０ｂの感情発生源も推定する。

ユーザ４０ａの現在の感情と前回推定時の感情とが同一でなく、かつユーザ４０ａの現在の感情と前回推定時のユーザ４０ｂの感情とが同一である場合、感情発生源推定部１２８－１は、ユーザ４０ｂを、ユーザ４０ａの感情発生源と推定する。同様に、ユーザ４０ｂの現在の感情と前回推定時の感情とが同一でなく、かつユーザ４０ｂの現在の感情と前回推定時のユーザ４０ａの感情とが同一である場合、感情発生源推定部１２８－１は、ユーザ４０ａを、ユーザ４０ｂの感情発生源と推定する。図４に示す例の場合、ユーザ４０ｂの現在の感情は「喜び」であり、前回推定時の感情は「退屈」であるため、ユーザ４０ｂの現在の感情と前回推定時の感情とが同一でない。しかし、ユーザ４０ａの前回推定時の感情は「喜び」であり、ユーザ４０ｂの現在の感情と同一である。よって、ユーザ４０ｂの現在の感情発生源は、「ユーザ４０ａ」と推定される。

ユーザ４０ａの現在の感情と前回推定時の感情とが同一でなく、かつユーザ４０ａの現在の感情と前回推定時のユーザ４０ｂの感情とが同一でない場合、感情発生源推定部１２８－１は、ユーザ４０ａを、ユーザ４０ａの感情発生源と推定する。同様に、ユーザ４０ｂの現在の感情と前回推定時の感情とが同一でなく、かつユーザ４０ｂの現在の感情と前回推定時のユーザ４０ａの感情とが同一でない場合、感情発生源推定部１２８－１は、ユーザ４０ｂを、ユーザ４０ｂの感情発生源と推定する。

（共通性が認められない場合）
ユーザ４０ａの感情とユーザ４０ｂの感情とに共通性が認められない場合、感情発生源推定部１２８－１は、各々のユーザ４０自身を感情発生源と推定する。例えば、ユーザ４０ａの感情発生源の推定時、ユーザ４０ａの感情とユーザ４０ｂの感情とに共通性が認められない場合、感情発生源推定部１２８－１は、ユーザ４０ａを、ユーザ４０ａの感情発生源と推定する。同様に、ユーザ４０ｂの感情発生源の推定時、ユーザ４０ｂの感情とユーザ４０ａの感情とに共通性が認められない場合、感情発生源推定部１２８－１は、ユーザ４０ｂを、ユーザ４０ｂの感情発生源と推定する。図４に示す例の場合、Ｎｏ２～Ｎｏ５の行に示すように、ユーザ４０ａの感情とユーザ４０ｂの感情とは異なっており、共通性が認められないため、ユーザ４０ａの感情発生源は「ユーザ４０ａ」、ユーザ４０ｂの感情発生源は「ユーザ４０ｂ」と推定される。

（初回推定時）
なお、感情推定部１２４－１が初めてユーザ４０ａの感情を推定した場合、感情発生源推定部１２８－１は、ユーザ４０ａを、ユーザ４０ａの感情発生源と推定する。また、感情推定部１２４－１が初めてユーザ４０ｂの感情を推定した場合、感情発生源推定部１２８－１は、ユーザ４０ｂを、ユーザ４０ｂの感情発生源と推定する。図４に示す例の場合、Ｎｏ１の行に示すように、ユーザ４０ａとユーザ４０ｂの感情が初めて推定されているため、ユーザ４０ａの感情発生源は「ユーザ４０ａ」、ユーザ４０ｂの感情発生源は「ユーザ４０ｂ」と推定される。

（３）記憶部１３０
記憶部１３０は、感情推定サーバ１０－１における処理に関する情報を記憶する機能を有する。例えば、記憶部１３０は、制御部１２０－１の感情推定部１２４－１が推定した各々のユーザの感情を記憶し得る。また、記憶部１３０は、制御部１２０－１の感情発生源推定部１２８－１が推定した各々のユーザの感情発生源を記憶し得る。

なお、記憶部１３０が記憶する情報は、上述の例に限定されない。例えば、記憶部１３０は、センサ装置２０－１が計測した計測情報、各種アプリケーション等のプログラムを記憶してもよい。

＜１－３．処理例＞
以上、本発明の第１の実施形態による感情推定サーバ１０－１の機能構成例について説明した。続いて、本発明の第１の実施形態による感情推定サーバ１０－１における処理例について説明する。

（１）メイン処理
まず、図５を参照して、本発明の第１の実施形態による感情推定サーバ１０－１におけるメイン処理の流れについて説明する。図５は、本発明の第１の実施形態によるメイン処理の流れの一例を示すフローチャートである。

図５に示すように、まず、制御部１２０－１の第１のユーザ計測部１２２－１ａは、センサ装置２０－１にユーザ４０ａ（第１のユーザ）の感情情報を計測させ、ユーザ４０ａの感情情報を取得する（Ｓ１０２）。次いで、第１のユーザ感情推定部１２４－１ａは、第１のユーザ計測部１２２－１ａが取得したユーザ４０ａの感情情報に基づき、ユーザ４０ａの感情を推定する（Ｓ１０４）。

Ｓ１０２及びＳ１０４と並行して、第２のユーザ計測部１２２－１ｂは、センサ装置２０－１にユーザ４０ｂ（第２のユーザ）の感情情報を計測させ、ユーザ４０ｂの感情情報を取得する（Ｓ１０６）。次いで、第２のユーザ感情推定部１２４－１ｂは、第２のユーザ計測部１２２－１ｂが取得したユーザ４０ｂの感情情報に基づき、ユーザ４０ｂの感情を推定する（Ｓ１０８）。

ユーザ４０ａとユーザ４０ｂの感情の推定後、感情発生源推定部１２８－１は、感情発生源推定処理を行う（Ｓ１１０）。なお、感情発生源推定処理の詳細は、後述される。

感情発生源推定処理後、記憶部１３０は、全ユーザ４０（ユーザ４０ａ及びユーザ４０ｂ）の感情推定結果と感情発生源を示す情報を記憶する（Ｓ１１２）。そして、制御部１２０－１は、Ｓ１０２からＳ１１２の処理を繰り返す。

（２）感情発生源推定処理
続いて、図６を参照して、本発明の第１の実施形態による感情推定サーバ１０－１における感情発生源推定処理の流れについて説明する。図６は、本発明の第１の実施形態による感情発生源推定処理の流れの一例を示すフローチャートである。

図６に示すように、制御部１２０－１は、全ユーザ４０（ユーザ４０ａ及びユーザ４０ｂ）に対して、Ｓ２０２からＳ２１４の処理を行う。なお、以下では、一例として、ユーザ４０ａに対してＳ２０２からＳ２１４の処理を行う例について説明する。

まず、制御部１２０－１の感情比較部１２６－１は、感情発生源推定処理がユーザ４０ａにとって初めての処理であるか否か（記憶部１３０に前回推定時の感情及び感情発生源が記憶されているか否か）を確認する（Ｓ２０２）。

初めての処理である場合（Ｓ２０２／ＹＥＳ）、感情発生源推定部１２８－１は、ユーザ４０ａの感情発生源としてユーザ４０ａを設定する（Ｓ２０４）。ユーザ４０ａの感情発生源の設定後、制御部１２０－１は、次のユーザ４０に対する処理をＳ２０２から行う。

初めての処理でない場合（Ｓ２０２／ＮＯ）、感情比較部１２６－１は、ユーザ４０ａの感情が前回推定時のユーザ４０ａの感情と同一であるか否かを確認する（Ｓ２０６）。

ユーザ４０ａの感情が前回推定時のユーザ４０ａの感情と同一である場合（Ｓ２０６／ＹＥＳ）、感情発生源推定部１２８－１は、ユーザ４０ａの感情発生源として、ユーザ４０ａの前回推定時の感情発生源を設定する（Ｓ２０８）。ユーザ４０ａの感情発生源の設定後、制御部１２０－１は、次のユーザ４０に対する処理をＳ２０２から行う。

ユーザ４０ａの感情が前回推定時のユーザ４０ａの感情と同一でない場合（Ｓ２０６／ＮＯ）、感情比較部１２６－１は、ユーザ４０ａの感情がユーザ４０ｂの感情と同一であるか否かを確認する（Ｓ２１０）。

ユーザ４０ａの感情がユーザ４０ｂの感情と同一でない場合（Ｓ２１０／ＮＯ）、感情発生源推定部１２８－１は、ユーザ４０ａの感情発生源としてユーザ４０ａを設定する（Ｓ２０４）。ユーザ４０ａの感情発生源の設定後、制御部１２０－１は、次のユーザ４０に対する処理をＳ２０２から行う。

ユーザ４０ａの感情がユーザ４０ｂの感情と同一である場合（Ｓ２１０／ＹＥＳ）、感情比較部１２６－１は、ユーザ４０ａの感情が前回推定時のユーザ４０ｂの感情と同一であるか否かを確認する（Ｓ２１２）。

ユーザ４０ａの感情が前回推定時のユーザ４０ｂの感情と同一でない場合（Ｓ２１２／ＮＯ）、感情発生源推定部１２８－１は、ユーザ４０ａの感情発生源としてユーザ４０ａを設定する（Ｓ２０４）。ユーザ４０ａの感情発生源の設定後、制御部１２０－１は、次のユーザ４０に対する処理をＳ２０２から行う。

ユーザ４０ａの感情が前回推定時のユーザ４０ｂの感情と同一である場合（Ｓ２１２／ＹＥＳ）、感情発生源推定部１２８－１は、ユーザ４０ａの感情発生源としてユーザ４０ｂを設定する（Ｓ２１４）。ユーザ４０ａの感情発生源の設定後、制御部１２０－１は、次のユーザ４０に対する処理をＳ２０２から行う。

全ユーザ４０に対してＳ２０２からＳ２１４の処理を実行後、制御部１２０－１は、感情発生源推定処理を終了してメイン処理に戻り、Ｓ１１２の処理を行う。

＜１－４．作用効果＞
以上説明したように本発明の第１の実施形態によれば、感情推定サーバ１０－１は、対象領域内に２人のユーザ４０が対面している状況で、各々のユーザ４０の計測情報に基づき、各々のユーザ４０の感情の推定及び比較を行い、各々のユーザ４０の感情発生源を推定する。よって、本発明の第１の実施形態は、対象領域内に２人のユーザ４０が対面している状況で各々のユーザ４０の感情発生源の推定を行い、各々のユーザ４０に対して感情発生源に応じたサービスを適切に提供することが可能である。

＜＜２．第２の実施形態＞＞
以上、本発明の第１の実施形態について説明した。続いて、本発明の第２の実施形態について説明する。第２の実施形態では、対象領域内に３人のユーザ４０が存在する状況で、計測情報に基づく感情発生源の推定が行われる例について説明する。なお、対象領域内に存在するユーザ４０の人数は、かかる例に限定されない。以下では、第１の実施形態と異なる点のみを説明し、重複する点の説明は省略する。

＜２－１．システム概要＞
まず、図７を参照して、本発明の第２の実施形態による感情推定システムの概要について説明する。図７は、本発明の第２の実施形態による感情推定システム１０００－２の概要を示す図である。図７に示すように、感情推定システム１０００－２は、感情推定サーバ１０－２、センサ装置２０－２、及びネットワーク３０を備える。

（１）感情推定サーバ１０－２
第１の実施形態では、２人のユーザ４０が対面している状況であったため、一方のユーザ４０が影響を受けるまたは影響を与えるユーザ４０は、もう一方のユーザ４０であることが一意に予め定まっていた。そのため、感情推定サーバ１０－１は、ユーザ４０の感情を比較する前に、予め比較対象を決定する必要はなかった。しかしながら、第２の実施形態では、図７に示すように、ユーザ４０ａ、ユーザ４０ｂ、及びユーザ４０ｃの３人のユーザ４０が存在する。そのため、あるユーザ４０が影響を受けるまたは影響を与えるユーザ４０は、他の２人のユーザ４０のどちらであるかが一意に予め定まっていない。そのため、感情推定サーバ１０－２は、ユーザ４０の感情を比較する前に、予め比較対象を決定する必要がある。

そこで、感情推定サーバ１０－２は、ユーザ４０の感情の比較対象を決定する機能を追加で有する。ユーザ４０が影響を受けるまたは影響を与える他のユーザ４０は、ユーザ４０が見ている他のユーザ４０である。よって、感情推定サーバ１０－２は、ユーザ４０が見ている他のユーザ４０を推定し、推定した他のユーザ４０を、ユーザ４０の感情の比較対象と決定する。一例として、図７に示すように、対象領域内にユーザ４０ａ、ユーザ４０ｂ、及びユーザ４０ｃが存在し、ユーザ４０ａはユーザ４０ｂを見ていて、ユーザ４０ｂはユーザ４０ａを見ていて、ユーザ４０ｃはユーザ４０ａを見ているとする。この場合、ユーザ４０ａの感情の比較対象は、ユーザ４０ｂである。また、ユーザ４０ｂの感情の比較対象は、ユーザ４０ａである。また、ユーザ４０ｃの感情の比較対象は、ユーザ４０ａである。

感情推定サーバ１０－２は、例えば、ユーザ４０の姿勢情報に基づき、ユーザ４０の視野方向を推定する。また、感情推定サーバ１０－２は、他のユーザ４０の位置情報に基づき、ユーザ４０の視野方向に存在する他のユーザ４０を推定する。かかる構成により、感情推定サーバ１０－２は、ユーザ４０が見ている他のユーザ４０を推定し、ユーザ４０の感情の比較対象を決定することができる。なお、比較対象の決定方法の詳細は、後述される。

（２）センサ装置２０－２
センサ装置２０－２は、感情情報に加え、感情の比較対象を決定するための情報を計測する。一例として、センサ装置２０－２は、ユーザ４０の姿勢情報と位置情報を計測する。計測後、センサ装置２０－２は、ネットワーク３０を介して、計測した姿勢情報及び位置情報を感情推定サーバ１０－２へ送信する。

姿勢情報や位置情報を計測するセンサ装置２０は、多様なセンサ装置により実現され得る。例えば、姿勢情報を計測するセンサ装置２０は、カメラにより実現され得る。また、位置情報を計測するセンサ装置２０は、カメラ、測距センサ、デプスセンサ等の少なくともいずれか１つにより実現され得る。

姿勢情報を計測するカメラは、例えば、ＲＧＢ－Ｄカメラ等のＲＧＢ画像を撮像する撮像装置である。センサ装置２０－２は、当該ＲＧＢ－Ｄカメラにより、対象領域内のユーザ４０に関するＲＧＢ画像を取得することができる。

位置情報を計測するカメラは、例えば、ＲＧＢカメラ等のレンズ系、駆動系、及び撮像素子を有し、画像を撮像する撮像装置である。センサ装置２０－２は、当該カメラにより、対象領域内のユーザ４０が撮像された画像を取得することができる。

測距センサは、例えば、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサ等の距離情報を取得する装置である。デプスセンサは、例えば、赤外線測距装置、超音波測距装置、ＬｉＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）又はステレオカメラ等の深度情報を取得する装置である。センサ装置２０－２は、当該測距センサまたは当該デプスセンサにより、対象領域内のユーザ４０までの距離情報を取得することができる。

（３）ネットワーク３０
感情推定システム１０００－２におけるネットワーク３０の構成及び機能は、「＜１－１．システム概要＞の（３）ネットワーク３０」にて説明した内容と同一であるため、本章での説明を省略する。

＜２－２．機能構成例＞
以上、本発明の第２の実施形態による感情推定システム１０００－２の概要について説明した。続いて、図８を参照して、本発明の第２の実施形態による感情推定サーバ１０－２の機能構成例について説明する。図８は、本発明の第２の実施形態による感情推定サーバ１０－２の機能構成例を示すブロック図である。図８に示すように、感情推定サーバ１０－２は、通信部１１０、制御部１２０－２、及び記憶部１３０を備える。

（１）通信部１１０
感情推定サーバ１０－２における通信部１１０の機能は、「＜１－２．機能構成例＞の（１）通信部１１０」にて説明した内容と同一であるため、本章での説明を省略する。

（２）制御部１２０－２
制御部１２０－２は、感情推定サーバ１０－２の全体の動作を制御する機能を有する。当該機能を実現するために、制御部１２０－２は、図８に示すように、ユーザ計測部１２２－２、感情推定部１２４－２、ユーザ姿勢・位置計測部１２５、感情比較部１２６－２、及び感情発生源推定部１２８－２を有する。

（２－１）ユーザ計測部１２２－２
ユーザ計測部１２２－２は、「＜１－２．機能構成例＞の（２－１）ユーザ計測部１２２－１」にて説明したユーザ計測部１２２－１と同様の機能を有する。

なお、上述の機能を実現するために、ユーザ計測部１２２－２は、第１のユーザ計測部１２２－２ａ、第２のユーザ計測部１２２－２ｂ、及び第３のユーザ計測部１２２－２ｃを有する。

第１のユーザ計測部１２２－２ａは、「＜１－２．機能構成例＞の（２－１）ユーザ計測部１２２－１」にて説明した第１のユーザ計測部１２２－１ａと同様の機能を有する。なお、第１のユーザがユーザ４０ｃである場合、第１のユーザ計測部１２２－２ａは、ユーザ４０ｃの感情情報をセンサ装置２０－２に計測させる。

第２のユーザ計測部１２２－２ｂは、「＜１－２．機能構成例＞の（２－１）ユーザ計測部１２２－１」にて説明した第２のユーザ計測部１２２－１ｂと同様の機能を有する。なお、第２のユーザがユーザ４０ｃである場合、第２のユーザ計測部１２２－２ｂは、ユーザ４０ｃの感情情報をセンサ装置２０－２に計測させる。

第３のユーザ計測部１２２－２ｃは、センサ装置２０に第３のユーザの感情情報を計測させる機能を有する。例えば、第３のユーザがユーザ４０ａである場合、第３のユーザ計測部１２２－２ｃは、ユーザ４０ａの感情情報をセンサ装置２０－２に計測させる。他方、第３のユーザがユーザ４０ｂである場合、第３のユーザ計測部１２２－２ｃは、ユーザ４０ｂの感情情報をセンサ装置２０－２に計測させる。他方、第３のユーザがユーザ４０ｃである場合、第３のユーザ計測部１２２－２ｃは、ユーザ４０ｃの感情情報をセンサ装置２０－２に計測させる。

（２－２）感情推定部１２４－２
感情推定部１２４－２は、「＜１－２．機能構成例＞の（２－２）感情推定部１２４－１」にて説明した感情推定部１２４－１と同様の機能を有する。

なお、上述の機能を実現するために、感情推定部１２４－２は、第１のユーザ感情推定部１２４－２ａ、第２のユーザ感情推定部１２４－２ｂ、及び第３のユーザ感情推定部１２４－２ｃを有する。

第１のユーザ感情推定部１２４－２ａは、「＜１－２．機能構成例＞の（２－２）感情推定部１２４－１」にて説明した第１のユーザ感情推定部１２４－１ａと同様の機能を有する。なお、第１のユーザがユーザ４０ｃである場合、第１のユーザ感情推定部１２４－２ａは、ユーザ４０ｃの感情を推定する。

第２のユーザ感情推定部１２４－２ｂは、「＜１－２．機能構成例＞の（２－２）感情推定部１２４－１」にて説明した第２のユーザ感情推定部１２４－１ｂと同様の機能を有する。なお、第２のユーザがユーザ４０ｃである場合、第２のユーザ感情推定部１２４－２ｂは、ユーザ４０ｃの感情を推定する。

第３のユーザ感情推定部１２４－２ｃは、第３のユーザの感情を推定する機能を有する。例えば、第３のユーザがユーザ４０ａである場合、第３のユーザ感情推定部１２４－２ｃは、ユーザ４０ａの感情を推定する。他方、第３のユーザがユーザ４０ｂである場合、第３のユーザ感情推定部１２４－２ｃは、ユーザ４０ｂの感情を推定する。他方、第３のユーザがユーザ４０ｃである場合、第３のユーザ感情推定部１２４－２ｃは、ユーザ４０ｃの感情を推定する。

（２－３）ユーザ姿勢・位置計測部１２５
ユーザ姿勢・位置計測部１２５は、センサ装置２０－２に計測情報を計測させ、計測情報を取得する機能を有する。ユーザ姿勢・位置計測部１２５は、例えば、対象領域内に存在するユーザ４０の姿勢情報及び位置情報を、センサ装置２０－２に計測させる。この時、ユーザ姿勢・位置計測部１２５は、通信部１１０及びネットワーク３０を介して、姿勢情報及び位置情報の計測に関する指示をセンサ装置２０－２へ送信する。センサ装置２０－２による姿勢情報及び位置情報の計測後、ユーザ姿勢・位置計測部１２５は、ネットワーク３０及び通信部１１０を介してセンサ装置２０－２から姿勢情報及び位置情報を取得し、取得した姿勢情報及び位置情報を感情比較部１２６－２へ出力する。

上述の機能を実現するために、ユーザ姿勢・位置計測部１２５は、第１のユーザ姿勢・位置計測部１２５ａ、第２のユーザ姿勢・位置計測部１２５ｂ、及び第３のユーザ姿勢・位置計測部１２５ｃを有する。

第１のユーザ姿勢・位置計測部１２５ａは、センサ装置２０－２に第１のユーザの姿勢情報及び位置情報を計測させる機能を有する。例えば、第１のユーザがユーザ４０ａである場合、第１のユーザ姿勢・位置計測部１２５ａは、ユーザ４０ａの姿勢情報及び位置情報をセンサ装置２０－２に計測させる。他方、第１のユーザがユーザ４０ｂである場合、第１のユーザ姿勢・位置計測部１２５ａは、ユーザ４０ｂの姿勢情報及び位置情報をセンサ装置２０－２に計測させる。他方、第１のユーザがユーザ４０ｃである場合、第１のユーザ姿勢・位置計測部１２５ａは、ユーザ４０ｃの姿勢情報及び位置情報をセンサ装置２０－２に計測させる。

第２のユーザ姿勢・位置計測部１２５ｂは、センサ装置２０－２に第２のユーザの姿勢情報及び位置情報を計測させる機能を有する。例えば、第２のユーザがユーザ４０ａである場合、第２のユーザ姿勢・位置計測部１２５ｂは、ユーザ４０ａの姿勢情報及び位置情報をセンサ装置２０－２に計測させる。他方、第２のユーザがユーザ４０ｂである場合、第２のユーザ姿勢・位置計測部１２５ｂは、ユーザ４０ｂの姿勢情報及び位置情報をセンサ装置２０－２に計測させる。他方、第２のユーザがユーザ４０ｃである場合、第２のユーザ姿勢・位置計測部１２５ｂは、ユーザ４０ｃの姿勢情報及び位置情報をセンサ装置２０－２に計測させる。

第３のユーザ姿勢・位置計測部１２５ｃは、センサ装置２０－２に第３のユーザの姿勢情報及び位置情報を計測させる機能を有する。例えば、第３のユーザがユーザ４０ａである場合、第３のユーザ姿勢・位置計測部１２５ｃは、ユーザ４０ａの姿勢情報及び位置情報をセンサ装置２０－２に計測させる。他方、第３のユーザがユーザ４０ｂである場合、第３のユーザ姿勢・位置計測部１２５ｃは、ユーザ４０ｂの姿勢情報及び位置情報をセンサ装置２０－２に計測させる。他方、第３のユーザがユーザ４０ｃである場合、第３のユーザ姿勢・位置計測部１２５ｃは、ユーザ４０ｃの姿勢情報及び位置情報をセンサ装置２０－２に計測させる。

（２－４）感情比較部１２６－２
感情比較部１２６－２は、「＜１－２．機能構成例＞の（２－３）感情比較部１２６－１」にて説明した感情比較部１２６－１と同様の機能に加え、ユーザ４０の感情の比較対象を決定する機能を有する。感情比較部１２６－２は、例えば、ユーザ姿勢・位置計測部１２５から入力されるユーザ４０の姿勢情報及び位置情報に基づき、ユーザ４０の感情の比較対象を決定する。比較対象の決定後、感情比較部１２６－２は、感情比較部１２６－１と同様にして、ユーザ４０の感情と比較対象の感情とを比較し、各々の感情の共通性を判定する。判定後、感情比較部１２６－２は、判定結果を感情発生源推定部１２８－２へ出力する。

（比較対象決定処理）
ここで、感情比較部１２６－２が比較対象を決定する処理である比較対象決定処理について詳細に説明する。感情比較部１２６－２は、各々のユーザ４０の姿勢情報及び位置情報に基づき、複数のユーザ４０の中から、第１のユーザの感情の比較対象となる第２のユーザを決定する。

比較対象を決定するにあたり、感情比較部１２６－２は、まず、姿勢情報に基づき、第１のユーザの視野方向を決定する。一例として、感情比較部１２６－２は、姿勢情報であるＲＧＢ画像におけるユーザ４０の領域に対して、人の骨格モデルを当てはめ、当該骨格モデルにおける頭部の向きを第１のユーザの視野方向と決定する。

次いで、感情比較部１２６－１は、位置情報に基づき、複数のユーザ４０の中から第１のユーザの視野方向に存在するユーザ４０を推定する。一例として、感情比較部１２６－２は、センサ装置２０－２により取得された距離情報に基づき、対象領域内における複数のユーザ４０の各々の位置を推定する。位置の推定後、感情比較部１２６－２は、第１のユーザの視野方向と推定した複数のユーザ４０の各々の位置に基づき、第１のユーザの視野方向に存在するユーザ４０を推定する。

第１のユーザの視野方向にユーザ４０が存在する場合、感情比較部１２６－２は、第１のユーザの視野方向に存在するユーザ４０を、比較対象となる第２のユーザと決定する。かかる構成により、感情比較部１２６－２は、複数のユーザ４０の中から、第１のユーザが影響を受けるユーザ４０を第２のユーザとして決定することができる。

（比較対象の決定例）
ここで、図９を参照して、比較対象の決定例について説明する。図９は、本発明の第２の実施形態による複数のユーザ４０の姿勢及び位置の一例を示す図である。図９に示す例では、ユーザ４０ａ、ユーザ４０ｂ、ユーザ４０ｃの視野方向と位置が２次元平面状に投射されている。矢印７０ａは、ユーザ４０ａの視野方向であり、２本の破線の間の領域の内、矢印７０ａが指す方向にある領域がユーザ４０ａの視野である。矢印７０ｂは、ユーザ４０ｂの視野方向であり、２本の一点鎖線の間の領域の内、矢印７０ｂが指す方向にある領域がユーザ４０ｂの視野である。矢印７０ｃは、ユーザ４０ｃの視野方向であり、２本の二点鎖線の間の領域の内、矢印７０ｃが指す方向にある領域がユーザ４０ｃの視野である。

感情比較部１２６－２は、第１のユーザが影響を受け得るユーザ４０を比較対象となる第２のユーザと決定する。例えば、感情比較部１２６－２は、第１のユーザの安定注視野領域に存在するユーザ４０を比較対象となる第２のユーザと決定する。安定注視野領域とは、水平方向の±３０～４５°の視野領域である。

一例として、図９に示すように、ユーザ４０ａの安定注視野内にユーザ４０ｂが存在することから、ユーザ４０ａは、ユーザ４０ｂから影響を受け得る。よって、ユーザ４０ａが第１のユーザである場合、感情比較部１２６－２は、ユーザ４０ｂを比較対象となる第２のユーザと決定する。また、ユーザ４０ｂの安定注視野内にユーザ４０ａが存在することから、ユーザ４０ｂは、ユーザ４０ａから影響を受け得る。よって、ユーザ４０ｂが第１のユーザである場合、感情比較部１２６－２は、ユーザ４０ａを比較対象となる第２のユーザと決定する。また、ユーザ４０ｃの安定注視野方向にユーザ４０ａが存在することから、ユーザ４０ｃは、ユーザ４０ａから影響を受け得る。よって、ユーザ４０ｃが第１のユーザである場合、感情比較部１２６－２は、ユーザ４０ａを比較対象となる第２のユーザと決定する。

なお、第１のユーザの安定注視野領域内に複数のユーザ４０が存在する場合、感情比較部１２６－２は、当該複数のユーザ４０を比較対象となる第２のユーザと決定してもよい。例えば、ユーザ４０ａの安定注視野内にユーザ４０ｂ及びユーザ４０ｃが存在した場合、ユーザ４０ａは、ユーザ４０ｂ及びユーザ４０ｃから影響を受け得る。よって、ユーザ４０ａが第１のユーザである場合、感情比較部１２６－２は、ユーザ４０ｂとユーザ４０ｂを比較対象となる第２のユーザと決定する。

複数の比較対象が存在する場合、感情比較部１２６－２は、第１のユーザの感情と複数の比較対象の各々の感情とを比較し、第１のユーザの感情と複数の比較対象の各々の感情との共通性を判定する。例えば、第１のユーザがユーザ４０ａであり、比較対象がユーザ４０ｂとユーザ４０ｃである場合、感情比較部１２６－２は、ユーザ４０ａの感情とユーザ４０ｂの感情との共通性、ユーザ４０ａの感情とユーザ４０ｃの感情との共通性を判定する。かかる構成により、感情比較部１２６－２は、複数のユーザ４０の中から、第１のユーザが影響を受ける複数のユーザ４０を第２のユーザとして決定することができる。

（２－５）感情発生源推定部１２８－２
感情発生源推定部１２８－２は、「＜１－２．機能構成例＞の（２－４）感情発生源推定部１２８－１」にて感情発生源推定部１２８－２の機能に加え、比較対象の有無に応じた感情発生源の推定を行う機能を有する。

（比較対象が存在する場合）
比較対象が存在する場合、感情発生源推定部１２８－２は、共通性の判定結果に応じて感情発生源を推定する。例えば、共通性が認められ、かつ第１のユーザの感情と前回推定時の比較対象の感情とが同一である比較対象が存在する場合、感情発生源推定部１２８－２は、前回推定時の比較対象の感情発生源を、第１のユーザの感情発生源と推定する。一例として、第１のユーザがユーザ４０ａであり、比較対象がユーザ４０ｂであるとする。この時、感情発生源推定部１２８－２は、ユーザ４０ａの感情と前回推定時のユーザ４０ｂの感情とが同一であれば、前回推定時のユーザ４０ｂの感情発生源を、ユーザ４０ａの感情発生源と推定する。

共通性が認められる比較対象が存在しない、または第１のユーザの感情と前回推定時の比較対象の感情とが同一である比較対象が存在しない場合、感情発生源推定部１２８－２は、第１のユーザを、第１のユーザの感情発生源と推定する。一例として、第１のユーザがユーザ４０ａであり、比較対象がユーザ４０ｂであるとする。この時、感情発生源推定部１２８－２は、ユーザ４０ａの感情とユーザ４０ｂの感情とに共通性が認められない、またはユーザ４０ａの感情と前回推定時のユーザ４０ｂの感情とが同一でない場合、ユーザ４０ａを、ユーザ４０ａの感情発生源と推定する。

（比較対象が存在しない場合）
比較対象が存在しない場合、感情発生源推定部１２８－２は、第１のユーザを、第１のユーザの感情発生源と推定する。一例として、第１のユーザがユーザ４０ａであり、比較対象が存在しない場合、感情発生源推定部１２８－２は、ユーザ４０ａを、ユーザ４０ａの感情発生源と推定する。

（３）記憶部１３０
感情推定サーバ１０－２における記憶部１３０の機能は、「＜１－２．機能構成例＞の（３）記憶部１３０」にて説明した内容と同一であるため、本章での説明を省略する。

＜２－３．処理例＞
以上、本発明の第２の実施形態による感情推定サーバ１０－２の機能構成例について説明した。続いて、本発明の第２の実施形態による感情推定サーバ１０－２における処理例について説明する。

（１）メイン処理
まず、図１０を参照して、本発明の第２の実施形態による感情推定サーバ１０－２におけるメイン処理の流れについて説明する。図１０は、本発明の第２の実施形態によるメイン処理の流れの一例を示すフローチャートである。

図１０に示すように、まず、制御部１２０－２の第１のユーザ計測部１２２－２ａは、センサ装置２０にユーザ４０ａ（第１のユーザ）の感情情報を計測させ、ユーザ４０ａの感情情報を取得する（Ｓ３０２）。また、制御部１２０－２の第１のユーザ姿勢・位置計測部１２５ａは、センサ装置２０にユーザ４０ａ（第１のユーザ）の姿勢情報及び位置情報を計測させ、ユーザ４０ａの姿勢情報及び位置情報を取得する（Ｓ３０２）。次いで、第１のユーザ感情推定部１２４－２ａは、第１のユーザ計測部１２２－２ａが取得したユーザ４０ａの感情情報に基づき、ユーザ４０ａの感情を推定する（Ｓ３０４）。

Ｓ３０２及びＳ３０４と並行して、制御部１２０－２の第２のユーザ計測部１２２－２ｂは、センサ装置２０にユーザ４０ｂ（第２のユーザ）の感情情報を計測させ、ユーザ４０ｂの感情情報を取得する（Ｓ３０６）。また、制御部１２０－２の第２のユーザ姿勢・位置計測部１２５ｂは、センサ装置２０にユーザ４０ｂ（第２のユーザ）の姿勢情報及び位置情報を計測させ、ユーザ４０ｂの姿勢情報及び位置情報を取得する（Ｓ３０６）。次いで、第２のユーザ感情推定部１２４－２ｂは、第２のユーザ計測部１２２－２ｂが取得したユーザ４０ｂの感情情報に基づき、ユーザ４０ｂの感情を推定する（Ｓ３０８）。

Ｓ３０２からＳ３０８と並行して、制御部１２０－２の第３のユーザ計測部１２２－２ｃは、センサ装置２０にユーザ４０ｃ（第３のユーザ）の感情情報を計測させ、ユーザ４０ｃの感情情報を取得する（Ｓ３１０）。また、制御部１２０－２の第３のユーザ姿勢・位置計測部１２５ｃは、センサ装置２０にユーザ４０ｃ（第３のユーザ）の姿勢情報及び位置情報を計測させ、ユーザ４０ｃの姿勢情報及び位置情報を取得する（Ｓ３１２）。次いで、第３のユーザ感情推定部１２４－２ｃは、第３のユーザ計測部１２２－２ｃが取得したユーザ４０ｃの感情情報に基づき、ユーザ４０ｃの感情を推定する（Ｓ３１２）。

ユーザ４０ａ、ユーザ４０ｂ、及びユーザ４０ｃの各々の感情の推定後、感情比較部１２６－２は、比較対象決定処理を行う（Ｓ３１４）。比較対象決定処理後、感情発生源推定部１２８－２は、感情発生源推定処理を行う（Ｓ３１６）。なお、感情発生源推定処理の詳細は、後述される。

感情発生源推定処理後、記憶部１３０は、全ユーザ４０（ユーザ４０ａ、ユーザ４０ｂ、及びユーザ４０ｃ）の感情推定結果と感情発生源を示す情報を記憶する（Ｓ３１８）。そして、制御部１２０－２は、Ｓ３０２からＳ３１８の処理を繰り返す。

（２）感情発生源推定処理
続いて、図１１を参照して、本発明の第２の実施形態による感情推定サーバ１０－２における感情発生源推定処理の流れについて説明する。図１１は、本発明の第２の実施形態による感情発生源推定処理の流れの一例を示すフローチャートである。

図１１に示すように、制御部１２０－２は、全ユーザ４０（ユーザ４０ａ、ユーザ４０ｂ、及びユーザ４０ｃ）に対して、Ｓ４０２からＳ４１８の処理を行う。なお、以下では、一例として、ユーザ４０ａに対してＳ４０２からＳ４１８の処理を行う例について説明する。

まず、制御部１２０－２の感情比較部１２６－２は、感情発生源推定処理がユーザ４０ａにとって初めての処理であるか否か（記憶部１３０に前回推定時の感情及び感情発生源が記憶されているか否か）を確認する（Ｓ４０２）。

初めての処理である場合（Ｓ４０２／ＹＥＳ）、感情発生源推定部１２８－２は、ユーザ４０ａの感情発生源としてユーザ４０ａを設定する（Ｓ４０４）。ユーザ４０ａの感情発生源の設定後、制御部１２０－２は、次のユーザ４０に対する処理をＳ４０２から行う。

初めての処理でない場合（Ｓ４０２／ＮＯ）、感情比較部１２６－２は、ユーザ４０ａの感情が前回推定時のユーザ４０ａの感情と同一であるか否かを確認する（Ｓ４０６）。

ユーザ４０ａの感情が前回推定時のユーザ４０ａの感情と同一である場合（Ｓ４０６／ＹＥＳ）、感情発生源推定部１２８－２は、ユーザ４０ａの感情発生源として、ユーザ４０ａの前回推定時の感情発生源を設定する（Ｓ４０８）。ユーザ４０ａの感情発生源の設定後、制御部１２０－２は、次のユーザ４０に対する処理をＳ４０２から行う。

ユーザ４０ａの感情が前回推定時のユーザ４０ａの感情と同一でない場合（Ｓ４０８／ＮＯ）、感情比較部１２６－２は、ユーザ４０ａが感情の影響を受ける第２のユーザ（比較対象）が存在するか否かを確認する（Ｓ４１０）。

ユーザ４０ａが感情の影響を受ける第２のユーザが存在しない場合（Ｓ４１０／ＮＯ）、感情発生源推定部１２８－２は、ユーザ４０ａの感情発生源としてユーザ４０ａを設定する（Ｓ４０４）。ユーザ４０ａの感情発生源の設定後、制御部１２０－２は、次のユーザ４０に対する処理をＳ４０２から行う。

ユーザ４０ａが感情の影響を受ける第２のユーザが存在する場合（Ｓ４１０／ＹＥＳ）、制御部１２０－２は、ユーザ４０ａが影響を受ける全ての第２のユーザを比較対象として、Ｓ４１２からＳ４１６の処理を行う。

まず、感情比較部１２６－２は、ユーザ４０ａの感情が比較対象の感情と同一であるか否かを確認する（Ｓ４１２）。ユーザ４０ａの感情が比較対象の感情と同一でない場合（Ｓ４１２／ＮＯ）、制御部１２０－２は、Ｓ４１４及びＳ４１６の処理をスキップし、次の比較対象に対する処理をＳ４１２から行う。

ユーザ４０ａの感情が比較対象の感情と同一である場合（Ｓ４１２／ＹＥＳ）、感情比較部１２６－２は、ユーザ４０ａの感情が比較対象の前回推定時の感情と同一であるか否かを確認する（Ｓ４１４）。ユーザ４０ａの感情が比較対象の前回推定時の感情と同一でない場合（Ｓ４１４／ＮＯ）、制御部１２０－２は、Ｓ４１６の処理をスキップし、次の比較対象に対する処理をＳ４１２から行う。

ユーザ４０ａの感情が比較対象の前回推定時の感情と同一である場合（Ｓ４１４／ＹＥＳ）、感情発生源推定部１２８－２は、ユーザ４０ａの感情発生源として比較対象の前回推定時の感情発生源を設定する（Ｓ４１６）。ユーザ４０ａの感情発生源の設定後、制御部１２０－２は、次の比較対象に対する処理をＳ４１２から行う。

全ての比較対象に対してＳ４１２からＳ４１６の処理を実行後、感情発生源推定部１２８－２は、ユーザ４０ａの感情発生源が未設定か否かを確認する（Ｓ４１８）。ユーザ４０ａの感情発生源が未設定である場合（Ｓ４１８／ＹＥＳ）、感情発生源推定部１２８－２は、ユーザ４０ａの感情発生源としてユーザ４０ａを設定する（Ｓ４０４）。

ユーザ４０ａの感情発生源が未設定でない場合（Ｓ４１８／ＮＯ）、制御部１２０－２は、次のユーザ４０に対する処理をＳ４０２から行う。

全ユーザ４０に対してＳ４０２からＳ４１８の処理を実行後、制御部１２０－２は、感情発生源推定処理を終了してメイン処理に戻り、Ｓ３１８の処理を行う。

＜２－４．作用効果＞
以上説明したように本発明の第２の実施形態によれば、感情推定サーバ１０－２は、対象領域内に３人のユーザ４０が存在する状況で、各々のユーザ４０の計測情報に基づき、各々のユーザ４０の感情の推定及び比較を行い、各々のユーザ４０の感情発生源を推定する。よって、本発明の第２の実施形態は、対象領域内に３人のユーザ４０が存在する状況でも各々のユーザ４０の感情発生源の推定を行い、各々のユーザ４０に対して感情発生源に応じたサービスを適切に提供することが可能である。

＜＜３．変形例＞＞
続いて、本発明の実施形態に係る変形例について説明する。以下では、本発明の実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本発明の実施形態に適用されてもよいし、組み合わせで本発明の実施形態に適用されてもよい。また、各変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

＜３－１．第１の変形例＞
上述の実施形態では、感情情報を計測するセンサ装置２０として、ユーザ４０と接触しない（非接触な）センサ装置、ユーザ４０が装着しない（非装着な）センサ装置が用いられる例を説明した。感情情報を計測するセンサ装置２０には、ユーザ４０と接触するセンサ装置、ユーザ４０が装着するセンサ装置が用いられてもよい。具体的なセンサ装置の一例として、ユーザ４０の脈拍数、発汗量、呼吸数等の生体情報を計測するためのセンサ装置が挙げられる。接触の一例として、センサ装置が搭載されたスマートフォンをユーザ４０が所持することによる接触が挙げられる。なお、センサ装置は、ユーザ４０と直接接触してもよい。また、装着の一例として、センサ装置が搭載されたウェアラブルデバイスをユーザ４０が装着することが挙げられる。なお、センサ装置は、ユーザ４０に直接装着されてもよい。また、センサ装置は、補助具を組み合わせて用いるものであってもよい。

＜３－２．第２の変形例＞
上述の実施形態では、姿勢情報及び位置情報を計測するセンサ装置２０として、ユーザ４０と接触しない（非接触な）センサ装置、ユーザ４０が装着しない（非装着な）センサ装置が用いられる例を説明した。姿勢情報及び位置情報を計測するセンサ装置２０には、ユーザ４０と接触するセンサ装置、ユーザ４０が装着するセンサ装置が用いられてもよい。具体的なセンサ装置の一例として、ビーコンやマーカを計測するセンサ装置が挙げられる。接触の一例として、センサ装置が搭載されたスマートフォンをユーザ４０が所持することによる接触が挙げられる。なお、センサ装置は、ユーザ４０と直接接触してもよい。また、装着の一例として、センサ装置が搭載されたウェアラブルデバイスをユーザ４０が装着することが挙げられる。なお、センサ装置は、ユーザ４０に直接装着されてもよい。また、センサ装置は、補助具を組み合わせて用いるものであってもよい。

＜３－３．第３の変形例＞
上述の実施形態では、第１のユーザの感情と第２のユーザの感情に共通性が認められる場合、第１のユーザの感情を、前回推定時の第１のユーザの感情または第２のユーザの感情と比較する例について説明した。制御部１２０は、推定したユーザ４０の感情と感情発生源をタイムスタンプによって管理し、当該タイムスタンプの値に基づく感情の比較を行ってもよい。

＜＜４．ハードウェア構成＞＞
最後に、図１２を参照して、本発明の一実施形態による感情推定装置のハードウェア構成例について説明する。図１２は、本発明の一実施形態による感情推定装置のハードウェア構成例を示すブロック図である。なお、図１２に示す感情推定装置９００は、例えば、図２に示した感情推定サーバ１０－１及び図８に示した感情推定サーバ１０－２を実現し得る。各実施形態による感情推定サーバ１０における情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図１２に示すように、感情推定装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３とを備える。また、感情推定装置９００は、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７とを備える。また、感情推定装置９００は、入力部９０８と、出力部９０９と、ストレージ部９１０と、ドライブ９１１と、外部インタフェース９１２と、ネットワークインタフェース９１３とを備える。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ハードウェア構成は、ここで示される構成要素以外の構成要素をさらに含んでもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、又はストレージ部９１０に記録された各種プログラムに従って感情推定装置内の動作全般を制御する。ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４により相互に接続されている。ＣＰＵ９０１、ＲＯＭ９０２およびＲＡＭ９０３は、ソフトウェアとの協働により図２を参照して説明した制御部１２０－１及び図８を参照して説明した制御部１２０－２の機能を実現し得る。

ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５及び外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力部９０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力部９０８は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。感情推定装置９００のユーザは、この入力部９０８を操作することにより、感情推定装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力部９０９は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドフォン等の音声出力装置や、プリンタ装置等がある。出力部９０９は、例えば、感情推定装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、感情推定装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

ストレージ部９１０は、データ格納用の装置である。ストレージ部９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ部９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔｒａｇｅ Ｄｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ部９１０は、ストレージを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。ストレージ部９１０は、例えば、図２及び図８を参照して説明した記憶部１３０の機能を実現し得る。

ドライブ９１１は、記憶媒体用リーダライタであり、感情推定装置９００に内蔵、あるいは外付けされる。ドライブ９１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体９２０に記録されている情報を読み出して、ＲＡＭ９０３またはストレージ部９１０に出力する。また、ドライブ９１１は、リムーバブル記憶媒体９２０に情報を書き込むこともできる。

外部インタフェース９１２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ－２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９２２を接続するためのインタフェースである。

ネットワークインタフェース９１３は、例えば、ネットワーク９２４に接続するための通信デバイス等で構成されたインタフェースである。かかるインタフェースは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＺｉｇＢｅｅ（登録商標）等の近距離無線通信インタフェースや、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（登録商標）、または携帯通信網（ＬＴＥ、３Ｇ）等の通信インタフェースである。また、ネットワークインタフェース９１３は、有線による通信を行う有線通信装置であってもよい。ネットワークインタフェース９１３は、例えば、図２及び図８を参照して説明した通信部１１０の機能を実現し得る。

＜＜５．むすび＞＞
以上説明したように、本発明の実施形態によれば、感情推定装置は、ユーザの計測情報から抽出されるユーザの特徴量に基づき、ユーザの感情を推定する。また、感情推定装置は、推定した第１のユーザの感情と第２のユーザの感情とを比較し、第１のユーザの感情と第２のユーザの感情との共通性を判定する。そして、感情推定装置は、共通性が認められる場合、第１のユーザの感情発生源が第１のユーザまたは第２のユーザであるかを推定する。

かかる構成により、感情推定装置は、推定した複数のユーザの感情を比較することで、各々のユーザの感情発生源を推定することができる。また、感情推定装置は、各々のユーザの感情発生源が分かることで、発生源に応じたサービスを各々のユーザに対して提供することができる。

以上より、ユーザに対して感情発生源に応じたサービスを適切に提供することが可能な、新規かつ改良された感情推定装置、感情推定方法、プログラム、及び感情推定システムを提供することが可能である。

＜＜６．補足＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の感情推定サーバ１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、感情推定サーバ１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、感情推定サーバ１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した感情推定サーバ１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

また、本明細書において説明した各装置は、それぞれ単独の装置として実現されてもよく、一部または全部が別々の装置として実現されてもよい。例えば、図２及び図８に示したように、感情推定サーバ１０及びセンサ装置２０は、それぞれ単独の装置として実現される。また、感情推定サーバ１０及びセンサ装置２０の機能は、両方の機能を有する１つの装置で実現されてもよい。

１０ 感情推定サーバ
２０ センサ装置
３０ ネットワーク
１１０ 通信部
１２０ 制御部
１２２ ユーザ計測部
１２４ 感情推定部
１２５ ユーザ姿勢・位置計測部
１２６ 感情比較部
１２８ 感情発生源推定部
１３０ 記憶部
１０００ 感情推定システム

Claims (20)

1. ユーザの計測情報から抽出される前記ユーザの特徴量に基づき、前記ユーザの感情を推定する感情推定部と、
   前記感情推定部が推定した第１のユーザの前記感情と第２のユーザの前記感情とを比較し、前記第１のユーザの前記感情と前記第２のユーザの前記感情との共通性を判定する感情比較部と、
   前記共通性が認められる場合、前記第１のユーザの前記感情の発生源が前記第１のユーザまたは前記第２のユーザであるかを推定する感情発生源推定部と、
   を備える、感情推定装置。
2. 前記感情発生源推定部は、前記第１のユーザと前記第２のユーザの内、前記共通性が認められた前記感情をより早く表出していたユーザを、前記第１のユーザの前記感情の前記発生源と推定する、請求項１に記載の感情推定装置。
3. 前記第１のユーザの前記感情と前回推定時の前記第１のユーザの前記感情とが同一である場合、
   前記感情発生源推定部は、前回推定時の前記第１のユーザの前記感情の前記発生源を、前記第１のユーザの前記感情の前記発生源と推定する、請求項２に記載の感情推定装置。
4. 前記第１のユーザの前記感情と前回推定時の前記第１のユーザの前記感情とが同一でなく、かつ前記第１のユーザの前記感情と前回推定時の前記第２のユーザの前記感情とが同一である場合、
   前記感情発生源推定部は、前記第２のユーザを、前記第１のユーザの前記感情の前記発生源と推定する、請求項２に記載の感情推定装置。
5. 前記第１のユーザの前記感情と前回推定時の前記第１のユーザの前記感情とが同一でなく、かつ前記第１のユーザの前記感情と前回推定時の前記第２のユーザの前記感情とが同一でない場合、
   前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定する、請求項２に記載の感情推定装置。
6. 前記共通性が認められない場合、
   前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定する、請求項１～５のいずれか１項に記載の感情推定装置。
7. 前記感情推定部が初めて前記第１のユーザの前記感情を推定した場合、
   前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定する、請求項１～６のいずれか１項に記載の感情推定装置。
8. 前記感情比較部は、各々の前記ユーザの位置情報及び姿勢情報に基づき、複数の前記ユーザの中から、前記第１のユーザの前記感情の比較対象となる前記第２のユーザを決定する、請求項１～７のいずれか１項に記載の感情推定装置。
9. 前記感情比較部は、前記姿勢情報に基づき、前記第１のユーザの視野方向を推定し、前記位置情報に基づき、複数の前記ユーザの中から前記第１のユーザの前記視野方向に存在する前記ユーザを推定し、推定した前記ユーザを、前記比較対象となる前記第２のユーザと決定する、請求項８に記載の感情推定装置。
10. 複数の前記比較対象が存在する場合、
    前記感情比較部は、前記第１のユーザの前記感情と複数の前記比較対象の各々の前記感情とを比較し、前記第１のユーザの前記感情と複数の前記比較対象の各々の前記感情との前記共通性を判定する、請求項９に記載の感情推定装置。
11. 前記共通性が認められ、かつ前記第１のユーザの前記感情と前回推定時の前記比較対象の前記感情とが同一である前記比較対象が存在する場合、
    前記感情発生源推定部は、前回推定時の前記比較対象の前記感情の前記発生源を、前記第１のユーザの前記感情の前記発生源と推定する、請求項１０に記載の感情推定装置。
12. 前記共通性が認められる前記比較対象が存在しない、または前記第１のユーザの前記感情と前回推定時の前記比較対象の前記感情とが同一である前記比較対象が存在しない場合、
    前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定する、請求項１０に記載の感情推定装置。
13. 前記比較対象が存在しない場合、
    前記感情発生源推定部は、前記第１のユーザを、前記第１のユーザの前記感情の前記発生源と推定する、請求項９に記載の感情推定装置。
14. 前記感情比較部は、前記感情のカテゴリを示す２次元円環モデルに基づき、前記第１のユーザの前記感情と前記第２のユーザの前記感情とを分類し、各々の前記感情が分類された前記カテゴリを比較することで、前記共通性の判定を行う、請求項１～１３のいずれか１項に記載の感情推定装置。
15. 前記第１のユーザの前記感情が分類されたカテゴリと前記第２のユーザの前記感情が分類されたカテゴリとが同一のカテゴリである場合、
    前記感情比較部は、前記第１のユーザの前記感情と前記第２のユーザの前記感情とに前記共通性があると判定する、請求項１４に記載の感情推定装置。
16. 前記感情推定部は、前記ユーザの前記感情を機械学習により推定する、請求項１～１５のいずれか１項に記載の感情推定装置。
17. 前記特徴量は、前記ユーザの顔画像から抽出される前記ユーザの表情の変化を示す情報である、請求項１～１６のいずれか１項に記載の感情推定装置。
18. ユーザの計測情報から抽出される前記ユーザの特徴量に基づき、前記ユーザの感情を推定することと、
    前記推定することにより推定した第１のユーザの前記感情と第２のユーザの前記感情とを比較し、前記第１のユーザの前記感情と前記第２のユーザの前記感情との共通性を判定することと、
    前記共通性が認められる場合、前記第１のユーザの前記感情の発生源が前記第１のユーザまたは前記第２のユーザであるかを推定することと、
    を含む、プロセッサにより実行される感情推定方法。
19. コンピュータを、
    ユーザの計測情報から抽出される前記ユーザの特徴量に基づき、前記ユーザの感情を推定する感情推定部と、
    前記感情推定部が推定した第１のユーザの前記感情と第２のユーザの前記感情とを比較し、前記第１のユーザの前記感情と前記第２のユーザの前記感情との共通性を判定する感情比較部と、
    前記共通性が認められる場合、前記第１のユーザの前記感情の発生源が前記第１のユーザまたは前記第２のユーザであるかを推定する感情発生源推定部と、
    として機能させるための、プログラム。
20. ユーザの計測情報から抽出される前記ユーザの特徴量に基づき、前記ユーザの感情を推定する感情推定部と、
    前記感情推定部が推定した第１のユーザの前記感情と第２のユーザの前記感情とを比較し、前記第１のユーザの前記感情と前記第２のユーザの前記感情との共通性を判定する感情比較部と、
    前記共通性が認められる場合、前記第１のユーザの前記感情の発生源が前記第１のユーザまたは前記第２のユーザであるかを推定する感情発生源推定部と、
    を備える、感情推定システム。

Images