JP7438653B2 - 感情情報管理サーバ装置、感情情報管理方法、プログラム及び情報通信システム - Google Patents

Description

本発明は、感情情報管理サーバ装置、感情情報管理方法、プログラム及び情報通信システムに関する。

特許文献１及び２には、オフィスや駅等において、構内カメラで撮像される実空間と３次元仮想空間データとを対応づけ、ユーザーが該実空間上の「位置」と該位置に存在するオブジェクトを容易に指定することを可能にする情報処理装置が提案されている。

特開２０１４－９９０４１号公報 特開２０１７－２２５８７号公報

ところで、遠隔地の全体的な感情分布状況や雰囲気を知りたい場合、他者がいまどこにいるかという位置の情報だけではなく、他者がどういう状況や心理状態にあるかの情報を加えて知ることができれば、より優れた遠隔コミュニケーション支援が実現できると考えられる。

遠隔コミュニケーション支援システムとしては、たとえばテレビ電話やテレビ会議システムなどが既存にある。しかし、それらを用いても相手と同じ部屋に共にいるときのような感覚にはいたらず、相手と同室にいるときと比べテレビ電話ごしでは他者の状況や状態がわかりづらく感じる、という課題がこれまで遠隔コミュニケーション支援システム全般に対して指摘されており、解決が望まれている。特に、オフィスにおけるチームの雰囲気（チーム全体がギスギスしているか和やかか等）や、駅において多くの他者が楽しそうにしている場所（もしかしたら何か特別なイベントが開催されているのかもしれない場所）が遠隔からも把握できれば、オフィスマネジメントや移動環境をより良好なものにできるであろう。

そこで本発明は、構内カメラ等から収集した人物のセンシングデータから感情（心理状態）を推定処理し得られた感情情報を、該人物の位置情報、時刻情報及び人物同一性情報に紐づけ感情時空間情報を生成する感情情報管理サーバと、該感情時空間情報を時刻フィルタリング処理や時系列データ処理を加えて情報提示できる端末装置と、を備えることを特徴とし、ユーザーが遠隔地の全体的な状況や雰囲気に係る情報を得ることができる、情報通信システムを提供することを目的とする。

上記問題を解決するために、本発明のある観点によれば、ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記計測データが得られた時刻情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を生成し、感情情報の条件及び時刻情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を生成する感情時空間情報管理部と、前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった情報のデータ数を、前記代表値の確度情報として生成する確度情報生成部と、を備える、感情情報管理サーバ装置が提供される。

前記感情時空間情報管理部は、前記感情情報と、前記位置情報と、を関連づけた前記感情時空間情報を生成してもよい。

また、本発明の他の観点によれば、ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を生成し、感情情報の条件及び位置情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を生成する感情時空間情報管理部と、前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった情報のデータ数を、前記代表値の確度情報として生成する確度情報生成部と、を備える、感情情報管理サーバ装置が提供される。

前記感情時空間情報管理部は、同じユーザーが識別された計測データ同士に対して、同じユーザーＩＤを付与することにより、同じユーザー同士を紐づける処理である人物追跡処理を実行し、前記計測データと前記感情推定モデルとに基づいて推定された前記感情情報に対して、前記ユーザーＩＤをさらに関連付けた前記感情時空間情報を生成し、前記人物追跡処理が成功した時間の長さに基づいて、前記感情時空間情報から前記部分的に抽出された情報を生成してもよい。

前記確度情報の生成に用いられる前記代表値の基になった情報は、前記確度情報が表示される端末装置による空間射影図の表示範囲に基づいて選択されてもよい。
前記位置情報は、カメラパラメータの情報とカメラからの取得データとに基づいて算出されてもよい。

また、本発明の他の観点によれば、ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記計測データが得られた時刻情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を感情情報管理サーバ装置が生成することと、感情情報の条件及び時刻情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を、前記感情情報管理サーバ装置が生成することと、前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった情報のデータ数を、前記代表値の確度情報として前記感情情報管理サーバ装置が生成することと、を含む、感情情報管理方法が提供される。

また、本発明の他の観点によれば、コンピュータを、ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記計測データが得られた時刻情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を生成し、感情情報の条件及び時刻情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を生成する感情時空間情報管理部と、前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった情報のデータ数を、前記代表値の確度情報として生成する確度情報生成部と、を備える、感情情報管理サーバ装置として機能させるためのプログラムが提供される。

また、本発明の他の観点によれば、ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記計測データが得られた時刻情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を生成し、感情情報の条件及び時刻情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を生成する感情時空間情報管理部と、前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった感情時空間情報のデータ数を、前記代表値の確度情報として生成する確度情報生成部と、を備える、感情情報管理サーバ装置と、前記感情情報管理サーバ装置から前記代表値と前記確度情報とを取得する制御部と、前記代表値と前記確度情報とを表示する表示部と、を備える、端末装置と、を有する、情報通信システムが提供される。

以上説明したように本発明によれば、ユーザーが遠隔地の全体的な状況や雰囲気に係る情報を得ることができる、情報通信システムを提供することが可能な技術が提供される。

本発明の第１の実施形態に係る情報通信システムの概略的な構成の一例を示す説明図である。 同実施形態に係る感情情報管理サーバ、構内カメラ、端末装置のハードウェア構成の一例を示すブロック図である。 同実施形態に係る構内カメラの機能構成の一例を示すブロック図である。 同実施形態に係る感情情報管理サーバの機能構成の一例を示すブロック図である。 感情時空間情報管理部によって紐づけ処理され記憶部に記憶される感情時空間情報ＤＢのデータテーブルの一例を説明するための説明図である。 同実施形態に係る端末装置の機能構成の一例を示すブロック図である。 端末装置の表示部に情報提示された表示画面の一例を説明するための説明図である。 端末装置の表示部に情報提示された表示画面の別の一例を説明するための説明図である。 端末装置の表示部に環境変化情報がさらに情報提示された表示画面の例を説明するための説明図である。 端末装置の表示部に情報提示された表示画面のさらに別の一例を説明するための説明図である。 端末装置の表示部に情報提示された表示画面のさらに別の一例を説明するための説明図である。 同実施形態に係る情報通信システムの動作シーケンスの一例を示す説明図である。 同実施形態に係る情報通信システムの動作シーケンスの一例を示す説明図である。 本発明の第２の実施形態に係る感情情報管理サーバの機能構成の一例を示すブロック図である。 端末装置の表示部に情報提示された表示画面の一例を説明するための説明図である。 端末装置の表示部に情報提示された表示画面の別の一例を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

（１．第１の実施形態）
まず、図１を参照して、本発明の実施形態に係る情報通信システムの概略的な構成を説明する。

図１は、本実施形態に係る情報通信システムの概略的な構成の一例を示す説明図である。図１を参照すると、本情報通信システムは、感情情報管理サーバ１００、複数のユーザー９００、構内カメラ２００、端末装置３００、ＬＡＮ５０を含む。

本情報通信システムは遠隔地間の情報通信機能を有するため、複数のユーザー９００は互いに空間的に離れて存在してもよく、図１では、拠点ｂＡにユーザー９００Ａ、構内カメラ２００Ａ、端末装置３００Ａ、拠点ｂＢＣに、ユーザー９００Ｂ、９００Ｃ及び９００Ｄ、構内カメラ２００Ｂ、２００Ｃ及び２００Ｚ、端末装置３００Ｂが存在するケースを一例として図示している。構内カメラ２００Ｃはユーザー９００Ｃ及び９００Ｄを共に撮像範囲内に含み、構内カメラ２００Ｂ及び２００Ｚは異なる方向からユーザー９００Ｂを撮像している。ユーザー９００Ａ、９００Ｂ、９００Ｃ及び９００Ｄは、たとえば互いに遠隔協働（テレワーク）を行っていてもよく、拠点ｂＡと拠点ｂＢＣはリモートオフィスの関係であってもよい。

なお、構内カメラ２００Ａと端末装置３００Ａはユーザー９００Ａの個別使用端末であってもよく、その場合、ユーザー９００Ａと構内カメラ２００Ａと端末装置３００Ａとは、それぞれと対応づけられた通信用の識別情報（以下「通信用ＩＤ」；たとえば電話番号やＩＰ（Internet Protocol）アドレス）のデータ同士を相互に紐づける設定処理を予め行われ、該設定のデータは感情情報管理サーバ１００に記憶されていてもよい（ユーザー９００Ｂ、９００Ｃ、９００Ｄの場合も同様）。

図２は、本実施形態に係る感情情報管理サーバ１００、構内カメラ２００、端末装置３００（以下、感情情報管理サーバ１００、構内カメラ２００及び端末装置３００それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。）のハードウェア構成の一例を示すブロック図である。なお、上記の各装置のすべてに下記のハードウェア構成のすべてが備えられている必要はなく（たとえば感情情報管理サーバ１００に直接的にセンサが備えられている必要はない）、後述する各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。

図２を参照すると、本実施形態に係る装置は、バス８０１、ＣＰＵ（Central Processing Unit）８０３、ＲＯＭ（Read Only Memory）８０５、ＲＡＭ（Random Access Memory）８０７、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７、スピーカ８１９を備える。

ＣＰＵ８０３は、本実施形態に係る装置における様々な処理を実行する。また、ＲＯＭ８０５は、本実施形態に係る装置における処理をＣＰＵ８０３に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ８０７は、ＣＰＵ８０３の処理の実行時に、プログラム及びデータを一時的に記憶する。

バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を相互に接続する。バス８０１には、さらに、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７及びスピーカ８１９が接続される。バス８０１は、例えば、複数の種類のバスを含む。一例として、バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を接続する高速バスと、該高速バスよりも低速の１つ以上の別のバスを含む。

記憶装置８０９は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置８０９は、例えば、ハードディスク（Hard Disk）等の磁気記憶装置であってもよく、または、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash
memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access
Memory）及びＰＲＡＭ（Phase change Random Access Memory）等の不揮発性メモリ（nonvolatile memory）であってもよい。

通信インタフェース８１１は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して（あるいは直接的に）外部装置と通信する。通信インタフェース８１１は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース８１１は、有線通信用のインタフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

センサ８１３は、たとえばカメラ、マイクロフォン、生体センサ、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、該音を電気信号へ変換し該電気信号をデジタルデータに変換する。

入力装置８１５は、タッチパネル、マウス、視線検出装置等である。表示装置８１７は、本実施形態に係る装置からの出力画像（すなわち表示画面）を表示するもので、例えば液晶、有機ＥＬ（Organic Light-Emitting Diode）、ＣＲＴ（Cathode Ray Tube）等を用いて実現され得る。スピーカ８１９は、音声を出力するもので、デジタルデータを電気信号に変換し該電気信号を音声に変換する。

次に、図３を参照して、本実施形態に係る「構内カメラ２００」の機能構成の一例を説明する。構内カメラ２００は、実世界の計測データを生成する機能を有し、ユーザー９００の行動（表情、身振り、音声等を含む）や生理反応等を外的に計測して取得したデータを後述する感情情報管理サーバ１００へ送信する。

図３は、本実施形態に係る構内カメラ２００の機能構成の一例を示すブロック図である。図３を参照すると、構内カメラ２００は、通信部２１０、計測部２２０及び制御部２３０を備える。なお、図３には図示していないが、構内カメラ２００は、計測データを保存するための記憶部や、内部動作状況をユーザーに示すための表示部等をさらに備えていてもよい。

通信部２１０は、他の装置と通信する。たとえば、通信部２１０は、ＬＡＮ５０に直接的に接続され、感情情報管理サーバ１００と通信する。また、他の構内カメラ２００と通信してもよい。なお、通信部２１０は、通信インタフェース８１１により実装され得る。

計測部２２０は、実世界の計測データ（たとえばオフィスや駅構内の俯瞰的画角の撮映像）や、ユーザー９００の行動や生理反応を外的に計測してデータを取得する。

前記行動や生体反応のデータは、たとえば、カメラにより計測される顔表情や身体姿勢の状態内容を含む画像データ、マイクロフォンにより計測される音声データである。さらには、人体の撮像データにおける肌の色の微細な変化から推定する脈拍データ、眼の撮像データから推定する視線運動データや瞳孔径データ、該カメラに赤外線サーモグラフィ機能が備えられていれば計測できる皮膚温分布データ等、ユーザーの自律神経系活動情報を反映する高次の生理指標データであってもよい。

前記推定の処理は、後述する制御部２３０により構内カメラ２００内で行われてもよいし、構内カメラ２００から後述する感情情報管理サーバ１００へ生の測定データを送信し感情情報管理サーバ１００内で行われてもよい。また、後述するように、前記行動や生体反応のデータは、端末装置３００が備えるセンサ部によって取得されてもよい。なお、計測部２２０は、センサ８１３により実装され得る。

構内カメラ２００は、図１の２００Ａのように１名のユーザー９００に対応して１台存在してもよいし、協働空間における環境埋め込み型のセンサを想定して図１の２００Ｃのように１台の構内カメラ２００が複数のユーザー９００のセンサデータを取得しても構わない。その場合、構内カメラ２００は複数のユーザー９００それぞれについてセンサデータと計測対象人物の識別データとの１対１対応の紐づけ処理を行って、センサデータと計測対象人物の識別データとの各組み合わせを記憶または送信する。前記計測対象人物の識別データは、どのようにして得られてもよく、一例として、カメラによる撮像画像から顔認識によって特定される人物の識別データであってもよい。

制御部２３０は、構内カメラ２００の様々な機能を提供する。制御部２３０は、前記計測データを、後述する計測対象のユーザー９００の位置情報のデータや、計測データを計測した時刻情報のデータと紐づけ、通信部２１０を介して感情情報管理サーバ１００へ送信してもよい。構内カメラ２００は、計測だけでなく、前処理、特徴抽出処理、推定を含む解析処理までを実施してもよく、その場合の各種演算処理を制御部２３０が行ってもよい。なお、制御部２３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

構内カメラ２００は、撮像範囲内に含まれるユーザー９００の位置を推定する機能を有していてもよい。たとえば、構内カメラ２００にレーザレンジファインダの機能も搭載されており、撮像範囲の３次元計測機能を有していてもよい。また、構内カメラ２００が汎用的な単眼カメラであっても、撮像対象物の３次元実空間における存在位置を推定する方法は既存に複数あり、公知の方法である（たとえば、前述の特許文献１や、非特許文献１：大澤達哉ほか、映像モニタリングのための人物追跡技術、ＮＴＴ技術ジャーナル、１９（８）、２００７、など）。

本発明の実施形態では、構内カメラ２００は、たとえば駅構内の監視カメラのような固定設置利用であってもよく、その場合、カメラの内部または外部パラメータの情報（カメラの３次元空間内位置、姿勢、撮像方向、画角、撮像範囲等の情報を含む）に係るデータは既知として、該カメラパラメータのデータを構内カメラ２００や感情情報管理サーバ１００が予め記憶部に有しており、該データを撮像対象物の位置推定に利用してもよい（すなわち、該データ及び構内カメラ２００からの取得データに基づいて撮像対象物の位置が推定されてもよい）。構内カメラ２００が撮像範囲内に含まれるユーザー９００の位置を推定する機能を有している場合、後述する端末装置３００とその位置情報取得部は、本情報通信システムに含まれなくてもよい。

次に、図４を参照して、本実施形態に係る「感情情報管理サーバ１００」の機能構成の一例を説明する。図４は、本実施形態に係る感情情報管理サーバ１００の機能構成の一例を示すブロック図である。図４を参照すると、感情情報管理サーバ１００は、通信部１１０、記憶部１２０及び制御部１３０を備える。

通信部１１０は、他の装置と通信する。たとえば、通信部１１０は、ＬＡＮ５０に直接的に接続され、構内カメラ２００や端末装置３００と通信する。なお、通信部１１０は、通信インタフェース８１１により実装され得る。

記憶部１２０は、感情情報管理サーバ１００の動作のためのプログラム及びデータを記憶する。前記データには、後述する時刻情報、位置情報、感情情報、それらを紐づけた感情時空間情報が含まれる。前記感情時空間情報のデータは、図５に図示した後述する感情時空間情報ＤＢ１２１のデータを含んでいてもよい。なお、記憶部１２０は、記憶装置８０９により実装され得る。

制御部１３０は、感情情報管理サーバ１００の様々な機能を提供する。制御部１３０は、感情推定部１３１、感情時空間情報管理部１３３及び感情変化情報生成部１３９を含む。さらに、感情時空間情報管理部１３３は、時刻情報管理部１３５、位置情報管理部１３６、感情情報管理部１３７及び人物同一性情報管理部１３８を含む。なお、制御部１３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

感情推定部１３１は、ユーザー９００から構内カメラ２００や端末装置３００及び通信部１１０を介して取得した行動や生体反応の計測データ（センシングデータ）に基づいて、ユーザー９００毎の個人感情の推定モデルデータ及びそれにより推定（識別）された感情推定データを生成する。また、感情推定部１３１は、該生成した推定モデルデータと感情推定データを記憶部１２０に記憶させる機能を有する。

なお、前記計測データは構内カメラ２００と端末装置３００の両方から得られる場合もあるが、両者の対応付けを行いそのいずれか一方のデータを用いてもよいし、両方のデータを併用することで（アンサンブル学習等により）より精度が高い感情推定データを生成できる可能性がある。

また、前記感情推定データの生成処理は構内カメラ２００や端末装置３００で行われてもよく、感情情報管理サーバ１００は構内カメラ２００や端末装置３００から前記計測データではなく感情推定データを受信しても構わない。

ここで、個人感情とその推定方法について説明を補足する。個人感情は、一例として「人が心的過程の中で行うさまざまな情報処理のうちで、人、物、出来事、環境についてする評価的な反応」（Ｏｒｔｏｎｙ ｅｔ ａｌ．，１９８８；大平，２０１０）と定義される。感情の具体的な種類としては、心理学者Ｐａｕｌ Ｅｋｍａｎによる表情に対応する基本感情ベースの離散型モデル上での幸福、驚き、恐れ、怒り、嫌悪、悲しみや、心理学者Ｊａｍｅｓ Ａ． Ｒｕｓｓｅｌｌによる快度及び覚醒度の感情次元ベースの連続型モデルにおける喜怒哀楽の象限などが知られている。他の連続型モデルとしては、Ｗａｔｓｏｎによるポジティブまたはネガティブ感情、Ｗｕｎｄｔによる３軸モデル（快度、興奮度、緊張度）、Ｐｌｕｔｃｈｉｋによる４軸のモデルなどもある。その他、応用的・複合的な感情としては、困惑度、関心度、メンタルストレス、集中度、疲労感、多忙度、創造性、リラックス／緊張度、モチベーション、共感度、信頼度などが挙げられる。さらに、業務活動において集団の雰囲気として体感されるイキイキ感なども高次な感情の一種といえる。本発明の実施形態における感情の定義の有効範囲は、前述の基本感情よりも広く、ユーザーのあらゆる内部「状態」やユーザーの周囲環境や文脈等の影響も加味した「状況」も含むものである。一例として、ポジティブ感情やその度合いは、快度そのものや、快度と覚醒度を合わせたもの、基本感情における幸福の強度の大きさ、もしくは恐れ、怒り、嫌悪、悲しみ等の強度の小ささ等を指標としてあらわされてもよい。

ある人物がどのような感情とその程度にあるかは、たとえば質問紙法を用いることで、該人物の文字、文章、記号による言語的報告によって求めることができる。該質問紙としては“Ａｆｆｅｃｔ Ｇｒｉｄ”などがよく知られている。しかしながら、質問紙を用いた計測方法では回答作業が必要になるため、業務など何か別の作業を行っている日常生活においては計測それ自体が本来の目的作業に支障を及ぼしてしまう可能性がある。

そこで、本情報通信システムにおいて、感情推定部１３１は、前述の構内カメラ２００や端末装置３００により計測される行動や生体反応のデータに基づいて（質問紙法等で求めた）感情を機械的に推定処理する。該推定処理を行うためには、予め学習処理によって生成された感情推定モデルのデータが必要となる。感情推定モデルは、たとえば、ある時点・状況における前記行動や生体反応のデータと前記質問紙の回答データからなる訓練データとを対応づけたデータの群から生成される。たとえば、オフィスに埋め込まれた無数のカメラやマイクロフォン、ウェアラブル活動量計から計測されたユーザーの顔表情、音声、心拍活動、皮膚電気活動等の行動・生体データと、該ユーザーの主観的感情を質問紙回答した正解データとが対応づけられて訓練データとされる。前記行動・生体データは、センサからの計測値が変換された学習処理用の特徴量データであってもよい。

特徴量データは、顔の代表的特徴点の位置や各２点間を結ぶ直線の距離や成す角度であってもよい。あるいは、特徴量データは、音声の基本周波数、パワー、平均発話速度、一次ケプストラム係数の最高値と標準偏差であってもよい。あるいは、特徴量データは、心拍数や拍動間隔の平均値や標準偏差、心拍変動性であってもよい。あるいは、特徴量データは、皮膚コンダクタンス水準の平均値や標準偏差や増減低下率などであってもよい。これらの特徴量データはどのように使用されてもよく、ある時点における絶対値として使用されてもよいし、２時点間の相対的な変化率として使用されてもよい。

前記訓練データを用いた感情推定モデルの生成には、学習の手法として、たとえば既知のＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）や深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）法が用いられてもよいし、単純に回帰分析法が利用されてもよい。また、学習モデルはユーザー個人毎に生成されてもよいし、複数のユーザーの訓練データを用いて人間に共通的なモデルが生成されてもよい。感情推定部１３１は、得られた感情推定モデルのデータを用いることで、ある人物の行動・生体データから個人感情を推定できるようになる。

感情情報管理サーバ１００や感情推定部１３１は、上述の個人感情推定処理のための訓練データや感情の推定モデル自体を生成する機能を有していてもよい。さらに、訓練データのための前述の特徴量データの生成は、感情情報管理サーバ１００ではなく構内カメラ２００や端末装置３００の方で行い、構内カメラ２００や端末装置３００が、該特徴量データを感情情報管理サーバ１００へ送信するようにしてもよい。

感情時空間情報管理部１３３は、ある時刻、ある位置に存在するユーザー９００から取得された行動や生体反応の計測データから感情推定部１３１により生成された感情の推定情報（感情情報）のデータの管理を行う。すなわち、感情時空間情報管理部１３３は、ユーザー９００の後述する時刻情報、位置情報、感情情報、ユーザーＩＤ情報のデータ（人物同一性情報の例）を互いに紐づけた「感情時空間情報」のデータを生成し、生成した「感情時空間情報」のデータを記憶部１２０の感情時空間情報ＤＢ１２１に記録する。

なお、本実施形態では、感情時空間情報管理部１３３が、時刻情報、位置情報、感情情報、ユーザーＩＤ情報のデータのすべてを紐づける例について主に説明する。しかし、感情時空間情報管理部１３３は、これらの一部のみを紐づけることによって感情時空間情報を生成してもよい。たとえば、感情時空間情報管理部１３３は、感情情報と、時刻情報及び位置情報の少なくともいずれか一方とを紐づけることによって感情時空間情報を生成してもよい（感情情報と時刻情報とを紐づけてもよいし、感情情報と位置情報とを紐づけてもよいし、感情情報と時刻情報及び位置情報の双方とを紐づけてもよい）。あるいは、感情時空間情報管理部１３３は、感情情報と、時刻情報及び位置情報の少なくともいずれか一方と、ユーザーＩＤ情報のデータとを紐づけることによって感情時空間情報を生成してもよい。

ここで、図５を参照して、前述した感情時空間情報ＤＢ１２１について説明する。図５は、感情時空間情報管理部１３３によって紐づけ処理され記憶部１２０に記憶される感情時空間情報ＤＢ１２１のデータテーブルの一例を説明するための説明図である。図５のデータテーブルには、感情情報、位置情報、時刻情報、ユーザーＩＤのデータが記憶されている。

感情情報は、前述のように感情推定部１３１により生成される。図５ではポジティブ感情の強度を感情情報の一例として記しており、行１のデータではポジティブ度が高く、行３のデータでは低い。

位置情報は、前記感情情報の推定基となった計測データを取得されたユーザー９００が存在すると推定される位置（実空間内の３次元位置、もしくは実空間を水平面に射影した面上の２次元位置、エリアレベルでのプレゼンス等）であり、前述のように構内カメラ２００が撮像範囲内に含むユーザー９００の位置を推定した情報を用いてもよいし、後述する端末装置３００が有する位置情報取得部により取得された位置情報を用いてもよい。

時刻情報は、前記感情情報の推定基となった計測データを取得された時刻である。感情情報を推定するのに瞬時ではなく一定以上の時間幅の計測データが必要な感情情報（たとえば、音声の韻律や心拍数の上下など経時変化情報に基づく推定情報）の場合、該時間幅の最終時刻（時間幅の中で最も現在に近い時刻）を代表値として扱い時刻情報としてもよい。なお、本情報通信システムにおける感情情報管理サーバ１００、構内カメラ２００、端末装置３００それぞれの装置内の基準時刻にズレがある場合、感情情報管理サーバ１００は構内カメラ２００や端末装置３００からデータを受信した時点の感情情報管理サーバ１００のシステム時刻を代表値として時刻情報としてもよい。また、感情情報管理サーバ１００自体が構内カメラ２００や端末装置３００の時刻を校正する（感情情報管理サーバ１００のシステム時刻にそれらのシステム時刻を同期させる）機能を有していてもよい。

ユーザーＩＤは、紐づけられた時刻データ、位置データ、感情情報データの基になった計測データを取得されたユーザー９００をそれぞれ一定期間識別するためのデータである。たとえば、図５のデータテーブルには例として７行の紐づけデータが図示されているが、ユーザーＩＤは「０００１」「０００２」「０００３」の３種しかないため、図示されているのは３名分のデータであることがわかる。ユーザーＩＤは、感情情報データの基になった計測データが端末装置３００から取得され該感情情報データの基になった端末装置３００が個人利用端末でその固有の識別情報を感情情報管理サーバ１００が取得できる場合や、予め個人情報と顔画像や音声や生体データとを紐づけた顔・音声・生体認識辞書データベースが存在し、該データベースと計測データとを照合処理できる場合にはそれを用いてもよい。しかし、駅などの不特定多数のユーザーが利用する公共空間ではそのような方法は必ずしも実施可能ではない。また、そのような方法がたとえ実施可能であっても、個人情報のデータを安全に保管・運用するコストが必要となる。

本発明の実施形態では、不特定多数の感情情報、位置情報、時刻情報が集合されれば最低限の感情時空間情報を生成することは可能であるため、必ずしも各ユーザー９００の感情情報が個人情報と紐づけられる必要はなく、その場合は実施にあたり当ユーザーＩＤ情報のデータは必須ではない。しかしながら、当ユーザーＩＤは一定期間、感情情報の基になった各ユーザー９００同士を識別できるだけでも効果を示し、予め照合するための個人情報を用意しなくても、後述のように実施可能である。前記効果とは、感情情報の時系列変化の情報を利用できるようになることで、感情時空間情報の利用品質が向上することである。

たとえば、図５のデータテーブルでは、行１、行１１、行１２にはユーザーＩＤ０００１の、行２、行１３、行１４にはユーザーＩＤ０００２のユーザーの紐づけデータ（それぞれ１５秒間隔のデータ３点）が記憶されている。また、図５のデータテーブルでは、行３にはユーザー０００３のユーザーの紐づけデータが記憶されている。

対応する時刻情報を見ると、ユーザーＩＤ０００１のユーザーとユーザーＩＤ０００２のユーザーは、同日のほぼ同じ時間帯（１分違い）の３０秒間の内に同じように位置「Ｘ１、Ｙ１、Ｚ１」から位置「Ｘ３、Ｙ３、Ｚ３」を経て位置「Ｘ４、Ｙ４、Ｚ４」へと移動している。しかしながら、ユーザーＩＤ０００１のユーザーは該３０秒間の間感情情報は「ポジティブ度８０％」で変わらない一方、ユーザーＩＤ０００２のユーザーは「Ｘ４、Ｙ４、Ｚ４」で感情情報がそれまでの「ポジティブ度５０％」から「８０％」へ上昇している。

たとえば、駅構内において「Ｘ４、Ｙ４、Ｚ４」にある広告ポスターが掲示されていた場合、ユーザーＩＤ０００２のユーザーはそれを見てポジティブ度が上昇した可能性が考えられる。一方で、ユーザーＩＤ０００１のユーザーはポジティブ度が高いが、そもそも該広告ポスターの位置（Ｘ４、Ｙ４、Ｚ４）にたどり着く前からそもそもポジティブ度が高く、該広告ポスターの位置（Ｘ４、Ｙ４、Ｚ４）に到ってもポジティブ度は変わっていないため、該広告ポスターによる影響はほとんどなかったと考えられる。この場合、該広告ポスターの位置（Ｘ４、Ｙ４、Ｚ４）での瞬時的な感情情報だけを見るのではなく、その経時的変化、たとえば前の時刻のデータとの差分量（ユーザーＩＤ０００１のユーザー：＋０％、ユーザーＩＤ０００２のユーザー：＋３０％）を見れば、その位置の環境がユーザーの感情にどれだけの影響を与えるのかをより正確に把握でき、感情時空間情報の利用品質が向上する。しかし、当ユーザーＩＤの情報が得られず、感情情報、位置情報、時刻情報だけしか無かった場合、前述の行１、行１１、行１２、行３、行１３、行１４の各データはすべて関連のない個別データとなり、前述の経時的変化の情報（差分量等）を算出することもできなくなってしまう。ユーザーＩＤ情報により、各行の感情時空間情報のデータ間の関連性（人物同一性）を確認できる。

予め照合するための個人情報を用意せずにユーザーＩＤの情報を生成するには、前記計測データと計測されたユーザー９００の紐づけ維持状態の情報を、本情報通信システムでデータ化できればよい。たとえば、前記計測データが端末装置３００から取得されている場合、端末装置３００は前記計測データと共に端末装置３００の通信用ＩＤの情報を含むデータを感情情報管理サーバ１００へ送信してもよい。

また、前記計測データが構内カメラ２００から取得されている場合、一例として構内カメラ２００は公知の人物追跡技術（たとえば前述の非特許文献１参照）を用い、該構内カメラ２００の撮像範囲内にあるユーザーが映って人物追跡処理できている間は、該計測データに一意のユーザーＩＤを紐づけて付与することが可能である。

さらに、複数のカメラにまたがり人物追跡処理する技術も公知で存在する（非特許文献２：福司謙一郎ほか、複数カメラを用いた人物追跡手法の研究例、映像情報メディア学会誌、６２（７）、２００８）ことから、大型駅のような広い空間であっても、複数のカメラが設置され人物追跡処理が成功すれば、移動中のユーザーに対してある程度の時間幅で継続して一意のユーザーＩＤの紐づけ付与が可能である。映像ではなく音声の場合でも、教師データを用いずに個人性を識別する技術が公知で存在する（非特許文献３：峯松信明、音声に含まれる様々な個人性の自動推定、日本音響学会誌、７１（９）、２０１５）ことから、同様に一意のユーザーＩＤの紐づけ付与が可能といえる。

以上のように、感情時空間情報管理部１３３は、時刻情報、位置情報、感情情報、ユーザーＩＤ情報のデータを用いて、感情時空間情報のデータを生成し、保管する。

時刻情報管理部１３５は、感情時空間情報における前述の時刻情報を管理する。特に、時刻情報管理部１３５は、後述する端末装置３００から時刻によるフィルタリング指定（時刻情報の条件）と情報の取得要求を含むメッセージを受信した場合、後述のように時刻によるフィルタリング指定に基づいて、感情時空間情報から部分的に情報（時刻情報の条件に合致する情報）を抽出することによってフィルタ済の感情時空間情報を生成し、時刻によるフィルタリング済の感情時空間情報のデータを該端末装置３００へ送信する。なお、フィルタリング指定される時刻情報の単位は限定されない。すなわち、時刻情報の単位は、時単位であってもよいし、日単位（たとえば、日付けの他、平日、祝日といった種別など）であってもよいし、月単位であってもよい。

位置情報管理部１３６は、感情時空間情報における前述の位置情報を管理する。特に、位置情報管理部１３６は、後述する端末装置３００から位置によるフィルタリング指定（位置情報の条件）と情報の取得要求を含むメッセージを受信した場合、後述のように位置によるフィルタリング指定に基づいて、感情時空間情報から部分的に情報（位置情報の条件に合致する情報）を抽出することによってフィルタ済の感情時空間情報を生成し、位置によるフィルタリング済の感情時空間情報のデータを該端末装置３００へ送信する。

感情情報管理部１３７は、感情時空間情報における前述の感情情報を管理する。特に、感情情報管理部１３７は、後述する端末装置３００から感情によるフィルタリング指定（感情情報の条件）と情報の取得要求を含むメッセージを受信した場合、後述のように感情によるフィルタリング指定に基づいて、感情時空間情報から部分的に情報（感情の種別や強度などといった感情情報の条件に合致する情報）を抽出することによって、フィルタ済の感情時空間情報を生成し、生成されたフィルタリング済の感情時空間情報のデータを該端末装置３００へ送信する。

人物同一性情報管理部１３８は、感情時空間情報における前述のユーザーＩＤ情報を管理する。特に、人物同一性情報管理部１３８は、後述する端末装置３００から人物同一性によるフィルタリング指定（人物同一性情報の条件）と情報の取得要求を含むメッセージを受信した場合、後述のように人物同一性によるフィルタリング指定に基づいて、感情時空間情報から部分的に情報（人物同一性が確認された情報）を抽出することによってフィルタ済の感情時空間情報を生成し、人物同一性が確認された情報によるフィルタリング済の感情時空間情報のデータを該端末装置３００へ送信する。

感情変化情報生成部１３９は、感情時空間情報のデータを基に前述の経時的変化（同一のユーザーＩＤ情報に紐づけられた感情情報の経時的変化）の情報を算出し生成する。前記経時的変化の情報の生成は、予め生成して記憶部１２０に記憶される必要はなく、たとえば後述する端末装置３００からの情報の取得要求や後述するフィルタリング指定を含むメッセージの受信を契機に情報の生成が行われてもよい。

前述では、経時的変化の情報の例として任意の２時点間の感情強度の差分量を挙げたが、該情報の指標はそれに限定されない。たとえば、２時点間の感情強度の増加率や、単位時間あたりの感情強度の増減量（微分値）、所定の時間幅における感情強度の代表値（平均値、中央値、最頻値等）、所定の時間幅における感情強度の変動量（分散値）、感情に変化がない状態の継続時間長、所定の時間幅における感情のカテゴリの変化回数等を経時的変化の情報の指標としてもよい。なお、感情変化情報生成部１３９は、同一のユーザーＩＤ情報に紐づけられた感情情報及び位置情報の経時的変化の情報を算出してもよい。

次に、図６を参照して、本実施形態に係る「端末装置３００」の機能構成の一例を説明する。端末装置３００は、ユーザー９００からの入力に応じて他のユーザー９００へ通信要求処理を行ったり、他のユーザー９００の感情情報を取得して該ユーザー９００へ情報提示したりすることができる。さらに、端末装置３００は、ユーザー９００から後述する行動や生体反応の計測データを取得してもよい。一例として、端末装置３００は汎用的なスマートフォンやタブレット端末であってもよい。また、図１では端末装置３００は１名のユーザー９００に対応して１台存在するように図示されているが、複数のユーザー９００に共用される共有型端末であってもよい。さらに別の一例として、端末装置３００は映像通信機能付の駅自動券売機、現金自動預け払い機ＶＴＭ（Video Teller Machine）、ビジュアルコールセンターシステム等の表示部付の筐体装置であってもよい。

図６は、本実施形態に係る端末装置３００の機能構成の一例を示すブロック図である。図６を参照すると、端末装置３００は、通信部３１０、記憶部３２０、制御部３３０、入力部３４０、表示部３５０、センサ部３６０及び位置情報取得部３７０を備える。

通信部３１０は、他の装置と通信する。たとえば、通信部３１０は、ＬＡＮ５０に直接的に接続され、感情情報管理サーバ１００と通信する。なお、通信部３１０は、通信インタフェース８１１により実装され得る。

記憶部３２０は、端末装置３００の動作のためのプログラム及びデータを記憶する。
なお、記憶部３２０は、記憶装置８０９により実装され得る。

制御部３３０は、端末装置３００の様々な機能を提供する。なお、制御部３３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

入力部３４０は、ユーザー９００からの入力を受け付ける。そして、入力部３４０は、入力結果を制御部３３０へ提供する。前記ユーザー９００からの入力とは、たとえば、前述の感情時空間情報を感情情報管理サーバ１００に要求する指示を行うものである。また、前記ユーザー９００からの入力とは、たとえば、前記感情時空間情報を要求する際に、時刻、位置、感情、またはユーザーＩＤの情報による後述のフィルタリング指定を行うものである。なお、入力部３４０は、入力装置８１５により実装され得る。

表示部３５０は、多様な表示画面を表示する。たとえば、表示部３５０は、感情情報管理サーバ１００から受信した感情時空間情報のデータを所定の空間（オフィスや駅構内等）の情報に対応させた様態で情報提示する。また、表示部３５０は、時刻、位置、感情、またはユーザーＩＤの情報による後述のフィルタリング指定を行った感情時空間情報を情報提示してもよい。なお、表示部３５０は、例えば表示装置８２３により実現され得る。

センサ部３６０は、ユーザー９００の行動や生理反応を外的に計測してデータを取得する。前記行動や生体反応のデータは、たとえば、カメラにより計測される顔表情や身体姿勢の状態内容を含む画像データ、マイクロフォンにより計測される音声データ、加速度センサにより計測される身体動作の加速度データ、キーボード・マウス・タッチパネル等の入力装置により計測される機器操作データ、各種生体センサにより計測される自律神経系活動（心拍活動、皮膚電気活動、血圧、発汗、呼吸、皮膚・深部体温等）のデータ、中枢神経系活動（脳波、脳血流等）のデータ、視線計測装置により計測される視線運動・瞳孔径・瞬目数等のデータ、唾液または血中の免疫成分のデータ等を含む。これらの計測指標の算出処理は、制御部３３０により端末装置３００内で行われてもよいし、端末装置３００から感情情報管理サーバ１００へ生の測定データを送信し感情情報管理サーバ１００内で行われてもよい。なお、センサ部３６０は、センサ８１３により実装され得る。

センサ部３６０のセンサ８１３は、ユーザーへの非接触式でも接触式でもよい。接触式の場合、たとえば端末装置３００は腕時計等の形状をしたウェアラブル端末であっても構わない。あるいは、端末装置３００は、ＨＭＤ（Head Mounted Display）であっても構わない。ＨＭＤのタイプは、ゴーグル型であっても構わないし、グラス型であっても構わない。また、端末装置３００は、カメラ、マイクロフォン、加速度センサ、通信部等を備えたスマートフォンやタブレット端末であっても構わない。

位置情報取得部３７０は、外部からの取得信号に基づいて端末装置３００の現在位置を検知する。具体的には、たとえば位置情報取得部３７０は、ＧＰＳ（Global Positioning System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、端末装置３００が存在している位置を検知し、検知した位置情報を制御部３３０に出力する。また、位置情報取得部３７０は、ＧＰＳの他、例えばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。なお、ユーザー９００が端末装置３００を感情時空間情報の入手のみに利用し前記計測データの取得には利用しない場合、端末装置３００はセンサ部３６０や位置情報取得部３７０を備えなくても構わない。

ここで、端末装置３００を用いた、時刻、位置、感情、またはユーザーＩＤの情報によるフィルタリング指定について説明する。前述のように、ユーザー９００は、端末装置３００を用いて、感情情報管理サーバ１００に前記感情時空間情報のデータを要求し、感情情報管理サーバ１００から送信される感情時空間情報のデータを受信して、表示部３５０に情報提示することができる。その際、ユーザー９００が、対象となる空間（オフィスや駅構内等）に関わるすべての感情時空間情報を得たいわけではなく、限られた条件に適合する情報だけを得たい場合、該すべての感情時空間情報を感情情報管理サーバ１００から端末装置３００に受信するのは通信帯域やシステムの演算処理リソースの無駄な使用につながる。そこで、ユーザー９００は、端末装置３００から感情情報管理サーバ１００に前記感情時空間情報のデータを要求する際に、前記限られた条件に適合する情報のデータだけを送信するように感情情報管理サーバ１００に要求することができ、それをフィルタリング指定と呼ぶ。

時刻、位置、感情、またはユーザーＩＤの情報によるフィルタリング指定の例として、たとえば、（時間情報によるフィルタリング指定の例）Ａ駅の平日午前７時～９時の間の感情時空間情報による通勤時間帯の状況を強く反映した感情時空間情報、（位置情報によるフィルタリング指定の例）Ｂ駅のＷ線ホームのエリアの感情時空間情報による自身が利用する車線に限定した感情時空間情報、（感情情報によるフィルタリング指定の例）Ｃ駅の怒り感情度が高いユーザーのデータに限定した感情時空間情報、（ユーザーＩＤ情報によるフィルタリング指定の例）Ｄ駅の人物同一性が高い（たとえば人物追跡処理が多くの時間で成功した）ユーザーのデータに限定した感情時空間情報、などが挙げられる。

さらに、前述の感情変化情報生成部１３９が生成する経時的変化の情報によるフィルタリング指定を行っても構わない。たとえば、単位時間あたりの感情強度の差分量（微分値）が所定の値以上であったデータに限定した感情時空間情報や、逆に感情に変化がない状態の継続時間長が所定の長さ以上であったデータを除いた感情時空間情報を得られるようにフィルタリング指定を行ってもよい。これにより、ユーザーは、大きな感情変化を起こす突発的なイベント（たとえば、電車の遅延や事故発生の影響等により混雑率が平常よりも大きくなった電車の到着とユーザーの一斉降車等）の発生を感情時空間情報から推測・判断したり、逆にそのような突発的なイベントの影響をノイズ要因として除いた安定性の高い感情時空間情報を得たりすることができる。

感情情報管理サーバ１００は、前記フィルタリング指定の情報を含むデータ要求メッセージを端末装置３００から受信すると、フィルタリング指定がたとえば時刻情報による場合は感情時空間情報管理部１３３が、位置情報による場合は位置情報管理部１３６が、感情情報による場合は感情情報管理部１３７が、ユーザーＩＤ情報による場合は人物同一性情報管理部１３８が、記憶部１２０の感情時空間情報ＤＢ１２１等からフィルタリング指定の条件に適合した感情時空間情報の部分的なデータを抽出し、該端末装置３００へ送信する。また、フィルタリング指定が経時的変化（感情情報の経時的変化、または、感情情報及び位置情報の経時的変化）の情報による場合は、感情変化情報生成部１３９がフィルタリング指定の条件に適合した感情時空間情報の部分的なデータを抽出しても構わない。

前記フィルタリング指定より、ユーザー９００は、前記感情時空間情報のデータを、所望の情報の含有率が多く不要な情報が削減されたより少ない通信データ量で、端末装置３００に受信できるようになる。

特に、時間情報によるフィルタリング指定は本情報通信システムの実運用を考慮しても重要である。多くの場合、建築物は時間経過に伴い部分的な改修工事が各所で発生する。駅でいえば、ホームや通路の位置が改修工事によって変わったり、構内店舗が入れ替わったりする。そのような場合、同じ位置であっても改修工事以前とはその場の環境条件が変わったり、場合によってはその位置自体が駅の構外に変わったりしてしまう。この場合、感情情報の質も変わってしまう可能性が高いため、ユーザーはたとえば改修工事以前と以後とで感情時空間情報を分けて得たいであろう。本情報通信システムは、時刻情報のデータを管理する仕組み（時刻情報管理部１３５や時間情報によるフィルタリング指定機能等）を有することにより、時間とともに必然的に生じる建築物や環境の変化にも対応できる感情時空間情報をユーザーに提供できる。

端末装置３００において、制御部３３０は、感情情報管理サーバ１００から通信部３１０を介して感情時空間情報の全部または一部を取得し、表示部３５０は、感情時空間情報の全部または一部を表示する。例えば、通信部３１０が、フィルタリング指定と情報の取得要求とを含むメッセージを感情情報管理サーバ１００からに送信した場合、制御部３３０は、感情情報管理サーバ１００からフィルタ済の感情時空間情報を取得し、フィルタ済の感情時空間情報を表示する。一例として、制御部３３０は、時刻情報の条件及び位置情報の条件の少なくともいずれか一方に基づいて感情時空間情報から部分的に抽出された情報を取得し、表示部３５０は、部分的に抽出された情報を表示する。

図７は、端末装置３００の表示部３５０に情報提示された表示画面の一例を説明するための説明図である。図７には、図１の拠点ｂＢＣ（たとえばサテライトオフィス）に対応する感情時空間情報の提示例が示されている。拠点ｂＢＣの時刻情報と位置情報に対応して感情情報が位置情報に応じて配置表示されており、当拠点の南側方面にネガティブな感情のユーザーが集まっており雰囲気が悪くなっていることが提示情報から伺える。

図８は、端末装置３００の表示部３５０に情報提示された表示画面の別の一例を説明するための説明図である。図８には、ある駅の構内空間の一部に対応する、フィルタリング指定のない感情時空間情報の提示例が示されている。図の中央上部に通路Ａ、中央下部に通路Ｂの空間射影図が示され、当該通路を通過したユーザーの感情情報が位置情報に応じて配置表示されている。通路Ａの方が通路Ｂよりもユーザー数（感情情報のデータ数）がやや多そうなことはわかるが、全体として感情情報の数が多すぎ、雰囲気の差はよくわからない。

なお、前記空間射影図を生成するために必要な建築物（たとえば駅）の空間構造データ（たとえば該建築物設定の際につくられた3D-CADデータ）は、感情情報管理サーバ１００の記憶部１２０に予め記憶されており、該空間構造データの一部が、感情情報管理サーバ１００から端末装置３００に送信されても構わない。また、該空間構造データのワールド座標と、端末装置３００から収集した該端末装置の位置のワールド座標の、互いの原点や軸方向が異なっていた場合、感情情報管理サーバ１００は複数の位置情報のワールド座標の原点や軸方向を合わせる位置情報データの変換処理を行ってもよい。

ただし、本発明の実施形態の実施にあたって、前記空間構造データが予め用意されていることは必須ではない。前記建築物を利用したユーザー９００群の過去の位置情報データを用いて、該建築物の空間構造データを感情情報管理サーバ１００が生成してもよい。該構建築物の構造物（壁や柱等）内に人間は存在できず、通常は該構造物を避けて移動するため、該構造物の内部空間にユーザー９００が位置するということはあり得ない。すると、これまで前記建築物を利用してきた過去の多数のユーザー９００群の位置情報を合わせると、ユーザー９００の位置情報が存在しない空間領域には該建築物の構造物が存在する可能性が高い（逆に、ユーザー９００の位置情報が存在した空間領域は、該構造物が存在しない空間である可能性が高い）。このように、前記ユーザー９００群の位置情報が多数あれば、その存在の有無のデータを用いて該建築物の構造（どこに該構造物が存在するかの空間分布）を当情報管理システム内で新たに生成することができる。

また、前述した感情時空間情報ＤＢ１２１には、駅の改修箇所や時期などの情報を含む「環境変化情報」が併せて記憶されていてもよい。前記環境変化情報は、図９のように、端末装置３００の表示部３５０に情報提示されてもよい。

図１０は、端末装置３００の表示部３５０に情報提示された表示画面のさらに別の一例を説明するための説明図である。図１０には、図８と同じ駅構内空間に対応する、第１の時刻情報によるフィルタリング指定がなされた感情時空間情報の提示例が示されている。ここでは、第１の時刻情報によるフィルタリング指定によって、通勤時間帯を想定した平日午前７時～９時の間の感情時空間情報の例が示されている。通路Ａと通路Ｂではユーザー数に大きな差はないが、この時間帯は全体的にネガティブな感情のユーザーが多いことが伺える。

図１１は、端末装置３００の表示部３５０に情報提示された表示画面のさらに別の一例を説明するための説明図である。図１１には、図８と同じ駅構内空間に対応する、第２の時刻情報によるフィルタリング指定がなされた感情時空間情報の提示例が示されている。

ここでは、第２の時刻情報によるフィルタリング指定によって、平日昼過ぎの１４時～１５時の間の感情時空間情報の例が示されている。通路Ｂよりも通路Ａの方がユーザー数が多く、ポジティブな感情のユーザーが多いことが見てとれる。もしかしたら、この時間帯には通路Ａの方にのみ何か特別なイベントや展示が開かれているのかもしれない。ユーザーは本提示情報を見て、平日昼過ぎに当駅を利用するのであれば通路Ａの方を利用した方が良い雰囲気のなか移動ができるかもしれない、と判断を行うことができる。以上の図８から図１１の例示により、本発明の実施形態に係るフィルタリング指定機能を利用することによって、遠隔地の全体的な感情分布状況や雰囲気をより詳細に把握できる可能性を示した。

続いて、図１２及び図１３を参照して、本実施形態に係る情報処理動作の例を説明する。図１２及び図１３は、本実施形態に係る情報通信システムの動作シーケンスの一例を示す説明図である。図１２は、システムのユーザー９００からの計測データの収集と感情時空間情報の生成処理を説明し、図１３は、システムのユーザー９００への感情時空間情報の提示処理を説明している。

図１２に示したように、ステップＳ１１０１で、感情情報管理サーバ１００は、実世界やユーザー９００の行動や生理反応等の計測データの収集処理を開始する。

ステップＳ１１０３で、感情情報管理サーバ１００は構内カメラ２００へ、ステップＳ１１０５で、感情情報管理サーバ１００は端末装置３００へ、データ要求メッセージを送信する。なお、データ要求メッセージの送信タイミングは限定されない。

たとえば、感情情報管理サーバ１００は、端末装置３００が駅構内に入ったことが検知された場合、端末装置３００へ、データ要求メッセージを送信してもよい。たとえば、端末装置３００が駅構内に入ったことは、ユーザーが駅の改札口を通るときや、駅の店舗での買い物をするときに該ユーザーの端末装置３００に含まれるＩＣチップを利用する場合には、該ＩＣチップが読み取られたことによって検知されてもよいし、駅に設置されている通信基地局に端末装置３００が無線接続されたことによって検知されてもよい。さらに、前記買い物や改札口の通過は、前記ＩＣチップの使用に限定されず、端末装置３００で駅構内に存在するバーコードや二次元コードを読み取ることにより実施されてもよい。なお、感情情報管理サーバ１００は、端末装置３００が構内に入ったことが検知される前から、端末装置３００へ、データ要求メッセージを送信してもよい。

また、たとえば、感情情報管理サーバ１００は、構内カメラ２００からのデータに基づいて人（または人の感情）が検知された場合、構内カメラ２００へ、データ要求メッセージを送信してもよい。感情情報管理サーバ１００は、構内カメラ２００からのデータに基づいて人（または人の感情）が検知されなくなった場合、構内カメラ２００へ、データ要求メッセージの送信を停止してもよい。

ステップＳ１１０７で、構内カメラ２００は、ステップＳ１１０９で、端末装置３００は、前記ユーザー９００の行動や生理反応等の計測データの取得を行う。

ステップＳ１１１１で、構内カメラ２００は、ステップＳ１１１３で、端末装置３００は、感情情報管理サーバ１００へ前記ユーザー９００の行動や生理反応等の計測データを送信する。

ステップＳ１１１５で、感情情報管理サーバ１００は、構内カメラ２００や端末装置３００から受信したユーザー９００の行動や生理反応等の計測データを受信し、感情時空間情報管理部１３３の処理により該計測データから感情時空間情報のデータを生成する。

また、ステップＳ１１１７で、ユーザー９００は端末装置３００を使用して、ある実空間に対応する感情時空間情報を要求する入力を行う。

ステップＳ１１１９で、端末装置３００は、感情時空間情報のデータ要求メッセージを生成し、感情情報管理サーバ１００へ送信する。前記データ要求メッセージには、前記時刻、位置、感情、またはユーザーＩＤの情報によるフィルタリング指定に係る情報のデータが含まれていてもよい。

ステップＳ１１２１で、感情情報管理サーバ１００は、端末装置３００から受信した感情時空間情報のデータ要求メッセージを受信し、もし前記フィルタリング指定に係る情報のデータが含まれていた場合は、該フィルタリング指定の条件に適合した感情時空間情報の部分的なデータを抽出する処理を行う。

ステップＳ１１２３で、感情情報管理サーバ１００は、端末装置３００へ感情時空間情報のデータを送信する。

ステップＳ１１２５で、端末装置３００は、感情情報管理サーバ１００から感情時空間情報のデータを受信し、表示部３５０からユーザー９００へ情報提示する。

なお、ステップＳ１１１９からＳ１１２５で示したような、感情情報管理サーバ１００から端末装置３００への感情時空間情報のデータの送信は必ずしもユーザー９００の操作入力を契機として発生する必要はなく、感情情報管理サーバ１００と通信可能な状態にある端末装置３００へ感情情報管理サーバ１００からプッシュ型で感情時空間情報のデータを配信してもよい。

（２．第２の実施形態）
次に、本発明の第２の実施形態に係る情報通信システムについて説明する。

本発明の第２の実施形態では、感情情報管理サーバ１００が、制御部１３０に確度情報生成部１４０をさらに含む（図１４）。確度情報生成部１４０は、感情時空間情報管理部１３３が生成する感情時空間情報の確度情報を生成する。確度情報とは、情報の確からしさに対応する情報であり、たとえば情報のデータ数と関連する。より具体的に、確度情報生成部１４０は、単位空間あたりの感情時空間情報のデータ数に基づいて、該単位空間における感情情報の代表値の確度情報を生成してもよい。

感情時空間情報が端末装置３００の表示部３５０上で情報提示される際、表示スペースの関係から、感情時空間情報は必ずしも個々の単位ですべて表示されなくてもよく、互いに近い位置情報である（すなわち、単位空間に存在する）複数の感情情報の代表値（平均値、中央値、最頻値等）が表示されても良い。その際に、確度情報生成部１４０は、前記代表値の基になった感情時空間情報のデータ数を確度情報として算出し、端末装置３００において、制御部３３０は、前記代表値と前記確度情報とを対応づけ、表示部３５０は、対応づけられた前記代表値と前記確度情報とを情報提示してもよい。

図１５は、端末装置３００の表示部３５０に情報提示された表示画面の一例を説明するための説明図である。図１５には、ある駅の構内空間の一部に対応する、代表値を用いない個々の感情時空間情報の提示例が示されている。

通路Ａの感情情報のデータ数は５、通路Ｂの感情情報のデータ数は１である。一方、図１６は、端末装置３００の表示部３５０に情報提示された表示画面の別の一例を説明するための説明図である。図１６には、図１５と同じ駅構内空間に対応する、代表値を用いた個々の感情時空間情報の提示例が示されている。

通路Ａに対応して提示されている感情時空間情報の数は代表値の１つにまとめられ、その近傍に感情時空間情報のデータ数である「５」が提示されている。一方、通路Ｂに対応して提示されている感情時空間情報にはその近傍にデータ数の「１」が提示されている（１つの感情時空間情報がそのまま代表値になっている）。

通路Ａと通路Ｂの感情時空間情報の代表値は同じポジティブ感情と強度を示す表示を行っているが、通路Ａの感情時空間情報の代表値の方が多くのデータ数に基づき算出されていることから、確からしさは高いといえる（データ数が多くなるほど確からしさが上がる）。一方で、通路Ｂの感情時空間情報の代表値は１つであるため、該感情時空間情報に対応する１人のユーザーが偶然にその感情を示しただけかもしれず、感情喚起の個人差も考慮すると、通路Ａの感情時空間情報の代表値と比較しても確からしさは低い。

図１６の場合、通路Ａと通路Ｂの感情時空間情報の代表値と確度情報を端末装置３００から提示されたユーザーは、通路Ａを選んで行った方が、より確実に感情時空間情報と同様のポジティブ感情の雰囲気を感じられる可能性が高い。なお、図１６では、感情時空間情報を通路単位でまとめる例が示されている。しかし、感情時空間情報をまとめる単位は、通路単位に限定されない。たとえば、感情時空間情報をまとめる単位は、他のエリア単位であってもよい。

このように、確度情報生成部１４０が生成する確度情報を得られることで、ユーザー９００は、感情時空間情報の代表値を表示する情報提示モードであっても、遠隔地の全体的な感情分布状況や雰囲気をより高い確からしさで知ることができる。なお、ここでは確度情報の指標例としてデータ数を挙げたが、それに限定されず、前記複数の感情時空間情報のデータ特性をあらわす基本統計量（たとえば範囲（たとえば最大値と最小値との差分）、標準偏差、尖度、歪度等）を確度情報の別の指標としてさらに算出し、情報提示してもよい。さらに、感情情報管理サーバ１００は、前述のフィルタリング指定処理を前記確度情報により行っても構わない。

本発明の実施形態においては、端末装置３００の表示部３５０に情報提示される前記空間射影図の表示範囲を変更する拡大・縮小表示処理を、端末装置３００が行ってもよい。さらに、前記拡大・縮小表示処理に応じて、前記感情時空間情報の代表値や確度情報の基とする前記個々の感情時空間情報の選択対象を変更してもよい。前記縮小表示処理の縮小度を大きくしていくと、表示部３５０に情報提示される前記ユーザーの感情情報の数も増えていき、端末装置３００の表示部３５０のハードウェアの表示解像度（表示画素の素子数）は有限であるので、該ユーザーの感情情報の表示画素数や表示サイズも小さくなっていき、前記端末装置３００のユーザーから表示される感情情報が視認しにくくなる。

そこで、本発明の実施形態に係るシステム（端末装置３００や感情情報管理サーバ１００）は、前記縮小表示処理の縮小度の大きさに応じて、前記代表値を算出する際に基にする前記個々の感情時空間情報が存在する対象空間範囲を変更してもよい。たとえば、前記空間射影図を解像度２分の１の表示サイズに縮小表示処理した場合には、前記代表値の基にする前記感情時空間情報の対象空間範囲も２倍の広さとしてもよい。すなわち、２倍の広さの領域内に存在する前記感情時空間情報の代表値や確度情報を求め、表示部３５０に情報提示させてもよい。

（３．まとめ）
以上のように、本発明の実施形態によれば、ユーザーが端末装置を用いて、遠隔地（オフィスや駅構内等）の全体的な感情分布状況や雰囲気を知ることができる。さらに、時刻情報等によるフィルタリング指定機能を用いて、前記感情分布状況や雰囲気の情報を、所望の情報の含有率が多く不要な情報が削減されたより少ない通信データ量で得ることができる。また、本発明の実施形態は、感情情報と個人情報とを紐づけることなく動作可能であるため、駅など不特定多数のユーザーが利用する公共空間においても、個人情報の安全管理のためのコストをかけずに実施できる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 感情情報管理サーバ
１１０ 通信部
１２０ 記憶部
１２１ 感情時空間情報ＤＢ
１３０ 制御部
１３１ 感情推定部
１３３ 感情時空間情報管理部
１３５ 時刻情報管理部
１３６ 位置情報管理部
１３７ 感情情報管理部
１３８ 人物同一性情報管理部
１３９ 感情変化情報生成部
１４０ 確度情報生成部
２００ 構内カメラ
２１０ 通信部
２２０ 計測部
２３０ 制御部
３００ 端末装置
３１０ 通信部
３２０ 記憶部
３３０ 制御部
３４０ 入力部
３５０ 表示部
３６０ センサ部
３７０ 位置情報取得部

Claims (8)

1. ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記計測データが得られた時刻情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を生成し、感情情報の条件及び時刻情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を生成する感情時空間情報管理部と、
   前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった情報のデータ数を、前記代表値の確度情報として生成する確度情報生成部と、
   を備える、感情情報管理サーバ装置。
2. ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を生成し、感情情報の条件及び位置情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を生成する感情時空間情報管理部と、
   前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった情報のデータ数を、前記代表値の確度情報として生成する確度情報生成部と、
   を備える、感情情報管理サーバ装置。
3. 前記感情時空間情報管理部は、
   同じユーザーが識別された計測データ同士に対して、同じユーザーＩＤを付与することにより、同じユーザー同士を紐づける処理である人物追跡処理を実行し、前記計測データと前記感情推定モデルとに基づいて推定された前記感情情報に対して、前記ユーザーＩＤをさらに関連付けた前記感情時空間情報を生成し、
   前記人物追跡処理が成功した時間の長さに基づいて、前記感情時空間情報から前記部分的に抽出された情報を生成する、
   請求項１または２に記載の感情情報管理サーバ装置。
4. 前記確度情報の生成に用いられる前記代表値の基になった情報は、前記確度情報が表示される端末装置による空間射影図の表示範囲に基づいて選択される、
   請求項１～３のいずれか一項に記載の感情情報管理サーバ装置。
5. 前記位置情報は、カメラパラメータの情報とカメラからの取得データとに基づいて算出される、
   請求項２に記載の感情情報管理サーバ装置。
6. ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記計測データが得られた時刻情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を感情情報管理サーバ装置が生成することと、
   感情情報の条件及び時刻情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を、前記感情情報管理サーバ装置が生成することと、
   前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった情報のデータ数を、前記代表値の確度情報として前記感情情報管理サーバ装置が生成することと、
   を含む、感情情報管理方法。
7. コンピュータを、
   ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記計測データが得られた時刻情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を生成し、感情情報の条件及び時刻情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を生成する感情時空間情報管理部と、
   前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった情報のデータ数を、前記代表値の確度情報として生成する確度情報生成部と、
   を備える、
   感情情報管理サーバ装置として機能させるためのプログラム。
8. ユーザーの行動または生体反応の計測データと感情推定モデルとに基づいて推定された感情情報と、前記計測データが得られた時刻情報と、前記ユーザーの位置情報と、を関連づけた感情時空間情報を生成し、感情情報の条件及び時刻情報の条件の少なくともいずれか一方に基づいて、前記感情時空間情報から部分的に抽出された情報を生成する感情時空間情報管理部と、
   前記部分的に抽出された情報のうち、互いに近い位置情報に対応する複数の感情情報の代表値の基になった感情時空間情報のデータ数を、前記代表値の確度情報として生成する確度情報生成部と、
   を備える、
   感情情報管理サーバ装置と、
   前記感情情報管理サーバ装置から前記代表値と前記確度情報とを取得する制御部と、
   前記代表値と前記確度情報とを表示する表示部と、
   を備える、端末装置と、
   を有する、情報通信システム。

Images