JP6930277B2

JP6930277B2 - 提示装置、提示方法、通信制御装置、通信制御方法及び通信制御システム

Info

Publication number: JP6930277B2
Application number: JP2017153859A
Authority: JP
Inventors: 伸一深澤
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2017-08-09
Filing date: 2017-08-09
Publication date: 2021-09-01
Anticipated expiration: 2037-08-09
Also published as: JP2019030557A

Description

本発明は、提示装置、提示方法、通信制御装置、通信制御方法及び通信制御システムに関する。

近年、ＩｏＴ（Internet of Things）デバイスとそれに搭載されたセンサ群、そしてＡＩ（Artificial Intelligence）技術の社会的普及に伴い、センサデータから実世界の対象物の状態や状況を推定し、推定した情報（以下「推定内容情報」）をユーザーへ提供する技術やシステムが注目されている。たとえばその一分野として、情報通信システムを利用中のユーザーの感情を推定し情報伝達支援するシステムがある。

しかしながら、実世界の状態をセンサデータから誤りのない１００％の精度（正解率）で推定することは原理的に難しく、誤った分類結果を算出してしまう誤推定が多少の確率で生じてしまうことは避け難い。誤推定されて実世界の実態とは異なった推定内容情報を提供された推定システムのユーザーは誤推定された情報に基づいて判断や行動を行うことで望ましくない行動結果を得ることになるであろう。また、そのような事象が繰り返されると該ユーザーは推定システムにより提供される推定内容情報自体を信頼できなくなって、最終的には該推定内容情報を利用しなくなってしまう。すなわち、推定内容情報がどれだけ「確からしいか」という推定精度（認識率）に関する情報（以下「推定精度情報」）は、推定内容情報の利用を検討するユーザーにとって重要な情報であるにもかかわらず、従来多くの場合において推定精度情報は推定システムの開発上の機密情報とされ、推定システムの開発者や管理者が知ることはあっても、該推定システムのユーザーは知り得ないことがほとんどであった。

推定精度がたとえば９９％であるのか５１％であるのかによってユーザーの判断や行動は変わり、後者のような低い精度値であればユーザーは推定内容情報への信頼度を下げ誤推定のリスクを考慮しながら行動することで、たとえ誤推定であってもそれによる行動結果の損害を抑止できるであろう。

特許文献１には、公共的な道路交通情報通信システムから所要時間や渋滞に関する情報を取得し、現在地から目的地までの推奨経路、目的地までの推定所要時間、目的地への到着予測時刻とともにその推定所要時間の推定誤差をディスプレイに表示し、利用者（乗用車の運転者）が推定誤差から推定所要時間に対する信頼度を得ることができる車両用のナビゲーション装置が提案されている。

特開２００４−６９６０９号公報

特許文献１では、ユーザーは運転者の原則１名であり、ユーザーの行動をセンシングしたり、センシングされたユーザーの行動データに基づいて他のユーザーとの間で情報通信を行ったりするような制御機能に関する説明は記載されていない。

そこで本発明は、複数名のユーザーが同時に利用するコミュニケーションシステムにおいて、あるユーザーが別のユーザーの感情の推定内容情報の確からしさを加味することによって、通信相手の感情を含む状態や状況をより正確に認知しやすくする技術を提供することを目的とする。

上記問題を解決するために、本発明のある観点によれば、第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて生成された推定内容情報を取得するとともに、前記感情推定の精度情報を推定精度情報として取得する制御部を備え、前記制御部は、前記推定内容情報および前記推定精度情報の前記第１のユーザーへの提示を制御する、提示装置が提供される。
前記センサデータの取得は、前記通信要求が入力されたことに基づいて、前記第２の通信用の識別情報に対応するセンサ端末によって開始されてもよい。

前記制御部は、前記第２のユーザーに関するコンテンツデータを取得し、前記コンテンツデータの前記第１のユーザーへの提示を制御してもよい。

前記制御部は、前記推定内容情報および前記推定精度情報と前記コンテンツデータとが近傍位置に提示されるように制御してもよい。

前記制御部は、前記推定内容情報および前記推定精度情報それぞれの履歴情報を取得し、前記履歴情報の前記第１のユーザーへの提示を制御してもよい。

また、本発明の他の観点によれば、第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて生成された推定内容情報を取得するとともに、前記感情推定の精度情報を推定精度情報として取得することと、前記推定内容情報および前記推定精度情報の前記第１のユーザーへの提示を制御することと、を含む、提示方法が提供される。

また、本発明の他の観点によれば、第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて推定内容情報を生成する感情推定部と、前記感情推定の精度情報を推定精度情報として生成する推定精度情報生成部と、前記推定内容情報および前記推定精度情報の前記第１の通信用の識別情報に対応する提示装置への送信を制御する通信制御部と、を備える、通信制御装置が提供される。
前記センサデータの取得は、前記通信要求が入力されたことに基づいて、前記第２の通信用の識別情報に対応するセンサ端末によって開始されてもよい。
前記制御部は、前記第１のユーザーから前記通信要求が入力された場合に、前記第２のユーザーのセンサデータから感情推定に基づいて生成された推定内容情報を取得するとともに、前記感情推定の精度情報を推定精度情報として取得し、前記制御部は、前記推定内容情報および前記推定精度情報の前記第２の通信用の識別情報に対応する提示装置への送信を制御してもよい。
前記制御部は、前記第１のユーザーのセンサデータから生成された推定内容情報と、前記第２のユーザーのセンサデータから生成された推定内容情報とを含んだ、複数のユーザーに対応する推定内容情報を取得してもよい。

前記通信制御部は、前記第２のユーザーに関するコンテンツデータの前記第１の通信用の識別情報に対応する提示装置への送信を制御してもよい。

前記通信制御部は、前記推定内容情報および前記推定精度情報それぞれの履歴情報の前記第１の通信用の識別情報に対応する提示装置への送信を制御してもよい。

前記推定精度情報生成部は、特徴空間における前記センサデータと前記感情推定のモデルにおける識別面データとの間の距離に基づいて、前記推定精度情報を生成してもよい。

また、本発明の他の観点によれば、第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて推定内容情報を生成することと、前記感情推定の精度情報を推定精度情報として生成することと、前記推定内容情報および前記推定精度情報の前記第１のユーザーに紐づけられた提示装置への送信を制御することと、を含む、通信制御方法が提供される。

また、本発明の他の観点によれば、第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて推定内容情報を生成する感情推定部と、前記感情推定の精度情報を推定精度情報として生成する推定精度情報生成部と、前記推定内容情報および前記推定精度情報の前記第１のユーザーに紐づけられた提示装置への送信を制御する通信制御部と、を備える、通信制御装置と、前記推定内容情報を取得するとともに、前記推定精度情報を取得するデータ取得部と、前記推定内容情報および前記推定精度情報の第１のユーザーへの提示を制御する提示制御部と、を備える、提示装置と、を有する、通信制御システムが提供される。

以上説明したように本発明によれば、複数名のユーザーが同時に利用するコミュニケーションシステムにおいて、あるユーザーが別のユーザーの感情の推定内容情報の確からしさを加味することによって、通信相手の感情を含む状態や状況をより正確に認知しやすくなる。その結果として、当該あるユーザーと別のユーザーとがより適切な遠隔コミュニケーションの通信を行うことが可能になる。

本実施形態に係るコミュニケーションシステムの概略的な構成の一例を示す説明図である。同実施形態に係る感情推定サーバ、センサ端末、コミュニケーション端末のハードウェア構成の一例を示すブロック図である。同実施形態に係るセンサ端末の機能構成の一例を示すブロック図である。同実施形態に係る感情推定サーバの機能構成の一例を示すブロック図である。複数ユーザー感情推定情報通信制御部によって紐づけ処理され記憶部に記憶されるデータテーブルの一例を説明するための説明図である。識別面距離利用法における指標の距離を説明するための説明図である。同実施形態に係るコミュニケーション端末の機能構成の一例を示すブロック図である。コミュニケーション端末の提示部によって提示された表示画面の一例を説明するための説明図である。同実施形態に係るコミュニケーションシステムの動作シーケンスの一例を示す説明図である。本願発明者によって実施されたユーザー評価実験の結果例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

まず、図１を参照して、本発明の実施形態に係るコミュニケーションシステム（感情推定システム）の概略的な構成を説明する。図１は、本実施形態に係るコミュニケーションシステムの概略的な構成の一例を示す説明図である。図１を参照すると、当コミュニケーションシステムは、感情推定サーバ１００、複数のユーザー９００、複数のセンサ端末２００、複数のコミュニケーション端末３００（提示装置）、ＬＡＮ５０を含む。

当コミュニケーションシステムは遠隔地間の情報通信機能を有するため、複数のユーザー９００は互いに空間的に離れて存在してもよく、図１では、拠点ｂＡにユーザー９００Ａ、センサ端末２００Ａ、コミュニケーション端末３００Ａ、拠点ｂＢＣに、ユーザー９００Ｂおよび９００Ｃ、センサ端末２００Ｂ、２００Ｃおよび２００Ｚ、コミュニケーション端末３００Ｂおよび３００Ｃが存在するケースを一例として図示している。ユーザー９００Ａ、９００Ｂおよび９００Ｃは、互いに遠隔協働（テレワーク）を行っており、拠点ｂＡと拠点ｂＢＣはリモートオフィスの関係であってもよい。

なお、センサ端末２００Ａとコミュニケーション端末３００Ａはユーザー９００Ａの個別使用端末であってもよい。その場合、ユーザー９００Ａとセンサ端末２００Ａとコミュニケーション端末３００Ａとは、それぞれと対応づけられた通信用の識別情報（以下「通信用ＩＤ」；たとえば電話番号やＩＰ（Internet Protocol）アドレス）のデータ同士を相互に紐づける設定処理を予め行われ、該設定のデータは感情推定サーバ１００に記憶されていてもよい（ユーザー９００Ｂ、９００Ｃの場合も同様）。

図２は、本実施形態に係る感情推定サーバ１００、センサ端末２００、コミュニケーション端末３００（以下、感情推定サーバ１００、センサ端末２００及びコミュニケーション端末３００それぞれを区別せずに「本実施形態に係る装置」と言う場合がある。）のハードウェア構成の一例を示すブロック図である。なお、上記の各装置のすべてに下記のハードウェア構成のすべてが備えられている必要はなく（たとえば感情推定サーバ１００に直接的にセンサが備えられている必要はない）、後述する各装置の機能構成を実現できるハードウェアモジュールが適宜限定して備えられてもよい。

図２を参照すると、本実施形態に係る装置は、バス８０１、ＣＰＵ（Central Processing Unit）８０３、ＲＯＭ（Read Only Memory）８０５、ＲＡＭ（Random Access Memory）８０７、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７、スピーカ８１９を備える。

ＣＰＵ８０３は、本実施形態に係る装置における様々な処理を実行する。また、ＲＯＭ８０５は、本実施形態に係る装置における処理をＣＰＵ８０３に実行させるためのプログラム及びデータを記憶する。また、ＲＡＭ８０７は、ＣＰＵ８０３の処理の実行時に、プログラム及びデータを一時的に記憶する。

バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を相互に接続する。バス８０１には、さらに、記憶装置８０９、通信インタフェース８１１、センサ８１３、入力装置８１５、表示装置８１７及びスピーカ８１９が接続される。バス８０１は、例えば、複数の種類のバスを含む。一例として、バス８０１は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７を接続する高速バスと、該高速バスよりも低速の１つ以上の別のバスを含む。

記憶装置８０９は、本実施形態に係る装置内で一時的または恒久的に保存すべきデータを記憶する。記憶装置８０９は、例えば、ハードディスク（Hard Disk）等の磁気記憶装置であってもよく、または、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read
Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）及びＰＲＡＭ（Phase change Random Access Memory）等の不揮発性メモリ（nonvolatile memory）であってもよい。

通信インタフェース８１１は、本実施形態に係る装置が備える通信手段であり、ネットワークを介して（あるいは直接的に）外部装置と通信する。通信インタフェース８１１は、無線通信用のインタフェースであってもよく、この場合に、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信インタフェース８１１は、有線通信用のインタフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

センサ８１３は、たとえばカメラ、マイクロフォン、生体センサ、その他のセンサまたはそれらの複合である。カメラは、被写体を撮像するもので、例えば光学系、撮像素子及び画像処理回路を含む。マイクロフォンは、周囲の音を収音するもので、該音を電気信号へ変換し該電気信号をデジタルデータに変換する。入力装置８１５は、タッチパネル、マウス、視線検出装置等である。

表示装置８１７は、本実施形態に係る装置からの出力画像（すなわち表示画面）を表示するもので、例えば液晶、有機ＥＬ（Organic Light-Emitting Diode）、ＣＲＴ（Cathode Ray Tube）等を用いて実現され得る。スピーカ８１９は、音声を出力するもので、デジタルデータを電気信号に変換し該電気信号を音声に変換する。

次に、図３を参照して、本実施形態に係る「センサ端末２００」の機能構成の一例を説明する。センサ端末２００は、外界を計測して後述するコミュニケーションメディアデータ（コンテンツデータ）を生成する機能を有する。また、センサ端末２００は、ユーザー９００の行動や生理反応を外的に計測して取得したデータを後述する感情推定サーバ１００へ送信する。

図３は、本実施形態に係るセンサ端末２００の機能構成の一例を示すブロック図である。図３を参照すると、センサ端末２００は、通信部２１０、計測部２２０及び制御部２３０を備える。なお、図３には図示していないが、センサ端末２００は、計測データを保存するための記憶部や、内部動作状況をユーザーに示すための表示部等をさらに備えていてもよい。

通信部２１０は、他の装置と通信する。たとえば、通信部２１０は、ＬＡＮ５０に直接的に接続され、感情推定サーバ１００と通信する。また、通信部２１０は、他のセンサ端末２００と通信してもよい。なお、通信部２１０は、通信インタフェース８１１により実装され得る。

計測部２２０は、外界を計測して後述するコミュニケーションメディアデータを生成したり、ユーザー９００の行動や生理反応を外的に計測してデータを取得したりする。前記行動や生体反応のデータは、たとえば、カメラにより計測される顔表情や身体姿勢の状態内容を含む画像データ、マイクロフォンにより計測される音声データ、加速度センサにより計測される身体動作の加速度データ、キーボード・マウス・タッチパネル等の入力装置により計測される機器操作データ、各種生体センサにより計測される自律神経系活動（心拍活動、皮膚電気活動、血圧、発汗、呼吸、皮膚・深部体温等）のデータ、中枢神経系活動（脳波、脳血流等）のデータ、視線計測装置により計測される視線運動・瞳孔径・瞬目数等のデータ、唾液または血中の免疫成分のデータ等を含む。

なお、計測部２２０は、センサ８１３により実装され得る。センサ端末２００のセンサ８１３は、ユーザーへの非接触式でも接触式でもよい。センサ端末２００のセンサが接触式の場合、たとえばセンサ端末２００は腕時計等の形状をしたウェアラブル端末であっても構わない。あるいは、センサ端末２００は、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）であっても構わない。ＨＭＤのタイプは、ゴーグル型であっても構わないし、グラス型であっても構わない。また、センサ端末２００は、カメラ、マイクロフォン、加速度センサ、通信部等を備えたスマートフォンやタブレット端末であっても構わない。

なお、センサ端末２００は、図１の２００Ａ〜Ｃのように１名のユーザー９００に対応して１台存在してもよいし、協働空間における環境埋め込み型のセンサを想定して図１の２００Ｚのように１台のセンサ端末２００が複数のユーザー９００のセンサデータを取得しても構わない。その場合、センサ端末２００は複数のユーザー９００それぞれについてセンサデータと計測対象人物の識別データとの１対１対応の紐づけ処理を行って、センサデータと計測対象人物の識別データとの各組み合わせを記憶または送信する。前記計測対象人物の識別データは、どのようにして得られてもよく、一例として、カメラによる撮像画像から顔認識によって特定される人物の識別データであってもよい。

制御部２３０は、センサ端末２００の様々な機能を提供する。センサ端末２００は、計測だけでなく、前処理、特徴抽出処理、推定を含むデータ分析処理までを実施してもよく、その場合の各種演算処理を制御部２３０が行ってもよい。なお、制御部２３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

次に、図４を参照して、本実施形態に係る「感情推定サーバ１００」の機能構成の一例を説明する。図４は、本実施形態に係る感情推定サーバ１００の機能構成の一例を示すブロック図である。図４を参照すると、感情推定サーバ１００は、通信部１１０、記憶部１２０及び制御部１３０を備える。

通信部１１０は、他の装置と通信する。たとえば、通信部１１０は、ＬＡＮ５０に直接的に接続され、センサ端末２００やコミュニケーション端末３００と通信する。なお、通信部１１０は、通信インタフェース８１１により実装され得る。

記憶部１２０は、感情推定サーバ１００の動作のためのプログラム及びデータを記憶する。該データには、センサデータからユーザーの感情を推定処理するための感情推定モデルのデータが含まれる。該感情推定モデルは、予め取得されたセンサデータと、該センサデータ取得時のユーザーの感情の正解情報のデータとを紐づけて学習処理し生成される。前記感情正解情報は、学習処理フェーズにおいてユーザーから質問紙法等により計測されても構わない。また、感情推定モデルはユーザー９００の各個人毎、所定期間毎、ユーザー９００の行動種別毎等でデータを分類および分割しそれぞれ学習処理させることで生成され、条件に応じた複数の感情推定モデルが存在しても構わない。なお、センサデータからユーザーの個人感情を推定する方法は公知（たとえば特開２０１２−５９１０７号公報）であるため、本稿ではこれ以上の説明は省略する。なお、記憶部１２０は、記憶装置８０９により実装され得る。

制御部１３０は、感情推定サーバ１００の様々な機能を提供する。制御部１３０は、感情推定部１３１、複数ユーザー感情推定情報通信制御部１３３（通信制御部）、推定精度情報生成部１３５及びコミュニケーションメディアデータ管理部１３７を含む。なお、制御部１３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

感情推定部１３１は、ユーザー９００からセンサ端末２００及び通信部１１０を介して取得した行動や生体反応の計測データ（センサデータ）に基づいて、ユーザー９００毎の個人感情の推定モデルデータおよびそれにより推定（分類）された感情推定データ（推定内容情報）を生成する。また、感情推定部１３１は、該生成した推定モデルデータと感情推定データを記憶部１２０に記憶させる機能を有する。

ここで、個人感情とその推定方法について説明を補足する。個人感情は、一例として「人が心的過程の中で行うさまざまな情報処理のうちで、人、物、出来事、環境についてする評価的な反応」（Ｏｒｔｏｎｙｅｔａｌ．，１９８８；大平，２０１０）と定義される。感情の具体的な種類としては、心理学者ＰａｕｌＥｋｍａｎによる表情に対応する基本感情ベースの離散型モデル上での幸福、驚き、恐れ、怒り、嫌悪、悲しみや、心理学者ＪａｍｅｓＡ．Ｒｕｓｓｅｌｌによる快度及び覚醒度の感情次元ベースの連続型モデルにおける喜怒哀楽の象限などが知られている。他の連続型モデルとしては、Ｗａｔｓｏｎによるポジティブまたはネガティブ感情、Ｗｕｎｄｔによる３軸モデル（快度、興奮度、緊張度）、Ｐｌｕｔｃｈｉｋによる４軸のモデルなどもある。その他、応用的・複合的な感情としては、困惑度、関心度、メンタルストレス、集中度、疲労感、多忙度、創造性、リラックス／緊張度、モチベーション、共感度、信頼度などが挙げられる。さらに、業務活動において集団の雰囲気として体感されるイキイキ感なども高次な感情の一種といえる。本発明の実施形態における感情の定義の有効範囲は、前述の基本感情よりも広く、ユーザーのあらゆる内部「状態」やユーザーの周囲環境や文脈等の影響も加味した「状況」も含むものである。

ある人物がどのような感情とその程度にあるかは、たとえば質問紙法を用いることで、該人物の文字、文章、記号による言語的報告によって求めることができる。該質問紙としては“ＡｆｆｅｃｔＧｒｉｄ”などがよく知られている。しかしながら、質問紙を用いた計測方法では回答作業が必要になるため、業務など何か別の作業を行っている日常生活においては計測それ自体が本来の目的作業に支障を及ぼしてしまう可能性がある。

そこで、本コミュニケーションシステムにおいて、感情推定部１３１は、前述のセンサ端末２００により計測される行動や生体反応のデータに基づいて（質問紙法等で求めた）感情を機械的に推定処理する。該推定処理を行うためには、予め学習処理によって生成された感情推定モデルのデータが必要となる。感情推定モデルは、たとえば、ある時点・状況における前記行動や生体反応のセンサデータと前記質問紙の回答データとを対応づけた訓練データの群から生成される。たとえば、オフィスに埋め込まれた無数のカメラやマイクロフォン、ウェアラブル活動量計から計測されたユーザーの顔表情、音声、心拍活動、皮膚電気活動等の行動・生体データと、該ユーザーの主観的感情を質問紙回答した正解データとが対応づけられて訓練データとされる。前記行動や生体反応のセンサデータは、センサからの計測値が変換された学習処理用の特徴量データであってもよい。

特徴量データは、顔の代表的特徴点の位置や各２点間を結ぶ直線の距離や成す角度であってもよい。あるいは、特徴量データは、音声の基本周波数、パワー、平均発話速度、一次ケプストラム係数の最高値と標準偏差であってもよい。あるいは、特徴量データは、心拍数や拍動間隔の平均値や標準偏差、心拍変動性であってもよい。あるいは、特徴量データは、皮膚コンダクタンス水準の平均値や標準偏差や増減低下率などであってもよい。これらの特徴量データはどのように使用されてもよく、ある時点における絶対値として使用されてもよいし、２時点間の相対的な変化率として使用されてもよい。

前記訓練データを用いた感情推定モデルの生成には、学習の手法として、たとえば既知のＳＶＭ（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ）や深層学習（ＤｅｅｐＬｅａｒｎｉｎｇ）法が用いられてもよいし、単純に回帰分析法が利用されてもよい。また、学習モデルはユーザー個人毎に生成されてもよいし、複数のユーザーの訓練データを用いて人間に共通的なモデルが生成されてもよい。感情推定部１３１は、得られた感情推定モデルのデータを用いることで、ある人物の行動・生体データから個人感情を推定できるようになる。

感情推定サーバ１００（たとえば、感情推定部１３１）は、上述の個人感情推定処理のための訓練データや感情の推定モデル自体を生成する機能を有していてもよい。あるいは、訓練データのための前述の特徴量データの生成は、感情推定サーバ１００ではなくセンサ端末２００の方で行い、センサ端末２００が、該特徴量データを感情推定サーバ１００へ送信するようにしてもよい。

複数ユーザー感情推定情報通信制御部１３３は、前述した感情推定部１３１により生成された感情の推定内容情報と、後述する推定精度情報生成部１３５により生成された感情の推定精度情報と、後述するコミュニケーションメディアデータ管理部１３７により管理されたコミュニケーションメディアデータとを、ユーザー９００毎の通信用ＩＤと紐づけ処理し記憶部１２０に記憶する。

また、複数ユーザー感情推定情報通信制御部１３３は、たとえばユーザー９００Ａからコミュニケーション端末３００Ａを利用して他のユーザー９００Ｂへの通信要求があった場合に、ユーザー９００Ｂの通信用ＩＤに紐づいた個人感情の推定内容情報と推定精度情報をユーザー９００Ａのコミュニケーション端末３００Ａへ、通信部１１０を介して送信する。逆に、ユーザー９００Ｂからコミュニケーション端末３００Ｂを利用してユーザー９００Ａへの通信要求があった場合には、ユーザー９００Ａの通信用ＩＤに紐づいた個人感情の推定内容情報と推定精度情報をユーザー９００Ｂのコミュニケーション端末３００Ｂへ、通信部１１０を介して提供する。

前記通信要求とは、一例として電話通話開始時の発呼通信動作である。なお、ユーザー９００Ａから他のユーザー９００Ｂへの前記通信要求は、電話通話開始時に限らない。本発明の実施形態に係るコミュニケーションシステムは、ユーザーが話したいと思い発呼操作した時に初めて通信動作を開始する従来の電話システムに限らず、分散協働環境で動画像や音声など後述するマルチメディアデータを複数拠点間で常時通信させ共有するような新しい電話システムであることも想定している。その場合、前述の通信要求は、必ずしもユーザー９００の操作入力を契機として発生する必要はなく、感情推定サーバ１００やコミュニケーション端末３００等に予め設定された所定の時間間隔で当システムに自動的に発生してもよいし、複数の他のユーザー９００へ同時に通信要求が出されてもよく、該通信要求に対応して推定内容情報と推定精度情報が応答的に提供される。

図５は、複数ユーザー感情推定情報通信制御部１３３によって紐づけ処理され記憶部１２０に記憶されるデータテーブルの一例を説明するための説明図である。図５のデータテーブルには、ユーザー９００のＩＤ（通信用ＩＤでもよい）、ユーザー９００Ａ、９００Ｂ、９００Ｃの感情推定モデルにおける推定内容情報、該推定内容情報に対応する推定精度情報、その他データ取得の期間やユーザーの行動種別など感情推定モデルへの影響因子に関する情報が記憶されている。このように紐づけ処理され記憶されたデータを用いて、複数ユーザー感情推定情報通信制御部１３３は、本コミュニケーションシステムにおけるユーザー９００間の情報通信制御動作を実現する。

推定精度情報生成部１３５は、前述のセンサデータからユーザーの感情を推定処理するための感情推定モデルのデータを使用して、推定精度情報を生成し、生成した推定精度情報を推定内容情報と紐づけて記憶部１２０に記憶し情報管理する。ここで、推定精度情報の生成方法について説明する。なお、本発明の実施形態においては、推定精度情報が、後に説明する推定精度値自体である場合を主に想定する。しかし、推定精度情報は、推定精度値に基づく情報（たとえば、推定精度値が属する範囲を示す情報など）であってもよい。推定精度値が属する範囲を示す情報も特に限定されず、「高」「中」「低」などであってもよい。

推定精度情報生成部１３５は、前述のように感情推定部１３１が生成し記憶部１２０に記憶させた推定モデルの推定の精度値を算出し、記憶部１２０に記憶してデータ管理する。前記推定モデルの精度値とは該推定の確からしさの度合いであって、たとえば、該推定モデルが未知データを正しいクラス（class）あるいは類（category）に分類する確率（正答率または認識率といってもよい）である。なお、推定される情報は離散値でなく連続値であってもよい。推定精度情報生成部１３５は、例として、精度値を下記（１）、（２）または（３）の演算方法（方式）で算出する。なお、以下の処理方法の説明で用いられる訓練データまたは未知データは、本コミュニケーションシステムによって予めまたは随時取得され、記憶部１２０へ記憶されている。

（１）決定係数演算法：この演算法は、訓練データを一括で利用し精度値を算出する方法であって、学習から推定モデルを生成する際に得られるパラメータである決定係数を精度値の算出の基準値とすることを特徴とする演算方法（方式）である。決定係数（coefficient of determination）は、独立変数（説明変数）が従属変数（被説明変数）をどれくらい説明できるかを表す値であり、寄与率と呼ばれることもある。たとえば、決定係数は、回帰分析により訓練データから求めた回帰方程式のあてはまりの良さ（予測精度）を示す尺度として利用される。上記では回帰分析における決定係数を利用する場合を一例として説明したが、たとえば判別分析であれば、決定係数の代わりに判別的中率が利用されてもよく、訓練データを一括で用い推定の確からしさを評価できる方法であればその内容は限定されない。回帰分析における決定係数や判別分析における判別的中率は公知の指標であるので、ここではこれ以上詳述しない。

（２）交差確認演算法：この演算法は、訓練データを分割して精度値を算出する方法であって、訓練データを推定モデル生成用のデータと該推定モデルの分類結果の精度値（認識率）を求めるための評価用データに分割することを特徴とする演算方法（方式）である。たとえば、訓練データを所定の比率で推定モデル生成用データと前記評価用データに二分割する分割学習法（Hold-Out法）や、訓練データを複数個のデータに分割しその内の１個を前記評価用データとし残りのデータを推定モデル生成用データとして（一つ抜き）その組合せをデータ分割個数分繰り返しその平均精度値（認識率）を求める交差確認法（Cross-Validation法）等が公知の方法として知られている。なお、訓練データを推定モデル生成用データと評価用データに複数個に分割して用い推定の確からしさ（汎化能力）を評価できる方法であれば上記の方法に限定されない。該演算法（２）は、演算法（１）よりもたとえば過学習による実際の推定精度の低下という課題に強い等の利点があるが、精度値演算処理量も増加するという欠点もある。

（３）識別面距離利用法：この演算法は、訓練データだけでなく未知データの特性も利用して精度値を算出する方法であって、訓練データにより生成された推定モデルのデータの特徴空間における識別面（または分類面）と未知データの該特徴空間における分布点位置との間の距離（マージン：Margin）の値を精度値の算出の基準値とすることを特徴とする演算方法（方式）である。前記識別面とは、データの特徴ベクトル点が分布する特徴空間において、未知データをクラス（class）あるいは類（category）に分類するための基準面であって、該面を境界として特徴空間のどちら側に未知データが分布するかによって、該未知データは推定モデルにおける各クラス（class）あるいは類（category）に分類処理される。なお、前記識別面は、カーネル法等を利用して、前記特徴空間において非線形の曲面を成していてもよい。推定精度情報生成部１３５は、新たな未知データを取得すると、感情推定部１３１によって生成された推定モデルの前記特徴空間における該未知データの分布点位置と前記識別面間の最短の距離Ｄを、下記の（数式１）により算出する。

ただし、| w^T x_t + b |：推定モデルの識別面の識別関数、w：識別関数を決定するための重みベクトル、b：識別関数を決定するための閾値、x_t：未知データの特徴ベクトル、とする。

図６は、識別面距離利用法における上述の指標の距離Ｄを説明するための説明図である。図６を参照すると、特徴空間、訓練データ群、前記訓練データ群によって学習された識別面、未知データＴ１とＴ２、識別面からのＴ１の距離Ｄ１とＴ２の距離Ｄ２が例として図示されている。

距離Ｄ１は特徴空間において識別面からの距離が大きい分クラス識別（分類）の確からしさの度合いが大きく、距離Ｄ２は識別面からの距離が小さい分クラス識別（分類）の確からしさの度合いが小さい（誤識別の確率が大きい）といえる。すなわち、未知データの距離Ｄの大きさによって、未知データ毎の推定の確からしさの度合いを求めることができる。推定精度情報生成部１３５は、未知データ毎に求めた距離Ｄの大きさに基づいて、推定した感情の推定精度値を算出し記憶部１２０へ記憶する。該演算法（３）は、前述の演算法（１）（２）と比較して未知データ取得毎に推定精度値を算出でき、未知データ毎の特性データの差異を利用したより適応的な推定精度値の算出が可能になるという利点がある。

推定精度情報生成部１３５が上記の演算方法（１）（２）（３）のいずれか１つもしくは複数の組合せを採用し動作することにより、本コミュニケーションシステムは、感情推定部１３１により生成された感情の推定内容情報と併せ、推定精度情報生成部１３５により生成された該推定内容情報に対応する推定精度情報を生成し使用できるようになる。

なお、推定精度値には詳細には適合率（precision）、再現率（recall）、Ｆ値（F-measure）等の既存指標があるが、本発明の実施形態では特に指標を限定せず、本コミュニケーションシステムの管理者が推定精度値として適切な指標を選択して該システムに算出させて構わない。また、前述のように感情推定モデルはユーザー９００の各個人毎、所定期間毎、行動種別毎等に存在しても構わないことから、前記推定精度値も同様にユーザー９００の各個人毎、所定期間毎、行動種別毎等に複数種類存在していても構わない。

コミュニケーションメディアデータ管理部１３７は、後述するコミュニケーションメディアデータを、該データと関係するユーザー９００の通信用ＩＤと紐づけて記憶部１２０に記憶させる。また、コミュニケーションメディアデータ管理部１３７は、ユーザー９００Ａからコミュニケーション端末３００Ａを利用して他のユーザー９００Ｂへの通信要求があった場合に、ユーザー９００Ａのコミュニケーション端末３００Ａへ、通信部１１０を介してユーザー９００Ｂのコミュニケーションメディアデータを送信してもよい。該データの送信は、ユーザー９００の操作入力契機ではなく、予め設定された所定の時間間隔で自動的に発生してもよい。

コミュニケーションメディアとは、動画像、音声、テキスト、グラフ等のマルチメディアデータであって、さらにユーザー９００の行動や状態に関する情報を含むデータである。ただし、拠点の風景動画像中にユーザー９００が写っていない場合でもそのデータ（拠点の風景動画像）はコミュニケーションメディアになり得る。なぜなら、たとえば、拠点の風景動画像中にユーザー９００Ａが写っていない場合、そのデータ（拠点の風景動画像）は「当該拠点にはユーザー９００Ａが不在である」という「プレゼンス」情報を伝えるものとなり、結果的にユーザー９００の行動や状態に関する情報を含むことになるからである。

また、本コミュニケーションシステムの感情推定機能自体がマルチメディアデータを生成し得る。たとえば、前述の個人感情の推定内容情報や推定精度情報の変更履歴の時系列データは、「ユーザー９００Ａは本日の午前中はネガティブな感情であることが多かったが、午後からはポジティブな感情であることの方が多い」というようにユーザー９００の状態に関する情報を含むため、一種のコミュニケーションメディアになり得る。ユーザー９００は、本コミュニケーションシステムから他のユーザー９００に関するコミュニケーションメディアと個人感情の推定内容情報を提供され、たとえば離れた拠点にいる他のユーザー９００の感情状態や状況をより良く知ることができる。

人間がコミュニケーションメディアから推測できる感情の正確さはそれほど高くなく、非特許文献（Picard et al, 2001, Toward machine
emotional intelligence: analysis of affective physiological state, IEEE
Transactions on Pattern Analysis and Machine Intelligence, 23(10)）によれば人間の動画像や音声情報からの感情推測の正解率はおよそ６０〜７０％程度である。ここに、機械による感情の推定内容情報を参考情報として併せて提供することで、前記感情推測の正解率が向上すると考えられる。

しかしながら、前述のように推定処理には原理的に誤推定が生じ得るため、推定内容情報も１００％正しいものにはならない。すなわち、ユーザー９００は他のユーザー９００の感情推測にあたって、それぞれ不確実性を持ったコミュニケーションメディアから推測した情報と感情の推定内容情報への情報参考度合いを意思決定しなければならない。そこで、コミュニケーションシステムが推定内容情報を提供する際に対応する推定精度情報を併せて提供することで、ユーザー９００は該推定内容情報への情報参考度合いを認知的に適切に調節し、提供されない場合と比較してより高い正解率で感情推測を行えるようになる効果が期待できる。

次に、図７を参照して、本実施形態に係る「コミュニケーション端末３００」の機能構成の一例を説明する。コミュニケーション端末３００は、ユーザー９００からの入力に応じて他のユーザー９００へ通信要求処理を行ったり、該他のユーザー９００の感情を推定した情報（以下「感情推定情報」；感情に関する前述の推定内容情報または推定精度情報を含む）を取得して該ユーザー９００へ情報提示したりすることができる。

一例として、コミュニケーション端末３００は汎用的なスマートフォンやタブレット端末であってもよい。また、図１ではコミュニケーション端末３００は１名のユーザー９００に対応して１台存在するように図示されているが、複数のユーザー９００に共用される共有型端末であってもよい。さらに別の一例として、コミュニケーション端末３００は、映像通信機能付の現金自動預け払い機ＶＴＭ（Video Teller Machine）、駅自動券売機、ビジュアルコールセンターシステム等の表示部付の筐体装置などから送信される計測データに基づく顧客の感情推定情報をサポート担当者に提示する端末であってもよい。

図７は、本実施形態に係るコミュニケーション端末３００の機能構成の一例を示すブロック図である。図７を参照すると、コミュニケーション端末３００は、通信部３１０、記憶部３２０、制御部３３０、入力部３４０及び提示部３５０を備える。

通信部３１０は、他の装置と通信する。たとえば、通信部３１０は、ＬＡＮ５０に直接的に接続され、感情推定サーバ１００と通信する。なお、通信部３１０は、通信インタフェース８１１により実装され得る。

記憶部３２０は、コミュニケーション端末３００の動作のためのプログラム及びデータを記憶する。なお、記憶部３２０は、記憶装置８０９により実装され得る。

制御部３３０は、コミュニケーション端末３００の様々な機能を提供する。なお、制御部３３０は、ＣＰＵ８０３、ＲＯＭ８０５及びＲＡＭ８０７により実装され得る。

入力部３４０は、ユーザー９００からの入力を受け付ける。そして、入力部３４０は、入力結果を制御部３３０へ提供する。前記ユーザー９００からの入力とは、たとえば、他のユーザー９００を通信要求相手として指定するもので、該他のユーザー９００の識別情報を選択すること等によって実現される。なお、入力部３４０は、入力装置８１５により実装され得る。

提示部３５０は、制御部３３０による制御に従って、ユーザーによって知覚され得る情報の提示を行う。本発明の実施形態においては、提示部３５０がユーザーによって視覚的に知覚される表示画面を表示する場合を主に想定する。かかる場合、提示部３５０は、表示装置８２３により実現され得る。しかし、提示部３５０がユーザーの聴覚によって知覚される情報を提示する場合、提示部３５０は、スピーカにより実現されてもよい。あるいは、提示部３５０がユーザーの触覚や嗅覚によって知覚される情報を提示する場合、提示部３５０は、触覚または嗅覚提示装置により実現されてもよい。

たとえば、提示部３５０は、ユーザー９００が入力部３４０から指定した他のユーザー９００に対応する感情の推定内容情報と推定精度情報、さらに前述のコミュニケーションメディアを情報提示する。

提示部３５０は、前記感情の推定内容情報と推定精度情報を、前記コミュニケーションメディアの一部（他のユーザー９００に関するコミュニケーションメディア）と関連づけた様態で情報提示してもよい。前記関連づけた様態とは、たとえば、提示部３５０の画面上で互いを近傍位置に表示することであり、提示部３５０は、コミュニケーションメディアの一例としての拠点俯瞰動画像において他のユーザー９００の人物像が映っている領域の近傍の領域に該他のユーザー９００の感情の推定内容情報と推定精度情報を表示させてもよい。

また、前記感情の推定内容情報と推定精度情報は、たとえば感情推定サーバ１００の記憶部１２０やコミュニケーション端末３００の記憶部３２０に蓄積保存されてもよい。その場合、制御部３３０は、該蓄積されたデータに基づいて、感情の推定内容情報や推定精度情報の履歴情報を、たとえば時系列グラフ等に加工して提示部３５０に画面表示してもよい。

図８は、コミュニケーション端末３００の提示部３５０によって提示された表示画面の一例を説明するための説明図である。前記表示画面には、たとえばコミュニケーションメディアとしてセンサ端末２００Ｚにより俯瞰的に撮像された動画像が表示されており、該動画像の中央付近の画面領域にはユーザー９００Ｃの人物像が映っている。さらに、前記ユーザー９００Ｃの人物像の近傍位置には前記ユーザー９００Ｃ（の通信用ＩＤ）に紐づけられた感情の推定内容情報、推定精度情報、およびそれらの履歴情報が画面表示されている。

前記ユーザー９００Ｃの人物像と、ユーザー９００Ｃの推定内容情報、推定精度情報およびそれらの履歴情報とが近傍位置に表示されることで、コミュニケーション端末３００の提示部３５０を見るユーザーは、コミュニケーションメディアと推定された情報とを関連づけて認知しやすくなる。この近傍位置への表示機能は、特にひとつのコミュニケーションメディアに複数のユーザーの情報が含まれている場合等に有効である。コミュニケーションメディアと感情の推定内容情報や推定精度情報とを併せてデータとして扱い、それらデータの情報が相互に関連し合って効果を発揮する点が本コミュニケーションシステムの特徴のひとつである。

ここで、近傍位置は特に限定されない。例えば、近傍位置は、ユーザー９００Ｃの人物像の位置を基準として所定の距離以内の位置であってもよい。なお、図８に示した例では、ユーザー９００Ｃの推定感情（推定内容情報）、推定精度（推定精度情報）およびそれらの履歴情報とユーザー９００Ｃの識別情報とを含んだ表示領域が吹き出し形状によって表示されている。これによって、各情報とユーザーとの関連が把握しやすくなる。しかし、表示領域の形状は吹き出し形状に限定されない。

なお、ここではコミュニケーションメディアがリアルタイムに伝送されたデータである場合を主に想定した。しかし、変形例として、前述のコミュニケーションメディアは必ずしもリアルタイム伝送されたデータではなくてもよく、たとえば「録画」や「録音」された過去のメディアデータであっても構わない。

前述のように、本発明の実施形態に係るコミュニケーションシステムは新しい電話システムであることも想定しており、一機能として遠隔地の協働メンバーの過去の様子を伺えてもよい。このとき、たとえばユーザー９００は、過去の録画人物映像データおよび該過去の録画人物映像データに紐づけられた該過去の感情の推定内容情報や推定精度情報を、コミュニケーション端末３００を介して感情推定サーバ１００の記憶部１２０から取得できてもよい。

たとえばユーザー９００Ａが、コミュニケーション端末３００Ａを介して、現在から２時間前の時点のユーザー９００Ｃの録画人物映像データと感情の推定内容情報や推定精度情報とを関連づけて取得できてもよい。このような場合、２時間後のリアルタイムでは本コミュニケーションシステム内にユーザー９００Ｃがすでに不在になっている等の可能性もある。しかし、前記過去のメディアデータを取得する場合には必ずしも複数のユーザー９００がシステム内に同時に存在する必要はなく、１名のユーザー９００しか本コミュニケーションシステムを使用していない場合でもよい。

続いて、図９を参照して、本実施形態に係る情報処理動作の例を説明する。図９は、本実施形態に係るコミュニケーションシステムの動作シーケンスの一例を示す説明図である。後述する動作シーケンスは、図１で示した、拠点ｂＡのユーザー９００Ａがコミュニケーション端末３００Ａを使用して、拠点ｂＢＣにいるユーザー９００Ｃの感情推定情報を、感情推定サーバ１００およびセンサ端末２００Ｃを介して取得する例について説明する。

なお、当然ながら、拠点ｂＢＣのユーザー９００Ｂが拠点ｂＡのユーザー９００Ａの感情推定情報を取得する動作も同様の動作によって実現可能である。また、該動作シーケンスは説明を簡略化するためにユーザー９００Ａがユーザー９００Ｃの感情推定情報を一方的に取得する形を例示しているが、この際同時にユーザー９００Ｃがユーザー９００Ａの感情推定情報を取得してもよく、その結果として互いの感情推定情報の対称的・双方向的な情報取得（情報共有）が実現されてもよい。

図９に示したように、ステップＳ１１０１で、ユーザー９００Ａはコミュニケーション端末３００Ａを使用して、ユーザー９００Ｃの感情推定情報を要求する入力を行う。このとき、感情推定が要求されるユーザーの識別情報が入力される。ユーザーの識別情報はどのように入力されてもよく、ユーザーの名前の発話によって入力されてもよいし、ユーザーの人物画像の選択によって入力されてもよいし、ユーザーＩＤの選択によって入力されてもよい。なお、前述のように、前記通信要求は、必ずしもユーザー９００の操作入力を契機として発生する必要はなく、感情推定サーバ１００やコミュニケーション端末３００等に予め設定された所定の時間間隔で当システムに自動的に発生してもよい。その場合は、当ステップＳ１１０１の実行は省略しても構わない。

ステップＳ１１０３で、コミュニケーション端末３００Ａは、ユーザー９００Ｃの識別情報を含んだ通信要求メッセージを生成し、感情推定サーバ１００へ、通信要求メッセージを送信する。

ステップＳ１１０５で、感情推定サーバ１００は、コミュニケーション端末３００Ａから前記通信要求メッセージを受信し、記憶部１２０に予め記憶された設定データからユーザー９００Ｃの識別情報と紐づいたセンサ端末２００Ｃの通信用ＩＤを特定する、情報通信制御処理を行う。

ステップＳ１１０７で、感情推定サーバ１００は、センサ端末２００Ｃへ、データ要求メッセージを送信する。

ステップＳ１１０９で、センサ端末２００Ｃは、感情推定サーバ１００からデータ要求メッセージを受信し、計測部２２０から外界、たとえばユーザー９００Ｃの行動や生体反応、前述したコミュニケーションメディア等の計測処理を開始して、それらの計測データを取得する。

ステップＳ１１１１で、センサ端末２００Ｃは、感情推定サーバ１００へ、前記計測データ（ユーザー９００Ｃの行動や生体反応のデータ、コミュニケーションメディアデータ）を送信する。

ステップＳ１１１３で、感情推定サーバ１００は、センサ端末２００Ｃから前記計測データを受信し、感情推定部１３１により前記計測データからユーザー９００Ｃの感情の推定内容情報を生成する。

ステップＳ１１１５で、感情推定サーバ１００は、推定精度情報生成部１３５により、センサ端末２００Ｃから受信した前記計測データからユーザー９００Ｃの感情の推定精度情報を生成する。

ステップＳ１１１７で、感情推定サーバ１００は、感情推定部１３１により生成された前記感情の推定内容情報と、推定精度情報生成部１３５により生成された前記感情の推定精度情報と、センサ端末２００Ｃから受信した前記計測データに含まれるコミュニケーションメディアデータとを、複数ユーザー感情推定情報通信制御部１３３によりユーザー９００Ｃの通信用ＩＤと紐づけ処理し記憶部１２０に記憶する。

ステップＳ１１１９で、感情推定サーバ１００は、コミュニケーション端末３００Ａへ、前記紐づけされた前記感情の推定内容情報、前記感情の推定精度情報、および、前記コミュニケーションメディアデータを送信する。

ステップＳ１１２１で、コミュニケーション端末３００Ａは、感情推定サーバ１００から前記感情の推定内容情報、前記感情の推定精度情報、および、前記コミュニケーションメディアデータを受信し、それらデータに基づいた感情推定情報を提示部３５０からユーザー９００Ａへ提示する。

以上のように、本発明の実施形態によれば、複数名のユーザーが同時利用するコミュニケーションシステムにおいて、あるユーザーが別のユーザーの感情の推定内容情報と、さらに推定精度情報を得ることができる。これによって、推定情報の確からしさも加味することで通信相手の感情を含む状態や状況をより正確に認知しやすくなり、結果として該あるユーザーと別のユーザーがより適切な遠隔コミュニケーションの通信を行うことができるようになる。

ここで、本発明の実施形態が奏する効果を証明するため、本願発明者が実施した「ユーザー評価実験」の内容の一部を説明する。前記評価実験は、感情誘導標準刺激を提示され快／不快／中性感情を喚起された人物を見て他者がその感情を推測する際の、感情推定情報の有無とその推定精度値の大きさの違いによる効果の差を、１６名の被験者データから比較検証したものである。

前記比較検証のため、１６名の被験者は以下の４条件、すなわち、同室にて感情推定情報なしで人物を見て感情推測する条件（以下「同室条件」）、遠隔でディスプレイおよびスピーカ越しに感情推定情報なしで人物像を見て感情推測する条件（以下「遠隔なし条件」）、遠隔でディスプレイおよびスピーカ越しに推定内容情報と７０％の推定精度情報を人物像と併せて見て感情推測する条件（以下「遠隔７０％条件」）、遠隔でディスプレイおよびスピーカ越しに推定内容情報と９０％の推定精度情報を人物像と併せて見て感情推測する条件（以下「遠隔９０％条件」）での主観評価を、被験者内要因のカウンタバランス順で行った。

本願発明者は、前記感情誘導された人物の感情種の自己評価結果と、それを前記４条件で見た被検者の感情種の推測評価結果を照合し、両者の適合度（推測の正解率）を指標「感情伝達度」として算出した。その感情伝達度の結果を図１０に示す。図１０より、感情伝達度は、同室条件、遠隔なし条件、遠隔９０％条件においては、およそ７０％の正解率であったのに対し、遠隔７０％条件においては、それらより１０％以上値が高く、多重比較（Ｂｏｎｆｅｒｒｏｎｉ法）の結果、遠隔７０％条件は他の３条件よりも５％水準で有意に感情伝達度が高かった。

本評価実験の結果から、（１）他者を見て感情を推測する際に感情推定情報が併せて提示されると感情伝達度が上がりより正確に相手の感情を把握できるようになる、（２）前記感情推定情報の提示による感情伝達度向上効果は推定精度情報の違い（本実験では７０％と９０％という推定精度値の違い）によっても有意に異なる、ということがわかり、感情推定情報を提示する際にその推定精度情報を併せて提示することのコミュニケーション支援効果（相手の感情がより正確にわかるようになる等）が明らかにされた。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

たとえば、上記においては、コミュニケーション端末３００の制御部３３０が、提示部３５０によって提示される各種情報のレイアウト（たとえば、ユーザー９００Ｃの人物像と、ユーザー９００Ｃの推定内容情報、推定精度情報およびそれらの履歴情報との位置関係など）を決める例を主に説明した。しかし、提示部３５０によって提示される各種情報のレイアウトは、他の装置（たとえば、感情推定サーバ１００など）によって決められてもよい。

１００感情推定サーバ
１１０通信部
１２０記憶部
１３０制御部
１３１感情推定部
１３３複数ユーザー感情推定情報通信制御部
１３５推定精度情報生成部
１３７コミュニケーションメディアデータ管理部
２００（２００Ａ、２００Ｂ、２００Ｃ、２００Ｚ）センサ端末
２１０通信部
２２０計測部
２３０制御部
３００（３００Ａ、３００Ｂ、３００Ｃ）コミュニケーション端末
３１０通信部
３２０記憶部
３３０制御部
３４０入力部
３５０提示部

Claims

第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて生成された推定内容情報を取得するとともに、前記感情推定の精度情報を推定精度情報として取得する制御部を備え、
前記制御部は、前記推定内容情報および前記推定精度情報の前記第１のユーザーへの提示を制御する、
提示装置。
前記センサデータの取得は、前記通信要求が入力されたことに基づいて、前記第２の通信用の識別情報に対応するセンサ端末によって開始される、
請求項１に記載の提示装置。
前記制御部は、前記第２のユーザーに関するコンテンツデータを取得し、前記コンテンツデータの前記第１のユーザーへの提示を制御する、
請求項１に記載の提示装置。
前記制御部は、前記推定内容情報および前記推定精度情報と前記コンテンツデータとが近傍位置に提示されるように制御する、
請求項３に記載の提示装置。
前記制御部は、前記推定内容情報および前記推定精度情報それぞれの履歴情報を取得し、前記履歴情報の前記第１のユーザーへの提示を制御する、
請求項１に記載の提示装置。
第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて生成された推定内容情報を取得するとともに、前記感情推定の精度情報を推定精度情報として取得することと、
前記推定内容情報および前記推定精度情報の前記第１のユーザーへの提示を制御することと、
を含む、提示方法。
第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて推定内容情報を生成する感情推定部と、
前記感情推定の精度情報を推定精度情報として生成する推定精度情報生成部と、
前記推定内容情報および前記推定精度情報の前記第１の通信用の識別情報に対応する提示装置への送信を制御する通信制御部と、
を備える、通信制御装置。
前記センサデータの取得は、前記通信要求が入力されたことに基づいて、前記第２の通信用の識別情報に対応するセンサ端末によって開始される、
請求項７に記載の通信制御装置。
前記制御部は、前記第１のユーザーから前記通信要求が入力された場合に、前記第２のユーザーのセンサデータから感情推定に基づいて生成された推定内容情報を取得するとともに、前記感情推定の精度情報を推定精度情報として取得し、
前記制御部は、前記推定内容情報および前記推定精度情報の前記第２の通信用の識別情報に対応する提示装置への送信を制御する、
請求項７に記載の通信制御装置。
前記制御部は、前記第１のユーザーのセンサデータから生成された推定内容情報と、前記第２のユーザーのセンサデータから生成された推定内容情報とを含んだ、複数のユーザーに対応する推定内容情報を取得する、
請求項７に記載の通信制御装置。
前記通信制御部は、前記第２のユーザーに関するコンテンツデータの前記第１の通信用の識別情報に対応する提示装置への送信を制御する、
請求項７に記載の通信制御装置。
前記通信制御部は、前記推定内容情報および前記推定精度情報それぞれの履歴情報の前記第１の通信用の識別情報に対応する提示装置への送信を制御する、
請求項７に記載の通信制御装置。
前記推定精度情報生成部は、特徴空間における前記センサデータと前記感情推定のモデルにおける識別面データとの間の距離に基づいて、前記推定精度情報を生成する、
請求項７に記載の通信制御装置。
第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて推定内容情報を生成することと、
前記感情推定の精度情報を推定精度情報として生成することと、
前記推定内容情報および前記推定精度情報の前記第１のユーザーに紐づけられた提示装置への送信を制御することと、
を含む、通信制御方法。
第１の通信用の識別情報に対応する第１のユーザーから通信要求が入力された場合に、第２の通信用の識別情報に対応する第２のユーザーのセンサデータから感情推定に基づいて推定内容情報を生成する感情推定部と、
前記感情推定の精度情報を推定精度情報として生成する推定精度情報生成部と、
前記推定内容情報および前記推定精度情報の前記第１のユーザーに紐づけられた提示装置への送信を制御する通信制御部と、
を備える、通信制御装置と、
前記推定内容情報を取得するとともに、前記推定精度情報を取得するデータ取得部と、
前記推定内容情報および前記推定精度情報の第１のユーザーへの提示を制御する提示制御部と、
を備える、提示装置と、
を有する、通信制御システム。