JP7087804B2 - コミュニケーション支援装置、コミュニケーション支援システム及び通信方法 - Google Patents

Description

本発明は、コミュニケーション支援装置、コミュニケーション支援システム及び通信方法に関する。

従来、ネットワークを介して接続された複数の端末を利用して会議を行う会議システムが知られている。このような会議システムにより、会議参加者の様子を撮影した画像又は音声等を送受信して、複数の拠点に居る参加者が相互にコミュニケーションをとることができる。これにより、例えば、会議参加者の会議室への移動等、会議以外の部分に時間を費やすことなく会議を行うことができる。

例えば、特許文献１では次のような技術が開示されている。すなわち、会議で利用される資料、会議参加者のうち少なくとも一方を会議の映像情報をして記録するとともに、会議参加者の視線情報、脳波、心拍数、又はその他の生体情報を会議参加者の情報として取得する。取得された会議参加者の情報に基づいて会議参加者の心理状態を推定し、推定された心理状態情報に基づいて、会議の音声映像情報の一部を選択して映像インデックスを生成し、これらをインデックス情報として記録するものである。

特許文献２には、複数の参加者が同時に発言した場合や発言に重なりがあった場合に、発言に優先順位をつけ、優先順位に応じて発言の音声及び画像情報を提示する技術が開示されている。

特許文献３には、クライアント装置から送信された音声データを、文字に変換し、文字出力とし、対応する発話者の画像データが表示されている場合には、該画像データと合成し、画像データが表示されていない場合には、文字発話枠に画像データを生成し、文字出力と合成された画像データと、クライアント装置から受け付けた画像データと、生成された文字発話枠と、に基づく画像データの全てを全体画像データとして合成し、合成された全体画像データをクライアント装置に送信する技術が開示されている。

特許文献２及び特許文献３に記載の技術には、参加者に対して予め優先順位を付け、優先順位が最も高い参加者の発言をリアルタイムで音声出力し、他の参加者の発言を文字情報に変換して出力する技術が記載されている。

特開２００６－８５４４０号公報 特開２００６－２２９９０３号公報 特開２０１６－１３６７４６号公報

特許文献１に記載の技術は、参加者が発言した内容が音声認識されて会議システムに表示され、会議参加者の推定された心理状態に基づいて、会議の音声映像情報の一部をインデックス情報として記録することができる。しかしながら、会議の音声映像情報の一部をインデックス情報として記録するだけでは、例えば、会議参加者が会議資料のうちのどの部分に疑問を持っているのかを履歴情報として残すことはできるが、その疑問に対して問題解決できたか否かは判断できない。

また、特許文献２及び特許文献３に記載の技術では、事前に与えられた優先順位が高い会議参加者の質問がリアルタイムで音声出力されるため、質問内容が会議内容を理解するために重要な質問であっても、その質問が優先順位の低い会議参加者によるものである場合、リアルタイムにその質問を説明者に伝達できない場合が生じる。また、特許文献２及び特許文献３に記載の技術では、画面に表示されるテキスト情報だけでは、会議参加者がどのような心理状態で質問をしてきたのかが判断できない。

また、特許文献１～特許文献３に記載の技術では、話し手は、聞き手からの質問があるまで、会議資料のどの部分がどの程度聞き手に理解されているのかを判断できない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、話し手が聞き手の様子を把握することで、より円滑なコミュニケーションを可能とするコミュニケーション支援装置、コミュニケーション支援システム及び通信方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援装置であって、前記出力制御部は、前記表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示とともに、所定のコマンドを出力する、コミュニケーション支援装置が提供される。

コミュニケーション支援装置は、聞き手の前記視線情報を取得する視線情報取得部と、前記聞き手の前記心身状態を判定する心身状態判定部と、をさらに備えてもよい。

前記出力制御部は、前記心身状態判定部による判定結果を出力してもよい。

前記出力制御部は、前記表示のうちの前記視線情報に対応した部分を示す表示とともに、聞き手の前記心身状態に応じた情報を出力してもよい。

前記出力制御部は、聞き手の心身状態が所定の心身状態であると判定された回数に応じて、前記心身状態に応じた前記コマンドを出力してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援装置であって、前記出力制御部は、前記表示のうち、聞き手の心身状態が困惑した状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示とともに、前記聞き手の視線情報に対応する部分に関する情報の検索を促す表示、又は前記聞き手の視線情報に対応する部分に関する質問を促す表示を出力する、コミュニケーション支援装置。前記出力制御部は、聞き手が困惑した状態であると判定されたときの前記聞き手の視線情報に対応する部分に、前記聞き手の視線情報に対応する部分に関する情報の検索を促す表示、又は前記聞き手の視線情報に対応する部分に関する質問を促す表示を出力する、コミュニケーション支援装置が提供される。

前記出力制御部は、入力された前記質問を他のコミュニケーション支援装置に送信してもよい。

同一又は類似した内容の前記質問が入力された前記コミュニケーション支援装置の数に基づいて優先度を設定する情報処理部をさらに備え、前記出力制御部は、前記優先度に基づいて前記質問を表示してもよい。

前記出力制御部は、前記聞き手の視線情報に対応する部分を示す表示とともに、前記優先度が高い前記質問を表示してもよい。また、上記課題を解決するために、本発明の別の観点によれば、話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援装置であって、前記出力制御部は、前記表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示を出力し、当該部分に関連する人物へ問合せを促す表示を出力する、コミュニケーション支援装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援システムであって、聞き手の視線情報を取得する視線情報取得部と、前記聞き手の心身状態を判定する心身状態判定部と、を備え、前記出力制御部は、前記表示のうち、前記心身状態判定部によって所定の心身状態であると判定されたときの前記視線情報に対応する部分を示す表示とともに、所定のコマンドを出力する、コミュニケーション支援システムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、話し手が話す内容に関する表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示とともに、所定のコマンドを出力すること、を含む、通信方法が提供される。また、上記課題を解決するために、本発明の別の観点によれば、話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援システムであって、聞き手の視線情報を取得する視線情報取得部と、前記聞き手の心身状態を判定する心身状態判定部と、を備え、前記出力制御部は、前記表示のうち、前記心身状態判定部によって困惑した状態であると判定されたときの前記視線情報に対応する部分を示す表示とともに、前記聞き手の視線情報に対応する部分に関する情報の検索を促す表示、又は前記聞き手の視線情報に対応する部分に関する質問を促す表示を出力する、コミュニケーション支援システムが提供される。また、上記課題を解決するために、本発明の別の観点によれば、話し手が話す内容に関する表示のうち、聞き手の心身状態が困惑した状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示とともに、前記聞き手の視線情報に対応する部分に関する情報の検索を促す表示、又は前記聞き手の視線情報に対応する部分に関する質問を促す表示を出力すること、を含む、通信方法が提供される。また、上記課題を解決するために、本発明の別の観点によれば、話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援システムであって、聞き手の視線情報を取得する視線情報取得部と、前記聞き手の心身状態を判定する心身状態判定部と、を備え、前記出力制御部は、前記表示のうち、前記心身状態判定部によって所定の心身状態であると判定されたときの前記視線情報に対応する部分を示す表示を出力し、当該部分に関連する人物へ問合せを促す表示を出力する、コミュニケーション支援システムが提供される。また、上記課題を解決するために、本発明の別の観点によれば、話し手が話す内容に関する表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示を出力し、当該部分に関連する人物へ問合せを促す表示を出力すること、を含む、通信方法が提供される。

以上説明したように本発明によれば、話し手が聞き手の様子を把握することで、より円滑にコミュニケーションをとることが可能となる。

本発明の第１の実施形態に係るコミュニケーション支援システムの構成の一例を示す模式図である。 同実施形態に係る端末のハードウェア構成の一例を示すブロック図である。 同実施形態に係る端末の構成の一例を示すブロック図である。 ユーザの顔画像から得られる複数の特徴点の例を示す図である。 ニュートラルな表情と困惑の表情の関係を説明するための図である。 同実施形態に係る話し手が利用する端末のユーザ支援制御部が出力する画面の一例を示す図である。 同実施形態に係る聞き手が利用する端末のユーザ支援制御部が出力する画面の一例を示す図である。 同実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。 同実施形態に係るサーバの構成の一例を示すブロック図である。 同実施形態に係る聞き手が利用する端末の閲覧情報管理テーブルの一例を示す表である。 同実施形態に係る話し手が利用する端末の閲覧情報管理テーブルの一例を示す表である。 同実施形態に係るコミュニケーション支援システムの動作の流れの一例を示すシーケンス図である。 同実施形態に係る端末の動作の流れの一例を示す流れ図である。 本発明の第２の実施形態に係るサーバの構成の一例を示すブロック図である。 同実施形態に係る専門家情報管理テーブルの一例を示す表である。 同実施形態に係る話し手が利用する端末の閲覧情報管理テーブルの一例を示す表である。 同実施形態に係る端末の動作の流れの一例を示す流れ図である。 同実施形態に係る聞き手が利用する端末のユーザ支援制御部が出力する画面の一例を示す図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成または論理的意義を有する複数の構成を、必要に応じて端末１００Ａ及び１００Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。例えば、端末１００Ａ及び端末１００Ｂを特に区別する必要が無い場合には、各端末を単に端末１００と称する。

＜＜１．第１の実施形態＞＞
＜１－１．コミュニケーション支援システムの構成＞
まず、図１を参照し、本発明の実施形態に係るコミュニケーション支援システムの概要を説明する。図１は、本実施形態に係るコミュニケーション支援システムの構成の一例を示す模式図である。

本実施形態に係るコミュニケーション支援システム１は、話し手が話す内容に関する表示を出力し、聞き手の心身状態に基づいて、出力された表示のうち、聞き手の視線に対応する部分を示す表示を出力する。コミュニケーション支援システム１は、端末１００、サーバ２００及びネットワーク３００を有する。サーバ２００は、各端末１００とネットワーク３００を介して接続される。また、コミュニケーション支援システム１は、図１に示したように、複数の端末１００を備えてもよく、複数の端末１００は、ネットワーク３００によって、相互に接続されてもよい。複数の端末１００は、ネットワーク３００を介してサーバ２００と接続されてもよい。なお、端末１００を利用するユーザのうち、主に話者となるユーザを話し手と呼称し、話し手の話を聞くユーザを聞き手と呼称する。

［端末１００］
端末１００は、話し手が話す内容に関する表示を出力し、当該表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの聞き手の視線情報に対応する部分を示す表示を出力する。複数の端末１００は、例えば、それぞれ異なる拠点に設けられ、それぞれ異なるユーザにより利用されてもよい。例えば、端末１００Ａは拠点Ｂ１に設けられ、ユーザＵ１により利用されてもよく、端末１００Ｂは、拠点Ｂ２に設けられ、ユーザＵ２により利用されてもよく、端末１００Ｃは、拠点Ｂ３に設けられユーザＵ３により利用されてもよい。ただし、図１においては、１つの拠点に端末１００を利用する１人のユーザが存在する例を示したが、１つの拠点に複数の端末１００が設けられ、複数の端末１００のそれぞれが、異なるユーザによって利用されてもよい。なお、視線情報とは、聞き手の視線に関する情報であり、例えば、聞き手の視線の方向、視線の滞留時間、視線の移動距離等である。視線情報には、聞き手の瞳孔の大きさ、瞬きの回数等が含まれてもよい。

（端末１００のハードウェア構成）
ここで、図２を参照して、端末１００のハードウェア構成を説明する。図２は、本実施形態に係る端末のハードウェア構成の一例を示すブロック図である。端末１００は、図２に示したように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｓｅｓｓｉｎｇ Ｕｎｉｔ）３０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３、操作装置３０４、表示装置３０５、記憶装置３０６、通信装置３０７、画像入力装置３０８、音声入力装置３０９、音声出力装置３１０及びバス３１１を備える。本実施形態に係る端末１００が行う、画像処理や心身状態判定処理等に挙げられる各種情報処理は、ソフトウェアと、以下に説明する端末１００のハードウェアとの協働により実現される。

ＣＰＵ３０１は、演算処理装置及び制御装置として機能し、各種プログラムに従って端末１００内の動作全般を制御する。ＣＰＵ３０１は、例えば、マイクロプロセッサであってもよい。ＲＯＭ３０２は、ＣＰＵ３０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ３０３は、ＣＰＵ３０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。ＣＰＵ３０１、ＲＯＭ３０２及びＲＡＭ３０３とソフトウェアとの協働により、後述する制御部１１０の機能が実現され得る。

操作装置３０４は、マウス、キーボード、タッチパネル等、ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ３０１に出力する入力制御回路等から構成され得る。端末１００のユーザは、該操作装置３０４を操作することにより、端末１００に対して各種のデータの入力、処理動作の指示等を行うことができる。

表示装置３０５は、画像入力装置３０８で撮影された画像、後述するユーザ支援制御部１１２によって出力された画像等を表示する。表示装置３０５は、例えば、液晶ディスプレイ（ＬＣＤ）装置で構成され、後述する表示部１４０に対応する。

記憶装置３０６は、一時的又は恒久的に保存すべきデータを記録する。記憶装置３０６は、例えば、ハードディスク（Ｈａｒｄ Ｄｉｓｋ）等の磁気記憶装置であってもよく、又は、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の不揮発性メモリ、あるいは同等の機能を有するメモリ等であってよい。記憶装置３０６は、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体からデータを削除する削除装置等を含んでもよい。記憶装置３０６は、本実施形態にかかる端末１００の記憶部１２０として構成され得る。また、記憶装置３０６は、ＣＰＵ３０１が実行するプログラムや各種データを記憶し得る。

通信装置３０７は、ネットワーク３００に接続するための通信インタフェースである。通信装置３０７は、例えば、通信デバイスで構成され、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置、有線による通信を行うワイヤー通信装置、またはブルートゥース（登録商標）通信装置を含んでよい。

画像入力装置３０８は、端末１００を使用するユーザを撮像する。画像入力装置３０８は、例えば、光学系、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のような撮像素子及び画像処理回路を含む。画像入力装置３０８は、例えば、後述する撮影部１７０に対応する。

音声入力装置３０９は、端末１００を使用するユーザの音声を集音する。音声入力装置３０９は、例えば、マイクロフォンのような音を電気信号に変換し、当該電気信号をデジタルデータに変換する。音声入力装置３０９は、例えば、後述するマイク１５０に対応する。

音声出力装置３１０は、他の端末１００の音声入力装置３０９から入力された音声情報を出力する。詳細には、音声出力装置３１０は、デジタルデータを電気信号に変換し、当該電気信号を音声に変換する。音声出力装置３１０としては、例えば、スピーカ、イヤホン又はヘッドホン等の音声出力装置が用いられてもよい。音声出力装置３１０は、後述するスピーカ１３０に対応する。

バス３１１は、ＣＰＵ３０１、ＲＯＭ３０２及びＲＡＭ３０３を相互に接続する。バス３１１には、さらに、操作装置３０４、表示装置３０５、記憶装置３０６、通信装置３０７、画像入力装置３０８、音声入力装置３０９及び音声出力装置３１０が接続される。バス３１１は、例えば、複数の種類のバスを含んでもよい。バス３１１は、例えば、ＣＰＵ３０１、ＲＯＭ３０２及びＲＡＭ３０３を接続する高速バスと、当該高速バスよりも低速のバスを含んでもよい。

（端末１００の機能構成）
次に、図３を参照して、本実施形態に係る端末１００の機能構成の一例を説明する。図３は、本実施形態に係る端末の構成の一例を示すブロック図である。端末１００は、少なくとも制御部１１０を備え、必要に応じて、記憶部１２０、スピーカ１３０、表示部１４０、マイク１５０、操作部１６０、撮影部１７０、及び通信部１８０を備える。

制御部１１０は、端末１００の各構成を制御する。制御部１１０は、ユーザ支援制御部１１２と、操作処理部１１４と、画像処理部１１６、及び情報処理部１１８とを有する。制御部１１０は、ＣＰＵ３０１、ＲＯＭ３０２及びＲＡＭ３０３と、ソフトウェアとの協働により実現される。

ユーザ支援制御部１１２は、出力制御部に相当するものであり、話し手が話す内容に関する表示を出力し、当該表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときのユーザの視線に対応する部分を示す表示を出力する。ユーザ支援制御部１１２は、表示部１４０の表示を制御する。ユーザ支援制御部１１２は、後述する心身状態判定部１１６７による判定結果を出力してもよい。また、ユーザ支援制御部１１２は、例えば、操作部１６０からの指示に基づいて記憶部１２０から所定の情報を読み込み、読み込まれた情報に基づく画面を表示部１４０に表示させてもよい。また、ユーザ支援制御部１１２は、スピーカ１３０による音声の出力、及びマイク１５０による音声の入力の制御を行ってもよい。

また、ユーザ支援制御部１１２は、聞き手の心身状態が所定の心身状態であると判定されたときの視線情報に対応する部分に所定のコマンドを出力してもよい。例えば、後述する心身状態判定部１１６７によって聞き手の心身状態が困惑した状態であると判定されたとき、当該判定がされたときの視対象情報について「検索」又は「質問」を促す表示を出力してもよい。また、ユーザ支援制御部１１２は、聞き手によってされた質問を他のコミュニケーション支援装置に送信してもよい。

また、ユーザ支援制御部１１２は、聞き手の心身状態が所定の心身状態であると判定された回数に応じて、心身状態に応じたコマンドを出力してもよい。ユーザ支援制御部１１２は、例えば、一人の聞き手の心身状態が困惑した状態であると判定された回数が所定の回数以上である場合、当該判定がされたときの視対象情報について「検索」又は「質問」を促す表示を出力してもよい。また、ユーザ支援制御部１１２は、例えば、複数の聞き手の心身状態が困惑した状態であると判定された回数の合計が所定の回数以上である場合、当該判定がされたときの視対象情報について「検索」又は「質問」を促す表示を出力してもよい。

操作処理部１１４は、後述する操作部１６０から入力された操作に関する情報である操作情報を、他の端末１００又はサーバ２００に送信する。また、操作処理部１１４は、操作情報を記憶部１２０に格納する。また、操作処理部１１４は、ユーザによる操作部１６０を介した操作が示す位置に対応する表示部１４０上の表示座標位置を算出する。そして操作処理部１１４は、算出された表示位置座標と対応するオブジェクトがユーザにより操作されたと判定する。

画像処理部１１６は、撮影部１７０から入力された画像情報の処理を行う。画像処理部１１６は、画像取得部１１６１、ユーザ検出部１１６３、視線情報取得部１１６５、及び心身状態判定部１１６７を有する。

画像取得部１１６１は、撮影部１７０から、ユーザの撮像画像を取得する。

ユーザ検出部１１６３は、画像取得部１１６１によって取得された画像からユーザに関する領域を検出する。ユーザ検出部１１６３は、例えば、ユーザの身体を検出する。ユーザ検出部１１６３は、ユーザの身体全体を検出してもよいし、例えば、顔等、身体の一部を検出してもよい。ユーザ検出部１１６３は、例えば、顔領域を検出する場合、エッジ検出または形状パターン検出によって候補領域を抽出し、抽出された候補領域を小領域に分割し、各領域の特徴点を予め設定された顔領域パターンと照合してもよい。また、ユーザ検出部１１６３は、例えば、各候補領域の色濃度が所定の閾値に対応する値である場合に胴体候補領域を抽出し、顔及び胴体候補領域の濃度または彩度のコントラストを用いて顔領域を抽出してもよい。また、ユーザ検出部１１６３は、公知の画像処理技術を用いてユーザの身体の動きを検出してもよい。

視線情報取得部１１６５は、聞き手の視線情報を取得する。視線情報は、先立って説明したように、聞き手の視線に関する情報である。視線情報には、例えば、聞き手の視線の方向、視線の滞留時間、視線の移動距離、聞き手の瞳孔の大きさ、瞬きの回数等が含まれてもよい。

心身状態判定部１１６７は、聞き手の心身状態を判定し、判定結果を心身状態情報として取得する。心身状態判定部１１６７は、例えば、端末１００を操作中のユーザの表情を検出し、検出された顔領域における目や口の位置の変化を測定し、予め設定された判定ルールと照合して聞き手の表情を識別する。心身状態としては、例えば、困惑、興味又は驚き等が挙げられる。

ここで、図４及び図５を参照して、聞き手の表情の識別方法について説明する。図４は、聞き手の顔画像から得られる複数の特徴点の例を示す図である。図５は、ニュートラルな表情と困惑の表情の関係を説明するための図である。

以下では、具体的な例として、聞き手が困惑したときの表情の特徴について説明する。しかし、他の表情、例えば興味を示したときの聞き手の表情も困惑した表情と同様に固有の特徴を有している。したがって、困惑したときの表情以外の表情は、それぞれの表情の固有の特徴に基づいて認識され得る。

例えば、図４に示したように、ユーザの顔画像から特徴点として、左眉Ｐ１～Ｐ３、右眉Ｐ４～Ｐ６、左目Ｐ７～Ｐ１０、右目Ｐ１１～Ｐ１４、口Ｐ１５～Ｐ１８がユーザ検出部１１６３によって検出される。心身状態判定部１１６７は、ユーザ検出部１１６３によって検出された特徴点の位置の変化に基づいて、聞き手の心身状態を判定する。

図５に示した、画像Ｆ１は、ユーザのニュートラルな表情が撮像されたときの左眉毛（Ｐ１～Ｐ３）と左目（Ｐ７～Ｐ１０）を示した画像である。画像Ｆ２は、ユーザが困惑した状態の表情が撮像されたときの左眉毛（Ｐ１’～Ｐ３’）と左目（Ｐ７’～Ｐ１０’）を示した画像である。画像Ｆ２に示した、聞き手が困惑したときの表情は、画像Ｆ１に写るニュートラルな表情と比較して、眉毛と目の距離が短くなり、目の開きが細くなっている。具体的には、画像Ｆ２では、画像Ｆ１と比較して、眉毛の特徴点Ｐ１’～Ｐ３’と目の上部の特徴点Ｐ７’～Ｐ９’の間隔が狭くなっており、また、目の特徴点Ｐ８’とＰ１０’の間隔が狭くなっている。このように、聞き手が困惑したときの表情は、ニュートラルな表情とは異なる特徴を有している。

この例に示したように、困惑したときの表情以外にも、それぞれの表情は固有の特徴を有している。したがって、各特徴点の位置が決定されれば、その各特徴点の位置に対して、表情への近さを定義することが可能である。

また、特徴点の位置の変化量について、予め段階的に閾値を設定し、ユーザ検出部１１６３によって検出された特徴点の位置の変化量に応じてユーザの困惑度は変更されてもよい。心身状態判定部１１６７は、例えば、左眉毛の特徴点Ｐ１～Ｐ３、左目の特徴点Ｐ７～Ｐ１０、右眉毛の特徴点Ｐ４～Ｐ６、右目に関する特徴点Ｐ１１～Ｐ１４、及び口に関する特徴点Ｐ１５～Ｐ１８、の位置の変化量が、予め指定した閾値を超える場合に、ユーザの困惑度が高くなったと推定することが可能である。心身状態判定部１１６７は、公知の情報処理技術、例えば、機械学習等によって、特徴点の位置からユーザの心身状態の判定、又は所定の心身状態の程度（例えば困惑度）を推定してもよい。

なお、心身状態判定部１１６７は、ユーザ検出部１１６３によって検出された聞き手の動きに基づいて、予め設定された判定ルールと照合して聞き手の心身状態を判定してもよい。

情報処理部１１８は、取得された視線情報から、視線が向けられている対象に関する情報である視対象情報を取得する。ここで言う視対象情報とは、表示部１４０に出力された表示であり、例えば、表示部１４０に表示された資料Ａのテキスト、図、表、映像情報等である。また、情報処理部１１８は、後述する閲覧情報管理テーブル５００に、ユーザの閲覧情報を記録する。閲覧情報としては、例えば、視対象情報、聞き手の視線の滞留時間、聞き手の心身状態、聞き手に困惑、興味又は驚き等が生じた視対象情報に対する聞き手の対応、聞き手の質問内容等が挙げられる。

また、情報処理部１１８は、複数の聞き手が行った質問が、実質的に同一内容であるか否かを判定する機能を有していてもよいし、類似した内容であるか否かを判定する機能を有していてもよい。情報処理部１１８は、更に、同一または類似の内容の質問が入力された端末１００の数を算出する機能を有していていもよい。情報処理部１１８は、例えば、算出された端末１００の数によって優先度を設定してもよく、ユーザ支援制御部１１２は、当該優先度に基づいて、質問を表示部１４０に表示させてもよい。ここまで、図４及び図５を参照して、聞き手の表情の識別方法について説明した。以下では、引き続き図３を参照して、端末１００の機能構成を説明する。

図３に示した記憶部１２０は、端末１００の動作のためのプログラム及びデータを記憶する。記憶部１２０には、端末１００が、各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。記憶部１２０には、画像処理部１１６が取得した各種の情報が履歴情報として記録されていてもよい。更に、記憶部１２０には、例えば、画像処理部１１６がそれぞれの処理を行う際に、保存する必要が生じた様々な処理の途中経過等が適宜記録されてもよい。画像処理部１１６が実行する処理に限られず、端末１００が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。この記憶部１２０は、ユーザ支援制御部１１２、操作処理部１１４、画像処理部１１６、情報処理部１１８等が、自由にリード／ライト処理を実施することが可能である。記憶部１２０には、例えば、視線情報、心身状態情報、閲覧情報、操作情報、閲覧情報管理テーブル等が格納されてもよい。なお、記憶部１２０は、記憶装置３０６により実装され得る。

スピーカ１３０は、他の端末１００の音声情報を出力する。なお、スピーカ１３０は、音声出力装置３１０に対応する。

表示部１４０は、ユーザ支援制御部１１２の出力指示に基づいた表示を表示する。表示部１４０は、話し手が話す内容に関する表示し、また、聞き手の心身状態が所定の心身状態であると判定されたときのユーザの視線情報に対応する部分を示す表示を表示する。表示部１４０は、端末１００を利用するユーザの画像、話し手Ｕ１が説明に用いる資料、聞き手からの質問事項、ユーザに対する操作説明等を表示してもよい。なお、表示部１４０は、表示装置３０５に対応する。

ここで、図６及び図７を参照して、ユーザ支援制御部１１２によって表示部１４０に表示される画面例を説明する。図６は、話し手が利用する端末のユーザ支援制御部が出力する画面の一例を示す図である。図７は、聞き手が利用する端末のユーザ支援制御部が出力する画面の一例を示す図である。

話し手Ｕ１に利用される端末１００Ａの表示部１４０Ａは、オブジェクト表示領域１４１、及び閲覧情報表示領域１４３を含んでもよい。オブジェクト表示領域１４１は、例えば、話し手Ｕ１が説明に使用する資料Ａを表示してもよい。表示部１４０Ａには、視線情報及び心身状態情報に基づいて生成された表示１４２がオブジェクト表示領域１４１に表示されたオブジェクトに重ね合わせて表示されてもよい。表示１４２は、ユーザ支援制御部１１２の出力指示によって表示される。図６では、表示１４２として、オブジェクト表示領域１４１に表示されたオブジェクトに含まれるキーワードが強調表示されるとともに、この強調表示されたキーワードに対して、「詳細に説明してください。」という表示がされている。強調表示は、テキスト情報に対してだけでなく、映像情報に対して表示されてもよい。このように、ユーザ支援制御部１１２は、表示部１４０Ａが表示する表示のうち、視線情報に対応した部分に、聞き手の心身状態に応じた情報を出力してもよい。

閲覧情報表示領域１４３には、閲覧情報が表示される。また、閲覧情報表示領域１４３には、例えば、聞き手によってされた質問が表示されてもよい。当該質問は、聞き手Ｕ２が行った質問であってもよいし、聞き手Ｕ３が行った質問であってもよい。よって、例えば、聞き手Ｕ２に利用される端末１００Ｂの閲覧情報表示領域１４３には、聞き手Ｕ２が行った質問が表示されてもよいし、聞き手Ｕ３が行った質問が表示されてもよい。この閲覧情報表示領域１４３には、例えば、聞き手の心身状態情報の一つである困惑度、及び、困惑状態にあると判断された聞き手の人数に基づいて設定された質問の優先度に応じて、質問内容が表示されてもよい。具体的には、閲覧情報表示領域１４３では、優先度が高い質問が上方に表示され、優先度が低い質問は、閲覧情報表示領域１４３の下方に表示されてもよい。また、閲覧情報表示領域１４３には、後述する閲覧情報管理テーブル６００が表示されてもよい。話し手Ｕ１は、説明中に閲覧情報表示領域１４３に表示された内容を見ることで、聞き手がどのような内容について困惑を示しているかを判断することができ、閲覧情報表示領域１４３の表示内容に応じて、説明内容の補足や修正などを行うことができる。具体的には、話し手Ｕ１は、説明の中で閲覧情報表示領域１４３に表示された優先度の高い質問について説明を加えることができる。また、話し手Ｕ１は、例えば、表示部１４０に表示された資料Ａについての説明を一通り終えた後に優先度の高い質問から順に、閲覧情報表示領域１４３に表示された質問に対する回答をすることが可能となる。

聞き手に利用される端末１００Ｂの表示部１４０Ｂは、オブジェクト表示領域１４１、及び閲覧情報表示領域１４３を含んでもよい。表示部１４０Ｂは、例えば、図７に示したように、話し手Ｕ１が説明に使用する資料Ａに対応するオブジェクトを表示してもよい。また、閲覧情報表示領域１４３には、聞き手Ｕ２によってされた質問又は他の聞き手Ｕ３によってされた質問が表示されてもよい。

また、表示部１４０Ｂには、聞き手が利用する端末１００からサーバ２００に送信された、視線情報及び心身状態情報に基づいて生成された表示１４５がオブジェクト表示領域１４１のオブジェクトに重ね合わせて表示される。表示１４５は、ユーザ支援制御部１１２の出力指示によって表示される。表示１４５としては、例えば、図７に示したように、オブジェクト表示領域１４１のオブジェクトに含まれるキーワードが強調表示されるとともに、この強調表示されたキーワードに対する操作のメニューがされてもよい。図７では、当該キーワードに対して、「検索」、「質問」または「終了」の選択肢が表示されている。聞き手Ｕ２は、例えば、「検索」を選択すると、表示部１４０Ｂの所定の領域に、キーワードに関する情報が表示されてもよい。聞き手Ｕ２が「質問」を選択すると、聞き手Ｕ２は、質問内容を入力することができるようにしてもよい。質問内容の入力は、操作部１６０を介して聞き手Ｕ２によって入力されてもよいし、マイク１５０を介して音声入力されてもよい。音声入力された質問内容は、公知の音声認識技術でテキスト変換されてもよい。または、聞き手Ｕ２は、操作部１６０を介して質問表示領域に表示された質問内容を選択してもよい。また、表示部１４０には、視線情報又は心身状態情報が表示されてもよい。表示部１４０には、聞き手が複数存在する場合は、視線情報又は心身状態情報の集計結果が表示されてもよい。ここまで、図６及び図７を参照して、ユーザ支援制御部１１２によって表示部１４０に表示される画面例を説明した。以下では、引き続き図３を参照して、端末１００の機能構成を説明する。

図３に示すマイク１５０は、端末１００を利用するユーザの発言を入力する。なお、マイク１５０は、音声入力装置３０９に対応する。

操作部１６０は、端末１００に対する入力インタフェースである。ユーザは、操作部１６０を介して、端末１００に対して各種の情報の入力や指示入力を行うことができる。例えば、話し手Ｕ１は、操作部１６０を介して、説明する資料を選択することができる。また、聞き手Ｕ２は、操作部１６０を介して、検索、質問等を行うことができる。操作部１６０は、例えばキーボード等のハードキー、マウス、タッチパネル等の表示部１４０に表示されるソフトキーであってもよい。なお、操作部１６０は、操作装置３０４に対応する。

撮影部１７０は、端末１００を操作するユーザを撮影する。撮影部１７０は、ユーザの表情又は動作から、心理状態を判定するための画像を撮影する。例えば、撮影部１７０は、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）カメラであってもよい。なお、撮影部１７０は、画像入力装置３０８に対応する。

通信部１８０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク３００を通じてサーバ２００とデータの送受信を行う。通信部１８０は、有線であってもよく、また無線であってもよい。なお、通信部１８０は、通信装置３０７に対応する。

［サーバ２００］
サーバ２００は、仮想のコミュニケーション空間を生成し、端末１００を利用するユーザにコミュニケーションの場を提供する。具体的には、サーバ２００は、端末１００からユーザの画像及び音声を収集し、収集されたユーザの画像及び音声を、他の端末１００に提供する。これにより、例えば、遠隔した拠点に存在するユーザは、接続された端末１００を利用するユーザの画像及び音声を共有することが可能となる。

（サーバ２００のハードウェア構成）
ここで、図８を参照して、サーバ２００のハードウェア構成を説明する。図８は、本実施形態に係るサーバのハードウェア構成の一例を示すブロック図である。図８に示したように、サーバ２００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、記憶装置４０４、通信装置４０５及びバス４０６を備える。

ＣＰＵ４０１は、サーバ２００における様々な処理を実行する。ＣＰＵ４０１は、演算処理装置及び制御装置として機能し、各種プログラムに従ってサーバ２００内の動作全般を制御する。ＣＰＵ４０１は、例えば、マイクロプロセッサであってもよい。ＲＯＭ４０２は、ＣＰＵ４０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ４０３は、ＣＰＵ４０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。ＣＰＵ４０１、ＲＯＭ４０２及びＲＡＭ４０３とソフトウェアとの協働により、制御部２３０の機能が実現され得る。

記憶装置４０４は、一時的又は恒久的に保存すべきデータを記憶する。記憶装置４０４は、例えば、ハードディスク等の磁気記憶装置であってもよく、又はＥＥＰＲＯＭ及びフラッシュメモリ等の不揮発性メモリ、あるいは同等の機能を有するメモリ等であってもよい。記憶装置４０４は、本実施形態にかかるサーバ２００の記憶部２２０の一例として構成され得る。記憶装置４０４は、ＣＰＵ４０１が実行するプログラムや各種データを記憶する。

通信装置４０５は、ネットワーク３００を介して（あるいは、直接的に）端末１００と通信する。通信装置４０５は、無線通信用インタフェースであってもよく、この場合には、例えば、通信アンテナ、ＲＦ回路及びその他の通信処理用の回路を含んでもよい。また、通信装置４０５は、有線通信用のインタフェースであってもよく、この場合に、例えば、ＬＡＮ端子、伝送回路及びその他の通信処理用の回路を含んでもよい。

バス４０６は、ＣＰＵ４０１、ＲＯＭ４０２及びＲＡＭ４０３を相互に接続する。バス４０６には、さらに、記憶装置４０４及び通信装置４０５が接続される。バス４０６は、例えば、複数の種類のバスを含んでもよい。バス４０６は、例えば、ＣＰＵ４０１、ＲＯＭ４０２及びＲＡＭ４０３を接続する高速バスと、当該高速バスよりも低速の別のバスを含んでもよい。

本実施形態において、上述した端末１００及びサーバ２００の協働により、ユーザ間のコミュニケーションにおいて、用いられる複数の資料に対応する表示オブジェクトを含む表示画面が各ユーザに提供される。本実施形態では、ユーザ間で共有している資料について話し手が説明する場合に、ユーザ同士がより円滑にコミュニケーションをとることが可能となる。

（サーバ２００の機能構成）
次に、図９～図１１を参照して、本実施形態に係るサーバ２００の機能構成の一例を説明する。図９は、本実施形態に係るサーバの構成の一例を示すブロック図である。図１０は、聞き手が利用する端末の閲覧情報管理テーブルの一例を示す表である。図１１は、話し手が利用する端末の閲覧情報管理テーブルの一例を示す表である。サーバ２００は、先立って説明したように、仮想のコミュニケーション空間を生成する。図９を参照すると、サーバ２００は、通信部２１０、記憶部２２０、及び制御部２３０を備える。

通信部２１０は、端末１００と通信する。通信部２１０は、例えば、ＬＡＮに直接的に接続され、端末１００と通信する。

記憶部２２０は、話し手Ｕ１の端末１００Ａから送信された資料Ａ、聞き手の資料Ａの閲覧時に作成される閲覧情報管理テーブル５００、話し手Ｕ１の端末１００Ａに送信される閲覧情報管理テーブル６００を格納してもよい。閲覧情報管理テーブル５００は、例えば、聞き手ごとの閲覧情報が記録されるテーブルである。閲覧情報管理テーブル５００は、例えば、図１０に示したように、視対象情報、心身状態、視線の滞留時間、聞き手Ｕ２に困惑が生じた視対象情報に対する聞き手の対応等が記録されてもよい。閲覧情報管理テーブル６００は、聞き手の閲覧情報が後述する閲覧情報管理部２３２によってまとめられたテーブルである。閲覧情報管理テーブル６００は、例えば、図１１に示したように、視対象情報、心身状態、聞き手Ｕ２に困惑が生じた視対象情報に対する聞き手の対応等が記録されてもよい。さらに、閲覧情報管理テーブル６００には、一つの視対象情報において、心身状態判定部１１６７によって所定の心身状態であると判定された聞き手の人数が記録されてもよい。また、閲覧情報管理テーブル６００には、一つの視対象情報において、複数の聞き手による視線の総滞留時間が記載されてもよい。また、閲覧情報管理テーブル６００には、聞き手ごとの閲覧情報が記録されてもよい。閲覧情報管理テーブル５００及び閲覧情報管理テーブル６００は、端末１００の記憶部１２０又はサーバ２００の記憶部２２０に格納されてよい。

図９に示した、制御部２３０は、サーバ２００の各構成を制御する機能を有する。制御部２３０は、コミュニケーション空間生成部２３１、閲覧情報管理部２３２を有する。また、制御部２３０は、通信部２１０を介して、端末１００からの要求に応じて、記憶部２２０にコミュニケーション中の音声情報及び画像情報を保存し、保存された音声情報又は画像情報を各端末１００へ送信する。なお、制御部２３０は、ＣＰＵ３０１、ＲＯＭ３０２及びＲＡＭ３０３により実装され得る。

コミュニケーション空間生成部２３１は、ユーザ間でコミュニケーションを開始する際に仮想的なコミュニケーション空間を生成する。閲覧情報管理部２３２は、端末１００Ｂ及び端末１００Ｃから送信された聞き手の閲覧情報を、記憶部２２０に端末１００ごとに閲覧情報管理テーブル５００に記録する。また、閲覧情報管理部２３２は、端末１００ごとに閲覧情報管理テーブルに記録された閲覧情報を統合し、話し手の端末１００Ａの閲覧情報管理テーブル６００に記録する。

＜１－２．コミュニケーション支援システムの動作＞
続いて、図１２を参照して、本実施形態に係るコミュニケーション支援システムの動作について説明する。図１２は、本実施形態に係るコミュニケーション支援システムの動作の流れの一例を示すシーケンス図である。

図１２を参照して、話し手Ｕ１が利用する端末１００Ａ、聞き手Ｕ２が利用する端末１００Ｂ、聞き手Ｕ３が利用する端末１００Ｃ及びサーバ２００がネットワーク３００によって相互に接続されている場合を説明する。

まず、ステップＳ１０１において、端末１００Ａ、端末１００Ｂ、及び端末１００Ｃのそれぞれは、話し手Ｕ１、聞き手Ｕ２、及び聞き手Ｕ３それぞれの、操作部１６０を介した接続要求が入力される。次いで、ステップＳ１０３において、端末１００Ａ、端末１００Ｂ及び端末１００Ｃは、操作処理部１１４によって、接続要求をサーバ２００へ送信する。

次いで、ステップＳ１０５において、サーバ２００に備えられるコミュニケーション空間生成部２３１は、話し手Ｕ１、聞き手Ｕ２及び聞き手Ｕ３がコミュニケーション可能な仮想的なコミュニケーション空間を生成する。そして、ステップＳ１０７において、話し手Ｕ１の端末１００Ａの操作処理部１１４は、コミュニケーション空間上に、例えば、話し手Ｕ１が説明のために利用する資料Ａのデータを送信する。続いて、ステップＳ１０９において、サーバ２００は、聞き手Ｕ２の端末１００Ｂ及び聞き手Ｕ３の端末１００Ｃへ資料Ａのデータを送信する。このとき、端末１００とサーバ２００間で呼制御に係る処理が行われてもよい。これにより、ステップＳ１１１で、端末１００Ａ、端末１００Ｂ、端末１００Ｃ及びサーバ２００の間で当該コミュニケーションのセッションが開始される。そして、ステップＳ１１３において、端末１００Ａの表示部１４０Ａ、端末１００Ｂの表示部１４０Ｂ、及び端末１００Ｃの表示部１４０Ｃに、資料Ａが表示される。

続いて、ステップＳ１１５で、端末１００Ｂが、聞き手Ｕ２の視線情報及び心身状態情報を取得すると、情報処理部１１８は、視線情報及び心身状態情報を端末１００Ｂの閲覧情報管理テーブル５００に記録する。

ここで、ステップＳ１１５の動作の詳細について図１３を用いて説明する。図１３は、本実施形態に係る端末の動作の流れの一例を示す流れ図である。

まず、ステップＳ２０１において、端末１００Ｂが有する画像取得部１１６１は、聞き手Ｕ２が利用する端末１００Ｂの撮影部１７０によって撮像された聞き手Ｕ２の顔を含む画像を取得する。

次いで、ステップＳ２０３において、ユーザ検出部１１６３は、ステップＳ２０１で取得された画像から聞き手Ｕ２の顔部分の領域を検出する。次いで、ステップＳ２０５で、ユーザ検出部１１６３は、ステップＳ２０３で検出された顔部分の領域における聞き手Ｕ２の目部分の領域を検出する。

次いで、ステップＳ２０７において、視線情報取得部１１６５は、ステップＳ２０５で検出された目部分の領域の画像から、目の特徴点（例えば、目頭、目尻、瞳孔位置、瞳孔中心等）を抽出し、視線方向推定のための特徴点を抽出する。視線情報取得部１１６５は、ステップＳ２０５で検出された聞き手Ｕ２の目部分を解析することで視線の方向を算出する。視線情報取得部１１６５は、算出された視線の方向及び算出時の時間についての情報を取得してもよい。

次いで、ステップＳ２０９において、情報処理部１１８は、ステップＳ２０７で算出された聞き手Ｕ２の視線情報から、視線が向けられている対象の情報である視対象情報を取得する。ここで言う視対象情報とは、例えば、表示部１４０Ｂに表示された資料Ａのテキスト、図、表、映像情報等である。

次いで、ステップＳ２１１において、視線情報取得部１１６５は、ステップ２０７で取得された視線情報から、聞き手Ｕ２の目の動きを検出する。ここで言う視線の動きとは、例えば、視線の滞留時間、移動距離などである。

次いで、ステップＳ２１３において、心身状態判定部１１６７は、撮影部１７０で撮影された利用者の顔画像から表情分析を行い、ユーザＵ２の心身状態、例えば困り状態を判定する。

次いで、ステップＳ２１５において、情報処理部１１８は、心身状態判定部１１６７によって心身状態情報が取得されたときの聞き手Ｕ２の視線位置を検出する。具体的には、撮影部１７０Ｂで撮影された聞き手の顔画像から目の位置を特定し、資料Ａのどの部分を見ているか視線位置を検出する。情報処理部１１８は、検出された視線位置に対応する視対象情報を特定する。特定された視対象情報は、図１０に示した、閲覧情報管理テーブル５００に記録され、閲覧情報管理テーブル５００は、記憶部１２０に格納される。

次いで、ステップＳ２１７において、聞き手Ｕ２の閲覧情報が、情報処理部１１８によって、例えば、図１０に示した閲覧情報管理テーブル５００に記録される。このとき、ユーザ支援制御部１１２は、例えば、図７に示した表示１４５を表示部１４０Ｂに表示してもよい。具体的には、ユーザ支援制御部１１２は、聞き手Ｕ２が見ている視対象情報を、聞き手Ｕ２が利用する端末１００Ｂの表示部１４０の表示画面上でハイライトすると共に、ハイライトした位置に、視対象情報に対する操作方法を提示するメニューを表示してもよい。ここまで、ステップＳ１１５の動作の詳細について説明した。以下では、図１２を参照して、ステップＳ１１７以降の動作について説明する。

図１２に示したステップＳ１１７において、通信部１８０を介して、端末１００Ｂによって取得された視線情報、心身状態情報、閲覧情報、質問等は、サーバ２００に送信される。

ステップＳ１１７において、聞き手Ｕ２が話し手Ｕ１に質問をする場合は、聞き手Ｕ２は、操作部１６０から質問表示領域１４４に表示された質問内容を選択するか、マイク１５０を用いて音声で入力する。入力された音声は音声認識でテキスト変換されてもよい。質問が入力されると、例えば困惑度に例示される心身状態情報、質問内容、視線位置などが閲覧情報管理テーブル５００に記録され、端末１００Ｂから通信部１８０を介してサーバ２００に送信される。聞き手Ｕ２が話し手Ｕ１に質問をしないときは、検索ボタンを選択すると、視対象情報に関する情報、例えば、視対象情報に関する詳細な説明などが表示される。

そして、ステップＳ１１９において、サーバ２００は、端末１００Ｂから送信された閲覧情報管理テーブル５００及び、サーバ２００が有する閲覧情報管理テーブル６００を更新する。

続いて、ステップＳ１２１で、サーバ２００は、端末１００Ａ、端末１００Ｂ及び端末１００Ｃへ、更新された仮想空間のデータを送信する。仮想空間のデータとは、コミュニケーション支援システム１を利用する際に、端末１００間で共有されるデータであり、例えば、表示部１４０に表示される画面に関するデータ、閲覧情報管理テーブル５００、及び閲覧情報管理テーブル６００等である。これにより、ステップＳ１２３で、端末１００Ａ、端末１００Ｂ及び端末１００Ｃの表示部１４０において、受信した仮想空間のデータに対応して、表示部１４０の表示が変更される。

なお、図１２においては、聞き手Ｕ２の心身状態が判定される例を記載したが、聞き手Ｕ３の視線及び心身状態の検出をした場合でも同様の処理が行われる。また、複数の聞き手それぞれに利用される端末１００によって、それぞれの聞き手の心身状態が判定されてもよい。サーバ２００は、複数の聞き手に利用される端末１００から送信される各種情報の処理に同時に対応可能なものであってよい。

以上のように本実施形態に係るコミュニケーション支援システムによれば、聞き手の視線情報と心身状態に基づいて、話し手が話す内容に対する聞き手の理解度を判定することができ、話し手は、聞き手の様子を把握しながら説明をすることが可能となる。

＜＜２．第２の実施形態＞＞
＜２－１．コミュニケーション支援システムの構成＞
続いて、図１４～図１６を参照して、本発明に係る第２の実施形態について説明する。図１４は、本実施形態に係るサーバの構成の一例を示すブロック図である。図１５は、専門家情報管理テーブルの一例を示す表である。図１６は、話し手が利用する端末の閲覧情報管理テーブルの一例を示す表である。

第２の実施形態に係るコミュニケーション支援システムは、端末１００、サーバ４００、及びネットワーク３００を備える。端末１００の構成及びネットワーク３００は、第１の実施形態と実質的に同一であるため、ここでの詳細な説明は省略する。サーバ４００は、第１の実施形態におけるサーバ２００の構成に加え、制御部２３０内に質問空間生成部２３３を有する。

質問空間生成部２３３は、例えば、図１５に示した、記憶部２２０内に保存される専門家情報管理テーブル７００を参照し、所定の分野に詳しい専門家を聞き手Ｕ２に提示することができる。専門家は、予め専門家情報管理テーブル７００に登録されてもよい。専門家情報管理テーブル７００では、図１５に示したように、所定のキーワードと当該キーワードに関する詳しい知識を有する専門家が紐づけられている。一つのキーワードに対し、一人の専門家が紐づけられてもよいし、複数の専門家が紐づけられてもよい。質問空間生成部２３３は、聞き手Ｕ２が資料Ａの閲覧時に困惑状態となる場合、聞き手Ｕ２に困惑を引き起こしている視対象情報について詳細な知識を有する専門家を紹介する。質問空間生成部２３３は、コミュニケーション空間とは別の仮想的な質問空間を生成する。質問空間生成部２３３によって、聞き手Ｕ２と専門家とをつなぐものであってよい。専門家は、ネットワーク３００を介して接続された端末１００を利用するユーザであってもよい。

質問空間生成部２３３は、心身状態判定部１１６７による聞き手の心身状態の判定結果に基づいて質問仮想空間を生成することができる。質問空間生成部２３３は、心身状態判定部１１６７が聞き手の心身状態を判定する際に用いる判定条件に基づいて、質問仮想空間を生成してもよい。具体的には、図１６では、所定のキーワードを有する視対象情報で困惑した回数を保存する困惑回数の項目が追加されており、質問空間生成部２３３は、所定の視対象情報に対して、困惑回数が所定の回数以上となった場合に、質問仮想空間を生成してもよい。例えば、図１６に示したように、資料Ａの１０ページ目に記載された「テレワーク」というテキスト情報に対して、聞き手の困惑回数が３回以上となったときに、質問空間生成部２３３は、質問仮想空間を生成してもよい。また、質問空間生成部２３３は、視対象情報への聞き手の視線の滞留時間に基づいて質問仮想空間を生成してもよい。

更に、質問空間生成部２３３は、聞き手が利用する一つの端末１００の心身状態判定部１１６７による判定結果だけでなく、複数の端末１００の心身状態判定部１１６７の判定結果に基づいて質問仮想空間を生成してもよい。また、質問空間生成部２３３は、所定の聞き手が利用する端末１００の心身状態判定部１１６７の判定結果に基づいて質問仮想空間を生成してもよい。

ユーザ支援制御部１１２は、聞き手の心身状態が困惑状態であると判定されたときの聞き手の視線情報に対応する部分に関連する人物へ問合せを促す表示を出力してもよい。ユーザ支援制御部１１２は、例えば、図１８に示したように、困惑した状態が検出された視対象情報に詳しい専門家の一覧を出力してもよい。聞き手は、問合せを促す表示を選択することで、生成された質問空間において、聞き手が困惑状態となったときの視対象情報に関する質問を専門家に対して行うことが可能となる。

＜２－２．コミュニケーション支援システムの動作＞
続いて、図１７及び図１８を参照して、本実施形態に係るコミュニケーション支援システムの動作について説明する。図１７は、本実施形態に係る端末の動作の流れの一例を示す流れ図である。図１８は、聞き手が利用する端末のユーザ支援制御部が出力する画面の一例を示す図である。

図１７に示した動作を示す図のＳ２０１～Ｓ２１７は、第１の実施形態における図１３に示したＳ２０１～Ｓ２１７の処理と実質的に同一である。本実施形態におけるコミュニケーション支援システムの動作と第１の実施形態の動作との主な差異は、Ｓ２１９以降の処理を有することにある。

ステップＳ２１７で、情報処理部１１８が、心身状態判定部１１６７によって心身状態情報が取得されたときの聞き手Ｕ２の視線位置を検出した後、情報処理部１１８は、閲覧情報管理テーブル５００に記録されたキーワードと、キーワード閲覧時の聞き手の困惑発生回数を算出する。同じキーワードを有する視対象情報に対し一定回数以上、例えば３回以上、所定の心身状態の一つである困惑した状態を検出した場合、情報処理部１１８は、聞き手にとって当該キーワードの理解が難しいと判断し、ステップＳ２２１を実行し、専門家情報管理テーブル７００に登録された専門家に対して質問するための質問仮想空間を生成する。

ステップＳ２２１で質問仮想空間が生成されると、図１８に示したように、専門家情報管理テーブル７００に登録されている専門家のうちの、困惑した状態が検出された視対象情報に詳しい専門家の一覧を表示する専門家表示領域１４６が表示される。聞き手は、専門家表示領域１４６に表示された専門家を選択することで、上記視対象情報について専門家に問い合わせをすることが可能となる。

以上説明したように、第２の実施形態によれば、聞き手に提示された資料において、資料中の情報と、その情報に対して聞き手の困惑状態とから、予め登録された専門分野に詳しい人とコミュニケーションをとることが可能となる。その結果、聞き手は、コミュニケーションにおいて、提示資料について詳しい説明を受けることができ、話し手が話す内容を正確に理解することが可能となる。

＜＜３．変形例＞＞
以上、本発明の実施形態を説明した。以下では、本発明の実施形態の変形例を説明する。なお、以下に説明する変形例は、本発明の実施形態で説明した構成に代えて適用されてもよいし、本発明の実施形態で説明した構成に対して追加的に適用されてもよい。

本発明の実施形態において、質問空間生成部２３３が質問空間を生成した後、サーバ４００の記憶部２２０内に保存される専門家情報管理テーブル７００に登録された専門家と接続して質問をする場合について説明したが、本発明の実施形態はこれに限定されるものではない。例えば、コミュニケーション支援システムが生成する仮想空間にアクセス可能な専門家がいないときは、生成された質問仮想空間上で質問を登録しておくと、専門家が利用する端末がアクセス可能となったときに、その専門家が質問に対応できるようにしてもよい。また、端末１００は、表示部１４０にインタフェースエージェントを表示し、聞き手はインタフェースエージェントを介して情報検索をするようにしてもよい。ユーザ支援制御部１１２は、表示部１４０に、専門家が事前に登録した情報のうちの該当する情報を自動的に表示するようにしてもよい。

表示部１４０が表示する資料Ａには、公開レベル、例えば、関係者内、部内、社内などが設定されてもよい。聞き手は、この公開レベルに応じて、質問空間で問い合わせすることができる専門家や提示可能な情報を提示できるようにしてもよい。例えば、公開レベルが「会議関係者内」であれば、情報処理部１１８は、会議に関係する専門家に対して質問可能であるが、会議に関係しない専門家に対しては質問できないようにしてもよい。具体的には、専門家情報管理テーブル７００に公開レベルが登録されており、情報処理部１１８は、所定の公開レベルを有する専門家名を表示部１４０の専門家表示領域１４６に表示してもよい。また、会議に関係しない専門家に対して質問可能な内容を制限してもよく、例えば、専門家は、資料Ａに記載されたキーワードの説明以外を回答できないようにしてもよい。また、より公開レベルが広いものであれば該当するページの情報を専門家と共有し、聞き手は、専門家に質問できるようにするなどの設定をできるようにしてもよい。

また、情報処理部１１８は、困惑したキーワード数と困惑回数から聞き手の理解レベルを判定し、ユーザ支援制御部１１２は、表示部１４０に聞き手の理解レベルに応じて情報を提示するようにしてもよい。ユーザ支援制御部１１２は、例えば、理解レベルが低い聞き手に対して、常に資料Ａに記載されたキーワードの意味を表示したり、話し手の説明で理解が難しいものは解説情報を資料Ａに重ねて表示したりするようにしてもよい。

また、聞き手Ｕ２が利用する端末１００Ｂの閲覧情報管理テーブル５００は、聞き手Ｕ３が利用する端末１００Ｃに送信されてもよい。これにより、聞き手の閲覧情報を共有化することができるため、聞き手の視線情報と心身状態から話し手が話す内容に対する他の聞き手の理解度を判定することができる。これにより、話し手及び聞き手双方が、話し手に対して聞き手が理解できない内容を把握しながら説明をすることが可能となる。

また、端末１００がユーザ支援制御部及び画像処理部を有する場合を説明したが、サーバ２００がユーザ支援制御部及び画像処理部を有してもよい。

＜＜４．結び＞＞
以上説明したように、本発明の実施形態によれば、ユーザがより円滑なコミュニケーションをとることが可能となる。

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書の端末１００の処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、端末１００の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

さらに、端末１００に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアに、上述した端末１００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

１ コミュニケーション支援システム
１００、１００Ａ、１００Ｂ、１００Ｃ 端末
１１０、２３０ 制御部
１１２ ユーザ支援制御部
１１４ 操作処理部
１１６ 画像処理部
１１６１ 画像取得部
１１６３ ユーザ検出部
１１６５ 視線情報取得部
１１６７ 心身状態判定部
１１８ 情報処理部
１２０、２２０ 記憶部
１３０ スピーカ
１４０ 表示部
１５０ マイク
１６０ 操作部
１７０ 撮影部
１８０、２１０ 通信部
２００ サーバ
２３１ コミュニケーション空間生成部
２３２ 閲覧情報管理部
３００ ネットワーク

Claims (16)

1. 話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援装置であって、
   前記出力制御部は、前記表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示とともに、所定のコマンドを出力する、コミュニケーション支援装置。
2. 聞き手の前記視線情報を取得する視線情報取得部と、
   前記聞き手の前記心身状態を判定する心身状態判定部と、をさらに備える、請求項１に記載のコミュニケーション支援装置。
3. 前記出力制御部は、前記心身状態判定部による判定結果を出力する、請求項２に記載のコミュニケーション支援装置。
4. 前記出力制御部は、前記表示のうちの前記視線情報に対応した部分を示す表示とともに、聞き手の前記心身状態に応じた情報を出力する、請求項１～３のいずれか１項に記載のコミュニケーション支援装置。
5. 前記出力制御部は、聞き手の心身状態が所定の心身状態であると判定された回数に応じて、前記心身状態に応じた前記コマンドを出力する、請求項１～４のいずれか１項に記載のコミュニケーション支援装置。
6. 話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援装置であって、
   前記出力制御部は、前記表示のうち、聞き手の心身状態が困惑した状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示とともに、前記聞き手の視線情報に対応する部分に関する情報の検索を促す表示、又は前記聞き手の視線情報に対応する部分に関する質問を促す表示を出力する、コミュニケーション支援装置。
7. 前記出力制御部は、入力された前記質問を他のコミュニケーション支援装置に送信する、請求項６に記載のコミュニケーション支援装置。
8. 同一又は類似した内容の前記質問が入力された前記コミュニケーション支援装置の数に基づいて優先度を設定する情報処理部をさらに備え、
   前記出力制御部は、前記優先度に基づいて前記質問を表示する、請求項６又は７に記載のコミュニケーション支援装置。
9. 前記出力制御部は、前記聞き手の視線情報に対応する部分を示す表示とともに、前記優先度が高い前記質問を表示する、請求項８に記載のコミュニケーション支援装置。
10. 話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援装置であって、
    前記出力制御部は、前記表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示を出力し、当該部分に関連する人物へ問合せを促す表示を出力する、コミュニケーション支援装置。
11. 話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援システムであって、
    聞き手の視線情報を取得する視線情報取得部と、
    前記聞き手の心身状態を判定する心身状態判定部と、
    を備え、
    前記出力制御部は、前記表示のうち、前記心身状態判定部によって所定の心身状態であると判定されたときの前記視線情報に対応する部分を示す表示とともに、所定のコマンドを出力する、コミュニケーション支援システム。
12. 話し手が話す内容に関する表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示とともに、所定のコマンドを出力すること、を含む、通信方法。
13. 話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援システムであって、
    聞き手の視線情報を取得する視線情報取得部と、
    前記聞き手の心身状態を判定する心身状態判定部と、
    を備え、
    前記出力制御部は、前記表示のうち、聞き手の心身状態が困惑した状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示とともに、前記聞き手の視線情報に対応する部分に関する情報の検索を促す表示、又は前記聞き手の視線情報に対応する部分に関する質問を促す表示を出力する、コミュニケーション支援システム。
14. 話し手が話す内容に関する表示のうち、聞き手の心身状態が困惑した状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示とともに、前記聞き手の視線情報に対応する部分に関する情報の検索を促す表示、又は前記聞き手の視線情報に対応する部分に関する質問を促す表示を出力すること、を含む、通信方法。
15. 話し手が話す内容に関する表示を出力する出力制御部を備えるコミュニケーション支援システムであって、
    聞き手の視線情報を取得する視線情報取得部と、
    前記聞き手の心身状態を判定する心身状態判定部と、
    を備え、
    前記出力制御部は、前記表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示を出力し、当該部分に関連する人物へ問合せを促す表示を出力する、コミュニケーション支援システム。
16. 話し手が話す内容に関する表示のうち、聞き手の心身状態が所定の心身状態であると判定されたときの前記聞き手の視線情報に対応する部分を示す表示を出力し、当該部分に関連する人物へ問合せを促す表示を出力すること、を含む、通信方法。
    

Images