WO2018158852A1

WO2018158852A1 - 通話システム及びコミュニケーションシステム

Info

Publication number: WO2018158852A1
Application number: PCT/JP2017/007961
Authority: WO
Inventors: 孝政大澤; 潤岩田; 俊博米久保; 亨子原
Original assignee: サン電子株式会社
Priority date: 2017-02-28
Filing date: 2017-02-28
Publication date: 2018-09-07
Also published as: JPWO2018158852A1

Abstract

通話システムは、２個以上の画像表示装置と、２個以上の画像表示装置のそれぞれと通信可能に接続されている情報処理装置とを備える。情報処理装置は、２個以上の画像表示装置のそれぞれから状態情報を受信し、それぞれのユーザを表す２個以上のキャラクタ画像を生成する。２個以上のキャラクタ画像のそれぞれは、対応する画像表示装置から受信される状態情報が示す状態に応じた表示態様を有している。情報処理装置は、２個以上の画像表示装置のそれぞれについて、当該画像表示装置のための表示画面データを生成し、生成された当該画像表示装置のための表示画面データを送信する。

Description

通話システム及びコミュニケーションシステム

　本明細書によって開示される技術は、２個以上の画像表示装置と、情報処理装置と、を備え、各画像表示装置のユーザが画像を見ながらユーザ同士で通信をするための通話システム及びコミュニケーションシステムに関する。

　例えば、特開２００６－３５２３０９号公報（以下、特許文献１という）には、アバターの表示機能を備えた電話機が開示されている。この電話機は、同様の機能を備える電話機を所持する通話相手との通話中に、ディスプレイに、ユーザ自身の第１のアバターと通話相手の第２のアバターとを表示させる。通話相手の電話機のディスプレイにも同様に第１のアバターと第２のアバターとが表示される。ユーザは、通話中に電話機に操作することにより、ユーザ自身のアバターである第１のアバターの態様を変更することができる。第１のアバターの態様の変更は、通話相手の電話機のディスプレイに表示されている第１のアバターにも反映される。これにより、互いのディスプレイに表示されるアバターの態様を、ユーザの状況に合わせて適宜変更しながら円滑にコミュニケーションを図ることを可能にしている。

　特許文献１の技術によると、ユーザが操作を行わない限り、互いのディスプレイに表示されるアバターの態様が変更されない。また、ユーザの操作によって態様が変更されたアバターが、ユーザの実際の状態を適切に反映しないおそれもある。

　本明細書では、２個以上の画像表示装置のそれぞれのユーザが、操作を行わなくても、ユーザの状態を適切に反映させた表示画面を見ながら通信を行い得る技術を開示する。

　本明細書によって開示される通話システムは、２個以上の画像表示装置と、前記２個以上の画像表示装置のそれぞれと通信可能に接続されている情報処理装置と、を備える。前記２個以上の画像表示装置のそれぞれは、ユーザの頭部に装着可能なフレームと、前記フレームに備えられ、前記フレームを装着した前記ユーザの眼に対向する位置に配置される表示部と、前記フレームを装着した前記ユーザの状態に関係する状態情報を取得する取得部と、前記フレームを装着した前記ユーザの発する音声を入力するマイクと、音声出力データに従って音声を出力するスピーカと、制御部と、を備えている。前記制御部は、前記取得部によって取得された前記状態情報を前記情報処理装置に送信する情報送信部と、前記情報処理装置から、当該画像表示装置のための表示画面データを受信する第１のデータ受信部と、受信された前記表示画面データによって表される表示画面を前記表示部に表示させる表示制御部と、前記マイクに入力された前記音声を前記情報処理装置に送信する音声送信部と、前記情報処理装置から前記音声出力データを受信する第２のデータ受信部と、受信された前記音声出力データに従って、前記スピーカに音声を出力させる音声出力制御部と、を備える。前記情報処理装置は、前記２個以上の画像表示装置のそれぞれから前記音声を受信する音声受信部と、前記２個以上の画像表示装置のそれぞれから受信された前記音声に基づいて、前記２個以上の画像表示装置のそれぞれについて、当該画像表示装置のための前記音声出力データを生成する音声出力データ生成部と、前記２個以上の画像表示装置のそれぞれに対して、生成された当該画像表示装置のための前記音声出力データを送信する、音声出力データ送信部と、前記２個以上の画像表示装置のそれぞれから前記状態情報を受信する状態情報受信部と、前記２個以上の画像表示装置を装着するそれぞれのユーザを表す２個以上のキャラクタ画像を生成するキャラクタ画像生成部であって、前記２個以上のキャラクタ画像のそれぞれは、対応する前記画像表示装置から受信される前記状態情報が示す状態に応じた表示態様を有している、前記キャラクタ画像生成部と、前記２個以上の画像表示装置のそれぞれについて、当該画像表示装置のための前記表示画面データを生成する画面データ生成部であって、前記表示画面データによって表される前記表示画面は、生成された２個以上の前記キャラクタ画像のうちの少なくとも一部を含んでいる、前記画面データ生成部と、前記２個以上の画像表示装置のそれぞれに対して、生成された当該画像表示装置のための前記表示画面データを送信する、画面データ送信部と、を備える。

　上記の構成によると、ユーザが装着する画像表示装置の表示部には、当該画像表示装置のための表示画面が表示される。表示画面は、２個以上のキャラクタ画像のうちの少なくとも一部を含む。そして、各キャラクタ画像は、対応する画像表示装置から受信された状態情報が示す状態（即ち、当該画像表示装置を装着するユーザの状態）に応じた表示態様を有する。即ち、表示画面に含まれるキャラクタ画像は、対応するユーザの状態を適切に反映し得る。そのため、上記の構成によると、各画像表示装置を装着したユーザが操作を行わなくても、各ユーザは、各ユーザの状態を適切に反映させた表示画面を見ながら通信（具体的には通話）を行ない得る。

　ここで、「キャラクタ画像」は、ユーザを表わす画像（いわゆるアバター）、ユーザ本人の写真の画像を加工した画像等、ユーザのことを表現する任意の画像を含む。

　前記２個以上の画像表示装置は、第１の画像表示装置と、第１の画像表示装置とは異なる第２の画像表示装置と、を含んでもよい。前記画面データ生成部は、前記第１の画像表示装置のための第１の表示画面データと、前記第２の画像表示装置のための第２の表示画面データと、を生成してもよい。前記第１の表示画面データによって表される第１の表示画面は、前記第２の表示画面データによって表される第２の表示画面と異なってもよい。

　この構成によると、画像表示装置毎に、当該画像表示装置を装着するユーザのために適した表示画面を表示させ得る。

　前記第１の表示画面は、前記第１の画像表示装置を装着する第１のユーザを表す第１のキャラクタ画像を含まなくてもよい。前記第２の表示画面は、前記第２の画像表示装置を装着する第２のユーザを表す第２のキャラクタ画像を含まなくてもよい。

　この構成によると、第１のユーザは、自身を表わす第１のキャラクタ画像を含まない表示画面を見ることができる。同様に第２のユーザは、自身を表わす第２のキャラクタ画像を含まない表示画面を見ることができる。各ユーザは、自身を表わすキャラクタ画像以外のキャラクタ画像を含む表示画像を見得る。そのため、各ユーザが、他のユーザを表わすキャラクタ画像と実際に会話しているような感覚で通話を行い得る。

　前記第１の表示画面は、前記２個以上のキャラクタ画像のそれぞれが所定の配置で配置されている仮想空間を、前記第１のキャラクタ画像の視点から仮想的に見た場合の第１の仮想画面であってもよい。前記第２の表示画面は、前記仮想空間を、前記第２のキャラクタ画像の視点から仮想的に見た場合の第２の仮想画面であってもよい。この構成によると、各ユーザは、仮想空間内で他のユーザを表わすキャラクタ画像と実際に会話しているような感覚で通話を行ない得る。

　前記取得部は、前記フレームを装着した前記ユーザの眼を撮影するカメラを含んでもよい。前記状態情報は前記カメラで撮影された眼の画像を含んでもよい。前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記眼の画像に基づいて、対応する前記画像表示装置のユーザの感情と視線とのうちの少なくとも一方を特定し、特定された前記感情と前記視線とのうちの少なくとも一方を示す前記表示態様を有している前記キャラクタ画像を生成してもよい。

　この構成によると、表示画面において、キャラクタ画像がユーザの感情と視線とのうちの少なくとも一方を反映した態様で表示される。各ユーザは、表示画面中のキャラクタ画像を見ることで、そのキャラクタ画像に対応するユーザの感情又は／及び視線を把握することができる。従って、各ユーザは、表示画面中のキャラクタ画像に対応するユーザとの円滑なコミュニケーションを図り得る。

　前記取得部は、前記画像表示装置の姿勢を検出する三次元センサを含んでもよい。前記状態情報は前記三次元センサの検出値を含んでもよい。前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記三次元センサの前記検出値に基づいて、対応する前記画像表示装置のユーザの姿勢を特定し、特定された前記姿勢を示す前記表示態様を有している前記キャラクタ画像を生成してもよい。

　この構成によると、表示画面において、キャラクタ画像がユーザの姿勢を反映した態様で表示される。各ユーザは、表示画面中のキャラクタ画像を見ることで、そのキャラクタ画像に対応するユーザの姿勢を把握することができる。従って、各ユーザは、表示画面中のキャラクタ画像に対応するユーザとの円滑なコミュニケーションを図り得る。

　前記取得部は、前記フレームを装着した前記ユーザの脈拍と発汗の少なくとも一方を検出する生体センサを含んでもよい。前記状態情報は前記生体センサの検出値を含んでもよい。前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記生体センサの前記検出値に基づいて、対応する前記画像表示装置のユーザの感情と健康状態とのうちの少なくとも一方を特定し、特定された前記感情と前記健康状態とのうちの少なくとも一方を示す前記表示態様を有している前記キャラクタ画像を生成してもよい。

　この構成によると、表示画面において、キャラクタ画像がユーザの感情と健康状態とのうちの少なくとも一方を反映した態様で表示される。各ユーザは、表示画面中のキャラクタ画像を見ることで、そのキャラクタ画像に対応するユーザの感情又は／及び健康状態を把握することができる。従って、各ユーザは、表示画面中のキャラクタ画像に対応するユーザとの円滑なコミュニケーションを図り得る。

　前記取得部は、前記フレームを装着した前記ユーザの脳波を検出する脳波センサを含んでもよい。前記状態情報は前記脳波センサの検出値を含んでもよい。前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記脳波センサの前記検出値に基づいて、対応する前記画像表示装置のユーザの感情と健康状態とのうちの少なくとも一方を特定し、特定された前記感情と前記健康状態とのうちの少なくとも一方を示す前記表示態様を有している前記キャラクタ画像を生成してもよい。

　前記取得部は、前記マイクを含んでもよい。前記状態情報は前記マイクに入力される前記音声を含んでもよい。前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記音声に基づいて、対応する前記画像表示装置のユーザの感情と発話状態との少なくとも一方を特定し、特定された前記感情と前記発話状態とのうちの少なくとも一方を示す前記表示態様を有している前記キャラクタ画像を生成してもよい。

　この構成によると、表示画面において、キャラクタ画像がユーザの感情と発話状態とのうちの少なくとも一方を反映した態様で表示される。各ユーザは、表示画面中のキャラクタ画像を見ることで、そのキャラクタ画像に対応するユーザの感情又は／及び発話状態を把握することができる。従って、各ユーザは、表示画面中のキャラクタ画像に対応するユーザとの円滑なコミュニケーションを図り得る。

　本明細書によって開示されるコミュニケーションシステムは、２個以上の画像表示装置と、前記２個以上の画像表示装置のそれぞれと通信可能に接続されている情報処理装置と、を備え、前記２個以上の画像表示装置のそれぞれは、ユーザの頭部に装着可能なフレームと、前記フレームに備えられ、前記フレームを装着した前記ユーザの眼に対向する位置に配置される表示部と、前記フレームを装着した前記ユーザの状態に関係する状態情報を取得する取得部と、前記フレームを装着した前記ユーザがテキスト情報を入力するためのテキスト情報入力部と、制御部と、を備えており、前記制御部は、前記取得部によって取得された前記状態情報を前記情報処理装置に送信する情報送信部と、前記情報処理装置から、当該画像表示装置のための表示画面データを受信する第１のデータ受信部と、受信された前記表示画面データによって表される表示画面を前記表示部に表示させる表示制御部と、前記テキスト情報入力部に入力されたテキスト情報を前記情報処理装置に送信するテキスト情報送信部と、前記情報処理装置から出力テキストデータを受信する第２のデータ受信部と、受信された前記出力テキストデータによって表される出力テキストを前記表示部に表示させるテキスト出力制御部と、を備え、前記情報処理装置は、前記２個以上の画像表示装置のそれぞれから前記テキスト情報を受信するテキスト情報受信部と、前記２個以上の画像表示装置のそれぞれから受信された前記テキスト情報に基づいて、前記２個以上の画像表示装置のそれぞれについて、当該画像表示装置のための前記出力テキストデータを生成する出力テキストデータ生成部と、前記２個以上の画像表示装置のそれぞれに対して、生成された当該画像表示装置のための前記出力テキストデータを送信する、出力テキストデータ送信部と、前記２個以上の画像表示装置のそれぞれから前記状態情報を受信する状態情報受信部と、前記２個以上の画像表示装置を装着するそれぞれのユーザを表す２個以上のキャラクタ画像を生成するキャラクタ画像生成部であって、前記２個以上のキャラクタ画像のそれぞれは、対応する前記画像表示装置から受信される前記状態情報が示す状態に応じた表示態様を有している、前記キャラクタ画像生成部と、前記２個以上の画像表示装置のそれぞれについて、当該画像表示装置のための前記表示画面データを生成する画面データ生成部であって、前記表示画面データによって表される前記表示画面は、生成された２個以上の前記キャラクタ画像のうちの少なくとも一部を含んでいる、前記画面データ生成部と、前記２個以上の画像表示装置のそれぞれに対して、生成された当該画像表示装置のための前記表示画面データを送信する、画面データ送信部と、を備える。

　上記の構成によると、ユーザが装着する画像表示装置の表示部には、当該画像表示装置のための表示画面が表示される。表示画面は、２個以上のキャラクタ画像のうちの少なくとも一部を含む。そして、各キャラクタ画像は、対応する画像表示装置から受信された状態情報が示す状態（即ち、当該画像表示装置を装着するユーザの状態）に応じた表示態様を有する。即ち、表示画面に含まれるキャラクタ画像は、対応するユーザの状態を適切に反映し得る。そのため、上記の構成によると、各画像表示装置を装着したユーザが操作を行わなくても、各ユーザは、各ユーザの状態を適切に反映させた表示画面を見ながら通信（具体的にはテキスト通信）を行ない得る。

　特に、上記のコミュニケーションシステムでは、音声を用いて通話をしなくてもよいため、会話が不自由なユーザ同士でも円滑にコミュニケーションを図り得る。また、周囲に音声が漏れるおそれがないため、音漏れを気にしながらコミュニケーションをする必要もない。音を出すことが好ましくない場所にいるユーザ同士でも円滑にコミュニケーションを図り得る。

　なお、上記の画像表示装置、及び、情報処理装置を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能媒体も、新規で有用である。

通話システムの概要を示す。画像表示装置の概要を示す。画像表示装置のブロック図を示す。サーバのブロック図を示す。サーバの制御部が実行する通話制御処理のフローチャートを示す。サーバの制御部が実行する画像通信処理のフローチャートを示す。仮想通話空間データによって示される仮想通話空間の一例を模式的に示す。ユーザが視認する表示画面の一例を示す。第２実施例でユーザが視認する表示画面の一例を示す。第３実施例で各ユーザが視認する表示画面の一例を示す。第４実施例の通信システムの概要を示す。第４実施例の画像表示装置の概要を示す。第４実施例の画像表示装置のブロック図を示す。第４実施例のサーバの制御部が実行する通信制御処理のフローチャートを示す。第４実施例でユーザが視認する画面の一例を示す。

（第１実施例）
（通話システム２の構成；図１）
　図１に示す通話システム２は、複数のユーザが、各ユーザを表わす仮想的なキャラクタ画像を含む表示画面を見ながら通話（例えばテレビ会議等）を行うためのシステムである。図１の通話システム２は、画像表示装置１０Ａ～１０Ｄと、サーバ１００とを備える。画像表示装置１０Ａ～１０Ｄとサーバ１００とは相互に無線通信（具体的にはＷｉ－Ｆｉ通信）を実行可能である。画像表示装置１０Ａ～１０Ｄのそれぞれは、ユーザ４Ａ～４Ｄの頭部に装着されている。画像表示装置１０Ａ～１０Ｄのそれぞれには、当該装置を識別するための装置ＩＤ（「Ｄ０１」，「Ｄ０２」，「Ｄ０３」，「Ｄ０４」）が割り当てられている。また、ユーザ４Ａ～４Ｄのそれぞれは、事前にサーバ１００に登録したユーザＩＤ（「Ｕ０１」，「Ｕ０２」，「Ｕ０３」，「Ｕ０４」）を有している。以下では、画像表示装置１０Ａ～１０Ｄを区別せずに呼ぶ場合に「画像表示装置１０」と呼ぶ場合がある。また、ユーザ４Ａ～４Ｄを区別せずに呼ぶ場合に「ユーザ４」と呼ぶ場合がある。図１の例では、４個の画像表示装置１０Ａ～１０Ｄのみを図示しているが、実際の通話システム２には、これ以外の画像表示装置１０が含まれていてもよい。

（画像表示装置１０の構成；図１～図３）
　図１に示す画像表示装置１０（即ち画像表示装置１０Ａ～１０Ｄ）は、ユーザ４の頭部に装着して用いられる画像表示装置（いわゆるヘッドマウントディスプレイ）である。図２に示すように、画像表示装置１０は、フレーム１２と、表示部１４と、操作部１６と、生体センサ１８と、脳波センサ２０と、マイク２２と、スピーカ２４と、カメラ２６と、コントロールボックス２８と、を備える。

　フレーム１２は、眼鏡フレーム状の部材である。ユーザ４は、顔の前面側から眼鏡を装着するようにフレーム１２を装着することによって、画像表示装置１０を頭部に装着することができる。

　表示部１４は、遮光性の表示部材である。ユーザ４が画像表示装置１０を頭部に装着すると、ユーザ４の両眼に対向する位置に表示部１４が配置される。ユーザ４が画像表示装置１０を装着すると、表示部１４によってユーザ４の視界が遮られる。他の例では、表示部１４は、透光性のディスプレイであってもよく、ユーザ４が画像表示装置１０を装着した際に表示部１４を通して周囲を視認できるものであってもよい。

　操作部１６は、フレーム１２に備えられている。操作部１６は、複数個のボタン、ダイヤル等を含む。ユーザ４は、操作部１６を操作して、画像表示装置１０に様々な操作を入力することができる。

　生体センサ１８は、画像表示装置１０を装着するユーザ４の脈拍数及び発汗状態を検出するためのセンサである。生体センサ１８はフレーム１２の一部に取り付けられている。ユーザ４は、フレーム１２を頭部に装着した状態で、身体の所定の部位（例えば頭部、頸部等）に生体センサ１８を取り付けることができる。

　脳波センサ２０は、画像表示装置１０を装着するユーザ４の脳波を検出するためのセンサである。脳波センサ２０はフレーム１２の一部に取り付けられている。ユーザ４は、フレーム１２を頭部に装着した状態で、頭部に脳波センサ２０を取り付けることができる。

　マイク２２は、画像表示装置１０を装着するユーザ４の声や周囲の音など、各種音声を入力するための音声入力手段である。マイク２２はフレーム１２の一部に取り付けられている。ユーザ４がフレーム１２を頭部に装着すると、マイク２２は、ユーザ４の口元付近に配置される（図１参照）。ユーザ４はマイク２２を動かして配置位置を適宜変更することも可能である。

　スピーカ２４は、通話相手の声等、各種音声を出力するための音声出力手段である。スピーカ２４もフレーム１２の一部に取り付けられている。

　カメラ２６は、表示部１４の内側（即ちユーザ４の顔側）に設けられている。図２の例では、２個のカメラ２６が設けられている。カメラ２６は、画像表示装置１０を装着するユーザの眼を撮影する。

　コントロールボックス２８は、フレーム１２の一部に内蔵されている制御装置である。コントロールボックス２８には、画像表示装置１０の制御系統を司る各要素が収容されている。具体的に言うと、図３に示すように、コントロールボックス２８には、制御部３０と、メモリ３２と、三次元センサ３４と、無線通信インターフェース３６と、が収容されている。以下では、インターフェースのことを「Ｉ／Ｆ」と記載する。

　制御部３０は、メモリ３２に記憶されているプログラムに従って様々な処理を実行する。また、制御部３０は、図３に示すように、表示部１４、操作部１６、生体センサ１８、脳波センサ２０、マイク２２、スピーカ２４、カメラ２６、メモリ３２、三次元センサ３４、及び、無線通信Ｉ／Ｆ３６と電気的に接続されており、これらの各要素の動作を制御することができる。

　メモリ３２は、様々なプログラムを記憶している。また、メモリ３２は、画像表示装置１０自身に割り当てられている装置ＩＤも記憶している。例えば、画像表示装置１０Ａのメモリ３２には自機の装置ＩＤ「Ｄ０１」が記憶されている。また、メモリ３２は、制御部３０の処理に伴って生成される様々な情報を記憶する領域も有している。

　三次元センサ３４は、三軸加速度センサであある。三次元センサ３４は、Ｘ，Ｙ，Ｚの三軸の加速度を検出する。三次元センサ３４の検出値を用いて、制御部３０は、画像表示装置１０の姿勢及び運動状態を特定することができる。

　無線通信Ｉ／Ｆ３６は、図示しないインターネットを介して外部の装置（例えばサーバ１００）と無線通信（即ちＷｉ－Ｆｉ通信）を実行するためのＩ／Ｆである。

（サーバ１００の構成；図１、図４）
　図１に示すサーバ１００は、通話システム２の管理者（例えば、通話システム２を利用する通話サービスの提供事業者等）によって設置されるサーバである。図４に示すように、サーバ１００は、無線通信Ｉ／Ｆ１０２と、制御部１１０と、メモリ１１２と、を備えている。

　無線通信Ｉ／Ｆ１０２は、図示しないインターネットを介して外部の装置（例えば画像表示装置１０Ａ～１０Ｄ）と無線通信を実行するためのＩ／Ｆである。

　制御部１１０は、メモリ１１２に記憶されているプログラム１２０に従って、後述の通話制御処理（図５参照）を含む様々な処理を実行する。メモリ１１２は、プログラム１２０の他に、ユーザテーブル１２２を記憶している。ユーザテーブル１２２は、各ユーザ（即ちユーザ４Ａ～４Ｄ）のユーザＩＤと、当該ユーザが使用する画像表示装置１０（即ち画像表示装置１０Ａ～１０Ｄ）の装置ＩＤと、の組合せを示す複数個の組合せ情報１２２ａ～１２２ｄを含む。組合せ情報１２２ａ～１２２ｄは、各ユーザが事前にユーザＩＤと装置ＩＤとをサーバ１００に登録することによって、ユーザテーブル１２２内に追加される。例えば、組合せ情報１２２ａは、ユーザ４Ａを示すユーザＩＤ「Ｕ０１」と、画像表示装置１０Ａを示す装置ＩＤ「Ｄ０１」とが対応付けられていることを示している。この他にも、メモリ１１２は、制御部１１０の処理に伴って生成される様々な情報を記憶する領域も有している。

（通話制御処理；図５）
　図５を参照して、本実施例のサーバ１００の制御部１１０が実行する通話制御処理について説明する。通話制御処理は、画像表示装置１０Ａ～１０Ｄのユーザ４Ａ～４Ｄが、各ユーザを表わすキャラクタ画像を含む表示画面（図８参照）を見ながら通話（テレビ会議等）を行うために、サーバ１００の制御部１１０が実行する処理である。サーバ１００の電源がオンされると、制御部１１０は、図５の通話制御処理を開始する。

　Ｓ１０では、制御部１１０は、いずれかの画像表示装置１０から通話開始リクエストを受信することを監視する。通話開始リクエストは、サーバ１００に、複数のユーザによる通話の開始を要求するためのリクエスト信号である。例えば、画像表示装置１０Ａのユーザ４Ａ（図１参照）は、画像表示装置１０Ａを装着した状態で、操作部１６において所定の通話開始操作を行うことができる。所定の通話開始操作は、通話開始操作を行うユーザ４Ａ（以下ではホストユーザと呼ぶ）を示すユーザＩＤ（この例では「Ｕ０１」）を入力する操作と、通話に参加するユーザ（以下ではゲストユーザと呼ぶ。例えばユーザ４Ｂ～４Ｄ）を示すユーザＩＤ（「Ｕ０２」、「Ｕ０３」、「Ｕ０４」）を選択する操作と、通話開始を指示する操作と、を含む。画像表示装置１０Ａの制御部３０は、通話開始操作が入力されると、入力されたホストユーザのユーザＩＤ（「Ｕ０１」）と、選択されたゲストユーザのユーザＩＤ（「Ｕ０２」～「Ｕ０４」）と、を含む通話開始リクエストを生成し、生成された通話開始リクエストを、無線通信Ｉ／Ｆ３６を介してサーバ１００に送信する。この場合、サーバ１００の制御部１１０は、無線通信Ｉ／Ｆ１０２を介して、画像表示装置１０Ａから通話開始リクエストを受信する。制御部１１０は、通話開始リクエストを受信すると、Ｓ１０でＹＥＳと判断し、Ｓ１２に進む。

　Ｓ１２では、制御部１１０は、呼出通知を送信する。詳しく言うと、Ｓ１２では、まず、制御部１１０は、メモリ１１２内のユーザテーブル１２２を参照し、Ｓ１０で受信された通話開始リクエストに含まれるゲストユーザのユーザＩＤ（上記の例では「Ｕ０２」、「Ｕ０３」、「Ｕ０４」）のそれぞれに対応する装置ＩＤ（上記の例では「Ｄ０２」、「Ｄ０３」、「Ｄ０４」）を特定する。そして、制御部１１０は、特定された装置ＩＤによって示される画像表示装置１０（上記の例では装置１０Ｂ，１０Ｃ，１０Ｄ）に対して、無線通信Ｉ／Ｆ１０２を介して、呼出通知を送信する。呼出通知は、ゲストユーザが使用する画像表示装置１０に対して、通話に招待されている旨を通知するための信号であり、ホストユーザのユーザＩＤ（上記の例では「Ｕ０１」）とゲストユーザのユーザＩＤ（上記の例では「Ｕ０２」、「Ｕ０３」、「Ｕ０４」）とを含む。呼出通知の送信先の画像表示装置１０（即ちゲストユーザの画像表示装置１０）は、呼出通知を受信すると、所定の呼出動作を行う。呼出動作は、スピーカ２４から呼出音を発生させることや、表示部１４にホストユーザのユーザＩＤ、ゲストユーザＩＤのユーザＩＤ、及び呼出メッセージを表示させることを含む。呼出動作が行われることにより、画像表示装置１０を使用するユーザ４は、ホストユーザによって通話に招待されていること、及び、通話に参加するユーザが誰であるのかを知ることができる。

　次いで、Ｓ１４では、制御部１１０は、呼出通知の送信先の画像表示装置１０のそれぞれから、応答通知を受信することを監視する。上記の通り、呼出通知を受信した画像表示装置１０は、呼出動作を行う。呼出動作が行われている画像表示装置１０のユーザ４（例えば画像表示装置１０Ｂのユーザ４Ｂ）は、画像表示装置１０を装着し、所定の応答操作を実行する。応答操作は、通話に参加することを示す参加操作と、通話に参加しないことを示す拒否操作と、のうちのいずれか一方を含む。応答操作が行われると、画像表示装置１０の制御部３０は、参加を示す参加情報と拒否を示す拒否情報の一方を含む応答通知を生成し、生成された応答通知をサーバ１００に送信する。サーバ１００の制御部１１０は、呼出通知の送信先の画像表示装置１０のそれぞれから応答通知を受信すると、Ｓ１４でＹＥＳと判断し、Ｓ１６に進む。

　Ｓ１６では、制御部１１０は、通話セッションを開始する。具体的には、まず、制御部１１０は、ホストユーザの画像表示装置１０の装置ＩＤを特定する。次いで、制御部１１０は、ゲストユーザの画像表示装置１０のうち、参加情報を含む応答通知を送信した画像表示装置１０の装置ＩＤを特定する。そして、制御部１１０は、特定された装置ＩＤによって示される画像表示装置１０を含む通話セッションを開始する。即ち、通話セッションには、拒否情報を含む応答通知を送信した画像表示装置１０は含まれない。

（通話セッション開始後の各画像表示装置１０の制御部３０の処理）
　図５のＳ１６で通話セッションが開始されると、通話セッションに参加する画像表示装置１０の制御部３０は、次のような処理を実行する。即ち、制御部３０は、マイク２２に入力される音声をサーバ１００に送信し、サーバ１００から受信される音声データに基づいてスピーカ２４から音声を出力する。これにより、各画像表示装置１０間で音声通話を実行することができる。そして、制御部３０は、当該画像表示装置１０の装置ＩＤ、三次元センサ３４の検出値、生体センサ１８の検出値、脳波センサ２０の検出値、マイク２２に入力される音声信号、及び、カメラ２６が撮影する眼の画像を含む状態情報を随時生成し、サーバ１００に送信する。そして、制御部３０は、状態情報を送信することに応じて、サーバ１００から、当該画像表示装置１０用の表示画面データを受信し、受信された表示画面データによって表される表示画面（図８参照）を表示部１４に表示させる。これにより、通話に参加しているそれぞれのユーザ４は、通話に参加する他のユーザ４を示すキャラクタ画像を含む表示画面を見ながら通話を行うことができる。

（通話制御処理の続き；図５のＳ１８以降）
　続くＳ１８では、制御部１１０は、音声通信処理を開始する。即ち、制御部１１０は、通話セッションに参加する各画像表示装置１０間の音声通話を中継する処理を実行する。即ち、制御部１１０は、各画像表示装置１０から、各画像表示装置１０のマイク２２に入力された音声信号を受信する。制御部１１０は、各画像表示装置１０から受信された音声信号に基づいて音声出力データを生成し、各画像表示装置１０に送信する。

　また、Ｓ２０では、制御部１１０は、画像通信処理を開始する。即ち、制御部１１０は、通話セッションに参加している各画像表示装置１０から状態情報を受信し、受信された状態情報に基づいて各画像表示装置１０のための表示画面データを生成し、各画像表示装置１０に送信する。以下、図６を参照して、Ｓ２０で実行される画像通信処理の内容を詳しく説明する。

（画像通信処理；図６）
　図６のＳ３０では、制御部１１０は、通話セッションに参加している各画像表示装置１０から状態情報を受信する。上記の通り、通話セッションが開始される（図５のＳ１６）と、通話セッションに参加している画像表示装置１０の制御部３０は、三次元センサ３４の検出値、生体センサ１８の検出値、脳波センサ２０の検出値、マイク２２に入力される音声信号、及び、カメラ２６が撮影する眼の画像を含む状態情報を随時生成し、サーバ１００に送信する。Ｓ３０では、制御部１１０は、通話セッションに参加している各画像表示装置１０が送信する上記の状態情報を受信する。

　続くＳ３２では、制御部１１０は、Ｓ３０で受信された１以上の状態情報のうちの１つの状態情報（即ち、通話セッションに参加している画像表示装置１０のうちの１個から受信された状態情報）を特定する。以下では、Ｓ３２で特定された状態情報を「特定の状態情報」と呼ぶ場合がある。また、特定の状態情報の送信元の画像表示装置１０のことを「特定の画像表示装置」と呼ぶ場合がある。さらに、特定の画像表示装置を使用するユーザ４のことを「特定のユーザ」と呼ぶ場合がある。

　続くＳ３４では、制御部１１０は、Ｓ３２で特定された特定の状態情報に基づいて、特定のユーザの状態を特定する。ここで、特定のユーザの状態は、特定のユーザの姿勢（顔の向きや体の向きを含む）、感情、体調、視線、発話状態（発話中か否か）等を含む。Ｓ３４では、まず、制御部１１０は、ユーザテーブル１２２を参照し、特定の状態情報に含まれる装置ＩＤに対応するユーザＩＤ（即ち、特定のユーザのユーザＩＤ）を特定する。そして、制御部１１０は、特定の状態情報に含まれる各種情報に基づいて、特定のユーザの状態を特定する。制御部１１０は、特定の状態情報に含まれる三次元センサ３４の検出値に基づいて、特定のユーザの姿勢を特定することができる。また、制御部１１０は、特定の状態情報に含まれる生体センサ１８の検出値、脳波センサ２０の検出値、マイク２２に入力される音声信号、及び、カメラ２６で撮影された眼の画像に基づいて、特定のユーザの感情（例えば、怒っている、喜んでいる、不安を抱えている、悲しんでいるなど）を特定することができる。また、制御部１１０は、特定の状態情報に含まれる生体センサ１８の検出値及び脳波センサ２０の検出値に基づいて、特定のユーザの体調（健康、発熱、めまい等）を特定することができる。また、制御部１１０は、特定の状態情報に含まれるカメラ２６で撮影された眼の画像及び三次元センサ３４の検出値に基づいて、特定のユーザの視線を特定することができる。制御部１１０は、以上の各処理を実行することによって、特定のユーザの状態を特定することができる。制御部１１０は、特定のユーザのユーザＩＤと、特定されたユーザの状態とを対応付けてメモリ１１２に一時的に記憶させる。

　続くＳ３６では、制御部１１０は、特定のユーザを示すキャラクタ画像を生成する。本実施例では、キャラクタ画像は、Ｓ３４で特定された状態（姿勢、感情、体調、視線、発話状態等）を反映した表示態様を有する画像（いわゆるアバター）である。

　続くＳ３８では、制御部１１０は、Ｓ３０で受信された１以上の状態情報をすべて特定したか否かを判断する。この時点で１以上の状態情報がすべて特定済みである場合、制御部１１０は、Ｓ３８でＹＥＳと判断し、Ｓ４０に進む。一方、１以上の状態情報をまだすべて特定していない場合、制御部１１０は、Ｓ３８でＮＯと判断し、Ｓ３２に戻り、未特定の状態情報のうちの１つを新たに特定の状態情報として特定し、Ｓ３４、Ｓ３６の処理を実行する。

　Ｓ４０では、制御部１１０は、既に作成済みの各ユーザのキャラクタ画像のデータを用いて、仮想通話空間データを生成する。仮想通話空間データは、通話セッションに参加している各画像表示装置１０の各ユーザを示すキャラクタ画像を仮想的に同じ空間内に配置した状況を仮想的に示しているデータである。Ｓ４０で生成される仮想通話空間データは、仮想通話空間を表わしている。

　Ｓ４０で生成される仮想通話空間データによって表される仮想通話空間の一例を図７に示す。図７は、ユーザ４Ａ～４Ｄが通話を行っている（即ち通話セッションに画像表示装置１０Ａ～１０Ｄが参加している）状況において、図６のＳ４０で生成される仮想通話空間データによって表される仮想通話空間２００の例を示す。図７は、仮想通話空間２００を所定の角度から見た様子を示している。仮想通話空間２００には、ユーザ４Ａ～４Ｄのそれぞれを示すキャラクタ画像Ｃ１～Ｃ４が配置されている。キャラクタ画像Ｃ１～Ｃ４は、円テーブルを示す画像２０２の周囲に、この順で時計回りに配置されている。即ち、仮想通話空間２００は、キャラクタ画像Ｃ１～Ｃ４が円テーブルの周りに座って仮想的に会話を行っている空間と言い換えることができる。キャラクタ画像Ｃ１～Ｃ４のそれぞれの近傍には、対応するユーザのユーザＩＤ（「Ｕ０１」等）が表示されている。仮想通話空間２００内のキャラクタ画像Ｃ１～Ｃ４は、いずれも、Ｓ３４で特定された状態を反映した表示態様を有している。

　続くＳ４２では、制御部１１０は、通話セッションに参加している各画像表示装置１０用の表示画面データを生成する。例えば、図７の仮想通話空間２００において、キャラクタ画像Ｃ１（即ち、画像表示装置１０Ａのユーザ４Ａ）は、範囲２１０内を見ている。キャラクタ画像Ｃ１（即ちユーザ４Ａ）が見ている範囲２１０は、図６のＳ３４で特定される状態（とくに姿勢及び視線）を参照することによって特定される。この場合、制御部１１０は、キャラクタ画像Ｃ１が、仮想通話空間２００内で範囲２１０に対応する範囲を見ていると仮定した場合におけるキャラクタ画像Ｃ１の視界（図８参照）に対応する表示画面データ（即ち、画像表示装置１０Ａのための表示画面データ）を生成する。制御部１１０は、同じ要領で、他の画像表示装置１０Ｂ～１０Ｄのための表示画面データを生成する。

　続くＳ４４では、制御部１１０は、生成された各表示画面データを、対応する画像表示装置１０に送信する。各画像表示装置１０の制御部３０は、表示画面データを受信すると、受信された表示画面データによって表される表示画面（図８参照）を表示部１４に表示させる。これにより、各ユーザ４は、自身の仮想通話空間２００内の視界に対応する表示画面を見ることができる。表示画面には他のユーザ４を示すキャラクタ画像が含まれる。そのため、各ユーザ４は、自身が仮想通話空間２００内で他のユーザ４を示すキャラクタ画像と会話を行っている感覚を得ることができる。

　図８は、画像表示装置１０Ａの表示部１４に表示される表示画面の一例である。図８の表示画面３００は、図７の仮想通話空間２００内のキャラクタ画像Ｃ１の視界である範囲２１０に対応する。表示画面３００には、キャラクタ画像Ｃ２、Ｃ３が含まれている。キャラクタ画像Ｃ２は、ユーザＩＤ「Ｕ０２」に対応するユーザ４Ｂを示す。キャラクタ画像Ｃ２は笑みを浮かべている。また、キャラクタ画像Ｃ２の近傍には吹き出しを示す画像３０２が付されている。即ち、キャラクタ画像Ｃ２は、ユーザ４Ｂが嬉しい感情を抱いていること、及び、ユーザ４Ｂが現在発話中であることを示している。一方、キャラクタ画像Ｃ３は涙を流している。即ち、キャラクタ画像Ｃ３は、ユーザ４Ｃが悲しい感情を抱いていることを示している。また、表示画面３００には矢印３０４を示す画像と、ユーザＩＤ「Ｕ０４」とが表されている。矢印３０４は、ユーザＩＤ「Ｕ０４」（即ちユーザ４Ｄ）に対応するキャラクタ画像Ｃ４が、仮想通話空間２００内で、キャラクタ画像Ｃ１の視界から外れていることを示している。また、矢印３０４が示す方向に、キャラクタ画像Ｃ４が配置されていることを示す。

　図６のＳ４４を終えると、制御部１１０は、Ｓ３０に戻り、Ｓ３０～Ｓ４４の処理を繰り返し実行する。これにより、各画像表示装置１０の表示部１４に表示される表示画面の内容は、各ユーザ４の状態（視線、感情、姿勢等）に応じてリアルタイムに変化する。各ユーザ４は、仮想通話空間２００内で他のユーザ４と実際に会話を行っているような感覚を得られる。

（通話制御処理の続き；図５のＳ２２以降）
　上記の通り、図５のＳ１８で音声通信処理が開始され、Ｓ２０で画像通信処理が開始されることによって、通話に参加している各ユーザ４が、他のユーザ４を示すキャラクタ画像を含む表示画面を見ながら通話を行うことができる。

　続くＳ２２では、制御部１１０は、通話セッションに参加している画像表示装置１０のうちのいずれかの画像表示装置１０から通話終了リクエストを受信することを監視する。通話終了リクエストは、サーバ１００に、現在の通話セッションの終了を要求するためのリクエスト信号である。例えば、通話セッションに参加している画像表示装置１０Ａのユーザ４Ａは、操作部１６において所定の通話終了操作を行うことができる。その場合、画像表示装置１０Ａの制御部３０は、通話終了リクエストをサーバ１００に送信する。制御部１１０は、通話終了リクエストを受信すると、Ｓ２２でＹＥＳと判断し、Ｓ２４に進む。

　Ｓ２４では、制御部１１０は、通話セッションを終了する。制御部３０は、Ｓ２４を終えると、Ｓ１０に戻り、再び通話開始リクエストを受信することを監視する。

　以上、本実施例の通話システム２の構成及び動作について説明した。上記の通り、本実施例では、通話セッションが開始されると、通話セッションに参加する各画像表示装置１０の制御部３０は、マイク２２に入力される音声信号をサーバ１００に送信し、サーバ１００から受信される音声データに基づいてスピーカ２４から音声を出力する。また、制御部３０は、三次元センサ３４の検出値、生体センサ１８の検出値、脳波センサ２０の検出値、マイク２２に入力される音声信号、及び、カメラ２６が撮影する眼の画像を含む状態情報を随時生成し、サーバ１００に送信する。そして、制御部３０は、状態情報を送信することに応じて、サーバ１００から、当該画像表示装置１０用の表示画面データを受信し、受信された表示画面データによって表される表示画面（図８参照）を表示部１４に表示させる。サーバ１００の制御部１１０は、各画像表示装置１０から受信される状態情報に基づいて、ユーザ４Ａ～４Ｄのそれぞれの状態を反映したキャラクタ画像Ｃ１～Ｃ４を生成し（図６のＳ３４、Ｓ３６）、各画像表示装置１０のための表示画面データを生成し（Ｓ４２）、各画像表示装置１０に送信する（Ｓ４４）。表示画面には、キャラクタ画像Ｃ１～Ｃ４のうちの少なくとも一部が含まれる。そして、キャラクタ画像Ｃ１～Ｃ４は、それぞれ、対応する画像表示装置１０から受信された状態情報が示す状態（即ち、当該画像表示装置１０を装着するユーザ４の状態）に応じた表示態様を有する。各キャラクタ画像Ｃ１～Ｃ４は、対応するユーザ４の状態を適切に反映し得る。そのため、本実施例によると、各画像表示装置１０を装着したユーザ４が操作を行わなくても、各ユーザ４は、各ユーザ４の状態を適切に反映させた表示画面を見ながら通話を行うことができる。

　また、図８に示すように、画像表示装置１０Ａの表示部１４に表示される表示画面３００は、図７の仮想通話空間２００内のキャラクタ画像Ｃ１の視界である範囲２１０に対応する。同様に、他の画像表示装置１０Ｂ，１０Ｃ，１０Ｄの表示部には、仮想通話空間２００内のキャラクタ画像Ｃ２，Ｃ３，Ｃ４の視界に対応する表示画面が表示される。各画像表示装置１０の表示部には、ユーザ４の視界に応じてそれぞれ異なる表示画面が表示される。即ち、ユーザ４毎に適した表示画面を表示させることができる。

　また、表示画面３００には、ユーザ４Ａに対応するキャラクタ画像Ｃ１（即ち自身のキャラクタ画像Ｃ１）は含まれていない。各ユーザ４は、自身を表わすキャラクタ画像以外のキャラクタ画像を含む表示画像を見ることができる。そのため、各ユーザ４が、他のユーザ４を表わすキャラクタ画像と実際に会話しているような感覚で通話を行うことができる。

　また、本実施例では、表示画面（図８の３００等）に表示されるキャラクタ画像Ｃ１～Ｃ４は、対応する画像表示装置１０から受信された状態情報が示すユーザの状態を反映した表示態様を有する。状態情報は、三次元センサ３４の検出値、生体センサ１８の検出値、脳波センサ２０の検出値、マイク２２に入力される音声信号、及び、カメラ２６が撮影する眼の画像を含む。従って、ユーザ４は、表示画面中のキャラクタ画像Ｃ１～Ｃ４等を見ることで、対応するユーザ４の姿勢、感情、体調、視線、発話状態等を把握することができる。従って、各ユーザ４は、表示画面中のキャラクタ画像に対応するユーザ４との円滑なコミュニケーションを図ることができる。

（第２実施例）
　本実施例では、各画像表示装置１０の表示部１４に表示される表示画面の内容が第１実施例とは異なる。図９は、画像表示装置１０Ａの表示部１４に表示される表示画面の一例である。図９の表示画面４００は、図８の表示画面３００と同様に、図７の仮想通話空間２００内のキャラクタ画像Ｃ１（即ちユーザ４Ａ）の視界である範囲２１０に対応する。表示画面４００にも、キャラクタ画像Ｃ２、Ｃ３が含まれている。また、吹き出しを表わす画像４０２、矢印４０４を示す画像も含まれている。本実施例では、さらに、表示画面４００に、キャラクタ画像Ｃ１を表示するためのサブ画面４１０が含まれている。キャラクタ画像Ｃ１は、ユーザＩＤ「Ｕ０１」に対応するユーザ４Ａを示す。キャラクタ画像Ｃ１は、驚いた表情を浮かべている。即ち、キャラクタ画像Ｃ１は、ユーザ４Ａが驚いたことを示している。

　同様に、本実施例では、他の画像表示装置１０Ｂ，１０Ｃ，１０Ｄの表示部１４に表示される表示画面にも、当該画像表示装置１０のユーザ４自身に対応するキャラクタ画像を表示するためのサブ画面が含まれる。

　本実施例の通話システム２でも、第１実施例の通話システム２の同様の作用効果を発揮することができる。また、本実施例の通話システム２によれば、各ユーザ４は、自身に対応するキャラクタ画像を見ながら通話を行うことができる。

（第３実施例）
　本実施例でも、各画像表示装置１０の表示部１４に表示される表示画面の内容が第１実施例とは異なる。本実施例では、各画像表示装置１０の表示部１４に、共通の表示画面が表示される点が第１実施例と異なる。図１０は、画像表示装置１０Ａ～１０Ｄのそれぞれの表示部１４に共通して表示される表示画面５００を示す。図１０の表示画面５００は、図８の表示画面３００と同様に、図７の仮想通話空間２００に基づいて生成されている。表示画面５００には、キャラクタ画像Ｃ１～Ｃ４がすべて一つの画面内に表示されている。即ち、本実施例では、表示画面５００は、各ユーザの視界に対応していない。

　本実施例の通話システム２によると、各ユーザ４が同じ画面を見ながら通話を行うことができる。

（第４実施例）
（通信システム１００２の構成；図１１）
　図１１に示す通信システム１００２は、複数のユーザが、各ユーザを表わす仮想的なキャラクタ画像を含む表示画面を見ながらテキスト通信（いわゆるテキストチャット等）を行うためのシステムである。図１１の通信システム１００２も、第１実施例と同様に、画像表示装置１０Ａ～１０Ｄと、サーバ１００とを備える。以下、本実施例（図１１～図１５）では、第１実施例と共通する要素を、第１実施例（図１～図８）と同じ符号を用いて示し、詳しい説明を省略する場合がある。

　図１１に示すように、本実施例でも、画像表示装置１０は、ユーザ４の頭部に装着して用いられる画像表示装置（いわゆるヘッドマウントディスプレイ）である。ただし、本実施例では、図１２、図１３に示すように、画像表示装置１０は、マイクを備えておらず、その代わりにキーボード４０を備えている。キーボード４０は、複数個のキーを有している。ユーザは、キーボード４０を操作して、画像表示装置１０に、テキストの入力を含む様々な指示を入力することができる。

（通信制御処理；図１４）
　図１４を参照して、本実施例のサーバ１００の制御部１１０が実行する通信制御処理について説明する。本実施例の通信制御処理は、音声通信処理（図５のＳ１８参照）が、テキスト通信処理（図１４のＳ６８）に置き換わる点を除き、第１実施例の通話制御処理（図５）とほぼ同様の内容を有する。

　Ｓ６０では、制御部１１０は、いずれかの画像表示装置１０から通信開始リクエストを受信することを監視する。通信開始リクエストは、サーバ１００に、複数のユーザによるテキスト通信（即ちテキストチャット）の開始を要求するためのリクエスト信号である。制御部１１０は、いずれかの画像表示装置１０から通信開始リクエストを受信すると、Ｓ６０でＹＥＳと判断し、Ｓ７２に進む。

　Ｓ６２では、制御部１１０は、呼出通知を送信する。次いで、Ｓ６４では、制御部１１０は、呼出通知の送信先の画像表示装置１０のそれぞれから、応答通知を受信することを監視する。サーバ１００の制御部１１０は、呼出通知の送信先の画像表示装置１０のそれぞれから応答通知を受信すると、Ｓ６４でＹＥＳと判断し、Ｓ６６に進む。

　Ｓ６６では、制御部１１０は、通信セッションを開始する。Ｓ６６における通信セッションの開始方法は、図５のＳ１６の通話セッションの開始方法と同様である。

（通信セッション開始後の各画像表示装置１０の制御部３０の処理）
　図１４のＳ６６で通信セッションが開始されると、通信セッションに参加する画像表示装置１０の制御部３０は、次のような処理を実行する。即ち、制御部３０は、キーボード４０を介して入力されるテキスト情報をサーバ１００に送信し、サーバ１００から受信される出力テキストデータによって表される出力テキスト（図１５の符号１３１０参照）を表示部１４に表示させる。これにより、各画像表示装置１０間でテキスト通信を実行することができる。そして、制御部３０は、当該画像表示装置１０の装置ＩＤ、三次元センサ３４の検出値、生体センサ１８の検出値、脳波センサ２０の検出値、マイク２２に入力される音声信号、及び、カメラ２６が撮影する眼の画像を含む状態情報を随時生成し、サーバ１００に送信する。そして、制御部３０は、状態情報を送信することに応じて、サーバ１００から、当該画像表示装置１０用の表示画面データを受信し、受信された表示画面データによって表される表示画面（図１５の符号１３００参照）を表示部１４に表示させる。即ち、本実施例では、図１５に示すように、受信された表示画面データによって表される表示画面１３００と、受信された出力テキストデータによって表される出力テキスト１３１０と、が表示部１４に同時に表示される。これにより、通信に参加しているそれぞれのユーザ４は、通信に参加する他のユーザ４を示すキャラクタ画像を含む表示画面を見ながらテキスト通信を行うことができる。

（通話制御処理の続き；図１４のＳ６８以降）
　続くＳ６８では、制御部１１０は、テキスト通信処理を開始する。即ち、制御部１１０は、通話セッションに参加する各画像表示装置１０間のテキスト通信を中継する処理を実行する。即ち、制御部１１０は、各画像表示装置１０から、各画像表示装置１０のキーボード４０に入力されたテキスト情報を受信する。制御部１１０は、各画像表示装置１０から受信されたテキスト情報に基づいて出力テキストデータを生成し、各画像表示装置１０に送信する。

　また、Ｓ７０では、制御部１１０は、画像通信処理を開始する。Ｓ７０で実行される画像通信処理の内容は、第１実施例の画像通信処理（図６）と同様であるため、詳しい説明を省略する。ただし、本実施例では、画像表示装置１０がマイクを有さないため、「状態情報」に音声信号が含まれない点が、第１実施例とは異なる。それ以外は第１実施例と同様である。

　図１５は、画像表示装置１０Ａの表示部１４に表示される画面１２００の一例である。図１５の画面１２００には、表示画面１３００と、出力テキスト１３１０と、が含まれる。表示画面１３００には、キャラクタ画像Ｃ２、Ｃ３が含まれている。キャラクタ画像Ｃ２は、ユーザＩＤ「Ｕ０２」に対応するユーザ４Ｂを示す。キャラクタ画像Ｃ２は笑みを浮かべている。即ち、キャラクタ画像Ｃ２は、ユーザ４Ｂが嬉しい感情を抱いていることを示している。一方、キャラクタ画像Ｃ３は涙を流している。即ち、キャラクタ画像Ｃ３は、ユーザ４Ｃが悲しい感情を抱いていることを示している。また、表示画面３００には矢印３０４を示す画像と、ユーザＩＤ「Ｕ０４」とが表されている。矢印３０４は、ユーザＩＤ「Ｕ０４」（即ちユーザ４Ｄ）に対応するキャラクタ画像Ｃ４が、仮想通話空間２００内で、キャラクタ画像Ｃ１の視界から外れていることを示している。また、矢印３０４が示す方向に、キャラクタ画像Ｃ４が配置されていることを示す。

　出力テキスト１３１０は、ユーザＵ０２による発言「Hello. It’s nice to meet you.」を示すテキスト１３１２と、ユーザＵ０１による発言「Nice to meet you, too.」を示すテキスト１３１４と、を含む。出力テキスト１３１０に含まれるテキスト１３１２、１３１４は、それぞれ、画像表示装置１０Ｂにおいてユーザ４Ｂに入力されたテキスト情報、及び、画像表示装置１０Ａにおいてユーザ４Ａに入力されたテキスト情報に対応する。出力テキスト１３１０の欄では、表示されたテキスト（例えば図１５のテキスト１３１２、１３１４）は、表示されてから一定期間が経過する場合に自動的に消去される。ただし、他の例では、出力テキスト１３１０の欄には、スクロール表示が可能な態様で、過去に各画像表示装置１０において各ユーザ４が入力したテキスト情報の履歴が表示可能であってもよい。

　このように、図１４のＳ６８でテキスト通信処理が開始され、Ｓ７０で画像通信処理が開始されることによって、チャットに参加している各ユーザ４が、他のユーザ４を示すキャラクタ画像を含む表示画面を見ながらテキスト通信を行うことができる。

　続くＳ７２では、制御部１１０は、通信セッションに参加している画像表示装置１０のうちのいずれかの画像表示装置１０から通信終了リクエストを受信することを監視する。通信終了リクエストは、サーバ１００に、現在の通信セッションの終了を要求するためのリクエスト信号である。制御部１１０は、いずれかの画像表示装置１０から通信終了リクエストを受信すると、Ｓ７２でＹＥＳと判断し、Ｓ７４に進む。

　Ｓ７４では、制御部１１０は、通信セッションを終了する。制御部３０は、Ｓ７４を終えると、Ｓ６０に戻り、再び通信開始リクエストを受信することを監視する。

　以上、本実施例の通信システム１００２の構成及び動作について説明した。上記の通り、本実施例では、通信セッションが開始されると、通信セッションに参加する各画像表示装置１０の制御部３０は、キーボード４０において入力されるテキスト情報をサーバ１００に送信し、サーバ１００から受信される出力テキストデータに基づいて、出力テキスト（図１５の符号１３１０参照）を表示部１４に表示させる。また、制御部３０は、三次元センサ３４の検出値、生体センサ１８の検出値、脳波センサ２０の検出値、及び、カメラ２６が撮影する眼の画像を含む状態情報を随時生成し、サーバ１００に送信する。そして、制御部３０は、状態情報を送信することに応じて、サーバ１００から、当該画像表示装置１０用の表示画面データを受信し、受信された表示画面データによって表される表示画面（図１５の符号１３００参照）を表示部１４に表示させる。サーバ１００の制御部１１０は、各画像表示装置１０から受信される状態情報に基づいて、ユーザ４Ａ～４Ｄのそれぞれの状態を反映したキャラクタ画像Ｃ１～Ｃ４を生成し（図６のＳ３４、Ｓ３６）、各画像表示装置１０のための表示画面データを生成し（Ｓ４２）、各画像表示装置１０に送信する（Ｓ４４）。表示画面には、キャラクタ画像Ｃ１～Ｃ４のうちの少なくとも一部が含まれる。そして、キャラクタ画像Ｃ１～Ｃ４は、それぞれ、対応する画像表示装置１０から受信された状態情報が示す状態（即ち、当該画像表示装置１０を装着するユーザ４の状態）に応じた表示態様を有する。各キャラクタ画像Ｃ１～Ｃ４は、対応するユーザ４の状態を適切に反映し得る。そのため、本実施例による場合も、各画像表示装置１０を装着したユーザ４が、キャラクタ画像Ｃ１～Ｃ４の表示態様を変更するための操作を別途行わなくても、各ユーザ４は、各ユーザ４の状態を適切に反映させた表示画面を見ながらテキスト通信を行うことができる。

　特に、本実施例の通信システム１００２では、各画像表示装置１０がマイクを備えておらず、音声を用いて通話をしなくてもよいため、会話が不自由なユーザ同士でも円滑にコミュニケーションを図り得る。また、周囲に音声が漏れるおそれがないため、音漏れを気にしながらコミュニケーションをする必要もない。音を出すことが好ましくない場所にいるユーザ同士でも円滑にコミュニケーションを図り得る。

　以上、実施例を詳細に説明したが、これらは例示に過ぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。

（変形例１）上記の各実施例では、キャラクタ画像Ｃ１～Ｃ４は、ユーザ４Ａ～４Ｄを示すアバターである。これに限られず、キャラクタ画像は、ユーザ本人の写真の画像を加工した画像等であってもよい。

（変形例２）上記の各実施例では、図８に示すように、表示画面３００において、吹き出しの画像３０２をキャラクタ画像Ｃ２の近傍に表示することで、発話状態が表現されている。これに限られず、制御部１１０が、ユーザ４の発言内容を字幕化して表示部１４に表示させることによって、発話状態を表現するようにしてもよい。この場合、表示部１４には、図１５の画面１２００とほぼ同様の画面が表示されてもよい。

（変形例３）画像表示装置１０は、生体センサ１８、脳波センサ２０、カメラ２６、三次元センサ３４のうちの少なくとも一つを省略してもよい。

　また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims

　通話システムであって、
　２個以上の画像表示装置と、
　前記２個以上の画像表示装置のそれぞれと通信可能に接続されている情報処理装置と、
　を備え、
　前記２個以上の画像表示装置のそれぞれは、
　　ユーザの頭部に装着可能なフレームと、
　　前記フレームに備えられ、前記フレームを装着した前記ユーザの眼に対向する位置に配置される表示部と、
　　前記フレームを装着した前記ユーザの状態に関係する状態情報を取得する取得部と、
　　前記フレームを装着した前記ユーザの発する音声を入力するマイクと、
　　音声出力データに従って音声を出力するスピーカと、
　　制御部と、を備えており、
　前記制御部は、
　　前記取得部によって取得された前記状態情報を前記情報処理装置に送信する情報送信部と、
　　前記情報処理装置から、当該画像表示装置のための表示画面データを受信する第１のデータ受信部と、
　　受信された前記表示画面データによって表される表示画面を前記表示部に表示させる表示制御部と、
　　前記マイクに入力された前記音声を前記情報処理装置に送信する音声送信部と、
　　前記情報処理装置から前記音声出力データを受信する第２のデータ受信部と、
　　受信された前記音声出力データに従って、前記スピーカに音声を出力させる音声出力制御部と、
　を備え、
　前記情報処理装置は、
　　前記２個以上の画像表示装置のそれぞれから前記音声を受信する音声受信部と、
　　前記２個以上の画像表示装置のそれぞれから受信された前記音声に基づいて、前記２個以上の画像表示装置のそれぞれについて、当該画像表示装置のための前記音声出力データを生成する音声出力データ生成部と、
　　前記２個以上の画像表示装置のそれぞれに対して、生成された当該画像表示装置のための前記音声出力データを送信する、音声出力データ送信部と、
　　前記２個以上の画像表示装置のそれぞれから前記状態情報を受信する状態情報受信部と、
　　前記２個以上の画像表示装置を装着するそれぞれのユーザを表す２個以上のキャラクタ画像を生成するキャラクタ画像生成部であって、前記２個以上のキャラクタ画像のそれぞれは、対応する前記画像表示装置から受信される前記状態情報が示す状態に応じた表示態様を有している、前記キャラクタ画像生成部と、
　　前記２個以上の画像表示装置のそれぞれについて、当該画像表示装置のための前記表示画面データを生成する画面データ生成部であって、前記表示画面データによって表される前記表示画面は、生成された２個以上の前記キャラクタ画像のうちの少なくとも一部を含んでいる、前記画面データ生成部と、
　　前記２個以上の画像表示装置のそれぞれに対して、生成された当該画像表示装置のための前記表示画面データを送信する、画面データ送信部と、
　を備える、
　通話システム。
　前記２個以上の画像表示装置は、第１の画像表示装置と、第１の画像表示装置とは異なる第２の画像表示装置と、を含み、
　前記画面データ生成部は、前記第１の画像表示装置のための第１の表示画面データと、前記第２の画像表示装置のための第２の表示画面データと、を生成し、
　前記第１の表示画面データによって表される第１の表示画面は、前記第２の表示画面データによって表される第２の表示画面と異なる、
　請求項１に記載の通話システム。
　前記第１の表示画面は、前記第１の画像表示装置を装着する第１のユーザを表す第１のキャラクタ画像を含まず、
　前記第２の表示画面は、前記第２の画像表示装置を装着する第２のユーザを表す第２のキャラクタ画像を含まない、
　請求項２に記載の通話システム。
　前記第１の表示画面は、前記２個以上のキャラクタ画像のそれぞれが所定の配置で配置されている仮想空間を、前記第１のキャラクタ画像の視点から仮想的に見た場合の第１の仮想画面であり、
　前記第２の表示画面は、前記仮想空間を、前記第２のキャラクタ画像の視点から仮想的に見た場合の第２の仮想画面である、
　請求項３に記載の通話システム。
　前記取得部は、前記フレームを装着した前記ユーザの眼を撮影するカメラを含み、
　前記状態情報は前記カメラで撮影された眼の画像を含み、
　前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記眼の画像に基づいて、対応する前記画像表示装置のユーザの感情と視線とのうちの少なくとも一方を特定し、特定された前記感情と前記視線とのうちの少なくとも一方を示す前記表示態様を有している前記キャラクタ画像を生成する、
　請求項１から４のいずれか一項に記載の通話システム。
　前記取得部は、前記画像表示装置の姿勢を検出する三次元センサを含み、
　前記状態情報は前記三次元センサの検出値を含み、
　前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記三次元センサの前記検出値に基づいて、対応する前記画像表示装置のユーザの姿勢を特定し、特定された前記姿勢を示す前記表示態様を有している前記キャラクタ画像を生成する、
　請求項１から５のいずれか一項に記載の通話システム。
　前記取得部は、前記フレームを装着した前記ユーザの脈拍と発汗の少なくとも一方を検出する生体センサを含み、
　前記状態情報は前記生体センサの検出値を含み、
　前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記生体センサの前記検出値に基づいて、対応する前記画像表示装置のユーザの感情と健康状態とのうちの少なくとも一方を特定し、特定された前記感情と前記健康状態とのうちの少なくとも一方を示す前記表示態様を有している前記キャラクタ画像を生成する、
　請求項１から６のいずれか一項に記載の通話システム。
　前記取得部は、前記フレームを装着した前記ユーザの脳波を検出する脳波センサを含み、
　前記状態情報は前記脳波センサの検出値を含み、
　前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記脳波センサの前記検出値に基づいて、対応する前記画像表示装置のユーザの感情と健康状態とのうちの少なくとも一方を特定し、特定された前記感情と前記健康状態とのうちの少なくとも一方を示す前記表示態様を有している前記キャラクタ画像を生成する、
　請求項１から７のいずれか一項に記載の通話システム。
　前記取得部は、前記マイクを含み、
　前記状態情報は前記マイクに入力される前記音声を含み、
　前記キャラクタ画像生成部は、対応する前記画像表示装置から受信された前記状態情報に含まれる前記音声に基づいて、対応する前記画像表示装置のユーザの感情と発話状態との少なくとも一方を特定し、特定された前記感情と前記発話状態とのうちの少なくとも一方を示す前記表示態様を有している前記キャラクタ画像を生成する、
　請求項１から８のいずれか一項に記載の通話システム。
　コミュニケーションシステムであって、
　２個以上の画像表示装置と、
　前記２個以上の画像表示装置のそれぞれと通信可能に接続されている情報処理装置と、
　を備え、
　前記２個以上の画像表示装置のそれぞれは、
　　ユーザの頭部に装着可能なフレームと、
　　前記フレームに備えられ、前記フレームを装着した前記ユーザの眼に対向する位置に配置される表示部と、
　　前記フレームを装着した前記ユーザの状態に関係する状態情報を取得する取得部と、
　　前記フレームを装着した前記ユーザがテキスト情報を入力するためのテキスト情報入力部と、
　　制御部と、を備えており、
　前記制御部は、
　　前記取得部によって取得された前記状態情報を前記情報処理装置に送信する情報送信部と、
　　前記情報処理装置から、当該画像表示装置のための表示画面データを受信する第１のデータ受信部と、
　　受信された前記表示画面データによって表される表示画面を前記表示部に表示させる表示制御部と、
　　前記テキスト情報入力部に入力されたテキスト情報を前記情報処理装置に送信するテキスト情報送信部と、
　　前記情報処理装置から出力テキストデータを受信する第２のデータ受信部と、
　　受信された前記出力テキストデータによって表される出力テキストを前記表示部に表示させるテキスト出力制御部と、
　を備え、
　前記情報処理装置は、
　　前記２個以上の画像表示装置のそれぞれから前記テキスト情報を受信するテキスト情報受信部と、
　　前記２個以上の画像表示装置のそれぞれから受信された前記テキスト情報に基づいて、前記２個以上の画像表示装置のそれぞれについて、当該画像表示装置のための前記出力テキストデータを生成する出力テキストデータ生成部と、
　　前記２個以上の画像表示装置のそれぞれに対して、生成された当該画像表示装置のための前記出力テキストデータを送信する、出力テキストデータ送信部と、
　　前記２個以上の画像表示装置のそれぞれから前記状態情報を受信する状態情報受信部と、
　　前記２個以上の画像表示装置を装着するそれぞれのユーザを表す２個以上のキャラクタ画像を生成するキャラクタ画像生成部であって、前記２個以上のキャラクタ画像のそれぞれは、対応する前記画像表示装置から受信される前記状態情報が示す状態に応じた表示態様を有している、前記キャラクタ画像生成部と、
　　前記２個以上の画像表示装置のそれぞれについて、当該画像表示装置のための前記表示画面データを生成する画面データ生成部であって、前記表示画面データによって表される前記表示画面は、生成された２個以上の前記キャラクタ画像のうちの少なくとも一部を含んでいる、前記画面データ生成部と、
　　前記２個以上の画像表示装置のそれぞれに対して、生成された当該画像表示装置のための前記表示画面データを送信する、画面データ送信部と、
　を備える、
　コミュニケーションシステム。