JP6882797B2 - 会議システム - Google Patents

Description

本明細書によって開示される技術は、２個以上のユーザデバイスと、情報処理機器と、を備え、各画像表示装置のユーザ同士が画像を見ながら意思疎通を図るための会議システムに関する。

例えば、特開２００６−３５２３０９号公報（以下、特許文献１という）には、アバターの表示機能を備えた電話機が開示されている。この電話機は、同様の機能を備える電話機を所持する通話相手との通話中に、ディスプレイに、ユーザ自身の第１のアバターと通話相手の第２のアバターとを表示させる。通話相手の電話機のディスプレイにも同様に第１のアバターと第２のアバターとが表示される。ユーザは、通話中に電話機に操作することにより、ユーザ自身のアバターである第１のアバターの態様を変更することができる。第１のアバターの態様の変更は、通話相手の電話機のディスプレイに表示されている第１のアバターにも反映される。これにより、互いのディスプレイに表示されるアバターの態様を、ユーザの状況に合わせて適宜変更しながら円滑にコミュニケーションを図ることを可能にしている。

ユーザと通話相手とが通話を行う際に、ユーザと通話相手のそれぞれが、共通の媒体（紙やボード等）に情報を記入するとともに、情報が記入された共通の媒体を見ながら（即ち、共通の情報を認識しながら）会話を行うことを希望する場合がある。しかしながら、特許文献１の技術では、通話中に電話機のディスプレイに表示されるのは、第１及び第２のアバター（即ち、ユーザ自身と通話相手のアバター）に過ぎず、ユーザ自身と通話相手のそれぞれが情報を記入可能な媒体又はスペースをディスプレイに表示させることについては考慮されていない。特許文献１の技術では、ユーザと通話相手が、共通の媒体に記入された共通の情報を認識しながら意志疎通を行なうことができない場合がある。

本明細書では、２個以上のユーザデバイスのそれぞれのユーザが、共通の媒体に記入された共通の情報を認識しながら意志疎通を行ない得る技術を提供する。

本明細書によって開示される会議システムは、２個以上のユーザデバイスと、前記２個以上のユーザデバイスのそれぞれと通信可能に接続されている情報処理機器と、を備える。前記２個以上のユーザデバイスのそれぞれは、ユーザが装着可能なフレームと、前記フレームに備えられ、前記フレームを装着した前記ユーザの視界範囲に配置される表示部と、前記ユーザが指示を入力するための入力部と、制御部と、を備えている。前記制御部は、前記情報処理機器から、当該ユーザデバイスのための表示画面データを受信する第１のデバイス受信部と、受信された前記表示画面データによって表される表示画面であって、各ユーザが情報を記入可能な仮想的なホワイトボードを含む前記表示画面を前記表示部に表示させる表示制御部と、前記入力部に前記仮想的なホワイトボードの表示内容の変更を指示するための変更指示が入力される場合に、前記変更指示を示す第１の指示データを前記情報処理機器に送信する第１のデバイス送信部と、を備える。前記情報処理機器は、前記第１の指示データを受信する第１の機器受信部と、前記２個以上のユーザデバイスのそれぞれについて、当該ユーザデバイスのための前記表示画面データを生成する機器生成部であって、前記表示画面データによって表される前記表示画面に含まれる前記仮想的なホワイトボードは、前記第１の指示データに基づいて変更された表示内容を表示している、前記機器生成部と、前記２個以上のユーザデバイスのそれぞれに対して、生成された当該ユーザデバイスのための前記表示画面データを送信する、第１の機器送信部と、を備える。

上記の構成によると、ユーザデバイスの表示部には、当該ユーザデバイスのための表示画面が表示される。表示画面は、各ユーザが記入可能な仮想的なホワイトボードを含む。即ち、表示画面に含まれる仮想的なホワイトボードは、各ユーザによって記入された情報を表示する。そして、各ユーザは、自身のユーザデバイスの表示部に表示された表示画面を見ることで、共通の情報が記入された共通の仮想的なホワイトボードを見ることができる。また、各ユーザは、入力部に変更指示を入力することにより、仮想的なホワイトボードの表示内容を変更することもできる（例えば、情報の追加記入、情報の消去、表示面の変更等）。即ち、各ユーザは、仮想的なホワイトボードが存在する空間内で会議を行っているような感覚で互いに意志疎通を行ない得る。従って、上記の構成によると、２個以上のユーザデバイスのそれぞれのユーザが、共通の仮想的なホワイトボードに記入された共通の情報を認識しながら意志疎通を行ない得る。

前記第１のデバイス送信部は、さらに、前記仮想的なホワイトボードの表示内容の出力を指示するための出力指示が入力される場合に、前記出力指示を示す第２の指示データを前記情報処理機器に送信してもよい。前記情報処理機器は、さらに、前記第２の指示データを受信する第２の機器受信部と、前記第２の指示データが受信される場合に、前記仮想的なホワイトボードの前記表示内容を示すボード出力データを生成する第２の機器生成部と、前記ボード出力データを出力する出力部と、を備えてもよい。

この構成によると、いずれかのユーザが入力部に出力指示を入力することにより、仮想的なホワイトボードの表示内容を示すボード出力データが出力される。ここで、「出力」は、ボード出力データを、各ユーザデバイスがアクセス可能な記憶装置に記憶させること、紙等の記録媒体に印刷すること、所定のメールアドレスに送信すること等を含む。この構成を備えることにより、各ユーザが、ボード出力データ出力後の任意のタイミングで、出力されたボード出力データに基づいて、仮想的なホワイトボードの表示内容を確認することができる。

前記ボード出力データの出力は、前記ボード出力データを、前記２個以上のユーザデバイスのそれぞれがアクセス可能な記憶装置に記憶させることを含んでもよい。

この構成によると、各ユーザは、ボード出力データが記憶装置に記憶された後、任意のタイミングでユーザデバイスを介して記憶装置にアクセスすることにより、記憶装置に記憶されたボード出力データの内容を確認することができる。

前記２個以上のユーザデバイスのそれぞれは、さらに、前記フレームを装着した前記ユーザの発する第１種の音声を入力するマイクと、音声出力データに従って第２種の音声を出力するスピーカと、を備えてもよい。前記制御部は、さらに、前記マイクに入力された前記第１種の音声を前記情報処理機器に送信する第２のデバイス送信部と、前記情報処理機器から前記音声出力データを受信する第２のデバイス受信部と、受信された前記音声出力データに従って、前記スピーカに前記第２種の音声を出力させる音声出力制御部と、を備えていてもよい。前記情報処理機器は、さらに、前記第１種の音声を受信する第３の機器受信部と、前記２個以上のユーザデバイスのそれぞれから受信された前記第１種の音声に基づいて、前記２個以上のユーザデバイスのそれぞれについて、当該ユーザデバイスのための前記音声出力データを生成する第３の機器生成部と、前記２個以上のユーザデバイスのそれぞれに対して、生成された当該ユーザデバイスのための前記音声出力データを送信する、第２の機器送信部と、を備えてもよい。

この構成によると、各ユーザ間で音声通話を行うことができる。各ユーザ同士が離れた場所に存在している場合であっても、各ユーザが、共通の仮想的なホワイトボードに記入された共通の情報を認識しながら音声通話を行うことができる。

前記入力部は、前記ユーザが、前記ユーザの発する第１種の音声によって指示を入力可能な音声入力部を含んでもよい。

この構成によると、各ユーザは、変更指示等の各種指示を音声入力することができるため、各ユーザの操作負担が少なく済む。

前記２個以上のユーザデバイスのそれぞれは、前記フレームと前記表示部と前記制御部とを含む頭部装着型のヘッドマウントディスプレイと、前記ヘッドマウントディスプレイとは別個に形成され、前記ヘッドマウントディスプレイと通信可能な操作端末であって、前記入力部を含む前記操作端末と、を含んでもよい。

この構成によると、例えば、操作端末が、複数のキー等によって構成される入力部を備える場合等には、ユーザが操作端末を操作して様々な指示を入力し易くなる場合がある。各ユーザの利便性を向上させ得る。

前記２個以上のユーザデバイスのそれぞれは、さらに、前記フレームを装着した前記ユーザの状態に関係する状態情報を取得する取得部を備えてもよい。前記制御部は、さらに、前記取得部によって取得された前記状態情報を前記情報処理機器に送信する第３のデバイス送信部を備えてもよい。前記情報処理機器は、さらに、前記状態情報を受信する第４の機器受信部と、前記２個以上のユーザデバイスを装着するそれぞれのユーザを表す２個以上のキャラクタ画像を生成する第４の機器生成部であって、前記２個以上のキャラクタ画像のそれぞれは、対応する前記ユーザデバイスから受信される前記状態情報が示す状態に応じた表示態様を有している、前記第４の機器生成部と、を備えてもよい。前記表示画面データによって表される前記表示画面は、さらに、生成された前記２個以上のキャラクタ画像のうちの少なくとも一部を含んでいてもよい。

この構成によると、各ユーザのユーザデバイスの表示部に表示される表示画面は、２個以上のキャラクタ画像のうちの少なくとも一部を含む。そして、各キャラクタ画像は、対応するユーザデバイスから受信された状態情報が示す状態（即ち、当該ユーザデバイスのユーザの状態）に応じた表示態様を有する。即ち、表示画面に含まれるキャラクタ画像は、対応するユーザの状態を適切に反映し得る。そのため、上記の構成によると、各ユーザデバイスのユーザが操作を行わなくても、各ユーザは、各ユーザの状態を適切に反映させた表示画面を見ながら意志疎通を行ない得る。

前記２個以上のユーザデバイスのそれぞれは、さらに、前記情報処理機器を介することなく相互に通信可能であってもよい。前記制御部は、さらに、前記情報処理機器を介することなく通信している通信先のユーザデバイスから前記表示画面データを受信する第３のデバイス受信部と、前記入力部に前記変更指示が入力される場合に、前記２個以上のユーザデバイスのそれぞれについて、当該ユーザデバイスのための前記表示画面データを生成するデバイス生成部であって、前記表示画面データによって表わされる前記表示画面に含まれる前記仮想的なホワイトボードは、前記変更指示に基づいて変更された前記仮想的なホワイトボードの表示内容を表示している、前記デバイス生成部と、生成された前記表示画面データを前記通信先のユーザデバイスに送信する第４のデバイス送信部と、を備えていてもよい。

この構成によると、各ユーザは、自身のユーザデバイスが情報処理機器と通信不可能な状態にある場合であっても、各ユーザデバイス間で情報処理機器を介することなく通信を実行することによって、共通の仮想的なホワイトボードに記入された共通の情報を認識しながら意志疎通を行ない得る。

なお、上記のユーザデバイス、及び、情報処理機器を実現するための制御方法、コンピュータプログラム、及び、当該コンピュータプログラムを格納するコンピュータ読取可能媒体も、新規で有用である。

会議システムの概要を示す。 画像表示装置の概要を示す。 画像表示装置のブロック図を示す。 端末装置のブロック図を示す。 サーバのブロック図を示す。 ユーザが視認する表示画面の一例を示す。 サーバの制御部が実行する通話制御処理のフローチャートを示す。 サーバの制御部が実行する画像通信処理のフローチャートを示す。 第３実施例の画像表示装置の制御部が実行する通話処理のフローチャートを示す。

（第１実施例）
（会議システム２の構成；図１）
図１に示す会議システム２は、複数のユーザが、共通の１つの仮想的なホワイトボードを示すホワイトボード画像を含む表示画面（後述の図６参照）を見ながら会議を行うためのシステムである。図１の会議システム２は、ユーザデバイス８Ａ〜８Ｄと、サーバ１００とを備える。ユーザデバイス８Ａ〜８Ｄは、それぞれ、画像表示装置１０Ａ〜１０Ｄと、端末装置４０Ａ〜４０Ｄとを備えている。画像表示装置１０Ａ〜１０Ｄのそれぞれは、対応する端末装置４０Ａ〜４０Ｄとの間でＢｌｕｅｔｏｏｔｈ（登録商標）通信を実行可能である。以下では、Ｂｌｕｅｔｏｏｔｈのことを「ＢＴ」と略して呼ぶ場合がある。また、画像表示装置１０Ａ〜１０Ｄのそれぞれは、サーバ１００との間でＷｉ−Ｆｉ通信を実行可能である。変形例では、画像表示装置１０Ａ〜１０Ｄのそれぞれは、対応する端末装置４０Ａ〜４０Ｄとの間で、ＢＴ通信に代えて任意の近距離無線通信を実行可能であってもよい。画像表示装置１０Ａ〜１０Ｄのそれぞれは、ユーザ４Ａ〜４Ｄの頭部に装着されている。画像表示装置１０Ａ〜１０Ｄのそれぞれには、当該装置を識別するための装置ＩＤ（「Ｄ０１」，「Ｄ０２」，「Ｄ０３」，「Ｄ０４」）が割り当てられている。また、ユーザ４Ａ〜４Ｄのそれぞれは、事前にサーバ１００に登録したユーザＩＤ（「Ｕ０１」，「Ｕ０２」，「Ｕ０３」，「Ｕ０４」）を有している。以下では、ユーザデバイス８Ａ〜８Ｄ、画像表示装置１０Ａ〜１０Ｄ、端末装置４０Ａ〜４０Ｄをそれぞれ区別せずに呼ぶ場合、「ユーザデバイス８」、「画像表示装置１０」、「端末装置４０」と呼ぶ場合がある。また、ユーザ４Ａ〜４Ｄを区別せずに呼ぶ場合に「ユーザ４」と呼ぶ場合がある。図１の例では、４個のユーザデバイス８Ａ〜８Ｄのみを図示しているが、実際の会議システム２には、これ以外のユーザデバイス８が含まれていてもよい。

（画像表示装置１０の構成；図１〜図３）
図１に示す画像表示装置１０（即ち画像表示装置１０Ａ〜１０Ｄ）は、ユーザ４の頭部に装着して用いられる画像表示装置（いわゆるヘッドマウントディスプレイ）である。図２に示すように、画像表示装置１０は、フレーム１２と、表示部１４と、操作部１６と、生体センサ１８と、脳波センサ２０と、マイク２２と、スピーカ２４と、内側カメラ２６と、外側カメラ２７と、コントロールボックス２８と、を備える。

フレーム１２は、眼鏡フレーム状の部材である。ユーザ４は、顔の前面側から眼鏡を装着するようにフレーム１２を装着することによって、画像表示装置１０を頭部に装着することができる。

表示部１４は、遮光性の表示部材である。ユーザ４が画像表示装置１０を頭部に装着すると、ユーザ４の両眼に対向する位置に表示部１４が配置される。ユーザ４が画像表示装置１０を装着すると、表示部１４によってユーザ４の視界が遮られる。他の例では、表示部１４は、透光性のディスプレイであってもよく、ユーザ４が画像表示装置１０を装着した際に表示部１４を通して周囲を視認できるものであってもよい。

操作部１６は、フレーム１２に備えられている。操作部１６は、複数個のボタン、ダイヤル等を含む。ユーザ４は、操作部１６を操作して、画像表示装置１０に様々な操作を入力することができる。

生体センサ１８は、画像表示装置１０を装着するユーザ４の脈拍数及び発汗状態を検出するためのセンサである。生体センサ１８はフレーム１２の一部に取り付けられている。ユーザ４は、フレーム１２を頭部に装着した状態で、身体の所定の部位（例えば頭部、頸部等）に生体センサ１８を取り付けることができる。

脳波センサ２０は、画像表示装置１０を装着するユーザ４の脳波を検出するためのセンサである。脳波センサ２０はフレーム１２の一部に取り付けられている。ユーザ４は、フレーム１２を頭部に装着した状態で、頭部に脳波センサ２０を取り付けることができる。

マイク２２は、画像表示装置１０を装着するユーザ４の声や周囲の音など、各種音声を入力するための音声入力手段である。マイク２２はフレーム１２の一部に取り付けられている。ユーザ４がフレーム１２を頭部に装着すると、マイク２２は、ユーザ４の口元付近に配置される（図１参照）。ユーザ４はマイク２２を動かして配置位置を適宜変更することも可能である。

スピーカ２４は、通話相手の声等、各種音声を出力するための音声出力手段である。スピーカ２４もフレーム１２の一部に取り付けられている。

内側カメラ２６は、表示部１４の内側（即ちユーザ４の顔側）に設けられている。図２の例では、２個の内側カメラ２６が設けられている。内側カメラ２６は、画像表示装置１０を装着するユーザの眼を撮影する。

外側カメラ２７は、画像表示装置１０を装着するユーザ４の視界範囲に対応する範囲を撮影するためのカメラである。図２の例では、２個の外側カメラ２７が設けられている。このうちの一方の外側カメラ２７は、ユーザ４の右眼の視界範囲を撮影し、他方の外側カメラ２７は、ユーザ４の左眼の視界範囲を撮影する。

コントロールボックス２８は、フレーム１２の一部に内蔵されている制御装置である。コントロールボックス２８には、画像表示装置１０の制御系統を司る各要素が収容されている。具体的に言うと、図３に示すように、コントロールボックス２８には、制御部３０と、メモリ３２と、三次元センサ３４と、Ｗｉ−Ｆｉインターフェース３６と、ＢＴインターフェース３７とが収容されている。以下では、インターフェースのことを「Ｉ／Ｆ」と記載する。

制御部３０は、メモリ３２に記憶されているプログラムに従って様々な処理を実行する。また、制御部３０は、図３に示すように、表示部１４、操作部１６、生体センサ１８、脳波センサ２０、マイク２２、スピーカ２４、内側カメラ２６、外側カメラ２７、メモリ３２、三次元センサ３４、Ｗｉ−ＦｉＩ／Ｆ３６、及び、ＢＴＩ／Ｆ３８と電気的に接続されており、これらの各要素の動作を制御することができる。

メモリ３２は、ＲＯＭ、ＲＡＭ、ハードディスク等によって構成される。メモリ３２は、様々なプログラムを記憶している。また、メモリ３２は、画像表示装置１０自身に割り当てられている装置ＩＤも記憶している。例えば、画像表示装置１０Ａのメモリ３２には自機の装置ＩＤ「Ｄ０１」が記憶されている。また、メモリ３２は、制御部３０の処理に伴って生成される様々な情報を記憶する領域も有している。

三次元センサ３４は、三軸加速度センサである。三次元センサ３４は、Ｘ，Ｙ，Ｚの三軸の加速度を検出する。三次元センサ３４の検出値を用いて、制御部３０は、画像表示装置１０の姿勢及び運動状態を特定することができる。

Ｗｉ−ＦｉＩ／Ｆ３６は、図示しないインターネットを介して外部の装置（例えばサーバ１００）とＷｉ−Ｆｉ通信を実行するためのＩ／Ｆである。

ＢＴＩ／Ｆ３８は、外部の装置（具体的には端末装置４０）とＢＴ通信を実行するためのＩ／Ｆである。本実施例では、制御部３０は、ＢＴＩ／Ｆ３８を介して、端末装置４０から各種指示（変更指示、出力指示等）を示す指示信号を受信する。

（端末装置４０の構成；図１、図４）
図１に示す端末装置４０（即ち端末装置４０Ａ〜４０Ｄ）は、スマートフォン、ノートＰＣ、タブレットＰＣ等、ユーザ４が所持する携帯型の端末装置である。図４に示すように、端末装置４０は、表示部４２と、操作部４４と、ＢＴＩ／Ｆ４６と、制御部５０と、メモリ５２とを備える。なお、後述の第２実施例では、端末装置４０はさらにマイク４８を備える。

表示部４２は、様々な情報を表示するためのディスプレイである。操作部４４は、複数のキーを備える。ユーザ４は、操作部４４を操作することによって、様々な指示（例えば変更指示、出力指示等）を端末装置４０に入力可能である。本実施例では、表示部４２は、いわゆるタッチパネルであり、操作部としても機能する。以下の「操作部４４」という表現は、操作部４４そのものと、タッチパネルである表示部４２と、の双方を含む意味である。

ＢＴＩ／Ｆ４６は、外部の装置（具体的には画像表示装置１０）とＢＴ通信を実行するためのＩ／Ｆである。本実施例では、制御部５０は、ＢＴＩ／Ｆ３８を介して、操作部４４に入力された各種指示（変更指示、出力指示等）を示す指示信号を画像表示装置１０に送信する。

制御部５０は、メモリ５２に記憶されているプログラムに従って様々な処理を実行する。メモリ５２は、ＲＯＭ、ＲＡＭ、ハードディスク等によって構成され、様々なプログラムを記憶している。メモリ５２に記憶されているプログラムは、後で説明するように、画像表示装置１０とＢＴ通信を行うことによって、操作部４４に入力された各種指示（変更指示、出力指示等）を示す指示信号を画像表示装置１０に送信するためのアプリケーションプログラム（以下では「特定のアプリケーション」と呼ぶ）を含む。メモリ５２は、さらに、制御部５０が処理を実行する過程で取得又は生成される各種データを記憶する。

（サーバ１００の構成；図１、図５）
図１に示すサーバ１００は、会議システム２の管理者（例えば、会議システム２を利用した会議サービスの提供事業者等）によって設置されるサーバである。図５に示すように、サーバ１００は、Ｗｉ−ＦｉＩ／Ｆ１０２と、制御部１１０と、メモリ１１２と、を備えている。

Ｗｉ−ＦｉＩ／Ｆ１０２は、図示しないインターネットを介して外部の装置（例えば画像表示装置１０Ａ〜１０Ｄ）と無線通信を実行するためのＩ／Ｆである。

制御部１１０は、メモリ１１２に記憶されているプログラム１２０に従って、後述の通話制御処理（図５参照）を含む様々な処理を実行する。メモリ１１２は、ＲＯＭ、ＲＡＭ、ハードディスク等によって構成されている。メモリ１１２は、プログラム１２０の他に、ユーザテーブル１２２を記憶している。ユーザテーブル１２２は、各ユーザ（即ちユーザ４Ａ〜４Ｄ）のユーザＩＤと、当該ユーザが使用する画像表示装置１０（即ち画像表示装置１０Ａ〜１０Ｄ）の装置ＩＤと、の組合せを示す複数個の組合せ情報１２２ａ〜１２２ｄを含む。組合せ情報１２２ａ〜１２２ｄは、各ユーザが事前にユーザＩＤと装置ＩＤとをサーバ１００に登録することによって、ユーザテーブル１２２内に追加される。例えば、組合せ情報１２２ａは、ユーザ４Ａを示すユーザＩＤ「Ｕ０１」と、画像表示装置１０Ａを示す装置ＩＤ「Ｄ０１」とが対応付けられていることを示している。この他にも、メモリ１１２は、制御部１１０の処理に伴って生成される様々な情報（例えば、後述のボード出力データ）を記憶する領域も有している。

（会議システム２を使って行われる会議の概要；図６）
続いて、図６を参照して、会議システム２を使って各ユーザ４間で行われる会議の概要を説明する。ユーザ４Ａ〜４Ｄが参加する会議セッションが開始されると、各ユーザ４は、頭部に装着する画像表示装置１０の表示部１４に表示される表示画面２００（図６参照）を見ながら、他のユーザ４との間で音声通話を行うことができる。図６に示すように、表示画面２００には、各ユーザ４Ａ〜４Ｄを表わすキャラクタ画像Ｃ１〜Ｃ４が含まれる。各キャラクタ画像Ｃ１〜Ｃ４の表示態様は、会議中の各ユーザ４の状態（即ち、姿勢、視線、感情、健康状態等）に応じてリアルタイムに変化する。

表示画面２００には、さらに、仮想的なホワイトボードを示すホワイトボード画像２１０が含まれる。会議に参加する各ユーザ４は、ホワイトボード画像２１０によって表される仮想的なホワイトボードを、現実の会議室内のホワイトボードのように利用しながら音声通話を行うことができる。即ち、会議に参加する各ユーザ４は、共通の仮想的なホワイトボードに表示される共通の情報を見ながら音声通話を行うことができる。

ホワイトボード画像２１０の近傍には、ページ変更ボタン２１２、２１４、データ出力ボタン２１６、ペンボタン２１８、消去ボタン２２０が表示されている。表示画面２００には、さらに、各ユーザ４が操作可能なカーソル２３０が表示されている。ユーザ４は、端末装置４０の操作部４４を操作し、カーソル２３０で各ボタン２１２〜２２０を選択する操作を入力することができる。

ページ変更ボタン２１２、２１４は、仮想的なホワイトボードの表示面（即ちページ）を変更（先送り又は後戻し）するためのボタンである。ページ変更ボタン２１２、２１４が操作されると、ホワイトボード画像２１０が表す仮想的なホワイトボードの表示面が変更される。

データ出力ボタン２１６は、仮想的なホワイトボードの表示内容を示すボード出力データをサーバ１００のメモリ１１２内に記憶させるためのボタンである。データ出力ボタン２１６が操作されると、仮想的なホワイトボードの表示内容を示すボード出力データが生成され、サーバ１００のメモリ１１２に記憶される。変形例では、ボード出力データは、メモリ１１２に記憶されることに代えて任意の手法で出力されてもよい。例えば、ボード出力データは、ユーザ４が指定するメールアドレス宛にメール送信されてもよいし、所定のプリンタによって印刷されてもよい。

ペンボタン２１８は、仮想的なホワイトボードに書き込むペンを利用するためのボタンである。カーソル２３０でペンボタン２１８が操作されると、カーソル２３０の表示態様がペンの形状に変更される。そして、ユーザ４が、操作部４４に指示を入力し、ホワイトボード画像２１０上でカーソル２３０を動かす操作を行うことにより、仮想的なホワイトボードに情報（文字、図形等）が記入される。

消去ボタン２２０は、仮想的なホワイトボード上の情報を消去するイレーザーを利用するためのボタンである。カーソル２３０で消去ボタン２２０が操作されると、カーソル２３０の表示態様がイレーザーの形状に変更される。そして、ユーザ４が、操作部４４に指示を入力し、ホワイトボード画像２１０上でカーソル２３０を動かす操作を行うことで、仮想的なホワイトボードに記入されている情報が消去される。

表示画面２００には、さらに、所定の背景画像２５０が含まれる。本実施例では、背景画像２５０には、ユーザ４が装着している画像表示装置１０の外側カメラ２７の撮影画像（即ちユーザ４の視界に相当する画像）が利用される。図６の例では、背景画像２５０は、端末装置４０の画像を含んでいる。即ち、ユーザ４が、自身が携帯する端末装置４０の方に視線を向けたことを意味する。会議に参加しているユーザ４は、背景画像２５０に含まれる端末装置４０の画像を見ながら、端末装置４０を操作することができる。

図６に示される表示画面２００は、各ユーザ４の画像表示装置１０の表示部１４に表示される表示画面の一例である。表示画面２００には、図６に示す各画像（キャラクタ画像Ｃ１〜Ｃ４、ホワイトボード画像２１０等）以外の画像が表示されていてもよい。

（通話制御処理；図７）
図７を参照して、本実施例のサーバ１００の制御部１１０が実行する通話制御処理について説明する。通話制御処理は、ユーザデバイス８Ａ〜８Ｄのユーザ４Ａ〜４Ｄが、各ユーザを表わすキャラクタ画像及び仮想的なホワイトボードを示すホワイトボード画像２１０を含む表示画面２００（図６参照）を見ながら通話（即ちテレビ会議）を行うために、サーバ１００の制御部１１０が実行する処理である。サーバ１００の電源がオンされると、制御部１１０は、図７の通話制御処理を開始する。

Ｓ１０では、制御部１１０は、いずれかの画像表示装置１０から通話開始リクエストを受信することを監視する。通話開始リクエストは、サーバ１００に、複数のユーザによる通話の開始を要求するためのリクエスト信号である。例えば、画像表示装置１０Ａのユーザ４Ａ（図１参照）は、画像表示装置１０Ａの電源をオンし、頭部に装着する。この際、外側カメラ２７によって撮影された画像（即ち、ユーザの視界に対応する画像）が表示部１４に表示される。ユーザは、外側カメラ２７の撮影画像を見ることにより、周囲の状況を把握することができる。ユーザ４Ａは、その状態で端末装置４０の操作部４４を操作し、上記の特定のアプリケーションを起動させる。これにより、端末装置４０と画像表示装置１０ＡとがＢＴ通信を実行可能な状態に移行する。そして、ユーザ４Ａは、操作部４４を操作して所定の通話開始操作を入力する。所定の通話開始操作は、通話開始操作を行うユーザ４Ａ（以下ではホストユーザと呼ぶ）を示すユーザＩＤ（この例では「Ｕ０１」）を入力する操作と、通話に参加するユーザ（以下ではゲストユーザと呼ぶ。例えばユーザ４Ｂ〜４Ｄ）を示すユーザＩＤ（「Ｕ０２」、「Ｕ０３」、「Ｕ０４」）を選択する操作と、通話開始を指示する操作と、を含む。操作部４４に通話開始操作が入力されると、画像表示装置１０Ａの制御部３０は、ＢＴＩ／Ｆ３８を介して端末装置４０から、通話開始操作を示す通話開始信号を受信する。なお、以下では、ユーザ４が操作部４４に種々の操作を入力し、ＢＴ通信を介して画像表示装置１０に操作内容を示す信号が伝達されることを、単にユーザ４の操作として簡潔に説明する。そして、制御部３０は、入力されたホストユーザのユーザＩＤ（「Ｕ０１」）と、選択されたゲストユーザのユーザＩＤ（「Ｕ０２」〜「Ｕ０４」）と、を含む通話開始リクエストを生成し、生成された通話開始リクエストを、Ｗｉ−ＦｉＩ／Ｆ３６を介してサーバ１００に送信する。この場合、サーバ１００の制御部１１０は、Ｗｉ−ＦｉＩ／Ｆ１０２を介して、画像表示装置１０Ａから通話開始リクエストを受信する。制御部１１０は、通話開始リクエストを受信すると、Ｓ１０でＹＥＳと判断し、Ｓ１２に進む。

Ｓ１２では、制御部１１０は、呼出通知を送信する。詳しく言うと、Ｓ１２では、まず、制御部１１０は、メモリ１１２内のユーザテーブル１２２を参照し、Ｓ１０で受信された通話開始リクエストに含まれるゲストユーザのユーザＩＤ（上記の例では「Ｕ０２」、「Ｕ０３」、「Ｕ０４」）のそれぞれに対応する装置ＩＤ（上記の例では「Ｄ０２」、「Ｄ０３」、「Ｄ０４」）を特定する。そして、制御部１１０は、特定された装置ＩＤによって示される画像表示装置１０（上記の例では装置１０Ｂ，１０Ｃ，１０Ｄ）に対して、Ｗｉ−ＦｉＩ／Ｆ１０２を介して、呼出通知を送信する。呼出通知は、ゲストユーザが使用する画像表示装置１０に対して、通話に招待されている旨を通知するための信号であり、ホストユーザのユーザＩＤ（上記の例では「Ｕ０１」）とゲストユーザのユーザＩＤ（上記の例では「Ｕ０２」、「Ｕ０３」、「Ｕ０４」）とを含む。呼出通知の送信先の画像表示装置１０（即ちゲストユーザの画像表示装置１０）は、呼出通知を受信すると、所定の呼出動作を行う。呼出動作は、スピーカ２４から呼出音を発生させることや、表示部１４にホストユーザのユーザＩＤ、ゲストユーザＩＤのユーザＩＤ、及び呼出メッセージを表示させることを含む。呼出動作が行われることにより、画像表示装置１０を使用するユーザ４は、ホストユーザによって通話に招待されていること、及び、通話に参加するユーザが誰であるのかを知ることができる。

次いで、Ｓ１４では、制御部１１０は、呼出通知の送信先の画像表示装置１０のそれぞれから、応答通知を受信することを監視する。上記の通り、呼出通知を受信した画像表示装置１０は、呼出動作を行う。呼出動作が行われている画像表示装置１０のユーザ４（例えば画像表示装置１０Ｂのユーザ４Ｂ）は、画像表示装置１０を装着し、端末装置４０Ｂの特定のアプリケーションを起動し、所定の応答操作を実行する。応答操作は、通話に参加することを示す参加操作と、通話に参加しないことを示す拒否操作と、のうちのいずれか一方を含む。応答操作が行われると、画像表示装置１０の制御部３０は、参加を示す参加情報と拒否を示す拒否情報の一方を含む応答通知を生成し、生成された応答通知をサーバ１００に送信する。サーバ１００の制御部１１０は、呼出通知の送信先の画像表示装置１０のそれぞれから応答通知を受信すると、Ｓ１４でＹＥＳと判断し、Ｓ１６に進む。

Ｓ１６では、制御部１１０は、通話セッションを開始する。具体的には、まず、制御部１１０は、ホストユーザの画像表示装置１０の装置ＩＤを特定する。次いで、制御部１１０は、ゲストユーザの画像表示装置１０のうち、参加情報を含む応答通知を送信した画像表示装置１０の装置ＩＤを特定する。そして、制御部１１０は、特定された装置ＩＤによって示される画像表示装置１０を含む通話セッションを開始する。即ち、通話セッションには、拒否情報を含む応答通知を送信した画像表示装置１０は含まれない。

（通話セッション開始後の各画像表示装置１０の制御部３０の処理）
図５のＳ１６で通話セッションが開始されると、通話セッションに参加する画像表示装置１０の制御部３０は、次のような処理を実行する。即ち、制御部３０は、マイク２２に入力される音声をサーバ１００に送信し、サーバ１００から受信される音声データに基づいてスピーカ２４から音声を出力する。これにより、各画像表示装置１０間で音声通話を実行することができる。

そして、制御部３０は、当該画像表示装置１０の装置ＩＤ、三次元センサ３４の検出値、生体センサ１８の検出値、脳波センサ２０の検出値、マイク２２に入力される音声信号、及び、内側カメラ２６が撮影する眼の画像を含む状態情報を随時生成し、サーバ１００に送信する。そして、制御部３０は、状態情報を送信することに応じて、サーバ１００から、当該画像表示装置１０用の表示画面データを受信し、受信された表示画面データに基づいて表される表示画面２００（図６参照）を表示部１４に表示させる。これにより、通話に参加しているそれぞれのユーザ４は、通話に参加する他のユーザ４を示すキャラクタ画像Ｃ１〜Ｃ４と、仮想的なホワイトボードを示すホワイトボード画像２１０を含む表示画面２００を見ながら通話を行うことができる。

さらに、ユーザ４は、端末装置４０の操作部４４に、表示画面２００中の仮想的なホワイトボードの表示内容を変更する（即ち、上述した表示面の変更、情報の記入又は消去等）ための変更指示を入力することができる。変更指示が入力されると、制御部３０は、入力された変更指示の内容を示す変更指示データをサーバ１００に送信する。そして、制御部３０は、変更指示データを送信することに応じて、サーバ１００から、表示内容が変更された後のホワイトボード画像２１０を含む表示画面２００を示す表示画面データを受信し、受信された表示画面データに基づいて表される表示画面２００を表示部１４に表示させる。これにより、通話に参加しているそれぞれのユーザ４は、表示内容が変更されたホワイトボード画像２１０を見ながら通話を行うことができる。

さらに、ユーザ４は、端末装置４０の操作部４４に、表示画面中の仮想的なホワイトボードの表示内容を出力する（即ち、サーバ１００のメモリ１１２に記憶させる）ための出力指示を入力することができる。出力指示が入力されると、制御部３０は、出力指示を示す出力指示データをサーバ１００に送信する。後で説明する通り、出力指示データがサーバ１００に送信されると、サーバ１００の制御部１１０は、この時点における仮想的なホワイトボードの表示内容を含むボード出力データを生成し、生成したボード出力データをメモリ１１２に記憶させる。その後、ユーザ４は、任意のタイミングで、画像表示装置１０を介してサーバ１００に閲覧リクエストを送信することにより、メモリ１１２に記憶されたボード出力データの内容を見ることができる。

（通話制御処理の続き；図５のＳ１８以降）
続くＳ１８では、制御部１１０は、音声通信処理を開始する。即ち、制御部１１０は、通話セッションに参加する各画像表示装置１０間の音声通話を中継する処理を実行する。即ち、制御部１１０は、各画像表示装置１０から、各画像表示装置１０のマイク２２に入力された音声信号を受信する。制御部１１０は、各画像表示装置１０から受信された音声信号に基づいて音声出力データを生成し、各画像表示装置１０に送信する。

また、Ｓ２０では、制御部１１０は、画像通信処理を開始する。以下、図８を参照して、Ｓ２０で実行される画像通信処理の内容を詳しく説明する。

（画像通信処理；図８）
制御部１１０は、図８の画像通信処理を開始すると、Ｓ３０、Ｓ５０、Ｓ７０の各監視を開始する。

Ｓ３０では、制御部１１０は、通話セッションに参加している各画像表示装置１０から状態情報を受信することを監視する。上記の通り、通話セッションが開始される（図７のＳ１６）と、通話セッションに参加している画像表示装置１０の制御部３０は、三次元センサ３４の検出値、生体センサ１８の検出値、脳波センサ２０の検出値、マイク２２に入力される音声信号、及び、内側カメラ２６が撮影する眼の画像を含む状態情報を随時生成し、サーバ１００に送信する。制御部１１０は、通話セッションに参加している各画像表示装置１０が送信する上記の状態情報を受信すると、Ｓ３０でＹＥＳと判断し、Ｓ３２に進む。

Ｓ５０では、制御部１１０は、通話セッションに参加している画像表示装置１０のうちのいずれかの画像表示装置１０から、変更指示データを受信することを監視する。上記の通り、通話セッションに参加しているユーザ４は、端末装置４０の操作部４４に上述の変更指示を入力することができる。その場合、画像表示装置１０の制御部３０は、入力された変更指示の内容を示す変更指示データをサーバ１００に送信する。制御部１１０は、いずれかの画像表示装置１０が送信する変更指示データを受信すると、Ｓ５０でＹＥＳと判断し、Ｓ５２に進む。

Ｓ７０では、制御部１１０は、通話セッションに参加している画像表示装置１０のうちのいずれかの画像表示装置１０から、出力指示データを受信することを監視する。上記の通り、通話セッションに参加しているユーザ４は、端末装置４０の操作部４４に出力指示を入力することができる。その場合、画像表示装置１０の制御部３０は、出力指示を示す出力指示データをサーバ１００に送信する。制御部１１０は、いずれかの画像表示装置１０が送信する出力指示データを受信すると、Ｓ７０でＹＥＳと判断し、Ｓ７２に進む。

Ｓ３２（Ｓ３０でＹＥＳの場合）では、制御部１１０は、受信された１以上の状態情報のうちの１つの状態情報（即ち、通話セッションに参加している画像表示装置１０のうちの１個から受信された状態情報）を特定する。以下では、Ｓ３２で特定された状態情報を「特定の状態情報」と呼ぶ場合がある。また、特定の状態情報の送信元の画像表示装置１０のことを「特定の画像表示装置」と呼ぶ場合がある。さらに、特定の画像表示装置を使用するユーザ４のことを「特定のユーザ」と呼ぶ場合がある。

続くＳ３４では、制御部１１０は、Ｓ３２で特定された特定の状態情報に基づいて、特定のユーザの状態を特定する。ここで、特定のユーザの状態は、特定のユーザの姿勢（顔の向きや体の向きを含む）、感情、体調、視線、発話状態（発話中か否か）等を含む。Ｓ３４では、まず、制御部１１０は、ユーザテーブル１２２を参照し、特定の状態情報に含まれる装置ＩＤに対応するユーザＩＤ（即ち、特定のユーザのユーザＩＤ）を特定する。そして、制御部１１０は、特定の状態情報に含まれる各種情報に基づいて、特定のユーザの状態を特定する。制御部１１０は、特定の状態情報に含まれる三次元センサ３４の検出値に基づいて、特定のユーザの姿勢を特定することができる。また、制御部１１０は、特定の状態情報に含まれる生体センサ１８の検出値、脳波センサ２０の検出値、マイク２２に入力される音声信号、及び、内側カメラ２６で撮影された眼の画像に基づいて、特定のユーザの感情（例えば、怒っている、喜んでいる、不安を抱えている、悲しんでいるなど）を特定することができる。また、制御部１１０は、特定の状態情報に含まれる生体センサ１８の検出値及び脳波センサ２０の検出値に基づいて、特定のユーザの体調（健康、発熱、めまい等）を特定することができる。また、制御部１１０は、特定の状態情報に含まれる内側カメラ２６で撮影された眼の画像及び三次元センサ３４の検出値に基づいて、特定のユーザの視線を特定することができる。制御部１１０は、以上の各処理を実行することによって、特定のユーザの状態を特定することができる。制御部１１０は、特定のユーザのユーザＩＤと、特定されたユーザの状態とを対応付けてメモリ１１２に一時的に記憶させる。

続くＳ３６では、制御部１１０は、特定のユーザを示すキャラクタ画像（図６の符号Ｃ１〜Ｃ４参照）を生成する。本実施例では、キャラクタ画像は、Ｓ３４で特定された状態（姿勢、感情、体調、視線、発話状態等）を反映した表示態様を有する画像（いわゆるアバター）である。

続くＳ３８では、制御部１１０は、Ｓ３０で受信された１以上の状態情報をすべて特定したか否かを判断する。この時点で１以上の状態情報がすべて特定済みである場合、制御部１１０は、Ｓ３８でＹＥＳと判断し、Ｓ４０に進む。一方、１以上の状態情報をまだすべて特定していない場合、制御部１１０は、Ｓ３８でＮＯと判断し、Ｓ３２に戻り、未特定の状態情報のうちの１つを新たに特定の状態情報として特定し、Ｓ３４、Ｓ３６の処理を実行する。

Ｓ４０では、制御部１１０は、既に作成済みの各ユーザのキャラクタ画像と、現在の仮想的なホワイトボードを示すホワイトボード画像と、を含む各画像表示装置１０用の表示画面データを生成する。本実施例では、Ｓ４０で生成される表示画面データの内容は、各画像表示装置１０間で同一である。変形例では、Ｓ４０で生成される表示画面データの内容は、各画像表示装置１０間で異なっていてもよい。その場合、例えば、各表示画面データは、各ユーザの視界を反映した内容を有していてもよい。

続くＳ４２では、制御部１１０は、生成された各表示画面データを、対応する画像表示装置１０に送信する。各画像表示装置１０の制御部３０は、表示画面データを受信すると、受信された表示画面データに基づいて表される表示画面２００（図６参照）を表示部１４に表示させる。Ｓ４２を終えると、制御部１１０は、Ｓ３０、Ｓ５０、Ｓ７０の各監視に戻る。

一方、Ｓ５２（Ｓ５０でＹＥＳの場合）には、制御部１１０は、変更指示データによって示される変更指示が示す変更内容（例えば、情報の記入又は消去、表示面の変更等）を反映した仮想的なホワイトボードを表わすホワイトボード画像（図６の符号２１０参照）を生成する。そして、続くＳ４０では、制御部１１０は、Ｓ５２で生成されたホワイトボード画像を含む各画像表示装置１０用の表示画面データを生成する。その後のＳ４２の処理は上記と同様である。

一方、Ｓ７２（Ｓ７０でＹＥＳの場合）には、制御部１１０は、この時点の仮想的なホワイトボードの表示内容を含むボード出力データを生成する。ボード出力データは、この時点で各画像表示装置１０の表示部１４に表示されているホワイトボード画像そのものであってもよい。他の例では、ボード出力データは、この時点で表示されている仮想的なホワイトボードに表示されているテキストデータであってもよい。

続くＳ７４では、制御部１１０は、Ｓ７２で生成されたボード出力データをメモリ１１２に記憶させる。Ｓ７４を終えると、制御部１１０は、Ｓ３０、Ｓ５０、Ｓ７０の各監視に戻る。

制御部１１０がＳ３０〜Ｓ７４の各処理を繰り返し実行することにより、各画像表示装置１０の表示部１４に表示される表示画面２００の内容は、各ユーザ４の状態（視線、感情、姿勢等）、及び、各ユーザ４が入力した変更指示の内容に応じてリアルタイムに変化する。各ユーザ４は、他のユーザ４と実際に会話を行っているような感覚を得られる。また、各ユーザ４は、共通の１つのホワイトボードを見ながら会議を行っているような感覚を得られる。さらに、各ユーザ４は、任意のタイミングで、画像表示装置１０を介してサーバ１００に閲覧リクエストを送信することにより、メモリ１１２に記憶されたボード出力データの内容を見ることもできる。

（通話制御処理の続き；図７のＳ２２以降）
上記の通り、図７のＳ１８で音声通信処理が開始され、Ｓ２０で画像通信処理が開始されることによって、通話に参加している各ユーザ４が、キャラクタ画像及びホワイトボード画像を含む表示画面を見ながら通話を行うことができる。

続くＳ２２では、制御部１１０は、通話セッションに参加している画像表示装置１０のうちのいずれかの画像表示装置１０から通話終了リクエストを受信することを監視する。通話終了リクエストは、サーバ１００に、現在の通話セッションの終了を要求するためのリクエスト信号である。例えば、通話セッションに参加している画像表示装置１０Ａのユーザ４Ａは、操作部１６において所定の通話終了操作を行うことができる。その場合、画像表示装置１０Ａの制御部３０は、通話終了リクエストをサーバ１００に送信する。制御部１１０は、通話終了リクエストを受信すると、Ｓ２２でＹＥＳと判断し、Ｓ２４に進む。

Ｓ２４では、制御部１１０は、通話セッションを終了する。制御部３０は、Ｓ２４を終えると、Ｓ１０に戻り、再び通話開始リクエストを受信することを監視する。

以上、本実施例の会議システム２の構成及び動作について説明した。本実施例では、通話セッションが開始されると、通話セッションに参加する各画像表示装置１０の表示部１４には、当該画像表示装置１０のための表示画面２００が表示される（図６参照）。表示画面２００は、各ユーザが記入可能な仮想的なホワイトボードを示すホワイトボード画像２１０を含む。表示画面２００に含まれるホワイトボード画像２１０は、通話セッションに参加する各ユーザ４によって記入された情報を表示する。そして、各ユーザ４は、自身の画像表示装置１０の表示部１４に表示された表示画面２００を見ることで、共通の情報が記入されたホワイトボード画像２１０を見ることができる。また、各ユーザ４は、端末装置４０の操作部４４に変更指示を入力することにより、ホワイトボード画像２１０の表示内容を変更することもできる（例えば、情報の記入、情報の消去、表示面の変更等）。即ち、各ユーザは、仮想的なホワイトボードが存在する空間内で会議を行っているような感覚で互いに意志疎通を行なうことができる。従って、本実施例によると、２個以上のユーザデバイス８のそれぞれのユーザ４が、共通の仮想的なホワイトボードに記入された共通の情報を認識しながら意志疎通を行なうことができる。

また、本実施例では、通話セッションに参加しているいずれかのユーザ４が端末装置４０の操作部４４に出力指示を入力することにより、仮想的なホワイトボードの表示内容を示すボード出力データがサーバ１００のメモリ１１２に記憶される（即ち出力される）。その後、各ユーザ４は、任意のタイミングで、画像表示装置１０を介してサーバ１００に閲覧リクエストを送信することにより、メモリ１１２に記憶されたボード出力データの内容を見ることができる。

また、本実施例では、通話セッションが開始されると、通話セッションに参加する各画像表示装置１０の制御部３０は、マイク２２に入力される音声信号をサーバ１００に送信し、サーバ１００から受信される音声データに基づいてスピーカ２４から音声を出力する。そのため、本実施例では、各ユーザ４間で音声通話を行うことができる。各ユーザ４同士が離れた場所に存在している場合であっても、各ユーザ４が、共通の仮想的なホワイトボードに記入された共通の情報を認識しながら音声通話を行うことができる。

また、本実施例では、ユーザデバイス８は、画像表示装置１０と、端末装置４０と、によって構成される。各種指示を入力するための端末装置４０が、頭部に装着される画像表示装置１０と別個に形成されるため、各種指示を入力するための入力部が画像表示装置１０に設けられている場合に比べて、ユーザ４が様々な指示を入力し易い。また、ユーザ４が予め所持するスマートフォン等を、指示入力用の端末装置４０として利用することができれば、ユーザの利便性もさらに向上する。

また、本実施例では、各ユーザ４の画像表示装置１０の表示部１４に表示される表示画面２００は、各ユーザ４を示すキャラクタ画像Ｃ１〜Ｃ４を含む（図６参照）そして、各キャラクタ画像Ｃ１〜Ｃ４は、対応する画像表示装置１０から受信された状態情報が示す状態（即ち、当該ユーザの状態）に応じた表示態様を有する。即ち、表示画面２００に含まれるキャラクタ画像Ｃ１〜Ｃ４は、対応するユーザ４の状態を適切に反映する。そのため、本実施例では、各ユーザ４が操作を行わなくても、各ユーザ４は、各ユーザ４の状態を適切に反映させた表示画面２００を見ながら通話を行なうことができる。各ユーザ４は、自分や他のユーザ４の姿勢や表情を見ながら会話を行っている感覚で通話を行うことができる。

サーバ１００が「情報処理機器」の一例である。変更指示データ、出力指示データが「第１の指示データ」、「第２の指示データ」の一例である。端末装置４０が「操作端末」の一例である。操作部４４が「入力部」の一例である。ユーザ４がマイク２２に入力する音声が「第１種の音声」の一例である。スピーカ２４から出力される音声が「第２種の音声」の一例である。内側カメラ２６、マイク２２、生体センサ１８、脳波センサ２０が「取得部」の一例である。

（第２実施例）
本実施例では、図４に示すように、端末装置４０は、マイク４８を備える。本実施例では、ユーザ４は、ユーザが発する音声をマイク４８に入力することによって、変更指示、出力指示等の各種指示を入力することができる。即ち、本実施例では、ユーザ４は、各種指示を音声入力することができる。本実施例によると、各ユーザ４の操作負担が少なく済む。本実施例のマイク４８は、「入力部」の一例である。

（第３実施例）
本実施例では、各画像表示装置１０が、サーバ１００を介することなく相互に通信可能である点で第１実施例とは異なる。具体的には、各画像表示装置１０は、ＢＴＩ／Ｆ３８を介して相互に近距離無線通信（具体的にはＢＴ通信）を実行可能である。即ち、本実施例では、画像表示装置１０の制御部３０は、ＢＴＩ／Ｆ３８を介して他の画像表示装置１０とＢＴ通信を実行することができる。

本実施例では、各画像表示装置１０間で、ＢＴＩ／Ｆ３８を介した無線接続（即ちＢＴ接続）が確立している場合に、所定の通話開始操作が行われる場合に、各画像表示装置１０を含む通話セッションが開始される。通話セッションが開始されると、各画像表示装置１０の制御部３０は、図９に示す通話処理を実行する。

Ｓ１００では、制御部３０は、まず、初期の表示画面を表示部１４に表示させる。本実施例では、表示部１４に表示される表示画面は、図６の表示画面２００と同様に、ホワイトボード画像２１０と、各ボタン２１２〜２２０と、背景画像２５０と、を含むが、キャラクタ画像（図６のＣ１〜Ｃ４参照）を含まない。また、この時点で表示される表示画面に含まれるホワイトボード画像２１０には、情報が書き込まれていない。

続くＳ１０２では、制御部３０は、マイク２２に入力される音声を示す音声データを、通信中の他の画像表示装置１０に送信する。Ｓ１０４では、制御部３０は、通信中の他の画像表示装置１０から受信される音声データに基づいて、スピーカ２４から音声を出力する。Ｓ１０２、Ｓ１０４の処理により、本実施例でも、各画像表示装置１０間で音声通話を実行することができる。

Ｓ１０６では、制御部３０は、通信中の他の画像表示装置１０から表示画面データを受信したか否かを判断する。制御部３０は、この時点で通信中の他の画像表示装置１０から表示画面データを受信していればＳ１０６でＹＥＳと判断し、Ｓ１０８に進む。Ｓ１０８では、制御部３０は、受信済みの表示画面データに基づいて表示される表示画面を表示部１４に表示させる。Ｓ１０８を終えるとＳ１１０に進む。一方、制御部３０は、この時点で他の画像表示装置１０から表示画面データを受信していなければ、Ｓ１０８をスキップしてＳ１１０に進む。

Ｓ１１０では、制御部３０は、この時点で、対応する端末装置４０の操作部４４に、表示画面中の仮想的なホワイトボードの表示内容を変更する（即ち、上述した表示面の変更、情報の記入又は消去等）ための変更指示が入力されているか否かを判断する。制御部３０は、この時点で変更指示が入力されていれば、Ｓ１１０でＹＥＳと判断し、Ｓ１１２に進む。Ｓ１１２では、制御部３０は、変更指示に従って表示内容が変更された後のホワイトボード画像を含む表示画面データを生成する。続くＳ１１４では、制御部３０は、Ｓ１１２で生成された表示画面データに基づいて表示される表示画面を表示部１４に表示させる。続くＳ１１５では、制御部３０は、Ｓ１１２で生成された表示画面データを、通信中の他の画像表示装置１０に送信する。Ｓ１１５を終えるとＳ１１６に進む。一方、制御部３０は、この時点で変更指示が入力されていなければ、Ｓ１１０でＮＯと判断し、Ｓ１１２〜Ｓ１１５をスキップしてＳ１１６に進む。

Ｓ１１６では、制御部３０は、この時点で、対応する端末装置４０の操作部４４に、表示画面中の仮想的なホワイトボードの表示内容を出力するための出力指示が入力されているか否かを判断する。制御部３０は、この時点で出力指示が入力されていれば、Ｓ１１６でＹＥＳと判断し、Ｓ１１８に進む。Ｓ１１８では、制御部３０は、この時点における仮想的なホワイトボードの表示内容を含むボード出力データを生成する。続くＳ１１９では、制御部３０は、Ｓ１１８で生成されたボード出力データをメモリ３２に記憶させる。メモリ３２に記憶されたボード出力データは、画像表示装置１０とサーバ１００とが通信可能な状態に移行した場合に、サーバ１００に出力される。Ｓ１１９を終えると、Ｓ１０２に戻る。一方、制御部３０は、この時点で出力指示が入力されていなければ、Ｓ１１６でＮＯと判断し、Ｓ１１８、Ｓ１１９をスキップしてＳ１０２に戻る。

これ以降、制御部３０は、いずれかの画像表示装置１０から所定の通話終了リクエストが出力されて通話セッションが終了するまで、Ｓ１０２〜Ｓ１１９の各処理を繰り返し実行する。

なお、本実施例の各画像表示装置１０とサーバ１００との無線通信（Ｗｉ−Ｆｉ通信）を実行可能な状態が確立される場合には、会議システム２は、本実施例で説明した手法に代えて、第１実施例で説明した手法に従って、会議を実行する。

上記の通り、本実施例では、各ユーザ４は、自身の画像表示装置１０がサーバ１００と通信不可能な状態にある場合であっても、各画像表示装置１０間でサーバ１００を介することなく通信を実行することによって、共通の仮想的なホワイトボードに記入された共通の情報を認識しながら意志疎通を行ない得る。

上記の通り、本実施例では、各画像表示装置１０の表示部１４に表示される表示画面は、キャラクタ画像（図６のＣ１〜Ｃ４参照）を含まない。これは、各画像表示装置１０の間で実行されるＢＴ通信のデータ通信速度が、サーバ１００との間で実行されるＷｉ−Ｆｉ通信のデータ通信速度に比べて遅いことを考慮したものである。本実施例では、各画像表示装置１０間で送受信される表示画面データが、キャラクタ画像を含まないため、各画像表示装置１０の制御部３０の処理負荷、及び、ＢＴ通信負荷が小さく済む。

同様の理由から、本実施例の変形例では、各ユーザ４が、仮想的なホワイトボードにテキストデータのみを記入可能であり、画像等は記入（貼り付け）できないようにしてもよい。この場合も、各画像表示装置１０の制御部３０の処理負荷、及び、ＢＴ通信負荷が小さく済む。

もっとも、本実施例の他の変形例では、各画像表示装置１０の表示部１４に表示される表示画面がキャラクタ画像を含んでもよい。

以上、実施例を詳細に説明したが、これらは例示に過ぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。例えば、以下の変形例を採用してもよい。

（変形例１）上記の各実施例では、サーバ１００の制御部１１０は、出力指示データが受信される場合（図８のＳ７０でＹＥＳ）に、生成したボード出力データをメモリ１１２に記憶させる（Ｓ７２、Ｓ７４）。これに限られず、制御部１１０は、ボード出力データを他の任意の手法で出力してもよい。例えば、制御部１１０は、ボード出力データを、ユーザ４が指定するメールアドレス宛にメール送信してもよい。また、他の例では、制御部１１０は、ボード出力データを、ユーザ４が指定するプリンタ宛に送信して印刷させてもよい。

（変形例２）上記の各実施例では、通話セッションが開始されると、通話セッションに参加する各画像表示装置１０の制御部３０は、マイク２２に入力される音声信号をサーバ１００に送信し、サーバ１００から受信される音声データに基づいてスピーカ２４から音声を出力する。即ち、上記の各実施例では、各ユーザ４間で音声通話を行うことができる。これに限られず、制御部３０は、音声通話のための上記の各処理を行わないようにしてもよい。即ち、各ユーザ４間で、マイク２２とスピーカ２４を使った音声通話が行われなくてもよい。この変形例では、各ユーザ４は、表示画面２００（図６参照）を見ながら直接会話（例えば、立ち話、同じ会議室内での会話等）を行うようにしてもよい。この場合も、各ユーザ４は、共通の仮想的なホワイトボードに記入された共通の情報を認識しながら意志疎通を行なうことができる。

（変形例３）上記の各実施例では、ユーザ４が各種指示を入力するための端末装置４０は、ユーザ４が所持する携帯型の端末装置である。これに限られず、ユーザ４が各種指示を入力可能であるとともに、画像表示装置１０と通信が可能であれば、端末装置４０に代えて任意の指示入力手段を備えてもよい。例えば、端末装置４０に代えて、ユーザ４が操作可能なキーボード等を備えてもよい。

（変形例４）上記の各実施例では、ユーザデバイス８は、画像表示装置１０と、端末装置４０とを備える。これに限られず、ユーザデバイス８は、画像表示装置１０のみによって構成され、端末装置４０が省略されていてもよい。その場合、ユーザ４は、変更指示等の各種指示を、操作部１６を操作して入力してもよい。他の例では、ユーザ４は、各種指示を、マイク２２を介して音声入力してもよい。

（変形例５）上記の各実施例では、キャラクタ画像Ｃ１〜Ｃ４は、ユーザ４Ａ〜４Ｄを示すアバターである。これに限られず、キャラクタ画像は、ユーザ本人の写真の画像を加工した画像等であってもよい。

（変形例６）表示画面２００がキャラクタ画像Ｃ１〜Ｃ４を含んでいなくてもよい。

（変形例７）画像表示装置１０は、生体センサ１８、脳波センサ２０、内側カメラ２６、三次元センサ３４のうちの少なくとも一つを省略してもよい。

（変形例８）上記の各実施例では、ユーザデバイス８は、ユーザ４の頭部に装着するヘッドマウントディスプレイである画像表示装置１０と、携帯型の端末装置４０と、を含む。ユーザデバイスの態様は、これに限られず任意の態様を採用してもよい。例えば、ユーザの腕に装着する腕時計型のユーザデバイスが採用されてもよい。また、例えば、ユーザの頭に素着する画像表示装置１０が、表示画面を周囲のスクリーンに投影可能な画像照射部を有していてもよい。ユーザは、スクリーンに投影された表示画面を視認可能であってもよい。

（変形例９）上記の各実施例では、表示画面中の仮想的なホワイトボードには、ユーザがカーソル（図６の符号２３０参照）を動かす操作を行うことに伴って、情報（文字、図形等）がペンで書き込まれたような態様で記入される。これに限られず、ユーザは、所定のテキスト入力操作を行うことで、表示画面中の仮想的なホワイトボードにテキストデータを記入することができる。同様に、ユーザは、所定のファイル挿入操作を行うことで、表示画面中の仮想的なホワイトボードにファイル（例えば、画像ファイル等）を貼り付けることもできる。この変形例では、ボード出力データには、仮想的なホワイトボードに記入されたテキストデータやファイルデータのみが含まれていてもよい。

（参考例）さらに、本明細書で開示する技術の一態様である参考例を紹介しておく。本参考例では、会議システム２は、サーバ１００を備えていなくてもよい。本参考例では、各画像表示装置１０が、相互に直接ＢＴ通信を実行するとともに、第３実施例で説明した手法に従って通話処理（図９参照）を実行することにより、会議を実行してもよい。

また、本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

Claims (8)

1. 会議システムであって、
   ２個以上のユーザデバイスと、
   前記２個以上のユーザデバイスのそれぞれと通信可能に接続されている情報処理機器と、
   を備え、
   前記２個以上のユーザデバイスのそれぞれは、
   ユーザが装着可能なフレームと、
   前記フレームに備えられ、前記フレームを装着した前記ユーザの視界範囲に配置される表示部と、
   前記ユーザが指示を入力するための入力部と、
   制御部と、を備えており、
   前記制御部は、
   前記情報処理機器から、当該ユーザデバイスのための表示画面データを受信する第１のデバイス受信部と、
   受信された前記表示画面データによって表される表示画面であって、各ユーザが情報を記入可能な仮想的なホワイトボードを含む前記表示画面を前記表示部に表示させる表示制御部と、
   前記入力部に前記仮想的なホワイトボードの表示内容の変更を指示するための変更指示が入力される場合に、前記変更指示を示す第１の指示データを前記情報処理機器に送信する第１のデバイス送信部と、
   を備え、
   前記情報処理機器は、
   前記第１の指示データを受信する第１の機器受信部と、
   前記２個以上のユーザデバイスのそれぞれについて、当該ユーザデバイスのための前記表示画面データを生成する第１の機器生成部であって、前記表示画面データによって表される前記表示画面に含まれる前記仮想的なホワイトボードは、前記第１の指示データに基づいて変更された表示内容を表示している、前記第１の機器生成部と、
   前記２個以上のユーザデバイスのそれぞれに対して、生成された当該ユーザデバイスのための前記表示画面データを送信する、第１の機器送信部と、
   を備え、
   前記第１のデバイス送信部は、さらに、前記仮想的なホワイトボードの表示内容の出力を指示するための出力指示が入力される場合に、前記出力指示を示す第２の指示データを前記情報処理機器に送信し、
   前記情報処理機器は、さらに、
   前記第２の指示データを受信する第２の機器受信部と、
   前記第２の指示データが受信される場合に、前記仮想的なホワイトボードの前記表示内容を示すボード出力データを生成する第２の機器生成部と、
   前記ボード出力データを出力する出力部と、
   を備える、
   会議システム。
2. 前記第１のデバイス送信部は、前記ユーザが、前記入力部に、前記仮想的なホワイトボードに情報を書き込むための指示と、前記仮想的なホワイトボードに記入されている情報を消去するための指示と、の少なくとも一方を含む前記変更指示が入力される場合に、前記変更指示を示す前記第１の指示データを前記情報処理機器に送信する、請求項１に記載の会議システム。
3. 前記ボード出力データの出力は、前記ボード出力データを、前記２個以上のユーザデバイスのそれぞれがアクセス可能な記憶装置に記憶させることを含む、
   請求項１又は２に記載の会議システム。
4. 前記２個以上のユーザデバイスのそれぞれは、さらに、
   前記フレームを装着した前記ユーザの発する第１種の音声を入力するマイクと、
   音声出力データに従って第２種の音声を出力するスピーカと、
   を備えており、
   前記制御部は、さらに、
   前記マイクに入力された前記第１種の音声を前記情報処理機器に送信する第２のデバイス送信部と、
   前記情報処理機器から前記音声出力データを受信する第２のデバイス受信部と、
   受信された前記音声出力データに従って、前記スピーカに前記第２種の音声を出力させる音声出力制御部と、
   を備えており、
   前記情報処理機器は、さらに、
   前記第１種の音声を受信する第３の機器受信部と、
   前記２個以上のユーザデバイスのそれぞれから受信された前記第１種の音声に基づいて、前記２個以上のユーザデバイスのそれぞれについて、当該ユーザデバイスのための前記音声出力データを生成する第３の機器生成部と、
   前記２個以上のユーザデバイスのそれぞれに対して、生成された当該ユーザデバイスのための前記音声出力データを送信する、第２の機器送信部と、
   を備える、請求項１から３のいずれか一項に記載の会議システム。
5. 前記入力部は、前記ユーザが、前記ユーザの発する第１種の音声によって指示を入力可能な音声入力部を含む、
   請求項１から４のいずれか一項に記載の会議システム。
6. 前記２個以上のユーザデバイスのそれぞれは、
   前記フレームと前記表示部と前記制御部とを含む頭部装着型のヘッドマウントディスプレイと、
   前記ヘッドマウントディスプレイとは別個に形成され、前記ヘッドマウントディスプレイと通信可能な操作端末であって、前記入力部を含む前記操作端末と、
   を含む、
   請求項１から５のいずれか一項に記載の会議システム。
7. 前記２個以上のユーザデバイスのそれぞれは、さらに、
   前記フレームを装着した前記ユーザの状態に関係する状態情報を取得する取得部を備え、
   前記制御部は、さらに、
   前記取得部によって取得された前記状態情報を前記情報処理機器に送信する第３のデバイス送信部を備え、
   前記情報処理機器は、さらに、
   前記状態情報を受信する第４の機器受信部と、
   前記２個以上のユーザデバイスを装着するそれぞれのユーザを表す２個以上のキャラクタ画像を生成する第４の機器生成部であって、前記２個以上のキャラクタ画像のそれぞれは、対応する前記ユーザデバイスから受信される前記状態情報が示す状態に応じた表示態様を有している、前記第４の機器生成部と、を備えており、
   前記表示画面データによって表される前記表示画面は、さらに、生成された前記２個以上のキャラクタ画像のうちの少なくとも一部を含んでいる、
   請求項１から６のいずれか一項に記載の会議システム。
8. 前記２個以上のユーザデバイスのそれぞれは、さらに、前記情報処理機器を介することなく相互に通信可能であり、
   前記制御部は、さらに、
   前記情報処理機器を介することなく通信している通信先のユーザデバイスから前記表示画面データを受信する第３のデバイス受信部と、
   前記入力部に前記変更指示が入力される場合に、前記２個以上のユーザデバイスのそれぞれについて、当該ユーザデバイスのための前記表示画面データを生成するデバイス生成部であって、前記表示画面データによって表わされる前記表示画面に含まれる前記仮想的なホワイトボードは、前記変更指示に基づいて変更された表示内容を表示している、前記デバイス生成部と、
   生成された前記表示画面データを前記通信先のユーザデバイスに送信する第４のデバイス送信部と、
   を備える、
   請求項１から７のいずれか一項に記載の会議システム。

Images