JP4983465B2

JP4983465B2 - 遠隔会議システム

Info

Publication number: JP4983465B2
Application number: JP2007197054A
Authority: JP
Inventors: 雄介鈴木
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2007-07-30
Filing date: 2007-07-30
Publication date: 2012-07-25
Anticipated expiration: 2027-07-30
Also published as: JP2009033594A

Description

本発明は、サーバとクライアント端末を有する遠隔会議システムに関するものである。

従来、遠隔会議システムに関し、『同時会話可能な遠隔会議において、会議参加者の発言機会を均等化することにより多くの意見を吸い上げ、会議時間内での討議をより活発化することができる発言管理システムを提供する。』ことを目的とした技術として、『発言管理システムは、管理サーバ端末１００および参加者端末１１０、１２０、１３０がネットワーク１４０で接続された同時会話可能な遠隔会議システムにおいて、会議参加者の複数人が同時に発言した場合、管理サーバ端末１００が発言機会を均等化する機能を有している。』というものが提案されている（特許文献１）。

特開２００３−３０４３３７号公報（要約）

上記特許文献１に記載の技術では、会議の進行に伴って話者を切り替えるなかで、一度に発話できる話者が限られる。また、いつ自分の発言が可能になるのかを会議参加者に通知する手段がないため、心理的に待たされる印象があり、また発言の準備がしにくい。

そのため、会議の進行に伴って話者を切り替えつつも同時に発話できる話者の制約を緩和し、各会議参加者に発言可能時期を通知することのできる遠隔会議システムが望まれていた。

本発明に係る遠隔会議システムは、遠隔会議の進行を制御するサーバと、会議参加者の音声を前記サーバに送信する１ないし複数のクライアント端末と、を有し、前記サーバは、前記クライアント端末に対しあらかじめ定めた順序で発話権限を与え、前記クライアント端末は、発話権限が与えられた際に限り、当該クライアント端末を使用する会議参加者の音声を前記サーバに送信する遠隔会議システムであって、前記サーバは、各前記クライアント端末の発話順序および現在発話権限を与えられている前記クライアント端末の識別子を各前記クライアント端末に送信し、前記順序に従って前記クライアント端末に発話権限を与える際に、そのクライアント端末の前または後に発話権限を与えられる他のクライアント端末のうち一定の範囲内にあるものを選択し、同時に発話権限を与え、前記クライアント端末は、遠隔会議の進行状況を表示するディスプレイを備え、前記サーバより受け取った、各前記クライアント端末の発話順序および現在発話権限を与えられている前記クライアント端末の識別子を、前記ディスプレイに表示するものである。

本発明に係る遠隔会議システムによれば、あらかじめ定めた順序に従ってクライアント端末に発話権限を与えるとともに、一定の規則に従って他のクライアント端末にも発話権限を与えるので、話者切り替えに伴う同時発話可能話者数の制約を緩和できる。
また、クライアント端末は、各会議参加者の発話順序および現在の発話者をディスプレイに表示するので、会議参加者は、自分がいつ発話可能になるか常時把握することができる。これにより、発言の準備がしやすくなるとともに、待たされる印象を緩和することができる。

実施の形態１．
図１は、本発明の実施の形態１に係る遠隔会議システムの構成図である。
図１において、サーバ１００とクライアント端末２００は、ネットワーク３００で接続されている。クライアント端末２００は会議参加者が使用するものであるが、ここでは記載の便宜上、１台のみ記す。

サーバ１００は、クライアント端末２００より会議参加者の発話音声データを受信し、他の会議参加者が使用するクライアント端末へ送信する。また、会議の進行を制御する役割を果たす。進行制御の詳細は、後述する。

クライアント端末２００は、当該端末を使用する会議参加者の発話音声を受け取り、音声データに変換してサーバ１００へ送信する。また、他のクライアント端末が送信した発話音声データをサーバ１００から受信し、音声出力する。また、会議の進行状況をディスプレイ表示する。表示内容等については後述する。

ネットワーク３００は、有線・無線などの通信回線である。通信プロトコルは、サーバ１００やクライアント端末２００の仕様などに応じて適切なものが用いられる。

次に、サーバ１００の構成について説明する。
サーバ１００は、制御部１０１、データ送信部１０２、データ受信部１０３、会話データ処理部１０４、仮想空間データ作成部１０５、会話データ蓄積部１０６、仮想空間データ蓄積部１０７を備える。
サーバ１００の主な機能は、クライアント端末２００から送信された発話音声データを他のクライアント端末へ送信する機能、会議の進行状況を可視化する仮想空間データを作成してクライアント端末２００へ送信する機能、である。

制御部１０１は、以下の（１）〜（６）の機能を有する。
（１）データ送信部１０２にネットワーク３００を介したデータの送信を指示する。また、データ受信部１０３がネットワーク３００を介して受信したデータを受け取る。
（２）データ受信部１０３が受信した発話音声データを受け取り、会話データ処理部１０４に出力する。
（３）会話データ蓄積部１０６に蓄積された会話データを用いて、仮想空間データ作成部１０５に対し、会議の進行状況を可視化する仮想空間データの作成を指示する。
（４）データ受信部１０３が受信した仮想空間制御データを受け取り、仮想空間データ作成部１０５に対し、仮想空間データの変更を指示する。
（５）図示しないタイマを起動し、仮想空間データ作成部１０５に対し、定期的に仮想空間データの変更を指示する。
（６）データ送信部１０２に対し、発話音声データの送信、または仮想空間データの送信を指示する。

発話音声データは、クライアント端末２００を識別するためのＩＤ、音声データ、および音声持続時間からなる。
仮想空間制御データは、データを送信するクライアント端末２００を識別するためのＩＤ、および後述の図２〜図３で説明する仮想空間を変更するためのデータからなる。

データ送信部１０２は、制御部１０１の指示に基づき、会話データ処理部１０４で作成された発話音声データを、ネットワーク３００を介してクライアント端末２００に送信する。
また、制御部１０１の指示に基づき、仮想空間データ作成部１０５で作成された仮想空間データを、ネットワーク３００を介してクライアント端末２００に送信する。

データ受信部１０３は、ネットワーク３００を介してクライアント端末２００が送信する発話音声データおよび仮想空間制御データを受信し、制御部１０１に出力する。

会話データ処理部１０４は、以下の機能を有する。
（１）制御部１０１が出力する発話音声データを受け取り、会話データ蓄積部１０６に格納する。
（２）会話データ蓄積部１０６に蓄積された会話データを重畳して制御部１０１に出力する。
（３）各クライアント端末２００が送信した発話音声データを、仮想空間データに基づき音量に重み付けをして重畳する。

仮想空間データ作成部１０５は、発話音声データと仮想空間制御データを用いて、仮想空間データを作成し、仮想空間データ蓄積部１０７に格納する。
仮想空間データとは、クライアント端末２００毎の発話状況を可視化するためのデータであり、後述の図２〜図３で説明するような画面イメージに相当する。
また、仮想空間データ作成部１０５は、作成した仮想空間データを制御部１０１に出力する。

会話データ蓄積部１０６は、会話データ処理部１０４より発話音声データを受け取り、会話データとして蓄積する。
仮想空間データ蓄積部１０７は、仮想空間データ作成部１０５より仮想空間データを受け取って蓄積する。

図２は、仮想空間データの画面表示例である。クライアント端末２００は、仮想空間データをサーバ１００より受け取り、図２のような画面イメージでディスプレイ表示する。
遠隔会議を開始する際、サーバ１００は、会議参加者が使用する各クライアント端末２００に発話可能時間を割り当てる。次に、その割当結果と、ディスプレイ上におけるクライアント端末２００の表示位置を仮想空間データとして構成し、各クライアント端末２００に送信する。
クライアント端末２００は、仮想空間データをサーバ１００より受け取り、図２のような円グラフ状にディスプレイ表示する。円グラフの構成内訳の面積が、各クライアント端末２００の発話可能時間を表す。

また、クライアント端末２００が無音以外の発話音声データをサーバ１００に送信した際に、各クライアント端末２００の発話可能時間の消費情況を会議参加者に明示するため、以下の（１）（２）のように処理してもよい。

（１）サーバ１００は、発話を行ったクライアント端末２００の発話可能時間を、その発話量に応じて減算し、減算結果を新たな仮想空間データとして各クライアント端末２００に送信する。
クライアント端末２００は、受け取った仮想空間データの内容に基づき、発話を行ったクライアント端末２００に該当する円グラフの構成内訳面積を縮小し、改めてディスプレイ表示する。

（２）上記（１）の場合とは反対に、発話を行うに従って、円グラフの構成内訳面積を拡大する。発話可能時間の上限に達すると、そのクライアント端末２００はそれ以上発話できなくなり、円グラフの構成内訳面積はそれ以上拡大しない。

また、遠隔会議の進行制御手法の１つとして、各会議参加者に順番に発話権限を与えて発話のローテーションを行う場合がある。この場合、発話の順番、および現在の発話者が誰であるのかをディスプレイ表示すると、各会議参加者の便宜に資する。これについて、次の図３で説明する。

図３は、仮想空間データの別の画面表示例である。図３では、図２の円グラフが会議の進行に伴って回転し、その回転の向きと各構成内訳の位置によって、発話の順番が各会議参加者に明確に把握される。
また、現在の発話者に相当する部分を仮想スポット照明３０１でスポットライト表示することにより、スポット３０２の位置で誰が現在発話しているのかを容易に把握することができる。

また、複数のクライアント端末２００に同時に発話権限を与える場合には、以下の（１）〜（３）のようにすることもできる。

（１）円グラフで表示される発話順序に従って、主話者を設定し、図３のようにスポットライト表示する。
（２）主話者以外の会議参加者が使用するクライアント端末２００にも、主話者と同時に発話権限を与える。ただし、発話音量を下記（３）のように主話者よりも小さくなるように設定する。
（３）スポット３０２（即ち主話者）の発話音量を最大とし、円グラフ上の位置がスポット３０２から離れるに従って、音量を小さくする。例えば、スポット３０２からの距離に反比例して音量を設定する、などとする。

サーバ１００は、クライアント端末２００に仮想空間データを送信する際に、各クライアント端末２００に発話権限と発話可能時間を割り当てる。また、上述のように発話音量の制限を行う場合は、音量設定値を併せて送信する。
発話可能時間は、各クライアント端末２００に個別の発話量を割り当てる場合はその発話量に、各クライアント端末２００に平等に発話時間を割り当てる場合はその発話時間に、それぞれ設定される。

なお、主話者と同時に発話権限を与えるクライアント端末２００の範囲を、円グラフ上で主話者から一定の距離範囲内にあるものに限定してもよい。この場合は、発話権限を与えられない話者は待たされることになるが、発話の流れをある程度維持することができるので、会議進行の上では有利に働く場合がある。

円グラフの回転は、タイマ動作に従って定期的に行うか、もしくは主話者が発話可能時間を使い切った場合に、以下の（１）〜（３）のようにして行われる。

（１）サーバ１００は、各クライアント端末２００が送信する発話音声データを受け取る毎に各クライアント端末２００の発話量を計上し、仮想空間データを更新する。
（２）主話者が使用するクライアント端末２００が発話可能時間を使い切った際、もしくはあらかじめ定めた時間毎に、更新した仮想空間データを各クライアント端末２００に送信する。
（３）クライアント端末２００は、更新された仮想空間データを受信し、再度ディスプレイ表示する。更新された仮想空間データでは、円グラフは１話者分回転されている。

図３のような表示例の場合、仮想空間データは以下のような内容で構成される。
（会話状況可視化データ）
クライアント端末２００の識別ＩＤ、円グラフ上の表示位置、円グラフ上の構成内訳
（仮想スポット照明３０１の属性データ）
スポットライトの配置位置、照射角度
（円グラフ表示用データ）
円グラフ全体の表示位置、回転角度

次に、上記各データの内容について説明する。

会話状況可視化データとは、主に図２や図３のような円グラフ上における各クライアント端末２００の表示を行うためのデータである。
円グラフ上の表示位置とは、「発話者Ａの構成内訳を何番目に表示する」といった、発話順序を表すためのデータである。
円グラフ上の構成内訳とは、円グラフ上における構成内訳面積、即ち各クライアント端末２００の発話可能時間を表すためのデータである。

仮想スポット照明３０１の属性データとは、図３のように主話者をスポットライト表示する場合、仮想スポット照明３０１をディスプレイ表示するために必要なデータである。
スポットライトの配置位置は仮想スポット照明３０１の３次元座標、照射角度は照明を向ける方向を表す。

円グラフ表示用データは、図２や図３のような円グラフをディスプレイ表示するために必要なデータである。
円グラフ全体の表示位置は円グラフ全体の３次元座標、回転角度は円グラフの中心を中心軸として回転する角度を表す。

仮想スポット照明３０１の属性データと、円グラフ表示用データとに基づき、スポット３０２の位置、およびスポット３０２と円グラフの各構成内訳との距離が求められる。クライアント端末２００の音量設定を行う場合は、この距離に基づき音量を設定する。

次に、クライアント端末２００の構成について説明する。
クライアント端末２００は、制御部２０１、データ送信部２０２、データ受信部２０３、会話情報可視化部２０４、音声制御部２０５、情報入力部２０６、音声出力部２０７、音声入力部２０８を備える。

制御部２０１は、以下の（１）〜（４）の機能を有する。
（１）データ送信部２０２にネットワーク３００を介したデータの送信を指示する。また、データ受信部２０３がネットワーク３００を介して受信したデータを受け取る。
（２）会話情報可視化部２０４に仮想空間データを出力する。
（３）データ受信部２０３が受信した、他のクライアント端末２００の発話音声データを、音声制御部２０５に出力する。また、音声入力部２０８に入力された発話音声を、音声制御部２０５より受け取る。
（４）情報入力部２０６より、仮想空間データを変更するための入力を受け取り、仮想空間制御データとしてデータ送信部２０２に出力する。

データ送信部２０２は、制御部２０１の指示に基づき、音声制御部２０５が出力した発話音声データを、ネットワーク３００を介してサーバ１００に送信する。
また、制御部２０１の指示に基づき、情報入力部２０６で入力された仮想空間制御データを、ネットワーク３００を介してサーバ１００に送信する。

データ受信部２０３は、ネットワーク３００を介してサーバ１００が送信する発話音声データおよび仮想空間データを受信し、制御部２０１に出力する。
会話情報可視化部２０４は、制御部２０１より仮想空間データを受け取り、図２や図３のような表示形式でディスプレイ表示する。

音声制御部２０５は、音声入力部２０８に入力された発話音声を受け取り、発話音声データに変換して、制御部２０１に出力する。
また、他のクライアント端末２００の発話音声データを制御部２０１より受け取り、音声信号に変換して音声出力部２０７に出力する。

情報入力部２０６は、クライアント端末２００を使用する会議参加者の、仮想空間データを変更するための入力を受け付け、制御部２０１に出力する。
ここでいう、仮想空間データの変更とは、円グラフの回転速度を速めたり、回転方向を変更したり、といった指示をすることをいう。会議参加者は、（あらかじめ権限が与えられていれば）必要に応じて上述の入力を行い、会議の進行を変更することができる。

音声出力部２０７は、音声制御部２０５より受け取った音声信号に基づき音声出力を行う。
音声入力部２０８は、発話音声入力を受け取り、音声制御部２０５に出力する。

制御部１０１、会話データ処理部１０４、仮想空間データ作成部１０５、制御部２０１、会話情報可視化部２０４、音声制御部２０５は、これらの機能を実現する回路デバイス等のハードウェアを用いて構成することもできるし、マイコンやＣＰＵなどの演算装置上で実行されるソフトウェアとして構成することもできる。
また、音声制御部２０５は、音声出力部２０７および音声出力部２０８とのインターフェースを適宜備える。

データ送信部１０２、データ受信部１０３、データ送信部２０２、データ受信部２０３は、ネットワーク３００とのインターフェースを適宜備える。
会話データ蓄積部１０６、仮想空間データ蓄積部１０７は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）などの書き込み可能な記憶装置で構成することができる。

情報入力部２０６は、キーボード、マウス等の入力装置で構成することができる。
音声出力部２０７は、スピーカ等の音声出力デバイスで構成することができる。
音声入力部２０８は、マイクおよびＡＤコンバータなどで構成することができる。

図４は、サーバ１００の動作フローを説明するものである。以下、各ステップについて説明する。
なお、クライアント端末２００は既にネットワーク３００に接続しており、会議参加者の人数、クライアント端末２００の識別ＩＤ等は設定済みであるとする。また、会議の進行状況は、図３のような表示形式でディスプレイ表示するものとする。

（Ｓ４０１）
制御部１０１は、遠隔会議を開始する。以後、会議に参加している各クライアント端末２００との間でデータの送受信を行う。
（Ｓ４０２）
会議の進行に伴い、各クライアント端末２００は、サーバ１００に対し発話音声データまたは仮想空間制御データを送信する。データ受信部１０３は、クライアント端末２００が送信したデータを受信し、制御部１０１に出力する。
（Ｓ４０３）
制御部１０１は、ステップＳ４０２で受け取ったデータが発話音声データであるか仮想空間制御データであるかを判定する。発話音声データである場合はステップＳ４０４へ進み、仮想空間制御データである場合はステップＳ４０６へ進む。

（Ｓ４０４）
制御部１０１は、発話音声データを会話データ処理部１０４に出力する。会話データ処理部１０４は、受け取った発話音声データを会話データ蓄積部１０６に格納する。
（Ｓ４０５）
会話データ処理部１０４は、発話音声データを会話データ蓄積部１０６に格納する際に、クライアント端末２００毎の発話時間を併せて記録する。

（Ｓ４０６）
制御部１０１は、ステップＳ４０３で受け取った仮想空間制御データに基づき、仮想空間データのうち会話状況可視化データを計算するよう、仮想空間データ作成部１０５に指示する。ここでいう計算とは、例えば円グラフの回転速度変更指示に伴う位置の再計算などのことである。

（Ｓ４０７）
制御部１０１は、会話データ蓄積部１０６に蓄積されている音声データに基づき、仮想空間データのうち会話状況可視化データを更新するよう、仮想空間データ作成部１０５に指示する。
（Ｓ４０８）
制御部１０１は、会議に参加している全てのクライアント端末２００について仮想空間データの更新を実行したか否かを判定する。未だ実行してない場合は、ステップＳ４０２に戻って残りのクライアント端末２００について同様の処理を実行する。全て実行し終えた場合は、ステップＳ４０９へ進む。

（Ｓ４０９）
制御部１０１は、各クライアント端末２００が送信した発話音声データを重畳し、マージ音声データを作成する。このとき、仮想空間データを参照し、図３のスポット３０２からの距離が遠いクライアント端末２００ほど音量が小さくなるように、各発話音声データの音量に重み付けをする。
（Ｓ４１０）〜（Ｓ４１１）
制御部１０１は、データ送信部１０２を介して、仮想空間データとマージ音声データを各クライアント端末２００に送信する。
仮想空間データには、発話権限や発話可能時間に関する情報を含めてもよいし、これらを別に送信してもよい。

なお、図４のフローチャートの動作とは別に、定期的に仮想空間データを更新し、クライアント端末２００へ常に最新の仮想空間データを提供する。仮想空間データの更新間隔よりも発話音声データや仮想空間制御データの受信間隔が短い場合は、定期的な更新は省略してもよい。

図５は、クライアント端末２００の動作フローを説明するものである。以下、各ステップについて説明する。

（Ｓ５０１）
制御部２０１は、遠隔会議を開始（会議に参加）する。
（Ｓ５０２）
制御部２０１は、データ受信部２０３が受信したデータがあるか否かを判定する。データがある場合はステップＳ５０３へ進み、データがない場合はステップＳ５０７へ進む。
（Ｓ５０３）
制御部２０１は、データ受信部２０３が受信したデータを取得する。

（Ｓ５０４）
制御部２０１は、ステップＳ５０３で取得したデータがマージ音声データであるか仮想空間データであるかを判定する。マージ音声データである場合はステップＳ５０５へ進み、仮想空間データである場合はステップＳ５０６へ進む。

（Ｓ５０５）
制御部２０１は、ステップＳ５０３で取得したマージ音声データを音声制御部２０５へ出力する。音声制御部２０５は、受け取ったマージ音声データを音声信号に変換し、音声出力部２０７より音声出力する。
（Ｓ５０６）
制御部２０１は、ステップＳ５０３で取得した仮想空間データを会話情報可視化部２０４へ出力する。会話情報可視化部２０４は、受け取った仮想空間データに基づき、図２や図３のような表示形式でディスプレイ表示する。

（Ｓ５０７）
制御部２０１は、音声入力部２０８に発話入力があったか否かを、音声制御部２０５からの通知に基づき判定する。発話がある場合はステップＳ５０８へ進み、発話がない場合はステップＳ５０９へ進む。
（Ｓ５０８）
音声制御部２０５は、音声入力部２０８へ入力された発話音声を発話音声データに変換し、制御部２０１へ出力する。制御部２０１は、データ送信部２０２を介して、発話音声データをサーバ１００に送信する。

（Ｓ５０９）
制御部２０１は、情報入力部２０６から仮想空間データの変更指示入力があるか否かを判定する。入力がある場合はステップＳ５１０へ進み、入力がない場合はステップＳ５１１へ進む。
（Ｓ５１０）
制御部２０１は、情報入力部２０６からの入力を受け取り、仮想空間制御データとしてデータ送信部２０２よりサーバ１００へ送信する。
（Ｓ５１１）
制御部２０１は、当該クライアント端末２００の動作を終了するか否かを判定する。終了しない場合はステップＳ５０２へ戻り、同様の処理を繰り返す。

なお、クライアント端末２００は、上記の動作の他、発話権限や発話可能時間、音量設定などを指示するデータを、サーバ１００より受信する。これらのデータは、仮想空間データに含めてもよいし、仮想空間データとは別途に受信するようにしてもよい。

本実施の形態１における「入力手段」は、情報入力部２０６がこれに相当する。

また、本実施の形態１における「仮想物体」は、図２および図３の円グラフがこれに相当する。なお、図２および図３において、円グラフの各構成内訳の位置で会議参加者の発話順序を表すとともに、各構成内訳の面積で発話可能時間を表すこととしたが、円グラフ以外の幾何図形を用いて、発話順序や発話可能時間を表すようにしてもよい。
例えば、複数の３次元仮想物体の配置や体積により、発話順序や発話可能時間を表すことが考えられる。

本実施の形態１において、サーバ１００とクライアント端末２００はネットワーク３００を介して接続されているが、個々のクライアント端末２００が識別できるのであれば、両者を接続端子等で直結してもよい。

以上のように、本実施の形態１によれば、サーバ１００は、主話者が使用するクライアント端末２００に発話権限を与えるとともに、他のクライアント端末２００にも同時に発話権限を与え、クライアント端末２００は、発話順序および現在の発話者をディスプレイ表示するので、話者の発話順序を維持して会議の流れを作りながら、主話者以外の話者にも待たされ感を与えることなく会議を進行することができる。

また、サーバ１００は、図３の円グラフ上でスポット３０２から遠いクライアント端末ほど発話音量を低く設定するので、同時発話可能な話者数の確保と、会議進行の流れの維持とを、バランスよく両立することができる。

また、サーバ１００は、クライアント端末２００に発話可能時間を割り当て、クライアント端末２００がその発話可能時間を使い切ると、発話権限を次の順番のクライアント端末２００に切り替えるので、あらかじめ定めた発話順序に従って会議の進行を整然と制御することができる。

また、サーバ１００は、発話順序と現在の話者を円グラフ状に表す仮想空間データをクライアント端末２００に送信し、クライアント端末２００は、その仮想空間データに基づき、発話順序と現在の話者を表す円グラフをディスプレイ表示する。また、現在の話者は円グラフ上でスポットライト表示される。
そのため、発話順序や現在の話者を会議参加者が明確に把握できるので、発言の準備などを行いやすくなり、円滑な会議進行に資する。

また、情報入力部２０６で円グラフの回転速度や回転方向の変更を指示してサーバ１００に仮想空間制御データとして送信し、サーバ１００はその旨を受けて仮想空間データを再作成してクライアント端末２００に送信するので、会議の進行に関し、会議参加者の意向を一定の範囲で反映することができる。
さらには、仮想空間制御データを送信可能なクライアント端末２００を、特定の会議参加者が使用するクライアント端末２００のみに限定してもよい。このようにすることで、会議の進行を制御する権限を、特定の会議参加者（例えば議長など）に限定することもできる。

実施の形態２．
実施の形態１では、会議参加者の意見表明が音声出力によってのみ行われるため、会議の雰囲気を会議参加者間で共有するための手段が限られていた。
そこで、本発明の実施の形態２では、会議参加者が他の会議参加者の発言を支持する旨の入力を行うことができる構成例について説明する。
なお、本実施の形態２に係る遠隔会議システムの構成は、各部の機能を除いて実施の形態１の図１と同様であるため、説明を省略する。

本実施の形態２において、情報入力部２０６は、他のクライアント端末２００を使用する会議参加者の発言を支持する旨の入力を受け付け、制御部２０１に出力する。
制御部２０１は、その入力を受け取り、仮想空間制御データとしてサーバ１００に送信する。
サーバ１００のデータ受信部１０３は、クライアント端末２００が送信した上記仮想空間制御データを受信し、制御部１０１に出力する。
制御部１０１は、上記仮想空間制御データを受け取り、その内容に基づき仮想空間データを更新するよう、仮想空間データ作成部１０５に指示する。更新の内容について、次の図６で説明する。

図６は、会議参加者が情報入力部２０６で他の会議参加者の発言に対して支持入力をする前後における、仮想空間データの変化の様子を示すものである。ここでは、図２と同様に円グラフを用いて仮想空間データをディスプレイ表示する例を用いる。

図６（ａ）は支持入力を行う前の円グラフの状態であり、４名の会議参加者の発話可能時間が均等に割り当てられ、円グラフの各構成内訳面積が全て同一である。
図６（ｂ）は、円グラフの右上に相当する会議参加者が、右下に相当する会議参加者の発言に対して支持をする旨を入力した後の円グラフの状態である。支持を入力した右上の会議参加者の円グラフ構成内訳面積が減り、その分が右下の会議参加者の円グラフ構成内訳面積に足されている。
構成内訳面積は発言可能時間を示すので、支持を表明した会議参加者は、支持先の会議参加者に自分の発言可能時間を譲り渡したことに等しい。

本実施の形態２において、情報入力部２０６に支持入力をすることでサーバ１００に送信される仮想空間制御データは、当該クライアント端末の識別ＩＤと、支持先のクライアント端末の識別ＩＤとを、少なくとも含む。これに加えて、支持量を送信するようにしてもよい。

また、本実施の形態２において、情報入力部２０６の構成は、例えば以下の（１）（２）のようにすることができる。

（１）情報入力部２０６をキーボードで構成する。キーボードの特定のキーを押下するとその時点での主話者の発言に対して支持をする旨を表明することになる。
（２）情報入力部２０６をマウスで構成する。円グラフの周辺または円グラフの各構成内訳の領域内に、押下可能なボタンを配置する。会議参加者は、ディスプレイ上のマウスポインタを移動し、支持を表明する相手に対応したボタンをクリックする。クリックしたボタンに対応した会議参加者に対して支持を表明したことになる。

本実施の形態２における「支持入力手段」は、情報入力部２０６がこれに相当する。

図６のように、支持を表明する会議参加者の発言可能時間を、支持先の会議参加者に譲り渡すようにしたのは、以下の理由による。
第１に、無制限に支持入力が可能であるものとすると、結局のところ支持入力合戦のような状態が発生しかねず、会議進行の円滑の観点からは好ましくない。
第２に、支持者と被支持者が明確になり、会議の雰囲気やキーパーソンの存在を意識することができる。即ち、円グラフの面積が減った参加者が支持者であり、増えた参加者が被支持者である。これにより、会議の流れが参加者にとって分かりやすく、会議進行の円滑に資する。

また、支持を受けた会議参加者の発言可能時間が支持を受けた分長くなることによる会議進行の円滑化効果や、肯定的な支持を得られる発言が大きな音量でなされる機会が増えることによる会議活性化効果も見込むことができる。

実施の形態３．
実施の形態１〜２では、遠隔会議の進行中に遠隔会議システムを使用する例を説明したが、本発明の実施の形態３では、会議の終了後に遠隔会議システムが蓄積しているデータを活用する例について説明する。

図７は、本実施の形態３に係る遠隔会議システムの構成図である。
図７において、図１の構成に加えて、新たに会議データ蓄積部７０１が追加されている。その他の構成は図１と同様であるため、説明を省略する。
会議データ蓄積部７０１は、制御部１０１より仮想空間データと発話音声データを受け取り、両者を関連付けて蓄積する。会議データ蓄積部７０１は、ＨＤＤのような書き込み可能な記憶装置で構成することができる。

また、本実施の形態３において、新たに会議データ閲覧端末８００を設ける。会議データ閲覧端末８００は、会議データ蓄積部７０１に蓄積された仮想空間データと発話音声データに基づき、会議の進行状況を再現する機能を備える。

図８は、会議データ閲覧端末８００の画面イメージを示すものである。
会議データ閲覧端末８００は、クライアント端末２００と同様にディスプレイを備え、クライアント端末２００が表示するものと同様に仮想空間データを画面表示する機能を備える。図８は、図３と同様に円グラフをスポットライト表示した画面イメージ例である。

会議データ閲覧端末８００は、会議データ蓄積部７０１に蓄積された仮想空間データを読み込み、仮想空間データが会議の進行に伴って変更されていく様子を、時系列に沿って再現表示する。
また、会議データ蓄積部７０１に仮想空間データと関連付けて蓄積された発話音声データを読み込み、仮想空間データの画面表示に同期して音声出力する。
これにより、会議進行に伴う各会議参加者の発話音声と、そのときの会議の状況を表した仮想空間データとが同期表示され、会議をリードしているのが誰であるか、といった会議の進行状況を、会議終了後に分析することができる。

さらに、会議データ閲覧端末８００の画面には、操作ボタン８０１、スライドバー８０２、時間表示部８０３が設けられている。
操作ボタン８０１は、仮想空間データと発話音声データの再生、一時停止、停止などの操作を支持するための操作部である。
スライドバー８０２は、会議全体時間に占める現在の再生位置を表示するとともに、バーのドラッグにより再生位置を進めたり戻したりするための操作部である。
時間表示部８０３は、会議全体時間における現在の再生位置を数値で示す表示部である。図８の例では、会議全体時間が１５：００であるのに対し、現在の再生時刻は０３：４２であることを表示している。
以上の表示部、操作部により、会議データ閲覧端末８００は、会議データ蓄積部７０１に蓄積されている仮想空間データと発話音声データを再生するプレイヤーの役割を果たすことができる。

図９は、本実施の形態３におけるサーバ１００の動作フローを説明するものである。以下、各ステップについて説明する。

（Ｓ９０１）〜（Ｓ９０９）
図４のステップＳ４０１〜Ｓ４０９と同様であるため、説明を省略する。
（Ｓ９１０）
制御部１０１は、ステップＳ９０９で作成したマージ音声データと、ステップＳ９０７で更新した仮想空間データとを、遠隔会議開始からの経過時間と対応付けて、会議データ蓄積部７０１に格納する。
（Ｓ９１１）〜（Ｓ９１２）
図４のステップＳ４１０〜Ｓ４１１と同様であるため、説明を省略する。

なお、実施の形態１と同様に、図９のフローチャートの動作とは別に定期的に仮想空間データを更新し、クライアント端末２００へ常に最新の仮想空間データを提供する。

図９の動作フローによれば、サーバ１００は、仮想空間データと発話音声データを対応付けて会議データ蓄積部７０１に格納し、会議データ閲覧端末８００がこれらのデータを読み出すときは、両者を対応付けて再生することができる。

図９の動作フローでは、全ての発話音声データと仮想空間データを会議データ蓄積部７０１に格納しているが、仮想空間データは一定時間間隔でサンプリングして格納するようにしてもよい。
発話音声データは会議の内容そのものであるため、全て蓄積する必要があるが、仮想空間データは会議の進行状況を把握するための指標として用いるため、サンプリングしたデータでも十分に役割を果たすことができる。

会議データ閲覧端末８００は、サーバ１００側に設けてもよいし、クライアント端末２００側に設けてもよい。また、クライアント端末２００と兼用してもよい。
会議データ閲覧端末８００とサーバ１００の接続は、ネットワーク３００を介して行ってもよいし、サーバ１００の接続端子等に直結してもよい。

以上のように、本実施の形態３によれば、会議の進行状況を会議データ閲覧端末８００で再生する際に、仮想空間データの内容を会議の状況把握や検索の指標として用いることができる。
例えば、「ＡさんとＢさんが会議で中心的に発言していたときの様子を再生する」といったあいまいな検索要求に対しても、円グラフのＡさんの面積とＢさんの面積が大きくなっている時間帯を視覚的に探すことで対応できる。

また、発話音声だけでは分かりづらい、発言に対する支持の状況なども、仮想空間データとして提示されるため、会議におけるキーパーソンを会議終了後に抽出する、といった分析も可能である。

実施の形態４．
以上の実施の形態１〜３において、音声会議を行うための遠隔会議システムについて説明したが、音声に加えて映像を送受信するように構成してもよい。
この場合は、クライアント端末２００は、会議参加者の映像を入力するために必要な撮像手段や映像処理部を適宜備える。また、サーバ１００は、発話音声データに加えて映像データを処理ないし蓄積する。

実施の形態１に係る遠隔会議システムの構成図である。仮想空間データの画面表示例である。仮想空間データの別の画面表示例である。サーバ１００の動作フローを説明するものである。クライアント端末２００の動作フローを説明するものである。会議参加者が他の会議参加者の発言に対して支持入力をする前後における、仮想空間データの変化の様子を示すものである。実施の形態３に係る遠隔会議システムの構成図である。会議データ閲覧端末８００の画面イメージを示すものである。実施の形態３におけるサーバ１００の動作フローを説明するものである。

符号の説明

１００サーバ、１０１制御部、１０２データ送信部、１０３データ受信部、１０４会話データ処理部、１０５仮想空間データ作成部、１０６会話データ蓄積部、１０７仮想空間データ蓄積部、２００クライアント端末、２０１制御部、２０２データ送信部、２０３データ受信部、２０４会話情報可視化部、２０５音声制御部、２０６情報入力部、２０７音声出力部、２０８音声入力部、３００ネットワーク、３０１仮想スポット照明、３０２スポット、７０１会議データ蓄積部、８００会議データ閲覧端末、８０１操作ボタン、８０２スライドバー、８０３時間表示部。

Claims

遠隔会議の進行を制御するサーバと、
会議参加者の音声を前記サーバに送信する１ないし複数のクライアント端末と、
を有し、
前記サーバは、
前記クライアント端末に対しあらかじめ定めた順序で発話権限を与え、
前記クライアント端末は、
発話権限が与えられた際に限り、当該クライアント端末を使用する会議参加者の音声を前記サーバに送信する
遠隔会議システムであって、
前記サーバは、
各前記クライアント端末の発話順序および現在発話権限を与えられている前記クライアント端末の識別子を各前記クライアント端末に送信し、
前記順序に従って前記クライアント端末に発話権限を与える際に、
そのクライアント端末の前または後に発話権限を与えられる他のクライアント端末のうち一定の範囲内にあるものを選択し、同時に発話権限を与え、
前記クライアント端末は、
遠隔会議の進行状況を表示するディスプレイを備え、
前記サーバより受け取った、各前記クライアント端末の発話順序および現在発話権限を与えられている前記クライアント端末の識別子を、前記ディスプレイに表示する
ことを特徴とする遠隔会議システム。
遠隔会議の進行を制御するサーバと、
会議参加者の音声を前記サーバに送信する１ないし複数のクライアント端末と、
を有し、
前記サーバは、
前記クライアント端末に対しあらかじめ定めた順序で発話権限を与え、
前記クライアント端末は、
発話権限が与えられた際に限り、当該クライアント端末を使用する会議参加者の音声を前記サーバに送信する
遠隔会議システムであって、
前記サーバは、
各前記クライアント端末の発話順序および現在発話権限を与えられている前記クライアント端末の識別子を各前記クライアント端末に送信し、
前記順序に従って前記クライアント端末に主話者としての発話権限を与えるとともに、他のクライアント端末にも同時に発話権限を与え、
当該他のクライアント端末の発話音量を、主話者としての発話権限を与えられる前記クライアント端末よりも小さく設定し、
前記クライアント端末は、
遠隔会議の進行状況を表示するディスプレイを備え、
前記サーバより受け取った、各前記クライアント端末の発話順序および現在発話権限を与えられている前記クライアント端末の識別子を、前記ディスプレイに表示する
ことを特徴とする遠隔会議システム。
前記サーバは、
前記他のクライアント端末の発話音量を設定する際に、
前記順序における前記主話者からの距離に応じて当該他のクライアント端末の音量をより小さく設定する
ことを特徴とする請求項２に記載の遠隔会議システム。
前記サーバは、
前記クライアント端末に発話権限を与えるとともに発話可能時間を割り当て、
そのクライアント端末が前記発話可能時間を消化すると発話順序を次のクライアント端末に切り替える
ことを特徴とする請求項１ないし請求項３のいずれかに記載の遠隔会議システム。
前記クライアント端末は、
前記発話順序を表示する仮想物体を前記ディスプレイ上に表示し、
その仮想物体の位置で前記発話順序を表し、
面積または体積の大小で前記発話可能時間を表す
ことを特徴とする請求項４に記載の遠隔会議システム。
前記クライアント端末は、
前記仮想物体として、
前記発話順序を表示する円グラフを前記ディスプレイ上に表示し、
その円グラフの回転位置で前記発話順序を表し、
円グラフの構成内訳の面積の大小で前記発話可能時間を表す
ことを特徴とする請求項５に記載の遠隔会議システム。
前記クライアント端末は、
前記円グラフを前記ディスプレイ上に表示するとともに、
その円グラフの構成内訳のうち現在発話権限を与えられている前記クライアント端末に相当する部分をスポットライト表示する
ことを特徴とする請求項６に記載の遠隔会議システム。
前記クライアント端末は、
前記仮想物体の位置の切替速度または切替方向の変更を指示する入力手段を備え、
その入力内容を前記サーバに送信し、
前記サーバは、
その入力内容に基づき、各前記クライアント端末の発話順序の切替速度または切替方向を変更し、
前記クライアント端末は、
変更後の発話順序の切替速度または切替方向に基づき前記仮想物体を前記ディスプレイ上に表示する
ことを特徴とする請求項５ないし請求項７のいずれかに記載の遠隔会議システム。
前記クライアント端末は、
他のクライアント端末の発話内容を支持する旨を入力する支持入力手段を備え、
その入力内容を前記サーバに送信し、
前記サーバは、
前記クライアント端末が送信した前記支持入力手段の入力内容を受け取り、
その入力内容に基づき、支持を受けたクライアント端末の発話可能時間を増加させるとともに、支持を入力したクライアント端末の発話可能時間を同量減少させる
ことを特徴とする請求項４ないし請求項８のいずれかに記載の遠隔会議システム。
前記サーバは、
遠隔会議進行中の会議参加者の音声を格納する記憶手段を備え、
各会議参加者の音声と会議の進行時間を対応付けて前記記憶手段に格納する
ことを特徴とする請求項１ないし請求項９のいずれかに記載の遠隔会議システム。
前記サーバは、
各会議参加者の音声を前記記憶手段に格納する際に、
その時点における各前記クライアント端末の発話可能時間と発話順序を、各会議参加者の音声と対応付けて前記記憶手段に格納する
ことを特徴とする請求項１０に記載の遠隔会議システム。
前記記憶手段に格納されている各会議参加者の音声と会議の進行時間を同期表示する閲覧端末を備えた
ことを特徴とする請求項１０に記載の遠隔会議システム。
前記記憶手段に格納されている各前記クライアント端末の発話可能時間と発話順序を各会議参加者の音声とともに同期表示する閲覧端末を備えた
ことを特徴とする請求項１０または請求項１１に記載の遠隔会議システム。