以下、図面を用いて、実施形態に係る伝送システム10について説明する。伝送システム10は、互いに離れた位置のユーザ間でコミュニケーションをさせるためのシステムである。
(実施形態の全体構成)
図1は、実施形態に係る伝送システム10を示す図である。伝送システム10は、複数の端末装置20と、中継装置40と、管理装置50と、プログラム提供装置80とを備える。
複数の端末装置20、中継装置40、管理装置50およびプログラム提供装置80は、ネットワークを介して相互に接続して、データの送受信を実現させる。ネットワークは、LAN(Local Area Network)であってもよいし、WAN(Wide Area Network)であってもよいし、WANに公衆回線が含まれていてもよいし、どのようなネットワークであってもよい。
伝送システム10は、複数の端末装置20の間において少なくとも1つの種類のデータを送受信して、端末装置20を利用するユーザ同士でコミュニケーションをさせるコミュニケーションシステムである。本実施形態においては、伝送システム10をテレビジョン(ビデオ)会議システム等に適用した例を説明する。伝送システム10は、テレビジョン会議システムに限らず、例えば、音声会議システム、音声電話システム(携帯電話システムを含む)、テキストチャットシステム、またはホワイトボード共有システム等にも適用できる。
端末装置20は、ユーザにより取り扱われる。端末装置20は、各種のデータの入力、および、データの出力をする。端末装置20が入出力するデータは、端末装置20のユーザの音声を集音した音声データ、端末装置20のユーザを撮像した映像データ、端末装置20のユーザが参照する資料の画像をキャプチャした資料データ、および、テキストデータ等である。なお、テキストデータは、チャット等で用いられるメッセージを示すデータであってもよい。このような端末装置20は、ユーザが入力した情報および周囲から取得した信号を送信用のデータに変換し、中継装置40を介して他の端末装置20に送信することができる。また、端末装置20は、中継装置40を介して他の端末装置20から送信用のデータを受信し、受信したデータを再生して、ユーザに出力することができる。
本実施形態においては、端末装置20は、テレビジョン会議システム用の専用の装置である。これに代えて、端末装置20は、デスクトップ型またはノート型等のコンピュータであってもよいし、スマートフォンまたはタブレット端末等の情報携帯機器であってもよいし、電子黒板、プロジェクタ、自動車、産業用機器等であってもよい。端末装置20は、このような装置に限らず、ネットワークを介した通信、並びに、情報の入力および出力をすることができれば他の機器であってもよい。
また、端末装置20は、コンピュータ110を接続することができる。コンピュータ110は、例えばプレゼンテーション用プログラム等のアプリケーションプログラムを実行し、その実行画面をキャプチャした資料データを端末装置20へと送る。そして、端末装置20は、資料データを、中継装置40を介して他の端末装置20に送信する。また、端末装置20は、ディスプレイ120を接続することができる。ディスプレイ120が接続された端末装置20は、他の端末装置20から中継装置40を介して資料データを受信し、ディスプレイ120に表示させることができる。
中継装置40は、例えばサーバまたはコンピュータ等の情報処理装置である。中継装置40は、ある一の端末装置20から受信したデータを他の端末装置20へと転送する。
管理装置50は、例えばサーバまたはコンピュータ等の情報処理装置である。管理装置50は、複数の端末装置20の間の中継装置40を介した通信を確立し、これら複数の端末装置20によるセッションを形成する。
また、管理装置50は、セッションを形成した端末装置20間で行われるコミュニケーションの種別(会議モード)を設定する。例えば、管理装置50は、会議モードとして、議長無しの討論モード、議長有りの討論モード、プレゼンテーションモード、および、講演会モードを設定することができる。議長無しの討論モードは、それぞれの端末装置20のユーザに、議長無しで討論をさせるためのモードである。議長有りの討論モードは、一人の議長の管理の下で、それぞれの端末装置20のユーザに討論をさせるためのモードである。プレゼンテーションモードは、一人の発表者にプレゼンテーションをさせるモードである。講演会モードは、一人の発表者に講演会をさせるモードである。管理装置50は、このようなモードの他に、2、3人の代表者に主に討論をさせる討論会モード、パネルディスカッション等をさせるモードを設定できてもよい。
また、管理装置50は、それぞれの端末装置20に、会議モードに応じた役割を割り当てる。例えば、議長無しの討論モードの場合、管理装置50は、全ての端末装置20に、参加者の役割を割り当てる。また、議長有りの討論モードの場合、管理装置50は、1つの端末装置20に議長の役割を割り当て、他の全ての端末装置20に参加者の役割を割り当てる。また、プレゼンテーションモードの場合、管理装置50は、1つの端末装置20に発表者の役割を割り当て、他の全ての端末装置20に参加者の役割を割り当てる。また、講演会モードの場合、管理装置50は、1つの端末装置20に発表者の役割を割り当て、他の全ての端末装置20に参加者の役割を割り当てる。
プログラム提供装置80は、例えばサーバまたはコンピュータ等の情報処理装置である。プログラム提供装置80は、端末装置20に各種機能または手段を実現させるためのプログラムを記憶し、端末装置20にそのプログラムを送信することができる。また、プログラム提供装置80は、中継装置40に各種機能または手段を実現させるためのプログラムを記憶し、中継装置40にそのプログラムを送信することができる。また、プログラム提供装置80は、管理装置50に各種機能または手段を実現させるためのプログラムを記憶し、管理装置50にそのプログラムを送信することができる。
図2は、伝送システム10でのデータの伝送処理を示す図である。伝送システム10では、中継装置40が、端末装置20間のデータ(音声データ、映像データおよび資料データ等)の転送を制御する。また、伝送システム10では、管理装置50が、セッションの形成、会議モードの設定、および、役割の割り当て等のための管理用データの転送を制御する。
中継装置40および管理装置50は、1つのサーバまたはコンピュータ等により実現されてもよいし、複数のサーバまたはコンピュータが連携して動作することにより実現されてもよい。また、中継装置40および管理装置50は、1つのサーバまたはコンピュータに両者が実現されてもよい。また、管理装置50は、何れかの端末装置20により実現されてもよい。
(端末装置20の外観およびハードウェア構成)
図3は、端末装置20の外観の一例を示す図である。なお、図3において、水平面内における予め定められた方向をX軸方向(前後方向)とする。また、図3において、水平面内でX軸方向に直交する方向をY軸方向、X軸方向およびY軸方向に直交する方向(鉛直方向)をZ軸方向とする。
図3に示すように、端末装置20は、筐体1100、アーム1200、およびカメラハウジング1300を備える。筐体1100の後側壁面1110には、不図示の複数の吸気孔が形成されている。筐体1100の前側壁面1120には、複数の排気孔1121が形成されている。これにより、端末装置20は、筐体1100に内蔵された冷却ファンの駆動によって、後方の外気を取り込み、排気孔1121を介して前方へ排気することができる。筐体1100の右側壁面1130には、収音用孔1131が形成されている。これにより、端末装置20は、後述する内蔵型のマイクロフォン114によって、ユーザが発声した音声、周囲の音、雑音等を収音することができる。
筐体1100の上部の右側には、操作パネル1150が形成されている。操作パネル1150には、複数の操作ボタン108a〜108e、および、電源スイッチ109が設けられている。なお、操作ボタン108a〜108eをまとめて、操作ボタン108と表す場合もある。また、操作パネル1150には、後述する内蔵型のスピーカ115からの出力音を通すための複数の音出力孔1151が形成されている。
また、筐体1100の上部の左側には、アーム1200およびカメラハウジング1300を収容するための収容凹部1160が形成されている。筐体1100の右側壁面1130には、後述する外部機器接続I/F(Interface)118に対して、電気的にケーブルを接続するための複数の接続口1132a〜1132cが設けられている。筐体1100の左側壁面1140には、後述するディスプレイI/F117に対して電気的にディスプレイ120用のケーブル121を接続するための不図示の接続口が設けられている。
アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられている。アーム1200は、筐体1100に対して、例えば135度のチルト角θ1の範囲で、上下方向に回転可能となっている。なお、図3には、チルト角θ1が90度の状態のアーム1200が示されている。
カメラハウジング1300には、後述する内蔵型のカメラ112が設けられている。これにより、端末装置20は、ユーザ、書類、および部屋等を撮像することができる。また、カメラハウジング1300は、トルクヒンジ1310を介して、アーム1200に取り付けられている。カメラハウジング1300は、アーム1200に対して、図3で示されている状態を0度として、±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能となっている。
図4は、端末装置20のハードウェア構成を示す図である。端末装置20は、バスライン100と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、フラッシュメモリ104と、SSD(Solid State Drive)105と、メディアドライブ107と、操作ボタン108と、電源スイッチ109と、ネットワークI/F111と、カメラ112と、撮像素子I/F113と、マイクロフォン114と、スピーカ115と、音声入出力I/F116と、ディスプレイI/F117と、外部機器接続I/F118とを備える。
バスライン100は、各構成要素の間を接続するためのアドレスバスおよびデータバス等である。
CPU101は、端末装置20全体の動作を制御する。ROM102は、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。フラッシュメモリ104は、端末装置20用の転送制御プログラム、映像データ、および音声データ等の各種データを記憶する。端末装置20は、フラッシュメモリ104に代えて、EEPROM(Electrically Erasable and Programmable ROM)等を備えてもよい。SSD105は、CPU101の制御に従ってフラッシュメモリ104に対する各種データの読み出しまたは書き込みを制御する。メディアドライブ107は、端末装置20に対して着脱可能なフラッシュメモリ等の記録メディア106に対するデータの読み出しまたは書き込み(記憶)を制御する。
操作ボタン108は、データの転送先を選択する場合等に、ユーザの操作情報を入力するためのボタンである。電源スイッチ109は、端末装置20の電源のオン/オフを切り換えるためのボタンである。ネットワークI/F111は、ネットワークを介した通信を制御する。
カメラ112は、CPU101の制御に従って被写体を撮像して映像データを得る。カメラ112は、レンズ、および、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含む。固体撮像素子には、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)等が用いられる。
撮像素子I/F113は、カメラ112の駆動を制御する。マイクロフォン114は、内蔵型であって、音を入力する。スピーカ115は、内蔵型であって、音を出力する。音声入出力I/F116は、CPU101の制御に従ってマイクロフォン114およびスピーカ115との間で音信号の入出力を処理する。
ディスプレイI/F117は、CPU101の制御に従って外付けのディスプレイ120に映像データを伝送する。ディスプレイ120は、被写体の画像および操作用アイコン等を表示する。ディスプレイ120は、ケーブル121によってディスプレイI/F117に接続される。ケーブル121は、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)またはDVI(Digital Video Interactive)信号用のケーブルであってもよい。
外部機器接続I/F118は、接続口1132a〜1132cに接続され、CPU101の制御に従って外部機器を制御するためのインターフェイス回路である。外部機器接続I/F118には、USB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイクロフォン、および外付けスピーカ等の外部機器がそれぞれ接続可能である。本実施形態においては、外部機器接続I/F118は、ケーブル122を介して、資料データの表示用のコンピュータ110と接続される。
CPU101は、外付けカメラが接続された場合には、内蔵型のカメラ112に優先して、外付けカメラを駆動させる。また、CPU101は、外付けマイクロフォンが接続された場合および外付けスピーカが接続された場合には、内蔵型のマイクロフォン114および内蔵型のスピーカ115に優先して、外付けマイクロフォンおよび外付けスピーカを駆動させる。
なお、カメラ112、マイクロフォン114およびスピーカ115は、必ずしも内蔵されている必要はなく、外付けカメラ、外付けマイクロフォン、および外付けスピーカのみが接続可能であってもよい。また、ディスプレイ120は、端末装置20に内蔵されていてもよい。また、端末装置20は、ディスプレイ120に代えて、プロジェクタ等の投影装置が接続されてもよい。
(中継装置40、管理装置50およびプログラム提供装置80のハードウェア構成)
図5は、中継装置40、管理装置50およびプログラム提供装置80のハードウェア構成を示す図である。なお、中継装置40、管理装置50およびプログラム提供装置80の外観は、一般的なサーバまたはコンピュータと同様であるので説明を省略する。また、管理装置50およびプログラム提供装置80は、中継装置40と同様のハードウェア構成であるので、中継装置40のハードウェア構成を代表して説明する。
中継装置40は、CPU501と、ROM502と、RAM503と、HD(Hard Disk)504と、HDD(Hard Disk Drive)505と、メディアドライブ507と、ディスプレイ508と、ネットワークI/F509と、バスライン510と、キーボード511と、マウス512と、CD−ROMドライブ514とを備える。
CPU501は、中継装置40全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、中継装置40用の転送制御プログラム等の各種データを記憶する。HDD505は、CPU501の制御に従ってHD504に対する各種データの読み出しまたは書き込みを制御する。メディアドライブ507は、フラッシュメモリ等の着脱可能な記録メディア506に対するデータの読み出しまたは書き込み(記憶)を制御する。ディスプレイ508は、カーソル、メニュー、ウィンドウ、文字、または画像などの各種情報を表示する。ネットワークI/F509は、ネットワークを介した通信を制御する。
キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備える。マウス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う。CD−ROMドライブ514は、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disk Read Only Memory)513に対する各種データの読み出しまたは書き込みを制御する。バスライン510は、各構成要素の間を接続するためのアドレスバスおよびデータバス等である。
なお、図5には、中継装置40が1つのコンピュータにより構成される場合のハードウェア構成を示した。しかし、中継装置40は、互いにネットワーク等により接続され、連携して動作する複数のコンピュータにより構成されていてもよい。
(端末装置20、中継装置40および管理装置50の機能構成)
図6は、管理装置50の機能構成を示す図である。管理装置50は、図5に示したCPU501がプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図6に示す各ブロックの機能が実現される。なお、図6に示した管理装置50は、一部がハードウェアにより構成されていてもよい。
管理装置50は、送受信部51と、端末情報記憶部52と、セッション確立部53と、セッション記憶部54と、会議モード記憶部55と、会議モード受付部56と、役割割当部57と、割当記憶部58と、ルール記憶部59と、提供部60とを有する。送受信部51は、ネットワークを介して、端末装置20および中継装置40とデータの送受信をする。
端末情報記憶部52は、それぞれの端末装置20にアクセスするために必要な情報を記憶する。例えば、端末情報記憶部52は、図7に示されるような端末管理テーブルを記憶する。端末管理テーブルには、それぞれの端末装置20を識別するための端末ID、それぞれの端末装置20を特定するための名称、および、ネットワーク上のIPアドレス等が格納される。なお、端末IDは端末固有の識別情報であってもよいし、端末を利用するユーザを識別するための識別情報であってもよい。
セッション確立部53は、複数の端末装置20により形成されるセッションを確立する。セッションを形成した複数の端末装置20は、中継装置40を介して互いにデータの送受信をすることが可能となる。
セッション記憶部54は、セッション確立部53により確立されたセッションに関する情報を記憶する。例えば、セッション記憶部54は、図8に示されるようなセッションテーブルを記憶する。セッションテーブルには、セッションを識別するためのセッションID、セッションを形成する端末装置20のIPアドレス等が格納される。
会議モード記憶部55は、会議モードに関する情報を記憶する。例えば、会議モード記憶部55は、図9に示されるような、会議モードテーブルを記憶する。会議モードテーブルは、設定可能な会議モードを特定する情報と、その会議モードにおいて端末装置20に割り当てられる役割および割り当て数とを格納する。
会議モードは、セッションを形成した端末装置20間で行われるコミュニケーションの種別を表す。会議モードは、セッションの形成の際に登録される。本実施形態においては、会議モードとして、議長無しの討論モード、議長有りの討論モード、プレゼンテーションモード、および、講演会モードが設定可能である。
議長無しの討論モードでは、セッションを形成する複数の端末装置20の全てに、参加者の役割が割り当てられる。また、議長有りの討論モードでは、セッションを形成する複数の端末装置20のうちの1つに議長の役割が割り当てられ、他の全てに参加者の役割が割り当てられる。プレゼンテーションモードでは、セッションを形成する複数の端末装置20のうちの1つに発表者の役割が割り当てられ、他の全てに参加者の役割が割り当てられる。講演会モードでは、セッションを形成する複数の端末装置20のうちの1つに発表者の役割が割り当てられ、他の全てに参加者の役割が割り当てられる。
会議モード受付部56は、セッションを形成した何れかの端末装置20から、何れかの会議モードの指定を受け付ける。会議モード受付部56は、会議モードを受け付けると、そのセッションの会議モードを登録する。
役割割当部57は、セッションを形成するそれぞれの端末装置20に、コミュニケーションにおける役割を割り当てる。具体的には、役割割当部57は、会議モード受付部56が受け付けた会議モードについて、それぞれの端末装置20に対して割り当てるべき役割を会議モード記憶部55から読み出す。そして、役割割当部57は、読み出した役割をそれぞれの端末装置20に割り当てる。役割割当部57は、それぞれの端末装置20に役割を選択させ、その回答に従って役割を割り当ててもよい。また、役割割当部57は、1つの端末装置20にのみ割り当て可能な役割を、複数の端末装置20が選択した場合には、先着順またはランダムに1つの端末装置20にその役割を割り当ててもよい。また、役割割当部57は、必ず1つの端末装置20に割り当てなければならない役割を、何れの端末装置20も選択しなかった場合には、ランダムまたは予め定められたアルゴリズムで何れか1つの端末装置20にその役割を割り当ててもよい。
割当記憶部58は、セッションを形成するそれぞれの端末装置20の役割を記憶する。例えば、割当記憶部58は、図10に示すような役割テーブルを記憶する。役割テーブルには、セッションID、会議モード、および、参加している端末装置20のIPアドレスと役割とを対応付けた情報が格納される。
ルール記憶部59は、それぞれの役割毎に、当該役割が割り当てられた端末装置20が優先して出力すべきデータを決定するルールを示したルール情報を記憶する。ルール情報は、例えば、ネットワークのトラフィック混雑等により何れかのデータの受信品質が劣化した場合、セッションを形成している複数の端末装置20から出力される複数のデータのうち、何れのデータを優先して出力するかを決定するための情報である。端末装置20は、このルール情報を参照して、複数のデータのそれぞれに優先度を設定し、受信品質が劣化した場合に優先度の高いデータを優先して出力する。
ルール情報は、端末装置20において解析できるデータまたはアルゴリズムであれば、どのような形式で記述されていてもよい。本実施形態においては、ルール記憶部59は、詳細を後述する図13から図19に示すような、ルール情報を記憶する。
提供部60は、セッションを形成したそれぞれの端末装置20に、割り当てられた役割のルール情報を提供する。より具体的には、提供部60は、セッションを形成したそれぞれの端末装置20の役割に対応するルール情報を、ルール記憶部59から読み出して送信する。これにより、それぞれの端末装置20は、割り当てられた役割に応じたルール情報を取得することができる。
図11は、中継装置40の機能構成を示す図である。中継装置40は、図5に示したCPU501がプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図11に示す各ブロックの機能が実現される。なお、図11に示した中継装置40の機能は、一部がハードウェアにより構成されていてもよい。
中継装置40は、送受信部41と、セッション管理部42と、データ配信部43と、話者検出部44と、話者通知部45とを有する。送受信部51は、ネットワークを介して、端末装置20および管理装置50とデータの送受信をする。
セッション管理部42は、管理装置50により確立されたセッションに関する情報を管理装置50から取得して記憶する。例えば、セッション管理部42は、図8に示したような、セッションテーブルを記憶する。
データ配信部43は、セッションを形成する何れかの端末装置20から送信されたデータを、セッションを形成する複数の端末装置20のそれぞれへと配信する。
話者検出部44は、それぞれの端末装置20から送信された音声データから、現在の発話者の端末装置20を検出する。話者検出部44は、一例として、音量が最も大きい音声データを送信している端末装置20を、現在の発話者の端末装置20として特定する。
話者通知部45は、現在の発話者の端末装置20が切り替わった場合、切り替わり後の現在の発話者の端末装置20を特定する情報を、セッションを形成する複数の端末装置20の全てへと通知する。例えば、話者通知部45は、切り替わり後の現在の発話者の端末装置20のIPアドレスを通知する。
図12は、端末装置20の機能構成を示す図である。端末装置20は、図4に示したCPU101がプログラムを実行し、必要に応じて他のハードウェア資源と協働することにより、図12に示す各ブロックの機能が実現される。なお、図12に示した端末装置20の機能は、一部がハードウェアにより構成されていてもよい。
端末装置20は、撮像部21と、音声入力部22と、外部機器接続部23と、送信データ生成部24と、送信部25と、受信部26と、再生出力部27と、音声出力部28と、表示制御部29と、役割受付部31と、ルール取得部33と、発話情報取得部34と、優先度決定部35と、優先度記憶部36と、品質検出部37と、出力制御部38とを有する。
撮像部21は、端末装置20のユーザを撮像して映像データを生成する。音声入力部22は、端末装置20のユーザの発した音を収音して音声データに変換する。外部機器接続部23は、端末装置20と接続される外部機器とのインターフェイスである。外部機器接続部23は、コンピュータ110と接続され、コンピュータ110で表示されている表示画面をキャプチャした画像データを、資料データとして生成する。
送信データ生成部24は、撮像部21により生成された映像データ、音声入力部22に収音された音声データおよび外部機器接続部23により生成された資料データを、ネットワークを介して送信するための送信データに変換する。送信部25は、送信データ生成部24により生成された送信データをネットワークを介して中継装置40に送信する。これにより、中継装置40は、端末装置20から送信された送信データを、セッションを形成する複数の端末装置20のそれぞれへと配信することができる。また、送信部25は、セッションの形成および役割の割り当て等の処理のためのデータを管理装置50に送信する。
受信部26は、それぞれの端末装置20から送信された送信データを中継装置40を介して受信する。また、受信部26は、セッションの形成および役割の割り当て等の処理のためのデータを管理装置50から受信する。また、受信部26は、中継装置40から、現在の発話者の端末装置20を示す情報を受信する。
再生出力部27は、受信部26が中継装置40から受信したデータを取得する。そして、再生出力部27は、受信したデータをデコード等して再生し、映像データ、音声データおよび資料データ等を出力する。
音声出力部28は、再生出力部27から出力された音声データに応じた音声を外部に出力する。これにより、音声出力部28は、それぞれの端末装置20のユーザが発した音を出力することができる。
表示制御部29は、再生出力部27から出力された映像データに応じた画像をディスプレイ120に表示させる。これにより、表示制御部29は、それぞれの端末装置20のユーザの画像を表示させることができる。また、表示制御部29は、再生出力部27から出力された資料データに応じた画像をディスプレイ120に表示させる。これにより、表示制御部29は、それぞれの端末装置20に接続されたコンピュータ110に表示されたプレゼンテーションデータ等の表示画面をディスプレイ120に表示させることができる。
役割受付部31は、受信部26が管理装置50から受信したデータを取得する。そして、役割受付部31は、管理装置50から、当該端末装置20の役割を受け付ける。より具体的には、役割受付部31は、当該端末装置20が含まれるセッションの会議モード、および、会議モードでの当該端末装置20の役割を受け付ける。また、役割受付部31は、セッションを形成する他の端末装置20のそれぞれに割り当てられた役割も取得する。
ルール取得部33は、受信部26が管理装置50から受信したデータを取得する。そして、ルール取得部33は、管理装置50から、受け付けた役割に対応するルール情報を取得する。より具体的には、ルール取得部33は、当該端末装置20が含まれるセッションの会議モードにおける、当該端末装置20の役割に対応するルール情報を取得する。なお、ルール取得部33は、全ての会議モードについての全ての役割のルール情報を予め取得しておき、その中から対応するルール情報を選択してもよい。
発話情報取得部34は、受信部26が中継装置40から受信したデータを取得する。そして、発話情報取得部34は、中継装置40から、現在の発話者の端末装置20を取得する。そして、発話情報取得部34は、セッションを形成する複数の端末装置20のユーザが、どのような順序で発話をしたかを示す発話順序情報を生成する。
優先度決定部35は、ルール取得部33が取得したルール情報に従って、受信部26が中継装置40を介して受信すべきデータのそれぞれの優先度を決定する。また、優先度決定部35は、ルール取得部33が取得したルール情報に従って、受信部26が中継装置40を介して受信すべきデータのうちの重要データを決定する。この場合において、優先度決定部35は、データの種類、データを送信した端末装置20に割り当てられた役割、および、ユーザの発話順序に基づき、受信部26が中継装置40を介して受信すべきデータのそれぞれの優先度、および、重要データを決定する。優先度記憶部36は、優先度決定部35が決定したそれぞれのデータの優先度を記憶する。
品質検出部37は、受信部26が受信するデータの受信品質を検出する。品質検出部37は、一例として、データの出力遅延時間またはネットワークのトラフィックの混雑度を受信品質として検出する。
出力制御部38は、優先度記憶部36が記憶しているデータの優先度に基づき、受信するデータのうち優先度の高いデータを優先して出力させる。出力制御部38は、一例として、優先度の高いデータほど先に再生処理がされるように再生出力部27を制御する。また、出力制御部38は、優先度の高いデータほど、再生処理を実行するためのリソースを多く割り当てるように、再生出力部27を制御する。
また、出力制御部38は、受信品質が予め定められた値より低下した場合、重要データ以外のデータの出力を停止させてもよい。また、出力制御部38は、受信品質が予め定められた値より低下した場合、優先度の低いデータほど低いデータ品質で出力させてもよい。また、出力制御部38は、受信品質が予め定められた値より低下した場合、送信元に対して、重要データ以外のデータの送信の停止を要求してもよい。出力制御部38は、受信品質が予め定められた値より低下した場合、送信元に対して、優先度の低いデータほど低いデータ品質で送信することを要求してもよい。
(ルール情報の具体的な説明)
図13から図19に示すルール情報は、データを送信した端末装置20の役割とデータ種類とのペア、または、データを送信した端末装置20のユーザの発話順位とデータ種類とのペア毎に、順位が対応付けられている。端末装置20は、ルール情報に基づき、セッションを形成する複数の端末装置20の全てから送信される全てのデータに優先度を設定する。この場合において、端末装置20は、順位の高いデータから順に、優先度を高く設定する。すなわち、端末装置20は、ルール情報に示された第1位のデータを最も優先度を高くし、第2位のデータを次に優先度を高くし、第3位のデータを次に優先度を高くするといったように、優先度を設定する。
図13から図19に示すルール情報において、“LoudestSpeaker_0”は、現在の発話者の端末装置20を表す。また、図13から図19に示すルール情報において、“LoudestSpeaker_0,1,2,…,n-1”は、現在の発話者(LoudestSpeaker_0)から発話順位に従って優先度を高く設定することを示す。すなわち、“LoudestSpeaker_0,1,2,…,n-1”は、現在の発話者(LoudestSpeaker_0)の端末装置20の優先度を最も高く設定し、次に、直前の発話者(LoudestSpeaker_1)の端末装置20の優先度を高く設定し、次に、“LoudestSpeaker_1”および“LoudestSpeaker_0”以外で直近に発話した発話者(LoudestSpeaker_2)の端末装置20の優先度を高く設定することを示す。なお、nは、セッションに参加している端末装置20の数を表す。
図13から図19に示すルール情報において、“Audio”は、音声データを表し、“DataShare”は、資料データを表し、“Video”は、映像データを表す。
さらに、図13から図19に示すルール情報には、重要データを決定するためのルールが示されている。本実施形態においては、ルール情報は、重要データとそれ以外のデータとを分ける閾順位が記述されている。それぞれの端末装置20は、セッションを形成する複数の端末装置20の全てから送信される複数のデータのうち、ルール情報における閾順位以上の順位のデータを重要データとして決定する。
図13は、議長無しの討論モードの参加者のルール情報の一例を示す図である。議長無しの討論モードの参加者のルール情報には、図13に示すような順で優先度を高くすることが記述されている。
すなわち、図13のルール情報において、第1位は、全ての端末装置20から送信された音声データである。なお、全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。これにより、伝送システム10は、全ての参加者に、全てのユーザの音声を確実に伝達して、確実に討論を進行させることができる。
また、図13のルール情報において、第2位は、現在の発話者の端末装置20から送信された資料データである。これにより、伝送システム10は、全ての参加者に、発話者が説明に参照している資料を確実に伝達することができる。
また、図13のルール情報において、第3位は、現在の発話者の端末装置20から送信された映像データである。これにより、伝送システム10は、全ての参加者に、発話者の映像を確実に伝達することができる。
また、図13のルール情報において、第4位は、現在の発話者以外の端末装置20から送信された資料データである。なお、現在の発話者以外の端末装置20から送信された資料データは、発話順位に従って優先度が高くなる。また、図13のルール情報において、第5位は、現在の発話者以外の端末装置20から送信された映像データである。現在の発話者以外の端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
さらに、図13のルール情報において、第3位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、議長無しの討論モードの参加者の端末装置20は、全ての端末装置20から送信された音声データ、現在の発話者の端末装置20から送信された資料データ、および、現在の発話者の端末装置20から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、議長無しの討論でのコミュニケーションを確実に進行させることができる。
図14は、議長有りの討論モードの議長のルール情報の一例を示す図である。議長有りの討論モードの議長のルール情報には、図14に示すような順で優先度を高くすることが記述されている。
すなわち、図14のルール情報において、第1位は、全ての端末装置20から送信された音声データである。なお、全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。これにより、伝送システム10は、議長に、全てのユーザの音声を確実に伝達して、確実に討論を進行させることができる。
また、図14のルール情報において、第2位は、現在の発話者の端末装置20から送信された資料データである。これにより、伝送システム10は、議長に、発話者が説明に参照している資料を確実に伝達することができる。
また、図14のルール情報において、第3位は、現在の発話者の端末装置20から送信された映像データである。これにより、伝送システム10は、議長に、発話者の映像を確実に伝達することができる。
また、図14のルール情報において、第4位は、現在の発話者以外の端末装置20から送信された資料データである。なお、現在の発話者以外の端末装置20から送信された資料データは、発話順位に従って優先度が高くなる。また、図14のルール情報において、第5位は、現在の発話者以外の端末装置20から送信された映像データである。現在の発話者以外の端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
さらに、図14のルール情報において、第3位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、議長有りの討論モードの議長の端末装置20は、全ての端末装置20から送信された音声データ、現在の発話者の端末装置20から送信された資料データ、および、現在の発話者の端末装置20から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、議長有りの討論でのコミュニケーションを確実に進行させることができる。
図15は、議長有りの討論モードの参加者のルール情報の一例を示す図である。議長有りの討論モードの参加者のルール情報には、図15に示すような順で優先度を高くすることが記述されている。
すなわち、図15のルール情報において、第1位は、現在の発話者の端末装置20から送信された音声データである。これにより、伝送システム10は、全ての参加者に、現在の発話者の音声を確実に伝達して、確実に討論を進行させることができる。
また、図15のルール情報において、第2位は、現在の発話者の端末装置20から送信された資料データである。これにより、伝送システム10は、全ての参加者に、発話者が説明に参照している資料を確実に伝達することができる。
また、図15のルール情報において、第3位は、現在の発話者の端末装置20から送信された映像データである。これにより、伝送システム10は、全ての参加者に、発話者の映像を確実に伝達することができる。
また、図15のルール情報において、第4位は、議長の端末装置20から送信された音声データである。これにより、伝送システム10は、全ての参加者に、議長の音声を確実に伝達し、確実に討論を進行させることができる。
また、図15のルール情報において、第5位は、議長の端末装置20から送信された資料データである。これにより、伝送システム10は、全ての参加者に、議長が説明に参照している資料を確実に伝達することができる。
また、図15のルール情報において、第6位は、議長の端末装置20から送信された映像データである。これにより、伝送システム10は、全ての参加者に、議長の映像を確実に伝達することができる。
また、図15のルール情報において、第7位は、現在の発話者を除いた全ての端末装置20から送信された音声データである。なお、現在の発話者を除いた全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。また、図15のルール情報において、第8位は、現在の発話者を除いた全ての端末装置20から送信された資料データである。なお、現在の発話者を除いた全ての端末装置20から送信された資料データは、発話順位に従って優先度が高くなる。また、図15のルール情報において、第9位は、現在の発話者を除いた全ての端末装置20から送信された映像データである。なお、現在の発話者を除いた全ての端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
さらに、図15のルール情報において、第6位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、議長有りの討論モードの参加者の端末装置20は、現在の発話者の端末装置20から送信された音声データ、現在の発話者の端末装置20から送信された資料データ、現在の発話者の端末装置20から送信された映像データ、議長の端末装置20から送信された音声データ、議長の端末装置20から送信された資料データ、および、議長の端末装置20から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、議長有りの討論でのコミュニケーションを確実に進行させることができる。
図16は、プレゼンテーションモードの発表者のルール情報の一例を示す図である。プレゼンテーションモードの発表者のルール情報には、図16に示すような順で優先度を高くすることが記述されている。
すなわち、図16のルール情報において、第1位は、発表者の端末装置20から送信された資料データである。これにより、伝送システム10は、発表者に、参加者に伝送されているデータと同じデータを確認させることができる。
図16のルール情報において、第2位は、現在の発話者の端末装置20から送信された音声データである。これにより、伝送システム10は、発表者に、質問者等の音声を確実に伝達することができる。
また、図16のルール情報において、第3位は、現在の発話者の端末装置20から送信された映像データである。これにより、伝送システム10は、発表者に、質問者の映像を確実に伝達することができる。
また、図16のルール情報において、第4位は、現在の発話者を除いた全ての端末装置20から送信された音声データである。なお、現在の発話者を除いた全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。また、図16のルール情報において、第5位は、現在の発話者を除いた全ての端末装置20から送信された映像データである。なお、現在の発話者を除いた全ての端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
さらに、図16のルール情報において、第3位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、プレゼンテーションモードの発表者の端末装置20は、発表者の端末装置20から送信された資料データ、現在の発話者の端末装置20から送信された音声データ、および、現在の発話者の端末装置20から送信された音声データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、プレゼンテーションでのコミュニケーションを確実に進行させることができる。
図17は、プレゼンテーションモードの参加者のルール情報の一例を示す図である。プレゼンテーションモードの参加者のルール情報には、図17に示すような順で優先度を高くすることが記述されている。
すなわち、図17のルール情報において、第1位は、発表者の端末装置20から送信された資料データである。これにより、伝送システム10は、参加者に、発表者の資料データを確実に伝送させることができる。
図17のルール情報において、第2位は、発表者の端末装置20から送信された音声データである。これにより、伝送システム10は、参加者に、発表者の音声を確実に伝達することができる。
図17のルール情報において、第3位は、発表者の端末装置20から送信された映像データである。これにより、伝送システム10は、参加者に、発表者の映像を確実に伝達することができる。
図17のルール情報において、第4位は、現在の発話者の端末装置20から送信された音声データである。これにより、伝送システム10は、参加者に、質問者等の音声を確実に伝達することができる。
また、図17のルール情報において、第5位は、現在の発話者の端末装置20から送信された映像データである。図17のルール情報において、第6位は、現在の発話者を除いた全ての端末装置20から送信された音声データである。なお、現在の発話者を除いた全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。
さらに、図17のルール情報において、第4位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、プレゼンテーションモードの参加者の端末装置20は、発表者の端末装置20から送信された資料データ、発表者の端末装置20から送信された音声データ、発表者の端末装置20から送信された映像データ、および、現在の発話者の端末装置20から送信された音声データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、プレゼンテーションでのコミュニケーションを確実に進行させることができる。
図18は、講演会モードの発表者のルール情報の一例を示す図である。講演会モードの発表者のルール情報には、図18に示すような順で優先度を高くすることが記述されている。
すなわち、図18のルール情報において、第1位は、発表者の端末装置20から送信された資料データである。これにより、伝送システム10は、発表者に、参加者に伝送されているデータと同じデータを確認させることができる。
また、図18のルール情報において、第2位は、全ての端末装置20から送信された音声データである。なお、全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。また、図18のルール情報において、第3位は、全ての端末装置20から送信された映像データである。なお、全ての端末装置20から送信された映像データは、発話順位に従って優先度が高くなる。
さらに、図18のルール情報において、第1位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、講演会モードの発表者の端末装置20は、発表者の端末装置20から送信された資料データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、講演会でのコミュニケーションを確実に進行させることができる。
図19は、講演会モードの参加者のルール情報の一例を示す図である。講演会モードの参加者のルール情報には、図19に示すような順で優先度を高くすることが記述されている。
すなわち、図19のルール情報において、第1位は、発表者の端末装置20から送信された資料データである。これにより、伝送システム10は、参加者に、発表者の資料データを確実に伝送させることができる。
図19のルール情報において、第2位は、発表者の端末装置20から送信された音声データである。これにより、伝送システム10は、参加者に、発表者の音声を確実に伝達することができる。
図19のルール情報において、第3位は、発表者の端末装置20から送信された映像データである。これにより、伝送システム10は、参加者に、発表者の映像を確実に伝達することができる。
また、図19のルール情報において、第4位は、全ての端末装置20から送信された音声データである。なお、全ての端末装置20から送信された音声データは、発話順位に従って優先度が高くなる。
さらに、図19のルール情報において、第3位は、重要データとそれ以外のデータを分ける閾順位である。すなわち、講演会モードの参加者の端末装置20は、発表者の端末装置20から送信された資料データ、発表者の端末装置20から送信された音声データ、および、発表者の端末装置20から送信された映像データを、重要データとして決定し、これらのデータを他のデータより確実に出力させる。これにより、伝送システム10は、講演会でのコミュニケーションを確実に進行させることができる。
図20は、端末装置20が受信したデータに対して決定された優先度を示す図である。端末装置20は、図13から図19に示したルール情報に従って、中継装置40から受信した複数の端末装置20から送信されたデータに対して優先度を設定する。
例えば、端末装置20は、図20に示すように、それぞれのデータを識別するデータIDに対応付けて、優先度を1から降順に割り当てる。なお、図20の例においては、優先度1が最も優先度が高い。また、端末装置20は、図13から図19に示したルール情報に従って、それぞれのデータIDに対応付けて、重要データであるか否かを設定する。図20の例においては、優先度1から4のデータが重要データとして設定されている。そして、それぞれの端末装置20は、図20に示すように設定された優先度に従って、優先度の高いデータを優先して出力する。
(伝送システム10の処理シーケンス)
図21は、会議の開始前におけるデータのやり取りおよび処理を示す図である。会議開始前において、伝送システム10は、図21に示すシーケンスで処理を実行する。
まず、第1の端末装置20−1は、ユーザの操作に応じてセッションを形成する宛先となる端末装置20を指定し(ステップS11)、開始指示を管理装置50に送信する(ステップS12)。続いて、管理装置50は、宛先に指定された複数の端末装置20の間でセッションを確立する(ステップS13)。これにより、セッションを形成する複数の端末装置20の間で中継装置40を介してデータの送受信が可能となる。
続いて、セッションを形成した第1の端末装置20−1は、ユーザの操作に応じて会議モードを指定し(ステップS14)、指定された会議モードを管理装置50に通知する(ステップS15)。続いて、管理装置50は、セッションにおける会議モードを設定する(ステップS16)。
続いて、管理装置50は、セッションを形成するそれぞれの端末装置20に対して、役割を問い合わせる(ステップS17−1,S17−2,S17―3)。続いて、それぞれの端末装置20は、ユーザの操作に応じて、役割を選択し(ステップS18−1,S18−2,S18―3)、結果を管理装置50に送信する(ステップS19−1,S19−2,S19―3)。
続いて、管理装置50は、それぞれの端末装置20から受信した結果に基づき、セッションを形成するそれぞれの端末装置20に対して役割を割り当てる(ステップS20)。この場合において、管理装置50は、それぞれの端末装置20により選択された役割を割り当てる。しかし、管理装置50は、1つの端末装置20にしか割り当てることができない役割を複数の端末装置20が選択した場合等においては、例えば先着順等のように予め定められたアルゴリズムで役割を割り当ててもよい。また、管理装置50は、必ず割り当てなければならない役割を何れの端末装置20も選択しなかった場合には、例えば予め定められたアルゴリズムでその役割を割り当ててもよい。
続いて、管理装置50は、それぞれの端末装置20に割り当てられた役割、および、ルール情報を中継装置40に送信する(ステップS21)。続いて、中継装置40は、それぞれの端末装置20に対して役割およびルール情報を送信する(ステップS22−1,S22−2,S22―3)。
そして、それぞれの端末装置20は、セッションを形成する複数の端末装置20から受信すべき複数のデータのそれぞれに対して、ルール情報に従って優先度を決定する(ステップS23−1,S23−2,S23―3)。
図22は、通常時における会議中のデータのやり取りおよび処理を示す図である。通常時(受信品質が悪化していない状態)の会議中において、伝送システム10は、図22に示すようなシーケンスで処理を実行する。
まず、第1の端末装置20−1は、映像データおよび音声データを中継装置40へと送信する(ステップS31)。中継装置40は、第1の端末装置20−1から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データおよび音声データを送信する(ステップS32−1,S32−2,S32−3)。
また、第3の端末装置20−3も、映像データおよび音声データを中継装置40へと送信する(ステップS33)。中継装置40は、第3の端末装置20−3から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データおよび音声データを送信する(ステップS34−1,S34−2,S34−3)。
このようにそれぞれの端末装置20は、映像データおよび音声データ等を中継装置40へと送信する。そして、中継装置40は、受信した映像データおよび音声データ等を、セッションを形成する全ての端末装置20へと送信する。これにより、それぞれの端末装置20は、自己も含めたセッションを形成する全ての端末装置20から送信されたデータを受信して再生出力することができる。
図23は、資料データが追加された場合のデータのやり取りおよび処理を示す図である。資料データが追加される場合、伝送システム10は、図23に示すようなシーケンスで処理を実行する。
まず、第1の端末装置20−1は、映像データおよび音声データを中継装置40へと送信する(ステップS41)。中継装置40は、第1の端末装置20−1から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データおよび音声データを送信する(ステップS42−1,S42−2,S42−3)。
続いて、第1の端末装置20−1にコンピュータ110が接続されて、資料共有の開始操作がされる(ステップS43)。第1の端末装置20−1は、資料共有の開始操作がされた場合、資料データが新たに追加して送信されることを通知する資料共有開始通知を中継装置40に送信する(ステップS44)。続いて、中継装置40は、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、第1の端末装置20−1から資料データが新たに追加して送信されることを示す変更通知を送信する(ステップS45−1,S45−2,S45−3)。
続いて、それぞれの端末装置20は、受信すべき複数のデータのそれぞれに対して、ルール情報に従って優先度を変更する(ステップS46−1,S46−2,S46−3)。これにより、それぞれの端末装置20は、新たに追加して送信される資料データを含めた全てのデータに対して優先度を決定することができる。
続いて、第1の端末装置20−1は、資料画面をキャプチャする(ステップS47)。続いて、第1の端末装置20−1は、映像データ、音声データおよび資料データを中継装置40へと送信する(ステップS48)。中継装置40は、第1の端末装置20−1から、映像データ、音声データおよび資料データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データ、音声データおよび資料データを送信する(ステップS49−1,S49−2,S49−3)。
図24は、話者が変更した場合のデータのやり取りおよび処理を示す図である。話者が変更した場合、伝送システム10は、図24に示すようなシーケンスで処理を実行する。
まず、第1の端末装置20−1は、映像データおよび音声データを中継装置40へと送信する(ステップS51)。中継装置40は、第1の端末装置20−1から映像データおよび音声データを受信すると、セッションを形成する複数の端末装置20−1,20−2,20−3のそれぞれに対して、受信した映像データおよび音声データを送信する(ステップS52−1,S52−2,S52−3)。
続いて、中継装置40は、話者の検出処理を実行する(ステップS53)。話者を検出した結果、現在の話者が変更した場合、話者順位の変更通知を、複数の端末装置20−1,20−2,20−3のそれぞれに対して送信する(ステップS54−1,S54−2,S54−3)。話者順位の変更通知には、現在の話者の端末装置20のIPアドレス等が示されている。
続いて、それぞれの端末装置20は、受信すべき複数のデータのそれぞれに対して、変更後の話者順位に基づいて優先度を変更する(ステップS55−1,S55−2,S55−3)。これにより、それぞれの端末装置20は、話者が変更する毎に優先度を決定することができる。
なお、伝送システム10は、コミュニケーションの開始後において、それぞれの端末装置20に割り当てられる役割が変更されてもよい。役割が変更された場合、それぞれの端末装置20は、変更後の役割のルール情報を再度受け付け、再度受け付けたルール情報に従って優先度を決定する。
図25は、優先度の高いデータを優先して出力させるためのフローを示す図である。それぞれの端末装置20は、受信する複数のデータのうち優先度の高いデータを優先して出力させるために、図25に示すようなフローを実行する。
まず、ステップS101において、端末装置20は、受信品質が第1の閾値より悪いか否かを判断する。端末装置20は、受信品質が第1の閾値より悪くない場合には(ステップS101のNo)、処理をステップS101で待機する。端末装置20は、受信品質が第1の閾値より悪い場合には(ステップS101のYes)、処理をステップS102に進める。
続いて、ステップS102において、端末装置20は、決定した優先度情報を参照して、非重要データの出力を停止する。
例えば、図26に示すように、第1の端末装置20−1(参加者)は、受信品質が悪化する前において、発表者(第2の端末装置20−2)から送信された資料データ、音声データおよび映像データ、参加者(第3の端末装置20−3および第4の端末装置20−4)から送信された音声データおよび映像データを出力しているとする。このような状態から、受信品質が第1の閾値より悪くなった場合には、図27に示すように、第1の端末装置20−1(参加者)は、現在の話者(第3の端末装置20−3)の映像データ、および、現在の話者以外の参加者(第4の端末装置20−4)の音声データおよび映像データの出力を停止する。
なお、端末装置20は、再生処理または受信処理を実行しないことによりデータの出力を停止してもよいし、中継装置40に対してデータの送信の停止を要求することによりデータの出力を停止してもよい。
続いて、ステップS103において、端末装置20は、受信品質が第1の閾値以上となったか否かを判断する。端末装置20は、受信品質が第1の閾値以上となった場合には(ステップS103のYes)、処理をステップS104に進める。ステップS104において、端末装置20は、非重要データの再生出力を開始し、処理をステップS101に戻す。これにより、端末装置20は、受信品質が復帰した場合には、停止をしていたデータの出力を再開することができる。
端末装置20は、受信品質が第1の閾値以上となっていない場合には(ステップS103のNo)、処理をステップS105に進める。ステップS105において、端末装置20は、受信品質が第2の閾値より悪いか否かを判断する。第2の閾値は、第1の閾値よりも悪い受信品質を示す値である。端末装置20は、受信品質が第2の閾値より悪くはない場合には(ステップS105のNo)、処理をステップS103に戻す。これにより、端末装置20は、受信品質が第1の閾値より悪く、第2の閾値より良い場合には、非重要データの出力を停止した状態で維持をすることができる。端末装置20は、受信品質が第2の閾値より悪い場合には(ステップS105のYes)、処理をステップS106に進める。
ステップS106において、端末装置20は、決定した優先度情報を参照して、重要データのうち優先度の低いデータを低品質化して出力する。例えば、端末装置20は、優先度の低いデータを少ないリソースで再生処理をしたり、中継装置40に対して優先度の低いデータのビットレートを小さくすることを要求したりする。
例えば、図28に示すように、第1の端末装置20−1は、第1位のデータである発表者(第2の端末装置20−2)の資料データ、および、第2位のデータである発表者の音声データを高品質で再生出力する。そして、第1の端末装置20−1は、第3位のデータである発表者の映像データ、および、第4位のデータである現在の話者(第3の端末装置20−3)の音声データを低品質で再生出力する。
続いて、ステップS107において、端末装置20は、受信品質が第2の閾値以上となったか否かを判断する。端末装置20は、受信品質が第2の閾値以上となった場合には(ステップS107のYes)、処理をステップS108に進める。ステップS108において、端末装置20は、全ての重要データの品質を高品質化し、処理をステップS103に戻す。これにより、端末装置20は、受信品質が復帰した場合には、重要データの品質を高品質に復帰させることができる。端末装置20は、受信品質が第2の閾値より悪い場合には(ステップS107のNo)、処理をステップS107で待機する。
以上のように、本実施形態に係る伝送システム10によれば、受信品質が低下する状況となった場合であっても、コミュニケーションの内容に応じた適切なデータを確実に出力させて、コミュニケーションを確実に継続させることができる。
(変形例)
図29は、変形例に係る端末装置20の機能構成を示す図である。つぎに、変形例に係る伝送システム10について説明する。なお、変形例は、図1から図28を参照して説明した伝送システム10と略同一の機能および構成を有する。従って、変形例については、相違点を説明する。
変形例に係る端末装置20は、発話時刻記憶部91と、頻度検出部92とをさらに有する。発話時刻記憶部91は、発話情報取得部34が発話情報を取得する毎に、すなわち、現在の発話者が変更する毎に、発話時刻と、端末装置20のIPアドレスとを対応付けて記憶する。例えば、発話時刻記憶部91は、図30に示すようなテーブルを記憶する。
頻度検出部92は、発話時刻記憶部91に記憶されている情報を参照して、端末装置毎に、当該端末装置20のユーザとの対話の頻度を算出する。例えば、頻度検出部92は、当該端末装置20のユーザが発話した時刻から、予め定められた期間内における他のユーザの発話の頻度を算出し、算出した頻度を、当該端末装置20のユーザとの対話の頻度として検出する。例えば、頻度検出部92は、図30の自端末の発話時刻から一定時間内に発話した他の端末装置20毎の発話の頻度を検出する。そして、例えば、頻度検出部92は、図31に示すような、対話の頻度と、端末装置20のIPアドレスと、対話の頻度の順位とを対応付けたテーブルを算出する。
そして、優先度決定部35は、対話の頻度が変更された場合、ルール情報に従って、それぞれのデータの優先度を決定する。
変形例に係るルール情報は、さらに、当該端末装置20のユーザとの対話の頻度とデータ種類とのペアにも、順位が対応付けられている。そして、変形例に係る端末装置20は、ルール情報における順位の高いデータから順に、優先度を高く設定する。
なお、図32から図34に示すルール情報において、“DialogueSpeaker_0”は、当該端末装置20のユーザとの対話の頻度が基準以上(例えば最も高い)端末装置20を表す。
図32は、議長無しの討論モードの参加者のルール情報の一例を示す図である。議長無しの討論モードの参加者のルール情報は、図13の例と比較して、第4位以降が異なる。
図32のルール情報において、第4位は、当該端末装置20のユーザとの対話の頻度が最も高い端末装置20から送信された映像データである。これにより、伝送システム10は、対話の頻度が最も高いユーザの映像を確実に伝達することができる。
そして、図32のルール情報において、第5位は、現在の発話者以外の端末装置20から送信された資料データである。また、図32のルール情報において、第6位は、現在の発話者以外の端末装置20から送信された映像データである。さらに、図32のルール情報において、第4位は、重要データとそれ以外のデータを分ける閾順位である。
図33は、議長有りの討論モードの議長のルール情報の一例を示す図である。議長有りの討論モードの議長のルール情報は、図14の例と比較して、第4位以降が異なる。
図33のルール情報において、第4位は、当該端末装置20のユーザとの対話の頻度が最も高い端末装置20から送信された映像データである。これにより、伝送システム10は、対話の頻度が最も高いユーザの映像を確実に伝達することができる。
また、図33のルール情報において、第5位は、現在の発話者以外の端末装置20から送信された資料データである。また、図33のルール情報において、第6位は、現在の発話者以外の端末装置20から送信された映像データである。さらに、図33のルール情報において、第4位は、重要データとそれ以外のデータを分ける閾順位である。
図34は、議長有りの討論モードの参加者のルール情報の一例を示す図である。議長有りの討論モードの参加者のルール情報は、図15の例と比較して、第4位以降が異なる。
図34のルール情報において、第4位は、当該端末装置20のユーザとの対話の頻度が最も高い端末装置20から送信された音声データである。これにより、伝送システム10は、対話の頻度が最も高いユーザの音声を確実に伝達することができる。
図34のルール情報において、第5位は、当該端末装置20のユーザとの対話の頻度が最も高い端末装置20から送信された映像データである。これにより、伝送システム10は、対話の頻度が最も高いユーザの映像を確実に伝達することができる。
また、図34のルール情報において、第6位は、議長の端末装置20から送信された音声データである。また、図34のルール情報において、第7位は、議長の端末装置20から送信された資料データである。また、図34のルール情報において、第8位は、議長の端末装置20から送信された映像データである。
また、図34のルール情報において、第9位は、現在の発話者を除いた全ての端末装置20から送信された音声データである。また、図34のルール情報において、第10位は、現在の発話者を除いた全ての端末装置20から送信された資料データである。また、図34のルール情報において、第11位は、現在の発話者を除いた全ての端末装置20から送信された映像データである。さらに、図34のルール情報において、第8位は、重要データとそれ以外のデータを分ける閾順位である。
図35は、変形例において、話者が変更した場合の装置間のやり取りおよび処理を示す図である。変形例に係る伝送システム10では、話者が変更した場合、伝送システム10は、図35に示すようなシーケンスで処理を実行する。
なお、図35のシーケンスは、図24のシーケンスと比較して、ステップS55−1、S55−2、S55−3の直前に、ステップS201−1、ステップS201−2およびステップS201−3が実行される点である。
ステップS201−1、ステップS201−2およびステップS201−3において、それぞれの端末装置20は、中継装置40から話者順位の変更通知を受信すると、対話頻度の変更を行う。そして、それぞれの端末装置20は、セッションを形成する複数の端末装置20から受信すべき複数のデータのそれぞれに対して、変更後の対話順位に基づいて優先度を変更する(ステップS55−1,S55−2,S55−3)。これにより、それぞれの端末装置20は、対話順位が変更する毎に優先度を決定することができる。
このような変形例に係る伝送システム10によれば、対話している相手の端末装置20から送信されたデータを優先して出力させて、コミュニケーションを確実に継続させることができる。
以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能である。