JP5184229B2 - 同期制御装置、及び同期制御プログラム - Google Patents

Description

本発明は、同期制御装置、及び同期制御プログラムに関する。

近年、マルチメディア技術の発達により、通信分野においても、映像データや音声データ等のメディアデータを同期させ、マルチメディアデータとして通信する技術が発達してきている。

特許文献１には、動画データと音声データを合わせたマルチメディアデータを再生する際、音声データを再生するタイミングを、動画データに対して動画の提示間隔に応じて遅延して再生、或いは伝達する技術が記載されている。
特許文献２には、映像、音声等のデータ種別のメディアデータのうち、２つのデータ種別のメディアデータの開始ポイントを同期させたパタ−ン等、６種類の同期パタ−ンを用いて、２つのデータ種別のメディアデータ間の同期パタ−ンを選択して、同期発動のメディアデータを指定することにより、２つのデータ種別のメディアデータ間の同期を設定する技術が記載されている。

一方、マルチメディア技術として、複数の拠点を通信回線で結び、双方向の映像及び音声による会議を行うビデオ会議システムが知られている。特許文献１及び特許文献２に記載された技術は、異なるメディアデータ間の同期制御を行う技術であり、ビデオ会議システムでは、さらに、各拠点間で入出力するメディアデータを同期させ、全ての拠点で同時に映像や音声を同時に出力させる必要がある。そこで、ビデオ会議システムにおいて、予め定めたデータ種別である優先メディアのメディアデータを各拠点間で同期させ、該各拠点間で同期させたデータ種別のメディアデータと他のデータ種別のメディアデータを同期させる技術が知られている。
特開平８−１９０５４１号公報 特開平５−２３６２９７号公報

しかし、各拠点でビデオ会議に用いる通信端末（通信装置）の変更や停止等、データの出力環境に変化があり、予め定めたデータ種別である優先メディアを出力する通信端末が利用できなくなることがある。この場合、従来のビデオ会議システムにおける技術では、優先メディアを改めて設定し直す等の煩雑な作業をしないと、優先メディアを出力する通信端末が利用できなくなった拠点の通信端末が出力するデータは、他の拠点の通信端末が出力するデータと確実に同期させることができないという欠点がある。

本発明は上記の点に鑑みてなされたものであり、その目的は、データの出力環境に変化があっても、煩雑な作業をせずに、データを確実に同期させることができる同期制御装置、及び同期制御プログラムを提供することにある。

（１）本発明は上記の課題を解決するためになされたものであり、その一態様は、 複数のデータ種別のデータを送信する送信装置と、前記送信装置から受信した前記データを出力する通信装置を少なくとも１つ備える複数の通信装置グループと、を有する通信システムにおける同期制御装置において、前記通信装置グループ各々について、当該通信装置グループの通信装置が出力する前記データのデータ種別から、少なくとも１つのデータ種別であるグループ同期データ種別を選択するグループ同期データ種別選択部と、前記グループ同期データ種別選択部が選択した前記通信装置グループのグループ同期データ種別のデータを、当該通信装置グループの通信装置が出力するタイミングが、グループ同期データ種別のデータを出力する全ての通信装置で同時になるように、前記通信装置が前記送信装置から受信したデータを出力する同期タイミングを決定する同期決定部と、を備える。
上記構成によると、前記同期制御装置は、前記通信装置グループの通信装置が出力する前記データのデータ種別からグループ同期データ種別を選択し、該選択した前記通信装置グループのグループ同期データ種別のデータを、当該通信装置グループの通信装置が出力するタイミングが、グループ同期データ種別のデータを出力する全ての前記通信装置で同時になるように、前記同期タイミングを決定するので、データの出力環境に変化があっても、前記通信装置グループの通信装置が出力する前記データのデータ種別を選択して同期タイミングを決定することができ、煩雑な作業をせずに、データを確実に同期させることができる。

（２）また、本発明の一態様は、複数のデータ種別のデータを送信する送信装置と、前記送信装置から受信した前記データを出力する通信装置を少なくとも１つ備える複数の通信装置グループと、を有する通信システムにおける同期制御装置のコンピュータに、前記通信装置グループ各々について、当該通信装置グループの通信装置が出力する前記データのデータ種別から、少なくとも１つのデータ種別であるグループ同期データ種別を選択するグループ同期データ種別選択手段、前記グループ同期データ種別選択手段にて選択した前記通信装置グループのグループ同期データ種別のデータを、当該通信装置グループの通信装置が出力するタイミングが、グループ同期データ種別のデータを出力する全ての通信装置で同時になるように、前記通信装置が前記送信装置から受信したデータを出力する同期タイミングを決定する同期決定手段、として機能させる。

本発明によれば、同期制御装置は、通信装置グループの通信装置が出力するデータのデータ種別からグループ同期データ種別を選択し、該選択した通信装置グループのグループ同期データ種別のデータを、当該通信装置グループの通信装置が出力するタイミングが全ての前記通信装置で同時になるように、同期タイミングを決定するので、データの出力環境に変化があっても、通信装置グループの通信装置が出力するデータのデータ種別を選択して同期タイミングを決定することができ、煩雑な作業をせずに、データを確実に同期させることができる。

＜会議システム＞
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、この発明の実施形態に係る会議システムを示す概略図である。
会議システムは、通信端末グループ（通信装置グループ）Ａ、Ｂ、Ｃ、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｃｏｌ）通信網２、及び会議サーバ３（同期制御装置、送信装置）を含んで構成される。また、通信端末グループＡ、Ｂ、Ｃは、それぞれ、通信端末（通信装置）Ａ１〜Ａｘ、通信端末Ｂ１〜Ｂｙ、通信端末Ｃ１〜Ｃｚ（以下、これらの通信端末各々を通信端末１という）を含んで構成される。

例えば、通信端末Ａ１、Ａ２、Ｂ１は、映像を撮像するカメラと映像を出力するモニタとを備えるコンピュータである。また、例えば、通信端末Ａ３、Ｂ２、Ｃ１は、音声を録音するマイクと音声を出力するスピーカとを備える音響機器である。

この図において、会議の参加者がいる拠点は３箇所あり、それぞれ、通信端末Ａ１〜Ａｘ、通信端末Ｂ１〜Ｂｙ、通信端末Ｃ１〜Ｃｚを用いて、映像データ、音声データ、静止画像データ、テキスト（文字）データ等、複数のデータ種別のメディアデータを、ＩＰ通信網２を介して、会議サーバ３に送信する。
会議サーバ３は、通信端末グループＡ、Ｂ、Ｃから受信したメディアデータをデータ種別ごとに合成し、合成したメディアデータ（以下、ミキシングデータという）を、通信端末グループＡ、Ｂ、Ｃに送信する。例えば、会議サーバ３は、通信端末Ａ１、Ａ２、Ｂ１から受信した映像データを１つの映像で表示されるように合成し、合成した映像データを通信端末Ａ１、Ａ２、Ｂ１に送信する。また、会議サーバ３は、通信端末Ａ３、Ｂ２、Ｃ１から受信した音声データを１つの音声データに合成し、合成した音声データを通信端末Ａ３、Ｂ２、Ｃ１に送信する。

送信されたミキシングデータは、ＩＰ通信網２を介し、各通信端末グループＡ、Ｂ、Ｃの通信端末Ａ１〜Ａｘ、通信端末Ｂ１〜Ｂｙ、通信端末Ｃ１〜Ｃｚが受信をする。
ここで、ＩＰ通信網２では、状況に応じてデータ通信の遅延が生じ、各通信端末グループＡ、Ｂ、Ｃは、会議サーバ３が送信したミキシングデータ（例えば、データパケット）を、必ずしも、同じ間隔で受信するとは限らない。
そこで、会議サーバ３は、各通信端末グループＡ、Ｂ、Ｃが、会議サーバ３が送信したミキシングデータを出力するタイミングを決定する同期制御を行う。

本実施形態では、各通信端末グループＡ、Ｂ、Ｃの通信端末を用いる会議の参加者に、各通信端末グループＡ、Ｂ、Ｃについて、同期を優先させるデータ種別（グループ同期データ種別：以下、優先メディアという。）を、初期設定として予め選択させる。会議サーバ３は、各通信端末グループＡ、Ｂ、Ｃの優先メディアのミキシングデータを、当該通信端末グループＡ、Ｂ、Ｃの通信端末が出力するタイミングが全ての通信端末で同時になるように、ミキシングデータを出力するタイミングを決定する。
例えば、通信端末グループＡの会議の参加者が「映像」、通信端末グループＢの会議の参加者が「映像」、通信端末グループＣの会議の参加者が「音声」を、それぞれ、優先メディアとして選択した場合、会議サーバ３は、通信端末グループＡと通信端末グループＢの「映像」のミキシングデータ、及び通信端末グループＣの「音声」のミキシングデータを、同時に出力させるように出力時刻を決定する。
これにより、少なくとも優先メディアについては、通信端末グループＡ、Ｂ、Ｃで同時に出力をすることができる。

＜通信端末１の構成＞
以下、図２を用いて、本実施形態に係る通信端末１について説明をする。
図２は、本実施形態に係る通信端末１の構成を示す概略的ブロック図である。通信端末１は、入出力部１１、記憶部１２、制御部１３、及び通信部１４を含んで構成される。
なお、この図は、映像を撮像するカメラと映像を表示するディスプレイとを備える通信端末１の例である。例えば、音声を録音するマイクと音声を出力するスピーカを備える通信端末１である場合は、後述する撮像部１１２を録音部とし、表示部１１３を出力部とすればよい。また、この図は、入力機能（撮像部１１２）と出力機能（表示部１１３）を備える通信端末の例を示しているが、通信端末１は、いずれか１つの機能のみを備えていてもよい。

入出力部１１は、操作部１１１、撮像部１１２、及び表示部１１３を含んで構成される。
操作部１１１は、通信端末１の利用者（会議の参加者）の操作に基づき、各部に動作命令を出力する。例えば、操作部１１１は、会議の参加者が当該通信端末１を用いて会議に参加する際、ユーザ情報を送信する命令をユーザ情報送信部１３１に出力する。

撮像部１１２は、レンズ、及び、ＣＣＤ(Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ：電荷結合素子)又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補性金属酸化膜半導体）イメージセンサを用いて実現され、カメラにより撮像した撮像データを、メディアデータ生成部１３３に出力する。
表示部１１３は、ミキシングデータ出力部１３６から出力されたミキシングデータの映像をディスプレイに表示する。

記憶部１２は、ユーザ情報記憶部１２１と同期情報記憶部１２２を含んで構成される。
ユーザ情報記憶部１２１は、グループ同期データ種別記憶部１２１１を含んで構成される。ユーザ情報記憶部１２１は、自端末について、通信端末グループを識別するユーザ名、ＩＰ通信網２でのアドレス、出力するメディアデータの種別を示すデータ種別、及び優先メディアであるか否かを示す優先度を含むユーザ情報を記憶する。
なお、ユーザ情報の詳細については、後述する（図４参照）。また、ユーザ情報の優先度の初期値は、当該装置を用いる会議の参加者が予め選択した優先メディアであるか否かを示す情報である。また、グループ同期データ種別記憶部１２１１は、ユーザ情報記憶部１２１のうち優先度を記憶する部分である。

同期情報記憶部１２２は、優先メディアのミキシングデータに関する最大遅延時間（以下、優先メディアデータ最大遅延時間という）の情報を記憶する。優先メディアデータ最大遅延時間の詳細については、後述する。

制御部１３は、ユーザ情報送信部１３１、グループ同期管理部１３２、メディアデータ生成部１３３、同期情報更新部１３４、同期制御部１３５、ミキシングデータ出力部１３６、及び生成出力時刻送信部１３７を含んで構成される。

ユーザ情報送信部１３１は、操作部１１１から、ユーザ情報を送信する命令が入力されると、ユーザ情報記憶部１２１からユーザ情報を読み込む。ユーザ情報送信部１３１は、読み込んだユーザ情報を、通信部１４を介し、会議サーバ３に送信をする。
グループ同期管理部１３２は、後述する会議サーバ３のグループ同期データ種別選択部３２２から送信された優先度を、通信部１４を介して受信し、グループ同期データ種別記憶部１２１１に優先度として記憶させる。

メディアデータ生成部１３３は、撮像部１１２から入力された撮像データに画像処理を施した映像データを生成する。メディアデータ生成部１３３は、該映像データと、該映像データを生成した時刻（以下、メディアデータ生成時刻という）を含むメディアデータを、通信部１４を介し、会議サーバ３に送信をする。
同期情報更新部１３４は、後述する会議サーバ３から送信された同期情報を、通信部１４を介して受信し、同期情報記憶部１２２に記憶させる。

同期制御部１３５は、後述する会議サーバ３から送信された映像のミキシングデータを、通信部１４を介して受信し、該ミキシングデータに含まれるメディアデータ生成時刻（本実施形態では、後述するように、メディアデータ生成部１３３が映像データに含ませたメディアデータ生成時刻）を検出する。同期制御部１３５は、同期情報記憶部１２２から優先メディアデータ最大遅延時間を読み込み、検出したメディアデータ生成時刻に優先メディアデータ最大遅延時間を加えた同期出力時刻を算出する。同期制御部１３５は、会議サーバ３から受信したミキシングデータを、ミキシングデータ出力部１３６に出力し、算出した同期出力時刻に表示部１１３に出力させる制御をする。

ミキシングデータ出力部１３６は、同期制御部１３５の制御に従い、同期出力時刻に、同期制御部１３５から入力されたミキシングデータの映像を、表示部１１３に表示させる。
ミキシングデータ出力部１３６は、出力したミキシングデータについてのメディアデータ生成時刻とミキシングデータの出力時刻（同期出力時刻）の情報（以下、生成出力時刻情報という）を生成出力時刻送信部１３７に出力する。

生成出力時刻送信部１３７は、グループ同期データ種別記憶部１２１１が記憶する優先度を読み込み、ミキシングデータ出力部１３６から入力された生成出力時刻情報が、優先メディアの生成出力時刻情報であるか否かを判定する。
生成出力時刻送信部１３７は、判定の結果、ミキシングデータ出力部１３６から入力された生成出力時刻情報が、優先メディアの生成出力時刻情報である場合、当該優先メディアの生成出力時刻情報を、通信部１４を介し、会議サーバ３に送信する。一方、生成出力時刻送信部１３７は、判定の結果、ミキシングデータ出力部１３６から入力された生成出力時刻情報が、優先メディアの生成出力時刻情報でない場合、生成出力時刻情報を送信しない。
通信部１４は、ＩＰ通信網２を介し、会議サーバ３と通信を行う。

＜会議サーバ３の構成＞
以下、図３を用いて、本実施形態に係る会議サーバ３について説明をする。
図３は、本実施形態に係る会議サーバ３の構成を示す概略的ブロック図である。会議サーバ３は、通信部３１、制御部３２、及び記憶部３３を含んで構成される。
なお、会議サーバ３は、送信装置と同期制御装置を備え、メディアデータ取得部３２３、ミキシングデータ生成部３２４、及びメディアデータ群記憶部３３２が送信装置に相当し、グループ同期データ種別選択部３２２、生成出力時刻取得部３２５、同期決定部３２６、生成出力時刻群記憶部３３３、及びグループ同期データ種別記憶部３３１１が同期制御装置に相当する。

通信部３１は、ＩＰ通信網２を介し、通信端末グループＡ、Ｂ、Ｃの通信端末Ａ１〜Ａｘ、通信端末Ｂ１〜Ｂｙ、通信端末Ｃ１〜Ｃｚと通信を行う。
制御部３２は、ユーザ情報登録部３２１、グループ同期データ種別選択部３２２、メディアデータ取得部３２３、ミキシングデータ生成部３２４、生成出力時刻取得部３２５、及び同期決定部３２６を含んで構成される。
ユーザ情報登録部３２１は、通信端末１（通信端末Ａ１〜Ａｘ、通信端末Ｂ１〜Ｂｙ、通信端末Ｃ１〜Ｃｚ）のユーザ情報送信部１３１から送信されたユーザ情報を、通信部３１を介して受信し、ユーザ情報群記憶部３３１に記憶させる。

＜優先メディア（グループ同期データ種別）の選択＞
グループ同期データ種別選択部３２２は、ユーザ情報群記憶部３３１から、通信端末Ａ１〜Ａｘ、通信端末Ｂ１〜Ｂｙ、通信端末Ｃ１〜Ｃｚのユーザ情報を読み込む。グループ同期データ種別選択部３２２は、読み込んだユーザ情報の優先度により、通信端末グループＡ、Ｂ、Ｃ各々について、優先メディアを出力する通信端末１が存在するか否かを判定する。
グループ同期データ種別選択部３２２は、通信端末グループＡ、Ｂ、Ｃのいずれかに、優先メディアを出力する通信端末１が存在しないと判定した場合、当該優先メディアを出力する通信端末１が存在しない通信端末グループに存在する通信端末１が出力するデータ種別から１つのデータ種別を、例えばランダムに選択する。すなわち、グループ同期データ種別選択部３２２は、通信端末グループＡ、Ｂ、Ｃ各々について、当該通信端末グループＡ、Ｂ、Ｃの通信端末１が出力するデータのデータ種別から、少なくとも１つの優先メディアを選択する。
グループ同期データ種別選択部３２２は、選択した１つのデータ種別を当該通信端末グループの優先メディアとし、グループ同期データ種別記憶部３３１１が記憶する当該通信端末グループの当該優先メディアを出力する通信端末１の優先度を、優先メディアであることを示す情報に変更する。
なお、グループ同期データ種別選択部３２２が行う優先メディアの選択方法の具体例については、後述する（図５、図６）。

メディアデータ取得部３２３は、通信端末Ａ１〜Ａｘ、通信端末Ｂ１〜Ｂｙ、通信端末Ｃ１〜Ｃｚのメディアデータ生成部１３３から送信されたユーザ情報を、通信部３１を介して受信し、メディアデータ群記憶部３３２に記憶させる。

ミキシングデータ生成部３２４は、データ種別ごとに、メディアデータ群記憶部３３２が記憶するメディアデータを合成して、ミキシングデータを生成する。例えば、データ種別が「映像」であれば、モニタ等の画面に出力される映像を１／３の領域に分割し、分割した領域のそれぞれに、メディアデータ群記憶部３３２が記憶する通信端末グループＡ、Ｂ、Ｃの映像データの映像を表示させるように合成した合成映像データを生成する。このとき、ミキシングデータ生成部３２４は、メディアデータに含まれるメディアデータ生成時刻が同時刻であるメディアデータの映像データを合成して、合成映像データを生成する。同様に、ミキシングデータ生成部３２４は、データ種別が「音声」であれば、メディアデータ生成時刻が同時刻であるメディアデータの合成音声データを生成する。
ミキシングデータ生成部３２４は、メディアデータを合成して生成した合成映像データと、該合成したメディアデータのメディアデータ生成時刻を含むミキシングデータを、通信部３１を介し、映像データを出力する通信端末１に送信する。

生成出力時刻取得部３２５は、通信端末Ａ１〜Ａｘ、通信端末Ｂ１〜Ｂｙ、通信端末Ｃ１〜Ｃｚの生成出力時刻送信部１３７から送信された優先メディアの生成出力時刻情報を、通信部３１を介して受信し、生成出力時刻群記憶部３３３に記憶させる。

＜同期タイミング（優先メディアデータ最大遅延時間）の決定＞
同期決定部３２６は、生成出力時刻群記憶部３３３から、各通信端末グループにおいて優先メディアのミキシングデータを出力する通信端末１から受信した優先メディアの生成出力時刻情報を読み込む。同期決定部３２６は、読み込んだ生成出力時刻情報各々について、ミキシングデータの出力時刻と、メディアデータ生成時刻との差である遅延時間を算出する。同期決定部３２６は、算出した遅延時間のうち、最も長い遅延時間を、優先メディアデータ最大遅延時間として決定する。
上述のように、全ての通信端末１は、メディアデータ生成時刻に優先メディアデータ最大遅延時間を加えた同期出力時刻に、ミキシングデータを出力する。すなわち、グループ同期データ種別選択部３２２が選択した通信端末グループＡ、Ｂ、Ｃの優先メディアのデータを、当該通信端末グループＡ、Ｂ、Ｃの通信端末１が出力するタイミングが、全ての優先メディアのデータを出力する通信端末１で同時になるように、通信端末１が送信端末から受信したデータを出力する同期タイミングを決定する。

なお、仮に、同期決定部３２６が、最も長い遅延時間よりも短い時間を、優先メディアデータ最大遅延時間としたとすると、メディアデータの生成からミキシングデータの出力までに最も長い遅延時間を要する通信端末グループにおいて、メディアデータの生成からから優先メディアデータ最大遅延時間が経過した時刻に、出力すべきミキシングデータを未だ受信できず、ミキシングデータを同期出力時刻に出力することができない。本実施形態では、最も長い遅延時間を優先メディアデータ最大遅延時間とすることにより、ミキシングデータを同時に出力することができる最短の時刻を、同期出力時刻とすることができる。
同期決定部３２６は、決定した優先メディアデータ最大遅延時間を、通信部３１を介し、通信端末Ａ１〜Ａｘ、通信端末Ｂ１〜Ｂｙ、通信端末Ｃ１〜Ｃｚに送信する。

＜ユーザ情報管理テーブル＞
以下、ユーザ情報群記憶部３３１が記憶するユーザ情報管理テーブルについて説明をする。ユーザ情報管理テーブルは、リレーショナル形式のデータベースにより管理されている。
図４は、本実施形態に係るユーザ情報管理テーブルの一例を示す概略図である。図示するように、ユーザ情報管理テーブルは、行と列からなる２次元の表形式のデータであり、通信端末グループを識別するユーザ名、通信端末１のＩＰ通信網２でのアドレス、出力するメディアデータの種別を示すデータ種別、及び優先メディアであるか否かを示す優先度の各項目の列を有している。このユーザ情報管理テーブルの主キーは、通信端末のアドレスとデータ種別である。
なお、ユーザ情報管理テーブルの各行のデータが、通信端末１が記憶するユーザ情報である。各通信端末１は、この図の通信端末アドレスが自端末のアドレスとなるデータをユーザ情報としてユーザ情報記憶部１２１に記憶する。

例えば、図４のユーザ情報管理テーブルの１行目〜３行目のデータは、ユーザ名「ユーザＡ」、つまり、通信端末グループＡの情報を表わすデータであり、通信端末グループＡでは、通信端末Ａ１とＡ２が「映像」のミキシングデータを出力し、通信端末Ａ３が「音声」のミキシングデータを出力することを示す。また、通信端末グループＡでは、「音声」の優先度が「高」、つまり、通信端末グループＡの優先メディアは「音声」であることを示す。
同様に、図４は、ユーザ名「ユーザＢ」の通信端末グループＢでは、通信端末Ｂ１が「映像」のミキシングデータを出力し、通信端末Ｂ２が「音声」のミキシングデータを出力し、また、通信端末グループＢの優先メディアは「音声」であることを示す。図４は、ユーザ名「ユーザＣ」の通信端末グループＣでは、通信端末Ｃ１が「音声」のミキシングデータを出力し、また、通信端末グループＢの優先メディアは「音声」であることを示す。

なお、図４で示される会議システムは、会議サーバ３が、通信端末Ａ３、Ｂ２、Ｃ１に出力する音声のミキシングデータについての遅延時間が最大となる遅延時間を優先メディア最大遅延時間として決定し、通信端末Ａ３、Ｂ２、Ｃ１が、決定された優先メディア最大遅延時間で定まる同期出力時刻に、「音声」のミキシングデータを出力し、また、通信端末Ａ１、Ａ２、Ｂ１が、決定された同期出力時刻に、「映像」のミキシングデータを出力する。

＜優先メディアの選択方法の具体例＞
以下、図５と図６を用いて、グループ同期データ種別選択部３２２による優先メディアの選択方法の具体例について説明をする。
図５と図６は、優先メディアの選択方法を説明する説明図である。図５は、優先メディアの切り替え前のユーザ情報管理テーブル、図６は、優先メディアの切り替え後のユーザ情報管理テーブルである。図５と図６を比較すると、ユーザ名「ユーザＣ」、つまり、通信端末グループＣのユーザ情報のみが異なり、グループ同期データ種別選択部３２２が通信端末グループＣの情報を切り替えたことを示す。

図５の情報が示す通信端末グループＣでは、例えば、通信端末Ｃ１は会議室に設置されているテレビであり、通信端末Ｃ２は会議室に設置されているスピーカである。また、図５の情報が示す通信端末グループＣでは、「映像」が優先メディアであって、会議サーバ３は、通信端末Ａ１、Ｂ１、Ｃ１に出力する「映像」のミキシングデータについての遅延時間が最大となる遅延時間を優先メディア最大遅延時間として決定する。

ここで、例えば、ユーザ名が「ユーザＣ」である利用者は、会議室を出て移動をしながら会議を続けるため、通信端末Ｃ３である携帯電話のみを用いて会議に参加する場合について説明をする。
まず、通信端末Ｃ１（又は通信端末Ｃ２）は、会議に用いる通信端末を通信端末Ｃ１から通信端末Ｃ３に変更する端末変更要求を、通信端末Ｃ３に送信する。通信端末Ｃ３は、通信端末Ｃ１から端末変更要求を受信し、ユーザ名が「ユーザＣ」である利用者の操作部１１１の操作に基づき、会議サーバ３に自端末のユーザ情報と、通信端末Ｃ１が会議サーバ３との通信を終了することを示す通信終了情報と、を会議サーバ３に送信する。
このユーザ情報送信部１３１が送信するユーザ情報の優先度は、ユーザ名が「ユーザＣ」である予め選択した優先度であり、ここでは、データ種別「音声」が、優先度「低」、つまり、優先メディアではないことを示す情報である。
また、通信端末Ｃ２は、ユーザ名が「ユーザＣ」である利用者の操作に基づき、会議サーバ３に通信端末Ｃ２が会議サーバ３との通信を終了することを示す通信終了情報を送信する。

会議サーバ３は、ユーザ情報管理テーブルから、通信端末Ｃ１、通信端末Ｃ２のユーザ情報を削除し、ユーザ情報管理テーブルに通信端末Ｃ３のユーザ情報を追加する。このとき、通信端末グループＣには、通信端末Ｃ３のみが存在し、そのデータ種別「音声」の優先度は、「低」となる。
グループ同期データ種別選択部３２２は、通信端末グループＣに優先メディアを出力する通信端末１が存在しないと判定し、通信端末グループＣに存在するデータ種別である「音声」を選択する。
グループ同期データ種別選択部３２２は、選択した「音声」を優先メディアとし、ユーザ情報管理テーブルのユーザ名「ユーザＣ」でデータ種別が「音声」であるデータ、つまり、通信端末Ｃ３に対応する優先度を「高」に変更する（図６）。

仮に、通信端末グループＣに優先メディアを出力する通信端末１が存在しないこととなると、同期決定部３２６は、通信端末グループＡとＢの優先メディアのミキシングデータについての遅延時間のみで同期出力時刻を決定するので、通信端末グループＣの通信端末１が出力するミキシングデータの遅延時間が大きい場合、通信端末グループＣの通信端末１は、同期出力時刻にミキシングデータを取得できず、ミキシングデータを出力できない。本実施形態では、グループ同期データ種別選択部３２２が、通信端末グループＣの優先メディアの切り替えを行うことにより、会議システムは、送信端末グループＡ、Ｂ、Ｃが出力するミキシングデータを確実に同時に出力させることができる。

＜会議システムの動作＞
以下、図７と図８を用いて本実施形態に係る会議システムの動作について説明をする。
図７は、本実施形態に係る会議システムの動作を示すフロー図である。
この図において、Ｓ２０１、Ｓ２０３、Ｓ２０４、Ｓ２０７、Ｓ２０８、Ｓ２０９、Ｓ２１３の処理又は判定は、それぞれ、Ｓ１０１、Ｓ１０３、Ｓ１０４、Ｓ１０７、Ｓ１０８、Ｓ１０９、Ｓ１１３処理又は判定と同じであるので、Ｓ２０１、Ｓ２０３、Ｓ２０４、Ｓ２０７、Ｓ２０８、Ｓ２０９、Ｓ２１３の処理又は判定についての説明は省略する。

まず、通信端末１は、ユーザ情報を会議サーバ３に送信する（Ｓ１０１）。会議サーバ３は、通信端末１から受信したユーザ情報をユーザ情報管理テーブルに登録する（Ｓ１０２）。
通信端末１は、映像や音声等の入力により、メディアデータを生成する（Ｓ１０３）。通信端末１は、生成したメディアデータを会議サーバ３に送信する（Ｓ１０４）。
会議サーバ３は、各通信端末１から送信されたメディアデータを合成し、ミキシングデータを生成する（Ｓ１０５）。会議サーバ３は、生成したミキシングデータを通信端末１に送信する（Ｓ１０６）。

通信端末１は、会議サーバ３から受信したミキシングデータを、優先メディアデータ最大遅延時間から算出した同期出力時刻に出力する（Ｓ１０７）。通信端末１は、ステップＳ１０７にて出力したミキシングメディアのデータ種別が、優先度が高いデータ種別、つまり、優先メディアであるか否かを判定する（Ｓ１０８）。
ステップＳ１０８の判定で、ステップＳ１０７にて出力したミキシングメディアのデータ種別が、優先度が高いデータ種別であると判定された場合、通信端末１は、ステップＳ１０９の処理を行う。一方、ステップＳ１０８の判定で、ステップＳ１０７にて出力したミキシングメディアのデータ種別が、優先度が高いデータ種別でないと判定された場合、通信端末１は、ステップＳ１１３の処理を行う。
通信端末１は、生成出力時刻情報を会議サーバ３に送信する（Ｓ１０９）。

会議サーバ３は、通信端末１から受信した優先メディアの生成出力時刻情報より、遅延時間を算出し、優先メディアデータ最大遅延時間を決定する（Ｓ１１０）。会議サーバ３は、通信端末１のアドレス情報をユーザ情報管理テーブルから取得する（Ｓ１１１）。会議サーバ３は、決定した優先メディアデータ最大遅延時間を、通信部３１を介し、通信端末１に送信する（Ｓ１１２）。
通信端末１は、記憶する優先メディアデータ最大遅延時間を更新する（Ｓ１１３）。通信端末１は、ステップＳ１１３の処理を行った後、ステップＳ１０３の処理を行う。

図８は、本実施形態に係る優先メディアの切り替え動作を示すフロー図である。
まず、通信端末Ｃ１は、会議に用いる通信端末を通信端末Ｃ１から通信端末Ｃ３に変更する端末変更要求を、通信端末Ｃ３に送信する（Ｓ３０１）。通信端末Ｃ３は、通信端末Ｃ１から端末変更要求を受信し、会議サーバ３に自端末のユーザ情報と、通信端末Ｃ１が会議サーバ３との通信を終了することを示す通信終了情報と、を会議サーバ３に送信する（Ｓ３０２）。

会議サーバ３は、通信端末Ｃ３から通信端末Ｃ３のユーザ情報と、通信端末Ｃ１の通信終了情報を受信する。会議サーバ３は、通信端末Ｃ３の通信端末グループＣのユーザ情報を参照する（Ｓ３０３）。会議サーバ３は、ユーザ情報から通信端末Ｃ１の情報を削除し、ユーザ情報に通信端末Ｃ３のユーザ情報を登録した場合に、優先度が「高」であるデータ種別があるか否かを判定する（Ｓ３０４）。

ステップＳ３０４の判定にて、優先度が「高」であるデータ種別があると判定された場合、会議サーバ３は、ステップＳ３０８の処理を行う。一方、ステップＳ３０４の判定にて、優先度が「高」であるデータ種別がないと判定された場合、会議サーバ３は、ユーザ情報から通信端末Ｃ１の情報を削除し、ユーザ情報に通信端末Ｃ３のユーザ情報を登 録した場合のデータ種別から、１のデータ種別を選択し、該選択したデータ種別を優先メディアとして決定する（Ｓ３０５）。
会議サーバ３は、優先メディアとして決定したデータ種別のメディアデータを出力する通信端末１の優先度を、優先メディアであることを示す「高」に変更する。会議サーバ３は、優先度を変更した通信端末１（ここでは、通信端末Ｃ３とする）に、優先度の変更情報を通知する（Ｓ３０６）。

通信端末Ｃ３は、会議サーバ３から優先度の変更情報を受信し、自端末のユーザ情報の優先度を変更する（Ｓ３０７）。会議サーバ３は、通信端末Ｃ１のユーザ情報を削除する。また、会議サーバ３は、優先度が変更後の優先度である通信端末Ｃ３のユーザ情報をユーザ情報管理テーブルに登録する（Ｓ３０８）

このように、本実施形態によれば、会議サーバ３は、通信端末グループＡ、Ｂ、Ｃの通信端末１が出力するミキシングデータのデータ種別から優先メディアを選択し、該選択した通信装置グループＡ、Ｂ、Ｃの優先メディアのデータを、当該通信装置グループＡ、Ｂ、Ｃの通信装置１が出力するタイミングが、優先メディアを出力する全ての通信装置１で同時になるように、同期タイミングを決定するので、データの出力環境に変化があっても、通信装置グループＡ、Ｂ、Ｃの通信装置１が出力するデータのデータ種別を選択して同期タイミングを決定することができ、煩雑な作業をせずに、データを確実に同期させることができる。

なお、上述した実施形態における会議サーバ３の一部、ユーザ情報登録部３２１、グループ同期データ種別選択部３２２、メディアデータ取得部３２３、ミキシングデータ生成部３２４、生成出力時刻取得部３２５、及び同期決定部３２６をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、会議サーバ３のコンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

この発明の実施形態による会議システムの概念図である。 本実施形態に係る通信端末の構成を示す概略的ブロック図である。 本実施形態に係る会議サーバの構成を示す概略的ブロック図である。 本実施形態に係るユーザ情報管理テーブルの一例を示す概略図である。 優先メディアの切り替え方法を説明する説明図である。 優先メディアの切り替え方法を説明する別の説明図である。 本実施形態に係る会議システムの動作を示すフロー図である。 本実施形態に係る優先メディアの切り替え動作を示すフロー図である。

符号の説明

１・・・通信端末（通信装置）、１１・・・入出力部、１１１・・・操作部、１１２・・・撮像部、１１３・・・表示部、１２・・・記憶部、１２１・・・ユーザ情報記憶部、１２１１・・・グループ同期データ種別記憶部、１２２・・・同期情報記憶部、１３・・・制御部、１３１・・・ユーザ情報送信部、１３２・・・グループ同期管理部、１３３・・・メディアデータ生成部、１３４・・・同期情報更新部、１３５・・・同期制御部、１３６・・・ミキシングデータ出力部、１３７・・・生成出力時刻送信部、１４・・・通信部、２・・・ＩＰ通信網、３・・・会議サーバ（同期制御装置）、３１・・・通信部、３２・・・制御部、３２１・・・ユーザ情報登録部、３２２・・・グループ同期データ種別選択部、３２３・・・メディアデータ取得部、３２４・・・ミキシングデータ生成部、３２５・・・生成出力時刻取得部、３２６・・・同期決定部、３３・・・記憶部、３３１・・・ユーザ情報群記憶部、３３１１・・・グループ同期データ種別記憶部、３３２・・・メディアデータ群記憶部、３３３・・・生成出力時刻群記憶部

Claims (2)

1. 複数のデータ種別のデータを送信する送信装置と、前記送信装置から受信した前記データを出力する通信装置を少なくとも１つ備える複数の通信装置グループと、を有する通信システムにおける同期制御装置において、
   前記通信装置グループ各々について、当該通信装置グループの通信装置が出力する前記データのデータ種別から、少なくとも１つのデータ種別であるグループ同期データ種別を選択するグループ同期データ種別選択部と、
   前記グループ同期データ種別選択部が選択した前記通信装置グループのグループ同期データ種別のデータを、当該通信装置グループの通信装置が出力するタイミングが、グループ同期データ種別のデータを出力する全ての通信装置で同時になるように、前記通信装置が前記送信装置から受信したデータを出力する同期タイミングを決定する同期決定部と、
   を備えることを特徴とする同期制御装置。
2. 複数のデータ種別のデータを送信する送信装置と、前記送信装置から受信した前記データを出力する通信装置を少なくとも１つ備える複数の通信装置グループと、を有する通信システムにおける同期制御装置のコンピュータに、
   前記通信装置グループ各々について、当該通信装置グループの通信装置が出力する前記データのデータ種別から、少なくとも１つのデータ種別であるグループ同期データ種別を選択するグループ同期データ種別選択手段、
   前記グループ同期データ種別選択手段にて選択した前記通信装置グループのグループ同期データ種別のデータを、当該通信装置グループの通信装置が出力するタイミングが、グループ同期データ種別のデータを出力する全ての通信装置で同時になるように、前記通信装置が前記送信装置から受信したデータを出力する同期タイミングを決定する同期決定手段、
   として機能させる同期制御プログラム。

Images