JP6753480B2 - 端末および表示方法 - Google Patents

Description

本発明は、端末および表示方法に関する。

通信ネットワークを利用して遠隔会議を実現するテレビ会議システムなどの通信システムにおいて、自拠点から他拠点に送信したデータが他拠点において正しく出力されているかどうかを把握することは、円滑なコミュニケーションを実現する上で重要である。このような観点から、従来、自端末の音声が相手端末に適切に届くかどうかを事前にテスト信号により確認する技術が知られている。しかし、この技術では、会議前の確認と調整が必要となるため、会議を速やかに開始することができないという問題がある。

一方、特許文献１には、会議中に自拠点で撮像した映像に受信中の他拠点の映像を合成して互いに送信したりすることで、自拠点の映像が他拠点に適切に届いているかを確認できるようにするシステムが開示されている。このシステムでは、他拠点で表示されている自拠点の映像の状況を会議中に確認することができる。

しかし、特許文献１に記載の技術では、他拠点から受信したデータを何らかの形で他拠点に送り返す必要があるため、データを相互に送受信する拠点の数が増えると、他拠点とのコミュニケーションを実施する際に使用するネットワーク帯域が増加してしまう不都合がある。このため、より簡便な方法で端末の通信状態を把握できる仕組みが求められている。

上述した課題を解決するため、本発明は、映像および音声を送信する複数の端末とサーバとが通信可能に設けられた通信システムに用いられる端末であって、前記複数の端末のうちいずれかの端末と前記サーバとの間で異常が発生していることを特定する判定手段と、前記複数の端末から送信された映像を、表示画面に表示出力する表示制御手段と、前記複数の端末から送信された音声を出力する音声出力手段と、を有し、前記判定手段は、他の端末から受信した映像および／または音声を、前記表示制御手段および／または前記音声出力手段に出力した最終出力時刻からの経過時間に基づき、前記異常が発生しているか否かを判定し、前記表示制御手段は、前記判定手段で異常が発生していると特定された端末が識別可能となるように前記表示画面を表示出力する。

本発明によれば、端末の通信状態を簡便に把握することができるという効果を奏する。

図１は、実施形態のテレビ会議システムの概略構成図である。 図２は、端末のハードウェア構成の一例を示すブロック図である。 図３は、中継サーバのハードウェア構成の一例を示すブロック図である。 図４は、端末の機能的な構成例を示すブロック図である。 図５は、出力状態管理テーブルの一例を示す図である。 図６は、中継サーバの機能的な構成例を示すブロック図である。 図７は、全出力状態管理テーブルの一例を示す図である。 図８は、管理サーバの機能的な構成例を示すブロック図である。 図９は、端末認証管理テーブルの一例を示す図である。 図１０は、端末管理テーブルの一例を示す図である。 図１１は、宛先リスト管理テーブルの一例を示す図である。 図１２は、セッション管理テーブルの一例を示す図である。 図１３は、準備段階動作の一例を示すシーケンス図である。 図１４は、会議参加動作の一例を示すシーケンス図である。 図１５は、端末間のデータ送受信動作の一例を示すシーケンス図である。 図１６は、出力状態判定部および通知部による処理手順の一例を示すフローチャートである。 図１７は、出力異常通知および出力異常回復通知を含む動作の一例を示すシーケンス図である。 図１８は、出力状態情報の表示例を示す図である。 図１９は、出力状態の一覧を取得して表示する動作の一例を示すシーケンス図である。 図２０は、出力状態情報の表示例を示す図である。

以下に添付図面を参照して、この発明に係る端末および表示方法の実施形態を詳細に説明する。以下では、本発明を適用した通信システムの一例として、複数のテレビ会議端末（「端末」に相当）間で映像データおよび音声データを送受信して複数拠点での遠隔会議を実現するテレビ会議システム（「ビデオ会議システム」ともいう。）を例示する。ただし、本発明が適用可能な通信システムはこの例に限らない。本発明は、複数の端末間でデータを送受信する各種の通信システムで用いられる各種の端末に対して、広く適用可能である。

図１は、本実施形態のテレビ会議システム１の概略構成図である。本実施形態のテレビ会議システム１は、図１に示すように、各拠点に設置された複数のテレビ会議端末（以下、単に「端末」という。）１０およびディスプレイ２０と、中継サーバ３０と、管理サーバ４０と、プログラム提供サーバ５０と、を備える。

端末１０は、テレビ会議システム１を利用して他の端末１０との間でのデータの送受信や受信したデータの出力などを行う。ここで扱われるデータとしては、例えば、テレビ会議の各拠点を映した映像データや拠点間で共有されるＰＣ（パーソナルコンピュータ）の画面データなど（以下、これらを総称して「画像データ」という。）、各拠点で収録された音声データなどが挙げられる。なお、端末１０は、テレビ会議システム１に専用の専用端末であってもよいし、ＰＣやスマートフォン、タブレット端末などの汎用端末であってもよい。これらの汎用端末は、後述の端末用プログラムをインストールすることによって、アプリケーションの一つとして端末１０の機能を実現する。

ディスプレイ２０は、有線または無線により端末１０に接続されている。なお、ディスプレイ２０は、端末１０と一体化された構成であってもよい。

端末１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）内のルータに接続される。ルータは、データ伝送の経路選択を行うネットワーク機器であり、図１に示す例では、ＬＡＮ２ａ内のルータ６０ａと、ＬＡＮ２ｂ内のルータ６０ｂと、ＬＡＮ２ｃ内のルータ６０ｃと、ＬＡＮ２ｄ内のルータ６０ｄと、ルータ６０ａおよびルータ６０ｂと専用回線２ｅで接続されてインターネット２ｉに繋がるルータ６０ｅと、ルータ６０ｃおよびルータ６０ｄと専用回線２ｆで接続されてインターネット２ｉに繋がるルータ６０ｆとを例示している。

なお、ＬＡＮ２ａおよびＬＡＮ２ｂは地域Ｘ内の別の場所に構築され、ＬＡＮ２ｃおよびＬＡＮ２ｄは地域Ｙ内の別の場所に構築されていることを想定している。例えば、地域Ｘは日本、地域Ｙはアメリカ合衆国であり、ＬＡＮ２ａは東京の事業所内で構築され、ＬＡＮ２ｂは大阪の事業所内で構築され、ＬＡＮ２ｃはニューヨークの事業所内で構築され、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用回線２ｅ、インターネット２ｉ、専用回線２ｆ、ＬＡＮ２ｃ、およびＬＡＮ２ｄによって、通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線による通信が行われる箇所が含まれていてもよい。

本実施形態のテレビ会議システム１では、複数の端末１０間で中継サーバ３０を介した画像データおよび音声データの送受信を行う。この際、複数の端末１０間には、管理サーバ４０を介して、各種の管理情報を送受信するための管理情報用セッションＳｅｉが確立される。また、複数の端末１０間には、中継サーバ３０を介して、映像データおよび音声データの送受信を行うためのデータ用セッションＳｅｄが確立される。

中継サーバ３０は、複数の端末１０間における画像データや音声データの伝送を中継するコンピュータである。なお、データ伝送の形式は任意である。例えば、画像データの伝送はＨ．２６４／ＳＶＣの形式で行ってもよいし、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣ、Ｈ．２６５などの他の形式で行ってもよい。

管理サーバ４０は、本実施形態のテレビ会議システム１の全体を管理するコンピュータである。例えば、管理サーバ４０は、各端末１０の認証管理や状態管理、セッション管理などを行う。本実施形態では、各端末１０に対し、固有の識別情報である端末ＩＤが付与される。なお、端末ＩＤは必ずしも端末固有の識別情報である必要はなく、通信先の端末１０を特定するために使用される識別情報であればよい。例えば、ユーザが端末に対して入力した識別情報であってもよい。また、中継サーバ３０に対し、固有の識別情報である中継サーバＩＤが付与される。また、端末１０間でデータの送受信を行うためのデータ用セッションＳｅｄに対してセッションＩＤが付与され、データ用セッションＳｅｄで送受信されるデータのそれぞれに対してデータＩＤが付与される。管理サーバ４０は、これらのＩＤ（識別情報）を用いて、上述した各種の管理を行う。

プログラム提供サーバ５０は、各種のプログラムを端末１０、中継サーバ３０、管理サーバ４０などに提供するコンピュータである。例えば、プログラム提供サーバ５０は、端末１０に各種機能を実現させるための端末用プログラムを格納しており、この端末用プログラムを端末１０に送信することができる。また、プログラム提供サーバ５０は、中継サーバ３０に各種機能を実現させるための中継サーバ用プログラムを格納しており、この中継サーバ用プログラムを中継サーバ３０に送信することができる。また、プログラム提供サーバ５０は、管理サーバ４０に各種機能を実現させるための管理サーバ用プログラムを格納しており、この管理サーバ用プログラムを管理サーバ４０に送信することができる。

次に、本実施形態のテレビ会議システム１における端末１０、中継サーバ３０および管理サーバ４０のハードウェア構成について説明する。図２は、端末１０のハードウェア構成の一例を示し、図３は、中継サーバ３０のハードウェア構成の一例を示している。なお、管理サーバ４０は中継サーバ３０と同様のハードウェア構成を採用できるため、図示を省略する。

端末１０は、図２に示すように、端末１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）などのＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、端末用プログラム、画像データや音声データなどの各種データを記憶するフラッシュメモリ１０４、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しや書き込みを制御するＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０５、フラッシュメモリなどの記録メディア１０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ１０７、通信相手となる他の端末１０を選択する場合などに操作される操作ボタン１０８、端末１０の電源のオン／オフを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１１を備えている。

また、端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５、ＣＰＵ１０１の制御に従ってマイク１１４およびスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６、ＣＰＵ１０１の制御に従ってディスプレイ２０に表示する画像データを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９、および上記各構成要素を電気的に接続するためのアドレスバスやデータバスなどのバスライン１１０を備えている。

なお、カメラ１１２、マイク１１４、スピーカ１１５は、必ずしも端末１０に内蔵されている必要はなく、外付けされる構成であってもよい。また、ディスプレイ２０は、端末１０に内蔵された構成であってもよい。また、ディスプレイ２０は、液晶パネルなどの表示装置を想定するが、これに限らず、プロジェクタ等の投影装置であってもよい。図２に示す端末１０のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。

上述したプログラム提供サーバ５０から提供される端末用プログラムは、例えばフラッシュメモリ１０４に格納され、ＣＰＵ１０１の制御によりＲＡＭ１０３上に読み出されて実行される。なお、端末用プログラムを格納するメモリは不揮発性メモリであればよく、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などを用いてもよい。また、端末用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディア１０６などの記録媒体に記録されて提供されるようにしてもよい。また、端末用プログラムは、ＲＯＭ１０２などに予め格納された組み込みプログラムとして提供されるようにしてもよい。

中継サーバ３０は、図３に示すように、中継サーバ３０全体の動作を制御するＣＰＵ２０１、ＩＰＬなどのＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、中継サーバ用プログラムなどの各種データを記憶するＨＤ（Ｈａｒｄ Ｄｉｓｋ）２０４、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出しまたは書き込みを制御するＨＤＤ（ＨＤ Ｄｒｉｖｅ）２０５、フラッシュメモリなどの記録メディア２０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ２０７、各種情報を表示するディスプレイ２０８、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、キーボード２１１、マウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１３に対する各種データの読み出しまたは書き込みを制御するＣＤ−ＲＯＭドライブ２１４、および上記各構成要素を電気的に接続するためのアドレスバスやデータバスなどのバスライン２１０を備えている。

上述したプログラム提供サーバ５０から提供される中継サーバ用プログラムは、例えばＨＤ２０４に格納され、ＣＰＵ２０１の制御によりＲＡＭ２０３上に読み出されて実行される。また、中継サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、中継サーバ用プログラムは、ＲＯＭ２０２などに予め格納された組み込みプログラムとして提供されるようにしてもよい。

管理サーバ４０は、図３に示した中継サーバ３０と同様のハードウェア構成を採用できる。ただし、ＨＤ２０４には、プログラム提供サーバ５０から提供される管理サーバ用プログラムが記録されている。この場合も、管理サーバ用プログラムは、インストール可能な形式または実行可能な形式のファイルによって、記録メディア２０６やＣＤ−ＲＯＭ２１３などのコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、管理サーバ用プログラムは、ＲＯＭ２０２などに予め格納された組み込みプログラムとして提供されるようにしてもよい。

なお、着脱可能な記録媒体の他の例としては、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ブルーレイディスクなどのコンピュータで読み取り可能な記録媒体が挙げられる。上述した各種のプログラムは、これらの記録媒体に記録されて提供されるようにしてもよい。

次に、端末１０の機能構成について説明する。図４は、端末１０の機能的な構成例を示すブロック図であり、図５は、端末１０が保持する出力状態管理テーブルの一例を示す図である。

端末１０は、図４に示すように、送受信部１１、操作入力受付部１２、ログイン要求部１３、画像入力部１４、音声入力部１５、表示制御部１６、音声出力部１７、記憶・読出処理部１８、出力状態判定部２１、通知部２２および状態表示処理部２３を有している。これら各部は、例えば、図２に示したフラッシュメモリ１０４からＲＡＭ１０３上に展開された端末用プログラムをＣＰＵ１０１が実行することにより実現される機能である。また、端末１０は、例えば、図２に示したＲＡＭ１０３およびフラッシュメモリ１０４によって構成される記憶部１０００を有している。

記憶部１０００には、端末１０を識別するための端末ＩＤおよびパスワードなどが記憶されている。また、記憶部１０００は、他の端末１０とテレビ会議を行う際に受信される画像データおよび音声データの受信バッファとしても用いられる。

さらに、記憶部１０００には、図５に示すような出力状態管理テーブルを有する出力状態管理ＤＢ１１００が構築されている。出力状態管理表では、端末１０が現在参加している会議において、他の端末１０との間で共有しているデータの一覧が管理される。例えば、出力状態管理表では、他の端末１０との間で共有しているそれぞれのデータに対し、そのデータを識別するためのデータＩＤ、最終出力時刻および現在の出力状態がそれぞれ関連付けられて管理されている。

最終出力時刻は、端末１０が当該データを最後に出力した時刻である。例えば、画像データであれば表示制御部１６がディスプレイ２０のテレビ会議画面に表示させるための処理を最後に行った時刻、音声データであれば音声出力部１７がスピーカ１１５から音声を再生出力させるための処理を最後に行った時刻を最終出力時刻とする。なお、時刻は端末１０内でカウントしているシステム時刻を用いればよい。

現在の出力状態は、端末１０による当該データの現在の出力状態を示している。出力状態は、端末１０が該当データについて正常に出力処理ができている（出力正常）か、出力しようとしているが何らかの原因で正しく出力処理が行えていない異常な状態（出力異常）であるか、端末１０が該当データを出力しないことを選択している（出力停止）か、を表す。なお、ここでの正常とは、当該データの出力が滞っていない状態をいい、異常とは、当該データの出力が一定時間以上滞っている状態をいう。

送受信部１１は、通信ネットワーク２を介して、中継サーバ３０や管理サーバ４０との間で各種データの送受信を行う。送受信部１１は、例えば、図２に示したネットワークＩ／Ｆ１１１およびＣＰＵ１０１によって実現される。

操作入力受付部１２は、端末１０を使用するユーザによる各種の入力操作を受け付ける。操作入力受付部１２は、例えば、図２に示した操作ボタン１０８、電源スイッチ１０９およびＣＰＵ１０１によって実現される。

ログイン要求部１３は、電源スイッチ１０９のオン操作を契機として、送受信部１１から通信ネットワーク２を介して管理サーバ４０に対し、ログイン要求情報および自端末のＩＰアドレスを送信する。ログイン要求部１３は、例えば、図２に示したＣＰＵ１０１によって実現される。

画像入力部１４は、カメラ１１２により撮像された自拠点の映像データや、他の端末１０と共有するＰＣの画面データなどの画像データを入力する。画像入力部１４は、例えば、図２に示した撮像素子Ｉ／Ｆ１１３、外部機器接続Ｉ／Ｆ１１８およびＣＰＵ１０１によって実現される。

音声入力部１５は、マイク１１４により取得された自拠点の音声データを入力する。音声入力部１５は、例えば、図２に示した音声入出力Ｉ／Ｆ１１６およびＣＰＵ１０１によって実現される。

表示制御部１６は、送受信部１１により受信された画像データを１つのテレビ会議画面として表示させるための描画処理などを行い、処理した画像データをディスプレイ２０に受け渡すことにより、ディスプレイ２０にテレビ会議画面を表示させる。また、表示制御部１６は、後述の状態表示処理部２３から出力状態情報の表示要求があった場合は、この出力状態情報をディスプレイ２０に表示させる制御を行う。表示制御部１６は、例えば、図２に示したＣＰＵ１０１およびディスプレイＩ／Ｆ１１７によって実現される。

また、表示制御部１６は、時刻管理部１６ａの機能を有する。時刻管理部１６ａは、送受信部１１により受信された画像データのそれぞれについて、ディスプレイ２０に表示させるための処理を行うたびに、そのときの時刻（システム時刻）を最終出力時刻として上述した出力状態管理テーブルに書き込む処理を行う。

音声出力部１７は、送受信部１１により受信された音声データをスピーカ１１５から再生出力させる処理を行う。音声出力部１７は、例えば、図２に示した音声入出力Ｉ／Ｆ１１６およびＣＰＵ１０１によって実現される。

また、音声出力部１７は、時刻管理部１７ａの機能を有する。時刻管理部１７ａは、送受信部１１により受信された音声データのそれぞれについて、スピーカ１１５から再生出力させる処理を行うたびに、そのときの時刻（システム時刻）を最終出力時刻として上述した出力状態管理テーブルに書き込む処理を行う。

記憶・読出処理部１８は、記憶部１０００に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部１８は、例えば、図２に示したＳＳＤ１０５およびＣＰＵ１０１によって実現される。

出力状態判定部２１は、当該端末１０が出力中の画像データおよび音声データのそれぞれについて、上述した出力状態管理テーブルの最終出力時刻を確認して、出力状態の判定を行う。また、通知部２２は、出力状態判定部２１によって判定された出力状態を中継サーバ３０に通知する処理を行う。例えば、通知部２２は、出力状態判定部２１によって出力異常の状態にあるデータが検出された場合に、その旨を中継サーバ３０に通知する処理を行う。また、通知部２２は、出力状態判定部２１によって出力異常の状態から出力正常の状態に回復したデータが検出された場合に、その旨を中継サーバ３０に通知する処理を行う。なお、出力状態判定部２１および通知部２２の処理の具体例については、詳細を後述する。出力状態判定部２１は、例えば、図２に示したＣＰＵ１０１によって実現される。通知部２２は、例えば、図２に示したネットワークＩ／Ｆ１１１およびＣＰＵ１０１によって実現される。

状態表示処理部２３は、当該端末１０が他の端末１０に送信しているデータの他の端末１０における出力状態を表す出力状態情報をディスプレイ２０に表示させるための処理を行う。例えば、状態表示処理部２３は、他の端末１０で画像データや音声データが出力異常の状態にあることを示す出力異常通知を受け取った場合に、他の端末１０で出力異常があることを示す出力状態情報を生成する。また、状態表示処理部２３は、他の端末１０で出力異常の状態にあった画像データや音声データが正常状態に回復したことを示す出力異常回復通知を受け取った場合に、他の端末１０での出力異常が回復したことを示す出力状態情報を生成する。そして、状態表示処理部２３は、これらの出力状態情報を表示制御部１６に渡して出力状態情報の表示要求を行い、例えばテレビ会議画面上のポップアップ画面として出力状態情報をディスプレイ２０に表示させる（図１８参照）。

また、状態表示処理部２３は、例えばユーザによる操作ボタン１０８の操作などに応じて、当該端末１０が他の端末１０に送信している各データの他の端末１０における出力状態の一覧を要求する。そして、その要求に応じて中継サーバ３０から管理サーバ４０を介して提供された出力状態の一覧を受け取ると、状態表示処理部２３は、そのデータを用いてテレビ会議に参加している各拠点の端末１０における出力状態の一覧を示す出力状態情報を生成する。そして、状態表示処理部２３は、この出力状態情報を表示制御部１６に渡して出力状態情報の表示要求を行い、この出力状態情報を参加拠点一覧画面としてディスプレイ２０に表示させる（図２０参照）。

次に、中継サーバ３０の機能構成について説明する。図６は、中継サーバ３０の機能的な構成例を示すブロック図であり、図７は、中継サーバ３０が保持する全出力状態管理テーブルの一例を示す図である。

中継サーバ３０は、図６に示すように、送受信部３１、記憶・読出処理部３２および出力状態管理部３３を有している。これら各部は、例えば、図３に示したＨＤ２０４からＲＡＭ２０３上に展開された中継サーバ用プログラムをＣＰＵ２０１が実行することにより実現される機能である。また、中継サーバ３０は、例えば、図３に示したＨＤ２０４によって構成される記憶部３０００を有している。

記憶部３０００には、図７に示すような全出力状態管理テーブルを有する全出力状態管理ＤＢ３１００が構築されている。全出力状態管理表では、当該中継サーバ３０が中継しているすべてのデータの出力状態の一覧が管理される。例えば、全出力状態管理表では、当該中継サーバ３０が中継しているそれぞれのデータに対し、そのデータを識別するためのデータＩＤと、そのデータが出力異常の状態となっている端末１０（出力異常端末）のＩＰアドレスとが関連付けられて管理されている。

送受信部３１は、通信ネットワーク２を介して、各端末１０や管理サーバ４０との間で各種データの送受信を行う。送受信部３１は、例えば、図３に示したネットワークＩ／Ｆ２０９およびＣＰＵ２０１によって実現される。

記憶・読出処理部３２は、記憶部３０００に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部３２は、例えば、図３に示したＨＤＤ２０５およびＣＰＵ２０１によって実現される。

出力状態管理部３３は、上述した全出力状態管理表を用いて、当該中継サーバ３０が中継しているすべてのデータの出力状態を管理する。具体的には、出力状態管理部３３は、各端末１０からあるデータが出力異常の状態にある旨の通知（出力異常通知）を受けたり、あるデータが出力異常の状態から出力正常の状態に回復した旨の通知（出力異常回復通知）を受けたりした際に、受け取った通知に従って上述した全出力状態管理表の修正を行い、現在どの端末１０においてどのデータの出力に異常が発生しているのかを管理する。

また、出力状態管理部３３は、端末１０から出力異常通知を受けた際に、出力異常の状態にあるデータの送信元の端末１０に出力状態情報の表示処理を行わせるべく、送信元の端末１０のＩＰアドレスを付加した出力異常通知を管理サーバ４０に通知する。また、出力状態管理部３３は、端末１０から出力状態一覧要求を受けた際に、その端末１０に出力状態情報の表示処理を行わせるべく、上述した全出力状態管理表を用いて出力状態一覧を作成し、出力状態一覧要求を行った端末１０のＩＰアドレスを付加して管理サーバ４０に渡す。

次に、管理サーバ４０の機能構成について説明する。図８は、管理サーバ４０の機能的な構成例を示すブロック図である。また、図９〜図１２はそれぞれ、管理サーバ４０が保持する端末認証管理テーブル、端末管理テーブル、宛先リスト管理テーブル、セッション管理テーブルの一例を示す図である。

管理サーバ４０は、図８に示すように、送受信部４１、端末認証部４２、状態管理部４３、端末抽出部４４、端末状態取得部４５、セッション管理部４６および記憶・読出処理部４７を有している。これら各部は、例えば、図３に示したＨＤ２０４からＲＡＭ２０３上に展開された管理サーバ用プログラムをＣＰＵ２０１が実行することにより実現される機能である。また、管理サーバ４０は、例えば、図３に示したＨＤ２０４によって構成される記憶部４０００を有している。

記憶部４０００には、図９に示すような端末認証管理テーブルを有する端末認証管理ＤＢ４１００が構築されている。端末認証管理テーブルでは、管理サーバ４０によって管理されるすべての端末１０の端末ＩＤに対して、パスワードが関連付けられて管理される。例えば、図９に示した端末認証管理テーブルは、端末ＩＤが「０１ａａ」の端末１０のパスワードが「ａａａａ」であることを示している。

また、記憶部４０００には、図１０に示すような端末管理テーブルを有する端末管理ＤＢ４２００が構築されている。端末管理テーブルでは、各端末１０の端末ＩＤごとに、各端末１０の表示名（以下、「端末名」という。）と、各端末１０の稼動状態と、テレビ会議システム１にログインするためのログイン要求情報が管理サーバ４０で受信された受信日時と、端末１０のＩＰアドレスとが関連付けられて管理されている。

例えば、図１０に示した端末管理テーブルは、端末ＩＤが「０１ａａ」の端末１０は、端末名が「日本 東京事業所 ＡＡ端末」であり、稼動状態が「オンライン（伝送可能）」で、管理サーバ４０でログイン要求情報が受信された日時が「２００９年１１月１０日の１３時４０分」であり、ＩＰアドレスが「１．２．１．３」であることを表している。

ここで、端末管理テーブルの端末ＩＤは、例えば、端末１０がテレビ会議システム１に登録されるときに、ユニークに割り当てられる。また、端末名は、管理サーバ４０の管理者によって登録または変更される。なお、端末名は、端末１０から管理サーバ４０に対してなされる要求に応じて、登録または変更されてもよい。

また、稼動状態が「オンライン（伝送可能）」とは、端末１０がテレビ会議システム１にログインした状態で、テレビ会議には参加していない状態であることを表し、「オンライン（伝送中）」とは、端末１０がテレビ会議システム１にログインした状態で、テレビ会議に参加している状態であることを表し、稼動状態が「オフライン」とは、端末１０がテレビ会議システム１にログインしていない状態であることを表す。

また、記憶部４０００には、図１１に示すような宛先リスト管理テーブルを有する宛先リスト管理ＤＢ４３００が構築されている。宛先リスト管理テーブルでは、テレビ会議の開始を要求する端末１０（要求元端末）の端末ＩＤに対して、テレビ会議に参加する他の端末１０（宛先端末）の候補として登録されている端末１０の端末ＩＤがすべて関連付けられて管理されている。

例えば、図１１に示した宛先リスト管理テーブルは、端末ＩＤが「０１ａｂ」の端末１０からテレビ会議の開始を要求する場合、宛先端末の候補は、端末ＩＤが「０１ａａ」の端末１０、端末ＩＤが「０１ｃａ」の端末１０、および端末ＩＤが「０１ｃｂ」の端末１０であることが示されている。宛先端末の候補は、端末１０から管理サーバ４０に対してなされる要求に応じて、追加または削除される。

また、記憶部４０００には、図１２に示すようなセッション管理テーブルを有するセッション管理ＤＢ４４００が構築されている。セッション管理テーブルでは、データの送受信を行うデータ用セッションＳｅｄに対して割り当てられたセッションＩＤごとに、データの中継に使用される中継サーバ３０を識別する中継サーバＩＤ、要求元端末の端末ＩＤ、宛先端末の端末ＩＤ、そのデータ用セッションＳｅｄで送受信されるデータを識別するデータＩＤが関連付けられて管理される。

例えば、図１２に示したセッション管理テーブルは、セッションＩＤが「ｓｅ１」のデータ用セッションＳｅｄでは、端末ＩＤが「０１ａａ」の要求元端末と端末ＩＤが「０１ｄｂ」の宛先端末との間で、中継サーバＩＤが「１１１ａ」の中継サーバ３０を介して、データＩＤが「ＲＳ１００」のデータとデータＩＤが「ＲＳ１０１」のデータとが送受信されることを示している。

送受信部４１は、通信ネットワーク２を介して、各端末１０や中継サーバ３０との間で各種データの送受信を行う。送受信部４１は、例えば、図３に示したネットワークＩ／Ｆ２０９およびＣＰＵ２０１によって実現される。

端末認証部４２は、送受信部４１を介して受信した端末１０からのログイン要求情報に含まれている端末ＩＤおよびパスワードを検索キーとして、記憶部４０００の端末認証管理ＤＢ４１００を検索し、端末認証管理ＤＢ４１００に同一の端末ＩＤおよびパスワードが管理されているかを判断することによって端末認証を行う。端末認証部４２は、例えば、図３に示したＣＰＵ２０１によって実現される。

状態管理部４３は、ログイン要求情報の送信元の端末１０の稼動状態を管理すべく、記憶部４０００の端末管理ＤＢ４２００に対し、当該端末１０の端末ＩＤに関連付けて、稼動状態、管理サーバ４０でログイン要求情報が受信された受信日時およびＩＰアドレスを格納する。また、状態管理部４３は、端末１０の電源スイッチ１０９の状態がオンからオフに切り替えられることによって端末１０から送られてきた電源オフの状態情報に基づいて、端末管理ＤＢ４２００における当該端末１０の稼動状態をオンラインからオフラインに変更する。状態管理部４３は、例えば、図３に示したＣＰＵ２０１によって実現される。

端末抽出部４４は、ログイン要求情報の送信元の端末１０の端末ＩＤを検索キーとして、記憶部４０００の宛先リスト管理ＤＢ４３００を検索し、当該端末１０が要求元端末となる場合に宛先端末の候補となる端末１０の端末ＩＤを抽出する。また、端末抽出部４４は、ログイン要求情報の送信元の端末１０の端末ＩＤを検索キーとして宛先リスト管理ＤＢ４３００を検索し、当該端末１０の端末ＩＤを宛先端末の候補として登録している他の端末１０の端末ＩＤも抽出する。端末抽出部４４は、例えば、図３に示したＣＰＵ２０１によって実現される。

端末状態取得部４５は、端末抽出部４４によって抽出された端末ＩＤを検索キーとして、記憶部４０００の端末管理ＤＢ４２００を検索し、検出された端末ＩＤごとに稼動状態を読み出す。これにより、端末状態取得部４５は、ログイン要求情報の送信元の端末１０に対して宛先端末の候補となるすべての端末１０の稼動状態を取得することができる。また、端末状態取得部４５は、ログイン要求情報の送信元の端末１０の端末ＩＤを検索キーとして端末管理ＤＢ４２００を検索し、当該端末１０の稼動状態も取得する。端末状態取得部４５は、例えば、図３に示したＣＰＵ２０１によって実現される。

セッション管理部４６は、端末１０間で中継サーバ３０を介したデータ用セッションＳｅｄを確立する際に、このデータ用セッションＳｅｄに対してセッションＩＤを割り当てる。また、セッション管理部４６は、記憶部４０００のセッション管理ＤＢ４４００に対し、このセッションＩＤに関連付けて、要求元端末の端末ＩＤ、宛先端末の端末ＩＤ、送受信されるデータのデータＩＤを格納する。セッション管理部４６は、例えば、図３に示したＣＰＵ２０１によって実現される。

次に、本実施形態に係るテレビ会議システム１の動作について説明する。図１３は、端末１０がテレビ会議に参加する準備状態になるまでの準備段階動作の一例を示すシーケンス図である。なお、図１３は、端末１０ａａを要求元端末、端末１０ｂａおよび端末１０ｄｂを宛先端末とし、要求元端末である端末１０ａａが準備状態になる例を示している。この準備段階動作においては、端末１０ａａ，１０ｂａ，１０ｄｂと管理サーバ４０との間の管理情報用セッションＳｅｉで各種情報が送受信される。

まず、端末１０ａａの電源スイッチ１０９の操作に応じて、端末１０ａａの電源がＯＮになる（ステップＳ１１）。そして、端末１０ａａのログイン要求部１３が、電源がオンされたことを契機とし、送受信部１１から通信ネットワーク２を介して管理サーバ４０にログイン要求を表すログイン要求情報を送信する（ステップＳ１２）。なお、ログイン要求情報を送信するタイミングは、端末１０のユーザの指示入力を契機としてもよい。

ログイン要求情報には、要求元端末である端末１０ａａの端末ＩＤおよびパスワードが含まれている。これら端末ＩＤおよびパスワードは、記憶・読出処理部１８によって記憶部１０００から読み出される。端末ＩＤおよびパスワードは、端末１０に接続された例えばＳＩＭカード（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）などの外部記録媒体から読み出された情報であってもよい。なお、端末１０ａａから送信されたログイン要求情報が管理サーバ４０に受信されたときに、管理サーバ４０は、送信側である端末１０ａａのＩＰアドレスを把握することができる。

次に、管理サーバ４０の端末認証部４２は、送受信部４１を介して受信したログイン要求情報に含まれている端末ＩＤおよびパスワードを検索キーとして、記憶部４０００の端末認証管理ＤＢ４１００を検索し、端末認証管理ＤＢ４１００に検索キーと同一の端末ＩＤおよびパスワードが管理されているかを判断することによって端末認証を行う（ステップＳ１３）。

ここで、端末認証部４２によって、検索キーと同一の端末ＩＤおよびパスワードが管理されていないと判断された場合、すなわち、正当な利用権限を有する端末１０からのログイン要求でないと判断された場合には、送受信部４１は、端末認証部４２によって得られた認証結果を表す認証結果情報をログイン要求してきた端末１０ａａに通信ネットワーク２を介して送信し、準備段階の動作は終了することとなる。

一方、端末認証部４２によって、検索キーと同一の端末ＩＤおよびパスワードが管理されていると判断された場合、すなわち、正当な利用権限を有する端末１０からのログイン要求であると判断された場合には、状態管理部４３が、端末管理ＤＢ４２００に、端末１０ａａの端末ＩＤ、稼動状態、ログイン要求情報が受信された受信日時および端末１０ａａのＩＰアドレスを関連付けて記憶する（ステップＳ１４）。

次に、管理サーバ４０の送受信部４１は、端末認証部４２によって得られた認証結果を表す認証結果情報をログイン要求してきた端末１０ａａに通信ネットワーク２を介して送信する（ステップＳ１５）。

次に、管理サーバ４０の端末抽出部４４は、ログイン要求してきた端末１０ａａの端末ＩＤを検索キーとして、宛先リスト管理ＤＢ４３００を検索し、端末１０ａａに対する宛先端末の候補の端末ＩＤを抽出する（ステップＳ１６）。

次に、管理サーバ４０の端末状態取得部４５は、端末抽出部４４によって抽出された宛先端末の候補の端末ＩＤを検索キーとして、端末管理ＤＢ４２００を検索し、端末抽出部４４によって抽出された端末ＩＤごとに稼動状態「オフライン」、「オンライン（伝送可能）」、「オンライン（伝送中）」を読み出すことにより、宛先端末の候補となる各端末１０の各稼動状態を取得する（ステップＳ１７）。

次に、管理サーバ４０の送受信部４１は、ステップＳ１７で検索キーとして使用された端末ＩＤと、それぞれに対応する各端末１０の稼動状態「オフライン」、「オンライン（伝送可能）」、「オンライン（伝送中）」とが含まれた宛先状態情報を、通信ネットワーク２を介して端末１０ａａに送信する（ステップＳ１８）。これにより、端末１０ａａは、宛先端末の候補である各端末１０の現時点のそれぞれの稼動状態「オフライン」、「オンライン（伝送可能）」、「オンライン（伝送中）」を把握することができる。

また、管理サーバ４０の端末抽出部４４は、ログイン要求してきた端末１０ａａの端末ＩＤを検索キーとして、宛先リスト管理ＤＢ４３００を検索し、端末１０ａａの端末ＩＤを宛先端末の候補として登録している他の端末１０の端末ＩＤを抽出する（ステップＳ１９）。

次に、管理サーバ４０の状態管理部４３は、ログイン要求して来た端末１０ａａの端末ＩＤを検索キーとして、端末管理ＤＢ４２００を検索し、ログイン要求してきた端末１０ａａの稼動状態「オンライン（伝送可能）」を取得する（ステップＳ２０）。

次に、管理サーバ４０の送受信部４１は、ステップＳ１９で抽出された端末ＩＤで識別される各端末１０のうち、端末管理ＤＢ４２００で稼動状態が「オンライン」となっている端末（ここでは端末１０ｂａ，１０ｄｂ）に、ステップＳ２０で取得された端末１０ａａの端末ＩＤと稼動状態「オンライン（伝送可能）」とが含まれる宛先状態情報を送信する（ステップＳ２１−１、ステップＳ２１−２）。なお、端末１０ｂａ，１０ｄｂに宛先状態情報を送信するときには、送受信部４１は、端末１０ｂａ，１０ｄｂの端末ＩＤに基づいて、図１０に示した端末管理テーブルで管理されている端末のＩＰアドレスを参照する。

以上の準備段階動作により、ログイン要求してきた端末１０ａａとの間でデータの送受信が可能な端末１０ｂａ，１０ｄｂに対し、ログイン要求してきた端末１０ａａの端末ＩＤおよび稼動状態「オンライン（伝送可能）」を伝えることができる。また、準備段階動作のステップＳ１８が完了したときに、端末１０ａａの表示制御部１６は、ディスプレイ２０に表示させた宛先リストの情報から、テレビ会議に参加中の端末、すなわち、稼動状態が「オンライン（伝送中）」や「オンライン（伝送可能）」である端末の情報をディスプレイ２０に強調表示させるなどして、テレビ会議に参加している端末１０または参加可能な端末１０をユーザに認識させることができる。

図１４は、端末１０がテレビ会議に参加する参加状態になるまでの会議参加動作の一例を示すシーケンス図である。なお、図１４は、端末１０ａａが端末１０ｄｂとのテレビ会議に参加する例を示している。この会議参加動作においては、端末１０ａａ，１０ｄｂと管理サーバ４０との間の管理情報用セッションＳｅｉで各種情報が送受信される。

まず、端末１０ａａのユーザが操作ボタン１０８を操作してテレビ会議の参加を選択すると、端末１０ａａの操作入力受付部１２は、端末１０ｄｂとテレビ会議を参加する旨の要求を受け付ける（ステップＳ３１）。この要求に応じて、端末１０ａａの送受信部１１は、端末１０ａａの端末ＩＤおよび端末１０ｄｂの端末ＩＤが含まれ、テレビ会議に参加する旨を表す参加要求情報を管理サーバ４０に送信する（ステップＳ３２）。これにより、管理サーバ４０の送受信部４１は、参加要求情報を受信するとともに、送信元である端末１０ａａのＩＰアドレスを確認することができる。

次に、管理サーバ４０の状態管理部４３は、参加要求情報に含まれる端末１０ａａの端末ＩＤを検索キーとして、端末管理ＤＢ４２００を検索し、参加要求してきた端末１０ａａの稼動状態を「オンライン（伝送中）」に設定する（ステップＳ３３）。

次に、管理サーバ４０のセッション管理部４６は、端末１０ａａと端末１０ｄｂとの間でデータの送受信を行うためのデータ用セッションＳｅｄを識別するためのセッションＩＤを生成する（ステップＳ３４）。そして、セッション管理部４６は、セッション管理ＤＢ４４００に、ステップＳ３４で生成したセッションＩＤ、使用する中継サーバ３０の中継サーバＩＤ、端末１０ａａ，１０ｄｂの端末ＩＤ、送受信するデータを識別するためのデータＩＤを関連付けて記憶する（ステップＳ３５）。

次に、管理サーバ４０の送受信部４１は、端末１０ａａの端末ＩＤを含む開始要求情報を端末１０ｄｂに通信ネットワーク２を介して送信する（ステップＳ３６）。これにより、端末１０ｄｂは、どの端末１０からテレビ会議に参加したいとの要求があったのかを把握することができる。管理サーバ４０から開始要求情報を受け取った端末１０ｄｂは、送受信部１１から通信ネットワーク２を介して管理サーバ４０に対し、開始要求情報の受信が完了した旨を示す受信完了情報を送信する（ステップＳ３７）。

次に、管理サーバ４０の送受信部４１は、通信ネットワーク２を介して中継サーバ３０に対し、データの中継を開始する旨の要求を表す中継開始要求情報を送信する（ステップＳ３８）。中継開始要求情報には、端末１０ａａおよび端末１０ｄｂのＩＰアドレスが含まれている。この中継開始要求情報を受けて、中継サーバ３０は、端末１０ａａと端末１０ｄｂとの間でデータを送受信するためのデータ用セッションＳｅｄを確立する（ステップＳ３９）。これにより、端末１０ａａは、端末１０ｄｂとのテレビ会議に参加できるようになる。

また、管理サーバ４０の送受信部４１は、端末１０ａａの端末ＩＤと稼動状態「オンライン（伝送中）」とが含まれる端末状態変更情報を、端末管理ＤＢ４２００に登録されている各端末１０にブロードキャストする（ステップＳ４０）。これにより、端末状態変更情報を受信した各端末１０は、必要に応じて、端末１０ａａの稼動状態を記憶および表示することができる。

図１５は、端末１０間のデータ送受信動作の一例を示すシーケンス図である。なお、図１５は、端末１０ａａと端末１０ｄｂとの間でデータを送受信する例を示している。このデータ送受信動作においては、端末１０ａａと端末１０ｄｂとの間のデータ用セッションＳｅｄで画像データや音声データが送受信される。

図１４を用いて説明したように端末１０ａａと端末１０ｄｂとの間でデータ用セッションＳｅｄが確立すると、端末１０ａａの送受信部１１は、画像入力部１４に入力された画像データと、音声入力部１５に入力された音声データとを、通信ネットワーク２を介して中継サーバ３０に送信する（ステップＳ５１）。

端末１０ａａから画像データおよび音声データを受信した中継サーバ３０は、テレビ会議に参加している各端末（ここでは端末１０ａａ，１０ｄｂ）に、受信した画像データおよび音声データを送信する（ステップＳ５２−１、ステップＳ５２−２）。

中継サーバ３０から画像データおよび音声データを受信した各端末１０ａａ，１０ｄｂは、受信した画像データが表す画像を表示制御部１６によってディスプレイ２０に表示させるとともに、受信した音声データが表す音声を音声出力部１７によってスピーカ１１５から再生出力させる（ステップＳ５３−１、ステップＳ５３−２）。この際、表示制御部１６の時刻管理部１６ａは、画像データをディスプレイ２０に表示させるための処理を行うたびに、そのときの時刻を最終出力時刻として、上述した出力状態管理ＤＢ１１００の出力状態管理テーブル（図５参照）に書き込む処理を行う。また、音声出力部１７の時刻管理部１７ａは、音声データをスピーカ１１５から再生出力させるための処理を行うたびに、そのときの時刻を最終出力時刻として出力状態管理テーブルに書き込む処理を行う。

次に、端末１０ｄｂの送受信部１１は、画像入力部１４に入力された画像データと、音声入力部１５に入力された音声データとを、通信ネットワーク２を介して中継サーバ３０に送信する（ステップＳ５４）。

端末１０ｄｂから画像データおよび音声データを受信した中継サーバ３０は、テレビ会議に参加している各端末（ここでは端末１０ａａ，１０ｄｂ）に、受信した画像データおよび音声データを送信する（ステップＳ５５−１、ステップＳ５５−２）。

中継サーバ３０から画像データおよび音声データを受信した各端末１０ａａ，１０ｄｂは、受信した画像データが表す画像を表示制御部１６によってディスプレイ２０に表示させるとともに、受信した音声データが表す音声を音声出力部１７によってスピーカ１１５から再生出力させる（ステップＳ５６−１、ステップＳ５６−２）。この際、表示制御部１６の時刻管理部１６ａは、画像データをディスプレイ２０に表示させるための処理を行うたびに、そのときの時刻を最終出力時刻として、上述した出力状態管理ＤＢ１１００の出力状態管理テーブル（図５参照）に書き込む処理を行う。また、音声出力部１７の時刻管理部１７ａは、音声データをスピーカ１１５から再生出力させるための処理を行うたびに、そのときの時刻を最終出力時刻として出力状態管理テーブルに書き込む処理を行う。

このように、端末１０ａａ，１０ｄｂは、中継サーバ３０を介して画像データや音声データを送受信することで、テレビ会議を行うことができる。なお、図１５では、説明を簡単にするために、テレビ会議に参加している端末１０を２つの端末１０ａａ，１０ｄｂとしているが、テレビ会議に参加している端末１０が３つ以上であっても画像データおよび音声データは、図１５に示したデータ送受信動作と同様に、端末１０間で送受信される。

次に、端末１０の出力状態判定部２１および通知部２２による処理の具体例について、図１６を参照して説明する。図１６は、出力状態判定部２１および通知部２２による処理手順の一例を示すフローチャートである。

出力状態判定部２１は、上述した出力状態管理ＤＢ１１００の出力状態管理テーブル（図５参照）を参照しながら、端末１０が参加しているテレビ会議において共有されている画像データや音声データのうち、当該端末１０が出力中のデータ（出力状態が「出力停止」でないデータ）それぞれについて出力状態の判定を行い、必要に応じて出力状態管理テーブルの更新を行う。通知部２２は、出力状態に変化があった場合に中継サーバ３０への通知を行う。

図１６に示すように、出力状態判定部２１および通知部２２が実行する処理のルーチンは、第１のループ処理（ステップＳ１００）と、これに続く第２のループ処理（ステップＳ２００）とからなる。出力状態判定部２１および通知部２２は、これら２つのループ処理からなるルーチンを所定のタイミング（例えば５秒間隔）で繰り返し実行する。

第１のループ処理（ステップＳ１００）では、出力状態管理ＤＢ１１００の出力状態管理テーブルで管理されているデータの中から、現在の出力状態が「出力正常」となっているデータ（以下、このようなデータを「データＡ」と表記する。）それぞれについて、以下のステップＳ１０１〜ステップＳ１０４の処理を実行する。

まず、出力状態判定部２１は、出力状態管理テーブルを参照してデータＡの最終出力時刻を調べ、その時刻から現在までの経過時間が閾値Ｔ１を超えているか否かを判定する（ステップＳ１０１）。そして、最終出力時刻からの経過時間が閾値Ｔ１を超えていない場合は（ステップＳ１０１：Ｎｏ）、このデータＡの出力状態は「出力正常」のままであるため、次のデータＡの判定処理（ステップＳ１０１）に移る。

一方、ステップＳ１０１で最終出力時刻からの経過時間が閾値Ｔ１を超えていると判定した場合は（ステップＳ１０１：Ｙｅｓ）、出力状態判定部２１は、出力状態の回復の判定に用いる復帰カウンタを０にクリアし（ステップＳ１０２）、出力状態管理テーブルにおける当該データＡの出力状態を「出力正常」から「出力異常」に変更する（ステップＳ１０３）。そして、通知部２２は、当該データＡの出力状態が「出力異常」となったことを中継サーバ３０に通知する（ステップＳ１０４）。この出力異常通知には、出力状態が「出力異常」となったデータＡのデータＩＤと、当該端末１０のＩＰアドレスとが含まれる。

その後、第１のループ処理（ステップＳ１００）を行っていないデータＡがあれば、ステップＳ１０１に戻って以降の処理を繰り返し、すべてのデータＡに対して第１のループ処理（ステップＳ１００）が終了すると、第２のループ処理（ステップＳ２００）に移行する。

第２のループ処理（ステップＳ２００）では、出力状態管理ＤＢ１１００の出力状態管理テーブルで管理されているデータの中から、現在の出力状態が「出力異常」となっているデータ（以下、このようなデータを「データＢ」と表記する。）それぞれについて、以下のステップＳ２０１〜ステップＳ２０６の処理を実行する。

まず、出力状態判定部２１は、出力状態管理テーブルを参照してデータＢの最終出力時刻を調べ、その時刻から現在までの経過時間が閾値Ｔ２未満であるか否かを判定する（ステップＳ２０１）。このときの閾値Ｔ２は、ステップＳ１０１での判定処理に用いた閾値Ｔ１よりも小さく、データの出力状態が回復したことを確実に判定できる値であることが望ましい。そして、最終出力時刻からの経過時間が閾値Ｔ２未満でない場合は（ステップ２０１：Ｎｏ）、出力状態判定部２１は、復帰カウンタを０にクリアし（ステップＳ２０２）、次のデータＢの判定処理（ステップＳ２０１）に移る。

一方、ステップＳ２０１で最終出力時刻からの経過時間が閾値Ｔ２未満であると判定した場合は（ステップＳ２０１：Ｙｅｓ）、出力状態判定部２１は、復帰カウンタを１増加（インクリメント）させた後（ステップＳ２０３）、復帰カウンタの値が閾値Ｎ以上であるか否かを判定する（ステップＳ２０４）。そして、復帰カウンタの値が閾値Ｎ未満であれば（ステップＳ２０４：Ｎｏ）、出力状態の回復が一時的なものである可能性があるため、次のデータＢの判定処理（ステップＳ２０１）に移る。

一方、ステップＳ２０４で復帰カウンタの値が閾値Ｎ以上であると判定した場合は（ステップＳ２０４：Ｙｅｓ）、出力状態判定部２１は、出力状態管理テーブルにおける当該データＢの出力状態を「出力異常」から「出力正常」に変更する（ステップＳ２０５）。そして、通知部２２は、当該データＢの出力状態が「出力異常」から「出力正常」に回復したことを中継サーバ３０に通知する（ステップＳ２０６）。この出力異常回復通知には、出力状態が「出力正常」に回復したデータＢのデータＩＤと、当該端末１０のＩＰアドレスとが含まれる。

その後、第２のループ処理（ステップＳ２００）を行っていないデータＢがあれば、ステップＳ２０１に戻って以降の処理を繰り返し、すべてのデータＢに対して第２のループ処理（ステップＳ２００）が終了すると、図１６のフローチャートで示す一連の処理が終了となる。

次に、データの出力状態の通知とそれに伴う端末１０、中継サーバ３０および管理サーバ４０の動作について、図１７を参照して説明する。図１７は、出力異常通知および出力異常回復通知を含む動作の一例を示すシーケンス図である。なお、図１７は、端末１０ａａから中継サーバ３０を介して端末１０ｂｄおよび端末１０ｄｃに送信された画像データや音声データに対して、出力状態の通知がなされる例を示している。

テレビ会議に参加している端末１０ａａからの画像データや音声データは、中継サーバ３０を介して、同じテレビ会議に参加している端末１０ｂｄおよび端末１０ｄｃに送信される（ステップＳ６１〜ステップＳ６３）。以降、図１７では図示を省略するが、この端末１０ａａからのデータは、端末１０ｂｄおよび端末１０ｄｃに対して継続して送信されているものとする。端末１０ｂｄおよび端末１０ｄｃでは、この端末１０ａａからのデータに対し、図１６に示したフローに従った出力状態の判定を随時（例えば５秒間隔で）行っている。

ここで、端末１０ｄｂにおいて、端末１０ａａから送信されたデータの出力状態が「出力異常」であることが検出されたものとする。この場合、端末１０ｄｂは、「出力異常」と判定したデータのデータＩＤと自端末のＩＰアドレスとを含む出力異常通知を、中継サーバ３０に送信する（ステップＳ６４）。

中継サーバ３０は、端末１０ｄｂからの出力異常通知を受け取ると、全出力状態管理ＤＢ３１００の全出力状態管理テーブルを出力異常通知に従って更新する（ステップＳ６５）。具体的には、中継サーバ３０は、全出力状態管理テーブルの「出力異常」の状態にあるデータのデータＩＤに対応する「出力異常端末」のフィールドに、「出力異常」を検出した端末（ここでは端末１０ｄｂ）のＩＰアドレスを追加する。

次に、中継サーバ３０は、出力異常の状態にあるデータのデータＩＤと、「出力異常」を検出した端末（ここでは端末１０ｄｂ）のＩＰアドレスと、「出力異常」の状態にあるデータの送信元端末（ここでは端末１０ａａ）のＩＰアドレスとを含む出力異常通知を、管理サーバ４０に送信する（ステップＳ６６）。

管理サーバ４０は、中継サーバ３０からの出力異常通知を受け取ると、「出力異常」を検出した端末（ここでは端末１０ｄｂ）のＩＰアドレスを検索キーとして端末管理ＤＢ４２００を検索し、当該端末１０ｄｂの端末名を取得する（ステップＳ６７）。そして、管理サーバ４０は、「出力異常」の状態にあるデータのデータＩＤと「出力異常」を検出した端末（ここでは端末１０ｄｂ）の端末名とを含む出力異常通知を、データの送信元端末（ここでは端末１０ａａ）に送信する（ステップＳ６８）。これにより、端末１０ａａでは、自身が送信しているどのデータがどの端末において「出力異常」の状態になっているかを把握できる。

管理サーバ４０から出力異常通知を受けた端末１０ａａでは、状態表示処理部２３が、管理サーバ４０からの出力異常通知に基づいて、出力状態情報をディスプレイ２０に表示させるための処理を行う（ステップＳ６９）。例えば、状態表示処理部２３は、管理サーバ４０からの出力異常通知に基づいて、端末１０ｄｂ（ここでは、端末名を事業所Ｂとする）において画像データが「出力異常」の状態であることを示す出力状態情報を生成する。そして、状態表示処理部２３は、生成した出力状態情報を表示制御部１６に渡して出力状態情報の表示要求を行い、例えば図１８（ａ）に示すように、テレビ会議画面３００上のポップアップ画面として、「事業所Ｂで画像出力に異常が発生しています」といったメッセージで構成された出力状態情報３１０をディスプレイ２０に表示させる。

その後、端末１０ｄｂにおいて、端末１０ａａから送信されたデータの出力状態が「出力異常」から「出力正常」に回復したことが検出されたものとする。この場合、端末１０ｄｂは、出力状態が回復したデータのデータＩＤと自端末のＩＰアドレスとを含む出力異常回復通知を、中継サーバ３０に送信する（ステップＳ７０）。

中継サーバ３０は、端末１０ｄｂからの出力異常回復通知を受け取ると、全出力状態管理ＤＢ３１００の全出力状態管理テーブルを出力異常回復通知に従って更新する（ステップＳ７１）。具体的には、中継サーバ３０は、全出力状態管理テーブルの出力状態が回復したデータのデータＩＤに対応する「出力異常端末」のフィールドから、出力状態の回復を検出した端末（ここでは端末１０ｄｂ）のＩＰアドレスを削除する。

次に、中継サーバ３０は、出力状態が回復したデータのデータＩＤと、出力状態の回復を検出した端末（ここでは端末１０ｄｂ）のＩＰアドレスと、出力状態が回復したデータの送信元端末（ここでは端末１０ａａ）のＩＰアドレスとを含む出力異常回復通知を、管理サーバ４０に送信する（ステップＳ７２）。

管理サーバ４０は、中継サーバ３０からの出力異常回復通知を受け取ると、出力状態の回復を検出した端末（ここでは端末１０ｄｂ）のＩＰアドレスを検索キーとして端末管理ＤＢ４２００を検索し、当該端末１０ｄｂの端末名を取得する（ステップＳ７３）。そして、管理サーバ４０は、出力状態が回復したデータのデータＩＤと出力状態の回復を検出した端末（ここでは端末１０ｄｂ）の端末名とを含む出力異常回復通知を、データの送信元端末（ここでは端末１０ａａ）に送信する（ステップＳ７４）。これにより、端末１０ａａでは、自身が送信しているどのデータの出力状態がどの端末において回復したかを把握できる。

管理サーバ４０から出力異常回復通知を受けた端末１０ａａでは、状態表示処理部２３が、管理サーバ４０からの出力異常回復通知に基づいて、出力状態情報をディスプレイ２０に表示させるための処理を行う（ステップＳ７５）。例えば、状態表示処理部２３は、管理サーバ４０からの出力異常回復通知に基づいて、端末１０ｄｂ（ここでは、表示名を事業所Ｂとする）において「出力異常」の状態にあった画像データが「出力正常」の状態に回復したことを示す出力状態情報を生成する。そして、状態表示処理部２３は、生成した出力状態情報を表示制御部１６に渡して出力状態情報の表示要求を行い、例えば図１８（ｂ）に示すように、テレビ会議画面３００上のポップアップ画面として、「事業所Ｂでの画像の出力状態が回復しました」といったメッセージで構成された出力状態情報３２０をディスプレイ２０に表示させる。

なお、図１７のシーケンス図で示した例では、出力状態情報の表示処理を行う端末１０ａａが、「出力異常」を検出した端末１０ｄｂの端末名を含む出力異常通知や、出力状態の回復を検出した端末１０ｄｂの端末名を含む出力異常回復通知を管理サーバ４０から受け取っている。しかし、出力状態情報の表示処理を行う端末１０がテレビ会議に参加している他の端末の端末ＩＤと端末名との対応関係を記憶している場合には、端末名の代わりに端末ＩＤを含む出力異常通知や出力異常回復通知を管理サーバ４０から受け取るように構成してもよい。

また、図１７のシーケンス図で示した例では、中継サーバ３０からの出力異常通知や出力異常回復通知を、管理サーバ４０を介して端末１０に送信することにより、「出力異常」を検出した端末１０や出力状態の回復を検出した端末１０のＩＰアドレスを表示名に変換して、出力状態情報の表示処理を行う端末１０に通知している。しかし、「出力異常」や出力状態の回復が生じた端末１０を特に特定することなく、いずれかの端末１０において「出力異常」や出力状態の回復があることのみを示す出力状態情報を表示させる場合には、中継サーバ３０からの出力異常通知や出力異常回復通知を、管理サーバ４０を介さずに端末１０に直接送信する構成としてもよい。

また、中継サーバ３０と端末１０との少なくとも一方が、テレビ会議に参加している端末１０のＩＰアドレスと端末名との対応関係を記憶している場合も同様に、中継サーバ３０からの出力異常通知や出力異常回復通知を、管理サーバ４０を介さずに端末１０に直接送信する構成とすることができる。

次に、端末１０が他の端末１０に送信している各データの出力状態の一覧を出力状態情報としてディスプレイ２０に表示させる動作について、図１９を参照して説明する。図１９は、出力状態の一覧を取得して表示する動作の一例を示すシーケンス図である。なお、図１９は、端末１０ａａが他の端末１０に送信している各データの出力状態の一覧を取得して表示する例を示している。

まず、端末１０ａａのユーザが操作ボタン１０８などを用いて出力状態の一覧を要求する操作を行うと、端末１０ａａは、自端末のＩＰアドレスを含む出力状態一覧要求を、中継サーバ３０に送信する（ステップＳ８１）。

中継サーバ３０は、端末１０ａａからの出力状態一覧要求を受け取ると、全出力状態管理ＤＢ３１００の全出力状態管理テーブルを参照して、要求元の端末１０ａａが他の端末１０に送信している各データについて、「出力異常」を検出した端末１０のＩＰアドレスのリストを生成する（ステップＳ８２）。具体的には、中継サーバ３０は、全出力状態管理テーブルの中から、要求元の端末１０ａａが他の端末１０に送信しているデータのデータＩＤに対応する「出力異常端末」のフィールドにＩＰアドレスが記憶されているか否かを確認する。そして、「出力異常端末」のフィールドにＩＰアドレスが記憶されている場合、そのＩＰアドレスとデータＩＤとの組み合わせを取り出す。この処理を、要求元の端末１０ａａが他の端末１０に送信しているデータすべてに対して繰り返し、データＩＤとＩＰアドレスとの組み合わせからなるリストを生成する。

次に、中継サーバ３０は、要求元の端末１０ａａのＩＰアドレスと生成したリストとを含む出力状態一覧通知を、管理サーバ４０に送信する（ステップＳ８３）。

管理サーバ４０は、中継サーバ３０からの出力状態一覧通知を受け取ると、セッション管理ＤＢ４４００および端末管理ＤＢ４２００に対する検索処理を行う（ステップＳ８４）。具体的には、管理サーバ４０は、セッション管理ＤＢ４４００のセッション管理テーブルを参照し、出力状態一覧の要求元の端末１０ａａと同じテレビ会議に参加している他の端末１０の端末名の一覧であるリストを生成する。さらに、管理サーバ４０は、端末管理ＤＢ４２００の端末管理テーブルを参照して、「出力異常」を検出した端末１０のＩＰアドレスに対応する端末名を取得し、出力異常の状態にあるデータのデータＩＤと出力異常が生じた端末１０の端末名との組み合わせからなるリストを生成する。

次に、管理サーバ４０は、要求元の端末１０ａａと同じテレビ会議に参加している他の端末１０の端末名のリスト、および、「出力異常」の状態にあるデータのデータＩＤと「出力異常」を検出した端末１０の端末名との組み合わせからなるリストを含む出力状態一覧通知を、要求元の端末１０ａａに送信する（ステップＳ８５）。

管理サーバ４０から出力状態一覧通知を受けた端末１０ａａでは、状態表示処理部２３が、管理サーバ４０からの出力状態一覧通知に基づいて、出力状態の一覧を表す出力状態情報をディスプレイ２０に表示させるための処理を行う（ステップＳ８６）。例えば、状態表示処理部２３は、管理サーバ４０からの出力状態一覧通知に基づいて、参加拠点一覧画面の画面情報を生成する。そして、状態表示処理部２３は、生成した画面情報を表示制御部１６に渡して出力状態情報の表示要求を行い、例えば図２０に示すように、テレビ会議に参加している各拠点の一覧とともに、自拠点からの画像データや音声データがどのような出力状態にあるかを示す参加拠点一覧画面４００をディスプレイ２０に表示させる。

なお、図１９のシーケンス図で示した例では、端末１０ａａが中継サーバ３０に対して出力状態一覧要求を行っている（ステップＳ８１）。しかし、端末１０ａａは、管理サーバ４０に対して出力状態一覧要求を行うようにしてもよい。この場合、端末１０ａａは、例えば、自端末の端末ＩＤを含む出力状態一覧要求を管理サーバ４０に送信する。管理サーバ４０は、端末１０ａａの端末ＩＤをもとに端末１０ａａのＩＰアドレスを特定し、このＩＰアドレスを含む出力状態一覧要求を中継サーバ３０に送信する。以降の処理は、図１９のシーケンス図で示した例と同様である。

また、図１９のシーケンス図で示した例では、出力状態情報の表示処理を行う端末１０ａａが、同じテレビ会議に参加している他の端末１０の端末名や「出力異常」を検出した端末１０の端末名を含む出力状態一覧通知を管理サーバ４０から受け取っている。しかし、出力状態情報の表示処理を行う端末１０がテレビ会議に参加している他の端末の端末ＩＤと端末名との対応関係を記憶している場合には、端末名の代わりに端末ＩＤを含む出力状態一覧通知を管理サーバ４０から受け取るように構成してもよい。

また、図１９のシーケンス図で示した例では、中継サーバ３０からの出力状態一覧通知を、管理サーバ４０を介して端末１０に送信することにより、テレビ会議に参加している端末１０のＩＰアドレスを表示名に変換して、出力状態情報の表示処理を行う端末１０に通知している。しかし、中継サーバ３０と端末１０との少なくとも一方が、テレビ会議に参加している端末１０のＩＰアドレスと端末名との対応関係を記憶している場合には、中継サーバ３０からの出力状態一覧通知を、管理サーバ４０を介さずに端末１０に直接送信する構成としてもよい。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態のテレビ会議システム１では、テレビ会議に参加する端末１０のそれぞれが、他の端末１０から受信したデータの出力状態を判定して中継サーバ３０に通知する。また、テレビ会議に参加する端末１０のそれぞれは、他の端末１０に送信したデータの他の端末１０における出力状態を中継サーバ３０から管理サーバ４０を介して取得し、取得した出力状態を示す出力状態情報をディスプレイ２０に表示させる。したがって、このテレビ会議システム１によれば、テレビ会議に参加する各端末１０が、他の端末１０に送信したデータの他の端末１０における出力状態を簡便に把握することができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で様々な変形や変更を加えて具体化することができる。つまり、上述した実施形態で説明したテレビ会議システム１、端末１０、中継サーバ３０および管理サーバ４０などの具体的な構成や動作はあくまで一例であり、用途や目的に応じて様々な変形が可能である。

例えば、上述した実施形態における中継サーバ３０、管理サーバ４０およびプログラム提供サーバ５０は、単一のコンピュータによって構築されてもよいし、各サーバの機能を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、各サーバの機能の一部または全部を任意に組み合わせて、上述した実施形態とは異なる枠組みのサーバ装置あるいはシステムを構築するようにしてもよい。例えば、中継サーバ３０の機能と管理サーバ４０の機能とを統合して１つのサーバ装置を構築するようにしてもよい。

また、上述した実施形態では、本発明を適用した通信システムの一例としてテレビ会議システム１を例示したが、これに限られるものではない。本発明は、例えば、端末間で双方向に音声データを送受信するＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）電話などの電話システムや、管理センタの端末から自動車に搭載されたカーナビゲーション装置に対して地図データやルート情報などを配信するカーナビゲーションシステムなど、各種の通信システムに対して有効に適用可能である。

また、上述した実施形態では、本発明を適用した通信装置の一例としてテレビ会議端末（端末）１０を例示したが、これに限られるものではない。本発明は、例えばＰＣやタブレット端末、スマートフォン、電子黒板、自動車に搭載されるカーナビゲーション装置等の各種の通信装置に対して有効に適用可能である。

上述した実施形態は、次に示される捉え方が可能である。すなわち、実施形態の端末１０は、他の端末１０から受信したデータを出力する端末１０であって、他の端末１０から受信したデータの出力状態を外部の中継サーバ３０に通知する通知部２２と、他の端末１０と前記データを受信するためのセッションを確立している間に、他の端末１０に送信したデータの他の端末１０における出力状態を中継サーバ３０から管理サーバ４０を介して取得し、取得した出力状態を示す出力状態情報をディスプレイ２０に表示させる状態表示処理部２３と、を備える。

また、実施形態のテレビ会議システム１は、他の端末１０から受信したデータを出力する複数の端末１０と、中継サーバ３０および管理サーバ４０と、を含むテレビ会議システム１であって、複数の端末１０のそれぞれは、他の端末１０から受信したデータの出力状態を中継サーバ３０に通知する通知部２２と、他の端末１０と前記データを受信するためのセッションを確立している間に、他の端末１０に送信したデータの他の端末１０における出力状態を中継サーバ３０から管理サーバ４０を介して取得し、取得した出力状態を示す出力状態情報をディスプレイ２０に表示させる状態表示処理部２３と、を備え、中継サーバ３０は、端末１０から通知された出力状態に基づき、複数の端末１０間で送受信されるすべてのデータの出力状態を管理する出力状態管理部３３と、端末１０から通知された出力状態を、該出力状態のデータの送信元の端末１０に管理サーバ４０を介して通知する送受信部３１と、を備える。

また、実施形態の中継サーバ３０および管理サーバ４０は、他の端末１０から受信したデータを出力する複数の端末１０間のデータの送受信を管理する通信管理システムを構築する。この通信管理システムによりデータの送受信が管理される複数の端末１０のそれぞれは、他の端末１０から受信したデータの出力状態を通知する通知部２２と、他の端末１０と前記データを受信するためのセッションを確立している間に、他の端末１０に送信したデータの他の端末１０における出力状態を示す出力状態情報をディスプレイ２０に表示させる状態表示処理部２３と、を備える。そして、この通信システムは、端末１０から通知された出力状態を取得し、複数の端末１０間で送受信されるすべてのデータの出力状態を管理する出力状態管理部３３と、出力状態管理部３３で管理する出力状態を、該出力状態のデータの送信元の端末１０に通知する送受信部３１，４１と、を備える。

また、実施形態の通信制御方法は、他の端末１０から受信したデータを出力する端末１０において実行される通信制御方法であって、他の端末１０から受信したデータの出力状態を中継サーバ３０に通知する工程と、他の端末１０と前記データを受信するためのセッションを確立している間に、他の端末１０に送信したデータの他の端末１０における出力状態を中継サーバ３０から管理サーバ４０を介して取得し、取得した出力状態を示す出力状態情報をディスプレイ２０に表示させる工程と、を含む。

また、実施形態の端末用プログラムは、他の端末１０から受信したデータを出力する端末１０に、他の端末１０から受信したデータの出力状態を中継サーバ３０に通知する機能と、他の端末１０と前記データを受信するためのセッションを確立している間に、他の端末１０に送信したデータの他の端末１０における出力状態を中継サーバ３０から管理サーバ４０を介して取得し、取得した出力状態を示す出力状態情報をディスプレイ２０に表示させる機能と、を実現させる。

１ テレビ会議システム
２ 通信ネットワーク
１０ 端末
１１ 送受信部
１６ 表示制御部
１６ａ 時刻管理部
１７ 音声出力部
１７ａ 時刻管理部
２０ ディスプレイ
２１ 出力状態判定部
２２ 通知部
２３ 状態表示処理部
３０ 中継サーバ
３１ 送受信部
３３ 出力状態管理部
４０ 管理サーバ
４１ 送受信部
４６ セッション管理部
１１００ 出力状態管理ＤＢ
３１００ 全出力状態管理ＤＢ
４４００ セッション管理ＤＢ

特開２０１１−７１８２２号公報

Claims (3)

1. 映像および音声を送信する複数の端末とサーバとが通信可能に設けられた通信システムに用いられる端末であって、
   前記複数の端末のうちいずれかの端末と前記サーバとの間で異常が発生していることを特定する判定手段と、
   前記複数の端末から送信された映像を、表示画面に表示出力する表示制御手段と、
   前記複数の端末から送信された音声を出力する音声出力手段と、を有し、
   前記判定手段は、他の端末から受信した映像および／または音声を、前記表示制御手段および／または前記音声出力手段に出力した最終出力時刻からの経過時間に基づき、前記異常が発生しているか否かを判定し、
   前記表示制御手段は、前記判定手段で異常が発生していると特定された端末が識別可能となるように前記表示画面を表示出力する、端末。
2. 前記表示制御手段は、異常が発生している端末の一覧を前記表示画面上に表示出力することを特徴とする請求項１に記載の端末。
3. 映像および音声を送信する複数の端末のうちいずれかの端末とサーバとの間で異常が発生していることを特定する判定ステップと、
   前記複数の端末から送信された映像を、表示画面に表示出力する表示制御ステップと、
   前記複数の端末から送信された音声を出力する音声出力ステップと、を有し、
   前記判定ステップは、他の端末から受信した映像および／または音声を、前記表示制御ステップおよび／または前記音声出力ステップにより出力した最終出力時刻からの経過時間に基づき、前記異常が発生しているか否かを判定し、
   前記表示制御ステップは、前記判定ステップで異常が発生していると特定された端末が識別可能となるように前記表示画面を表示出力する、表示方法。

Images