JP6729756B2 - 通信システム、通信装置およびプログラム - Google Patents

Description

本発明は、映像および音声の通信を行う通信システムに関し、より詳細には、複数の拠点間で映像および音声の相互通信を行う通信システム、通信装置およびプログラムに関する。

近年、インターネット等の高速データ通信が可能なネットワークの普及に伴い、遠隔地の複数の拠点間で映像や音声を相互に配信して会議等を行うビデオ会議が利用されるようになっている。

このようなビデオ会議を実現する通信システムの一実施形態として、特許文献１は、他拠点の撮影画像を自拠点の表示装置に表示すると共に、会議等で使用される資料画像を当該表示装置に表示するコンテンツ配信装置を開示する。

しかしながら、特許文献１が開示するコンテンツ配信装置は、他拠点の撮影画像と資料画像とを同一の表示装置の画面上に表示するため、一方の画像の表示領域を拡大すると、他方の画像の表示領域が縮小されてしまい、これらの画像の視認性が低くなるという問題があった。

本発明は上述した課題を解決するものであり、表示装置に表示される画像の視認性を向上させる通信システム、通信装置およびプログラムを提供することを目的とする。

本発明の通信装置は、画像の表示方式を規定する配置情報を設定する配置情報設定手段と、配置情報を参照して複数の表示装置に画像を表示させる表示制御手段とを含み、表示制御手段は、自拠点および他拠点の撮影画像を第１の表示装置に表示させると共に、自拠点または他拠点の画像提供装置が提供する画像を第２の表示装置に表示させる。

本発明の通信装置は、上記構成を採用することにより、表示装置に表示される画像の視認性を向上させることができる。

本発明の通信システムの一実施形態を示す図。 通信装置１０ａのハードウェア構成図の一実施形態を示す図。 通信装置１０ａの機能構成の一実施形態を示す図。 本発明の通信装置が起動時に実行する表示装置の検出処理を示すフローチャート。 通電状態の１の表示装置が通信装置１０ａに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図。 通電状態の２の表示装置が通信装置１０ａに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図。 図６に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図。 通電状態の２の表示装置が通信装置１０ａに接続されているときの表示方式および配置情報テーブルの別の実施形態を示す図。 図８に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図。 本発明の通信装置が起動後に実行する表示装置の検出処理を示すフローチャート。

以下、本発明について実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。

図１は、本発明の通信システムの一実施形態を示す図である。通信システム１００は、通信装置１０ａ〜１０ｈと、表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈと、画像提供装置３０ａ〜３０ｈと、通信管理装置４０とを含んで構成される。

通信装置１０ａ〜１０ｈは、他拠点の通信装置１０ａ〜１０ｈとの間で画像および音声を相互に通信し、当該通信装置１０ａ〜１０ｈに接続された表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈに画像を表示すると共に音声を出力する装置である。通信装置１０ａ〜１０ｈは、ルータ５０およびネットワーク６０を介して通信管理装置４０に自拠点の画像および音声を送信する。また、通信装置１０ａ〜１０ｈは、通信管理装置４０から他拠点の画像を受信し、表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈに自拠点の画像および他拠点の画像を表示すると共に他拠点の音声を出力する。

本実施形態では、通信装置１０ａ〜１０ｈは、有線通信によって表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈに画像を出力するが、他の実施形態では、無線通信によって当該表示装置に画像を出力してもよい。また、本実施形態では、１の通信装置に対して２の表示装置が接続されているが、他の実施形態では、１の通信装置に３以上の表示装置を接続してもよい。さらに他の実施形態では、通信装置に１以上の表示装置が内蔵されていて、デュアル・ディスプレイ対応とされていてもよい。

画像提供装置３０ａ〜３０ｈは、接続された通信装置１０ａ〜１０ｈに対して画像を提供する装置である。画像提供装置３０ａ〜３０ｈは、画像提供装置３０ａ〜３０ｈの表示装置に表示される画像を通信装置１０ａ〜１０ｈに提供する。画像提供装置３０ａ〜３０ｈが提供する画像には、例えば、文書作成ソフトウェア、表計算ソフトウェア、プレゼンテーション用ソフトウェア等を用いて作成される資料画像や画像提供装置３０ａ〜３０ｈのデスクトップ画面、アプリケーションプログラムのＵＩ（User Interface）等の種々の画像が含まれる。なお、図１では、デスクトップ型のパーソナルコンピュータが画像提供装置３０ａ〜３０ｈとして通信装置１０ａ〜１０ｈと相互接続しているものとして説明するが、画像提供装置３０ａ〜３０ｈとして、デスクトップ型ＰＣの他、ノートブック型ＰＣ、ｉＰａｄ（登録商標）などのタブレット型ＰＣ、ｉＰｈｏｎｅ（登録商標）やアンドロイド（登録商標）などを搭載したスマートホンなども好ましく使用することができる。

通信管理装置４０は、通信システム１００のデータ通信を管理する装置である。通信管理装置４０は、複数の拠点間の通信装置１０ａ〜１０ｈのセッションを確立し、各通信装置１０ａ〜１０ｈの画像および音声を中継する。

図２は、通信装置１０ａのハードウェア構成図の一実施形態を示す。以下、図２を参照して、通信装置１０ａのハードウェア構成について説明する。なお、他の通信装置１０ｂ〜１０ｈのハードウェア構成は、通信装置１０ａと同様であるため、説明を省略する。

通信装置１０ａは、ＣＰＵ(Central Processing Unit)２０１と、ＲＯＭ(Read Only Memory)２０２と、ＲＡＭ(Random Access Memory)２０３と、ＳＳＤ（Solid State Drive）２０４と、メディアドライブ２０６とを含んで構成される。これらの装置はデータバス２０９を介して接続されている。

ＣＰＵ２０１は、通信装置１０ａ全体の動作を制御するプロセッサである。ＲＯＭ２０２は、本発明のプログラムが記憶される記憶装置である。ＲＡＭ２０３は、本発明のプログラムの実行空間を提供する記憶装置である。通信装置１０ａは、ＷＩＮＤＯＷＳ（登録商標）シリーズ、Ｍａｃ（登録商標）ＯＳ（Operating System）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのＯＳの管理下でアセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを、ＲＡＭ２０３に展開して実行することにより、後述する各機能手段を通信装置１０ａ上に実現する。

ＳＳＤ２０４は、画像や音声等の各種データを記憶するフラッシュメモリやＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）等の不揮発メモリ（図示せず）を備えており、フラッシュメモリに対する各種データの読み出しまたは書き込みを制御する。メディアドライブ２０６は、フラッシュメモリ等の記録メディア２０５を挿入可能な装置であり、記録メディア２０５に対するデータの読み出しまたは書き込みを制御する。

また、通信装置１０ａは、操作ボタン２０７と、電源スイッチ２０８と、ネットワークインタフェース（Ｉ／Ｆ）２１０と、撮像素子Ｉ／Ｆ２１２と、音声入出力Ｉ／Ｆ２１５と、表示装置Ｉ／Ｆ２１６と、表示装置Ｉ／Ｆ２１７と、外部装置Ｉ／Ｆ２１８とを含んで構成される。これらの装置はデータバス２０９を介して接続される。

操作ボタン２０７は、セッションを確立する他拠点の通信装置の選択や種々の設定を行う入力装置である。電源スイッチ２０８は、通信装置１０ａの電源のＯＮ／ＯＦＦを切り換えるスイッチである。ネットワークＩ／Ｆ２１０は、ルータ５０との接続を提供するインタフェースであり、ネットワーク６０を介したデータ通信を行う。

撮像素子Ｉ／Ｆ２１２は、被写体を撮像して画像を生成するＣＣＤ(Charge Coupled Device)２１１を接続するインタフェースであり、ＣＣＤ２１１を制御して画像を生成する。本実施形態では、撮像素子としてＣＣＤを採用するが、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の他の撮像素子を採用してもよい。

音声入出力Ｉ／Ｆ２１５は、マイク２１３およびスピーカ２１４を接続するインタフェースであり、マイク２１３およびスピーカ２１４との間で音声信号の入出力を行う。表示装置Ｉ／Ｆ２１６は、表示装置２０ａを接続するインタフェースであり、表示装置２０ａに画像を出力する。表示装置Ｉ／Ｆ２１７は、表示装置２２ａを接続するインタフェースであり、表示装置２２ａに画像を出力する。

表示装置２０ａ，２２ａは、通信装置１０ａが出力する種々の画像を表示する表示装置である。外部装置Ｉ／Ｆ２１８は、画像提供装置３０ａを接続するインタフェースであり、画像提供装置３０ａから画像を受信する。

図３は、通信装置１０ａの機能構成の一実施形態を示す図である。以下、図３を参照して、通信装置１０ａの機能構成について説明する。なお、他の通信装置１０ｂ〜１０ｈの機能構成は、通信装置１０ａと同様であるため、説明を省略する。

通信装置１０ａは、制御部３００と、送受信部３０２と、操作受付部３０４と、撮像部３０６とを含んで構成される。

制御部３００は、通信装置１０ａが実行する処理の全体制御を行う機能手段である。制御部３００は、後述する機能手段を用いて種々の処理を実行する。

送受信部３０２は、通信管理装置４０または画像提供装置３０ａとの通信を行う機能手段であり、ネットワークＩ／Ｆ２１０および外部装置Ｉ／Ｆ２１８によって実現される。

操作受付部３０４は、ユーザによる各種の操作指示を受け付ける機能手段である。例えば、ユーザが電源スイッチ２０８をＯＮにすると電源投入指示が発行される。操作受付部３０４は、当該指示を受け付けると、通信装置１０ａの電源をＯＮにする。また、ユーザが操作ボタン２０７によって表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈの表示方式を変更すると、表示方式の変更指示が発行される。操作受付部３０４は、当該指示を受けると、配置情報設定部３１４に対し、ユーザが指定した表示方式（「VIEW_MULTI」および「SHARED_MULTI」等）を、表示装置の表示方式を指定する設定情報（以下、「表示方式設定情報」とする。）として記憶部３１０に保存させる。なお、本実施形態の表示方式については、図５を参照して詳述する。

撮像部３０６は、被写体を撮像して画像を生成する機能手段であり、ＣＣＤ２１１および撮像素子Ｉ／Ｆ２１２によって実現される。撮像部３０６は、通信装置１０ａが起動すると撮影画像を生成する。

また、通信装置１０ａは、メモリ制御部３０８と、記憶部３１０と、配置情報設定部３１４と、表示制御部３１６と、表示装置検出部３１８と、音声入力部３２０と、音声出力部３２２とを含んで構成される。

メモリ制御部３０８は、記憶部３１０を制御する手段である。メモリ制御部３０８は、記憶部３１０に各種データを保存し、また、記憶部３１０に保存された各種データを読み出す。

配置情報設定部３１４は、表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈに表示する画像の表示方式を規定する配置情報および表示方式設定情報を設定する機能手段である。配置情報設定部３１４は、記憶部３１０の配置情報テーブル３１２に配置情報を設定する。また、配置情報設定部３１４は、表示方式設定情報を記憶部３１０に保存する。

表示制御部３１６は、表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈを制御する機能手段である。表示制御部３１６は、記憶部３１０に保存された表示方式設定情報と、配置情報テーブル３１２に登録された配置情報とを使用して、当該表示装置に表示すべき画像を特定し、所定の画面割りに従って、当該画像を表示装置２０ａ，２２ａに表示する。

表示装置２０ａ，２２ａに表示される画像には、自拠点または他拠点の通信装置１０ａ〜１０ｈの撮像部３０６が撮像した画像（以下、「撮影画像」とする。）と、自拠点または他拠点の画像提供装置３０ａ〜３０ｈが提供する画像とが含まれる。

音声入力部３２０は、ユーザの発話等の音声を検出して音声信号を生成する機能手段である。また、音声入力部３２０は、ユーザの音声を音声信号に変換し、当該音声信号の強度を測定し、当該強度が所定の閾値以上である場合に、ユーザの発話を検出する。音声出力部３２２は、音声信号を音声に変換して出力する機能手段である。

表示装置検出部３１８は、通信装置１０ａに接続されている通電状態の表示装置を検出する手段である。表示装置検出部３１８は、表示装置のデバイスドライバであるグラフィックドライバによって、表示装置Ｉ／Ｆ２１６，２１７に接続されている表示装置の通電状態を検出し、通電状態の表示装置の個数を計数する。本実施形態では、ＷＩＮＤＯＷＳ（登録商標）ＯＳが提供するＡＰＩ関数およびグラフィックドライバを用いて、通電状態の表示装置の個数を計数する。

制御部３００は、通信装置１０ａの電源が投入されると、後述する表示装置の検出処理を実行し、撮像部３０６に撮影画像を生成させる。制御部３００は、通信装置１０ａ〜１０ｈに画像提供装置３０ａ〜３０ｈが接続されている場合、当該画像提供装置３０ａ〜３０ｈにメニュー画面を表示させ、画像提供を可能とさせている。

制御部３００は、ユーザの指示に従い、他拠点の通信装置とのセッションの確立を通信管理装置４０に要求する。セッションが確立すると、制御部３００は、撮像部３０６が生成した自拠点の撮影画像と、画像提供装置３０ａが提供する画像とを、通信管理装置４０を介して他拠点の通信装置に送信する。また、制御部３００は、他拠点の通信装置から画像を受信すると、当該画像を表示装置２０ａ，２２ａに表示する。また、通信装置１０ａ〜１０ｈに画像提供装置３０ａ〜３０ｈが接続されている場合、ユーザが当該画像提供装置に表示されたメニュー画面上の共有開始ボタンが選択されると、当該画像提供装置３０ａ〜３０ｈから画像を取得する。

制御部３００は、ユーザの発話を検出すると、ユーザが発話していることを示す情報（以下、「発話情報」とする。）を撮影画像に付加して通信管理装置４０に送信する。制御部３００は、他拠点から発話情報が付加された撮影画像を受信すると、当該撮影画像が表示装置２０ａ，２２ａの所定の表示領域に表示されるよう、配置情報テーブル３１２の配置情報を変更する。

図４は、本発明の通信装置が起動時に実行する表示装置の検出処理を示すフローチャートである。以下、図４を参照して、通信装置１０ａの電源が投入された際に実行される表示装置の検出処理について説明する。

図４の処理は、ステップＳ４００で通信装置１０ａの電源が投入されることにより開始する。ステップＳ４０１では、表示装置検出部３１８が、ＲＡＭ２０３に確保される変数（ＡＣＴＩＶＥ）を０で初期化する。ステップＳ４０２では、表示装置検出部３１８は、通信装置１０ａに接続されている表示装置のうち通電状態の表示装置の個数を計数し、その個数を変数（ＡＣＴＩＶＥ）に設定する。ステップＳ４０３では、配置情報設定部３１４が、変数（ＡＣＴＩＶＥ）の値が０であるか否か判断する。変数（ＡＣＴＩＶＥ）の値が０のときには（ｙｅｓ）、処理をステップＳ４０２に戻す。一方、変数（ＡＣＴＩＶＥ）の値が０でないときには（ｎｏ）、処理がステップＳ４０４に分岐する。

ステップＳ４０４では、配置情報設定部３１４は、変数（ＡＣＴＩＶＥ）を判断し、変数（ＡＣＴＩＶＥ）の値が１のとき、すなわち、通電状態の１の表示装置が接続されているときは、処理をステップＳ４０５に分岐する。ステップＳ４０５では、配置情報設定部３１４は、図５に示すような１の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップＳ４０７で処理が終了する。

一方、変数（ＡＣＴＩＶＥ）の値が２のとき、すなわち、通電状態の２の表示装置が接続されているときは、処理をステップＳ４０６に分岐する。ステップＳ４０６では、配置情報設定部３１４は、図６および図８に示すような２の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップＳ４０７で処理が終了する。

図５は、通電状態の１の表示装置が通信装置１０ａに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図である。以下、図５を参照して、通電状態の１の表示装置が通信装置１０ａに接続されているときの表示装置の画面割り５００および配置情報テーブル５０２について説明する。

画面割り５００は、通信装置１０ａに接続された表示装置の画面割りを示す。図５に示す実施形態では、表示装置の表示領域が４分割されており、表示領域１の面積は、他の表示領域２〜４の面積よりも大きい。

配置情報テーブル５０２には、通電状態の１の表示装置が通信装置１０ａに接続されているときの配置情報として、表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。

本実施形態の表示方式には「VIEW_MULTI」および「SHARED_MULTI」がある。「VIEW_MULTI」は、通信装置１０ａ〜１０ｈが自拠点および他拠点の撮影画像を表示する方式を示す。「SHARED_MULTI」は、自拠点および他拠点の撮影画像に加えて、画像提供装置３０ａ〜３０ｈが提供する画像を表示する方式を示す。本実施形態では、これらの表示方式はユーザによって指定され、表示方式設定情報として記憶部３１０に保存される。

図５に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、表示領域１に他拠点の撮影画像が表示され、表示領域２に自拠点の撮影画像が表示される。また、表示方式が「SHARED_MULTI」である場合には、表示領域１に資料画像が表示され、表示領域２に他拠点の撮影画像が表示され、表示領域３に自拠点の撮影画像が表示される。

他の実施形態では、本実施形態のようにユーザ指令によって表示方式「VIEW_MULTI」および「SHARED_MULTI」を切り替えるのではなく、通信装置１０ａ〜１０ｈが、画像提供装置３０ａ〜３０ｈによる画像提供が開始されたことを検知し、表示方式を切り替えてもよい。

具体的には、通信装置１０ａ〜１０ｈが、例えば、特定のアプリケーションポートにおける通信開始や画像提供の開始を示す画像提供装置３０ａ〜３０ｈからの明示的な通知を検知し、表示方式を「VIEW_MULTI」から「SHARED_MULTI」に自動的に切り替える。画像提供装置３０ａ〜３０ｈからの画像提供が終了または中断すると、通信装置１０ａ〜１０ｈは、表示方式を「SHARED_MULTI」から「VIEW_MULTI」に切り替える。これにより、ユーザによる操作を省略することができると共に、提供画像のストリーム処理を効率化させることができる。

より詳細には、通信装置１０ａ〜１０ｈの送受信部３０２が画像提供装置３０ａ〜３０ｈから画像を受信すると、制御部３００が、当該画像提供装置による画像提供が開始したこと通知する画像提供開始イベントを発行する。配置情報設定部３１４は、画像提供開始イベントを検知すると、表示方式設定情報を「SHARED_MULTI」に設定する。そして、表示制御部３１６は、配置情報テーブルを参照し、表示方式設定情報「SHARED_MULTI」に関連付けられている配置情報に従って資料画像および撮影画像を表示装置２０ａ，２０ｂに表示する。

画像提供装置３０ａ〜３０ｈによる画像提供が停止すると、制御部３００は、当該画像提供装置による画像提供が停止したこと通知する画像提供停止イベントを発行する。配置情報設定部３１４は、画像提供停止イベントを検知すると、表示方式設定情報を「SHARED_MULTI」から「VIEW_MULTI」に変更する。そして、表示制御部３１６は、配置情報テーブルを参照し、表示方式設定情報「VIEW_MULTI」に関連付けられている配置情報に従って撮影画像を表示装置２０ａ，２０ｂに表示する。

本実施形態では、表示装置の画面を４つの表示領域に分割するが、他の実施形態では、３または５以上の表示領域に分割してもよい。また、本実施形態の配置情報は、２拠点で画像を共有する場合の配置情報であるが、本発明は、３以上の拠点で画像を共有することもできる。

３以上の拠点で画像を共有する場合、表示方式「VIEW_MULTI」が指定されるときは、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が表示領域１に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を表示領域１に表示することができる。

図６は、通電状態の２の表示装置が通信装置１０ａに接続されているときの表示方式および配置情報テーブルの一実施形態を示す図である。以下、図６を参照して、通電状態の２の表示装置が通信装置１０ａに接続されているときの表示装置の画面割り６００，６０２および配置情報テーブル６０４について説明する。

画面割り６００は、通信装置１０ａに接続された第１の表示装置の画面割りである。図６に示す実施形態では、表示装置の表示領域が４分割されており、表示領域１の面積は、他の表示領域２〜４の面積よりも大きい。画面割り６０２は、通信装置１０ａに接続された第２の表示装置の画面割りであり、１の表示領域で構成される。

配置情報テーブル６０４には、通電状態の２の表示装置が通信装置１０ａに接続されているときの配置情報として、第１の表示装置および第２の表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。

図６に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、第１の表示装置の表示領域１に他拠点の撮影画像が表示され、第１の表示装置の表示領域２に自拠点の撮影画像が表示される。一方、第２の表示装置の表示領域１には画像が表示されない。

表示方式が「SHARED_MULTI」である場合には、第１の表示装置の表示領域１に他拠点の撮影画像が表示され、第１の表示装置の表示領域２に自拠点の撮影画像が表示される。一方、第２の表示装置の表示領域１に資料画像が表示される。

本実施形態では、表示装置の画面を４つの表示領域に分割するが、他の実施形態では、３または５以上の表示領域に分割してもよい。また、本実施形態の配置情報は、２拠点で画像を共有する場合の配置情報であるが、本発明は、３以上の拠点で画像を共有することもできる。３以上の拠点で画像を共有する場合には、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が第１の表示装置の表示領域１に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を当該表示領域に表示することができる。

本実施形態では、自拠点および他拠点の撮影画像を第１の表示装置に表示し、画像提供装置３０ａ〜３０ｈが提供する資料画像等の画像を第２の表示装置に表示するため、これらの画像の視認性を向上させることができる。

図７は、図６に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図である。画面７００および画面７０６は、表示方式「VIEW_MULTI」が選択されたときの第１の表示装置の画面および第２の表示装置の画面である。画面７００の表示領域７０２には他拠点の撮影画像が表示され、表示領域７０４には自拠点の撮影画像が表示される。画面７０６には画像が表示されない。

画面７１０および画面７１６は、表示方式「SHARED_MULTI」が選択されたときの第１の表示装置の画面および第２の表示装置の画面である。画面７１０の表示領域７１２には他拠点の撮影画像が表示され、表示領域７１４には自拠点の撮影画像が表示される。画面７１６には資料画像が表示される。

図８は、通電状態の２の表示装置が通信装置１０ａに接続されているときの表示方式および配置情報テーブルの別の実施形態を示す図である。以下、図８を参照して、通電状態の２の表示装置が通信装置１０ａに接続されているときの表示装置の画面割り８００，８０２および配置情報テーブル８０４について説明する。

画面割り８００は、通信装置１０ａに接続された第１の表示装置の画面割りである。図８に示す実施形態では、表示装置の表示領域が４つに等分されている。画面割り８０２は、通信装置１０ａに接続された第２の表示装置の画面割りであり、１の表示領域で構成される。本実施形態では、表示装置の画面を４つの表示領域に分割するが、他の実施形態では、３または５以上の表示領域に分割してもよい。

配置情報テーブル８０４には、通電状態の２の表示装置が通信装置１０ａに接続されているときの配置情報として、第１の表示装置および第２の表示装置に表示される画像の表示方式と、当該表示装置の表示領域に表示される画像の識別情報とが関連付けて登録される。

図８に示す実施形態では、表示方式が「VIEW_MULTI」である場合には、第１の表示装置の表示領域１に自拠点の撮影画像が表示され、第２の表示装置の表示領域１に他拠点の撮影画像が表示される。

表示方式が「SHARED_MULTI」である場合には、第１の表示装置の表示領域１に他拠点の撮影画像が表示され、第１の表示装置の表示領域２に自拠点の撮影画像が表示される。一方、第２の表示装置の表示領域２に資料画像が表示される。

本実施形態の配置情報は、２拠点で画像を共有する場合の配置情報であるが、本発明は、３以上の拠点で画像を共有することもできる。この場合、表示方式「VIEW_MULTI」が指定されているときには、ユーザが注目すべき他拠点の撮影画像、すなわち、発話を検出した拠点の撮影画像が第２の表示装置に表示されるように配置情報を変更し、ユーザが発話をしている拠点の撮影画像を第２の表示装置に表示し、それ以外の拠点の撮影画像を第１の表示装置に表示することができる。

本実施形態では、撮影画像を第１の表示装置に表示し、画像提供装置が提供する資料画像等の画像を第２の表示装置に表示するため、画像の視認性を向上させることができる。また、注目すべき他拠点の撮影画像を、１の表示領域で構成される表示装置に表示するため、画像の視認性を向上させることができる。

図９は、図８に示す画面割りおよび配置情報に基づく表示装置の画面の一実施形態を示す図である。画面９００および画面９０６は、表示方式「VIEW_MULTI」が選択されたときの第１の表示装置の画面および第２の表示装置の画面である。画面９００の表示領域９０２には自拠点の撮影画像が表示され、画面９０６には他拠点の撮影画像が表示される。

画面９１０および画面９１６は、表示方式「SHARED_MULTI」が選択されたときの第１の表示装置の画面および第２の表示装置の画面である。画面９１０の表示領域９１２には他拠点の撮影画像が表示され、表示領域９１４には自拠点の撮影画像が表示される。画面９１６には資料画像が表示される。

図１０は、本発明の通信装置が起動後に実行する表示装置の検出処理を示すフローチャートである。以下、図１０を参照して、通信装置１０ａの起動後に実行される表示装置の検出処理について説明する。

図１０の処理は、ステップＳ１０００から開始し、ステップＳ１００１で表示装置検出部３１８が、通信装置１０ａのＯＳが表示装置２０ａ〜２０ｈ，２２ａ〜２２ｈの通電状態を検知して発行する通電変化イベントを受信したか否か判断する。通電変化イベントを受信していない場合には（ｎｏ）、ステップＳ１００１の処理を反復する。一方、通電変化イベントを受信した場合には（ｙｅｓ）、処理がステップＳ１００２に分岐する。

ステップＳ１００２では、表示装置検出部３１８は、ＲＡＭ２０３に確保される変数（ＡＣＴＩＶＥ）を０で初期化する。ステップＳ１００３では、表示装置検出部３１８が、通信装置１０ａに接続されている表示装置のうち通電状態の表示装置の個数を計数し、その個数を変数（ＡＣＴＩＶＥ）に設定する。ステップＳ１００４では、配置情報設定部３１４が、変数（ＡＣＴＩＶＥ）の値が０であるか否か判断する。変数（ＡＣＴＩＶＥ）の値が０のときには（ｙｅｓ）、処理をステップＳ１００３に戻す。一方、変数（ＡＣＴＩＶＥ）の値が０でないときには（ｎｏ）、処理がステップＳ１００５に分岐する。

ステップＳ１００５では、配置情報設定部３１４は、変数（ＡＣＴＩＶＥ）の値を判断し、変数（ＡＣＴＩＶＥ）の値が１のとき、すなわち、通電状態の１の表示装置が接続されているときは、処理をステップＳ１００６に分岐する。ステップＳ１００６では、配置情報設定部３１４は、図５に示すような１の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップＳ１００８で処理が終了する。

一方、変数（ＡＣＴＩＶＥ）の値が２のとき、すなわち、通電状態の２の表示装置が接続されているときは、処理をステップＳ１００７に分岐する。ステップＳ１００７では、配置情報設定部３１４は、図６および図８に示すような２の表示装置が接続されているときの配置情報を配置情報テーブルに設定し、ステップＳ１００８で処理が終了する。

上述した処理により、通信装置１０ａが、起動後に表示装置を通信装置１０ａに接続し、または表示装置の電源を投入して通電状態となった表示装置を検知することができ、これらの表示装置に画像を表示させることができる。

これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、本実施形態の構成要素を変更若しくは削除し、または本実施形態の構成要素を他の構成要素を追加するなど、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用効果を奏する限り、本発明の範囲に含まれるものである。

上述した機能手段を実現する本発明のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

１０ａ〜１０ｈ…通信装置、２０ａ〜２０ｈ…表示装置、２２ａ〜２２ｈ…表示装置、３０ａ〜３０ｈ…画像提供装置、４０…通信管理装置、５０…ルータ、６０…ネットワーク、１００…通信システム

米国特許第６７６０７４９号明細書

Claims (9)

1. 撮像手段と、第１の表示装置と、第２の表示装置とに接続される通信装置であって、
   前記撮像手段により撮影される第１の撮影画像のデータをネットワークを介して他拠点に送信し、ネットワークを介して他拠点の第２の撮影画像のデータを受信し、ネットワークを介して他拠点の表示装置に表示される画像のデータを受信する送受信部と、
   前記通信装置に前記第１の表示装置および前記第２の表示装置のいずれか一方のみが接続されている場合に、前記第１の撮影画像と前記第２の撮影画像と前記画像とを前記通信装置に接続されている前記第１の表示装置または前記第２の表示装置に表示し、
   前記通信装置に前記第１の表示装置と前記第２の表示装置とが接続されている場合に、前記第１の撮影画像と前記第２の撮影画像とを前記第１の表示装置に表示すると共に、前記画像を前記第２の表示装置に表示する、表示制御部と、
   を備える通信装置。
2. 前記各表示装置の通電状態に基づいて、前記通信装置に当該各表示装置が接続されているか否かを判断する、請求項１に記載の通信装置。
3. 前記画像は、デスクトップ画面またはアプリケーションプログラムのユーザインターフェースである、請求項１または２に記載の通信装置。
4. 撮像手段と、第１の表示装置と、第２の表示装置とに接続される通信装置に実行させる方法であって、
   前記撮像手段により撮影される第１の撮影画像のデータをネットワークを介して他拠点に送信するステップと、
   ネットワークを介して他拠点の第２の撮影画像のデータを受信するステップと、
   ネットワークを介して他拠点の表示装置に表示される画像のデータを受信するステップと、
   前記通信装置に前記第１の表示装置および前記第２の表示装置のいずれか一方のみが接続されている場合に、前記第１の撮影画像と前記第２の撮影画像と前記画像とを前記通信装置に接続されている前記第１の表示装置または前記第２の表示装置に表示するステップと、
   前記通信装置に前記第１の表示装置と前記第２の表示装置とが接続されている場合に、前記第１の撮影画像と前記第２の撮影画像とを前記第１の表示装置に表示すると共に、前記画像を前記第２の表示装置に表示するステップと
   を実行させる方法。
5. 前記各表示装置の通電状態に基づいて、前記通信装置に当該各表示装置が接続されているか否かを判断するステップを実行させる、請求項４に記載の方法。
6. 前記画像は、デスクトップ画面またはアプリケーションプログラムのユーザインターフェースである、請求項４または５に記載の方法。
7. 撮像手段と、第１の表示装置と、第２の表示装置とに接続される通信装置に実行させるプログラムであって、
   前記撮像手段により撮影される第１の撮影画像のデータをネットワークを介して他拠点に送信するステップと、
   ネットワークを介して他拠点の第２の撮影画像のデータを受信するステップと、
   ネットワークを介して他拠点の表示装置に表示される画像のデータを受信するステップと、
   前記通信装置に前記第１の表示装置および前記第２の表示装置のいずれか一方のみが接続されている場合に、前記第１の撮影画像と前記第２の撮影画像と前記画像とを前記通信装置に接続されている前記第１の表示装置または前記第２の表示装置に表示するステップと、
   前記通信装置に前記第１の表示装置と前記第２の表示装置とが接続されている場合に、前記第１の撮影画像と前記第２の撮影画像とを前記第１の表示装置に表示すると共に、前記画像を前記第２の表示装置に表示するステップと
   を実行させるプログラム。
8. 前記各表示装置の通電状態に基づいて、前記通信装置に当該各表示装置が接続されているか否かを判断するステップを実行させる、請求項７に記載のプログラム。
9. 前記画像は、デスクトップ画面またはアプリケーションプログラムのユーザインターフェースである、請求項７または８に記載のプログラム。