JP4500026B2

JP4500026B2 - 通信装置

Info

Publication number: JP4500026B2
Application number: JP2003318605A
Authority: JP
Inventors: 友樹大川; 真一白坂; 尚之浦松; 伸治高橋; 鉄弥勝股
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2003-09-10
Filing date: 2003-09-10
Publication date: 2010-07-14
Anticipated expiration: 2023-09-10
Also published as: US20050052528A1; JP2005086677A; US8457444B2

Description

本発明は、テレビ会議システム等の通信装置に関する。

複数の拠点間を通信装置で接続してテレビ会議を行うテレビ会議システムでは、通信装置内に設けたデータバッファのデータ蓄積量やＣＰＵ使用率などに応じて、データの送信元となる通信装置に送信停止信号を送信し、データの流通量を制御する所謂フロー制御が一般的に行われている（例えば、特許文献１参照）。このフロー制御によれば、制御中は不要なデータ転送が行われないため、データ伝送量の低減や、それに伴う通信装置の負荷低減が図れる。

ところで、従来のテレビ会議システムでは、接続するすべての拠点から会議参加者の画像などの動画像データが送信されていた。しかし、通信装置の画像表示装置（即ち、モニタ）の画面には、通常、接続するすべての拠点の画像が同じ状態で表示されることは少なく、例えば画像が表示されていない拠点からの動画像データの受信は不必要なデータ受信となっていた。

ここで従来のテレビ会議システムにおける動画像データの受信とモニタ画面の表示の関係について具体的に説明する。図１は、従来のテレビ会議システムの任意拠点におけるモニタ画面の表示例を示した図である。このテレビ会議システムでは、Ａ，Ｂ，Ｃ３拠点のテレビ会議において、通信装置のユーザーの選択により、接続する２拠点のうちいずれか一方の拠点の会議参加者の画像が表示できるようになっている。またテレビ会議システムのプログラムによって、所定の時間間隔で接続する２拠点の画像を順番に表示させることもできる。
特開平７−２８４０７８号公報（第４頁、第１図）

ところが、拠点Ｃの通信装置は、常にどちらか一方の拠点の画像しか表示していないのに、拠点Ａ、Ｂ両方からの動画像データを受信している。つまり、拠点Ａの会議参加者の画像を表示しているときの拠点Ｂからの動画像データの受信や、拠点Ｂの会議参加者の画像を表示しているときの拠点Ａからの動画像データの受信などが不必要なデータ伝送となっていた。

また、例えば、テレビ会議中に別のアプリケーションソフトウェアを起動して、モニタ画面上に会議参加者の画像以外の画像を表示させることがある。図２は、テレビ会議中に文書作成ソフトウェアを起動させた場合の画面表示例を示す図である。文書作成ソフトウェアのウインドウ（表示領域）が最前面に表示されたため、テレビ会議システムのウィンドウがほぼ完全に隠蔽されている。このような表示状態でも、拠点Ａ、Ｂ両方からの動画像データの受信が不必要なデータ転送となっていた。

接続拠点数が増加すればするほど、この不必要なデータ伝送が増加するため、伝送効率の低下や、通信装置の処理能力超過による遅延や画質低下、コリジョンの多発による通信遅延などが顕著となるという問題があった。

本発明が解決しようとする課題には、例えば、伝送効率の低下や、通信装置の処理能力超過による遅延や画質低下、コリジョンの多発による通信遅延などが顕著となるという問題を解決することが一例としてあげられる。

請求項１に記載の通信装置は、複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置された通信装置であって、接続された複数の拠点の通信装置から動画像データを受信することにより、前記複数の拠点の動画像をそれぞれ個別のウィンドウに表示し、複数の前記ウィンドウが階層状態で重なって画面に表示されるモニタを有し、前記モニタの画面構成に変化があった場合に画素毎に上位階層のウィンドウの動画像との重なりを判定して、前記複数の拠点の動画像がそれぞれ表示される各ウィンドウの表示領域の大きさの変化を判定し、前記複数の拠点の動画像のうち表示領域の大きさが減少する変化があった動画像の拠点に対し動画像データの解像度の低下を指示する制御コマンドを生成し、前記複数の拠点の動画像のうち表示領域が消滅する変化があった動画像の拠点に対し動画像データの送信停止を指示する制御コマンドを生成する、画面領域状態判定手段と、前記生成した制御コマンドをそれぞれ動画像データの送信側拠点に設置された通信装置に対して送信する制御コマンド送信手段と、を有することを特徴とする。

請求項２に記載の通信装置は、複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置された通信装置であって、接続された複数の拠点の通信装置から動画像データを受信することにより、前記複数の拠点の動画像をそれぞれ個別のウィンドウに表示し、複数の前記ウィンドウが階層状態で重なって画面に表示されるモニタを有し、前記モニタの画面構成に変化があった場合に画素毎に上位階層のウィンドウの動画像との重なりを判定して、上位階層のウィンドウにより隠蔽された動画像に対し、隠蔽している前記上位階層のウィンドウが閉じられる変化があった拠点に対し、動画像データの送信再開を指示する制御コマンドを生成する、画面領域状態判定手段と、前記生成した制御コマンドをそれぞれ動画像データの送信側拠点に設置された通信装置に対して送信する制御コマンド送信手段と、を有することを特徴とする。

請求項３に記載の通信装置は、複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置された通信装置であって、接続された複数の拠点の通信装置から動画像データを受信することにより、前記複数の拠点の動画像をそれぞれ個別のウィンドウに表示し、複数の前記ウィンドウが階層状態で重なって画面に表示されるモニタを有し、前記モニタの画面構成に変化があった場合に画素毎に上位階層のウィンドウの動画像との重なりを判定して、前記複数の拠点の動画像がそれぞれ表示される各ウィンドウの表示領域の大きさの変化を判定し、前記複数の拠点の動画像のうち表示領域の大きさが減少する変化があった動画像の拠点に対し動画像データのフレームレートの低下を指示する制御コマンドを生成し、前記複数の拠点の動画像のうち表示領域が消滅する変化があった動画像の拠点に対し動画像データの送信停止を指示する制御コマンドを生成する、画面領域状態判定手段と、前記生成した制御コマンドをそれぞれ動画像データの送信側拠点に設置された通信装置に対して送信する制御コマンド送信手段と、を有することを特徴とする。

以下、本発明の通信端末について図面を参照しながら詳細に説明する。なお、図面において、同一機能を有するものは同一符号を付与し、説明を省略する。

［実施の形態１］
はじめに、本発明の実施の形態１における通信装置について説明する。本発明の実施の形態１における通信装置は、接続する他の通信装置から動画像データを受信して画像をモニタに表示する際、表示領域の大きさの変化を検知して、動画像データの送信停止や動画像データの動画特性の変更など、動画像データの送信に係わる制御コマンドを動画像データの送信元となる通信装置へ送信する受信制御動作を行う。

図３は、本発明の実施の形態１における通信装置の概略構成を示す図である。通信装置１００は、動画像データの受信や操作入力を行う入力ブロック１０、受信した動画像データや、表示画面の画面構成情報、制御コマンドなどを記憶するためのメモリ２０、動画像データの再生や、画像の表示領域の変化の有無の判定を行う制御及び演算ブロック３０、画面表示に用いる静止画像データの出力や制御コマンドの送信を行う出力ブロック４０、画像表示を行うためのモニタ５０、で構成される。

更に、入力ブロック１０は、通信回線を介して動画像データを受信する画像データ受信装置１１、キーボードなどで構成されるユーザーインターフェース装置１２、を含む。

また、制御及び演算ブロック３０は、動画再生部３１、画面構成管理部３２、外部割り込み判定部３３、内部割り込み判定部３４、画面構成変更判定部３５、画面領域状態判定部３６、を含む。これら各部は、パーソナルコンピュータ等のＣＰＵ（中央処理装置）とＨＤＤ（ハードディスクドライブ）（いずれも図示省略）に格納されたプログラムにより実現される。また、通信装置１００で実行するテレビ会議も、この制御及び演算ブロック３０において、ＨＤＤに格納されたテレビ会議システム用プログラムをＣＰＵで実行することにより実現される。

動画再生部３１は、画像データ受信装置１１を介して受信した動画像データを再生する。再生動作によりメモリ２０には静止画像データが提供される。画面構成管理部３２は、モニタ５０に表示される画像の表示領域の構成、即ち画面構成を管理する。
例えば、テレビ会議システムの他に文書作成ソフトウェアが起動している場合、両方のウィンドウの前後関係や重なり順序などに基づく画面構成を画面構成情報として出力する。外部割り込み判定部３３は、ユーザーインターフェース装置１２からの入力を監視して、通信装置１００のユーザーからの外部割り込みを検知する。内部割り込み判定部３４は、テレビ会議システム用プログラムの内部割り込みを検知する。外部割り込み及び内部割り込みの詳細については後述する。

画面構成変更判定部３５は、割り込み処理により画面構成に変更が生じたか否かを判定する。画面領域状態判定部３６は、画面構成情報に基づいて、テレビ会議システムの画像（ウィンドウ）の表示領域に変化が有るか否かを判定する。また、変化が有る場合、動画像データの送信に係わる制御コマンドを生成して出力する。制御コマンドの詳細については後述する。

また、出力ブロック４０は、静止画像データをモニタ５０で表示可能に出力する画像表示出力装置４１、画面領域状態判定部３６から出力された制御コマンドを動画像データの送信元となる通信装置へ送信する制御コマンド送信装置４２、を含む。

次に、上記構成の通信装置１００の動画像データ受信制御動作について説明する。図４は、動画像データ受信制御動作の手順を示すフローチャートである。

通信装置１００は、通常の状態では、画像データ受信装置１１が接続する通信装置から受信した動画像データが動画再生部３１で再生され、静止画像データが画像表示出力装置４１からモニタ５０へ出力され、画像の表示が行われている。

この際、外部割り込み判定部３３と内部割り込み判定部３４は、割り込み処理の監視を行う（ステップＳ１０１）。

ここで、外部割り込み処理と内部割り込み処理について具体的に説明する。
外部割り込み処理としては、一例として通信装置１００のユーザーのキーボード入力などにより、テレビ会議システムの通常処理に優先して実行される処理がある。テレビ会議のウィンドウに表示される画像の表示領域が変化する割り込みとしては、例えば、ウィンドウのサイズ変更操作や、別のアプリケーションの起動操作、表示の切替えや入替えなどである。
図５及び図６は、外部割り込みにより画像の表示領域が変化する例を示す図である。これらの図はいずれも会議参加者の画像を表示するウィンドウを持つテレビ会議システムの画面表示例である。
図５は、ユーザーが手動でテレビ会議のウィンドウを縮小したため、表示領域が減少した例を示す。また、図６は、新たに起動した別のアプリケーションのウィンドウが最前面に表示されたため、テレビ会議のウィンドウが部分的に隠蔽され、表示領域が減少した例を示す。なお、ウィンドウは全体が隠蔽される場合もある。

次に、内部割り込み処理としては、一例として通信装置１００のテレビ会議システム用プログラムによって実行される割り込み処理がある。テレビ会議のウィンドウに表示される画像の表示領域が変化する割り込みとしては、例えば、複数の接続先（通信装置）の会議参加者の画像をタイマで自動的に切り替えるプログラムや、新規の会議参加者の画像を所定時間で優先的に表示させるプログラムなどがある。
図７〜図１０は、内部割り込みにより画像の表示領域が変化する例を示す図である。これらの図は、いずれも会議参加者の画像を表示するウィンドウを持つテレビ会議システムの画面表示例である。
図７は、テレビ会議システムのタイマ処理により、所定の時間間隔でメイン画像が切り替わったため、表示領域が増減した例を示す。例えば、拠点Ａの会議参加者の画像は、図７（ａ）ではメインエリアに表示されて表示領域が増加するが、図７（ｂ）及び図７（ｃ）及び図７（ｄ）では表示領域が減少する。

また、図８は、テレビ会議システムの優先順位処理により、画像の表示頻度に従って画像の大きさや表示位置の優先順位が決定され、表示領域が増減した例を示す。
会議中に表示頻度が高かった拠点Ｂの会議参加者の画像は、最前面に表示されて表示領域が増加するが、表示頻度の低かった拠点Ａの会議参加者の画像は背面に隠れて表示領域が減少する。

次に、図９は、テレビ会議システムが新たに会議に参加した通信装置を検知して画像の表示を切り替えたため、表示領域が増減した例を示す。例えば、新規に参加する拠点Ｅの会議参加者の画像の表示領域は（０から）増加するが、それまでメインエリアに表示されていた拠点Ａの画像の表示領域は消滅する。一方、拠点Ｂの画像の表示領域は変化しない。

次に、図１０は、テレビ会議システムが発言者または発言権を有する通信装置を検知して画像の表示を切り替えたため、表示領域が増減した例を示す。例えば、拠点Ａから拠点Ｂへ発言権が移動すると、それまでメインエリアに表示されていた拠点Ａの会議参加者の画像の表示領域は減少する。一方、拠点Ｂの画像の表示領域は増加する。発言権が再び拠点Ａに移動すると、表示領域も逆に変化する。

次に、フローチャートに戻って、割り込み処理が発生すると、外部割り込み判定部３３または内部割り込み判定部３４が割り込み処理を検知して画面構成変更判定部３５に通知する。画面構成変更判定部３５は、割り込み処理によりモニタ画面の画面構成が変化したか否かを判定する（ステップＳ１０２）。割り込み処理が発生しても画面構成が変化しない場合（即ち、モニタ画面の表示に影響を及ぼす割り込み処理でなかった場合）は、ステップＳ１０１に戻り、再び割り込み処理の監視を繰り返す。

一方、画面構成に変化があった場合、画面領域状態判定部３６は、対象となる画像（動画像データ）について表示領域の変化があるか否かを判定する。その際、まず対象となる動画像データの受信の有無を判定し（ステップＳ１０３）、受信中である場合はステップＳ１０４で表示領域の変化を判定し、受信していない場合はステップＳ１０５で表示領域の変化を判定する。いずれの場合も表示領域に変化がある場合は、画面領域状態判定部３６で制御コマンドを生成し（ステップＳ１０６）、制御コマンド送信装置４２から動画像データの送信元となる通信装置へこれを送信する（ステップＳ１０７）。制御コマンドは、動画像データの送信を停止したり、フレームレートや解像度を変更したりする命令であるため、送信元となる通信装置からのデータ伝送量が低減される。

なお、画面領域状態判定部３６は、画面構成管理部３２が出力する画面構成情報を、割り込み処理の前後で比較して表示領域の変化を判定するが、この詳細は後述する。また、表示領域の変化の程度により異なる制御コマンドを生成するが、これも詳細は後述する。なお、ステップＳ１０３からステップＳ１０７までの手順は、対象となる画像（動画像データ）すべてについて実行される。つまり、接続する通信装置の数と同じ回数だけの手順が繰り返され、生成された制御コマンドは対象となる通信装置へそれぞれ送信される。

ステップＳ１０３からステップＳ１０７までの手順を具体例で説明すると、任意の通信装置のモニタ画面において図６に示す画面構成の変化が生じた場合、拠点Ａからの動画像データについて、まず受信を確認する（ステップＳ１０３）。受信中であるのでステップＳ１０４に進み、表示領域の変化を判定する。
画面領域状態判定部３６は、拠点Ａの画像の表示領域が最前面に表示された別のウィンドウにより減少したことを把握して、制御コマンドを生成して（ステップＳ１０６）、拠点Ａの通信装置へ送信する（ステップＳ１０７）。

次に、拠点Ｂからの動画像データについて、まず受信を確認する（ステップＳ１０３）。受信中であるのでステップＳ１０４に進み、表示領域の変化を判定する。画面領域状態判定部３６は、拠点Ｂの画像の表示領域が変化していないことを把握して、制御コマンドを生成せずにステップＳ１０１へ戻る。

また、拠点Ｃからの動画像データについて、まず受信を確認する（ステップＳ１０３）。受信中であるのでステップＳ１０４に進み、表示領域の変化を判定する。画面領域状態判定部３６は、拠点Ｃの画像の表示領域が最前面に表示された別のウィンドウにより消滅したことを把握して、制御コマンドを生成し（ステップＳ１０６）、拠点Ｃの通信装置へ送信する（ステップＳ１０７）。更に拠点Ｄについても同様の手順で表示領域の変化の判定を行う。

また、ステップＳ１０３からステップＳ１０７までの手順をもう一つの具体例で説明すると、任意の通信装置の画面において図９に示す画面構成の変化が生じた場合、拠点Ａからの動画像データについて、まず受信を確認する（ステップＳ１０３）。受信中であるのでステップＳ１０４に進み、表示領域の変化を判定する。
画面領域状態判定部３６は、拠点Ａの画像の表示領域が減少したことを把握して、制御コマンドを生成して（ステップＳ１０６）、拠点Ａの通信装置へ送信する（ステップＳ１０７）。同様に拠点Ｂ、Ｃ、Ｄについても判定を行う。

次に、拠点Ｅからの動画像データについて、まず受信を確認する（ステップＳ１０３）。割り込み処理が発生した時点では、まだ拠点Ｅからの動画像データは受信していないのでステップＳ１０５に進み、表示領域の変化を判定する。
画面領域状態判定部３６は、拠点Ｅの画像の表示領域が新たに生じたことを把握して、動画像データの送信開始を要求する制御コマンドを生成し（ステップＳ１０６）、拠点Ｅの通信装置へ送信する（ステップＳ１０７）。

なお、割り込み処理が発生しても画面構成が変化しない場合もあれば、画面構成が変化してもテレビ会議のウィンドウの表示領域には変化が生じない場合もある。そのような場合は、制御コマンドの生成は行われない。

次に、表示領域の変化の判定処理について詳細に説明する。
図１１は、モニタ画面上の画面構成の概念を説明する図である。画面構成管理部３２はモニタ画面上に表示されるすべての画像について、画像が表示されるか否か、画像の大きさに対して実際の表示領域がどの程度になるかなどの画面構成を把握する。従って、割り込み処理の前後の画面構成情報を比較すれば、各画像について表示領域の変化が判定できる。この判定は画面領域状態判定部３６が行う。

表示領域の変化の判定に用いる画面構成情報は、画面管理番号、画面階層順位、画面開始座標、画面領域サイズ、透過画素の有無、の５つで構成される。ここで、画面階層順位とは、複数の画像を管理するため、ＸＹ座標の２次元の画像をＸＹＺ座標の３次元で管理（レイヤ管理）する際のＺ軸方向の重なり順位である。図１１に示すように、階層順位Ｚが大きいほど画像が最前面に近いことを表す。

また、透過画素の有無とは、画面表示処理の際、自らより下位の階層の表示を見せる画素が有るか否かの情報である。図１２は、透過画素の有無による表示の差異を示す図である。図１２（ａ）の画面表示では最前面の画像に透過画素は含まれていないが、図１２（ｂ）の画面表示では最前面の画像内に透過画素が含まれている。

ここで、画面管理番号Ｎｏ．０からＮｏ．Ｎ−１のＮ個の画像について、それらの表示領域をＡ（０）からＡ（Ｎ−１）とし、対象とする画像（相手先画面領域）の画面管理番号をＮｏ．Ｉとすると、Ｎｏ．Ｉの画像が、モニタに出力される静止画データ上で表示されるか否かは、Ｎｏ．Ｉの画像より上位の階層順位にある画像の表示領域の総和Ｓが、Ｎｏ．Ｉの表示領域Ａ（Ｉ）を覆い尽くしているか否かで判定できる。

図１３は、画面上の複数の画像のうち、対象とする画像が表示されるか否かの判定を概念的に説明する図である。図に示すように、Ｓ∨Ａ（Ｉ）＝Ｓである場合、Ｎｏ．１の画像は表示されない。また、Ｓ∨Ａ（Ｉ）＝Ｓ＋Ａ（Ｉ）−（Ｓ∧Ａ（Ｉ））である場合、Ｎｏ．１の画像は一部表示される。さらに、Ｓ∨Ａ（Ｉ）＝Ｓ＋Ａ（Ｉ）である場合、Ｎｏ．１の画像は完全に表示される。

なお、Ｓ∨Ａ（Ｉ）の比較判定は、Ａ（Ｉ）を構成するすべての画素について、画素の座標が上位階層の画像の領域内にあるか領域外にあるかを判定すればよい。具体的に説明すると、Ａ（Ｉ）の調査対象画素を（ｘ（Ｉ）、ｙ（Ｉ））とすると、開始座標（Ｓｘ（Ｉ）、Ｓｙ（Ｉ））、幅Ｗ（Ｉ）、高さＨ（Ｉ）の表示領域Ａ（Ｉ）の調査対象画素は、Ｘ方向が、Ｓｘ（Ｉ）≦ｘ（Ｉ）＜Ｓｘ（Ｉ）＋Ｗ（Ｉ）、Ｙ方向が、Ｓｙ（Ｉ）≦ｙ（Ｉ）＜Ｓｙ（Ｉ）＋Ｈ（Ｉ）の範囲となる。

これが上位の階層順位Ｉ＜ｉ＜Ｎについて、Ｓｘ（ｉ）≦ｘ（Ｉ）＜Ｓｘ（ｉ）＋Ｗ（ｉ）∧Ｓｙ（ｉ）≦ｙ（Ｉ）＜Ｓｙ（ｉ）＋Ｈ（ｉ）であるか否かを調査する。図１４は、比較する２つの画像について、表示されるか否かの画素ごとの判定を概念的に説明する図である。画素ごとに判定することにより、対象となる画像の表示領域が定量的に把握できる。従って、これを割り込み処理の前後で比較することにより、画像の表示領域の変化を定量的に判定できる。

次に、画像の表示領域の変化の程度と制御コマンドの対応関係について具体的に説明する。
例えば、任意の通信装置のモニタ画面において図６に示す画面構成の変化が生じた場合、拠点Ａの会議参加者の画像の表示領域は変化前の約６０％に低下する。そのため、変化前と同じ品位の動画像データを受信する必要性はないと考えられるので、フレームレートや解像度を落とした動画像データを送信させることにより、データ伝送量の低減が図れる。
一方、拠点Ｃの画像はすべて消去されているので（即ち、０％に低下）、この場合は動画像データの送信を停止させる方がよい。このように、画像の表示領域の変化の程度に応じて、制御コマンドを適宜変化させるようにしておけば、データ伝送量の適切な低減が図れる。図１５は、表示領域の変化の割合と制御コマンドの対応例を示す表である。
図１５（ａ）のように、表示領域の変化の割合に比例した制御コマンドとしてもよいし、図１５（ｂ）のように、表示領域の変化に範囲を設けた制御コマンドとしてもよい。
なお、図に示すような対応関係は参照テーブルとして、画面領域状態判定部３６が参照可能なメモリ２０内の領域に格納しておくことが好ましい。

以上のように、通信装置１００は接続するその他の通信装置からの動画像データの受信において不必要なデータ受信を行わないため、データ伝送量が低減される。図１６及び図１７は、上記の通信装置１００の動画像データ受信制御動作例を概念的に示す図である。図１６では、不必要な動画像データの受信が停止される。テレビ会議システムの画面表示が切り替わり、表示が行われなくなった画像の動画像データを送信している通信装置は、データ送信を停止する。

また、図１７では、受信する動画像データのデータ量が削減される。テレビ会議システムの画面の表示領域が減少したので、表示領域が減少した画像の動画像データを送信している通信装置は、フレームレートや解像度を低下させたデータを送信する。

ところで、例えば、図６においてテレビ会議システムのウィンドウを隠蔽している別のウィンドウが閉じられたり、図７においてサブエリアにあった画面がメインエリアに表示されたりする場合は、送信を停止していた動画像データの送信再開や、低下させていたフレームレートや解像度の復元を指示する制御コマンドが生成され、接続する当該通信装置へ送信される。

なお、以上の動画像データ受信制御動作において、画面構成管理部３２で行う画面構成の把握は、コンピュータのオペレーティングシステム（ＯＳ）が提供するアプリケーション間通信機能など、同等の機能を利用してもかまわない。

［実施の形態２］
次に、本発明の実施の形態２における通信装置について説明する。本発明の実施の形態２における通信装置は、カメラで撮影した動画像データを接続する他の通信装置へ送信する際、動画像データを受信する通信装置から、画像の表示領域の変化に基づいて生成された制御コマンドを受信し、制御コマンドに応じて動画像データの送信停止や動画像データの動画特性の変更などの送信制御動作を行う。

図１８は、本発明の実施の形態２における通信端末の概略構成を示す図である。通信装置２００は、被写体を撮影して動画像データの生成を行うカメラ６０、動画像データの取得や制御コマンドの受信を行う入力ブロック１０、取得した動画像データや、受信した制御コマンド、動画特性変換後の動画像データなどを記憶するためのメモリ２０、制御コマンドの解析や動画像データの動画特性の変換処理などを行う制御及び演算ブロック３０、動画特性変換後の動画像データの送信を行う出力ブロック４０、で構成される。

さらに、入力ブロック１０は、カメラ６０で撮影した動画像データを取得する動画像データ取得装置１３、通信回線を介して制御コマンドを受信する制御コマンド受信装置１４、を含む。

また、制御及び演算ブロック３０は、動画制御判断部３７、動画特性変換部３８、を含む。これら各部は、パーソナルコンピュータ等のＣＰＵ（中央処理装置）とＨＤＤ（いずれも図示省略）に格納されたプログラムにより実現される。また、通信装置２００で実行するテレビ会議も、この制御及び演算ブロック３０において、ＨＤＤに格納されたテレビ会議システム用プログラムをＣＰＵで実行することにより実現される。

動画制御判断部３７は、制御コマンド受信装置１４で受信してメモリ２０に格納された制御コマンドの指示内容を解析する。動画特性変換部３８は、動画制御判断部３７で解析した制御コマンドの内容に基づいて、メモリ２０に格納されている動画像データの動画特性を変換する。動画特性の変換とは、具体的には、動画像データのフレームレートの増減、解像度の変更、圧縮率の増減、などの処理である。
また、出力ブロック４０は、動画特性変換後の動画像データを接続する通信装置へ送信する画像データ送信装置４３を含む。

次に、上記構成の通信装置２００の動画像データ送信制御動作について説明する。図１９は、本発明の実施の形態２における通信装置の動画像データ送信制御動作の手順を示すフローチャートである。
通信装置２００は、通常の状態では、カメラ６０で撮影した動画像データを画像データ送信装置４３から、接続する通信装置へ送信している。この際、制御コマンド受信装置１４は制御コマンドの受信を監視する（ステップＳ２０１）。

次に、制御コマンドを受信すると、動画制御判断部３７が制御コマンドの解析を行い、制御コマンドの送信元、送信依頼か送信停止依頼であるか等の内容、動画像データの動画特性の変更内容、を把握する（ステップＳ２０２）。制御コマンドを複数の通信装置から受信する場合、制御コマンドの解析により、各制御コマンドの送信元となる通信装置を特定する（ステップＳ２０３）。そして、動画特性変換部３８は、特定された通信装置ごとに動画特性の変換処理を行った動画像データを生成する（ステップＳ２０４）。

次に、画像データ送信装置４３は、特定された通信装置のそれぞれについて、当該通信装置向けの動画特性変換済みの動画像データが存在するか否かを判定し（ステップＳ２０５）、動画特性変換済みの動画像データが存在する場合、制御コマンドが送信依頼であったと判定して、動画特性変換済みの動画像データを当該通信装置へ送信する（ステップＳ２０６）。一方、動画特性変換済みの動画像データが存在しない場合、制御コマンドは送信停止依頼であったと判定して、これまで行ってきた動画像データの送信を停止する（ステップＳ２０７）。

ステップＳ２０４からステップＳ２０７までの手順を具体例で説明すると、例えば、拠点Ｂの通信装置のモニタ画面上で、図６に示すような画面構成の変化が生じた場合、拠点Ａの画像の表示領域は減少しているので、拠点Ｂからはフレームレートの低下させた動画像データを要求する制御コマンドが拠点Ａに送信され、拠点Ａの通信装置２００はフレームレートを低下させた動画像データを拠点Ｂへ送信する。

また、拠点Ｃの通信装置のモニタ画面上で、図８に示すような画面構成の変化が生じている場合、ここでも拠点Ａの画像の表示領域は減少しているので、拠点Ｃからは解像度を低下させた動画像データを要求する制御コマンドが拠点Ａに送信され、拠点Ａの通信装置２００は解像度を低下させた動画像データを拠点Ｃへ送信する。

さらに、拠点Ｄの通信装置のモニタ画面上で、図９に示すような画面構成の変化が生じている場合、ここでは拠点Ａの画像の表示領域が消滅しているので、拠点Ｄからは動画像データの送信停止を要求する制御コマンドが拠点Ａに送信され、拠点Ａの通信装置２００は動画像データの拠点Ｄへの送信を停止する。

以上のように、拠点Ａの通信装置２００は接続するその他の通信装置への動画像データの送信において不必要なデータ送信を行わないため、データ伝送量が低減される。図２０は、上記の拠点Ａの通信装置２００の動画像データ送信制御動作例を概念的に示す図である。接続する通信装置の画面の表示状態の変化に応じて、動画像データの送信量が低減されたり、動画像データの送信が停止されたりする。

ところで、例えば、図６においてテレビ会議システムのウィンドウを隠蔽している別のウィンドウが閉じられたり、図７においてサブエリアにあった画面がメインエリアに表示されたりする場合は、送信を停止していた動画像データの送信再開や、低下させていたフレームレートや解像度の復元を指示する制御コマンドが接続する各通信装置から送信される。通信装置２００はそれらの制御コマンドを受信して動画像データの送信制御動作を行う。

［実施の形態３］
次に、本発明の実施の形態３における通信装置について説明する。本発明の実施の形態３における通信装置は、実施の形態２の通信装置と比較して、動画像データの動画特性の変更処理がフレームレートの増減に限定されるという点が異なる。

図２１は、本発明の実施の形態３における通信端末の概略構成を示す図である。通信装置３００は、実施の形態２における通信装置２００と比較して、動画特性変換部３８が動画フレーム切り出し部３９に置換されている点が異なる。その他の構成は通信装置２００と同じであるので説明を省略する。

動画フレーム切り出し部３９は、動画制御判断部３７で判断した制御コマンドの内容に基づいて、メモリ２０に格納されている動画像データの動画特性をフレームレートの切り出しによって変換する。

次に、上記構成の通信装置３００の動画像データ送信制御動作について説明する。実施の形態２の通信装置２００と比較して、図１９のフローチャートのステップＳ２０４において、動画像データの動画特性の変換をフレームレートの切り出しによってのみ行う点が異なる。その他の手順は実施の形態２と同じであるので説明を省略する。

図１９のフローチャートの、ステップＳ２０４からステップＳ２０７までの手順を具体例で説明すると、例えば、拠点Ｂの通信装置のモニタ画面上で、図６に示すような画面構成の変化が生じた場合、拠点Ａの画像の表示領域は減少しているので、拠点Ｂからはデータ量を低減させた動画像データの送信を要求する制御コマンドが拠点Ａに送信され、拠点Ａの通信装置３００はフレームレートを低下させた動画像データを拠点Ｂへ送信する。

また、拠点Ｃの通信装置のモニタ画面上で、図８に示すような画面構成の変化が生じている場合、ここでも拠点Ａの画像の表示領域は減少しているので、拠点Ｃからはデータ量を低減させた動画像データの送信を要求する制御コマンドが拠点Ａに送信され、拠点Ａの通信装置３００はフレームレートをより低下させた動画像データを拠点Ｃへ送信する。

さらに、拠点Ｄの通信装置のモニタ画面上で、図９に示すような画面構成の変化が生じている場合、ここでは拠点Ａの画像の表示領域が消滅しているので、拠点Ｄからは動画像データの送信停止を要求する制御コマンドが拠点Ａに送信され、拠点Ａの通信装置３００は動画像データの拠点Ｄへの送信を停止する。

以上のように、拠点Ａの通信装置３００は接続するその他の通信装置への動画像データの送信において不必要なデータ送信を行わないため、データ伝送量が低減される。図２２は、上記の拠点Ａの通信装置３００の動画像データ送信制御動作例を概念的に示した図である。接続する通信装置の画面の表示状態の変化に応じて、動画像データのフレームレートが低減されたり、動画像データの送信が停止されたりする。

ところで、例えば、図６においてテレビ会議システムのウィンドウを隠蔽している別のウィンドウが閉じられたり、図７においてサブエリアにあった画面がメインエリアに表示されたりする場合は、送信を停止していた動画像データの送信再開や、低下させていたフレームレートの復元を指示する制御コマンドが接続する各通信装置から送信される。通信装置３００はそれらの制御コマンドを受信して、動画像データの送信再開やフレームレートの復元を行う。

なお、以上の実施の形態１〜３において、複数の通信装置間の接続は、専用線を用いて２装置同士を直接接続する形態（所謂ピアツーピア）であっても、ネットワークを介して接続する形態のどちらであってもかまわない。

また、本発明に係る通信装置は、実施の形態１の通信装置と実施の形態２の通信装置の両方の機能を兼ね備えた通信装置、即ち、撮影手段としてのカメラと、画像表示手段としてのモニタと、動画像データの送受信手段と、表示領域変化検知手段と、制御情報の送受信手段と、動画像特性変更手段と、を備えた通信装置においても適用可能であることは言うまでもない。
このような通信装置を用いれば、自装置で生成した動画像データを接続する他の通信装置へ送信しながら、同時に、接続する他の通信装置から送信される動画像データを受信することができる。

以上述べたように、本発明に係る実施の形態によれば、複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置された通信装置であって、接続された複数の拠点の通信装置から動画像データを受信することにより、前記複数の拠点の動画像をそれぞれ個別のウィンドウに表示し、複数の前記ウィンドウが階層状態で重なって画面に表示されるモニタを有し、前記モニタの画面構成に変化があった場合に画素毎に上位階層のウィンドウの動画像との重なりを判定して、前記複数の拠点の動画像がそれぞれ表示される各ウィンドウの表示領域の大きさの変化を判定し、前記複数の拠点の動画像のうち表示領域の大きさが減少する変化があった動画像の拠点に対し動画像データのフレームレートまたは解像度の低下を指示する制御コマンドを生成し、前記複数の拠点の動画像のうち表示領域が消滅する変化があった動画像の拠点に対し動画像データの送信停止を指示する制御コマンドを生成する、画面領域状態判定手段と、前記生成した制御コマンドをそれぞれ動画像データの送信側拠点に設置された通信装置に対して送信する制御コマンド送信手段と、を有する（請求項１，３）。
また本発明に係る他の実施の形態によれば、複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置された通信装置であって、接続された複数の拠点の通信装置から動画像データを受信することにより、前記複数の拠点の動画像をそれぞれ個別のウィンドウに表示し、複数の前記ウィンドウが階層状態で重なって画面に表示されるモニタを有し、前記モニタの画面構成に変化があった場合に画素毎に上位階層のウィンドウの動画像との重なりを判定して、上位階層のウィンドウにより隠蔽された動画像に対し、隠蔽している前記上位階層のウィンドウが閉じられる変化があった拠点に対し、動画像データの送信再開を指示する制御コマンドを生成する、画面領域状態判定手段と、前記生成した制御コマンドをそれぞれ動画像データの送信側拠点に設置された通信装置に対して送信する制御コマンド送信手段と、を有することを特徴とする（請求項２）。
これにより、画像の表示領域の変化を検知して、動画像データの送信を停止させたり、送信する動画像データのデータ量を低減させたりする制御情報を、動画像データの送信元となる通信装置へ送信することにより、不必要な動画像データの受信が制御され、データ伝送量を低減できる。
また、動画像データの送信先となる通信装置から受信した制御情報に基づいて、動画像データの送信を停止したり、動画像データのデータ量を低減して送信したりすることにより、不必要な動画像データの送信が制御され、データ伝送量を低減できる。

従来のテレビ会議システムの任意拠点におけるモニタ画面の表示例を示す図である。テレビ会議中に文書作成ソフトウェアを起動させた場合の画面表示例を示す図である。本発明の実施の形態１における通信端末の概略構成を示す図である。本発明の実施の形態１における通信装置の、動画像データ受信制御動作の手順を示すフローチャートである。割り込みにより画像の表示領域が変化する例を示す図である。割り込みにより画像の表示領域が変化する例を示す図である。割り込みにより画像の表示領域が変化する例を示す図である。割り込みにより画像の表示領域が変化する例を示す図である。割り込みにより画像の表示領域が変化する例を示す図である。割り込みにより画像の表示領域が変化する例を示す図である。モニタ画面上の画面構成の概念を説明する図である。透過画素の有無による表示の差異を示す図である。画面上の複数の画像のうち、対象とする画像が表示されるか否かの判定を概念的に説明する図である。比較する２つの画像について、表示されるか否かの画素ごとの判定を概念的に説明する図である。表示領域の変化の割合と制御コマンドの対応例を示す表である。本発明の実施の形態１における通信端末の、動画像データ受信制御動作例を概念的に示す図である。本発明の実施の形態１における通信端末の、動画像データ受信制御動作例を概念的に示す図である。本発明の実施の形態２における通信端末の概略構成を示す図である。本発明の実施の形態２における通信装置の、動画像データ送信制御動作の手順を示すフローチャートである。本発明の実施の形態２における通信装置の、動画像データ送信制御動作例を概念的に示す図である。本発明の実施の形態３における通信端末の概略構成を示す図である。本発明の実施の形態３における通信装置の、動画像データ送信制御動作例を概念的に示す図である。

符号の説明

１１画像データ受信装置
１４制御コマンド受信装置
３２画面構成管理部
３３外部割り込み判定部
３４内部割り込み判定部
３５画面構成変更判定部
３６画面領域状態判定部
３７動画制御判断部
３８動画特性変換部
３９動画フレーム切り出し部
４２制御コマンド送信装置
４３画像データ送信装置

Claims

複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置された通信装置であって、接続された複数の拠点の通信装置から動画像データを受信することにより、前記複数の拠点の動画像をそれぞれ個別のウィンドウに表示し、複数の前記ウィンドウが階層状態で重なって画面に表示されるモニタを有し、
前記モニタの画面構成に変化があった場合に画素毎に上位階層のウィンドウの動画像との重なりを判定して、前記複数の拠点の動画像がそれぞれ表示される各ウィンドウの表示領域の大きさの変化を判定し、前記複数の拠点の動画像のうち表示領域の大きさが減少する変化があった動画像の拠点に対し動画像データの解像度の低下を指示する制御コマンドを生成し、前記複数の拠点の動画像のうち表示領域が消滅する変化があった動画像の拠点に対し動画像データの送信停止を指示する制御コマンドを生成する、画面領域状態判定手段と、
前記生成した制御コマンドをそれぞれ動画像データの送信側拠点に設置された通信装置に対して送信する制御コマンド送信手段と、
を有することを特徴とする通信装置。
複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置された通信装置であって、接続された複数の拠点の通信装置から動画像データを受信することにより、前記複数の拠点の動画像をそれぞれ個別のウィンドウに表示し、複数の前記ウィンドウが階層状態で重なって画面に表示されるモニタを有し、
前記モニタの画面構成に変化があった場合に画素毎に上位階層のウィンドウの動画像との重なりを判定して、上位階層のウィンドウにより隠蔽された動画像に対し、隠蔽している前記上位階層のウィンドウが閉じられる変化があった拠点に対し、動画像データの送信再開を指示する制御コマンドを生成する、画面領域状態判定手段と、
前記生成した制御コマンドをそれぞれ動画像データの送信側拠点に設置された通信装置に対して送信する制御コマンド送信手段と、
を有することを特徴とする通信装置。
複数の拠点と接続してテレビ会議を行うテレビ会議システムの拠点に設置された通信装置であって、接続された複数の拠点の通信装置から動画像データを受信することにより、前記複数の拠点の動画像をそれぞれ個別のウィンドウに表示し、複数の前記ウィンドウが階層状態で重なって画面に表示されるモニタを有し、
前記モニタの画面構成に変化があった場合に画素毎に上位階層のウィンドウの動画像との重なりを判定して、前記複数の拠点の動画像がそれぞれ表示される各ウィンドウの表示領域の大きさの変化を判定し、前記複数の拠点の動画像のうち表示領域の大きさが減少する変化があった動画像の拠点に対し動画像データのフレームレートの低下を指示する制御コマンドを生成し、前記複数の拠点の動画像のうち表示領域が消滅する変化があった動画像の拠点に対し動画像データの送信停止を指示する制御コマンドを生成する、画面領域状態判定手段と、
前記生成した制御コマンドをそれぞれ動画像データの送信側拠点に設置された通信装置に対して送信する制御コマンド送信手段と、
を有することを特徴とする通信装置。