JP3710199B2

JP3710199B2 - Communication apparatus and communication method

Info

Publication number: JP3710199B2
Application number: JP10017196A
Authority: JP
Inventors: 宏一良田中; 博紀米澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-04-22
Filing date: 1996-04-22
Publication date: 2005-10-26
Anticipated expiration: 2016-04-22
Also published as: JPH09289635A

Description

【０００１】
【発明の属する技術分野】
本発明は通信装置及び通信方法に関する。
【０００２】
【従来の技術】
複数のカメラによる遠隔監視システムは、従来、数台のビデオ・カメラ、それらの映像をアナログ合成をする合成機からなり、比較的小規模なビル内で利用されるもので、局所監視システムと呼ばれている。このような局所監視システムに対し、複数のカメラをＬＡＮ（ローカル・エリア・ネットワーク）や公衆ディジタル回線ＩＳＤＮなどのディジタル・ネットワークに接続し、より柔軟で、より多くの、より遠くのカメラを接続できるようにした遠隔監視システムが、提案されている。
【０００３】
【発明が解決しようとする課題】
最近の遠隔監視システムの中には、監視端末にパーソナル・コンピュータ又はワークステーションを利用し、グラフィカル・ユーザ・インターフェース（ＧＵＩ）による映像表示とシステム制御を実現するものがある。監視端末にコンピュータのＧＵＩを利用することで、装置に習熟してない人でも扱いが簡単になる利点がある。特に、モニタ上にカメラ映像と同時に、当該カメラ映像を出力しているカメラの制御パネルを表示することにより操作性の向上を可能にする。
【０００４】
しかしながら、従来のこの種のシステムの映像の表示方法としては、複数のカメラ映像の一覧表示と、特定のカメラ映像の詳細表示等、考えられるが表示動作にかかる操作性、システムの状態の識別性については必ずしも良好とはいえず、改善の余地があった。
【０００５】
本発明はこのような不具合を解消し、より柔軟な運用が可能なＵＩ（ユーザーインターフェイス）を持つ通信装置及び通信方法を提供することを目的とし、特に、必要に応じて複数の通信装置から発生する映像の一覧表示と、特定のカメラ映像の詳細表示を切り替えることができる通信装置を目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明は、複数の通信端末の画像発生部が発生する画像を受信する受信手段と、前記受信手段により受信した画像をマルチ画像として表示するよう表示部を制御する表示制御手段と、前記マルチ画像を構成する画像から任意の画像を指示する指示手段と、前記指示手段による指示動作がダブルクリックによる第一の指示動作の場合、前記指示手段により指示された画像を前記表示部へ拡大して表示するよう表示形態を制御し、前記指示手段による指示動作がシングルクリックによる第二の指示動作の場合、前記指示手段により指示された画像を発生する通信端末を制御対象に設定する処理手段と、前記指示手段による指示動作が第一の指示動作の場合、該指示された画像を発生する通信端末以外の端末との通信を中止するよう制御する制御手段とを有することを特徴とする通信装置を提供する。
【０００７】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を詳細に説明する。
【０００８】
図１は、本発明の一実施例の全体の概略構成ブロック図を示す。１０は映像データ及びカメラ制御情報（ステータス情報も含む。）をディジタル伝送するディジタル・ネットワークであり、ｎ台の映像送信端末１２（１２−１〜１２−ｎ）が接続している。各映像送信端末１２（１２−１〜１２−ｎ）には、カメラ制御装置１４（１４−１〜１４−ｎ）を介してビデオ・カメラ１６（１６−１〜１６−ｎ）が接続されている。カメラ制御装置１４（１４−１〜１４−ｎ）は、端末１２（１２−１〜１２−ｎ）からの制御信号に従い、接続するビデオ・カメラ１６（１６−１〜１６−ｎ）のパン、チリト、ズーム、フォーカス及び絞り等を制御する。また、ビデオ・カメラ１６（１６−１〜１６−ｎ）はカメラ制御装置１４（１４−１〜１４−ｎ）から電源供給されており、カメラ制御装置１４は、外部制御信号に従い、ビデオ・カメラ１６（１６−１〜１６−ｎ）の電源オン／オフを制御することができる。
【０００９】
ネットワーク１０にはまた、映像送信端末１２（１２−１〜１２−ｎ）からネットワーク１０に送出された映像情報を受信し、表示する映像受信端末（監視端末）１８（１８−１〜１８−ｍ）が接続している。各映像受信端末１８（１８−１〜１８−ｍ）には、モニタ・ディスプレイ（以下、モニタと略す。）２０（２０−１〜２０−ｍ）が接続する。
【００１０】
映像送信端末１２（１２−１〜１２−ｎ）は、接続するビデオ・カメラ１６（１６−１〜１６−ｎ）の出力映像をＨ．２６１等所定の圧縮方式で圧縮し、ネットワーク１０を介して、映像要求元の映像受信端末１８又は全ての映像受信端末１８に送信する。映像を受信した映像受信端末１８は、受信した映像をモニタ２０の映像表示領域に表示する。映像受信端末１８は、ネットワーク１０、映像送信端末１２及びカメラ制御装置１４を介して任意のカメラ１６の種々のパラメータ（撮影方位、撮影倍率、フォーカス及び絞りなど）と共に、電源供給（オンからオフ及びオフからオン）を制御できる。これらの詳細は後述する。
【００１１】
映像送信端末１２にモニタを設け、圧縮映像を伸長する映像伸長装置を設けることで、映像受信端末とすることができる。同様に、映像受信端末１８にカメラ制御装置１４及びビデオ・カメラ２０を接続し、映像圧縮装置を設けることで、映像送信端末とすることができる。映像送信又は映像受信に必要なソフトウエアを装備する必要があることはいうまでもない。
【００１２】
図２は、映像送信端末１２の概略構成ブロック図を示す。２２は全体を制御するＣＰＵ、２４は主記憶、２６はフロッピーディスク又はＣＤ−ＲＯＭなどの取外し可能な外部記憶装置、２８はハードディスクなどの二次記憶装置、３０はポインティング・デバイスとしてのマウス、３２はキーボード、３４はカメラ制御装置１４を接続し、カメラ制御信号を送受信するＩ／Ｏボード、３６はビデオ・カメラ１６のビデオ出力信号を取り込むビデオ・キャプチャ装置である。本実施例のビデオ・キャプチャ装置３６は、アナログ・ビデオ信号をディジタル信号に変換するＡ／Ｄ変換機能と、情報圧縮する映像圧縮機能を具備する。３８は、映像情報をモニタ４０の画面上に表示するビデオ・ボード、４２はネットワーク・インターフェース、４４はデバイス２２〜３８，４２を相互に接続するシステム・バスである。
【００１３】
映像送信専用にする場合、ビデオ・ボード３８とモニタ４０を省略することもある。
【００１４】
このように、映像送信端末は、コンピュータに他ならない。以上の構成で、端末１２は、ネットワークを経由して遠隔地の監視端末に映像を伝送すると共に、監視端末からのカメラ制御信号を受け、カメラ１６を制御する。
【００１５】
図３は映像受信端末（監視端末）１８の概略構成ブロック図を示す。１２２は全体を制御するＣＰＵ、１２４は主記憶、１２６はフロッピーディスク又はＣＤ−ＲＯＭなどの取外し可能な外部記憶装置、１２８はハードディスクなどの二次記憶装置、１３０はポインティング・デバイスとしてのマウス、１３２はキーボード、１３８は映像情報をモニタ１４０の画面上に表示するビデオ・ボード、１４２はネットワーク・インターフェース、１４４は圧縮映像情報を伸長する圧縮デコーダ、１４６はデバイス１２２〜１３２，１３８，１４２，１４４を相互に接続するシステム・バスである。
【００１６】
映像受信端末１８は、カメラを制御しカメラ映像を取り込む機能が無い事と、圧縮映像を伸長するデコーダ１４４を具備することと、システム・ソフトウエアの相違を除いて、図２に示す映像送信端末１２の構成と同じである。映像受信端末１８の幾つか又は全部は、任意の又はカメラ制御を許可された映像送信端末１２にカメラ制御信号を発信でき、このカメラ制御信号を受けた映像送信端末１２は、そのカメラ制御信号の内容に応じてカメラ１６を制御すると共に、そのカメラ１６の現在の状態を返送する。監視端末は、受信した状態信号に従い、該当するカメラの現状をモニタに表示する。監視端末は同時に、映像送信端末から送られてくる映像データを受信し伸長して、モニタ画面にリアルタイムに表示する。
【００１７】
図４は、本実施例のソフトウエア構成を示す。映像受信端末（監視端末）１８には、ネットワーク１０に接続する映像送信端末１２に接続するカメラ１６を遠隔制御するカメラ制御クライアント（ソフトウエア）５０と、映像送信端末１２からの圧縮映像データを伸長し、モニタ画面に表示する映像受信ソフトウエア５２と、各カメラ１６の配置位置と現在の状態を地図上にカメラ・シンボルとして表示すると共に、各カメラ１６を操作する操作パネルを表示するマップ管理ソフトウエア５４がインストールされる。
【００１８】
映像受信ソフトウエア５２は、ネットワーク１０に接続された全ての映像送信端末１２に接続するカメラ１６を管理するソフトウエアでもあり、各カメラ１６の固定情報及び種々の変動情報（例えば、カメラ名、カメラ１６が接続されているコンピュータのホスト名、パン／チルト及びズームなどのカメラ状態、制御可能か否か、現在どのカメラ１６を制御中か、並びに、どのカメラ１６の映像を表示中かなど）を保有する。これらの情報は、カメラ制御クライアント５０及びマップ管理ソフトウエア５４にも供給され、カメラ・シンボルの表示変更などに利用される。
【００１９】
映像送信端末１２には、カメラ制御クライアント５０からの要求に従いカメラ制御装置１４を介してカメラ１６を制御し、カメラ１６の現状を要求元に通知するカメラ制御サーバ５６と、カメラ１６の出力映像を圧縮し、所定形式でネットワーク１０を介して要求元に送信する映像送信ソフトウエア５８がインストールされる。
【００２０】
図５は、映像受信端末１８のモニタ画面の表示内容の一例である。６０はカメラ１６が配置されるオフィス、店舖及び倉庫等のレイアウトを示す地図ウインドウであり、複数の地図６０ａ，６０ｂ，６０ｃ，６０ｄを切り換えできるようになっている。表示できる地図６０ａ，６０ｂ，６０ｃ，６０ｄの枚数は、システムの性能に依存し、特に制限はない。各地図６０ａ，６０ｂ，６０ｃ，６０ｄにはタグが付けられており、このタグをマウス・ポインタでクリックすることにより、選択されたタグのついた地図が前面に表示される。前面に表示される地図には、そこに配置される各カメラを示すカメラ・アイコン（カメラ・シンボル）６２ａ，６２ｂ，６２ｃ，６２ｄも表示される。カメラ・アイコン６２ａ，６２ｂ，６２ｃ，６２ｄは、対応するカメラ１６が向いている方向に向けて表示される。
【００２１】
６４は複数の映像表示領域６６ａ〜６６ｆを具備する映像表示ウインドウである。本実施例では、６個の映像表示領域を具備するが、これに限定されないことは明らかである。映像表示ウインドウ６４には更に、映像表示中のカメラ映像の表示を中止する操作のためのゴミ箱アイコン６６ｇが表示される。ゴミ箱アイコン６６ｇの使用方法は、後述する。
【００２２】
映像表示ウインドウ６４は図５に示すように複数の映像表示領域を一覧する表示モードと、図１３に示すように、そのうちの一つの映像のみを注視する表示モードを持つ。前者を一覧モード、後者を注視モードと呼ぶ。注視モードは、一つの映像を大きく表示してみたいとき、あるいは、高解像度でくわしく表示したいときに利用できる。一覧モードと注視モードの切り替えについては後に説明する。
【００２３】
６８はカメラ制御パネルであり、指定されたカメラの方向（パン／チルト）及びズームなどを操作するためのボタン類を具備し、本実施例では更に、指定されたカメラの電源オン／オフを操作するカメラ電源ボタン７０を具備する。
【００２４】
例えば、地図ウインドウ６０で、地図６０ｃを選択し、前面に表示させると、図６に示すような地図が表示され、そこに配置される２台のカメラのそれぞれを示すカメラ・アイコン６２ｅ，６２ｆも地図に重ねて表示される。
【００２５】
本実施例におけるカメラ制御を詳細に説明する。あるカメラ１６の映像を表示させたい場合、そのカメラ１６を示すカメラ・アイコンを地図ウインドウ６０の該当する地図上で選択し、映像表示ウインドウ６４の何れかの映像表示領域６６ａ〜６６ｆに重ねて離す操作（いわゆる、ドラッグ・アンド・ドロップ）を行なう。なお、通常は、使用されていない映像表示領域６６ａ〜６６ｆを選択するが、使用中の映像表示領域が選択された場合には、カメラの切り換えになることを警告し、続行と中止をユーザに選択させればよい。このような処理は、周知である。
【００２６】
図７は、カメラ・アイコン６２ｃを映像表示領域６６ｃにドラッグ・アンド・ドロップする操作を示しており、カメラ・アイコン６２ｃで代表されるカメラの映像が映像表示領域６６ｃに表示される。カメラ・アイコンをドラッグしている間、マウス・カーソルは、図８に示すような形状に変化し、これにより、映像表示のためのドラッグ中であることをユーザに示す。マップ管理ソフトウエア５４は、映像受信ソフトウエア５２に選択されたカメラ・アイコンに対応するカメラのＩＤを通知し、映像受信ソフトウエア５２は、このＩＤからカメラの方向、カメラ名及びカメラが接続されているホスト名を調べ、これらの情報をカメラ制御クライアント５０及びマップ管理ソフトウエア５４に通知する。
【００２７】
次に、カメラの制御を行う場合の動作について説明する。上記操作により映像が表示された映像表示領域６６ａ−６６ｆのうち、カメラを制御したい映像が表示されている映像表示領域（たとえば６６ｃ）をシングルクリックすると、カメラ制御が可能な状態になる。このとき、映像表示領域６６ｃに黄色い枠が表示され、カメラ制御可能であることを操作者に示す。また、カメラ制御パネル６８が自動的に表示される。
【００２８】
カメラ制御クライアント５０は、映像受信ソフトウエア５２からの情報を元に、選択されたカメラの接続されている映像送信端末１２のカメラ制御サーバ５６とネットワーク接続する。以後、カメラ制御クライアント５２はユーザの操作に基づくカメラ制御信号を、ネットワーク接続するカメラ制御サーバ５６に送信し、カメラ制御サーバ５６は受信したカメラ制御信号に従いカメラ１６を制御し、カメラ１６の現状の情報をカメラ制御クライアント５２に通知する。カメラ制御クライアント５２は、選択されたカメラ１６の現状の情報を映像受信ソフトウエア５２に通知する。映像受信ソフトウエア５２は、それらの情報をマップ管理ソフトウエア５４にも通知する。
【００２９】
マップ管理ソフトウエア５４は、対応するカメラ１６の向きと合うようにカメラ・アイコンの向きを変更し、また、選択されたカメラ・アイコンに対して、図９に示すように、映像表示中であることを示すスコープ７２を表示し、スコープ７２中にパン／チルト及びズームを制御するためのコントロール・ポインタ７４を表示する。マップ管理ソフトウエア５４は、先に説明したように、映像表示中のカメラ１６の変動情報（特にパン／チルト情報）を映像受信ソフトウエア５２から常時通知されており、この情報に応じて、対応するカメラの向きに合うようにカメラ・アイコン６２ａ〜６２ｆの向きを変更する。
【００３０】
カメラ制御パネル６８は映像表示領域６６ａ−６６ｆに共通で一つでもよいし、それぞれに対応して複数設けてもよい。複数のカメラ制御パネル６８を設ける場合は、映像表示領域６６ａ−６６ｆにあらかじめ番号を振って表示し、対応するカメラ制御パネル６８にも同じ番号を表示することにより、映像とカメラ制御パネル６８との対応関係がわかりやすいシステムとなる。また番号の代りに、カメラごとに設定したカメラ名を表示したり、映像表示領域６６ａ−６６ｆごとに異なる色を割り振って表示することもできる。
【００３１】
図１０は、任意に選択されたカメラ１６の電源をオフにする処理のフローチャートを示す。選択されたカメラの電源を一時的にオフにしたい場合、電源をオフにしたいカメラを示すカメラ・アイコンを選択し、カメラ制御パネル６８のカメラ電源ボタン７０を押す操作をする。なお、カメラ電源ボタン７０は、対象となるカメラの電源状態に応じて、異なる色及び／又は異なる文字（例えば、”電源オフ”又は”電源オン”）で表示される。カメラ電源ボタン７０の操作に応じて、カメラ制御クライアント５２がカメラ電源オフ要求をネットワーク１０を介して該当するカメラ１６の接続する映像送信端末１２のカメラ制御サーバ５６に通知する（Ｓ１）。
【００３２】
カメラ制御サーバ５６はＩ／Ｏボード３４を介してカメラ制御装置１４を制御し、該当するビデオ・カメラ１０への電源供給を遮断させる（Ｓ２）。他方、カメラ電源ボタン７０は、電源オフ状態である事を示す表示態様に変更される（Ｓ３）。これにより、対象となるカメラの電源がオフであることを操作者に示す。
【００３３】
電源オフになっているカメラに再び電源を供給したい場合、カメラ電源ボタン７０を再び押す操作をすればよい。すると、今度はカメラ電源オン要求がカメラ制御サーバ５６に通知され、該当するビデオ・カメラ１６に電源が供給される。カメラ電源ボタン７０を、電源オン状態であることを示す色に変更する。
【００３４】
このようにして、監視端末１８から任意のカメラの電源供給を制御でき、電力消費を節減できる。
【００３５】
映像受信ソフトウエア５２からの映像送信要求に従い、映像送信ソフトウエア５８が、カメラ映像を送信する。即ち、映像受信ソフトウエア５２は、選択されたカメラの接続されている映像送信端末１２の映像送信ソフトウエア５８に、ネットワーク１０を介して１フレーム分の映像データの送信を要求する。映像送信ソフトウエア５８は、この要求に応じて、カメラ１６からの最新フレームの映像データを圧縮しパケットに分割して要求元の映像受信ソフトウエア５２に送信する。映像受信ソフトウエア５２は、受信したパケットからフレームを再構築し、圧縮を伸長して、映像表示領域６６ａ〜６６ｆの内の、先に指定された領域に表示し、再び、映像送信要求を発行する。この繰返しにより、映像受信端末１８は、遠隔地のカメラ映像をネットワークを介して受信し、表示する。
【００３６】
なお、複数のカメラの映像を同時に表示する場合は、各カメラの接続される映像送信端末１２の映像送信ソフトウエア５８に対して、映像送信要求の発行と映像の受信・表示を、順番に繰返し実行する。
【００３７】
受信したカメラ映像の表示位置の変更も、ドラッグ・アンド・ドロップ操作で行なうことができる。例えば、映像表示領域６６ｃから映像表示領域６６ｂに変更したい場合、図１１に示すように、映像表示領域６６ｃ上にマウス・ポインタを移動してマウス・ボタンを押し、マウス・ボタンを押した状態のままでマウス・ポインタを映像表示領域６６ｂ上に移動させ、映像表示領域６６ｂ上でマウス・ボタンを解放する。
【００３８】
このような操作に応じて、映像受信ソフトウエア５２は、最初に選択された映像表示領域（図１１では、領域６６ｃ）の映像表示を取り止め、そこに表示されていたカメラ映像を、後で選択された映像表示領域（図１１では、領域６６ｂ）に割り当てる。なお、この操作によっても、論理的なネットワーク接続は切断されない。
【００３９】
一覧モードにおいて、ある映像表示領域（たとえば６６ａ）の映像を注視して見たい場合、この映像表示領域をマウスでダブルクリックする。すると、映像表示ウインドウ６４は、この映像を注視する注視モードに切り替わる。図８は注視モードにおける映像表示ウインドウ６４を示す図である。８０を注視表示ウインドウと呼ぶ。８２は、再び一覧モードに戻るためのモード切替ボタンである。８４ａ、８４ｂ、８４ｃ、８４ｄはカメラ制御を行う場合のカメラ制御方向カーソルである。
【００４０】
注視モードでは、ひとつの映像が大きく表示される。このとき、表示速度（フレームレート）を優先して動きのスムーズな表示を行うか、画質を優先して１フレーム当りのデータ量を多くした高解像度表示を行うかを選択できる。図１４に、この選択を行うための画質設定ウインドウを示す。９０は表示速度優先ボタン、９２は画質優先ボタンである。表示速度優先ボタン９０と画質優先ボタン９２はいずれかの一つのみを選択できる。
【００４１】
次に、画質優先ボタン９２が選択されている状態で注視モードに移行した場合の動作についてくわしく説明する。まず、映像受信ソフトウェア５２がネットワーク１０を介して、該当する映像送信端末１２の映像送信ソフトウェア５８に高解像度要求を通知する。映像送信ソフトウェア５８は高解像度要求を受け取ると、送信する映像を高解像度に切り替える。映像受信ソフトウェア５２は高解像度映像を受け取り、注視表示ウインドウ８０に表示する。このとき、高解像度映像は基本解像度映像に比べてデータ量が大きいため、表示速度は低下することがある。
【００４２】
モード切替ボタン８２を押すか、または注視表示ウインドウ８０をマウスでダブルクリックすると、映像表示ウインドウ６４は再び一覧モードに戻る。映像受信ソフトウェア５２はネットワーク１０を介して、該当する映像送信端末１２の映像送信ソフトウェア５８に基本解像度要求を通知する。映像送信ソフトウェア５８は基本解像度要求を受け取ると、送信する映像を基本解像度に戻す。
【００４３】
次に、表示速度優先ボタン９０が選択されている状態で注視モードに移行した場合の動作について説明する。この場合、映像受信ソフトウェア５２は映像送信ソフトウェア５８に対しても何も通知しない。映像受信ソフトウェア５２は基本解像度で送信される映像を注視表示ウインドウ８０に拡大表示する。一覧モードに戻るための操作も、画質優先ボタン９２が選択されている時と同様である。
【００４４】
モード切り替えは、ここでは画像の解像度を制御したが、これ以外にも、画像の圧縮率や送信レートを制御してもよい。
【００４５】
次に、注視モードでカメラの制御を行う場合の動作について説明する。注視モードでは、一覧モードと同じく、カメラ制御パネル６８を用いてカメラの動きを制御することができる。またこれに加えて、注視表示ウインドウ内でマウスのボタンを押しつづける（ボタンプレス）ことにより、カメラを制御することができる。図１３の点線が示すように注視表示ウインドウ８０のうち、上下左右４つの部分のどの領域にマウスのカーソルが位置しているかにより、マウスカーソルがカメラ制御方向カーソル８４ａ−ｄのいずれかに変化する。さらにそれぞれの領域でマウスのボタンが押されると、それぞれ、カメラは上下左右方向に制御される。
【００４６】
尚、注視モードへモード変更指示に応じて、注視モードが指示された映像送信端末以外との通信を、中止するとともに、画質優先モード、もしくは表示速度優先モードへモードシフトする構成としてもよい。
【００４７】
その結果注視モードにおいて、指示された端末に広い回線を割り当て、割り当てられた回線を用いて高解像度の映像もしくは、フレームレートの高い映像の通信を行うことにより画質を向上することができる。
【００４８】
映像表示を中止したい場合、中止したい映像表示領域に表示される映像をゴミ箱アイコン６６ｇに入れる操作をすればよい。図１２では、映像表示領域６６ｃに表示される映像の表示を中止する例を示す。映像表示領域６６ｃ上にマウス・ポインタを移動してマウス・ボタンを押し、マウス・ボタンを押した状態のままでマウス・ポインタをゴミ箱アイコン６６ｇ上に移動させ、ゴミ箱アイコン６６ｇ上でマウス・ボタンを解放する。
【００４９】
このような操作に応じて、映像受信ソフトウエア５４は、選択された映像表示領域（図１２では、領域６６ｃ）に映像表示されていたカメラの接続する映像送信端末の映像送信ソフトウエア５８に向けた映像送信要求の発行を中止する。映像受信ソフトウエア５４はさらに、カメラ制御クライアント５０及びマップ管理ソフトウエア５４に映像表示の中止を通知する。カメラ制御クライアント５０はこの通知に応じて該当する映像送信端末１２のカメラ制御サーバ５６とのネットワーク接続を切断し、当該映像表示領域（図１２では、領域６６ｃ）をクリアする。また、マップ管理ソフトウエア５４は、該当するカメラのカメラ・アイコン（例えば、アイコン６２ｃ）のスコープ表示を消去し、マップを更新する。
【００５０】
本実施例では、地図上のカメラ・シンボルを映像表示領域にドラッグ・アンド・ドロップ操作することで、映像受信端末と映像送信端末との論理的ネットワーク接続を確立できる。カメラ映像が表示されている映像表示領域と別の任意の映像表示領域との間のドラッグ・アンド・ドロップ操作で、映像表示位置を変更できる。カメラ映像が表示されている映像表示領域から表示中止シンボルへのドラッグ・アンド・ドロップ操作により、映像表示を中止できる。このように、非常に簡単に、カメラ映像の表示開始、表示位置の変更及び表示中止を操作できるようになる。尚、映像はカメラ映像のみならず、ビデオ等積媒体から発生する映像であってもよいことは明らかである。
【００５１】
【発明の効果】
以上、説明したように、本発明によれば、簡単な操作により画像の拡大表示と通信端末の制御とを切り替えることができるとともに、画像の拡大表示が指示された場合に、指示された通信端末以外の通信を中止することで、指示された通信端末に広い回線を割り当てることができ、効率よく拡大画像を表示することができる。
【図面の簡単な説明】
【図１】本発明の一実施例の全体の概略構成ブロック図である。
【図２】本実施例の映像送信端末１２の概略構成ブロック図である。
【図３】本実施例の映像受信端末（監視端末）の概略構成ブロック図である。
【図４】本実施例のソフトウエアの概略構成ブロック図である。
【図５】本実施例の監視端末の画面例を示す図である。
【図６】地図６０ｃを前面に表示した地図ウインドウ６０の表示例を示す図である。
【図７】映像表示を開始する操作の説明図である。
【図８】映像表示開始操作中のマウス・カーソルの形状の例を示す図である。
【図９】映像表示中のカメラ・アイコンの表示態様例である。
【図１０】電源オフ処理のフローチャートである。
【図１１】映像表示領域の変更操作の説明図である。
【図１２】映像表示の中止操作の説明図である。
【図１３】注視モードでの映像表示ウインドウ６４を示す図である。
【図１４】画質設定パネルを示す図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a communication device and a communication method.
[0002]
[Prior art]
A remote monitoring system using multiple cameras has conventionally consisted of several video cameras and a synthesizer that synthesizes these images in analog form. It is used in a relatively small building and is called a local monitoring system. It is. For such a local monitoring system, a plurality of cameras can be connected to a digital network such as a local area network (LAN) or a public digital line ISDN so that more flexible, more distant cameras can be connected. Such a remote monitoring system has been proposed.
[0003]
[Problems to be solved by the invention]
Some recent remote monitoring systems use a personal computer or workstation as a monitoring terminal to realize video display and system control using a graphical user interface (GUI). By using a computer GUI for the monitoring terminal, there is an advantage that even a person who is not familiar with the device can easily handle the device. In particular, it is possible to improve the operability by displaying the control panel of the camera that outputs the camera image simultaneously with the camera image on the monitor.
[0004]
However, conventional video display methods of this type of system include a list display of a plurality of camera videos, a detailed display of a specific camera video, etc., but the operability related to the display operation, the system status identification However, there was room for improvement.
[0005]
An object of the present invention is to provide a communication apparatus and a communication method having a UI (User Interface) that can solve such problems and can be operated more flexibly, and in particular, generated from a plurality of communication apparatuses as necessary. It is an object of the present invention to provide a communication apparatus that can switch between a list display of videos to be displayed and a detailed display of specific camera videos.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention controls a receiving unit that receives an image generated by an image generating unit of a plurality of communication terminals, and a display unit that displays an image received by the receiving unit as a multi-image. Display control means, instruction means for instructing an arbitrary image from images constituting the multi-image, and when the instruction operation by the instruction means is a first instruction operation by double-clicking, an image instructed by the instruction means is displayed The display form is controlled to be enlarged and displayed on the display unit, and when the instruction operation by the instruction unit is a second instruction operation by single click, a communication terminal that generates an image instructed by the instruction unit is controlled If the instruction operation by the instruction means is the first instruction operation, communication with a terminal other than the communication terminal that generates the instructed image is performed. Providing a communication apparatus characterized by a control means for controlling to stop.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0008]
FIG. 1 shows an overall schematic block diagram of an embodiment of the present invention. Reference numeral 10 denotes a digital network for digital transmission of video data and camera control information (including status information), to which n video transmission terminals 12 (12-1 to 12-n) are connected. A video camera 16 (16-1 to 16-n) is connected to each video transmission terminal 12 (12-1 to 12-n) via a camera control device 14 (14-1 to 14-n). Yes. The camera control device 14 (14-1 to 14-n) pans the connected video camera 16 (16-1 to 16-n) according to a control signal from the terminal 12 (12-1 to 12-n), Controls the tilt, zoom, focus and aperture. The video camera 16 (16-1 to 16-n) is supplied with power from the camera control device 14 (14-1 to 14-n), and the camera control device 14 follows the external control signal. The power on / off of 16 (16-1 to 16-n) can be controlled.
[0009]
The network 10 also receives video information sent from the video transmission terminals 12 (12-1 to 12-n) to the network 10 and displays the video information 18 (18-1 to 18-m). ) Is connected. A monitor / display (hereinafter abbreviated as a monitor) 20 (20-1 to 20-m) is connected to each video receiving terminal 18 (18-1 to 18-m).
[0010]
The video transmission terminals 12 (12-1 to 12-n) output the output video of the video cameras 16 (16-1 to 16-n) to be connected to H.264. The video data is compressed by a predetermined compression method such as H.261 and transmitted to the video receiving terminal 18 that is the video request source or all the video receiving terminals 18 via the network 10. The video receiving terminal 18 that has received the video displays the received video in the video display area of the monitor 20. The video receiving terminal 18 supplies power (from on to off and various parameters of the arbitrary camera 16 (shooting direction, shooting magnification, focus, aperture, etc.) via the network 10, the video sending terminal 12, and the camera control device 14. Off to on). Details of these will be described later.
[0011]
By providing a monitor on the video transmission terminal 12 and a video expansion device that expands the compressed video, a video reception terminal can be obtained. Similarly, by connecting the camera control device 14 and the video camera 20 to the video receiving terminal 18 and providing a video compression device, a video transmitting terminal can be obtained. Needless to say, software necessary for video transmission or video reception must be provided.
[0012]
FIG. 2 shows a schematic block diagram of the video transmission terminal 12. 22 is a CPU for controlling the whole, 24 is a main memory, 26 is a removable external storage device such as a floppy disk or CD-ROM, 28 is a secondary storage device such as a hard disk, 30 is a mouse as a pointing device, 32 Is a keyboard, 34 is an I / O board for connecting the camera control device 14 and transmitting and receiving camera control signals, and 36 is a video capture device for capturing video output signals of the video camera 16. The video capture device 36 of this embodiment has an A / D conversion function that converts an analog video signal into a digital signal and a video compression function that compresses information. Reference numeral 38 denotes a video board for displaying video information on the screen of the monitor 40, reference numeral 42 denotes a network interface, and reference numeral 44 denotes a system bus for connecting the devices 22 to 38 and 42 to each other.
[0013]
When dedicated to video transmission, the video board 38 and the monitor 40 may be omitted.
[0014]
Thus, the video transmission terminal is nothing but a computer. With the above configuration, the terminal 12 transmits video to a remote monitoring terminal via the network, and receives a camera control signal from the monitoring terminal to control the camera 16.
[0015]
FIG. 3 shows a schematic block diagram of the video receiving terminal (monitoring terminal) 18. Reference numeral 122 denotes a CPU for controlling the whole, 124 a main memory, 126 a removable external storage device such as a floppy disk or CD-ROM, 128 a secondary storage device such as a hard disk, 130 a mouse as a pointing device, 132 Is a video board for displaying video information on the screen of the monitor 140, 142 is a network interface, 144 is a compression decoder for decompressing compressed video information, 146 is a device 122-132, 138, 142, 144 A system bus that connects to each other.
[0016]
The video receiving terminal 18 has the function of controlling the camera and capturing the camera video, the decoder 144 for decompressing the compressed video, and the video transmitting terminal shown in FIG. 2 except for the difference in system software. The configuration is the same as 12. Some or all of the video receiving terminals 18 can transmit a camera control signal to any or the video transmitting terminal 12 that is permitted to control the camera, and the video transmitting terminal 12 that has received the camera control signal receives the camera control signal. The camera 16 is controlled according to the contents, and the current state of the camera 16 is returned. The monitoring terminal displays the current status of the corresponding camera on the monitor according to the received status signal. At the same time, the monitoring terminal receives and decompresses the video data sent from the video transmission terminal, and displays it on the monitor screen in real time.
[0017]
FIG. 4 shows the software configuration of this embodiment. In the video receiving terminal (monitoring terminal) 18, a camera control client (software) 50 for remotely controlling the camera 16 connected to the video transmitting terminal 12 connected to the network 10 and the compressed video data from the video transmitting terminal 12 are expanded. The video reception software 52 displayed on the monitor screen, the map management software for displaying the position and current state of each camera 16 as a camera symbol on the map and the operation panel for operating each camera 16 Wear 54 is installed.
[0018]
The video reception software 52 is also software for managing the cameras 16 connected to all the video transmission terminals 12 connected to the network 10, and includes fixed information and various fluctuation information (for example, camera name, camera) of each camera 16. The host name of the computer to which the computer 16 is connected, the camera status such as pan / tilt and zoom, whether it is controllable, which camera 16 is currently being controlled, and which camera 16 image is being displayed). Possess. Such information is also supplied to the camera control client 50 and the map management software 54, and is used for changing the display of the camera symbol.
[0019]
The video transmission terminal 12 controls the camera 16 via the camera control device 14 in accordance with a request from the camera control client 50 and notifies the request source of the current state of the camera 16 and an output video of the camera 16. Video transmission software 58 is installed that compresses and transmits to the request source via the network 10 in a predetermined format.
[0020]
FIG. 5 is an example of the display content of the monitor screen of the video receiving terminal 18. Reference numeral 60 denotes a map window showing a layout of an office, a store, a warehouse, etc. where the camera 16 is arranged, and can switch a plurality of maps 60a, 60b, 60c, 60d. The number of maps 60a, 60b, 60c, 60d that can be displayed depends on the performance of the system and is not particularly limited. A tag is attached to each map 60a, 60b, 60c, 60d, and a map with the selected tag is displayed on the front by clicking the tag with the mouse pointer. The map displayed on the front also displays camera icons (camera symbols) 62a, 62b, 62c, and 62d indicating the cameras arranged there. The camera icons 62a, 62b, 62c, and 62d are displayed in the direction in which the corresponding camera 16 is facing.
[0021]
Reference numeral 64 denotes a video display window having a plurality of video display areas 66a to 66f. In this embodiment, six video display areas are provided, but it is obvious that the present invention is not limited to this. The video display window 64 further displays a trash can icon 66g for an operation to stop displaying the camera video being displayed. A method of using the trash can icon 66g will be described later.
[0022]
The video display window 64 has a display mode in which a plurality of video display areas are listed as shown in FIG. 5, and a display mode in which only one video is watched as shown in FIG. The former is called a list mode, and the latter is called a gaze mode. The gaze mode can be used when you want to display a large image or when you want to display a high-resolution image in detail. Switching between the list mode and the gaze mode will be described later.
[0023]
Reference numeral 68 denotes a camera control panel, which includes buttons for operating the designated camera direction (pan / tilt), zoom, and the like, and in this embodiment, further operates to turn on / off the designated camera. The camera power button 70 is provided.
[0024]
For example, when a map 60c is selected in the map window 60 and displayed on the front, a map as shown in FIG. 6 is displayed, and camera icons 62e and 62f indicating two cameras arranged there are also displayed. Overlaid on the map.
[0025]
The camera control in the present embodiment will be described in detail. In order to display an image of a certain camera 16, a camera icon indicating the camera 16 is selected on the corresponding map in the map window 60, and is overlapped with any of the image display areas 66 a to 66 f of the image display window 64. An operation (so-called drag and drop) is performed. Normally, the video display areas 66a to 66f that are not used are selected, but if a video display area that is in use is selected, a warning is given that the camera will be switched, and the user is prompted to continue or cancel. You can choose. Such processing is well known.
[0026]
FIG. 7 shows an operation of dragging and dropping the camera icon 62c to the video display area 66c, and the video of the camera represented by the camera icon 62c is displayed in the video display area 66c. While dragging the camera icon, the mouse cursor changes to the shape shown in FIG. 8, thereby indicating to the user that the user is dragging for video display. The map management software 54 notifies the video reception software 52 of the ID of the camera corresponding to the selected camera icon, and the video reception software 52 is connected to the camera direction, camera name, and camera from this ID. The host name is checked, and the information is notified to the camera control client 50 and the map management software 54.
[0027]
Next, the operation for controlling the camera will be described. Of the video display areas 66a to 66f in which video is displayed by the above operation, when a video display area (for example, 66c) in which video for controlling the camera is displayed is single-clicked, camera control is enabled. At this time, a yellow frame is displayed in the video display area 66c to indicate to the operator that the camera can be controlled. In addition, the camera control panel 68 is automatically displayed.
[0028]
The camera control client 50 is connected to the camera control server 56 of the video transmission terminal 12 to which the selected camera is connected based on information from the video reception software 52. Thereafter, the camera control client 52 transmits a camera control signal based on the user's operation to the camera control server 56 connected to the network, and the camera control server 56 controls the camera 16 according to the received camera control signal. Information is notified to the camera control client 52. The camera control client 52 notifies the video reception software 52 of the current information of the selected camera 16. The video reception software 52 notifies the map management software 54 of the information.
[0029]
The map management software 54 changes the direction of the camera icon so as to match the direction of the corresponding camera 16, and the selected camera icon is being displayed as shown in FIG. A scope 72 is displayed, and a control pointer 74 for controlling pan / tilt and zoom is displayed in the scope 72. As described above, the map management software 54 is constantly notified of the fluctuation information (particularly pan / tilt information) of the camera 16 during video display from the video reception software 52, and responds according to this information. The direction of the camera icons 62a to 62f is changed to match the direction of the camera to be operated.
[0030]
One camera control panel 68 may be common to the video display areas 66a to 66f, or a plurality of camera control panels 68 may be provided corresponding to each. When a plurality of camera control panels 68 are provided, numbers are displayed in advance in the video display areas 66a to 66f, and the same numbers are also displayed on the corresponding camera control panels 68, whereby the video and the camera control panel 68 are displayed. The system is easy to understand the correspondence. Further, instead of the number, the camera name set for each camera can be displayed, or different colors can be assigned to the video display areas 66a to 66f for display.
[0031]
FIG. 10 shows a flowchart of processing for turning off the power of the arbitrarily selected camera 16. When it is desired to temporarily turn off the power of the selected camera, the camera icon indicating the camera whose power is to be turned off is selected and the camera power button 70 on the camera control panel 68 is pressed. The camera power button 70 is displayed in different colors and / or different characters (for example, “power off” or “power on”) depending on the power state of the target camera. In response to the operation of the camera power button 70, the camera control client 52 notifies the camera control server 56 of the video transmission terminal 12 to which the corresponding camera 16 is connected via the network 10 (S1).
[0032]
The camera control server 56 controls the camera control device 14 via the I / O board 34 and shuts off the power supply to the corresponding video camera 10 (S2). On the other hand, the camera power button 70 is changed to a display mode indicating that the power is off (S3). This indicates to the operator that the target camera is powered off.
[0033]
If it is desired to supply power again to the camera that is turned off, the camera power button 70 may be pressed again. Then, a camera power-on request is notified to the camera control server 56, and power is supplied to the corresponding video camera 16. The camera power button 70 is changed to a color indicating that the power is on.
[0034]
In this way, the power supply of an arbitrary camera can be controlled from the monitoring terminal 18, and power consumption can be reduced.
[0035]
In accordance with the video transmission request from the video reception software 52, the video transmission software 58 transmits the camera video. That is, the video reception software 52 requests the video transmission software 58 of the video transmission terminal 12 connected to the selected camera to transmit one frame of video data via the network 10. In response to this request, the video transmission software 58 compresses the video data of the latest frame from the camera 16, divides it into packets, and transmits the packets to the requesting video reception software 52. The video reception software 52 reconstructs the frame from the received packet, decompresses the compressed packet, displays it in the previously specified area of the video display areas 66a to 66f, and issues a video transmission request again. To do. By repeating this process, the video receiving terminal 18 receives and displays a remote camera video via the network.
[0036]
When displaying images from a plurality of cameras at the same time, the video transmission software 58 of the video transmission terminal 12 to which each camera is connected repeatedly issues a video transmission request and receives and displays the video in order. Execute.
[0037]
The display position of the received camera image can also be changed by a drag and drop operation. For example, to change from the video display area 66c to the video display area 66b, as shown in FIG. 11, the mouse pointer is moved onto the video display area 66c, the mouse button is pressed, and the mouse button is pressed. The mouse pointer is moved onto the video display area 66b and the mouse button is released on the video display area 66b.
[0038]
In response to such an operation, the video receiving software 52 cancels the video display of the video display area selected first (the area 66c in FIG. 11), and selects the camera video displayed there later. Assigned to the video display area (area 66b in FIG. 11). Note that this operation does not disconnect the logical network connection.
[0039]
In the list mode, when it is desired to watch a video in a video display area (for example, 66a), double-click the video display area with the mouse. Then, the video display window 64 is switched to a gaze mode in which this video is watched. FIG. 8 shows the video display window 64 in the gaze mode. 80 is referred to as a gaze display window. Reference numeral 82 denotes a mode switching button for returning to the list mode again. 84a, 84b, 84c, 84d are camera control direction cursors when camera control is performed.
[0040]
In the gaze mode, one image is displayed large. At this time, it is possible to select whether to perform display with smooth motion by giving priority to display speed (frame rate) or to perform high-resolution display by giving priority to image quality and increasing the amount of data per frame. FIG. 14 shows an image quality setting window for making this selection. 90 is a display speed priority button, and 92 is an image quality priority button. Only one of the display speed priority button 90 and the image quality priority button 92 can be selected.
[0041]
Next, a detailed description will be given of the operation when the mode is shifted to the gaze mode while the image quality priority button 92 is selected. First, the video reception software 52 notifies the high-resolution request to the video transmission software 58 of the corresponding video transmission terminal 12 via the network 10. When receiving the high resolution request, the video transmission software 58 switches the video to be transmitted to the high resolution. The video receiving software 52 receives the high resolution video and displays it on the gaze display window 80. At this time, since the high resolution video has a larger amount of data than the basic resolution video, the display speed may decrease.
[0042]
When the mode switching button 82 is pressed or the gaze display window 80 is double-clicked with the mouse, the video display window 64 returns to the list mode again. The video reception software 52 notifies the video transmission software 58 of the corresponding video transmission terminal 12 of the basic resolution request via the network 10. When receiving the basic resolution request, the video transmission software 58 returns the video to be transmitted to the basic resolution.
[0043]
Next, an operation when the display speed priority button 90 is selected and the mode is shifted to the gaze mode will be described. In this case, the video reception software 52 does not notify the video transmission software 58 of anything. The video reception software 52 enlarges and displays the video transmitted at the basic resolution on the gaze display window 80. The operation for returning to the list mode is the same as when the image quality priority button 92 is selected.
[0044]
In the mode switching, the image resolution is controlled here, but the image compression rate and transmission rate may be controlled in addition to this.
[0045]
Next, an operation when the camera is controlled in the gaze mode will be described. In the gaze mode, the camera movement can be controlled using the camera control panel 68 as in the list mode. In addition to this, the camera can be controlled by keeping the mouse button pressed (button press) in the gaze display window. As indicated by the dotted line in FIG. 13, the mouse cursor changes to one of the camera control direction cursors 84a to 84d depending on which region of the four parts of the gaze display window 80 in the upper, lower, left and right portions is located. . Further, when the mouse button is pressed in each area, the camera is controlled in the vertical and horizontal directions.
[0046]
Note that, in response to the mode change instruction to the gaze mode, communication with other than the video transmission terminal for which the gaze mode is instructed may be stopped and the mode may be shifted to the image quality priority mode or the display speed priority mode.
[0047]
As a result, in the gaze mode, it is possible to improve the image quality by allocating a wide line to the designated terminal and performing communication of a high-resolution video or a video with a high frame rate using the allocated line.
[0048]
When it is desired to cancel the video display, an operation for putting the video displayed in the video display area to be canceled into the trash can icon 66g may be performed. FIG. 12 shows an example in which the display of the video displayed in the video display area 66c is stopped. Move the mouse pointer onto the video display area 66c, press the mouse button, move the mouse pointer onto the trash can icon 66g while holding down the mouse button, and move the mouse button over the trash can icon 66g. release.
[0049]
In response to such an operation, the video reception software 54 is directed to the video transmission software 58 of the video transmission terminal connected to the camera that has been displayed in the selected video display area (area 66c in FIG. 12). Cancel the issuance of the video transmission request. The video reception software 54 further notifies the camera control client 50 and the map management software 54 of the video display stoppage. In response to this notification, the camera control client 50 disconnects the network connection with the camera control server 56 of the corresponding video transmission terminal 12 and clears the video display area (area 66c in FIG. 12). Further, the map management software 54 deletes the scope display of the camera icon (for example, the icon 62c) of the corresponding camera and updates the map.
[0050]
In this embodiment, a logical network connection between the video receiving terminal and the video transmitting terminal can be established by dragging and dropping the camera symbol on the map to the video display area. The video display position can be changed by a drag-and-drop operation between the video display area in which the camera video is displayed and another arbitrary video display area. The video display can be canceled by a drag-and-drop operation from the video display area where the camera video is displayed to the display stop symbol. As described above, it is possible to operate the display start of the camera image, the change of the display position, and the display stop very easily. Obviously, the image may be not only a camera image but also an image generated from a video medium.
[0051]
【The invention's effect】
As described above, according to the present invention, it is possible to switch between enlargement display of an image and control of the communication terminal by a simple operation, and when the enlargement display of the image is instructed, the instructed communication terminal By canceling communication other than the above, a wide line can be allocated to the instructed communication terminal, and an enlarged image can be efficiently displayed.
[Brief description of the drawings]
FIG. 1 is an overall schematic block diagram of an embodiment of the present invention.
FIG. 2 is a block diagram of a schematic configuration of a video transmission terminal 12 according to the present embodiment.
FIG. 3 is a block diagram of a schematic configuration of a video receiving terminal (monitoring terminal) according to the present embodiment.
FIG. 4 is a block diagram of a schematic configuration of software according to the present exemplary embodiment.
FIG. 5 is a diagram illustrating a screen example of a monitoring terminal according to the present embodiment.
FIG. 6 is a diagram showing a display example of a map window 60 in which a map 60c is displayed on the front surface.
FIG. 7 is an explanatory diagram of an operation for starting video display.
FIG. 8 is a diagram illustrating an example of the shape of a mouse cursor during a video display start operation.
FIG. 9 is a display mode example of a camera icon during video display.
FIG. 10 is a flowchart of power-off processing.
FIG. 11 is an explanatory diagram of a video display area changing operation.
FIG. 12 is an explanatory diagram of a video display stop operation.
FIG. 13 is a diagram showing a video display window 64 in a gaze mode.
FIG. 14 illustrates an image quality setting panel.

Claims

Receiving means for image generation unit of the plurality of communication terminal receives an image to be generated,
Display control means for controlling the display unit to display the image received by the receiving means as a multi-image;
And instruction means for instructing an arbitrary image from images constituting the multi-image,
If an instruction operation by the instruction means is a first instruction operation by double-clicking the image instructed by the instruction means to control the display form to display an enlarged into the display unit, an instruction operation by said instructing means In the case of the second instruction operation by a single click, a processing unit that sets a communication terminal that generates an image instructed by the instruction unit as a control target ;
And a control unit that controls to stop communication with a terminal other than the communication terminal that generates the instructed image when the instruction operation by the instruction unit is a first instruction operation .

The communication apparatus according to claim 1, wherein the image generation unit is a camera.

The communication apparatus according to claim 1, wherein the image generation unit is a video.

The installation position of a plurality of communication terminals is displayed on the display unit, and the processing means changes a display state of a display indicating an installation position of the communication terminal that generates an instructed image according to the first instruction operation. Item 4. The communication device according to Item 1.

The communication device according to claim 1, wherein the processing unit outputs an instruction for controlling a compression rate of a generated image of a communication terminal that generates an image instructed in accordance with the first instruction operation to the communication terminal.

The processing means communication apparatus according to claim 1 for outputting an instruction to increase controlling the resolution of the generation image communication terminal for generating the designated image in accordance with said first instruction operation in the communication terminal.

The communication apparatus according to claim 1, further comprising a control unit that generates an operation unit on the display unit for controlling a communication terminal that generates the instructed image according to the second instruction operation.

2. The communication according to claim 1, wherein a display form of a frame of the image is changed to indicate that a communication terminal that generates the instructed image is controllable in accordance with the second instruction operation. apparatus.

8. The communication apparatus according to claim 7 , wherein the control unit generates an operation unit with a number or a color corresponding to a communication terminal that generates an instructed image.

8. The communication apparatus according to claim 7 , wherein when the plurality of images constituting the multi-image are instructed by the second instruction operation, the control unit generates a number of operation units according to the instruction.

The control means generates and generates information by combining the operation unit corresponding to each communication terminal that generates the image instructed by the second instruction operation with the information that can identify the communication terminal corresponding to the operation unit. The communication device according to claim 7 .

When the instruction operation by the instruction means is the first instruction operation, a screen for selecting whether to display the motion smoothly with priority on the display speed or to display the high resolution with priority on the image quality is displayed. The communication apparatus according to claim 1, further comprising a display control unit that performs control as described above.

Receive images generated by the image generator of multiple communication terminals,
Output the image received by the receiving means to be displayed on the display unit as a multi-image,
Instructing an arbitrary image from the images constituting the multi-image,
When the instruction operation is a first instruction operation by double click, the display mode is controlled so that the indicated image is enlarged and displayed on the display unit, and the instruction operation is a second instruction operation by single click. A communication terminal that generates the instructed image is set as a control target ,
When the instruction operation is a first instruction operation, control is performed so as to stop communication with a terminal other than the instructed communication terminal.

When the instruction operation is the first instruction operation, control is performed to display a screen for selecting whether to perform smooth display with priority on display speed or to perform high-resolution display with priority on image quality. The communication method according to claim 13.