JP4010198B2

JP4010198B2 - Network-compatible display device, network-compatible projector, and display control program

Info

Publication number: JP4010198B2
Application number: JP2002214405A
Authority: JP
Inventors: 幹長野; 典宏吉國
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-07-23
Filing date: 2002-07-23
Publication date: 2007-11-21
Anticipated expiration: 2022-07-23
Also published as: JP2004054134A

Description

【０００１】
【発明の属する技術分野】
本発明は、ネットワーク上に接続された複数の端末機器の画面を表示装置の１つの画面上に多画面表示するための技術に関する。
【０００２】
【従来の技術】
図２４は、従来の表示システムの一例を示す構成図である。
図２４において、ネットワーク２１０には、表示装置としての例えばプロジェクタ２２０、ノートパソコン２３０、デスクトップパソコン２５１、２５２、２５３、２５４がそれぞれ接続され、更に、プロジェクタ２２０には、プロジェクタ２２０に直接図画等を入力して投射させたり、投射されているデータへの線図の挿入等が可能なタブレット２６１、２６２、２６３、２６４が直接接続されている。なお、ノートパソコン２３０およびデスクトップパソコン２５１、２５２、２５３、２５４には画面キャプチャソフトウェアがインストールされている。
【０００３】
このように構成された従来の表示システムでは、例えばノートパソコン２３０上の画面の内容を画面キャプチャソフトウェアによりキャプチャし、キャプチャされたそのキャプチャ画像データをネットワーク２１０を介してプロジェクタ２２０に送信することにより、ノートパソコン２３０上に表示されている画面をプロジェクタ２２０で投写表示することが可能となっている。そして、プロジェクタ付属のリモコンなどで切替操作を行うことにより、プロジェクタ２２０の投写画像を、ノートパソコン２３０の画面から別の例えばデスクトップパソコン２５１の画面の画像に切り換えることが可能となっている。
【０００４】
【発明が解決しようとする課題】
上記従来の表示システムでは、上述したようにプロジェクタ２２０で表示することのできる画像は、プロジェクタ２２０に接続されているノートパソコン２３０、デスクトップパソコン２５１、２５２、２５３、２５４のうちの何れか１つのパソコンの画像となっている。このため、ノートパソコン２３０、デスクトップパソコン２５１、２５２、２５３、２５４の各表示画面の内容を見比べて議論したい場合など、１画面ずつ切り替えて行わなければならず、このようなことから、近年、複数パソコンの画面を１画面で同時に表示することのできる機能が強く要望されている。
【０００５】
本発明は、このような点に鑑みなされたもので、ネットワーク接続された複数の端末機器における表示画面を、画面上に多画面表示することが可能なネットワーク対応表示装置、ネットワーク対応プロジェクタおよび表示制御プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
（１）本発明に係るネットワーク対応表示装置は、表示画面の全部または一部範囲を指定して表示画面をキャプチャする画面キャプチャ機能をそれぞれ備えた複数の端末機器とネットワークを介して接続されるネットワーク対応表示装置であって、表示部と、各端末機器との双方向通信が可能な通信部と、表示制御部と、画面キャプチャ機能のキャプチャ範囲を指定するキャプチャ範囲管理フラグを含む表示部の表示状況を管理する表示状況管理ファイルを保持するデータ記憶部とを備え、通信部は、表示状況管理ファイルを端末機器に送信すると共に、各端末機器が受信した表示状況管理ファイルのキャプチャ範囲管理フラグに従って画面キャプチャ機能が表示画面の全部または一部範囲をキャプチャした画像データを受信し、表示制御部は、通信部で受信した各キャプチャ画像データを画面分割により１画面の画像データに合成して表示部の表示画面に表示させる多画面表示機能を有するものである。
【０００７】
本発明によれば、ネットワーク接続された複数の端末機器の表示画面を表示装置の画面上に多画面表示することが可能なネットワーク対応表示装置を得ることができる。
また、本発明によれば、表示部の表示画面上に表示するキャプチャ画像データは、全画面キャプチャにより得られたキャプチャ画像データ、部分キャプチャにより得られたキャプチャ画像データのどちらも表示することが可能なネットワーク対応表示装置を得ることができる。
【０００８】
（２）本発明に係るネットワーク対応表示装置は、上記（１）において、表示制御部が、現在の表示画面に新たな画面を割り込ませて表示させる割り込み機能を有するものである。
【０００９】
本発明によれば、割り込み機能を有するネットワーク対応表示装置を得ることができる。
【００１０】
（３）本発明に係るネットワーク対応表示装置は、上記（１）又は（２）において、ネットワーク対応表示装置に接続されている複数の端末機器の中から、表示画面にキャプチャ画像データを表示させる端末機器をユーザが任意に選択できるようにしたものである。
【００１１】
本発明によれば、複数の端末機器の中から、キャプチャ画像データをネットワーク対応表示装置上に表示させる端末機器をユーザが選択することが可能なネットワーク対応表示装置を得ることができる。
【００１２】
（４）本発明に係るネットワーク対応表示装置は、上記（１）〜（３）の何れかにおいて、表示画面にキャプチャ画像データを表示させる端末機器の選択を、通信部の双方向通信によってネットワーク対応表示装置側からも、端末機器側からも可能とするものである。
【００１３】
本発明によれば、ネットワーク対応表示装置上にキャプチャ画像データを表示させる端末機器をネットワーク対応表示装置側からも、端末機器側からも指定することが可能なネットワーク対応表示装置を得ることができる。
【００１４】
（５）本発明に係るネットワーク対応表示装置は、上記（１）〜（４）の何れかにおいて、表示制御部が、表示画面に表示されている多画面を構成する複数の分割画面の中から、所定の分割画面を拡大表示させる拡大表示機能を有するものである。
【００１５】
本発明によれば、所定の分割画面を拡大表示させる拡大表示機能を有するネットワーク対応表示装置を得ることができる。
【００１６】
（６）本発明に係るネットワーク対応表示装置は、上記（１）〜（４）の何れかにおいて、表示制御部が、表示画面に表示されている多画面を構成する複数の分割画面の中から、所定の分割画面を表示画面全体の表示に切り替える単画面切替機能を有するものである。
【００１７】
本発明によれば、所定の分割画面を表示画面全体の表示に切り替える単画面切替機能を有するネットワーク対応表示装置を得ることができる。
【００１８】
（７）本発明に係るネットワーク対応表示装置は、上記（１）〜（４）の何れかにおいて、表示制御部が、表示画面に表示されている多画面を構成する複数の分割画面の中から、所定の分割画面を消去させる消去機能を有するものである。
【００１９】
本発明によれば、所定の分割画面を消去させる消去機能を有するネットワーク対応表示装置を得ることができる。
【００２０】
（８）本発明に係るネットワーク対応表示装置は、上記（５）〜（７）の何れかにおいて、所定の分割画面が、ユーザ操作に基づいて選択されたものである。
【００２１】
本発明によれば、拡大表示させる分割画面、単画面表示させる分割画面、消去させる分割画面をユーザが選択することが可能なネットワーク対応表示装置を得ることができる。
【００２２】
（９）本発明に係るネットワーク対応表示装置は、上記（８）において、所定の分割画面は、通信部の双方向通信によってネットワーク対応表示装置側からも、端末機器側からも選択可能であるものである。
【００２３】
本発明によれば、拡大表示させる分割画面、単画面表示させる分割画面、消去させる分割画面をネットワーク対応表示装置側からも、端末機器側からも指定することが可能なネットワーク対応表示装置を得ることができる。
【００２４】
（１０）本発明に係るネットワーク対応表示装置は、上記（１）〜（９）の何れかにおいて、端末機器から取得するキャプチャデータが、端末機器の表示画面上の変化を検出し、画面上の変化分のみをキャプチャして得られた画像データであるものである。
【００２５】
本発明によれば、端末機器の表示画面上の変化部分のみをキャプチャすることによりネットワークへの負荷が軽減され、これを既存のキャプチャデータと合成した画像データを表示することが可能なネットワーク対応表示装置を得ることができる。
【００２６】
（１１）本発明に係るネットワーク対応表示装置は、上記（１）〜（１０）の何れかにおいて、表示制御部は、表示部の表示画面を、表示すべき端末機器台数分に分割し、その表示すべき端末機器に割り当てる分割画面の表示サイズと、分割画面の表示位置を特定する情報とを含む分割エリア情報を作成する分割エリア情報作成部と、分割エリア情報作成部で作成された分割エリア情報に従って端末機器からのキャプチャ画像データを１画面の画像データに合成し、合成画像データを生成する画像合成部と、画像合成部により生成された合成画像データを処理して表示画像データを生成して表示部に出力する画像処理部とを有するものである。
【００２７】
（１２）本発明に係るネットワーク対応プロジェクタは、上記（１）〜（１１）の何れかのネットワーク対応表示装置を搭載したものである。
【００２８】
本発明によれば、上記効果を備えたプロジェクタを得ることが可能となる。
【００２９】
（１３）本発明に係る表示制御プログラムは、上記（１）〜（１１）の何れかのネットワーク表示装置の表示制御部をＣＰＵにより実現させるものである。
【００３０】
本発明によれば、上記の効果を表示装置に提供することのできる表示制御プログラムを得ることが可能となる。
【００３１】
【発明の実施の形態】
図１は本発明の一実施の形態のネットワーク対応装置を備えた表示システムのネットワーク構成を示す図である。
この表示システム１００は、複数の端末機器１（図１では１ａ，１ｂ，１ｃ，１ｄの４台のみを図示）と、本発明の主要機能である多画面表示機能を有するネットワーク対応表示装置２（図にはプロジェクタの例を図示）（以下、略して表示装置２という）とを備え、複数の端末機器１と表示装置２とがネットワーク３を介してＴＣＰ／ＩＰ等の通信プロトコルを用いて双方向通信可能に接続されている。各端末機器１にはそれぞれ固有の名前（以下、端末名という）が予め与えられている。なお、ネットワーク３には、ＬＡＮ、無線ＬＡＮ、近距離無線ＬＡＮのBluetooth（Bluetoodh SIG Inc., U.S.Aの登録商標）などの各種ネットワークが利用できる。
【００３２】
この表示システム１００は、複数の端末機器１でそれぞれ表示されている画面を、表示装置２の表示画面上に画面分割により同時に表示させることを可能とするシステムであり、例えば会議やプレゼンテーションなどの際に用いて有効なシステムである。以下、端末機器１、表示装置２それぞれの構成について詳細に説明する。
【００３３】
図２は端末機器の構成を示すブロック図である。
端末機器１は、例えばパソコンやＰＤＡなどで構成されるもので、プレゼンテーション用の資料などの各種情報を表示するための表示部１１、該表示部１１に表示される内容を記憶するビデオメモリ１２、例えばタブレット、マウス、操作キーで構成される入力部１３、該入力部１３からの操作入力を検出して入力情報を後述の演算部１６に出力するユーザインタフェース部１４、本発明に係る処理を行なうためのアプリケーション（制御プログラム）や各種データを格納する記憶部１５、演算部（ＣＰＵ）１６、通信部１７を備えている。
【００３４】
記憶部１５に格納されている制御プログラムは、表示装置２での多画面機能を実現するための端末機器側制御機能と、表示部１１の画面の全部又は一部をキャプチャすることのできる画面キャプチャ機能と、表示部１１の画面上の変化を検出する機能を実現するためのもので、該アプリケーションプログラムとＣＰＵとによってデータ管理処理部１８、画面キャプチャ処理部１９、画面比較処理部２０が構成されている。
【００３５】
データ管理処理部１８は、通信部１７またはユーザインタフェース部１４を介して接続要求、表示要求、拡大表示要求、単画面切替要求、消去要求などの各種要求をユーザインタフェース部１４または通信部１７を介して受け取り、その要求内容に応じた処理を行うとともに、画面キャプチャ処理部１９で取得されたキャプチャ画像データを通信部１７を介して表示装置２に送信する処理などを行う。
【００３６】
通信部１７は、表示装置２との双方向通信を行う部分で、ここでは通信プロトコルがＴＣＰ／ＩＰで、このＴＣＰ／ＩＰ接続に必要なＡＲＰＩＣＭＰ，ＩＰ，ＴＣＰ，ＵＤＰ等のプロトコル処理機能を有するものである。なお、この機能はＯＳによって実現される。
【００３７】
図３は表示装置の構成を示すブロック図である。
表示装置２は、表示部２１、本発明の多画面表示機能、拡大表示機能、単画面切替機能、割り込み機能および消去機能を有し、表示部２１に表示させる表示画面の制御を行う表示制御部２２、例えばリモコン、マウス、操作キーで構成される入力部２３、入力部２３からの操作入力を検出して入力内容を後述の演算部２７に出力するユーザインタフェース部２４、本発明の多画面表示機能を提供する表示制御プログラムを格納するプログラム記憶部２５、この制御プログラムの実行に際して必要となる各種ファイルや各種データが記憶されるデータ記憶部２６、表示装置２全体の動作制御を行う演算部（ＣＰＵ）２７、端末機器１との双方向通信を行う通信部２８を備えている。
【００３８】
通信部２８は、端末機器１との双方向通信を行う部分で、ここでは通信プロトコルがＴＣＰ／ＩＰで、このＴＣＰ／ＩＰ接続に必要なＡＲＰＩＣＭＰ，ＩＰ，ＴＣＰ，ＵＤＰ等のプロトコル処理機能を有するものである。
【００３９】
ここで、この表示装置２は、図１に例示したプロジェクタの他に、例えばプラズマディスプレイ、液晶モニタなどで構成され、表示部２１はこれら表示装置２の種類によって異なる表示要素である。具体的には、プロジェクタであれば液晶ライトバルブ、ＬＣＯＳライトバルブ、ＤＭＤ（Digital Micromirror Device）（テキサスインスツルメンツ社の商標）となり、この場合、表示部２１の表示画面は投射面となる。また、例えばプラズマディスプレイであれば、表示部２１はプラズマディスプレイパネルとなり、液晶モニタであれば液晶パネルとなり、有機ＥＬディスプレイであれば、有機ＥＬパネルとなる。
【００４０】
次に、図４を参照してデータ記憶部に格納されている各種ファイル等について説明する。
データ記憶部２６には、接続許可管理ファイル３１、表示許可管理ファイル３２、接続状況管理ファイル３３、表示状況管理ファイル３４、仮・分割エリア設定ファイル３５、分割エリア情報ファイル３６が格納され、また、各端末機器１から送信されてきたキャプチャ画像データを記憶するためのキャプチャ画像データ記憶部３７を備えている。
【００４１】
接続許可管理ファイル３１は、接続が許可されている端末機器１の端末名が登録されているファイル、表示許可管理ファイル３２は、画面表示が許可されている端末機器１の端末名が登録されているファイルである。
【００４２】
接続状況管理ファイル３３は、現在、表示装置２に接続されている端末機器１の端末名が登録されるファイルである。
【００４３】
表示状況管理ファイル３４は、現在の表示部２１の表示状況を管理するファイルで、現在の表示部２１の表示画面に表示されているキャプチャ画像データ発信元の端末機器１に関する端末機器情報をテーブル形式で管理する。この表示状況管理ファイル３４は、表示部２１の表示画面が変更される毎に更新され、例えば、４分割画面から３分割画面に変更された場合、消去された分割画面に対応する端末機器１の端末機器情報は当該テーブルから消去され、逆に４分割画面から５分割画面に変更された場合、その追加された画面に対応する端末機器１の端末情報が新たに登録されるようになっている。
【００４４】
図５は、表示状況管理ファイルで管理される端末機器情報の各項目を示す図である。
表示状況管理ファイル３４は、「端末名」、「ＩＰアドレス」、「画面サイズ」、「色数情報」、「優先度」、「キャプチャ範囲管理フラグ」、「差分キャプチャ管理フラグ」、「キャプチャ画像サイズ」、「差分キャプチャ画像サイズ１」、「差分キャプチャ画像サイズ２」、「差分キャプチャ原点１」、「差分キャプチャ原点２」の項目で構成されている。
【００４５】
「端末名」は、端末機器１に予め与えられた名前、「画面サイズ」は表示部１１の表示画面の横・縦のピクセル数で、例えば、解像度がＳＸＧＡの端末機器であれば１２８０×１０２４、ＸＧＡであれば１０２４×７６８である。「色数情報」は、表示部１１の表示色数で、例えば２５６色、１６７７万７２１６色などである。以上の「端末名」、「ＩＰアドレス」、「表示サイズ」、「色数情報」は、この表示状況管理ファイル３４への登録時には必ず格納されるデータであり、その他の項目は、ユーザ操作等に応じて適宜設定（更新）されるデータである。
【００４６】
「優先度」は、「端末名」で特定される端末機器１に割り当てる表示サイズの大きさを左右するもので、「最高」、「高」、「なし」などの値をとり、以下に詳述するが、本例では優先度が高いと割り当てられる表示サイズが大きくなるように構成されている。「キャプチャ範囲管理フラグ」は「端末名」で特定される端末機器１での画面キャプチャが全画面キャプチャか部分キャプチャかを管理するフラグで、通常は全画面キャプチャを示す「０」を示し、部分キャプチャである場合に「１」に設定される。
【００４７】
「差分キャプチャ管理フラグ」は「端末名」で特定される端末機器１での画面キャプチャが、通常のキャプチャか画面上の変化分のみのキャプチャ（以後、差分キャプチャと呼ぶ）かを管理するフラグで、通常キャプチャである場合は「０」を示し、差分キャプチャである場合は「１」に設定される。
【００４８】
「キャプチャ画像サイズ」は「キャプチャ範囲管理フラグ」が「１」の場合すなわち部分キャプチャの場合のキャプチャ画像データのサイズ（縦横のピクセル数）である。
【００４９】
「差分キャプチャ画像サイズ１」と「差分キャプチャ画像サイズ２」は「差分キャプチャ管理フラグ」が「１」の場合の、差分キャプチャにおいて取得される２つの異なる範囲のエリアのサイズである。「差分キャプチャ原点１」と「差分キャプチャ原点２」は、差分キャプチャにおいて取得される２つの異なる範囲のエリアの原点であり、「キャプチャ画像サイズ」で規定されるエリア内での絶対座標で示す。
【００５０】
仮・分割エリア設定ファイル３５は、各端末機器１に割り当てる仮の分割エリアを特定するための情報が予め設定されているファイルで、端末台数毎に準備された複数のテーブルから構成される。このテーブルは後述の図１０（ａ）、図１５（ａ）に示すような構成となっており、その詳細については以下の該当箇所で説明することにする。なお、分割エリア情報ファイル３６についても以下で詳述することにする。
【００５１】
以上の各ファイル３１，３２，３３，３４，３５，３６は、入力部２３で所定の操作を行うと、ファイルの内容が表示部２１に表示され、表示画面上で確認、データ変更が自由に行えるようになっている。
【００５２】
ここで、図４の説明に戻る。
表示制御部２２は、分割エリア情報作成部４１、画像合成部４２および画像処理部４３とを備え、演算部２７でユーザインタフェース部２４あるいは通信部２８を介して受け取ったユーザからの接続要求、表示要求、割り込み表示要求、消去要求などの各種要求内容に応じて、必要な処理を各部４１，４２，４３にデータ記憶部２６内の必要ファイルを適宜アクセスさせながら実施させ、表示部２１の表示制御を行う。表示制御部２２は、プログラム記憶部２５に格納された多画面機能を提供する表示制御プログラムと演算部（ＣＰＵ）２７とによって実現される。
【００５３】
分割エリア情報作成部４１は、表示状況管理ファイル３４に基づいて、表示対象の端末機器１の台数を把握するとともに、表示対象の各端末機器１それぞれの優先度および画面サイズを取得する。そして、これら表示対象の端末機器１の台数、表示対象の端末機器１それぞれの優先度および画面サイズに応じて表示部２１の表示画面サイズの分割を行い、表示対象の各端末機器１それぞれに割り当てる表示部２１上の分割画面の表示サイズ（以下、分割エリアサイズという）、およびその分割画面の表示位置を特定する情報（表示画面に対する分割画面の左上の絶対座標で、以下、原点という）とを含む分割エリア情報を作成し、分割エリア情報ファイル３６としてデータ記憶部２６に格納する動作を行う。
【００５４】
画像合成部４２は、キャプチャ画像データ記憶部３７に格納されたキャプチャ画像データに対し、縮小・拡大・色変換等の処理を行い、分割エリア情報作成部４１で作成された分割エリア情報ファイル３６に基づいて合成画像データを生成する。
【００５５】
画像処理部４３は、画像合成部４２で生成された合成画像データや、ＯＳＤ（オン・スクリーン・ディスプレイ）機能等を用いて参照されたデータ記憶部２６の表示状況管理ファイル３４などの各種画像データに対し走査周波数変換処理を行って表示画像データを生成し、表示部２１に出力する部分で、例えばスキャンコンバータで構成される。
【００５６】
以下、本実施の形態の動作を説明する。図６は本実施の形態の動作を示すフロチャートである。
まず、表示装置２側では、多画面表示を行うための準備段階として入力部２３から所定の操作入力が行われ、演算部２７はその操作入力をユーザインタフェース部２４を介して検知すると、通信部２８およびネットワーク３を介して端末名およびＩＰアドレスの返信要求を表示装置２のＩＰアドレスと共に一斉同報する。この一斉同報された端末名およびＩＰアドレスの返信要求は、ネットワーク３上の各端末機器１に受信され、各端末機器１のそれぞれは、自身の端末名およびＩＰアドレスを表示装置２に返信する。
【００５７】
表示装置２は、通信部２８を介して各端末機器１からの返信（端末名およびＩＰアドレス）を受信し、接続許可端末であるか否かを判定する。具体的には、返信された端末名が、接続許可管理ファイル３１に登録されてる端末名と一致するかをチェックし、一致すれば接続許可端末と判定する。
【００５８】
接続許可端末と判定した端末機器１からの端末名およびＩＰアドレスを順次、接続状況管理ファイル３３に登録する。この接続状況管理ファイル３３により、表示装置２側で、今現在、何台の端末機器１が接続されているのかを把握することができる。また、端末名に基づいて接続許可・不許可を判断するようにしているので、例えばＤＨＣＰによって端末機器１にＩＰアドレスが与えられ、その与えられるＩＰアドレスが接続の度に異なる場合などにおいても、対応できるようになっている。
【００５９】
以上の準備作業が終了したところで、表示装置２は、各種要求待ちの状態で待機する。いま、各会議出席者が操作する各端末機器１のうち、次の図に示すように端末機器１ａ〜１ｄの４台の表示画面を表示装置２の表示画面５０に多画面表示させたい場合を考える。ここでそれぞれの端末機器１の解像度を、端末機器１ａはＳＸＧＡ（１２８０×１０２４ピクセル）、端末機器１ｂはＳＶＧＡ（８００×６００ピクセル）、端末機器１ｃはＸＧＡ（１０２４×７６８ピクセル）、端末機器１ｄは４８０×６４０ピクセルとした例として説明していく。
【００６０】
＜多画面表示機能＞
図７は端末機器１ａ〜１ｄの４台の表示画面を表示装置の表示画面に多画面表示させた状態を示す模式図である。
まず、入力部２３の例えばリモコンを操作して端末機器１ａ〜１ｄの多画面表示の意図を入力する。すると、この入力情報、すなわち端末機器１ａ〜１ｄそれぞれの識別情報を含む表示要求がユーザインタフェース部２４を介して演算部２７に通知される（Ｓ１）。なお、この表示要求の際に、優先度や、部分キャプチャや、差分キャプチャの指定も可能であるが、ここでは何れの指定もしないこととする。
【００６１】
表示要求を受信した表示装置２の演算部２７は、表示対象の各端末機器１ａ〜１ｄそれぞれについて以下のステップＳ３〜ステップＳ９の処理を行う（Ｓ２）。すなわち、接続許可端末であるか、表示許可端末であるかを、表示要求に含まれる識別情報により特定される端末名に基づいて接続許可管理ファイル３１、表示許可管理ファイル３２を参照してそれぞれ判定し（Ｓ３）、接続・表示共に許可した場合には（Ｓ４）、その端末機器に通信部２８を介して端末機器情報（端末名、ＩＰアドレス、画面サイズ、色数情報）を要求する（Ｓ５）。そして、この要求に応答して返信されてきた端末機器情報を受信し（Ｓ６）、表示状況管理ファイル３４に登録する（Ｓ７）。なお、この表示要求の際に、優先度や、部分キャプチャの指定、差分キャプチャの指定が行われていた場合には、このステップＳ７の登録の際に、「優先度」、「キャプチャ範囲管理フラグ」、「差分キャプチャ管理フラグ」も同様に登録される。
【００６２】
そして、接続・表示共に許可した端末機器１に対し、表示状況管理ファイル３４とともに画面キャプチャ開始指示を送信する（Ｓ８）。なお、接続・表示を許可しない端末機器１に対しては、その旨を通信部２８を介して通知する（Ｓ９）。
【００６３】
ここでは、端末機器１ａ〜１ｄの全てが接続・表示共に許可する端末機器１とすると、ステップＳ２〜ステップＳ９の処理により、各端末機器１ａ〜１ｄからの端末機器情報が表示状況管理ファイル３４に登録されるとともに、各端末機器１ａ〜１ｄに対し、表示状況管理ファイル３４とともに画面キャプチャ開始指示が通信部２８を介して送信されることになる。
【００６４】
以上の処理が終了すると、演算部２７は、表示制御部２２の分割エリア情報作成部４１にエリア分割要求を通知する。これにより表示装置２は分割エリア情報作成処理に入る（Ｓ１０）。画面キャプチャ開始指示を受け取った端末機器１側の動作は後述することにして、以下、エリア分割要求を受信した分割エリア情報作成部４１での分割エリア情報作成処理について説明する。
【００６５】
図８は、分割エリア情報作成処理の流れを示すフロチャートである。ここでは、表示状況管理ファイル３４が図９のように構成されているものとし、以下に分割エリア情報作成部４１の動作を具体的に説明する。なお、図９において端末名がＰＣ−１，ＰＣ−２，ＰＣ−３，ＰＤＡ−１がそれぞれ端末機器１ａ，１ｂ，１ｃ，１ｄに対応しているものとする。
【００６６】
分割エリア情報作成部４１は、演算部２７からエリア分割要求を受信すると、表示状況管理ファイル３４を参照して表示対象の端末機器１の台数（ここでは４台）を把握するとともに、各端末機器１ａ，１ｂ，１ｃ，１ｄそれぞれの優先度を取得する（Ｓ２１）。そして、これら端末機器１の台数と、各端末機器１ａ〜１ｄそれぞれの優先度とに基づいて仮・分割エリア設定ファイル３５を参照し、各端末機器１ａ，１ｂ，１ｃ，１ｄそれぞれに割り当てるべき仮の分割エリアの仮のサイズと、仮の原点とを取得する（Ｓ２２）。なお、「仮」とした理由については以下の説明で明らかになるが、ここで割り当てられる分割エリアは、後のステップにおいてキャプチャ画像データをサイズ変換する際に変更されることになるからである。
【００６７】
ここでは、図９に示すように表示対象の端末機器台数が４台で、その全てに優先度の設定がないため、この場合に仮・分割エリア設定ファイル３５で参照される該当の仮・分割エリア設定テーブルは例えば図１０（ａ）のように構成されている。なお、本例では表示部２１の表示画面の画面サイズを１２８０×１０２４（ＳＸＧＡ）としており、図１０（ａ）の仮・分割エリア設定テーブルはこの場合の一例である。また、図１０（ｂ）は（ａ）の仮・分割エリア設定テーブルに基づく仮の分割エリアを図示したものである。
【００６８】
ここで、図１０（ａ）の優先順位とは、表示状況管理ファイル３４の「優先度」の項目に基づいて順位付けが決定されるもので、優先度の高いものから順に１台目、２台目、３台目、４台目とされる。そして、そのそれぞれには、その下のテーブルに示される「仮サイズ」、「仮原点」で特定される領域が仮の分割エリアとして割り当てられる。ここでは表示対象の全端末機器１ａ，１ｂ，１ｃ，１ｄの全てにおいて「なし」であるため（図９参照）、実質上、優先順位は無い。このように優先度の設定が無い場合の割り当て順は予め決められた所定の順序としてもよいし、表示状況管理ファイル３４への登録順とするなど任意であるが、本例では、各端末機器１ａ，１ｂ，１ｃ，１ｄ（以下、適宜、端末名のＰＣ−１，ＰＣ−２，ＰＣ−３，ＰＤＡ−１と呼ぶことにする）に、それぞれ順に仮の分割エリア５０Ａ，５０Ｂ，５０Ｃ，５０Ｄが割り当てられるとして以下に説明を続けることにする。
【００６９】
分割エリア情報作成部４１は、さらに表示状況管理ファイル３４（図９参照）から各ＰＣ−１，ＰＣ−２，ＰＣ−３，ＰＤＡ−１それぞれの画面サイズを取得し、これら取得した情報に基づいて、それぞれに割り当てる真の分割エリアサイズと、真の原点を決定する（Ｓ２３）。
【００７０】
図１１は、真の分割エリアの説明図である。なお、図１１において５１Ａ，５１Ｂ，５１Ｃ，５１Ｄは、それぞれＰＣ−１，ＰＣ−２，ＰＣ−３，ＰＤＡ−１にそれぞれ割り当てられた真の分割エリアを示している。真の分割エリアとは、仮の分割エリア内に、その仮の分割エリア内に表示させるべきキャプチャ画像データを、アスペクト比を維持したままサイズ変換し、なおかつその変換後の画像を、仮の分割エリア５０Ａ，５０Ｂ，５０Ｃ，５０Ｄそれぞれの中心部に表示させるための表示領域のことである。ここで、この真の分割エリアを特定するための真の分割エリアサイズについて具体的にＰＣ−２の例で説明すると、ＰＣ−２は画面サイズが１０２４×７６８ピクセル（図９参照）であり、このサイズの画像データを、当該ＰＣ−２に割り当てられた６４０×５１２ピクセルの仮の分割エリア５０Ｂ内に表示させるために、元の画像のアスペクト比を維持したまま縮小したときのサイズである。また、真の原点とは、図１１に示すように、そのサイズの分割画面を仮の分割エリア５０Ｂの中心部に位置させるためのもので、分割画面の左上のピクセルの座標（表示画面全体に対する絶対座標）である。
【００７１】
分割エリア情報作成部４１は、以上のような真の分割エリアサイズと真の原点とをＰＣ−１，ＰＣ−２，ＰＣ−３，ＰＤＡ−１それぞれについて決定し、端末名、分割エリア、原点の項目からなる図１２に示すような内容の分割エリア情報を作成して分割エリア情報ファイル３６としてデータ記憶部２６に記憶させる（Ｓ２４）。これにより分割エリア情報作成処理が終了する。なお、この分割エリア情報ファイル３６には作成日時（２００２年５月２１日１７：００：３２）が付されるようになっている。
【００７２】
ここで、図６に戻る。
表示装置２の演算部２７は、分割エリア情報作成部４１での分割エリア情報作成処理（Ｓ１０）が終了すると、表示対象の各端末機器１ａ，１ｂ，１ｃ，１ｄに対し、ステップＳ１２〜ステップＳ１４の処理を行う（Ｓ１１）。すなわち、キャプチャ画像データ送信要求を送信する（Ｓ１２）。なお、各端末機器１ａ，１ｂ，１ｃ，１ｄでは、ステップＳ８の処理によって表示装置２側から送信されてきたキャプチャ開始指示の受信後、後述するように画面キャプチャ処理を開始しており、その画面キャプチャ処理によって取得されたキャプチャ画像データおよび画像サイズ（部分キャプチャの場合）が、ステップＳ１１のキャプチャ画像データ送信要求に応答して表示装置２に返信されてくる。
【００７３】
表示装置２は、端末機器１からの返信を受信し（Ｓ１３）、返信内容がキャプチャ画像データであるときは、端末機器１で行われた画面キャプチャが全画面キャプチャであると判断し（Ｓ１４）、その受信したキャプチャ画像データをキャプチャ画像データ記憶部３７に書き込む（Ｓ１６）。
【００７４】
一方、ステップＳ１３で受信した端末機器１からの返信内容がキャプチャ画像データおよび画像サイズであるときは、当該端末機器１で行われた画面キャプチャが部分キャプチャであると判断し（Ｓ１４）、受信した画像サイズで表示状況管理ファイル３４の「キャプチャ画像サイズ」を更新するとともに、受信した画像サイズに基づいて分割エリア情報（真の分割エリアサイズ及び真の原点）を上記と同様の処理により再作成する（Ｓ１５）。そして、画像サイズとともに受信したキャプチャ画像データをキャプチャ画像データ記憶部３７に書き込む（Ｓ１６）。
【００７５】
以上の処理を表示対象の各端末機器１ａ〜１ｄそれぞれについて行い、表示対象の端末機器１ａ，１ｂ，１ｃ，１ｄからのキャプチャ画像データが全て揃うと、演算部２７は画像合成部４２に画像合成指示を通知する。これにより表示装置２は画像合成処理に入る（Ｓ１７）。
【００７６】
画像合成部４２は、画像合成指示を受け取ると、キャプチャ画像データ記憶部３７に格納された各キャプチャ画像データのそれぞれを、分割エリア情報ファイル３６の分割エリア情報および表示状況ファイルの「色数情報」に基づいてサイズ変換・色変換を行い、１画面の画像データに合成して合成画像データを生成し、生成した合成画像データを画像処理部４３に出力する。
【００７７】
画像処理部４３は、画像合成部４２からの合成画像データを、表示部２１の走査周波数にコンバートして表示画像データを生成し、表示部２１に出力する。これにより、図７に示したように、真の分割エリア（以下、分割画面ということがある）５１Ａ，５１Ｂ，５１Ｃ，５１Ｄに、それぞれ端末機器１ａ，１ｂ，１ｃ，１ｄのキャプチャ画像データ（表示画面）がそれぞれ表示された多画面が表示画面５０に表示される（Ｓ１８）。
【００７８】
次に、表示装置２からキャプチャ開始指示および表示状況管理ファイル３４を受け取った端末機器１側の動作について説明する。
図１３は、表示装置からキャプチャ開始指示および表示状況管理ファイルを受け取った端末機器側の動作を示すフローチャートである。ここでは、端末機器１ａ（ＰＣ−１）の動作として説明する。
【００７９】
端末機器１ａのデータ管理処理部１８は、表示装置２から送信されてくるキャプチャ開始指示と表示状況管理ファイル３４とを通信部１７を介して受信し（Ｓ３１）、表示状況管理ファイル３４の自端末機器１ａのキャプチャ範囲指定フラグを参照する（Ｓ３２）。ここでは「０」であるので（Ｓ３３）、全画面キャプチャと判断して画面キャプチャ処理部１９に全画面キャプチャを指示する。全画面キャプチャの指示を受けた画面キャプチャ処理部１９は、ビデオメモリ１２の内容（すなわち、現在、表示部１１の表示画面に表示されている内容）を例えばビットマップなどの形式で記憶部１５に格納し（全画面キャプチャ処理）（Ｓ３４）、画面キャプチャが終了したことをデータ管理処理部１８に通知する。
【００８０】
一方、キャプチャ範囲指定フラグが「１」であるときは、部分キャプチャと判断して、例えば「キャプチャ範囲を指定してください」などのメッセージを示すキャプチャ範囲指定指示画面を表示部１１に表示する（Ｓ３５）とともに、画面キャプチャ処理部１９に部分キャプチャを指示する。キャプチャ範囲指定指示画面を確認したユーザによってウィンドウの選択や、所望の領域を囲む操作などが入力部１３を介して行われると、画面キャプチャ処理部１９は、ユーザインタフェース部１４を介してユーザ操作を認識し、指定された領域に対応するビデオメモリ１２上の画像データとその画像サイズを記憶部１５に格納し（部分キャプチャ処理）（Ｓ３６）、画面キャプチャが終了したことをデータ管理処理部１８に通知する。
【００８１】
このように、端末機器１ａ側では、キャプチャ開始指示を受信後、画面キャプチャ処理を行っている。この間、表示装置２側では上述したように分割エリア情報作成処理が行われており、そして、端末機器１ａは、画面キャプチャ処理部１９での画面キャプチャ処理が終了し、且つ表示装置２からのキャプチャ画像データ送信要求を受信すると（Ｓ３７）、キャプチャ画像データと画像サイズ（部分キャプチャの場合）を通信部１７を介して送信する（Ｓ３８）。
【００８２】
以上の処理が端末機器１ａ以外の端末機器１ｂ，１ｃ，１ｄでも同様に行われ、その結果、上述したように、表示装置２に各端末機器１ａ，１ｂ，１ｃ，１ｄからキャプチャ画像データと画像サイズ（部分キャプチャの場合）が送られてくることになる。
【００８３】
ところで、各端末機器１には、表示装置２から表示状況管理ファイル３４が送信されてくるが、この表示状況管理ファイル３４は、上述したように自端末機器１のキャプチャ範囲指定フラグの設定状態をチェックする際に利用される以外に、入力部１３で所定の操作を行うことによりファイルの内容を表示部１１に表示させることができるようになっている。また、接続許可管理ファイル３１、表示許可管理ファイル３２、接続状況管理ファイル３３についても適宜表示装置２から取得して同様に表示部１１に表示させることができるようになっており、これにより、ユーザが、自身が操作する端末機器１以外にどの端末機器が表示されているのか、また、自身の端末機器１に与えられた権限などを知ることができるようになっている。
【００８４】
＜拡大表示機能＞
以下、現在表示されている複数分割画面のうち、任意の分割画面を拡大表示させる拡大表示機能について説明する。この拡大表示機能は、上記の構成において、優先度を変更することで対応できる。
【００８５】
図１４は、拡大表示機能を説明するための模式図である。ここでは端末機器１ａの優先度を高めて拡大表示させた場合の例を示している。
この場合、例えばリモコンを操作して端末機器１ａの画面を指定する。この指定は、リモコンに端末機器１が割り当てられている場合はそのキーを押下することにより指定でき、また、割り当てられていない場合は、リモコンを操作して表示部２１に表示させたメニュー画面から選択したり、リモコンで表示画面上にポインタを表示させてそのポインタで端末機器１ａの画面を指し示してクリックするなどにより指定することができる。
【００８６】
このようにして指定されたその指定情報、すなわち端末機器１ａの識別情報を含む拡大表示要求は、ユーザインタフェース部２４を介して演算部２７に通知され、演算部２７は拡大表示要求に含まれる識別情報に基づいて端末機器１ａを特定し、表示状況管理ファイル３４の端末機器１ａ（ＰＣ−１）の「優先度」の項目を「高」に設定し、分割エリア情報作成部４１にエリア分割要求を通知する。
【００８７】
分割エリア情報作成部４１では、上記と同様にして分割エリア情報ファイル３６を作成する。この作成に際し、参照される仮・分割エリア設定テーブルは、例えば図１５（ａ）のように構成されており、図１５（ｂ）はその仮・分割エリア設定テーブルに基づく仮の分割エリアを図示したものである。ここで、図１５（ｂ）中の優先順位は、上述したように表示状況管理ファイル３４の「優先度」の項目に基づいて順位付けが決定されるもので、ここでは端末機器１ａの優先度が「高」で他の端末機器１ｂ，１ｃ，１ｄよりも高いため、優先順位が１番目すなわち図１５（ｂ）の仮の分割エリア（１台目用分割エリア）５２Ａが割り当てられる。その他の優先度の設定のない端末機器１ｂ，１ｃ，１ｄに対しての分割エリアの割り当ては、上述したように任意であり、ここでは、端末機器１ｂ，１ｃ，１ｄに、それぞれ順に仮の分割エリア５２Ｂ，５２Ｃ，５２Ｄが割り当てられるとする。そして、上記と同様にして各端末機器１ａ，１ｂ，１ｃ，１ｄに割り当てられる真の分割エリアを決定する。
【００８８】
図１６は、この場合の真の分割エリアを示す図で、分割エリア５３Ａ，５３Ｂ，５３Ｃ，５３Ｄは、それぞれ端末機器１ａ，１ｂ，１ｃ，１ｄにそれぞれ割り当てられた真の分割エリアで、このときの分割エリア情報ファイル３６は図１７に示すような内容に構成される。
【００８９】
そして、上記と同様の動作が行われ、その結果、図１４に示したように、真の分割エリア５３Ａ，５３Ｂ，５３Ｃ，５３Ｄに、各端末機器１ａ，１ｂ，１ｃ，１ｄのキャプチャ画像データ（表示画面）がそれぞれ表示され、各分割画面５３Ａ，５３Ｂ，５３Ｃ，５３Ｄのうち、指定された分割画面５１Ａが拡大された状態の多画面が表示画面５０に表示される。
【００９０】
＜単画面切替機能＞
また、図１８に示すように、複数分割画面のうちの何れか１つを単画面表示させることも可能である。この場合、例えばリモコンを操作してその旨の入力操作を行う。その入力情報、すなわち単画面表示させたい分割画面５１Ｃに対応する端末機器１ｃの識別情報を含む単画面表示要求がユーザインタフェース部２４を介して演算部２７に通知され、演算部２７は単画面表示要求に含まれる識別情報に基づいて端末機器１ｃを特定し、表示状況管理ファイル３４の端末機器１ｃ（ＰＣ−３）の「優先度」の項目を「最高」に設定し、分割エリア情報作成部４１にエリア分割要求を通知する。
【００９１】
そして、上記と同様の動作が行われ、その結果、図１８に示すように多画面から単画面に変更される。また、例えばリモコンによって所定の操作を行うことによって「優先度」の項目を「なし」に戻すことにより、元の多画面に戻ることのできる構成とする。
【００９２】
このような単画面切替機能により、縮小されていて細部が見えない分割画面の細部を確認することが可能となり、また所定の操作によって多画面に戻ることができ使い勝手が良い。
【００９３】
＜割り込み機能＞
また、図１９に示すように、現在、表示されている多画面に対し、新たな画面を割り込ませることも可能である。この割り込みは、多画面が表示された後の表示要求に相当し、上記の表示要求の際と同様の処理によって割り込みが可能である。
【００９４】
＜消去機能＞
また、図２０に示すように、現在、表示されている複数分割画面のうち、任意の分割画面を消去することも可能である。この場合、リモコンを操作してその旨の入力操作を行う。その入力情報、すなわち消去したい分割画面５１Ｄに対応する端末機器１ｄの識別情報を含む消去要求がユーザインタフェース部２４を介して演算部２７に通知され、演算部２７は消去要求に含まれる識別情報に基づいて端末機器１ｄを特定し、該端末機器１ｄの端末機器情報を表示状況管理ファイル３４から削除し、分割エリア情報作成部４１にエリア分割要求を通知する。その後の動作は上記と同様であり、これにより、図２０に示すように消去指定された分割画面５０Ｄが削除され、消去後の台数分の複数分割画面に再構成された多画面が表示される。なお、単純に、消去指定された分割画面５１Ｄだけ削除する構成を採用してもよい。
【００９５】
このように、本実施の形態によれば、ネットワーク３に接続されている複数の端末機器１で表示されている画面を、画面分割により１画面に表示する多画面表示機能を備えた表示装置２を得ることができる。
【００９６】
また、多画面表示機能に加え、拡大表示機能、単画面切替機能、割り込み機能、消去機能を備えた高機能な表示装置２を得ることができる。
【００９７】
また、多画面を構成するに際し、キャプチャ画像データのアスペクト比を維持したままサイズ変換して合成するようにしたので、違和感のない表示画面を構成することが可能な表示装置２を得ることができる。
【００９８】
なお、表示要求を会議出席者（ユーザ）が入力部２３を介して都度行うのではなく、表示装置２主導で例えば３秒に１回毎に、表示画面を更新していくような方法でもよい。この場合は、表示装置２の演算部２７が時間を管理し、一定時間毎にその後の動作を上記と同様に行えばよく、常に最新の端末機器１の表示画面を得ることができる。
【００９９】
＜差分キャプチャ機能＞
ここまでは全画面キャプチャ（または部分のキャプチャ）による方法を説明してきたが、以下、端末機器の表示画面上の変化を検出し、変化分のみをキャプチャして得られた画像データを送信する方法について説明する。
【０１００】
まず、入力部２３の例えばリモコンを操作して、端末機器１ａ〜１ｄに対する差分キャプチャを行いたい意図を入力する。すなわち表示状況管理ファイル３４の差分キャプチャ管理フラグを「１」に設定する。
【０１０１】
差分キャプチャ管理フラグが「１」に設定された初回は、通常通り上記ステップＳ１〜Ｓ１８の処理を行って、多画面表示を行う。
【０１０２】
多画面表示が完了した後、表示装置２は、差分キャプチャ管理フラグが「１」となっている端末機器１に対して、演算部２７から通信部２８、ネットワーク３を介して、表示状況管理ファイル３４とともに差分キャプチャ開始指示を送信する。
【０１０３】
次に、表示装置２から差分キャプチャ開始指示および表示状況管理ファイルを受け取った端末機器１側の動作について説明する。
図２１は、表示装置２から差分キャプチャ開始指示および表示状況管理ファイルを受け取った端末機器１側の動作を示すフローチャートである。ここでは、端末機器１ａ（ＰＣ−１）の動作として説明する。
【０１０４】
端末機器１ａのデータ管理処理部１８は、表示装置２から送信されてくる差分キャプチャ開始指示と表示状況管理ファイル３４とを通信部１７を介して受信する（Ｓ４１）。これを受けて以後の全画面キャプチャ処理を実行する。すなわち画面キャプチャ処理部１９はビデオメモリ１２の内容を記憶部１５に格納する（Ｓ４２）。ここで得た画像データを、前・全画面データと呼ぶ。
【０１０５】
画面比較処理部２０は、データ管理処理部１８が受信した表示状況管理ファイル３４の差分キャプチャ管理フラグを一定時間毎（例えば０．５秒に１回などで、設定は任意）に参照し（Ｓ４３）、差分キャプチャ管理フラグ「１」であるならば（Ｓ４４）、以後の差分キャプチャ動作を行う。
また、例えばユーザ差分キャプチャ動作を停止するよう指示するには、表示状況管理ファイル３４を変更する方法で差分キャプチャ管理フラグを、「０」に書き換えればよい。これを画面比較処理部２０が参照することで、キャプチャ動作停止を判断する。
【０１０６】
全画面キャプチャ処理を実行し、画面キャプチャ処理１９はビデオメモリ１２の内容を記憶部１５に格納する（Ｓ４５）。ここで得た画像データを、後・全画面データと呼ぶ。次に、演算部１６の画面比較処理部２０は、前・全画面データと後・全画面データの比較を行う（Ｓ４６）。
【０１０７】
この画面比較処理の一例として、マウスポインタを動かしたときの例（図２２）で説明する。この図では、前・全画面データ６０と、後・全画面データ６１でマウスポインタの位置が変化している。すなわち図２３のように、２つの領域（７０，７１）が変化した領域として認識される。これを画面比較処理部２０は検出するが、ここで画面の変化があったと判断できた場合（Ｓ４７）、画面比較処理部２０は変化のあった領域の画像データと、画像データのサイズ（縦×横ピクセル）と、画像データの原点座標（表示状況管理ファイル３４の「キャプチャ画像サイズ」で規定されるエリア内での絶対座標）を取得する。
【０１０８】
この例の場合は、領域７０に関して、該領域７０部分のキャプチャ画像データ（以下、差分キャプチャ画像データ１という）、差分キャプチャ画像サイズ１、差分キャプチャ原点１が、領域７１に関しては、該領域７１部分のキャプチャ画像データ（以下、差分キャプチャ画像データ２という）、差分キャプチャ画像サイズ２、差分キャプチャ原点２が取得され、これらの情報を記憶部１５に格納すると同時に差分キャプチャ画像データ等を取得したことをデータ管理処理部１８に通知する（Ｓ４８）。なお、差分キャプチャ画像サイズ１、差分キャプチャ画像サイズ２、差分キャプチャ原点１、差分キャプチャ原点２は、表示状況管理ファイル３４の該当部分に書き込むことになる。
【０１０９】
これらのデータを通信部１７とネットワーク３を介して、ネットワーク管理部１８は表示装置２へ送信する（Ｓ４９）。なお、この差分キャプチャ機能では、上記全画面キャプチャ（または部分キャプチャ）による方法とは異なり、表示装置２側から送信要求を都度受けるのではなく、画面比較処理部２０で画面上の変換が検知されたこと場合、これが要因となって送信動作を行う。
次回の画面比較処理のために、後・全画面データを前・全画面データとする（Ｓ５０）。
【０１１０】
次に、端末機器１ａから差分キャプチャ画像データ１、差分キャプチャ画像データ２および表示状況管理ファイル３４を受け取った表示装置２側の動作について説明する。
【０１１１】
表示装置２は、端末機器１ａから差分キャプチャ画像データ１、差分キャプチャ画像データ２および表示状況管理ファイル３４を通信部２８で受信すると、演算部２７は画像合成部４２に画像合成指示を通知する。これにより表示装置２は差分キャプチャ機能による画像合成処理に入る。
【０１１２】
画像合成部４２は、画像合成指示を受け取ると、現在表示部２１で表示されている画像に該当する分離エリア情報ファイル３６と、端末機器１ａから受け取った表示状況管理ファイル３４（差分キャプチャ画像サイズ１、差分キャプチャ画像サイズ２、差分キャプチャ原点１、差分キャプチャ原点２）に基づいて、キャプチャ画像データ記憶部３７に格納されたキャプチャ画像データのうち、差分キャプチャ画像データ１、差分キャプチャ画像データ２に該当する部分を書き換える。この後の動作は上記のステップ１７、ステップ１８と同様である。
【０１１３】
この方法は、上記の全画面キャプチャ（または部分キャプチャ）による方法よりも、ネットワーク３で送信する画像データの量が少なくなるので、ネットワークへの負荷を低減できる。また、常に最新の端末機器１の表示画像を得ることができる。
【０１１４】
なお、上記の説明では差分検出の際、端末機器１に導入された専用のプログラムでキャプチャして処理することを想定しているが、これをビデオメモリの内容の差分を直接検出することができるようなドライバがＯＳ上で利用できる場合は、これを利用してもよい。
【０１１５】
なお、上記画像データは、圧縮画像形式（たとえばＪＰＥＧ形式など）で端末機器１と表示装置２の間で送受信を行うことにして、ネットワークへの負荷を軽減させてもよい。
【０１１６】
なお、上記では、表示要求や単画面表示要求などの各種要求を表示装置２側の入力部２３を操作することによって行う場合、すなわち表示装置２側主導で表示画面の構成を決定する場合を例に説明してきたが、各端末機器１側からも可能である。その場合、会議出席者（ユーザ）が、自身が操作する端末機器１から、その意図を入力部１３を操作して入力する。この入力情報は、ユーザインタフェース部１４を介してデータ管理処理部１８に通知され、該データ管理処理部１８は、表示装置２に対し、通信部１７およびネットワーク３を介して自端末機器１の端末名とＩＰアドレスとを含む前記入力情報に応じた要求を送信する。この要求が、ネットワーク３を介して表示装置２の通信部２８で受信され、演算部２７に通知される。その後の動作は上記と同様であり、このように、各端末機器１側からも各種要求が可能となっている。
【０１１７】
なお、前記各種要求に全画面キャプチャか部分キャプチャかを指定する情報を含めることにより、キャプチャ範囲の指定も端末機器１側から可能である。
【０１１８】
また、優先度は、上述したようにユーザ操作により適宜指定できるようにしてもよいし、表示装置２に接続されることが予定される複数の端末機器１に対して予め与えられたものであってもよい。予め与えられている場合は、表示状況管理ファイル３４に端末機器情報を登録する際に、その端末機器１に与えられた優先度が自動的に表示状況管理ファイル３４の優先度の項目に設定されるような構成とされる。
【０１１９】
なお、本実施の形態では、仮・分割エリアを仮・分割エリア設定ファイル３５に基づき決定するとして説明してきたが、毎回、計算によって決定するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の一実施の形態のネットワーク対応装置を備えた表示システムのネットワーク構成を示す図である。
【図２】端末機器の構成を示すブロック図である。
【図３】ネットワーク対応表示装置の構成を示すブロック図である。
【図４】ネットワーク対応表示装置の機能的な構成を示す図である。
【図５】表示状況管理ファイルで管理される端末機器情報の各項目を示す図である。
【図６】本実施の形態の動作の流れを示すフロチャートである。
【図７】端末機器１ａ〜１ｄの４台の表示画面を表示装置の表示画面に多画面表示させた状態を示す模式図である。
【図８】分割エリア情報作成処理の流れを示すフロチャートである。
【図９】表示状況管理ファイルの具体的構成の一例を示す図である。
【図１０】（ａ）は仮・分割エリア設定ファイルに格納されたテーブルの具体的構成の一例を示す図、（ｂ）は（ａ）のテーブルに基づく仮の分割エリアを示す図である。
【図１１】真の分割エリアサイズと真の原点の説明図である。
【図１２】分割エリア情報ファイルの一例を示す図である。
【図１３】表示装置からキャプチャ開始指示および表示状況管理ファイルを受け取った端末機器側の動作を示すフローチャートである。
【図１４】拡大表示機能を説明するための模式図である。
【図１５】（ａ）は優先度を変更した場合に参照される仮・分割エリア設定テーブルの一例を示す図、（ｂ）は（ａ）のテーブルに基づく仮の分割エリアを示す図である。
【図１６】優先度を変更した場合の真の分割エリアの一例を示す図である。
【図１７】優先度を変更した場合に作成される分割エリア情報ファイルの一例を示す図である。
【図１８】単画面表示機能を説明するための模式図である。
【図１９】割り込み機能を説明するための模式図である。
【図２０】画面消去機能を説明するための模式図である。
【図２１】表示装置から差分キャプチャ開始指示および表示状況管理ファイルを受け取った端末機器側の動作を示すフローチャートである。
【図２２】画面比較処理の一例として、マウスポインタを動かしたときの例を示す図である。
【図２３】図２２の画面比較処理の説明図である。
【図２４】従来の表示システムの一例を示す構成図である。
【符号の説明】
１端末機器
２表示装置
３ネットワーク
２１表示部
２２表示制御部
２３入力部
４１分割エリア情報作成部
４２画像合成部
４３画像処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for displaying multiple screens of a plurality of terminal devices connected on a network on a single screen of a display device.
[0002]
[Prior art]
FIG. 24 is a configuration diagram illustrating an example of a conventional display system.
24, for example, a projector 220, a notebook personal computer 230, and desktop personal computers 251, 252, 253, and 254 as display devices are connected to the network 210. Further, the projector 220 directly inputs drawings and the like to the projector 220. The tablets 261, 262, 263, and 264 that can be projected or inserted into the projected data are directly connected. Note that screen capture software is installed in the notebook computer 230 and the desktop computers 251, 252, 253, and 254.
[0003]
In the conventional display system configured as described above, for example, the screen content on the notebook computer 230 is captured by the screen capture software, and the captured image data is transmitted to the projector 220 via the network 210. The screen displayed on the notebook personal computer 230 can be projected and displayed by the projector 220. The projection image of the projector 220 can be switched from the screen of the notebook personal computer 230 to another screen image of the desktop personal computer 251, for example, by performing a switching operation with a remote controller attached to the projector.
[0004]
[Problems to be solved by the invention]
In the conventional display system, as described above, the image that can be displayed by the projector 220 is one of the notebook computer 230 and the desktop computers 251, 252, 253, and 254 connected to the projector 220. It is an image. For this reason, when it is desired to compare and discuss the contents of the display screens of the notebook personal computer 230 and the desktop personal computers 251, 252, 253, and 254, it is necessary to switch one screen at a time. There is a strong demand for a function capable of simultaneously displaying a personal computer screen on one screen.
[0005]
The present invention has been made in view of such a point, and a network-compatible display device, a network-compatible projector, and display control capable of displaying a multi-screen display screen on a plurality of terminal devices connected to a network. The purpose is to provide a program.
[0006]
[Means for Solving the Problems]
(1) A network-compatible display device according to the present invention is a network connected via a network to a plurality of terminal devices each having a screen capture function for specifying the entire or partial range of the display screen and capturing the display screen. Display of a display unit including a display unit, a communication unit capable of bidirectional communication with each terminal device, a display control unit, and a capture range management flag for specifying a capture range of a screen capture function A data storage unit for holding a display status management file for managing the status, and the communication unit transmits the display status management file to the terminal device and also according to the capture range management flag of the display status management file received by each terminal device. The screen capture function receives image data that captures all or part of the display screen, and the display control unit Those having a multi-screen display function of displaying the respective captured image data received by the communication unit by combining the image data of one screen by screen division on a display screen of the display unit.
[0007]
ADVANTAGE OF THE INVENTION According to this invention, the network corresponding | compatible display apparatus which can display the display screen of the several terminal apparatus connected to the network on a multiscreen on the screen of a display apparatus can be obtained.
According to the present invention, the captured image data displayed on the display screen of the display unit can display both captured image data obtained by full screen capture and captured image data obtained by partial capture. A network-compatible display device can be obtained.
[0008]
(2) In the network-compatible display device according to the present invention, in (1) above, the display control unit has an interrupt function for interrupting and displaying a new screen on the current display screen.
[0009]
According to the present invention, a network-compatible display device having an interrupt function can be obtained.
[0010]
(3) The network compatible display device according to the present invention is the terminal that displays the captured image data on the display screen from the plurality of terminal devices connected to the network compatible display device in (1) or (2). A device allows a user to arbitrarily select a device.
[0011]
ADVANTAGE OF THE INVENTION According to this invention, the network corresponding | compatible display apparatus in which a user can select the terminal device which displays captured image data on a network corresponding | compatible display apparatus from several terminal devices can be obtained.
[0012]
(4) The network compatible display device according to the present invention can select a terminal device that displays captured image data on the display screen in any one of the above (1) to (3) by network communication using bidirectional communication. This is possible from both the display device side and the terminal device side.
[0013]
ADVANTAGE OF THE INVENTION According to this invention, the network corresponding | compatible display apparatus which can designate the terminal device which displays capture image data on a network corresponding | compatible display apparatus from the network corresponding | compatible display apparatus side can be obtained.
[0014]
(5) In the network compatible display device according to the present invention, in any one of the above (1) to (4), the display control unit may select from among a plurality of divided screens constituting a multi-screen displayed on the display screen. The apparatus has an enlarged display function for enlarging and displaying a predetermined divided screen.
[0015]
According to the present invention, it is possible to obtain a network-compatible display device having an enlarged display function for enlarging and displaying a predetermined divided screen.
[0016]
(6) In the network compatible display device according to the present invention, in any one of the above (1) to (4), the display control unit may select from among a plurality of divided screens constituting a multi-screen displayed on the display screen. A single screen switching function for switching a predetermined divided screen to display of the entire display screen is provided.
[0017]
ADVANTAGE OF THE INVENTION According to this invention, the network corresponding | compatible display apparatus which has a single screen switching function which switches a predetermined divided screen to the display of the whole display screen can be obtained.
[0018]
(7) In the network compatible display device according to the present invention, in any one of the above (1) to (4), the display control unit may select from among a plurality of divided screens constituting a multi-screen displayed on the display screen. And an erasing function for erasing a predetermined divided screen.
[0019]
According to the present invention, a network-compatible display device having an erasing function for erasing a predetermined divided screen can be obtained.
[0020]
(8) In the network compatible display device according to the present invention, in any one of the above (5) to (7), a predetermined divided screen is selected based on a user operation.
[0021]
According to the present invention, it is possible to obtain a network-compatible display device that allows a user to select a divided screen to be enlarged, a divided screen to be displayed on a single screen, and a divided screen to be deleted.
[0022]
(9) In the network compatible display device according to the present invention, in (8) above, the predetermined divided screen can be selected from the network compatible display device side or the terminal device side by bidirectional communication of the communication unit. It is.
[0023]
According to the present invention, it is possible to obtain a network-compatible display device capable of designating a split screen to be enlarged, a split screen to be displayed on a single screen, and a split screen to be deleted from the network-compatible display device side or the terminal device side. Can do.
[0024]
(10) In the network compatible display device according to the present invention, in any of the above (1) to (9), the capture data acquired from the terminal device detects a change on the display screen of the terminal device, and This is image data obtained by capturing only changes.
[0025]
According to the present invention, the load on the network is reduced by capturing only the changed portion on the display screen of the terminal device, and the network compatible display capable of displaying the image data obtained by combining this with the existing capture data. A device can be obtained.
[0026]
(11) In the network compatible display device according to the present invention, in any one of the above (1) to (10), the display control unit divides the display screen of the display unit into the number of terminal devices to be displayed. A divided area information creating unit that creates divided area information including a display size of the divided screen to be assigned to the terminal device to be displayed and information for specifying a display position of the divided screen, and a divided area created by the divided area information creating unit According to the information, the captured image data from the terminal device is synthesized into one screen image data, the image composition unit for generating the composite image data, and the composite image data generated by the image composition unit is processed to generate the display image data. And an image processing unit for outputting to the display unit.
[0027]
(12) A network compatible projector according to the present invention includes the network compatible display device according to any one of the above (1) to (11).
[0028]
According to the present invention, a projector having the above effects can be obtained.
[0029]
(13) A display control program according to the present invention causes a CPU to realize the display control unit of any one of the above-described network display devices (1) to (11).
[0030]
ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to obtain the display control program which can provide said effect to a display apparatus.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a diagram showing a network configuration of a display system including a network compatible device according to an embodiment of the present invention.
The display system 100 includes a plurality of terminal devices 1 (only four units 1a, 1b, 1c, and 1d are shown in FIG. 1) and a network compatible display device 2 having a multi-screen display function that is a main function of the present invention ( In the figure, an example of a projector is shown) (hereinafter referred to as a display device 2 for short), and a plurality of terminal devices 1 and the display device 2 are both connected via a network 3 using a communication protocol such as TCP / IP. It is connected so that it can communicate with the other. Each terminal device 1 is given a unique name (hereinafter referred to as a terminal name) in advance. Note that various networks such as LAN, wireless LAN, and short-range wireless LAN Bluetooth (registered trademark of Bluetoodh SIG Inc., USA) can be used for the network 3.
[0032]
The display system 100 is a system that enables a screen displayed on each of a plurality of terminal devices 1 to be simultaneously displayed on a display screen of the display device 2 by dividing the screen, for example, at a meeting or a presentation. It is an effective system to use for. Hereinafter, the configurations of the terminal device 1 and the display device 2 will be described in detail.
[0033]
FIG. 2 is a block diagram showing the configuration of the terminal device.
The terminal device 1 is composed of, for example, a personal computer or a PDA, and includes a display unit 11 for displaying various information such as presentation materials, a video memory 12 for storing contents displayed on the display unit 11, For example, an input unit 13 including a tablet, a mouse, and operation keys, a user interface unit 14 that detects an operation input from the input unit 13 and outputs input information to a calculation unit 16 described later, and performs processing according to the present invention. A storage unit 15 for storing an application (control program) and various data, a calculation unit (CPU) 16, and a communication unit 17.
[0034]
The control program stored in the storage unit 15 includes a terminal device side control function for realizing a multi-screen function in the display device 2 and a screen capture capable of capturing all or part of the screen of the display unit 11. This function is for realizing a function and a function for detecting a change on the screen of the display unit 11, and the application program and CPU constitute a data management processing unit 18, a screen capture processing unit 19, and a screen comparison processing unit 20. ing.
[0035]
The data management processing unit 18 sends various requests such as a connection request, a display request, an enlarged display request, a single screen switching request, and a deletion request via the communication unit 17 or the user interface unit 14 via the user interface unit 14 or the communication unit 17. In addition to performing processing according to the requested content, processing for transmitting captured image data acquired by the screen capture processing unit 19 to the display device 2 via the communication unit 17 is performed.
[0036]
The communication unit 17 is a part that performs two-way communication with the display device 2. Here, the communication protocol is TCP / IP, and it has protocol processing functions such as ARMPICMP, IP, TCP, and UDP necessary for this TCP / IP connection. Is. This function is realized by the OS.
[0037]
FIG. 3 is a block diagram showing the configuration of the display device.
The display device 2 includes a display unit 21, a multi-screen display function, an enlarged display function, a single screen switching function, an interrupt function, and an erasing function of the present invention, and a display control unit that controls a display screen displayed on the display unit 21. 22, a user interface unit 24 that detects an operation input from the input unit 23 and outputs the input content to a calculation unit 27 described later, a multi-screen display of the present invention A program storage unit 25 that stores a display control program that provides a function, a data storage unit 26 that stores various files and various data necessary for the execution of the control program, and a calculation unit that controls the operation of the entire display device 2 ( CPU) 27, and a communication unit 28 that performs bidirectional communication with the terminal device 1.
[0038]
The communication unit 28 is a part that performs two-way communication with the terminal device 1. Here, the communication protocol is TCP / IP, and has protocol processing functions such as ARMPICMP, IP, TCP, and UDP necessary for this TCP / IP connection. Is.
[0039]
Here, in addition to the projector illustrated in FIG. 1, the display device 2 includes, for example, a plasma display, a liquid crystal monitor, and the like, and the display unit 21 is a display element that varies depending on the type of the display device 2. Specifically, in the case of a projector, a liquid crystal light valve, an LCOS light valve, and DMD (Digital Micromirror Device) (trademark of Texas Instruments) are used. In this case, the display screen of the display unit 21 is a projection surface. For example, in the case of a plasma display, the display unit 21 is a plasma display panel, in the case of a liquid crystal monitor, it is a liquid crystal panel, and in the case of an organic EL display, it is an organic EL panel.
[0040]
Next, various files stored in the data storage unit will be described with reference to FIG.
The data storage unit 26 stores a connection permission management file 31, a display permission management file 32, a connection status management file 33, a display status management file 34, a temporary / divided area setting file 35, and a divided area information file 36. A capture image data storage unit 37 for storing capture image data transmitted from each terminal device 1 is provided.
[0041]
The connection permission management file 31 is a file in which the terminal names of the terminal devices 1 that are permitted to be connected are registered, and the display permission management file 32 is registered in which the terminal names of the terminal devices 1 that are permitted to display a screen are registered. Is a file.
[0042]
The connection status management file 33 is a file in which the terminal name of the terminal device 1 currently connected to the display device 2 is registered.
[0043]
The display status management file 34 is a file for managing the display status of the current display unit 21, and the terminal device information regarding the terminal device 1 of the capture image data transmission source displayed on the display screen of the current display unit 21 is displayed in a table format. Manage with. The display status management file 34 is updated each time the display screen of the display unit 21 is changed. For example, when the display screen management file 34 is changed from a four-split screen to a three-split screen, the display status management file 34 of the terminal device 1 corresponding to the erased split screen is displayed. When the terminal device information is deleted from the table and the screen is changed from the 4-split screen to the 5-split screen, the terminal information of the terminal device 1 corresponding to the added screen is newly registered. .
[0044]
FIG. 5 is a diagram showing each item of terminal device information managed by the display status management file.
The display status management file 34 includes “terminal name”, “IP address”, “screen size”, “color number information”, “priority”, “capture range management flag”, “difference capture management flag”, “capture image”. The item includes “size”, “difference capture image size 1”, “difference capture image size 2”, “difference capture origin 1”, and “difference capture origin 2”.
[0045]
“Terminal name” is a name given in advance to the terminal device 1, and “Screen size” is the number of horizontal and vertical pixels of the display screen of the display unit 11. For example, if the terminal device has a resolution of SXGA, 1280 × 1024 In the case of XGA, it is 1024 × 768. The “color number information” is the number of display colors on the display unit 11 and is, for example, 256 colors, 1677,216 colors, or the like. The above-mentioned “terminal name”, “IP address”, “display size”, and “color number information” are data that are always stored at the time of registration in the display status management file 34, and other items include user operations and the like. The data is appropriately set (updated) according to the above.
[0046]
The “priority” affects the size of the display size assigned to the terminal device 1 specified by the “terminal name”, and takes values such as “highest”, “high”, and “none”. As will be described, in this example, when the priority is high, the allocated display size is increased. The “capture range management flag” is a flag for managing whether the screen capture in the terminal device 1 specified by the “terminal name” is a full screen capture or a partial capture, and normally indicates “0” indicating a full screen capture, Set to “1” when capturing.
[0047]
The “differential capture management flag” is a flag for managing whether the screen capture at the terminal device 1 specified by the “terminal name” is a normal capture or only a change on the screen (hereinafter referred to as a differential capture). “0” is indicated for normal capture, and “1” is set for differential capture.
[0048]
“Capture image size” is the size of captured image data (number of vertical and horizontal pixels) when the “capture range management flag” is “1”, that is, in the case of partial capture.
[0049]
“Differential capture image size 1” and “Differential capture image size 2” are the sizes of two different range areas acquired in the differential capture when the “differential capture management flag” is “1”. “Difference capture origin 1” and “Difference capture origin 2” are the origins of two different ranges of areas acquired in the difference capture, and are indicated by absolute coordinates in the area defined by “capture image size”.
[0050]
The temporary / divided area setting file 35 is a file in which information for specifying a temporary divided area to be assigned to each terminal device 1 is set in advance, and includes a plurality of tables prepared for each number of terminals. This table is configured as shown in FIGS. 10A and 15A described later, and details thereof will be described in the following corresponding portions. The divided area information file 36 will also be described in detail below.
[0051]
Each of the files 31, 32, 33, 34, 35, and 36 is displayed on the display unit 21 when a predetermined operation is performed on the input unit 23, and can be freely checked and changed on the display screen. It can be done.
[0052]
Returning to the description of FIG.
The display control unit 22 includes a divided area information creation unit 41, an image composition unit 42, and an image processing unit 43. A connection request from the user received by the calculation unit 27 via the user interface unit 24 or the communication unit 28, and display In accordance with various request contents such as a request, an interrupt display request, and an erase request, necessary processing is performed while appropriately accessing the necessary files in the data storage unit 26 to each unit 41, 42, 43, and display control of the display unit 21 is performed. I do. The display control unit 22 is realized by a display control program that provides a multi-screen function stored in the program storage unit 25 and a calculation unit (CPU) 27.
[0053]
The divided area information creation unit 41 grasps the number of terminal devices 1 to be displayed based on the display status management file 34 and acquires the priority and screen size of each terminal device 1 to be displayed. Then, the display screen size of the display unit 21 is divided according to the number of terminal devices 1 to be displayed, the priority and the screen size of each terminal device 1 to be displayed, and assigned to each terminal device 1 to be displayed. Display size of the divided screen on the display unit 21 (hereinafter referred to as a divided area size) and information for specifying the display position of the divided screen (absolute coordinates on the upper left of the divided screen with respect to the display screen, hereinafter referred to as the origin) The divided area information including the divided area information is created and stored in the data storage unit 26 as the divided area information file 36.
[0054]
The image compositing unit 42 performs processing such as reduction / enlargement / color conversion on the captured image data stored in the captured image data storage unit 37, and stores it in the divided area information file 36 created by the divided area information creating unit 41. Based on this, composite image data is generated.
[0055]
The image processing unit 43 includes various image data such as the combined image data generated by the image combining unit 42 and the display status management file 34 of the data storage unit 26 that is referred to using an OSD (on-screen display) function or the like. For example, a display image data is generated by performing a scanning frequency conversion process and is output to the display unit 21, and is configured by a scan converter, for example.
[0056]
Hereinafter, the operation of the present embodiment will be described. FIG. 6 is a flowchart showing the operation of the present embodiment.
First, on the display device 2 side, as a preparation stage for performing multi-screen display, a predetermined operation input is performed from the input unit 23, and when the calculation unit 27 detects the operation input via the user interface unit 24, the communication unit 28 and a request for returning a terminal name and an IP address together with the IP address of the display device 2 are broadcast simultaneously. The broadcast request for the terminal name and IP address broadcasted together is received by each terminal device 1 on the network 3, and each terminal device 1 returns its own terminal name and IP address to the display device 2. .
[0057]
The display device 2 receives a reply (terminal name and IP address) from each terminal device 1 via the communication unit 28, and determines whether or not the terminal is a connection permitted terminal. Specifically, it is checked whether the returned terminal name matches the terminal name registered in the connection permission management file 31, and if it matches, it is determined as a connection-permitted terminal.
[0058]
The terminal name and IP address from the terminal device 1 determined to be a connection-permitted terminal are sequentially registered in the connection status management file 33. With this connection status management file 33, it is possible to grasp how many terminal devices 1 are currently connected on the display device 2 side. In addition, since connection permission / non-permission is determined based on the terminal name, for example, when the IP address is given to the terminal device 1 by DHCP, and the given IP address is different for each connection, It can be supported.
[0059]
When the above preparatory work is completed, the display device 2 stands by while waiting for various requests. Now, among the terminal devices 1 operated by each conference attendee, the case where it is desired to display four display screens of the terminal devices 1a to 1d on the display screen 50 of the display device 2 as shown in the following figure. Think. Here, the resolution of each terminal device 1 is as follows: the terminal device 1a is SXGA (1280 × 1024 pixels), the terminal device 1b is SVGA (800 × 600 pixels), the terminal device 1c is XGA (1024 × 768 pixels), and the terminal device 1d. Will be described as an example of 480 × 640 pixels.
[0060]
<Multi-screen display function>
FIG. 7 is a schematic diagram showing a state where four display screens of the terminal devices 1a to 1d are displayed on the display screen of the display device in a multi-screen manner.
First, the intention of multi-screen display of the terminal devices 1a to 1d is input by operating a remote controller of the input unit 23, for example. Then, a display request including this input information, that is, identification information of each of the terminal devices 1a to 1d is notified to the computing unit 27 via the user interface unit 24 (S1). In this display request, priority, partial capture, and differential capture can be specified, but none is specified here.
[0061]
The computing unit 27 of the display device 2 that has received the display request performs the following steps S3 to S9 for each of the terminal devices 1a to 1d to be displayed (S2). That is, whether the terminal is a connection-permitted terminal or a display-permitted terminal is determined by referring to the connection permission management file 31 and the display permission management file 32 based on the terminal name specified by the identification information included in the display request. If both connection and display are permitted (S4), terminal device information (terminal name, IP address, screen size, color number information) is requested from the terminal device via the communication unit 28 (S5). ). Then, the terminal device information returned in response to this request is received (S6) and registered in the display status management file 34 (S7). Note that if priority, partial capture designation, or differential capture designation has been made at the time of this display request, the “priority”, “capture range management flag” is registered at the time of registration in step S7. ”And“ Differential capture management flag ”are also registered in the same manner.
[0062]
Then, a screen capture start instruction is transmitted together with the display status management file 34 to the terminal device 1 that is permitted to connect and display (S8). The terminal device 1 that does not permit connection / display is notified via the communication unit 28 (S9).
[0063]
Here, assuming that all the terminal devices 1a to 1d are allowed to connect and display, the terminal device information from each of the terminal devices 1a to 1d is displayed in the display status management file 34 by the processing of step S2 to step S9. In addition to registration, a screen capture start instruction is transmitted to the terminal devices 1 a to 1 d together with the display status management file 34 via the communication unit 28.
[0064]
When the above processing is completed, the calculation unit 27 notifies the divided area information creation unit 41 of the display control unit 22 of an area division request. Thereby, the display device 2 enters a divided area information creation process (S10). The operation on the terminal device 1 side that has received the screen capture start instruction will be described later. Hereinafter, the divided area information creation processing in the divided area information creation unit 41 that has received the area division request will be described.
[0065]
FIG. 8 is a flowchart showing the flow of the divided area information creation process. Here, it is assumed that the display status management file 34 is configured as shown in FIG. 9, and the operation of the divided area information creation unit 41 will be specifically described below. In FIG. 9, the terminal names PC-1, PC-2, PC-3, and PDA-1 correspond to the terminal devices 1a, 1b, 1c, and 1d, respectively.
[0066]
When the divided area information creation unit 41 receives the area division request from the calculation unit 27, the divided area information creation unit 41 refers to the display status management file 34 to grasp the number of terminal devices 1 to be displayed (here, four), and each terminal device. Each priority of 1a, 1b, 1c, 1d is acquired (S21). Then, the temporary / divided area setting file 35 is referred to based on the number of the terminal devices 1 and the priority of each of the terminal devices 1a to 1d, and the temporary device to be assigned to each of the terminal devices 1a, 1b, 1c, and 1d. The temporary size of the divided area and the temporary origin are acquired (S22). The reason for “provisional” will be apparent from the following description, because the divided areas allocated here are changed when the size of the captured image data is converted in a later step.
[0067]
Here, as shown in FIG. 9, the number of terminal devices to be displayed is four, and all of them have no priority setting. In this case, the corresponding temporary / division area setting file 35 refers to the corresponding temporary / division setting. For example, the area setting table is configured as shown in FIG. In this example, the screen size of the display screen of the display unit 21 is set to 1280 × 1024 (SXGA), and the provisional / divided area setting table of FIG. 10A is an example in this case. FIG. 10B illustrates a temporary divided area based on the temporary / divided area setting table of FIG.
[0068]
Here, the priority order in FIG. 10A is determined based on the “priority” item in the display status management file 34, and the first, The third, third, and fourth units. Then, to each of them, an area specified by “temporary size” and “temporary origin” shown in the table below is assigned as a temporary divided area. Here, since all the terminal devices 1a, 1b, 1c, and 1d to be displayed are “none” (see FIG. 9), there is virtually no priority. As described above, the order of assignment when there is no priority setting may be a predetermined order determined in advance, or may be any order such as the order of registration in the display status management file 34. In this example, each terminal device 1a, 1b, 1c, and 1d (hereinafter referred to as terminal names PC-1, PC-2, PC-3, and PDA-1 as appropriate) are sequentially divided into temporary division areas 50A, 50B, 50C, respectively. The description will be continued below assuming that 50D is allocated.
[0069]
The divided area information creation unit 41 further acquires the screen sizes of the respective PC-1, PC-2, PC-3, and PDA-1 from the display status management file 34 (see FIG. 9), and based on the acquired information. Thus, the true divided area size assigned to each and the true origin are determined (S23).
[0070]
FIG. 11 is an explanatory diagram of a true divided area. In FIG. 11, 51A, 51B, 51C, and 51D indicate true divided areas respectively assigned to PC-1, PC-2, PC-3, and PDA-1. A true divided area is the size of the captured image data to be displayed in the temporary divided area, while maintaining the aspect ratio, and the converted image is converted into the temporary divided area. It is a display area for displaying in the center of each of the areas 50A, 50B, 50C, 50D. Here, the true divided area size for specifying the true divided area will be specifically described in the example of PC-2. The screen size of PC-2 is 1024 × 768 pixels (see FIG. 9). In order to display the image data of this size in the temporary division area 50B of 640 × 512 pixels allocated to the PC-2, it is the size when the image data is reduced while maintaining the aspect ratio of the original image. Further, the true origin is, as shown in FIG. 11, for positioning a divided screen of that size in the center of the temporary divided area 50B. The coordinates of the upper left pixel of the divided screen (with respect to the entire display screen) Absolute coordinates).
[0071]
The divided area information creation unit 41 determines the true divided area size and the true origin as described above for each of PC-1, PC-2, PC-3, and PDA-1, and the terminal name, divided area, and origin. 12 is created and stored in the data storage unit 26 as a divided area information file 36 (S24). Thus, the divided area information creation process ends. The division area information file 36 has a creation date and time (May 21, 2002, 17:00:32).
[0072]
Returning now to FIG.
When the divided area information creation process (S10) in the divided area information creation unit 41 ends, the calculation unit 27 of the display device 2 performs steps S12 to S14 for each terminal device 1a, 1b, 1c, 1d to be displayed. (S11). That is, a capture image data transmission request is transmitted (S12). In each terminal device 1a, 1b, 1c, 1d, after receiving the capture start instruction transmitted from the display device 2 side in the process of step S8, the screen capture process is started as will be described later. Captured image data and image size (in the case of partial capture) acquired by the capture process are returned to the display device 2 in response to the captured image data transmission request in step S11.
[0073]
The display device 2 receives the reply from the terminal device 1 (S13), and when the reply content is captured image data, determines that the screen capture performed by the terminal device 1 is a full screen capture (S14). The received captured image data is written in the captured image data storage unit 37 (S16).
[0074]
On the other hand, when the response content from the terminal device 1 received in step S13 is the captured image data and the image size, it is determined that the screen capture performed by the terminal device 1 is a partial capture (S14). The “capture image size” of the display status management file 34 is updated with the image size, and the division area information (the true division area size and the true origin) is recreated by the same processing as described above based on the received image size. (S15). Then, the captured image data received together with the image size is written into the captured image data storage unit 37 (S16).
[0075]
The above processing is performed for each of the terminal devices 1a to 1d to be displayed, and when all the captured image data from the terminal devices 1a, 1b, 1c, and 1d to be displayed are prepared, the calculation unit 27 performs image synthesis on the image synthesis unit 42. Notify instructions. As a result, the display device 2 enters an image composition process (S17).
[0076]
When the image composition unit 42 receives the image composition instruction, each of the captured image data stored in the capture image data storage unit 37 is divided into the divided area information of the divided area information file 36 and the “color number information” of the display status file. Then, size conversion and color conversion are performed based on the image data, combined with image data of one screen to generate combined image data, and the generated combined image data is output to the image processing unit 43.
[0077]
The image processing unit 43 converts the combined image data from the image combining unit 42 to the scanning frequency of the display unit 21 to generate display image data, and outputs the display image data to the display unit 21. As a result, as shown in FIG. 7, captured image data (displays) of the terminal devices 1a, 1b, 1c, and 1d are respectively displayed in the true divided areas (hereinafter also referred to as divided screens) 51A, 51B, 51C, and 51D. A multi-screen on which (screen) is displayed is displayed on the display screen 50 (S18).
[0078]
Next, the operation on the terminal device 1 side that has received the capture start instruction and the display status management file 34 from the display device 2 will be described.
FIG. 13 is a flowchart showing the operation on the terminal device side that has received the capture start instruction and the display status management file from the display device. Here, it demonstrates as operation | movement of the terminal device 1a (PC-1).
[0079]
The data management processing unit 18 of the terminal device 1a receives the capture start instruction and the display status management file 34 transmitted from the display device 2 via the communication unit 17 (S31), and the display status management file 34 own terminal. The capture range designation flag of the device 1a is referred to (S32). Here, since it is “0” (S33), it is determined that the entire screen is captured, and the screen capture processing unit 19 is instructed to capture the entire screen. Upon receiving the full screen capture instruction, the screen capture processing unit 19 stores the content of the video memory 12 (that is, the content currently displayed on the display screen of the display unit 11) in the storage unit 15 in the form of a bitmap, for example. Store (full screen capture process) (S34), and notify the data management processing unit 18 that the screen capture has been completed.
[0080]
On the other hand, when the capture range designation flag is “1”, it is determined as partial capture, and a capture range designation instruction screen showing a message such as “Please specify a capture range” is displayed on the display unit 11 ( Along with S35), the screen capture processing unit 19 is instructed to perform partial capture. When the user who has confirmed the capture range designation instruction screen selects a window or surrounds a desired area through the input unit 13, the screen capture processing unit 19 performs a user operation via the user interface unit 14. Recognizing and storing the image data on the video memory 12 corresponding to the designated area and the image size in the storage unit 15 (partial capture processing) (S36), the fact that the screen capture is completed is notified to the data management processing unit 18. Notice.
[0081]
As described above, the terminal device 1a performs the screen capture process after receiving the capture start instruction. During this time, the divided area information creation processing is performed on the display device 2 side as described above, and the terminal device 1a finishes the screen capture processing in the screen capture processing unit 19 and captures from the display device 2. When the image data transmission request is received (S37), the captured image data and the image size (in the case of partial capture) are transmitted via the communication unit 17 (S38).
[0082]
The above processing is similarly performed in the terminal devices 1b, 1c, and 1d other than the terminal device 1a. As a result, as described above, the captured image data and the image from the terminal devices 1a, 1b, 1c, and 1d are displayed on the display device 2. The size (in the case of partial capture) will be sent.
[0083]
By the way, the display status management file 34 is transmitted from the display device 2 to each terminal device 1. The display status management file 34 indicates the setting state of the capture range designation flag of the terminal device 1 as described above. Besides being used for checking, the contents of the file can be displayed on the display unit 11 by performing a predetermined operation on the input unit 13. Further, the connection permission management file 31, the display permission management file 32, and the connection status management file 33 can be appropriately acquired from the display device 2 and displayed on the display unit 11 in the same manner. However, it is possible to know which terminal device is displayed in addition to the terminal device 1 operated by the device itself, the authority given to the terminal device 1 itself, and the like.
[0084]
<Enlarged display function>
Hereinafter, an enlarged display function for enlarging and displaying an arbitrary divided screen among the currently displayed divided screens will be described. This enlarged display function can be dealt with by changing the priority in the above configuration.
[0085]
FIG. 14 is a schematic diagram for explaining an enlarged display function. Here, an example in which the priority of the terminal device 1a is enlarged and displayed is shown.
In this case, for example, the screen of the terminal device 1a is designated by operating the remote controller. If the terminal device 1 is assigned to the remote controller, the designation can be made by pressing the key. If not assigned, the designation can be made from the menu screen displayed on the display unit 21 by operating the remote controller. It is possible to make a selection by displaying a pointer on the display screen with a remote controller, pointing the screen of the terminal device 1a with the pointer, and clicking.
[0086]
The enlarged display request including the designation information thus designated, that is, the identification information of the terminal device 1a, is notified to the computing unit 27 via the user interface unit 24, and the computing unit 27 identifies the identification included in the enlarged display request. The terminal device 1a is identified based on the information, the “priority” item of the terminal device 1a (PC-1) in the display status management file 34 is set to “high”, and an area division request is sent to the divided area information creation unit 41. To be notified.
[0087]
The divided area information creation unit 41 creates a divided area information file 36 in the same manner as described above. The temporary / divided area setting table referred to in this creation is configured as shown in FIG. 15A, for example, and FIG. 15B illustrates the temporary divided area based on the temporary / divided area setting table. It is a thing. Here, the priority in FIG. 15B is determined based on the item of “priority” in the display status management file 34 as described above. Here, the priority of the terminal device 1a is determined. Is “high” and higher than the other terminal devices 1b, 1c, and 1d, the first priority, that is, the provisional divided area (first divided area) 52A of FIG. 15B is allocated. The allocation of the divided areas to the terminal devices 1b, 1c, and 1d without other priority settings is arbitrary as described above. Here, the terminal devices 1b, 1c, and 1d are provisionally divided in order. Assume that areas 52B, 52C, and 52D are allocated. And the true division area allocated to each terminal device 1a, 1b, 1c, 1d is determined similarly to the above.
[0088]
FIG. 16 is a diagram showing a true divided area in this case. The divided areas 53A, 53B, 53C, and 53D are true divided areas respectively assigned to the terminal devices 1a, 1b, 1c, and 1d. The divided area information file 36 is configured as shown in FIG.
[0089]
Then, the same operation as described above is performed, and as a result, as shown in FIG. 14, the captured image data of each terminal device 1a, 1b, 1c, 1d (in the true divided areas 53A, 53B, 53C, 53D) Display screen) is displayed, and among the divided screens 53A, 53B, 53C, 53D, a multi-screen in a state where the designated divided screen 51A is enlarged is displayed on the display screen 50.
[0090]
<Single screen switching function>
Also, as shown in FIG. 18, any one of a plurality of divided screens can be displayed on a single screen. In this case, for example, the remote controller is operated to perform an input operation to that effect. A single screen display request including the input information, that is, identification information of the terminal device 1c corresponding to the divided screen 51C to be displayed on a single screen is notified to the calculation unit 27 via the user interface unit 24, and the calculation unit 27 displays the single screen. The terminal device 1c is identified based on the identification information included in the request, the “priority” item of the terminal device 1c (PC-3) in the display status management file 34 is set to “highest”, and the divided area information creation unit 41 is notified of the area division request.
[0091]
Then, the same operation as described above is performed, and as a result, the screen is changed from a multi-screen to a single screen as shown in FIG. In addition, for example, by performing a predetermined operation with a remote controller, the “priority” item can be returned to “none” to return to the original multi-screen.
[0092]
With such a single screen switching function, it is possible to confirm details of a divided screen that is reduced and the details cannot be seen, and can return to multiple screens by a predetermined operation, which is convenient.
[0093]
<Interrupt function>
Further, as shown in FIG. 19, a new screen can be interrupted with respect to the currently displayed multi-screen. This interruption corresponds to a display request after a multi-screen is displayed, and can be interrupted by the same processing as that for the display request.
[0094]
<Erase function>
Moreover, as shown in FIG. 20, it is also possible to delete an arbitrary divided screen among a plurality of currently displayed divided screens. In this case, the remote controller is operated to perform an input operation to that effect. The deletion request including the input information, that is, the identification information of the terminal device 1d corresponding to the divided screen 51D to be deleted is notified to the calculation unit 27 via the user interface unit 24, and the calculation unit 27 includes the identification information included in the deletion request. Based on this, the terminal device 1d is specified, the terminal device information of the terminal device 1d is deleted from the display status management file 34, and the divided area information creation unit 41 is notified of the area division request. Subsequent operations are the same as described above. As a result, as shown in FIG. 20, the split screen 50D designated to be deleted is deleted, and a multi-screen reconstructed into a plurality of split screens corresponding to the number after deletion is displayed. . Note that a configuration may be adopted in which only the divided screen 51D designated for deletion is deleted.
[0095]
As described above, according to the present embodiment, the display device 2 having the multi-screen display function for displaying the screens displayed on the plurality of terminal devices 1 connected to the network 3 on one screen by dividing the screen. Can be obtained.
[0096]
In addition to the multi-screen display function, a highly functional display device 2 having an enlarged display function, a single screen switching function, an interrupt function, and an erasing function can be obtained.
[0097]
In addition, when configuring a multi-screen, the size conversion is performed while maintaining the aspect ratio of the captured image data, so that the display device 2 that can form a display screen without a sense of incongruity can be obtained. .
[0098]
In addition, instead of making a display request each time through the input unit 23 by a meeting attendee (user), a method may be used in which the display screen is updated, for example, every 3 seconds, led by the display device 2. . In this case, the calculation unit 27 of the display device 2 manages time, and the subsequent operation may be performed at regular intervals in the same manner as described above, so that the latest display screen of the terminal device 1 can be always obtained.
[0099]
<Differential capture function>
Up to this point, the method using full screen capture (or partial capture) has been described. Hereinafter, a method for detecting a change on the display screen of the terminal device and transmitting the image data obtained by capturing only the change will be described. Will be described.
[0100]
First, for example, a remote controller of the input unit 23 is operated to input an intention to perform differential capture for the terminal devices 1a to 1d. That is, the difference capture management flag of the display status management file 34 is set to “1”.
[0101]
At the first time when the difference capture management flag is set to “1”, the processes in steps S1 to S18 are performed as usual to perform multi-screen display.
[0102]
After the multi-screen display is completed, the display device 2 sends the display status management file to the terminal device 1 whose difference capture management flag is “1” from the calculation unit 27 via the communication unit 28 and the network 3. 34 and a differential capture start instruction are transmitted.
[0103]
Next, the operation on the terminal device 1 side that has received the differential capture start instruction and the display status management file from the display device 2 will be described.
FIG. 21 is a flowchart showing the operation on the terminal device 1 side that has received the differential capture start instruction and the display status management file from the display device 2. Here, it demonstrates as operation | movement of the terminal device 1a (PC-1).
[0104]
The data management processing unit 18 of the terminal device 1a receives the differential capture start instruction and the display status management file 34 transmitted from the display device 2 via the communication unit 17 (S41). In response to this, the subsequent full screen capture processing is executed. That is, the screen capture processing unit 19 stores the contents of the video memory 12 in the storage unit 15 (S42). The image data obtained here is referred to as previous / full-screen data.
[0105]
The screen comparison processing unit 20 refers to the difference capture management flag of the display status management file 34 received by the data management processing unit 18 at regular time intervals (for example, once every 0.5 seconds, the setting is arbitrary) (S43 ), If the difference capture management flag is “1” (S44), the subsequent difference capture operation is performed.
For example, in order to instruct to stop the user difference capture operation, the difference capture management flag may be rewritten to “0” by a method of changing the display status management file 34. The screen comparison processing unit 20 refers to this to determine whether to stop the capture operation.
[0106]
The full screen capture process is executed, and the screen capture process 19 stores the contents of the video memory 12 in the storage unit 15 (S45). The image data obtained here is called rear / full-screen data. Next, the screen comparison processing unit 20 of the calculation unit 16 compares the previous / full screen data with the back / full screen data (S46).
[0107]
As an example of this screen comparison process, an example when the mouse pointer is moved (FIG. 22) will be described. In this figure, the position of the mouse pointer is changed between the front / full screen data 60 and the back / full screen data 61. That is, as shown in FIG. 23, the two areas (70, 71) are recognized as changed areas. The screen comparison processing unit 20 detects this, but if it can be determined that there has been a change in the screen (S47), the screen comparison processing unit 20 determines the image data in the changed area and the size (vertical) of the image data. X horizontal pixels) and the origin coordinates of the image data (absolute coordinates in the area defined by the “capture image size” of the display state management file 34).
[0108]
In the case of this example, with respect to the area 70, the captured image data of the area 70 portion (hereinafter referred to as difference capture image data 1), the difference capture image size 1, and the difference capture origin 1 are related to the area 71. Capture image data (hereinafter referred to as difference capture image data 2), difference capture image size 2, and difference capture origin 2 are acquired, and these pieces of information are stored in the storage unit 15 and at the same time, the difference capture image data and the like are acquired. The data management processor 18 is notified (S48). Note that the difference capture image size 1, the difference capture image size 2, the difference capture origin 1, and the difference capture origin 2 are written in the corresponding portions of the display status management file 34.
[0109]
The network management unit 18 transmits these data to the display device 2 via the communication unit 17 and the network 3 (S49). In this difference capture function, unlike the method using full screen capture (or partial capture) described above, instead of receiving a transmission request from the display device 2 side every time, the screen comparison processing unit 20 detects conversion on the screen. If this is the case, this causes transmission.
For the next screen comparison process, the rear / full-screen data is set as the previous / full-screen data (S50).
[0110]
Next, the operation on the display device 2 side that has received the differential capture image data 1, the differential capture image data 2, and the display status management file 34 from the terminal device 1a will be described.
[0111]
When the display device 2 receives the difference capture image data 1, the difference capture image data 2 and the display state management file 34 from the terminal device 1a by the communication unit 28, the calculation unit 27 notifies the image composition unit 42 of an image composition instruction. As a result, the display device 2 enters an image composition process by the difference capture function.
[0112]
When receiving the image composition instruction, the image composition unit 42 receives the separation area information file 36 corresponding to the image currently displayed on the display unit 21, and the display status management file 34 (difference capture image size 1) received from the terminal device 1a. Corresponding to the difference capture image data 1 and the difference capture image data 2 among the capture image data stored in the capture image data storage unit 37 based on the difference capture image size 2, the difference capture origin 1, and the difference capture origin 2) Rewrite the part you want. Subsequent operations are the same as those in steps 17 and 18 described above.
[0113]
This method can reduce the load on the network because the amount of image data to be transmitted through the network 3 is smaller than the method based on the full screen capture (or partial capture) described above. In addition, the latest display image of the terminal device 1 can be obtained.
[0114]
In the above description, it is assumed that when the difference is detected, it is assumed that it is captured and processed by a dedicated program installed in the terminal device 1, but this can be directly detected as a difference in the contents of the video memory. If such a driver is available on the OS, it may be used.
[0115]
Note that the image data may be transmitted and received between the terminal device 1 and the display device 2 in a compressed image format (for example, JPEG format) to reduce the load on the network.
[0116]
Note that, in the above, an example in which various requests such as a display request and a single screen display request are made by operating the input unit 23 on the display device 2 side, that is, a case where the configuration of the display screen is determined by the display device 2 side is taken as an example. However, it is also possible from each terminal device 1 side. In that case, a conference attendee (user) inputs the intention by operating the input unit 13 from the terminal device 1 operated by the conference. This input information is notified to the data management processing unit 18 via the user interface unit 14, and the data management processing unit 18 sends the display device 2 to the terminal of the terminal device 1 via the communication unit 17 and the network 3. A request corresponding to the input information including the name and the IP address is transmitted. This request is received by the communication unit 28 of the display device 2 via the network 3 and notified to the calculation unit 27. The subsequent operation is the same as described above, and various requests can be made from each terminal device 1 side as described above.
[0117]
Note that the terminal device 1 can also specify a capture range by including information specifying full-screen capture or partial capture in the various requests.
[0118]
Further, the priority may be appropriately specified by a user operation as described above, or may be given in advance to a plurality of terminal devices 1 that are scheduled to be connected to the display device 2. May be. If given in advance, when the terminal device information is registered in the display status management file 34, the priority given to the terminal device 1 is automatically set in the priority item of the display status management file 34. It is set as such.
[0119]
In the present embodiment, the provisional / divided area has been described as being determined based on the provisional / divided area setting file 35, but may be determined by calculation every time.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a network configuration of a display system including a network compatible device according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a terminal device.
FIG. 3 is a block diagram showing a configuration of a network compatible display device.
FIG. 4 is a diagram illustrating a functional configuration of a network-compatible display device.
FIG. 5 is a diagram illustrating items of terminal device information managed by a display status management file.
FIG. 6 is a flowchart showing an operation flow of the present embodiment.
FIG. 7 is a schematic diagram showing a state where four display screens of the terminal devices 1a to 1d are displayed on the display screen of the display device in a multi-screen manner.
FIG. 8 is a flowchart showing a flow of divided area information creation processing;
FIG. 9 is a diagram illustrating an example of a specific configuration of a display status management file.
10A is a diagram showing an example of a specific configuration of a table stored in a temporary / divided area setting file, and FIG. 10B is a diagram showing a temporary divided area based on the table of FIG.
FIG. 11 is an explanatory diagram of a true divided area size and a true origin.
FIG. 12 is a diagram illustrating an example of a divided area information file.
FIG. 13 is a flowchart showing an operation on the terminal device side that has received a capture start instruction and a display status management file from a display device.
FIG. 14 is a schematic diagram for explaining an enlarged display function.
FIG. 15A is a diagram showing an example of a temporary / divided area setting table referred to when the priority is changed, and FIG. 15B is a diagram showing temporary divided areas based on the table of FIG. .
FIG. 16 is a diagram illustrating an example of a true divided area when priority is changed.
FIG. 17 is a diagram illustrating an example of a divided area information file created when priority is changed.
FIG. 18 is a schematic diagram for explaining a single screen display function.
FIG. 19 is a schematic diagram for explaining an interrupt function;
FIG. 20 is a schematic diagram for explaining a screen erasing function.
FIG. 21 is a flowchart showing an operation on the terminal device side that has received a differential capture start instruction and a display status management file from the display device;
FIG. 22 is a diagram illustrating an example when a mouse pointer is moved as an example of a screen comparison process.
FIG. 23 is an explanatory diagram of the screen comparison process of FIG. 22;
FIG. 24 is a configuration diagram illustrating an example of a conventional display system.
[Explanation of symbols]
1 Terminal equipment
2 display devices
3 network
21 Display section
22 Display controller
23 Input section
41 Division area information creation part
42 Image composition part
43 Image processing section

Claims

A network-compatible display device connected via a network to a plurality of terminal devices each having a screen capture function that captures the display screen by designating the entire or partial range of the display screen,
A display unit;
A communication unit capable of bidirectional communication with each terminal device;
A display control unit;
A data storage unit that holds a display status management file that manages a display status of the display unit including a capture range management flag that specifies a capture range of the screen capture function;
The communication unit transmits the display status management file to the terminal device, and the screen capture function performs the entire or partial range of the display screen according to the capture range management flag of the display status management file received by each terminal device. Receive the captured image data,
The display control unit has a multi-screen display function of combining each captured image data received by the communication unit into one screen image data by screen division and displaying the combined image data on the display screen of the display unit. Corresponding display device.

The network-compatible display device according to claim 1, wherein the display control unit has an interrupt function for interrupting and displaying a new screen on the current display screen.

The user can arbitrarily select a terminal device for displaying captured image data on the display screen from a plurality of terminal devices connected to the network-compatible display device. Item 3. The network compatible display device according to Item 2.

The terminal device for displaying the captured image data on the display screen can be selected from the network-compatible display device side or the terminal device side by bidirectional communication of the communication unit. Item 4. The network-compatible display device according to any one of Items 3 to 4.

The display control unit has an enlarged display function for enlarging and displaying a predetermined divided screen among a plurality of divided screens constituting a multi-screen displayed on the display screen. Item 5. The network compatible display device according to any one of Items 4 to 9.

The display control unit has a single screen switching function for switching a predetermined divided screen to a display of the entire display screen from a plurality of divided screens constituting a multi-screen displayed on the display screen. The network-compatible display device according to any one of claims 1 to 4.

5. The display control unit has an erasing function for erasing a predetermined divided screen from a plurality of divided screens constituting a multi-screen displayed on the display screen. The network compatible display device according to any one of the above.

The network-compatible display device according to claim 5, wherein the predetermined divided screen is selected based on a user operation.

9. The network-compatible display device according to claim 8, wherein the predetermined divided screen can be selected from the network-compatible display device side and the terminal device side by bidirectional communication of the communication unit.

The capture data acquired from the terminal device is image data obtained by detecting a change on the display screen of the terminal device and capturing only the change on the screen. 10. The network compatible display device according to any one of 9 above.

The display control unit divides the display screen of the display unit into the number of terminal devices to be displayed, and information for specifying the display size of the divided screen to be allocated to the terminal device to be displayed and the display position of the divided screen. A divided area information creating unit that creates divided area information including the combined image data from the terminal device into one screen image data according to the divided area information created by the divided area information creating unit to generate composite image data An image synthesizing unit that performs processing, and an image processing unit that processes the synthesized image data generated by the image synthesizing unit to generate display image data and outputs the display image data to the display unit. The network-compatible display device according to claim 10.

12. A network compatible projector comprising the network compatible display device according to claim 1.

12. A display control program that realizes the display control unit of the network-compatible display device according to claim 1 by a CPU.