JP4516146B2 - 情報処理システム及び表示制御方法 - Google Patents

Description

本発明は、リモートデスクトップのような表示制御機能を有する情報処理システムに関する。

ローカル端末によりリモート端末を制御する遠隔制御方法の一つとして、リモート端末からローカル端末へ画面情報を送信し、ローカル端末からリモート端末へ画面情報を更新する制御信号を送信する方法が利用されている。例えば、マイクロソフト社の提供するＯＳであるWindows XP（登録商標）には、リモート端末の画面に表示される画面イメージをローカル端末の画面に表示し、リモート端末の画面イメージ上のオブジェクトを、ローカル端末で操作できるリモートデスクトップシステムという機能が設けられている。

特許文献１には、複数の映像提供機器から受信した個別映像を合成した合成映像を生成し、合成映像に対する操作指示を、操作指示位置に対応する個別映像の提供元である映像提供機器に送信できる合成映像制御装置が開示されている。
特開２００７−８６３５４号公報

特許文献１の合成映像制御装置では、合成映像に含まれる複数の個別映像を映像提供機器毎に管理している。したがって、操作指示も個別映像毎に行われ、個別映像内の一部の領域を指定して、操作や制御を行うことはできない。

また、リモートデスクトップシステムでは、画面情報がリモート端末毎に管理され、複数のリモート端末がある場合、ローカル端末では、リモート端末単位で生成された画面イメージに対して操作や制御を行う。また、リモートデスクトップシステムにおいては、リモート端末の全画面イメージがローカル端末に転送され、その全画面イメージがローカル端末の表示画面上にリモートデスクトップ画面として表示される。この場合、ローカル端末では、あるリモート端末からの全画面イメージは一つのレイヤ上に配置される。このため、リモート端末から送信された画面イメージ内にウィンドウのような複数のオブジェクトが含まれている場合には、それら全てのオブジェクトは同じレイヤ上に配置される。したがって、ローカル端末の表示画面上におけるリモートデスクトップ画面の位置や大きさ等のレイアウトはその全画面単位で変更することはできるものの、リモートデスクトップ画面上のウィンドウのような個々のオブジェクトのレイアウトは、リモート端末から送信された画面イメージが更新されない限り変更することは困難である。また、リモートデスクトップ画面上のオブジェクト間に、例えばローカル端末のデスクトップ上のウィンドウや、他のリモート端末からの画面イメージ内に含まれるウィンドウを挟み、重ね合わせて表示することも困難である。

このため、リモート端末から送信される画面情報をオブジェクト単位で扱うことができる新たな機能の実現が必要である。

本発明は上述の事情を考慮してなされたものであり、リモート端末から送信される画面情報をオブジェクト単位で扱うことができる情報処理システム、情報処理装置および表示制御方法を提供することを目的とする。

上述の課題を解決するため、本発明の一つの観点によれば、複数のオブジェクトが描画された画面イメージと、前記複数のオブジェクトが描画される前記画面イメージ上の領域を示す描画領域情報と、前記複数のオブジェクトの重ね合わせの順序を示す重ね合わせ順序情報とを送信するリモート装置と、前記リモート装置から、前記画面イメージと前記描画領域情報と、前記重ね合わせ順序情報とを受信し、前記受信した描画領域情報に基づき、前記受信した画面イメージから前記複数のオブジェクトの画像を切り出し、前記切り出した複数のオブジェクトの画像を前記重ね合わせ順序情報によって示される重ね合わせ順序で重ね合わせて、表示画面上に表示するローカル端末とを具備することを特徴とする情報処理システムが提供される。

また、本発明の別の観点によれば、リモート装置から、複数のオブジェクトが描画された画面イメージと、前記複数のオブジェクトが描画される前記画面イメージ上の領域を示す描画領域情報と、前記複数のオブジェクトの重ね合わせの順序を示す重ね合わせ順序情報とを受信する受信手段と、前記受信した描画領域情報に基づき、前記受信した画面イメージから前記複数のオブジェクトの画像を切り出すオブジェクト切り出し手段と、前記重ね合わせ順序情報によって示される重ね合わせ順序で前記切り出した複数のオブジェクトの画像を重ね合わせて、表示画面上に表示する表示処理手段とを具備することを特徴とする情報処理装置が提供される。

本発明によれば、リモート端末から送信される画面情報をオブジェクト単位で扱うことができる。

以下、図面を参照して本発明の実施形態を説明する。

まず、図１を参照して、本発明の一実施形態に係る情報処理システムの構成を説明する。

この情報処理システムは、ローカル端末１と遠隔にある複数のリモート端末（リモート端末２、リモート端末３、及びリモート端末４）から構成される。ローカル端末１、リモート端末２、リモート端末３、及びリモート端末４はそれぞれ、例えばパーソナルコンピュータのように、ウィンドウシステムを用いたＧＵＩを備える情報処理装置である。ローカル端末１、リモート端末２、リモート端末３、及びリモート端末４は、例えばイーサネット（登録商標）等のネットワークを介して相互に接続される。

リモート端末２、リモート端末３、及びリモート端末４は、それぞれ、画面イメージ２１、画面イメージ３１、画面イメージ４１を保持する。画面イメージ２１、画面イメージ３１、及び画面イメージ４１はそれぞれ、通常、リモート端末２、リモート端末３、リモート端末４に設けられる表示装置に表示される。なお、リモート端末２、リモート端末３、及びリモート端末４は、表示装置や入力装置を備えないリモート装置であってもよい。

リモート端末２の画面イメージ２１には、オブジェクト２１１、及びオブジェクト２１２が描画されている。リモート端末３の画面イメージ３１には、オブジェクト３１１が描画されている。そして、リモート端末４の画面イメージ４１には、オブジェクト４１１、及びオブジェクト４１２が描画されている。

各オブジェクトは、例えば、アプリケーションプログラムのウィンドウである。つまり、例えば、リモート端末２の画面イメージ２１には、文書作成アプリケーションプログラムのウィンドウであるオブジェクト２１１と、表計算アプリケーションプログラムのウィンドウであるオブジェクト２１２とが描画されている。また、時計やカレンダーのようなグラフィックス画像をオブジェクトとして、画面イメージ２１に描画してもよい。

リモート端末２は、画面イメージ２１、オブジェクト２１１及びオブジェクト２１２各々の描画領域情報、並びにオブジェクト２１１及びオブジェクト２１２の重ね合わせ順序情報を、ローカル端末１へ送信する。オブジェクトの描画領域情報は、そのオブジェクトそれぞれが描画される画面イメージ上の領域を示す。したがって、オブジェクトの描画領域情報は、画面イメージ上に描画されるオブジェクトの形状、サイズ、位置等を記述した情報である。また、オブジェクトの重ね合わせ順序情報は、複数のオブジェクトが画面イメージ上に描画される順序を記述した情報である。

同様に、リモート端末３は、画面イメージ３１、オブジェクト３１１の描画領域情報、及びオブジェクト３１１重ね合わせ順序情報を、ローカル端末１へ送信する。

リモート端末４は、同様に、画面イメージ４１、オブジェクト４１１及びオブジェクト４１２の描画領域情報、並びにオブジェクト４１１及びオブジェクト４１２の重ね合わせ順序情報を、ローカル端末１へ送信する。

以下では、画面イメージ、オブジェクトの描画領域情報、及びオブジェクトの重ね合わせ順序情報を、画面情報という。この画面情報は、リモート端末において任意の形式で符号化され、各リモート端末からローカル端末へ送信される。画面情報のうち、画面イメージについては、例えばＶＮＣ（Virtual Network Computing）やＲＤＰ（Remote Desktop Protocol）等、いわゆるリモートデスクトップやシンクライアントと呼ばれるシステムで用いられるプロトコルに基づき、送受信することができる。このようなプロトコルを、以下ではシンクライアントプロトコルと呼ぶ。

ローカル端末１は、リモート端末２、リモート端末３、及びリモート端末４から受信した画面情報を統合した、画面イメージ１１、オブジェクトの描画領域情報１２、及びオブジェクトの重ね合わせ順序情報１３を保持する。画面イメージ１１は、リモート端末それぞれから受信した画面イメージ２１、画面イメージ３１、及び画面イメージ４１から構成される。つまり、リモート端末２が保持する画面イメージ２１と、ローカル端末１が保持する画面イメージ１１内の対応する画面イメージとは、一致するように管理される。また、リモート端末３が保持する画面イメージ３１と、ローカル端末１が保持する画面イメージ１１内の対応する画面イメージとは、一致するように管理される。さらに、リモート端末４が保持する画面イメージ４１と、ローカル端末１が保持する画面イメージ１１内の対応する画面イメージとは、一致するように管理される。オブジェクトの描画領域情報１２は、リモート端末それぞれから受信したオブジェクトの描画領域情報から構成される。また、オブジェクトの重ね合わせ順序情報１３は、リモート端末それぞれから受信したオブジェクトの重ね合わせ順序情報から構成される。

ローカル端末１は、リモート端末から受信した画面情報を用いて、オブジェクト毎のレイヤを生成する。レイヤには、画面イメージから切り出された各オブジェクトに対応する画像が描画される。ローカル端末１は、オブジェクト毎のレイヤを生成することで、オブジェクトの表示や操作をオブジェクト毎に管理する。

ローカル端末１には、ユーザに対して情報を提示するための画面である表示装置５と、ユーザによる入力のための入力装置６が接続されている。

表示装置５は、例えばＬＣＤである。表示装置５は、ローカル端末１のデスクトップ画面に表示されるレイヤと、各リモート端末から受信した画面情報に基づいて生成されたレイヤとを重ね合わせて画面に表示する。

入力装置６は、例えばキーボードやマウスである。ユーザは、入力装置６であるキーボードやマウス等を用いて、表示装置５である画面に表示された画像上のオブジェクトを操作する。ユーザは、入力装置６を用いて、オブジェクトのレイアウトを自由に変更することができ、例えば複数のオブジェクトの重ね合わせ順序を変更することができる。具体的には、あるオブジェクトを複数のオブジェクトの最前面に移動させる指示等が入力される。

ローカル端末１におけるオブジェクトの操作情報は、操作されるオブジェクト（フォーカスが当たっているオブジェクト）に対応するリモート端末へ送信される。したがってローカル端末１は、いずれのオブジェクトにフォーカスが当たっているかを示すフォーカス情報を管理している。また、オブジェクトの操作情報は、上述のシンクライアントプロトコルに基づいて送受信することができる。オブジェクトの操作情報を受信したリモート端末は、受信した情報に基づき、画面イメージ等の画面情報を更新する。

なお、ローカル端末１には表示装置５及び入力装置６が設けられるが、リモート端末２、リモート端末３、及びリモート端末４には、必ずしも表示装置及び入力装置を設ける必要はない。

リモート端末２、リモート端末３、及びリモート端末４は、上述したように、オブジェクトの描画領域情報をローカル端末１へ送信する。

次に、図２を参照して、画面イメージ内の各オブジェクトに設定される描画領域について説明する。図２は、あるリモート端末の画面イメージ７１に描画されたオブジェクト７１１及びオブジェクト７１２それぞれに対応する描画領域を示している。

図２において、画面イメージ７１には、オブジェクト７１１及びオブジェクト７１２が描画されている。オブジェクト７１１は、サブオブジェクト７１１ａ、及びサブオブジェクト７１１ｂから構成される。オブジェクト７１１は、例えば、マイクロソフトの提供するＯＳであるWindows（登録商標）におけるモーダルウィンドウのような親ウィンドウとその子ウィンドウ等とをまとめて一つのオブジェクトとするものである。したがって例えば、画面イメージ７１には、アプリケーションプログラムのウィンドウであるサブオブジェクト７１１ａ、ダイアログであるサブオブジェクト７１１ｂ、及びアプリケーションプログラムのウィンドウであるオブジェクト７１２が描画されている。なお、同じアプリケーションプログラムに属するウィンドウであっても、任意の重ね合わせ順序で配置可能なウィンドウは、別のオブジェクトとして扱ってもよい。

描画領域は、オブジェクト毎に、オブジェクトを包含する領域として設定される。したがって、オブジェクト７１１に対応する描画領域は、サブオブジェクト７１１ａ及びサブオブジェクト７１１ｂを包含する描画領域７２１である。また、オブジェクト７１２に対応する描画領域は、オブジェクト７１２を包含する描画領域７３１である。

描画領域として設定する形状は任意であり、オブジェクトを包含する矩形領域や矩形領域の集合、円形領域、多角形領域等、いずれの形状の領域であってもよい。

各リモート端末は、上述したように、各描画領域の形状、サイズ、位置等を記述したオブジェクトの描画領域情報に加えて、画面イメージ、及びオブジェクトの重ね合わせ順序情報をローカル端末１へ送信する。そして、ローカル端末１は、受信したこれらの画面情報を用いてレイヤを生成する。例えば、ローカル端末１は、リモート端末２から受信したオブジェクトの描画領域情報に基づいて、リモート端末２から受信した画面イメージ２１から複数のオブジェクトの画像を切り出す。そして、ローカル端末１は、切り出した複数のオブジェクトの画像をそれぞれ異なる複数のレイヤ上に描画する。そして、ローカル端末１は、リモート端末２から受信した重ね合わせ順序情報によって示される重ね合わせの順序で、複数のレイヤを表示画面上に重ね合わせる。

図３は、ローカル端末１において、画面イメージ１１、オブジェクトの描画領域情報１２、及びオブジェクトの重ね合わせ順序情報１３を用いて生成されるレイヤの例を示している。レイヤは、各画面イメージと同一のサイズである。レイヤには、各オブジェクトの描画領域情報に基づき、画面イメージから切り出された該オブジェクトに対応する画像が描画される。レイヤのオブジェクトに対応する画像が描画された以外の領域、すなわちレイヤの背景部分は、透過性を持つ。

ローカル端末１は、リモート端末２、リモート端末３、及びリモート端末４からそれぞれ送信される画面イメージ２１、画面イメージ３１、画面イメージ４１の各々から、オブジェクトの描画領域情報１２とオブジェクトの重ね合わせ順序情報１３とに基づき、オブジェクトそれぞれに対応する画像であるオブジェクト画像を切り出す。例えば、ローカル端末１は、リモート端末２から送信される画面イメージ２１から、オブジェクトの描画領域情報１２及びオブジェクトの重ね合わせ順序情報１３のうちのリモート端末２から受信した情報に基づいて、複数のオブジェクトそれぞれに対応するオブジェクト画像を切り出す。そして、ローカル端末１は、切り出したオブジェクト画像が描画され、その背景が透過であるレイヤを生成する。

したがって図３において、ローカル端末１は、画面イメージ２１から、オブジェクト２１１に対応するオブジェクト画像２２１とオブジェクト２１２に対応するオブジェクト画像２３１とを切り出す。画面イメージ２１において、オブジェクト２１１はオブジェクト２１２よりも下に描画されているため、オブジェクト２１１の一部はオブジェクト２１２に隠蔽されている。ローカル端末１は、リモート端末２からのオブジェクトの描画領域情報１２とオブジェクトの重ね合わせ順序情報１３とのうちのリモート端末２から受信した情報に基づき、オブジェクト２１１とオブジェクト２１２との隠蔽関係を考慮して、画面イメージ２１からオブジェクト画像２２１及びオブジェクト画像２３１を切り出す。したがって、ローカル端末１は、オブジェクト２１１に対して、オブジェクト２１２により隠蔽された領域を除いた描画領域に対応するオブジェクト画像２２１を切り出す。また、オブジェクト２１２には他のオブジェクトに隠蔽された領域がないため、オブジェクト２１２の描画領域全体に対応するオブジェクト画像２３１が切り出される。

そして、ローカル端末１は、切り出したオブジェクト画像２２１が描画されたレイヤ２２と、切り出したオブジェクト画像２３１が描画されたレイヤ２３とを生成する。つまり、オブジェクト２１１とオブジェクト２１２とを含むリモート端末２の画面イメージ２１は、レイヤ２２とレイヤ２３とに共用されている。

同様に、ローカル端末１は画面イメージ３１から、オブジェクト３１１に対応するオブジェクト画像３２１を切り出す。そして、ローカル端末１は、切り出したオブジェクト画像３２１が描画されたレイヤ３２を生成する。

また、ローカル端末１は、画面イメージ４１から、オブジェクト４１１に対応するオブジェクト画像４２１とオブジェクト４１２に対応するオブジェクト画像４３１を切り出す。そして、ローカル端末１は、切り出したオブジェクト画像４２１が描画されたレイヤ４２と、切り出したオブジェクト画像４３１が描画されたレイヤ４３とを生成する。

上述のレイヤ生成処理により、画面イメージ１１、オブジェクトの描画領域情報１２、及びオブジェクトの重ね合わせ順序情報１３に基づいて、各オブジェクトのオブジェクト画像が描画されたレイヤが生成される。

ローカル端末１は、表示装置５の表示画面５Ａ上に、生成したレイヤを重ね合わせて表示する。図４は、表示装置５に表示されるレイヤの例を示している。

ここでは、ローカル端末１にレイヤ１４が表示されており、ここに、リモート端末２から送信された画面イメージ２１、オブジェクトの描画領域情報１２、及びオブジェクトの重ね合わせ順序情報１３に基づいて、レイヤ２２及びレイヤ２３を重ね合わせて表示するものとする。なお、レイヤ１４は、ローカル端末１のデスクトップ画面上に表示されているレイヤである。したがって例えば、レイヤ１４は、ローカル端末１のＯＳやアプリケーションプログラムによって生成されたウィンドウがオブジェクトとして描画されたレイヤである。また、レイヤ１４、レイヤ２２、及びレイヤ２３にはそれぞれ、オブジェクト画像１４１、オブジェクト画像２２１、オブジェクト画像２３１が描画され、背景は透過に設定されている。

ローカル端末１は、レイヤ１４、レイヤ２２、及びレイヤ２３を、表示画面５Ａ上に重ね合わせて表示する。レイヤ２２及びレイヤ２３は、オブジェクトの重ね合わせ順序情報１３に基づき重ね合わせられる。したがって表示画面５Ａには、前から順に、オブジェクト画像１４１、オブジェクト画像２３１、及びオブジェクト画像２２１が重ね合わせて表示されている。なお、ローカル端末１のレイヤ群、及びリモート端末それぞれのレイヤ群の重ね合わせの関係は、ローカル端末１のレイヤ群をリモート端末のレイヤ群よりも前に表示する、リモート端末の接続順をリモート端末のレイヤ群の重ね合わせ順とする、ユーザが任意に決定する等、適宜設定可能である。

ユーザは、入力装置６を用いて各レイヤ（各オブジェクト画像）を操作することができる。ユーザは、入力装置６であるキーボードやマウス等を用いた操作により、例えば、レイヤの重ね合わせ順序を変更することや各レイヤを移動すること等が可能である。

レイヤの重ね合わせ順序を変更する場合、ユーザは、例えばマウスでオブジェクト画像をクリックする。ユーザがオブジェクト画像２３１をクリックした場合、オブジェクト画像２３１（レイヤ２３）は一番前に表示される。すなわち、表示画面５Ｂには前から順に、オブジェクト画像２３１、オブジェクト画像１４１、及びオブジェクト画像２２１が重ね合わせて表示される。

また、レイヤを移動する場合、ユーザは、例えばマウスでオブジェクト画像をドラッグする。ユーザがオブジェクト画像１４１をドラッグした場合、ドラッグ操作により指示された位置にオブジェクト画像１４１が移動する。表示画面５Ｃでは、表示画面５Ａにおいて画面の右上にあったオブジェクト画像１４１が画面の中央に移動されている。また、オブジェクト画像２２１及びオブジェクト画像２３１についても同様にドラッグ操作による移動が可能である。

ローカル端末１は、上述のように、画面に表示するオブジェクトをそれぞれ別々のレイヤで独立して管理している。このためローカル端末１は、表示画面５Ｂに示すように、ローカル端末のレイヤ１４を、リモート端末２の画面情報により生成されたレイヤ２２とレイヤ２３との間に挟んで表示することができる。つまり、ローカル端末１では、ローカル端末１のオブジェクトと各リモート端末のオブジェクトとを区別なく自由に操作することができる。

入力装置６を用いてオブジェクトを操作した場合、ローカル端末１は、この操作による入力情報を、操作されたオブジェクトに対応するリモート端末へ送信する。リモート端末は、受信した入力情報に基づいて画面イメージを更新する。そして、リモート端末は、更新した画面イメージと、更新した画面イメージに基づくオブジェクトの描画領域情報及びオブジェクトの重ね合わせ順序情報とをローカル端末１へ送信する。なお、リモート端末からローカル端末１へ送信される更新した画面イメージと、更新した画面イメージに基づくオブジェクトの描画領域情報及びオブジェクトの重ね合わせ順序情報とは、送信済みの情報に対する差分の情報であってもよい。すなわち、リモート端末は、例えば、前回送信した画面イメージと今回送信する更新した画面イメージとの差分を、ローカル端末１へ送信する。

ローカル端末１は、受信した画面情報に基づいてレイヤを更新する。そして、ローカル端末１は、更新されたレイヤを用いて表示装置５の画面を再描画する。すなわち、ローカル端末１は、リモート端末から、変更された画面イメージと、変更された画面イメージに基づくオブジェクトの描画領域情報及びオブジェクトの重ね合わせ順序情報とを受信し、受信したオブジェクトの描画領域情報に基づき、受信した画面イメージから、複数のオブジェクトそれぞれに対応する画像を切り出す。そして、ローカル端末１は、切り出した複数のオブジェクトの画像を描画したレイヤを、受信したオブジェクトの重ね合わせ順序情報に基づき、表示画面上に表示する。

したがって例えば、ユーザが表示画面５Ａに描画されたオブジェクト画像２２１をマウスでクリックし、オブジェクト画像２２１を最前面に表示しようとした場合、オブジェクト画像の重ね合わせ順序が変更され、オブジェクト画像２２１がオブジェクト画像２３１によって隠蔽されていた領域が描画される必要がある。この場合、ローカル端末１はマウスによる入力情報をリモート端末２へ送信する。リモート端末２では、受信した入力情報に基づき画面イメージ２１が更新され、オブジェクト２１２により一部が隠蔽されていたオブジェクト２１１の全体が描画される。更新された画面イメージ２１と、更新された画面イメージ２１に基づくオブジェクトの描画領域情報及びオブジェクトの重ね合わせ順序情報とは、リモート端末２からローカル端末１へ送信される。ローカル端末１が受信した画面情報に基づき、表示装置５に表示される画面を更新すると、オブジェクト画像２３１に一部が隠蔽されていたオブジェクト画像２２１の全体が描画される。

つまり、オブジェクトの操作情報がローカル端末１からリモート端末へ送信され、オブジェクトの操作情報を用いて更新された画面イメージがリモート端末からローカル端末へ送信されることで、ローカル端末１の表示装置５に表示されるレイヤ（オブジェクト画像）が更新される。

図５は、ローカル端末１とリモート端末との間でのリモートデスクトップ接続処理の手順を示すフローチャートである。

まず、リモート端末は、ローカル端末１からのリモートデスクトップ接続要求があるかどうかを判定する（ステップＳ１０１）。ローカル端末１からリモート端末へのリモートデスクトップ接続要求は、例えばユーザによる操作により行われる。

ローカル端末１からリモート端末へのリモートデスクトップ接続要求がある場合（ステップＳ１０１のＹＥＳ）、リモート端末は、画面情報をローカル端末１へ送信する（ステップＳ１０２）。画面情報は、リモート端末における画面イメージ、オブジェクト毎の描画領域情報、及びオブジェクトの重ね合わせ順序情報である。

次に、ローカル端末１は、リモート端末から送信された画面情報を受信する（ステップＳ１０３）。そして、ローカル端末１は、受信した画面情報を用いてレイヤを生成する（ステップ１０４）。ローカル端末１は、オブジェクト毎の描画領域情報に基づき、画面イメージから各オブジェクトに対応する画像を切り出し、切り出した画像それぞれを描画したレイヤを生成する。ローカル端末１は、生成したレイヤを重ね合わせ順序情報に基づいて、表示装置５の表示画面上に表示する（ステップＳ１０５）。すなわち、ステップＳ１０５では、ローカル端末１は、生成した複数のレイヤを、重ね合わせ順序情報に示される順序で、表示装置５の表示画面上に重ね合わせる。

次に、ローカル端末１及びリモート端末は、それぞれの端末で画面情報に更新がないかどうかを判定する（ステップＳ１０６）。画面情報に更新がある場合（ステップＳ１０６のＹＥＳ）、更新のあったローカル端末１又はリモート端末は、更新に応じた処理を実行する（ステップＳ１０７）。この更新処理については、図６、図７、図８、及び図９を参照して後述する。

以上の処理により、ローカル端末１とリモート端末とは、リモートデスクトップ接続を確立し、それぞれの端末における画面情報を送受信することができる。

図６は、リモート端末による送信処理の手順を示すフローチャートである。

まず、リモート端末は、画面イメージの更新があるかどうかを判定する（ステップＳ２０１）。リモート端末の画面イメージは、例えば、ローカル端末から制御情報を受信した場合に更新される。画面イメージの更新がある場合（ステップＳ２０１のＹＥＳ）、リモート端末は、更新された画面イメージと更新前の画面イメージとの差分をローカル端末１へ送信する（ステップＳ２０２）。

画面イメージの更新がない場合（ステップＳ２０１のＮＯ）、又はステップＳ２０２による送信処理を実行すると、リモート端末は、オブジェクトの描画領域の変更が検出されるかどうかを判定する（ステップＳ２０３）。オブジェクトの描画領域の変更が検出された場合（ステップＳ２０３のＹＥＳ）、リモート端末は、変更されたオブジェクトの描画領域と、変更前のオブジェクトの描画領域との差分の情報をローカル端末１へ送信する（ステップＳ２０４）。

オブジェクトの描画領域の更新がない場合（ステップＳ２０３のＮＯ）、又はステップＳ２０４による送信処理を実行すると、リモート端末は、オブジェクトの重ね合わせ順序の変更が検出されるかどうかを判定する（ステップＳ２０５）。オブジェクトの重ね合わせ順序の変更が検出された場合（ステップＳ２０５のＹＥＳ）、リモート端末は、変更されたオブジェクトの重ね合わせ順序情報をローカル端末１へ送信する（ステップＳ２０６）。

ローカル端末１は、上述の処理によって送信されたリモート端末からの画面情報を受信し、画面情報に応じた受信処理を実行する。図７は、ローカル端末１による受信処理の手順を示すフローチャートである。

まず、ローカル端末１は、画面情報であるデータを受信する（ステップＳ３０１）。そして、ローカル端末１は、受信したデータが画面イメージの更新情報であるかどうかを判定する（ステップＳ３０２）。

受信したデータが画面イメージの更新情報である場合（ステップＳ３０２のＹＥＳ）、ローカル端末１は、ローカル端末１に保持する画面イメージを更新する（ステップＳ３０３）。受信した画面イメージの更新情報は、更新後の画面イメージと更新前の画面イメージとの差分の情報であるため、ローカル端末１は、ローカル端末１内に保持する画面イメージとこの差分の情報とを用いて、現在の画面イメージを算出する。

受信したデータが画面イメージの更新情報でない場合（ステップＳ３０２のＮＯ）、又はステップＳ３０３による画面イメージの更新処理を実行すると、ローカル端末１は、受信したデータがオブジェクトの描画領域の変更情報であるかどうかを判定する（ステップＳ３０４）。受信したデータがオブジェクトの描画領域の変更情報である場合（ステップＳ３０４のＹＥＳ）、ローカル端末１は、ローカル端末１に保持するオブジェクトの描画領域情報を更新する（ステップＳ３０５）。受信したオブジェクトの描画領域の変更情報は、変更後のオブジェクトの描画領域情報と変更前のオブジェクトの描画領域情報との差分の情報であるため、ローカル端末１は、ローカル端末１内に保持するオブジェクトの描画領域情報とこの差分の情報とを用いて、現在のオブジェクトの描画領域情報を算出する。

受信したデータがオブジェクトの描画領域の変更情報でない場合（ステップＳ３０４のＮＯ）、又はステップＳ３０５によるオブジェクトの描画領域の変更処理を実行すると、ローカル端末１は、受信したデータがオブジェクトの重ね合わせ順序の変更情報であるかどうかを判定する（ステップＳ３０６）。受信したデータがオブジェクトの重ね合わせ順序の変更情報である場合（ステップＳ３０６のＹＥＳ）、ローカル端末１は、ローカル端末１に保持するオブジェクトの重ね合わせ順序情報を更新する（ステップＳ３０７）。

以上の受信処理により、ローカル端末１に保持する画面イメージ１１、オブジェクトの描画領域情報１２、及びオブジェクトの重ね合わせ順序情報１３は更新され、ローカル端末１は更新されたこれらの情報を用いて、レイヤを更新し、更新されたレイヤを表示装置５の画面に再描画する。

ローカル端末１では、ユーザが入力装置６を用いて、表示装置５の画面に表示されたオブジェクトを操作する。ローカル端末１は、リモート端末の画面情報から生成されたレイヤのオブジェクトが操作された場合、該リモート端末へ操作情報を送信する処理を実行する。図８は、ローカル端末１による送信処理の手順を示すフローチャートである。

まず、ローカル端末１は、入力装置６を用いてオブジェクトを操作する入力が検出されるかどうかを判定する（ステップＳ４０１）。入力装置６を用いてオブジェクトを操作する入力が検出された場合（ステップＳ４０１のＹＥＳ）、ローカル端末１は、この入力により操作されたオブジェクトに対応するリモート端末へ入力情報を送信する（ステップＳ４０２）。入力情報は、ローカル端末１に接続された入力装置６であるキーボードやマウス等により操作されるオブジェクトの操作情報を示す。

入力装置６を用いてオブジェクトを操作する入力が検出されない場合（ステップＳ４０１のＮＯ）、又はステップＳ４０２によるリモート端末への入力情報の送信処理を実行すると、ローカル端末１は、オブジェクトに対する制御指示があるかどうかを判定する（ステップＳ４０３）。オブジェクトに対する制御指示は、ＯＳやアプリケーションプログラムによって発行される指示である。この制御指示は、例えば、入力装置６を用いた表示画面上のタスクバーに対する操作等の、表示画面上のオブジェクト以外の領域に対する操作によって生じる。オブジェクトに対する制御指示がある場合（ステップＳ４０３のＹＥＳ）、制御指示があったオブジェクトに対応するリモート端末へ制御情報を送信する（ステップＳ４０４）。制御情報は、上述の制御指示により操作されるオブジェクトの操作情報を示す。

リモート端末は、上述の処理によって送信されたローカル端末１からの入力情報又は制御情報を受信し、これらの情報に応じた受信処理を実行する。図９は、リモート端末による受信処理の手順を示すフローチャートである。

まず、リモート端末は、入力情報又は制御情報であるデータを受信する（ステップＳ５０１）。次に、リモート端末は、受信したデータが入力装置６の入力情報であるかどうかを判定する（ステップＳ５０２）。受信したデータが入力情報である場合（ステップＳ５０２のＹＥＳ）、リモート端末は、入力情報に応じてリモート端末に保持する画面イメージを更新する（ステップＳ５０３）。

受信したデータが入力情報でない場合（ステップＳ５０２のＮＯ）、又はステップＳ５０３による画面イメージの更新処理を実行すると、リモート端末は、受信したデータがオブジェクトの制御情報であるかどうかを判定する（ステップＳ５０４）。受信したデータがオブジェクトの制御情報である場合（ステップＳ５０４のＹＥＳ）、リモート端末は、制御情報に応じてリモート端末のオブジェクトを制御する（ステップＳ５０５）。

以上の受信処理により、リモート端末に保持する画面イメージは更新され、図６のフローチャートに示す送信処理の手順に従って、更新された画面イメージと、更新された画面イメージに基づくオブジェクトの描画領域情報、及びオブジェクトの重ね合わせ順序情報がリモート端末からローカル端末１へ送信される。

なお、ローカル端末１で生成されるレイヤは画面イメージと同じサイズではなく、オブジェクトを外接する矩形と同一の大きさに設定し、オブジェクトに対応する描画領域の変更に合わせてレイヤのサイズを変更してもよい。図１０は、オブジェクトの外接矩形と同一のサイズに設定されたレイヤの例を示す。

図１０において、画面イメージ８１には、オブジェクト８１１及びオブジェクト８１２が描画されている。オブジェクト８１１は、サブオブジェクト８１１ａ、及びサブオブジェクト８１１ｂから構成される。これは例えば、アプリケーションプログラムのウィンドウであるサブオブジェクト８１１ａ、ダイアログであるサブオブジェクト８１１ｂ、及びアプリケーションプログラムのウィンドウであるオブジェクト８１２が描画された画面イメージ８１である。

オブジェクト８１１が描画されるレイヤ、及びオブジェクト８１２が描画されるレイヤには、それぞれ、オブジェクト８１１の外接矩形であるレイヤ８２、オブジェクト８１２の外接矩形であるレイヤ８３が設定される。また、レイヤ８２及びレイヤ８３には、それぞれ、表示装置５の画面上での表示位置を示す座標（x1, y1）、座標（x2, y2）が設定される。ローカル端末１は、各レイヤに設定された座標を用いて、画面イメージにおける描画領域の位置と同じ位置にレイヤを表示する。

レイヤをオブジェクトの外接矩形と同一のサイズにすることで、レイヤとして確保する領域を画面イメージのサイズよりも小さくすることができる。

以上説明したように、本実施形態によれば、リモート端末から送信される画面情報をオブジェクト単位で扱うことができる。リモート端末から送信される画面情報である画面イメージ、オブジェクトの描画領域情報、及びオブジェクトの重ね合わせ順序情報に基づいて、オブジェクト毎のレイヤを生成することで、ローカル端末は、各オブジェクトの表示や操作等の制御をオブジェクト単位で管理することができる。リモート端末が一つの場合、ローカル端末の画面上には、例えば、あるリモート端末のリモートデスクトップ画面上のオブジェクト間に、ローカル端末のデスクトップ上のウィンドウを挟み、重ね合わせて表示することができる。また、リモート端末が複数の場合、ローカル端末の画面上には、例えば、あるリモート端末のリモートデスクトップ画面上のオブジェクト間に、他のリモート端末からの画面イメージ内に含まれるウィンドウを挟み、重ね合わせて表示することができる。つまり、ローカル端末は、リモートデスクトップ画面上のウィンドウのようなオブジェクトのレイアウトを、オブジェクト毎に変更することができる。したがって、ローカル端末では、オブジェクトがそれぞれ操作でき、各オブジェクトに対する操作情報が該オブジェクトに対応するリモート端末へ送信される。リモート端末では、受信した制御情報に基づいて画面イメージが更新され、更新された画面イメージに基づく画面情報がさらにローカル端末へ送信されることで、ローカル端末の画面イメージが更新される。

なお、ローカル端末の画面上に、複数のリモート端末による複数のオブジェクトが表示されている場合、ローカル端末は、リモート端末毎のオブジェクトの重ね合わせ順序情報に加えて、いずれのオブジェクトがアクティブな状態（フォーカスの当たっている状態）であるかを示す情報を保持して、オブジェクトを重ね合わせる順序を管理してもよい。

また、本実施形態では主に、リモート端末及びローカル端末としてパーソナルコンピュータやワークステーション等の計算機を用いる場合を想定して説明したが、電化製品等の組み込み機器が生成する画面情報を遠隔の専用端末で操作する形態も、同様の方法により実現可能である。

例えば、テレビをローカル端末とし、パーソナルコンピュータをリモート端末とした場合、パーソナルコンピュータ上のオブジェクトであるアプリケーションプログラムのウィンドウが、テレビの画面に表示される。パーソナルコンピュータの画面全体ではなく、必要なアプリケーションプログラムのウィンドウ領域だけを表示できることで、テレビ視聴の邪魔になりにくいという利点がある。

また、本実施形態の情報処理システムは、通常のシンクライアントプロトコルを拡張して構築することができる。このため、通信プロトコル、並びにローカル端末及びリモート端末に用いるプログラムは、スクラッチ開発により開発する場合に比べて、大幅に少ない工数で作成できるものと考えられる。つまり、通常のリモートデスクトップ等の仕組みを拡張することで、ローカル端末において、リモート端末上のオブジェクトを柔軟に操作可能な情報処理システムを実現することができる。

また、本実施形態のリモートデスクトップ接続処理の手順は全てソフトウェアによって実行することができる。このため、リモートデスクトップ接続処理の手順を実行するプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することが出来る。

また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る情報処理システムの構成を示すブロック図。 同実施形態の情報処理システムで生成されるレイヤの例を示す図。 同実施形態の情報処理システムで複数のリモート端末の画面イメージから生成されるレイヤの例を示す図。 同実施形態の情報処理システムにおけるローカル端末の画面表示の例を示す図。 同実施形態の情報処理システムにおけるローカル端末とリモート端末との間のリモートデスクトップ接続処理の手順を示すフローチャート。 同実施形態の情報処理システムにおけるリモート端末による送信処理の手順を示すフローチャート。 同実施形態の情報処理システムにおけるローカル端末による受信処理の手順を示すフローチャート。 同実施形態の情報処理システムにおけるローカル端末による送信処理の手順を示すフローチャート。 同実施形態の情報処理システムにおけるリモート端末による受信処理の手順を示すフローチャート。 同実施形態の情報処理システムで生成されるレイヤの別の例を示す図。

符号の説明

１…ローカル端末、１１…画面イメージ、１２…オブジェクトの描画領域情報、１３…オブジェクトの重ね合わせ順序情報、２…リモート端末、２１…画面イメージ、２１１…オブジェクト、２１２…オブジェクト、３…リモート端末、３１…画面イメージ、３１１…オブジェクト、４…リモート端末、４１…画面イメージ、４１１…オブジェクト、４１２…オブジェクト、５…表示装置、６…入力装置。

Claims (7)

1. 複数のオブジェクトが描画された画面イメージと、前記複数のオブジェクトが描画される前記画面イメージ上の領域を示す描画領域情報と、前記複数のオブジェクトの重ね合わせの順序を示す重ね合わせ順序情報とを送信するリモート装置と、
   前記リモート装置から、前記画面イメージと前記描画領域情報と、前記重ね合わせ順序情報とを受信し、前記受信した描画領域情報に基づき、前記受信した画面イメージから前記複数のオブジェクトの画像を切り出し、前記切り出した複数のオブジェクトの画像を前記重ね合わせ順序情報によって示される重ね合わせ順序で重ね合わせて、表示画面上に表示するローカル端末とを具備することを特徴とする情報処理システム。
2. 前記ローカル端末は、前記切り出した複数のオブジェクトを複数のレイヤ上にそれぞれ描画し、前記重ね合わせ順序情報によって示される重ね合わせの順序で、前記複数のレイヤを前記表示画面上に重ね合わせて表示することを特徴とする請求項１記載の情報処理システム。
3. 前記ローカル端末に接続され、前記表示画面上に表示された前記複数のオブジェクトを操作する入力装置をさらに具備し、
   前記ローカル端末は、前記入力装置から入力される、前記複数のオブジェクトに対する操作情報を前記リモート装置へ送信し、
   前記リモート装置は、前記ローカル端末からの前記操作情報に基づいて前記画面イメージを変更し、変更された画面イメージと、前記変更された画面イメージ上のオブジェクトの描画領域情報と、前記変更された画面イメージ上のオブジェクトの重ね合わせ順序情報とを前記ローカル端末に送信することを特徴とする請求項１記載の情報処理システム。
4. 前記ローカル端末は、前記リモート装置からの前記変更された画面イメージと前記変更された画面イメージ上のオブジェクトの描画領域情報と、前記変更された画面イメージ上のオブジェクトの重ね合わせ順序情報とを受信し、前記受信した描画領域情報に基づき、前記受信した画面イメージから、前記複数のオブジェクトの画像を切り出し、前記重ね合わせ順序情報によって示される重ね合わせ順序で前記切り出した複数のオブジェクトの画像を重ね合わせて、前記表示画面上に表示することを特徴とする請求項３記載の情報処理システム。
5. 前記リモート装置は、該リモート装置において前記画面イメージが変更された場合、前記変更された画面イメージと変更前の画面イメージとの差分の画面イメージ、及び前記変更された画面イメージに基づく描画領域情報と変更前の描画領域情報との差分の描画領域情報を前記ローカル端末に送信し、
   前記ローカル端末は、前記差分の画面イメージと前記差分の描画領域情報とを受信し、前記差分の画面イメージと変更前に受信した画面イメージとから変更後の画面イメージを算出し、前記差分の描画領域情報と変更前に受信した描画領域情報とから変更後の描画領域情報を算出し、前記変更後の描画領域情報に基づき、前記変更後の画面イメージから前記オブジェクトそれぞれに対応する画像を切り出し、前記切り出した複数のオブジェクトの画像を前記表示画面上に表示することを特徴とする請求項１記載の情報処理システム。
6. リモート装置から、複数のオブジェクトが描画された画面イメージと、前記複数のオブジェクトが描画される前記画面イメージ上の領域を示す描画領域情報と、前記複数のオブジェクトの重ね合わせの順序を示す重ね合わせ順序情報とを受信する受信手段と、
   前記受信した描画領域情報に基づき、前記受信した画面イメージから前記複数のオブジェクトの画像を切り出すオブジェクト切り出し手段と、
   前記重ね合わせ順序情報によって示される重ね合わせ順序で前記切り出した複数のオブジェクトの画像を重ね合わせて、表示画面上に表示する表示処理手段とを具備することを特徴とする情報処理装置。
7. リモート装置の画面イメージをローカル端末の表示画面上に表示する表示制御方法であって、
   前記リモート装置から送信される、複数のオブジェクトが描画された前記リモート装置の画面イメージと、前記複数のオブジェクトが描画される前記画面イメージ上の領域を示す描画領域情報と、前記複数のオブジェクトの重ね合わせの順序を示す重ね合わせ順序情報とを受信するステップと、
   前記描画領域情報に基づいて、前記画面イメージから前記複数のオブジェクトの画像を切り出すステップと、
   前記重ね合わせ順序情報によって示される重ね合わせ順序で前記切り出した複数のオブジェクトの画像を重ね合わせて、前記ローカル端末の表示画面上に表示するステップとを具備することを特徴とする表示制御方法。

Images