JP4374013B2 - 中継装置、並びに中継方法 - Google Patents

Description

本発明は、中継装置、並びに中継方法に関し、より詳しくは例えば携帯端末のような操作側装置から入力された操作情報により、例えば被操作コンピュータのような被操作側装置を操作し、被操作側装置に置いて生成される画面更新情報を携帯端末へ転送する遠隔操作システムにおいて使用される、中継装置、並びに中継方法に関する。

近年の情報処理技術、通信インフラの普及発展により、パーソナルコンピュータ（以下、ＰＣ）などの情報処理装置を遠隔した環境から別の情報処理装置を用いて操作するための遠隔操作システムが広く利用されるようになってきた。

このような遠隔操作システムの一つとして、携帯電話機のような端末装置を利用する遠隔操作システムが提案されている。このシステムは、携帯電話機を操作側装置とし、オフィスなどのＰＣを被操作側装置とする。ユーザは、携帯電話機から通信網を介してＰＣを操作し、ＰＣ側の処理結果である画面内容は通信網を介して携帯電話機に送信される。携帯電話機はＰＣから送信されたその画面内容を表示する。このシステムにより、ユーザはＰＣから遠隔していても、ＰＣを操作しその操作結果を携帯電話を用いて確認できることになる。

このような遠隔操作システムにおける操作側装置は、一般的に、被操作側装置より画面解像度と画面更新率が低く、特に、送受信速度と送受信量とが制限されることになる。被操作側装置からの通信量を削減し、ユーザレスポンス向上を図るために、両装置の間に中継装置を設けて操作側装置に表示されない画像情報は転送しない工夫が必要となる。また、画像の属性に応じて転送する画像データを圧縮し、データ送信量を可能な限り削減することが要求される。

遠隔操作システムにおける被操作側装置から操作側装置へのデータ送信量の削減のための手法として、以下のような従来技術が存在している。

一つの従来技術として、被操作側装置から操作側装置へ画像情報を転送するシステムであって、前回送信した後の前画面情報と現時点画像情報の差分を計算し、画面変化部を検出する遠隔操作システムが提案されている（例えば、特許文献１）。

また、検出された画面変化部分をさらに画面解析部に経って、画面のGUI部品を検出して、操作側装置にＧＵＩを含む画面を表示させる遠隔操作システムが提案されている（例えば、特許文献２）。

また、AT&Tケンブリッジ研究所で開発されたVNCシステムとして、検出された画面変化部分を矩形ブロックに分割し、矩形ブロックごとにデータを圧縮し、制御端末へ転送する技術が提案されている（例えば、非特許文献１）。

従来技術による前画面情報（更新前画面）と現時点画像情報（更新後画面）の差分である画面変化部の分割方法を図２０（Ａ）〜（Ｄ）に示す。図２０（Ａ）は画面が更新される前の状態である前画面情報を示している。図２０（Ｂ）は、図２０（Ａ）の画面の更新後を示している。ここでは、３つの更新ブロック１９０１、１９０２，１９０３が新たにオープンされている。

図２０（Ｃ）は、図２０（Ａ）の画面と図２０（Ｂ）を差分計算して得られた、画面変化部分の多辺形領域１９０４を示している。従来技術による一つのあり得る矩形ブロックへの分割方法として、この多辺形領域は図２０（Ｄ）に示す四つのブロック１９０５〜１９０８に分割されるであろう。この分割されたブロックには、複数の異なる属性（文字、画像、グラフなど）が混在してしまうことがある。例えば、上述のブロック１９０６，１９０７は画像と文字の領域が混在したブロックとなっている。

以上のように、従来技術による遠隔操作システムでは、ある適宜な間隔で被操作装置から操作側装置へ画像データを転送するのであるが、画像を転送する際に画面変化部を検出する。検出された画面変化部は、多くの場合実に複数の画面更新イベントによるものである。

従来技術の手法は、個々の画面更新イベントに対応する画面更新領域のカラー情報の属性が異なっても、これらの属性を取得しないため、検出された画面変化部それぞれのカラー情報の属性を区別できない。そのため従来技術においては、画面変化部から分割された送信ブロック（例えば、前述のブロック１９０６〜１９０８）の圧縮率を高めるために、各ブロックのカラー情報の属性を自動的に判断するなど難しい処理が必要となるという問題点がある。また、前述のブロック１９０６、１９０８のように一つのブロックに異なる属性のデータが混在することもあるが、このようなブロックについては唯一のカラー情報の属性を特定できないという問題も生ずる。この問題を解決する手段として、ブロックのデータを複数の圧縮方法で試して圧縮率の高い方法を選ぶという対処も考えられるが、このような対処方法では、JPEGべ一スラインなどの圧縮率高いアルゴリズムを選ぶ傾向があり、テキスト部分の画面に汚いノイズを生じやすい。また、画面変化部分の差分検出と分割は、軽くない計算処理が必要となり、計算処理の負荷増大が、遠隔操作システムの操作性能に影響を与えてしまうという問題点もある。
特開２００４−５５８２号公開公報 特開２００２−１１１８９３号公開公報 インターネット＜URL:http:// http://www.realvnc.com/＞

本発明の目的は、被操作側装置における画面変化部分を、一又は複数のブロックであって単一の属性を有するブロックに分割し、このブロックに適した圧縮方法を提供して操作側装置に転送する中継装置、並びに中継方法を提供することを目的とする。

上記課題を解決するための手段として、本発明は以下の特徴を有している。

本発明にかかる第１の態様は、被操作側装置（例えば、パーソナルコンピュータ）の画面表示内容を操作側装置（例えば、パーソナルコンピュータを遠隔操作可能な携帯電話機）に表示させるため、操作側装置の表示領域に表示させる画像データを被操作側装置から受信し、この画像データを操作側装置へ送信する中継装置として提案される。

この中継装置は、被操作側装置の画面表示内容のうち、新たに表示された表示要素（例えば、新たにオープンされたウインドウ、ドキュメントファイルなど）の表示領域（例えば、ウインドウの高さ、幅、座標などの情報）及び画像データ（例えば、ビットマップデータなど）に対応付けされた情報である画像ブロックを含む画面更新イベント通知を受信し、この画面更新イベント通知に基づいて、被操作側装置の画面表示内容のうち操作側装置に送信していない画像ブロックを示す未送信ブロックリストを生成する第１のリスト生成手段（例えば、画面更新モジュール）と、操作側装置から、操作側装置において画面表示される領域に相当する更新要求ブロックを含む画面更新要求を受信すると、前記未送信ブロックリスト及び前記更新要求ブロックに基づいて、未送信ブロックリストに示された画像ブロックのうち操作側装置に送信する画像ブロックを示す要送信ブロックリストを生成する第２のリスト生成手段（例えば、送信データ収集モジュール）と、要送信ブロックリストに基づいて、要送信ブロックリストに含まれる画像ブロックに対応する画像データを操作側装置へ送信するとともに、前記更新要求ブロックと未送信ブロックリストとに基づいて、新たな未送信ブロックリストを生成させるデータ送信手段（例えば、データ送信モジュール）とを有し、前記第１のリスト生成手段は、画像ブロックを受信した順番で新たに受信した画像ブロックをすでに受信している他の画像ブロックの上に重ねて、重なった結果得られる画像データから互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックで構成される新しい未送信ブロックリストを生成し、前記互いに重ならない画像ブロックの画像データの属性を、その画像ブロックの元となった画像ブロックの画像データの属性から承継させることを特徴としている。

なお、「表示要素」とは、被操作側装置及び操作側装置において、画面表示可能なデータ若しくはデータの組合せであって、例えば、画像ファイル、テキストデータ、Ｗｅｂ文書データなどである。なお、表示要素はＯＳによって生成されたウインドウをその一部として取り扱うようにしてもよい。

本発明の第２の態様は、被操作側装置（例えば、パーソナルコンピュータ）の画面表示内容を操作側装置（例えば、パーソナルコンピュータを遠隔操作可能な携帯電話機）に表示させるため、操作側装置の表示領域に表示させる画像データを被操作側装置から受信し、この画像データを操作側装置へ送信する中継方法として提案される。

この中継方法は、被操作側装置の画面表示内容のうち、新たに表示された表示要素の表示領域及び画像データに対応付けされた情報である画像ブロックを含む画面更新イベント通知を受信した場合、被操作側装置の画面表示内容のうち操作側装置に送信していない画像ブロックを示す未送信ブロックリストに含まれる画像ブロックと受信した画面更新イベントに含まれる画像ブロックとを、新たに受信した画像ブロックがすでに受信している他の画像ブロックの上になるように重ねて、この重ね合わせた結果得られる画像データから、互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックで構成される新たな未送信ブロックリストを生成するステップと、操作側装置から、操作側装置において画面表示される領域に相当する更新要求ブロックを含む画面更新要求を受信すると、前記未送信ブロックリストに含まれる画像ブロックと、前記更新要求ブロックとの互いに重なる領域を切り出し、前記切り出した領域から互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックを示す要送信ブロックリストを生成するステップと、前記要送信ブロックリストに示された画像ブロックの画像データの属性に応じた圧縮アルゴリズムを選択し、選択した圧縮アルゴリズムを用いてその画像データを圧縮し、操作側装置に送信するステップと、前記未送信ブロックリストに含まれる画像ブロックと前記要送信ブロックリストに含まれる画像ブロックとの重なった領域を切り出した残りの領域から、互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックで構成される新たな未送信ブロックリストを更新するステップとを有することを特徴とする。

本発明によれば、被操作側装置における画面変化部分を、一又は複数のブロックであって単一の属性を有するブロックに分割し、このブロックに適した圧縮方法を提供して操作側装置に転送することができる。

以下、図面を参照しながら本発明の実施の形態を説明する。

［１．システムの構成例］
本実施の形態は、本発明にかかる中継装置を含み、本発明の中継方法を実行する遠隔操作システムとして提案される。図１は、本実施の形態にかかる遠隔操作システムの構成例を示すブロック図である。

遠隔操作システム１は、遠隔操作の対象であって被操作側装置２（例えば、コンピュータ）と、被操作側装置２と通信可能に接続された中継装置３と、利用者が遠隔操作に用いる端末装置として機能し、且つ通信網４を介して中継装置３と通信可能な操作側装置５（例えば、ブラウザを搭載した携帯電話機）とを有している。

以下、遠隔操作システム１の構成要素について説明する。

［１．１．被操作側装置］
被操作側装置２は、コンピュータ、ワークステーション、サーバなどの情報処理装置であって、操作側装置５からの操作データを受信すると、この操作データに応じて処理を実行し、処理の実行結果を画面更新イベントとして出力する機能を有する。例えば、操作側装置５からあるウインドウをオープンするための操作データが送信され、この操作データを受信した被操作側端末装置２はこのウインドウをオープンするという画面更新イベントを実行する。

図２は、被操作側装置２のハードウエア構成例を示すブロック図である。図２に示す被操作側装置２は、ＣＰＵ２０１と、一時記憶手段であるＲＡＭ２０２と、プログラムや固定データを記憶するＲＯＭ２０３と、キーボードやポインティングデバイスなど利用者の入力を信号化してＣＰＵ２０１に提供する入力装置２０４と、ＣＰＵ２０１の処理結果を利用者に示すための画面表示装置２０５（例えば、液晶ディスプレイ装置）と、中継装置３と送信データ、画面更新イベント通知、画像／文字データなどを送受信する通信制御装置２０６とを有している。

［１．２．中継装置］
次に、中継装置３について説明する。中継装置３は操作側装置５と被操作側装置２との通信を中継する装置であって、通信機能を有する情報処理装置（例えば、ルータ、モデム無線ＬＡＮポイントなど）である。本発明にかかる中継方法は、主にこの中継装置３によって実行される。図３は、中継装置３のハードウエア構成例を示すブロック図である。図３に示す中継装置３は、ＣＰＵ３０１と、一時記憶手段であるＲＡＭ３０２と、プログラムや固定データを記憶するＲＯＭ３０３と、被操作側装置２と送信データ、画面更新イベント通知、画像／文字データなどを送受信する被操作側通信制御装置３０４（例えば、ＬＡＮボード）と、通信網４を介して操作側装置５と送信データ、画面更新イベント通知、画像／文字データなどを送受信する網側通信制御装置３０５（例えば、ＴＣＰ／ＩＰなどの諸通信プロトコルを搭載した通信ボード）とを有している。

中継装置３は、操作側装置５からの操作データを受信し、受信した操作データを被操作側装置２の理解できるフォーマットに変換して被操作側装置２へ送信する機能と、被操作側装置２から画面更新イベントを受信する機能と、被操作側装置２から受信した画面更新イベントに基づいて未送信ブロックリストを更新し、操作側装置５からのビューワ更新要求に応じて未送信ブロックリストに基づいて要送信ブロックリストを生成し、この要送信ブロックリストに基づいて画面更新データを操作側装置５へ送信する機能とを備える。

操作側装置５は、例えば携帯端末のように、被操作側装置２に比較して計算機能が弱くて、簡単な描画機能しかなく、送受信速度と送受信量を制限される場合が多い。この様な操作側装置５に対して、中継装置３は画面更新情報を、簡単に圧縮できるフォーマット（例えば、矩形ブロック）に変換して、さらに操作側装置５の伸張能力に適応した圧縮方式でこの画面更新情報を圧縮して操作側装置２に送ることが重要である。本発明においては、被操作側装置２からの画面更新イベントは、画面変化部分である画面更新領域（本発明の画像ブロックに相当する）である矩形ブロック、カラー情報（画像データに相当する）とその属性を含む。以下の「ブロック」は説明がない限り、矩形ブロックと指すものとするが、本発明が扱う画像ブロックは、矩形ブロックを扱うことに限定される趣旨ではない。

次に、本発明の実施の形態の中継装置３を、図４を参照しながら説明する。なお、後述する各モジュール、各部は主に前述したＣＰＵ３０１，ＲＡＭ３０２，ＲＯＭ３０３、及び図示しないハードディスクなどの外部記憶装置と所与のプログラムによって実現される構成要素である。

図４は、本発明の実施の形態にかかる中継装置３の構成例を示す機能ブロック図である。図４に示すように、中継装置３は、画面更新モジュール４０１と、送信データ収集モジュール４０２と、データ送信モジュール４０３と、転送モジュール４０４とを備える。

本発明の第１のリスト生成手段に相当する画面更新モジュール４０１は、画面情報保存部４１１、和集合演算部４１２、及び未送信ブロックリスト保存部４１３で構成される。

また、本発明の第２のリスト生成手段に相当する送信データ収集モジュール４０２は、未送信ブロッククリスト保存部４１３、積集合演算部４１４、要送信ブロックリスト保存部４１５、差集合演算部４１６で構成されている。

また、本発明のデータ送信手段に相当するデータ送信モジュール４０３は、画面情報保存部４１１、要送信ブロックリスト保存部４１５、圧縮送信部４１７で構成される。

以下、各要素について詳しく説明する。

画面更新モジュール４０１は、被操作側装置２から画面更新イベントを受信して、この更新イベントに含まれる画像ブロック（以下、「更新ブロック」と呼ぶ）、この更新ブロックに対応するカラー情報、及びそのカラー情報の属性を取得する。

更新ブロックは、従前の画面には表示されていない要素であって画面更新により新たに画面表示される表示要素（例えば、新たにオープンされたウインドウ）に対応する画像領域である。一つの画面更新イベントには、複数の更新ブロックが含まれていてもよい。

１つの更新ブロックに対応するカラー情報の属性は、たとえば、テキスト、写真、グラフなどのいずれか一つになる。更新ブロック（例えば、ブロックの座標情報）とカラー情報（例えば、そのブロック内のカラービットマップデータ）を用いて、画面情報保存部４１１の画面バッファの対応する部分に、1ピクセルずつカラー情報が埋められる。

画面情報保存部４１１は画面バッファとしても機能する。この画面情報保存部４１１において、対応部分のカラー情報が既に存在する場合、最新のカラー情報によって古いものが上書きされ記憶される。この方法で、順番に受信したカラー情報が画面バッファに上書きされながら記憶され、一番最後に受信したカラー情報が、重ねられた部分のカラー情報として保存されている。

画面情報保存部４１１に記憶されるカラー情報は、被操作側装置２の画面情報のマッピングとして、被操作側装置２から受信したカラー情報を操作側装置５で取り扱い可能なカラーフォーマットへ変換して保存することが望ましい。

和集合演算部４１２は、新たに受信した画面更新イベントから得られる更新ブロックと、未送信ブロックリスト部４１３に記憶されている未送信ブロックリスト(最初はヌル)に示される画像ブロックとを和集合演算して、新しい未送信ブロックリストを生成し、この新しい未送信ブロックリストを現時点の未送信ブロックリストとして、未送信ブロックリスト保存部４１３に記憶させる。「和集合演算」は、新たに受信した画像ブロックをすでに受信している他の画像ブロックの上になるように重ねて、重なった結果得られる画像データから互いに重ならない画像ブロックを生成する処理である。なお、和集合演算部４１２は、和集合演算実行時に、未送信ブロックリストに含まれる更新ブロックを複数のブロックに分割する処理を行うことがある。すなわち、和集合演算の結果、未送信ブロックリストに含まれる画像ブロックが矩形でなくなった場合（例えば、前述の多辺形領域であるブロック１９０４（図１９参照））、和集合演算部４１２或いは画面更新モジュール４０１として機能するＣＰＵ３０１は、矩形でなくなった更新ブロックを２以上の矩形ブロックに分割して互いに重ならない矩形ブロックとし、以後これら分割された矩形ブロックを取り扱う。以下、矩形の更新ブロック、及び矩形でなくなった更新ブロックを分割してできた矩形のブロックを「矩形ブロック」と呼ぶものとする。

また、この未送信ブロックリストは互いに重ならない矩形ブロックの一覧リストであり、それらの分割された新たな矩形ブロックに関連付けたカラー情報の属性は、受信した画面更新イベントに含まれる更新ブロックから承継される。すなわち、未送信ブロックリストに含まれる各矩形ブロックは、その元の更新ブロックの属性を承継している。

なお、未送信ブロックリストは画面バッファの未送信領域に対応している。この対応関係を用いて、現時点の未送信のカラー情報をすべて特定できる。

次に、送信データ収集モジュール４０２について説明する。送信データ収集モジュール４０２は、操作側装置５からのビューア更新要求（本発明の画面更新要求に相当する）を受信して、本発明の更新要求ブロックに相当するビューア更新要求領域を特定する情報（例えば、ビューア更新要求領域の高さ及び幅、位置座標）を取得する。

積集合演算部４１４は、この更新要求ブロックと前記の未送信ブロックリストに含まれる矩形ブロックとを積集合演算して、その結果得られる新しいブロックリストを現時点の要送信ブロックリストとして要送信ブロック保存部４１５に記憶させる。「積集合演算」は、画面更新要求に含まれる更新要求ブロックと前記未送信ブロックリストに含まれる画像ブロックとの互いに重なる領域から、互いに重ならない画像ブロックを生成する処理である。要送信ブロックリストに含まれる矩形ブロックの属性は、各矩形ブロックごとに前記未送信ブロックリストに含まれる矩形ブロックから継承される。従って、要送信ブロックリストに含まれる各矩形ブロックの属性は、元の更新ブロックから承継されたものであって単一であり、一つの矩形ブロックが複数の属性を有することはない。

また、差集合演算部４１６は、前述の更新要求ブロックと未送信ブロック保存部４１３に記憶されている未送信ブロックリストに含まれる矩形ブロックとを差集合演算する。「差集合演算」は、更新要求ブロックと未送信ブロックリストに含まれる画像ブロックとの重なった領域を除いた残りの領域から、互いに重ならない画像ブロックを生成する処理である。この差集合演算の結果得られる新しいブロックリストは現時点の未送信ブロックリストとして、未送信ブロックリスト保存部４１３に上書き記憶される。この新たな未送信ブロックリストに含まれる矩形ブロックの属性も、元の更新ブロックから承継されたものであり、一つの矩形ブロックが複数の属性を有することはない。

次に、データ送信モジュール４０３について説明する。データ送信モジュール４０３は、操作側装置５からのビューア更新要求に応じて前記送信データ収集モジュール４０２が生成した前記要送信ブロックリストを参照して、この要送信ブロックリストに含まれる矩形ブロックそれぞれに対応するカラー情報を画面情報保存部４１１の画面バッファからを取得し、このカラー情報を各矩形ブロックの属性と一緒に圧縮送信部４１７に渡す。

圧縮送信部４１７は、複数の圧縮アルゴリズムを選択可能に用意している。圧縮送信部４１７は、圧縮しようとする矩形ブロックの属性に応じて、用意された圧縮アルゴリズムの中から適切な圧縮アルゴリズムを選択し、選択した圧縮アルゴリズムを用いてその矩形ブロックの圧縮処理を行う。たとえば、色数が多く濃度変化が緩やかな写真部分で構成された矩形ブロックのカラー情報については、JPEGベースラインによる圧縮アルゴリズムが好適であり、圧縮送信部４１７はそのように圧縮方法を選択し、圧縮処理を実行する。また、図形や文字データから構成された矩形ブロックのカラー情報の圧縮はLZ方法が好適であり、圧縮送信部４１７はそのような圧縮アルゴリズムを選択し、圧縮処理を実行する。また、属性が同じである複数の矩形ブロックが要送信ブロックリストに含まれている場合には、これら属性の同じ複数の矩形ブロックをまとめて、一つの圧縮プロセスに渡すようにしてよい。その結果、個々の矩形ブロックのカラー情報を単独で圧縮する場合に比べて、より圧縮率を高めることが可能となる。

最後に転送モジュール４０４について説明する。転送モジュール４０４は、操作側装置５からの操作データを受信し、受信した操作データを被操作側装置２の理解できるフォーマットに変換して被操作側装置２へ送信する。

以上で中継装置３の構成例の説明を終了する。

図１に戻り、遠隔操作システム１の構成要素の説明を再開する。

［１．３．通信網］
通信網４は、有線・無線、専用回線・交換回線を問わず、これに接続されている装置がそれぞれ目的とする装置に対しセッションを確立したときにその装置間での情報の送受を可能とするように作用する。通信網４は、インターネットのように、ゲートウエイを介して複数のネットワークが組み合わされて実現しても構わない。また、その接続についてもいわゆるバックボーンといわれる基幹線に直接接続せずとも、ＰＰＰ接続などによって一時的に接続してあっても、セッションを確立したときにその間で情報の送受ができるようになっていれば構わない。なお、上記「通信網」は専用回線を固定的に張りめぐらせたような、交換機、スイッチ、ルータなど経路切り替え手段を用いない通信網も含むものとする。

［１．４．操作側装置］
操作側装置５は、利用者が被操作側装置２を遠隔して操作するための端末装置として機能可能な装置であって、例えば、携帯電話機やＰＨＳなどの通信網４を介して通信の可能な端末であるが、必ずしも移動体端末である必要はなく、ノートパソコンや据え置き型ＰＣであっても、本発明の操作側装置５となり得る。

図５は、操作側装置５のハードウエア構成例を示すブロック図である。図５に示す操作側装置５は、ＣＰＵ５０１と、一時記憶手段であるＲＡＭ５０２と、プログラムや固定データを記憶するＲＯＭ５０３と、キーボードやポインティングデバイスなど利用者の入力を信号化してＣＰＵ５０１に提供する入力装置５０４と、ＣＰＵ５０１の処理結果、及び中継装置３から受信したビューワ更新データに基づいて、被操作側装置２の処理結果を示す画面を利用者に示すための画面表示装置５０５（例えば、液晶ディスプレイ装置）と、通信網４を介して中継装置３と操作データ、ビューワ更新要求、ビューワ更新データなどを送受信する通信制御装置５０６とを有している。

以上で、遠隔操作システム１の構成の説明を終了する。

［２．遠隔操作システムの動作例］
次に、遠隔操作システム１及び中継装置３の動作例及び本発明にかかる中継方法について、図６を参照しながら説明する。図６は、本発明にかかる中継方法を実行する遠隔操作システム１の動作例を示すシーケンス図である。

まず、操作側装置５の操作者である本遠隔操作システム１のユーザは、被操作側装置２に所望の処理（例えば、あるファイルのオープン）を実行させるため、操作側装置５の操作（例えば、所望のファイルのオープンのための操作）を実行する（Ｓ１０１）。操作側装置５はこの操作を示すデータである操作データを通信網４を介して中継装置３に送信する（Ｓ１０２）。

操作データを受信した中継装置３は、転送モジュール４０４によって操作側装置５からの操作データを受信し、受信した操作データを被操作側装置２の理解できるフォーマットに変換して被操作側装置２へ送信する（Ｓ１０３）。

操作データを受信した被操作側装置２は、操作データに応じた処理（例えば、指定されたファイルをオープンする（Ｓ１０４）。次に、被操作側装置２は、処理実行（Ｓ１０４）の結果をユーザに示すための画面更新イベントを実行する（Ｓ１０５）。例えば、処理実行内容があるファイルのオープンであれば、画面更新イベントは、当該ファイルの内容を表示するための新たなウインドウを開き、そのウインドウ内にファイルの内容を描画することとなる。ファイルの内容を描画されたウインドウは、表示要素であり、更新ブロックとして扱われる。

被操作側装置２は、この画面更新イベントを中継装置３に通知するため、画面更新イベントを中継装置３に送信する（Ｓ１０６）。この画面更新イベントには、画面変化分である表示要素、すなわち更新ブロックと、そのカラー情報とそのカラー情報の属性が含まれている。画面更新イベントを受信した中継装置３、より詳しくは画面更新モジュール４０１は、画面更新処理を実行する（Ｓ１０７）。

図７は、上記の画面更新処理の一例を示すフローチャートである。以下、図７を参照しながら画面更新処理を説明する。中継装置３，より詳しくは画面更新モジュール４０１は、被操作側装置２からの画面更新イベント通知があるかどうかをチェックする（Ｓ２０１）。画面更新イベント通知を受信していない場合（Ｓ２０１，Ｎｏ）は、再び処理を最初に戻し、画面更新イベントを待ち受ける。一方、画面更新イベント通知を受信した場合（Ｓ２０１，Ｙｅｓ）、中継装置３，より詳しくは画面更新モジュール４０１は、和集合演算部４１２により未送信ブロック保存部４１３に記憶される未送信ブロックリストに含まれる矩形ブロックと、受信した画面更新イベントに含まれる更新ブロックとの和集合演算を行う（Ｓ２０２）。つぎに、中継装置３，より詳しくは画面更新モジュール４０１は、この和集合演算の結果に基づいて、未送信ブロック保存部４１３の未送信ブロックリストの更新を行う（Ｓ２０３）。さらに中継装置３，より詳しくは画面更新モジュール４０１は、画面更新イベントに含まれる更新ブロックのカラー情報を追加して記憶するよう画面情報保存部４１１（画面バッファ）の更新を行う（Ｓ２０４）。

この後、中継装置３，より詳しくは画面更新モジュール４０１は、ステップＳ２０１に戻り新たな画面更新イベント通知を待ち受ける。

以上で、画面更新処理（Ｓ１０７）の説明を終了し、図６に戻って遠隔操作システム１の動作の説明を続ける。

被操作側装置２において画面更新イベントが実行されるのは、操作側装置５から操作データを受信した場合に限られない。被操作側装置２における処理実行過程において、操作データにかかわらず、自動的／自律的に画面更新イベントが生ずる場合もある。例えば、ある時刻に起動する自動プログラムによる、新たなウインドウのオープン、あるＷｅｂ頁のオープンに起因するポップアップウインドウのオープンなどである。

図６には、操作データに基づかない画面更新イベントを例示している（Ｓ１０８）。このような画面更新イベントが発生した場合にも、被操作側装置２は画面更新イベント通知を中継装置３に送信し（Ｓ１０９）、この画面更新イベント通知を受信した中継装置３は、同様に画面更新処理を実行する（Ｓ１１０）。

画面更新イベント通知を受け取るごとに上記画面更新処理を行うことにより、中継装置３は常に被操作側装置２の最新の画面表示状態を記憶することとなる。

次に、操作側装置５から通信網４を介して中継装置３に本発明の画面更新要求に相当するビューワ更新要求が送信される（Ｓ１１１）。このビューワ更新要求は、操作側装置５がその画像表示装置５０５に被操作側装置２の処理結果を示す最新の画面を表示するための要求である。ビューワ更新要求はユーザが所定の操作を行ったときに送信されるものであってもよいし、操作側装置５が自動的に送信される（例えば、所定間隔でおこなう）ものであってもよい。

ビューワ更新要求を受信した中継装置３は、ビューワ更新データ生成処理を実行する（Ｓ１１２）。ビューワ更新データは、操作側装置５の表示領域である画面表示装置５０５に表示させるカラー情報／画像データを含むデータ若しくはメッセージである。以下、図８を参照しながらビューワ更新データ生成処理を説明する。図８はビューワ更新データ生成処理の一例を示すフローチャートである。

まず、中継装置３、より詳しくは送信データ収集モジュール４０２は、操作側装置５からビューア更新要求を受信したかどうかをチェックする（Ｓ３０１）。ビューワ更新要求を受信していない場合には（Ｓ３０１，Ｎｏ）、ビューワ更新要求を受信するまで待機する。一方、ビューア更新要求を受信している場合（Ｓ３０１，Ｙｅｓ）、送信データ収集モジュール４０２は、積演算処理部４１４により未送信ブロックリスト保存部４１３の記憶内容（未送信ブロックリスト）とビューア更新要求に含まれる更新要求ブロック（操作側装置５の画面表示装置５０５における表示領域）との積集合演算を行い、この積集合演算の結果に基づいて要送信ブロックリストを生成し、これを要送信ブロックリスト保存部４１５に記憶させる（Ｓ３０２）。

次に、中継装置３、より詳しくはデータ送信モジュール４０３は、要送信ブロックリスト保存部４１５の記憶内容である要送信ブロックリストを参照して、すべての矩形ブロックに対応するカラー情報を送信し終っているか否か、すなわち要送信ブロックリストがヌルであるか否かをチェックする（Ｓ３０３）。要送信ブロックリストがヌルである場合（Ｓ３０３，Ｙｅｓ）、中継装置３、より詳しくはデータ送信モジュール４０３は、ステップＳ３０１に戻りビューワ更新要求の受信を待ち受ける。一方、要送信ブロックリストがヌルでない場合（Ｓ３０３，Ｎｏ）、中継装置３、より詳しくはデータ送信モジュール４０３の圧縮送信部４１７は、要送信ブロックリストから矩形ブロックを1つ抽出する（Ｓ３０４）。

次に、中継装置３、より詳しくはデータ送信モジュール４０３の圧縮送信部４１７は、抽出した矩形ブロックに対応するカラー情報とそのカラー情報の属性を画面情報保存部４１１から取得する（Ｓ３０５）。

次に、中継装置３、より詳しくはデータ送信モジュール４０３の圧縮送信部４１７は、その矩形ブロックの属性に基づいて、圧縮アルゴリズムを選択する（Ｓ３０６）。次に、中継装置３、より詳しくはデータ送信モジュール４０３の圧縮送信部４１７は、選択した圧縮アルゴリズムを用いて、その矩形ブロックのカラー情報を圧縮し、圧縮したカラー情報をビューワ更新データとして操作側装置５に送信する（Ｓ３０７）。

次に、中継装置３、より詳しくはデータ送信モジュール４０３の圧縮送信部４１７は、送信した矩形ブロックを差演算処理部４１６に通知し、差演算処理部４１６は未送信ブロックリストと送信済の矩形ブロックの差集合を求め、その結果を新しい未送信ブロックリストとして未送信ブロックリスト保存部４１３に記憶させ、未送信ブロックリストの更新を行わせる（Ｓ３０８）。その後、再びステップＳ３０２に戻る。すべての要送信ブロックリストに含まれる矩形ブロックについてカラー情報の送信処理が終わると（Ｓ３０３，Ｙｅｓ）、中継装置３はステップＳ３０１に戻り、新しいビューア更新要求を待ち受ける。

なお、具体的なＯＳ環境において、上述の二つのプロセス、すなわち画面更新処理及びビューワ更新データ生成は１つのスレッドでも実現可能であるが、二つのプロセスの遅延が互いに影響されないようにするため、２つのスレッドで実現することが望ましい。すなわち、１つのスレッドは操作側装置５からのビューア更新要求に対応して処理し、もう１つのスレッドは被操作側装置２からの画面更新イベントに対応して処理する。この場合、未送信ブロックリスト保存部４１３の未送信ブロックリストと、画面情報保存部４１１の画面バッファが二つのスレッドの共有アクセスデータである。

以上で、ビューワ更新データ生成処理（Ｓ１１２）の説明を終了し、図６に戻って遠隔操作システム１の動作の説明を続ける。

中継装置３は、ビューワ更新データ生成処理（Ｓ１１２）において生成したビューワ更新データを通信網４を介して操作側装置５に送信する（Ｓ１１３）。ビューワ更新データを受信した操作側装置５は、このビューワ更新データに基づいて、被操作側装置２のすべての画面更新イベントに応じた最新画面情報の未送信部分を、その画面表示装置５０５に表示させる（Ｓ１１４）。

この遠隔操作システム１によれば、画面更新イベントごとに操作側装置５が画面更新する必要はなく、操作側装置５からビューワ更新要求を行った際、最新の画面情報であるビューワ更新データを取得することができ、データ転送回数及びデータ転送量を削減できる。また、ビューワ更新データは、属性が混在しない矩形ブロックごとの送信の形態をとるため、処理負荷の低減と圧縮率の向上を図ることも可能となる。

［３．具体的な処理例］
以下に、具体的な事例を挙げて、本遠隔操作システム１における、未送信ブロックリストを更新する集合演算と、要送信ブロックリストを生成する集合演算について詳しく説明する。

図９は、ここで取り上げる具体例におけるイベントを時系列で示す図である。この例では、被操作側装置２において発生する画面更新イベントｅ０、ｅ１，ｅ２、ｅ３，ｅ４があるとともに、操作側装置５によるビューワ更新要求ｖ０、ｖ１があるものとする。なお、ビューワ更新要求ｖ０は画面更新イベントｅ０、ｅ１との間で起こったものとし、またビューワ更新要求ｖ１は画面更新イベントｅ４の後で起こったものとする。

図１０は、画面更新イベントｅ１，ｅ２、ｅ３，ｅ４に対応する画像領域である更新ブロック（矩形ブロック）と、ビューワ更新要求ｖ１に対応する更新要求ブロックＢｖ１の位置関係を示す図である。

さて、被操作側装置２では、画面更新イベントｅ１に対応する矩形ブロックＢｅ１と，画面更新イベントｅ２に対応する矩形ブロックＢｅ２と，画面更新イベントｅ３に対応する矩形ブロックＢｅ３と，画面更新イベントｅ４に対応する矩形ブロックＢｅ４とが図９に示す順番で発生する。また、更新要求ブロックＢｖ１は、ビューワ更新要求ｖ１によって操作側装置５の画面表示装置５０５に表示される領域である。なお、矩形ブロックＢｅ１、Ｂｅ２、Ｂｅ３の属性はテキストで、矩形ブロックＢｅ４の属性は写真であるものとする。

図１１から図１４は、画面更新イベントｅ１，ｅ２、ｅ３，ｅ４に対応する未送信ブロックリストの内容を模式化した図である。また、図１８は、画面更新イベントｅ１，ｅ２、ｅ３，ｅ４及びビューワ更新要求ｖ１に対応する未送信ブロックリスト、要送信ブロックリストの内容を示す図である。以下、これらの図を参照しながら未送信ブロッククリストと要送信ブロックリストの変遷を説明する。

最初に時刻ｔ０時点に置いては、未送信ブロックリストはヌルであるとする。

その後、画面更新イベントｅ１が発生する。この場合の画面表示装置２０５の表示内容は、図１１に示すように、矩形ブロックＢｅ１が表示される画面となる。中継装置３が画面更新イベントｅ１に対応する画面更新イベント通知を受信すると、画面更新処理（Ｓ１０７，又はＳ１１０）における和集合演算の結果、図１８に示すように、未送信ブロックリストの内容は{Ｂｅ１}となり、これがこの時点での未送信ブロックリストの内容となる。

次に、画面更新イベントｅ２が発生する。この場合の画面表示装置２０５の表示内容は、図１２に示すように、矩形ブロックＢｅ１とともに、新たに矩形ブロックＢｅ２が表示される画面となる。中継装置３が画面更新イベントｅ２に対応する画面更新イベント通知を受信すると、矩形ブロックＢｅ１，Ｂｅ２は重なっていない。画面更新処理（Ｓ１０７，又はＳ１１０）における和集合演算の結果として、図１８に示すように、未送信ブロックリストの内容は{Ｂｅ１、Ｂｅ２}となり、これがこの時点での未送信ブロックリストの内容となる。

続いて、画面更新イベントｅ３が発生する。この場合の画面表示装置２０５の表示内容は、図１３に示すように、矩形ブロックＢｅ１を一部隠す位置に新たな矩形ブロックＢｅ３が表示され、一方矩形ブロックＢｅ２はそのまま表示される画面となる。

中継装置３が画面更新イベントｅ３に対応する画面更新イベント通知を受信すると、画面更新処理（Ｓ１０７，又はＳ１１０）における和集合演算の結果、Ｂｅ１の隠されていない部分である矩形ブロックＢｅ１１、及び矩形ブロックＢｅ２およびＢｅ３が未送信ブロックリストに残る。すなわち、和集合演算結果は、図１８に示すように｛Ｂｅ３，Ｂｅ１１，Ｂｅ２}となり、これがこの時点での未送信ブロックリストの内容となる。

その後、画面更新イベントｅ４が発生する。この場合の画面表示装置２０５の表示内容は、図１４に示すように、新たな矩形ブロックＢｅ４は、Ｂｅ３の全部、Ｂｅ１１の一部、Ｂｅ２の一部を隠す。その結果、画面表示装置２０５の表示内容は、新たな矩形ブロックＢｅ４と、矩形ブロックＢｅ１１の隠されなかった部分である矩形ブロックＢｅ１１１、矩形ブロックＢｅ２の隠されなかった部分である矩形ブロックＢｅ２１となる。

中継装置３が画面更新イベントｅ４に対応する画面更新イベント通知を受信すると、画面更新処理における和集合演算（Ｓ２０２）の結果、和集合演算結果は図１８に示すように｛Ｂｅ４、Ｂｅ１１１,Ｂｅ２１}となり、これがこの時点での未送信ブロックリストの内容となる。

最後に、時刻ｔ１において中継装置３はビューア更新要求ｖ１を受信する。このときビューワ更新要求ｖ１の更新要求ブロックＢｖ１と、時刻ｔ１における未送信ブロックリストに含まれるブロックとの関係は図１５のようになる。すなわち、図１５に示すように、矩形ブロックＢｅ１１１の全部と、矩形ブロックＢｅ４の一部である矩形ブロックＢｅ４３が更新要求ブロックＢｖ１の範囲内である。

この場合、ビューワ更新データ生成処理の積集合演算（図８，Ｓ３０２参照）の結果得られる要送信ブロックリストの内容は、図１６に示すように｛Ｂｅ１１１、Ｂｅ４３}となる。また、このとき未送信ブロックリストも更新される（図８，Ｓ３０８参照）。このとき矩形ブロックＢｅ４の残余部分は単純な矩形ではなくなるため、送信データ収集モジュール４０２は矩形ブロックＢｅ４の残余部分を複数の単純な矩形ブロックとなるように分割する。すなわち矩形ブロックＢｅ４の残余部分は、上側の矩形ブロックＢｅ４１と、下側の矩形ブロックＢｅ４２に分割される。図１７に、この未送信ブロックリストの内容を図示する。その結果、差集合演算部４１６の差集合演算結果である未送信ブロックリストの内容は{Ｂｅ４１、Ｂｅ４２、Ｂｅ２１}となる。

また、ビューワ更新要求ｖ１に応じて生成されたビューワ更新データを受信した操作側装置５は、その画面表示装置５０５に図１６に示すような画面内容に画面表示を更新する。
なお、上記の例において、すべての矩形ブロックには属性が関連づけられている。元のブロックの残余の部分である新たな矩形ブロック（例えば、Ｂｅ１１１、Ｂｅ２１）は元の矩形ブロックの属性を継承する。

また、要送信ブロックリスト保存部４１５は、要送信ブロックリストにある矩形ブロックを属性の同じブロックを連結する順番に並べることが望ましい。このようにすることにより、同じ属性のブロックをまとめて圧縮することが可能になり、圧縮率をさらに高め留ことが可能となる。

［４．ブロックの分割の例］
次に、本実施の形態における画面変化部のブロックへの分割の具体例について示す。本発明による画面変化部である更新ブロック或いは未送信ブロックの新たなブロックへの分割は、例えば図１９に示すようになる。なお、前画面情報（更新前画面）は前掲の図２０（Ａ）と同一であるため、その説明と図示は省略する。

図１９（Ａ）は、画面変化部の一部であるブロック１９０１がオープンされた時点での画面変化部を示す。ここでは、ブロック１９０１はそのままのブロックとして扱われる。

図１９（Ｂ）に、ブロック１９０１に続いて、ブロック１９０２がオープンされた時点で、本発明が行うブロックの分割の様子を示す。ブロック１９０１はブロック１９０２により一部隠された状態となっている。本発明の手法は、ブロック１９０１の隠されていない部分を矩形ブロック２００１、２００２に分割する。ブロック１９０２についてはそのままのものとして扱う。

図１９（Ｃ）は、ブロック１９０１，１９０２に続いてブロック１９０３がオープンされた時点で、本発明が処理するブロックの様子を示す。ブロック１９０３は、ブロック２００２の一部を隠すと共に、ブロック１９０２の一部も隠す。本発明の手法は、ブロック２００２の隠されていない部分を矩形ブロック２００３、２００４に分割するとともに、ブロック１９０２の隠されていない部分を矩形ブロック２００５、２００６に分割し、一方ブロック２００１，ブロック１９０３についてはそのままのものとして扱う。

このようなブロックの分割は、本発明によれば集合演算により容易に決定できるものであり、また各ブロックは単一の属性を有するブロックとなって後の圧縮処理の際に適切な圧縮アルゴリズムを容易に選択できるようになっている。

［５．まとめ］
本発明によれば、被操作側装置からの画面更新イベントに含まれる画像の属性と更新領域の枠（更新ブロック）を利用することにより、操作側装置の画面更新のために送信する必要のある画面領域とその属性を簡単且つ正確に決定し、操作側装置への画像データ転送の処理性能と圧縮性能を向上させることができる。

また、この発明によれば、被操作側装置からの画面更新イベントに含まれる画面更新領域の枠（更新ブロック）を、受信した順番で集合演算することにより、操作側装置へ送信する画像データを比較的簡易な処理で特定し、送信することができる。

本実施の形態にかかる中継装置によれば、画面更新イベントに対応して未送信ブロックリストを更新するため、未送信ブロックに含まれる矩形ブロックの属性は、元となった更新ブロックの属性が承継されたものとなる。

各矩形ブロックの属性は元となった更新ブロックの属性に依存するため、複数の属性が混在することはない。その結果各矩形ブロックに適した圧縮アルゴリズムを選択でき、圧縮処理及び圧縮されたデータの転送速度を向上させることが可能となる。

上記中継装置において、第１のリスト生成手段は、更新ブロックを受信した順番で和集合演算することにより、互いに重さならない矩形ブロックを含む新しい未送信ブロックリストを生成し、互いに重さならない矩形ブロックのカラー情報の属性を、そのブロックの元となった更新ブロックのカラー情報の属性から承継させることを特徴としてもよい。

また、上記の中継装置において、第２のリスト生成手段は、画面更新要求に含まれる更新要求ブロックと未送信ブロックリストに含まれるブロックである未送信ブロックとを積集合演算し、互いに重さならないブロックを生成し、この互いに重ならないブロックを含むリストである要送信ブロックリストを生成し、互いに重さならないブロックのカラー情報の属性を、そのブロックの元となった未送信ブロックリストに含まれるブロックのカラー情報の属性から承継させ、更新要求ブロックと未送信ブロックリストに含まれるブロックとを差集合演算して、新たな未送信ブロックリストを生成することを特徴としてもよい。

この中継装置よれば、集合演算により、画面変化部をどのようなブロックに分割するかを容易に決定することができ、且つ各ブロックの属性は混在のない単一の属性となるため、各ブロックに適した圧縮アルゴリズムを選択でき、圧縮処理及び圧縮されたデータの転送速度を向上させることが可能となる。

また、上記中継装置において、データ送信手段は、要送信ブロックリストに含まれるブロックの属性に応じて圧縮アルゴリズムを選択して、カラー情報を圧縮することを特徴としてもよい。

かかる中継方法によれば、画面更新イベントに対応して未送信ブロックリストを更新するため、未送信ブロックに含まれるブロックの属性は、元となった更新ブロックの属性が承継されたものとなる。

また、本中継方法において、各ブロックの属性は元となった更新ブロックの属性に依存するため、複数の属性が同一のブロックに混在することはない。その結果各ブロックに適した圧縮アルゴリズムを選択でき、圧縮処理及び圧縮されたデータの転送速度を向上させることが可能となる。

上記中継方法において、未送信ブロックリスト及び要送信ブロックリストに含まれるブロックの属性は、その元となる更新ブロックの属性を承継したものとすることをさらなる特徴としてもよい。

かかる中継方法によれば、各ブロックの属性は混在のない単一の属性となるため、各ブロックに適した圧縮アルゴリズムを選択でき、圧縮処理及び圧縮されたデータの転送速度を向上させることが可能となる。

［６．変形例、その他］
（１）上記の実施の形態では、中継装置３は通信網４からみて被操作側装置２側に設けられるものとして説明したが、通信網４からみて操作側装置５側に設ける構成、すなわち操作側装置５と通信網４との間に中継装置３を設ける構成としても構わない。或いは、中継装置３は通信網４に接続されたサーバであって、被操作側装置２と中継装置３であるサーバも通信網４を解して通信を行う構成としても本発明は成立する。

（２）上記の実施の形態では、中継装置３は、被操作側装置２、及び操作側装置５とは別個独立の装置として説明したが、中継装置３は被操作側装置２若しくは操作側装置５に組み込まれるユニットであっても構わない。例えば、中継装置３として機能する通信ボードであって、被操作側装置２であるコンピュータに組み込まれる構成であっても、本発明として成立する。

本発明にかかる遠隔操作システムの構成例を示すブロック図 被操作側装置の構成例を示すブロック図 中継装置の構成例を示すブロック図 中継装置の構成例を示す機能ブロック図 操作側装置の構成例を示すブロック図 遠隔操作システムの動作例を示すシーケンス図 画面更新処理の一例を示すフローチャート ビューワ更新データ生成、送信処理の一例を示すフローチャート イベントおよび更新要求のタイミング例を示す図 更新ブロック及び更新要求ブロックの位置関係を示す図 第１の更新ブロックが発生した状態を示す図 図１１の状態の後、第２の更新ブロックが発生した状態を示す図 図１２の状態の後、第３の更新ブロックが発生した状態を示す図 図１３の状態の後、第４の更新ブロックが発生した状態を示す図 図１１の状態の後、更新要求ブロックが発生した状態を示す図 更新要求ブロックに対応する、操作側装置に表示される画面例を示す図 未送信ブロックリストの内容の例を示す図 未送信ブロックリスト、要送信ブロックリストの内容の変遷を示す図 本発明における画面変化部（更新ブロック）のブロックへの分割例を示す図 従来技術における画面変化部のブロックへの分割例を示す図

符号の説明

１ … 遠隔操作システム
２ … 被操作側装置
３ … 中継装置
４ … 通信網
５ … 操作側装置
４０１ … 画面更新モジュール
４０２ … 送信データ収集モジュール
４０３ … データ送信モジュール

Claims (5)

1. 被操作側装置の画面表示内容を操作側装置に表示させるため、操作側装置の表示領域に表示させる画像データを被操作側装置から受信し、この画像データを操作側装置へ送信する中継装置であって、
   被操作側装置の画面表示内容のうち、新たに表示された表示要素の表示領域及び画像データに対応付けされた情報である画像ブロックを含む画面更新イベント通知を受信し、この画面更新イベント通知に基づいて、被操作側装置の画面表示内容のうち操作側装置に送信していない画像ブロックを示す未送信ブロックリストを生成する第１のリスト生成手段と、
   操作側装置から、操作側装置において画面表示される領域に相当する更新要求ブロックを含む画面更新要求を受信すると、前記未送信ブロックリスト及び前記更新要求ブロックに基づいて、未送信ブロックリストに示された画像ブロックのうち操作側装置に送信する画像ブロックを示す要送信ブロックリストを生成する第２のリスト生成手段と、
   要送信ブロックリストに基づいて、要送信ブロックリストに含まれる画像ブロックに対応する画像データを操作側装置へ送信するとともに、前記更新要求ブロックと未送信ブロックリストとに基づいて、新たな未送信ブロックリストを生成させるデータ送信手段と
   を有し、
   前記第１のリスト生成手段は、被操作側装置の画面表示内容のうち操作側装置に送信していない画像ブロックを示す未送信ブロックリストに含まれる画像ブロックと受信した画面更新イベントに含まれる画像ブロックとを、新たに受信した画像ブロックをすでに受信している他の画像ブロックの上になるように重ねて、重なった結果得られる画像データから互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックで構成される新しい未送信ブロックリストを生成し、前記互いに重ならない画像ブロックの画像データの属性を、その画像ブロックの元となった画像ブロックの画像データの属性から承継させることを特徴とする中継装置。
2. 前記第２のリスト生成手段は、画面更新要求に含まれる更新要求ブロックと前記未送信ブロックリストに含まれる画像ブロックとの互いに重なる領域から、互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックで構成される要送信ブロックリストを生成し、互いに重ならない画像ブロックの画像データの属性をその画像ブロックの元となった、未送信ブロックリストに含まれる画像ブロックの画像データの属性から承継させるとともに、
   前記更新要求ブロックと前記未送信ブロックリストに含まれる画像ブロックとの重なった領域を除いた残りの領域から、互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックで構成される新たな未送信ブロックリストを生成することを特徴とする請求項1に記載の中継装置。
3. 前記データ送信手段は、前記要送信ブロックリストに含まれる画像ブロックの画像データの属性に応じて圧縮アルゴリズムを選択して、その画像データを圧縮することを特徴とする請求項1又は２に記載の中継装置。
4. 被操作側装置の画面表示内容を操作側装置に表示させるため、操作側装置の表示領域に表示させる画像データを被操作側装置から受信し、この画像データを操作側装置へ送信する中継方法であって、
   被操作側装置の画面表示内容のうち、新たに表示された表示要素の表示領域及び画像データに対応付けされた情報である画像ブロックを含む画面更新イベント通知を受信した場合、被操作側装置の画面表示内容のうち操作側装置に送信していない画像ブロックを示す未送信ブロックリストに含まれる画像ブロックと受信した画面更新イベントに含まれる画像ブロックとを、新たに受信した画像ブロックをすでに受信している他の画像ブロックの上に重ねて、この重ね合わせた結果得られる画像データから、互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックで構成される新たな未送信ブロックリストを生成するステップと、
   操作側装置から、操作側装置において画面表示される領域に相当する更新要求ブロックを含む画面更新要求を受信すると、前記未送信ブロックリストに含まれる画像ブロックと前記更新要求ブロックとの互いに重なる領域を切り出し、前記切り出した領域から互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックを示す要送信ブロックリストを生成するステップと、
   前記要送信ブロックリストに示された画像ブロックの画像データの属性に応じた圧縮アルゴリズムを選択し、選択した圧縮アルゴリズムを用いてその画像データを圧縮し、操作側装置に送信するステップと、
   前記未送信ブロックリストに含まれる画像ブロックと前記要送信ブロックリストに含まれる画像ブロックとの重なった領域を切り出した残りの領域から、互いに重ならない画像ブロックを生成し、この互いに重ならない画像ブロックで構成される新たな未送信ブロックリストを更新するステップと
   を有することを特徴とする中継方法。
5. 前記未送信ブロックリスト及び要送信ブロックリストに含まれるブロックの属性は、その元となる更新ブロックの属性を承継したものであることを特徴とする、請求項４に記載の中継方法。

Images