WO2005041021A1 - 遠隔操作システム及び遠隔操作方法 - Google Patents

Abstract

本発明は、コードレス無線通信等によって被制御側システム(例えばパーソナルコンピュータ)を遠隔操作する遠隔操作システムであって、小型表示器を備えた制御側システムのユーザの操作により画面表示状態変更要求の通知が被制御側システムヘ送られた場合、制御側システムからの表示エリアデータに基づいて被制御側表示画面上の対象ウィンドウの画像データを変更し、その変更した変更画像データを制御側システムヘ送信する。例えば表示画面のフォアグランドウィンドウを切り替えた際、表示対象ウィンドウのサイズが変化し、または表示位置が移動した場合であっても、制御側システムの表示画面の表示エリアにフォアグランドウィンドウの表示位置を合わせて、切り替えたフォアグランドウィンドウを遠隔操作端末装置の表示画面に表示させる。

Description

明 細 書 遠隔操作システム及ぴ遠隔操作方法 く技術分野 >

本発明は、 制御側システムによつて被制御側システムを遠隔操作する遠隔操作 システム及ぴ遠隔操作方法に関する。

<背景技術 >

近年、 コンピュータや PDA (P e r s o n a l D i g i t a l A s s i s t a n t) といった情報端末の普及に伴い、 あるコンピュータから成る被制御 側システムを、 この被制御側システムのコンピュータとは異なるコンピュータや P D Aといつた情報端末から成る制御側システムによつて遠隔操作するための遠 隔操作システムが提供されている。

このような遠隔操作システムにおいては、 制御側システムのユーザが行った遠 隔操作に関するユーザ操作データを制御側システムが被制御側システムへ送信し 、 被制御側システムの表示画面の画像データを制御側システムが被制御側システ ムから受信することにより、 制御側システムによる被制御側システムの遠隔操作 を実現している。

しかしながら、 制御側システムの表示画面の画面サイズが被制御側システムの 表示画面の画面サイズより小さい場合は、 制御側システムの表示画面には被制御 側システムの表示画面の一部分しか表示されないため、 制御側システムにおいて 画面スクロールを頻繁に行う必要が生じ、 制御側システムによる被制御側システ ムの遠隔操作を円滑に行うことができない。 従って、 従来の遠隔操作システムに は、 制御側システムの表示画面の画面サイズが被制御側システムの表示画面の画 面サイズより小さい場合に、 制御側システムによって被制御側システムを遠隔操 作する際の操作性が悪いという問題点がある。

<発明の開示〉 本発明は、 制御側システムの表示画面の画面サイズが被制御側システムの表示 画面の画面サイズより小さい場合であつても、 制御側システムによる被制御側シ ステムの遠隔操作の操作性を向上させることができる遠隔操作システム及び遠隔 操作方法並びにその方法の実行に使用される記録媒体を提供するものである。す なわち、 電気通信回線 （コードレス無線通信， ブルートゥース等) を介して被制 御側システム （例えばパーソナルコンピュータ） を遠隔操作する遠隔操作システ ムであって、 制御側システム （小型表示器を備えた P D A等の遠隔操作端末） は 、 制御側表示画面の表示ェリアに関する表示ェリァデータを被制御側システムへ 送信するものであり、 被制御側システムは、 表示エリアデータを画像処理データ 格納部に格納すると共に、 ユーザの操作により制御側システムからの画面表示状 態変更要求の通知を受信した場合に、 表示状態変更処理部が前記表示ェリアデ一 タに基づいて被制御側表示画面の画像データを変更し、 その変更した変更画像デ 一タを制御側システムへ送信するものである。 <図面の簡単な説明 >

図 1は本発明の実施の形態 1の遠隔操作システムにおける被制御側システムの 機能プロック図である。

図 2は本発明の実施の形態 1の遠隔操作システムにおける被制御側システムの 装置ブロック図である。

図 3は本発明の実施の形態 1の遠隔操作システムにおける制御側システムの機 能ブロック図である。

図 4は本発明の実施の形態 1の遠隔操作システムにおける制御側システムの装 置プロック図である。

図 5は本発明の実施の形態 1の遠隔操作システムにおける制御側システムのュ 一ザ操作通知処理の動作を示すフローチャートである。

図 6は本発明の実施の形態 1の遠隔操作システムにおける被制御側システムの 表示状態変更処理の動作を示すフローチャートである。

図 7は本発明の実施の形態 2の遠隔操作システムにおける被制御側システムの 通常表示への表示状態変更処理の動作を示すフローチャートである。 図 8は本発明の実施 形態 3の遠隔操作システムにおける被制御側システムの 受信データ処理の動作を示すフローチャートである。

図 9は本発明の実施の形態 4の遠隔操作システムにおける制御側システムのュ 一ザ操作処理の動作を示すフローチヤ一トである。

図 1 0は本発明の実施の形態 5の遠隔操作システムにおける被制御側システム の受信データ処理の動作を示すフローチャートである。

図 1 1は本発明の実施の形態 6の遠隔操作システムにおける被制御側システム の遠隔操作開始処理の動作を示すフローチャートである。

図 1 2は本発明の実施の形態 7の遠隔操作システムにおける被制御側システム の画像データ通知処理の動作を示すフローチヤ一トである。

図 1 3は本発明の実施の形態 8の遠隔操作システムにおける制御側システムの ユーザ操作通知処理の動作を示すフローチャートである。

図 1 4は本発明の実施の形態 8の遠隔操作システムにおける被制御側システム の表示状態変更処理の動作を示すフローチャートである。

図 1 5は本発明の実施の形態 9の遠隔操作システムにおける被制御側システム のウィンドウ切替要求対応処理の動作を示すフローチヤ一トである。

図 1 6は本発明の実施の形態 9の遠隔操作システムにおける被制御側システム の切替対象ウィンドウ選択操作対応処理の動作を示すフローチャートである。 図 1 7は本発明の実施の形態 1 0の遠隔操作システムにおける被制御側システ ムの表示状態変更処理の動作を示すフローチャートである。

図 1 8は遠隔操作端末装置においてユーザにより指示が入力された場合にサー バコンピュータに対し表示エリア変更要求を送信する動作を表すフローチヤ一ト である。

図 1 9はサーバコンピュータが遠隔操作端末装置から変更要求等のデータを受 信したときの動作を表すフローチャートである。

図 2 0は実施の形態 1 1に係る遠隔操作システムにおいて表示エリアの変更を 行った場合の変更前後における表示装置の画面上に表示される画像の一例を表す 図である。 図 2 1は本発明の実施の形態 1 2に係る遠隔操作方法を表すフローチャートで ある。

図 2 2は実施の形態 1 2に係る遠隔操作システムにおいて表示エリアの変更を 行った場合の変更前後における表示装置の画面上に表示される画像の一例を表す 図である。

図 2 3は実施の形態 1 3に係る遠隔操作システムにおいて表示エリアの変更を 行った場合の変更前後における表示装置の画面上に表示される画像の一例を表す 図である。

図 2 4は本発明の実施の形態 1 4に係る遠隔操作方法を表すフローチャートで ある。

<発明を実施するための最良の形態 >

以下、 本発明の実施の形態について図面を参照しながら説明する。

(実施の形態 1 )

図 1は、 本発明の実施の形態 1の遠隔操作システムにおける被制御側システム の機能プロック図であり、 被制御側システムとは具体的には例えばパーソナルコ ンピュータである。この被制御側システムとしてのパーソナルコンピュータは、こ のパーソナルコンピュータを利用するユーザが操作情報を入力する入力手段 1と

、 インターネヅトや無線等の電気通信回線を介して制御側システムとの間でデ - タの送受信を行う通信処理部 2と、 表示手段 8と、 表示手段 8に表示するための 画像データを格納する表示画像記憶手段 1 1を備えている。 また、 制御側システ ムから受信した受信データの解析を行う受信データ解析部 3と、 送信データを作 成する送信データ作成部 4と、 表示手段 8の被制御側表示画面に表示されている 画像データを取得して変更する表示状態変更処理部 5を備えている。 また、 表示 状態変更処理部 5によって変更された画像データの処理に関する処理データを格 納する画像処理データ格納部 6と、 設定された表示状態設定データを格納する設 定データ格納部 7と、 パーソナルコンピュータを制御する被制御側制御部 9を備 えている。 この被制御側制御部 9は、 通信処理部²、 受信データ解析部 3、 送信データ作 成部 4、 表示状態変更処理部 5の各機能、 および機能間の動作、 並びに、 画像処 理データ格納部 6や設定データ格納部 7に格納されたデータの流れ、 ユーザが入 力手段 1から入力した操作情報、 表示手段 8が表示する画像データ等を制御して いる。

図 2は、 本発明の実施の形態 1の遠隔操作システムにおけるパーソナルコンビ ユータの装置ブロック図である。 図 2に示すように、 このパーソナルコンビユー タは、 キーボードやマウス等の入力装置 21、 プログラムを実行する中央処理演 算装置 （以下 「CPU」 という） 22、 プログラムが格納された記録媒体として のリード 'オンリー .メモリ （以下 「ROM」 とレ、う） 23、 データを一時的に 格納するランダム 'アクセス ' メモリ （以下 「RAM」 という） 24、 液晶パネ ル等の被制御側表示画面を有する液晶表示装置等の表示装置 25、 CD-ROM 等の記録媒体 27からデータを読み込むディスク · ドライブ 26から構成されて いる。

従って、 図 1に示す入力手段 1は入力装置 21により、 画像処理データ格納部 6と設定データ格納部 7は RAM 24により、 通信処理部 2と受信データ解析部 3と送信データ作成部 4と表示状態変更処理部 5と被制御側制御部 9は、 CPU 22が ROM 23及び RAM 24とデータのやりとりを行いながら ROM 23に 記憶ざれているプログラムを実行することにより、 表 手段 8'は表示装置 2 —に より実現されている。

なお、 本実施の形態では、 C PU 22が ROM23に記憶されたプログラムを 実行する形態が示されているが、 コンピュータで読み取り可能な記録媒体 27に 記録されたプログラムをディスク ■ ドライブ 26から読み込み、 RAM24上に 展開した後、 CPU22が実行する形態であっても構わない。 このような形態を 取ることにより、 本発明を汎用コンピュータで容易に実現することができる。 図 3は、 本発明の実施の形態 1の遠隔操作システムにおける制御側システムの 機能ブロック図である。この制御側システムとは具体的には例えば P D A等の遠 隔操作端末装置である。本発明の実施の形態の制御側システムとしての遠隔操作 端末装置は、 図 3に示すように、 この遠隔操作端末装置を利用するユーザが操作 情報を入力するための入力手段 3 1と、 電気通信回線を介してパーソナルコンビ ユータとの間でデータの送受信を行う通信処理部 3 2と、 パーソナルコンビユー タから受信した受信データの解析を行う受信データ解析部 3 3と、 送信データを 作成する送信データ作成部 3 4とを備えている。 また、 制御側表示画面を有する 表示手段 3 8と、 パーソナルコンピュータから受信した画像データの表示に関す る処理を制御し前記画像データを表示手段 3 8の制御側表示画面に表示させる画 像データ表示制御部 3 5、 パーソナルコンピュータから受信した画像データを格 納する画像データ格納部 3 6も備えている。 更に、 ユーザが設定した表示状態設 定データを格納する設定データ格納部 3 7、 遠隔操作端末装置を制御する制御側 制御部 3 9も備えている。 この制御側制御部 3 9は、 通信処理部 3 2、 受信デー タ解析部 3 3、 送信データ作成部 3 4、 画像データ表示制御部 3 5の各機能、 お よび機能間の動作、 並びに、 画像データ格納部 3 6、 設定データ格納部 3 7に格 納されたデータの流れ、 ユーザが入力手段 3 1から入力した操作情報、 表示手段 3 8が表示する画像データ等を制御している。

図 4は、 本発明の実施の形態 1の遠隔操作システムにおける遠隔操作端末装置 の装置ブロック図である。 図 4に示すように、 遠隔操作端末装置は、 キーボード やマウス等の入力装置 5 1、 プログラムを実行する C P U 5 2、 プログラムが格 納された記録媒体としての R O M 5 3、 データを一時的に格納する R AM 5 4、 液晶パネル等の制御側表示画面を有する液晶表示装置等の表-示装置 5— 5 C D— R OM等の記録媒体 5 7からデータを読み込むディスク · ドライブ 5 6から構成 されている。

従って、 図 3に示す入力手段 3 1は入力装置 5 1により、 画像データ格納部 3 6と設定データ格納部 3 7は R AM 5 4により、 通信処理部 3 2と受信データ解 析部 3 3と送信データ作成部 3 4と画像データ表示制御部 3 5と制御側制御部 3 9とは、 C P U 5 2が R OM 5 3及び R AM 5 4とデータのやりとりを行いなが ら R OM 5 3に記憶されているプログラムを実行することにより、 表示手段 3 8 は表示装置 5 5により実現されている。

なお、 本実施の形態では、 C P U 5 2が R OM 5 3に記憶されたプログラムを 実行する形態が示されているが、 コンピュータで読み取り可能な記録媒体 5 7に 記録されたプログラムをディスク ' ドライブ 5 6から読み込み、 R AM 5 4上に 展開した後、 C P U 5 2が実行する形態であっても構わない。 このような形態を 取ることにより、 本発明を汎用コンピュータで容易に実現することができる。 上記のように構成された遠隔操作システムについて、 以下にその動作を説明す る。 図 5は、 本発明の実施の形態 1の遠隔操作システムにおける遠隔操作端末装 置のユーザ操作通知処理の動作を示すフローチヤ一トである。

遠隔操作端末装置の入力手段 3 1によつてユーザが操作データを入力すると、 制御側制御部 3 9は、 図 5に示すように、 ステップ B 1では操作データを取得す る。 ステップ B 2では、 ステップ B 1で取得した操作データが、 遠隔操作端末装 置固有の操作に関するデータか否かを判定する。 遠隔操作端末装置固有の操作に 関するデータである場合はステップ B 4に進み、 操作データが遠隔操作端末装置 固有の操作に関するデータではなく、 パーソナルコンピュータの操作に関するデ ータである場合はステップ B 3に進む。 ステップ B 3では、 送信データ作成部 3 4によって、 ユーザの操作に関する通知を作成する。 ステップ B 4では、 操作デ ータが、 表示手段 3 8の制御側表示画面における表示状態の変更を要求する表示 状態変更要求操作に関するデータであるか否かを判定する。 表示状態変更要求操 作に関するデータである場合はステップ B 5に進み、 表示状態変更要求操作に関 するデータではない場合は、 制御側制御部 3 9は操作データに応じた処理を行う 一。 なお、 この処理に関しては、 本発明とは直接の関係がないため説明を省略する 。 制御側制御部 3 9は、 ステップ B 5では、 送信データ作成部 3 4によって表示 状態変更要求に関する通知を作成する。 ステップ B 6では、 通信処理部 3 2によ つて、 ステップ B 3またはステップ B 5で作成した通知をパーソナルコンビユー タへ送信する。

パーソナルコンピュータでは、 通信処理部 2が受信した通知を受信データ解析 .部 3によって解析し、 受信した通知が、 表示手段 8の被制御側表示画面に表示さ れている画像データの変更を指示する通知であるか否かを判定する。 そして、 受 信した通知が、 ステップ B 5で作成した表示状態変更要求の通知である場合、 も しくは、 ステップ B 3で作成したパーソナルコンピュータ操作の通知であって、 表示手段 8の被制御側表示画面に表示されている画像データの変更を指示するも のである場合は、 以下に説明する表示状態変更処理を行う。 なお、 この表示状態 変更処理を行うに際し、 遠隔操作端末装置は、 表示手段 3 8の制御側表示画面の 表示エリアに関する表示エリアデータを予めパーソナルコンピュータへ送信し、 パーソナルコンピュータは、 受信した前記表示エリアデータを画像処理データ格 納部 6に格納しているものとする。

図 6は、 本発明の実施の形態 1の遠隔操作システムにおけるパーソナルコンビ ユータの表示状態変更処理の動作を示すフローチャートである。 表示状態変更処 理部 5は、 図 6に示すように、 ステップ A 1では、 表示手段 8の被制御側表示画 面の最前面に表示されているフォアグランドウィンドウの画像データを取得し、 ステップ A 2では、 画像処理データ格納部 6に格納されている前記表示エリアデ ータに基づいてフォアグランドウィンドウの変更サイズを決定する。

この決定に際しては、 例えば、

(1) フォアグランドウィンドウの大きさを表示手段 3 8の制御側表示画面の大き さに変更する変更方法、

(2) フォアグランドウィンドウの横方向の長さ （幅） のみを制御側表示画面の横 方向の長さ （幅） に変更する変更方法、

(3) フォアグランドウィンドウの縦方向の長さ （高さ） のみを制御側表示画面の 縦方向の長さ （高さ） に変更する変更方法、

を取ることができ 。 あるいは、

(4) フォアグランドウィンドウの大きさが表示手段 3 8の制御側表示画面の大き さより大きい場合にのみフォアグランドウィンドウの大きさを制御側表示画面の 大きさに変更する変更方法

'を採用することもできる。 この変更方法を採用した場合には、 表示状態変更処理 部 5は、 フォアグランドウィンドウの大きさが表示手段 3 8の制御側表示画面の 大きさより大きいか否かを判定し、 フォアグランドウィンドウの大きさが制御側 表示画面の大きさより大きい場合にのみ、 フォアグランドウィンドウの変更サイ ズを決定する。

また、 以上説明した各種変更方法の中から、 ユーザが選択した変更方法を採用 することもできる。 この場合には、 遠隔操作端末装置は、 ユーザが画像データの 変更を指示するための少なくとも 2種類の選択肢をユーザに提供する。 遠隔操作 端末装置は、 その 2種類の選択肢の中からユーザが選択した選択肢に基づく通知 をパーソナルコンピュータへ送信し、 パーソナルコンピュータの表示状態変更処 理部 5は受信した通知に対応する変更方法に従って表示範囲を切り替える。 図 6に戻って表示状態変更処理部 5は、 ステップ A 3では、 フォアグランドゥ インドウをステップ A 2で決定したサイズに変更し、 その変更したウィンドウを 特定する情報や変更したサイズ等の、 変更に際して行った処理を明確にする変更 情報を画像処理データ格納部 6に格納する。 ステップ A 4では、 画像処理データ 格納部 6に格納した表示ェリァデータを参照して表示手段 3 8の制御側表示画面 の表示位置と変更後のフォアグランドウィンドウの表示位置とを整合させ、 その 整合に際して行った処理を明確にする変更情報を画像処理データ格納部 6に格納 する。 表示手段 3 8の制御側表示画面の表示位置と変更後のフォアグランドウイ ンドウの表示位置とを整合させる際には、 表示ェリアデータから得られる制御側 表示画面の表示ェリァを変更後のフオアグランドウィンドウの表示位置に移動さ せても良く、 変更後のフォアグランドウィンドウの表示位置を、 表示エリアデ一 タから得られる制御側表示画面の表示ェリア内に移動させても良い。

ステップ A 5では、 遠隔操作端末装置へ送信するための画像データに関する通 知を送信データ作成部 4によって作成する。 このとき、 遠隔操作端末装置へ制御 側表示画面の表示エリア以上の画像データを送信する場合には、 送信データ作成 部 4は、 制御側表示画面の表示位置と変更後のフオアグランドウィンドウの表示 位置とを整合させるための整合データに関する通知も作成する。 なお、 整合デー タとは、 変更後のフォアグランドウィンドウの位置に関するデータ、 制御側表示 画面の表示位置に関するデータ等のことであり、 被制御側制御部 9は、 パーソナ ルコンピュータから遠隔操作端末装置へ制御側表示画面の表示ェリァ以上の画面 サイズの画像データを送信している場合には、 送信データ作成部 4により画像処 理データ格納部 6のデータを参照して前記整合データを作成する。 ステップ A 6 では、 ステップ A 5で作成した通知を通信処理部 2によつて遠隔操作端末装置へ 送信する。 (実施の形態 2 )

本発明の実施の形態 2について以下に説明する。 なお、 実施の形態 2における 遠隔操作システムの機能プロック図ならびに装置プロック図は本発明の実施の形 態 1と同様であるため、 実施の形態 2についての説明は、 図 1〜図 4に示す各種 ブロック図を用いて行う。

本発明の実施の形態 2の遠隔操作システムでは、 遠隔操作端末装置においてュ 一ザが入力した操作データは、 遠隔操作端末装置の送信データ作成部 3 4によつ て所定の通知データに変換され、 遠隔操作端末装置からパーソナルコンピュータ へ送信される。 パーソナルコンピュータでは、 通知データを通信処理部 2によつ て受信し、 受信データ解析部 3において解析した後、 通知データの内容が通常表 示要求の場合には表示状態変更処理部 5において表示状態変更処理を行う。 図 7は、 本発明の実施の形態 2の遠隔操作システムにおけるパーソナルコンビ ユータの通常表示への表示状態変更処理の動作を示すフローチャートである。 表 示状態変更処理部 5は、 ステップ C 1では、 画像データの表示状態変更時に行つ た処理を特定する変更情報を画像処理データ格納部 6に取りに行く。 ステップ C 2では、 画像処理データ格納部 6に変更情報が存在するか否かを判定する。 変更 情報が存在しない場合は、 表示状態変更は行わず処理を終了する。 変更情報が存 在する場合はステップ C 3に進む。

ステップ C 3では、 フォァグランドウィンドウを取得し、 ステツプ C 4で-は、 フォアグランドウィンドウを通常状態に復帰させる変更処理内容を決定する。 ス テツプ C 5では、 ステップ C 4で決定した変更処理を実施し、 画像処理データ格 納部 6の変更情報及ぴ表示ェリァデータを更新する。 ステップ C 6では、 送信デ 一タ作成部 4によって、 遠隔操作端末装置へ送信するための画像データに関する 通知を作成する。 ステップ C 7では、 通信処理部 2によって、 ステップ C 6で作 成した通知を遠隔操作端末装置へ送信する。

(実施の形態 3 )

本発明の実施の形態 3について以下に説明する。 なお、 実施の形態 3における 遠隔操作システムの機能プロック図ならぴに装置プロック図は本発明の実施の形 態 1と同様であるため、 実施の形態 3についての説明は、 図 1〜図 4に示す各種 プロック図を用いて行う。

本発明の実施の形態 3の遠隔操作システムでは、 遠隔操作端末装置においてュ 一ザが入力した操作データは、 遠隔操作端末装置の送信データ作成部 3 4によつ て所定の通知データに変換され、 通信処理部 3 2からパーソナルコンピュータへ 送信される。

図 8は、 本発明の実施の形態 3の遠隔操作システムにおけるパーソナルコンビ ユータの受信データ処理の動作を示すフローチヤ一トである。 パーソナルコンビ ユータは、 ステップ D 1では、 通信処理部 2によって通知データを受信する。 ス テツプ D 2では、 受信データ解析部 3において通知データの解析を行い、 必要に 応じて、 ユーザが入力した操作データからユーザ要求を取得する。

ステップ D 3では、 受信データ解析部 3は、 ステップ D 2での解析によりユー ザ要求が表示エリア変更要求であるか否かを判定する。 ユーザ要求が表示エリア 変更要求である場合はステップ D 4に進む。 ここで、 表示エリア変更とは、 パー ソナルコンピュータの画像データにおける制御側表示画面に表示する領域の位置 を変更することである。 ユーザ要求が表示エリア変更要求ではない場合は、 個々 の要求に対応した処理を行う。 しかし、 この処理については、 本発明とは直接関 係がないため説明を省略する。

ステップ D 4では、 表—示状態変更処理部 5ば、 '画像処理データ格納部 6に格納 されている変更情報を確認し、 遠隔操作端末装置の制御側表示画面にフォアグラ ンドウィンドウの全画面が表示されているか否かを判定する。 制御側表示画面に フォアグランドウィンドウの全画面が表示されているフォアグランドウィンドウ 全画面表示状態の場合は、 フォアグランドウィンドウの表示ェリアを変更する表 示エリア変更処理は行わずに処理を終了する。 フォアグランドウィンドウ全画面 表示状態ではない場合は、 ステップ D 5に進み、 表示状態変更処理部 5によって 前記表示ェリァ変更処理を行う。

(実施の形態 4 ) 本発明の実施の形態 4について以下に説明する。 なお、 実施の形態 4における 遠隔操作システムの機能プロック図ならびに装置プロック図は本発明の実施の形 態 1と同様であるため、 実施の形態 4についての説明は、 図 1〜図 4に示す各種 ブロック図を用いて行う。

図 9は、 本発明の実施の形態 4の遠隔操作システムにおける遠隔操作端末装置 のユーザ操作処理の動作を示すフローチャートである。 遠隔操作端末装置の入力 手段 3 1によつてユーザが操作データを入力すると、 制御側制御部 3 9は、 ステ ップ E 1で操作データを取得す 。 ステップ E 2では、 操作データを解析し、 ュ 一ザの要求が表示手段 3 8の制御側表示画面に表示されている画像に対する表示 エリアの変更を要求する表示エリア変更要求であるか否かを判定する。

表示エリア変更要求である場合はステップ E 3に進む。 表示エリア変更要求で はない場合は、 個々の要求に対応した処理を制御側制御部 3 9が行う。 しかし、 この処理については、 本発明とは直接関係がないため説明を省略する。 ステップ E 3では、 画像データ表示制御部 3 5は、 表示手段 3 8の制御側表示画面におけ る現在の表示状態を確認し、 制御側表示画面にフォアグランドウィンドウの全画 面が表示されているか否かを判定する。 制御側表示画面にフォアグランドウィン ドウの全画面が表示されている全画面表示状態の場合は、 フォアグランドウィン ドウの表示エリアを変更する表示エリア変更処理は行わずに処理を終了する。 全 画面表示状態ではない場合は、ステップ E 4に進む。—このステップ E 4では、 画 像データ表示制御部 3 5は、 画像データ格納部 3 6に格納されている画像データ を用いて前記表示ェリァ変更処理を行う。

(実施の形態 5 )

本発明の実施の形態 5について以下に説明する。 なお、 実施の形態 5における 遠隔操作システムの機能プロック図ならびに装置プロック図は本発明の実施の形 態 1と同様であるため、 実施の形態 5についての説明は、 図 1〜図 4に示す各種 ブロック図を用いて行う。

本発明の実施の形態 5の遠隔操作システムでは、 遠隔操作端末装置においてュ 一ザが入力した操作データは、 遠隔操作端末装置の送信データ作成部 3 4によつ て所定の通知データに変換され、 遠隔操作端末装置の通信処理部 3 2からパーソ ナルコンピュータへ送信される。

図 1 0は、 本発明の実施の形態 5の遠隔操作システムにおけるパーソナルコン ピュータの受信データ処理の動作を示すフローチャートである。 パーソナルコン ピュータは、 ステップ F 1では、 通信処理部 2によって通知データを受信する。 ステップ F 2では、 受信データ解析部 3において通知データの解析を行い、 必要 に応じて、 ユーザが入力した操作データからユーザ操作の解析を行う。

ステップ F 3では、 被制御側制御部 9は、 ステップ F 2での解析によるユーザ 操作が、 フォアグランドウィンドウを移動させるフォアグランドウィンドウ移動 操作であるか否かを判定する。 ユーザ操作がフォアグランドウィンドウ移動操作 である場合はステップ F 4に進む。 ユーザ操作がフォアグランドウィンドウ移動 操作ではない場合は、 個々のユーザ操作に対応した処理を行う。 しカゝし、 この処 理については、 本発明とは直接関係がないため説明を省略する。

ステップ F 4では、 表示状態変更処理部 5は、 画像処理データ格納部 6に格納 されている変更情報を確認し、 遠隔操作端末装置の制御側表示画面にフォアグラ ンドウインドウの全画面が表示されて るか否かを判定する。 制御側表示画面に フォアグランドウィンドウの全画面が表示されているフォアグランドウィンドウ 全画面表示状態の場合は、 フォアグランドウィンドウを移動させる移動操作は行 わずに処理を終了する。 フォアグランドウインドウ全画面表示状態ではない場合 は、 ステップ F 5に進み、 被制御側制御部 9によってフォアグランドウィンドウ を移動させる。

(実施の形態 6 )

本発明の実施の形態 6について以下に説明する。 なお、 実施の形態 6における 遠隔操作システムの機能プロック図ならびに装置プロック図は本発明の実施の形 態 1と同様であるため、 実施の形態 6についての説明は、 図 1〜図 4に示す各種 ブロック図を用いて行う。

本発明の実施の形態 6における遠隔操作システムでは、 遠隔操作端末装置にお いてユーザがパーソナルコンピュータの遠隔操作を開始すると、 遠隔操作端末装 置は、 送信データ作成部 3 4によって操作開始の通知データを作成し、 この通知 データを通信処理部 3 2によってパーソナルコンピュータへ送信する。

フォアグランドウィンドウの制御側表示画面への表示方法に関する表示状態設 定データを遠隔操作端末装置によって管理している場合には、 遠隔操作端末装置 は、 送信データ作成部 3 4によって操作開始の通知データを作成する際に、 設定 データ格納部 3 7に格納されている表示状態設定データを参照し、 この表示状態 設定データも通知データとしてパーソナルコンピュータへ送信する。

図 1 1は、 本発明の実施の形態 6の遠隔操作システムにおけるパーソナルコン ピュータの遠隔操作開始処理の動作を示すフローチャートである。 パーソナルコ ンピュータは、 ステップ G 1では、 通信処理部 2によって遠隔操作端末装置から データを受信し、 ステップ G 2では、 受信したデータを受信データ解析部 3によ つて解析する。 ステップ G 3では、 表示状態変更処理部 5は、 遠隔操作端末装置 から受信した表示状態設定データを取得する。 なお、 このとき、 表示状態変更処 理部 5は、 表示方法に関する表示状態設定データをパーソナルコンピュータで管 理している場合には、 設定データ格納部 7に格納されている表示状態設定データ を取得する。

ここで、 表示方法としては、 例えば、 フォアグランドウィンドウの大きさを表 示手段 3 8の制御側表示画面の大きさに変更して表示する表示方法、 フォアグラ ンドウインドウの横方向の長さのみを制御側表示画面の横方向長さに変更して表 示する表示方法、 フォアグランドウィンドウの縦方向の長さのみを制御側表示画 面の縦方向長さに変更して表示する表示方法がある。 あるいは、 フォアグランド ウィンドウの大きさが制御側表示画面の大きさより大きい場合にのみフォアグラ ンドウィンドウの大きさを制御側表示画面の大きさに変更して表示する表示方法 、 フォアグランドウィンドウをそのまま制御側表示画面に表示する表示方法もあ る。

ステップ G 4では、 表示状態変更処理部 5は、 取得した表示状態設定データで 指定された表示方法が、 フォアグランドウィンドウをそのまま表示手段 3 8の制 御側表示画面に表示させる通常表示であるか否かを判定する。 通常表示の場合は ステップ G 9に進み、 通常表示ではない場合はステップ G 5に進む。 表示状態変 更処理部 5は、 ステップ G 5では、 フォアグランドウィンドウの画像データを取 得し、 ステップ G 6では、 設定されている表示方法に従い表示エリアデータに基 づいてフォアグランドウィンドウの変更サイズを決定する。

ステップ G 7では、 フォアグランドウィンドウサイズをステップ G 6で決定し たサイズに変更し、 その変更したウィンドウを特定する情報や変更したサイズ等 の、 変更に際して行った処理を明確にする変更情報を画像処理データ格納部 6に 格納する。 ステップ G 8では、 画像処理データ格納部 6に格納されている表示ェ リアデータを参照し、 表示手段 3 8の制御側表示画面の表示位置と変更後のフォ ァグランドウィンドウの表示位置とを整合させ、 その整合に際して行った処理に 合わせて画像処理データ格納部 6の変更情報を更新する。

ステップ G 9では、 パーソナルコンピュータは、 送信データ作成部 4によって 、 変更画像データに関する遠隔操作端末装置への通知データを作成する。 このと き、 遠隔操作端末装置へ制御側表示画面の表示ェリァ以上の画像データを送信す る場合には、 送信データ作成部 4は、 制御側表示画面の表示位置と変更後のフォ ァグランドウィンドウの表示位置とを整合させるための整合データに関する通知 データも作成する。 なお、 整合データに関しては実施の形態 1で既に説明してい るので、 実施の形態 1を参照のこと。 ステップ G 1 0では、 パーソナルコンビュ ータは、 ステップ G 9で作成した通知データを通信処理部 2によつて遠隔操作端 末装置へ送信する。

(実施の形態 7 )

本発明の実施の形態 7について以下に説明する。 なお、 実施の形態 7における 遠隔操作システムの機能プロック図ならびに装置プロック図は本発明の実施の形 態 1と同様であるため、 実施の形態 7についての説明は、 図 1〜図 4に示す各種 ブロック図を用いて行う。

なお、 本発明の実施の形態 7においては、 遠隔操作端末装置での入力手段 3 1 によるユーザ操作に従って遠隔操作端末装置からパーソナルコンピュータへ送信 された表示状態変更要求通知やユーザ操作情報通知で指定された表示状態、 又は

、 表示状態設定データが遠隔操作端末装置によって管理されている場合に制御側 の設定データ格納部 3 7に格納され、 遠隔操作端末装置からパーソナルコンビュ ータへ通知された表示状態設定データで指定された表示状態、 又は、 表示状態設 定データがパーソナルコンピュータによって管理されている場合に被制御側の設 定データ格納部 7に格納された表示状態設定データで指定された表示状態を、 表 示状態変更処理時に参照する表示モード情報として画像処理データ格納部 6に格 納する。

ここで、 表示モード情報とは、 パーソナルコンピュータの被制御側表示画面の 画像データを遠隔操作端末装置の制御側表示画面に表示する際の表示方法を規定 するものである。 なお、 表示方法としては、 例えば、 フォアグランドウィンドウ の大きさを表示手段 3 8の制御側表示画面の大きさに変更して表示する表示方法 、 フォアグランドウィンドウの横方向の長さのみを制御側表示画面の横方向長さ に変更して表示する表示方法、 フォアグランドウィンドウの縦方向の長さのみを 制御側表示画面の縦方向長さに変更して表示する表示方法が考えられる。 あるい は、 フォアグランドウィンドウの大きさが制御側表示画面の大きさより大きい場 合にのみフォアグランドウィンドウの大きさを制御側表示画面の大きさに変更し て表示する表示方法や、 フォアグランドウィンドウをそのまま制御側表示画面に 表示する表示方法も考えられる。

図 1 2は、 本発明の実施の形態 7の遠隔操作システムにおけるパーソナルコン ピュータの画像データ通知処理の動作を示すフローチャートでおる。―表示状態変 更処理部 5は、 ステップ H Iでは、 画像処理データ格納部 6に格納されている表 示モード情報を取得し、 この表示モード情報で指定された表示モードが、 フォア グランドウィンドウをそのまま制御側表示画面に表示する通常表示モードである か否かを判定する。 通常表示モードではない場合はステップ H 2に進み、 通常表 示モードである場合はステップ H 1 1に進む。

表示状態変更処理部 5は、 ステップ H 2では、 フォアグランドウィンドウとそ の情報を取得する。 すなわち、 現在のパーソナルコンピュータにおいてフォアグ ランドウィンドウであるウィンドウの表示位置、 ウィンドウサイズ等の情報を取 得する。 ステップ H 3では、 ステップ H 2で取得したフォアグランドウィンドウ が、 前回遠隔操作端末装置に画像データを送信した際のフォアグランドウィンド ゥと異なるか否かを判定する。 前回のフォアグランドウィンドウと異なる場合は ステップ H 4に進み、 前回のフォアグランドウィンドウと同じ場合はステップ H 1 3に進む。

ステップ H 4では、 画像処理データ格納部 6に変更情報を取りに行き、 ステツ プ H 5では、 画像処理データ格納部 6に変更情報が存在するか否かを判定する。 変更情報が存在しない場合はステップ H 9に進み、 変更情報が存在する場合はス テツプ H 6に進む。 ステップ H 6では、 前回遠隔操作端末装置へ送信した際のフ オアグランドウィンドウを取得し、 ステップ H 7では、 画像処理データ格納部 6 の変更情報に基づいて変更処理内容を決定する。

ステップ H 8では、 ステップ H 6で取得したウィンドウに対しステップ H 7で 決定した変更処理を実施し、 画像処理データ格納部 6の変更情報を更新する。 ス テツプ H 9では、 ステップ H 2で取得したフォアグランドウィンドウの表示状態 を、 ステップ H 1で取得した表示モード情報で指定された表示状態に変更するた め、 ステップ H 2で取得したフォアグランドウィンドウに対して行う変更処理を 決定する。 ステップ H I 0では、 ステップ H 9で決定した変更処理を実施し、 変 更したウィンドウを特定する情報や変更したサイズ等の、 フォアグランドウィン ドウの変更に際して行った処理を明確にする変更情報を画像処理データ格納部 6 に格納する。 ステップ H I 1では、 送信データ作成部 4によって、 画像データに 関する遠隔操作端末装置への通知データを作成する。 ステップ H I 2'で、 通信処 理部 2によって、 ステップ H I 1で作成した通知データを遠隔操作端末装置へ送 信する。

ステップ H 3からステップ H I 3に進んだ場合、 表示状態変更処理部 5は、 ス テツプ H I 3では、 画像処理データ格納部 6の変更情報を取得する。 ステップ H 1 4では、 ステップ H 1で取得した表示モード情報とステップ H 1 3で取得した 変更情報とから、 ステップ H 2で取得したフォアグランドウィンドウの表示状態 を、 ステップ H 1で取得した表示モード情報で指定された表示状態に変更するた めの、 ステップ H 2で取得したフォアグランドウィンドウに対して行う変更処理 を決定する。 ステップ H I 5では、 ステップ H 2で取得したフォアグランドウイ ンドウに対しステップ H 1 4で決定した変更処理を実施する。 なお、 上述したように、 本発明の実施の形態に関する説明は、 実施の形態 1 〜 7に分けて行っている。 しかし、 本発明の実施の形態としては、 実施の形態 1 〜 7を組み合わせて同時に用いる形態も勿論可能である。 (実施の形態 8 )

本実施の形態 8の遠隔操作システムにおける被制御側システムとしてのパーソ ナルコンピュータは、 図 1に示すように表示画面を有する表示手段 8と、 この表 示手段 8の表示画面に表示されている画面データを変更する表示状態変更処理部 5を備えている。

更に、 表示状態変更処理部 5によって行われた画面データの処理に関する処理 情報を格納する画面処理情報格納部 1 0を備え、 この制御部 9はこの画面処理情 報格納部 1 0に格納されたデータ、 ユーザが入力手段 1から入力した入力データ 、 表示手段 8の表示画面に表示される画面データ等のデータの流れも制御してい る。

また本実施の形態 8の制御側システムとしてのパーソナルコンピュータは図 2 に示すものと同様に、 キーボードやマウス等の入力装置 2 1、 プログラムを実行 する C P U 2 2、 プログラムが格納される R OM 2 3、 データを一時的に格納す る R AM 2 4、 表示装置 2 5、 ディスク · ドライブ 2 6を備えている。

一方、 本実施の形態 8の遠隔操作システムにおける制御側システ―ムとしての遠 隔操作端末装置は、 図 3に示すようにパーソナルコンピュータから受信した画面 データの表示に関する処理を制御する通知画面表示制御部 4 5と、 パーソナルコ ンピュータから受信した画面データを格納する通知画面データ格納部 4 6とを備 えている。 その他のブロックは実施の形態 1と同様であり、 説明を省略する。 遠隔操作システムの制御部 3 9は、 各機能間の動作を制御すると共に、 通知画 面データ格納部 4 6に格納されたデータ、 入力手段 3 1によって入力された操作 情報、 表示手段 3 8の表示画面に表示される画面データ等のデータの流れを制御 している。 また本実施の形態 8の遠隔操作システムのハードウエア構成は図 4に 示すものと同様である。 上記のように構成された遠隔操作システムについて、 以下にその動作を説明す る。 本発明の実施の形態 8の遠隔操作システムにおいては、 遠隔操作端末装置の ユーザが入力手段 3 1から入力したユーザ操作情報は、 遠隔操作端末装置の送信 データ作成部 3 4によって所定の形式の通知データに変換され、 遠隔操作端末装 置からパーソナルコンピュータへ送信される。 パーソナルコンピュータは、 送信 された通知データを通信処理部 2によって受信し、 受信データ解析部 3において 解析した後、 通知データの内容に従い必要に応じて、 表示手段 8の表示画面に表 示されている画面データに対し表示状態変更処理を表示状態変更処理部 5におい て行う。

図 1 3は、 本発明の実施の形態 8の遠隔操作システムにおける遠隔操作端末装 置のユーザ操作通知処理の動作を示すフローチャートである。 遠隔操作端末装置 の入力手段 3 1によってユーザが操作を行うと、 図 1 3に示すように、 遠隔操作 端末装置は、 ステップ B 1では、 ユーザ操作情報を制御部 3 9が取得し、 ステツ プ B 2では、 ステップ B 1で取得したユーザ操作情報が遠隔操作端末装置固有の 操作に関する情報であるか否かを制御部 3 9によって判定する。 ユーザ操作情報 が遠隔操作端末装置固有の操作に関する情報である場合にはステップ B 4へ進み 、 ユーザ操作情報が遠隔操作端末装置固有の操作に関する情報ではなく、 パーソ ナルコンピュータ操作に関する情報である場合にはステップ B 3へ進む。

ステップ B 3でば、 送信データ作成部 3 4においてユーザ操作情報通知を作成 する。 ステップ B 4では、 ユーザ操作情報が、 表示手段 3 8の表示画面に表示さ れているウィンドウの切り替えを要求する情報であるか否かを制御部 3 9によつ て判定する。 ウィンドウの切り替えを要求する情報である場合にはステップ B 5 へ進む。 ウィンドウの切り替えを要求する情報ではない場合には、 ユーザ操作情 報に応じた処理を行う。 なお、 この処理に関しては、 本発明とは直接の関係がな いため説明を省略する。 ステップ B 5では、 送信データ作成部 3 4により、 ウイ ンドウの切り替えを要求するウィンドウ切替要求通知を作成する。 ステップ B 6 では、 通信処理部 3 2によって、 ステップ B 3またはステップ B 5で作成した通 知をパーソナルコンピュータへ送信する。 パーソナルコンピュータは、 遠隔操作端末装置から送信された通知を通信処理 部 2によって受信し、 受信データ解析部 3によって解析する。 受信した通知が、 ステップ B 5で作成されたウィンドウ切替要求通知の場合、 もしくは、 ステップ ステップ B 3で作成されたユーザ操作情報通知であって、 表示手段 8の表示画面 に表示されているウィンドウの切り替えを要求する通知である場合には、 以下に 説明する表示状態変更処理を行う。 なお、 この表示状態変更処理を行うに際して は、 遠隔操作端末装置は、 表示手段 3 8の表示画面の表示エリアに関する表示ェ リァ情報を予めパーソナルコンピュータへ送信し、 パーソナルコンピュータは、 受信した前記表示ェリァ情報を画面処理情報格納部 1 0に格納しているものとす る。

図 1 4は、 本発明の実施の形態 8の遠隔操作システムにおけるパーソナルコン ピュータの表示状態変更処理の動作を示すフローチャートである。 図 1 4に示す ように、 パーソナルコンピュータの表示状態変更処理部 5は、 ステップ A 1では 、 起動中のウィンドウに関する情報を取得し、 ステップ A 2では、 切り替えるゥ インドウを決定する。 ステップ A 3では、 ステップ A 2で決定したウィンドウが 表示手段 8の表示画面の最前面となるようにウィンドウの切替処理を行う。 ステップ A 4では、 表示手段 8の表示画面の最前面に位置するフォアグランド ウィンドウの位置及びサイズに関するデータを取得する。 ステップ A 5では、 画 •面処理情報格納部 1： 0に格納されている表示手段 3 8'の表示画面の表示:^リアに 関する表示エリア情報に基づいて、 表示手段 3 8の表示画面の表示エリアとフォ ァグランドウィンドウとの表示位置を整合させる整合処理が必要か否かを判定す る。 整合処理が必要な場合にはステップ A 6へ進み、 整合処理が不要である場合 には A 7へ進む。

ステップ A 6では、 表示状態変更処理部 5は、 表示手段 3 8の表示画面の表示 エリアとフォアグランドウィンドウの表示位置とを整合させ、 表示状態変更処理 部 5によって行われた処理に関する処理情報を画面処理情報格納部 1 0に格納す る。 なお、 表示手段 3 8の表示画面の表示エリアとフォアグランドウィンドウの 表示位置とを整合させる際には、 表示エリア内にフォアグランドウィンドウが位 置するようにフォアグランドウィンドウの表示位置を表示エリア内へ移動させて も良く、 あるいは、 表示エリアをフォアグランドウィンドウの表示位置に移動さ せても良い。

ステップ A 7では、 パーソナルコンピュータは、 遠隔操作端末装置へ送信する 画面データ通知を送信データ生成部 4によって作成する。 このとき、 パーソナル コンピュータから遠隔操作端末装置へ送信する画面データの画面サイズが遠隔操 作端末装置の表示画面の表示エリアサイズより大きい場合には、 パーソナルコン ピュータの表示画面におけるフォアグランドウィンドウの表示位置を通知する位 置情報通知も作成する。 この位置情報通知は、 位置情報個別の通知データとして 作成することも、 位置情報を含む画面データ通知として作成することも可能であ る。 ステップ A 8では、 パーソナルコンピュータは、 ステップ A 7で作成した画 面データ通知及び位置情報通知を通信処理部 2によつて遠隔操作端末装置へ送信 する。

(実施の形態 9 )

本発明の実施の形態 9について以下に説明する。 なお、 実施の形態 9における 遠隔操作システムの機能プロック図ならぴに装置プロック図は本発明の実施の形 態 1と同様であるため、 実施の形態 9についての説明は、 図 1〜図 4に示す各種 ブロック図を用いて行う。

本発明の実施の形態— 9の遠隔操作システムにおいてほ、'遠隔操作端末装置のュ 一ザが入力手段 3 1から入力したユーザ操作情報は、 遠隔操作端末装置の送信デ ータ作成部 3 4によって所定の形式の通知データに変換され、 遠隔操作端末装置 からパーソナルコンピュータへ送信される。 パーソナルコンピュータは、 遠隔操 作端末装置から送信された通知データを通信処理部 2によって受信し、 受信デー タ解析部 3において解析する。

図 1 5は、 本発明の実施の形態 9の遠隔操作システムにおけるパーソナルコン ピュータのウィンドウ切替要求対応処理の動作を示すフローチャートである。 図 1 5に示すように、 パーソナルコンピュータは、 ステップ C 1では、 起動中のゥ インドウに関する情報を表示状態変更処理部 5によって取得し、 ステップ C 2で は、 切替対象ウィンドウ一覧を表示状態変更処理部 5によって表示手段 8に表示 させる。 ステップ C 3では、 遠隔操作端末装置へ送信する画面データ通知を送信 データ生成部 4によって作成し、 ステップ C 4では、 ステップ C 3で作成した画 面データ通知を通信処理部 2によつて遠隔操作端末装置へ送信する。

遠隔操作端末装置では、 送信された画面データを受信して表示手段 3 8の表示 画面に表示することにより、 ユーザに切替対象ウィンドウ一覧が示される。 切替 対象ウィンドゥー覽を見たユーザが入力手段 3 1から入力したユーザ操作情報は 、 遠隔操作端末装置の送信データ作成部 3 4によって所定の形式の通知データに 変換され、 遠隔操作端末装置からパーソナルコンピュータへ送信される。 パーソ ナルコンピュータは、 遠隔操作端末装置から送信された通知データを通信処理部 2によって受信し、 受信データ解析部 3において解析する。

図 1 6は、 本発明の実施の形態 9の遠隔操作システムにおけるパーソナルコン ピュータの切替対象ウィンドウ選択操作対応処理の動作を示すフローチャートで ある。 図 1 6に示すように、 パーソナルコンピュータの表示状態変更処理部 5は 、 ステップ D 1では、 切替対象ウィンドウ一覧を閉じる。 ステップ D 2では、 ュ 一ザ操作がウィンドウの切り替えをキヤンセルする操作であるか否かを判定する 。 ユーザ操作がウィンドウの切り替えをキャンセルする操作である場合はステツ プ D 4へ進み、 ウィンドウの切り替えをキャンセルする操作ではない場合はステ ップ D 3へ進む。

ステ^プ D' 3では、—表示状態変更処理部^は、 遠隔操作端末装置かちめ通知 従い、 パーソナルコンピュータの表示画面に表示されている最前面のウィンドウ を変更し、 その変更したウィンドウに対し必要に応じて表示ェリァ整合処理を行 う。 ステップ D 4では、 パーソナルコンピュータは、 遠隔操作端末装置へ送信す る画面データ通知を送信データ生成部 4によって作成し、 ステップ D 5では、 ス テツプ D 4で生成した画面データ通知を通信処理部 2によって遠隔操作端末装置 へ送信する。

(実施の形態 1 0 )

本発明の実施の形態 1 0について以下に説明する。 なお、 実施の形態 1 0にお ける遠隔操作システムの機能プロック図ならびに装置プロック図は本発明の実施 の形態 1と同様であるため、 実施の形態 1 0についての説明は、 図 1〜図 4に示 す各種プロック図を用いて行う。

本発明の実施の形態 1 0の遠隔操作システムにおいては、 遠隔操作端末装置の ユーザが入力手段 3 1から入力したユーザ操作情報は、 遠隔操作端末装置の送信 データ作成部 3 4によって所定の形式の通知データに変換され、 遠隔操作端末装 置からパーソナルコンピュータへ送信される。 パーソナルコンピュータは、 送信 された通知データを通信処理部 2によって受信し、 受信データ解析部 3において 解析した後、 通知データの内容に従い必要に応じて、 表示手段 8の表示画面に表 示されている画面データに対し表示状態変更処理を表示状態変更処理部 5におい て行う。

図 1 7は、 本発明の実施の形態 1 0の遠隔操作システムにおけるパーソナルコ ンピュータの表示状態変更処理の動作を示すフローチャートである。 表示状態変 更処理部 5は、 ステップ E 1では起動中のウィンドウに関する情報を取得し、 ス テツプ E 2では切り替えるウィンドウを決定する。 ステップ E 3では、 ステップ E 2で決定したウィンドウが最前面になるようにウィンドウの切替処理を行う。 ステップ E 4では、 フォアグランドウィンドウの位置やサイズ等のデータを取得 し、 ステップ E 5では、 遠隔操作端末装置の表示画面の表示エリアに関する表示 エリア情報に基づいてフォアグランドウインドウの変更サイズを決定する。 フォアグランドウイ 'ンドゥの変更サイズの決定に際じては、 -遠隔操作端末装置 の表示画面の表示エリアサイズに応じて変更サイズの決定を行い、 例えば、 フォ ァグランドウィンドウの大きさを表示ェリアの大きさに変更する変更方法を採用 しても良い。 あるいは、 フォアグランドウィンドウの横方向の長さ （幅） のみを 表示エリアの横方向の長さ （幅） に変更する変更方法、 フォアグランドウィンド ゥの縦方向の長さ （高さ） のみを表示エリアの縦方向の長さ （高さ） に変更する 変更方法、 フォアグランドウィンドウの大きさが表示エリアの大きさより大きい 場合にのみ、 フォアグランドウィンドウの大きさを表示ェリアの大きさに変更す る変更方法を採用しても良い。 あるいは、 これら種々の変更方法から複数の変更 方法を組み合わせても良い。 ステップ E 6では、 表示状態変更処理部 5は、 ステップ E 5で決定したサイズ にフォアグランドウィンドウのサイズを変更し、 その変更したウィンドウを特定 する情報や変更したサイズ等の、 変更に際して行った処理を明確にする処理情報 を画面処理情報格納部 1 0に格納する。 ステップ E 7では、 表示状態変更処理部 5は、 画面処理情報格納部 1 0に格納した表示エリア情報を参照し、 フォアグラ ンドウィンドウの表示位置を表示エリアに合わせる整合処理が必要であるか否か を判定する。 整合処理が必要である場合はステップ E 8へ進み、 整合処理が不要 である場合はステップ E 9へ進む。

ステップ E 8では、 表示状態変更処理部 5は、 表示エリアとフォアグランドゥ インドウの表示位置とが合うように表示エリア又はフォアグランドウィンドウの 表示位置を変更し、 表示状態変更処理部 5によって行われた処理に関する処理情 報を画面処理情報格納部 1 0に格納する。

ステップ E 9では、 パーソナルコンピュータは、 遠隔操作端末装置へ送信する 画面データ通知を送信データ生成部 4によって作成する。 このとき、 パーソナル コンピュータから遠隔操作端末装置へ送信する画面データの画面サイズが遠隔操 作端末装置の表示画面の表示エリアサイズより大きい場合には、 パーソナルコン ピュータの表示画面におけるフォアグランドウィンドウの表示位置を通知する位 置情報通知も作成する。 この位置情報通知は、 位置情報個別の通知データとして 作成するこども、 位置情報を含む画面データ通知として作成することも可能であ る。 ステップ E 1 0では、 パーソナルコンピュータは、 ステップ E 9で作成した 画面データ通知及び位置情報通知を通信処理部 2によつて遠隔操作端末装置へ送 信する。

ところで、 上述したように、 本発明の実施の形態に関する説明は、 実施の形態 1〜3に分けて行っている。 しかし、 本発明の実施の形態としては、 実施の形態 1〜 3の各種形態を組み合わせて同時に用いる形態も勿論可能である。

(実施の形態 1 1 )

以下、 パーソナルコンピュータの表示画像記憶手段 1 1が記憶している画面表 示画像のうちの、 遠隔操作端末装置の表示手段 3 9に表示させる領域 （表示エリ ァ） を変更するための表示エリア変更処理について説明する。 なお、 本実施の形 態においては、 表示エリア変更処理を実行する前に、 遠隔操作端末装置の表示手 段 3 9の表示能力等、 遠隔操作端末装置に関する固有の情報をパーソナルコンビ ユータに通知しておく必要がある。

図 1 8は遠隔操作端末装置においてユーザにより指示が入力された場合にパー ソナルコンピュータに対し表示ェリァ変更要求を送信する動作を表すフローチヤ ートである。 遠隔操作端末装置の入力手段 3 1は、 表示エリアの変更， 拡大， 縮 小を指示することができる。 図 1 8において、 まず、 ユーザにより遠隔操作端末 装置の入力手段 3 1から指示が入力されると （S 5 0 0 ) 、 制御部 3 9は当該指 示が表示ェリァ変更や拡大 ·縮小等の遠隔操作端末装置の表示手段に表示する画 像に関する操作 （遠隔操作端末装置固有の操作） の指示であるか否かを判断し （

S 5 0 1 ) する。

ここで、 入力手段 3 1によってなされた操作が遠隔操作端末装置の表示手段 3 9に表示する画像に関する操作である場合には、 以下、 その操作を 「遠隔操作端 末装置固有の操作」 と呼ぶ。 ここでの画像に関する操作とは、 表示手段 3 9に表 示する表示エリア変更や拡大 ·縮小等の操作を含む。 ユーザによつなされた遠隔 操作端末装置の入力手段 3 1からの指示が遠隔操作端末装置固有の操作の指示で ある場合、 固有の送信データを生成する （S 5 0 2 ) 。

更に、 制御部 3 9は；—利用者の入力した指示が、 表示 ] ァを変更する'操作 ( 表示エリア変更操作） に関する指示であるか否かを判断し （S 5 0 3 ) する。 こ こで当該指示が表示エリア変更操作に関する指示である場合、 制御部 3 9は、 表 示エリアの位置の移動方向 （左右上下） ， 又は移動距離の情報を含む変更要求を 作成し （S 5 0 4 ) 、 作成された変更要求を通信処理部 3 2に出力する。 通信処 理部 3 2は当該変更要求を、 通信ネットワークを通じてパーソナルコンピュータ に出力する （S 5 0 5 ) 。

—方、 ステップ S 5 0 3において、 当該指示が表示エリア変更操作に関する指 示ではないと判断した場合、 別途処理を行う必要があるが、 ここでは本発明には 直接関連しないため説明は省略する （S 5 0 6 ) 。 前記ステップ S 5 0 1において、 制御部 3 9は当該指示が遠隔操作端末装置固 有の操作の指示ではないと判断した場合、 利用者の入力情報をパーソナルコンビ ユータに通知するための信号である 「入力情報通知」 を生成し （S 5 0 7 ) 、 作 成された入力情報通知を通信処理部 3 2に出力する。 通信処理部 3 2は当該入力 情報通知を、 通信ネットワークを通じてパーソナルコンピュータに出力する （S

5 0 5 ) 。

以上のような動作により、 ユーザからの入力に従って、 遠隔操作端末装置は、 変更要求又は入力情報通知をパーソナルコンピュータに対して送信する。

図 1 9はパーソナルコンピュータが遠隔操作端末装置から変更要求等のデータ を受信したときの動作を表すフローチャートである。 図 1 9において、 パーソナ ルコンピュータの通信処理部 2が、 通信ネットワークと通して遠隔操作端末装置 から送信されたデータを受信すると （S 6 0 0 ) 、 まず、 受信データ解析部 3が 、 受信した当該データの解析を行う （S 6 0 1 ) 。

そして、 受信データ解析部 3は、 当該データが変更要求であるか否かを判断す る （S 6 0 2 ) 。 その結果、 受信データ解析部 3が当該データが変更要求ではな いと判断した場合、 パーソナルコンピュータは別途処理を行う必要があるが （S

6 0 3 ) 、 この処理は本発明とは直接関連しないため、 説明は省略する。

一方、 ステップ S 6 0 2において、 受信データ解析部 3が当該データが変更要 求であると判断じだ場合 Γ設定データ格納部 7は、 "R AM 2 4もじくは R O— M 2 3に記憶されている遠隔操作端末装置に関する固有の情報から、 遠隔操作端末装 置の表示手段 3 9の表示画面のサイズに関する情報を読み出す （S 6 0 4 ) 。 次 いで、 表示状態変更処理部 5は、 変更要求及び表示手段 3 9の表示画面のサイズ に基づき、 新たな表示エリアを決定する （S 6 0 5 ) 。

ここで、 「変更要求及び表示手段 3 9の表示画面のサイズに基づき、 新たな表 示エリアを決定する」 方法としては、 まず、 表示状態変更処理部 5は、 変更要求 より指定される移動方向と移動距離に従って画面表示画像の中の表示エリアを移 動させる。 その結果、 移動後の表示エリアが画面表示画像からはみ出さない場合 には、 移動後の表示エリアの位置をその位置に決定する。 また移動させた結果、 移動後の表示エリアの一部又は全部が画面表示画像の外 部にはみ出す場合には、 当該移動方向に表示エリアを移動させていった場合に表 示エリアが画面表示画像からはみ出す直前の位置まで移動させた位置を、 移動後 の表示エリアの位置に決定する。 例えば、 変更要求が、 表示エリアの右方向へ 1 ピクセルの移動であれば、 取得領域を 1ピクセル右方向へずらす。

次に、 画像処理データ格納部 6は、 表示画像記憶手段 1 1に記憶されている画 面表示画像から、 ステップ S 605において表示状態変更処理部 5が決定した新 • たな表示エリアの部分の部分画像を取得する （S 606) 。 そして、 当該部分画 像を決められた形式に変換し （S 607) 、 通信処理部 2により、 当該部分画像 を通信ネットワークを通じて遠隔操作端末装置に送信する （S 608) 。

遠隔操作端末装置において、 通信処理部 32が新たな表示エリア内の部分画像 を受信すると、 画像データ表示制御部 35は、 受信した当該部分画像を遠隔操作 端末装置の表示手段 38の画面に表示する。 この結果、 変更要求に応じて移動さ れた表示領域の部分画像が、 表示手段 38に表示される。

図 20は実施の形態 1 1に係る遠隔操作システムにおいて表示エリアの変更を 行った場合の変更前後における表示装置の画面上に表示される画像の一例を表す 図である。 図 20 (a) 、 （c) はパーソナルコンピュータの表示手段 8の画面 上に表示される画面表示画像を表しており、 図 20 (b) 、 (d) は遠隔操作端 末装置の表示手段 38の画面'上に表示される部分画像を表-してい石。 また、 図 2 0 (a) 、 (b) は表示エリアの変更前の状態を表し、 図 20 (c) 、 （d) は 表示ェリァの変更後の状態を表す。

表示エリアの変更前は、 表示エリアは図 20 (a) の表示領域 Aの位置にあり 、 このとき、 遠隔操作端末装置の表示手段 38の表示画面には図 20 (b) のよ うに表示領域 A内の画像が表示される。 一方、 ユーザによって、 入力手段 3 1か ら表示エリアを図 20 (c) の表示領域 Bに変更する変更要求が入力された場合 、 上述のような動作によって遠隔操作端末装置は表示領域 Bの部分画像を取得し 、 表示手段 38の画面上には、 表示領域 Bの部分画像が表示されることになる （ 図.20 ( d ) ) 。 このように表示手段 3 8はパーソナルコンピュータの表示手段 8に表示される 画面表示画像のなかの一部のエリアの画像を表示し、 ユーザが入力手段 3 1から 表示エリアの位置を変更する変更要求を入力した時には画面サイズ及び解像度を 考慮して表示領域が切り替わり、 表示手段 3 8に表示される領域を前回表示の画 面と重ならないように左右へ移動させる事ができ、 これによりシステムの操作性 を向上させることが可能となる。

(実施の形態 1 2 )

本実施の形態 1 2では、 表示画面の右端 （または左端） を同じフォアグラウン ドウインドウの右端（または左端）にあわせて表示領域を切り替える事ができる。 そのためにも、 表示画像記憶手段 1 1に記憶された画面表示画像の中に表示され ている総てのウィンドウ又はフォアグラウンドウィンドウの表示領域の座標を取 得する機能を有する。 ここで、 「フォアグラウンドウィンドウ」 とは、 画面表示 画像に表示されたウィンドウのうち現在ユーザにより選択されているウィンドウ をいい、 現在ユーザにより選択されていないバックグラウンドウィンドウよりも 高いプライオリティが与えられていたウィンドウをいう。

図 2 1は本発明の実施の形態 1 2に係る遠隔操作方法を表すフローチャートで ある。 図 2 1において、 まず、 ユーザが遠隔操作端末装置の入力手段 3 1より表 示領域の変更指示等の指示を入力すると、 制御部 3 9は、 図 1' 8に示した動作と 同様の動作により、 通信ネットワークを通じて、 変更要求等のデータをパーソナ ルコンピュータに送信する。 パーソナルコンピュータの通信手段は、 この遠隔操 作端末装置から送信されるデータを受信する （S 9 0 0 ) 。

パーソナルコンピュータの受信データ解析部 3は、 受信した当該データの解析 を行う （S 9 0 1 ) 。 そして、 受信データ解析部 3は、 受信した当該データが変 更要求であるか否かを判断する （S 9 0 2 ) 。 その結果、 解析した当該データが 変更要求でない場合には、 パーソナルコンピュータは別途処理を行う必要がある 力 これは本発明には直接関連しないため説明は省略する。

一方、 ステップ S 9 0 2において、 解析した当該データが変更要求である場合 には、 設定データ格納部 7は、 R AM 2 4もしくは R O M 2 3に記憶されている 遠隔操作端末装置に関する固有の情報から遠隔操作端末装置の表示手段 3 8の表 示サイズに関する情報を読み出すし （S 9 0 3 ) 、 さらに表示手段 8の被制御側 表示画面の最前面に表示されているフォアグランドウィンドウの画像データを取 得し、 表示画像記憶手段 1 1に記憶された画面表示画像の中のフォアグラウンド ウィンドウの表示領域の座標と、 その他の総てのウィンドウの表示領域の座標を 取得する （S 9 0 4 ) 。 表示状態変更処理部 5は、 表示エリア変更要求手段 2 0 6により送信された変更要求及び表示状態変更処理部 5により取得されたウィン ドウの表示領域の座標を基準として表示エリアの変更量を決定する （S 9 0 5 ) ここで変更量を決定する方法としては、 具体的には、 まず、 変更要求の方向 （ 左右上下の何れかの方向） と、 ウィンドウの四隅の座標と、 偏在の表示エリアの 四隅の座標とを取得し、 変更要求の方向の側の現在の表示エリアの外枠線の外側 (変更要求の方向の側） にあるウィンドウの枠線の位置を取得する。 そして、 遠 隔操作端末装置が有する表示手段 3 8の画面解像度の横幅分までの間に、 ウィン ドウの枠線が存在すれば、 変更要求の方向の側の表示エリアの外枠線が当該取得 したウィンドウの枠線の位置と重なる位置を表示エリアの変更量として決定する 例えば、 表示エリアの変更要求が右方向である場合に、 現在の表示エリアの右 辺 （右側枠線） 'から右方向へ、 遠隔操作端末装置が有する'表示手段 3 8の画面解 像度の横幅分までの間に、 いずれかのウィンドウの右辺が存在すれば、 現在の表 示エリアの右辺からもっとも近いウィンドウの右辺を新しい表示エリアの右辺と して基準にし、 表示エリアの変更量として決定する （1 0図参照） 。

次に、 決定された変更量及び設定データ格納部 7に記憶された遠隔操作端末装 置の表示手段 3 8の表示画面のサイズに基づき、 遠隔操作端末装置の表示手段 3 8の画面上に表示する新たな表示エリアを決定し、 送信データ作成部は表示画像 記憶手段 1 1に記憶された画面表示画像の中から当該新たな表示ェリァの部分画 像を取得し （S 9 0 6 ) 、 さらにステップ S 9 0 6において取得した部分画像の 情報を、 決められた形式に変換する （S 9 0 8 ) 。 最後に、 変換された部分画像 のデータを通信処理部 2により遠隔操作端末装置へ送信して終了する （S 908 ) 。

以上のようにして、 変更要求に応じて、 画面表示画像の中の表示エリアの変更 を行い、 新たな表示エリア内の部分画像が遠隔操作端末装置に送信され、 移動さ れた表示領域の部分画像が表示手段 38に表示される。

図 22は実施の形態 1 2に係る遠隔操作システムにおいて表示エリアの変更を 行った場合の変更前後における表示装置の画面上に表示される画像の一例を表す 図である。 図 22 (a) 、 （c) はパーソナルコンピュータの表示手段 8の画面 上に表示される画面表示画像を表しており、 図 22 (b) 、 (d) は遠隔操作端 末装置の表示手段 38の画面上に表示される部分画像を表している。 また、 図 2 2 (a) 、 (b) は表示エリアの変更前の状態を表し、 図 22 (c) 、 (d) は 表示ェリァの変更後の状態を表す。

表示エリアの変更前は、 表示エリアは図 22 (a) の表示領域 Aの位置にあり 、 このとき、 遠隔操作端末装置の表示手段 38の表示画面には図 22 (b) のよ うに表示領域 A内の画像が表示される。

ユーザによつて入力手段 3 1から表示ェリァを右方向に移動させる変更要求が 入力された場合、 表示状態変更処理部 5が表示領域 Aの右側にあるウィンドウの 右枠線を探し、 そのウィンドウの右枠線と新たな表示領域の右枠線が一致するよ うに表示'エリアの変更量を決定する。 そして、 画像データ表示制御部 3' 5は 表 示状態変更処理部 5が決定した変更量及び設定データ格納部 7に記憶された遠隔 操作端末装置の表示手段 38の表示画面のサイズに基づき、 画面表示画像のうち で遠隔操作端末装置の表示手段 38の画面上に表示する新たな表示ェリァを決定 する。 その結果、 新たな表示エリアは、 図 22 (c) の表示領域 Bに決定される 。 そして、 上述のような動作によって遠隔操作端末装置は表示領域 Bの部分画像 を取得し、 表示手段 38の画面上には、 表示領域 Bの部分画像が表示されること になる （図 22 (d) ) 。

このように、 本実施の形態における遠隔操作システムによれば、 遠隔操作端末 装置上でウィンドウを表示させる場合にユーザが表示の微調整を行うための操作 が不要となるため、 表示領域の変更操作が容易化され、 システムの操作性を向上 させることが可能となる。

このように表示手段 3 8はパーソナルコンピュータの表示手段 8に表示される 画面表示画像のなかの一部のエリアの画像を表示し、 ユーザが表示エリアの位置 を変更する変更要求を入力した時には画面サイズとフォアグラウンドウィンドウ の枠の座標を考慮して表示領域が切り替わり、 表示画面の右端 （または左端） を 同じフォアグラウンドウィンドウの右端 （または左端） に自動的に表示領域を移 動させる事ができる。 このため、 ユーザが表示の微調整を行うための操作が不要 となるため、 表示領域の変更操作が容易化され、 システムの操作性を向上させる ことが可能となる。

(実施の形態 1 3 )

本実施の形態 1 3は、 四隅の中の 1つの角を合わせて表示範囲を切り替えるも のである。遠隔操作端末装置は、 画面表示画像の左下、左上、右下、又は右上の何 れかの角部のうち、 表示エリアを移動させる角部の情報を含む特定変更要求を、 通信ネットワークを介して前記パーソナルコンピュータに送信する機能を有する 。 また本実施の形態においては、 パーソナルコンピュータはさらに、 特定変更要 求が送信された場合には、 設定データ格納部 7に記憶された表示画面のサイズに 基づき、''画面表示画像のうぢで遠隔操作端末装置の表示手段 3— 8の面'面上—に表示 する新たな表示エリアを決定する機能をも有している。

以上のように構成された本実施の形態の遠隔操作システムにおいて、 以下その 遠隔操作方法を説明する。 なお、 本実施の形態における遠隔操作方法の流れは、 基本的には図 1 8及び図 1 9において説明したものと同様である。

ここで、 「特定変更要求」 とは、 表示エリアを、 画面表示画像の左下、 左上、 . 右下、 又は右上の何れかの角部に変更する要求のことをいい、 当該特定変更要求 には、 画面表示画像の左下、 左上、 右下、 又は右上の何れかの角部のうち、 表示 エリアを移動させる角部の情報が含まれている。

特定変更要求が送信された場合には、 当該特定変更要求及び設定データ格納部 7に記憶された表示画面のサイズに基づき、 画面表示画像のうちで遠隔操作端末 装置の表示手段 3 8の画面上に表示する新たな表示エリアを決定する。 具体的に は、 特定変更要求が左下隅の場合、 表示エリアを画面表示画像の左下隅部に移動 するように新たな表示エリアを決定する。 また、 特定移動要求が左上隅、 右下隅 、 右上隅の場合も同様である。

図 2 3は実施の形態 1 3に係る遠隔操作システムにおいて表示エリアの変更を 行った場合の変更前後における表示装置の画面上に表示される画像の一例を表す 図である。 図 2 3 (a) 、 （c) はパーソナルコンピュータの表示手段 8の画面 上に表示される画面表示画像を表しており、 図 2 3 (b) 、 (d) は遠隔操作端 末装置の表示手段 3 8の画面上に表示される部分画像を表している。 また、 図 2 3 (a) 、 (b) は表示エリアの変更前の状態を表し、 図 2 3 (c) 、 (d) は 表示ェリァの変更後の状態を表す。

表示エリアの変更前は、 表示エリアは図 2 3 (a) の表示領域 Aの位置にあり 、 このとき、 遠隔操作端末装置の表示手段 3 8の表示画面には図 2 3 (b) のよ うに表示領域 A内の画像が表示される。

ユーザによって、 遠隔操作端末装置の入力手段 3 1から表示エリアを左下隅に 移動させる特定変更要求が入力された場合、 パーソナルコンピュータ内の表示状 態変更処理部 5は、 当該特定変更要求及び設定データ格納部 Ίに記憶された表示 画面のサイズに基づき、 画面表示画像のうちで遠隔操作端末装置の表示手段 3 8 の画面上に表示する'新たな表示エリアを決定する。 その結果ミ 新たな表示 リア は、 図 2 3 (c) の表示領域 Bに決定される。 そして、 上述のような動作によつ て遠隔操作端末装置は表示領域 Bの部分画像を取得し、 表示手段 3 8の画面上に は、 表示領域 Bの部分画像が表示されることになる （図 2 3 (d) ) 。

このように、 本実施の形態の遠隔操作システムによれば、 遠隔操作端末装置に はパーソナルコンピュータの表示手段 8に表示される画面表示画像のなかの一部 のエリアの画像を表示し、 表示されている画面がパーソナルコンピュータにおけ る画面のいかなる領域であっても、 簡単な操作でいずれかの四隅を基準とした画 面を遠隔操作端末装置上に表示することができ、 システムの操作性を向上させる ことが可能となる。 (実施の形態 1 4 )

本実施の形態 1 4は、 遠隔操作端末装置の画像データ格納部 3 6が表示すべき 画像情報を保持していない場合のみ、 パーソナルコンピュータにデータを送らせ る。

本実施の形態に係る遠隔操作システムにおいて、 以下その遠隔操作方法につい て説明する。 本実施の形態においては、 遠隔操作端末装置の中の画像データ格納 部 3 6に、 あらかじめ画面表示画像を取得しておく。この場合、 まず、パーソナル コンピュータの送信データ作成部 4が、 表示画像記憶手段 1 1に記憶された画面 表示画像を、 通信ネットワークを通じて遠隔操作端末装置に送信する。 遠隔操作 端末装置では、 画像データ表示制御部 3 5が、 パーソナルコンピュータから送信 されてきた画面表示画像の情報を受信し、 画像データ格納部 3 6に記憶させる。 このようにして、 あらかじめ画像データ格納部 3 6には、 表示画像記憶手段 1 1 に記憶された画面表示画像と同じ画面表示画像が記憶される。

図 2 4は本発明の実施の形態 1 4に係る遠隔操作方法を表すフローチャートで ある。 図 2 4において、 まず、 ユーザから入力手段 3 1により表示エリアの変更 要求が入力された場合、 制御部 3 9は、 画像データ格納部 3 6がパーソナルコン ピュータの画面表示画像の情報を保持しているか否かを判断する （S 1 1 0 1 ) 画像デーダ格納部 3 6が画面表示画像の情報を保持じている場合は、—画像デ一— タ表示制御部 3 5は、 変更要求及び遠隔操作端末装置の表示画面のサイズに基づ き、 画面表示画像のうちで遠隔操作端末装置の表示手段 3 8の画面上に表示する 新たな表示エリアを決定する （S 1 1 0 2 ) 。 続いて、 画像データ表示制御部 3 5は画像データ格納部 3 6に記憶された画面表示画像のうち、 決定した新たな表 示エリアにおける部分画像を取得する。 そして、 画像データ表示制御部 3 5は、 当該部分画像を表示手段 3 8に表示する。

一方、 ステップ S 1 1 0 1において、 画像データ格納部 3 6は全画面情報を保 持していないと判断した場合は、 画像データ表示制御部 3 5は、 パーソナルコン ピュータに対して表示エリアの変更を要求するために変更要求もしくは入力情報 通知を生成すし （S 1 1 0 3 ) 、 通信処理部 3 2によりステップ S 1 1 0 3で生 成したデータをパーソナルコンピュータに対して送信する （S 1 1 0 4 ) 。 変更 要求もしくは入力情報通知を示すデータを受信したパ ソナルコンピュータは、 実施の形態 1 1で説明した図 1 9、 もしくは実施の形態 1 2で説明した図 2 1の 動作で表示ェリァ変更処理を行う。

続いて、 通信処理部 3 2は、 パーソナルコンピュータから転送される画像デー タを受信する （S 1 1 0 5 ) 。 そして、 画像データ表示制御部 3 5は、 受信した データの解析を行い、 部分画面の情報を抽出する （S 1 1 0 6 ) 。 そして最後に 、 画像データ表示制御部 3 5は、 当該部分画像を表示手段 3 8に表示する。 このように、 本実施の形態の遠隔操作システムによれば、 画像データ格納部 3 6に画面表示画像がすでに記憶されていれば、 画像データ表示制御部 3 5により 、 画像データ格納部 3 6に記憶された記憶から新たな表示領域の部分画像を取得 し、 遠隔操作端末装置の表示画面に表示するため、 ユーザによる表示エリア変更 の操作ごとに通信ネットワークを通じた通信が発生しない。 従って、 遠隔操作端 末装置が有する表示手段 3 8に表示される画像データの更新が早ぐなり、 システ ムの操作性を向上させることが可能となる。

以上のよう本発明により、 遠隔操作端末装置からパーソナルコンピュータの表 示画面のフォアグランドウィンドウを切り替えることができると共に、 その切り 替えによってフォアグランドウィンドウの表示位置が移動した場合であつても、 遠隔操作端末装置の表示 T面の表示ェリアにフォアグランドゥ: Γンド—ゥの表示位 置を合わせて、 切り替えたフォアグランドウィンドウを遠隔操作端末装置の表示 画面に表示させることもができる。 従って、 遠隔操作端末装置の表示画面の画面 サイズがパーソナルコンピュータの表示画面の画面サイズより小さい場合であつ ても、 遠隔操作端末装置のユーザによる画面スク口ール操作を削減させることが でき、 遠隔操作端末装置によるパーソナルコンピュータの遠隔操作の操作性を向 上させることができる。

また、 切り替えたフォアグランドウィンドウの表示位置に遠隔操作端末装置の 表示画面の表示エリアが変更された画面データを、 遠隔操作端末装置がパーソナ ルコンピュータから受信し、 その受信した画面データが遠隔操作端末装置の表示 画面に表示される。 このため、 遠隔操作端末装置からパーソナルコンピュータの フォアグランドウィンドウを切り替えることができると共に、 切り替えられて遠 隔操作端末装置の表示画面に表示されたウィンドウのユーザによるスクロール操 作を削減させることができ、 その結果、 遠隔操作端末装置によるパーソナルコン ピュータの遠隔操作の操作性を向上させることができる。

また、 切り替えたフォアグランドウィンドウの表示位置が遠隔操作端末装置の 表示画面の表示ェリア内に変更された画面データを遠隔操作端末装置がパーソナ ルコンピュータから受信し、 その受信した画面データが遠隔操作端末装置の表示 画面に表示される。 このため、 遠隔操作端末装置からパーソナルコンピュータの フォアグランドウィンドウを切り替えることができると共に、 遠隔操作端末装置 のユーザによる画面スクロール操作を削減させることができ、 その結果、 遠隔操 作端末装置によるパーソナルコンピュータの遠隔操作の操作性を向上させること ができる。

また、 パーソナルコンピュータから遠隔操作端末装置へ送信する画面データの 画面サイズが遠隔操作端末装置の表示画面の表示ェリアサイズより大きい場合に は、 フォアグランドウィンドウを切り替えた画面データと、 フォアグランドウイ ンドウの表示位置を示す位置情報とを遠隔操作端末装置がパーソナルコンビユー タから受信し、 その受信した位置情報に従って画面データを表示することにより 、 切り替えたフォアグランドウィンドウが遠隔操作端末装置の表示画面に表示さ れる。 ごのため、 遠隔操作端末装置がパーソナルコンビュ -ーダかち—遠隔操作端末 装置の表示画面の表示エリアサイズより大きい画面サイズの画面データを受信し ている場合には、 受信した位置情報に従って遠隔操作端末装置が画面データを表 示することにより、 切り替えたフォアグランドウィンドウを遠隔操作端末装置の 表示画面に表示することができる。 従って、 遠隔操作端末装置のユーザによる画 面スクロール操作を削減させることができ、 遠隔操作端末装置によるパーソナル コンピュータの遠隔操作の操作性を向上させることができる。

また発明によれば、 遠隔操作端末装置のユーザが行った操作が、 遠隔操作端末 装置の表示画面に表示されているウィンドウの切り替えを要求する操作の場合に は、 その操作に応じてフォアグランドウィンドウが切り替えられ表示位置が調整 された画面データを、 遠隔操作端末装置がパーソナルコンピュータから受信し、 その受信した画面データが遠隔操作端末装置の表示画面に表示される。 このため 、 ユーザ操作に応じてパーソナルコンピュータのフォアグランドウインドウを切 り替えることができると共に、 遠隔操作端末装置の表示画面の表示ェリアに表示 位置を合わせてフォアグランドウィンドウを遠隔操作端末装置の表示画面に表示 させることができる。 従って、 遠隔操作端末装置のユーザによる画面スクロール 操作を削減させることができ、 遠隔操作端末装置によるパーソナルコンピュータ の遠隔操作の操作性を向上させることができる。

また発明によれば、 遠隔操作端末装置のユーザが行った操作が、 パーソナルコ ンピュータの表示画面に表示されているフォアグランドウィンドウの切り替えを 要求する操作の場合には、 その操作に応じてフォアグランドウィンドウが切り替 えられ表示位置が調整された画面データを、 遠隔操作端末装置がパーソナルコン ピュータから受信し、 その受信した画面データが遠隔操作端末装置の表示画面に 表示される。 このため、 遠隔操作端末装置に専用の操作手段を設けることなく、 ユーザ操作に応じてパーソナルコンピュータのフォアグランドウィンドウを切り 替えることができると共に、 遠隔操作端末装置の表示画面の表示エリアに表示位 置を合わせてフォアグランドウィンドウを遠隔操作端末装置の表示画面に表示さ せることもできる。 従って、 遠隔操作端末装置のユーザによる画面スクロール操 作を削減させることができ、 遠隔操作端末装置によるパーソナルコンピュータの 遠隔操作の操作性を向上させるこどができる。

また発明によれば、 フォアグランドウィンドウの切り替えを要求する通知を遠 隔操作端末装置から受信した場合には、 切替対象ウィンドウの一覧が表示された 画面データを遠隔操作端末装置がパーソナルコンピュータから受信して、 その受 信した画面データが遠隔操作端末装置の表示画面に表示され、 その表示された切 替対象ウィンドウの一覧からユーザが切替ウィンドウを選択することにより、 そ の選択に応じてフォアグランドウィンドウが切り替えられ表示位置を調整された 画面データを、 遠隔操作端末装置がパーソナルコンピュータから受信し、 その受 信した画面データが遠隔操作端末装置の表示画面に表示される。 このため、 ユー ザの利便性を向上させることができ、 その結果、 遠隔操作端末装置によるパーソ ナルコンピュータの遠隔操作の操作性を向上させることができる。 また発明によれば、 切り替えたフォアグランドウィンドウの大きさが、 遠隔操 作端末装置の表示画面の表示ェリァに関する表示ェリァデータに基づいて変更さ れていると共に、 切り替えたフォアグランドウィンドウの表示位置が表示エリア データに基づいて調整された画面データを遠隔操作端末装置がパーソナルコンビ ユータから受信し、 その受信した画面データが遠隔操作端末装置の表示画面に表 示される。 このため、 遠隔操作端末装置の表示画面の画面サイズがパーソナルコ ンピュータの表示画面の画面サイズより小さい場合であつても、 遠隔操作端末装 置のユーザによる画面スク口ール操作を削減させることができ、 遠隔操作端末装 置によるパーソナルコンピュータの遠隔操作の操作性を向上させることができる 。

また発明によれば、 遠隔操作端末装置を利用するユーザの操作によりパーソナ ルコンピュータのフォアグランドウインドウの切替を要求する通知をパーソナル コンピュータが遠隔操作端末装置から受信した場合には、 切り替えられたフォア グランドウィンドウの画面データであって、 遠隔操作端末装置の表示画面の表示 エリアに関する表示エリアデータに基づいてフォアグランドウィンドウの表示位 置を表示ェリァに整合させられた画面データを遠隔操作端末装置がパーソナルコ ンピュータから受信し、 その受信した画面データが遠隔操作端末装置の表示画面 に表示される。 このため、 遠隔操作端末装置からパーソナルコンピュータのフォ ァグランドウィンドウを切り替えることができると共に、 その切り替えによろて フォアグランドウィンドウの表示位置が移動した場合であっても、 遠隔操作端末 装置の表示画面の表示エリアにフォアグランドウィンドウの表示位置を合わせて 、 切り替えたフォアグランドウィンドウを遠隔操作端末装置の表示画面に表示さ せることもできる。 従って、 遠隔操作端末装置の表示画面の画面サイズがパーソ ナルコンピュータの表示画面の画面サイズより小さい場合であっても、 遠隔操作 端末装置のユーザによる画面スクロール操作を削減させることができ、 遠隔操作 端末装置によるパーソナルコンピュータの遠隔操作の操作性を向上させることが できる。

また発明によれば、 切り替えたフォアグランドウィンドウの表示位置に遠隔操 作端末装置の表示画面の表示エリアが変更された画面データを、 遠隔操作端末装 置がパーソナルコンピュータから受信し、 その受信した画面データが遠隔操作端 末装置の表示画面に表示される。 このため、 遠隔操作端末装置からパーソナルコ ンピュータのフォアグランドウィンドウを切り替えることができると共に、 遠隔 操作端末装置のユーザによる画面スクロール操作を削減させることができ、 その 結果、 遠隔操作端末装置によるパーソナルコンピュータの遠隔操作の操作性を向 上させることができる。

また発明によれば、 切り替えたフォアグランドウィンドウの表示位置が遠隔操 作端末装置の表示画面の表示エリア内に変更された画面データを遠隔操作端末装 置がパーソナルコンピュータから受信し、 その受信した画面データが遠隔操作端 末装置の表示画面に表示される。 このため、 遠隔操作端末装置からパーソナルコ ンピュータのフォアグランドウィンドウを切り替えることができると共に、 遠隔 操作端末装置のユーザによる画面スクロール操作を削減させることができ、 その 結果、 遠隔操作端末装置によるパーソナルコンピュータの遠隔操作の操作性を向 上させることができる。

また発明によれば、 フォアグランドウィンドウを切り替えた画面データと、 フ オアグランドウィンドウの表示位置を示す位置情報とを遠隔操作端末装置がパー ソナルコンピュータから受信し、 その受信した位置情報に従って画面データを表 示することにより、 切り替えたフォアグランドウィンドウが遠隔操作端末装置の 表示画面に表示される。 このため、 ^^隔操作端末装置がパーソナルゴンピュータ から遠隔操作端末装置の表示画面の表示エリアサイズより大きい画面サイズの画 面データを受信している場合には、 受信した位置情報に従って遠隔操作端末装置 が画面データを表示することにより、 切り替えたフォアグランドウィンドウを遠 隔操作端末装置の表示画面に表示することができる。 従って、 遠隔操作端末装置 のユーザによる画面スクロール操作を削減させることができ、 遠隔操作端末装置 によるパーソナルコンピュータの遠隔操作の操作性を向上させることができる。 また発明によれば、 遠隔操作端末装置のユーザが行った操作が、 遠隔操作端末 装置の表示画面に表示されているウィンドウの切り替えを要求する操作の場合に は、 その操作に応じてフォアグランドウィンドウが切り替えられ表示位置が調整 されたパーソナルコンピュータの画面データを、 遠隔操作端末装置がパ一ソナル コンピュータから受信し、 その受信した画面データが遠隔操作端末装置の表示画 面に表示される。 このため、 ユーザ操作に応じて遠隔操作端末装置の表示画面に 表示されているウィンドウを切り替えることができと共に、 遠隔操作端末装置の 表示画面の表示エリアに表示位置を合わせてフォアグランドウィンドウを遠隔操 作端末装置の表示画面に表示させることもできる。 従って、 遠隔操作端末装置の ユーザによる画面スクロール操作を削減させることができ、 遠隔操作端末装置に よるパーソナルコンピュータの遠隔操作の操作性を向上させることができる。 また発明によれば、 遠隔操作端末装置のユーザが行った操作が、 パーソナルコ ンピュータの表示画面に表示されているフォアグランドウィンドウの切り替えを 要求する操作の場合には、 その操作に応じてフォアグランドウィンドウが切り替 えられ表示位置が調整された画面データを、 遠隔操作端末装置がパーソナルコン ピュータから受信し、 その受信した画面データが遠隔操作端末装置の表示画面に 表示される。 このため、 遠隔操作端末装置に専用の操作手段を設けることなく、 ユーザ操作に応じてパーソナルコンピュータのフォアグランドウィンドウを切り 替えることができると共に、 遠隔操作端末装置の表示画面の表示エリアに表示位 置を合わせてフォアグランドウィンドウを遠隔操作端末装置の表示画面に表示さ せることもできる。 従って、 遠隔操作端末装置のユーザによる画面スクロール操 作を削減させることができ、 遠隔操作端末装置によるパーソナルコンピュータの 遠隔操作の操作性を向上させることができる。 '

また発明によれば、 フォアグランドウィンドウの切り替えを要求する通知を遠 隔操作端末装置から受信した場合には、 切替対象ウィンドゥの一覧が表示された 画面データを遠隔操作端末装置がパーソナルコンピュータから受信して、 その受 信した画面データが遠隔操作端末装置の表示画面に表示され、 その表示された切 替対象ウィンドウの一覧からユーザが切替ウィンドウを選択することにより、 そ の選択に応じてフォアグランドウィンドウが切り替えられ表示位置が調整された 画面データを、 遠隔操作端末装置がパーソナルコンピュータから受信し、 その受 信した画面データが遠隔操作端末装置の表示画面に表示される。 このため、 ユー ザの利便性を向上させることができ、 その結果、 遠隔操作端末装置によるパーソ ナルコンピュータの遠隔操作の操作性を向上させることができる。 また本発明によれば、 切り替えたフォアグランドウィンドウの大きさが、 遠隔 操作端末装置の表示画面の表示ェリアに関する表示ェリァデータに基づいて変更 されていると共に、 切り替えたフォアグランドウィンドウの表示位置が表示エリ ァデータに基づいて調整された画面データを遠隔操作端末装置がパーソナルコン ピュータから受信し、 その受信した画面データが遠隔操作端末装置の表示画面に 表示される。 このため、 遠隔操作端末装置の表示画面の画面サイズがパーソナル コンピュータの表示画面の画面サイズより小さい場合であっても、 遠隔操作端末 装置のユーザによる画面スクロール操作を削減させることができ、 遠隔操作端末 装置によるパーソナルコンピュータの遠隔操作の操作性を向上させることができ る。

また本発明によれば、 コンピュータ内に遠隔操作端末装置の表示装置の表示画 面のサイズを記憶する手段を備え、 遠隔操作端末装置より表示ェリァの移動方向 又は移動距離の情報を含む変更要求が送られた時に、 その変更要求の内容と前記 端末情報管理手段に記憶された表示画面のサイズに基づき新たな表示エリアを決 定し、 その表示エリアに対応する部分画像を遠隔操作端末装置に送信する構成と することにより、 遠隔操作端末装置の表示画面サイズ及び解像度を考慮した適切 な範囲の画像を表示することが可能になり、 操作性に優れたものとなる。

本発明を詳細にまた特定の実施態様を参照して説明したが、 本発明の精神と範 囲を逸脱することなく様々な変更や修正を加えるこどができることは当業者にと つて明らかである。 く産業上の利用可能性 >

本発明は、 制御側システムによつて被制御側システムを遠隔操作する遠隔操作 システム及び遠隔操作方法に関するものであるり、 制御側システムの表示画面の 画面サイズが被制御側システムの表示画面の画面サイズより小さい場合であって も、 制御側システムによる被制御側システムの遠隔操作の操作性を向上させるこ とができる遠隔操作システムが得られる。

Claims

請 求 の 範 囲 1 . 電気通信回線を介して被制御側システムに接続された制御側システムに よつて被制御側システムを遠隔操作する遠隔操作システムであって、

前記制御側システムは、

この制御側システムを利用するユーザが操作データを入力するための入力手段 と、

表示手段と、

電気通信回線を介して被制御側システムとの間でデータの送受信を行う制御側 の通信処理部と、

送信データを作成する制御側の送信データ作成部と、

被制御側システムから受信した受信データの解析を行う制御側の受信データ解 析部と、

被制御側システムから受信した画像データを格納する画像データ格納部と、 前記画像データ格納部に格納された画像データを前記表示手段へ表示させる制 御をする画像データ表示制御部とを備え、

前記被制御側システムは、

表示手段と、

' ― 電気通信回線を介して制御側システムとの間でデニタの送受信を行う被制御側 の通信処理部と、

送信データを作成する送信データ作成部と、

制御側システムから受信した受信データの解析を行う被制御側の受信データ解 析部と、

被制御側表示画面に表示すべき画像データを変更する表示状態変更処理部と、 前記表示状態変更処理部によって処理されたデ一タを格納する画像処理データ 格納部とを備え、

前記制御側システムは、 制御側表示画面の表示エリアに関する表示エリアデ一 タを予め作成して被制御側システムへ送信し、

前記被制御側システムは、 受信した前記表示ェリァデータを画像処理データ格 納部に格納し、 前記ユーザの操作により被制御側システムから画面表示状態変更 要求の通知を受信した場合には前記表示状態変更処理部が前記表示エリアデータ に基づいて被制御側表示画面の画像データを変更し、 その変更した変更画像デー タを制御側システムへ送信する

遠隔操作システム。

2 . 請求の範囲第 1項に記載の遠隔操作システムであって、

前記表示状態変更処理部は、 前記表示ェリァデータに基づいて被制御側表示画 面の画像データを変更する際には、 被制御側表示画面の最前面に表示されている フォアグランドウィンドウの大きさを制御側表示画面の大きさに合わせて変更す る遠隔操作システム。

3 . 請求の範囲第 1項に記載の遠隔操作システムであって、

前記表示状態変更処理部は、 前記表示ェリァデータに基づいて被制御側表示画 面の画像データを変更する際には、 フォアグランドウィンドウの横方向の長さを 制御側表示画面の横方向の長さに変更する遠隔操作システム。

4 . 請求の範囲第 1項に記載の遠隔操作システムであって、

' 前記表示状態変更処理部は、 前記表示エリアデータに基づいて被制御側表示画 面の画像データを変更する際には、 フォアグランドウィンドウの縦方向の長さを 制御側表示画面の縦方向の長さに変更する遠隔操作システム。

5 . 請求の範囲第 1項乃至第 4項の何れか一項に記載の遠隔操作システ ムであって、

前記表示状態変更処理部は表示ェリァデータに基づいて被制御側表示画面の画 像データを変更する際に、 フォアグランドウィンドウの大きさが制御側表示画面 の大きさより大きいか否かを判定し、

フォアグランドウィンドウの大きさが制御側表示画面の大きさより大きい場合に はフォアグランドウィンドウの大きさを制御側表示画面の大きさに変更する 遠隔操作システム。

6 . 請求の範囲第 1項に記載の遠隔操作システムであって、 前記制御側システムは、 ユーザが画像データの変更を指示するための少なくと も 2種類の選択肢をユーザに提供するものであり、

被制御側システムは、 前記少なくとも 2種類の選択肢からユーザが選択した選 択肢に関する選択肢通知を制御側システムから受信した場合には、 前記選択肢通 知に対応した変更を表示状態変更処理部がフォアグランドウィンドゥの画像デー タに対し前記表示ェリァデータに基づいて行う遠隔操作システム。

7 . 請求の範囲第 1項乃至第 6項の何れか一項に記載の遠隔操作システ ムであって、

前記表示状態変更処理部は、 前記表示エリアデータに基づいて被制御側表示画 面の画像データを変更する際には、 フォアグランドウィンドウの画像データを変 更すると共に、 制御側表示画面の表示位置と変更後のフォアグランドウィンドウ の表示位置とを整合させ、

被制御側の通信処理部は、 表示状態変更処理部によつて整合された変更画像デー タを制御側システムへ送信する

' 一 遠隔操作システム。 ―

8 . 請求の範囲第 7項に記載の遠隔操作システムであって、 前記表示状態変更処理部は、 制御側表示画面の表示位置と変更後のフォアグラ ンドウインドウの表示位置とを整合させる際には、 前記表示エリアデータから得 られる制御側表示画面の表示エリアを、 変更したフォアグランドウィンドウの画 像データから得られる変更後のフォアグランドウィンドウの表示エリア内に移動 させる遠隔操作システム。

9 . 請求の範囲第 7項に記載の遠隔操作システムであって、 前記表示状態変更処理部は、 制御側表示画面の表示位置と変更後のフォアグラ ンドウィンドウの表示位置とを整合させる際には、 変更したフォアグランドウイ ンドウの画像データから得られる変更後のフォアグランドウィンドウの表示エリ ァを、 前記表示エリアデータから得られる制御側表示画面の表示エリア內に移動 させる遠隔操作システム。

1 0 . 請求の範囲第 1項乃至第 9項の何れか一項に記載の遠隔操作シス テムであって、

前記表示状態変更処理部は、 前記表示ェリァデータに基づいて被制御側表示画 面の画像データを変更する際には、 フォアグランドウィンドウの画像データを変 更すると共に、 被制御側システムから制御側システムへ送信する画像データの画 面サイズが制御側表示画面の大きさより大きい場合には、 制御側表示画面の表示 位置と変更後のフォアグランドウィンドウの表示位置とを整合させるための整合 データを作成するものであり、

被制御側の通信処理部は、 表示状態変更処理部が変更した変更画像データと、 前記整合データとを制御側システムへ送信する遠隔操作システム。 '

1 1 . 請求の範囲第 1項乃至第 1 0項の何れか一項に記載の遠隔操作シ ステムであって、

前記制御側システムは、 ユーザが入力した操作データが、 制御側表示画面の画 像表示状態の変更を要求するデータであるか否かを制御側制御部によつて判定し 、 前記操作データが制御側表示画面の画像表示状態の変更を要求するデータであ る場合には、 制御側表示画面の画像表示状態の変更を要求する通知を被制御側シ ステムへ送信するものであり、

前記被制御側システムは、 制御側表示画面の画像表示状態の変更を要求する通 知を受信した場合には、 表示状態変更処理部が前記表示エリアデータに基づいて 被制御側表示画面の画像データを変更し、 その変更した変更画像データを被制御 側の通信処理部が制御側システムへ送信する

遠隔操作システム。

1 2 . 請求の範囲第 1項乃至第 1 0項の何れか一項に記載の遠隔操作シ ステムであって、

前記制御側システムは、 ユーザが入力した操作データが、 被制御側システムの 操作に関するデータであるか否かを制御側制御部によつて判定し、 前記操作デー タが被制御側システムの操作に関するデータである場合には、 被制御側システム の操作に関する通知を被制御側システムへ送信するものであり、

被制御側システムは、 被制御側システムの操作に関する通知を受信した場合に は、 その通知が制御側表示画面の画像表示状態の変更を要求する通知であるか否 かを被制御側の受信データ解析部によって判定し、 制御側表示画面の画像表示状 態の変更を要求する通知である場合には、 表示状態変更処理部が前記表示エリア データに基づいて被制御側表示画面の画像データを変更し、 その変更した変更画 像データを被制御側の通信処理部が制御側システムへ送信する

遠隔操作システム。

1 3 . 請求の範囲第 1項乃至第 1 2項の何れか一項に記載の遠隔操作シ ステムであって、

前記被制御側システムは、 変更画像データを変更前の通常の画像データに復帰 させる通知を制御側システムから受信した場合には 表示状態変更処理部が変更 した変更画像データを変更前の通常の画像データに表示状態変更処理部によって 復帰させ、 その復帰させた画像データを被制御側の通信処理部によって制御側シ ステムへ送信する遠隔操作システム。

1 4 . 請求の範囲第 1項乃至第 1 3項の何れか一項に記載の遠隔操作シ ステムであって、

前記被制御側システムは、 制御側システムから受信した通知が、 被制御側シス テムの画像データにおける制御側表示画面に表示する領域の位置の変更を要求す る表示エリア変更要求通知であるか否かを被制御側の受信データ解析部によって 判定し、 制御側システムから受信した通知が表示エリア変更要求通知である場合 には、 制御側システムへ送信している画像データが、 制御側表示画面の表示位置 とフォアグランドウィンドウの表示位置とを整合させた画像データであり、 かつ 、 フォアグランドウィンドウの大きさを制御側表示画面の大きさに一致させた画 像データである全画面表示画像データであるか否かを表示状態変更処理部によつ て判定し、 制御側システムへ送信している画像データが全画面表示画像データで ある場合には、 制御側システムから受信した表示ェリァ変更要求通知に対応する 表示エリア変更処理を実施しないものである

遠隔操作システム。

1 5 . 請求の範囲第 1項乃至第 1 4項の何れか一項に記載の遠隔操作シ ステムであって、

前記制御側システムは、 ユーザが入力した操作データが、 被制御側システムの 画像データにおける制御側表示画面に表示する領域の位置の変更を要求する表示 ェリァ変更要求データであるか否かを制御側制御部によつて判定し、 前記操作デ ータが表示エリア変更要求データである場合には、 被制御側システムから受信し ている画像データが前記全画面表示画像データであるか否かを画像データ表示制 御部によって判定し、 被制御側システムから受信している画像データが前記全画 面表示画像データである場合には、 表示エリア変更要求データに対応する表示ェ リア変更処理を実施しないものである ―

遠隔操作システム。

1 6 . 請求の範囲第 1項乃至第 1 5項の何れか一項に記載の遠隔操作シ ステムであって、

前記被制御側システムは、 制御側システムから受信したユーザ操作の通知を被 制御側の受信データ解析部によって解析し、 その解析した結果においてユーザに 指定された操作がフォアグランドウィンドウの移動操作であるか否かを被制御側 の制御部によって判定し、 フォアグランドウィンドウの移動操作である場合には 、 制御側システムへ送信している画像データが前記全画面表示画像データである か否かを表示状態変更処理部によつて判定し、 制御側システムへ送信している画 像データが前記全画面表示画像データである場合には、 制御側システムから受信 したユーザ操作の通知に対応するフォアグランドウィンドウの移動操作を実施し ないものである遠隔操作システム。 .

1 7 . 請求の範囲第 1項乃至第 1 6項の何れか一項に記載の遠隔操作シ ステムであって、

前記制御側システムは、 被制御側表示画面の画像データを制御側表示画面に所 定の形式で表示させるため予め設定した表示状態設定データが格納されている制 御側の設定データ格納部を備え、

前記被制御側システムは、 制御側システムから前記表示状態設定データを含む 遠隔操作開始通知を受信した場合には、 制御側システムから受信した前記表示状 態設定データを参照し前記表示ェリァデータに基づいて表示状態変更処理部が被 制御側表示画面の画像データを変更し、 その変更した変更画像データを被制御側 の通信処理部が制御側システムへ送信する

遠隔操作システム。

1 8 . 請求の範囲第 1項乃至第 1 7項の何れか一項に記載の遠隔操作シ ステムであって、

前記被制御側システムは、 被制御側表示画面の画像デーダを制御側表示面面に 所定の形式で表示させるため予め設定した表示状態設定データが格納されている 被制御側の設定データ格納部を備え、 制御側システムから遠隔操作開始通知を受 信した場合には、 前記表示状態設定データを参照し前記表示ェリァデータに基づ いて表示状態変更処理部が被制御側表示画面の画像データを変更し、 その変更し た変更画像データを被制御側の通信処理部が制御側システムへ送信する遠隔操作

1 9 . 請求の範囲第 1項乃至第 1 8項の何れか一項に記載の遠隔操作シ ステムであって、

前記被制御側システムは、 前記制御側システムでのユーザ操作に従つて制御側システムから受信した前記 画面表示状態変更要求の通知、 又は、 制御側システムから受信した前記表示状態 設定データ、 又は、 被制御側の設定データ格納部に格納されている前記表示状態 設定データ、 で指定されている表示状態を表示モード情報として前記画像処理デ ータ格納部に格納し、

被制御側表示画面の画像データを制御側システムへ送信する際には、 前記表示 モード情報に従い前記表示エリァデータに基づいて表示状態変更処理部が被制御 側表示画面の画像データを変更し、 その変更した変更画像データを被制御側の通 信処理部が制御側システムへ送信する

遠隔操作システム。

2 0 . 電気通信回線を介して被制御側システムに接続された制御側シス テムによつて被制御側システムを遠隔操作する遠隔操作方法であって、

前記制御側システムは、 この制御側システムの制御側表示画面の表示エリアに 関する表示ェリァデータを被制御側システムへ送信するステップと、 制御側シス テムを利用するユーザが画像データの画面表示状態の変更を要求する操作を行つ た場合には、 画像データの画面表示状態の変更を要求する通知を被制御側システ ムへ送信するステップとを備え、

前記被制御側システムは、 受信した前記表示ェリアデータを格納するステップ を備えていると共に、 画像データの画面表示状態の変更を要求する通知を制御側 システムから受信した場合には、 被制御側システムの被制御側表示画面の最前面 に表示されているフォアグランドウィンドウの画像データを取得するステップと 、 その取得したフォアグランドウィンドウの画像データを前記表示エリアデータ に基づいて変更するステップと、 その変更した変更画像データを制御側システム へ送信するステップとを実行することを特徴とする

遠隔操作方法。

2 1 . 請求の範囲第 2 0項に記載の遠隔操作方法であって、 前記被制御側システムは、 取得したフォアグランドウィンドウの画像データを 前記表示ェリアデータに基づいて変更するステップにおいては、 フォアグランド ウィンドウの大きさを制御側表示画面の大きさに変更する遠隔操作方法。

2 2 . 請求の範囲第 2 0項に記載の遠隔操作方法であって、

前記被制御側システムは、 取得したフォアグランドウィンドウの画像データを 前記表示ェリアデータに基づいて変更するステップにおいては、 フォアグランド ウィンドウの横方向の長さを制御側表示画面の横方向の長さに変更する遠隔操作 方法。

2 3 . 請求の範囲第 2 0項に記載の遠隔操作方法であって、

前記被制御側システムは、 取得したフォアグランドウィンドウの画像データを 前記表示ェリアデータに基づいて変更するステップにおいては、 フォアグランド ウィンドウの縦方向の長さを制御側表示画面の縦方向の長さに変更する遠隔操作 方法。

2 4 . 請求の範囲第 2 0項乃至第 2 3項の何れか一項に記載の遠隔操作 方法であって、

前記被制御側システムは、 フォアグランドウインドヴの面像データを取得する ステップの後に、 その取得した画像データと前記表示エリアデータとに基づいて フォアグランドウィンドウの大きさが制御側表示画面の大きさより大きいか否か を判定するステップを備え、 フォアグランドウィンドウの大きさが制御側表示画 面の大きさより大きいと判定した場合にのみ、 取得したフォアグランドウィンド ゥの画像データを前記表示ェリァデータに基づいて変更するステツプへ移行する 遠隔操作方法。

2 5 . 請求の範囲第 2 0項乃至第 2 4項の何れか一項に記載の遠隔操作 方法であって、 前記制御側システムは、 制御側システムのユーザが画像データを変更するため の少なくとも 2種類の選択肢を提供するステップと、 その少なくとも 2種類の選 択肢の中からユーザが選択肢を選択した場合には、 ユーザが選択した選択肢に関 する選択肢通知を被制御側システムへ送信するステップとを備え、

前記被制御側システムは、 前記選択肢通知を制御側システムから受信した場合 には、 被制御側表示画面の画像データを取得するステップと、 その取得した画像 データに対し前記選択肢通知に対応した変更を前記表示ェリァデータに基づいて 行うステップと、 変更した変更画像データを制御側システムへ送信するステップ とを実行する

遠隔操作方法。

2 6 . 請求の範囲第 2 0項乃至第 2 5項の何れか一項に記載の遠隔操作 方法であって、

前記被制御側システムは、 取得したフォアグランドウィンドウの画像データを 前記表示エリアデータに基づいて変更するステップの後に、 制御側表示画面の表 示位置と変更後のフォアグランドウィンドウの表示位置とを整合させるステップ を備え、 変更した変更画像データを制御側システムへ送信するステップにおいて は、 制御側表示画面の表示位置と変更後のフオアグランドウィンドウの表示位置 とを整合させた変更画像データを制御側システムへ送信する遠隔操作方法。

2 7 . 請求の範囲第 2 6項に記載の遠隔操作方法であって、

前記被制御側システムは、 制御側表示画面の表示位置と変更後のフォアグラン ドウインドウの表示位置とを整合させるステップにおいては、 変更したフォアグ ランドウインドウの画像データから得られる変更後のフォアグランドウィンドウ の表示エリアを、 前記表示エリアデータから得られる制御側表示画面の表示エリ ァ内に移動させることにより、 制御側表示画面の表示位置と変更後のフォアグラ ンドウィンドウの表示位置とを整合させる

遠隔操作方法。

2 8 . 請求の範囲第 2 0項乃至第 2 7項の何れか一項に記載の遠隔操作 方法であって、

前記被制御側システムは、 取得したフォアグランドウィンドウの画像データを 前記表示ェリアデータに基づいて変更するステツプの後に、 制御側表示画面の表 示位置と変更後のフォアグランドウィンドウの表示位置とを整合させて、 その整 合させるための整合データを作成するステップを備え、 変更した変更画像データ を制御側システムへ送信するステップにおいては、 変更画像データと前記整合デ ータとを制御側システムへ送信する遠隔操作方法。

2 9 . 請求の範囲第 2 0項乃至第 2 7項の何れか一項に記載の遠隔操作 方法であって、

前記制御側システムは、 制御側システムのユーザが行ったユーザ操作が制御側 システムの操作であるか否かを判定するステップと、 ユーザ操作が制御側システ ムの操作である場合には、 ユーザ操作が制御側表示画面の画像表示状態の変更を 要求する操作であるか否かを判定するステップと、 ユーザ操作が制御側表示画面 の画像表示状態の変更を要求する操作である場合には、 制御側表示画面の画像表 示状態の変更を要求する制御側表示画面の画像表示状態変更要求通知を被制御側 システムへ送信するステップとを備え、

前記被制御側システムは、 制御側表示画面の画像表示状態'変更要求通知を制御 側システムから受信した場合には、 被制御側表示画面の画像データを取得するス テツプと、 その取得した画像データに対し制御側表示画面の画像表示状態変更要 求通知に対応した変更を前記表示エリアデータに基づいて行うステップと、 変更 した変更画像データを制御側システムへ送信するステップとを実行する 遠隔操作方法。

3 0 . 請求の範囲第 2 0項乃至第 2 9項の何れか一項に記載の遠隔操作 方法であって、 前記被制御側システムは、 制御側システムから受信した通知が、 被制御側シス テムの画像データにおける制御側表示画面に表示する領域の位置の変更を要求す る表示エリア変更要求通知であるか否かを判定するステップと、

前記制御側システムから受信した通知が表示エリア変更要求通知である場合に は、 制御側システムへ送信している画像データが、 制御側表示画面の表示位置と フォアグランドウィンドウの表示位置とを整合させた画像データで、 かつ、 フォ ァグランドウィンドウの大きさを制御側表示画面の大きさに一致させた画像デー タである全画面表示画像データであるか否かを判定するステップとを備え、 前記制御側システムへ送信している画像データが全画面表示画像データである 場合には、 制御側システムから受信した表示エリア変更要求通知に対応する表示 ェリァ変更処理を実施しない

遠隔操作方法。

3 1 . コンピュータが読み取り可能な記録媒体であって、

請求の範囲第 2 0項乃至第 3 0項の何れか一項に記載の遠隔操作方法をコンビ ユータに実行させるためのプログラムが記録されていることを特徴とする記録媒 体。

3· 2 .…電気通信回線を介して被制御側システムに接続さ？た制御側システム' によって被制御側システムを遠隔操作する遠隔操作システムであって、

前記制御側システムは、

この制御側システムを利用するユーザが操作データを入力するための入力手 段と、

表示手段と、

電気通信回線を介して被制御側システムとの間でデータの送受信を行う制御 側の通信処理部と、

送信データを作成する制御側の送信データ生成部と、

被制御側システムから受信した受信データの解析を行う制御側の受信データ 解析部と、 被制御側システムから受信した画面データを格納する通知画面データ格納部 と、

被制御側システムから受信した画面データの表示に関する処理を制御する通 知画面表示制御部と、

制御側システムを制御する制御側の制御部

とを備え、

前記被制御側システムは、

被制御側の表示手段と、

電気通信回線を介して制御側システムとの間でデータの送受信を行う被制御 側の通信処理部と、

送信データを作成する被制御側の送信データ生成部と、

制御側システムから受信した受信データの解析を行う被制御側の受信データ 解析部と、

被制御側の表示手段の表示画面に表示されている画面データを取得して変更 する表示状態変更処理部と、

この表示状態変更処理部によつて行われた画面データの処理に関する処理情 報を格納する画面処理情報格納部と、

被制御側システムを制御する被制御側の制御部

'とを備え、 '— ' ' 前記制御側システムは、 この制御側システムの表示画面の表示エリアに関する 表示エリアデータを予め作成して被制御側システムへ送信し、

前記被制御側システムは、 受信した前記表示エリアデータを画面処理情報格納 部に格納し、 被制御側システムの表示画面の最前面に表示されているフォアグラ ンドウィンドウの切り替えを要求する通知を制御側システムから受信した場合に は、 表示状態変更処理部によってフォアグランドウィンドウを切り替え、 その切 り替えたフォアグランドウィンドウの表示位置を表示状態変更処理部が前記表示 エリアデータに基づいて調整し、 その調整した画面データを被制御側の通信処理 部が制御側システムへ送信するものであることを特徴とする

遠隔操作システム。

3 3 . 請求の範囲第 3 2項に記載の遠隔操作システムであって、 前記表示状態変更処理部は、 切り替えたフォアグランドウィンドウの表示位置 を前記表示エリアデータに基づいて調整する際には、 制御側システムの表示画面 の表示ェリアをフォアグランドウィンドウの表示位置に変更する遠隔操作システ ム。

3 4 . 請求の範囲第 3 2項に記載の遠隔操作システムであって、 前記表示状態変更処理部は、 切り替えたフォアグランドウィンドウの表示位置 を前記表示エリアデータに基づいて調整する際には、 制御側システムの表示画面 の表示エリア内にフォアグランドウィンドウを移動させる遠隔操作システム。

3 5 . 請求の範囲第 3 2項乃至第 3 4項の何れか一項に記載の遠隔操作 システムであって、

前記表示状態変更処理部は、 切り替えたフォアグランドウィンドウの表示位置 を前記表示エリアデータに基づいて調整する際には、 フォアグランドウィンドウ の表示位置を調整すると共に、 被制御側システムから制御側システムへ送信する 画面データの画面サイズが制御側システムの表示画面の表示ェリアサイズより大 きレ、場合には、 フォアグランドウィンドウの表示位置を示す位置情報を作成する ものであり、

前記被制御側の通信処理部は、 表示状態変更処理部によつて変更された画面デ ータと、 前記位置情報とを制御側システムへ送信する遠隔操作システム。

3 6 . 請求の範囲第 3 2項乃至第 3 5項の何れか一項に記載の遠隔操作 システムであって、

前記制御側システムは、 制御側システムのユーザが入力した操作データが、 制 御側システムの表示画面に表示されているウィンドウの切り替えを要求する操作 データであるか否かを制御側の制御部によつて判定し、 制御側システムの表示画 面に表示されているウィンドウの切り替えを要求する操作データである場合には 、 ウィンドウの切り替えを要求する通知を制御側の通信処理部によって被制御側 システムへ送信するものであり、

前記被制御側システムは、 ウィンドウの切り替えを要求する通知を制御側シス テムから受信した場合には、 被制御側システムの表示画面の最前面に表示されて いるフォアグランドウィンドウを表示状態変更処理部によって切り替え、 その切 り替えたフォアグランドウィンドウの表示位置を表示状態変更処理部が前記表示 ェリァデータに基づいて調整し、 その調整した画面データを被制御側の通信処理 部が制御側システムへ送信する

遠隔操作システム。

3 7 . 請求の範囲第 3 2項乃至第 3 5項の何れか一項に記載の遠隔操作 システムであって、

前記制御側システムは、 制御側システムのユーザが入力した操作データが被制 御側システムの操作に関するデータであるか否かを制御側の制御部によつて判定 し、 前記操作データが被制御側システムの操作に関するデータである場合には、 被制御側システムの操作に関する通知を制御側の通信処理部によつて被制御側シ ステムへ送信するものであり、

前記被制御側システムは、 被制御側システムの操作に関する通知を制御側シス テムから受信した場合には、 その通知が、 被制御側システ-ム—の表示画面の最前面 に表示されているフォアグランドウィンドウの切り替えを要求する通知であるか 否かを被制御側の受信データ解析部によつて判定し、 フォアグランドウィンドウ の切り替えを要求する通知である場合には、 表示状態変更処理部によってフォア グランドウィンドウを切り替え、 その切り替えたフォアグランドウィンドウの表 示位置を表示状態変更処理部が前記表示エリアデータに基づいて調整し、 その調 整した画面データを被制御側の通信処理部が制御側システムへ送信する 遠隔操作システム。

3 8 . 請求の範囲第 3 2項乃至第 3 7項の何れか一項に記載の遠隔操作 システムであって、 前記被制御側システムは、 フォアグランドウィンドウの切り替えを要求する通 知を制御側システムから受信した場合には、 被制御側システムの表示画面に切替 対象ウィンドゥの一覧を表示状態変更処理部によつて表示させ、 切替対象ウィン ドゥの一覧が表示された表示画面の画面データを被制御側の通信処理部によって 制御側システムへ送信すると共に、

その送信した切替対象ウィンドウの一覧から制御側システムのユーザが選択し たユーザ操作通知を制御側システムから受信した場合には、 ユーザが選択したゥ ィンドウに被制御側システムの表示画面のフォアグランドウィンドウを表示状態 変更処理部によって切り替え、 その切り替えたフォアグランドウィンドウの表示 位置を表示状態変更処理部が前記表示エリアデータに基づいて調整し、 その調整 した画面データを被制御側の通信処理部が制御側システムへ送信する

遠隔操作システム。

3 9 . 請求の範囲第 3 2項乃至第 3 8項の何れか一項に記載の遠隔操作 システムであって、

前記表示状態変更処理部は、 切り替えたフォアグランドウィンドウの表示位置 を前記表示エリアデータに基づいて調整する際には、 切り替えたフォアグランド ウィンドウの大きさを変更し、 その変更後のフオアグランドウィンドウの表示位 置を前記表示エリァデータに基づいて調整する遠隔操作ジステム。一―

4 0 . 前記電気通信回線を介して被制御側システムに接続された制御側 システムによつて被制御側システムを遠隔操作する遠隔操作方法であって、 前記制御側システムは、 この制御側システムの表示画面の表示ェリアに関する 表示ェリアデータを被制御側システムへ送信するステップと、 制御側システムを 利用するユーザが、 被制御側システムの表示画面に表示されているウィンドウの 切り替えを要求する操作を行った場合には、 被制御側システムのウィンドウの切 り替えを要求する通知を被制御側システムへ送信するステップとを備え、 前記被制御側システムは、 受信した前記表示ェリアデータを格納するステップ を備えていると共に、 被制御側システムのウィンドウの切り替えを要求する通知 を制御側システムから受信した場合には、 起動中のウィンドウに関する情報を取 得するステップと、 切替ウィンドウを決定するステップと、 決定したウィンドウ が被制御側システムの表示画面の最前面となるようにウィンドゥの切替処理を行 うステップと、 被制御側システムの表示画面の最前面に位置するフォアグランド ウィンドウの位置及びサイズに関するデータを取得するステップと、 前記表示ェ リァデータに基づいて制御側システムの表示画面の表示エリァとフォアグランド ウィンドウの表示位置とを整合させる整合処理が必要か否かを判定するステツプ とを実行した後、

前記整合処理が必要な場合には、 前記整合処理を行うステップと、 制御側シス テムへ送信する画面データ通知を作成するステップと、 作成した画面データ通知 を制御側システムへ送信するステップとを実行する

遠隔操作方法。

4 1 . 請求の範囲第 4 0項に記載の遠隔操作方法であって、

前記被制御側システムは、 前記整合処理を行うステップにおいては、 制御側シ ステムの表示画面の表示エリアをフォアグランドウィンドウの表示位置に変更す る遠隔操作方法。

― 4 2 . 請求の範囲第 4 0項に記載の遠隔操作方法であって — 前記被制御側システムは、 前記整合処理を行うステップにおいては、 フォアグ ランドウィンドウを表示ェリア内へ移動させる遠隔操作方法。

4 3 . 請求の範囲第 4 0項乃至第 4 2項の何れか一項に記載の遠隔操作 方法であって、

前記被制御側システムは、 前記制御側システムへ送信する画面データ通知を作 成するステップにおいては、 被制御側システムの表示画面におけるフォアグラン ドウインドウの表示位置を示す位置情報を作成し、 前記整合処理を行った画面デ 一タを制御側システムへ送信するステップにおいては、 前記整合処理を行った画 面データと前記位置情報とを制御側システムへ送信する遠隔操作方法。

4 4 . 請求の範囲第 4 0項乃至第 4 3項の何れか一項に記載の遠隔操作 方法であって、

前記制御側システムは、 制御側システムのユーザが行ったユーザ操作が制御側 システム固有の操作であるか否かを判定するステップと、 ユーザ操作が制御側シ ステム固有の操作である場合には、 ユーザ操作が、 制御側システムの表示画面に 表示されているウィンドウの切り替えを要求するウィンドウ切替要求操作である か否かを判定するステップと、 ユーザ操作がウィンドウ切替要求操作である場合 には、 ウィンドウの切り替えを要求する通知を被制御側システムへ送信するステ ップとを備え、

前記被制御側システムは、 ウィンドウの切り替えを要求する通知を制御側シス テムから受信した場合には、 起動中のウィンドウに関する情報を取得するステツ プへ移行し、 その移行したステップと、 その移行したステップに続くステップと を順次実行する

遠隔操作方法。

4 5 . 請求の範囲第 4 0項乃至第 4 4項の何れか一項に記載の遠隔操作 方法であって、

前記制御側システムは、 制御側システムのユーザが行つたユーザ操作が被制御 側システムの操作であるか否かを判定するステップと、 ユーザ操作が被制御側シ ステムの操作である場合には、 被制御側システムの操作に関する通知を被制御側 システムへ送信するステップとを備え、

前記被制御側システムは、 被制御側システムの操作に関する通知を制御側シス テムから受信した場合には、 被制御側システムの操作に関する通知が、 被制御側 システムの表示画面に表示されているウィンドウの切り替えを^求する通知であ るか否かを判定するステップを備え、 被制御側システムの表示画面に表示されて いるウィンドウの切り替えを要求する通知である場合には、 起動中のウィンドウ に関する情報を取得するステップへ移行し、 その移行したステップと、 その移行 したステップに続くステップとを順次実行する 遠隔操作方法。 6 . 請求の範囲第 4 0項乃至第 4 5項の何れか一項に記載の遠隔操作 方法であって、

前記被制御側システムは、 フォアグランドウィンドウの切り替えを要求する通 知を制御側システムから受信した場合には、 起動中のウィンドウに関する情報を 取得するステップと、 被制御側システムの表示画面に切替対象ウィンドウの一覧 を表示するステップと、 切替対象ウィンドウの一覧を表示した表示画面の画面デ 一タを制御側システムへ送信するステツプとを実行し、

切替対象ウィンドウの一覧を表示した表示画面の画面データを受信した制御側 システムからユーザ操作通知を受信した場合には、 被制御側システムの表示画面 に表示した切替対象ウィンドウの一覧を閉じるステップと、 ユーザ操作通知がゥ インドウの切り替えを要求する通知であるか否かを判定するステップとを実行し 、 ウィンドウの切り替えを要求する通知である場合には、 その通知に従って切替 ウィンドウを決定するステツプを実行した後、 決定したウィンドウが被制御側シ ステムの表示画面の最前面となるようにウィンドウの切替処理を行うステップへ 移行し、 その移行したステップと、 その移行したステップに続くステップとを順 次実行する

遠隔操作方法。

4 7 . 請求の範囲第 4 0項乃至第 4 6項の何れか一項に記載の遠隔操作 方法であって、

前記被制御側システムは、 被制御側システムの表示画面の最前面に位置するフ オアグランドウィンドウの位置及びサイズに関するデータを取得するステップの 後に、 前記表示エリアデータに基づいてフォアグランドウィンドウの変更サイズ を決定するステップと、 フォアグランドウィンドウを決定したサイズに変更する と共に、 その変更に際して行った処理に関する処理情報を格納するステップとを 実行して、 整合処理が必要か否かを判定するステップへ移行し、 その移行したス その移行したステップに続くステップとを順次実行する遠隔操作方法