JP4971228B2 - コンピュータの遠隔操作システム - Google Patents

Description

この発明はコンピュータを遠隔操作する際の技術に関する。

離れた場所にあるコンピュータを他のコンピュータを用いて操作する、コンピュータの遠隔操作システム（たとえば、Windows（登録商標）系のＯＳで用いられる「リモートデスクトップ」システム）が知られている。そして、操作する側のコンピュータとして携帯電話機を用いる技術が提案されている。操作する側のコンピュータとして携帯電話機を用いることができれば、その普及率、携行率、携帯電話無線網の整備状況等からみて、誰でも、いつでも、どこからでも、遠隔地にあるコンピュータを操作することが可能となるため、好都合である。

しかしながら、操作する側のコンピュータとして携帯電話機を用いる場合、携帯電話機は、一般的に、十字キーのような方向指示デバイスは備えているが、画面内におけるポインタ位置（２次元座標）を直接指定するための座標指定デバイス（マウス、タッチパッド、タッチパネルなど）を備えていないから、一般的なコンピュータのようにユーザインタフェース部品（コンピュータの表示画面に２次元配置された操作ボタン、テキスト、一覧表などの入力操作対象領域を意味する。）にポインタを移動する操作は容易ではない。

このような問題を解決するために、操作される側のコンピュータにおいて起動しているアプリケーションソフトウェア（応用プログラム）ごとに、携帯電話機の表示装置での操作に適したメニューを作成しておき、メニュー操作を介して、携帯電話機から被操作コンピュータを操作する代替メニュー方式が提案されている（特許文献１参照）。

代替メニュー方式によれば、携帯電話機においてはメニュー操作のみを行えばよいから、たとえば、十字キーのうち上下方向指示キー（または左右方向指示キー）を数回操作するだけで所望のメニュー項目に到達することができる。したがって、座標指定デバイスを備えていない携帯電話機からでも、容易に被操作コンピュータを遠隔操作することが可能となる。

しかし、代替メニュー方式を利用するためには、アプリケーションソフトウェアごとに別途、個別のメニューを作成して登録しておかなければならず、メニューの登録されていないアプリケーションソフトウェアでは利用することができない。また、代替メニュー方式における操作感は、被操作コンピュータの表示画面に２次元配置された状態のユーザインタフェース部品に対する操作感とは大きく異なるため、別途、携帯電話機用の操作法を習得する必要がある。

一方、携帯電話機から操作する場合と、被操作コンピュータなど一般的なコンピュータから操作する場合とで、それぞれの操作に適した別々の画面が表示されるようアプリケーションソフトウェア自体を構成しておく方法も考えられる。

この方法によれば、アプリケーションソフトウェアとは別にメニューを作成・登録する必要はないものの、アプリケーションソフトウェア自体を最初からそのように構成しておかなければならず、既存のアプリケーションソフトウェアをそのまま使用することができないので、汎用性に欠ける。また、やはり、携帯電話機からの操作感と一般的なコンピュータからの操作感とが異なるため、上述のような不都合がある。

このような、問題を克服するために、上記特許文献１には、被操作コンピュータの本来の表示画面を分割、縮小等して携帯電話機の画面に表示する方法も開示されている。しかし、被操作コンピュータの本来の表示画面を分割、縮小等して携帯電話機の画面に表示するのみでは、２次元配置された所望のユーザインタフェース部品にポインタを移動する操作は、やはり容易ではない。

しかも、携帯電話機の表示画面は小さいので、所望のユーザインタフェース部品が表示されるまで表示画面を２次元スクロールしなければならず、操作はさらに煩雑になる。

このような、ポインタ移動操作およびスクロール操作の２重操作の煩雑を回避するために、被操作画面におけるスクロールとポインタの移動とを連動させる技術が提案されている（特許文献２参照）。この技術を用いれば、携帯電話機の十字キーの操作のみで、スクロールとポインタの移動とを同時に行うことができるので、携帯電話機を用いて行う遠隔操作のストレスをある程度緩和することができる。

しかしながら、この技術を利用しても、２次元配置された所望のユーザインタフェース部品にポインタを移動するためには、やはり十字キーを多数回、複雑に操作しなければならず、メニュー方式のような操作の容易性は期待できない。
特開２００３−３２３４０２号公報 特開２００６−１５５３２７号公報

この発明は、従来のこのようなシステムの問題点を解決し、一般的な携帯電話機のような座標指定デバイスを持たない操作側コンピュータからでも、被操作コンピュータの本来の表示画面における操作感を損なうことなく、かつ、被操作コンピュータを容易に遠隔操作できる、汎用性の高いコンピュータの遠隔操作システム等を提供することを目的とする。

この発明によるコンピュータの遠隔操作システムは、サーバ装置と、表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置と、を備えたシステムであって、サーバ装置は、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部と、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部と、を備え、遠隔操作装置は、サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部と、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信するよう制御する部品選択制御部と、を備え、サーバ装置は、さらに、遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部、を備えたこと、を特徴とする。

この発明による遠隔操作装置は、表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置であって、サーバ装置から受信した、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部と、サーバ装置から受信した、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成するとともに、特定されたユーザインタフェース部品に対して予め与えられた処理をサーバ装置に実行させるために、当該部品選択情報をサーバ装置に送信するよう制御する部品選択制御部と、を備えたこと、を特徴とする。

この発明によるサーバ装置は、表示画面を有する表示部と操作部とを備えた遠隔操作装置から情報通信網を介して遠隔操作可能なサーバ装置であって、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得するとともに、遠隔操作装置の表示画面に視覚情報を再生表示させるために当該サーバ画面情報を遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部と、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部と、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成する遠隔操作装置、から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部と、を備えたこと、を特徴とする。

この発明によるプログラムは、被操作コンピュータをサーバ装置として機能させるとともに、操作側コンピュータを表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置として機能させるプログラムであって、サーバ装置は、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部と、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部と、を備え、遠隔操作装置は、サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部と、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信するよう制御する部品選択制御部と、を備え、サーバ装置は、さらに、遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部、を備えたこと、を特徴とする。

この発明によるプログラムは、操作側コンピュータを、表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置として機能させるプログラムであって、遠隔操作装置は、サーバ装置から受信した、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部と、サーバ装置から受信した、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成するとともに、特定されたユーザインタフェース部品に対して予め与えられた処理をサーバ装置に実行させるために、当該部品選択情報をサーバ装置に送信するよう制御する部品選択制御部と、を備えたこと、を特徴とする。

この発明によるプログラムは、被操作コンピュータを、表示画面を有する表示部と操作部とを備えた遠隔操作装置から情報通信網を介して遠隔操作可能なサーバ装置として機能させるプログラムであって、サーバ装置は、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得するとともに、遠隔操作装置の表示画面に視覚情報を再生表示させるために当該サーバ画面情報を遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部と、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部と、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成する遠隔操作装置、から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部と、を備えたこと、を特徴とする。

この発明によるコンピュータの遠隔操作方法は、表示画面を有する表示部と操作部とを備えた遠隔操作装置を用いて、情報通信網を介してサーバ装置を遠隔操作する方法であって、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信するよう制御するサーバ画面情報取得ステップと、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成ステップと、サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生ステップと、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信するよう制御する部品選択ステップと、遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行ステップと、を備えたこと、を特徴とする。

本発明の特徴は、上記のように広く示すことができるが、その構成や内容は、目的および特徴とともに、図面を考慮に入れた上で、以下の開示によりさらに明らかになるであろう。

本願の第１発明によるコンピュータの遠隔操作システムは、サーバ装置と、表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置と、を備えたシステムである。

当該システムを構成するサーバ装置は、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部、を備えている。

サーバ装置は、さらに、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部、を備えている。

当該システムを構成する遠隔操作装置は、サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部、を備えている。

遠隔操作装置は、さらに、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信するよう制御する部品選択制御部、を備えている。

サーバ装置は、さらに、遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部、を備えている。

本願の第２発明による遠隔操作装置は、表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置である。

当該遠隔操作装置は、サーバ装置から受信した、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部、を備えている。

遠隔操作装置は、さらに、サーバ装置から受信した、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成するとともに、特定されたユーザインタフェース部品に対して予め与えられた処理をサーバ装置に実行させるために、当該部品選択情報をサーバ装置に送信するよう制御する部品選択制御部、を備えている。

本願の第３発明によるサーバ装置は、表示画面を有する表示部と操作部とを備えた遠隔操作装置から情報通信網を介して遠隔操作可能なサーバ装置である。

当該サーバ装置は、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得するとともに、遠隔操作装置の表示画面に視覚情報を再生表示させるために当該サーバ画面情報を遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部、を備えている。

サーバ装置は、さらに、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部、を備えている。

サーバ装置は、さらに、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成する遠隔操作装置、から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部、を備えている。

本願の第４発明によるプログラムは、被操作コンピュータをサーバ装置として機能させるとともに、操作側コンピュータを表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置として機能させるプログラムである。

当該サーバ装置は、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部、を備えている。

サーバ装置は、さらに、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部、を備えている。

当該遠隔操作装置は、サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部、を備えている。

遠隔操作装置は、さらに、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信するよう制御する部品選択制御部、を備えている。

サーバ装置は、さらに、遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部、を備えている。

本願の第５発明によるプログラムは、操作側コンピュータを、表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置として機能させるプログラムである。

当該遠隔操作装置は、サーバ装置から受信した、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部、を備えている。

遠隔操作装置は、さらに、サーバ装置から受信した、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成するとともに、特定されたユーザインタフェース部品に対して予め与えられた処理をサーバ装置に実行させるために、当該部品選択情報をサーバ装置に送信するよう制御する部品選択制御部、を備えている。

本願の第６発明によるプログラムは、被操作コンピュータを、表示画面を有する表示部と操作部とを備えた遠隔操作装置から情報通信網を介して遠隔操作可能なサーバ装置として機能させるプログラムである。

当該サーバ装置は、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得するとともに、遠隔操作装置の表示画面に視覚情報を再生表示させるために当該サーバ画面情報を遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部、を備えている。

サーバ装置は、さらに、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部、を備えている。

サーバ装置は、さらに、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成する遠隔操作装置、から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部、を備えている。

本願の第７発明によるプログラムを記憶した記録媒体は、本願の第４ないし第６のいずれかの発明によるプログラムを記憶したことを特徴とする。

本願の第８発明によるコンピュータの遠隔操作方法は、表示画面を有する表示部と操作部とを備えた遠隔操作装置を用いて、情報通信網を介してサーバ装置を遠隔操作する方法である。

当該方法は、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信するよう制御するサーバ画面情報取得ステップと、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成ステップと、サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生ステップと、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信するよう制御する部品選択ステップと、遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行ステップと、を備えている。

つまり、これらのシステム、装置、プログラム、プログラムを記憶した記録媒体および方法においては、サーバ装置は、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信する。

サーバ装置は、さらに、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信する。

遠隔操作装置は、サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示する。

遠隔操作装置は、さらに、サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信する。

サーバ装置は、さらに、遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行する。

したがって、遠隔操作装置のユーザは、遠隔操作装置の表示画面に再生表示されたサーバ画面情報と同様の視覚情報上で、操作部を用いて移動操作を行うことで、各ユーザインタフェース部品間で強調表示を移動させるとともに、所望のユーザインタフェース部品が強調表示された状態において選択操作を行うことで、サーバ装置に、所望のユーザインタフェース部品に対して予め与えられた処理を実行させることができる。

このため、従来の代替メニュー方式のように、操作感が、サーバ装置の本来の表示画面におけるそれと大きく異なることもないし、アプリケーションソフトウェアごとに別途、個別のメニューを作成して登録しておく必要もない。

また、たとえば十字キーの上下方向指示キーの１回の操作で、ユーザインタフェース部品ひとつ分の強調表示の移動を行うようにすることで、ユーザインタフェース部品が複雑に２次元配置されたような場合であっても、操作が煩雑になることはない。

さらに、ユーザインタフェース部品の部品配置情報は、ユーザインタフェース部品を用いて構築される一般的なアプリケーションソフトウェアであれば通常有している情報から生成することができるため、既存のアプリケーションソフトウェアをそのまま使用できることが多い。

すなわち、一般的な携帯電話機のような座標指定デバイスを持たない操作側コンピュータからでも、被操作コンピュータの本来の表示画面における操作感を損なうことなく、かつ、被操作コンピュータを容易に遠隔操作できる、汎用性の高いコンピュータの遠隔操作システム等を実現することができる。

図１は、この発明の一実施形態によるコンピュータの遠隔操作システムである遠隔操作システム２の構成を示すブロック図である。遠隔操作システム２は、サーバ装置（被操作コンピュータ）４と、遠隔操作装置（操作側コンピュータ）６と、を備えており、これらは、ＬＡＮ(ローカル・エリア・ネットワーク)、ＷＡＮ(ワイド・エリア・ネットワーク)、インターネット等の情報通信網８を介して通信可能となっている。図２は、サーバ装置４および遠隔操作装置６のそれぞれ詳細な構成を含む遠隔操作システム２のブロック図である。

図２に示すように、遠隔操作装置６は、サーバ装置４の画面情報（表示画面に表示されるアイコン、文字列、画像などの視覚情報）その他の情報を情報通信網８を介して取得し、取得した情報に基づいて、遠隔操作装置６の表示画面１２に被操作画面を表示する。

遠隔操作装置６のユーザ１００（図１参照）は、遠隔操作装置６の表示画面１２に表示された被操作画面を見ながら、遠隔操作装置６の操作部２６を操作する。遠隔操作装置６の制御部１８では、操作部２６から入力された情報に基づいて、内部での情報処理が行われたり遠隔操作命令が生成されて情報通信網８を介してサーバ装置４に送出されたりする。

なお、ここにいう「遠隔操作命令」とは、遠隔操作装置６の操作部２６からの信号に基づいて直接的もしくは間接的に生成され、または、遠隔操作装置６の内部における情報処理により生成され、サーバ装置４を操作するために情報通信網８を介してサーバ装置４に送出される信号をいう。

サーバ装置４は、伝達された遠隔操作命令に基づいて情報処理を行う。この情報処理によりサーバ装置４の画面表示情報が変化するなどして、新たな画面表示情報を遠隔操作装置６に送出する必要が生じた場合には、自動的にまたは遠隔操作装置６からの要求にしたがって情報通信網８を介してこれを送出する。

このような処理を繰り返すことで、ユーザ１００は、遠隔操作装置６を用いてサーバ装置４を遠隔操作することができる。なお、遠隔操作システム２のうち、一般的な遠隔操作処理は、たとえば、Windows（商標）系のＯＳで用いられる「リモートデスクトップ」システムや、RealVNC社の「ＶＮＣ(仮想ネットワークコンピューティング)」システムのような、従来の公知の遠隔操作システムにおける処理と同様であるため、詳しい説明を省略する。

つぎに、図２を参照しつつ、遠隔操作システム２について詳述する。遠隔操作システム２を構成する遠隔操作装置６は、表示画面１２を有する表示部１０と，記憶部１４と、情報通信網８を介してサーバ装置４と通信するための通信インタフェース部１６と、制御部１８と、操作部２６とを備えている。

操作部２６は、方向指示操作体２８と、選択操作体３０と、文字列操作体３２とを有している。

方向指示操作体２８は、主に、方向、たとえば、遠隔操作装置６の表示画面１２内での少なくとも１方向（典型的には４方向）を指示するために用いられる。方向指示操作体のうち上方向を指示するために用いられる操作体を上方向指示操作体、下方向を指示するために用いられる操作体を下方向指示操作体、左方向を指示するために用いられる操作体を左方向指示操作体、右方向を指示するために用いられる操作体を右方向指示操作体という。また、上方向指示操作体および下方向指示操作体を併せて上下方向指示操作体、左方向指示操作体および右方向指示操作体を併せて左右方向指示操作体という。

文字列操作体３２は、文字列を入力するために用いられる。ここに「文字列」とは、１以上の文構成要素をいい、文字、数字、記号を含む概念である。

選択操作体３０は、主に、遠隔操作装置６の表示画面１２に表示された被操作画面を構成する選択対象要素のうち、ポインタ（またはカーソル等の強調表示。以下同様）位置に対応する選択対象要素を選択状態とするために用いられる。ここに「選択対象要素」とは、選択操作体による選択の対象となる要素をいい、たとえば、アイコン、文字列、画像の一部または全体など、表示画面上の視覚情報の他、これらの視覚情報が定義されている、または、定義可能な表示画面上の座標点を含む概念である。また、「選択対象要素を選択状態にする」とは、当該選択対象要素を、後に実行される情報処理の対象として指定することをいう。

制御部１８は、サーバ装置４の画面情報その他の情報を情報通信網８を介して取得し、取得した情報に基づいて、遠隔操作装置６の表示画面１２に被操作画面を表示するとともに、遠隔操作装置６の操作部２６からの信号に基づいて又は予め定められた手順にしたがって、内部処理を行ったり遠隔操作命令を生成して情報通信網８を介してサーバ装置４に送出したりするよう制御する。

この制御部１８は、視覚情報再生制御部２０と、部品選択制御部２２とを備えている。これらについては後述する。

一方、遠隔操作システム２を構成するサーバ装置４は、表示画面１１２を有する表示部１１０と，記憶部１１４と、情報通信網８を介して遠隔操作装置６と通信するための通信インタフェース部１１６と、制御部１１８と、操作部１２６とを備えている。

操作部１２６は、座標指定操作体１２８と、選択操作体１３０と、文字列操作体１３２とを有している。

座標指定操作体１２８は、主に、任意の座標、たとえば、サーバ装置４の表示画面１１２内におけるポインタ位置（２次元座標）を直接指定するために用いられる。

文字列操作体１３２は、文字列を入力するために用いられる。

選択操作体１３０は、主に、サーバ装置４の表示画面１１２に表示された画面を構成する選択対象要素のうち、ポインタ位置に対応する選択対象要素を選択状態とするために用いられる。

制御部１１８は、サーバ装置４における画面情報その他の情報を取得して情報通信網８を介して遠隔操作装置６に送出するとともに、遠隔操作装置６からの遠隔操作命令に基づいて、情報処理を行ったり、当該情報処理の結果を情報通信網８を介して遠隔操作装置６に送出したりするよう制御する。

この制御部１１８は、サーバ画面情報取得制御部１２０と、部品配置情報生成制御部１２２と、部品処理実行制御部１２４とを備えている。

サーバ装置４の制御部１１８を構成するサーバ画面情報取得制御部１２０は、サーバ装置４の表示画面１１２に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置６に送信するよう制御する。

サーバ装置４の制御部１１８を構成する部品配置情報生成制御部１２２は、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置６に送信するよう制御する。

前述の遠隔操作装置６の制御部１８を構成する視覚情報再生制御部２０は、サーバ装置４から受信したサーバ画面情報に基づいて、遠隔操作装置６の表示画面１２に視覚情報を再生表示するよう制御する。

遠隔操作装置６の制御部１８を構成する部品選択制御部２２は、サーバ装置４から受信した部品配置情報に基づいて、遠隔操作装置６の表示画面１２に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置６の操作部２６からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置６の操作部２６からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置４に送信するよう制御する。

部品選択情報を生成する際の部品選択制御部２２における制御方法は、とくに限定されるものではないが、たとえば、遠隔操作装置６の方向指示操作体２８の一回の操作で、強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へとユーザインタフェース部品ひとつ分だけ移動するよう制御するとともに、ユーザインタフェース部品に対応する部分が強調表示されている状態で遠隔操作装置６の選択操作体３０が操作されると、当該ユーザインタフェース部品を特定した部品選択情報を生成し、サーバ装置４に送信するよう制御するように構成することができる。

サーバ装置４の制御部１１８を構成する部品処理実行制御部１２４は、遠隔操作装置６から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する。

図３は、図２に示す遠隔操作システム２を構成するサーバ装置（被操作コンピュータ）４および遠隔操作装置（操作側コンピュータ）６のハードウェア構成の一例を示すブロック図であり、遠隔操作装置として携帯電話機６を用いた場合の例である。この例では、情報通信網８として、携帯電話無線網８ａおよびインターネット８ｂが用いられている。

図３に示すように、携帯電話機６は、本システムの携帯電話機６側のプログラムを記憶した記録媒体であって図２の記憶部１４に対応するメモリ７０、メモリ７０に記憶されたプログラムを実行する制御部１８に対応するＣＰＵ６２、表示部１０に対応するＬＣＤ（液晶表示装置）６４，操作部２６に対応する操作キー群７４、情報通信網８を介してサーバ装置４等と通信するための通信インタフェース部１６に対応する通信インタフェース７２、ならびに、マイクロフォン６６およびスピーカ６８を備えている。

操作キー群７４は、第１ファンクションキー７６ａおよび第２ファンクションキー７６ｂ（合わせてファンクションキー７６という）、方向指示操作体２８として機能する十字キー７８，選択操作体３０としての選択キー８０，ならびに、文字列操作体３２としてのテンキー８２（複数のキーにより構成）を備えている。

図４に示すように、十字キー７８は、方向指示操作体２８の上方向指示操作体、下方向指示操作体、左方向指示操作体、右方向指示操作体にそれぞれ対応する上方向指示キー７８ａ、下方向指示キー７８ｂ、左方向指示キー７８ｃ、右方向指示キー７８ｄを備えている。上方向指示キー７８ａおよび下方向指示キー７８ｂを併せて上下方向指示キーといい、左方向指示キー７８ｃおよび右方向指示キー７８ｄを併せて左右方向指示キーという。

なお、ファンクションキー７６は、たとえば、遠隔操作装置６の表示画面１２に表示される被操作画面の縮尺を変更するために用いられる。また、携帯電話機６は、送受話機能など携帯電話機本来の機能を備えているが、これらの機能やこれらの機能を実現するハードウェア構成は、従来のものと同様であるので、説明を省略する。

図３に示すように、サーバ装置４は、一般的なパーソナルコンピュータやサーバコンピュータと同様の構成である。サーバ装置４は、本システムのサーバ装置４側のプログラムを記憶した記録媒体であるハードディスク５０、ハードディスク５０に記憶されたプログラムがロードされる主メモリを含むメモリ５１を備えている。ハードディスク５０およびメモリ５１が、図２の記憶部１１４に対応する。

サーバ装置４は、さらに、主メモリにロードされたプログラムを実行する制御部１１８に対応するＣＰＵ４２，表示部１１０に対応するＬＣＤ４４，操作部１２６に対応するキーボード４６およびマウス４８，情報通信網８を介して携帯電話機６等と通信するための通信インタフェース部１１６に対応する通信インタフェース５２を備えている。

キーボード４６は、図２の文字列操作体１３２として機能する。マウス４８は、座標指定操作体１２８および選択操作体１３０として機能する。

図４は、携帯電話機６の外観構成の一例を示す図面（使用状態における正面図）である。図面上部にＬＣＤ６４が配置され、ＬＣＤ６４の下方に、操作キー群７４が配置されている。

図５は、遠隔操作装置６として携帯電話機６を用いた場合における遠隔操作システム２の処理の流れの一例を示すフローチャートである。図６は、サーバ装置４の表示画面１１２の表示内容の一例を示す図面である。図７Ａは、部品情報のデータ構造の一例を示す図面である。図７Ｂは、部品配置情報のデータ構造の一例を示す図面である。図８Ａおよび図８Ｂは、携帯電話機６の表示画面１２の表示内容の推移を示す図面である。

主に図５〜図８Ｂに基づいて、遠隔操作システム２における処理の説明を行う。

携帯電話機６のＣＰＵ６２（図３参照）は、遠隔操作命令の生成を監視しており、携帯電話機６における所定のキー操作または携帯電話機６における内部処理結果に基づいて遠隔操作命令であるサーバ画面情報取得命令が生成されると、図５に示すように、サーバ装置４に対してサーバ画面情報取得命令を送出する（ステップＳ１）。

サーバ装置４のＣＰＵ４２（図３参照）は、携帯電話機６からの遠隔操作命令の受信を監視しており、遠隔操作命令であるサーバ画面情報取得命令を受けると、サーバ装置４の表示画面１１２に現在表示中の画面（図６参照）の画面情報を取得し、取得した画面情報をサーバ画面情報として、サーバ装置４のメモリ５１に設けたサーバ画面情報記憶領域に記憶する（ステップＳ２）。

図６は、サーバ装置４の表示画面１１２全体にアクティブウィンドウが表示されている場合の例であるが、もちろん、このような場合以外にも、この発明を適用することができる。

たとえば、サーバ装置４の表示画面１１２の一部にアクティブウィンドウが表示されている場合にも、この発明を適用することができる。この場合、通常、アクティブウィンドウを構成する画面情報がサーバ画面情報に該当することになるが、アクティブウィンドウを含む表示画面１１２全体を構成する画面情報を、サーバ画面情報とすることもできる。

つぎに、サーバ装置４のＣＰＵ４２は、取得したサーバ画面情報を携帯電話機６に送信する（ステップＳ３）とともに、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し、携帯電話機６に送信する（ステップＳ４）。

たとえば、マルチウィンドウ型のグラフィックユーザインタフェース（ＧＵＩ）機能を備えたオペレーションシステム（ＯＳ）上で動く、一般的なアプリケーションソフトウェアの作成に際し、入力用の画面（たとえば、操作ボタン、テキスト編集、一覧など）は、多くの場合、全てを独自に作成するのではなく、予め用意されたユーザインタフェース部品を画面上に配置することにより構成される。したがって、このようにして作成されたアプリケーションソフトウェアについては、配置された各ユーザインタフェース部品の属性情報が保持されている。

なお、上述の操作ボタンは、表示画面上でこれを操作（たとえばクリック）することで、何らかの処理を行わせるために用いられる。テキスト編集は、表示画面上で文字列の入力編集を行うために用いられる。一覧は、表示画面上に複数の項目を一覧表示し、その中から１または２以上の項目を選択させるために用いられる。

サーバ装置４のＣＰＵ４２は、ステップＳ４において、当該アプリケーションソフトウェアにおける各ユーザインタフェース部品の属性情報に基づいて、まず、図７Ａに例示する部品情報を生成するとともに、生成した部品情報を、サーバ装置４のメモリ５１に設けた部品情報記憶領域に記憶する。

図７Ａに示す部品情報は、図６の表示画面１１２に対応している。すなわち、図７Ａの部品情報におけるＩＤ＝１〜４に示すユーザインタフェース部品は、それぞれ、図６のサーバ装置４の表示画面１１２に表示されている終了ボタン１４２、中断ボタン１４４、テキスト編集１４６、一覧１４８に対応している。

部品情報は、各ユーザインタフェース部品における基本情報と追加情報とを関連付けてなる情報である。このうち基本情報は、各ユーザインタフェース部品の識別情報（ＩＤ）と、当該ユーザインタフェース部品における位置・サイズ情報（ｐｏｓ）と、当該ユーザインタフェース部品の種別情報（ｔｙｐｅ）とを対応付けてなる情報である。

位置・サイズ情報（ｐｏｓ）は、位置情報（ｘ、ｙ）およびサイズ情報（ｗ、ｈ）により構成されている。位置情報（ｘ、ｙ）におけるｘ、ｙは、それぞれ、表示画面における水平方向の定義位置、垂直方向の定義位置を表す。サイズ情報（ｗ、ｈ）におけるｗ、ｈは、それぞれ、表示画面における幅（水平方向寸法）、高さ（垂直方向寸法）を表す。位置・サイズ情報（ｐｏｓ）により、当該ユーザインタフェース部品の表示画面における配置（位置および大きさ）が特定される。

種別情報（ｔｙｐｅ）は、ユーザインタフェース部品の機能の種別（たとえば、「ボタン」機能、「テキスト編集」機能、「一覧」機能など）を表す情報である。

追加情報の内容は特に限定されるものではないが、たとえば、当該ユーザインタフェース部品の種別に応じた種々の情報を含ませることができる。たとえば「ボタン」の場合、ボタンに表示される文字列が「終了」であれば「ｔｉｔｌｅ＝終了」なる情報を追加情報とすることができる。また、「テキスト編集」の場合、編集中の文字列、すなわちテキストの内容が「コンピュータの歴史は」であれば「ｃｏｎｔｅｎｔ＝コンピュータの歴史は」なる情報を追加情報とすることができる。また、「一覧」の場合、３つの項目「項目Ａ」、「項目Ｂ」、「項目Ｃ」からなる一覧であれば、項目数と各項目を表す文字列「ｃｎｔ＝３、ｉｔｅｍ＝"項目Ａ，項目Ｂ，項目Ｃ"」なる情報を追加情報とすることができる。

サーバ装置４のＣＰＵ４２は、つぎに、生成した部品情報から必要な情報を抽出し、部品配置情報を生成する。図７Ｂに、部品配置情報のデータ構造の一例を示す。図７Ｂの例では、部品配置情報は、図７Ａの部品情報を構成する基本情報から種別情報（ｔｙｐｅ）を除いたものとなっている。この部品配置情報が携帯電話機６に送信される。

なお、この実施形態においては、部品配置情報が定義される画面領域としてウィンドウを例示しているが、部品配置情報が定義される画面領域は、ウィンドウに限定されるものではない。たとえば、ダイアログボックス、フォーム、コンテナ、表示画面全体など、ユーザインタフェース部品の位置情報が当該画面領域内において定義可能なすべての画面領域が、部品配置情報が定義される画面領域として、本発明の適用対象となる。

図５に戻って、携帯電話機６のＣＰＵ６２は、サーバ装置４から受信したサーバ画面情報に基づいて、携帯電話機６の表示画面１２に視覚情報を再生表示する（ステップＳ５）。

ステップＳ５において、携帯電話機６の表示画面１２に再生表示される視覚情報は、サーバ装置４から受信したサーバ画面情報をそのままの態様で再生表示するようにしてもよいが、たとえば、サーバ画面情報の一部を携帯電話機６の表示画面１２に表示したり、画面を縮小して携帯電話機６の表示画面１２表示したりするなど、携帯電話機６の表示画面１２に適した態様に変更して再生表示するようにしてもよい。

携帯電話機６のＣＰＵ６２は、サーバ装置４から部品配置情報を受信し、受信した部品配置情報を携帯電話機６のメモリ７０に設けた部品配置情報記憶領域に記憶する（ステップＳ６）。

携帯電話機６のＣＰＵ６２は、携帯電話機６の上下方向指示キー７８ａ、７８ｂの操作を監視しており（ステップＳ７）、上下方向指示キー７８ａ、７８ｂの操作を検出すると、強調表示移動命令を受けたものとして、部品配置情報記憶領域に記憶されている部品配置情報に基づいて、携帯電話機６の表示画面１２上で、強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させる（ステップＳ８）。

なお、ステップＳ６実行後、携帯電話機６の上下方向指示キー７８ａ、７８ｂが未だ一度も操作されていない状態（初期状態）での強調表示をどのようにするかについては、とくに限定されるものではないが、たとえば、初期状態においては強調表示を行わず、ステップＳ６実行後、携帯電話機６の上下方向指示キー７８ａ、７８ｂが最初に操作されると、携帯電話機６の表示画面１２に再生表示されている視覚情報のうち予め定められた特定のユーザインタフェース部品に対応する部分を強調表示するよう構成することができる。

この予め定められた特定のユーザインタフェース部品としては、たとえば、図７Ｂに示す部品配置情報の最上欄に記載されたユーザインタフェース部品や、携帯電話機６の表示画面１２の最上部に配置されているユーザインタフェース部品を例示することができるが、とくに限定されるものではない。

逆に、初期状態において、これらの予め定められた特定のユーザインタフェース部品に対応する部分を強調表示するよう構成することもできる。

強調表示の方法については、とくに限定されるものではないが、たとえば、ユーザインタフェース部品に対応する部分の周囲を太枠で囲んだり、ユーザインタフェース部品に対応する部分にアンダーラインを付したり、ユーザインタフェース部品に対応する部分に色つきの四角形を表示させたり、ユーザインタフェース部品に対応する部分を反転表示させたり、点滅表示させたりすることができる。

図８Ａは、ステップＳ８実行後における携帯電話機６の表示画面１２を例示した図面である。図８Ａの例では、携帯電話機６の表示画面１２にサーバ画面情報がそのままの態様で再生表示されている。

また、この例では、初期状態においては強調表示を行わず、ステップＳ６実行後、携帯電話機６の上下方向指示キー７８ａ、７８ｂが最初に操作されると、ステップＳ８において，携帯電話機６の表示画面１２に再生表示されている視覚情報のうち部品配置情報（図７Ｂ参照）の最上欄に記載されたユーザインタフェース部品（ＩＤ＝１）に対応する部分、すなわち、終了ボタン１５２を強調表示するようにしている。

そして、強調表示として、ユーザインタフェース部品に対応する部分の周囲を囲む太枠からなるカーソル１６０を採用している。

携帯電話機６のＣＰＵ６２は、ステップＳ７〜ステップＳ８を繰り返し実行することで、携帯電話機６の表示画面１２上において、カーソル１６０を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと、部品配置情報に基づいて、順次、移動させてゆく。この処理は専ら携帯電話機６の内部で行われ、途中経過はサーバ装置４に伝達されない。

部品配置情報に基づいて、カーソル１６０をユーザインタフェース部品間で移動させる際の移動順序は、とくに限定されるものではないが、たとえば、部品配置情報（図７Ｂ参照）における各ユーザインタフェース部品の位置・サイズ情報（ｐｏｓ）のうち、位置情報（ｘ、ｙ）に基づいて決定することができる。

たとえば、各ユーザインタフェース部品について、位置情報（ｘ、ｙ）のうち垂直方向の定義位置を表すｙの値が大きいもの（表示画面のより上方に配置されたもの）を上位とする順位付けを行い、ｙの値が同一の場合は、水平方向の定義位置を表すｘの値が小さいもの（表示画面のより左方に配置されたもの）を上位とする順位付けを行うよう構成することができる。このようにして各ユーザインタフェース部品に対して、カーソル１６０の移動順序に関する順位付けを行う。

携帯電話機６の所定の操作キー１回の操作で、上記順位付けにしたがって、カーソル１６０を一のユーザインタフェース部品に対応する部分から次順位または前順位のユーザインタフェース部品に対応する部分へと移動させるのである。

この実施形態においては、携帯電話機６の下方向指示キー７８ｂの１回の操作で、上記順位付けにしたがって、カーソル１６０を次順位のユーザインタフェース部品に対応する部分へと移動させるとともに、上方向指示キー７８ａの１回の操作で、カーソル１６０を前順位のユーザインタフェース部品に対応する部分へと移動させるよう構成している。

なお、この実施形態においては、カーソル１６０が最後順位のユーザインタフェース部品に対応する部分にあるときに、さらに下方向指示キー７８ｂが操作されると、カーソル１６０を最先順位のユーザインタフェース部品に対応する部分に移動させるとともに、カーソル１６０が最先順位のユーザインタフェース部品に対応する部分にあるときに、さらに上方向指示キー７８ａが操作されると、カーソル１６０を最後順位のユーザインタフェース部品に対応する部分に移動させるよう構成している。

たとえば、図８Ａに示す状態から、携帯電話機６の下方向指示キー７８ｂが３回操作されると、終了ボタン１５２を囲むように表示されていたカーソル１６０は、図８Ｂに矢印で示すように、テキスト編集１５６、中断ボタン１５４を経て一覧１５８へと移動する。さらに下方向指示キー７８ｂが操作されると、カーソル１６０は終了ボタン１５２へと移動し、図８Ａに示す状態に戻る。

一方、図８Ａに示す状態から、携帯電話機６の上方向指示キー７８ａが操作されると、カーソル１６０は、図８Ｂに示す矢印と逆の経路をたどって移動する。

なお、この実施形態においては、上記順位付けに基づくカーソル移動に使用する操作キーとして、上下方向指示キー７８ａ、７８ｂを例に説明したが、この発明は、これに限定されるものではない。上記カーソル移動に使用する操作キーとして、たとえば、左右方向指示キー７８ｃ、７８ｄや、ファンクションキー７６を例示することができる。

また、上述の実施形態においては、上記順位付けに基づくカーソル移動に使用する操作キーとして、一対の操作キー（この実施形態においては上下方向指示キー７８ａ、７８ｂ）を用い、カーソル１６０が双方向に移動可能となるよう、すなわち、次順位および前順位のユーザインタフェース部品のいずれにも移動可能となるよう構成したが、上記カーソル移動に使用する操作キーとして、１つの操作キー（たとえば、下方向指示キー７８ｂ）のみを用い、カーソル１６０が一方向への移動、たとえば、次順位のユーザインタフェース部品への移動のみが可能となるよう構成することもできる。

また、上述の実施形態においては、一対の操作キー（この実施形態においては上下方向指示キー７８ａ、７８ｂ）を用いて、カーソル１６０を移動させるよう構成したが、たとえば、二対の操作キー（たとえば、上下方向指示キー７８ａ、７８ｂ、および、左右方向指示キー７８ｃ、７８ｄ）を用いて、カーソル１６０を移動させるよう構成することもできる。

この場合、たとえば、上下方向指示キー７８ａ、７８ｂは、携帯電話機６の表示画面１２でカーソル１６０を上下方向に移動させるために用いられ、左右方向指示キー７８ｃ、７８ｄは、カーソル１６０を左右方向に移動させるために用いられる。

図５に戻って、携帯電話機６のＣＰＵ６２は、携帯電話機６の選択キー８０の操作を監視しており（ステップＳ９）、選択キー８０の操作を検出すると、部品配置情報記憶領域に記憶されている部品配置情報に基づいて、その時点においてカーソル１６０により強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報（遠隔操作命令）を生成し、サーバ装置４に送信する（ステップＳ１０）。

この実施形態においては、部品選択情報として、現在、強調表示されているユーザインタフェース部品の識別情報（ＩＤ）（図７Ｂ参照）が、サーバ装置４に送信される。

サーバ装置４のＣＰＵ４２は、受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行する（ステップＳ１１）。

ステップＳ１１の詳細な動作は、とくに限定されるものではないが、たとえば、次のように実行される。サーバ装置４のＣＰＵ４２は、部品選択情報を受信すると、当該部品選択情報と、部品情報記憶領域に記憶されている部品情報（図７Ａ参照）とに基づいて、特定されたユーザインタフェース部品の種別情報（ｔｙｐｅ）等を参照しつつ、当該ユーザインタフェース部品に応じた処理を行う。

たとえば、当該ユーザインタフェース部品が「ボタン」の場合には、サーバ装置４において、マウスポインタを当該ボタン上に移動し、当該ボタンのクリック操作を実行する。

当該ユーザインタフェース部品が「テキスト編集」の場合には、テキストの内容を構成する文字列（図７Ａの例では、文字列「コンピュータの歴史は」）を携帯電話機６に送出する。この場合、携帯電話機６においては、たとえば、携帯電話機６側のテキスト編集機能を用いて、受信した文字列の閲覧・編集が行われる。編集後の文字列について携帯電話機６から更新要求がなされると、サーバ装置４のＣＰＵ４２は、当該編集後の文字列をサーバ装置４側のテキスト編集に反映させる。

なお、ステップＳ１１における「テキスト編集」の処理はこれに限定されるものではない。たとえば、テキストの内容を構成する文字列を携帯電話機６に送出することなく、携帯電話機６側で作成した文字列を、サーバ装置４側の既存の文字列に追加するよう構成することもできる。このようにすれば、サーバ装置４から携帯電話機６への通信量を低減することができる。

また、携帯電話機６側において、かな漢字変換機能等のテキスト変換機能は使用せずに、携帯電話機６から入力された数字キー情報等をそのままサーバ装置４に送出し、サーバ装置４側のテキスト変換機能を用いてテキスト変換を行うよう構成することもできる。このようにすれば、サーバ装置４の豊富な日本語処理機能等を用いてテキスト編集を行うことが可能となる。

当該ユーザインタフェース部品が「一覧」の場合には、一覧の内容（各項目）を携帯電話機６に送出する。この場合、携帯電話機６においては、一覧の内容（各項目）が表示画面１２上に表示される。ユーザ１００によっていずれかの項目が選択されると、項目選択情報が携帯電話機６から送出される。サーバ装置４のＣＰＵ４２は、項目選択情報を受信すると、サーバ装置４において、マウスポインタを当該項目上に移動し、当該項目のクリック操作を実行する。

なお、ステップＳ１１における「一覧」の処理はこれに限定されるものではない。たとえば、上述のように「一覧」自体をひとつのユーザインタフェース部品として把握するのではなく、「一覧」を構成する複数の項目を、それぞれ「ボタン」に相当するユーザインタフェース部品として把握し、「ボタン」の処理の場合と同様に、携帯電話機６から直接、各項目を選択できるよう構成することもできる。このようにすれば、一回の選択操作で、所望の項目の選択が可能となる。

携帯電話機６のＣＰＵ６２は、ステップＳ１やステップＳ１０における遠隔操作命令以外の遠隔操作命令（その他の遠隔操作命令）が発せられたか否かについても監視しており、その他の遠隔操作命令が発せられた場合には、当該遠隔操作命令をサーバ装置４に送信する処理を行い、その後、ステップＳ１に制御を戻す（ステップＳ１２）。

この場合、サーバ装置４のＣＰＵ４２は、携帯電話機６から当該遠隔操作命令を受信すると、当該遠隔操作命令に応じて予め定められた処理を行う（ステップＳ１３）。

このような処理を繰り返すことで、携帯電話機６を用いたサーバ装置４の遠隔操作を行うことができる。

なお、この実施形態においては、ステップＳ４において、まず部品情報を生成し、部品情報に基づいて部品配置情報を生成するよう構成したが、この発明は、これに限定されるものではない。たとえば、部品情報と部品配置情報とを別個独立に生成してもよいし、部品情報と部品配置情報のうち一方のみを生成するようにしてもよい。

部品情報のみを生成する場合は、部品情報が携帯電話機６に送信されることになるが、部品情報には部品配置情報と同じ情報が含まれているから問題はない。すなわち、この場合は、部品情報が、本発明における部品配置情報に相当することになる。

また、図７Ｂに示す部品配置情報を構成する各ユーザインタフェース部品の識別情報（ＩＤ）として、各ユーザインタフェース部品が元々備えている属性情報における識別情報と同一のものを用いる場合には、図７Ａに示す部品情報を介在させなくても、部品配置情報の識別情報（ＩＤ）から、対応するユーザインタフェース部品の種別や内容を知ることが可能となる。したがって、このような場合には、必ずしも部品情報を生成する必要はなく、部品配置情報のみの生成で足りる。

なお、図５のステップＳ１、ステップＳ５〜ステップＳ１０およびステップＳ１２が、図２の遠隔操作装置６の制御部１８に対応する。このうち、ステップＳ５が、視覚情報再生制御部２０に対応する。ステップＳ６〜ステップＳ１０が、部品選択制御部２２に対応する。

また、図５のステップＳ２〜ステップＳ４、ステップＳ１１およびステップＳ１３が、図２のサーバ装置４の制御部１１８に対応する。このうち、ステップＳ２〜ステップＳ３が、サーバ画面情報取得制御部１２０に対応する。ステップＳ４が、部品配置情報生成制御部１２２に対応する。ステップＳ１１が、部品処理実行制御部１２４に対応する。

なお、上述の各実施形態においては、遠隔操作装置として携帯電話機を例に説明したが、この発明は、これに限定されるものではない。表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作しうる機器であれば、携帯電話機以外に、たとえば、ゲーム用コンピュータ、テレビジョン受像機、カーナビゲーション装置、ファクシミリ装置等にも、この発明を適用することができる。

また、上述の各実施形態においては、方向指示操作体として十字キーを例に説明したが、この発明は、これに限定されるものではない。方向指示操作体が、たとえば、ジョイスティック等である場合にも、この発明を適用することができる。

また、上述の各実施形態においては、サーバ装置と遠隔操作装置とを１対１で接続する場合を例に説明したが、この発明はこれに限定されるものではない。たとえば、サーバ装置と遠隔操作装置とを１対多、多対１，多対多で接続する場合にも、この発明を適用することができる。

また、上述の各実施形態においては、情報通信網として、インターネットと携帯電話無線網とを組み合わせたものを例に説明したが、この発明は、これに限定されるものではない。無線または有線の種々の通信手段を単独で、または任意に組み合わせたものが、この発明における情報通信網に該当する。

また、上述の各実施形態においては、遠隔操作システムを構成する遠隔操作装置側のプログラムは、遠隔操作装置（携帯電話機）のメモリにインストールされたものを実行するようにしている。また、遠隔操作システムを構成するサーバ装置側のプログラムは、サーバ装置のハードディスクに記憶されたものをメモリにロードして実行するようにしている。ただし、当該プログラムの保持形態はこれらに限定されるものではない。たとえば、当該プログラムを、たとえば外部メモリカード、ＣＤ−ＲＯＭ、フレキシブルディスク、磁気テープ等に記録するようにしてもよい。さらに、有線や無線の情報通信網を介して当該プログラムを配布するようにしてもよい。

また、プログラムやデータの記録態様や配布態様は特に限定されるものではない。直接実行できる形で記録媒体に記憶したり配布したりする他、たとえば、解凍して使用するように圧縮された形で記録媒体に記憶したり配布したりすることもできる。

なお、上述の各実施形態においては、コンピュータを用いて図２の各機能を実現する場合を例に説明したが、図２の機能の一部または全部を、ハードウェアロジックを用いて構成するようにしてもよい。

また、上述のブロック図、ハードウェア構成、外観構成、フローチャート等は、例として挙げたものであり、本願発明は、上述のブロック図、ハードウェア構成、外観構成、フローチャート等に限定されるものではない。

上記においては、本発明を好ましい実施形態として説明したが、各用語は、限定のために用いたのではなく、説明のために用いたものであって、本発明の範囲および精神を逸脱することなく、添付のクレームの範囲において、変更することができるものである。また、上記においては、本発明のいくつかの典型的な実施形態についてのみ詳細に記述したが、当業者であれば、本発明の新規な教示および利点を逸脱することなしに上記典型的な実施形態において多くの変更が可能であることを、容易に認識するであろう。したがって、そのような変更はすべて、本発明の範囲に含まれるものである。

この発明の一実施形態による遠隔操作システム２の構成を示すブロック図である。 サーバ装置４および遠隔操作装置６のそれぞれ詳細な構成を含む遠隔操作システム２のブロック図である。 サーバ装置（被操作コンピュータ）４および遠隔操作装置（操作側コンピュータ）６のハードウェア構成の一例を示すブロック図である。 携帯電話機６の外観構成の一例を示す図面（使用状態における正面図）である。 遠隔操作システム２における処理の流れの一例を示すフローチャートである。 サーバ装置４の表示画面１１２の表示内容の一例を示す図面である。 図７Ａは、部品情報のデータ構造の一例を示す図面である。図７Ｂは、部品配置情報のデータ構造の一例を示す図面である。 図８Ａおよび図８Ｂは、携帯電話機６の表示画面１２の表示内容の推移を示す図面である。

符号の説明

４：サーバ装置
６：遠隔操作装置
１２：表示画面
２０：視覚情報再生制御部
２２：部品選択制御部
２６：操作部
１２０：サーバ画面情報取得制御部
１２２：部品配置情報生成制御部
１２４：部品処理実行制御部

特許出願人 株式会社日立システムアンドサービス
出願人代理人 弁理士 田川 幸一

Claims (8)

1. サーバ装置と、
   表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置と、
   を備えたシステムであって、
   サーバ装置は、
   サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部と、
   サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部と、
   を備え、
   遠隔操作装置は、
   サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部と、
   サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信するよう制御する部品選択制御部と、
   を備え、
   サーバ装置は、さらに、
   遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部、
   を備えたこと、
   を特徴とするコンピュータの遠隔操作システム。
2. 表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置であって、
   サーバ装置から受信した、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部と、
   サーバ装置から受信した、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成するとともに、特定されたユーザインタフェース部品に対して予め与えられた処理をサーバ装置に実行させるために、当該部品選択情報をサーバ装置に送信するよう制御する部品選択制御部と、
   を備えたこと、
   を特徴とする遠隔操作装置。
3. 表示画面を有する表示部と操作部とを備えた遠隔操作装置から情報通信網を介して遠隔操作可能なサーバ装置であって、
   サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得するとともに、遠隔操作装置の表示画面に視覚情報を再生表示させるために当該サーバ画面情報を遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部と、
   サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部と、
   サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成する遠隔操作装置、から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部と、
   を備えたこと、
   を特徴とするサーバ装置。
4. 被操作コンピュータをサーバ装置として機能させるとともに、操作側コンピュータを表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置として機能させるプログラムであって、
   サーバ装置は、
   サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部と、
   サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部と、
   を備え、
   遠隔操作装置は、
   サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部と、
   サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信するよう制御する部品選択制御部と、
   を備え、
   サーバ装置は、さらに、
   遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部、
   を備えたこと、
   を特徴とするプログラム。
5. 操作側コンピュータを、表示画面を有する表示部と操作部とを備え情報通信網を介してサーバ装置を遠隔操作する遠隔操作装置として機能させるプログラムであって、
   遠隔操作装置は、
   サーバ装置から受信した、サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生制御部と、
   サーバ装置から受信した、サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成するとともに、特定されたユーザインタフェース部品に対して予め与えられた処理をサーバ装置に実行させるために、当該部品選択情報をサーバ装置に送信するよう制御する部品選択制御部と、
   を備えたこと、
   を特徴とするプログラム。
6. 被操作コンピュータを、表示画面を有する表示部と操作部とを備えた遠隔操作装置から情報通信網を介して遠隔操作可能なサーバ装置として機能させるプログラムであって、
   サーバ装置は、
   サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得するとともに、遠隔操作装置の表示画面に視覚情報を再生表示させるために当該サーバ画面情報を遠隔操作装置に送信するよう制御するサーバ画面情報取得制御部と、
   サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成制御部と、
   サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成する遠隔操作装置、から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行制御部と、
   を備えたこと、
   を特徴とするプログラム。
7. 請求項４ないし６のいずれかのプログラムを記憶した記録媒体。
8. 表示画面を有する表示部と操作部とを備えた遠隔操作装置を用いて、情報通信網を介してサーバ装置を遠隔操作する方法であって、
   サーバ装置の表示画面に表示される視覚情報であるサーバ画面情報を取得し遠隔操作装置に送信するよう制御するサーバ画面情報取得ステップと、
   サーバ画面情報を構成する各ユーザインタフェース部品の画面上の配置を特定する部品配置情報を生成し遠隔操作装置に送信するよう制御する部品配置情報生成ステップと、
   サーバ装置から受信したサーバ画面情報に基づいて、遠隔操作装置の表示画面に視覚情報を再生表示するよう制御する視覚情報再生ステップと、
   サーバ装置から受信した部品配置情報に基づいて、遠隔操作装置の表示画面に再生表示されている視覚情報のうち一のユーザインタフェース部品に対応する部分を強調表示するとともに、遠隔操作装置の操作部からの強調表示移動命令を受けると強調表示を一のユーザインタフェース部品に対応する部分から他のユーザインタフェース部品に対応する部分へと移動させ、遠隔操作装置の操作部からの部品選択命令を受けると、その時点において強調表示されている部分に対応するユーザインタフェース部品を特定した部品選択情報を生成しサーバ装置に送信するよう制御する部品選択ステップと、
   遠隔操作装置から受信した部品選択情報に基づいて、特定されたユーザインタフェース部品に対して予め与えられた処理を実行するよう制御する部品処理実行ステップと、
   を備えたこと、
   を特徴とするコンピュータの遠隔操作方法。

Images