JP3620716B2 - 遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体 - Google Patents
遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3620716B2 JP3620716B2 JP2001128100A JP2001128100A JP3620716B2 JP 3620716 B2 JP3620716 B2 JP 3620716B2 JP 2001128100 A JP2001128100 A JP 2001128100A JP 2001128100 A JP2001128100 A JP 2001128100A JP 3620716 B2 JP3620716 B2 JP 3620716B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- data
- side terminal
- display
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置に対して、通信ネットワークを介して別の情報処理装置から遠隔操作を行う遠隔操作システムとその遠隔操作方法及び遠隔操作プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来より、電子計算機システムにおいては、通信ネットワークを介してサーバを外部の端末から操作する遠隔操作システムが広く利用されている。
【０００３】
この遠隔操作によって、利用者は遠隔地にあるコンピュータや機器を自由に操作することができ、また、数多くの利用者が高性能のサーバを共同して利用することや、サーバを複数の（又、通信ネットワークに接続された不特定の）端末から操作することができる。
【０００４】
また、従来の遠隔操作システムでは、遠隔操作を受ける側のサーバに、ネットワークを介した利用者のログインや操作を受け付ける機能を備えると共に、遠隔操作を行う側の端末に、遠隔操作を行うための仮想端末ソフトウェアや端末エミュレータを備えることにより、遠隔操作を実現している。
【０００５】
例えば、こうした外部の端末からサーバを遠隔操作する仮想端末ソフトウェアには、ｔｅｌｎｅｔ等がある。ｔｅｌｎｅｔは、命令コマンドを文字入力する方式であるＣＵＩ（ｃｈａｒａｃｔｅｒ ｂａｓｅｄ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）により遠隔操作を行うものであり、ＵＮＩＸ等のこうしたＣＵＩによる操作に対応するコンピュータを遠隔操作の対象とし、操作対象のコンピュータにおけるＣＵＩ環境の操作画面を利用者の元の端末に表示し、その操作画面に対し利用者がコマンドを入力することにより遠隔操作を行う。
【０００６】
このように、ＣＵＩ環境の遠隔操作システムでは、操作対象のコンピュータのＣＵＩ環境の操作画面を、端末のディスプレイの全体又はフレームの１つとして表示し、利用者が入力したコマンドを操作対象のコンピュータにおいて実行し、またその実行に対応する応答等を操作画面に表示する。
【０００７】
また最近では、画面上に表示されたアイコンやウィンドウなどのグラフィカルな要素をマウスなどのポインティングデバイスで操作するＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ：グラフィカルユーザインタフェース）の操作環境を備えるコンピュータが広く普及し、また、こうしたＧＵＩ環境のコンピュータでは、ＣＵＩにおける命令コマンドの入力等による操作には対応しない場合も多い。
【０００８】
しかし、こうしたＧＵＩ環境のコンピュータに対しても、遠隔操作を行う側の端末にＧＵＩ環境に対応する仮想端末ソフトウェアを備えることにより、ＣＵＩ環境の場合と同様に遠隔操作することができる。
【０００９】
ＧＵＩ環境の場合の仮想端末ソフトウェアは、操作対象のコンピュータに接続してその表示画面のデータを取得し、これを端末のディスプレイ内に表示する。そして、その表示画面内において、利用者がマウスのクリック等のＧＵＩの操作を行った場合には、操作対象のコンピュータに対しその操作に対応する処理の実行を指示することにより遠隔操作を行う。
【００１０】
これにより、利用者の端末において、操作対象のコンピュータの表示画面を表示し、操作対象のコンピュータをＧＵＩの操作により遠隔操作することができる。
【００１１】
こうしたＧＵＩ環境に対応する仮想端末ソフトウェアには、例えば、「ＷｉｎＳｈａｒｅ」（ＮＥＣ製）、「Ｄｅｓｋｔｏｐ Ｏｎ−Ｃａｌｌ」（日本ＩＢＭ製）、「ｐｃＡＮＹＷＨＥＲＥ３２」（シマンテック社製）等がある。また、ＧＵＩ環境のコンピュータに対し遠隔操作を行う遠隔操作システムの従来技術には、例えば、特開平０５−０３５６２２号公報に開示された遠隔コンピュータ操作装置の技術等がある。
【００１２】
【発明が解決しようとする課題】
上述したように従来の、ＧＵＩ環境のコンピュータに対する遠隔操作システムでは以下に述べるような問題点があった。
【００１３】
第１に、従来の遠隔操作システムでは、遠隔操作を行う側の端末において、遠隔処理を行うためのソフトウェアや、又は係る機能を実現する半導体回路等の特別の機能を備えることが必要であった。
【００１４】
また、操作対象のコンピュータのＧＵＩ環境は、そのコンピュータの機種や使用するＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）により異なるため、この仮想端末ソフトウェア等は、予め操作対象のコンピュータに対応するものを用いる必要がある。
【００１５】
更に、こうしたＧＵＩによる遠隔操作を行うためのソフトウェア等は、インストール時等に詳細で複雑な設定を必要としたり、ハードディスク内に多くのスペースを占めたり、その価格が高価な場合もある等により、これを端末に備えるためには面倒な点が多い。
【００１６】
このため、利用者は、遠隔操作を行う端末を自由に選択することができず、操作対象のコンピュータに対応した遠隔操作の機能を備える特別の端末を使用することが必要であった。例えば、手元にある情報処理端末や通信端末を自由に選択して遠隔操作を行うことはできなかった。
【００１７】
従来の、この問題点を解決するための技術には、特開平１０−３０１８７４号公報に開示された遠隔操作方法がある。
【００１８】
この特開平１０−３０１８７４号公報の従来技術では、操作対象のコンピュータであるサーバの表示画面の画像データを表示するウェブページを自動生成することにより、その表示画面の画像を利用者の端末のウェブブラウザに表示させる。
【００１９】
また、利用者からのＧＵＩによる操作は、表示画面の画像データの表示にＪＡＶＡアプレットを使用することにより、利用者が表示画面の画像データに対しマウスによるクリック等の操作を行った場合には、自動的にこれをサーバ側に通知し、サーバにおいて対応する処理を実行する。また、利用者の端末のウェブブラウザに表示される、サーバの表示画面の画像は、利用者からの操作を受け付けた場合等において更新を行う。
【００２０】
このため、利用者の端末においては、インターネット等の通信機能とウェブブラウザを備えることのみが必要であり、遠隔操作のための特別の機能を備えることを必要としない。
【００２１】
しかし、コンピュータの表示画面の画像データは、かなり多くのデータ量を必要とし、これを遠隔操作を受け付けるために利用者の端末に送信する場合には、高速の通信回線と長い通信時間を必要としている。利用者の端末に特別の機能を備える必要はないが、その通信においては大容量の画像データを頻繁に通信するため、現在のインターネット等の通信インフラには適していない。
【００２２】
第２に、従来の遠隔操作システムでは、遠隔操作を行う側の端末は、操作対象のコンピュータにおける表示画面を、そのまま表示することのできるディスプレイを備えることが必要であった。
【００２３】
例えば、パソコンやノートパソコン等の広いディスプレイ画面を備える情報処理端末を用いることが必要であり、携帯電話やＰＨＳ（ｐｅｒｓｏｎａｌ ｈａｎｄｙ−ｐｈｏｎｅ ｓｙｓｔｅｍ）等の小型の通信端末では、外部のコンピュータの遠隔操作を行うことはできなかった。
【００２４】
これら携帯電話やＰＨＳ等の通信端末では、ディスプレイがかなり狭く、表示できる色数が少なく、また文字の表示ができるのみで画像の表示ができないものもあり、コンピュータの画面をそのまま表示することができない。
【００２５】
しかし、これらの携帯通信端末は、広く普及し多くの利用者により使用されており、また携帯に便利であり、このため外部のコンピュータの遠隔操作に用いることが可能となれば極めて有用である。
【００２６】
本発明の第１の目的は、上記従来技術の欠点を解決し、現在市販される携帯電話やＰＨＳ等の小型の携帯通信端末によっても、外部のコンピュータをＧＵＩにより遠隔操作することのできる遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体を提供することである。
【００２７】
本発明の第２の目的は、上記従来技術の欠点を解決し、遠隔操作を行う側の端末には遠隔操作のための特別の機能を備えることを必要とせず、自由に利用者の手元にある携帯通信端末等を用いて、外部のコンピュータをＧＵＩにより遠隔操作することのできる遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体を提供することである。
【００２８】
【課題を解決するための手段】
上記目的を達成するため本発明の遠隔操作システムは、操作側端末からの操作情報を、通信ネットワークを介して操作対象装置に操作情報を伝達し、前記操作対象装置上で前記操作情報に基づく操作を実行することで遠隔操作する遠隔操作システムにおいて、前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析手段と、前記画面解析手段より出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信手段と、前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行手段を備えることを特徴とする。
【００２９】
請求項２の本発明の遠隔操作システムは、操作側端末から、通信ネットワークを介して操作対象装置を遠隔操作する遠隔操作システムにおいて、前記操作対象装置は、前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析手段と、前記画面解析手段の解析により出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信手段と、前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行手段を備えることを特徴とする。
【００３０】
請求項３の本発明の遠隔操作システムは、前記画面解析手段によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する画面情報変換手段を備え、前記画面情報送信手段は、前記画面情報変換手段の変換結果のデータを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする。
【００３１】
請求項４の本発明の遠隔操作システムは、前記画面解析手段によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する規則を登録した変換規則登録手段を備え、前記画面情報変換手段は、前記変換規則登録手段に記録された変換規則に基づいて、前記画面解析手段によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００３２】
請求項５の本発明の遠隔操作システムは、前記操作側端末の装置特性を検出する装置特性検出手段を備え、前記画面情報変換手段は、前記装置特性検出手段によって検出された装置特性と、前記変換規則登録手段に記録された変換規則に基づいて、前記画面解析手段によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００３３】
請求項６の本発明の遠隔操作システムは、前記操作対象装置の画面の表示の変化を検出する画面変化検出手段を備え、発生した画面の表示の変化が終了した時点で、前記画面解析手段が現時点の前記操作対象装置の画面の解析を行うことを特徴とする。
【００３４】
請求項７の本発明の遠隔操作システムは、前記操作対象装置をＧＵＩを備える情報処理装置とし、前記画面解析手段は、前記操作対象装置の画面に表示されるオブジェクトであるＧＵＩ部品を検出し、前記ＧＵＩ部品の属性データを前記プロパティ情報として取得することを特徴とする。
【００３５】
請求項８の本発明の遠隔操作システムは、前記変換規則登録手段は、前記画面解析手段により出力される前記プロパティ情報を、ウェブブラウザで表示可能なウェブページに変換する規則の登録を備え、前記画面情報変換手段は、前記規則に基づいて前記画面解析手段により出力される前記プロパティ情報をウェブページに変換し、前記ウェブページは、前記画面解析手段によって検出されたＧＵＩ部品の中で利用者による操作が可能なものに対して、当該ＧＵＩ部品に対応するハイパーリンクを含み、前記ハイパーリンクが選択された場合に、当該ハイパーリンクに対応するＧＵＩ部品を識別するデータと当該ＧＵＩ部品に対する操作を識別するデータを前記操作実行手段に送信することを特徴とする。
【００３６】
請求項９の本発明の遠隔操作システムは、前記画面解析手段は、文字データにより取得した前記プロパティ情報を、電子メールのテキストとして出力し、電子メールによって前記操作側端末に送信することを特徴とする。
【００３７】
請求項１０の本発明の遠隔操作システムは、前記操作実行手段は、前記操作側端末を用いて行われた利用者からの操作の情報を含む電子メールを受け取り、受け取った電子メールを解析して利用者からの操作を識別し、当該操作を実行することを特徴とする。
【００３８】
請求項１１の本発明の遠隔操作システムは、前記通信ネットワークを、インターネットとすることを特徴とする。
【００３９】
請求項１２の本発明の遠隔操作システムは、前記画面解析手段は、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報送信手段は、前記画面解析手段によって抽出された前記映像データを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする。
【００４０】
請求項１３の本発明の遠隔操作システムは、前記画面解析手段は、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報変換手段は、前記画面解析手段によって抽出された前記映像データを、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００４１】
請求項１４の本発明の遠隔操作システムは、前記装置特性検出手段が検出する前記操作側端末の装置特性には、前記操作側端末の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラムおよびスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦および横の物理的な長さ、一画面内に表示可能な縦および横方向の文字数のうちの少なくとも１つを含むことを特徴とする。
【００４２】
請求項１５の本発明の遠隔操作方法は、操作側端末からの操作情報を、通信ネットワークを介して操作対象装置に操作情報を伝達し、前記操作対象装置上で前記操作情報に基づく操作を実行することで遠隔操作する遠隔操作方法において、前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析ステップと、前記画面解析ステップで出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信ステップと、前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行ステップを備えることを特徴とする。
【００４３】
請求項１６の本発明の遠隔操作方法は、前記画面解析ステップによって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する画面情報変換ステップを備え、前記画面情報送信ステップでは、前記画面情報変換ステップの変換結果のデータを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする。
【００４４】
請求項１７の本発明の遠隔操作方法は、前記画面解析ステップによって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する規則を登録する変換規則登録ステップを備え、前記画面情報変換ステップでは、前記変換規則登録ステップによって登録された変換規則に基づいて、前記画面解析ステップによって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００４５】
請求項１８の本発明の遠隔操作方法は、前記操作側端末の装置特性を検出する装置特性検出ステップを備え、前記画面情報変換ステップでは、前記装置特性検出ステップによって検出された装置特性と、前記変換規則登録ステップによって登録された変換規則に基づいて、前記画面解析ステップによって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００４６】
請求項１９の本発明の遠隔操作方法は、前記操作対象装置の画面の表示の変化を検出する画面変化検出ステップを備え、発生した画面の表示の変化が終了した時点で、前記画面解析ステップによって現時点の前記操作対象装置の画面に表示される内容を解析することを特徴とする。
【００４７】
請求項２０の本発明の遠隔操作方法は、前記操作対象装置をＧＵＩを備える情報処理装置とし、前記画面解析ステップでは、前記操作対象装置の画面に表示されるオブジェクトであるＧＵＩ部品を検出し、前記ＧＵＩ部品の属性データを前記プロパティ情報として取得することを特徴とする。
【００４８】
請求項２１の本発明の遠隔操作方法は、前記変換規則登録ステップでは、前記画面解析ステップにより出力される前記プロパティ情報を、ウェブブラウザで表示可能なウェブページに変換する規則を登録し、前記画面情報変換ステップでは、前記規則に基づいて前記画面解析ステップにより出力される前記プロパティ情報をウェブページに変換し、前記ウェブページは、前記画面解析ステップによって検出されたＧＵＩ部品の中で利用者による操作が可能なものに対して、当該ＧＵＩ部品に対応するハイパーリンクを含み、前記操作実行ステップでは、前記ハイパーリンクが選択された場合に送信された、当該ハイパーリンクに対応するＧＵＩ部品を識別するデータと当該ＧＵＩ部品に対する操作を識別するデータを用いて、所定の処理を操作側端末に実行させることを特徴とする。
【００４９】
請求項２２の本発明の遠隔操作方法は、前記画面解析ステップでは、文字データにより取得した前記プロパティ情報を、電子メールのテキストとして出力し、画面情報送信ステップでは、電子メールによって前記操作側端末に送信することを特徴とする。
【００５０】
請求項２３の本発明の遠隔操作方法は、前記画面解析ステップでは、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報送信ステップでは、前記画面解析ステップによって抽出された前記映像データを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする。
【００５１】
請求項２４の本発明の遠隔操作方法は、前記画面解析ステップでは、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報変換ステップでは、前記画面解析ステップによって抽出された前記映像データを、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００５２】
請求項２５の本発明の遠隔操作方法は、前記装置特性検出ステップが検出する前記操作側端末の装置特性には、前記操作側端末の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラム及びスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦及び横の物理的な長さ、一画面内に表示可能な縦及び横方向の文字数のうちの少なくとも一つを含むことを特徴とする。
【００５３】
請求項２６の本発明の遠隔操作プログラムは、情報処理システムを制御することにより、操作側端末からの操作情報を、通信ネットワークを介して操作対象装置に操作情報を伝達し、前記操作対象装置上で前記操作情報に基づく操作を実行することで遠隔操作する遠隔操作プログラムにおいて、前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析処理と、前記画面解析処理で出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信処理を実行させ、前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行処理を実行させることを特徴とする。
【００５４】
請求項２７の本発明の遠隔操作プログラムは、前記画面解析処理によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する画面情報変換処理を実行させ、前記画面情報送信処理においては、前記画面情報変換処理の変換結果のデータを、前記操作側端末に表示させるために前記操作側端末に送信する処理を実行させることを特徴とする。
【００５５】
請求項２８の本発明の遠隔操作プログラムは、前記画面解析処理によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する規則を登録する変換規則登録処理を実行させ、前記画面情報変換処理においては、前記変換規則登録処理によって登録された変換規則に基づいて、前記画面解析処理によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する処理を実行させることを特徴とする。
【００５６】
請求項２９の本発明の遠隔操作プログラムは、前記操作側端末の装置特性を検出する装置特性検出処理を実行させ、前記画面情報変換処理においては、前記装置特性検出処理によって検出された装置特性と、前記変換規則登録処理によって登録された変換規則に基づいて、前記画面解析処理によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する処理を実行させることを特徴とする。
【００５７】
請求項３０の本発明の遠隔操作プログラムは、前記操作対象装置の画面の表示の変化を検出する画面変化検出処理を実行させ、発生した画面の表示の変化が終了した時点で、前記画面解析処理によって現時点の前記操作対象装置の画面に表示される内容を解析する処理を実行させることを特徴とする。
【００５８】
請求項３１の本発明の遠隔操作プログラムは、前記操作対象装置をＧＵＩを備えた情報処理装置とし、前記画面解析処理においては、前記操作対象装置の画面に表示されるオブジェクトであるＧＵＩ部品を検出し、前記ＧＵＩ部品の属性データを前記プロパティ情報として取得する処理を実行させることを特徴とする。
【００５９】
請求項３２の本発明の遠隔操作プログラムは、前記変換規則登録処理においては、前記画面解析処理により出力される前記プロパティ情報を、ウェブブラウザで表示可能なウェブページに変換する規則を登録し、前記画面情報変換処理においては、前記規則に基づいて前記画面解析処理により出力される前記プロパティ情報をウェブページに変換し、前記ウェブページは、前記画面解析処理によって検出されたＧＵＩ部品の中で利用者による操作が可能なものに対して、当該ＧＵＩ部品に対応するハイパーリンクを含み、前記操作実行処理においては、前記所定の処理を操作側端末に実行させるために、前記ハイパーリンクが選択された場合に送信された、当該ハイパーリンクに対応するＧＵＩ部品を識別するデータと当該ＧＵＩ部品に対する操作を識別するデータを用いることを特徴とする。
【００６０】
請求項３３の本発明の遠隔操作プログラムは、前記画面解析処理においては、文字データにより取得した前記プロパティ情報を、電子メールのテキストとして出力し、画面情報送信処理においては、電子メールによって前記操作側端末に送信するする処理を実行させることを特徴とする。
【００６１】
請求項３４の本発明の遠隔操作プログラムは、前記画面解析処理においては、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報送信処理においては、前記画面解析処理によって抽出された前記映像データを、前記操作側端末に表示させるために前記操作側端末に送信する処理を実行させることを特徴とする。
【００６２】
請求項３５の本発明の遠隔操作プログラムは、前記画面解析処理においては、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報変換処理においては、前記画面解析処理によって抽出された前記映像データを、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００６３】
請求項３６の本発明の遠隔操作プログラムは、前記装置特性検出処理において検出する前記操作側端末の装置特性には、前記操作側端末の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラム及びスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦及び横の物理的な長さ、一画面内に表示可能な縦及び横方向の文字数のうちの少なくとも一つを含むことを特徴とする。
【００７２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００７３】
図１は、本発明の第１の実施の形態の遠隔操作システムの構成を示すブロック図である。
【００７４】
図１を参照すると、第１の実施の形態の遠隔操作システムでは、コンピュータ１００を遠隔操作の対象の装置（操作対象装置）とし、端末装置１０１を利用者が遠隔操作に用いる操作側端末とし、コンピュータ１００と端末装置１０１とは通信ネットワーク１０２を介して接続し遠隔操作のための通信を行う。
【００７５】
コンピュータ１００は、例えばＧＵＩによる操作環境を備える情報処理装置である。
【００７６】
端末装置１０１は、例えば携帯電話機やＰＨＳ（ｐｅｒｓｏｎａｌ ｈａｎｄｙ−ｐｈｏｎｅ ｓｙｓｔｅｍ）やその他の、通信ネットワーク３０を介して通信の可能な端末であり、利用者がコンピュータ１００を遠隔操作するために用いる端末である。
【００７７】
端末装置１０１は、現在普及している市販の携帯電話機やＰＨＳ等における様に、データ通信機能と、データの表示可能なディスプレイ画面を備える。
【００７８】
通信ネットワーク１０２は、利用者の端末装置１０１と遠隔操作対象のコンピュータ１００とが通信をし遠隔操作を行うための情報通信回線であり、例えばインターネットやパソコン通信やｉモードのインターネットやその他の専用回線や、これらの回線に接続するための電話回線や無線電話回線等を用いることができる。
【００７９】
図１を参照すると、遠隔操作対象のコンピュータ１００は、画面解析部１０３、画面情報送信部１０４、画面変化検出部１０５、操作実行部１０６、通信部１０７を備える。
【００８０】
画面解析部１０３は、コンピュータ１００の表示画面の内容を解析し、解析結果を出力する。
【００８１】
画面情報送信部１０４は、画面解析部による解析の結果得られた画面情報を、端末装置１０１へと送信する。
【００８２】
通信部１０７は、通信ネットワーク１０２を介して、端末装置１０１との通信を行う。
【００８３】
操作実行部１０６は、遠隔操作により指定された処理の実行、又はその実行の指示を行う。
【００８４】
画面変化検出部１０５は、コンピュータ１００の表示画面の変化を検出する。
【００８５】
図２は、第１の実施の形態の遠隔操作システムの遠隔操作の処理を説明するためのフローチャートである。
【００８６】
図２を参照すると、第１の実施の形態の遠隔操作システムは、まず、遠隔操作の対象であるコンピュータ１００において、利用者の端末装置１０１からの接続を受け付ける（ステップ２０１）。
【００８７】
また、利用者を識別するためのＩＤ番号やパスワードの入力を受け付ける等の方法により利用者を認証し（ステップ２０２）、遠隔操作を行う利用者として登録され正しく認証された利用者に限り、以後の遠隔操作の通信を行う。
【００８８】
そして、画面解析部１０３が、操作対象のコンピュータ１００の表示画面を解析する（ステップ２０３）。例えばコンピュータ１００がＧＵＩを備えたパーソナル＿コンピュータ（ＰＣ）やワークステーション（ＷＳ）などの場合は、現在のＧＵＩ画面にどのようなオブジェクトが表示されているかを解析し、各オブジェクトの種類や名前、位置等のデータを取得する。ただしＧＵＩ画面に表示されているオブジェクトとは、ウィンドウやアイコン、メニュー、ボタンなどのＧＵＩ部品のことである。この解析においては、例えばＯＳから取得する方式を用いる。
【００８９】
そして、この画面解析部１０３により得られたデータは、画面情報送信部１０４によって利用者の端末装置１０１に対し送信され、利用者の端末装置１０１の画面に表示される（ステップ２０４）。
【００９０】
そして、利用者がコンピュータ１００に対する操作を端末装置１０１を用いて実行した場合には、この操作の情報を操作実行部１０６が受信してコンピュータ１００上で実行する（ステップ２０５、２０６）。
【００９１】
また、これによりコンピュータ１００の画面の表示が変化した場合には、画面変化検出部１０５がその変化を検出し、変化が終了したことがわかると、再びステップ２０３以下の処理を実行し、利用者の端末装置１０１の画面に表示されるデータを最新のものに更新する。
【００９２】
次に、画面解析部１０３による、コンピュータ１００の表示画面の内容の解析を詳しく説明する。
【００９３】
図３は、本実施の形態の画面解析部１０３の処理を説明するためのフローチャートである。
【００９４】
画面解析部１０３は、表示されるアイコンの名前、表示位置、対応するアプリケーション等の情報を、例えばコンピュータ１００のＯＳから取得する。これにより、画面内のアイコンやウィンドウにおいて示される様々なオブジェクトのデータを、明確に文字データにより取得することができるのである。
【００９５】
この情報の取得方法は、単純に画面中に表示される文字の画像を文字データに変換するＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）方式を用いることもできる。しかし、画像を文字データに変換するＯＣＲ方式では、不正確な文字データへの変換が行われる危険があり、またウィンドウの一部が画面の左右にはみ出して読取ができない場合がある等の不都合がある。第１の実施の形態の画面解析部１０３では、コンピュータ１００のＯＳから各オブジェクトの詳細な情報を取得する方式を採用することにより、画像の解像度やウィンドウの表示位置等に影響されずに、常に正確な文字データを瞬時に取得することができる。この方式は、ＧＵＩを有する情報処理装置を視覚や聴覚に障害をもつ利用者が利用できるようにするためのアクセシビリティ応用システムを実現する際にも利用されている。
【００９６】
第１の実施の形態の画面解析部１０３は、まずコンピュータ１００の現在のＧＵＩ画面に表示されているウィンドウのうち、アクティブなウィンドウ（アクティブウィンドウ）を検出し、検出されたアクティブウィンドウのタイトルを取得する（ステップ３０１、３０２）。
【００９７】
ただしアクティブなウィンドウとは、キーボードからの入力を受け付ける状態になっているウィンドウであり、ウィンドウのタイトルとは、ウィンドウに割り当てられた文字列である（キャプションと呼ぶこともある）。
【００９８】
ＧＵＩ画面においては、ウィンドウのタイトルはウィンドウ上部の領域（タイトルバーと呼ばれる）に表示されることが一般的である。例えば、図４のウィンドウ４０のタイトルは「ファイルを開く」である。
【００９９】
第１の実施の形態では、一般のＯＳにおけるように、画面上にウィンドウが１つ以上あるときには、１つのアクティブなウィンドウが存在するものとする。
【０１００】
例えば、コンピュータ１００の現在のＧＵＩ画面に図５のように３つのウィンドウ４０が表示されているとする。すると、この３つのウィンドウ４０のうち１つは、アクティブなウィンドウであり、各ウィンドウ４０の情報はＯＳによって管理されているため、画面解析部１０３は、ＯＳからその情報を取得することで現在のアクティブなウィンドウ４０を検出することができ、また同様にそのタイトル等の情報を取得することができる。
【０１０１】
現在のＧＵＩ画面５０に、ウィンドウ４０が１つも表示されていない場合は、ウィンドウ等の背景領域の全体（画面全体）であるデスクトップを、現在のアクティブなウィンドウとする。ここで、デスクトップをアクティブなウィンドウとして検出した場合は、アクティブウィンドウのタイトルは「デスクトップ」とする。
【０１０２】
画面解析部１０３は、コンピュータ１００の現在のＧＵＩ画面に表示されているアクティブなウィンドウを検出すると、更にそのアクティブなウィンドウ上に表示されているメニュー、アイコン、ボタンなどのオブジェクト（以下、これらのオブジェクトをＧＵＩ部品と総称する）のプロパティ情報を取得する（ステップ３０３）。
【０１０３】
ただし第１の実施の形態においては、ＧＵＩ部品のプロパティ情報とは、種類（メニュー、アイコン、ボタンなど）、ラベル（ボタンの「ＯＫ」や「キャンセル」のように、そのＧＵＩ部品に割り当てられた文字列のことで、キャプションと呼ぶこともある）、及び画面上での座標値である。
【０１０４】
例えば、図６の例の様に、現在のＧＵＩ画面に表示されているアクティブなウィンドウが「メモ帳」ウィンドウ４０であり、そのウィンドウ４０には「ファイル」、「編集」、「書式」、「ツール」のメニュー項目６０が表示されている場合には、画面解析部１０３は、図７の例に示されるように、これら４つのメニュー項目６０のプロパティ情報を取得する。なお、図７のｘ１〜ｘ４、ｙ１〜ｙ４はいずれもある正の整数を示すものである。
【０１０５】
ここで、ＧＵＩ部品の画面上での座標値は、例えば、画面の左上端点からＧＵＩ部品の中心（又は、内部）までの横方向及び縦方向の距離を用いて示される一点の座標により示すことができる。
【０１０６】
これは、図８に示されるように、デスクトップ５０上にウィンドウ４０があり、このウィンドウ上にＧＵＩ部品８０がある場合に、このＧＵＩ部品の座標値を、その横方向の座標ｘと縦方向の座標ｙを用いて（ｘ、ｙ）と示すのである。ここで、ｘ、ｙは正の整数である。
【０１０７】
コンピュータ１００の現在のＧＵＩ画面に表示されているアクティブなウィンドウ４０が、図６の「メモ帳」ウィンドウの場合、画面解析部１０３は、アクティブなウィンドウ４０がこの「メモ帳」ウィンドウであることを検出してこのウィンドウ４０のタイトル（「メモ帳」という文字列）を取得し、さらにこのウィンドウ４０の４つのメニュー項目６０を検出し、図７に示されるように各メニュー項目６０のプロパティ情報を取得する。この結果、図９のようなデータが得られる。
【０１０８】
なお、以上説明されたような、アクティブなウィンドウの検出や各種ＧＵＩ部品の詳細かつ正確な情報を取得する等の、画面解析部１０３によるＧＵＩ画面の解析は、例えば、岡田英彦、旭敏之著“ＧＵＩ設計の一貫性を評価するツール「ＧＵＩテスタ２」”（情報処理学会ヒューマンインタフェース研究会報告、Ｖｏｌ。９７、Ｎｏ。６３、７〜１２頁、１９９７年）に記載の技術を用いて行うことができる。
【０１０９】
そして、画面解析部１０３は、図９のようなデータを所定の形式で画面情報送信部１０４に対し出力する（ステップ３０４）。この所定の形式とは装置端末１１にて表示可能な形式のことであり、第１の実施の形態においては、端末装置１０１による遠隔操作が開始される前からその形式が既知である。画面情報送信部１０４は、画面解析部１０３から受け取ったデータを、端末装置１０１へと送信する。この結果、端末装置１０１に、画面解析部１０３から出力されたデータ（すなわちコンピュータ１００の現在の画面に表示されているＧＵＩ部品の情報を含んだデータ）が表示される。
【０１１０】
例えば、端末装置１０１はＨＴＭＬ（Ｈｙｐｅｒ−Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）により記載されたウェブページを表示するウェブブラウザを備え、インターネット等の通信ネットワーク上のウェブサイトに公開されるウェブページを表示することができるとする。この場合、画面解析部１０３は、ＨＴＭＬ形式のウェブページのデータを出力し、このデータが例えば図１０のように端末装置１０１の画面に表示される。図１０の例では、まずアクティブウィンドウの名前である「メモ帳」が表示され、また続いて各行に、各メニュー項目６０の項目名がＨＴＭＬのハイパーリンクとして表示されているため、これを端末装置１０１の画面上で選択することができる。
【０１１１】
画面解析部１０３によって作成され画面情報送信部１０４によって送信されたＨＴＭＬ形式のデータファイルが端末装置１０１の画面上に表示され、この画面上で操作が行われると（例えばハイパーリンクが選択されると）、この操作情報が通信ネットワーク１０２及び通信部１０７を介して操作実行部１０６に伝達される。
【０１１２】
操作実行部１０６は、端末装置１０１から伝達された操作情報と、画面解析部１０３から出力された画面解析結果のデータとから、端末装置１０１上で行われた操作に対応する操作を、コンピュータ１００上で実行する。
【０１１３】
例えば、端末装置１０１の画面に図１０のように表示されるメニュー項目名１０００の１つである「ファイル」のハイパーリンクを選択した場合には、操作実行部１０６は、画面解析部１０３から出力された画面解析結果のデータから、当該メニューに対応する座標（図９における（ｘ１、ｙ１））を参照し、コンピュータ１００の画面上の当該座標にマウス等のポインティングデバイスのカーソルを移動し、当該位置でのクリックの実行をＯＳ等に対し通知する。
【０１１４】
例えば、前記の通り図６〜図１０を参照して説明した例において、端末装置１０１の画面で図１０の「ファイル」のハイパーリンクが選択されたとする。操作実行部１０６は、画面解析部１０３より受け取るデータから、図１０の「ファイル」をハイパーリンクに対応するのは図６の「ファイル」メニュー６０であり、その座標値は（ｘ１、ｙ１）であることがわかる。そこで操作実行部１０６は、端末装置１０１の画面で図１０の「ファイル」のハイパーリンクが選択された情報を端末装置１０１から受け取ると、マウス等のポインティングデバイスのカーソルを座標値（ｘ１、ｙ１）の場所に移動し、当該位置でのクリックの実行をＯＳ等に対し通知する。この結果、コンピュータ１００の画面で図６の「ファイル」メニュー６０が選択される。
【０１１５】
端末装置１０１の画面上で行われた操作に対応する操作が、コンピュータ１００上で操作実行部１０６によって行われた場合に、画面変化検出部１０５は、コンピュータ１００上のＧＵＩ画面上の変化を検出する。
【０１１６】
画面変化検出部１０５が検出するコンピュータ１００上のＧＵＩ画面上の変化とは、例えば、新しいウィンドウが開く、表示されていたウィンドウが閉じられる、プルダウンメニューが表示される等がある。
【０１１７】
また、画面変化検出部１０５は、画面変化が一定の時間間隔以上検出されなくなった時点で、操作実行部１０６によって行われた操作に対するコンピュータ１００の応答が完了したものと判断する。
【０１１８】
画面変化検出部１０５が応答の完了を判断すると、再び、画面解析部１０３がコンピュータ１００の現在のＧＵＩ画面の解析を実行して画面情報のデータを出力し、画面情報送信部１０４が、この画面情報のデータを端末装置１０１に送信する。
【０１１９】
つまり、利用者が端末装置１０１に表示されるメニュー項目名１０００の１つである「ファイル」を選択する操作を実行すると、これがコンピュータ１００に通知されてメニュー項目６０の「ファイル」をクリックする処理が実行され、実行後の「ファイル」のプルダウンメニューが表示された状態の画面情報が端末装置１０１に表示可能な形式のデータとして送信され、利用者の端末装置１０１の画面がこの新しいデータを表示した画面に更新される。
【０１２０】
そして、以後同様にして、以上に説明された処理を１サイクルとして繰り返し実行することにより、遠隔操作を行うことができる。
【０１２１】
このサイクルは、端末装置１０１からコンピュータ１００との通信を終了するまで続けられる。
【０１２２】
次に、第１の実施の形態の遠隔操作システムによる遠隔操作の一実施例を説明する。
【０１２３】
まず、利用者は、携帯電話等の端末装置１０１を用いて、操作対象であるコンピュータ１００に対し通信ネットワーク１０２を介して接続を行う。ここで、利用者を識別するＩＤ番号やパスワードの入力を行う等の方法により利用者の認証を行い、端末装置１０１からコンピュータ１００への遠隔操作のための通信を開始する。
【０１２４】
図１１は、本実施例の操作対象のコンピュータ１００への接続時点での表示画面５０の一例を示す図である。図１１の例では、デスクトップ上に「メモ帳」、「スケジュール」、「Ｆａｘ」の３つのアイコン１１００が表示されており、ウィンドウはまだ表示されていない。
【０１２５】
この図１１の表示画面の状態は、コンピュータ１００の画面解析部１０３により解析される。画面解析部１０３は、コンピュータ１００のＯＳから取得する方法等により、表示されるアイコンの名前、表示位置、対応するアプリケーション等の情報を取得する。
【０１２６】
そして、画面解析部１０３は、解析によって得られた画面情報のデータを、利用者の側の端末装置１０１に表示可能な形式で（例えばＨＴＭＬ文により記載されるウェブページとして）画面情報送信部１０４へと出力する。画面情報送信部１０４は、受け取ったデータを端末装置１０１へと送信する。
【０１２７】
図１２は、本実施の形態において、図１１の表示画面が解析されその情報が端末装置１０１に送信された結果、端末装置１０１の画面に表示された一例を示す図である。
【０１２８】
図１２の例では、コンピュータ１００の表示画面５０にはまだアプリケーションのウィンドウが表示されていないため、その旨を示す「デスクトップ」の表示と、表示画面５０上に表示される各アイコン１２００の名前をハイパーリンクにより表示している。
【０１２９】
次に、利用者が端末装置１０１に表示されるアイコン名１２００を選択する。ここでは、「Ｆａｘ」を選択した場合を例に説明する。
【０１３０】
すると、端末装置１０１からコンピュータ１００に対し、ハイパーリンクである「Ｆａｘ」のリンク先のデータの要求が通知され、コンピュータ１００はその要求を受けると、操作実行部１０６は、「Ｆａｘ」のアイコン１１００に対して画面解析部１０３から出力された、コンピュータ１００のＧＵＩ画面上の座標（つまり、「Ｆａｘ」のアイコン１１００上の座標）をダブルクリックする操作を実行する。
【０１３１】
なお、通常のＧＵＩ環境ではデスクトップのアイコンをダブルクリックした場合には当該アイコンに対応する処理が実行されるため、ここでは、アイコンに対応する動作としてダブルクリックの実行を設定しているのである。
【０１３２】
図１３は、図１１の画面においてＦａｘのアイコンをダブルクリックし、Ｆａｘのウィンドウを表示した状態を示す図である。
【０１３３】
図１３の画面では、「Ｆａｘ」ウィンドウ４０が表示されており、これが現在のアクティブなウィンドウである。この「Ｆａｘ」のウィンドウ４０上には「ファイル」と「設定」のメニュー項目６０が表示されている。
【０１３４】
ここで、画面変化検出部１０５は、画面５０内に新たにウィンドウ４０が表示される変化を検出し、その後画面に一定時間以上変化がないことにより応答の完了を判断すると、画面解析部１０３に対し画面の解析を指示する。
【０１３５】
再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１３６】
図１４は、図１３の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１３７】
図１４の端末装置１０１の表示では、まずアクティブウィンドウの名前であるＦａｘが表示され、続いてＦａｘのウィンドウの各メニュー項目の名前である「ファイル」、「設定」がハイパーリンクにより表示されている。
【０１３８】
ここで、利用者が、ハイパーリンクであるこの「ファイル」のメニュー項目名１０００を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、図１３のＧＵＩ画面５０上で「ファイル」のメニュー項目６０をクリックする操作を実行する。
【０１３９】
図１５は、図１３の画面においてファイルのメニュー項目をクリックし、プルダウンメニューを表示した状態を示す図であり、プルダウンメニューには、「開く」「送信」「終了」の３つのサブメニュー項目１５００が表示されている。
【０１４０】
同様にして、画面変化検出部１０５がこのプルダウンメニューの表示によるＧＵＩ画面５０の変化を検出し、その後画面に一定時間以上変化がなく応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１４１】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１４２】
図１６は、図１５の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１４３】
図１６の画面では、図１５のプルダウンメニューに表示される３つのサブメニュー項目１５００の名前「開く」「送信」「終了」が、それぞれハイパーリンクにより表示されている。
【０１４４】
ここで、利用者が、ハイパーリンクであるこの「送信」のサブメニュー項目名１６００を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、図１５のＧＵＩ画面５０上でプルダウンメニュー内の「送信」のサブメニュー項目１５００をクリックする操作を実行する。
【０１４５】
図１７は、図１５の画面において送信の項目をクリックし、Ｆａｘの送信のウィンドウ４０を表示した状態を示す図であり、このウィンドウ４０が現在アクティブなウィンドウである。
【０１４６】
また、「Ｆａｘの送信」ウィンドウ４０においては、送信に用いるファイルを選択するためのリストボックス１７００と、その送信及びキャンセルを指示するためのボタン１７０１を備えいる。リストボックス１７００には、利用者が指定したフォルダに記録されている送信するファイル１７０２の一覧を表示している。
【０１４７】
同様にして、画面変化検出部１０５は、「Ｆａｘの送信」ウィンドウ４０の表示による画面変化を検出し、その後画面に一定時間以上変化がなく応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１４８】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１４９】
図１８は、図１７の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１５０】
図１８の画面では、図１７のリストボックス１７００内の各項目に表示されるファイル１７０２等、及び「ＯＫ」と「キャンセル」のボタン１７０１を、ハイパーリンクにより表示している。
【０１５１】
ここで、利用者がハイパーリンクである「ｆｉｌｅ２。ｄａｔ」を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、図１７のＧＵＩ画面５０上でリストボックス１７００内に表示される「ｆｉｌｅ２。ｄａｔ」のファイル１７０２をクリックする操作を実行する。
【０１５２】
図１９は、図１７の画面においてリストボックス１７００内の「ｆｉｌｅ２。ｄａｔ」をクリックしたことにより文字と背景の色が反転表示され、その「ｆｉｌｅ２。ｄａｔ」ファイル１７０２が選択状態であることを示す図である。
【０１５３】
同様にして、画面変化検出部１０５は、リストボックス１７００内の項目「ｆｉｌｅ２。ｄａｔ」の反転表示による画面変化を検出し、その後画面に一定時間以上変化がなく応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１５４】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１５５】
図２０は、図１９の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１５６】
図２０の画面では、“●”の記号をファイル名の先頭に付記することにより、当該ファイルが現在選択されている項目であることを示している。つまり本実施の形態では、画面解析部１０３は、リストボックス内で現在選択されている項目のハイパーリンクには先頭に“●”の記号を付記してＨＴＭＬ形式のウェブページを出力する。
【０１５７】
ここで、利用者が「ＯＫ」ボタンを表したハイパーリンク１０００を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、図１９のＧＵＩ画面５０上で「Ｆａｘの送信」ウィンドウ４０の「ＯＫ」ボタン１７０１をクリックする操作を実行する。
【０１５８】
図２１は、図１９の画面において「ＯＫ」ボタン１７０１をクリックしたことにより、Ｆａｘの送信先の番号であるＦａｘ番号の入力のウィンドウ４０が表示された状態を示す図であり、このウィンドウ４０が現在アクティブなウィンドウである。
【０１５９】
このＦａｘ番号の入力のウィンドウ４０は、Ｆａｘ番号を入力するための入力ボックス２１００と、「ＯＫ」と「キャンセル」のボタン１７０１を備えている。
【０１６０】
同様に、画面変化検出部１０５は、Ｆａｘ番号の入力のウィンドウ４０の表示による画面変化を検出し、その後画面に一定時間以上変化がないことにより応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１６１】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１６２】
図２２は、図２１の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１６３】
図２２においては、文字列入力ボックス２２００を、図２１の文字列入力ボックス２１００に対応して表示している。つまり本実施の形態では、画面解析部１０３は、コンピュータ１００のＧＵＩ画面５０のアクティブなウィンドウ上に文字列入力ボックス２１００がある場合には、これに対応して端末装置１０１の画面上に文字列入力ボックス２２００を表示するように、ＨＴＭＬ形式のウェブページを出力する。近年の携帯電話端末やＰＨＳ端末等のウェブブラウザ画面においては、通常は、文字を入力するための文字列入力ボックス２２００を表示する機能を備えており、本実施の形態ではこの機能を利用することにより文字列入力ボックス２２００を表示するのである。
【０１６４】
ここで、利用者が、文字列入力ボックス２２００にＦａｘ番号を入力し、「ＯＫ」ボタンを表したハイパーリンク１０００を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、ここで利用者が入力したＦａｘ番号を図２１のＧＵＩ画面５０上で文字列入力ボックス２１００に入力し、更に当該ウィンドウ４０上の「ＯＫ」ボタン１７０１をクリックする。
【０１６５】
これにより、コンピュータ１００は、利用者からのＦａｘの送信を指示する遠隔操作を受け付け、ｆｉｌｅ２。ｄａｔのファイルの内容を、指定されたＦａｘ番号の送信先に送信する。
【０１６６】
図２３は、図２１の画面においてＦａｘ番号の入力とその送信の指示に応じて、その送信の完了の旨を示すウィンドウ４０が表示された状態を示す図であり、このウィンドウ４０が現在アクティブなウィンドウである。
【０１６７】
同様に、画面変化検出部１０５は、Ｆａｘ番号の入力のウィンドウ４０の表示による画面変化を検出し、その後画面に一定時間以上変化がないことにより応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１６８】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１６９】
図２４は、図２３の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１７０】
そして、利用者が、この「ＯＫ」ボタンを表したハイパーリンク１０００を選択することにより、Ｆａｘの送信の完了の旨を通知するウィンドウ４０（図２３）を閉じるための操作を行うと、操作実行部１０６は、コンピュータ１００のＧＵＩ画面上でウィンドウ４０上の「ＯＫ」ボタン１７０１をクリックする。すると、このＦａｘ送信完了通知のウィンドウ４０が閉じられ、コンピュータ１００のＧＵＩ画面５０は、図１３に示される状態に戻る。
【０１７１】
これにより、コンピュータ１００を遠隔操作してファックスの送信を行う一連の操作が終了する。
【０１７２】
次に、本発明の第２の実施の形態の遠隔操作システムを説明する。
【０１７３】
第１の実施の形態においては、端末装置１０１がＨＴＭＬ形式のウェブページを表示可能な端末装置であることが事前にわかっており、画面解析部１０３が画面情報送信部１０４に出力する画面情報のデータは、ＨＴＭＬ形式のウェブページである。これに対して第２の実施の形態では、端末装置１０１が電子メールを送受信可能な端末装置であることが事前にわかっており、画面解析部１０３が画面情報送信部１０４に出力する画面情報のデータは、電子メールのテキストである。
【０１７４】
図２５は、第２の実施の形態における遠隔操作システムの構成を示すブロック図である。第２の実施の形態における遠隔操作システムは、基本的な動作は第１の実施の形態における遠隔操作システムと全く同様であり、ＨＴＭＬ文によるウェブページではなく電子メールによって遠隔操作のためのデータをやりとりさせる点が異なる。
【０１７５】
例えば、コンピュータ１００の表示画面が図１１に示した表示画面５０の例の場合、第２の実施の形態の遠隔操作システムでは、画面解析部２５００が図１１に示した表示画面５０の内容を解析してその結果を電子メールのテキストとして出力する。画面情報送信部２５０１は、この電子メールのテキストを端末装置１０１の電子メールアドレス宛てに送信する。端末装置１０１はこの電子メールを受信し、画面に例えば図２６のように表示される。
【０１７６】
利用者がこの電子メールの画面を見て、例えば「Ｆａｘ」アイコンを操作したいときには、受信した図２６の画面の電子メールに対して、図２７のようなメールを返信する。つまり、本文の欄に操作したい項目の番号を入力して返信する。
【０１７７】
このようにして端末装置から電子メールが返信されると、操作実行部２５０２がこの返信された電子メールを受信し、返信された電子メールの本文の欄を解析して行うべき操作を決定し、その操作を第１の実施の形態の場合と同様に実行する（図２７の電子メールの例の場合は、図１１の「Ｆａｘ」のアイコン１１００上の座標をダブルクリックする）。この結果、コンピュータ１００の表示画面は図１３の表示画面５０のようになる。
【０１７８】
また例えば、コンピュータ１００の表示画面が図１７に示した表示画面５０の例の場合、第２の実施の形態の遠隔操作システムでは、画面解析部２５００が図１７に示した表示画面５０の内容を解析してその結果を電子メールのテキストとして出力する。画面情報送信部２５０１は、この電子メールのテキストを端末装置１０１の電子メールアドレス宛てに送信する。端末装置１０１はこの電子メールを受信し、画面に例えば図２８のように表示される。利用者がこの電子メールの画面を見て、例えば「ｆｉｌｅ２。ｄａｔ」のファイルを選択したいときには、受信した図２８の画面の電子メールに対して、図２７と同じメールを返信する。
【０１７９】
操作実行部２５０２がこの返信された電子メールを受信すると、図１７のＧＵＩ画面５０上でリストボックス１７００内に表示される「ｆｉｌｅ２。ｄａｔ」のファイル１７０２をクリックする操作を実行する。この結果、コンピュータ１００の表示画面は図１９の表示画面５０のようになる。
【０１８０】
また例えば、コンピュータ１００の表示画面が図２１に示した表示画面５０の例の場合、第２の実施の形態の遠隔操作システムでは、画面解析部２５００が図２１に示した表示画面５０の内容を解析してその結果を電子メールのテキストとして出力する。画面情報送信部２５０１は、この電子メールのテキストを端末装置１０１の電子メールアドレス宛てに送信する。端末装置１０１はこの電子メールを受信し、画面に例えば図２９のように表示される。利用者がこの電子メールの画面を見て、ＦＡＸ番号を入力して「ＯＫ」ボタンを選択したいときには、受信した図２９の画面の電子メールに対して、図３０のようなメールを返信する。
【０１８１】
操作実行部２５０２がこの返信された電子メールを受信すると、受信した図３０の電子メールの本文の１に記入されているＦＡＸ番号を図２１のＧＵＩ画面５０上で文字列入力ボックス２１００に入力し、更にウィンドウ４０上の「ＯＫ」ボタン１７０１をクリックする。この結果、コンピュータ１００の表示画面は図２３の表示画面５０のようになる。 以上説明した第２の実施の形態の遠隔操作システムにより、携帯電話やＰＨＳ等の小型の携帯通信端末によっても、外部のコンピュータの表示画面の内容を参照しながら遠隔操作することができる。また、遠隔操作を行う側の端末には遠隔操作のための特別の機能を備えることを必要とせず、自由に利用者の手元にある携帯通信端末等を用いて、外部のコンピュータを遠隔操作することができる。
【０１８２】
次に、本発明の第３の実施の形態の遠隔操作システムを説明する。
【０１８３】
図３１は、本実施の形態の遠隔操作システムの構成を示すブロック図である。
【０１８４】
前述の第１および第２の実施の形態の遠隔操作システムでは、操作を行う側の端末として、携帯電話やＰＨＳ等の端末を想定して説明したが、ウェブブラウザ等の文字データの送受信機能を備える端末であればこれに限るものではない。図３１に示される本実施の形態においては、操作を行う側の端末に、パソコンやノートパソコンやその他の情報処理装置であるコンピュータ３１００を用いている。
【０１８５】
このコンピュータ３１００は、ウェブブラウザを搭載し、ＨＴＭＬ形式のデータを画面に表示可能であり、また操作対象のコンピュータ１００と同様にＧＵＩ画面を表示可能である。
【０１８６】
しかし、本実施の形態の遠隔操作システムでは、ウェブブラウザ等のみを用いてその遠隔操作を行うことができるため、従来の遠隔操作システムと異なり、操作を行う側の端末には遠隔操作のための特別のソフトウェアや半導体回路等を備える必要はない。
【０１８７】
近年における、市販のパソコンやノートパソコン等のほとんどでは、予めウェブブラウザを搭載して販売されているいるため、これらの端末を、特別なソフトウェアを追加することなくそのまま本実施の形態のコンピュータ３１００として用いることができる。
【０１８８】
本実施の形態の遠隔操作システムの動作は、第１の実施の形態の動作と同様であり、画面解析部１０３が出力する画面情報のＨＴＭＬ形式のデータが、コンピュータ３１００の画面上に表示され、コンピュータ３１００上で行われた操作に従って、操作実行部１０６がコンピュータ１００の操作を実行する。
【０１８９】
以上説明した本実施の形態の遠隔操作システムにより、第１の実施の形態と同様の効果を、操作を行う側の端末にコンピュータを用いた場合にも得ることができる。
【０１９０】
また、従来の操作を行う側の端末にコンピュータを用いたＧＵＩによる遠隔操作システムと異なり、操作対象のコンピュータの画面の情報を示す必要最小限のデータのみを送信することにより、遠隔操作を行うことができるため、通信コストを大幅に削減することができる。
【０１９１】
また、本実施の形態のように、操作を行う側の端末に画像データの表示機能を備える形態においては、操作対象のコンピュータ１００のＧＵＩ画面の全体又指定された一部（アプリケーションのウィンドウ内等）の画像データを、利用者からの指示や予め定められた設定に基づき、利用者のコンピュータ３１００に送信する機能を備えてもよい。これにより、利用者は、文字データのみでは不明なＧＵＩ画面の詳細な表示内容を、利用者のコンピュータ３１００のウェブブラウザ内等に表示させて確認することができる。
【０１９２】
次に、本発明の第４の実施の形態の遠隔操作システムを説明する。
【０１９３】
図３２は、第４の実施の形態における遠隔操作システムの構成を示すブロック図である。第４の実施の形態における遠隔操作システムは、基本的な動作は第１の実施の形態における遠隔操作システムと全く同様であるが、画面解析部３２００および画面情報送信部３２０１の動作に差異がある。第４の実施の形態における遠隔操作システムでは、画面解析部３２００は、コンピュータ１００の現在のＧＵＩ画面に表示されているアクティブなウィンドウのなかに、静止画もしくは動画が表示されていればそのことを検出する。さらに画面解析部３２００は、静止画もしくは動画の表示を検出した場合に、その静止画もしくは動画の表示データを抽出し、画面情報送信部３２０１に、ＨＴＭＬ形式のウェブページのデータとともに出力する。画面情報送信部３２０１は、画面解析部３２００から受け取ったデータを端末装置１０１に送信する。
【０１９４】
例えば、コンピュータ１００の現在の画面が図３３の画面５０の通りであったとする。ただし、映像表示ウィンドウ４０が現在のアクティブなウィンドウであり、この映像表示ウィンドウ４０上の映像表示ボックス３３００には、写真などの静止画、もしくはＴＶなどの動画が表示されているものとする。この場合、画面解析部３２００は、映像表示ウィンドウ４０が現在のアクティブなウィンドウであることを検出してそのウィンドウ上のＧＵＩ部品の情報を解析し、ＨＴＭＬ形式のウェブページのデータを出力するとともに、ウィンドウ４０上に静止画もしくは動画が表示されている映像表示ボックス３３００があることを検出して、映像表示ボックス３３００に表示されている映像データを抽出して出力する。
【０１９５】
画面解析部３２００が出力したこれらのデータが画面情報送信部３２０１によって端末装置１０１に送信され、この結果、これらのデータが端末装置１０１の画面に図３４のように表示される。図３３の映像表示ボックス３３００に表示された映像データは、図３４の映像表示ボックス３４００に表示される。映像表示ボックス３３００に表示された映像が動画の場合は映像表示ボックス３３００内の映像が時間とともに変化するが、その変化に追従して、映像表示ボックス３４００内の映像も変化する。つまり、画面解析部３２００が動画表示を検出した場合には、画面解析部３２００は動画が表示されている映像表示ボックス３３００内の映像のデータを継続的に抽出し、画面情報送信部３２０１に継続的に出力する。画面情報送信部３２０１はこの動画の映像データを継続的に、映像表示ボックス３４００へと送信する。なお本実施の形態においては端末装置１０１は、映像表示ボックス３４００を表示可能な端末装置であり、かつ映像表示ボックス３４００内に静止画もしくは動画を表示可能な端末である。
【０１９６】
次に、本発明の第５の実施の形態の遠隔操作システムを説明する。
【０１９７】
図３５は、第５の実施の形態における遠隔操作システムの構成を示すブロック図である。図３５を参照すると、第５の実施の形態の遠隔操作システムは、第１の実施の形態における遠隔操作システムの図１の構成に加え、画面情報変換部３５０２、変換規則登録部３５０５、端末特性検出部３５０６を備えている。
【０１９８】
端末特性検出部３５０６は、端末装置１０１の端末特性を検出する。ただし端末特性とは、端末装置の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラムおよびスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦および横の物理的な長さ、一画面内に表示可能な縦および横方向の文字数などのことである。
【０１９９】
画面情報変換部３５０２は、端末特性検出部３５０６が検出した端末装置１０１の端末特性を考慮して、画面解析部３５０１による画面解析結果のデータを、端末装置１０１への送信もしくは端末装置１０１での表示に適したデータに変換する。この変換の規則は、変換規則登録部３５０５に登録されている。
【０２００】
図３６は、第１の実施の形態の遠隔操作システムの遠隔操作の処理を説明するためのフローチャートである。
【０２０１】
図３６を参照すると、第５の実施の形態の遠隔操作システムは、利用者の認証（ステップ２０２）までは第１の実施の形態の遠隔システムと同様である。
【０２０２】
利用者の認証が完了されると、端末特性検出部３５０６は、端末装置１０１の特性を検出する（ステップ３６０１）。次に、画面解析部３５０１がコンピュータ３５００の現在の画面を解析する（ステップ２０３、第１の実施の形態と同様）。次に、画面情報変換部３５０２が、画面解析部３５０１による画面解析の結果のデータを変換する（ステップ３６０２）。この変換されたデータが、画面情報送信部３５０３によって端末装置１０１に送信され、利用者の端末装置１０１の画面に表示される（ステップ２０４）。
【０２０３】
そして、利用者がコンピュータ３５００に対する操作を端末装置１０１を用いて実行した場合には、この操作の情報を操作実行部３５０４が受信してコンピュータ３５００上で実行する（ステップ２０５、２０６）。
【０２０４】
また、これによりコンピュータ３５００の画面の表示が変化した場合には、画面変化検出部１０５がその変化を検出し、変化が終了したことがわかると、再びステップ２０３以下の処理を実行し、利用者の端末装置１０１の画面に表示されるデータを最新のものに更新する。
【０２０５】
次に、第５の実施の形態の遠隔操作システムによる遠隔操作の一実施例を説明する。
【０２０６】
画面解析部３５０１は、コンピュータ３５００の表示画面を解析して、解析結果のデータを、端末装置１０１の装置特性には依存しない汎用的な形式、例えばＸＭＬ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）形式で出力する。例えば、コンピュータ３５００の表示画面５０の一例が、第１の実施の形態における遠隔操作の一実施例の場合と同様に、図１１に示す通りであるとする。図３７は、画面解析部３５０１が図１１の表示画面５０を解析して、画面情報変換部３５０２へと出力するＸＭＬ形式の画面情報のデータの一例である。図３７において、ｘ１〜ｘ３およびｙ１〜ｙ３は、図１１の３つのアイコン１１００のｘ座標およびｙ座標の値である。また図３７において、ｅｖｅｎｔタグは操作イベントを表しており、ＬＷＣＬＩＣＫはマウスの左ボタンによるダブルクリックである。
【０２０７】
また本例では、装置特性検出部３５０６が端末装置１０１の固有ＩＤを検出し、変換規則登録部３５０５には、端末装置１０１の各固有ＩＤごとに、画面解析部３５０１が出力する汎用的な形式のデータを、該固有ＩＤの端末装置に適した形式のデータに変換する規則が登録されている。例えば、端末装置１０１の固有ＩＤがＺであると検出されたとし、固有ＩＤがＺの端末装置の場合には、画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則が、変換規則登録部３５０５に登録されているとする（つまりこの場合、固有ＩＤがＺの端末装置１０１は、ＨＴＭＬ形式のデータを表示可能な端末装置である）。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された、固有ＩＤがＺの端末装置のための変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをＨＴＭＬ形式のデータに変換する。このＨＴＭＬ形式のデータは、画面情報送信部３５０３によって、端末装置１０１へと送信され、図１２の例と同様に端末装置１０１の画面に表示される。
【０２０８】
操作実行部３５０４は、端末装置１０１上で行われた操作の情報を受信し、その操作に対応する操作をコンピュータ３５００上で実行する。端末装置１０１で行われた操作をＶとすると、画面解析部３５０１が出力する画面情報のデータと、画面情報変換部３５０２が該画面情報のデータの形式を変換した際のデータ間の対応づけの情報（変換前のデータと変換後のデータのどの部分が対応しているかの情報）とから、このＶに対応するコンピュータ３５００上での操作を特定できる。
【０２０９】
また別の例として、装置特性検出部３５０６が端末装置１０１の機種を検出し、変換規則登録部３５０５には、端末装置１０１の各機種ごとに、画面解析部３５０１が出力する汎用的な形式のデータを、該機種に適した形式のデータに変換する規則が登録されている。例えば、端末装置１０１の機種がＺであると検出されたとし、機種がＺの端末装置の場合には、画面情報のデータをＸＭＬ形式からメール形式に変換するための規則が、変換規則登録部３５０５に登録されているとする（つまりこの場合、機種がＺの端末装置１０１は、メールを送受信可能な端末装置である）。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された、機種がＺの端末装置のための変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをメール形式のデータに変換する。このメール形式のデータは、画面情報送信部３５０３によって、端末装置１０１へメールとして送信され、図２６の例と同様に端末装置１０１の画面に表示される。
【０２１０】
また別の例として、装置特性検出部３５０６が端末装置１０１の処理速度を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の処理速度に応じて変換する規則が登録されている。例えば、端末装置１０１の処理速度がＺ１であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および、（２）処理速度がＺ２未満の場合には、画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｚ１＜Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、Ｚ１＝Ｚ２もしくはＺ１＞Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。以上からわかるように本例では、端末装置１０１の処理速度が小さいときに、画面情報の一部を削除することで、端末装置１０１における画面情報の表示処理の負荷を軽減している。
【０２１１】
また別の例として、装置特性検出部３５０６が端末装置１０１の通信速度を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の通信速度に応じて変換する規則が登録されている。例えば、端末装置１０１の通信速度がＺ１であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および、（２）通信速度がＺ２未満の場合には、画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、前記の処理速度検出の例の場合と同様に、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｚ１＜Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、Ｚ１＝Ｚ２もしくはＺ１＞Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。以上からわかるように本例では、端末装置１０１の通信速度が小さいときに、画面情報の一部を削除することで、コンピュータ３５００から端末装置１０１へのデータ送信量を軽減している。
【０２１２】
また別の例として、装置特性検出部３５０６が端末装置１０１の単位データ量当たりの通信費用を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の単位データ量当たりの通信費用に応じて変換する規則が登録されている。端末装置１０１の単位データ量当たりの通信費用は、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の単位データ量当たりの通信費用がＺ１であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および、（２）単位データ量当たりの通信費用がＺ２以上の場合には、画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｚ１＝Ｚ２もしくはＺ１＞Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、Ｚ１＜Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。つまり本例では、端末装置１０１の単位データ量当たりの通信費用が大きいときに、画面情報の一部を削除することで、コンピュータ３５００から端末装置１０１へのデータ送信費用を軽減している。
【０２１３】
また別の例として、装置特性検出部３５０６が端末装置１０１の単位時間当たりの通信費用を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の単位時間当たりの通信費用に応じて変換する規則が登録されている。端末装置１０１の単位時間当たりの通信費用は、前記の単位データ量当たりの通信費用の場合と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の単位時間当たりの通信費用がＺ１であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および、（２）単位時間当たりの通信費用がＺ２以上の場合には、画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｚ１＝Ｚ２もしくはＺ１＞Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、Ｚ１＜Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。つまり本例では、端末装置１０１の単位時間当たりの通信費用が大きいときに、画面情報の一部を削除することで、コンピュータ３５００から端末装置１０１へのデータ送信費用を軽減している（通信するデータ量の削減は通信時間の削減につながるので）。
【０２１４】
また別の例として、装置特性検出部３５０６が端末装置１０１の画面に表示可能なデータ形式を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の画面に表示可能な形式のデータに変換する規則が登録されている。端末装置１０１の画面に表示可能なデータ形式は、前記の例と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の画面に表示可能なデータ形式がＨＴＭＬ形式であると検出されたとし、変換規則登録部３５０５には、画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、およびＨＴＭＬ以外の他の形式（メール形式など）に変換するための複数の規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記の変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをＨＴＭＬ形式のデータに変換する。
【０２１５】
また別の例として、装置特性検出部３５０６が端末装置１０１にて実行可能なプログラムおよびスクリプトの形式を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１にて実行可能な形式のプログラムもしくはスクリプトに変換する規則が登録されている。端末装置１０１にて実行可能なプログラムおよびスクリプトの形式は、前記の例と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１ではＪａｖａ形式のプログラム、およびＪａｖａスクリプト形式のスクリプトを実行可能であると検出されたとし、変換規則登録部３５０５には、画面情報のＸＭＬ形式のデータをＪａｖａスクリプト形式のスクリプトに変換するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記の変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータを、Ｊａｖａスクリプト形式のスクリプトに変換する。変換規則登録部３５０５に画面情報のＸＭＬ形式のデータをＪａｖａ形式のプログラムに変換するための規則が登録されている場合も同様である。
【０２１６】
また別の例として、装置特性検出部３５０６が端末装置１０１にて一度に受信可能なデータ量を検出し、変換規則登録部３５０５には、端末装置１０１に送信するデータ量が端末装置１０１にて一度に受信可能なデータ量以下になるように変換する規則が登録されている。端末装置１０１にて一度に受信可能なデータ量は、前記の例と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の画面に表示可能なデータ形式がＨＴＭＬ形式であると検出され、かつ、端末装置１０１にて一度に受信可能なデータ量がＺであると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および（２）データ量がＺ以下になるようにＨＴＭＬ形式のデータの一部を削除する規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをＨＴＭＬ形式のデータに変換し、さらに、データ量がＺ以下になるように該ＨＴＭＬ形式のデータの一部を削除する。つまり本例では、端末装置１０１ではある一定量のデータしか一度に受信できないので、送信する画面情報のデータの量をその制限量以下に削減することで、受信可能データ量に制限のある端末装置１０１でもコンピュータ３５００の画面情報を表示可能にしている。
【０２１７】
また別の例として、装置特性検出部３５０６が端末装置１０１の画面に表示可能な色を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の画面に表示可能な色に応じて変換する規則が登録されている。端末装置１０１の画面に表示可能な色は、前記の例と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の画面に表示可能なデータ形式がＨＴＭＬ形式であると検出され、かつ、端末装置１０１の画面に表示可能な色が黒、赤、青など合計２５６色であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および（２）同じ種類のＧＵＩ部品（ボタン、メニューなど）の情報を同じ色で表現するようにＨＴＭＬの色指定タグを使用し、その色を携帯端末１０１の画面に表示可能な色のなかから選ぶ規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをＨＴＭＬ形式のデータに変換し、さらに、そのＨＴＭＬへの変換において同じ種類のＧＵＩ部品の情報が同じ色で表現されるようにＨＴＭＬの色指定タグが使用され、使用される色は端末装置１０１の画面に表示可能な色のなかから選ばれる。なお、装置特性検出部３５０６が端末装置１０１の画面に表示可能な文字フォントを検出する場合も、以上に記載した色の場合と全く同様であり、表示可能な文字フォントが検出され、この文字フォントを使用して携帯端末１０１の画面上に表示されるように、画面情報のデータが変換される。
【０２１８】
また別の例として、装置特性検出部３５０６が端末装置１０１の画面解像度を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の画面解像度に応じて変換する規則が登録されている。例えば、端末装置１０１の画面に表示可能なデータ形式がＨＴＭＬ形式であると検出され、かつ、端末装置１０１の画面解像度が横Ｗ１ピクセル、縦Ｈ１ピクセルであると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および（２）画面解像度が横Ｗ２ピクセル未満かつ縦Ｈ２ピクセル未満の場合には画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｗ１＜Ｗ２かつＨ１＜Ｈ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、それ以外であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。つまり本例では、端末装置１０１の画面解像度が一定サイズより小さい場合に、画面情報の一部を削除することで、画面サイズの小さい端末装置の場合に表示される情報量が多くなりすぎないようにしている。なお、装置特性検出部３５０６が端末装置１０１の画面の縦および横の物理的な長さ、もしくは一画面内に表示可能な縦および横方向の文字数を検出する場合も、以上に記載した画面解像度の場合と全く同様であり、画面の縦および横の物理的な長さが一定値より小さい場合や、一画面内に表示可能な縦および横方向の文字数が一致値より少ない場合に、画面情報の一部を削除して画面情報のデータが変換される。
【０２１９】
次に、本発明の第６の実施の形態の遠隔操作システムを説明する。
【０２２０】
図３８は、第６の実施の形態における遠隔操作システムの構成を示すブロック図である。第６の実施の形態における遠隔操作システムは、基本的な動作は第５の実施の形態における遠隔操作システムと全く同様であるが、画面解析部３８０１、画面情報変換部３８０２、画面情報送信部３８０３、端末特性検出部３８０４、および変換規則登録部３８０５の動作に差異がある。
【０２２１】
第６の実施の形態における遠隔操作システムでは、画面解析部３８０１は、コンピュータ１００の現在のＧＵＩ画面に表示されているアクティブなウィンドウのなかに、静止画もしくは動画が表示されていればそのことを検出する。さらに画面解析部３８０１は、静止画もしくは動画の表示を検出した場合に、その静止画もしくは動画の表示データを抽出し、画面情報変換部３８０２に、ＸＭＬ形式の画面情報のデータとともに出力する。
【０２２２】
また、端末特性検出部３８０４は、端末装置１０１で表示可能な静止画および動画のデータ形式を検出可能であり、変換規則登録部３８０５には、画面解析部が抽出した静止画もしくは動画の表示データを、端末装置１０１で表示可能な形式の静止画および動画のデータに変換するための規則が登録されている。
【０２２３】
画面情報変換部３８０２は、第５の実施の形態の場合と同様にＸＭＬ形式の画面情報のデータを端末装置１０１に表示可能な形式のデータに変換することに加え、画面解析部３８０１が抽出した静止画もしくは動画の表示データを、変換規則登録部３８０５に登録された規則に従って、端末装置１０１で表示可能な形式の静止画および動画のデータに変換する。これらのデータが画面情報送信部３８０３によって端末装置１０１に送信され、端末装置１０１の画面に表示される。
【０２２４】
例えば、コンピュータ１００の現在の画面が図３３の画面５０の通りであったとする。ただし、映像表示ウィンドウ４０が現在のアクティブなウィンドウであり、この映像表示ウィンドウ４０上の映像表示ボックス３３００には、写真などの静止画、もしくはＴＶなどの動画が表示されているものとする。この場合、画面解析部３８０１は、映像表示ウィンドウ４０が現在のアクティブなウィンドウであることを検出してそのウィンドウ上のＧＵＩ部品の情報を解析し、画面情報のデータをＸＭＬ形式で出力するとともに、ウィンドウ４０上に静止画もしくは動画が表示されている映像表示ボックス３３００があることを検出して、映像表示ボックス３３００に表示されている映像データを抽出して出力する。
【０２２５】
画面解析部３８０１が出力したＸＭＬ形式の画面情報のデータおよび映像データが、画面情報変換部３８０２によって端末装置１０１に表示可能な形式にデータにそれぞれ変換され、画面情報送信部３８０３によって端末装置１０１に送信される。この結果、これらのデータが端末装置１０１の画面に図３４のように表示される。ただし、図３４の映像表示ボックス３４００に表示される映像データは、図３３の映像表示ボックス３３００の映像データが変換されたものである。映像表示ボックス３３００に表示された映像が動画の場合は映像表示ボックス３３００内の映像が時間とともに変化するが、その変化に追従して、映像表示ボックス３４００内の映像も変化する。つまり、画面解析部３８０１が動画表示を検出した場合には、画面解析部３８０１は動画が表示されている映像表示ボックス３３００内の映像のデータを継続的に抽出し、画面情報変換部３８０２に継続的に出力する。画面情報変換部３８０２はこの動画の映像データを継続的に変換し、さらに画面情報送信部３８０３はこの変換された映像データを継続的に映像表示ボックス３４００へと送信する。なお本実施の形態においては端末装置１０１は、映像表示ボックス３４００を表示可能な端末装置であり、かつ映像表示ボックス３４００内に静止画もしくは動画を表示可能な端末である。映像表示ボックス３４００に表示可能な静止画もしくは動画のデータ形式は、映像表示ボックス３３００に表示される静止画もしくは動画のデータ形式と同一でなくてもよい。
【０２２６】
上記各実施の形態の遠隔操作システムは、操作対象のコンピュータ１００における画面解析部、画面情報送信部、操作実行部、画面変化検出部等の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムを、コンピュータ処理装置のメモリにロードされることで実現することができる。このコンピュータプログラムは、磁気ディスク、半導体メモリその他の記録媒体１０８に格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０２２７】
図３９は、本発明の操作対象のコンピュータ１００の装置構成の一実施例を示すブロック図である。
【０２２８】
図３９の例のコンピュータ１００は、通信部１０７であるインターネット接続装置３９１２（モデム、ターミナルアダプタ、ダイアルアップルータ等）を介してインターネットの通信ネットワーク１０２に接続される。これにより、コンピュータ１００はインターネットを介してＰＨＳ端末等から遠隔操作をすることができる。また、表示装置であるディスプレイ３９１０や、入力装置であるキーボード３９０９、マウス３９１１を備えている。
【０２２９】
図３９の例においては、前述の本発明の機能を備えるコンピュータプログラムを、ＲＯＭ３９０２（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク３９０６、ＣＤ３９０５（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＦＤ３９０８（Ｆｌｏｐｐｙ Ｄｉｓｃ）等の各種記録媒体に記録し、これをＲＡＭ３９０３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出して、ＣＰＵ３９０１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実行することができる。また、ＣＤ３９０５に記録されている場合はＣＤドライブ３９０４を介して、ＦＤ３９０８に記録されている場合はＦＤドライブ３９０７を介して読み出すことができる。
【０２３０】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０２３１】
【発明の効果】
以上説明したように本発明の遠隔操作システムによれば、以下のような効果が達成される。
【０２３２】
第１に、ディスプレイのサイズが小さく又表示できる情報が文字のみである等の携帯端末によっても、コンピュータの遠隔操作を行うことができ、操作対象のコンピュータ上で動作する任意のＧＵＩアプリケーションソフトウェアを遠隔操作することができる。
【０２３３】
第２に、操作対象のコンピュータの表示画面を、文字データにより表示されるハイパーテキストやウェブページに適切に変換し、これを利用者の端末に送信し又その操作を受け付けるため、利用者の端末には遠隔操作のための特別の機能を備える必要はなく、ウェブブラウザ等を備える通信の可能な端末を自由に選択して、ＧＵＩ環境のコンピュータを遠隔操作することができる。
【０２３４】
第３に、操作対象のコンピュータの画面の情報を、アクティブウィンドウのタイトル名やメニューの各項目の名前等のデータを取得し、これをＨＴＭＬ文等のテキストデータに変換して通知するため、従来のシステムの様に各ウィンドウやオブジェクトの表示位置や形状等の詳細なデータを通知する必要がなく、通信コストを大幅に削減することができる。
【０２３５】
第４に、遠隔操作に用いる端末装置の特性に合わせて、操作対象のコンピュータの画面情報のデータを変換するため、さまざまな特性を有する端末装置を、コンピュータの遠隔操作に利用可能となる。つまり、遠隔操作に利用可能な端末装置が、ある特定の特性を有する装置だけに限定されない。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態の遠隔操作の処理を説明するためのフローチャートである。
【図３】本発明の第１の実施の形態の画面解析部による画面解析の処理を説明するためのフローチャートである。
【図４】コンピュータのＧＵＩ画面に表示されるウィンドウの一例を示す図である。
【図５】コンピュータのＧＵＩ画面の例を示す図である。
【図６】ウィンドウ内のメニューの一例を示す図である。
【図７】本発明の第１の実施の形態のＧＵＩ部品のプロパティ情報の一例を示す図である。
【図８】ＧＵＩ部品の座標値の一例を示す図である。
【図９】本発明の第１の実施の形態の、画面解析部により作成されるデータの一例を示す図である。
【図１０】本発明の第１の実施の形態の画面解析部が解析した図６の表示画面を、端末装置に表示した一例を示す図である。
【図１１】本発明の第１の実施の形態の操作対象のコンピュータへの接続時点での表示画面の一例を示す図である。
【図１２】本発明の第１の実施の形態の画面解析部が解析した図１１の表示画面を、端末装置に表示した一例を示す図である。
【図１３】図１１の画面においてＦａｘのアイコンをダブルクリックし、Ｆａｘのウィンドウを表示した状態を示す図である。
【図１４】本発明の第１の実施の形態の画面解析部が解析した図１３の表示画面を、端末装置に表示した一例を示す図である。
【図１５】図１３の画面においてファイルのメニューをクリックし、プルダウンメニューを表示した状態を示す図である。
【図１６】本発明の第１の実施の形態の画面解析部が解析した図１５の表示画面を、端末装置に表示した一例を示す図である。
【図１７】図１５の画面において送信の項目をクリックし、Ｆａｘの送信のウィンドウを表示した状態を示す図である。
【図１８】本発明の第１の実施の形態の画面解析部が解析した図１７の表示画面を、端末装置に表示した一例を示す図である。
【図１９】図１７の画面においてリストボックス内のファイルをクリックして選択した状態を示す図である。
【図２０】本発明の第１の実施の形態の画面解析部が解析した図１９の表示画面を、端末装置に表示した一例を示す図である。
【図２１】Ｆａｘの送信先の番号であるＦａｘ番号の入力のウィンドウが表示された状態を示す図である。
【図２２】本発明の第１の実施の形態の画面解析部が解析した図２１の表示画面を、端末装置に表示した一例を示す図である。
【図２３】Ｆａｘの送信の完了の旨を示すウィンドウが表示された状態を示す図である。
【図２４】本発明の第１の実施の形態の画面解析部が解析した図２３の表示画面を、端末装置に表示した一例を示す図である。
【図２５】本発明の第２の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図２６】本発明の第２の実施の形態の画面解析部が解析した図１１の表示画面を、端末装置に表示した一例を示す図である。
【図２７】本発明の第２の実施の形態の端末装置からコンピュータへ送信される電子メールの一例を示す図である。
【図２８】本発明の第２の実施の形態の画面解析部が解析した図１７の表示画面を、端末装置に表示した一例を示す図である。
【図２９】本発明の第２の実施の形態の画面解析部が解析した図２１の表示画面を、端末装置に表示した一例を示す図である。
【図３０】本発明の第２の実施の形態の端末装置からコンピュータへ送信される電子メールの一例を示す図である。
【図３１】本発明の第３の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図３２】本発明の第４の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図３３】本発明の第４および第６の実施の形態の操作対象のコンピュータのＧＵＩ画面の例を示す図である。
【図３４】本発明の第４の実施の形態の画面解析部が解析した図３３の表示画面を端末装置に表示した一例、および、本発明の第６の実施の形態の画面情報変換部により変換した図３３の表示画面を端末装置に表示した一例を示す図である。
【図３５】本発明の第５の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図３６】本発明の第５の実施の形態の遠隔操作の処理を説明するためのフローチャートである。
【図３７】本発明の第５の実施の形態の、画面解析部により作成されるデータの一例を示す図である。
【図３８】本発明の第６の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図３９】本発明の操作対象のコンピュータの装置構成の一実施例を示すブロック図である。
【符号の説明】
１００、３９００ 操作対象のコンピュータ
１０１ 端末装置
１０２ 通信ネットワーク
１０３、２５００、３２００、３５０１、３８０１ 画面解析部
１０４、２５０１、３２０１、３５０３、３８０３ 画面情報送信部
１０５ 画面変化検出部
１０６、２５０２、３５０４ 操作実行部
１０７ 通信部
１０８ 記録媒体
２０１〜２０７、３０１〜３０４、３６０１、３６０２ 処理ステップ
４０ ウィンドウ
５０ コンピュータの表示画面
６０ メニュー項目
８０ ＧＵＩ部品
１０００ ハイパ−リンク
１１００ アイコン
１５００ サブメニュー項目
１７００ リストボックス
１７０１ ボタン
１７０２ リストボックスの項目
２１００、２２００ 入力ボックス
３１００ 操作を行う側のコンピュータ
３３００、３４００ 映像表示ボックス
３５０２、３８０２ 画面情報変換部
３５０５、３８０５ 変換規則登録部
３５０６、３８０４ 端末特性検出部
３９０１ ＣＰＵ
３９０２ ＲＯＭ
３９０３ ＲＡＭ
３９０４ ＣＤドライブ
３９０５ ＣＤ
３９０６ ハードディスク
３９０７ ＦＤドライブ
３９０８ ＦＤ
３９０９ キーボード
３９１０ ディスプレイ
３９１１ マウス
３９１２ インターネット接続装置
【発明の属する技術分野】
本発明は、情報処理装置に対して、通信ネットワークを介して別の情報処理装置から遠隔操作を行う遠隔操作システムとその遠隔操作方法及び遠隔操作プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来より、電子計算機システムにおいては、通信ネットワークを介してサーバを外部の端末から操作する遠隔操作システムが広く利用されている。
【０００３】
この遠隔操作によって、利用者は遠隔地にあるコンピュータや機器を自由に操作することができ、また、数多くの利用者が高性能のサーバを共同して利用することや、サーバを複数の（又、通信ネットワークに接続された不特定の）端末から操作することができる。
【０００４】
また、従来の遠隔操作システムでは、遠隔操作を受ける側のサーバに、ネットワークを介した利用者のログインや操作を受け付ける機能を備えると共に、遠隔操作を行う側の端末に、遠隔操作を行うための仮想端末ソフトウェアや端末エミュレータを備えることにより、遠隔操作を実現している。
【０００５】
例えば、こうした外部の端末からサーバを遠隔操作する仮想端末ソフトウェアには、ｔｅｌｎｅｔ等がある。ｔｅｌｎｅｔは、命令コマンドを文字入力する方式であるＣＵＩ（ｃｈａｒａｃｔｅｒ ｂａｓｅｄ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）により遠隔操作を行うものであり、ＵＮＩＸ等のこうしたＣＵＩによる操作に対応するコンピュータを遠隔操作の対象とし、操作対象のコンピュータにおけるＣＵＩ環境の操作画面を利用者の元の端末に表示し、その操作画面に対し利用者がコマンドを入力することにより遠隔操作を行う。
【０００６】
このように、ＣＵＩ環境の遠隔操作システムでは、操作対象のコンピュータのＣＵＩ環境の操作画面を、端末のディスプレイの全体又はフレームの１つとして表示し、利用者が入力したコマンドを操作対象のコンピュータにおいて実行し、またその実行に対応する応答等を操作画面に表示する。
【０００７】
また最近では、画面上に表示されたアイコンやウィンドウなどのグラフィカルな要素をマウスなどのポインティングデバイスで操作するＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ：グラフィカルユーザインタフェース）の操作環境を備えるコンピュータが広く普及し、また、こうしたＧＵＩ環境のコンピュータでは、ＣＵＩにおける命令コマンドの入力等による操作には対応しない場合も多い。
【０００８】
しかし、こうしたＧＵＩ環境のコンピュータに対しても、遠隔操作を行う側の端末にＧＵＩ環境に対応する仮想端末ソフトウェアを備えることにより、ＣＵＩ環境の場合と同様に遠隔操作することができる。
【０００９】
ＧＵＩ環境の場合の仮想端末ソフトウェアは、操作対象のコンピュータに接続してその表示画面のデータを取得し、これを端末のディスプレイ内に表示する。そして、その表示画面内において、利用者がマウスのクリック等のＧＵＩの操作を行った場合には、操作対象のコンピュータに対しその操作に対応する処理の実行を指示することにより遠隔操作を行う。
【００１０】
これにより、利用者の端末において、操作対象のコンピュータの表示画面を表示し、操作対象のコンピュータをＧＵＩの操作により遠隔操作することができる。
【００１１】
こうしたＧＵＩ環境に対応する仮想端末ソフトウェアには、例えば、「ＷｉｎＳｈａｒｅ」（ＮＥＣ製）、「Ｄｅｓｋｔｏｐ Ｏｎ−Ｃａｌｌ」（日本ＩＢＭ製）、「ｐｃＡＮＹＷＨＥＲＥ３２」（シマンテック社製）等がある。また、ＧＵＩ環境のコンピュータに対し遠隔操作を行う遠隔操作システムの従来技術には、例えば、特開平０５−０３５６２２号公報に開示された遠隔コンピュータ操作装置の技術等がある。
【００１２】
【発明が解決しようとする課題】
上述したように従来の、ＧＵＩ環境のコンピュータに対する遠隔操作システムでは以下に述べるような問題点があった。
【００１３】
第１に、従来の遠隔操作システムでは、遠隔操作を行う側の端末において、遠隔処理を行うためのソフトウェアや、又は係る機能を実現する半導体回路等の特別の機能を備えることが必要であった。
【００１４】
また、操作対象のコンピュータのＧＵＩ環境は、そのコンピュータの機種や使用するＯＳ（ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）により異なるため、この仮想端末ソフトウェア等は、予め操作対象のコンピュータに対応するものを用いる必要がある。
【００１５】
更に、こうしたＧＵＩによる遠隔操作を行うためのソフトウェア等は、インストール時等に詳細で複雑な設定を必要としたり、ハードディスク内に多くのスペースを占めたり、その価格が高価な場合もある等により、これを端末に備えるためには面倒な点が多い。
【００１６】
このため、利用者は、遠隔操作を行う端末を自由に選択することができず、操作対象のコンピュータに対応した遠隔操作の機能を備える特別の端末を使用することが必要であった。例えば、手元にある情報処理端末や通信端末を自由に選択して遠隔操作を行うことはできなかった。
【００１７】
従来の、この問題点を解決するための技術には、特開平１０−３０１８７４号公報に開示された遠隔操作方法がある。
【００１８】
この特開平１０−３０１８７４号公報の従来技術では、操作対象のコンピュータであるサーバの表示画面の画像データを表示するウェブページを自動生成することにより、その表示画面の画像を利用者の端末のウェブブラウザに表示させる。
【００１９】
また、利用者からのＧＵＩによる操作は、表示画面の画像データの表示にＪＡＶＡアプレットを使用することにより、利用者が表示画面の画像データに対しマウスによるクリック等の操作を行った場合には、自動的にこれをサーバ側に通知し、サーバにおいて対応する処理を実行する。また、利用者の端末のウェブブラウザに表示される、サーバの表示画面の画像は、利用者からの操作を受け付けた場合等において更新を行う。
【００２０】
このため、利用者の端末においては、インターネット等の通信機能とウェブブラウザを備えることのみが必要であり、遠隔操作のための特別の機能を備えることを必要としない。
【００２１】
しかし、コンピュータの表示画面の画像データは、かなり多くのデータ量を必要とし、これを遠隔操作を受け付けるために利用者の端末に送信する場合には、高速の通信回線と長い通信時間を必要としている。利用者の端末に特別の機能を備える必要はないが、その通信においては大容量の画像データを頻繁に通信するため、現在のインターネット等の通信インフラには適していない。
【００２２】
第２に、従来の遠隔操作システムでは、遠隔操作を行う側の端末は、操作対象のコンピュータにおける表示画面を、そのまま表示することのできるディスプレイを備えることが必要であった。
【００２３】
例えば、パソコンやノートパソコン等の広いディスプレイ画面を備える情報処理端末を用いることが必要であり、携帯電話やＰＨＳ（ｐｅｒｓｏｎａｌ ｈａｎｄｙ−ｐｈｏｎｅ ｓｙｓｔｅｍ）等の小型の通信端末では、外部のコンピュータの遠隔操作を行うことはできなかった。
【００２４】
これら携帯電話やＰＨＳ等の通信端末では、ディスプレイがかなり狭く、表示できる色数が少なく、また文字の表示ができるのみで画像の表示ができないものもあり、コンピュータの画面をそのまま表示することができない。
【００２５】
しかし、これらの携帯通信端末は、広く普及し多くの利用者により使用されており、また携帯に便利であり、このため外部のコンピュータの遠隔操作に用いることが可能となれば極めて有用である。
【００２６】
本発明の第１の目的は、上記従来技術の欠点を解決し、現在市販される携帯電話やＰＨＳ等の小型の携帯通信端末によっても、外部のコンピュータをＧＵＩにより遠隔操作することのできる遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体を提供することである。
【００２７】
本発明の第２の目的は、上記従来技術の欠点を解決し、遠隔操作を行う側の端末には遠隔操作のための特別の機能を備えることを必要とせず、自由に利用者の手元にある携帯通信端末等を用いて、外部のコンピュータをＧＵＩにより遠隔操作することのできる遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体を提供することである。
【００２８】
【課題を解決するための手段】
上記目的を達成するため本発明の遠隔操作システムは、操作側端末からの操作情報を、通信ネットワークを介して操作対象装置に操作情報を伝達し、前記操作対象装置上で前記操作情報に基づく操作を実行することで遠隔操作する遠隔操作システムにおいて、前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析手段と、前記画面解析手段より出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信手段と、前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行手段を備えることを特徴とする。
【００２９】
請求項２の本発明の遠隔操作システムは、操作側端末から、通信ネットワークを介して操作対象装置を遠隔操作する遠隔操作システムにおいて、前記操作対象装置は、前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析手段と、前記画面解析手段の解析により出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信手段と、前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行手段を備えることを特徴とする。
【００３０】
請求項３の本発明の遠隔操作システムは、前記画面解析手段によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する画面情報変換手段を備え、前記画面情報送信手段は、前記画面情報変換手段の変換結果のデータを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする。
【００３１】
請求項４の本発明の遠隔操作システムは、前記画面解析手段によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する規則を登録した変換規則登録手段を備え、前記画面情報変換手段は、前記変換規則登録手段に記録された変換規則に基づいて、前記画面解析手段によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００３２】
請求項５の本発明の遠隔操作システムは、前記操作側端末の装置特性を検出する装置特性検出手段を備え、前記画面情報変換手段は、前記装置特性検出手段によって検出された装置特性と、前記変換規則登録手段に記録された変換規則に基づいて、前記画面解析手段によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００３３】
請求項６の本発明の遠隔操作システムは、前記操作対象装置の画面の表示の変化を検出する画面変化検出手段を備え、発生した画面の表示の変化が終了した時点で、前記画面解析手段が現時点の前記操作対象装置の画面の解析を行うことを特徴とする。
【００３４】
請求項７の本発明の遠隔操作システムは、前記操作対象装置をＧＵＩを備える情報処理装置とし、前記画面解析手段は、前記操作対象装置の画面に表示されるオブジェクトであるＧＵＩ部品を検出し、前記ＧＵＩ部品の属性データを前記プロパティ情報として取得することを特徴とする。
【００３５】
請求項８の本発明の遠隔操作システムは、前記変換規則登録手段は、前記画面解析手段により出力される前記プロパティ情報を、ウェブブラウザで表示可能なウェブページに変換する規則の登録を備え、前記画面情報変換手段は、前記規則に基づいて前記画面解析手段により出力される前記プロパティ情報をウェブページに変換し、前記ウェブページは、前記画面解析手段によって検出されたＧＵＩ部品の中で利用者による操作が可能なものに対して、当該ＧＵＩ部品に対応するハイパーリンクを含み、前記ハイパーリンクが選択された場合に、当該ハイパーリンクに対応するＧＵＩ部品を識別するデータと当該ＧＵＩ部品に対する操作を識別するデータを前記操作実行手段に送信することを特徴とする。
【００３６】
請求項９の本発明の遠隔操作システムは、前記画面解析手段は、文字データにより取得した前記プロパティ情報を、電子メールのテキストとして出力し、電子メールによって前記操作側端末に送信することを特徴とする。
【００３７】
請求項１０の本発明の遠隔操作システムは、前記操作実行手段は、前記操作側端末を用いて行われた利用者からの操作の情報を含む電子メールを受け取り、受け取った電子メールを解析して利用者からの操作を識別し、当該操作を実行することを特徴とする。
【００３８】
請求項１１の本発明の遠隔操作システムは、前記通信ネットワークを、インターネットとすることを特徴とする。
【００３９】
請求項１２の本発明の遠隔操作システムは、前記画面解析手段は、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報送信手段は、前記画面解析手段によって抽出された前記映像データを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする。
【００４０】
請求項１３の本発明の遠隔操作システムは、前記画面解析手段は、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報変換手段は、前記画面解析手段によって抽出された前記映像データを、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００４１】
請求項１４の本発明の遠隔操作システムは、前記装置特性検出手段が検出する前記操作側端末の装置特性には、前記操作側端末の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラムおよびスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦および横の物理的な長さ、一画面内に表示可能な縦および横方向の文字数のうちの少なくとも１つを含むことを特徴とする。
【００４２】
請求項１５の本発明の遠隔操作方法は、操作側端末からの操作情報を、通信ネットワークを介して操作対象装置に操作情報を伝達し、前記操作対象装置上で前記操作情報に基づく操作を実行することで遠隔操作する遠隔操作方法において、前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析ステップと、前記画面解析ステップで出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信ステップと、前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行ステップを備えることを特徴とする。
【００４３】
請求項１６の本発明の遠隔操作方法は、前記画面解析ステップによって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する画面情報変換ステップを備え、前記画面情報送信ステップでは、前記画面情報変換ステップの変換結果のデータを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする。
【００４４】
請求項１７の本発明の遠隔操作方法は、前記画面解析ステップによって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する規則を登録する変換規則登録ステップを備え、前記画面情報変換ステップでは、前記変換規則登録ステップによって登録された変換規則に基づいて、前記画面解析ステップによって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００４５】
請求項１８の本発明の遠隔操作方法は、前記操作側端末の装置特性を検出する装置特性検出ステップを備え、前記画面情報変換ステップでは、前記装置特性検出ステップによって検出された装置特性と、前記変換規則登録ステップによって登録された変換規則に基づいて、前記画面解析ステップによって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００４６】
請求項１９の本発明の遠隔操作方法は、前記操作対象装置の画面の表示の変化を検出する画面変化検出ステップを備え、発生した画面の表示の変化が終了した時点で、前記画面解析ステップによって現時点の前記操作対象装置の画面に表示される内容を解析することを特徴とする。
【００４７】
請求項２０の本発明の遠隔操作方法は、前記操作対象装置をＧＵＩを備える情報処理装置とし、前記画面解析ステップでは、前記操作対象装置の画面に表示されるオブジェクトであるＧＵＩ部品を検出し、前記ＧＵＩ部品の属性データを前記プロパティ情報として取得することを特徴とする。
【００４８】
請求項２１の本発明の遠隔操作方法は、前記変換規則登録ステップでは、前記画面解析ステップにより出力される前記プロパティ情報を、ウェブブラウザで表示可能なウェブページに変換する規則を登録し、前記画面情報変換ステップでは、前記規則に基づいて前記画面解析ステップにより出力される前記プロパティ情報をウェブページに変換し、前記ウェブページは、前記画面解析ステップによって検出されたＧＵＩ部品の中で利用者による操作が可能なものに対して、当該ＧＵＩ部品に対応するハイパーリンクを含み、前記操作実行ステップでは、前記ハイパーリンクが選択された場合に送信された、当該ハイパーリンクに対応するＧＵＩ部品を識別するデータと当該ＧＵＩ部品に対する操作を識別するデータを用いて、所定の処理を操作側端末に実行させることを特徴とする。
【００４９】
請求項２２の本発明の遠隔操作方法は、前記画面解析ステップでは、文字データにより取得した前記プロパティ情報を、電子メールのテキストとして出力し、画面情報送信ステップでは、電子メールによって前記操作側端末に送信することを特徴とする。
【００５０】
請求項２３の本発明の遠隔操作方法は、前記画面解析ステップでは、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報送信ステップでは、前記画面解析ステップによって抽出された前記映像データを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする。
【００５１】
請求項２４の本発明の遠隔操作方法は、前記画面解析ステップでは、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報変換ステップでは、前記画面解析ステップによって抽出された前記映像データを、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００５２】
請求項２５の本発明の遠隔操作方法は、前記装置特性検出ステップが検出する前記操作側端末の装置特性には、前記操作側端末の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラム及びスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦及び横の物理的な長さ、一画面内に表示可能な縦及び横方向の文字数のうちの少なくとも一つを含むことを特徴とする。
【００５３】
請求項２６の本発明の遠隔操作プログラムは、情報処理システムを制御することにより、操作側端末からの操作情報を、通信ネットワークを介して操作対象装置に操作情報を伝達し、前記操作対象装置上で前記操作情報に基づく操作を実行することで遠隔操作する遠隔操作プログラムにおいて、前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析処理と、前記画面解析処理で出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信処理を実行させ、前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行処理を実行させることを特徴とする。
【００５４】
請求項２７の本発明の遠隔操作プログラムは、前記画面解析処理によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する画面情報変換処理を実行させ、前記画面情報送信処理においては、前記画面情報変換処理の変換結果のデータを、前記操作側端末に表示させるために前記操作側端末に送信する処理を実行させることを特徴とする。
【００５５】
請求項２８の本発明の遠隔操作プログラムは、前記画面解析処理によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する規則を登録する変換規則登録処理を実行させ、前記画面情報変換処理においては、前記変換規則登録処理によって登録された変換規則に基づいて、前記画面解析処理によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する処理を実行させることを特徴とする。
【００５６】
請求項２９の本発明の遠隔操作プログラムは、前記操作側端末の装置特性を検出する装置特性検出処理を実行させ、前記画面情報変換処理においては、前記装置特性検出処理によって検出された装置特性と、前記変換規則登録処理によって登録された変換規則に基づいて、前記画面解析処理によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する処理を実行させることを特徴とする。
【００５７】
請求項３０の本発明の遠隔操作プログラムは、前記操作対象装置の画面の表示の変化を検出する画面変化検出処理を実行させ、発生した画面の表示の変化が終了した時点で、前記画面解析処理によって現時点の前記操作対象装置の画面に表示される内容を解析する処理を実行させることを特徴とする。
【００５８】
請求項３１の本発明の遠隔操作プログラムは、前記操作対象装置をＧＵＩを備えた情報処理装置とし、前記画面解析処理においては、前記操作対象装置の画面に表示されるオブジェクトであるＧＵＩ部品を検出し、前記ＧＵＩ部品の属性データを前記プロパティ情報として取得する処理を実行させることを特徴とする。
【００５９】
請求項３２の本発明の遠隔操作プログラムは、前記変換規則登録処理においては、前記画面解析処理により出力される前記プロパティ情報を、ウェブブラウザで表示可能なウェブページに変換する規則を登録し、前記画面情報変換処理においては、前記規則に基づいて前記画面解析処理により出力される前記プロパティ情報をウェブページに変換し、前記ウェブページは、前記画面解析処理によって検出されたＧＵＩ部品の中で利用者による操作が可能なものに対して、当該ＧＵＩ部品に対応するハイパーリンクを含み、前記操作実行処理においては、前記所定の処理を操作側端末に実行させるために、前記ハイパーリンクが選択された場合に送信された、当該ハイパーリンクに対応するＧＵＩ部品を識別するデータと当該ＧＵＩ部品に対する操作を識別するデータを用いることを特徴とする。
【００６０】
請求項３３の本発明の遠隔操作プログラムは、前記画面解析処理においては、文字データにより取得した前記プロパティ情報を、電子メールのテキストとして出力し、画面情報送信処理においては、電子メールによって前記操作側端末に送信するする処理を実行させることを特徴とする。
【００６１】
請求項３４の本発明の遠隔操作プログラムは、前記画面解析処理においては、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報送信処理においては、前記画面解析処理によって抽出された前記映像データを、前記操作側端末に表示させるために前記操作側端末に送信する処理を実行させることを特徴とする。
【００６２】
請求項３５の本発明の遠隔操作プログラムは、前記画面解析処理においては、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、前記画面情報変換処理においては、前記画面解析処理によって抽出された前記映像データを、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする。
【００６３】
請求項３６の本発明の遠隔操作プログラムは、前記装置特性検出処理において検出する前記操作側端末の装置特性には、前記操作側端末の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラム及びスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦及び横の物理的な長さ、一画面内に表示可能な縦及び横方向の文字数のうちの少なくとも一つを含むことを特徴とする。
【００７２】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００７３】
図１は、本発明の第１の実施の形態の遠隔操作システムの構成を示すブロック図である。
【００７４】
図１を参照すると、第１の実施の形態の遠隔操作システムでは、コンピュータ１００を遠隔操作の対象の装置（操作対象装置）とし、端末装置１０１を利用者が遠隔操作に用いる操作側端末とし、コンピュータ１００と端末装置１０１とは通信ネットワーク１０２を介して接続し遠隔操作のための通信を行う。
【００７５】
コンピュータ１００は、例えばＧＵＩによる操作環境を備える情報処理装置である。
【００７６】
端末装置１０１は、例えば携帯電話機やＰＨＳ（ｐｅｒｓｏｎａｌ ｈａｎｄｙ−ｐｈｏｎｅ ｓｙｓｔｅｍ）やその他の、通信ネットワーク３０を介して通信の可能な端末であり、利用者がコンピュータ１００を遠隔操作するために用いる端末である。
【００７７】
端末装置１０１は、現在普及している市販の携帯電話機やＰＨＳ等における様に、データ通信機能と、データの表示可能なディスプレイ画面を備える。
【００７８】
通信ネットワーク１０２は、利用者の端末装置１０１と遠隔操作対象のコンピュータ１００とが通信をし遠隔操作を行うための情報通信回線であり、例えばインターネットやパソコン通信やｉモードのインターネットやその他の専用回線や、これらの回線に接続するための電話回線や無線電話回線等を用いることができる。
【００７９】
図１を参照すると、遠隔操作対象のコンピュータ１００は、画面解析部１０３、画面情報送信部１０４、画面変化検出部１０５、操作実行部１０６、通信部１０７を備える。
【００８０】
画面解析部１０３は、コンピュータ１００の表示画面の内容を解析し、解析結果を出力する。
【００８１】
画面情報送信部１０４は、画面解析部による解析の結果得られた画面情報を、端末装置１０１へと送信する。
【００８２】
通信部１０７は、通信ネットワーク１０２を介して、端末装置１０１との通信を行う。
【００８３】
操作実行部１０６は、遠隔操作により指定された処理の実行、又はその実行の指示を行う。
【００８４】
画面変化検出部１０５は、コンピュータ１００の表示画面の変化を検出する。
【００８５】
図２は、第１の実施の形態の遠隔操作システムの遠隔操作の処理を説明するためのフローチャートである。
【００８６】
図２を参照すると、第１の実施の形態の遠隔操作システムは、まず、遠隔操作の対象であるコンピュータ１００において、利用者の端末装置１０１からの接続を受け付ける（ステップ２０１）。
【００８７】
また、利用者を識別するためのＩＤ番号やパスワードの入力を受け付ける等の方法により利用者を認証し（ステップ２０２）、遠隔操作を行う利用者として登録され正しく認証された利用者に限り、以後の遠隔操作の通信を行う。
【００８８】
そして、画面解析部１０３が、操作対象のコンピュータ１００の表示画面を解析する（ステップ２０３）。例えばコンピュータ１００がＧＵＩを備えたパーソナル＿コンピュータ（ＰＣ）やワークステーション（ＷＳ）などの場合は、現在のＧＵＩ画面にどのようなオブジェクトが表示されているかを解析し、各オブジェクトの種類や名前、位置等のデータを取得する。ただしＧＵＩ画面に表示されているオブジェクトとは、ウィンドウやアイコン、メニュー、ボタンなどのＧＵＩ部品のことである。この解析においては、例えばＯＳから取得する方式を用いる。
【００８９】
そして、この画面解析部１０３により得られたデータは、画面情報送信部１０４によって利用者の端末装置１０１に対し送信され、利用者の端末装置１０１の画面に表示される（ステップ２０４）。
【００９０】
そして、利用者がコンピュータ１００に対する操作を端末装置１０１を用いて実行した場合には、この操作の情報を操作実行部１０６が受信してコンピュータ１００上で実行する（ステップ２０５、２０６）。
【００９１】
また、これによりコンピュータ１００の画面の表示が変化した場合には、画面変化検出部１０５がその変化を検出し、変化が終了したことがわかると、再びステップ２０３以下の処理を実行し、利用者の端末装置１０１の画面に表示されるデータを最新のものに更新する。
【００９２】
次に、画面解析部１０３による、コンピュータ１００の表示画面の内容の解析を詳しく説明する。
【００９３】
図３は、本実施の形態の画面解析部１０３の処理を説明するためのフローチャートである。
【００９４】
画面解析部１０３は、表示されるアイコンの名前、表示位置、対応するアプリケーション等の情報を、例えばコンピュータ１００のＯＳから取得する。これにより、画面内のアイコンやウィンドウにおいて示される様々なオブジェクトのデータを、明確に文字データにより取得することができるのである。
【００９５】
この情報の取得方法は、単純に画面中に表示される文字の画像を文字データに変換するＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）方式を用いることもできる。しかし、画像を文字データに変換するＯＣＲ方式では、不正確な文字データへの変換が行われる危険があり、またウィンドウの一部が画面の左右にはみ出して読取ができない場合がある等の不都合がある。第１の実施の形態の画面解析部１０３では、コンピュータ１００のＯＳから各オブジェクトの詳細な情報を取得する方式を採用することにより、画像の解像度やウィンドウの表示位置等に影響されずに、常に正確な文字データを瞬時に取得することができる。この方式は、ＧＵＩを有する情報処理装置を視覚や聴覚に障害をもつ利用者が利用できるようにするためのアクセシビリティ応用システムを実現する際にも利用されている。
【００９６】
第１の実施の形態の画面解析部１０３は、まずコンピュータ１００の現在のＧＵＩ画面に表示されているウィンドウのうち、アクティブなウィンドウ（アクティブウィンドウ）を検出し、検出されたアクティブウィンドウのタイトルを取得する（ステップ３０１、３０２）。
【００９７】
ただしアクティブなウィンドウとは、キーボードからの入力を受け付ける状態になっているウィンドウであり、ウィンドウのタイトルとは、ウィンドウに割り当てられた文字列である（キャプションと呼ぶこともある）。
【００９８】
ＧＵＩ画面においては、ウィンドウのタイトルはウィンドウ上部の領域（タイトルバーと呼ばれる）に表示されることが一般的である。例えば、図４のウィンドウ４０のタイトルは「ファイルを開く」である。
【００９９】
第１の実施の形態では、一般のＯＳにおけるように、画面上にウィンドウが１つ以上あるときには、１つのアクティブなウィンドウが存在するものとする。
【０１００】
例えば、コンピュータ１００の現在のＧＵＩ画面に図５のように３つのウィンドウ４０が表示されているとする。すると、この３つのウィンドウ４０のうち１つは、アクティブなウィンドウであり、各ウィンドウ４０の情報はＯＳによって管理されているため、画面解析部１０３は、ＯＳからその情報を取得することで現在のアクティブなウィンドウ４０を検出することができ、また同様にそのタイトル等の情報を取得することができる。
【０１０１】
現在のＧＵＩ画面５０に、ウィンドウ４０が１つも表示されていない場合は、ウィンドウ等の背景領域の全体（画面全体）であるデスクトップを、現在のアクティブなウィンドウとする。ここで、デスクトップをアクティブなウィンドウとして検出した場合は、アクティブウィンドウのタイトルは「デスクトップ」とする。
【０１０２】
画面解析部１０３は、コンピュータ１００の現在のＧＵＩ画面に表示されているアクティブなウィンドウを検出すると、更にそのアクティブなウィンドウ上に表示されているメニュー、アイコン、ボタンなどのオブジェクト（以下、これらのオブジェクトをＧＵＩ部品と総称する）のプロパティ情報を取得する（ステップ３０３）。
【０１０３】
ただし第１の実施の形態においては、ＧＵＩ部品のプロパティ情報とは、種類（メニュー、アイコン、ボタンなど）、ラベル（ボタンの「ＯＫ」や「キャンセル」のように、そのＧＵＩ部品に割り当てられた文字列のことで、キャプションと呼ぶこともある）、及び画面上での座標値である。
【０１０４】
例えば、図６の例の様に、現在のＧＵＩ画面に表示されているアクティブなウィンドウが「メモ帳」ウィンドウ４０であり、そのウィンドウ４０には「ファイル」、「編集」、「書式」、「ツール」のメニュー項目６０が表示されている場合には、画面解析部１０３は、図７の例に示されるように、これら４つのメニュー項目６０のプロパティ情報を取得する。なお、図７のｘ１〜ｘ４、ｙ１〜ｙ４はいずれもある正の整数を示すものである。
【０１０５】
ここで、ＧＵＩ部品の画面上での座標値は、例えば、画面の左上端点からＧＵＩ部品の中心（又は、内部）までの横方向及び縦方向の距離を用いて示される一点の座標により示すことができる。
【０１０６】
これは、図８に示されるように、デスクトップ５０上にウィンドウ４０があり、このウィンドウ上にＧＵＩ部品８０がある場合に、このＧＵＩ部品の座標値を、その横方向の座標ｘと縦方向の座標ｙを用いて（ｘ、ｙ）と示すのである。ここで、ｘ、ｙは正の整数である。
【０１０７】
コンピュータ１００の現在のＧＵＩ画面に表示されているアクティブなウィンドウ４０が、図６の「メモ帳」ウィンドウの場合、画面解析部１０３は、アクティブなウィンドウ４０がこの「メモ帳」ウィンドウであることを検出してこのウィンドウ４０のタイトル（「メモ帳」という文字列）を取得し、さらにこのウィンドウ４０の４つのメニュー項目６０を検出し、図７に示されるように各メニュー項目６０のプロパティ情報を取得する。この結果、図９のようなデータが得られる。
【０１０８】
なお、以上説明されたような、アクティブなウィンドウの検出や各種ＧＵＩ部品の詳細かつ正確な情報を取得する等の、画面解析部１０３によるＧＵＩ画面の解析は、例えば、岡田英彦、旭敏之著“ＧＵＩ設計の一貫性を評価するツール「ＧＵＩテスタ２」”（情報処理学会ヒューマンインタフェース研究会報告、Ｖｏｌ。９７、Ｎｏ。６３、７〜１２頁、１９９７年）に記載の技術を用いて行うことができる。
【０１０９】
そして、画面解析部１０３は、図９のようなデータを所定の形式で画面情報送信部１０４に対し出力する（ステップ３０４）。この所定の形式とは装置端末１１にて表示可能な形式のことであり、第１の実施の形態においては、端末装置１０１による遠隔操作が開始される前からその形式が既知である。画面情報送信部１０４は、画面解析部１０３から受け取ったデータを、端末装置１０１へと送信する。この結果、端末装置１０１に、画面解析部１０３から出力されたデータ（すなわちコンピュータ１００の現在の画面に表示されているＧＵＩ部品の情報を含んだデータ）が表示される。
【０１１０】
例えば、端末装置１０１はＨＴＭＬ（Ｈｙｐｅｒ−Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）により記載されたウェブページを表示するウェブブラウザを備え、インターネット等の通信ネットワーク上のウェブサイトに公開されるウェブページを表示することができるとする。この場合、画面解析部１０３は、ＨＴＭＬ形式のウェブページのデータを出力し、このデータが例えば図１０のように端末装置１０１の画面に表示される。図１０の例では、まずアクティブウィンドウの名前である「メモ帳」が表示され、また続いて各行に、各メニュー項目６０の項目名がＨＴＭＬのハイパーリンクとして表示されているため、これを端末装置１０１の画面上で選択することができる。
【０１１１】
画面解析部１０３によって作成され画面情報送信部１０４によって送信されたＨＴＭＬ形式のデータファイルが端末装置１０１の画面上に表示され、この画面上で操作が行われると（例えばハイパーリンクが選択されると）、この操作情報が通信ネットワーク１０２及び通信部１０７を介して操作実行部１０６に伝達される。
【０１１２】
操作実行部１０６は、端末装置１０１から伝達された操作情報と、画面解析部１０３から出力された画面解析結果のデータとから、端末装置１０１上で行われた操作に対応する操作を、コンピュータ１００上で実行する。
【０１１３】
例えば、端末装置１０１の画面に図１０のように表示されるメニュー項目名１０００の１つである「ファイル」のハイパーリンクを選択した場合には、操作実行部１０６は、画面解析部１０３から出力された画面解析結果のデータから、当該メニューに対応する座標（図９における（ｘ１、ｙ１））を参照し、コンピュータ１００の画面上の当該座標にマウス等のポインティングデバイスのカーソルを移動し、当該位置でのクリックの実行をＯＳ等に対し通知する。
【０１１４】
例えば、前記の通り図６〜図１０を参照して説明した例において、端末装置１０１の画面で図１０の「ファイル」のハイパーリンクが選択されたとする。操作実行部１０６は、画面解析部１０３より受け取るデータから、図１０の「ファイル」をハイパーリンクに対応するのは図６の「ファイル」メニュー６０であり、その座標値は（ｘ１、ｙ１）であることがわかる。そこで操作実行部１０６は、端末装置１０１の画面で図１０の「ファイル」のハイパーリンクが選択された情報を端末装置１０１から受け取ると、マウス等のポインティングデバイスのカーソルを座標値（ｘ１、ｙ１）の場所に移動し、当該位置でのクリックの実行をＯＳ等に対し通知する。この結果、コンピュータ１００の画面で図６の「ファイル」メニュー６０が選択される。
【０１１５】
端末装置１０１の画面上で行われた操作に対応する操作が、コンピュータ１００上で操作実行部１０６によって行われた場合に、画面変化検出部１０５は、コンピュータ１００上のＧＵＩ画面上の変化を検出する。
【０１１６】
画面変化検出部１０５が検出するコンピュータ１００上のＧＵＩ画面上の変化とは、例えば、新しいウィンドウが開く、表示されていたウィンドウが閉じられる、プルダウンメニューが表示される等がある。
【０１１７】
また、画面変化検出部１０５は、画面変化が一定の時間間隔以上検出されなくなった時点で、操作実行部１０６によって行われた操作に対するコンピュータ１００の応答が完了したものと判断する。
【０１１８】
画面変化検出部１０５が応答の完了を判断すると、再び、画面解析部１０３がコンピュータ１００の現在のＧＵＩ画面の解析を実行して画面情報のデータを出力し、画面情報送信部１０４が、この画面情報のデータを端末装置１０１に送信する。
【０１１９】
つまり、利用者が端末装置１０１に表示されるメニュー項目名１０００の１つである「ファイル」を選択する操作を実行すると、これがコンピュータ１００に通知されてメニュー項目６０の「ファイル」をクリックする処理が実行され、実行後の「ファイル」のプルダウンメニューが表示された状態の画面情報が端末装置１０１に表示可能な形式のデータとして送信され、利用者の端末装置１０１の画面がこの新しいデータを表示した画面に更新される。
【０１２０】
そして、以後同様にして、以上に説明された処理を１サイクルとして繰り返し実行することにより、遠隔操作を行うことができる。
【０１２１】
このサイクルは、端末装置１０１からコンピュータ１００との通信を終了するまで続けられる。
【０１２２】
次に、第１の実施の形態の遠隔操作システムによる遠隔操作の一実施例を説明する。
【０１２３】
まず、利用者は、携帯電話等の端末装置１０１を用いて、操作対象であるコンピュータ１００に対し通信ネットワーク１０２を介して接続を行う。ここで、利用者を識別するＩＤ番号やパスワードの入力を行う等の方法により利用者の認証を行い、端末装置１０１からコンピュータ１００への遠隔操作のための通信を開始する。
【０１２４】
図１１は、本実施例の操作対象のコンピュータ１００への接続時点での表示画面５０の一例を示す図である。図１１の例では、デスクトップ上に「メモ帳」、「スケジュール」、「Ｆａｘ」の３つのアイコン１１００が表示されており、ウィンドウはまだ表示されていない。
【０１２５】
この図１１の表示画面の状態は、コンピュータ１００の画面解析部１０３により解析される。画面解析部１０３は、コンピュータ１００のＯＳから取得する方法等により、表示されるアイコンの名前、表示位置、対応するアプリケーション等の情報を取得する。
【０１２６】
そして、画面解析部１０３は、解析によって得られた画面情報のデータを、利用者の側の端末装置１０１に表示可能な形式で（例えばＨＴＭＬ文により記載されるウェブページとして）画面情報送信部１０４へと出力する。画面情報送信部１０４は、受け取ったデータを端末装置１０１へと送信する。
【０１２７】
図１２は、本実施の形態において、図１１の表示画面が解析されその情報が端末装置１０１に送信された結果、端末装置１０１の画面に表示された一例を示す図である。
【０１２８】
図１２の例では、コンピュータ１００の表示画面５０にはまだアプリケーションのウィンドウが表示されていないため、その旨を示す「デスクトップ」の表示と、表示画面５０上に表示される各アイコン１２００の名前をハイパーリンクにより表示している。
【０１２９】
次に、利用者が端末装置１０１に表示されるアイコン名１２００を選択する。ここでは、「Ｆａｘ」を選択した場合を例に説明する。
【０１３０】
すると、端末装置１０１からコンピュータ１００に対し、ハイパーリンクである「Ｆａｘ」のリンク先のデータの要求が通知され、コンピュータ１００はその要求を受けると、操作実行部１０６は、「Ｆａｘ」のアイコン１１００に対して画面解析部１０３から出力された、コンピュータ１００のＧＵＩ画面上の座標（つまり、「Ｆａｘ」のアイコン１１００上の座標）をダブルクリックする操作を実行する。
【０１３１】
なお、通常のＧＵＩ環境ではデスクトップのアイコンをダブルクリックした場合には当該アイコンに対応する処理が実行されるため、ここでは、アイコンに対応する動作としてダブルクリックの実行を設定しているのである。
【０１３２】
図１３は、図１１の画面においてＦａｘのアイコンをダブルクリックし、Ｆａｘのウィンドウを表示した状態を示す図である。
【０１３３】
図１３の画面では、「Ｆａｘ」ウィンドウ４０が表示されており、これが現在のアクティブなウィンドウである。この「Ｆａｘ」のウィンドウ４０上には「ファイル」と「設定」のメニュー項目６０が表示されている。
【０１３４】
ここで、画面変化検出部１０５は、画面５０内に新たにウィンドウ４０が表示される変化を検出し、その後画面に一定時間以上変化がないことにより応答の完了を判断すると、画面解析部１０３に対し画面の解析を指示する。
【０１３５】
再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１３６】
図１４は、図１３の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１３７】
図１４の端末装置１０１の表示では、まずアクティブウィンドウの名前であるＦａｘが表示され、続いてＦａｘのウィンドウの各メニュー項目の名前である「ファイル」、「設定」がハイパーリンクにより表示されている。
【０１３８】
ここで、利用者が、ハイパーリンクであるこの「ファイル」のメニュー項目名１０００を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、図１３のＧＵＩ画面５０上で「ファイル」のメニュー項目６０をクリックする操作を実行する。
【０１３９】
図１５は、図１３の画面においてファイルのメニュー項目をクリックし、プルダウンメニューを表示した状態を示す図であり、プルダウンメニューには、「開く」「送信」「終了」の３つのサブメニュー項目１５００が表示されている。
【０１４０】
同様にして、画面変化検出部１０５がこのプルダウンメニューの表示によるＧＵＩ画面５０の変化を検出し、その後画面に一定時間以上変化がなく応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１４１】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１４２】
図１６は、図１５の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１４３】
図１６の画面では、図１５のプルダウンメニューに表示される３つのサブメニュー項目１５００の名前「開く」「送信」「終了」が、それぞれハイパーリンクにより表示されている。
【０１４４】
ここで、利用者が、ハイパーリンクであるこの「送信」のサブメニュー項目名１６００を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、図１５のＧＵＩ画面５０上でプルダウンメニュー内の「送信」のサブメニュー項目１５００をクリックする操作を実行する。
【０１４５】
図１７は、図１５の画面において送信の項目をクリックし、Ｆａｘの送信のウィンドウ４０を表示した状態を示す図であり、このウィンドウ４０が現在アクティブなウィンドウである。
【０１４６】
また、「Ｆａｘの送信」ウィンドウ４０においては、送信に用いるファイルを選択するためのリストボックス１７００と、その送信及びキャンセルを指示するためのボタン１７０１を備えいる。リストボックス１７００には、利用者が指定したフォルダに記録されている送信するファイル１７０２の一覧を表示している。
【０１４７】
同様にして、画面変化検出部１０５は、「Ｆａｘの送信」ウィンドウ４０の表示による画面変化を検出し、その後画面に一定時間以上変化がなく応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１４８】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１４９】
図１８は、図１７の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１５０】
図１８の画面では、図１７のリストボックス１７００内の各項目に表示されるファイル１７０２等、及び「ＯＫ」と「キャンセル」のボタン１７０１を、ハイパーリンクにより表示している。
【０１５１】
ここで、利用者がハイパーリンクである「ｆｉｌｅ２。ｄａｔ」を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、図１７のＧＵＩ画面５０上でリストボックス１７００内に表示される「ｆｉｌｅ２。ｄａｔ」のファイル１７０２をクリックする操作を実行する。
【０１５２】
図１９は、図１７の画面においてリストボックス１７００内の「ｆｉｌｅ２。ｄａｔ」をクリックしたことにより文字と背景の色が反転表示され、その「ｆｉｌｅ２。ｄａｔ」ファイル１７０２が選択状態であることを示す図である。
【０１５３】
同様にして、画面変化検出部１０５は、リストボックス１７００内の項目「ｆｉｌｅ２。ｄａｔ」の反転表示による画面変化を検出し、その後画面に一定時間以上変化がなく応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１５４】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１５５】
図２０は、図１９の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１５６】
図２０の画面では、“●”の記号をファイル名の先頭に付記することにより、当該ファイルが現在選択されている項目であることを示している。つまり本実施の形態では、画面解析部１０３は、リストボックス内で現在選択されている項目のハイパーリンクには先頭に“●”の記号を付記してＨＴＭＬ形式のウェブページを出力する。
【０１５７】
ここで、利用者が「ＯＫ」ボタンを表したハイパーリンク１０００を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、図１９のＧＵＩ画面５０上で「Ｆａｘの送信」ウィンドウ４０の「ＯＫ」ボタン１７０１をクリックする操作を実行する。
【０１５８】
図２１は、図１９の画面において「ＯＫ」ボタン１７０１をクリックしたことにより、Ｆａｘの送信先の番号であるＦａｘ番号の入力のウィンドウ４０が表示された状態を示す図であり、このウィンドウ４０が現在アクティブなウィンドウである。
【０１５９】
このＦａｘ番号の入力のウィンドウ４０は、Ｆａｘ番号を入力するための入力ボックス２１００と、「ＯＫ」と「キャンセル」のボタン１７０１を備えている。
【０１６０】
同様に、画面変化検出部１０５は、Ｆａｘ番号の入力のウィンドウ４０の表示による画面変化を検出し、その後画面に一定時間以上変化がないことにより応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１６１】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１６２】
図２２は、図２１の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１６３】
図２２においては、文字列入力ボックス２２００を、図２１の文字列入力ボックス２１００に対応して表示している。つまり本実施の形態では、画面解析部１０３は、コンピュータ１００のＧＵＩ画面５０のアクティブなウィンドウ上に文字列入力ボックス２１００がある場合には、これに対応して端末装置１０１の画面上に文字列入力ボックス２２００を表示するように、ＨＴＭＬ形式のウェブページを出力する。近年の携帯電話端末やＰＨＳ端末等のウェブブラウザ画面においては、通常は、文字を入力するための文字列入力ボックス２２００を表示する機能を備えており、本実施の形態ではこの機能を利用することにより文字列入力ボックス２２００を表示するのである。
【０１６４】
ここで、利用者が、文字列入力ボックス２２００にＦａｘ番号を入力し、「ＯＫ」ボタンを表したハイパーリンク１０００を選択すると、同様にしてその操作がコンピュータ１００の側に通知され、操作実行部１０６は、ここで利用者が入力したＦａｘ番号を図２１のＧＵＩ画面５０上で文字列入力ボックス２１００に入力し、更に当該ウィンドウ４０上の「ＯＫ」ボタン１７０１をクリックする。
【０１６５】
これにより、コンピュータ１００は、利用者からのＦａｘの送信を指示する遠隔操作を受け付け、ｆｉｌｅ２。ｄａｔのファイルの内容を、指定されたＦａｘ番号の送信先に送信する。
【０１６６】
図２３は、図２１の画面においてＦａｘ番号の入力とその送信の指示に応じて、その送信の完了の旨を示すウィンドウ４０が表示された状態を示す図であり、このウィンドウ４０が現在アクティブなウィンドウである。
【０１６７】
同様に、画面変化検出部１０５は、Ｆａｘ番号の入力のウィンドウ４０の表示による画面変化を検出し、その後画面に一定時間以上変化がないことにより応答が完了したと判断すると、画面解析部１０３に画面の解析を指示する。
【０１６８】
そして、再び、画面解析部１０３が画面を解析してその解析結果をＨＴＭＬによるウェブページとして出力し、端末装置１０１の画面にこのウェブページが表示される。
【０１６９】
図２４は、図２３の表示画面の情報が端末装置１０１に表示された一例を示す図である。
【０１７０】
そして、利用者が、この「ＯＫ」ボタンを表したハイパーリンク１０００を選択することにより、Ｆａｘの送信の完了の旨を通知するウィンドウ４０（図２３）を閉じるための操作を行うと、操作実行部１０６は、コンピュータ１００のＧＵＩ画面上でウィンドウ４０上の「ＯＫ」ボタン１７０１をクリックする。すると、このＦａｘ送信完了通知のウィンドウ４０が閉じられ、コンピュータ１００のＧＵＩ画面５０は、図１３に示される状態に戻る。
【０１７１】
これにより、コンピュータ１００を遠隔操作してファックスの送信を行う一連の操作が終了する。
【０１７２】
次に、本発明の第２の実施の形態の遠隔操作システムを説明する。
【０１７３】
第１の実施の形態においては、端末装置１０１がＨＴＭＬ形式のウェブページを表示可能な端末装置であることが事前にわかっており、画面解析部１０３が画面情報送信部１０４に出力する画面情報のデータは、ＨＴＭＬ形式のウェブページである。これに対して第２の実施の形態では、端末装置１０１が電子メールを送受信可能な端末装置であることが事前にわかっており、画面解析部１０３が画面情報送信部１０４に出力する画面情報のデータは、電子メールのテキストである。
【０１７４】
図２５は、第２の実施の形態における遠隔操作システムの構成を示すブロック図である。第２の実施の形態における遠隔操作システムは、基本的な動作は第１の実施の形態における遠隔操作システムと全く同様であり、ＨＴＭＬ文によるウェブページではなく電子メールによって遠隔操作のためのデータをやりとりさせる点が異なる。
【０１７５】
例えば、コンピュータ１００の表示画面が図１１に示した表示画面５０の例の場合、第２の実施の形態の遠隔操作システムでは、画面解析部２５００が図１１に示した表示画面５０の内容を解析してその結果を電子メールのテキストとして出力する。画面情報送信部２５０１は、この電子メールのテキストを端末装置１０１の電子メールアドレス宛てに送信する。端末装置１０１はこの電子メールを受信し、画面に例えば図２６のように表示される。
【０１７６】
利用者がこの電子メールの画面を見て、例えば「Ｆａｘ」アイコンを操作したいときには、受信した図２６の画面の電子メールに対して、図２７のようなメールを返信する。つまり、本文の欄に操作したい項目の番号を入力して返信する。
【０１７７】
このようにして端末装置から電子メールが返信されると、操作実行部２５０２がこの返信された電子メールを受信し、返信された電子メールの本文の欄を解析して行うべき操作を決定し、その操作を第１の実施の形態の場合と同様に実行する（図２７の電子メールの例の場合は、図１１の「Ｆａｘ」のアイコン１１００上の座標をダブルクリックする）。この結果、コンピュータ１００の表示画面は図１３の表示画面５０のようになる。
【０１７８】
また例えば、コンピュータ１００の表示画面が図１７に示した表示画面５０の例の場合、第２の実施の形態の遠隔操作システムでは、画面解析部２５００が図１７に示した表示画面５０の内容を解析してその結果を電子メールのテキストとして出力する。画面情報送信部２５０１は、この電子メールのテキストを端末装置１０１の電子メールアドレス宛てに送信する。端末装置１０１はこの電子メールを受信し、画面に例えば図２８のように表示される。利用者がこの電子メールの画面を見て、例えば「ｆｉｌｅ２。ｄａｔ」のファイルを選択したいときには、受信した図２８の画面の電子メールに対して、図２７と同じメールを返信する。
【０１７９】
操作実行部２５０２がこの返信された電子メールを受信すると、図１７のＧＵＩ画面５０上でリストボックス１７００内に表示される「ｆｉｌｅ２。ｄａｔ」のファイル１７０２をクリックする操作を実行する。この結果、コンピュータ１００の表示画面は図１９の表示画面５０のようになる。
【０１８０】
また例えば、コンピュータ１００の表示画面が図２１に示した表示画面５０の例の場合、第２の実施の形態の遠隔操作システムでは、画面解析部２５００が図２１に示した表示画面５０の内容を解析してその結果を電子メールのテキストとして出力する。画面情報送信部２５０１は、この電子メールのテキストを端末装置１０１の電子メールアドレス宛てに送信する。端末装置１０１はこの電子メールを受信し、画面に例えば図２９のように表示される。利用者がこの電子メールの画面を見て、ＦＡＸ番号を入力して「ＯＫ」ボタンを選択したいときには、受信した図２９の画面の電子メールに対して、図３０のようなメールを返信する。
【０１８１】
操作実行部２５０２がこの返信された電子メールを受信すると、受信した図３０の電子メールの本文の１に記入されているＦＡＸ番号を図２１のＧＵＩ画面５０上で文字列入力ボックス２１００に入力し、更にウィンドウ４０上の「ＯＫ」ボタン１７０１をクリックする。この結果、コンピュータ１００の表示画面は図２３の表示画面５０のようになる。 以上説明した第２の実施の形態の遠隔操作システムにより、携帯電話やＰＨＳ等の小型の携帯通信端末によっても、外部のコンピュータの表示画面の内容を参照しながら遠隔操作することができる。また、遠隔操作を行う側の端末には遠隔操作のための特別の機能を備えることを必要とせず、自由に利用者の手元にある携帯通信端末等を用いて、外部のコンピュータを遠隔操作することができる。
【０１８２】
次に、本発明の第３の実施の形態の遠隔操作システムを説明する。
【０１８３】
図３１は、本実施の形態の遠隔操作システムの構成を示すブロック図である。
【０１８４】
前述の第１および第２の実施の形態の遠隔操作システムでは、操作を行う側の端末として、携帯電話やＰＨＳ等の端末を想定して説明したが、ウェブブラウザ等の文字データの送受信機能を備える端末であればこれに限るものではない。図３１に示される本実施の形態においては、操作を行う側の端末に、パソコンやノートパソコンやその他の情報処理装置であるコンピュータ３１００を用いている。
【０１８５】
このコンピュータ３１００は、ウェブブラウザを搭載し、ＨＴＭＬ形式のデータを画面に表示可能であり、また操作対象のコンピュータ１００と同様にＧＵＩ画面を表示可能である。
【０１８６】
しかし、本実施の形態の遠隔操作システムでは、ウェブブラウザ等のみを用いてその遠隔操作を行うことができるため、従来の遠隔操作システムと異なり、操作を行う側の端末には遠隔操作のための特別のソフトウェアや半導体回路等を備える必要はない。
【０１８７】
近年における、市販のパソコンやノートパソコン等のほとんどでは、予めウェブブラウザを搭載して販売されているいるため、これらの端末を、特別なソフトウェアを追加することなくそのまま本実施の形態のコンピュータ３１００として用いることができる。
【０１８８】
本実施の形態の遠隔操作システムの動作は、第１の実施の形態の動作と同様であり、画面解析部１０３が出力する画面情報のＨＴＭＬ形式のデータが、コンピュータ３１００の画面上に表示され、コンピュータ３１００上で行われた操作に従って、操作実行部１０６がコンピュータ１００の操作を実行する。
【０１８９】
以上説明した本実施の形態の遠隔操作システムにより、第１の実施の形態と同様の効果を、操作を行う側の端末にコンピュータを用いた場合にも得ることができる。
【０１９０】
また、従来の操作を行う側の端末にコンピュータを用いたＧＵＩによる遠隔操作システムと異なり、操作対象のコンピュータの画面の情報を示す必要最小限のデータのみを送信することにより、遠隔操作を行うことができるため、通信コストを大幅に削減することができる。
【０１９１】
また、本実施の形態のように、操作を行う側の端末に画像データの表示機能を備える形態においては、操作対象のコンピュータ１００のＧＵＩ画面の全体又指定された一部（アプリケーションのウィンドウ内等）の画像データを、利用者からの指示や予め定められた設定に基づき、利用者のコンピュータ３１００に送信する機能を備えてもよい。これにより、利用者は、文字データのみでは不明なＧＵＩ画面の詳細な表示内容を、利用者のコンピュータ３１００のウェブブラウザ内等に表示させて確認することができる。
【０１９２】
次に、本発明の第４の実施の形態の遠隔操作システムを説明する。
【０１９３】
図３２は、第４の実施の形態における遠隔操作システムの構成を示すブロック図である。第４の実施の形態における遠隔操作システムは、基本的な動作は第１の実施の形態における遠隔操作システムと全く同様であるが、画面解析部３２００および画面情報送信部３２０１の動作に差異がある。第４の実施の形態における遠隔操作システムでは、画面解析部３２００は、コンピュータ１００の現在のＧＵＩ画面に表示されているアクティブなウィンドウのなかに、静止画もしくは動画が表示されていればそのことを検出する。さらに画面解析部３２００は、静止画もしくは動画の表示を検出した場合に、その静止画もしくは動画の表示データを抽出し、画面情報送信部３２０１に、ＨＴＭＬ形式のウェブページのデータとともに出力する。画面情報送信部３２０１は、画面解析部３２００から受け取ったデータを端末装置１０１に送信する。
【０１９４】
例えば、コンピュータ１００の現在の画面が図３３の画面５０の通りであったとする。ただし、映像表示ウィンドウ４０が現在のアクティブなウィンドウであり、この映像表示ウィンドウ４０上の映像表示ボックス３３００には、写真などの静止画、もしくはＴＶなどの動画が表示されているものとする。この場合、画面解析部３２００は、映像表示ウィンドウ４０が現在のアクティブなウィンドウであることを検出してそのウィンドウ上のＧＵＩ部品の情報を解析し、ＨＴＭＬ形式のウェブページのデータを出力するとともに、ウィンドウ４０上に静止画もしくは動画が表示されている映像表示ボックス３３００があることを検出して、映像表示ボックス３３００に表示されている映像データを抽出して出力する。
【０１９５】
画面解析部３２００が出力したこれらのデータが画面情報送信部３２０１によって端末装置１０１に送信され、この結果、これらのデータが端末装置１０１の画面に図３４のように表示される。図３３の映像表示ボックス３３００に表示された映像データは、図３４の映像表示ボックス３４００に表示される。映像表示ボックス３３００に表示された映像が動画の場合は映像表示ボックス３３００内の映像が時間とともに変化するが、その変化に追従して、映像表示ボックス３４００内の映像も変化する。つまり、画面解析部３２００が動画表示を検出した場合には、画面解析部３２００は動画が表示されている映像表示ボックス３３００内の映像のデータを継続的に抽出し、画面情報送信部３２０１に継続的に出力する。画面情報送信部３２０１はこの動画の映像データを継続的に、映像表示ボックス３４００へと送信する。なお本実施の形態においては端末装置１０１は、映像表示ボックス３４００を表示可能な端末装置であり、かつ映像表示ボックス３４００内に静止画もしくは動画を表示可能な端末である。
【０１９６】
次に、本発明の第５の実施の形態の遠隔操作システムを説明する。
【０１９７】
図３５は、第５の実施の形態における遠隔操作システムの構成を示すブロック図である。図３５を参照すると、第５の実施の形態の遠隔操作システムは、第１の実施の形態における遠隔操作システムの図１の構成に加え、画面情報変換部３５０２、変換規則登録部３５０５、端末特性検出部３５０６を備えている。
【０１９８】
端末特性検出部３５０６は、端末装置１０１の端末特性を検出する。ただし端末特性とは、端末装置の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラムおよびスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦および横の物理的な長さ、一画面内に表示可能な縦および横方向の文字数などのことである。
【０１９９】
画面情報変換部３５０２は、端末特性検出部３５０６が検出した端末装置１０１の端末特性を考慮して、画面解析部３５０１による画面解析結果のデータを、端末装置１０１への送信もしくは端末装置１０１での表示に適したデータに変換する。この変換の規則は、変換規則登録部３５０５に登録されている。
【０２００】
図３６は、第１の実施の形態の遠隔操作システムの遠隔操作の処理を説明するためのフローチャートである。
【０２０１】
図３６を参照すると、第５の実施の形態の遠隔操作システムは、利用者の認証（ステップ２０２）までは第１の実施の形態の遠隔システムと同様である。
【０２０２】
利用者の認証が完了されると、端末特性検出部３５０６は、端末装置１０１の特性を検出する（ステップ３６０１）。次に、画面解析部３５０１がコンピュータ３５００の現在の画面を解析する（ステップ２０３、第１の実施の形態と同様）。次に、画面情報変換部３５０２が、画面解析部３５０１による画面解析の結果のデータを変換する（ステップ３６０２）。この変換されたデータが、画面情報送信部３５０３によって端末装置１０１に送信され、利用者の端末装置１０１の画面に表示される（ステップ２０４）。
【０２０３】
そして、利用者がコンピュータ３５００に対する操作を端末装置１０１を用いて実行した場合には、この操作の情報を操作実行部３５０４が受信してコンピュータ３５００上で実行する（ステップ２０５、２０６）。
【０２０４】
また、これによりコンピュータ３５００の画面の表示が変化した場合には、画面変化検出部１０５がその変化を検出し、変化が終了したことがわかると、再びステップ２０３以下の処理を実行し、利用者の端末装置１０１の画面に表示されるデータを最新のものに更新する。
【０２０５】
次に、第５の実施の形態の遠隔操作システムによる遠隔操作の一実施例を説明する。
【０２０６】
画面解析部３５０１は、コンピュータ３５００の表示画面を解析して、解析結果のデータを、端末装置１０１の装置特性には依存しない汎用的な形式、例えばＸＭＬ（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）形式で出力する。例えば、コンピュータ３５００の表示画面５０の一例が、第１の実施の形態における遠隔操作の一実施例の場合と同様に、図１１に示す通りであるとする。図３７は、画面解析部３５０１が図１１の表示画面５０を解析して、画面情報変換部３５０２へと出力するＸＭＬ形式の画面情報のデータの一例である。図３７において、ｘ１〜ｘ３およびｙ１〜ｙ３は、図１１の３つのアイコン１１００のｘ座標およびｙ座標の値である。また図３７において、ｅｖｅｎｔタグは操作イベントを表しており、ＬＷＣＬＩＣＫはマウスの左ボタンによるダブルクリックである。
【０２０７】
また本例では、装置特性検出部３５０６が端末装置１０１の固有ＩＤを検出し、変換規則登録部３５０５には、端末装置１０１の各固有ＩＤごとに、画面解析部３５０１が出力する汎用的な形式のデータを、該固有ＩＤの端末装置に適した形式のデータに変換する規則が登録されている。例えば、端末装置１０１の固有ＩＤがＺであると検出されたとし、固有ＩＤがＺの端末装置の場合には、画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則が、変換規則登録部３５０５に登録されているとする（つまりこの場合、固有ＩＤがＺの端末装置１０１は、ＨＴＭＬ形式のデータを表示可能な端末装置である）。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された、固有ＩＤがＺの端末装置のための変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをＨＴＭＬ形式のデータに変換する。このＨＴＭＬ形式のデータは、画面情報送信部３５０３によって、端末装置１０１へと送信され、図１２の例と同様に端末装置１０１の画面に表示される。
【０２０８】
操作実行部３５０４は、端末装置１０１上で行われた操作の情報を受信し、その操作に対応する操作をコンピュータ３５００上で実行する。端末装置１０１で行われた操作をＶとすると、画面解析部３５０１が出力する画面情報のデータと、画面情報変換部３５０２が該画面情報のデータの形式を変換した際のデータ間の対応づけの情報（変換前のデータと変換後のデータのどの部分が対応しているかの情報）とから、このＶに対応するコンピュータ３５００上での操作を特定できる。
【０２０９】
また別の例として、装置特性検出部３５０６が端末装置１０１の機種を検出し、変換規則登録部３５０５には、端末装置１０１の各機種ごとに、画面解析部３５０１が出力する汎用的な形式のデータを、該機種に適した形式のデータに変換する規則が登録されている。例えば、端末装置１０１の機種がＺであると検出されたとし、機種がＺの端末装置の場合には、画面情報のデータをＸＭＬ形式からメール形式に変換するための規則が、変換規則登録部３５０５に登録されているとする（つまりこの場合、機種がＺの端末装置１０１は、メールを送受信可能な端末装置である）。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された、機種がＺの端末装置のための変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをメール形式のデータに変換する。このメール形式のデータは、画面情報送信部３５０３によって、端末装置１０１へメールとして送信され、図２６の例と同様に端末装置１０１の画面に表示される。
【０２１０】
また別の例として、装置特性検出部３５０６が端末装置１０１の処理速度を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の処理速度に応じて変換する規則が登録されている。例えば、端末装置１０１の処理速度がＺ１であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および、（２）処理速度がＺ２未満の場合には、画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｚ１＜Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、Ｚ１＝Ｚ２もしくはＺ１＞Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。以上からわかるように本例では、端末装置１０１の処理速度が小さいときに、画面情報の一部を削除することで、端末装置１０１における画面情報の表示処理の負荷を軽減している。
【０２１１】
また別の例として、装置特性検出部３５０６が端末装置１０１の通信速度を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の通信速度に応じて変換する規則が登録されている。例えば、端末装置１０１の通信速度がＺ１であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および、（２）通信速度がＺ２未満の場合には、画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、前記の処理速度検出の例の場合と同様に、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｚ１＜Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、Ｚ１＝Ｚ２もしくはＺ１＞Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。以上からわかるように本例では、端末装置１０１の通信速度が小さいときに、画面情報の一部を削除することで、コンピュータ３５００から端末装置１０１へのデータ送信量を軽減している。
【０２１２】
また別の例として、装置特性検出部３５０６が端末装置１０１の単位データ量当たりの通信費用を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の単位データ量当たりの通信費用に応じて変換する規則が登録されている。端末装置１０１の単位データ量当たりの通信費用は、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の単位データ量当たりの通信費用がＺ１であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および、（２）単位データ量当たりの通信費用がＺ２以上の場合には、画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｚ１＝Ｚ２もしくはＺ１＞Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、Ｚ１＜Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。つまり本例では、端末装置１０１の単位データ量当たりの通信費用が大きいときに、画面情報の一部を削除することで、コンピュータ３５００から端末装置１０１へのデータ送信費用を軽減している。
【０２１３】
また別の例として、装置特性検出部３５０６が端末装置１０１の単位時間当たりの通信費用を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の単位時間当たりの通信費用に応じて変換する規則が登録されている。端末装置１０１の単位時間当たりの通信費用は、前記の単位データ量当たりの通信費用の場合と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の単位時間当たりの通信費用がＺ１であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および、（２）単位時間当たりの通信費用がＺ２以上の場合には、画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｚ１＝Ｚ２もしくはＺ１＞Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、Ｚ１＜Ｚ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。つまり本例では、端末装置１０１の単位時間当たりの通信費用が大きいときに、画面情報の一部を削除することで、コンピュータ３５００から端末装置１０１へのデータ送信費用を軽減している（通信するデータ量の削減は通信時間の削減につながるので）。
【０２１４】
また別の例として、装置特性検出部３５０６が端末装置１０１の画面に表示可能なデータ形式を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の画面に表示可能な形式のデータに変換する規則が登録されている。端末装置１０１の画面に表示可能なデータ形式は、前記の例と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の画面に表示可能なデータ形式がＨＴＭＬ形式であると検出されたとし、変換規則登録部３５０５には、画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、およびＨＴＭＬ以外の他の形式（メール形式など）に変換するための複数の規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記の変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをＨＴＭＬ形式のデータに変換する。
【０２１５】
また別の例として、装置特性検出部３５０６が端末装置１０１にて実行可能なプログラムおよびスクリプトの形式を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１にて実行可能な形式のプログラムもしくはスクリプトに変換する規則が登録されている。端末装置１０１にて実行可能なプログラムおよびスクリプトの形式は、前記の例と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１ではＪａｖａ形式のプログラム、およびＪａｖａスクリプト形式のスクリプトを実行可能であると検出されたとし、変換規則登録部３５０５には、画面情報のＸＭＬ形式のデータをＪａｖａスクリプト形式のスクリプトに変換するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記の変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータを、Ｊａｖａスクリプト形式のスクリプトに変換する。変換規則登録部３５０５に画面情報のＸＭＬ形式のデータをＪａｖａ形式のプログラムに変換するための規則が登録されている場合も同様である。
【０２１６】
また別の例として、装置特性検出部３５０６が端末装置１０１にて一度に受信可能なデータ量を検出し、変換規則登録部３５０５には、端末装置１０１に送信するデータ量が端末装置１０１にて一度に受信可能なデータ量以下になるように変換する規則が登録されている。端末装置１０１にて一度に受信可能なデータ量は、前記の例と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の画面に表示可能なデータ形式がＨＴＭＬ形式であると検出され、かつ、端末装置１０１にて一度に受信可能なデータ量がＺであると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および（２）データ量がＺ以下になるようにＨＴＭＬ形式のデータの一部を削除する規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをＨＴＭＬ形式のデータに変換し、さらに、データ量がＺ以下になるように該ＨＴＭＬ形式のデータの一部を削除する。つまり本例では、端末装置１０１ではある一定量のデータしか一度に受信できないので、送信する画面情報のデータの量をその制限量以下に削減することで、受信可能データ量に制限のある端末装置１０１でもコンピュータ３５００の画面情報を表示可能にしている。
【０２１７】
また別の例として、装置特性検出部３５０６が端末装置１０１の画面に表示可能な色を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の画面に表示可能な色に応じて変換する規則が登録されている。端末装置１０１の画面に表示可能な色は、前記の例と同様に、直接検出可能な場合であっても、端末装置１０１の固有ＩＤもしくは機種などから間接的に検出可能な場合であってもよい。例えば、端末装置１０１の画面に表示可能なデータ形式がＨＴＭＬ形式であると検出され、かつ、端末装置１０１の画面に表示可能な色が黒、赤、青など合計２５６色であると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および（２）同じ種類のＧＵＩ部品（ボタン、メニューなど）の情報を同じ色で表現するようにＨＴＭＬの色指定タグを使用し、その色を携帯端末１０１の画面に表示可能な色のなかから選ぶ規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをＨＴＭＬ形式のデータに変換し、さらに、そのＨＴＭＬへの変換において同じ種類のＧＵＩ部品の情報が同じ色で表現されるようにＨＴＭＬの色指定タグが使用され、使用される色は端末装置１０１の画面に表示可能な色のなかから選ばれる。なお、装置特性検出部３５０６が端末装置１０１の画面に表示可能な文字フォントを検出する場合も、以上に記載した色の場合と全く同様であり、表示可能な文字フォントが検出され、この文字フォントを使用して携帯端末１０１の画面上に表示されるように、画面情報のデータが変換される。
【０２１８】
また別の例として、装置特性検出部３５０６が端末装置１０１の画面解像度を検出し、変換規則登録部３５０５には、画面解析部３５０１が出力する汎用的な形式のデータを、端末装置１０１の画面解像度に応じて変換する規則が登録されている。例えば、端末装置１０１の画面に表示可能なデータ形式がＨＴＭＬ形式であると検出され、かつ、端末装置１０１の画面解像度が横Ｗ１ピクセル、縦Ｈ１ピクセルであると検出されたとし、変換規則登録部３５０５には、（１）画面情報のデータをＸＭＬ形式からＨＴＭＬ形式に変換するための規則、および（２）画面解像度が横Ｗ２ピクセル未満かつ縦Ｈ２ピクセル未満の場合には画面情報の一部を削除するための規則が登録されているとする。この場合、画面情報変換部３５０２は、変換規則登録部３５０５に登録された前記（１）および（２）の変換規則に従って、Ｗ１＜Ｗ２かつＨ１＜Ｈ２であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータのうちの一部を削除してからＨＴＭＬ形式に変換し、それ以外であれば、画面解析部３５０１が出力したＸＭＬ形式の画面情報のデータをすべてＨＴＭＬ形式に変換する。つまり本例では、端末装置１０１の画面解像度が一定サイズより小さい場合に、画面情報の一部を削除することで、画面サイズの小さい端末装置の場合に表示される情報量が多くなりすぎないようにしている。なお、装置特性検出部３５０６が端末装置１０１の画面の縦および横の物理的な長さ、もしくは一画面内に表示可能な縦および横方向の文字数を検出する場合も、以上に記載した画面解像度の場合と全く同様であり、画面の縦および横の物理的な長さが一定値より小さい場合や、一画面内に表示可能な縦および横方向の文字数が一致値より少ない場合に、画面情報の一部を削除して画面情報のデータが変換される。
【０２１９】
次に、本発明の第６の実施の形態の遠隔操作システムを説明する。
【０２２０】
図３８は、第６の実施の形態における遠隔操作システムの構成を示すブロック図である。第６の実施の形態における遠隔操作システムは、基本的な動作は第５の実施の形態における遠隔操作システムと全く同様であるが、画面解析部３８０１、画面情報変換部３８０２、画面情報送信部３８０３、端末特性検出部３８０４、および変換規則登録部３８０５の動作に差異がある。
【０２２１】
第６の実施の形態における遠隔操作システムでは、画面解析部３８０１は、コンピュータ１００の現在のＧＵＩ画面に表示されているアクティブなウィンドウのなかに、静止画もしくは動画が表示されていればそのことを検出する。さらに画面解析部３８０１は、静止画もしくは動画の表示を検出した場合に、その静止画もしくは動画の表示データを抽出し、画面情報変換部３８０２に、ＸＭＬ形式の画面情報のデータとともに出力する。
【０２２２】
また、端末特性検出部３８０４は、端末装置１０１で表示可能な静止画および動画のデータ形式を検出可能であり、変換規則登録部３８０５には、画面解析部が抽出した静止画もしくは動画の表示データを、端末装置１０１で表示可能な形式の静止画および動画のデータに変換するための規則が登録されている。
【０２２３】
画面情報変換部３８０２は、第５の実施の形態の場合と同様にＸＭＬ形式の画面情報のデータを端末装置１０１に表示可能な形式のデータに変換することに加え、画面解析部３８０１が抽出した静止画もしくは動画の表示データを、変換規則登録部３８０５に登録された規則に従って、端末装置１０１で表示可能な形式の静止画および動画のデータに変換する。これらのデータが画面情報送信部３８０３によって端末装置１０１に送信され、端末装置１０１の画面に表示される。
【０２２４】
例えば、コンピュータ１００の現在の画面が図３３の画面５０の通りであったとする。ただし、映像表示ウィンドウ４０が現在のアクティブなウィンドウであり、この映像表示ウィンドウ４０上の映像表示ボックス３３００には、写真などの静止画、もしくはＴＶなどの動画が表示されているものとする。この場合、画面解析部３８０１は、映像表示ウィンドウ４０が現在のアクティブなウィンドウであることを検出してそのウィンドウ上のＧＵＩ部品の情報を解析し、画面情報のデータをＸＭＬ形式で出力するとともに、ウィンドウ４０上に静止画もしくは動画が表示されている映像表示ボックス３３００があることを検出して、映像表示ボックス３３００に表示されている映像データを抽出して出力する。
【０２２５】
画面解析部３８０１が出力したＸＭＬ形式の画面情報のデータおよび映像データが、画面情報変換部３８０２によって端末装置１０１に表示可能な形式にデータにそれぞれ変換され、画面情報送信部３８０３によって端末装置１０１に送信される。この結果、これらのデータが端末装置１０１の画面に図３４のように表示される。ただし、図３４の映像表示ボックス３４００に表示される映像データは、図３３の映像表示ボックス３３００の映像データが変換されたものである。映像表示ボックス３３００に表示された映像が動画の場合は映像表示ボックス３３００内の映像が時間とともに変化するが、その変化に追従して、映像表示ボックス３４００内の映像も変化する。つまり、画面解析部３８０１が動画表示を検出した場合には、画面解析部３８０１は動画が表示されている映像表示ボックス３３００内の映像のデータを継続的に抽出し、画面情報変換部３８０２に継続的に出力する。画面情報変換部３８０２はこの動画の映像データを継続的に変換し、さらに画面情報送信部３８０３はこの変換された映像データを継続的に映像表示ボックス３４００へと送信する。なお本実施の形態においては端末装置１０１は、映像表示ボックス３４００を表示可能な端末装置であり、かつ映像表示ボックス３４００内に静止画もしくは動画を表示可能な端末である。映像表示ボックス３４００に表示可能な静止画もしくは動画のデータ形式は、映像表示ボックス３３００に表示される静止画もしくは動画のデータ形式と同一でなくてもよい。
【０２２６】
上記各実施の形態の遠隔操作システムは、操作対象のコンピュータ１００における画面解析部、画面情報送信部、操作実行部、画面変化検出部等の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムを、コンピュータ処理装置のメモリにロードされることで実現することができる。このコンピュータプログラムは、磁気ディスク、半導体メモリその他の記録媒体１０８に格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０２２７】
図３９は、本発明の操作対象のコンピュータ１００の装置構成の一実施例を示すブロック図である。
【０２２８】
図３９の例のコンピュータ１００は、通信部１０７であるインターネット接続装置３９１２（モデム、ターミナルアダプタ、ダイアルアップルータ等）を介してインターネットの通信ネットワーク１０２に接続される。これにより、コンピュータ１００はインターネットを介してＰＨＳ端末等から遠隔操作をすることができる。また、表示装置であるディスプレイ３９１０や、入力装置であるキーボード３９０９、マウス３９１１を備えている。
【０２２９】
図３９の例においては、前述の本発明の機能を備えるコンピュータプログラムを、ＲＯＭ３９０２（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク３９０６、ＣＤ３９０５（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＦＤ３９０８（Ｆｌｏｐｐｙ Ｄｉｓｃ）等の各種記録媒体に記録し、これをＲＡＭ３９０３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出して、ＣＰＵ３９０１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実行することができる。また、ＣＤ３９０５に記録されている場合はＣＤドライブ３９０４を介して、ＦＤ３９０８に記録されている場合はＦＤドライブ３９０７を介して読み出すことができる。
【０２３０】
以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０２３１】
【発明の効果】
以上説明したように本発明の遠隔操作システムによれば、以下のような効果が達成される。
【０２３２】
第１に、ディスプレイのサイズが小さく又表示できる情報が文字のみである等の携帯端末によっても、コンピュータの遠隔操作を行うことができ、操作対象のコンピュータ上で動作する任意のＧＵＩアプリケーションソフトウェアを遠隔操作することができる。
【０２３３】
第２に、操作対象のコンピュータの表示画面を、文字データにより表示されるハイパーテキストやウェブページに適切に変換し、これを利用者の端末に送信し又その操作を受け付けるため、利用者の端末には遠隔操作のための特別の機能を備える必要はなく、ウェブブラウザ等を備える通信の可能な端末を自由に選択して、ＧＵＩ環境のコンピュータを遠隔操作することができる。
【０２３４】
第３に、操作対象のコンピュータの画面の情報を、アクティブウィンドウのタイトル名やメニューの各項目の名前等のデータを取得し、これをＨＴＭＬ文等のテキストデータに変換して通知するため、従来のシステムの様に各ウィンドウやオブジェクトの表示位置や形状等の詳細なデータを通知する必要がなく、通信コストを大幅に削減することができる。
【０２３５】
第４に、遠隔操作に用いる端末装置の特性に合わせて、操作対象のコンピュータの画面情報のデータを変換するため、さまざまな特性を有する端末装置を、コンピュータの遠隔操作に利用可能となる。つまり、遠隔操作に利用可能な端末装置が、ある特定の特性を有する装置だけに限定されない。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図２】本発明の第１の実施の形態の遠隔操作の処理を説明するためのフローチャートである。
【図３】本発明の第１の実施の形態の画面解析部による画面解析の処理を説明するためのフローチャートである。
【図４】コンピュータのＧＵＩ画面に表示されるウィンドウの一例を示す図である。
【図５】コンピュータのＧＵＩ画面の例を示す図である。
【図６】ウィンドウ内のメニューの一例を示す図である。
【図７】本発明の第１の実施の形態のＧＵＩ部品のプロパティ情報の一例を示す図である。
【図８】ＧＵＩ部品の座標値の一例を示す図である。
【図９】本発明の第１の実施の形態の、画面解析部により作成されるデータの一例を示す図である。
【図１０】本発明の第１の実施の形態の画面解析部が解析した図６の表示画面を、端末装置に表示した一例を示す図である。
【図１１】本発明の第１の実施の形態の操作対象のコンピュータへの接続時点での表示画面の一例を示す図である。
【図１２】本発明の第１の実施の形態の画面解析部が解析した図１１の表示画面を、端末装置に表示した一例を示す図である。
【図１３】図１１の画面においてＦａｘのアイコンをダブルクリックし、Ｆａｘのウィンドウを表示した状態を示す図である。
【図１４】本発明の第１の実施の形態の画面解析部が解析した図１３の表示画面を、端末装置に表示した一例を示す図である。
【図１５】図１３の画面においてファイルのメニューをクリックし、プルダウンメニューを表示した状態を示す図である。
【図１６】本発明の第１の実施の形態の画面解析部が解析した図１５の表示画面を、端末装置に表示した一例を示す図である。
【図１７】図１５の画面において送信の項目をクリックし、Ｆａｘの送信のウィンドウを表示した状態を示す図である。
【図１８】本発明の第１の実施の形態の画面解析部が解析した図１７の表示画面を、端末装置に表示した一例を示す図である。
【図１９】図１７の画面においてリストボックス内のファイルをクリックして選択した状態を示す図である。
【図２０】本発明の第１の実施の形態の画面解析部が解析した図１９の表示画面を、端末装置に表示した一例を示す図である。
【図２１】Ｆａｘの送信先の番号であるＦａｘ番号の入力のウィンドウが表示された状態を示す図である。
【図２２】本発明の第１の実施の形態の画面解析部が解析した図２１の表示画面を、端末装置に表示した一例を示す図である。
【図２３】Ｆａｘの送信の完了の旨を示すウィンドウが表示された状態を示す図である。
【図２４】本発明の第１の実施の形態の画面解析部が解析した図２３の表示画面を、端末装置に表示した一例を示す図である。
【図２５】本発明の第２の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図２６】本発明の第２の実施の形態の画面解析部が解析した図１１の表示画面を、端末装置に表示した一例を示す図である。
【図２７】本発明の第２の実施の形態の端末装置からコンピュータへ送信される電子メールの一例を示す図である。
【図２８】本発明の第２の実施の形態の画面解析部が解析した図１７の表示画面を、端末装置に表示した一例を示す図である。
【図２９】本発明の第２の実施の形態の画面解析部が解析した図２１の表示画面を、端末装置に表示した一例を示す図である。
【図３０】本発明の第２の実施の形態の端末装置からコンピュータへ送信される電子メールの一例を示す図である。
【図３１】本発明の第３の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図３２】本発明の第４の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図３３】本発明の第４および第６の実施の形態の操作対象のコンピュータのＧＵＩ画面の例を示す図である。
【図３４】本発明の第４の実施の形態の画面解析部が解析した図３３の表示画面を端末装置に表示した一例、および、本発明の第６の実施の形態の画面情報変換部により変換した図３３の表示画面を端末装置に表示した一例を示す図である。
【図３５】本発明の第５の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図３６】本発明の第５の実施の形態の遠隔操作の処理を説明するためのフローチャートである。
【図３７】本発明の第５の実施の形態の、画面解析部により作成されるデータの一例を示す図である。
【図３８】本発明の第６の実施の形態の遠隔操作システムの構成を示すブロック図である。
【図３９】本発明の操作対象のコンピュータの装置構成の一実施例を示すブロック図である。
【符号の説明】
１００、３９００ 操作対象のコンピュータ
１０１ 端末装置
１０２ 通信ネットワーク
１０３、２５００、３２００、３５０１、３８０１ 画面解析部
１０４、２５０１、３２０１、３５０３、３８０３ 画面情報送信部
１０５ 画面変化検出部
１０６、２５０２、３５０４ 操作実行部
１０７ 通信部
１０８ 記録媒体
２０１〜２０７、３０１〜３０４、３６０１、３６０２ 処理ステップ
４０ ウィンドウ
５０ コンピュータの表示画面
６０ メニュー項目
８０ ＧＵＩ部品
１０００ ハイパ−リンク
１１００ アイコン
１５００ サブメニュー項目
１７００ リストボックス
１７０１ ボタン
１７０２ リストボックスの項目
２１００、２２００ 入力ボックス
３１００ 操作を行う側のコンピュータ
３３００、３４００ 映像表示ボックス
３５０２、３８０２ 画面情報変換部
３５０５、３８０５ 変換規則登録部
３５０６、３８０４ 端末特性検出部
３９０１ ＣＰＵ
３９０２ ＲＯＭ
３９０３ ＲＡＭ
３９０４ ＣＤドライブ
３９０５ ＣＤ
３９０６ ハードディスク
３９０７ ＦＤドライブ
３９０８ ＦＤ
３９０９ キーボード
３９１０ ディスプレイ
３９１１ マウス
３９１２ インターネット接続装置
Claims (36)
- 操作側端末からの操作情報を、通信ネットワークを介して操作対象装置に操作情報を伝達し、前記操作対象装置上で前記操作情報に基づく操作を実行することで遠隔操作する遠隔操作システムにおいて、
前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析手段と、
前記画面解析手段より出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信手段と、
前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行手段を備える
ことを特徴とする遠隔操作システム。 - 操作側端末から、通信ネットワークを介して操作対象装置を遠隔操作する遠隔操作システムにおいて、
前記操作対象装置は、
前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析手段と、
前記画面解析手段の解析により出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信手段と、
前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行手段を備える
ことを特徴とする遠隔操作システム。 - 前記画面解析手段によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する画面情報変換手段を備え、
前記画面情報送信手段は、前記画面情報変換手段の変換結果のデータを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする請求項１又は請求項２のいずれか一つに記載の遠隔操作システム。 - 前記画面解析手段によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する規則を登録した変換規則登録手段を備え、
前記画面情報変換手段は、前記変換規則登録手段に記録された変換規則に基づいて、前記画面解析手段によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする請求項３に記載の遠隔操作システム。 - 前記操作側端末の装置特性を検出する装置特性検出手段を備え、
前記画面情報変換手段は、前記装置特性検出手段によって検出された装置特性と、前記変換規則登録手段に記録された変換規則に基づいて、前記画面解析手段によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする請求項３に記載の遠隔操作システム。 - 前記操作対象装置の画面の表示の変化を検出する画面変化検出手段を備え、
発生した画面の表示の変化が終了した時点で、前記画面解析手段が現時点の前記操作対象装置の画面の解析を行うことを特徴とする請求項１から請求項５のいずれか一つに記載の遠隔操作システム。 - 前記操作対象装置をＧＵＩを備える情報処理装置とし、
前記画面解析手段は、前記操作対象装置の画面に表示されるオブジェクトであるＧＵＩ部品を検出し、前記ＧＵＩ部品の属性データを前記プロパティ情報として取得することを特徴とする請求項１から請求項６のいずれか一つに記載の遠隔操作システム。 - 前記変換規則登録手段は、前記画面解析手段により出力される前記プロパティ情報を、ウェブブラウザで表示可能なウェブページに変換する規則の登録を備え、
前記画面情報変換手段は、前記規則に基づいて前記画面解析手段により出力される前記プロパティ情報をウェブページに変換し、
前記ウェブページは、前記画面解析手段によって検出されたＧＵＩ部品の中で利用者による操作が可能なものに対して、当該ＧＵＩ部品に対応するハイパーリンクを含み、
前記ハイパーリンクが選択された場合に、当該ハイパーリンクに対応するＧＵＩ部品を識別するデータと当該ＧＵＩ部品に対する操作を識別するデータを前記操作実行手段に送信することを特徴とする請求項７に記載の遠隔操作システム。 - 前記画面解析手段は、文字データにより取得した前記プロパティ情報を、電子メールのテキストとして出力し、電子メールによって前記操作側端末に送信することを特徴とする請求項１から請求項７のいずれか一つに記載の遠隔操作システム。
- 前記操作実行手段は、前記操作側端末を用いて行われた利用者からの操作の情報を含む電子メールを受け取り、受け取った電子メールを解析して利用者からの操作を識別し、当該操作を実行することを特徴とする請求項９に記載の遠隔操作システム。
- 前記通信ネットワークを、インターネットとすることを特徴とする請求項１から請求項１０のいずれか一つに記載の遠隔操作システム。
- 前記画面解析手段は、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、
前記画面情報送信手段は、前記画面解析手段によって抽出された前記映像データを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする請求項１から請求項１０のいずれか一つに記載の遠隔操作システム。 - 前記画面解析手段は、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、
前記画面情報変換手段は、前記画面解析手段によって抽出された前記映像データを、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする請求項１から請求項１２のいずれか一つに記載の遠隔操作システム。 - 前記装置特性検出手段が検出する前記操作側端末の装置特性には、前記操作側端末の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラムおよびスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦および横の物理的な長さ、一画面内に表示可能な縦および横方向の文字数のうちの少なくとも１つを含むことを特徴とする請求項５から請求項１ ３のいずれか一つに記載の遠隔操作システム。
- 操作側端末からの操作情報を、通信ネットワークを介して操作対象装置に操作情報を伝達し、前記操作対象装置上で前記操作情報に基づく操作を実行することで遠隔操作する遠隔操作方法において、
前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析ステップと、
前記画面解析ステップで出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信ステップと、
前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行ステップを備える
ことを特徴とする遠隔操作方法。 - 前記画面解析ステップによって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する画面情報変換ステップを備え、
前記画面情報送信ステップでは、前記画面情報変換ステップの変換結果のデータを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする請求項１５に記載の遠隔操作方法。 - 前記画面解析ステップによって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する規則を登録する変換規則登録ステップを備え、
前記画面情報変換ステップでは、前記変換規則登録ステップによって登録された変換規則に基づいて、前記画面解析ステップによって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする請求項１６に記載の遠隔操作方法。 - 前記操作側端末の装置特性を検出する装置特性検出ステップを備え、
前記画面情報変換ステップでは、前記装置特性検出ステップによって検出された装置特性と、前記変換規則登録ステップによって登録された変換規則に基づいて、前記画面解析ステップによって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする請求項１６に記載の遠隔操作方法。 - 前記操作対象装置の画面の表示の変化を検出する画面変化検出ステップを備え、
発生した画面の表示の変化が終了した時点で、前記画面解析ステップによって現時点の前記操作対象装置の画面に表示される内容を解析することを特徴とする請求項１５から請求項１８のいずれか一つに記載の遠隔操作方法。 - 前記操作対象装置をＧＵＩを備える情報処理装置とし、
前記画面解析ステップでは、前記操作対象装置の画面に表示されるオブジェクトであるＧＵＩ部品を検出し、前記ＧＵＩ部品の属性データを前記プロパティ情報として取得することを特徴とする請求項１５から請求項１９のいずれか一つに記載の遠隔操作方法。 - 前記変換規則登録ステップでは、前記画面解析ステップにより出力される前記プロパティ情報を、ウェブブラウザで表示可能なウェブページに変換する規則を登録し、
前記画面情報変換ステップでは、前記規則に基づいて前記画面解析ステップにより出力される前記プロパティ情報をウェブページに変換し、
前記ウェブページは、前記画面解析ステップによって検出されたＧＵＩ部品の中で利用者による操作が可能なものに対して、当該ＧＵＩ部品に対応するハイパーリンクを含み、
前記操作実行ステップでは、前記ハイパーリンクが選択された場合に送信された、当該ハイパーリンクに対応するＧＵＩ部品を識別するデータと当該ＧＵＩ部品に対する操作を識別するデータを用いて、所定の処理を操作側端末に実行させることを特徴とする請求項２０に記載の遠隔操作方法。 - 前記画面解析ステップでは、文字データにより取得した前記プロパティ情報を、電子メールのテキストとして出力し、画面情報送信ステップでは、電子メールによって前記操作側端末に送信するすることを特徴とする請求項１５から請求項２０のいずれか一つに記載の遠隔操作方法。
- 前記画面解析ステップでは、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、
前記画面情報送信ステップでは、前記画面解析ステップによって抽出された前記映像データを、前記操作側端末に表示させるために前記操作側端末に送信することを特徴とする請求項１５から請求項２２のいずれか一つに記載の遠隔操作方法。 - 前記画面解析ステップでは、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、
前記画面情報変換ステップでは、前記画面解析ステップによって抽出された前記映像データを、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする請求項１５から請求項２２のいずれか一つに記載の遠隔操作方法。 - 前記装置特性検出ステップが検出する前記操作側端末の装置特性には、前記操作側端末の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラム及びスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦及び横の物理的な長さ、一画面内に表示可能な縦及び横方向の文字数のうちの少なくとも一つを含むことを特徴とする請求項１８から請求項２４のいずれか一つに記載の遠隔操作方法。
- 情報処理システムを制御することにより、操作側端末からの操作情報を、通信ネットワークを介して操作対象装置に操作情報を伝達し、前記操作対象装置上で前記操作情報に基づく操作を実行することで遠隔操作する遠隔操作プログラムにおいて、
前記操作対象装置の表示画面を解析し、前記表示画面のタイトルと、前記表示画面内に示されるオブジェクトの種類、ラベル、画面上の座標値とを含むプロパティ情報を、文字データにより取得し、前記操作側端末で表示可能なデータ形式で出力する画面解析処理と、
前記画面解析処理で出力された前記プロパティ情報を、前記操作側端末に表示させるために前記操作側端末に送信する画面情報送信処理を実行させ、
前記操作側端末に表示された前記プロパティ情報に基づいて、前記操作側端末を用いて行われた利用者からの操作に対応して所定の処理を前記操作対象装置に実行させる操作実行処理を実行させる
ことを特徴とする遠隔操作プログラム。 - 前記画面解析処理によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する画面情報変換処理を実行させ、
前記画面情報送信処理においては、
前記画面情報変換処理の変換結果のデータを、前記操作側端末に表示させるために前記操作側端末に送信する処理を実行させることを特徴とする請求項２６に記載の遠隔操作プログラム。 - 前記画面解析処理によって出力された前記プロパティ情報を、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する規則を登録する変換規則登録処理を実行させ、
前記画面情報変換処理においては、前記変換規則登録処理によって登録された変換規則に基づいて、前記画面解析処理によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する処理を実行させることを特徴とする請求項２７に記載の遠隔操作プログラム。 - 前記操作側端末の装置特性を検出する装置特性検出処理を実行させ、
前記画面情報変換処理においては、前記装置特性検出処理によって検出された装置特性と、前記変換規則登録処理によって登録された変換規則に基づいて、前記画面解析処理によって出力された前記プロパティ情報を前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換する処理を実行させることを特徴とする請求項２７に記載の遠隔操作プログラム。 - 前記操作対象装置の画面の表示の変化を検出する画面変化検出処理を実行させ、
発生した画面の表示の変化が終了した時点で、前記画面解析処理によって現時点の前記操作対象装置の画面に表示される内容を解析する処理を実行させることを特徴とする請求項２６から請求項２９のいずれか一つに記載の遠隔操作プログラム。 - 前記操作対象装置をＧＵＩを備えた情報処理装置とし、
前記画面解析処理においては、前記操作対象装置の画面に表示されるオブジェクトであるＧＵＩ部品を検出し、前記ＧＵＩ部品の属性データを前記プロパティ情報として取得する処理を実行させることを特徴とする請求項２６から請求項３０のいずれか一つに記載の遠隔操作プログラム。 - 前記変換規則登録処理においては、前記画面解析処理により出力される前記プロパティ情報を、ウェブブラウザで表示可能なウェブページに変換する規則を登録し、
前記画面情報変換処理においては、前記規則に基づいて前記画面解析処理により出力される前記プロパティ情報をウェブページに変換し、
前記ウェブページは、前記画面解析処理によって検出されたＧＵＩ部品の中で利用者による操作が可能なものに対して、当該ＧＵＩ部品に対応するハイパーリンクを含み、
前記操作実行処理においては、前記所定の処理を操作側端末に実行させるために、前記ハイパーリンクが選択された場合に送信された、当該ハイパーリンクに対応するＧＵＩ部品を識別するデータと当該ＧＵＩ部品に対する操作を識別するデータを用いることを特徴とする請求項３１に記載の遠隔操作プログラム。 - 前記画面解析処理においては、文字データにより取得した前記プロパティ情報を、電子メールのテキストとして出力し、画面情報送信処理においては、電子メールによって前記操作側端末に送信するする処理を実行させることを特徴とする請求項２６から請求項３１のいずれか一つに記載の遠隔操作プログラム。
- 前記画面解析処理においては、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、
前記画面情報送信処理においては、前記画面解析処理によって抽出された前記映像データを、前記操作側端末に表示させるために前記操作側端末に送信する処理を実行させることを特徴とする請求項２６から請求項３３のいずれか一つに記載の遠隔操作プログラム。 - 前記画面解析処理においては、前記操作対象装置の画面に動画もしくは静止画が表示された際に当該表示を検出して当該表示の映像データを抽出し、前記プロパティ情報と共に出力し、
前記画面情報変換処理においては、前記画面解析処理によって抽出された前記映像データを、前記操作側端末への送信もしくは前記操作側端末の画面での表示に適したデータに変換することを特徴とする請求項２６から請求項３３のいずれか一つに記載の遠隔操作プログラム。 - 前記装置特性検出処理において検出する前記操作側端末の装置特性には、前記操作側端末の固有ＩＤ、機種、処理速度、通信速度、単位データ量当たりの通信費用、単位時間当たりの通信費用、画面に表示可能なデータ形式、再生可能な音データ形式、実行可能なプログラム及びスクリプトの形式、一度に受信可能なデータ量、表示可能な色、表示可能な文字フォント、画面解像度、画面の縦及び横の物理的な長さ、一画面内に表示可能な縦及び横方向の文字数のうちの少なくとも一つを含むことを特徴とする請求項２９から請求項３５のいずれか一つに記載の遠隔操作プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001128100A JP3620716B2 (ja) | 2000-07-26 | 2001-04-25 | 遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-225930 | 2000-07-26 | ||
| JP2000225930 | 2000-07-26 | ||
| JP2001128100A JP3620716B2 (ja) | 2000-07-26 | 2001-04-25 | 遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002111893A JP2002111893A (ja) | 2002-04-12 |
| JP3620716B2 true JP3620716B2 (ja) | 2005-02-16 |
Family
ID=26596738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001128100A Expired - Fee Related JP3620716B2 (ja) | 2000-07-26 | 2001-04-25 | 遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3620716B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005041021A1 (ja) * | 2003-10-24 | 2005-05-06 | Matsushita Electric Industrial Co., Ltd. | 遠隔操作システム及び遠隔操作方法 |
| WO2005041029A2 (en) | 2003-10-24 | 2005-05-06 | Matsushita Electric Industrial Co., Ltd. | Remote operation system, communication apparatus remote control system and document inspection apparatus |
| KR101179477B1 (ko) | 2005-04-11 | 2012-09-07 | 에스케이텔레콤 주식회사 | 이동 단말기용 정보 알림 ｓｍｓ 서비스 신청 장치 및 방법 |
| US7676549B2 (en) * | 2005-05-27 | 2010-03-09 | Microsoft Corporation | Techniques for providing accessibility options in remote terminal sessions |
| JP2007011531A (ja) * | 2005-06-29 | 2007-01-18 | Fujitsu Ltd | インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム |
| JP4897520B2 (ja) * | 2006-03-20 | 2012-03-14 | 株式会社リコー | 情報配信システム |
| JP4820418B2 (ja) * | 2006-10-24 | 2011-11-24 | パイオニア株式会社 | データ配信装置、データ配信方法、データ配信プログラムおよびコンピュータに読み取り可能な記録媒体 |
| JP4361080B2 (ja) | 2006-11-28 | 2009-11-11 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 画像データを生成するための方法、プログラム、および装置 |
| JP2008282297A (ja) * | 2007-05-14 | 2008-11-20 | Ize:Kk | クライアント・サーバシステム、ウェブｏｓのプログラム、ウェブｏｓの実行方法 |
| US8970647B2 (en) | 2008-05-13 | 2015-03-03 | Apple Inc. | Pushing a graphical user interface to a remote device with display rules provided by the remote device |
| US20090284476A1 (en) * | 2008-05-13 | 2009-11-19 | Apple Inc. | Pushing a user interface to a remote device |
| WO2011021909A2 (en) | 2009-08-21 | 2011-02-24 | Samsung Electronics Co., Ltd. | Method and apparatus for providing contents via network, method and apparatus for receiving contents via network, and method and apparatus for backing up data via network, backup data providing device, and backup system |
| KR20120001336A (ko) | 2010-06-29 | 2012-01-04 | 삼성전자주식회사 | 컨텐트 변환 방법 및 그 장치 |
| KR101774410B1 (ko) * | 2010-09-15 | 2017-09-12 | 에스케이플래닛 주식회사 | 사용자 단말기를 이용한 원격 장치의 기능 실행 방법 및 시스템 |
| JPWO2012157014A1 (ja) * | 2011-05-13 | 2014-07-31 | 三菱電機株式会社 | 遠隔操作通信装置およびナビゲーション装置 |
| JP2013061793A (ja) * | 2011-09-13 | 2013-04-04 | Advanced Media Inc | 入力支援装置、入力支援方法、および入力支援プログラム |
| WO2013088534A1 (ja) * | 2011-12-14 | 2013-06-20 | 株式会社ソニックス | クライアントからネットワークを介して携帯端末にアクセスするためのサーバ、方法、及び、コンピュータを該サーバとして機能させるプログラム |
| KR101299670B1 (ko) * | 2012-04-16 | 2013-08-27 | 권오석 | 웹페이지의 동적 변환 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 |
| JP2017042991A (ja) * | 2015-08-26 | 2017-03-02 | 京セラドキュメントソリューションズ株式会社 | 遠隔操作システムおよび遠隔操作方法 |
| CN106550090A (zh) * | 2015-09-16 | 2017-03-29 | 中兴通讯股份有限公司 | 远程控制方法、装置及移动终端 |
| JP7101780B2 (ja) * | 2017-12-12 | 2022-07-15 | オナー デバイス カンパニー リミテッド | Ａｐｐ遠隔制御方法及び関連するデバイス |
| JP6624767B1 (ja) * | 2019-08-26 | 2019-12-25 | 株式会社ブラック | 情報処理システム及び情報処理方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000508139A (ja) * | 1996-03-29 | 2000-06-27 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | ホストと遠隔ワークステーションとの間の通信方法及びシステム |
| JP3996236B2 (ja) * | 1997-05-27 | 2007-10-24 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 情報処理方法、サーバ、システム及び情報処理プログラムを格納した記録媒体 |
| JP3064959B2 (ja) * | 1997-05-28 | 2000-07-12 | 日本電気株式会社 | 電子メールによる遠隔操作制御システムおよび制御方法ならびに遠隔操作制御プログラムを格納した記憶媒体 |
| JPH11187062A (ja) * | 1997-12-19 | 1999-07-09 | Matsushita Electric Ind Co Ltd | 情報通信装置 |
| JPH11288403A (ja) * | 1998-04-03 | 1999-10-19 | Toshiba Corp | 分散ネットワークコンピューティングシステム、同システムに用いられる情報交換装置、情報交換方法、及び記憶媒体 |
| JPH11328081A (ja) * | 1998-05-13 | 1999-11-30 | Matsushita Electric Ind Co Ltd | ネットワーク制御システム、コントローラ及びデバイス |
| JP2000298647A (ja) * | 1999-04-14 | 2000-10-24 | Matsushita Electric Ind Co Ltd | アプリケーション遠隔利用システム及びユーザインタフェース構築方法 |
-
2001
- 2001-04-25 JP JP2001128100A patent/JP3620716B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002111893A (ja) | 2002-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3620716B2 (ja) | 遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体 | |
| US20020029259A1 (en) | Remote operation system and remote operation method thereof | |
| JP3280330B2 (ja) | 通信方法、クライアント端末、サーバ、通信システム、通信を制御するためのソフトウエア・プロダクトを格納した記録媒体 | |
| JP3996236B2 (ja) | 情報処理方法、サーバ、システム及び情報処理プログラムを格納した記録媒体 | |
| US8026928B2 (en) | Method, program and apparatus for generating image data | |
| US20070005607A1 (en) | Interface control program, interface control method, interface control apparatus, plug-in program and information processing apparatus | |
| US6587125B1 (en) | Remote control system | |
| JP5575511B2 (ja) | ウェブサイト閲覧システム、サーバ及びクライアント端末 | |
| JP5011290B2 (ja) | 低速通信網と低速仕様の個人用通信端末機に最適化されたコンピュータの遠隔制御方法及びそのシステム | |
| US8452783B2 (en) | Document processing device and program | |
| US20090164909A1 (en) | Communication apparatus remote control system | |
| CN101751286A (zh) | 直觉化档案传输方法 | |
| US20110225520A1 (en) | Website browsing system and server | |
| US20120042265A1 (en) | Information Processing Device, Information Processing Method, Computer Program, and Content Display System | |
| US20110019242A1 (en) | Image processing system, image processing apparatus, image data transfer method and recording medium | |
| WO2010100799A1 (ja) | 情報処理装置、情報処理方法、プログラムおよび情報処理システム | |
| JP2011070481A (ja) | ウェブ・ブラウザ送信サーバおよびその動作制御方法 | |
| CN104679239B (zh) | 一种终端输入方法 | |
| JP2019523487A (ja) | ハイパーリンクオブジェクトの処理方法及びデバイス | |
| EP2101272A1 (en) | Method of browsing web information using a mobile handheld device | |
| US20090248860A1 (en) | System and method for using virtual ip addresses in a multi-user server system | |
| CN103473170B (zh) | 测试系统及测试方法 | |
| US20090265618A1 (en) | Method of browsing web information using a mobile handheld device | |
| JP4000161B2 (ja) | ハイパーテキスト表示装置 | |
| JP4710408B2 (ja) | コンテンツを提供する方法、情報提供システム及び情報提供プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041111 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |