JP6234612B2 - 遠隔操作システムおよび情報処理方法 - Google Patents

Description

本発明は遠隔操作システムおよび情報処理方法に関し、特にネットワークを介して被操作装置を遠隔操作する遠隔操作装置および情報処理方法に関する。

同じネットワークに接続されたコンピュータを、別のコンピュータからキーボードやマウスを使って操作する遠隔操作システムが知られている。遠隔操作システムは、複数の人が画面を共有して情報交換を行う電子会議や、遠隔地にあるコンピュータの保守を行うリモートメンテナンスなどの分野で利用されている。

遠隔操作システムは、遠隔操作の対象となる被操作装置と、被操作装置とネットワークを介して接続され、被操作装置の操作を行う遠隔操作装置から構成される。遠隔操作装置は複数の場合もある。遠隔操作装置は、画面上に被操作装置の画面に対応した遠隔操作用ウインドウを表示する。使用者は、遠隔操作用ウインドウに対してキーボードやマウス操作を行う。遠隔操作装置は、キーボードやマウスの操作情報を取得し、その操作情報を被操作装置に送信する。被操作装置においては、遠隔操作装置から送信された操作情報に基づいた処理が実行される。

これにより、遠隔操作装置の使用者は、被操作装置のマウスやキーボードで操作するかのように被操作装置の操作を行うことができる。

特開２０１０−２５６９６５号公報

しかしながら、従来の遠隔操作システムでは、操作対象のウインドウが被操作装置の画面外に一部はみ出したり、他のウインドウの下に隠れている場合、マウス操作により、ウインドウのはみ出している部分を画面内に移動したり、ウインドウを最前面に移動する必要があった。

また、被操作装置の画面全体を操作対象としているため、別のウインドウも操作可能であった。そのため、特定のウインドウのみを操作したい場合に、別のウインドウを誤って操作してしまうという問題もあった。

本発明は以上のような課題を解決するためになされたものであり、使用者の操作の負担を軽減し、かつ使用者の誤操作を抑制した遠隔操作システムおよび情報処理方法の提供を目的とする。

本発明に係る遠隔操作システムは、ネットワークを介して接続される被操作装置と遠隔操作装置とを備える遠隔操作システムであって、遠隔操作装置は、被操作装置とネットワークを介して通信を行う第１の通信部と、遠隔操作装置に対する操作を認識する操作認識部と、表示信号を出力する表示信号出力部と、第１の制御部と、を備え、被操作装置は、遠隔操作装置とネットワークを介して通信を行う第２の通信部と、第２の制御部と、を備え、第１の制御部は、第１の通信部を介して被操作装置において開かれているウインドウの情報に関する表示ウインドウ情報リストを取得し、第１の制御部は、表示信号出力部に表示ウインドウ情報リストに基づくウインドウ一覧を表示する表示信号を出力させ、第１の制御部は、操作認識部がウインドウ一覧のいずれかのウインドウが選択される操作を認識すると、第１の通信部を介して被操作装置にどのウインドウが選択されたかを通知し、第１の制御部は、表示信号出力部に、選択されたウインドウに対応した遠隔操作用ウインドウを表示する表示信号を出力させ、第１の制御部は、第１の通信部を介して、操作認識部が認識する遠隔操作用ウインドウに対する操作を含む操作情報を被操作装置に送信し、第２の通信部は、ウインドウ一覧のうちどのウインドウが選択されたかを遠隔操作装置から受信し、第２の通信部は、操作情報を遠隔操作装置から受信し、第２の制御部は、操作情報に基づいて、被操作装置におけるカーソル位置を計算し、第２の制御部は、計算したカーソル位置が、カーソルが移動可能な領域外であった場合、選択されたウインドウの位置と計算したカーソル位置との相対的な位置関係を保持したまま、カーソル位置がカーソルが移動可能な領域内に来るように、選択されたウインドウの位置およびカーソル位置を変更した後、選択されたウインドウに対して操作情報に基づいて処理を実行する。

遠隔操作装置は、選択されたウインドウを遠隔操作用ウインドウに表示するため、使用者は、選択されたウインドウに対して操作が可能となる。よって、使用者が誤って他のウインドウに対して操作を行ってしまうことを防止することが可能である。

また、被操作装置において、操作対象のウインドウの操作したい部分が画面外にある場合でも、ウインドウの操作したい位置がカーソルで操作可能な画面内に入るように移動され、また、同時にカーソル位置もウインドウとの位置関係を保持したまま移動される。よって、遠隔操作装置を操作する使用者は、自分で操作対象のウインドウの位置を変更する操作を行う必要がないため、使用者が誤った操作を行うことを抑制することが可能となる。また、画面より大きなサイズのウインドウに対して操作を行う場合においても、容易に操作が可能となる。

この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによってより明白となる。

本発明の実施形態に係る遠隔操作システムの機能ブロック図である。 本発明の実施形態に係る遠隔操作システムのハードウェア構成図である。 本発明の実施形態に係る被操作装置において開かれているウインドウの一例を示す図である。 本発明の実施形態に係る遠隔操作装置が取得する表示ウインドウ情報リストを示す図である。 本発明の実施形態に係る遠隔操作装置が表示するウインドウ一覧を示す図である。 本発明の実施形態に係る遠隔操作装置が表示する遠隔操作ウインドウを示す図である。 本発明の実施形態に係る遠隔操作システムの操作情報の一例を示す図である。 本発明の実施形態に係る遠隔操作システムの操作種類の定義を示す図である。 本発明の実施形態に係る遠隔操作システムの操作種類毎のデータ１、２を示す図である。 本発明の実施形態に係る遠隔操作システムの動作を示すフローチャートである。 本発明の実施形態に係る遠隔操作システムの動作を示すフローチャートである。 本発明の実施形態に係る遠隔操作装置と被操作装置の画面を示す図である。 本発明の実施形態に係る遠隔操作装置と被操作装置の画面を示す図である。

＜構成＞
図１は、本発明の実施形態における遠隔操作システムの機能ブロック図である。遠隔操作システムは、被操作装置１と遠隔操作装置２を備える。被操作装置１と遠隔操作装置２はネットワーク３を介して接続されている。

図１に示すように、被操作装置１は、第２の制御部１１、第２の通信部１２、操作認識部１３および表示信号出力部１４を備える。第２の通信部１２は、ネットワークを介して遠隔操作装置２と通信を行う。操作認識部１３は操作部１６と接続され、操作部１６において行われる操作を認識する。表示信号出力部１４は表示部１５と接続され、表示部１５に対して表示信号を出力する。第２の制御部１１は、操作認識部１３の操作に応じて、第２の通信部１２および表示信号出力部１４を制御する。

図１に示すように、遠隔操作装置２は、第１の制御部２１、第１の通信部２２、操作認識部２３および表示信号出力部２４を備える。第１の通信部２２は、ネットワークを介して被操作装置１と通信を行う。操作認識部２３は操作部２６と接続され、操作部２６において行われる操作を認識する。表示信号出力部２４は表示部２５と接続され、表示部２５に対して表示信号を出力する。第１の制御部２１は、操作認識部２３の操作に応じて、第１の通信部２２および表示信号出力部２４を制御する。

図２は、本発明の実施形態における遠隔操作システムのハードウェア構成図である。被操作装置１はコンピュータであり、グラフィカルユーザーインタフェースとして複数のウインドウを表示することが可能なウインドウシステムが提供されている汎用のオペレーティングシステム（以降、オペレーティングシステムをＯＳと称する）が搭載されている。この汎用ＯＳとしては、例えば、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）オペレーティングシステムなどがあるが、他のＯＳであっても構わない。

被操作装置１は、通信装置１ｂ、プロセッサー１ａおよび記憶装置１ｃを備える。なお、被操作装置１に入出力インターフェース１ｄが備わる構成としてもよい。入出力インターフェース１ｄには、例えば、表示部１５としてのディスプレイ１ｅ、操作部１６としてのキーボード１ｆおよびマウス１ｇが接続される。プロセッサー１ａが記憶装置１ｃに記憶されているプログラムに基づく処理を行うことにより、第２の制御部１１が実現される。通信装置１ｂがプロセッサー１ａの命令に基づいて動作することにより、第２の通信部１２が実現される。入出力インターフェース１ｄがプロセッサー１ａの命令に基づいて例えばディスプレイ１ｅに対して画像を表示するための表示信号を出力することにより、表示信号出力部１４が実現される。プロセッサー１ａが、入出力インターフェース１ｄを介して例えばキーボード１ｆまたはマウス１ｇからの操作を認識することにより、操作認識部１３が実現される。

被操作装置１に接続されたディスプレイ１ｅに出力される表示信号の画面６は、例えば横１９２０画素、縦１０８０画素の解像度である。ディスプレイ１ｅには、例えば４つのウインドウ７Ａ、７Ｂ、７Ｃ、７Ｄが表示されている。カーソル８は被操作装置１のカーソルである。カーソル８は、画面６の範囲内において移動可能である。

遠隔操作装置２はコンピュータであり、グラフィカルユーザーインタフェースとして複数のウインドウを表示することが可能なウインドウシステムが提供されている汎用のＯＳが搭載されている。

遠隔操作装置２は、通信装置２ｂ、プロセッサー２ａ、記憶装置２ｃおよび入出力インターフェース２ｄを備える。入出力インターフェース２ｄには、例えば、表示部２５としてのディスプレイ２ｅ、操作部２６としてのキーボード２ｆおよびマウス２ｇが接続される。プロセッサー２ａが記憶装置２ｃに記憶されているプログラムに基づく処理を行うことにより、第１の制御部２１が実現される。通信装置２ｂがプロセッサー２ａの命令に基づいて動作することにより、第１の通信部２２が実現される。入出力インターフェース２ｄがプロセッサー２ａの命令に基づいて例えばディスプレイ１ｅに対して画像を表示するための表示信号を出力することにより、表示信号出力部２４が実現される。プロセッサー２ａが、入出力インターフェース２ｄを介して例えばキーボード１ｆまたはマウス１ｇからの操作を認識することにより、操作認識部２３が実現される。

遠隔操作装置２に接続されたディスプレイ２ｅの画面２７には、遠隔操作用ウインドウ１０が表示されている。カーソル９は遠隔操作装置２のカーソルである。

ネットワーク３は被操作装置１と遠隔操作装置２の間に設けられ、被操作装置１と遠隔操作装置２との相互通信を可能とするものである。本実施形態では相互の通信には、汎用の通信規格、例えばＥｔｈｅｒｎｅｔ（登録商標）などを使用するものとするが、他のネットワークであっても構わない。

図４は、表示ウインドウ情報リストを示す図である。表示ウインドウ情報リストとは、被操作装置１において表示されている（即ち被操作装置１において開かれている）すべてのウインドウに関する情報のリストである。表示ウインドウ情報リストは、被操作装置１において表示されているウインドウ数分のウインドウ情報から構成されている。図４において、先頭を除く各行が１つのウインドウ情報である。ウインドウ情報はウインドウの名称であるウインドウタイトル、ウインドウ固有の識別子であるウインドウハンドル、ウインドウの左上端の座標であるウインドウ位置、ウインドウの幅、高さであるウインドウサイズから構成される。図３に示すように、被操作装置１の画面６には４つのウインドウ７Ａ、７Ｂ、７Ｃ、７Ｄが表示されているため、表示ウインドウ情報リストは４つのウインドウ情報から構成される。

遠隔操作装置２の第１の制御部２１は、第１の通信部２２を介して取得した表示ウインドウ情報リストに基づいて、表示信号出力部２４にウインドウ一覧を表示する表示信号を出力させる。図５は、ディスプレイ２ｅの画面２７に表示されるウインドウ一覧の一例を示す図である。使用者は、ウインドウ一覧の中から、操作を行う対象のウインドウである操作対象ウインドウを、例えばマウスで２ｇを操作して選択する。

遠隔操作装置２の第１の制御部２１は、ウインドウ一覧において選択された操作対象ウインドウを表示するためのウインドウである、遠隔操作用ウインドウ１０を画面２７に表示する。図６は遠隔操作用ウインドウ１０を示す図である。図６において、遠隔操作用ウインドウ１０は操作対象ウインドウと同じ幅の画素、及び高さの画素のクライアント領域を持つウインドウとして生成される。クライアント領域とはウインドウのタイトルバー及びボーダーを除いた領域である。図６ではタイトルバー及びボーダーの無いウインドウを示している。第１の制御部２１は、遠隔操作用ウインドウ１０のクライアント領域内にカーソル９が存在する場合、キーボード２ｆやマウス２ｇの操作情報を取得する。使用者は、操作対象ウインドウ内すべての位置を操作可能である。

図７に操作情報の一例を示す。図７に示すように操作情報は「操作種類」と「データ１」と「データ２」という３つの情報から構成される。操作種類はキーボードやマウスの操作の種類を表す。

図８は、図７の操作種類欄で使用する操作種類の定義を示す図である。「操作種類」の欄が操作種類の名称、「内容」の欄が操作の内容を示す。図８に示す操作種類は一部であり、ここに示していない操作種類であっても良い。データ１及びデータ２は操作種類に応じたデータである。図９は、操作種類に応じたデータ１及びデータ２の一例を示す図である。図９において、カーソル位置はカーソルの遠隔操作用ウインドウにおけるクライアント座標を表す。遠隔操作用ウインドウのクライアント座標とは、遠隔操作用ウインドウのクライアント領域の左上端の位置を原点（０，０）とした時の相対的なカーソルの座標のことである。図７において１つ目の操作情報（ＷＭ＿ＬＢＵＴＴＯＮＤＯＷＮ）はマウスの左ボタンがカーソル位置（５０，５０）で押されたことを表す。また、２つ目の操作情報（ＷＭ＿ＬＢＵＴＴＯＮＵＰ）はマウスの左ボタンがカーソル位置（５０，５０）で離されたことを表す。３つ目の操作情報（ＷＭ＿ＫＥＹＤＯＷＮ）は「Ａ」というキーが押されたことを表す。４つ目の操作情報（ＷＭ＿ＫＥＹＵＰ）は「Ａ」というキーが離されたことを表す。

遠隔操作装置２の第１の制御部２１は、第１の通信部２２を制御して、操作情報と、操作対象ウインドウの表示ウインドウ情報である操作対象ウインドウ情報を、被操作装置１へ送信する。

被操作装置１の第２の制御部１１は、第２の通信部１２を介して、操作情報及び操作対象ウインドウ情報を遠隔操作装置２から受信する。第２の制御部１１は、被操作装置１の画面６上のカーソル８のカーソル位置を計算する。操作情報に含まれるカーソル位置を（ｌｐｘ，ｌｐｙ）、被操作装置１の画面６上の操作対象ウインドウの左上端の位置を（ｔｗｉｎｘ，ｔｗｉｎｙ）、操作対象ウインドウの大きさを（ｔｗｉｎｗ，ｔｗｉｎｈ）とすると、被操作装置１の画面６上のカーソル８のカーソル位置（ｒｐｘ，ｒｐｙ）は下記の計算式で求まる。

ｒｐｘ＝ｔｗｉｎｘ＋ｌｐｘ…（式１）
ｒｐｙ＝ｔｗｉｎｙ＋ｌｐｙ…（式２）
被操作装置１の第２の制御部１１は、操作対象ウインドウを最前面に配置する。そして、第２の制御部１１は、操作情報がマウス操作の情報であった場合、被操作装置１の画面６上のカーソル８のカーソル位置（ｒｐｘ，ｒｐｙ）が画面６の画面外にあるかどうか判定を行う。具体的には被操作装置１の画面６上のカーソル８のカーソル位置を（ｒｐｘ，ｒｐｙ）、画面６の画面サイズを（ｄｉｓｐｗ，ｄｉｓｐｈ）とすると、以下の式３および式４を満たすかどうかで判定する。

０≦ｒｐｘ＜ｄｉｓｐｗ…（式３）
０≦ｒｐｙ＜ｄｉｓｐｈ…（式４）
上記の式３および式４の両方を満たす場合はカーソル８が画面内にあると判定する。それ以外の場合はカーソル８が画面外にあると判定する。カーソル８が画面外にあると判定された場合、操作対象ウインドウの左上端が下記の計算式にて求めた位置（ｎｔｗｉｎｘ，ｎｔｗｉｎｙ）に位置するように操作対象ウインドウを移動する。

ｎｔｗｉｎｘ＝ｔｗｉｎｘ−（ｒｐｘ−ｃｅｎｔｅｒｘ）…（式５）
ｎｔｗｉｎｙ＝ｔｗｉｎｙ−（ｒｐｙ−ｃｅｎｔｅｒｙ）…（式６）
上記式５、式６において（ｃｅｎｔｅｒｘ，ｃｅｎｔｅｒｙ）は被操作装置１の画面６の中心の座標である。

第２の制御部１１は、操作対象ウインドウを移動後、被操作装置１の画面６のカーソル８をカーソル位置（ｃｅｎｔｅｒｘ，ｃｅｎｔｅｒｙ）へ移動する。本実施例では操作対象ウインドウの移動後にカーソル８を移動したが、操作対象ウインドウ移動前にカーソル８を移動しても良い。

被操作装置１の第２の制御部１１は、操作情報のカーソル位置を新しいカーソル位置（ｃｅｎｔｅｒｘ，ｃｅｎｔｅｒｙ）に変更した操作情報を生成し、操作情報に基づいて、操作対象ウインドウに対して処理を実行する。

＜動作＞
図１０および図１１は、本発明の実施形態における遠隔操作システムの動作を示すフローチャートである。以下、使用者が、操作対象ウインドウとして被操作装置１のウインドウ７Ｃを選択する場合を例にとって説明する。

遠隔操作装置２の第１の制御部２１は、第１の通信部２２を介して、被操作装置１の画面６に表示されているすべてのウインドウに関する情報である表示ウインドウ情報リスト（図４）を取得する（ステップＳ１）。被操作装置１において４つのウインドウ７Ａ，７Ｂ，７Ｃ，７Ｄが開かれている。即ち、被操作装置１に接続されたディスプレイ６には４つのウインドウ７Ａ、７Ｂ、７Ｃ、７Ｄが表示されている（図３）。

次に、遠隔操作装置２の第１の制御部２１は、表示ウインドウ情報リストに基づいて、表示ウインドウ一覧を表示信号出力部２４に出力させる。図５に示すように、ディスプレイ２ｅの画面２７にはウインドウ一覧が表示される（ステップＳ２）。図５において、ウインドウ７Ａを選択するボタン３０、ウインドウ７Ｂを選択するボタン３１、ウインドウ７Ｃを選択するボタン３２、ウインドウ７Ｄを選択するボタン３３が配置されている。各ボタン３０〜３３には各ウインドウのウインドウタイトルが表示されており、被操作装置１の画面６上に表示されているウインドウとの対応関係がわかるようになっている。使用者は例えばマウス２ｇを操作して、ボタン３２を押してウインドウ７Ｃを操作対象ウインドウとして選択する。

次に、遠隔操作装置２の第１の制御部２１は、表示ウインドウ情報リストから選択されたウインドウ７Ｃのウインドウサイズを取得する（ステップＳ３）。ウインドウ７Ｃのウインドウサイズは（６４０，５１２）である。第１の制御部２１は、表示信号出力部２４を制御して、クライアント領域の大きさが（６４０，５１２）となる遠隔操作用ウインドウ１０をディスプレイ２ｅの画面２７に表示させる。そして、第１の制御部２１は、使用者が操作するキーボード２ｆやマウス２ｇの操作情報を取得する（ステップＳ４）。

図１２は遠隔操作装置におけるカーソル位置と被操作装置におけるカーソル位置を示す図である。図１２に示すように、遠隔操作用ウインドウ１０のクライアント領域上の（３２０，２５６）の位置でマウス２ｇの左ボタンを押すという操作が行われた場合、操作種類がＷＭ＿ＬＢＵＴＴＯＮＤＯＷＮ、データ１がＭＫ＿ＬＢＵＴＴＯＮ、データ２がカーソル位置（３２０，２５６）という操作情報が生成される。遠隔操作装置２の第１の制御部２１は、第１の通信部２２を介して、この操作情報および操作対象ウインドウであるウインドウ７Ｃのウインドウ情報を、被操作装置１に送信する（ステップＳ５）。

被操作装置１の第２の制御部１１は、第２の通信部１２を介して、操作情報およびウインドウ７Ｃのウインドウ情報を受信する。第２の制御部１１は、受信した操作情報に含まれるマウスに関する操作情報から、被操作装置１の画面６上におけるカーソル８のカーソル位置（ｒｐｘ，ｒｐｙ）を式１および式２を用いて計算する（ステップＳ６）。

ウインドウ７Ｃのウインドウ情報から（ｔｗｉｎｘ，ｔｗｉｎｙ）＝（１７００，８００）、操作情報から（ｌｐｘ，ｌｐｙ）＝（３２０，２５６）であるので、（ｒｐｘ，ｒｐｙ）は以下のように求まる。

ｒｐｘ＝ｔｗｉｎｘ＋ｌｐｘ＝１７００＋３２０＝２０２０
ｒｐｙ＝ｔｗｉｎｙ＋ｌｐｙ＝８００＋２５６＝１０５６
従って、図１２に示すように、被操作装置１の画面６上のカーソル８のカーソル位置は（２０２０，１０５６）となる。

次に、被操作装置１の第２の制御部１１は、操作対象ウインドウであるウインドウ７Ｃを最前面に配置する（ステップＳ７）。さらに、第２の制御部１１は、被操作装置１の画面６上のカーソル８が画面６の外にあるかどうかを、式３および式４を用いて判定する（ステップＳ８）。（ｒｐｘ，ｒｐｙ）＝（２０２０，１０５６）、（ｄｉｓｐｗ，ｄｉｓｐｈ）＝（１９２０，１０８０）を式３および式４に代入すると、０≦２０２０＜１９２０（式３）、０≦１０５６＜１０８０（式４）となり、式３が成立しない。よって、カーソル８は画面６外にあると判定される。次に、ステップＳ８においてカーソル８が画面６外にあると判定されたので、第２の制御部１１は、式５および式６を用いて操作対象ウインドウ７Ｃの移動後の右上端の位置（ｎｔｗｉｎｘ，ｔｎｗｉｎｙ）を計算する（ステップＳ９）。

ここで、（ｔｗｉｎｘ，ｔｗｉｎｙ）＝（１７００，８００）、（ｒｐｘ，ｒｐｙ）＝（２０２０，１０５６）、（ｃｅｎｔｅｒｘ，ｃｅｎｔｅｒｙ）＝（１９２０／２＝９６０，１０８０／２＝５４０）であるので、式５および式６より、操作対象ウインドウ７Ｃの移動後の右上端の位置（ｎｔｗｉｎｘ，ｎｔｗｉｎｙ）は下記のとおりとなる。

ｎｔｗｉｎｘ＝ｔｗｉｎｘ−（ｒｐｘ−ｃｅｎｔｅｒｘ）＝１７００−（２０２０−９６０）＝６４８
ｎｔｗｉｎｙ＝ｔｗｉｎｘ−（ｒｐｘ−ｃｅｎｔｅｒｘ）＝８００−（１０５６−５４０）＝２８４
次に、第２の制御部１１は、操作対象ウインドウ７Ｃの右上端の位置が（６４０，２８４）になるようにウインドウ７Ｃを移動する。さらに、第２の制御部１１は、カーソル８のカーソル位置を画面６の中央である位置（９６０，５４０）に移動する（ステップＳ１０）。図１３は、ウインドウ７Ｃおよびカーソル８を移動した後の画面６を示す図である。以上の処理によって、操作対象ウインドウ７Ｃとカーソル８の位置関係を保持したまま、カーソル８が画面６内に来るように、操作対象ウインドウ７Ｃとカーソル８の位置が変更された。

次に、第２の制御部１１は、操作情報の操作種類は「ＷＭ＿ＬＢＵＴＴＯＮＤＯＷＮ」のまま、操作情報のカーソル位置をカーソル８のカーソル位置と同じ（９６０，５４０）に変更する（ステップＳ１１）。そして、第２の制御部１１は、変更した操作情報に基づいて、操作対象ウインドウ７Ｃに対して「ＷＭ＿ＬＢＵＴＴＯＮＤＯＷＮ」の処理を実行する（ステップＳ１２）。

なお、上記説明では、被操作装置１のカーソル８が画面６の中央に来るように操作対象ウインドウおよびカーソル８を移動したが、必ずしもカーソル８が画面６の中央に来る必要はなく、画面６内にあれば良い。

一方、ステップＳ８において被操作装置１のカーソル８が画面６の外にない（即ち、カーソル８が画面６内にある）と判定された場合、ステップＳ１２に進む。このステップにおいて、第２の制御部１１は、ウインドウ７Ｃおよびカーソル８の位置を変更することなく、操作情報に基づいて、操作対象ウインドウ７Ｃに対して「ＷＭ＿ＬＢＵＴＴＯＮＤＯＷＮ」の処理を実行する。

＜効果＞
本発明の実施形態における遠隔操作システムは、ネットワーク３を介して接続される被操作装置１と遠隔操作装置２とを備える遠隔操作システムであって、遠隔操作装置２は、被操作装置１とネットワーク３を介して通信を行う第１の通信部２２と、遠隔操作装置２に対する操作を認識する操作認識部２３と、表示信号を出力する表示信号出力部２４と、第１の制御部２１と、を備え、被操作装置１は、遠隔操作装置２とネットワーク３を介して通信を行う第２の通信部１２と、第２の制御部１１と、を備え、第１の制御部２１は、第１の通信部２２を介して被操作装置１において開かれているウインドウの情報に関する表示ウインドウ情報リストを取得し、第１の制御部２１は、表示信号出力部２４に表示ウインドウ情報リストに基づいてウインドウ一覧を表示する表示信号を出力させ、第１の制御部２１は、操作認識部２３がウインドウ一覧のいずれかのウインドウが選択される操作を認識すると、第１の通信部２２を介して被操作装置１にどのウインドウが選択されたかを通知し、第１の制御部２１は、表示信号出力部２４に、選択されたウインドウに対応した遠隔操作用ウインドウ１０を表示する表示信号を出力させ、第１の制御部２１は、第１の通信部２２を介して、操作認識部２３が認識する遠隔操作用ウインドウ１０に対する操作を含む操作情報を被操作装置１に送信し、第２の通信部１２は、ウインドウ一覧のうちどのウインドウが選択されたかを遠隔操作装置２から受信し、第２の通信部１２は、操作情報を遠隔操作装置２から受信し、第２の制御部１１は、操作情報に基づいて、被操作装置１におけるカーソル位置を計算し、第２の制御部１１は、カーソル位置が、カーソル８が移動可能な領域外であった場合、選択されたウインドウの位置とカーソル位置との相対的な位置関係を保持したまま、カーソル位置がカーソル８が移動可能な領域内に来るように、選択されたウインドウの位置およびカーソル位置を変更した後、選択されたウインドウに対して操作情報に基づいて処理を実行する。

従って、遠隔操作装置２は、複数のウインドウのうち選択されたウインドウを遠隔操作用ウインドウ１０に表示するため、使用者は、選択されたウインドウに対してのみ操作が可能となる。よって、使用者が誤って他のウインドウに対して操作を行ってしまうことを防止することが可能である。

また、被操作装置１において、操作対象のウインドウの操作したい部分が画面６外にある場合でも、ウインドウの操作したい位置がカーソル８で操作可能な画面６内に入るように移動され、また、同時にカーソル位置もウインドウとの位置関係を保持したまま移動される。よって、遠隔操作装置２を操作する使用者は、自分で操作対象のウインドウの位置を変更する操作を行う必要がないため、使用者が誤った操作を行うことを抑制することが可能となる。また、画面６より大きなサイズのウインドウに対して操作を行う場合においても、容易に操作が可能となる。

また、本発明の実施形態における遠隔操作システムにおいて、第２の制御部１１は、選択されたウインドウを最前面に配置する。

従って、被操作装置１において、操作対象のウインドウが他のウインドウの下に隠れている場合であっても、自動的に操作対象のウインドウを最前面に配置する。よって、遠隔操作装置２を操作する使用者は、自分で操作対象のウインドウを前面に配置する操作を行う必要がないため、使用者が誤った操作を行うことを抑制することが可能となる。

また、本発明の実施形態における情報処理方法は、ネットワーク３を介して接続される被操作装置１と遠隔操作装置２とを備える遠隔操作システムにおける情報処理方法であって、（ａ）遠隔操作装置２において、被操作装置１において開かれているウインドウの情報に関する表示ウインドウ情報リストを取得する工程と、（ｂ）遠隔操作装置２において、表示ウインドウ情報リストに基づくウインドウ一覧を表示する表示信号を出力する工程と、（ｃ）遠隔操作装置２において、ウインドウ一覧のいずれかのウインドウが選択されると、被操作装置１にどのウインドウが選択されたかを通知する工程と、（ｄ）遠隔操作装置２において、選択されたウインドウに対応した遠隔操作用ウインドウ１０を表示する表示信号を出力する工程と、（ｅ）遠隔操作装置２において、遠隔操作用ウインドウ１０に対する操作を含む操作情報を被操作装置１に送信する工程と、（ｆ）被操作装置１において、ウインドウ一覧のうちどのウインドウが選択されたかを遠隔操作装置２から受信する工程と、（ｇ）被操作装置１において、操作情報を遠隔操作装置２から受信する工程と、（ｈ）被操作装置１において、操作情報に基づいて被操作装置１におけるカーソル位置を計算する工程と、（ｉ）工程（ｈ）の後、被操作装置１において、計算したカーソル位置が、カーソル８が移動可能な領域外であった場合、選択されたウインドウの位置と計算したカーソル位置との相対的な位置関係を保持したまま、カーソル位置がカーソル８が移動可能な領域内に来るように、選択されたウインドウの位置およびカーソル位置を変更する工程と、（ｊ）工程（ｉ）の後、被操作装置１において、選択されたウインドウに対して操作情報に基づいて処理を実行する工程と、を備える。

従って、遠隔操作装置２は、複数のウインドウのうち選択されたウインドウを遠隔操作用ウインドウ１０に表示するため、使用者は、選択されたウインドウに対してのみ操作が可能となる。よって、使用者が誤って他のウインドウに対して操作を行ってしまうことを防止することが可能である。

また、被操作装置１において、操作対象のウインドウの操作したい部分が画面６外にある場合でも、ウインドウの操作したい位置がカーソル８で操作可能な画面６内に入るように移動され、また、同時にカーソル位置もウインドウとの位置関係を保持したまま移動される。よって、遠隔操作装置２を操作する使用者は、自分で操作対象のウインドウの位置を変更する操作を行う必要がないため、使用者が誤った操作を行うことを抑制することが可能となる。また、画面６より大きなサイズのウインドウに対して操作を行う場合においても、容易に操作が可能となる。

また、本発明の実施形態における情報処理方法は、（ｋ）被操作装置１において、選択されたウインドウを最前面に配置する工程をさらに備える。

従って、被操作装置１において、操作対象のウインドウが他のウインドウの下に隠れている場合であっても、自動的に操作対象のウインドウを最前面に配置する。よって、遠隔操作装置２を操作する使用者は、自分で操作対象のウインドウを前面に配置する操作を行う必要がないため、使用者が誤った操作を行うことを抑制することが可能となる。

この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１ 被操作装置、２ 遠隔操作装置、３ ネットワーク、１１ 第２の制御部、１２ 第２の通信部、１３ 操作認識部、１４ 表示信号出力部、１５ 表示部、１６ 操作部、２１ 第１の制御部、２２ 第１の通信部、２３ 操作認識部、２４ 表示信号出力部、２５ 表示部、２６ 操作部、１ａ，２ａ プロセッサー、１ｂ，２ｂ 通信装置、１ｃ，２ｃ 記憶装置、１ｄ，２ｄ 入出力インターフェース、１ｅ，２ｅ ディスプレイ、１ｆ，２ｆ キーボード、１ｇ，２ｇ マウス、６，２７ 画面、８，９ カーソル、１０ 遠隔操作用ウインドウ、７Ａ，７Ｂ，７Ｃ，７Ｄ ウインドウ。

Claims (4)

1. ネットワーク（３）を介して接続される被操作装置（１）と遠隔操作装置（２）とを備える遠隔操作システムであって、
   前記遠隔操作装置（２）は、
   前記被操作装置（１）と前記ネットワーク（３）を介して通信を行う第１の通信部（２２）と、
   前記遠隔操作装置（２）に対する操作を認識する操作認識部（２３）と、
   表示信号を出力する表示信号出力部（２４）と、
   第１の制御部（２１）と、
   を備え、
   前記被操作装置（１）は、
   前記遠隔操作装置（２）と前記ネットワーク（３）を介して通信を行う第２の通信部（１２）と、
   第２の制御部（１１）と、
   を備え、
   前記第１の制御部（２１）は、前記第１の通信部（２２）を介して前記被操作装置（１）において開かれているウインドウの情報に関する表示ウインドウ情報リストを取得し、
   前記第１の制御部（２１）は、前記表示信号出力部（２４）に前記表示ウインドウ情報リストに基づくウインドウ一覧を表示する表示信号を出力させ、
   前記第１の制御部（２１）は、前記操作認識部（２３）が前記ウインドウ一覧のいずれかの前記ウインドウが選択される操作を認識すると、前記第１の通信部（２２）を介して前記被操作装置（１）にどの前記ウインドウが選択されたかを通知し、
   前記第１の制御部（２１）は、前記表示信号出力部（２４）に、選択された前記ウインドウに対応した遠隔操作用ウインドウ（１０）を表示する表示信号を出力させ、
   前記第１の制御部（２１）は、前記第１の通信部（２２）を介して、前記操作認識部（２３）が認識する前記遠隔操作用ウインドウ（１０）に対する操作を含む操作情報を前記被操作装置（１）に送信し、
   前記第２の通信部（１２）は、前記ウインドウ一覧のうちどの前記ウインドウが選択されたかを前記遠隔操作装置（２）から受信し、
   前記第２の通信部（１２）は、前記操作情報を前記遠隔操作装置（２）から受信し、
   前記第２の制御部（１１）は、前記操作情報に基づいて、前記被操作装置（１）におけるカーソル位置を計算し、
   前記第２の制御部（１１）は、計算した前記カーソル位置が、当該カーソル（８）が移動可能な領域外であった場合、選択された前記ウインドウの位置と計算した前記カーソル位置との相対的な位置関係を保持したまま、前記カーソル位置が当該カーソル（８）が移動可能な領域内に来るように、選択された前記ウインドウの位置および前記カーソル位置を変更した後、選択された前記ウインドウに対して前記操作情報に基づいて処理を実行する、
   遠隔操作システム。
2. 前記第２の制御部（１１）は、選択された前記ウインドウを最前面に配置する、
   請求項１に記載の遠隔操作システム。
3. ネットワーク（３）を介して接続される被操作装置（１）と遠隔操作装置（２）とを備える遠隔操作システムにおける情報処理方法であって、
   （ａ）前記遠隔操作装置（２）において、前記被操作装置（１）において開かれているウインドウの情報に関する表示ウインドウ情報リストを取得する工程と、
   （ｂ）前記遠隔操作装置（２）において、前記表示ウインドウ情報リストに基づくウインドウ一覧を表示する表示信号を出力する工程と、
   （ｃ）前記遠隔操作装置（２）において、前記ウインドウ一覧のいずれかの前記ウインドウが選択されると、前記被操作装置にどの前記ウインドウが選択されたかを通知する工程と、
   （ｄ）前記遠隔操作装置（２）において、選択された前記ウインドウに対応した遠隔操作用ウインドウ（１０）を表示する表示信号を出力する工程と、
   （ｅ）前記遠隔操作装置（２）において、前記遠隔操作用ウインドウ（１０）に対する操作を含む操作情報を前記被操作装置（１）に送信する工程と、
   （ｆ）前記被操作装置（１）において、前記ウインドウ一覧のうちどの前記ウインドウが選択されたかを前記遠隔操作装置（２）から受信する工程と、
   （ｇ）前記被操作装置（１）において、前記操作情報を前記遠隔操作装置（２）から受信する工程と、
   （ｈ）前記被操作装置（１）において、前記操作情報に基づいて前記被操作装置（１）におけるカーソル位置を計算する工程と、
   （ｉ）前記工程（ｈ）の後、前記被操作装置（１）において、計算した前記カーソル位置が、当該カーソル（８）が移動可能な領域外であった場合、選択された前記ウインドウの位置と計算した前記カーソル位置との相対的な位置関係を保持したまま、前記カーソル位置が当該カーソル（８）が移動可能な領域内に来るように、選択された前記ウインドウの位置および前記カーソル位置を変更する工程と、
   （ｊ）前記工程（ｉ）の後、前記被操作装置（１）において、選択された前記ウインドウに対して前記操作情報に基づいて処理を実行する工程と、
   を備える、
   情報処理方法。
4. （ｋ）前記被操作装置（１）において、選択された前記ウインドウを最前面に配置する工程をさらに備える、
   請求項３に記載の情報処理方法。

Images