JP5146396B2 - Remote control system - Google Patents
Remote control system Download PDFInfo
- Publication number
- JP5146396B2 JP5146396B2 JP2009102906A JP2009102906A JP5146396B2 JP 5146396 B2 JP5146396 B2 JP 5146396B2 JP 2009102906 A JP2009102906 A JP 2009102906A JP 2009102906 A JP2009102906 A JP 2009102906A JP 5146396 B2 JP5146396 B2 JP 5146396B2
- Authority
- JP
- Japan
- Prior art keywords
- remote operation
- remote
- priority
- cursor
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
この発明は、コンピュータの画面を同じネットワークに接続された別のコンピュータからキーボードやマウスを使って遠隔操作するシステムに関する。 The present invention relates to a system for remotely operating a computer screen from another computer connected to the same network using a keyboard and a mouse.
コンピュータを同じネットワークに接続された別のコンピュータからキーボード、マウスを使って操作を行う遠隔操作システムは、複数の人が画面を共有して情報交換を行う電子会議や遠隔地にあるコンピュータの保守を行うリモートメンテナンスなどの分野で利用されている。 A remote control system that uses a keyboard and mouse to operate a computer from another computer connected to the same network is used for electronic conferences where multiple people share information and exchange information, and for maintenance of computers in remote locations. Used in fields such as remote maintenance.
遠隔操作システムは、遠隔操作の対象となる被遠隔操作装置と操作を行う複数の遠隔操作装置から構成される。遠隔操作装置では、画面全体あるいは画面上に遠隔操作用ウィンドウを表示し、その中でマウスやキーボード操作を行うことにより、被遠隔操作装置のマウスやキーボードで操作したかのように操作を行うことができる。
通常、遠隔操作装置と被遠隔操作装置の画面の解像度は同じであるとは限らない。
そのため、遠隔操作装置の画面解像度が被遠隔操作装置の画面より小さい場合、遠隔操作装置のカーソルでは被遠隔操作装置のカーソルをすべての範囲で操作することは不可能である。そこで、遠隔操作装置のカーソルの座標を拡大・縮小などして被遠隔操作装置の画面の座標に合わせる必要がある。
The remote operation system includes a remote operation device that is a target of remote operation and a plurality of remote operation devices that perform operations. In a remote operation device, a remote operation window is displayed on the entire screen or on the screen, and the mouse or keyboard is operated in the remote operation device, so that the remote operation device operates as if operated by the mouse or keyboard of the remote operation device. Can do.
Usually, the screen resolutions of the remote control device and the remote control device are not always the same.
Therefore, when the screen resolution of the remote operation device is smaller than the screen of the remote operation device, it is impossible to operate the cursor of the remote operation device in the entire range with the cursor of the remote operation device. Therefore, it is necessary to enlarge / reduce the coordinates of the cursor of the remote operation device to match the coordinates of the screen of the remote operation device.
例えば、遠隔操作装置の画面サイズが1024x768画素, 被遠隔操作装置の画面が2048x1536であるとする。このとき、被遠隔操作装置のカーソルの取りうる座標値(X', Y')は1 ≦X'≦2048, 1 ≦Y'≦1536である。遠隔操作装置の遠隔操作用ウィンドウが1024x768であったとすると、遠隔操作用ウィンドウ内のカーソルの取りうる座標値(X, Y)は1≦X≦1024, 1≦Y≦768である。このとき、被遠隔操作装置の全画面を操作可能なように以下のような計算式にてカーソルの座標値を変換する。
X' = (2048/1024) × X = 2×X
Y' = (1536/768) × Y = 2×Y
For example, assume that the screen size of the remote operation device is 1024 × 768 pixels, and the screen of the remote operation device is 2048 × 1536. At this time, the coordinate values (X ′, Y ′) that can be taken by the cursor of the remote operation device are 1 ≦ X ′ ≦ 2048, 1 ≦ Y ′ ≦ 1536. If the remote operation window of the remote operation device is 1024 × 768, the coordinate values (X, Y) that the cursor in the remote operation window can take are 1 ≦ X ≦ 1024 and 1 ≦ Y ≦ 768. At this time, the coordinate value of the cursor is converted by the following calculation formula so that the entire screen of the remote operation device can be operated.
X '= (2048/1024) × X = 2 × X
Y '= (1536/768) × Y = 2 × Y
つまり、遠隔操作装置のカーソルの座標(X、Y)のX、Y座標をそれぞれ2倍することで被遠隔操作装置のカーソルの座標(X', Y')に変換可能となる。例えば、遠隔操作装置の遠隔操作用ウィンドウ内のカーソルの座標値(1024, 768)は上記の計算式により、被遠隔操作装置の画面上ではカーソルは座標値(2048, 1536)となる。 In other words, the X and Y coordinates of the coordinates (X, Y) of the cursor of the remote operation device can be converted to the coordinates (X ′, Y ′) of the cursor of the remote operation device by doubling each. For example, the coordinate value (1024, 768) of the cursor in the remote operation window of the remote operation device becomes the coordinate value (2048, 1536) on the screen of the remote operation device by the above formula.
また、被遠隔操作装置の全画面を操作する別の方法としては被遠隔操作装置の画面の一部と、遠隔操作装置の遠隔操作用ウィンドウを対応させ、スクロールバーなどで遠隔操作用ウィンドウをスクロールすることで被遠隔操作装置の全画面に対応させるという方法もある。 Another method for operating the entire screen of the remote operation device is to associate a part of the screen of the remote operation device with the remote operation window of the remote operation device, and scroll the remote operation window with a scroll bar or the like. There is also a method of making it correspond to the full screen of the remote operation device.
しかしながら、従来の遠隔操作システムでは、遠隔操作装置の遠隔操作用ウィンドウと被遠隔操作装置の画面の解像度を対応させるためにカーソルの座標を拡大・縮小するため、被遠隔操作装置の画面上のすべての座標を指定することができないという問題点がある。例えば、被遠隔操作装置の画面上の座標(X', Y') = (511, 321)に対応する遠隔操作用ウィンドウの座標(X, Y)へ変換するためにはX' , Y'をそれぞれ1/2倍することにより求められる。
X = 511/2 = 255.5
Y = 321/2 = 160.5
しかし、X, Yは整数値ではないため、X', Y'を求めることができない。つまり、対応する座標がないために指定できないという問題が発生する。
However, in the conventional remote operation system, the coordinates of the cursor are enlarged / reduced to correspond to the resolution of the remote operation window of the remote operation device and the screen of the remote operation device. There is a problem that it is not possible to specify the coordinates. For example, to convert the coordinates (X ', Y') = (511, 321) on the screen of the remote control device to the coordinates (X, Y) of the remote control window, change X ', Y' to It is obtained by multiplying each by 1/2.
X = 511/2 = 255.5
Y = 321/2 = 160.5
However, since X and Y are not integer values, X ′ and Y ′ cannot be obtained. That is, there is a problem that it cannot be specified because there is no corresponding coordinate.
また、スクロールバーなどで遠隔操作用ウィンドウをスクロールすることで被遠隔操作装置の全画面に対応させる方法では、一度に操作できる範囲は限られ、仮にCADツールなどで線を描くときに表示されている部分と表示されていない部分に描画範囲がまたがる場合、一旦、描画範囲がすべて表示されるようにスクロールを行ってから、描画する必要があり、ユーザにとっては使いにくいという問題があった。
図12は、スクロールバーなどで遠隔操作用ウィンドウをスクロールすることで被遠隔操作装置の全画面に対応させる遠隔操作システムで、カーソルを被遠隔操作装置の画面中央から左端に移動する操作の図である。被遠隔操作装置の画面のカーソルを画面中央から左端に移動するには、遠隔操作用ウィンドウのカーソルを左端へ移動し(操作1)、次に遠隔操作用ウィンドウのスクロールバーを左へ移動して被遠隔操作装置の画面の操作領域を左に移動し(操作2)、また遠隔操作用ウィンドウのカーソルを左端に移動する(操作1)という操作を何度か繰り返す必要があった。
この発明は上記のような問題点を解決するためになされたもので、遠隔操作装置と被遠隔操作装置の画面解像度が異なっていても、被遠隔操作装置の画面上のすべての点を指定することを容易に可能とする技術を提供することを目的とする。
Also, in the method of supporting the full screen of the remote operation device by scrolling the remote operation window with a scroll bar or the like, the range that can be operated at a time is limited, and is displayed when a line is drawn with a CAD tool or the like. In the case where the drawing range extends over the part that is displayed and the part that is not displayed, it is necessary to perform scrolling so that the entire drawing range is displayed once, and then it is difficult to use for the user.
FIG. 12 is a diagram showing an operation of moving the cursor from the center of the screen of the remote control device to the left end in the remote control system that corresponds to the entire screen of the remote control device by scrolling the remote control window with a scroll bar or the like. is there. To move the remote operation device screen cursor from the center of the screen to the left end, move the remote operation window cursor to the left end (operation 1), and then move the remote operation window scroll bar to the left. The operation of moving the operation area on the screen of the remote operation device to the left (operation 2) and moving the cursor of the remote operation window to the left end (operation 1) has to be repeated several times.
The present invention has been made to solve the above problems, and specifies all points on the screen of the remote operation device even if the screen resolutions of the remote operation device and the remote operation device are different. An object of the present invention is to provide a technology that makes it easy to do this.
この発明に係る遠隔操作システムは、
遠隔操作装置からネットワークを介して被遠隔操作装置を操作するようにした遠隔操作システムであって、
被遠隔操作装置画面の情報と被遠隔操作装置画面の特定の領域である優先操作領域の情報と被遠隔操作装置の全画面を操作する遠隔操作装置画面の遠隔操作用ウィンドウの情報とカーソル情報とを取得する操作取得手段と、
前記操作取得手段により取得した前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報から前記被遠隔操作装置画面の優先操作領域外におけるカーソル補正量を求め、このカーソル補正量と前記優先操作領域の情報から前記優先操作領域を操作する前記遠隔操作用ウィンドウ内の優先操作領域操作エリアを求める優先操作領域設定手段と、
前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報と前記被遠隔操作装置画面の優先操作領域外のカーソル補正量と前記遠隔操作用ウィンドウ内の優先操作領域操作エリアの情報とを格納するカーソル制御テーブルと、
前記操作取得手段の取得したカーソル位置が、前記遠隔操作用ウィンドウの優先操作領域操作エリアに含まれるか否かを判定し、前記遠隔操作用ウィンドウの優先操作領域操作エリア外の場合は、前記カーソル制御テーブルに格納されている前記被遠隔操作装置画面の優先操作領域外のカーソル補正量を用いて、前記被遠隔操作装置の画面のカーソル位置を求めるカーソル位置決定手段と、
を備えたことを特徴とする遠隔操作システム。
The remote control system according to the present invention is:
A remote operation system for operating a remote operation device from a remote operation device via a network,
Information on the remote operation device screen, information on the priority operation area which is a specific area of the remote operation device screen, information on the remote operation window on the remote operation device screen for operating the entire screen of the remote operation device, and cursor information An operation acquisition means for acquiring
Obtaining the cursor correction amount outside the priority operation area of the remote operation device screen from the information on the remote operation device screen acquired by the operation acquisition means, the information on the priority operation area, and the information on the remote operation window, Priority operation area setting means for obtaining a priority operation area operation area in the remote operation window for operating the priority operation area from information on a cursor correction amount and the priority operation area;
Information on the remote operation device screen, information on the priority operation area, information on the remote operation window, cursor correction amount outside the priority operation area on the remote operation device screen, and priority operation area in the remote operation window A cursor control table for storing operation area information;
It is determined whether the cursor position acquired by the operation acquisition means is included in the priority operation area operation area of the remote operation window. If the cursor position is outside the priority operation area operation area of the remote operation window, the cursor is Cursor position determination means for obtaining a cursor position on the screen of the remote operation device using a cursor correction amount outside the priority operation area of the remote operation device screen stored in the control table;
A remote control system characterized by comprising:
この発明は、遠隔操作装置と被遠隔操作装置の画面解像度が異なっていても、被遠隔操作装置の画面上のすべての点を容易に指定することができる。 According to the present invention, even if the screen resolutions of the remote operation device and the remote operation device are different, all points on the screen of the remote operation device can be easily specified.
実施の形態1.
図1は、この発明の実施の形態1にかかる遠隔操作システムの全体構成を示す図である。
図1において、被遠隔操作装置1及び遠隔操作装置2は、ネットワーク3で接続されている。
被遠隔操作装置1は、遠隔操作装置2のキーボード4、ポインティングデバイスであるマウス5を使ってネットワーク3を介して操作される。
被遠隔操作装置1の画面6は、マルチディスプレイであり、複数のディスプレイがあたかも1台の大きなディスプレイであるかのように表示される。
優先操作領域7は、被遠隔操作装置1の画面6にある。
カーソル8は、被遠隔操作装置1のカーソルである。
FIG. 1 is a diagram showing an overall configuration of a remote control system according to
In FIG. 1, a
The
The
The
The
遠隔操作装置2は、キーボード4、マウス5を使って、被遠隔操作装置1を操作する遠隔操作装置である。
遠隔操作装置2の画面9には、遠隔操作用ウィンドウ10が表示されている。
遠隔操作装置2の遠隔操作ウィンドウ10内で、キーボード4、マウス5の操作を行うことにより、被遠隔操作装置1の画面6を操作することが可能である。
優先操作領域操作エリア11は、遠隔操作装置2の画面9の遠隔操作ウィンドウ10にある。
カーソル12は、遠隔操作装置2のカーソルであり、遠隔操作用ウィンドウ10内にあるときは、被遠隔操作装置1を操作する。
The remote operation device 2 is a remote operation device that operates the
On the screen 9 of the remote operation device 2, a
By operating the keyboard 4 and the
The priority operation
The
優先操作領域7は、遠隔操作装置2の遠隔操作ウィンドウ10から被遠隔操作装置1の画面6のカーソル位置を操作した時に、遠隔操作用ウィンドウ10内でのカーソルの移動量と同じになるように制御される範囲であり、その位置と大きさは予め設定する。
優先操作領域操作エリア11は、遠隔操作装置2の遠隔操作ウィンドウ10から被遠隔操作装置1の画面6のカーソル位置を操作した時に、遠隔操作用ウィンドウ10内でのカーソルの移動量と同じになるように制御される範囲であり、その位置は被遠隔操作装置の画面の大きさなど予め設定する値から算出される。大きさは優先操作領域7と同じである。
カーソルの移動量とは、画面上の座標(X,Y)から座標(X',Y')にカーソルを動かした時、移動後の座標(X',Y')から移動前の座標(X,Y)を引いた差分(X'-X,Y'-Y)である。
The
The priority operation
The amount of movement of the cursor means that when the cursor is moved from the coordinates (X, Y) on the screen to the coordinates (X ′, Y ′), the coordinates (X ′, Y ′) after the movement and the coordinates (X , Y) is the difference (X′−X, Y′−Y).
図2は、遠隔操作装置2と被遠隔操作装置1の内部構成を示す図である。
図2において、操作取得手段13は、マウス4及びキーボード5からのカーソル移動、ボタン操作、キーボード入力などの操作イベントを取得する。
優先操作領域設定手段14は、操作取得手段13から入力された被遠隔操作装置1の画面6の大きさ、被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさ、遠隔操作用ウィンドウ10の大きさから被遠隔操作装置1の画面6の優先操作領域7外のカーソル移動量と遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置を計算する。
FIG. 2 is a diagram showing the internal configuration of the remote control device 2 and the
In FIG. 2, the
The priority operation area setting means 14 is the size of the
カーソル制御テーブル15は、優先操作領域設定手段14で得られた被遠隔操作装置1の画面6の大きさ、被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさ、遠隔操作用ウィンドウ10の大きさ、遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置、被遠隔操作装置1の画面6の優先操作領域7外におけるカーソル移動量を格納する。
カーソル位置判定手段16は、操作取得手段13から得たカーソル12の位置とカーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置及び大きさを比較して、カーソル12の位置について優先操作領域操作エリア内外の判断を行う。
The cursor control table 15 includes the size of the
The cursor position determination means 16 compares the position of the
カーソル位置決定手段17は、操作取得手段13が取得したカーソル移動およびボタン操作などの操作イベントからカーソル位置を求め、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の情報から、カーソル12が優先操作領域操作エリア11内である場合、遠隔操作用ウィンドウ内の移動量(1, 1)に対する被遠隔操作装置1の画面6上での移動量を(1, 1)とし、カーソル12が優先操作領域操作エリア11外である場合、遠隔操作用ウィンドウ内の移動量が(1, 1)のときの被遠隔操作装置1のカーソル8の移動量を(UPDX, UDPY)として被遠隔操作装置1の画面6上でのカーソル位置を求める。
The cursor position determination means 17 obtains the cursor position from the operation events such as cursor movement and button operation acquired by the operation acquisition means 13, and the priority operation
操作イベント送信手段18は、カーソル位置決定手段17で求められたカーソル座標の操作イベントを被遠隔操作装置1にネットワーク3を介して送信する。
操作イベント受信手段19は、操作イベント送信手段18からネットワーク3を介して送信された操作イベント情報を受信する。
カーソル制御手段20は、操作イベント受信手段19にて受信された操作イベント情報を元に被遠隔操作装置1の画面6のカーソル8の移動などの操作を行う。
The operation event transmission unit 18 transmits the operation event of the cursor coordinate obtained by the cursor
The operation event receiving unit 19 receives the operation event information transmitted from the operation event transmitting unit 18 via the network 3.
The cursor control means 20 performs operations such as moving the
次に動作について説明する。
図3は、本発明の実施の形態1にかかわる遠隔操作システムにおける遠隔操作装置2の画面9と被遠隔操作装置1の画面6の一例を示す。
遠隔操作装置2の画面は、1600x1200画素の解像度であり、その中に遠隔操作用ウィンドウ10が表示されており、遠隔操作用ウィンドウ10は1280x1024画素の解像度である。
遠隔操作用ウィンドウ10は、被遠隔操作装置1の画面6の優先操作領域7に対応する遠隔操作用ウィンドウ10の優先操作領域操作エリア11と被遠隔操作装置1の画面6の優先操作領域外21に対応する遠隔操作用ウィンドウ10の優先操作領域操作エリア外22に分かれており、表示上、領域の色や柄を変えることで区別がつくようになっている。
Next, the operation will be described.
FIG. 3 shows an example of the screen 9 of the remote operation device 2 and the
The screen of the remote operation device 2 has a resolution of 1600 × 1200 pixels, a
The
被遠隔操作装置1の画面6は横4台、縦2台のディスプレイから構成されるマルチディスプレイ表示装置である。1つのディスプレイの解像度が1280x1024画素であり、マルチディスプレイ全体で5120x2048画素の解像度である。
遠隔操作装置2の画面9内に表示される遠隔操作用ウィンドウ10の座標は左上端を原点(0, 0)として右下端を(1279, 1023)とする。また、被遠隔操作装置1の画面6の左上端を原点(0, 0)として、右下端を(5119, 2047)とする。また、被遠隔操作装置1の画面6の優先操作領域7は位置(2241, 769)、大きさ(640, 512)に設定されている。このとき、遠隔操作用ウィンドウ10の優先操作領域操作エリア11は、遠隔操作用ウィンドウ10内の位置(320, 256)、大きさ(640, 512)に表示される。
The
The coordinates of the
つぎに図3と図4を使って初期設定として入力された情報から優先操作領域設定手段14が遠隔操作用ウィンドウ10内の優先操作領域操作エリア11の位置と大きさを求める処理の流れについて具体的に説明する。
図4は、優先操作領域設定手段14の処理フローを示す図である。
優先操作領域設定手段14はまず、S101において初期設定として入力された被遠隔操作装置1の画面6の大きさ(SW, SH)を操作取得手段13から取得する。図3の例ではSW=5120, SH=2048である。
次に、S102において、初期設定として入力された被遠隔操作装置1の画面6の優先操作領域7の位置(PX, PY)及び大きさ(PW, PH)の情報を操作取得手段13から取得する。図3の例ではPX=2241, PY=769, PW=640, PH=512である。
次に、S103において初期設定として入力された遠隔操作用ウィンドウの大きさ(OPW, OPH)を操作取得手段13から取得する。図3の例ではOPW=1280, OPH=1024である。
Next, the flow of processing in which the priority operation area setting means 14 obtains the position and size of the priority operation
FIG. 4 is a diagram showing a processing flow of the priority operation area setting means 14.
The priority operation area setting unit 14 first acquires the size (SW, SH) of the
Next, in S102, the information on the position (PX, PY) and size (PW, PH) of the
Next, the size (OPW, OPH) of the remote operation window input as an initial setting in S103 is acquired from the
次に、S104において被遠隔操作装置1の画面6の優先操作領域外21の幅UPW及び高さUPHを以下の計算式にて求める。
UPW=SW-PW
UPH=SH-PH
図3の例では以下のようになる。
UPW=5120 - 640 = 4480
UPH=2048 - 512 = 1536
Next, in S104, the width UPW and height UPH outside the
UPW = SW-PW
UPH = SH-PH
In the example of FIG.
UPW = 5120-640 = 4480
UPH = 2048-512 = 1536
次に、S105において遠隔操作用ウィンドウ10の優先操作領域操作エリア外22の大きさ(UPW', UPH')を以下の計算式にて求める。
UPW'=OPW-PW
UPH'=OPH-PH
図3の例では以下のようになる。
UPW'=1280-640=640
UPH'=1024-512=512
Next, in S105, the size (UPW ', UPH') outside the priority operation area operation area 22 of the
UPW '= OPW-PW
UPH '= OPH-PH
In the example of FIG.
UPW '= 1280-640 = 640
UPH '= 1024-512 = 512
次に、S106において被遠隔操作装置1の画面6の優先操作領域外21のカーソルの移動量(UPDX, UPDY)を以下の計算式にて求める。
UPDX=CEIL(UPW/UPW')
UPDY=CEIL(UPH/UPH')
CEIL(A)は、引数Aに対してそれ以上の最少の整数。
図3の例では以下のようになる。
UPDX=CEIL(4480/640)=7
UPDY=CEIL(1536/512)=3
Next, in S106, the movement amount (UPDX, UPDY) of the cursor outside the
UPDX = CEIL (UPW / UPW ')
UPDY = CEIL (UPH / UPH ')
CEIL (A) is the smallest integer greater than argument A.
In the example of FIG.
UPDX = CEIL (4480/640) = 7
UPDY = CEIL (1536/512) = 3
最後に、S107において遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置(PX' PY')を以下の計算式にて求める。
PX'=FLOOR(PX/UPDX)
PY'=FLOOR(PY/UPDY)
FlOOR(A)は、引数Aに対してそれ以下で最大の整数
図3の例では以下のようになる。
PX'=FLOOR(2241/7)=FLOOR(320.142857…)=320
PY'=FLOOR(769/3)=FLOOR(256.33333…)=256
Finally, in S107, the position (PX'PY ') of the priority operation
PX '= FLOOR (PX / UPDX)
PY '= FLOOR (PY / UPDY)
FlOOR (A) is the largest integer less than or equal to the argument A in the example of FIG.
PX '= FLOOR (2241/7) = FLOOR (320.142857…) = 320
PY '= FLOOR (769/3) = FLOOR (256.33333…) = 256
よって、被遠隔操作装置1の画面6の優先操作領域7の位置(PX, PY)が、
2240 ≦ PX ≦2246
768 ≦ PY ≦ 770
の間の遠隔操作ウィンドウ10の優先操作領域操作エリア11の位置は、
PX' = 320
PY' = 256
で変わらない。
また、被遠隔操作装置1の画面6の優先操作領域7の位置は、
X方向7画素
Y方向3画素
移動して、遠隔操作用ウィンドウの優先操作領域操作エリア11の位置がX,Y方向1画素移動することになる。
上記処理により、遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置が決まる。
Therefore, the position (PX, PY) of the
2240 ≤ PX ≤ 2246
768 ≤ PY ≤ 770
The position of the priority operation
PX '= 320
PY '= 256
No change.
The position of the
7 pixels in X direction
By moving 3 pixels in the Y direction, the position of the priority operation
With the above processing, the position of the priority operation
そして、操作取得手段13から取得した被遠隔操作装置1の画面6の優先操作領域7の位置(PX, PY)及び大きさ(PW, PH)と被遠隔操作装置1の画面6の大きさ(SW, SH)と遠隔操作用ウィンドウ10の大きさ(UPW, UPH)とこれらから求めた被遠隔操作装置1の画面6の優先操作領域外21のカーソルの移動量(UPDX, UPDY)と遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置(PX', PY')及び大きさ(PW, PH)をカーソル制御テーブル15に格納する。
このようにして、優先操作領域設定手段14により、初期設定から遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置(PX', PY')が求められる。
Then, the position (PX, PY) and size (PW, PH) of the
In this way, the position (PX ′, PY ′) of the priority operation
次に、遠隔操作が開始され、遠隔操作装置2の遠隔操作用ウィンドウ10内で、マウス5が操作されたときの動作について説明する。
(遠隔操作用ウィンドウの優先操作領域操作エリア内での操作)
図5は、遠隔操作装置2の遠隔操作用ウィンドウ10内の優先操作領域操作エリア11にカーソル12がある場合を説明するための図である。
カーソル12が、遠隔操作用ウィンドウ10内の位置(320, 256)にて左ボタンを押す操作が行われる。このとき、操作取得手段13は、カーソル12のボタン操作イベントを取得する。
次に、カーソル位置判定手段16は、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置及び大きさと操作取得手段13から取得したカーソルの座標を比較し、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内外判定を行う。比較方法は以下の通り。
Next, the operation when the remote operation is started and the
(Operations within the priority operation area operation area of the remote operation window)
FIG. 5 is a diagram for explaining a case where the
An operation in which the
Next, the cursor position determination means 16 compares the position and size of the priority operation
カーソル位置を(SX, SY)とすると、遠隔操作用ウィンドウ10の優先操作領域操作エリア11の条件は、以下の式(1)の通り。
PX' ≦ SX ≦ PX' + PW (1)
かつ
PY' ≦ SY ≦ PY' + PH
図5の例の場合、
PX'=320 ≦ SX=320 ≦ PX' + PW = 320 + 640 = 960
かつ、
PY'=256 ≦ SY=256 ≦ PY' + PH = 256 + 512 = 768
となり、条件を満たすため、カーソル位置(320, 256)は、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内であることになる。
When the cursor position is (SX, SY), the condition of the priority operation
PX '≤ SX ≤ PX' + PW (1)
And
PY '≤ SY ≤ PY' + PH
In the example of FIG.
PX '= 320 ≤ SX = 320 ≤ PX' + PW = 320 + 640 = 960
And,
PY '= 256 ≤ SY = 256 ≤ PY' + PH = 256 + 512 = 768
Since the condition is satisfied, the cursor position (320, 256) is within the priority operation
次に、カーソル位置決定手段17は、以下の計算式にて被遠隔操作装置1でのカーソル8の位置(DX, DY)を計算する。
遠隔操作用ウィンドウ10の優先操作領域操作エリア11内にカーソル12がある場合の被遠隔操作装置1の画面6上のカーソル8の位置(DX, DY)の計算式は、式(2)の通り。
DX = (SX - PX') + PX (2)
DY = (SY - PY') + PY
図5の例の場合、
DX = (320 - 320) + 2241 = 2241
DY = (256 - 256) + 769 = 769
となり、被遠隔操作装置1の画面6のカーソル8の位置は(2241, 769)となる。
Next, the cursor position determination means 17 calculates the position (DX, DY) of the
The calculation formula of the position (DX, DY) of the
DX = (SX-PX ') + PX (2)
DY = (SY-PY ') + PY
In the example of FIG.
DX = (320-320) + 2241 = 2241
DY = (256-256) + 769 = 769
Thus, the position of the
次に操作イベント送信手段18は、カーソル位置決定手段17で決定された位置で左ボタンが押されたというボタン操作イベントを被遠隔操作装置1に送信する。
そして、被遠隔操作装置1の操作イベント受信手段19は、操作イベント送信手段18が送信したボタン操作イベントを受信し、カーソル制御手段20に通知する。
カーソル制御手段20は、操作イベント受信手段19から通知されたボタン操作イベントを元に、被遠隔操作装置1の画面6上の位置(2241, 769)で左ボタンが押されたというカーソル制御をする。
Next, the operation event transmitting unit 18 transmits a button operation event that the left button has been pressed at the position determined by the cursor
Then, the operation event receiving unit 19 of the
The cursor control means 20 performs cursor control that the left button is pressed at a position (2241, 769) on the
次に、図5の状態から、遠隔操作用ウィンドウ10内でカーソルが右に1画素、下に1画素移動してボタン操作が行われた場合について説明する。
図6は、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内でのカーソル12の移動後を説明する図である。
このとき、遠隔操作用ウィンドウ10におけるカーソル12の位置は(321, 257)となる。操作取得手段13は、カーソル12のボタン操作イベントを取得する。
つぎにカーソル位置判定手段16は、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10内の優先操作領域操作エリア11の位置及び大きさとカーソル12の座標を比較し、遠隔操作用ウィンドウ10内の優先操作領域操作エリア11内外判定を行う。
比較方法は以下の通り。
Next, a case where the button is operated by moving the cursor one pixel to the right and one pixel downward in the
FIG. 6 is a diagram for explaining the movement of the
At this time, the position of the
Next, the cursor position determination means 16 compares the position and size of the priority operation
The comparison method is as follows.
遠隔操作用ウィンドウ10のカーソル12の位置を(SX, SY)とすると、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内の条件は、式(1)と同じで以下の通り。
PX' ≦ SX ≦ PX' + PW (1)
かつ
PY' ≦ SY ≦ PY' + PH
図6の例の場合、
PX'(=320) ≦ SX(=321) ≦ PX' + PW (= 320 + 640)
かつ、
PY'(=256) ≦ SY(=257) ≦ PY' + PH (= 256 + 512)
となり、条件を満たすため、遠隔操作用ウィンドウ10のカーソル12の位置は、遠隔操作用ウィンドウ10の優先操作領域操作エリア11に含まれることになる。
Assuming that the position of the
PX '≤ SX ≤ PX' + PW (1)
And
PY '≤ SY ≤ PY' + PH
In the example of FIG.
PX '(= 320) ≤ SX (= 321) ≤ PX' + PW (= 320 + 640)
And,
PY '(= 256) ≤ SY (= 257) ≤ PY' + PH (= 256 + 512)
Since the condition is satisfied, the position of the
次に、カーソル位置決定手段17は、以下の計算式にて被遠隔操作装置1でのカーソル8の位置(DX, DY)を次の式で計算する。
遠隔操作用ウィンドウ10の優先操作領域操作エリア11内にカーソル12がある場合の被遠隔操作装置1の画面6の上のカーソル8の位置(DX, DY)の計算式は、式(2)の通り。
DX = (SX - PX') + PX ' (2)
DY = (SY - PY') + PY
図6の例の場合、
DX = (321 - 320) + 2241 = 2242
DY = (257 - 256) + 769 = 1 + 769 = 770
となり、被遠隔操作装置1の画面6のカーソル8の位置は(2242, 770)となる。
Next, the cursor position determining means 17 calculates the position (DX, DY) of the
The calculation formula of the position (DX, DY) of the
DX = (SX-PX ') + PX' (2)
DY = (SY-PY ') + PY
In the example of FIG.
DX = (321-320) + 2241 = 2242
DY = (257-256) + 769 = 1 + 769 = 770
Thus, the position of the
次に、操作イベント送信手段18は、カーソル位置決定手段17で決定された位置で左ボタンが押されたというボタン操作イベントを被遠隔操作装置1に送信する。
被遠隔操作装置1の操作イベント受信手段19は、操作イベント送信手段18からボタン操作イベントを受信し、カーソル制御手段20に通知する。
カーソル制御手段20は、操作イベント受信手段19から通知されたボタン操作イベントを元に、被遠隔操作装置1の画面6の位置(2242, 770)で左ボタンが押されたというカーソル制御をする。
Next, the operation event transmitting unit 18 transmits a button operation event that the left button has been pressed at the position determined by the cursor
The operation event receiving unit 19 of the
Based on the button operation event notified from the operation event receiving unit 19, the
したがって、遠隔操作用ウィンドウ10内でカーソル12の位置が(320, 256)で左ボタンを押された後、(321, 257)に移動し、再び左ボタンを押すという操作を行った場合、被遠隔操作装置1の画面6上のカーソル8は(2241, 769)で左ボタンを押された後、(2242, 770)に移動し、再び左ボタンを押されるということになる。
つまり遠隔操作装置2の遠隔操作用ウィンドウ10の優先操作領域操作エリア11における1画素単位でのカーソルの移動及び操作が、被遠隔操作装置1の画面6上の1画素単位でのカーソルの移動および操作になり、1画素単位でのカーソル移動および操作が可能となる。
Therefore, if the left button is pressed at the position of the cursor 12 (320, 256) in the
That is, the movement and operation of the cursor in units of one pixel in the priority operation
(遠隔操作用ウィンドウの優先操作領域操作エリア外での操作)
図7は、遠隔操作用ウィンドウ10の優先操作領域操作エリア外22にカーソル12がある場合を説明するための図である。
カーソル12が、遠隔操作用ウィンドウ10の位置(319, 255)にて左ボタンを押す操作が行われる。このとき、操作取得手段13は、カーソル12のボタン操作イベントを取得する。
(Operation outside the priority operation area operation area of the remote operation window)
FIG. 7 is a diagram for explaining a case where the
An operation in which the
次に、カーソル位置判定手段16は、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置及び大きさとカーソル12の座標を比較し、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内外の判定を行う。
カーソル12の位置判定は前記の式(1)を利用して
図7の例の場合、
SX(=319) ≦ PX'(=320)
かつ、
SY(=255) ≦ PY'(=256)
であり、式(1)を満たさないため、カーソル位置は、遠隔操作用ウィンドウ10の優先操作領域操作エリア11ではないと判定する。
Next, the cursor position determination means 16 compares the position and size of the priority operation
The position of the
SX (= 319) ≤ PX '(= 320)
And,
SY (= 255) ≤ PY '(= 256)
Since Expression (1) is not satisfied, the cursor position is determined not to be the priority operation
次に、カーソル位置決定手段17は、以下の条件毎の計算式にて被遠隔操作装置1の画面6でのカーソル8の位置(DX, DY)を計算する。
(条件1) SX < PX'のとき
DX = SX × UPDX
(条件2) PX' + PW < SXのとき
DX = PW + (SX - PW) × UPDX
(条件3)SY < PY'のとき
DY = SY × UPDY
(条件4) PY' + PH < SYのとき
DY = PH + (SY - PH) × UPDY
Next, the cursor position determination means 17 calculates the position (DX, DY) of the
(Condition 1) When SX <PX '
DX = SX × UPDX
(Condition 2) When PX '+ PW <SX
DX = PW + (SX-PW) × UPDX
(Condition 3) When SY <PY '
DY = SY × UPDY
(Condition 4) When PY '+ PH <SY
DY = PH + (SY-PH) x UPDY
図7の例の場合、DXについては条件1、DYについては条件3に当てはまる。
したがって、
DX = 319 × 7 = 2233
DY = 255 × 3 = 765
となり、被遠隔操作装置1の画面6のカーソル8の位置は(2233, 765)となる。
次に、操作イベント送信手段18は、カーソル位置決定手段17で決定された位置で左ボタンが押されたというボタン操作イベントを被遠隔操作装置1に送信する。
被遠隔操作装置1の操作イベント受信手段19は、操作イベント送信手段19の送信したボタン操作イベントを受信し、カーソル制御手段20に通知する。
カーソル制御手段20は、操作イベント受信手段19から通知されたボタン操作イベントを元に、被遠隔操作装置1の画面6上の位置(2233, 765)で左ボタンが押されたというカーソル制御をする。
In the case of the example of FIG. 7, the
Therefore,
DX = 319 × 7 = 2233
DY = 255 × 3 = 765
Thus, the position of the
Next, the operation event transmitting unit 18 transmits a button operation event that the left button has been pressed at the position determined by the cursor
The operation event receiving unit 19 of the
The cursor control means 20 performs the cursor control that the left button is pressed at the position (2233, 765) on the
次に遠隔操作用ウィンドウ10内で、図7の状態からカーソルが(1100, 800)に移動してボタン操作が行われた場合について説明する。
図8は、遠隔操作用ウィンドウ10の優先操作領域操作エリア外22でのカーソル移動後を説明する図である。
図8のカーソル12の位置は、図7のカーソル12の位置から右に781画素、下に545画素移動したときの図であり、遠隔操作用ウィンドウ10におけるカーソルの位置は(1100, 800)となる。
カーソル12が遠隔操作用ウィンドウ10内の位置(1100, 800)にて左ボタンを押す操作が行われる。このとき、操作取得手段13は、カーソル12のボタン操作イベントを取得する。
Next, the case where the cursor is moved to (1100, 800) from the state of FIG. 7 and the button operation is performed in the
FIG. 8 is a diagram for explaining after the cursor moves outside the priority operation area operation area 22 of the
The position of the
An operation is performed in which the
次に、カーソル位置判定手段16は、カーソル制御テーブル15に格納されている遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置及び大きさとカーソル12の座標を比較し、遠隔操作用ウィンドウ10の優先操作領域操作エリア11内外の判定を行う。
判定は前記の式(1)を利用する。
図8の例の場合、
PX' + PW (= 320 + 640) ≦ SX(=1100)
かつ、
PY' + PH = (256 + 512) ≦ SY(=800)
であり、式(1)を満たさないため、遠隔操作用ウィンドウ10の優先操作領域操作エリア11ではないと判定する。
Next, the cursor position determination means 16 compares the position and size of the priority operation
The determination uses the above formula (1).
In the example of FIG.
PX '+ PW (= 320 + 640) ≤ SX (= 1100)
And,
PY '+ PH = (256 + 512) ≤ SY (= 800)
Since Expression (1) is not satisfied, it is determined that it is not the priority operation
次に、カーソル位置決定手段17は、以下の計算式にて被遠隔操作装置1でのカーソル8の位置(DX, DY)を計算する。
(条件1) SX < PX'のとき
DX = SX × UPDX
(条件2) PX' + PW < SXのとき
DX = PW + (SX - PW) × UPDX
(条件3)SY < PY'のとき
DY = SY × UPDY
(条件4) PY' + PH < SYのとき
DY = PH + (SY - PH) × UPDY
Next, the cursor position determination means 17 calculates the position (DX, DY) of the
(Condition 1) When SX <PX '
DX = SX × UPDX
(Condition 2) When PX '+ PW <SX
DX = PW + (SX-PW) × UPDX
(Condition 3) When SY <PY '
DY = SY × UPDY
(Condition 4) When PY '+ PH <SY
DY = PH + (SY-PH) x UPDY
図8の例の場合、DXについては条件2、DYについては条件4に当てはまる。
したがって、
DX = 640 + (1100 − 640) × 7 = 640 + 3220 = 3860
DY = 512 + (800 − 512) × 3 = 512 + 864 = 1376
となり、被遠隔操作装置1の画面6のカーソル8の位置は(3860, 1376)となる。
次に、操作イベント送信手段18は、カーソル位置決定手段17で決定された位置で左ボタンが押されたというボタン操作イベントを被遠隔操作装置1に送信する。
被遠隔操作装置1の操作イベント受信手段19は、操作イベント送信手段18が送信したボタン操作イベントを受信し、カーソル制御手段20に通知する。
カーソル制御手段20は、操作イベント受信手段19から通知されたボタン操作イベントを元に、被遠隔操作装置1の画面6上の位置(3860, 1376)で左ボタンが押されたというカーソル制御をする。
In the case of the example of FIG. 8, the condition 2 applies to DX and the condition 4 applies to DY.
Therefore,
DX = 640 + (1100 − 640) × 7 = 640 + 3220 = 3860
DY = 512 + (800 − 512) × 3 = 512 + 864 = 1376
Thus, the position of the
Next, the operation event transmitting unit 18 transmits a button operation event that the left button has been pressed at the position determined by the cursor
The operation event receiving unit 19 of the
The cursor control means 20 performs cursor control that the left button is pressed at a position (3860, 1376) on the
したがって、遠隔操作用ウィンドウ10上でカーソルが(319, 255)で左ボタンを押された後、(1100, 800)に移動し、再び左ボタンを押すという操作を行った場合、被遠隔操作装置1の画面6上のカーソルは(2233, 765)で左ボタンを押された後、(3860, 1376)に移動し、再び左ボタンを押されるということになる。つまり、遠隔操作装置2の画面9の遠隔操作用ウィンドウ10でカーソルを右に781画素、下に545画素移動すると、被遠隔操作装置1の画面6上では右に1627画素、下に611画素移動したことになる。
Therefore, if the cursor is (319, 255) on the
被遠隔操作装置1の優先操作領域7の位置及び大きさの設定方法については、あらかじめ初期値を設定しておく方法の他に、操作中に切り替えることも可能である。図9及び図10を使って操作途中で優先操作領域7を変更する方法について説明する。
図9において、遠隔操作用ウィンドウ10の中に優先操作領域位置変更ボタン23と優先操作領域拡大ボタン24と優先操作領域縮小ボタン25がある。
優先操作領域位置変更ボタン23は、優先操作領域操作モードと優先操作領域変更モードを切り替えるボタンであり、優先操作領域変更モードでは、被遠隔操作装置1の画面6の優先操作領域の位置を変更する状態になる。優先操作領域拡大ボタン24は、優先操作領域7を一定量ずつ拡大するボタンである。優先操作領域縮小ボタン25は、優先操作領域7を一定量ずつ縮小するボタンである。
優先操作領域位置変更ボタン23は切り替えとなっており、押すたびに優先操作領域操作モードと優先操作領域変更モードが切り替わる。
The setting method of the position and size of the
In FIG. 9, the
The priority operation area position change button 23 is a button for switching between the priority operation area operation mode and the priority operation area change mode. In the priority operation area change mode, the position of the priority operation area on the
The priority operation area position change button 23 is switched, and the priority operation area operation mode and the priority operation area change mode are switched each time the button is pressed.
まず、優先操作領域7の位置変更について説明する。
図9は、優先操作領域の位置変更を説明する図である。
例えば、遠隔操作用ウィンドウ10が、優先操作領域操作モードになっているときに、遠隔操作装置2のキーボード4, マウス5を使って被遠隔操作装置1を操作している途中で優先操作領域を変更したい場合には、優先操作領域位置変更ボタン23を1度押し、優先操作領域変更モードにする。このモードにおいて、操作取得手段13はカーソル12が移動すると、以下の処理手順にて被遠隔操作装置1の画面6の優先操作領域7の位置を計算する。
First, the position change of the
FIG. 9 is a diagram for explaining the position change of the priority operation area.
For example, when the
遠隔操作装置2の遠隔操作用ウィンドウ10でのカーソルの移動前の位置(BX, BY)と、移動後の位置(AX, AY)から、遠隔操作用ウィンドウ10でのカーソルの移動量(DFX, DFY)を以下の計算式で求める。
DFX = AX-BX
DFY = AY-BY
遠隔操作用ウィンドウ10の大きさ(OPW, OPH)と被遠隔操作装置1の画面6の大きさ(SW, SH)から拡大縮小率(RX, RY)を以下の計算式から求める。
RX = SW/OPW
RY = SH/OPH
From the position (BX, BY) before the movement of the cursor in the
DFX = AX-BX
DFY = AY-BY
From the size of the remote operation window 10 (OPW, OPH) and the size (SW, SH) of the
RX = SW / OPW
RY = SH / OPH
被遠隔操作装置1の画面6上の優先操作領域7の移動前の位置を(PX, PY)とすると、移動後の位置(NewPX, NewPY)は以下の計算式で求められる。
NewPX = PX + DFX×RX
NewPY = PY + DFY×RY
優先操作領域設定手段14に新たな優先操作領域の位置(NewPX, NewPY)及び大きさ(PW, PH)を渡す。
If the position of the
NewPX = PX + DFX × RX
NewPY = PY + DFY × RY
The position (NewPX, NewPY) and size (PW, PH) of the new priority operation area are passed to the priority operation area setting means 14.
その後、優先操作領域設定手段14にて図4の手順に従い、遠隔操作用ウィンドウ10内の優先操作領域操作エリア11の位置および被遠隔操作装置1の画面6の優先操作領域外21のカーソルの移動量が求められ、カーソル制御テーブル15に被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさとともに格納される。
図9の例では以下のようになる。
DFX = 690 - 640 = 50
DFY = 492 - 512 = -20
RX = 5120/1280 = 4
RY = 2048/1024 = 2
NewPX = 2240 + 50×4 = 2440
NewPY = 768 + (-20) × 2 = 728
したがって、被遠隔操作装置1の画面6の新しい優先操作領域7の位置は(2440, 728)、大きさは(640, 512)となる。
また、遠隔操作用ウィンドウ10の優先操作領域操作エリア11の位置は、図4のS106から
PX'=FLOOR(NewPX/UPDX)=FLOOR(2440/7)=348
PY'=FLOOR(NewPY/UPDY)=FLOOR(728/3)=242
となる。
Thereafter, the priority operation area setting means 14 follows the procedure of FIG. 4 to move the position of the priority operation
In the example of FIG.
DFX = 690-640 = 50
DFY = 492-512 = -20
RX = 5120/1280 = 4
RY = 2048/1024 = 2
NewPX = 2240 + 50 x 4 = 2440
NewPY = 768 + (-20) x 2 = 728
Therefore, the position of the new
The position of the priority operation
PX '= FLOOR (NewPX / UPDX) = FLOOR (2440/7) = 348
PY '= FLOOR (NewPY / UPDY) = FLOOR (728/3) = 242
It becomes.
次に、被遠隔操作装置1の画面6の優先操作領域7の大きさ変更について説明する。
図10は、優先操作領域7の大きさ変更を説明する図である。
図10において優先操作領域拡大ボタン24を押すと、操作取得手段13は、現在の被遠隔操作装置1の画面6の優先操作領域7の中央を中心として、幅及び高さがそれぞれ20画素ずつ拡大するように被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさを計算し、優先操作領域設定手段14に与える。
例えば、図10のように最初の被遠隔操作装置1の画面6の優先操作領域7の位置が(2240, 768)、大きさが(640, 512)の状態で、優先操作領域拡大ボタン24を1度押すと、被遠隔操作装置1の画面6の優先操作領域7の位置は(2230, 758)、大きさは(660, 532)となる。
Next, a change in the size of the
FIG. 10 is a diagram for explaining a change in the size of the
When the priority operation
For example, when the position of the
図10において優先操作領域縮小ボタン25を押すと、操作取得手段13は現在の被遠隔操作装置1の画面6の優先操作領域7の中央を中心として、幅及び高さがそれぞれ20画素ずつ縮小するように被遠隔操作装置1の画面6の優先操作領域7の位置及び大きさを計算し、優先操作領域設定手段14に与える。
例えば、図10のように最初の被遠隔操作装置1の画面6の優先操作領域7の位置が(2240, 768)、大きさが(640, 512)の状態で、優先操作領域縮小ボタン25を1度押すと、被遠隔操作装置1の画面6の優先操作領域7の位置は(2250, 778)、大きさは(620, 492)となる。
この結果、被遠隔操作装置1の画面6の優先操作領域7の位置および大きさを容易に変更することが可能となる。
When the priority operation area reduction button 25 is pressed in FIG. 10, the
For example, when the position of the
As a result, the position and size of the
この発明は、以上説明したように優先操作領域を設定し、優先操作領域とそれ以外の領域で異なるカーソルの移動量に設定できるようにしたことで、優先操作領域では遠隔操作装置と被遠隔操作装置の画面で画素が1対1となるように移動量を設定し、1画素単位で指定できる。そのため、CADなどの操作において、1画素単位での操作が可能となる。
また、優先操作領域以外ではカーソル移動量を大きくすることで、遠隔操作装置において少ないマウス移動で被遠隔操作装置上のカーソルを大きく移動することができ、操作が容易になる。例えば図12の従来例で、カーソルを画面中央から左端へ移動するには、操作1と操作2を何度か繰り返す必要があったが、この発明では、図11のように、カーソルの移動がマウス操作で一度にできる。
In the present invention, the priority operation area is set as described above, and the cursor movement amount can be set differently in the priority operation area and the other areas. In the priority operation area, the remote operation device and the remote operation are performed. The amount of movement can be set so that pixels are on a one-to-one basis on the screen of the apparatus, and can be specified in units of pixels. Therefore, operations such as CAD can be performed in units of one pixel.
Further, by increasing the amount of cursor movement outside the priority operation area, the cursor on the remote operation device can be moved greatly with a small amount of mouse movement in the remote operation device, which facilitates operation. For example, in the conventional example of FIG. 12, in order to move the cursor from the center of the screen to the left end, it is necessary to repeat the
1 被遠隔操作装置、2 遠隔操作装置、3 ネットワーク、4 キーボード、5 マウス、6 被遠隔操作装置の画面、7 被遠隔操作装置の画面の優先操作領域、8 被遠隔操作装置のカーソル、9 遠隔操作装置の画面、10 遠隔操作用ウィンドウ、11 遠隔操作装置の遠隔操作ウィンドウ内の優先操作領域操作エリア、12 遠隔操作装置のカーソル、13 操作取得手段、14 優先操作領域設定手段、15 カーソル制御テーブル、16 カーソル位置判定手段、17 カーソル位置決定手段、18 操作イベント送信手段、19 操作イベント受信手段、20 カーソル制御手段、21 被遠隔操作装置の画面の優先操作領域外、22 遠隔操作ウィンドウ内の優先操作領域操作エリア外、23 優先操作領域位置変更ボタン、24 優先操作領域拡大ボタン、25 優先操作領域縮小ボタン。 1 Remote control device, 2 Remote control device, 3 Network, 4 Keyboard, 5 Mouse, 6 Remote control device screen, 7 Remote control device screen priority operation area, 8 Remote control device cursor, 9 Remote Screen of operation device, 10 Remote operation window, 11 Priority operation area operation area in remote operation window of remote operation device, 12 Cursor of remote operation device, 13 Operation acquisition means, 14 Priority operation area setting means, 15 Cursor control table , 16 Cursor position determination means, 17 Cursor position determination means, 18 Operation event transmission means, 19 Operation event reception means, 20 Cursor control means, 21 Out of the priority operation area of the screen of the remote operation device, 22 Priority in the remote operation window Outside the operation area operation area, 23 priority operation area position change button, 24 priority Work area enlargement button, 25 priority operation area reduction button.
Claims (4)
被遠隔操作装置画面の情報と被遠隔操作装置画面の特定の領域である優先操作領域の情報と被遠隔操作装置の全画面を操作する遠隔操作装置画面の遠隔操作用ウィンドウの情報とカーソル情報とを取得する操作取得手段と、
前記操作取得手段により取得した前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報から前記被遠隔操作装置画面の優先操作領域外におけるカーソル補正量を求め、このカーソル補正量と前記優先操作領域の情報から前記優先操作領域を操作する前記遠隔操作用ウィンドウ内の優先操作領域操作エリアを求める優先操作領域設定手段と、
前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報と前記被遠隔操作装置画面の優先操作領域外のカーソル補正量と前記遠隔操作用ウィンドウ内の優先操作領域操作エリアの情報とを格納するカーソル制御テーブルと、
前記操作取得手段の取得したカーソル位置が、前記遠隔操作用ウィンドウの優先操作領域操作エリアに含まれるか否かを判定し、前記遠隔操作用ウィンドウの優先操作領域操作エリア外の場合は、前記カーソル制御テーブルに格納されている前記被遠隔操作装置画面の優先操作領域外のカーソル補正量を用いて、前記被遠隔操作装置の画面のカーソル位置を求めるカーソル位置決定手段と、
を備えたことを特徴とする遠隔操作システム。 A remote operation system for operating a remote operation device from a remote operation device via a network,
Information on the remote operation device screen, information on the priority operation area which is a specific area of the remote operation device screen, information on the remote operation window on the remote operation device screen for operating the entire screen of the remote operation device, and cursor information An operation acquisition means for acquiring
Obtaining the cursor correction amount outside the priority operation area of the remote operation device screen from the information on the remote operation device screen acquired by the operation acquisition means, the information on the priority operation area, and the information on the remote operation window, Priority operation area setting means for obtaining a priority operation area operation area in the remote operation window for operating the priority operation area from information on a cursor correction amount and the priority operation area;
Information on the remote operation device screen, information on the priority operation area, information on the remote operation window, cursor correction amount outside the priority operation area on the remote operation device screen, and priority operation area in the remote operation window A cursor control table for storing operation area information;
It is determined whether the cursor position acquired by the operation acquisition means is included in the priority operation area operation area of the remote operation window. If the cursor position is outside the priority operation area operation area of the remote operation window, the cursor is Cursor position determination means for obtaining a cursor position on the screen of the remote operation device using a cursor correction amount outside the priority operation area of the remote operation device screen stored in the control table;
A remote control system characterized by comprising:
被遠隔操作装置画面の情報と被遠隔操作装置画面上の特定の領域である優先操作領域の情報と被遠隔操作装置の全画面を操作する遠隔操作装置画面上の遠隔操作用ウィンドウの情報とカーソル情報とを取得する操作取得ステップと、
前記操作取得ステップで取得した前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報から前記被遠隔操作装置画面の優先操作領域外におけるカーソル補正量を求め、このカーソル補正量と前記優先操作領域の情報から前記優先操作領域を操作する前記遠隔操作用ウィンドウ内の優先操作領域操作エリアを求める優先操作領域設定ステップと、
前記被遠隔操作装置画面の情報と前記優先操作領域の情報と前記遠隔操作用ウィンドウの情報と前記被遠隔操作装置画面の優先操作領域外のカーソル補正量と前記遠隔操作用ウィンドウ内の優先操作領域操作エリアの情報とをカーソル制御テーブルに格納するカーソル制御情報格納ステップと、
前記操作取得ステップで取得したカーソル位置が前記遠隔操作用ウィンドウの優先操作領域操作エリアに含まれるか否かを判定し、前記遠隔操作用ウィンドウの優先操作領域操作エリア外の場合は、前記カーソル制御テーブルに格納されている前記被遠隔操作装置画面の優先操作領域外のカーソル補正量を用いて、前記被遠隔操作装置の画面のカーソル位置を求めるカーソル位置決定ステップと、
を備えたことを特徴とする遠隔操作方法。 A remote operation system for operating a remote operation device from a remote operation device via a network,
Information on the remote operation device screen, information on the priority operation area which is a specific area on the remote operation device screen, information on the remote operation window on the remote operation device screen for operating the entire screen of the remote operation device, and cursor An operation acquisition step for acquiring information;
Obtaining the cursor correction amount outside the priority operation area of the remote operation device screen from the information of the remote operation device screen acquired in the operation acquisition step, the information of the priority operation area and the information of the window for remote operation, A priority operation area setting step for obtaining a priority operation area operation area in the remote operation window for operating the priority operation area from information of a cursor correction amount and the priority operation area;
Information on the remote operation device screen, information on the priority operation area, information on the remote operation window, cursor correction amount outside the priority operation area on the remote operation device screen, and priority operation area in the remote operation window A cursor control information storage step for storing information on the operation area in the cursor control table;
It is determined whether the cursor position acquired in the operation acquisition step is included in the priority operation area operation area of the remote operation window. If the cursor position is outside the priority operation area operation area of the remote operation window, the cursor control is performed. A cursor position determining step for obtaining a cursor position on the screen of the remote operation device using a cursor correction amount outside the priority operation area of the remote operation device screen stored in a table;
A remote operation method characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009102906A JP5146396B2 (en) | 2009-04-21 | 2009-04-21 | Remote control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009102906A JP5146396B2 (en) | 2009-04-21 | 2009-04-21 | Remote control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010256965A JP2010256965A (en) | 2010-11-11 |
JP5146396B2 true JP5146396B2 (en) | 2013-02-20 |
Family
ID=43317845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009102906A Expired - Fee Related JP5146396B2 (en) | 2009-04-21 | 2009-04-21 | Remote control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5146396B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9164779B2 (en) * | 2012-02-10 | 2015-10-20 | Nokia Technologies Oy | Apparatus and method for providing for remote user interaction |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61107289A (en) * | 1984-10-31 | 1986-05-26 | 株式会社東芝 | Virtual screen display control system |
JPH08305692A (en) * | 1995-05-11 | 1996-11-22 | Mitsubishi Electric Corp | Displaying system for large amount of characters |
JP4381761B2 (en) * | 2003-09-26 | 2009-12-09 | キヤノンソフトウェア株式会社 | Display control apparatus, display control method, program, and recording medium |
JP2006172423A (en) * | 2004-11-18 | 2006-06-29 | Canon Inc | Remote controlling system, remote controlling apparatus, controlled apparatus, remote controlling method, computer program, and storage medium |
JP2006235812A (en) * | 2005-02-23 | 2006-09-07 | Canon Inc | Cursor control method |
-
2009
- 2009-04-21 JP JP2009102906A patent/JP5146396B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010256965A (en) | 2010-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5472256B2 (en) | Vehicle display device and information display system | |
US20070015534A1 (en) | Mobile phone and mobile phone control method | |
KR101660305B1 (en) | Apparatus and method for remote control between mobile communication terminals | |
US10466835B2 (en) | Display method and display control apparatus | |
JP2007257438A (en) | Pointing device, external information processor, instruction position specifying device and instruction position specifying method | |
KR20160053874A (en) | Method and apparatus for controlling movement of cursor | |
US20020075199A1 (en) | Multi-display system and cursor controlling method therefor | |
JP2006331036A (en) | Information processor, movement display method of pointer, program and recording medium | |
JP5871779B2 (en) | Camera system | |
TW201546698A (en) | Method of auto-recognizing for cursor in monitors | |
JP2014104040A (en) | Medical image display apparatus | |
JP2003316490A (en) | Remote control system and method thereof | |
JP2005195939A (en) | Projector projection control system and method | |
JP5146396B2 (en) | Remote control system | |
JP2017017446A (en) | Information processing device and control method thereof, and program | |
JP2006285373A (en) | Screen display method and information terminal | |
WO2014174630A1 (en) | Multi-monitor and display method for multi-monitor | |
JP2002055808A (en) | Multidisplay system | |
JP2007212920A (en) | System and method for presentation using projector having network functions | |
KR20060073040A (en) | Display apparatus and control method therof | |
JP2005084089A (en) | Image comparison display method and its device, and image comparison display program | |
US20030201999A1 (en) | Localized zoom system and method | |
TWI598807B (en) | Controlling method for remote device and remote controlling system | |
JP2012128786A (en) | Display device | |
JP2012089068A (en) | Remote operation system, remote operation method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121112 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5146396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |