JP6169990B2 - Controller proxy program and method in remote automatic operation system - Google Patents

Controller proxy program and method in remote automatic operation system Download PDF

Info

Publication number
JP6169990B2
JP6169990B2 JP2014034167A JP2014034167A JP6169990B2 JP 6169990 B2 JP6169990 B2 JP 6169990B2 JP 2014034167 A JP2014034167 A JP 2014034167A JP 2014034167 A JP2014034167 A JP 2014034167A JP 6169990 B2 JP6169990 B2 JP 6169990B2
Authority
JP
Japan
Prior art keywords
program
controller
display
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014034167A
Other languages
Japanese (ja)
Other versions
JP2015158857A (en
Inventor
長谷川　輝之
輝之 長谷川
吉田　芳明
芳明 吉田
篤男 立花
篤男 立花
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2014034167A priority Critical patent/JP6169990B2/en
Publication of JP2015158857A publication Critical patent/JP2015158857A/en
Application granted granted Critical
Publication of JP6169990B2 publication Critical patent/JP6169990B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Description

本発明は、遠隔自動操作システムにおけるコントローラ代理プログラム及び方法に関する。   The present invention relates to a controller proxy program and method in a remote automatic operation system.

従来より、ネットワークを経由して、ある端末（以降、ターゲットと呼ぶ。）を別の端末（以降、コントローラと呼ぶ。）から遠隔操作するシステムとして、リモートデスクトップ技術（ＲＤＴＰ）が存在する（非特許文献１及び２を参照）。ここでは、（１）コントローラはターゲットから送られた画面イメージ（デスクトップ）に対して操作を行い、（２）ターゲットはコントローラから送られた操作を実行し、その結果画面が更新されればコントローラに画面イメージを通知する、という一連の処理が繰り返される。   Conventionally, remote desktop technology (RDTP) exists as a system for remotely operating a terminal (hereinafter referred to as a target) from another terminal (hereinafter referred to as a controller) via a network (non-patented). (Ref. 1 and 2). Here, (1) the controller operates the screen image (desktop) sent from the target, and (2) the target executes the operation sent from the controller, and if the screen is updated as a result, the controller A series of processes of notifying the screen image is repeated.

ＲＤＴＰはＧＵＩ操作を遠隔から行うことが可能であり、ＰＣだけでなくスマートフォンやタブレットの遠隔操作にも適している。ＲＤＴＰを利用してスマートフォンの自動遠隔操作を行い、任意のスマートフォン・アプリケーションを用いた大規模試験を効率良く行うソリューション（非特許文献３参照）も提案されている。   RDTP can perform GUI operations from a remote location, and is suitable not only for PCs but also for smartphones and tablets. There has also been proposed a solution (see Non-Patent Document 3) that performs automatic remote operation of a smartphone using RDTP and efficiently performs a large-scale test using an arbitrary smartphone application.

Ｔ．Ｒｉｃｈａｒｄｓｏｎ，Ｊ．Ｌｅｖｉｎｅ，“Ｔｈｅ Ｒｅｍｏｔｅ Ｆｒａｍｅｂｕｆｆｅｒ Ｐｒｏｔｏｃｏｌ”，ＲＦＣ６１４３，ＩＳＳＮ ２０７０−１７２１，Ｍａｒｃｈ ２０１１ ｈｔｔｐ：／／ｔｏｏｌｓ．ｉｅｔｆ．ｏｒｇ／ｈｔｍｌ／ｒｆｃ６１４３T. T. Richardson, J. et al. Levine, “The Remote Framebuffer Protocol”, RFC 6143, ISSN 2070-1721, March 2011 http: // tools. ietf. org / html / rfc6143 ［ＭＳ−ＲＤＰＢＣＧＲ］：Ｒｅｍｏｔｅ Ｄｅｓｋｔｏｐ Ｐｒｏｔｏｃｏｌ： Ｂａｓｉｃ Ｃｏｎｎｅｃｔｉｖｉｔｙ ａｎｄ Ｇｒａｐｈｉｃｓ Ｒｅｍｏｔｉｎｇ ｈｔｔｐ：／／ｄｏｗｎｌｏａｄ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｄｏｗｎｌｏａｄ／９／５／Ｅ／９５ＥＦ６６ＡＦ−９０２６−４ＢＢ０−Ａ４１Ｄ−Ａ４Ｆ８１８０２Ｄ９２Ｃ／％５ＢＭＳ−ＲＤＰＢＣＧＲ％５Ｄ．ｐｄｆ[MS-RDPBCGR]: Remote Desktop Protocol: Basic Connectivity and Graphics Remoting http: // download. Microsoft. com / download / 9/5 / E / 95EF66AF-9026-4BB0-A41D-A4F81802D92C /% 5BMS-RDPBCGR% 5D. pdf ＴｅｓｔＰｌａｎｔ Ｌｔｄ．， ｅｇｇＰｌａｎｔ ｆｏｒ ｍｏｂｉｌｅ， ｈｔｔｐ：／／ｗｗｗ．ｔｅｓｔｐｌａｎｔ．ｃｏｍ／ｅｇｇｐｌａｎｔ／ｔｅｓｔｉｎｇ−ｔｏｏｌｓ／ｅｇｇｐｌａｎｔ−ｍｏｂｉｌｅ−ｅｇｇｏｎ／Test Plant Ltd. , EggPlant for mobile, http: // www. testplant. com / eggplant / testing-tools / eggplant-mobile-eggon /

しかしながら、非特許文献３のように、ＲＤＴＰをそのまま用いる遠隔自動操作手法では、ターゲットからコントローラへの画面イメージ転送を伴うため、移動網経由で遠隔自動操作を行う際に、帯域不足による応答速度の低下や、回線切断による自動操作の中断が発生するといった欠点があった。
一方で、自動操作内容は、ターゲットの端末種別（例えば液晶ディスプレイサイズの違い）や画面設定（例えばアイコン配置の違い）等でターゲット毎に転送する画面イメージが異なる可能性はあるものの、操作自体（アイコン押下位置・タイミングや入力文字の内容等）は定型的な処理の繰り返しとなることが想定される。 However, as described in Non-Patent Document 3, the remote automatic operation method using RDTP as it is involves screen image transfer from the target to the controller. Therefore, when performing remote automatic operation via a mobile network, the response speed due to insufficient bandwidth is reduced. There was a drawback that automatic operation was interrupted due to lowering or line disconnection.
On the other hand, although the automatic operation content may be different in the screen image to be transferred for each target depending on the target terminal type (for example, difference in liquid crystal display size) or screen setting (for example, difference in icon arrangement), the operation itself ( The icon pressing position / timing, the contents of the input character, etc.) are assumed to be repeated routine processing.

そこで、自動操作内容に関わる特性を活用してターゲットとコントローラとの間の通信量を削減し自動操作の応答速度を向上させる方法が要望されている。   Therefore, a method for reducing the amount of communication between the target and the controller by utilizing the characteristics related to the contents of the automatic operation and improving the response speed of the automatic operation is desired.

本発明は、遠隔自動操作におけるターゲットとコントローラとの間の通信量を削減し、自動操作の応答速度を向上させるコントローラ代理プログラム及び方法を提供することを目的とする。   It is an object of the present invention to provide a controller proxy program and method for reducing the amount of communication between a target and a controller in remote automatic operation and improving the response speed of automatic operation.

具体的な手順は以下の通りである。
（ａ）コントローラからターゲットに対して一連の自動操作を実行する。この際、コントローラとターゲットとの間の経路上（コントローラやターゲット自身も含む）で、両者間の通信を全て記録する。
（ｂ）ターゲット上で代理コントローラソフトを動作させる。
（ｃ）代理コントローラは元のコントローラに代わってターゲットと通信を行い、（ａ）で記録したコントローラの送信内容を（ターゲットからの応答を予想しつつ）再現する。
（ｄ）代理コントローラはターゲットからの応答データ（画面イメージ）を受信するが、これを代理コントローラで破棄し、ターゲットと元のコントローラとの間の通信量を削減する。
さらに、次の手順を備えていてもよい。
（ｅ）（ｄ）に関して、代理コントローラは、元のコントローラで条件分岐の判断等を行うために必要な応答データ（画面イメージ）を中継転送することも可とする。また、同様に、コントローラからの操作をターゲットに対して中継転送することも可とする。
（ｆ）コントローラは一連の自動操作手順から（ｂ）〜（ｄ）で代行される手順を除いた手順を実行する。
具体的には、以下のような解決手段を提供する。 The specific procedure is as follows.
(A) A series of automatic operations are executed from the controller to the target. At this time, all communication between the two is recorded on the path between the controller and the target (including the controller and the target itself).
(B) The proxy controller software is operated on the target.
(C) The proxy controller communicates with the target in place of the original controller, and reproduces the transmission contents of the controller recorded in (a) (predicting the response from the target).
(D) The proxy controller receives the response data (screen image) from the target, but discards the response data at the proxy controller to reduce the communication amount between the target and the original controller.
Further, the following procedure may be provided.
(E) With regard to (d), the proxy controller can also relay and transfer response data (screen image) necessary for determining the conditional branch in the original controller. Similarly, the operation from the controller can be relayed to the target.
(F) The controller executes a procedure excluding the procedure substituted by (b) to (d) from the series of automatic operation procedures.
Specifically, the following solutions are provided.

（１） ターゲット装置におけるターゲットプログラムと、コントローラ装置におけるコントローラプログラムとの間でリモートデスクトップ技術によりネットワーク経由で遠隔自動操作する遠隔自動操作システムにおいて、前記ターゲットプログラムから前記コントローラプログラムに送信された表示データと、該表示データを受信した前記コントローラプログラムが前記ターゲットプログラムに送信した操作データとを予め記録した遠隔操作記録データを記憶させた記憶部を備える前記ターゲット装置において作動するコントローラ代理プログラムであって、前記ターゲット装置のコンピュータに、前記ターゲットプログラムから前記コントローラプログラムに送信される前記表示データを、前記ターゲットプログラムから受信する表示受信ステップと、前記表示受信ステップによって受信された前記表示データを、前記コントローラプログラムに送信しないように遮断する遮断ステップと、前記表示受信ステップによって受信された前記表示データに対して、前記遠隔操作記録データに基づいて、前記操作データを前記ターゲットプログラムに送信する代理操作送信ステップと、を実行させるためのコントローラ代理プログラム。   (1) Display data transmitted from the target program to the controller program in a remote automatic operation system that performs remote automatic operation via a network between the target program in the target device and the controller program in the controller device via a remote desktop technology A controller proxy program that operates in the target device including a storage unit that stores remote operation record data in which operation data transmitted to the target program by the controller program that has received the display data is stored; Display that receives the display data transmitted from the target program to the controller program from the target program to the computer of the target device A remote control record for the display data received by the display receiving step, and a blocking step for blocking the display data received by the display receiving step from being transmitted to the controller program. A controller proxy program for executing a proxy operation transmission step of transmitting the operation data to the target program based on data.

（１）の構成によれば、本発明に係るコントローラ代理プログラムは、リモートデスクトップ技術によりネットワーク経由で遠隔自動操作する遠隔自動操作システムにおいて、遠隔操作記録データを記憶させた記憶部を備えるターゲット装置のコンピュータに、ターゲットプログラムからコントローラプログラムに送信される表示データを、ターゲットプログラムから受信させ、受信させた表示データを、コントローラプログラムへ送信しないように遮断させ、受信させた表示データに対して、遠隔操作記録データに基づいて、操作データをターゲットプログラムへ送信させる。   According to the configuration of (1), the controller proxy program according to the present invention is a remote automatic operation system that performs remote automatic operation via a network by remote desktop technology, in a target device including a storage unit that stores remote operation record data. The computer receives display data transmitted from the target program to the controller program from the target program, blocks the received display data from being transmitted to the controller program, and remotely controls the received display data. Based on the recorded data, operation data is transmitted to the target program.

すなわち、本発明に係るコントローラ代理プログラムは、ターゲットプログラムからコントローラプログラムに送信される表示データをコントローラプログラムに送信しないように遮断し、遠隔操作記録データに基づいて、表示データに対する操作データをターゲットプログラムに送信するように、ターゲット装置を機能させる。
したがって、本発明に係るコントローラ代理プログラムは、遠隔自動操作におけるターゲットとコントローラとの間の通信量を削減し、自動操作の応答速度を向上させることができる。 That is, the controller proxy program according to the present invention blocks the display data transmitted from the target program to the controller program so as not to be transmitted to the controller program, and sets the operation data for the display data to the target program based on the remote operation record data. The target device is made to function to transmit.
Therefore, the controller proxy program according to the present invention can reduce the amount of communication between the target and the controller in remote automatic operation, and improve the response speed of automatic operation.

（２） 前記代理操作送信ステップは、前記表示受信ステップによって受信された前記表示データが、前記遠隔操作記録データに記録されているか否かを判断する判断ステップと、前記判断ステップによって記録されていないと判断された場合に、記録されていない前記表示データを前記コントローラプログラムに送信する表示送信ステップと、前記表示送信ステップによって送信された前記表示データに対する操作データを前記コントローラプログラムから受信する操作受信ステップと、前記操作受信ステップによって受信された、前記表示データに対する操作データを、前記ターゲットプログラムに送信するステップと、をさらに備える（１）に記載のコントローラ代理プログラム。   (2) The proxy operation transmission step is not recorded by the determination step for determining whether the display data received by the display reception step is recorded in the remote operation record data, and the determination step. A display transmission step for transmitting the display data not recorded to the controller program, and an operation reception step for receiving operation data for the display data transmitted in the display transmission step from the controller program. And the step of transmitting the operation data for the display data received by the operation reception step to the target program.

すなわち、（２）に係るコントローラ代理プログラムは、遠隔操作記録データに存在しない自動操作について、表示データをコントローラ装置のコントローラプログラムに送信し、受信した操作データをターゲットプログラムに送信するように、ターゲット装置を機能させる。
したがって、本発明に係るコントローラ代理プログラムは、遠隔自動操作におけるターゲットとコントローラとの間の通信量を、必要なデータについてのみ通信させるように削減し、自動操作の応答速度を向上させることができる。 That is, the controller proxy program according to (2) sends the display data to the controller program of the controller device and sends the received operation data to the target program for the automatic operation that does not exist in the remote operation record data. To work.
Therefore, the controller proxy program according to the present invention can reduce the communication amount between the target and the controller in the remote automatic operation so that only necessary data is communicated, and can improve the response speed of the automatic operation.

（３） 前記表示送信ステップによって送信された前記表示データと、前記操作受信ステップによって受信された、前記表示データに対する操作データとを前記遠隔操作記録データとして、前記ターゲット装置の前記記憶部に記憶させる遠隔操作記録作成ステップ、をさらに備える（２）に記載のコントローラ代理プログラム。   (3) The display data transmitted in the display transmission step and the operation data for the display data received in the operation reception step are stored in the storage unit of the target device as the remote operation record data. The controller proxy program according to (2), further comprising a remote operation record creating step.

したがって、本発明に係るコントローラ代理プログラムは、遠隔自動操作におけるターゲットとコントローラとの間の通信量を、必要なデータについてのみ通信させるようにさらに削減し、自動操作の応答速度を向上させることができる。   Therefore, the controller proxy program according to the present invention can further reduce the amount of communication between the target and the controller in remote automatic operation so that only necessary data is communicated, and improve the response speed of automatic operation. .

（４） （１）に記載のコントローラ代理プログラムによって前記ターゲット装置のコンピュータが実行する方法であって、前記ターゲットプログラムから前記コントローラプログラムに送信される前記表示データを、前記ターゲットプログラムから受信する表示受信ステップと、前記表示受信ステップによって受信された前記表示データを、前記コントローラプログラムに送信しないように遮断する遮断ステップと、前記表示受信ステップによって受信された前記表示データに対して、前記遠隔操作記録データに基づいて、前記操作データを前記ターゲットプログラムに送信する代理操作送信ステップと、を含む方法。   (4) A display reception method for receiving the display data transmitted from the target program to the controller program from the target program by the computer of the target device according to the controller proxy program according to (1) A step of blocking the display data received by the display receiving step from being transmitted to the controller program; and the remote operation record data for the display data received by the display receiving step. And a proxy operation transmission step of transmitting the operation data to the target program based on the method.

したがって、（４）に係る方法は、遠隔自動操作におけるターゲットとコントローラとの間の通信量を削減し、自動操作の応答速度を向上させることができる。   Therefore, the method according to (4) can reduce the amount of communication between the target and the controller in remote automatic operation, and improve the response speed of automatic operation.

本発明によれば、ＲＤＴＰによりターゲットをコントローラからネットワーク経由で遠隔自動操作するシステムにおいて、コントローラとターゲットとの間のトラヒックを削減し、自動操作の応答性を向上させることが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to reduce the traffic between a controller and a target and to improve the responsiveness of automatic operation in the system which carries out remote automatic operation of the target from a controller via a network by RDTP.

本発明の一実施形態に係るコントローラ代理プログラムの動作を説明するための図である。It is a figure for demonstrating operation | movement of the controller proxy program which concerns on one Embodiment of this invention. 本発明の一実施形態に係るコントローラ代理プログラムによって参照される遠隔操作記録データの例を示す図である。It is a figure which shows the example of the remote operation recording data referred by the controller proxy program which concerns on one Embodiment of this invention. 本発明の実施形態１に係るコントローラ代理プログラムがターゲット装置のコンピュータに実行させる処理を示すフローチャートである。It is a flowchart which shows the process which the controller substitute program which concerns on Embodiment 1 of this invention performs on the computer of a target apparatus. 本発明の実施形態２に係るコントローラ代理プログラムがターゲット装置のコンピュータに実行させる処理を示すフローチャートである。It is a flowchart which shows the process which the controller proxy program which concerns on Embodiment 2 of this invention performs on the computer of a target apparatus.

以下、本発明の実施形態について、図を参照しながら説明する。
図１は、本発明の一実施形態に係るコントローラ代理プログラム２１の動作を説明するための図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram for explaining the operation of the controller proxy program 21 according to an embodiment of the present invention.

遠隔自動操作システム１は、ターゲット装置１０におけるターゲットプログラム１１と、コントローラ装置３０におけるコントローラプログラム３１との間でリモートデスクトップ技術によりネットワーク７０経由で遠隔自動操作する。例えば、遠隔自動操作システム１は、中央サーバとスマートフォン端末との間で遠隔自動操作し、スマートフォン端末において定型的に実行される処理（例えば、ネットワークの処理速度等の定期的な測定等）を遠隔操作する。   The remote automatic operation system 1 performs remote automatic operation via the network 70 between the target program 11 in the target device 10 and the controller program 31 in the controller device 30 by the remote desktop technology. For example, the remote automatic operation system 1 performs remote automatic operation between a central server and a smartphone terminal, and remotely performs processing (for example, periodic measurement of network processing speed, etc.) routinely executed on the smartphone terminal. Manipulate.

コントローラ代理プログラム２１は、ターゲット装置１０において作動する。コントローラ代理プログラム２１は、コントローラ装置３０からターゲット装置１０に送信されてターゲット装置１０にインストールされて作動するとしてもよい。また、コントローラ代理プログラム２１は、ＵＳＢメモリ等のリムーバブルメディアに記憶された状態で、ターゲット装置１０に提供され、ターゲット装置１０にインストールされて作動するとしてもよい。   The controller proxy program 21 operates in the target device 10. The controller proxy program 21 may be transmitted from the controller device 30 to the target device 10 and installed in the target device 10 to operate. Further, the controller proxy program 21 may be provided to the target device 10 in a state stored in a removable medium such as a USB memory, and installed and operated in the target device 10.

遠隔操作記録データ２２は、ターゲットプログラム１１からコントローラプログラム３１に送信された表示データと、該表示データを受信したコントローラプログラム３１がターゲットプログラム１１に送信した操作データとを予め記録したデータである。遠隔操作記録データ２２は、例えば、コントローラ装置３０によって作成されてもよいし、ターゲット装置１０とコントローラ装置３０との間に設置された記録装置によって作成されてもよい。
ターゲット装置１０に対応した遠隔操作記録データ２２は、コントローラ装置３０からターゲット装置１０に送信され、コントローラ代理プログラム２１によって、ターゲット装置１０の記憶部２０に記憶されるとしてもよい。また、遠隔操作記録データ２２は、ＵＳＢメモリ等のリムーバブルメディアによって記憶された状態で提供され、ターゲット装置１０の記憶部２０として組み込まれるとしてもよい。 The remote operation record data 22 is data in which display data transmitted from the target program 11 to the controller program 31 and operation data transmitted to the target program 11 by the controller program 31 that has received the display data are recorded in advance. The remote operation record data 22 may be created by, for example, the controller device 30 or may be created by a recording device installed between the target device 10 and the controller device 30.
The remote operation record data 22 corresponding to the target device 10 may be transmitted from the controller device 30 to the target device 10 and stored in the storage unit 20 of the target device 10 by the controller proxy program 21. Further, the remote operation record data 22 may be provided in a state of being stored by a removable medium such as a USB memory, and may be incorporated as the storage unit 20 of the target device 10.

図２は、本発明の一実施形態に係るコントローラ代理プログラム２１によって参照される遠隔操作記録データ２２の例を示す図である。図２が示すように、遠隔操作記録データ２２は、表示データと操作データとを対応付けているデータであって、ターゲット装置１０の記憶部２０に記憶される。表示データ及び操作データは、リモートデスクトップ技術（ＲＤＴＰ）におけるプロトコルに従って送受信されるデータであり、表示データは、ターゲット装置１０において表示される画面データを構成するデータであり、操作データは、表示されている画面におけるマウスやキーボード等による操作を示すデータである。   FIG. 2 is a diagram showing an example of the remote operation record data 22 referred to by the controller proxy program 21 according to the embodiment of the present invention. As shown in FIG. 2, the remote operation record data 22 is data in which display data and operation data are associated with each other, and is stored in the storage unit 20 of the target device 10. Display data and operation data are data transmitted and received in accordance with a protocol in remote desktop technology (RDTP), display data is data constituting screen data displayed on the target device 10, and operation data is displayed. This is data indicating an operation with a mouse or a keyboard on a screen.

［実施形態１］
実施形態１では、コントローラ代理プログラム２１は、ターゲットプログラム１１から送信された表示データに対し、遠隔操作記録データ２２に基づいて、表示データに対応付けられた操作データをターゲットプログラム１１へ送信するように、ターゲット装置１０を機能させる。 [Embodiment 1]
In the first embodiment, the controller proxy program 21 transmits the operation data associated with the display data to the target program 11 based on the remote operation record data 22 for the display data transmitted from the target program 11. The target device 10 is caused to function.

図３は、本発明の実施形態１に係るコントローラ代理プログラム２１がターゲット装置１０のコンピュータに実行させる処理を示すフローチャートである。ターゲット装置１０は、コンピュータ及びその周辺装置が備えるハードウェア並びに該ハードウェアを制御するターゲットプログラム１１によって構成され、以下の処理は、制御部（例えば、ターゲット装置１０のＣＰＵ）がコントローラ代理プログラム２１に従い実行する処理である。   FIG. 3 is a flowchart showing processing that the controller proxy program 21 according to the first embodiment of the present invention causes the computer of the target device 10 to execute. The target device 10 is configured by hardware included in a computer and its peripheral devices and a target program 11 that controls the hardware. The following processing is performed by a control unit (for example, the CPU of the target device 10) according to the controller proxy program 21. It is a process to be executed.

ステップＳ１０１（表示受信ステップ）において、ＣＰＵは、ターゲットプログラム１１から表示データを受信したか否かを判断する。この判断がＹＥＳの場合、ＣＰＵは、処理をステップＳ１０２に移し、この判断がＮＯの場合、ＣＰＵは、処理を終了する。   In step S <b> 101 (display receiving step), the CPU determines whether display data has been received from the target program 11. If this determination is YES, the CPU moves the process to step S102, and if this determination is NO, the CPU ends the process.

ステップＳ１０２（判断ステップ）において、ＣＰＵは、受信した表示データが遠隔操作記録データ２２に記録されているか否かを判断する。この判断がＹＥＳの場合、ＣＰＵは、処理をステップＳ１０３に移し、この判断がＮＯの場合、ＣＰＵは、処理を終了する。   In step S <b> 102 (determination step), the CPU determines whether the received display data is recorded in the remote operation record data 22. If this determination is YES, the CPU moves the process to step S103, and if this determination is NO, the CPU ends the process.

ステップＳ１０３（遮断ステップ、代理操作送信ステップ）において、ＣＰＵは、遠隔操作記録データ２２において表示データに対応付けて記録された操作データを取得し、取得した操作データをターゲットプログラム１１に送信し、かつコントローラプログラムに対する表示データの送信を遮断する。   In step S103 (blocking step, proxy operation transmission step), the CPU acquires the operation data recorded in the remote operation record data 22 in association with the display data, transmits the acquired operation data to the target program 11, and Blocks display data transmission to the controller program.

［実施形態２］
実施形態２では、コントローラ代理プログラム２１は、ターゲットプログラム１１から送信された表示データのうち、遠隔操作記録データ２２に記録されていない表示データに対応する操作について、コントローラ装置３０のコントローラプログラム３１との通信を行い処理する。遠隔自動操作システム１の構成は実施形態１と同様である。 [Embodiment 2]
In the second embodiment, the controller proxy program 21 communicates with the controller program 31 of the controller device 30 for operations corresponding to display data that is not recorded in the remote operation record data 22 among the display data transmitted from the target program 11. Communicate and process. The configuration of the remote automatic operation system 1 is the same as that of the first embodiment.

図４は、本発明の実施形態２に係るコントローラ代理プログラム２１がターゲット装置１０のコンピュータに実行させる処理を示すフローチャートである。以下の処理は、制御部（例えば、ターゲット装置１０のＣＰＵ）がコントローラ代理プログラム２１に従い実行する処理である。   FIG. 4 is a flowchart illustrating processing that the controller proxy program 21 according to the second embodiment of the present invention causes the computer of the target device 10 to execute. The following processing is processing executed by the control unit (for example, the CPU of the target device 10) according to the controller proxy program 21.

ステップＳ２０１（表示受信ステップ）において、ＣＰＵは、ターゲットプログラム１１から表示データを受信したか否かを判断する。この判断がＹＥＳの場合、ＣＰＵは、処理をステップＳ２０２に移し、この判断がＮＯの場合、ＣＰＵは、処理をステップＳ２０６に移す。   In step S <b> 201 (display receiving step), the CPU determines whether display data has been received from the target program 11. If this determination is YES, the CPU moves the process to step S202, and if this determination is NO, the CPU moves the process to step S206.

ステップＳ２０２（判断ステップ）において、ＣＰＵは、受信した表示データが遠隔操作記録データ２２に記録されているか否かを判断する。この判断がＹＥＳの場合、ＣＰＵは、処理をステップＳ２０３に移し、この判断がＮＯの場合、ＣＰＵは、処理をステップＳ２０４に移す。   In step S202 (determination step), the CPU determines whether or not the received display data is recorded in the remote operation record data 22. If this determination is YES, the CPU moves the process to step S203, and if this determination is NO, the CPU moves the process to step S204.

ステップＳ２０３（遮断ステップ、代理操作送信ステップ）において、ＣＰＵは、遠隔操作記録データ２２において表示データに対応付けて記録された操作データを取得し、取得した操作データをターゲットプログラム１１に送信し、かつコントローラプログラムに対する表示データの送信を遮断する。その後、ＣＰＵは、処理を終了する。   In step S203 (blocking step, proxy operation transmission step), the CPU acquires the operation data recorded in the remote operation record data 22 in association with the display data, transmits the acquired operation data to the target program 11, and Blocks display data transmission to the controller program. Thereafter, the CPU ends the process.

ステップＳ２０４（表示送信ステップ）において、ＣＰＵは、ターゲットプログラム１１から受信した表示データを、コントローラ装置３０のコントローラプログラム３１に送信する。   In step S <b> 204 (display transmission step), the CPU transmits the display data received from the target program 11 to the controller program 31 of the controller device 30.

ステップＳ２０５（遠隔操作記録作成ステップ）において、ＣＰＵは、コントローラプログラム３１に送信した表示データを遠隔操作記録データ２２に追加して記録し、記憶部２０に記憶させる。その後、ＣＰＵは、処理を終了する。   In step S205 (remote operation record creation step), the CPU adds the display data transmitted to the controller program 31 to the remote operation record data 22, records it, and stores it in the storage unit 20. Thereafter, the CPU ends the process.

ステップＳ２０６（操作受信ステップ）において、ＣＰＵは、コントローラプログラム３１から操作データを受信したか否かを判断する。この判断がＹＥＳの場合、ＣＰＵは、処理をステップＳ２０７に移し、この判断がＮＯの場合、ＣＰＵは、処理を終了する。   In step S <b> 206 (operation reception step), the CPU determines whether or not operation data has been received from the controller program 31. If this determination is YES, the CPU moves the process to step S207, and if this determination is NO, the CPU ends the process.

ステップＳ２０７（操作送信ステップ）において、ＣＰＵは、ターゲットプログラム１１に、コントローラプログラム３１から受信した操作データを送信する。   In step S <b> 207 (operation transmission step), the CPU transmits the operation data received from the controller program 31 to the target program 11.

ステップＳ２０８（遠隔操作記録作成ステップ）において、ＣＰＵは、ターゲットプログラム１１に送信した操作データを、ステップＳ２０５において記憶させた表示データに対応付けて遠隔操作記録データ２２に記録し、記憶部２０に記憶させる。さらに具体的には、ＣＰＵは、同じ表示データ及び操作データが所定の回数だけ繰り返された場合に、ターゲットプログラム１１に送信した操作データを、その操作データに対応する表示データに対応付けて遠隔操作記録データ２２に記録し、記憶部２０に記憶させる。その後、ＣＰＵは、処理を終了する。   In step S208 (remote operation record creation step), the CPU records the operation data transmitted to the target program 11 in the remote operation record data 22 in association with the display data stored in step S205, and stores it in the storage unit 20. Let More specifically, when the same display data and operation data are repeated a predetermined number of times, the CPU performs remote operation by associating the operation data transmitted to the target program 11 with display data corresponding to the operation data. The data is recorded in the recording data 22 and stored in the storage unit 20. Thereafter, the CPU ends the process.

本実施形態１によれば、コントローラ代理プログラム２１は、リモートデスクトップ技術によりネットワーク７０経由で遠隔自動操作する遠隔自動操作システム１において、遠隔操作記録データ２２を記憶させた記憶部２０を備えるターゲット装置１０のコンピュータに、ターゲットプログラム１１からコントローラプログラム３１に送信される表示データを、ターゲットプログラム１１から受信させ、受信させた表示データを、コントローラプログラム３１へ送信しないように遮断させ、受信させた表示データに対して、遠隔操作記録データ２２に基づいて、操作データをターゲットプログラム１１へ送信させる。したがって、コントローラ代理プログラム２１は、遠隔自動操作におけるターゲットとコントローラとの間の通信量を削減し、自動操作の応答速度を向上させることができる。   According to the first embodiment, the controller proxy program 21 is a remote automatic operation system 1 that performs remote automatic operation via the network 70 by remote desktop technology, and the target device 10 that includes the storage unit 20 that stores the remote operation record data 22. The display data transmitted from the target program 11 to the controller program 31 is received from the target program 11, the received display data is blocked from being transmitted to the controller program 31, and the received display data is converted into the received display data. On the other hand, the operation data is transmitted to the target program 11 based on the remote operation record data 22. Therefore, the controller proxy program 21 can reduce the communication amount between the target and the controller in the remote automatic operation, and can improve the response speed of the automatic operation.

本実施形態２によれば、コントローラ代理プログラム２１は、ターゲット装置１０のコンピュータに、遠隔操作記録データ２２に存在しない自動操作について、表示データをコントローラ装置３０のコントローラプログラム３１へ送信させ、コントローラプログラム３１から受信させた操作データをターゲットプログラム１１へ送信させる。さらに、ターゲットプログラム１１から受信した表示データに対してコントローラプログラム３１から操作データを受信した場合に、表示データと操作データとを対応付けて遠隔操作記録データ２２として、ターゲット装置１０の記憶部２０に記憶させる。したがって、コントローラ代理プログラム２１は、遠隔自動操作におけるターゲットとコントローラとの間の通信量を、必要なデータについてのみ通信させるようにさらに削減し、自動操作の応答速度を向上させることができる。   According to the second embodiment, the controller proxy program 21 causes the computer of the target device 10 to transmit display data to the controller program 31 of the controller device 30 for automatic operations that do not exist in the remote operation record data 22. The operation data received from is sent to the target program 11. Further, when the operation data is received from the controller program 31 with respect to the display data received from the target program 11, the display data and the operation data are associated with each other as the remote operation record data 22 in the storage unit 20 of the target device 10. Remember. Therefore, the controller proxy program 21 can further reduce the communication amount between the target and the controller in the remote automatic operation so that only necessary data is communicated, and can improve the response speed of the automatic operation.

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。   As mentioned above, although embodiment of this invention was described, this invention is not restricted to embodiment mentioned above. The effects described in the embodiments of the present invention are only the most preferable effects resulting from the present invention, and the effects of the present invention are limited to those described in the embodiments of the present invention. is not.

１ 遠隔自動操作システム
１０ ターゲット装置
１１ ターゲットプログラム
２１ コントローラ代理プログラム
２０ 記憶部
２２ 遠隔操作記録データ
３０ コントローラ装置
３１ コントローラプログラム
７０ ネットワーク
DESCRIPTION OF SYMBOLS 1 Remote automatic operation system 10 Target apparatus 11 Target program 21 Controller substitute program 20 Storage part 22 Remote operation recording data 30 Controller apparatus 31 Controller program 70 Network

Claims (4)

ターゲット装置におけるターゲットプログラムと、コントローラ装置におけるコントローラプログラムとの間でリモートデスクトップ技術によりネットワーク経由で遠隔自動操作する遠隔自動操作システムにおいて、前記ターゲットプログラムから前記コントローラプログラムに送信された表示データと、該表示データを受信した前記コントローラプログラムが前記ターゲットプログラムに送信した操作データとを予め記録した遠隔操作記録データを記憶させた記憶部を備える前記ターゲット装置において作動するコントローラ代理プログラムであって、
前記ターゲット装置のコンピュータに、
前記ターゲットプログラムから前記コントローラプログラムに送信される前記表示データを、前記ターゲットプログラムから受信する表示受信ステップと、
前記表示受信ステップによって受信された前記表示データを、前記コントローラプログラムに送信しないように遮断する遮断ステップと、
前記表示受信ステップによって受信された前記表示データに対して、前記遠隔操作記録データに基づいて、前記操作データを前記ターゲットプログラムに送信する代理操作送信ステップと、
を実行させるためのコントローラ代理プログラム。 Display data transmitted from the target program to the controller program in a remote automatic operation system for remote automatic operation via a network between the target program in the target device and the controller program in the controller device, and the display A controller proxy program that operates in the target device including a storage unit that stores remote operation record data in which operation data transmitted to the target program is previously recorded by the controller program that has received data,
A computer of the target device;
A display receiving step for receiving the display data transmitted from the target program to the controller program from the target program;
A blocking step of blocking the display data received by the display receiving step from being transmitted to the controller program;
For the display data received by the display receiving step, based on the remote operation record data, a proxy operation transmission step of transmitting the operation data to the target program;
Controller proxy program to execute. 前記代理操作送信ステップは、
前記表示受信ステップによって受信された前記表示データが、前記遠隔操作記録データに記録されているか否かを判断する判断ステップと、
前記判断ステップによって記録されていないと判断された場合に、記録されていない前記表示データを前記コントローラプログラムに送信する表示送信ステップと、
前記表示送信ステップによって送信された前記表示データに対する操作データを前記コントローラプログラムから受信する操作受信ステップと、
前記操作受信ステップによって受信された、前記表示データに対する操作データを、前記ターゲットプログラムに送信する操作送信ステップと、
をさらに備える請求項１に記載のコントローラ代理プログラム。 The proxy operation transmission step includes:
A determination step of determining whether or not the display data received by the display reception step is recorded in the remote operation record data;
A display transmission step of transmitting the display data not recorded to the controller program when it is determined that the recording is not recorded by the determination step;
An operation receiving step of receiving operation data for the display data transmitted by the display transmitting step from the controller program;
An operation transmission step of transmitting operation data for the display data received by the operation reception step to the target program;
The controller proxy program according to claim 1, further comprising: 前記表示送信ステップによって送信された前記表示データと、前記操作受信ステップによって受信された、前記表示データに対する操作データとを前記遠隔操作記録データとして、前記ターゲット装置の前記記憶部に記憶させる遠隔操作記録作成ステップ、
をさらに備える請求項２に記載のコントローラ代理プログラム。 Remote operation record for storing the display data transmitted in the display transmission step and the operation data for the display data received in the operation reception step in the storage unit of the target device as the remote operation record data Creation steps,
The controller proxy program according to claim 2, further comprising: 請求項１に記載のコントローラ代理プログラムによって前記ターゲット装置のコンピュータが実行する方法であって、
前記ターゲットプログラムから前記コントローラプログラムに送信される前記表示データを、前記ターゲットプログラムから受信する表示受信ステップと、
前記表示受信ステップによって受信された前記表示データを、前記コントローラプログラムに送信しないように遮断する遮断ステップと、
前記表示受信ステップによって受信された前記表示データに対して、前記遠隔操作記録データに基づいて、前記操作データを前記ターゲットプログラムに送信する代理操作送信ステップと、
を含む方法。
A method executed by a computer of the target device by the controller proxy program according to claim 1,
A display receiving step for receiving the display data transmitted from the target program to the controller program from the target program;
A blocking step of blocking the display data received by the display receiving step from being transmitted to the controller program;
For the display data received by the display receiving step, based on the remote operation record data, a proxy operation transmission step of transmitting the operation data to the target program;
Including methods.
JP2014034167A 2014-02-25 2014-02-25 Controller proxy program and method in remote automatic operation system Expired - Fee Related JP6169990B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014034167A JP6169990B2 (en) 2014-02-25 2014-02-25 Controller proxy program and method in remote automatic operation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014034167A JP6169990B2 (en) 2014-02-25 2014-02-25 Controller proxy program and method in remote automatic operation system

Publications (2)

Publication Number Publication Date
JP2015158857A JP2015158857A (en) 2015-09-03
JP6169990B2 true JP6169990B2 (en) 2017-07-26

Family

ID=54182784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014034167A Expired - Fee Related JP6169990B2 (en) 2014-02-25 2014-02-25 Controller proxy program and method in remote automatic operation system

Country Status (1)

Country Link
JP (1) JP6169990B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005501355A (en) * 2001-08-27 2005-01-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Caching method
JP2008217272A (en) * 2007-03-01 2008-09-18 Nec Corp Remote operation system and method, and program
EP2619660B1 (en) * 2010-09-24 2018-11-21 Waters Technologies Corporation Techniques for automated software testing
WO2013036951A1 (en) * 2011-09-09 2013-03-14 Stoneware, Inc. Method and apparatus for server side remote desktop recordation and playback

Also Published As

Publication number Publication date
JP2015158857A (en) 2015-09-03

Similar Documents

Publication Publication Date Title
US10949158B2 (en) Screenshot method and apparatus
US9300520B2 (en) Mobile network application test
US20120260288A1 (en) Information processing apparatus, information processing method, and program
KR20130142961A (en) Automatic application updates
JP6338453B2 (en) Information terminal, control method and program
US10809681B2 (en) Data collection for assistance in an industrial automation environment
US20160100025A1 (en) Ui framework support for portal systems
JP2016177431A5 (en) Information terminal, system, information processing method, and program
EP2942711B1 (en) Dynamic generation of proxy connections
JP2015170242A (en) Relay program, relay method and relay device
JP2017108340A5 (en) Data transmitting apparatus, data transmitting method and program
US10637749B2 (en) Remote machine management
JP6169990B2 (en) Controller proxy program and method in remote automatic operation system
JPWO2015140910A1 (en) Programmable logic controller
US11354025B1 (en) Alternate presentation types for human workflow activities
CN113038251B (en) Control method and control device
JP5982436B2 (en) Screen transfer server device and screen transfer method
US10114904B2 (en) Method, system, electronic device and server for synchronous display of operating information
Koren et al. DireWolf goes pack hunting: a peer-to-peer approach for secure low latency widget distribution using WebRTC
WO2013088534A1 (en) Server and method for accessing portable terminal via network from client, and program allowing computer to function as said server
JP6215033B2 (en) Test control apparatus, communication system, test control method, and test control program
JP2013232035A (en) Information processing system, information processing device, information processing method, and program
JP7085311B2 (en) Information processing equipment, information processing system, information processing method, information processing program
US10782982B2 (en) Information processing apparatus and system, and method and recording medium for generating user interface
JP2018519611A5 (en)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170629

R150 Certificate of patent or registration of utility model

Ref document number: 6169990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees