JP6452233B2 - Terminal remote control system, controller terminal, and controller terminal control program - Google Patents
Terminal remote control system, controller terminal, and controller terminal control program Download PDFInfo
- Publication number
- JP6452233B2 JP6452233B2 JP2014223376A JP2014223376A JP6452233B2 JP 6452233 B2 JP6452233 B2 JP 6452233B2 JP 2014223376 A JP2014223376 A JP 2014223376A JP 2014223376 A JP2014223376 A JP 2014223376A JP 6452233 B2 JP6452233 B2 JP 6452233B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- target terminal
- controller
- unit
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、ある端末（以下、コントローラ端末と呼ぶ）から別の端末（以下、ターゲット端末と呼ぶ）を無線通信経由で遠隔操作するシステムに関し、特に、公開された標準機能のみを利用してコントローラ端末がターゲット端末の遠隔操作を行う端末遠隔操作システムに関する。
また、本発明は、端末遠隔操作システムに使用されるコントローラ端末、及び、コントローラ端末を構築するためのコントローラ端末制御プログラムに関する。
The present invention relates to a system for remotely operating one terminal (hereinafter referred to as a controller terminal) from another terminal (hereinafter referred to as a target terminal) via wireless communication, and in particular, a controller using only published standard functions. The present invention relates to a terminal remote control system in which a terminal performs remote control of a target terminal.
The present invention also relates to a controller terminal used in a terminal remote operation system and a controller terminal control program for constructing the controller terminal.
IPネットワークを経由してターゲット端末をコントローラ端末から遠隔操作するシステムとして、リモートデスクトップ技術（RDTP）が存在する（非特許文献１及び非特許文献２）。この技術においては、コントローラ端末はターゲット端末から送られた画面イメージ（デスクトップ）に対して操作を行い、ターゲット端末はコントローラ端末から送られた操作を実行し、その結果、画面が更新されればコントローラ端末に画面イメージを通知する、という一連の処理が繰り返される。 Remote desktop technology (RDTP) exists as a system for remotely operating a target terminal from a controller terminal via an IP network (Non-Patent Document 1 and Non-Patent Document 2). In this technology, the controller terminal operates the screen image (desktop) sent from the target terminal, and the target terminal executes the operation sent from the controller terminal. As a result, if the screen is updated, the controller A series of processes of notifying the terminal of the screen image is repeated.
また、RDTPを利用してスマートフォンの自動遠隔操作を行い、任意のアプリケーションを用いた大規模試験を効率良く行うソリューション（非特許文献３）も提案されている。 In addition, a solution (Non-Patent Document 3) that performs automatic remote operation of a smartphone using RDTP and efficiently performs a large-scale test using an arbitrary application has been proposed.
更に、ＨＩＤ機器を模擬し、ターゲット端末への文字入力機能を提供するシステムとして、Bluetooth（登録商標）規格に準拠した無線回線経由で利用するType2Phone（非特許文献４）やhidclient（非特許文献５）も提案されている。
これらのシステムでは、利用者からコントローラ端末に対して与えられたキーボード操作をBluetoothのHIDプロファイルによる通信に変換してターゲット端末へ送信し、ターゲット端末は受信した情報をHID入力として反映する、という処理が繰り返される。ターゲット端末にとって、コントローラ端末はBluetooth HID機器（キーボード）と認識される。
Type2Phoneとhidclientは、文字入力操作の自動化の仕組みは備えていないが、hidclientについては、端末内でHID入力の記録・再生を可能にするソフトウェア（非特許文献６）と組み合わせることで、自動化することが可能である。
Furthermore, as a system for simulating an HID device and providing a character input function to a target terminal, Type2Phone (non-patent document 4) or hidclient (non-patent document 5) used via a wireless line compliant with the Bluetooth (registered trademark) standard. ) Has also been proposed.
In these systems, the keyboard operation given to the controller terminal by the user is converted into communication using the Bluetooth HID profile and transmitted to the target terminal, and the target terminal reflects the received information as the HID input. Is repeated. For the target terminal, the controller terminal is recognized as a Bluetooth HID device (keyboard).
Type2Phone and hidclient do not have a mechanism for automating character input operations, but hidclient can be automated by combining it with software that enables recording and playback of HID input in the terminal (Non-Patent Document 6). Is possible.
なお、Apple社が開発しているスマートフォン向けOSのiOSは、HID機器としてキーボードにのみ対応しており（２０１４年８月現在）、ポインティングデバイスには非対応である。また、キーボード入力も通常は文字入力操作のみ動作するが、iOSにおける視覚障害者向け機能であるVoiceOver（非特許文献７）を有効にすることで、アプリケーションの切り替えやボタン項目へのタップ操作などOSの基本操作がキーボード入力で可能になる。VoiceOverにおいては、ボタン等表示項目の選択状態や選択中の項目を、合成音声で読み上げる機能や、点字表示ディスプレイ機器に点字として出力する機能もある。 Note that iOS, which is an OS for smartphones developed by Apple, supports only keyboards as HID devices (as of August 2014) and does not support pointing devices. In addition, keyboard input usually works only for character input operation, but by enabling VoiceOver (Non-patent Document 7), a function for visually impaired persons in iOS, OS such as application switching and tap operation to button items Basic operation is possible with keyboard input. VoiceOver also has a function for reading out the selection state of a display item such as a button and a currently selected item with synthesized speech, and a function for outputting as Braille to a braille display device.
上述した非特許文献３に記載の技術のように、RDTPをそのまま用いる自動遠隔操作手法では、ターゲット端末の画面イメージの取得とコントローラ端末への送信、およびコントローラ端末から送信された入力情報の端末への反映を、ターゲット端末側のOS上で行う必要がある。
Apple社のiOSでは、画面イメージ全体の取得とOSへの操作入力の反映は一般アプリケーション向けAPI (Application Programming Interface)として公開されておらず、非特許文献３では、端末上の（一般の開発者には公開されない）非公開APIを使用することで実現している。OSベンダーには、このような非公開APIについて、将来に亘り過去の版との互換性を維持するモチベーション・インセンティブは存在しない。そのためこのような方式は、将来のOSの更新等により、APIが変更されシステムが遠隔操作機能を実現できなくなる可能性を孕んでいる、という課題が存在した。
As in the technique described in Non-Patent Document 3 described above, in the automatic remote operation method using RDTP as it is, acquisition of the screen image of the target terminal, transmission to the controller terminal, and input information transmitted from the controller terminal to the terminal Must be reflected on the OS of the target terminal.
In Apple's iOS, the acquisition of the entire screen image and the reflection of the operation input to the OS are not disclosed as an API (Application Programming Interface) for general applications. This is achieved by using a non-public API that is not open to the public. There is no motivation incentive for OS vendors to maintain compatibility with past versions of such private APIs in the future. Therefore, such a method has a problem that there is a possibility that the system will not be able to realize the remote control function because the API is changed due to a future OS update or the like.
また、RDTP技術は、IP通信の上で画面イメージ転送を伴う。これは特に、回線速度測定アプリなど、回線に大きな負荷をかけるアプリケーションを操作対象として利用する場合に問題となる。
すなわち、一般的なスマートフォン端末では、同時にひとつのIPネットワークのみが有効になるため、測定と操作が同じ回線の帯域を奪い合うことで互いに影響を及ぼす可能性がある。例えば、遠隔操作を行う際に、帯域不足による応答速度の低下や、回線切断による操作の中断が発生することが考えられる。あるいは、画面イメージ転送が帯域を消費し、回線速度測定アプリが十分に帯域を利用できず、実際よりも低い速度が計測されることも考えられる。
RDTP technology also involves screen image transfer over IP communications. This is particularly problematic when an application that places a heavy load on the line, such as a line speed measurement application, is used as an operation target.
That is, in a general smartphone terminal, since only one IP network is effective at the same time, measurement and operation may affect each other by competing for the same line bandwidth. For example, when performing remote operation, it is conceivable that the response speed decreases due to insufficient bandwidth, or the operation is interrupted due to line disconnection. Alternatively, the screen image transfer consumes bandwidth, and the line speed measurement application may not be able to use the bandwidth sufficiently, and a speed lower than the actual speed may be measured.
非特許文献４，５，６に記載されたキーボード入力操作を模擬するシステムでは、模擬できるのは文字入力操作のみであり、HID機器の模擬だけでは、アプリケーションの切り替えなど文字入力領域を越えたターゲット端末への遠隔操作ができないという課題があった。 In the system for simulating keyboard input operations described in Non-Patent Documents 4, 5, and 6, only character input operations can be simulated. Targets that exceed the character input area, such as application switching, can only be simulated by HID devices. There was a problem that remote control to the terminal was not possible.
本発明は上記実情に鑑みて提案されたものであり、ターゲット端末が標準搭載している機能のみを応用して、コントローラ端末からターゲット端末への遠隔操作を実現可能とした端末遠隔操作システム、この端末遠隔操作システムに使用するコントローラ端末、及び、コントローラ端末に遠隔操作を行わせるためのコントローラ端末制御プログラムを提供することを目的としている。 The present invention has been proposed in view of the above circumstances, and a terminal remote operation system that can realize a remote operation from a controller terminal to a target terminal by applying only the functions that the target terminal has as standard equipment, It is an object of the present invention to provide a controller terminal used for a terminal remote operation system and a controller terminal control program for causing the controller terminal to perform a remote operation.
上記目的を達成するため本発明の端末遠隔操作システムは、コントローラでＨＩＤ（Human Interface Device）機器を模擬し、ターゲット端末への文字入力機能を提供したり、必要に応じて、視覚障害者向け表示機器などのシリアル機器を模擬し、ターゲット端末からの出力を解読する機能を提供することにより、ターゲット端末の自動遠隔操作を実現する端末自動遠隔操作システムであって、コントローラ端末からターゲット端末への遠隔操作に関して、画面イメージではなく視覚障害者向け機能を利用してターゲット端末の状態を取得するものである。 In order to achieve the above object, the terminal remote control system of the present invention simulates an HID (Human Interface Device) device with a controller, provides a character input function to the target terminal, and displays for the visually impaired as necessary. A terminal automatic remote control system that realizes automatic remote control of a target terminal by simulating a serial device such as a device and decoding the output from the target terminal. Regarding operation, the state of the target terminal is acquired by using a function for visually impaired persons instead of a screen image.
すなわち、請求項１は、一つのコントローラ端末が複数のターゲット端末を無線通信経由で遠隔操作する端末遠隔操作システムにおいて、
前記コントローラ端末は、 前記ターゲット端末への各種操作内容を入力する入力部又は各種操作内容が記録された操作内容記録部と、
前記入力部に入力された操作内容又は前記操作内容記録部に記録された操作内容を前記各ターゲット端末に対して実行する操作内容実行部と、
前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、
を備え、
前記ターゲット端末は、視覚障害者向け機能を備えることで、OSやアプリケーションの操作を可能とするとともに、
前記コントローラ端末は、視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部とを備えることで、条件分岐を含む操作を可能とする
ことを特徴としている。
That is, claim 1 is a terminal remote operation system in which one controller terminal remotely operates a plurality of target terminals via wireless communication.
The controller terminal is an input unit for inputting various operation contents to the target terminal or an operation content recording unit in which various operation contents are recorded;
An operation content execution unit that executes the operation content input to the input unit or the operation content recorded in the operation content recording unit with respect to each target terminal;
An HID device simulation unit for simulating the target terminal so as to appear as an HID (Human Interface Device) device;
With
The target terminal is equipped with a function for visually impaired persons, enabling operation of an OS and applications ,
The controller terminal includes a conditional branch for a visually handicapped person that simulates a serial device for a visually handicapped person, and an information decoding part for a visually handicapped person that acquires and decodes output content that can be converted into text information. It is characterized in that an operation including can be performed .
請求項２は、請求項１の端末遠隔操作システムにおいて、
前記ターゲット端末はiPhone（登録商標）又はiPad（登録商標）であり、
前記無線通信はBluetooth（登録商標）規格に準拠し、
前記視覚障害者向け機能は前記iPhone（登録商標）又はiPad（登録商標）に標準搭載されたVoiceOverにより実行されることを特徴としている。
Claim 2 is the terminal remote control system according to claim 1 ,
The target terminal is iPhone ( registered trademark ) or iPad ( registered trademark ),
The wireless communication conforms to the Bluetooth (registered trademark) standard,
The function for the visually handicapped person is executed by VoiceOver installed as standard in the iPhone (registered trademark) or iPad (registered trademark) .
請求項３は、複数のターゲット端末を無線通信経由で遠隔操作するコントローラ端末であって、
前記ターゲット端末への各種操作内容を入力する入力部と、
前記入力部に入力された操作内容を前記各ターゲット端末に対して実行する操作内容実行部と、
前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、を備えるとともに、
条件分岐を含む操作を可能とするために、
視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、
テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部と、
を備えることを特徴としている。
Claim 3 is a controller terminal for remotely operating a plurality of target terminals via wireless communication,
An input unit for inputting various operation details to the target terminal;
An operation content execution unit for executing the operation content input to the input unit with respect to each target terminal;
An HID device simulation unit that simulates each target terminal so that it can be seen as an HID (Human Interface Device) device ,
To allow operations involving conditional branches,
A simulation unit for the visually impaired, which simulates a serial device for the visually impaired, and
An information decoding unit for visually impaired persons that acquires and decodes output contents that can be converted into text information,
It is characterized by having.
請求項４は、複数のターゲット端末を無線通信経由で遠隔操作するコントローラ端末であって、
前記ターゲット端末への各種操作内容が記録された操作内容記録部と、
前記操作内容記録部に記録された操作内容を前記各ターゲット端末に対して自動的に実行する操作内容実行部と、
前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、を備えるとともに、
条件分岐を含む操作を可能とするために、
視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、
テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部と、
を備えることを特徴としている。
Claim 4 is a controller terminal for remotely operating a plurality of target terminals via wireless communication,
An operation content recording unit in which various operation details to the target terminal are recorded;
An operation content execution unit for automatically executing the operation content recorded in the operation content recording unit for each target terminal;
An HID device simulation unit that simulates each target terminal so that it can be seen as an HID (Human Interface Device) device ,
To allow operations involving conditional branches,
A simulation unit for the visually impaired, which simulates a serial device for the visually impaired, and
An information decoding unit for visually impaired persons that acquires and decodes output contents that can be converted into text information,
It is characterized by having.
請求項５のコントローラ端末制御プログラムは、請求項１の各部を前記コントローラ端末内に構築することを特徴としている。 A controller terminal control program according to a fifth aspect is characterized in that each part of the first aspect is constructed in the controller terminal.
本発明の端末遠隔操作システムによれば、スマートフォン端末（ターゲット端末）を遠隔操作するシステムとして利用するに際して、以下の効果を奏することができる。
コントローラ端末によるターゲット端末への遠隔操作を行うに際して、公開された標準機能のみを利用しているため、ターゲット端末のOSの更新などでシステムが利用できなくなる可能性を防ぐことができる。
コントローラ端末によるターゲット端末への遠隔操作を行うに際して、IP通信を使用しないため、回線速度測定などの回線に高負荷となる通信を伴うアプリケーションを操作する際にも、測定結果および操作の応答性に対して影響を受けることがない。
コントローラ端末によるターゲット端末への遠隔操作を行うに際して、画面イメージの転送を伴わないため、応答性が向上する。
また、視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部とを備えることで、コントローラ端末から条件分岐を含む操作が可能となる。
According to the terminal remote operation system of the present invention, the following effects can be achieved when the smartphone terminal (target terminal) is used as a system for remotely operating.
When performing remote control of the target terminal from the controller terminal, only the public standard function is used, so that it is possible to prevent the possibility that the system cannot be used due to the OS update of the target terminal.
When performing remote control of the target terminal from the controller terminal, IP communication is not used. Therefore, even when operating an application that involves high-load communication on the line, such as line speed measurement, the measurement results and responsiveness of the operation can be reduced. It is not affected.
When the controller terminal performs a remote operation to the target terminal, since the screen image is not transferred, the responsiveness is improved.
In addition, a conditional branch from the controller terminal is provided by providing a simulation unit for the visually impaired that simulates a serial device for the visually impaired and an information decoding unit for the visually impaired that acquires and decodes the output content that can be converted into text information. Operation including can be performed.
本発明の端末遠隔操作システムの実施形態について、図面を参照して説明する。
端末遠隔操作システムは、一つのコントローラ端末１と、複数のターゲット端末２とから構成され、コントローラ端末１が複数のターゲット端末２を無線通信経由で遠隔操作するようになっている。
An embodiment of a terminal remote control system of the present invention will be described with reference to the drawings.
The terminal remote operation system is composed of one controller terminal 1 and a plurality of target terminals 2, and the controller terminal 1 remotely operates the plurality of target terminals 2 via wireless communication.
コントローラ端末１は、基本プログラムや各種の基本デバイスが記憶されたＲＯＭと、各種のプログラムやデータが記憶されるハードディスクドライブ装置（ＨＤＤ）と、プログラムを実行するＣＰＵと、このＣＰＵにワークエリアを提供するＲＡＭと、キーボード３等の入力部とを主要部分とする一般的な構成を備えたコンピュータ上で、コントローラ端末制御プログラムがインストールされることで構築される。
ターゲット端末２についても一般的な機能を備えたコンピュータで構成され、具体的には、iPhone（Apple社の商品名）又はiPad（Apple社の商品名）で構成されている。
また、コントローラ端末１は、Bluetooth規格で準拠された無線通信によりターゲット端末２に対して操作可能なようになっている。
The controller terminal 1 provides a ROM that stores basic programs and various basic devices, a hard disk drive (HDD) that stores various programs and data, a CPU that executes the programs, and a work area for the CPU. It is constructed by installing a controller terminal control program on a computer having a general configuration in which the RAM and the input unit such as the keyboard 3 are main components.
The target terminal 2 is also composed of a computer having a general function, and specifically, an iPhone (a product name of Apple Inc.) or an iPad (a product name of Apple Inc.).
Further, the controller terminal 1 can be operated with respect to the target terminal 2 by wireless communication compliant with the Bluetooth standard.
コントローラ端末１は、ターゲット端末２への操作内容が読み込まれる操作内容読込部１１と、ターゲット端末２への操作内容を実行する操作内容実行部１２と、ターゲット端末２からＨＩＤ機器に見えるように模擬するＨＩＤ機器模擬部１３と、ターゲット端末２に対してBluetoothで操作内容に関するデータの送受信を行う送受信部１４とを備えて構成される。 The controller terminal 1 simulates an operation content reading unit 11 for reading operation content to the target terminal 2, an operation content execution unit 12 for executing operation content to the target terminal 2, and the target terminal 2 as if it appears to be an HID device. HID device simulation unit 13 and transmission / reception unit 14 that transmits / receives data related to operation contents to / from target terminal 2 via Bluetooth.
操作内容読込部１１は、キーボード（入力部）３から入力される操作によりターゲット端末２への各種操作内容が読み込まれる。また、予め各種操作内容が記録された操作内容記録部１０から自動的に各種操作内容を読み込むようにしてもよい。操作内容記録部１０には、例えば、ターゲット端末２に対する自動的な操作を可能とするため、入力キーコードや待機時間の情報、操作を行う対象ターゲット端末２の識別情報（MACアドレス、Bluetooth表示名等）が記録されている。ターゲット端末２への各種操作内容は、操作情報として操作内容実行部１２へ出力される。 The operation content reading unit 11 reads various operation content to the target terminal 2 by operations input from the keyboard (input unit) 3. In addition, various operation contents may be automatically read from the operation content recording unit 10 in which various operation contents are recorded in advance. In the operation content recording unit 10, for example, in order to enable an automatic operation on the target terminal 2, information on an input key code, a standby time, and identification information (MAC address, Bluetooth display name) of the target target terminal 2 to be operated Etc.) are recorded. Various operation contents to the target terminal 2 are output to the operation content execution unit 12 as operation information.
操作内容実行部１２は、キーボード（入力部）３に入力された操作内容又は操作内容記録部１０に記録された操作内容となる操作情報を入力し、各ターゲット端末２に対して実行する。例えば、操作情報通りにキー入力と待機を再現し、操作情報に応じて、複数のターゲット端末２に対して一つのシナリオを同時に送信したり、各ターゲット端末２に別々のシナリオを送信する。 The operation content execution unit 12 inputs operation information that is input to the keyboard (input unit) 3 or operation information that is operation content recorded in the operation content recording unit 10, and executes the operation information on each target terminal 2. For example, key input and standby are reproduced according to the operation information, and one scenario is simultaneously transmitted to a plurality of target terminals 2 or different scenarios are transmitted to each target terminal 2 according to the operation information.
ＨＩＤ機器模擬部１３は、各ターゲット端末２からコントローラ端末１がＨＩＤ機器に見えるように模擬するもので、BluetoothにおいてＨＩＤ機器が提供するサービスを検索するプロトコルであるＳＤＰ(Service Discovery Protocol)によって、自己のターゲット携帯２のサービスが検索された場合に、ＨＩＤ機器をサポートしているという返答を行うことで模擬する。その結果、操作内容実行部１２からの操作情報（入力キー情報と待機情報）をＨＩＤプロファイルのスキャンコードに変換して各ターゲット端末２へ送信する機能を有する。
また、各ターゲット端末２の端末識別情報を操作内容実行部１２へ出力する。
送受信部１４は、各ターゲット端末２に対して操作内容に関するデータの送受信を行うBluetooth無線機により構成されている。
The HID device simulation unit 13 simulates each target terminal 2 so that the controller terminal 1 appears as an HID device. The HID device simulation unit 13 uses the SDP (Service Discovery Protocol) which is a protocol for searching for a service provided by the HID device in Bluetooth. When the service of the target mobile phone 2 is searched, a response that the HID device is supported is made to simulate. As a result, the operation information (input key information and standby information) from the operation content execution unit 12 is converted into a scan code of the HID profile and transmitted to each target terminal 2.
Further, the terminal identification information of each target terminal 2 is output to the operation content execution unit 12.
The transmission / reception unit 14 is configured by a Bluetooth radio that transmits / receives data related to operation contents to each target terminal 2.
ターゲット端末２は、iOSを搭載し、標準搭載されたVoiceOverによりOSやアプリケーションの操作を可能としている。 The target terminal 2 is equipped with iOS, and the OS and applications can be operated with VoiceOver installed as standard.
すなわち、上述した構成の端末遠隔操作システムによれば、コントローラ端末１は、ターゲット端末２に対してキーボード機器（BluetoothのＨＩＤ機器）としてエミュートし、iOS の視覚障害者向けアクセシビリティ機能であるVoiceOverを併用してターゲット端末（iPhone又はiPad）２を操作する。 That is, according to the terminal remote control system having the above-described configuration, the controller terminal 1 is emulated as a keyboard device (Bluetooth HID device) with respect to the target terminal 2 and also uses VoiceOver, which is an accessibility function for visually impaired persons of iOS. Then, the target terminal (iPhone or iPad) 2 is operated.
端末遠隔操作システムの実施形態の他の例について、図２を参照して説明する。
図１の端末遠隔操作システムにおけるキーボード入力操作の模擬では、HIDの仕組み上、キー入力信号をコントローラ端末１からターゲット端末２に一方的に送信するのみであり、ターゲット端末２の画面上で表示されている文字や、ボタン項目の選択状態などアプリケーションの状態をコントローラ端末にフィードバックすることはできない。そのため、アプリケーションの処理結果の取得や、実行結果に応じた条件判断が必要となる操作を行うことができない。
Another example of the embodiment of the terminal remote control system will be described with reference to FIG.
In the simulation of the keyboard input operation in the terminal remote operation system of FIG. 1, due to the HID mechanism, the key input signal is only transmitted unilaterally from the controller terminal 1 to the target terminal 2, and is displayed on the screen of the target terminal 2. It is not possible to feed back to the controller terminal the application status such as the character being selected and the button item selection status. For this reason, it is not possible to perform an operation that requires acquisition of the processing result of the application or condition determination according to the execution result.
そこで、図１の端末遠隔操作システムのコントローラ端末１に対して、視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部１５と、テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部１６とを更に備えることで、条件分岐を含む自動操作を可能とする構成とした。
図２において、図１の端末遠隔操作システムと同一構成を採る部分については同一符号を付して説明を省略し、異なる構成を中心に説明する。
視覚障害者向け模擬部１５は、ターゲット端末２から視覚障害者向け機器（点字出力等）に見えるように模擬する機能を有している。
視覚障害者向け情報解読部１６は、視覚障害者向け模擬部１５から入力される点字等の視覚障害者向け情報を文字情報に変換することで解読し、操作内容実行部１２へフィードバック情報として出力する。
操作内容実行部１２では、フィードバック情報に基づいて条件分岐を再現可能とする。
また、操作内容記録部１０では、フィードバック情報による条件分岐の定義等が記録されている。
Therefore, for the controller terminal 1 of the terminal remote control system of FIG. 1, a visually impaired person simulation unit 15 that simulates a serial device for visually impaired persons, and a visual obstacle that acquires and decodes output contents that can be converted into text information. The information decoding unit 16 for the person is further provided so that automatic operation including conditional branching is possible.
2, parts having the same configuration as the terminal remote control system of FIG. 1 are denoted by the same reference numerals, description thereof is omitted, and different configurations will be mainly described.
The visually impaired person simulation unit 15 has a function of simulating the target terminal 2 so as to appear as a visually impaired device (such as Braille output).
The information decoding unit 16 for the visually impaired decodes the information for the visually impaired such as Braille input from the simulation unit 15 for the visually impaired by converting it into character information, and outputs it to the operation content execution unit 12 as feedback information. To do.
The operation content execution unit 12 can reproduce the conditional branch based on the feedback information.
The operation content recording unit 10 records the definition of conditional branching based on feedback information.
上述した構成の端末遠隔操作システムによれば、ターゲット端末２の点字ディスプレイへの出力機能を利用して、OS上での選択状態や項目の読み上げ（表示）からフィードバックを受けて操作することを可能とする。 According to the terminal remote control system having the above-described configuration, it is possible to operate by receiving feedback from the selection state on the OS or reading out (displaying) items using the output function to the braille display of the target terminal 2 And
次に、図１に示した端末遠隔操作システムの使用手順について説明する。
（１）先ず、コントローラ端末１とターゲット端末２間を、Bluetooth規格に準拠した無線通信によって接続する。このときコントローラ端末１は、HID入力機器を模擬し、ターゲット端末２からはキーボード機器として識別されるようにする。
（２）ターゲット端末２において、視覚障害者向け機能（VoiceOver）を有効にし、コントローラ端末１のキーボード３による操作によってOSおよびアプリケーションの基本操作が可能な状態にする。
（３）利用者は、ターゲット端末２上で再現したい一連の操作内容をコントローラ端末１に与える（コントローラに接続しているＨＩＤ機器を通して入力した記録の再現もしくはキー入力内容・タイミングを指定した記述を入力として与える）。
（４）コントローラ端末１は、（３）で与えられたキー入力をＨＩＤの入力情報（スキャンコード）に変換して、与えられた順序・タイミングの通りにターゲット端末に送信することで、自動遠隔操作を実現する。
Next, a procedure for using the terminal remote control system shown in FIG. 1 will be described.
(1) First, the controller terminal 1 and the target terminal 2 are connected by wireless communication conforming to the Bluetooth standard. At this time, the controller terminal 1 simulates the HID input device and is identified as a keyboard device from the target terminal 2.
(2) In the target terminal 2, the function for the visually impaired (VoiceOver) is enabled, and the basic operation of the OS and the application can be performed by the operation of the keyboard 3 of the controller terminal 1.
(3) The user gives a series of operations to be reproduced on the target terminal 2 to the controller terminal 1 (a reproduction of a record input through an HID device connected to the controller or a description specifying a key input content / timing). Give as input).
(4) The controller terminal 1 converts the key input given in (3) into HID input information (scan code) and transmits it to the target terminal according to the given order and timing. Realize the operation.
図２に示した端末遠隔操作システムは、以下の手順を具備することで本手法の適用範囲を拡大することができる。
上述した（３）（４）に関して、コントローラ端末で条件分岐の判断等を行うために必要な応答データ（ターゲットの画面上の表示内容や選択項目など）として、テキスト情報に変換可能な情報（読み上げ機能や点字ディスプレイへの出力機能など）を利用する。
コントローラ端末は、ターゲット端末からこれらを受信可能なシリアル機器（点字ディスプレイ、音声出力デバイスなど）を模擬し、ターゲット端末からの出力を取得してテキスト情報に変換（解読）することで、現在の表示内容、選択内容を取得する。
取得情報を元に条件判断を行い、状況に応じて操作内容を変更することが可能となる。
The terminal remote control system shown in FIG. 2 can expand the application range of the present technique by including the following procedure.
Regarding (3) and (4) above, information that can be converted into text information (read-out) as response data (such as display contents and selection items on the target screen) necessary for determining a conditional branch at the controller terminal Function and output function to Braille display).
The controller terminal simulates a serial device (Braille display, audio output device, etc.) that can receive these from the target terminal, obtains the output from the target terminal, converts it into text information, and decodes it. Get contents and selection.
It is possible to make a condition determination based on the acquired information and change the operation content according to the situation.
続いて、上述した端末遠隔操作システムの具体的な使用例について、図３〜図５を参照して説明する。
図３は、端末遠隔操作システムを利用し、調査員のコントローラ端末への操作により、同時に複数台のターゲット端末への操作を行う例である。
アプリケーションの通信品質を調査する場合、調査員がコントローラ端末に接続された操作用のキーボードを利用したり、ＳＳＨリモートアクセス等を利用してコントローラ端末に直接入力操作を行うことにより、コントローラ端末に与えられた入力をBluetoothのＨＩＤとして送信して各ターゲット端末を同時操作するとともに、パケット取得が可能な中継器への操作を行うことで、通信経路上でパケットをキャプチャし、ソーシャルネットワークサービスのサーバへ出力させることで、アプリケーションの通信挙動を調査することが可能となる。
Next, specific examples of use of the above-described terminal remote control system will be described with reference to FIGS.
FIG. 3 shows an example in which a plurality of target terminals are simultaneously operated by an investigator's operation on a controller terminal using a terminal remote operation system.
When investigating the communication quality of an application, an investigator uses an operation keyboard connected to the controller terminal or directly inputs to the controller terminal using SSH remote access, etc. The received input is transmitted as a Bluetooth HID to simultaneously operate each target terminal, and by operating a relay capable of acquiring packets, the packet is captured on the communication path and sent to the social network service server. By outputting, it becomes possible to investigate the communication behavior of the application.
図４は、端末遠隔操作システムを利用し、サービスエリア内における通信品質測定を行う例である。
通信の中継機器やサーバの通信品質測定を行う場合、例えば調査員がコントローラ端末と複数のターゲット端末（例えば、通信キャリヤ毎のiPhone）を携帯し、調査員が移動する適宜場所において、コントローラ端末の操作内容記録に記録された操作が自動的に行われ、Bluetoothを介して各ターゲット端末を同時操作し、中継機器やネットワークにおけるサーバ負荷や応答速度の変化を取得することで、サービスエリア内で隈なく自動的な通信品質測定を行うことが可能となる。
FIG. 4 shows an example in which the communication quality is measured in the service area using the terminal remote control system.
When measuring the communication quality of a communication relay device or server, for example, an investigator carries a controller terminal and a plurality of target terminals (for example, an iPhone for each communication carrier), and at the appropriate location where the investigator moves, The operations recorded in the operation content record are automatically performed, and each target terminal is operated simultaneously via Bluetooth to obtain changes in server load and response speed in the relay device and network. And automatic communication quality measurement can be performed.
図５は、端末遠隔操作システムを利用し、長期繰り返して耐久試験を行う例である。
通信の中継機器やサーバの耐久試験を行う場合、定点（同一ポイント）から長期に亘って、コントローラ端末の操作内容記録に記録された操作が自動的に行われ、Bluetoothを介して各ターゲット端末を同時操作し、中継機器を介してサーバが試験結果を取得することで、定期的な通信品質測定を自動的に行うことが可能となる。
FIG. 5 shows an example in which a durability test is repeatedly performed for a long time using a terminal remote control system.
When performing a durability test on a communication relay device or server, the operation recorded in the operation content record of the controller terminal is automatically performed over a long period from a fixed point (same point), and each target terminal is connected via Bluetooth. By simultaneously operating the server and acquiring the test result via the relay device, periodic communication quality measurement can be automatically performed.
図６は、端末遠隔操作システムを利用し、携帯電話のショップ等でサポートセンターのオペレーターが遠隔操作を行う例である。
サポートセンターのオペレーターが遠隔操作を行う場合、携帯電話のショップ内のコントローラ端末に対して、オペレーターが通常の遠隔操作を行うことで、来店した顧客が所有するiPhoneに対して、Bluetoothを介してサポート業務（設定やデモンストレーション）を行うことが可能となる。
FIG. 6 shows an example in which an operator of a support center performs remote operation using a terminal remote control system at a mobile phone shop or the like.
When a support center operator performs remote control, the operator performs normal remote control on the controller terminal in the mobile phone shop, thereby supporting the iPhone owned by the visiting customer via Bluetooth. Business (setting and demonstration) can be performed.
上述した端末遠隔操作システムによれば、iOS搭載機器であるターゲット端末（iPhone又はiPad）２が標準搭載しているVoiceOverにより、ターゲット端末２に対してコントローラ端末１がキーボード機器として見えるようにして（公開された標準機能のみを利用して）コントローラ端末１による遠隔操作が行われるので、ターゲット端末２のOSの更新などでシステムが利用できなくなることがなく、安定した利用が可能になる。 According to the terminal remote control system described above, the controller terminal 1 is made visible to the target terminal 2 as a keyboard device by VoiceOver, which is standard on the target terminal (iPhone or iPad) 2 that is an iOS-equipped device ( Since the remote operation by the controller terminal 1 is performed (using only the standard function disclosed), the system cannot be used due to the update of the OS of the target terminal 2 and the stable use is possible.
コントローラ端末１によるターゲット端末２の遠隔操作について、IP通信を使用しないため、回線速度測定などの回線に高負荷となる通信を伴うアプリケーションを操作する際にも、測定結果および操作の応答性に影響を及ぼさない。
また、コントローラ端末１によるターゲット端末２の遠隔操作に際して、コントローラ端末１へ画面イメージの転送を伴わないため、応答性の向上を図ることができる。
Since remote control of the target terminal 2 by the controller terminal 1 does not use IP communication, it affects the measurement results and the responsiveness of the operation even when operating an application with high-load communication on the line, such as line speed measurement. Does not affect.
Further, since the screen image is not transferred to the controller terminal 1 when the target terminal 2 is remotely operated by the controller terminal 1, the responsiveness can be improved.
１…コントローラ端末、 ２…ターゲット端末、 ３…キーボード（入力部）、 １０…操作内容記録部、 １１…操作内容読込部、 １２…操作内容実行部、 １３…ＨＩＤ機器模擬部、 １４…送受信部、 １５…視覚障害者向け模擬部、 １６…視覚障害者向け情報解読部。 DESCRIPTION OF SYMBOLS 1 ... Controller terminal, 2 ... Target terminal, 3 ... Keyboard (input part), 10 ... Operation content recording part, 11 ... Operation content reading part, 12 ... Operation content execution part, 13 ... HID apparatus simulation part, 14 ... Transmission / reception part 15 ... Simulated unit for visually impaired people, 16 ... Information decoding unit for visually impaired people.
Claims (5)
前記コントローラ端末は、
前記ターゲット端末への各種操作内容を入力する入力部又は各種操作内容が記録された操作内容記録部と、
前記入力部に入力された操作内容又は前記操作内容記録部に記録された操作内容を前記各ターゲット端末に対して実行する操作内容実行部と、
前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、
を備え、
前記ターゲット端末は、視覚障害者向け機能を備えることで、OSやアプリケーションの操作を可能とするとともに、
前記コントローラ端末は、視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部とを備えることで、条件分岐を含む操作を可能とする
ことを特徴とする端末遠隔操作システム。 In a system in which one controller terminal remotely controls a plurality of target terminals via wireless communication,
The controller terminal is
An input unit for inputting various operation contents to the target terminal or an operation content recording unit in which various operation contents are recorded;
An operation content execution unit that executes the operation content input to the input unit or the operation content recorded in the operation content recording unit with respect to each target terminal;
An HID device simulation unit for simulating the target terminal so as to appear as an HID (Human Interface Device) device;
With
The target terminal is equipped with a function for visually impaired persons, enabling operation of an OS and applications ,
The controller terminal includes a conditional branch for a visually handicapped person that simulates a serial device for a visually handicapped person, and an information decoding part for a visually handicapped person that acquires and decodes output content that can be converted into text information. A terminal remote control system characterized by enabling an operation including the terminal.
前記無線通信はBluetooth（登録商標）規格に準拠し、
前記視覚障害者向け機能は前記iPhone（登録商標）又はiPad（登録商標）に標準搭載されたVoiceOverにより実行される請求項１に記載の端末遠隔操作システム。 The target terminal is iPhone ( registered trademark ) or iPad ( registered trademark ),
The wireless communication conforms to the Bluetooth (registered trademark) standard,
The terminal remote control system according to claim 1, wherein the function for the visually impaired is executed by VoiceOver that is standardly installed in the iPhone (registered trademark) or iPad (registered trademark) .
前記ターゲット端末への各種操作内容を入力する入力部と、
前記入力部に入力された操作内容を前記各ターゲット端末に対して実行する操作内容実行部と、
前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、を備えるとともに、
条件分岐を含む操作を可能とするために、
視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、
テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部と、
を備えたことを特徴とするコントローラ端末。 A controller terminal that automatically controls a plurality of target terminals via wireless communication,
An input unit for inputting various operation details to the target terminal;
An operation content execution unit for executing the operation content input to the input unit with respect to each target terminal;
An HID device simulation unit that simulates each target terminal so that it can be seen as an HID (Human Interface Device) device ,
To allow operations involving conditional branches,
A simulation unit for the visually impaired, which simulates a serial device for the visually impaired, and
An information decoding unit for visually impaired persons that acquires and decodes output contents that can be converted into text information,
Controller terminal comprising the.
前記ターゲット端末への各種操作内容が記録された操作内容記録部と、
前記操作内容記録部に記録された操作内容を前記各ターゲット端末に対して自動的に実行する操作内容実行部と、
前記各ターゲット端末からＨＩＤ（Human Interface Device）機器に見えるように模擬するＨＩＤ機器模擬部と、を備えるとともに、
条件分岐を含む操作を可能とするために、
視覚障害者向けシリアル機器を模擬する視覚障害者向け模擬部と、
テキスト情報に変換可能な出力内容を取得し解読する視覚障害者向け情報解読部と、
を備えたことを特徴とするコントローラ端末。 A controller terminal that automatically controls a plurality of target terminals via wireless communication,
An operation content recording unit in which various operation details to the target terminal are recorded;
An operation content execution unit for automatically executing the operation content recorded in the operation content recording unit for each target terminal;
An HID device simulation unit that simulates each target terminal so that it can be seen as an HID (Human Interface Device) device ,
To allow operations involving conditional branches,
A simulation unit for the visually impaired, which simulates a serial device for the visually impaired, and
An information decoding unit for visually impaired persons that acquires and decodes output contents that can be converted into text information,
Controller terminal comprising the.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014223376A JP6452233B2 (en) | 2014-10-31 | 2014-10-31 | Terminal remote control system, controller terminal, and controller terminal control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014223376A JP6452233B2 (en) | 2014-10-31 | 2014-10-31 | Terminal remote control system, controller terminal, and controller terminal control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016092545A JP2016092545A (en) | 2016-05-23 |
| JP6452233B2 true JP6452233B2 (en) | 2019-01-16 |
Family
ID=56019029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014223376A Expired - Fee Related JP6452233B2 (en) | 2014-10-31 | 2014-10-31 | Terminal remote control system, controller terminal, and controller terminal control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6452233B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005078862A (en) * | 2003-08-29 | 2005-03-24 | Asahi Matsushita Electric Works Ltd | Remote control transmitter |
| JP3822223B2 (en) * | 2004-07-29 | 2006-09-13 | シャープ株式会社 | TEST SYSTEM, CLIENT DEVICE AND RELAY DEVICE INCLUDED IN THE SYSTEM, COMMUNICATION DEVICE TESTING METHOD, AND PROGRAM FOR MAKING COMPUTER FUNCTION AS CLIENT DEVICE OR RELAY DEVICE |
| JP4044096B2 (en) * | 2005-01-26 | 2008-02-06 | マイクロテック株式会社 | Remote control device |
| US8433828B2 (en) * | 2010-02-26 | 2013-04-30 | Apple Inc. | Accessory protocol for touch screen device accessibility |
| JP2014010720A (en) * | 2012-06-29 | 2014-01-20 | Toshiba Corp | Operation input unit and operation input method |
-
2014
- 2014-10-31 JP JP2014223376A patent/JP6452233B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016092545A (en) | 2016-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108804302B (en) | Remote testing method, system and related equipment | |
| KR102343568B1 (en) | Method for connecting electronci device with external devices and elctroninc devcie implementing the same | |
| CN103457783B (en) | Method and system for testing mobile network application | |
| US20170286269A1 (en) | Local Chat Service Simulator for Bot Development | |
| JP2015513815A (en) | Device control method and apparatus | |
| US20210073476A1 (en) | Recording medium, conversation control method, and information processing apparatus | |
| CN111611121A (en) | Hardware simulation test method, device and equipment | |
| US10002584B2 (en) | Information processing apparatus, information providing method, and information providing system | |
| JP2015141620A (en) | Application test system, method, and program | |
| CN115756881A (en) | Data processing method, device, equipment and storage medium based on SDK | |
| CN111371676B (en) | Customer service function access method and related device | |
| CN106102007A (en) | For controlling the system and method for mobile device operation | |
| US20140280729A1 (en) | System & method for transmission & display on network nodes | |
| JP6635106B2 (en) | Program, information processing device, image processing system | |
| JP6802354B2 (en) | Communication test equipment, communication test methods and programs | |
| CN112631939A (en) | Use case configuration method, use case configuration device, and readable storage medium | |
| JP6452233B2 (en) | Terminal remote control system, controller terminal, and controller terminal control program | |
| US10466954B2 (en) | Display control method and display control device | |
| JP2011250104A (en) | Sequence test device and sequence test method | |
| EP2849432A1 (en) | Relay device | |
| KR20160004030A (en) | Test apparatus of mobile device, system and controlling method | |
| CN114265655A (en) | Cloud application data processing method, device and system and storage medium | |
| US9720801B2 (en) | System and method for linking debugging message | |
| Jenner et al. | Towards the development of 1-to-n human machine interfaces for unmanned aerial vehicles | |
| KR101557727B1 (en) | Terminal device and system for changing background screen thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160823 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6452233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |