JP6179954B2 - 遠隔制御システム、保守用端末および遠隔制御方法 - Google Patents
遠隔制御システム、保守用端末および遠隔制御方法 Download PDFInfo
- Publication number
- JP6179954B2 JP6179954B2 JP2014207072A JP2014207072A JP6179954B2 JP 6179954 B2 JP6179954 B2 JP 6179954B2 JP 2014207072 A JP2014207072 A JP 2014207072A JP 2014207072 A JP2014207072 A JP 2014207072A JP 6179954 B2 JP6179954 B2 JP 6179954B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- terminal
- remote control
- control system
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
- G06F3/04855—Interaction with scrollbars
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Description
すなわち、特許文献3には、スマホからPCを遠隔操作するために、スマホ用のレイアウトを生成する技術が開示されているものの、操作対象となるアプリケーション画面を指定することについては、何等開示されていない。
そのため、操作端末から保守用端末を遠隔操作する場合において、操作対象の保守用アプリ画面に対する視認性および操作性を向上させることができる。
まず、この発明の概要について説明する。この発明では、保守用端末に表示された複数のアプリ画面から、操作対象となるアプリ画面を1つ特定し、その画面のうち操作対象となる画面部品と状態とを抽出して操作端末に送信して表示するとともに、操作端末に表示されたアプリ画面の画面部品に対する操作を画面操作イベント情報として保守用端末に送信して、保守用端末のアプリ画面を操作することで、保守用端末を操作端末から操作可能とする。
1)ウィンドウタイトル|ウィンドウ表示プロセス(アプリケーション)名|画面識別子
2)ウィンドウタイトル|ウィンドウ内の画面部品数|画面識別子
1)操作対象画面識別子|操作内容|次操作対象画面識別子
ここで、操作内容は、例えばボタンA押下、ボタンB押下、チェックボックスA選択等の操作であり、これらの操作によって操作対象となる画面が切り替わるか、または新しく表示される操作を定義する。
1)ボタン|部品ID、ボタンタイトル、ボタン押下可否、ボタン押下状態
2)チェックボックス|部品ID、表示項目名、選択項目名
3)リストボックス|部品ID、表示項目名、選択項目名
4)テキスト|部品ID、表示されている文字列、文字列の色
5)ビットマップ|部品ID、表示されているビットマップデータ
画面レイアウト設定部15の設定例
1)画面識別子|表示する画面部品を特定する情報|表示する画面部品を特定する情報|・・・・・
画面部品|画面部品を特定する情報の例
1)ボタンA|ボタンタイトル
2)リストボックス|表示項目名
3)チェックボックス|表示項目名
4)テキストA|表示文字列
5)ビットマップ|画面内領域座標
1)ボタンA|部品ID|ボタンタイトル、ボタン押下可否、ボタン押下状態
2)ボタンB|部品ID|ボタンタイトル、ボタン押下可否、ボタン押下状態
3)テキストA|部品ID|文字列、文字列の色
4)ビットマップA|部品ID|ビットマップデータ
1)ボタンA|部品ID|ボタン押下
2)チェックボックスA|部品ID|項目選択
3)リストボックスA|部品ID|項目選択
4)ビットマップA|部品ID|クリック座標
起動するアプリの例
1)保守アプリ1起動ボタン|実行ファイル名
2)保守アプリ2起動ボタン|実行ファイル名
・・・
n)保守アプリn起動ボタン|実行ファイル名
1)ウィンドウタイトル1|画面ID|画面のサムネイルのビットマップ
2)ウィンドウタイトル2|画面ID|画面のサムネイルのビットマップ
・・・
n)ウィンドウタイトルn|画面ID|画面のサムネイルのビットマップ
そのため、操作端末から保守用端末を遠隔操作する場合において、操作対象の保守用アプリ画面に対する視認性および操作性を向上させることができる。
Claims (8)
- 保守用端末の画面を操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する遠隔制御システムであって、
前記保守用端末は、
前記保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を1つ特定する画面特定部と、
前記画面特定部が特定した操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して前記操作端末に送信する画面情報生成部と、を備え、
前記操作端末は、
前記画面レイアウト情報に基づいて、前記操作端末の画面に前記画面部品を表示するとともに、前記画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報を生成して前記保守用端末に送信する操作・表示部を備えた
遠隔制御システム。 - 前記画面特定部は、前記表示・操作対象画面設定部に定義されたウィンドウタイトルと一致するアプリ画面を、前記操作対象画面として特定する
請求項1に記載の遠隔制御システム。 - 前記画面特定部は、前記表示・操作対象画面設定部に定義されたウィンドウタイトルおよびウィンドウ表示プロセスと一致するアプリ画面を、前記操作対象画面として特定する
請求項1に記載の遠隔制御システム。 - 前記画面特定部は、前記表示・操作対象画面設定部に定義されたウィンドウタイトルおよびウィンドウ内の画面部品数と一致するアプリ画面を、前記操作対象画面として特定する
請求項1に記載の遠隔制御システム。 - 前記画面特定部は、前記画面特定部が特定した操作対象画面に対する操作と、この操作に対して次に操作対象となる画面とを定義した画面表示・操作関係設定部に従って、当該操作が行われた場合に、前記次に操作対象となる画面を操作対象画面の候補とする
請求項1から請求項4までの何れか1項に記載の遠隔制御システム。 - 前記画面情報生成部は、前記画面レイアウト情報を前記操作端末に送信した後、前記操作対象画面の変化を監視し、変化が発生した場合に、新たな画面レイアウト情報を生成して、前記操作端末に送信する
請求項1から請求項5までの何れか1項に記載の遠隔制御システム。 - 請求項1から請求項6までの何れか1項に記載の遠隔制御システムに適用される保守用端末であって、前記保守用端末の画面を操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する保守用端末。
- 保守用端末の画面を操作端末に送信して表示するとともに、前記操作端末からの画面操作イベントに基づいて前記保守用端末を操作する遠隔制御システムにおける遠隔制御方法であって、
前記保守用端末の画面に表示された各アプリ画面から、表示・操作対象画面設定部の定義に従って、操作対象画面を1つ特定する画面特定ステップと、
前記画面特定ステップで特定された操作対象画面から画面部品および部品状態を抽出し、これらの画面部品および部品状態に基づいて画面レイアウト情報を生成して前記操作端末に送信する画面情報生成ステップと、
前記画面レイアウト情報に基づいて、前記操作端末の画面に前記画面部品を表示するとともに、前記画面部品に対する操作を監視し、操作があった場合に、画面操作イベント情報を生成して前記保守用端末に送信する操作・表示ステップと、を備えた
遠隔制御方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014207072A JP6179954B2 (ja) | 2014-10-08 | 2014-10-08 | 遠隔制御システム、保守用端末および遠隔制御方法 |
KR1020177007992A KR101919723B1 (ko) | 2014-10-08 | 2015-10-07 | 원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법 |
CN201580054618.9A CN106796482A (zh) | 2014-10-08 | 2015-10-07 | 远程控制系统、维护用终端、操作终端以及远程控制方法 |
EP15849359.3A EP3206116A4 (en) | 2014-10-08 | 2015-10-07 | Remote control system, maintenance terminal, operation terminal, and remote control method |
PCT/JP2015/078468 WO2016056588A1 (ja) | 2014-10-08 | 2015-10-07 | 遠隔制御システム、保守用端末、操作端末および遠隔制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014207072A JP6179954B2 (ja) | 2014-10-08 | 2014-10-08 | 遠隔制御システム、保守用端末および遠隔制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016076150A JP2016076150A (ja) | 2016-05-12 |
JP6179954B2 true JP6179954B2 (ja) | 2017-08-16 |
Family
ID=55653196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014207072A Expired - Fee Related JP6179954B2 (ja) | 2014-10-08 | 2014-10-08 | 遠隔制御システム、保守用端末および遠隔制御方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3206116A4 (ja) |
JP (1) | JP6179954B2 (ja) |
KR (1) | KR101919723B1 (ja) |
CN (1) | CN106796482A (ja) |
WO (1) | WO2016056588A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AT518298B1 (de) * | 2016-03-07 | 2020-01-15 | Avl List Gmbh | Verfahren zum Erzeugen und Aktualisieren einer fernen Instanz einer Schirmansicht |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005041029A2 (en) * | 2003-10-24 | 2005-05-06 | Matsushita Electric Industrial Co., Ltd. | Remote operation system, communication apparatus remote control system and document inspection apparatus |
JP2007011531A (ja) * | 2005-06-29 | 2007-01-18 | Fujitsu Ltd | インタフェース制御プログラム、インタフェース制御方法、インタフェース制御装置、プラグインプログラム |
KR100752630B1 (ko) * | 2005-07-11 | 2007-08-30 | 주식회사 로직플랜트 | 저속통신망과 저사양 개인용통신단말기에 최적화된 컴퓨터원격제어방법 및 그 시스템 |
US7835544B2 (en) * | 2006-08-31 | 2010-11-16 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Method and system for far field image absolute navigation sensing |
JP5042102B2 (ja) * | 2008-03-31 | 2012-10-03 | Necパーソナルコンピュータ株式会社 | 情報処理装置、プログラム、及び、遠隔操作システム |
JP2009288093A (ja) * | 2008-05-29 | 2009-12-10 | Toshiba Corp | 監視制御システム |
JP4857406B1 (ja) * | 2010-06-25 | 2012-01-18 | パナソニック株式会社 | 制御装置およびスクリプト変換方法 |
CN103957236A (zh) * | 2011-02-21 | 2014-07-30 | 北京奇虎科技有限公司 | 基于远程控制的图像显示方法和传输方法 |
KR20120100045A (ko) * | 2011-03-02 | 2012-09-12 | 삼성전자주식회사 | 사용자 단말 장치, 디스플레이 장치, 그 ui 제공 방법 및 제어 방법 |
JP5434941B2 (ja) * | 2011-03-22 | 2014-03-05 | 横河電機株式会社 | 操作監視装置及び操作監視方法 |
JP5927719B2 (ja) * | 2012-05-09 | 2016-06-01 | 株式会社日立ソリューションズ東日本 | 画面変換システム |
CN103530096B (zh) * | 2012-07-03 | 2018-11-16 | 索尼公司 | 远程控制方法、远程控制设备和显示设备 |
JP6205568B2 (ja) * | 2013-01-16 | 2017-10-04 | 株式会社日本デジタル研究所 | リモートアクセス制御システム、方法、およびプログラム |
CN103927222A (zh) * | 2013-12-31 | 2014-07-16 | 瑞达信息安全产业股份有限公司 | 一种用于客户端与服务端的图形协同处理方法和系统 |
-
2014
- 2014-10-08 JP JP2014207072A patent/JP6179954B2/ja not_active Expired - Fee Related
-
2015
- 2015-10-07 KR KR1020177007992A patent/KR101919723B1/ko active IP Right Grant
- 2015-10-07 CN CN201580054618.9A patent/CN106796482A/zh active Pending
- 2015-10-07 WO PCT/JP2015/078468 patent/WO2016056588A1/ja active Application Filing
- 2015-10-07 EP EP15849359.3A patent/EP3206116A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
KR20170047313A (ko) | 2017-05-04 |
EP3206116A1 (en) | 2017-08-16 |
CN106796482A (zh) | 2017-05-31 |
WO2016056588A1 (ja) | 2016-04-14 |
KR101919723B1 (ko) | 2018-11-16 |
EP3206116A4 (en) | 2018-06-20 |
JP2016076150A (ja) | 2016-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9292307B2 (en) | User interface generation apparatus | |
JP6200136B2 (ja) | 画像形成装置、検索システム、画像形成装置の制御方法及びプログラム | |
JP2004264769A (ja) | 情報処理装置およびプログラム | |
US9386174B2 (en) | Image forming apparatus, method for guidance on operation method by image forming apparatus, and system | |
US9834876B2 (en) | Sewing machine system, sewing machine, terminal device, method of displaying content for sewing machine system, recording medium storing program for sewing machine, and recording medium storing program for terminal device | |
US20150163369A1 (en) | Remote control device, remote operation device, screen transmission control method, and non-transitory computer-readable recording medium encoded with screen display control program | |
US9875433B2 (en) | Linkage system and linkage method for image processing, portable terminal device, and image processing linkage program | |
KR102204676B1 (ko) | 디스플레이 장치, 모바일 장치, 이를 포함하는 시스템 및 그 접속 제어방법 | |
JP6488903B2 (ja) | 画面転送制御システム、画面転送制御プログラム及び画面転送制御方法 | |
JP6179954B2 (ja) | 遠隔制御システム、保守用端末および遠隔制御方法 | |
US20140368871A1 (en) | Image forming system, image forming apparatus, remote control apparatus, and recording medium | |
US10388257B2 (en) | Information processing apparatus, method of controlling the same and non-transitory computer-readable storage medium | |
JP2013210867A (ja) | 表示制御装置、表示制御方法、プログラムおよび表示機器 | |
US9781088B2 (en) | Information processing apparatus, method of controlling the same, and storage medium | |
US10785376B2 (en) | Image processing apparatus for sending user interface data | |
US20150271431A1 (en) | Information Transmission Method and Wireless Display System | |
US10523829B2 (en) | Image forming device and control program of image forming device | |
US10359931B2 (en) | Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program | |
US10652411B2 (en) | Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program with text input assistance | |
JP2014171054A (ja) | 表示装置、表示装置を有する監視システム、および表示制御プログラム | |
JP2018046443A (ja) | 情報端末、電子情報ボード及びプログラム | |
JP2016168682A (ja) | 画像処理システム、画像処理装置、画像処理方法およびプログラム | |
JP2019096025A (ja) | 画像処理システム、ユーザインタフェースの提供方法、およびコンピュータプログラム | |
JP2009238060A (ja) | 情報処理システム、サーバ及び端末 | |
JP2004234196A (ja) | ユーザーインターフェース登録システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170321 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170615 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170711 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6179954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |