JP6226352B1 - 遠隔操作システム - Google Patents

遠隔操作システム Download PDF

Info

Publication number
JP6226352B1
JP6226352B1 JP2017037485A JP2017037485A JP6226352B1 JP 6226352 B1 JP6226352 B1 JP 6226352B1 JP 2017037485 A JP2017037485 A JP 2017037485A JP 2017037485 A JP2017037485 A JP 2017037485A JP 6226352 B1 JP6226352 B1 JP 6226352B1
Authority
JP
Japan
Prior art keywords
target device
image
state
remote
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017037485A
Other languages
English (en)
Other versions
JP2018142926A (ja
Inventor
雅人 大和田
雅人 大和田
憲悟 田中
憲悟 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biclick Co Ltd
Original Assignee
Biclick Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biclick Co Ltd filed Critical Biclick Co Ltd
Priority to JP2017037485A priority Critical patent/JP6226352B1/ja
Application granted granted Critical
Publication of JP6226352B1 publication Critical patent/JP6226352B1/ja
Priority to PCT/JP2018/007290 priority patent/WO2018159620A1/ja
Priority to TW107106678A priority patent/TW201837795A/zh
Priority to EP18760350.1A priority patent/EP3591985A4/en
Priority to CN201880002351.2A priority patent/CN109314803A/zh
Priority to KR1020187035195A priority patent/KR102083593B1/ko
Priority to US16/307,120 priority patent/US10860344B2/en
Priority to SG11201810938YA priority patent/SG11201810938YA/en
Publication of JP2018142926A publication Critical patent/JP2018142926A/ja
Priority to US17/095,188 priority patent/US20210064396A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/34—Context aware guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる遠隔操作システムを提供する。【解決手段】遠隔操作システム１００は、画面取得部１２１と、画像判定部１２２と、状態提供部１２３と、操作受付部１３１と、操作信号出力部１３２と、操作正誤判定部１３３と、状態データベースＤＢとを備える。さらに、遠隔操作システム１００は、対象機器ＸのモニタＸ１の画像をキャプチャするキャプチャ装置１４１と、制御対象ＸのキーボードＸ２に重畳的に接続された制御インターフェイス１４２とを備える。【選択図】図１

Description

本発明は、対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムに関する。
従来、この種の遠隔操作システムとしては、下記特許文献１に示すように、操作対象機器が遠隔操作機器と通信可能に構成され、操作対象機器の操作画面を遠隔操作機器側に表示して、遠隔操作を受け付けるシステムが知られている。
特開２０１３−６２７７８号公報
しかし、かかる従来の遠隔操作システムでは、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面が単なる表示（例えば、アナログ画面の表示）であって遠隔操作機器側で認識されない場合には、操作対象機器を遠隔操作機器により操作することが困難であるという問題がある。
以上に事情に鑑みて、本発明は、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる遠隔操作システムを提供することを目的とする。
第１発明の遠隔操作システムは、対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムにおいて、
前記対象機器のモニタ画面をキャプチャ装置を介してキャプチャして画像として取得する画面取得部と、
前記画面取得部より取得した前記画像から該画像の状態を判定する画像判定部と、
前記画像判定部により判定された前記状態を前記遠隔操作機器に提供する状態提供部と、
前記遠隔操作機器からの操作を受け付ける操作受付部と、
前記操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して制御インターフェイスを介して該対象機器に出力する操作信号出力部と
を備え、
前記画像判定部は、前記画面取得部より取得した前記画像から該画像の状態として、前記対象機器が操作可能な画面状態であるか判定し、
前記状態提供部は、前記画像の状態が前記対象機器が操作可能な画像状態である場合に、該操作可能な画像状態に対応した操作入力画面を生成して前記遠隔操作機器に提供することを特徴とする。
第１発明の遠隔操作システムによれば、画面取得部が、対象機器のモニタ画面をキャプチャして画像として取得するため、対象機器のモニタ画面がアナログ画面の表示に過ぎないような場合にも、該モニタ画面の情報を遠隔操作機器に提供することができる。
ここで、モニタ画面には、種々の画像が表示されるところ、予め画像判定部により、画面取得部が取得したキャプチャ画像の状態を判定し、その画像の状態を遠隔操作機器に提供することで、遠隔操作に適した画面の情報を遠隔操作機器に提供することができる。
さらに、第１発明の遠隔操作システムによれば、操作受付部により受け付けた遠隔操作機器からの操作を、対象機器の操作信号に変換して該対象機器に出力する。そのため、操作対象機器が通信機能を備えていないでも、対象機器をその操作信号により直接操作することが可能となる。
このように、第１発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
なお、第１発明の遠隔操作システムにおいて、モニタ画面のキャプチャとしては、キャプチャ装置を用いるハードキャプチャのほか、リモートデスクトップのようなソフトウエアによるキャプチャのいずれの概念も含まれる。
また、第１発明の遠隔操作システムによれば、予め、画像判定部が、画面取得部より取得した画像が対象機器が操作可能な画面状態であるか判定し、画像の状態が対象機器が操作可能な画像状態である場合に、状態提供部により、該操作可能な画像状態に対応した操作入力画面を生成して遠隔操作機器に提供する。そのため、遠隔操作に適した操作入力画面を遠隔操作機器に提供することができる。
このように、第１発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、遠隔操作に適した操作入力画面を通して、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
第２発明の遠隔操作システムは、第１発明において、
前記操作信号出力部は、前記対象機器のヒューマンインターフェイス（例えばキーボード）に重畳的に接続され、該ヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力することを特徴とする。
第２発明の遠隔操作システムによれば、対象機器のヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた操作を対象機器の操作信号に変換して対象機器に出力する。
そのため、第２発明の遠隔操作システムによれば、操作対象機器が通信機能や外部接続入力を備えていない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作することができる。
第３発明の遠隔操作システムは、第１または第２発明のいずれかにおいて、
前記操作信号出力部により前記対象機器に操作信号を出力した後に、前記画面取得部を介して取得した画像の状態から、操作正誤の判定を行う操作正誤判定部を備えることを特徴とする。
第３発明の遠隔操作システムによれば、操作正誤判定部が、操作信号出力部により対象機器に操作信号を出力した後に、画面取得部を介して取得した画像の状態から、操作正誤の判定を行う。そのため、対象機器の状態の変化により、遠隔操作が確実に実行されたか確認することができる。
このように、第３発明の遠隔操作システムによれば、操作対象機器が通信機能を備えていない場合や、操作対象機器のモニタ画面の表示内容が遠隔操作機器側で認識されない場合でも、簡易かつ確実に、操作対象機器を遠隔操作機器により操作し、その操作の実行を確認することができる。
本実施形態の遠隔操作システムの概要を示すシステム構成図。 図１の遠隔操作システムにおける処理内容を示すフローチャート。 図１の遠隔操作システムにおける処理内容を示すフローチャート。
図１に示すように、本実施形態の遠隔操作システム１００は、操作対象機器である対象機器Ｘが通信機能を備えていない場合や外部接続インターフェイスを持たないような場合、さらに、対象機器ＸのモニタＸ１の画面がアナログ画面の表示のような場合のでも、対象機器ＸのモニタＸ１の画面の状態に基づいて、対象機器Ｘを遠隔操作機器Ｙから遠隔操作する遠隔操作システムである。
遠隔操作システム１００は、画面取得部１２１と、画像判定部１２２と、状態提供部１２３と、操作受付部１３１と、操作信号出力部１３２と、操作正誤判定部１３３と、状態データベースＤＢとを備える。
さらに、遠隔操作システム１００は、対象機器ＸのモニタＸ１の画像をキャプチャするキャプチャ装置１４１と、制御対象ＸのヒューマンインターフェイスであるキーボードＸ２に重畳的に接続された制御インターフェイス１４２とを備える。
なお、対象機器ＸのモニタＸ１の画面は、例えば、対象機器Ｘである宿泊施設におけるフロントコンピュータの画面であって、例えば、画面上には、部屋毎に区画された領域に『在室』，『空室』，『清掃』，『予約』等が色分けして表示される。
画面取得部１２１は、キャプチャ装置１４１を介して、モニタＸ１上の画面をキャプチャして取得する。キャプチャ装置１４１は、フロントコンピュータＸとそのモニタＸ１とを接続するモニタケーブル（ＶＧＡケーブル）のアナログ画像信号を一定の周期でサンプリングした画像データとして遠隔操作システム１００に出力する。
キャプチャ装置１４１は、例えば、ＶＧＡビデオキャプチャーボードのほか、ビデオキャプチャーボードと併せてＶＧＡ分配ケーブルとしての機能を備えていてもよい。また、キャプチャ装置１４１は、ＶＧＡケーブルからのビデオキャプチャーに限られるものではなく、ビデオ（Ｓ-Video方式またはcomposite方式）入出力ケーブルからキャプチャを行うビデオキャプチャーボード、デジタルディスプレイ用のＤＶＩキャプチャーボード、業務用ビデオや防犯カメラ用のＳＤＩキャプチャーボード、映像機器一般のＨＤＭＩ（登録商標）キャプチャーボード等であってもよい。
画像判定部１２２は、画面取得部１２１より取得した画像から該画像の状態を判定する。なお、画像判定部１２２は、画面取得部１２１より取得した画像に対して、必要に応じて、フィルタ処理を施した上で、該画像の状態を判定する。フィルタ処理は、例えば、ＲＧＢＡ変換であって、キャプチャ画像を特定の色数による画像に変換する。なお、フィルタ処理は、ＲＧＢＡ変換の他、色数の少ないＰＮＧ変換等であってもよい。
具体的に、画像判定部１２２は、画面取得部１２１より取得した画像の状態として、対象機器Ｘが操作可能な画面状態であるか判定する。
状態提供部１２３は、画像判定部により判定された、対象機器Ｘの画面の状態を遠隔操作機器Ｙに提供する。
具体的に、状態提供部１２３は、画像判定部１２２による判定の結果、対象機器Ｘの画面の状態が対象機器Ｘが操作可能な画像状態である場合に、操作可能な画像状態に対応した操作入力画面を生成して遠隔操作機器Ｙに提供する。
以上が、遠隔操作システム１００における対象機器ＸのモニタＸ１の画像の状態を把握して、外部の遠隔操作機器Ｙに提供する構成１２１〜１２３である。
操作受付部１３１は、当該遠隔操作システム１００に、遠隔操作機器Ｙからの操作を受け付ける。なお、遠隔操作機器Ｙは、インターネット等のネットワークＮＷで接続された外部操作機器であれば、パーソナルコンピュータＹ１であっても、スマートフォンＹ２であってもよい。
操作信号出力部１３２は、操作受付部１３１により受け付けた遠隔操作機器Ｙからの操作を対象機器Ｘの操作信号に変換して対象機器Ｘに出力する。
より具体的に、操作信号出力部１３２は、対象機器ＸのキーボードＸ２に重畳的に接続された制御インターフェイス１４２を介して、操作受付部１３１により受け付けた操作が対象機器ＸのキーボードＸ２のエミュレート信号となるように、制御インターフェイス１４２への出力を行う。
操作正誤判定部１３３は、操作信号出力部１３２により対象機器Ｘに操作信号を出力した後に、画面取得部１２１を介して取得した画像の状態から、操作正誤の判定を行う。
以上が、遠隔操作システム１００における遠隔操作機器Ｙからの操作により対象機器Ｘを操作する構成１３１〜１３３である。
このほか、遠隔操作システム１００は、状態データベースＤＢにより、画像判定部１２２により判定された画像の状態や操作正誤判定部１３３により判定された操作の正誤が記憶保持される。
以上が、遠隔操作システム１００の構成であり、かかる遠隔操作システム１００は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only memory）、ＲＡＭ（Random Access Memory）等のハードウェアにより構成され、上記処理手段１２１〜１２３、１３１〜１３３、ＤＢによる処理を実行するプログラムをメモリ（不図示）に記憶保持し、そのプログラムを実行することにより、上記制御処理を実行するための演算装置（シーケンサ）として機能する。
次に、図２を参照して、以上のように構成された遠隔操作システム１００による対象機器ＸのモニタＸ１の画像の状態を把握して、外部の遠隔操作機器Ｙに提供する処理について説明する。
まず、遠隔操作システム１００は、画面取得部１２１により、キャプチャ装置１４１を介して、モニタＸ１上の画面をキャプチャした画像（実際には、一定周期でキャプチャした画像）として取得する（ＳＴＥＰ１２１／図２）。
次に、遠隔操作システム１００は、画像判定部１２２により、ＳＴＥＰ１２１で取得したキャプチャ画像の状態として、対象機器Ｘが操作可能な画面状態であるか判定する（ＳＴＥＰ１２２／図２）。
具体的に判定方法は、種々の方法が採用され得るが、例えば、画像上の特定ポイントの色彩情報を取得し、取得した色彩情報（ＲＧＢデータ）の色の組み合わせから、対象機器ＸのモニタＸ１の画面の画像状態（対象機器Ｘが操作可能な画像状態であるか、操作可能な画像状態の場合には、どのような画像状態であるか）を判定する。
また、他の判定方法としては、例えば、ＯＣＲ（光学文字認識）により画像に表示されている文字（文字列を含む）を認識することで、対象機器ＸのモニタＸ１の画面の画像状態を判定してもよい。
さらに、判定精度を向上されるために、画像上の色彩情報と、ＯＣＲ（光学文字認識）により認識された文字との組み合わせにより、対象機器ＸのモニタＸ１の画面の画像状態を判定してもよい。
これにより、例えば、対象機器Ｘが宿泊施設におけるフロントコンピュータの場合には、モニタＸ１条の画面をキャプチャすると、各部屋に区画された領域に『在室』，『空室』，『清掃』，『予約』等が色分けして表示される画像が、操作可能な状態であって、空室に関する予約受付可能な画像状態であると判定される。
そして、遠隔操作システム１００は、画像判定部１２２による判定結果を状態データベースＤＢに保存する（ＳＴＥＰ１２３／図２）。
次に、状態提供部１２３は、画像判定部１２２により判定された、対象機器ＸのモニタＸ１の画面の画像状態（状態データベースＤＢから読み出した判定結果）から、操作可能機能の抽出を行う（ＳＴＥＰ１２４／図２）。
具体的に、状態提供部１２３は、判定結果と操作可能機能とをマトリックスで整理した状態テーブルを参照することにより、画像判定部１２２による判定結果に対応した操作可能機能を抽出する。
次に、状態提供部１２３は、操作入力画面の生成を行う（ＳＴＥＰ１２５／図２）。
具体的に、状態提供部１２３は、ＳＴＥＰ１２４で抽出した操作可能機能に応じた操作入力画面を生成する。
ここで、操作入力画面は、ＨＴＭＬによるブラウザへの出力や専用アプリケーションなどで表示可能な画面であって、例えば、対象機器Ｘが宿泊施設におけるフロントコンピュータの場合には、空室のＲＯＯＭナンバー部分にのみ予約ボタンを表示した操作入力画面が生成される。
ここで、操作入力画面は、単純に操作可能機能を羅列した画面として生成されるわけではなく、付加条件に応じて必要な機能のみ提供するように、操作入力画面が生成される。
付加条件としては、例えば、空室数が３室以下となっている場合には、予約受付を停止するように、予約受付機能である予約ボタンは表示しないといった条件や、特定時間（午前２時〜５時）は予約受付を停止するように、予約受付機能である予約ボタンは表示しないといった条件である。
次いで、状態提供部１２３は、ＳＴＥＰ１２５で生成した操作入力画面をネットワークＮＷを経由して遠隔操作機器Ｙに提供する（ＳＴＥＰ１２６／図２）。
以上が遠隔操作システム１００により、対象機器ＸのモニタＸ１の画像の状態を把握して、外部の遠隔操作機器Ｙに提供する処理の内容であり、かかる処理により、対象機器ＸのモニタＸ１の画面がアナログ画面の表示に過ぎないような場合にも、該モニタＸ１の画面の情報を遠隔操作機器に提供することができる。
さらに、モニタＸ１の画面には、種々の画像が表示されるところ、予め画像判定部１２２により、画面取得部１２１が取得したキャプチャ画像の状態を判定し、その画像の状態に応じた操作入力画面を状態提供部１２３が生成して遠隔操作機器Ｙに提供することで、遠隔操作に適した画面の情報を遠隔操作機器Ｙに提供することができる。
なお、状態提供部１２３が操作入力画面を生成するタイミングは、一定のタイミングで、操作入力画面を生成する場合のほか、一定の処理周期で画像の状態の変化を監視し、画像の状態が変化したタイミングで画面を操作入力画面を生成してもよい。
また、状態提供部１２３が操作入力画面を生成するタイミングは、遠隔操作機器Ｙが当該遠隔操作システム１００にアクセスしたタイミングや、さらに遠隔操作機器Ｙから操作対象機器Ｘの操作のリクエストがあったタイミングであってもよい。この場合、状態提供部１２３は、遠隔操作システム１００にアクセスのあった遠隔操作機器Ｙや操作リクエストのあった遠隔操作機器Ｙに対してのみ、生成した操作入力画面を操作することが好ましい。
次に、図３を参照して、遠隔操作システム１００における遠隔操作機器Ｙからの操作により対象機器Ｘを操作する処理について説明する。
前提として、上述のように、対象機器ＸのモニタＸ１の画像の状態を把握して、その内容に応じた操作入力画面が外部の遠隔操作機器Ｙに提供されると、遠隔操作機器Ｙのユーザは、該操作入力画面を見ながら、操作対象機器Ｘの操作内容を決定する。
このとき、遠隔操作システム１００は、操作受付部１３１により、遠隔操作機器Ｙから操作要請の有無を一定の処理周期で監視する（ＳＴＥＰ１３１／図３）。
遠隔操作機器Ｙからの操作要請があると（ＳＴＥＰ１３１でＹＥＳ／図３）、その操作内容の特定を行う（ＳＴＥＰ１３２／図３）。一方で、遠隔操作機器Ｙからの操作要請がない場合には（ＳＴＥＰ１３１でＮＯ／図３）、操作要請があるまでかかる監視を繰り返し実行する。
操作内容の特定は、操作入力画面上での操作内容を特定することにより行われ、より具体的には、遠隔操作機器Ｙから遠隔操作システム１００に送信されたＵＲＬパラメータにより操作内容を特定することにより行われる。
例えば、対象機器Ｘが宿泊施設におけるフロントコンピュータの場合において空室１０１の予約操作を遠隔操作機器Ｙから行う際には、［ http:// サーバアドレス / yoyaku （操作コマンド）?room（対象空室）＝101 ］ のようなＵＲＬパラメータにより、１０１号室の予約ボタンの操作を特定する。
次に、操作信号出力部１３２は、ＳＴＥＰ１３２で特定された操作内容を対象機器Ｘの操作信号に変換する（ＳＴＥＰ１３３／図３）。
具体的に、操作信号の変換は、対象機器ＸのキーボードＸ２に重畳的に接続された制御インターフェイス１４２を介して、操作受付部１３１により受け付けた操作が対象機器ＸのキーボードＸ２のエミュレート信号となるように、操作内容に応じた制御インターフェイス１４２の制御信号（実行コマンド）へ変換として実行される。
ここで、制御インターフェイス１４２への制御信号（実行コマンド）には、人がキーボードＸ２を操作する際に生じるであろうディレイ（遅延時間）を持たせる制御信号（実行コマンド）が適宜挿入される。
次いで、操作信号出力部は、ＳＴＥＰ１３３で変換された対象機器Ｘの操作信号を制御インターフェイスに送信する（ＳＴＥＰ１３４／図３）。
これにより制御インターフェイス１４２は、制御信号（実行コマンド）を対象機器Ｘが認識可能な制御信号（操作コード）を生成して対象機器Ｘに出力する。ここでの制御信号（操作コード）でも、人がキーボードＸ２を操作する際に生じるであろうディレイ（遅延時間）を持たせる制御信号（実行コマンド）が適宜挿入される。
例えば、対象機器Ｘが宿泊施設におけるフロントコンピュータの場合において空室１０１の予約操作を遠隔操作機器Ｙから行う際には、キーボードＸ２の部屋番号１０１のキー操作、予約キー操作に対応した制御信号（操作コード）が、ディレイ（遅延時間）を持たせる制御信号（実行コマンド）を介在された形で生成されて、対象機器Ｘに出力される。
なお、本実施形態では、制御インターフェイスを介して、対象機器Ｘが認識可能な制御信号（操作コード）が生成される場合について説明したが、遠隔操作システム１００の操作信号出力部１３２により、かかる制御信号（操作コード）が直接、変換出力されるようにしてもよい。
以上が、遠隔操作システム１００における遠隔操作機器Ｙからの操作により対象機器Ｘを操作する処理内容であり、かかる処理に加えて、操作正誤判定部１３３により、操作正誤の判定処理が行わることが好ましい（ＳＴＥＰ１３５〜１３６／図３）。
具体的に、操作正誤判定部１３３は、操作信号出力部１３２により対象機器Ｘに操作信号を出力した後に（実際にはカウンタタイマ等で一定時間タイムアップするのを待って）、操作の画面取得部１２１を介して取得した画像の状態から操作が成功したか判定する（ＳＴＥＰ１３５／図３）。
ここで、操作の画面取得部１２１を介して取得した画像の状態の解析は、画像判定部１２２と同様の処理（ＳＴＥＰ１２２／図２参照）により、操作内容に対応した、対象機器Ｘが操作可能な画面状態の変化がある場合には、操作成功と判定して（ＳＴＥＰ１３５でＹＥＳ／図３）、一連の処理を終了する。
一方、操作内容に対応した、対象機器Ｘが操作可能な画面状態の変化がない場合には、操作は成功でないと判定して（ＳＴＥＰ１３５でＮＯ／図３）、エラー報知を遠隔操作機器Ｙ等に行った上で（ＳＴＥＰ１３６／図３）、一連の処理を終了する。
なお、エラー報知に換えて、（ＳＴＥＰ１３４にリターンするなどして）操作信号出力部１３２により、再度、操作信号の送信（ＳＴＥＰ１３４参照）を行うようにしてもよい。
また、操作正誤判定部１３３による判定結果（画像状態）は、状態データベースＤＢに（上書き）保存されることが好ましい。
以上が、遠隔操作システム１００における遠隔操作機器Ｙからの操作により対象機器Ｘを操作する処理および、その操作の正誤を判定する処理である。
かかる処理では、操作受付部１３１により受け付けた遠隔操作機器Ｙからの操作を、対象機器Ｘの操作信号に変換して該対象機器Ｘに出力するため、操作対象機器Ｘが通信機能を備えていない場合でも、対象機器Ｘをその操作信号により直接操作することが可能となる。
さらに、操作正誤判定部１３３が、対象機器Ｘの状態の変化により、操作正誤の判定を行うため、遠隔操作が確実に実行されたか確認することができる。
このように、本実施形態の遠隔操作システムによれば、操作対象機器Ｘが通信機能を備えていない場合や、操作対象機器ＸのモニタＸ１の画面の表示内容が遠隔操作機器Ｙ側で認識されない場合でも、簡易かつ確実に、操作対象機器Ｘを遠隔操作機器Ｙにより操作し、その操作の実行を確認することができる。
なお、本実施形態では、モニタ画面のキャプチャとしては、キャプチャ装置１４１を用いるハードキャプチャの場合について説明したが、キャプチャはこれに限定されるものではなく、リモートデスクトップのようなソフトウエアによるキャプチャであってもよい。
また、本実施形態では、制御対象ＸのヒューマンインターフェイスとしてキーボードＸ２をエミュレートする場合について説明したが、これに限定されるものではなく、マウス・トラックボール、機械式の押しボタンなど、人が入力できエミュレート可能なヒューマンインターフェイスであればいずれであってもよい。
さらに、本実施形態では、対象機器Ｘとしてパーソナルコンピュータを操作する場合について説明したが、これに限定されるものではなく、パーソナルコンピュータに接続されたプリンタ装置Ｘ３などを操作対象としてもよい。
１００…遠隔操作システム、１２１…画面取得部、１２２…画像判定部、１２３…状態提供部、１３１…操作受付部、１３２…操作信号出力部、１３３…操作正誤判定部、１４１…キャプチャ装置、１４２…制御インターフェイス、Ｘ…対象機器、Ｘ１…モニタ、Ｘ２…キーボード（ヒューマンインターフェイス）、Ｘ３…プリンタ、Ｙ…遠隔操作機器、ＤＢ…状態データベース、ＮＷ…ネットワーク。

Claims (3)

  1. 対象機器のモニタ画面の状態に基づいて、該対象機器を遠隔操作機器から遠隔操作する遠隔操作システムにおいて、
    前記対象機器のモニタ画面をキャプチャ装置を介してキャプチャして画像として取得する画面取得部と、
    前記画面取得部より取得した前記画像から該画像の状態を判定する画像判定部と、
    前記画像判定部により判定された前記状態を前記遠隔操作機器に提供する状態提供部と、
    前記遠隔操作機器からの操作を受け付ける操作受付部と、
    前記操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して制御インターフェイスを介して該対象機器に出力する操作信号出力部と
    を備え、
    前記画像判定部は、前記画面取得部より取得した前記画像から該画像の状態として、前記対象機器が操作可能な画面状態であるか判定し、
    前記状態提供部は、前記画像の状態が前記対象機器が操作可能な画像状態である場合に、該操作可能な画像状態に対応した操作入力画面を生成して前記遠隔操作機器に提供することを特徴とする遠隔操作システム。
  2. 請求項１記載の遠隔操作システムにおいて、
    前記操作信号出力部は、前記対象機器のヒューマンインターフェイスに重畳的に接続され、該ヒューマンインターフェイスのエミュレート信号として、操作受付部により受け付けた前記操作を前記対象機器の操作信号に変換して該対象機器に出力することを特徴とする遠隔操作システム。
  3. 請求項１または２記載の遠隔操作システムにおいて、
    前記操作信号出力部により前記対象機器に操作信号を出力した後に、前記画面取得部を介して取得した画像の状態から、操作正誤の判定を行う操作正誤判定部を備えることを特徴とする遠隔操作システム。
JP2017037485A 2017-02-28 2017-02-28 遠隔操作システム Active JP6226352B1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2017037485A JP6226352B1 (ja) 2017-02-28 2017-02-28 遠隔操作システム
SG11201810938YA SG11201810938YA (en) 2017-02-28 2018-02-27 Remote operating system
EP18760350.1A EP3591985A4 (en) 2017-02-28 2018-02-27 REMOTE OPERATION SYSTEM
TW107106678A TW201837795A (zh) 2017-02-28 2018-02-27 遠端操作系統
PCT/JP2018/007290 WO2018159620A1 (ja) 2017-02-28 2018-02-27 遠隔操作システム
CN201880002351.2A CN109314803A (zh) 2017-02-28 2018-02-27 远程操作系统
KR1020187035195A KR102083593B1 (ko) 2017-02-28 2018-02-27 원격 조작 시스템
US16/307,120 US10860344B2 (en) 2017-02-28 2018-02-27 Remote operating system
US17/095,188 US20210064396A1 (en) 2017-02-28 2020-11-11 Remote operating system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017037485A JP6226352B1 (ja) 2017-02-28 2017-02-28 遠隔操作システム

Publications (2)

Publication Number Publication Date
JP6226352B1 true JP6226352B1 (ja) 2017-11-08
JP2018142926A JP2018142926A (ja) 2018-09-13

Family

ID=60265815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017037485A Active JP6226352B1 (ja) 2017-02-28 2017-02-28 遠隔操作システム

Country Status (8)

Country Link
US (2) US10860344B2 (ja)
EP (1) EP3591985A4 (ja)
JP (1) JP6226352B1 (ja)
KR (1) KR102083593B1 (ja)
CN (1) CN109314803A (ja)
SG (1) SG11201810938YA (ja)
TW (1) TW201837795A (ja)
WO (1) WO2018159620A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106983A (ja) * 2018-12-26 2020-07-09 株式会社エネサイバー モバイル端末を利用した遠隔監視装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009953A (ja) * 2006-06-27 2008-01-17 Advanced Digital Chips Inc コンピューター画面監視システム、監視装置及び監視方法
JP2008071313A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 遠隔操作システム、被遠隔操作装置、遠隔操作方法、遠隔操作プログラム及び記録媒体
JP2009239395A (ja) * 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
JP2013062778A (ja) * 2011-09-15 2013-04-04 Konica Minolta Business Technologies Inc リモート端末、リモート端末の制御方法および制御プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009239506A (ja) 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
US8970647B2 (en) * 2008-05-13 2015-03-03 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
JP5235188B2 (ja) 2009-12-07 2013-07-10 パナソニック株式会社 画像撮影装置
CN102860034B (zh) * 2010-04-28 2016-05-18 Lg电子株式会社 图像显示设备和操作图像显示设备的方法
JP2012108771A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 画面操作システム
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
JP6075193B2 (ja) * 2013-05-07 2017-02-08 株式会社セガゲームス 携帯端末装置
JP2015019256A (ja) 2013-07-11 2015-01-29 村田機械株式会社 遠隔処理システム、遠隔操作装置及びコンピュータプログラム
JP2016110180A (ja) * 2014-12-02 2016-06-20 株式会社東芝 医用装置
JP5818050B1 (ja) 2015-01-28 2015-11-18 ビックリック株式会社 ステータス判定システム
US20160300392A1 (en) * 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
JP6611536B2 (ja) * 2015-09-28 2019-11-27 キヤノン株式会社 リモート支援システム、情報処理装置、画像処理装置、それらの制御方法、及びプログラム
CN105681584A (zh) * 2016-03-21 2016-06-15 珠海格力电器股份有限公司 移动终端的远程控制方法及装置
US11461689B2 (en) * 2017-01-06 2022-10-04 Sigurdur Runar Petursson Techniques for automatically testing/learning the behavior of a system under test (SUT)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009953A (ja) * 2006-06-27 2008-01-17 Advanced Digital Chips Inc コンピューター画面監視システム、監視装置及び監視方法
JP2008071313A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 遠隔操作システム、被遠隔操作装置、遠隔操作方法、遠隔操作プログラム及び記録媒体
JP2009239395A (ja) * 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
JP2013062778A (ja) * 2011-09-15 2013-04-04 Konica Minolta Business Technologies Inc リモート端末、リモート端末の制御方法および制御プログラム

Also Published As

Publication number Publication date
EP3591985A4 (en) 2021-01-06
CN109314803A (zh) 2019-02-05
WO2018159620A1 (ja) 2018-09-07
SG11201810938YA (en) 2019-01-30
US10860344B2 (en) 2020-12-08
KR20190004337A (ko) 2019-01-11
US20210064396A1 (en) 2021-03-04
EP3591985A1 (en) 2020-01-08
US20190227821A1 (en) 2019-07-25
JP2018142926A (ja) 2018-09-13
KR102083593B1 (ko) 2020-03-02
TW201837795A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
JP4676303B2 (ja) 端末装置
CN103176690B (zh) 显示控制设备、显示控制方法和程序
CN103051693B (zh) 设备控制方法与移动通信终端
US20100175012A1 (en) System and Method for Remote Monitoring and Control of Field Device
EP2869584B1 (en) Method and device for realizing distributed remote control, and television terminal and mobile terminal thereof
CN110895459A (zh) 信息处理系统、装置、方法以及存储介质
CN111736539B (zh) 一种监控数据显示方法、装置、系统、服务器及存储介质
CN112685106A (zh) 应用程序的启动方法、系统、装置、电子设备及存储介质
WO2018041034A1 (zh) Cec模拟测试方法及测试系统
JP6226352B1 (ja) 遠隔操作システム
US20160034116A1 (en) Hand-held electronic apparatus having function of activating application program of electronic apparatus, and method thereof
CN107870752B (zh) 终端窗口上墙方法、终端、电视墙及系统
JP5266416B1 (ja) テストシステム及びテストプログラム
JP2016218836A (ja) 障害復旧支援システムおよび障害復旧支援方法ならびに障害復旧支援プログラム
JP6303771B2 (ja) 画像選択装置、画像選択方法、画像配信システム及びコンテンツ選択装置
CN106210665B (zh) 一种基于视频采集的远程主机控制方法及系统
JP2017033397A (ja) 操作情報共有装置、アプリ実行装置、操作情報共有システム、情報処理装置、およびプログラム
US20200012855A1 (en) Operation assistance apparatus, operation assistance method, and computer readable recording medium
CN111750964A (zh) 称重仪表和称重系统
US20090096880A1 (en) Information processing apparatus, storing method, and computer readable recording medium
CN102929548A (zh) 显示操控方法和装置、用户终端及显示操控系统
JP6266925B2 (ja) 制御装置、制御方法、およびプログラム
US20150040019A1 (en) Method and apparatus for providing application user interface
CN116366625A (zh) 一种基于ipkvm的远程自动控制系统、方法及电子设备
JP7085311B2 (ja) 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171003

R150 Certificate of patent or registration of utility model

Ref document number: 6226352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150