TW201837795A - 遠端操作系統 - Google Patents

遠端操作系統 Download PDF

Info

Publication number
TW201837795A
TW201837795A TW107106678A TW107106678A TW201837795A TW 201837795 A TW201837795 A TW 201837795A TW 107106678 A TW107106678 A TW 107106678A TW 107106678 A TW107106678 A TW 107106678A TW 201837795 A TW201837795 A TW 201837795A
Authority
TW
Taiwan
Prior art keywords
image
screen
state
remote
target device
Prior art date
Application number
TW107106678A
Other languages
English (en)
Inventor
大和田雅人
田中憲悟
Original Assignee
日商雙擊股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商雙擊股份有限公司 filed Critical 日商雙擊股份有限公司
Publication of TW201837795A publication Critical patent/TW201837795A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/34—Context aware guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

[課題] 提供一種在操作對象機器並不具備通訊功能的情況時或者是當操作對象機器之監視器畫面的顯示內容在遠端操作機器側並未被辨識的情況時，能夠簡易且確實地藉由遠端操作機器來對於操作對象機器進行操作的遠端操作系統。 　　[解決手段] 遠端操作系統(100)，係具備有畫面取得部(121)、和畫像判定部(122)、和狀態提供部(123)、和操作受理部(131)、和操作訊號輸出部(132)、和操作正確錯誤判定部(133)、以及狀態資料庫(DB)。進而，遠端操作系統(100)，係具備有將對象機器(X)之監視器(X1)之畫像作擷取的擷取裝置(141)、和被與控制對象(X)之鍵盤(X2)重疊性地作了連接的控制介面(142)。

Description

遠端操作系統
本發明，係有關於基於對象機器之監視器畫面的狀態來從遠端操作機器而對於該對象機器進行遠端操作的遠端操作系統。
於先前技術中，作為此種遠端操作系統，係如同下述之專利文獻1中所示一般，而周知有將操作對象機器構成為能夠與遠端操作機器進行通訊並將操作對象機器之操作畫面顯示於遠端操作機器側處而受理遠端操作之系統。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本特開2013-62778號公報
[發明所欲解決之課題]
然而，在此種先前技術之遠端操作系統中，當操作對象機器並不具備通訊功能的情況時或者是當操作對象機器之監視器畫面僅為單純之顯示(例如，類比畫面之顯示)而在遠端操作機器側並未被辨識的情況時，係有著難以藉由遠端操作機器來對於操作對象機器進行操作的問題。
有鑑於以上之事態，本發明之目的，係在於提供一種就算是在操作對象機器並不具備通訊功能的情況時或者是當操作對象機器之監視器畫面的顯示內容在遠端操作機器側並未被辨識的情況時，亦能夠簡易且確實地藉由遠端操作機器來對於操作對象機器進行操作的遠端操作系統。 [用以解決課題之手段]
第1發明之遠端操作系統，係基於對象機器之監視器畫面的狀態，來從遠端操作機器而對於該對象機器進行遠端操作，其特徵為，係具備有：畫面取得部，係經由擷取裝置來擷取前述對象機器之監視器畫面並作為畫像來取得之；和畫像判定部，係根據藉由前述畫面取得部所取得的前述畫像，來判定該畫像之狀態；和狀態提供部，係將藉由前述畫像判定部所判定出的前述狀態提供至前述遠端操作機器處；和操作受理部，係受理從前述遠端操作機器而來之操作；和操作訊號輸出部，係將藉由前述操作受理部所受理的前述操作轉換為前述對象機器之操作訊號並經由控制介面來輸出至該對象機器處，前述畫像判定部，係根據藉由前述畫面取得部所取得的前述畫像，來作為該畫像之狀態而判定其是否身為前述對象機器可進行操作之畫面狀態，前述狀態提供部，當前述畫像之狀態係身為前述對象機器可進行操作之畫像狀態的情況時，係產生與該可進行操作之畫像狀態相對應的操作輸入畫面，並提供至前述遠端操作機器處。
若依據第1發明之遠端操作系統，則由於畫面取得部係擷取對象機器之監視器畫面並作為畫像來取得，因此，就算是在像是對象機器之監視器畫面僅身為類比畫面之顯示一般的情況時，亦能夠將該監視器畫面之資訊提供至遠端操作機器處。
於此，在監視器畫面中，係被顯示有各種之畫像，藉由預先以畫像判定部來對於畫面取得部所取得的擷取畫像之狀態進行判定並將該畫像之狀態提供至遠端操作機器處，係能夠將適合於進行遠端操作之畫面的資訊提供至遠端操作機器處。
進而，若依據第1發明之遠端操作系統，則係將藉由操作受理部所受理的從遠端操作機器而來之操作轉換為對象機器之操作訊號並對於該對象機器作輸出。因此，就算是操作對象機器並不具備有通訊功能，也成為能夠藉由該操作訊號來對於對象機器進行直接操作。
如此這般，若依據第1發明之遠端操作系統，則就算是在操作對象機器並不具備通訊功能的情況時或者是當操作對象機器之監視器畫面的顯示內容在遠端操作機器側並未被辨識的情況時，亦能夠簡易且確實地藉由遠端操作機器來對於操作對象機器進行操作。
另外，在第1發明之遠端操作系統中，作為監視器畫面之擷取器，除了使用有擷取裝置之硬體擷取器以外，亦包含有如同遠端桌面一般之由軟體所致之擷取器的概念。
又，若依據第1發明之遠端操作系統，則係預先使畫像判定部判定藉由畫面取得部所取得的畫像是否身為對象機器可進行操作之畫面狀態，並當畫像之狀態係身為對象機器可進行操作之畫像狀態的情況時，藉由狀態提供部來產生與該可進行操作之畫像狀態相對應的操作輸入畫面並提供至遠端操作機器處。因此，係能夠將適合於進行遠端操作之操作輸入畫面提供至遠端操作機器處。
如此這般，若依據第1發明之遠端操作系統，則就算是在操作對象機器並不具備通訊功能的情況時或者是當操作對象機器之監視器畫面的顯示內容在遠端操作機器側並未被辨識的情況時，亦能夠透過適合於進行遠端操作之操作輸入畫面，來簡易且確實地藉由遠端操作機器來對於操作對象機器進行操作。
第2發明之遠端操作系統，係在第1發明中，具備有下述特徵：亦即是，前述操作訊號輸出部，係被重疊性地與前述對象機器之人性化介面(例如鍵盤)作連接，並作為該人性化介面之仿真訊號，而將藉由操作受理部所受理的前述操作轉換為前述對象機器之操作訊號並對於該對象機器作輸出。
若依據第2發明之遠端操作系統，則係作為對象機器之人性化介面的仿真訊號，而將藉由操作受理部所受理之操作轉換為對象機器之操作訊號並對於對象機器作輸出。
因此，若依據第2發明之遠端操作系統，則就算是在操作對象機器並不具備通訊功能或者是外部連接輸入的情況時，亦能夠簡易且確實地藉由遠端操作機器來對於操作對象機器進行操作。
第3發明之遠端操作系統，係在第1或第2發明之任一者中，具備有下述特徵：亦即是，係具備有：操作正確錯誤判定部，係在藉由前述操作訊號輸出部而對於前述對象機器輸出了操作訊號之後，根據經由前述畫面取得部所取得的畫像之狀態，來進行操作正確錯誤之判定。
若依據第3發明之遠端操作系統，則操作正確錯誤判定部，係在藉由操作訊號輸出部而對於對象機器輸出了操作訊號之後，根據經由畫面取得部所取得的畫像之狀態，來進行操作正確錯誤之判定。因此，係能夠根據對象機器之狀態的變化，來對於遠端操作是否被確實地實行一事進行確認。
如此這般，若依據第3發明之遠端操作系統，則就算是在操作對象機器並不具備通訊功能的情況時或者是當操作對象機器之監視器畫面的顯示內容在遠端操作機器側並未被辨識的情況時，亦能夠簡易且確實地藉由遠端操作機器來對於操作對象機器進行操作，並對於該操作之實行作確認。
如同圖1中所示一般，本實施形態之遠端操作系統100，係為就算是在像是身為操作對象機器之對象機器X並不具備通訊功能的情況時或者是並不具有外部連接介面之類的情況時、乃至於當對象機器X之監視器X1之畫面係為像是類比畫面之顯示之類的情況時，亦能夠基於對象機器X之監視器X1之畫面的狀態，來從遠端操作機器Y而對於對象機器X進行遠端操作的遠端操作系統。
遠端操作系統100，係具備有畫面取得部121、和畫像判定部122、和狀態提供部123、和操作受理部131、和操作訊號輸出部132、和操作正確錯誤判定部133、以及狀態資料庫DB。
進而，遠端操作系統100，係具備有將對象機器X之監視器X1之畫像作擷取的擷取裝置141、和被與控制對象X之身為人性化介面的鍵盤X2重疊性地作了連接的控制介面142。
另外，對象機器X之監視器X1的畫面，例如，係為在身為對象機器X之住宿設施中的櫃檯電腦之畫面，例如，在畫面上，係於針對各房間之每一者而分別區劃出的區域中，進行有顏色區分地而顯示有「住房」、「空房」、「清掃」、「預約」等。
畫面取得部121，係經由擷取裝置141，而擷取監視器X1上之畫面並取得之。擷取裝置141，係對於將櫃檯電腦X及其監視器X1作連接的監視器纜線(VGA纜線)之類比畫像訊號以一定之周期來進行取樣並作為畫像資料而輸出至遠端操作系統100處。
擷取裝置141，例如，除了VGA視訊擷取卡之外，亦可為與視訊擷取卡一同地而亦具備有作為VGA分配纜線之功能者。又，擷取裝置141，係並不被限定於從VGA纜線而來之視訊擷取器，而亦可為從視訊(S-Video方式或composite方式)輸入輸出纜線而進行擷取之視訊擷取卡、數位顯示器用之DVI擷取卡、業務用視訊或防盜攝像機用之SDI擷取卡、一般影像機器之HDMI(註冊商標)擷取卡等。
畫像判定部122，係根據藉由畫面取得部121所取得的畫像，來判定該畫像之狀態。另外，畫像判定部122，係在對於藉由畫面取得部121所取得的畫像而因應於需要來施加了濾波處理之後，再判定該畫像之狀態。濾波處理，例如，係為RGBA轉換，並將擷取畫像轉換為由特定之顏色數量所致之畫像。另外，濾波處理，除了RGBA轉換以外，亦可為顏色數量為少之PNG轉換等。
具體而言，畫像判定部122，係作為藉由畫面取得部121所取得的畫像之狀態，而判定其是否身為對象機器X可進行操作之畫面狀態。
狀態提供部123，係將藉由畫像判定部所判定的對象機器X之畫面之狀態，提供至遠端操作機器Y處。
具體而言，狀態提供部123，當由畫像判定部122所致之判定的結果，對象機器X之畫面之狀態係身為對象機器X可進行操作之畫像狀態的情況時，係產生與可進行操作之畫像狀態相對應的操作輸入畫面並提供至遠端操作機器Y處。
以上，係為對於在遠端操作系統100中之對象機器X之監視器X1的畫像之狀態作掌握並提供至外部之遠端操作機器Y處的構成121～123。
操作受理部131，係從該遠端操作系統100而受理從遠端操作機器Y而來之操作。另外，遠端操作機器Y，只要是身為藉由網際網路等之網路NW而被作了連接的外部操作機器，則係可為個人電腦Y1，亦可為智慧型手機Y2。
操作訊號輸出部132，係將藉由操作受理部131所受理的從遠端操作機器Y而來之操作轉換為對象機器X之操作訊號並對於對象機器X作輸出。
更具體而言，操作訊號輸出部132，係經由被重疊性地與對象機器X之鍵盤X2作了連接的控制介面142，來以使藉由操作受理部131所受理的操作會成為對象機器X之鍵盤X2之仿真訊號的方式，而進行對於控制介面142之輸出。
操作正確錯誤判定部133，係在藉由操作訊號輸出部132而對於對象機器X輸出了操作訊號之後，根據經由畫面取得部121所取得的畫像之狀態，來進行操作正確錯誤之判定。
以上，係為在遠端操作系統100中之藉由從遠端操作機器Y而來之操作來對於對象機器X進行操作的構成131～133。
除此之外，遠端操作系統100，係藉由狀態資料庫DB，來將藉由畫像判定部122所判定的畫像之狀態和藉由操作正確錯誤判定部133所判定的操作之正確錯誤作記憶保持。
以上，係為遠端操作系統100之構成，該遠端操作系統100，例如，係藉由CPU(Central Processing Unit)、ROM(Read Only memory)、RAM(Random Access Memory)等之硬體所構成，並將實行由上述處理手段121～123、131～133、DB所致之處理的程式記憶保持於記憶體(未圖示)中，而藉由實行該程式，來作為用以實行上述控制處理之演算裝置(序列器)而起作用。
接著，參考圖2，針對由如同上述一般所構成的遠端操作系統100所致之對於對象機器X之監視器X1的畫像之狀態作掌握並提供至外部之遠端操作機器Y處的處理進行說明。
首先，遠端操作系統100，係藉由畫面取得部121，來經由擷取裝置141，而將監視器X1上之畫面作為所擷取的畫像(實際而言，係為以一定周期所作了擷取的畫像)而取得之(STEP121／圖2)。
接著，遠端操作系統100，係藉由畫像判定部122，來作為在STEP121處所取得的擷取畫像之狀態，而判定是否為對象機器X可進行操作之畫面狀態(STEP122／圖2)。
具體而言，判定方法，係可採用各種之方法，但是，例如，係取得畫像上之特定點的色彩資訊，並根據所取得的色彩資訊(RGB資料)之顏色的組合，來判定對象機器X之監視器X1之畫面的畫像狀態(是否為對象機器X可進行操作之畫像狀態，當為可進行操作之畫像狀態的情況時，係為何種畫像狀態)。
又，作為其他之判定方法，例如，係亦可藉由以OCR(光學文字辨識)來辨識出在畫像中所顯示的文字(包含文字列)，而判定對象機器X之監視器X1之畫面的畫像狀態。
進而，為了使判定精確度提昇，亦可藉由畫像上之色彩資訊和藉由OCR(光學文字辨識)所辨識出的文字之組合，而判定對象機器X之監視器X1之畫面的畫像狀態。
藉由此，例如，當對象機器X係身為在住宿設施中之櫃檯電腦的情況時，若是對於監視器X1上之畫面進行擷取，則於針對各房間之每一者而分別區劃出的區域中進行有顏色區分地而被顯示有「住房」、「空房」、「清掃」、「預約」等之畫像，係被判定為身為可進行操作之狀態並且為可受理關連於空房的預約之畫像狀態。
之後，遠端操作系統100，係將由畫像判定部122所致之判定結果，保存在狀態資料庫DB中(STEP123／圖2)。
接著，狀態提供部123，係從藉由畫像判定部122所判定的對象機器X之監視器X1之畫面之畫像狀態(從狀態資料庫DB所讀出之判定結果)，來進行可進行操作功能之抽出(STEP124／圖2)。
具體而言，狀態提供部123，係藉由對於將判定結果與可進行操作功能以矩陣來作了整理的狀態表進行參照，而將與由畫像判定部122所致之判定結果相對應的可進行操作功能抽出。
接著，狀態提供部123，係進行操作輸入畫面之產生(STEP125／圖2)。
具體而言，狀態提供部123，係因應於在STEP124中所抽出的可進行操作功能，而產生操作輸入畫面。
於此，操作輸入畫面，係為能夠藉由對於由HTML所致之瀏覽器的輸出或者是專用應用程式等來作顯示的畫面，例如，當對象機器X係為在住宿設施中之櫃檯電腦的情況時，係產生僅在空房之房號部分處顯示有預約鍵之操作輸入畫面。
於此，操作輸入畫面，係並非作為單純地將可進行操作功能作了羅列的畫面而被產生，而是以因應於附加條件而僅提供必要之功能的方式，來產生操作輸入畫面。
作為附加條件，例如，係為像是當空房數成為3間以下的情況時以使預約之受理停止的方式而並不顯示身為預約受理功能之預約鍵之類的條件、或者是以在特定時間(凌晨2點～5點)而使預約之受理停止的方式而並不顯示身為預約受理功能之預約鍵之類的條件。
接著，狀態提供部123，係將在STEP125處所產生的操作輸入畫面經由網路NW來提供至遠端操作機器Y處(STEP126／圖2)。
以上，係為藉由遠端操作系統100來對於對象機器X之監視器X1的畫像之狀態作掌握並提供至外部之遠端操作機器Y處的處理之內容，藉由該處理，就算是在像是對象機器X之監視器X1之畫面僅身為類比畫面之顯示一般的情況時，亦能夠將該監視器X1之畫面之資訊提供至遠端操作機器處。
進而，在監視器X1之畫面中，係被顯示有各種之畫像，藉由預先以畫像判定部122來對於畫面取得部121所取得的擷取畫像之狀態進行判定並因應於該畫像之狀態來使狀態提供部123產生操作輸入畫面並提供至遠端操作機器Y處，係能夠將適合於進行遠端操作之畫面的資訊提供至遠端操作機器Y處。
另外，狀態提供部123的產生操作輸入畫面之時序，除了以一定之時序來產生操作輸入畫面的情況之外，係亦能夠以一定之處理周期來對於畫像之狀態的變化作監視並在畫像之狀態作了變化的時序處而將畫面產生為操作輸入畫面。
又，狀態提供部123的產生操作輸入畫面之時序，係亦可為遠端操作機器Y對於該遠端操作系統100進行了存取的時序、乃至於存在有從遠端操作機器Y所對於操作對象機器X之操作的要求之時序。於此情況，較理想，狀態提供部123，係僅對於對遠端操作系統100進行了存取的遠端操作機器Y或者是存在有操作要求的遠端操作機器Y，而對於所產生的操作輸入畫面進行操作。
接著，參照圖3，針對在遠端操作系統100中之藉由從遠端操作機器Y而來之操作來對於對象機器X進行操作的處理作說明。
作為前提，如同上述一般，若是對於對象機器X之監視器X1的畫像之狀態作掌握並將與該內容相對應之操作輸入畫面提供至外部之遠端操作機器Y處，則遠端操作機器Y之使用者，係一面觀看該操作輸入畫面一面決定操作對象機器X之操作內容。
此時，遠端操作系統100，係藉由操作受理部131，而以一定之處理周期來對於從遠端操作機器Y而來之操作要求之有無作監視(STEP131／圖3)。
若是存在有從遠端操作機器Y而來之操作要求(STEP131，YES／圖3)，則係進行該操作內容之特定(STEP132／圖3)。另一方面，當並不存在有從遠端操作機器Y而來之操作要求(STEP131，NO／圖3)，則係反覆實行該監視，直到存在有操作要求為止。
操作內容之特定，係藉由對於在操作輸入畫面上之操作內容作特定，來進行之，更具體而言，係藉由根據從遠端操作機器Y而送訊至遠端操作系統100處的URL參數來特定出操作內容，而進行之。
例如，當在對象機器X係為在住宿設施中之櫃檯電腦的情況中而從遠端操作機器Y來進行空房101之預約操作時，係根據如同[http://伺服器位址/yoyaku(操作指令)?room(對象空房)＝101]一般之URL參數，而特定出101號房之預約鍵之操作。
接著，操作訊號輸出部132，係將在STEP132中所特定出的操作內容，轉換為對象機器X之操作訊號(STEP133／圖3)。
具體而言，操作訊號之轉換，係經由被重疊性地與對象機器X之鍵盤X2作了連接的控制介面142，來以使藉由操作受理部131所受理的操作會成為對象機器X之鍵盤X2之仿真訊號的方式，來作為對於與操作內容相對應的控制介面142之控制訊號(實行指令)之轉換而被實行。
於此，在對於控制介面142之控制訊號(實行指令)中，係適宜被插入有產生在人類對於鍵盤X2進行操作時所應該會產生的delay(延遲時間)之控制訊號(實行指令)。
接著，操作訊號輸出部，係將在STEP133中所被轉換的對象機器X之操作訊號，送訊至控制介面處(STEP134／圖3)。
藉由此，控制介面142，係將控制訊號(實行指令)產生為對象機器X可辨識之控制訊號(操作碼)並對於對象機器X作輸出。於此之控制訊號(操作碼)中，亦係適宜被插入有產生在人類對於鍵盤X2進行操作時所應該會產生的delay(延遲時間)之控制訊號(實行指令)。
例如，當在對象機器X係為在住宿設施中之櫃檯電腦的情況中而從遠端操作機器Y來進行空房101之預約操作時，與鍵盤X2之房號101的鍵操作、預約鍵操作相對應的控制訊號(操作碼)，係以中介存在有具有delay(延遲時間)之控制訊號(實行指令)的形態而被產生，並對於對象機器X作輸出。
另外，在本實施形態中，雖係針對經由控制介面來產生對象機器X可辨識之控制訊號(操作碼)的情況而作了說明，但是，係亦可構成為藉由遠端操作系統100之操作訊號輸出部132，來將該控制訊號(操作碼)直接作轉換輸出。
以上，係為在遠端操作系統100中之藉由從遠端操作機器Y而來之操作來對於對象機器X進行操作的處理內容，較理想，係除了該處理之外，更進而藉由操作正確錯誤判定部133來進行操作正確錯誤之判定處理(STEP135～136／圖3)。
具體而言，操作正確錯誤判定部133，係在藉由操作訊號輸出部132而對於對象機器X輸出了操作訊號之後(實際上，係藉由計時器等來等待一定時間之時間經過)，根據操作之經由畫面取得部121所取得的畫像之狀態，來判定操作是否成功(STEP135／圖3)。
於此，操作之經由畫面取得部121所取得的畫像之狀態的解析，係藉由與畫像判定部122相同之處理(STEP122／參照圖2)，來當存在有與操作內容相對應之對象機器X可進行操作之畫面狀態之變化的情況時，判定為操作成功(STEP135，YES／圖3)，並結束一連串的處理。
另一方面，當並不存在有與操作內容相對應之對象機器X可進行操作之畫面狀態之變化的情況時，係判定為操作並非為成功(STEP135，NO／圖3)，並在對於遠端操作機器Y等而進行了錯誤報告之後(STEP136／圖3)，結束一連串的處理。
另外，代替錯誤報告，係亦可構成為藉由操作訊號輸出部132(例如返回至STEP134處等)而再度進行操作訊號之送訊(參照STEP134)。
又，較理想，由操作正確錯誤判定部133所致之判定結果(畫像狀態)，係被(覆寫)保存在狀態資料庫DB中。
以上，係為在遠端操作系統100中之藉由從遠端操作機器Y而來之操作來對於對象機器X進行操作的處理以及對於該操作之正確錯誤進行判定的處理。
在該處理中，由於係將藉由操作受理部131所受理的從遠端操作機器Y而來之操作轉換為對象機器X之操作訊號並對於該對象機器X作輸出，因此，就算是在操作對象機器X並不具備有通訊功能的情況時，亦成為能夠藉由該操作訊號來對於對象機器X進行直接操作。
進而，由於操作正確錯誤判定部133係根據對象機器X之狀態的變化來進行操作正確錯誤之判定，因此，係能夠對於遠端操作是否被確實地實行一事進行確認。
如此這般，若依據本實施形態之遠端操作系統，則就算是在操作對象機器X並不具備通訊功能的情況時或者是當操作對象機器X之監視器X1之畫面的顯示內容在遠端操作機器Y側並未被辨識的情況時，亦能夠簡易且確實地藉由遠端操作機器Y來對於操作對象機器X進行操作，並對於該操作之實行作確認。
另外，在本實施形態中，作為監視器畫面之擷取器，雖係針對使用有擷取裝置141之硬體擷取器的情況來作了說明，但是，擷取器係並不被限定於此，而亦可為如同遠端桌面一般之由軟體所致之擷取器。
又，在本實施形態中，雖係針對作為控制對象X之人性化介面而對於鍵盤X2進行模擬的情況來作了說明，但是，係並不被限定於此，而亦可為滑鼠、軌跡球、機械式之按鍵等，只要是人類能夠進行輸入並且能夠作模擬的人性化介面，則均可作使用。
進而，在本實施形態中，雖係針對作為對象機器X而對於個人電腦進行操作的情況來作了說明，但是，係並不被限定於此，亦可將被與個人電腦作了連接的印表機裝置X3等作為操作對象。
100‧‧‧遠端操作系統
121‧‧‧畫面取得部
122‧‧‧畫像判定部
123‧‧‧狀態提供部
131‧‧‧操作受理部
132‧‧‧操作訊號輸出部
133‧‧‧操作正確錯誤判定部
141‧‧‧擷取裝置
142‧‧‧控制介面
X‧‧‧對象機器
X1‧‧‧監視器
X2‧‧‧鍵盤(人性化介面)
X3‧‧‧印表機
Y‧‧‧遠端操作機器
DB‧‧‧狀態資料庫
NW‧‧‧網路
[圖1] 係為對於本實施形態之遠端操作系統的概要作展示之系統構成圖。 　　[圖2] 係為對於在圖1之遠端操作系統中的處理內容作展示之流程圖。 　　[圖3] 係為對於在圖1之遠端操作系統中的處理內容作展示之流程圖。

Claims (3)

  1. 一種遠端操作系統，係基於對象機器之監視器畫面的狀態，來從遠端操作機器而對於該對象機器進行遠端操作，其特徵為，係具備有： 　　畫面取得部，係經由擷取裝置來擷取前述對象機器之監視器畫面並作為畫像來取得之；和 　　畫像判定部，係根據藉由前述畫面取得部所取得的前述畫像，來判定該畫像之狀態；和 　　狀態提供部，係將藉由前述畫像判定部所判定出的前述狀態提供至前述遠端操作機器處；和 　　操作受理部，係受理從前述遠端操作機器而來之操作；和 　　操作訊號輸出部，係將藉由前述操作受理部所受理的前述操作轉換為前述對象機器之操作訊號並經由控制介面來輸出至該對象機器處， 　　前述畫像判定部，係根據藉由前述畫面取得部所取得的前述畫像，來作為該畫像之狀態而判定其是否身為前述對象機器可進行操作之畫面狀態， 　　前述狀態提供部，當前述畫像之狀態係身為前述對象機器可進行操作之畫像狀態的情況時，係產生與該可進行操作之畫像狀態相對應的操作輸入畫面，並提供至前述遠端操作機器處。
  2. 如申請專利範圍第1項所記載之遠端操作系統，其中， 　　前述操作訊號輸出部，係被重疊性地與前述對象機器之人性化介面(human interface)作連接，並作為該人性化介面之仿真(emulate)訊號，而將藉由操作受理部所受理的前述操作轉換為前述對象機器之操作訊號並對於該對象機器作輸出。
  3. 如申請專利範圍第1項或第2項所記載之遠端操作系統，其中，係具備有： 　　操作正確錯誤判定部，係在藉由前述操作訊號輸出部而對於前述對象機器輸出了操作訊號之後，根據經由前述畫面取得部所取得的畫像之狀態，來進行操作正確錯誤之判定。
TW107106678A 2017-02-28 2018-02-27 遠端操作系統 TW201837795A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017037485A JP6226352B1 (ja) 2017-02-28 2017-02-28 遠隔操作システム
JP2017-037485 2017-02-28

Publications (1)

Publication Number Publication Date
TW201837795A true TW201837795A (zh) 2018-10-16

Family

ID=60265815

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107106678A TW201837795A (zh) 2017-02-28 2018-02-27 遠端操作系統

Country Status (8)

Country Link
US (2) US10860344B2 (zh)
EP (1) EP3591985A4 (zh)
JP (1) JP6226352B1 (zh)
KR (1) KR102083593B1 (zh)
CN (1) CN109314803A (zh)
SG (1) SG11201810938YA (zh)
TW (1) TW201837795A (zh)
WO (1) WO2018159620A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020106983A (ja) * 2018-12-26 2020-07-09 株式会社エネサイバー モバイル端末を利用した遠隔監視装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808852B1 (ko) * 2006-06-27 2008-03-07 주식회사 에이디칩스 컴퓨터 화면 감시 시스템, 장치 및 방법
JP2008071313A (ja) * 2006-09-15 2008-03-27 Ricoh Co Ltd 遠隔操作システム、被遠隔操作装置、遠隔操作方法、遠隔操作プログラム及び記録媒体
JP2009239395A (ja) * 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
JP2009239506A (ja) 2008-03-26 2009-10-15 Sky Co Ltd 遠隔操作システム
US8970647B2 (en) * 2008-05-13 2015-03-03 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
JP5235188B2 (ja) 2009-12-07 2013-07-10 パナソニック株式会社 画像撮影装置
CN102860034B (zh) * 2010-04-28 2016-05-18 Lg电子株式会社 图像显示设备和操作图像显示设备的方法
JP2012108771A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 画面操作システム
JP5834669B2 (ja) * 2011-09-15 2015-12-24 コニカミノルタ株式会社 リモート端末、リモート端末の制御方法および制御プログラム
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
JP6075193B2 (ja) * 2013-05-07 2017-02-08 株式会社セガゲームス 携帯端末装置
JP2015019256A (ja) 2013-07-11 2015-01-29 村田機械株式会社 遠隔処理システム、遠隔操作装置及びコンピュータプログラム
JP2016110180A (ja) 2014-12-02 2016-06-20 株式会社東芝 医用装置
JP5818050B1 (ja) 2015-01-28 2015-11-18 ビックリック株式会社 ステータス判定システム
US20160300392A1 (en) * 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
JP6611536B2 (ja) * 2015-09-28 2019-11-27 キヤノン株式会社 リモート支援システム、情報処理装置、画像処理装置、それらの制御方法、及びプログラム
CN105681584A (zh) * 2016-03-21 2016-06-15 珠海格力电器股份有限公司 移动终端的远程控制方法及装置
US11461689B2 (en) * 2017-01-06 2022-10-04 Sigurdur Runar Petursson Techniques for automatically testing/learning the behavior of a system under test (SUT)

Also Published As

Publication number Publication date
EP3591985A1 (en) 2020-01-08
WO2018159620A1 (ja) 2018-09-07
JP6226352B1 (ja) 2017-11-08
KR20190004337A (ko) 2019-01-11
US20190227821A1 (en) 2019-07-25
KR102083593B1 (ko) 2020-03-02
EP3591985A4 (en) 2021-01-06
SG11201810938YA (en) 2019-01-30
US10860344B2 (en) 2020-12-08
CN109314803A (zh) 2019-02-05
US20210064396A1 (en) 2021-03-04
JP2018142926A (ja) 2018-09-13

Similar Documents

Publication Publication Date Title
TW378159B (en) Input position detection device and entertainment system
JP4676303B2 (ja) 端末装置
US9332252B2 (en) Automatic test system for digital display systems
CN103176690B (zh) 显示控制设备、显示控制方法和程序
JP2018535459A (ja) ロボットによるプロセス自動化
US20170322637A1 (en) Mouse action capture and replay system and method, recording medium, and program product
CN102740111A (zh) 远程桌面下基于帧号水印的视频流畅度测试方法和装置
CN105975393B (zh) 一种页面显示的检测方法及系统
CN107209922A (zh) 图像处理设备、图像处理系统、和图像处理方法
WO2021045367A1 (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
TW201837795A (zh) 遠端操作系統
JP2018207175A (ja) 人数管理装置、人数管理方法およびプログラム
WO2018041034A1 (zh) Cec模拟测试方法及测试系统
KR20210042077A (ko) 상담 대상자의 드로잉 과정을 통해 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
KR102106618B1 (ko) 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체
JP5266416B1 (ja) テストシステム及びテストプログラム
JP2016139317A (ja) ステータス判定システム
JP2013168072A (ja) 支援装置、支援プログラムおよび支援方法
US20090096880A1 (en) Information processing apparatus, storing method, and computer readable recording medium
JP2021144715A5 (zh)
EP3531291A1 (en) Measurement device for measuring the processing latency of a computer system, method of using such a device
KR101695638B1 (ko) 인터렉티브 컨텐츠의 제어 방법 및 이를 이용한 사용자 인터페이스 장치
CN110533898A (zh) 受控设备的无线控制学习系统、方法、装置、设备及介质
JP2016218836A (ja) 障害復旧支援システムおよび障害復旧支援方法ならびに障害復旧支援プログラム
CN110865911A (zh) 图像测试方法、装置、存储介质、图像采集卡及上位机