TWI671676B - 資訊處理裝置、資訊處理方法及資訊處理系統 - Google Patents

資訊處理裝置、資訊處理方法及資訊處理系統 Download PDF

Info

Publication number
TWI671676B
TWI671676B TW103139672A TW103139672A TWI671676B TW I671676 B TWI671676 B TW I671676B TW 103139672 A TW103139672 A TW 103139672A TW 103139672 A TW103139672 A TW 103139672A TW I671676 B TWI671676 B TW I671676B
Authority
TW
Taiwan
Prior art keywords
processing
data
information processing
mentioned
image
Prior art date
Application number
TW103139672A
Other languages
English (en)
Other versions
TW201531922A (zh
Inventor
山田裕嗣
谷脇俊之
Original Assignee
東京威力科創股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東京威力科創股份有限公司 filed Critical 東京威力科創股份有限公司
Publication of TW201531922A publication Critical patent/TW201531922A/zh
Application granted granted Critical
Publication of TWI671676B publication Critical patent/TWI671676B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G05B19/054—Input/output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Programmable Controllers (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本發明提供一種進行用以自第一資訊處理機器操作第二資訊處理機器之處理的資訊處理裝置。該資訊處理裝置包括：輸入處理機構，其進行用以接收操作之輸入資料及圖像之輸入資料的處理，該操作之輸入資料係來自上述第一資訊處理機器且基於上述操作而產生，該圖像之輸入資料係來自上述第二資訊處理機器且基於上述操作之操作畫面而產生；限制處理機構，其進行用以對上述操作之輸入資料或上述圖像之輸入資料實施特定之限制的處理；及記憶機構，其記憶包含與第二資訊處理機器之狀態相應之限制處理內容的限制資料。上述限制處理機構係基於上述圖像之輸入資料及上述限制資料而進行用以實施上述特定之限制的處理。

Description

資訊處理裝置、資訊處理方法及資訊處理系統
本發明係關於一種資訊處理裝置、資訊處理方法、及資訊處理系統。
先前，已知有用以藉由遠距操作來操作被控制機器之機器控制系統(例如，參照專利文獻1、專利文獻2)。此處，向被遠距操作之處理裝置、及實施操作之側之電腦中，分別導入有控制用之軟體，藉此進行遠距操作。
又，已知有如下技術：利用KVM(Keyboard Video Mouse，鍵盤、顯示器、滑鼠)裝置，藉此將控制裝置與被控制機器連接，自遠方對被控制機器進行遠距操作。
[專利文獻1]日本專利特開2003-282387號公報
[專利文獻2]日本專利特開2004-348605號公報
[專利文獻3]日本專利特開2007-034376號公報
然而，於利用上述機器控制系統、或KVM裝置之遠距操作中，因進行遠距操作之操作員係於遠離被控制機器等之場所操作被控制機器，故有難以掌握被控制機器之狀態而發生危險動作之虞。例如，於半導體裝置之製造中，假設於無塵室內設置半導體製造裝置，操作員自無塵室之外藉由遠距操作來操作半導體製造裝置。於該情形時，若 於無法掌握製造裝置之周邊環境及裝置狀態之狀態下進行遠距操作，則根據情況，有導致製造裝置進行危險動作之虞。
又，於上述機器控制系統等中，對控制裝置及被控制機器各者，需要改修控制用之軟體之安裝或硬體，特別是於半導體製造裝置中，製造裝置側之軟體或硬體之改修需要大量費用與時間。
本發明之1個態樣係鑒於上述課題而完成者，其提供一種減少控制裝置、及被控制機器之改修等，從而可容易地構建系統，且可確保安全性地進行遠距操作的資訊處理裝置、資訊處理方法、及資訊處理系統。
根據本發明之一實施態樣，提供一種進行用以自第一資訊處理機器操作第二資訊處理機器之處理的資訊處理裝置。該資訊處理裝置包括：輸入處理機構，其進行用以接收操作之輸入資料及圖像之輸入資料的處理，該操作之輸入資料係來自上述第一資訊處理機器且基於上述操作而產生，該圖像之輸入資料係來自上述第二資訊處理機器且基於上述操作之操作畫面而產生；限制處理機構，其進行用以對上述操作之輸入資料或上述圖像之輸入資料實施特定之限制的處理；及記憶機構，其記憶包含與第二資訊處理機器之狀態相應之限制處理內容的限制資料。上述限制處理機構係基於上述圖像之輸入資料、及上述限制資料，而判定是否進行用以實施上述特定之限制的處理。
根據本發明，可減少控制裝置、及被控制機器之改修等，從而可容易地構建系統，且可確保安全性地進行遠距操作。
1‧‧‧資訊處理系統
2‧‧‧纜線
3‧‧‧桌面畫面
4‧‧‧設定資料
5‧‧‧遮罩資料
6‧‧‧已進行遮罩處理之桌面畫面
7‧‧‧判定處理之桌面畫面
8‧‧‧差分圖像
9‧‧‧通知用之桌面畫面
31‧‧‧標題文本
32‧‧‧終端操作圖標
33‧‧‧攝像機應用軟體圖標
34‧‧‧資料刪除圖標
35‧‧‧網路組
51‧‧‧可點選區域
61‧‧‧已進行非顯示之遮罩處理之桌面畫面
62‧‧‧已進行半透明化之遮罩處理之桌面畫面
63‧‧‧已進行塗滿顏色之遮罩處理之桌面畫面
64‧‧‧對一部分圖標已進行非顯示之遮罩處理之桌面畫面
65‧‧‧對一部分視窗已進行非顯示之遮罩處理之桌面畫面
71‧‧‧檔案夾
81‧‧‧已進行遮罩處理之差分圖像
82‧‧‧藉由合成而生成之桌面畫面
83‧‧‧未對差分圖像進行遮罩處理之桌面畫面
91‧‧‧訊息框
100‧‧‧操作員終端(第一資訊處理機器)
100F1‧‧‧輸入處理部
100F2‧‧‧控制處理部
100F3‧‧‧輸出處理部
100H1‧‧‧輔助記憶裝置
100H2‧‧‧記憶裝置
100H3‧‧‧CPU
100H4‧‧‧連接器
100H5‧‧‧輸入I/F
100H6‧‧‧輸出I/F
100H7‧‧‧媒體驅動器
100H8‧‧‧網路I/F
100H9‧‧‧匯流排
100H51‧‧‧鍵盤
100H52‧‧‧滑鼠
100H61‧‧‧顯示器
100H71‧‧‧媒體
101‧‧‧遠程KVM裝置(資訊處理裝置)
101F1‧‧‧輸入處理部
101F2‧‧‧記憶部
101F3‧‧‧控制處理部
101F4‧‧‧限制處理部
101F5‧‧‧輸出處理部
101F11‧‧‧圖像輸入部
101F12‧‧‧限制資料輸入部
101F13‧‧‧控制信號輸入部
101F41‧‧‧判定處理部
101F42‧‧‧禁止處理部
101F43‧‧‧圖像處理部
101F44‧‧‧訊息輸出處理部
101F51‧‧‧圖像輸出部
101F52‧‧‧限制信號輸出部
101H1‧‧‧運算裝置
101H2‧‧‧記憶裝置
101H3‧‧‧媒體連接器
101H4‧‧‧網路I/F
101H5‧‧‧輸入用連接器
101H6‧‧‧輸出用連接器
101H7‧‧‧圖像輸入I/F
101H8‧‧‧圖像輸出I/F
101H31‧‧‧媒體
101H51‧‧‧鍵盤
101H52‧‧‧滑鼠
101H81‧‧‧顯示器
102‧‧‧製造裝置(第二資訊處理機器)
102F1‧‧‧輸入處理部
102F2‧‧‧控制處理部
102F3‧‧‧輸出處理部
102F4‧‧‧製程控制部
102H1‧‧‧輔助記憶裝置
102H2‧‧‧記憶裝置
102H3‧‧‧CPU
102H4‧‧‧圖像輸出連接器
102H5‧‧‧輸入連接器
102H6‧‧‧輸入輸出連接器
102H7‧‧‧匯流排
200‧‧‧網路
351‧‧‧郵件應用軟體圖標
352‧‧‧網路利用應用軟體圖標
1021‧‧‧資訊處理裝置
1022‧‧‧製造製程用裝置
1023‧‧‧纜線
S0801‧‧‧步驟
S0802‧‧‧步驟
S0803‧‧‧步驟
S0804‧‧‧步驟
S0805‧‧‧步驟
S0806‧‧‧步驟
S0807‧‧‧步驟
S0901‧‧‧步驟
S0902‧‧‧步驟
S0903‧‧‧步驟
S0904‧‧‧步驟
S0905‧‧‧步驟
S0906‧‧‧步驟
S1301‧‧‧步驟
S1302‧‧‧步驟
S1303‧‧‧步驟
S1304‧‧‧步驟
S1501‧‧‧步驟
S1502‧‧‧步驟
S1503‧‧‧步驟
S1504‧‧‧步驟
S1505‧‧‧步驟
S1506‧‧‧步驟
S1507‧‧‧步驟
S1508‧‧‧步驟
S1701‧‧‧步驟
S1702‧‧‧步驟
S1703‧‧‧步驟
S1704‧‧‧步驟
S1705‧‧‧步驟
S1706‧‧‧步驟
S1707‧‧‧步驟
S1708‧‧‧步驟
S1901‧‧‧步驟
S1902‧‧‧步驟
S1903‧‧‧步驟
S1904‧‧‧步驟
S1905‧‧‧步驟
圖1係表示本發明之一實施形態之資訊處理系統之構成之一例的概念圖。
圖2係對本發明之一實施形態之操作員終端之一例進行說明的功能區塊圖。
圖3係對本發明之一實施形態之操作員終端之硬體構成之一例進行說明的方塊圖。
圖4係對本發明之一實施形態之製造裝置之一例進行說明的功能區塊圖。
圖5係對本發明之一實施形態之製造裝置之硬體構成之一例進行說明的方塊圖。
圖6係對本發明之一實施形態之遠程KVM裝置之一例進行說明的功能區塊圖。
圖7係對本發明之一實施形態之遠程KVM裝置之硬體構成之一例進行說明的方塊圖。
圖8係對本發明之一實施形態之資訊處理系統所實施之整體處理之一例進行說明的流程圖。
圖9係對本發明之一實施形態之判定處理之一例進行說明的流程圖。
圖10係對本發明之一實施形態之操作畫面之一例進行說明的圖。
圖11A係表示成為本發明之一實施形態之圖案匹配處理之對象的圖像之一例的圖。
圖11B係表示本發明之一實施形態之圖案匹配處理之模板圖像之一例的圖。
圖11C係表示成為本發明之一實施形態之圖案匹配處理之對象的圖像藉由模板圖像而分割之狀態之一例的圖。
圖12係對本發明之一實施形態之設定資料之一例進行說明的表。
圖13係對本發明之一實施形態之第1實施形態之限制處理之一例進行說明的流程圖。
圖14係對本發明之一實施形態之第1實施形態之限制處理之一例進行說明的圖。
圖15係對本發明之一實施形態之第2實施形態之判定處理之一例進行說明的流程圖。
圖16A係表示本發明之一實施形態之第2實施形態之前次之判定處理中的操作畫面之一例的圖。
圖16B係表示本發明之一實施形態之第2實施形態之當前之判定處理中的操作畫面之一例的圖。
圖16C係表示於本發明之一實施形態之第2實施形態之判定處理中生成的差分圖像之一例的圖。
圖17係表示對本發明之一實施形態之第2實施形態之限制處理之一例進行說明的流程圖。
圖18A係表示本發明之一實施形態之第2實施形態之遮罩處理中的差分圖像之一例的圖。
圖18B係表示已進行本發明之一實施形態之第2實施形態中之遮罩處理的差分圖像之一例的圖。
圖18C係表示本發明之一實施形態之第2實施形態中之藉由合成而生成之桌面畫面之一例的圖。
圖18D係表示未對本發明之一實施形態之第2實施形態中之差分圖像進行遮罩處理的桌面畫面之一例的圖。
圖19係對本發明之一實施形態之第3實施形態之限制處理之一例進行說明的流程圖。
圖20A係表示於本發明之一實施形態之第3實施形態中進行遮罩處理的桌面畫面之一例的圖。
圖20B係表示本發明之一實施形態之第3實施形態之遮罩處理中所使用的遮罩資料之一例的圖。
圖20C係表示於本發明之一實施形態之第3實施形態中已進行遮罩處理之桌面畫面之一例的圖。
圖21A係表示對位於圖20B之可點選區域以外之區域的組件進行非顯示之遮罩處理之例的圖。
圖21B係表示使位於圖20B之可點選區域以外之區域的組件半透明化、而使其無效化的處理之例的圖。
圖21C係表示用黑色塗滿圖20B之可點選區域以外之區域、而使其無效化的處理之例的圖。
圖21D係表示對一部分圖標已進行非顯示之遮罩處理之一例的圖。
圖21E係表示對一部分視窗已進行非顯示之遮罩處理之一例的圖。
本發明係關於用以經由網路進行遠距操作之資訊處理裝置、即所謂之遠程KVM裝置的發明。以下，對本發明之實施形態進行說明。藉由使用遠程KVM裝置來構建系統，而實現遠距操作。
<第1實施形態>
作為第1實施形態，對本發明之一實施形態之資訊處理裝置、及資訊處理系統之一例進行說明。
圖1係表示本發明之一實施形態之資訊處理系統之構成之一例的概念圖。
資訊處理系統1具有第一資訊處理機器100、資訊處理裝置101、及第二資訊處理機器102。第一資訊處理機器100與資訊處理裝置101經由網路200而連接。資訊處理裝置101與第二資訊處理機器102藉由 纜線2而連接。
第一資訊處理機器100例如為供操作員輸入用以操作第二資訊處理機器102之指示的裝置(以下，稱為操作員終端)。關於第一資訊處理機器100之詳情將於下文敍述。
資訊處理裝置101係遠程KVM裝置。關於資訊處理裝置101之詳情將於下文敍述。
第二資訊處理機器102例如為製造半導體器件等之製造裝置(以下，稱為製造裝置)。關於第二資訊處理機器102之詳情將於下文敍述。
網路200係LAN(Local Area Network，區域網路)、WAN(Wide Area Network，廣域網路)、或網際網路等有線或無線之通信線路。
再者，網路200亦可包含複數個網路。例如，網路200亦可包含經由另外的伺服器、路由器(Router)、或存取點等節點(Node)而連接之2個以上之網路。
又，不限定於如下之情形，即，第一資訊處理機器100係輸入用以進行操作之指示的裝置，且第二資訊處理機器102係成為操作之對象的裝置。例如亦可為如下情形，即，第二資訊處理機器102構成為輸入用以進行操作之指示的裝置，且第一資訊處理機器100構成為成為操作之對象的裝置，亦即，第一資訊處理機器100與第二資訊處理機器102調換之構成。
<操作員終端>
圖2係對本發明之一實施形態之操作員終端之一例進行說明的功能區塊圖。
操作員終端100具有輸入處理部100F1、控制處理部100F2、及輸出處理部100F3。
輸入處理部100F1進行用以將指示輸入至操作員終端100的處 理。例如，輸入處理部100F1藉由下述滑鼠等指向裝置、或鍵盤等輸入裝置、及GUI(Graphical User Interface，圖形使用者介面)，受理指令輸入、2維座標資訊、滑鼠之點選等所實施之切換動作等操作，藉由A/D(Analog to Digital，類比至數位)轉換等處理將所受理之操作輸入轉換成資料、或信號。再者，輸入處理部100F1亦可進行如下處理等，即，將所輸入之資料轉換或加工成可藉由後續處理而讀入之形式、或可高速地進行處理之形式的資料。又，輸入處理部100F1亦可進行如下處理，即，自所輸入之資料中，刪除輸入用之通信中所使用之頭資料等後續處理中不需要之資訊。
控制處理部100F2藉由下述CPU100H3等，對於操作員終端100所具有之各裝置、或連接於操作員終端100之外部裝置(未圖示)等進行控制。
輸出處理部100F3進行如下之處理：用以將基於輸入處理部100F1自操作員終端100受理之操作而產生之資料、或信號轉換成操作信號，並輸出操作信號。例如，輸出處理部100F3進行如下之處理：使用下述網路I/F(Interface，介面)，經由網路200，將操作信號發送至遠程KVM裝置101。再者，輸出處理部100F3亦可進行如下至處理作為進行輸出之處理之預處理：將信號之形式轉換成輸出目的地可讀取之形式的處理、或為了經由網路200進行發送而附加頭資料等的處理等。
<操作員終端之硬體構成>
圖3係用以說明本發明之一實施形態之操作員終端之硬體構成之一例的方塊圖。
操作員終端100係電腦。操作員終端100例如包含PC(Personal Computer，個人電腦)、伺服器、或主機等。
再者，操作員終端100亦可為PDA(Personal Digital Assistance， 個人數位助理)、平板、智慧型手機、行動電話器等移動機器。
操作員終端100具有輔助記憶裝置100H1、記憶裝置100H2、CPU(Central Processing Unit，中央處理單元)100H3、連接器100H4、輸入I/F100H5、輸出I/F100H6、及媒體驅動器100H7。
又，操作員終端100具有網路I/F100H8，且連接於網路200。
操作員終端100之各構成要素彼此藉由匯流排(Bus)100H9而連接。再者，與匯流排100H9之連接亦可為經由橋接電路(未圖示)而連接之構成。又，操作員終端100之構成不限於圖3所示之構成。例如，匯流排100H9亦可具有複數個匯流排。例如，亦可為如下構成，即，CPU100H3等高速傳輸用之匯流排與輸入I/F100H5等低速傳輸用之匯流排不同，匯流排彼此經由橋接電路(未圖示)而相互連接。
輔助記憶裝置100H1藉由CPU100H3、及控制裝置(未圖示)等之控制，而記憶包含CPU100H3所進行之處理之中間結果的各種資料、參數、或程式等資訊。輔助記憶裝置100H1例如為硬碟、快閃SSD(Solid State Drive，固態驅動器)等。
記憶裝置100H2係供CPU100H3所執行之程式使用之記憶區域，即所謂之記憶體(Memory)等主記憶裝置。記憶裝置100H2記憶資料、程式、或參數等資訊。
CPU100H3進行用於操作員終端100所進行之各處理的運算、控制。例如CPU100H3經由匯流排100H9，而與輔助記憶裝置100H1、記憶裝置100H2、輸入I/F100H5、及輸出I/F100H6之間，進行資訊之輸入輸出。又，CPU100H3執行各種程式。
再者，為了藉由並行處理而進行高速化，CPU100H3亦可包含複數個CPU、或複數個內核(core)。又，關於CPU100H3所實施之處理，亦可於操作員終端100之內部、或外部具有另一硬體資源，輔助CPU100H3而進行處理。
再者，供CPU100H3所執行之程式使用的記憶區域不限於記憶裝置100H2之記憶區域。例如，記憶區域亦可使用所謂之虛擬記憶體方式，該虛擬記憶體使用輔助記憶裝置100H1之記憶區域。
連接器100H4係與外部裝置(未圖示)連接、且用以與外部裝置(未圖示)進行輸入輸出的匯流排，即所謂之外部匯流排。連接器100H4例如包含USB(Universal Serial Bus，通用串列匯流排)等。連接器100H4亦可為IEEE(The Institute of Electrical and Electronics Engineers,Inc.，電機電子工程師學會)1394、或Thunderbolt(註冊商標)等。連接器100H4具有符合規格之連接器形狀、連接引腳等物理連接端子、處理經由連接端子而輸入之信號的處理電路(未圖示)、及驅動器(未圖示)等。再者，連接器100H4不限於用於有線線路。例如亦可使用Bluetooth(註冊商標)等無線線路用者。
輸入I/F100H5係用以將輸入裝置連接於操作員終端100之介面(Interface)。輸入裝置例如為輸入處理所需之值、或指令等之鍵盤100H51等。又，輸入裝置亦可為將二維的移動距離輸入至操作員終端100之滑鼠100H52等。進而，輸入裝置亦可為手寫板等指向裝置等。再者，輸入裝置亦可為連接於連接器100H4之構成。
輸出I/F100H6係用以將作為顯示處理結果等之輸出裝置的顯示器100H61、控制輸出至顯示器100H61之圖像信號的處理電路(未圖示)、驅動器(未圖示)、及纜線(未圖示)等連接的介面(Interface)。再者，輸出裝置亦可為投影儀等投影裝置，以此代替顯示器100H61。
再者，連接於輸入I/F100H5之輸入裝置與連接於輸出I/F100H6之輸出裝置亦可為輸入裝置與輸出裝置成為一體之裝置，即所謂之觸控面板等。
媒體驅動器100H7與作為記錄媒體之媒體100H71連接，進行用以進行資訊之輸入輸出的處理。媒體100H71為CD-ROM(Compact Disc- Read Only Memory，唯讀光碟)、DVD(Digital Versatile Disk，數位多功能光碟)、或藍光等光碟。媒體100H71亦可為軟碟等磁碟、或SD(註冊商標)卡、小型快閃(註冊商標)等快閃記憶體。再者，資訊之輸入輸出亦可係將USB記憶體連接於連接器100H4，或經由下述網路I/F100H8而進行。又，操作員終端100亦可構成為不具有媒體驅動器100H7。
網路I/F100H8係用以藉由有線或無線方式將操作員終端100連接於LAN等網路之介面。網路I/F100H8具有符合IEEE等規格之連接器形狀、及連接引腳等物理連接端子、使線路與操作員終端100物理連接之纜線、處理經由連接端子而輸入之信號之處理電路(未圖示)、及驅動器(未圖示)。再者，操作員終端100亦可經由LAN而連接於其他網路、或網際網路。
匯流排100H9用於操作員終端100之各構成要素間之通信。匯流排100H9係所謂之內部匯流排。匯流排100H9例如為PCI Express(Peripheral Component Interconnect Express，周邊元件互連高速)匯流排。匯流排100H9亦可為PCI(Peripheral Component Interconnect，周邊元件互連)、或ISA(Industry Standard Architecture，工業標準架構)匯流排等。
又，操作員終端100亦可藉由ASIC(Application Specific Integrated Circuit，特殊應用積體電路)來實現可執行相同處理之全部或相同處理之一部分的電路，以此代替執行各種程式，進而，操作員終端100亦可藉由FPGA(Field-Programmable Gate Array，場可程式閘陣列)、或CPLD(Complex Programmable Logic Device，複雜可程式邏輯器件)等代替ASIC而實現。
再者，所說明之硬體構成係一例，操作員終端100亦可不具有所說明之全部構成要素。又，操作員終端100亦可追加所說明之構成要 素以外之要素、或具有經冗長化、複用化的所說明之構成要素。
<製造裝置>
圖4係對本發明之一實施形態之製造裝置之一例進行說明的功能區塊圖。
製造裝置102例如為半導體器件之製造裝置。具體而言，係於半導體製造製程中之光微影製程中進行光阻劑之塗佈與顯影的裝置等。以下，以半導體器件之製造裝置為例進行說明。
製造裝置102具有輸入處理部102F1、控制處理部102F2、輸出處理部102F3、及製程控制部102F4。
輸入處理部102F1進行如下之處理：用以輸入基於操作員藉由操作員終端100而輸入之指示所產生的操作資訊。輸入處理部102F1藉由下述網路I/F，且經由網路200，而自操作員終端100接收操作資訊。例如，輸入處理部102F1受理與如下命令對應之操作信號，該命令係指按下用以控制操作員之遠距操作所引發之製程控制部102F4之動作的控制用GUI按鈕的命令。輸入處理部102F1不限於受理操作信號。例如，輸入處理部102F1亦可受理製造裝置之設定中的數值等資料、或參數，作為操作資訊。
再者，輸入處理部102F1亦可進行如下處理等，即，將所輸入之資料轉換、或加工成可藉由後續處理讀入形式、或可高速地進行處理之形式的資料。又，輸入處理部102F1亦可進行如下處理，即，自所輸入之資料中，刪除輸入用之通信中所使用之頭資料等後續處理中不需要之資訊。
控制處理部102F2藉由下述CPU102H3等對製造裝置102所具有之各裝置、製程控制部102F4、或連接於製造裝置102之外部裝置(未圖示)等進行控制。例如控制處理部102F2基於輸入至輸入處理部102F1而使製程控制部102F4動作之操作信號，進行使製程控制部102F4動作 等之控制。
控制處理部102F2藉由下述CPU102H3等，生成包含製造裝置102之操作用GUI之操作畫面，並使所生成之操作畫面輸出至下述輸出處理部102F3。
輸出處理部102F3藉由下述CPU102H3、及下述圖像輸出連接器102H4等，輸出作為用以操作製造裝置102之圖像資料的操作畫面。輸出處理部102F3所輸出之操作畫面被輸出至遠程KVM裝置101，且經由遠程KVM裝置101、及網路200而發送至操作員終端100。又，輸出處理部102F3所輸出之操作畫面被輸出至遠程KVM裝置101，且被輸出至連接於遠程KVM裝置101之輸出裝置。
製程控制部102F4藉由控制裝置(未圖示)等，控制下述製造製程用裝置1022。
<製造裝置之硬體構成>
圖5係對本發明之一實施形態之製造裝置之硬體構成之一例進行說明的方塊圖。
製造裝置102具有資訊處理裝置1021、及製造製程用裝置1022。資訊處理裝置1021、及製造製程用裝置1022藉由纜線1023而連接。
資訊處理裝置1021係電腦。資訊處理裝置1021例如為PC、伺服器、或主機等。
資訊處理裝置1021具有輔助記憶裝置102H1、記憶裝置102H2、CPU102H3、圖像輸出連接器102H4、輸入連接器102H5、及輸入輸出連接器102H6。
資訊處理裝置1021之各構成要素彼此藉由匯流排102H7而連接。再者，與匯流排102H7之連接亦可為經由橋接電路(未圖示)而連接之構成。又，資訊處理裝置1021之構成不限於圖5所示之構成。例如，匯流排102H7亦可具有複數個匯流排。例如，亦可為如下構成，即， CPU102H3等高速傳輸用之匯流排與輸入輸出連接器102H6等低速傳輸用之匯流排不同，匯流排彼此經由橋接電路(未圖示)而相互連接。
輔助記憶裝置102H1藉由CPU102H3、及控制裝置(未圖示)等之控制，而記憶包含CPU102H3所進行之處理之中間結果的各種資料、參數、或程式等資訊。輔助記憶裝置102H1例如為硬碟、快閃SSD等。
記憶裝置102H2係供CPU102H3所執行之程式使用的記憶區域，即所謂之記憶體等主記憶裝置。記憶裝置102H2記憶資料、程式、或參數等資訊。
CPU102H3進行用於資訊處理裝置1021所進行之各處理的運算、控制。例如CPU102H3經由匯流排102H7，而與輔助記憶裝置102H1、記憶裝置102H2、及輸入輸出連接器102H6之間，進行資訊之輸入輸出。又，CPU102H3執行各種程式。
再者，為了藉由並行處理而進行高速化，CPU102H3亦可包含複數個CPU、或複數個內核。又，關於CPU102H3所實施之處理，亦可於資訊處理裝置1021之內部、或外部具有另一硬體資源，輔助CPU102H3而進行處理。
再者，供CPU102H3所執行之程式使用的記憶區域不限於記憶裝置102H2之記憶區域。例如，記憶區域亦可使用所謂之虛擬記憶體方式，該虛擬記憶體使用輔助記憶裝置102H1之記憶區域。
圖像輸出連接器102H4、及輸入連接器102H5例如為與遠程KVM裝置101等外部裝置連接、且用以與外部裝置進行資料或控制信號之輸入輸出的匯流排，即所謂之外部匯流排。
圖像輸出連接器102H4例如為類比RGB(Red Green Blue，紅色、綠色、藍色)用之D-Sub15 PIN連接器、HDMI(High-Definition Multimedia Interface，高畫質多媒體介面)(註冊商標)、或DVI(Digital Visual Interface，數位視覺介面)等用以傳輸圖像信號之介面。
輸入連接器102H5例如為PS/2連接器、USB、或RS-232C(Recommended Standard 232C，推薦標準232C)等用以傳輸控制信號之介面。輸入連接器102H5亦可為IEEE(The Institute of Electrical and Electronics Engineers,Inc.)1394、或Thunderbolt(註冊商標)等。
圖像輸出連接器102H4、及輸入連接器102H5具有符合規格之連接器形狀、連接引腳等物理連接端子、處理經由連接端子而輸入之信號之處理電路(未圖示)、及驅動器(未圖示)等。再者，輸入連接器102H5不限於用於有線線路。例如亦可使用Bluetooth(註冊商標)等無線線路用者。又，輸入連接器102H5亦可具有如下電路(未圖示)，該電路進行將資料解碼/編碼成遠程KVM裝置101可接收之形式的資料的處理、或與遠程KVM裝置101之接收部取得同步等的時序調整。
再者，圖像輸出連接器102H4、及輸入連接器102H5亦可包含複數個連接器、處理電路、及纜線。
輸入輸出連接器102H6係收發用以控制製造製程用裝置1022之輸入輸出信號的介面。
例如輸入輸出連接器102H6具有D/A轉換電路(未圖示)、及輸出連接器(未圖示)，使纜線1023連接於輸出連接器。輸入輸出連接器102H6係基於經由輸入連接器102H5自遠程KVM裝置101輸入之輸入信號，生成用以控制製造製程用裝置1022之控制信號。
例如輸入輸出連接器102H6具有A/D轉換電路(未圖示)、及輸入連接器(未圖示)，使纜線1023連接於輸入連接器。輸入輸出連接器102H6接收自製造製程用裝置1022輸出之控制信號，而掌握製造製程用裝置1022之狀態等。
製造裝置102基於自輸入輸出連接器102H6輸入輸出之控制信號，生成製造製程用裝置1022之操作用之操作畫面，並經由圖像輸出連接器102H4將圖像輸出至遠程KVM裝置101。
製造裝置102基於自遠程KVM裝置101經由輸入連接器102H5而輸入之控制信號，生成用以操作製造製程用裝置1022之信號，而控制製造製程用裝置1022，執行製造製程。
又，製造裝置102藉由製造製程用裝置1022所安裝之各種感測器(未圖示)而掌握製造裝置102之狀態等，生成反映狀態之操作畫面資料，且基於所生成之操作畫面資料，將圖像信號輸出至遠程KVM裝置101。
再者，第二資訊處理機器102不限於製造裝置。例如，第二資訊處理機器102亦可為PC、伺服器、或主機等資訊處理裝置。又，第二資訊處理機器亦可為控制其他FA(Factory Automation，工廠自動化)用裝置、機器人、或機械工作裝置等之資訊處理裝置。
<遠程KVM裝置>
圖6係對本發明之一實施形態之遠程KVM裝置之一例進行說明的功能區塊圖。
遠程KVM裝置101具有輸入處理部101F1、記憶部101F2、控制處理部101F3、限制處理部101F4、及輸出處理部101F5。
輸入處理部101F1具有圖像輸入部101F11、限制資料輸入部101F12、及控制信號輸入部101F13。
輸入處理部101F1進行如下之處理：用以經由各連接器自其他裝置接收輸入信號，並將信號、及資料輸入至遠程KVM裝置101。輸入資料係基於所輸入之輸入信號進行轉換等處理而生成。
圖像輸入部101F11進行如下之用以輸入圖像資料之處理：自製造裝置102接收圖像信號，基於接收到之圖像信號，生成操作畫面之圖像資料等。
限制資料輸入部101F12進行用以自記憶媒體等輸入限制處理用之限制資料之處理。關於限制資料之詳情將於下文敍述。
控制信號輸入部101F13自操作員終端100接收用以操作製造裝置102之控制信號。
再者，輸入處理部101F1亦可進行將資料轉換成特定之格式形式、或刪除無用資料之處理等，作為後續處理之預處理。
記憶部101F2將各資料、參數、各處理之中間處理結果之資料等資訊記憶於下述記憶裝置101H2中。記憶部101F2使自輸入處理部101F1輸入之各種資料記憶於下述記憶裝置中。
控制處理部101F3藉由下述運算裝置101H1、及各裝置之控制裝置(未圖示)等，對遠程KVM裝置101所具有之各裝置進行控制。
限制處理部101F4藉由下述運算裝置101H1進行下述限制處理。
限制處理部101F4具有判定處理部101F41、禁止處理部101F42、圖像處理部101F43、及訊息輸出處理部101F44。
判定處理部101F41藉由下述運算裝置101H1進行下述判定處理。
禁止處理部101F42、圖像處理部101F43、及訊息輸出處理部101F44係藉由下述運算裝置101H1，基於判定處理之結果，進行下述各種限制處理。關於限制處理之詳情將於下文敍述。
輸出處理部101F5藉由下述運算裝置101H1、各I/F、及各裝置之控制裝置(未圖示)等，進行用以自遠程KVM裝置101將資料輸出至外部裝置的處理。
輸出處理部101F5具有圖像輸出部101F51、及限制信號輸出部101F52。輸出資料係藉由輸出處理部101F5而輸出、且自遠程KVM裝置101發送至操作員終端100、或製造裝置102的信號等。
圖像輸出部101F51藉由下述運算裝置101H1、下述網路I/F101H4、或下述圖像輸出I/F101H8而輸出圖像。於已進行圖像之限制處理之情形時，圖像輸出部101F51輸出已進行限制處理之圖像。例如，圖像輸出部101F51進行如下之處理：使用下述網路I/F101H4經由 網路200將圖像資料發送至操作員終端100。又，圖像輸出部101F51將資料輸出至連接於下述圖像輸出I/F101H8之顯示器101H81等輸出裝置。
限制信號輸出部101F52藉由下述運算裝置101H1、及輸出用連接器101H6，輸出已進行限制處理之控制信號。例如，限制信號輸出部101F52於已對經由網路200自操作員終端100輸入之控制信號進行限制處理之情形時，將已受到限制處理之控制信號輸出至製造裝置102。
再者，輸出處理部101F5亦可進行將資料轉換成輸出目的地可讀取之形式的處理，作為進行輸出之處理之預處理。例如為D/A轉換、RGB2YCC(Red Green Blue to YCrCb)轉換等處理。又，輸出處理部101F5亦可進行為了經由網路進行發送而附加頭資料等的處理、加密、壓縮處理、或編碼處理等。
<遠程KVM裝置之硬體構成>
圖7係對本發明之一實施形態之遠程KVM裝置之硬體構成之一例進行說明的方塊圖。
遠程KVM裝置101具有運算裝置101H1、記憶裝置101H2、媒體連接器101H3、網路I/F101H4、輸入用連接器101H5、輸出用連接器101H6、圖像輸入I/F101H7、及圖像輸出I/F101H8。
運算裝置101H1包含進行各種運算及控制之IC(Integrated Circuit，積體電路)、控制裝置、及周邊電路。運算裝置101H1例如亦可藉由FPGA、CPLD、ASIC、DSP(Digital Signal Processor，數位信號處理器)、或SiP(System in a Package，系統化封裝)等而實現。進而，運算裝置101H1亦可包含複數個IC、或複數個內核(core)。
記憶裝置101H2係記憶運算裝置101H1用於運算之資料等資訊的記憶裝置，即所謂之記憶體。記憶裝置101H2例如包含DDR-SDRAM(Double-Data-Rate Synchronous Dynamic Access Memory，雙 數據速率同步動態存取記憶體)、或SRAM(Static Random Access Memory，靜態隨機存取記憶體)等。再者，記憶裝置101H2亦可具有進行時序調整之所謂之仲裁(Arbitration)電路、或轉換位元(Bit)寬度之封裝(Wrapper)電路等周邊電路。
媒體連接器101H3係用以電性連接作為記錄媒體之媒體101H31，且與媒體101H31輸入輸出檔案或資料等資訊的介面。媒體連接器101H3具有與媒體101H31對應之插槽、連接引腳等連接端子。又，媒體連接器101H3包含具有對經由連接端子而輸入輸出之信號進行處理之處理電路的IC(未圖示)等。
媒體101H31例如為SD(註冊商標)卡、小型快閃(註冊商標)等快閃記憶體。再者，亦可將媒體連接器101H3設定為USB連接器，將媒體101H31設定為USB記憶體。
又，資訊之輸入輸出不限於經由記憶媒體之方式。例如，亦可藉由下述網路I/F101H4，將檔案等資訊存儲於連接於網路200之檔案伺服器(未圖示)中，由遠程KVM裝置101利用無需經由網路200取得資訊之記憶媒體之方式而輸入輸出資訊。
網路I/F101H4係用以連接於網路200而與另一裝置收發資料等資訊的介面。網路I/F101H4例如包含與LAN對應之RJ-45連接器、及具有處理電路之IC等。網路I/F101H4例如經由網路200而與操作員終端100進行如下操作等，即，自操作員終端100輸入用以操作製造裝置102之控制信號、及向操作員終端100輸出基於製造裝置102之操作畫面的圖像信號。再者，網路I/F101H4不限於有線。例如網路I/F101H4亦可具有天線、及無線LAN用之處理電路等，且藉由無線LAN而實現。
輸入用連接器101H5係用以連接輸入裝置之介面。輸入用連接器101H5例如為USB連接器、PS/2(Personal System 2，個人系統2)等。 輸入用連接器101H5包含具有處理電路之IC等。輸入用連接器101H5連接鍵盤101H51、或滑鼠101H52等輸入裝置。製造裝置102之操作員藉由輸入裝置自操作畫面之GUI輸入用以操作製造裝置102之指示。輸入用連接器101H5基於所輸入之指示而生成輸出資料，於下述輸出用連接器101H6中，使基於輸出資料之控制信號輸出至製造裝置102。再者，輸入用連接器101H5不限於用於有線線路。例如輸入用連接器101H5亦可具有天線、及符合規格之進行處理之處理電路等，且藉由Bluetooth(註冊商標)等無線線路用連接器而實現。又，輸入裝置亦可為手寫板等指向裝置等。
輸出用連接器101H6係與製造裝置102連接、且用以將基於輸出資料之控制信號輸出至製造裝置102的介面。輸出用連接器101H6例如為RS232-C連接器等。
圖像輸入I/F101H7係與製造裝置102連接、且用以自製造裝置102輸入基於操作畫面之圖像信號的介面。
圖像輸出I/F101H8係與顯示器101H81等輸出裝置連接、且用以將輸入至圖像輸入I/F101H7之操作畫面輸出至顯示器101H81的介面。再者，輸出裝置亦可為投影儀等投影裝置，以此代替顯示器101H81。
再者，連接於輸入用連接器101H5之輸入裝置與連接於圖像輸出I/F101H8之輸出裝置亦可為輸入裝置與輸出裝置成為一體之裝置，即所謂之觸控面板等。
再者，遠程KVM裝置101亦可具有連接器(未圖示)，可輸入所謂之連鎖(interlock)信號。例如，遠程KVM裝置101亦可於輸入有連鎖信號之情形時，進行用以使來自操作員終端100之遠距操作中止的處理。又，連鎖亦可藉由對遠程KVM裝置101設置切換器(未圖示)而由切換器之ON/OFF實現。
<整體處理>
圖8係用以說明本發明之一實施形態之資訊處理系統所實施之整體處理之一例的流程圖。
於步驟S0801中，圖1之遠程KVM裝置101自圖1之製造裝置102取得操作畫面。圖1之操作員終端100自圖1之遠程KVM裝置101取得圖1之遠程KVM裝置101所取得的操作畫面。
於步驟S0802中，操作員向圖1之操作員終端100，輸入用以使圖1之製造裝置102進行特定之動作的操作。
於步驟S0803中，圖1之操作員終端100將與於步驟S0802中操作員所輸入之操作對應的控制信號發送至圖1之遠程KVM裝置101。所發送之控制信號係藉由圖1之遠程KVM裝置101之輸入處理部101F1而輸入至圖1之遠程KVM裝置101，且生成輸入資料。
於步驟S0804中，圖1之遠程KVM裝置101進行如下處理，即，基於於步驟S0801中取得之操作畫面、及記憶於圖1之遠程KVM裝置101之記憶部101F2中之限制資料，而判定是否進行下述限制處理。關於判定處理之詳情將於下文敍述。
於步驟S0805中，圖1之遠程KVM裝置101係基於步驟S0804之判定處理之結果，而判斷是否進行限制處理。於需要限制處理之情形時(於步驟S0805中為YES)，進入至步驟S0806，進行下述限制處理。於無需限制處理之情形時(於步驟S0805中為NO)，進入至步驟S0807。
於步驟S0806中，圖1之遠程KVM裝置101對於步驟S0802中輸入之控制信號、或於步驟S0801中取得之操作畫面進行限制處理，該限制處理之詳情將於下文敍述。
再者，各處理亦可為經由網路，藉由複數個硬體資源，分散地進行一部分或全部之處理。
於步驟S0805中，圖1之遠程KVM裝置101係基於步驟S0804之判 定處理之結果，而判斷是否進行限制處理。於需要限制處理之情形時(於步驟S0805中為YES)，進入至步驟S0806，進行下述限制處理。於無需限制處理之情形時(於步驟S0805中為NO)，進入至步驟S0807。
於步驟S0806中，圖1之遠程KVM裝置101係對於步驟S0802中輸入之控制信號、或於步驟S0801中取得之操作畫面進行限制處理，該限制處理之詳情將於下文敍述。
再者，各處理亦可為經由網路，藉由複數個硬體資源，分散地進行一部分或全部之處理。
<判定處理>
圖9係對本發明之一實施形態之判定處理之一例進行說明的流程圖。
判定處理相當於圖8之步驟S0804之處理。判定處理係藉由圖6之判定處理部101F41而進行。
於步驟S0901中，圖6之判定處理部101F41係自圖6之圖像輸入部101F11取得於圖8之步驟S0801中取得之操作畫面。
圖10係對本發明之一實施形態之操作畫面之一例進行說明的圖。為說明操作畫面，以PC中所使用之所謂之桌面畫面為例進行說明。再者，操作畫面不限於PC用之畫面。例如，亦可為用以操作製造裝置等裝置之畫面等。
操作畫面例如為桌面畫面3。以下，以操作畫面為桌面畫面3之情形為例進行說明。
桌面畫面3例如具有標題文本31、終端操作圖標32、攝像機應用軟體圖標33、資料刪除圖標34、，及網路組35。網路組35例如為將郵件應用軟體圖標351與網路利用應用軟體圖標352等相同種類之圖標組化的視窗。
於步驟S0902中，圖6之判定處理部101F41針對與標題文本31相 同之圖像資料，自圖6之限制資料輸入部101F12取得限制資料。限制資料例如為圖案資料。限制資料例如係取得記憶於媒體101H31中之限制資料，並記憶於記憶部101F2中。圖案資料例如為標題文本31之圖像資料。
標題文本31係表示已發送操作畫面之製造裝置102之狀態的資料。例如於圖10之情形時，標題文本31表示製造裝置102為開始之狀態。以下，以如下2種情形為例進行說明，即，操作畫面為圖10之情形；及限制資料為標題文本31所示之「開始」之圖像資料，且於記憶部101F2中記憶有「開始」之圖像資料之情形。
於步驟S0903中，圖6之判定處理部101F41進行所謂之圖案匹配處理，即，判定圖10之圖像資料中是否存在與「開始」圖像資料相同之圖像的處理。
圖11A~11C係用以說明本發明之一實施形態之圖案匹配處理之一例的圖。
圖案匹配處理係藉由評價2個圖像是否類似之所謂之模板匹配法等演算法而實現。演算法係易於安裝於邏輯電路上之、所謂之SSD(Sum of Squared Difference，平方差值和)、或SAD(Sum of Absolute Difference，絕對差值和)等。又，為了善於應對亮度、或明亮程度之變化，演算法亦可使用NCC(Normalized Cross-Correlation，歸一化互相關)或ZNCC(Zero-mean Normalized Cross-Correlation，零均值歸一化互相關)。進而，為了進行高精度之配對，演算法亦可為POC(Phase-Only Correlation，純相位相關)等方式。
圖11A係表示成為圖案匹配處理之對象之圖像之一例的圖。成為圖案匹配處理之對象的圖像係圖10中所示之桌面畫面3。
圖11B係表示模板圖像之一例之圖。模板圖像係記憶於記憶部101F2中之圖像，且為與標題文本31相同之「開始」圖像資料。又， 圖11C係表示成為圖案匹配處理之對象的圖像藉由模板圖像而分割之狀態之一例的圖。
圖案匹配處理例如將圖11(a)之桌面畫面3分割成與圖11(b)之模板圖像面積相同之圖像區域，且對分割得到之各區域是否與模板圖像相同進行判定。判定係例如於構成各圖像區域之所有像素之亮度值之總和與模板圖像之總和相同之情形時、或兩者之總和之差為特定之值以下之情形時，判定為2個圖像係相同圖像。圖6之判定處理部101F41於判定為所有圖像中之1個以上之相同圖像之情形時，判定為桌面畫面3包含模板圖像。
再者，判定亦可例如藉由表示Red、Green、Blue等顏色之值來代替亮度值而進行。又，就判定而言，亦可使用平均值等藉由統計處理能夠算出之其他值來代替總和而進行判定。
又，圖案匹配處理不限於利用圖像之模板匹配法。例如，亦可於圖10之圖像資料中，使用文字識別而進行圖案匹配處理。利用文字識別之圖案匹配處理例如為如下處理等，即，於記憶部101F2中記憶「開始」之文本資料，藉由文字識別處理而判斷其是否與圖10之圖像資料中存在之文字相同。
進而，圖案匹配處理亦可係將利用圖像之模板匹配與利用文字識別之模板匹配組合而進行。
於步驟S0904中，圖6之判定處理部101F41係基於步驟S0903之圖案匹配之結果，而判斷是否包含與特定之圖案資料相同的圖像。當判定為於步驟S0903中桌面畫面3包含模板圖像之情形時(於步驟S0904中為YES)，圖6之判定處理部101F41進入至判定為需要下述限制處理之步驟S0905。當判定為於步驟S0903中桌面畫面3不含模板圖像之情形時(於步驟S0904中為NO)，進入至步驟S0906，圖6之判定處理部101F41判定為無需下述限制處理。
於步驟S0904中，圖6之判定處理部101F41取得設定資料。
圖12係對本發明之一實施形態之設定資料之一例進行說明的表。
如圖12之設定資料4所示，設定資料係使藉由限制處理而進行之限制處理內容與進行限制處理內容之狀態配對地輸入的資料。圖6之判定處理部101F41例如取得記憶於媒體101H31中之設定資料4，並將其記憶於記憶部101F2中。
例如，當製造裝置102之管理者設定為於操作畫面之桌面畫面3係圖10所示之「開始」之狀態下，「可點選郵件應用軟體圖標351」之情形時，於設定資料中，進行圖12之設定資料4所示之「設定編號」為「1」之設定。設定係如於設定資料4之「設定編號」為「1」之情形時，狀態為「開始」，限制處理內容為「可點選郵件應用軟體圖標351」般，使進行限制處理之狀態與限制處理內容配對而輸入至設定資料4。即，於該情形時，圖6之判定處理部101F4根據圖10所示之桌面畫面3，判定為係「開始」之狀態。
其次，圖6之判定處理部101F41於「開始」之狀態之情形時，判定為需要限制處理，於「開始」之狀態以外之情形時，判定為無需限制處理。從而，於步驟S0904中，圖6之判定處理部101F41於判定為「開始」之模板圖像包含於桌面畫面3之情形時，判定為需要限制處理。
再者，如圖12之設定資料4之設定編號為1、及設定編號為2般，亦可對1種狀態設定複數個限制處理內容。
又，如圖12之設定資料4之設定編號為1、及設定編號為3般，亦可對複數種狀態設定限制處理內容。
再者，於圖12中，對「設定編號」設定有「狀態」與「限制處理內容」，但亦可根據操作者之屬性，變更設定內容。例如，亦可根 據操作者是管理者還是普通使用者，變更限制處理之設定內容。若為半導體製造裝置之遠距操作之情形時，可根據操作者是維護作業者、製程技術者、還是製程操作員，來適當變更限制處理之設定內容。於該情形時，藉由登入至操作員終端之ID等來判斷操作者之屬性即可。如此，可根據裝置之狀態或操作者之屬性而變更設定內容，因此既可確保遠距操作之安全性，又可適當確保操作之自由度。
藉由圖案匹配處理，圖1之遠程KVM裝置101可根據操作畫面之圖像資料，來判斷製造裝置102之狀態。
<限制處理>
圖13係用以說明本發明之一實施形態之第1實施形態之限制處理之一例的流程圖。
限制處理係於作為前期處理之判定處理中判定為需要限制處理之情形時、即於圖8之步驟S0805中為YES之情形時進行之處理。
藉由限制處理，圖1之遠程KVM裝置101可對遠距操作設置之限制，該限制係用以不進行操作員所進行之製造裝置102之遠距操作中的特定之處理、或使該特定之處理無效。
於步驟S1301中，圖6之限制處理部101F4取得作為操作畫面之桌面畫面3。
於步驟S1302中，圖6之限制處理部101F4取得步驟S0804之判定處理所判定出之製造裝置102之狀態。
於步驟S1303中，圖6之限制處理部101F4自藉由圖8之判定處理而取得之設定資料4取得限制處理內容。
於步驟S1304中，圖6之限制處理部101F4進行根據控制信號限制成為限制處理之對象之信號的處理。進行限制之處理例如為刪除成為對象之信號的處理等。當操作員輸入設定資料4中成為限制處理之對象的處理之情形時，圖6之限制處理部101F4自輸出至製造裝置102之 控制信號，限制與成為限制處理之對象的處理對應的控制信號。即，遠程KVM裝置101於自操作員終端100輸入有成為限制處理之對象的操作之情形時，不對製造裝置102進行輸出。
例如，於圖12之設定資料4之情形時，若於步驟S0804之判定處理中，製造裝置102之狀態為「開始」，且根據設定資料4判定為需要進行設定編號「1」及「2」之限制，則遠程KVM裝置101將操作員自操作員終端100實施之操作中之、郵件應用軟體圖標351之點選以外的操作作為限制處理之對象，進行處理。例如，於圖12之設定資料4之情形時，且於操作員進行點選郵件應用軟體圖標351以外之攝像機應用軟體圖標33的操作之情形時，於步驟S1304中，圖6之限制處理部101F4限制基於點選攝像機應用軟體圖標33之操作而產生的控制信號。
關於是否為限制處理之對象之判斷，例如遠程KVM裝置101具有成為畫面內之限制處理之對象之區域、及並非限制處理之對象之區域的座標資料。遠程KVM裝置101根據座標資料，對自操作員終端100輸入之操作是於成為限制處理之對象之區域進行之操作、還是於並非限制處理之對象之區域進行之操作進行判斷，藉此判斷圖標之操作是否為受限制之操作。
藉由限制與成為限制處理之對象之處理對應的控制信號，使圖1之遠程KVM裝置101向製造裝置102發送基於安全操作而產生之控制信號，故而於裝置之遠距操作下能進行確保安全性之操作。
再者，於步驟S1304中成為限制之對象之操作並不限於基於點選而進行之輸入。亦可對其他自圖7之輸出用連接器101H6輸出至製造裝置102之控制信號進行限制處理。例如，亦可對藉由圖3之鍵盤100H51而輸入之文本資料、或自圖7之輸出用連接器101H6輸出至製造裝置102之RS232C之控制信號指示等進行限制處理。
又，亦可於在步驟S1304中進行限制操作之處理之情形時，進行通知操作員之處理。
以下，列舉如下情形為例進行說明，即，為圖12之設定資料4之情形，且為操作員進行點選郵件應用軟體圖標351以外之攝像機應用軟體圖標33之操作之情形。
圖14係對本發明之一實施形態之第1實施形態之限制處理之一例進行說明的圖。
圖14係使用訊息框通知操作員之一例。關於與於步驟S1304中點選攝像機應用軟體圖標33之操作對應之控制信號，於已進行限制控制信號之處理之情形時，圖1之遠程KVM裝置101將圖14所示之通知用之桌面畫面9發送至操作員終端100。
通知用之桌面畫面9係於圖10之桌面畫面3上重疊地生成訊息框91，該訊息框91告知點選攝像機應用軟體圖標33之操作受到限制處理之意思。
藉由訊息框91，操作員可獲知受到限制處理之操作。
再者，通知操作員之方法不限於使用訊息框91之通知。例如，亦可進行向操作員終端100輸出警告音之處理、或使用其他彈出GUI之處理。
再者，圖6之記憶部101F2中所記憶之限制資料並不限於指定限制處理之對象的資料。例如，亦可設定為記憶不屬於限制處理之對象的資料，且對所記憶之資料以外之部分進行限制處理。
又，圖6之記憶部101F2中所記憶之限制資料並不限於圖像之資料。限制資料例如亦可為記憶文字、或符號之文本資料。限制資料例如亦可為用以表示畫面之一定之範圍、大小、位置、或佈局的座標資料。限制資料例如亦可為QR碼(Quick Response，快速回應，註冊商標)、或條碼等標記資料。限制資料例如亦可為表示用以指定錯誤訊 息框等的訊息視窗之形狀、或佈局的資料。
藉由遠程KVM裝置101，操作員可對物理上遠離操作員之裝置進行操作。例如，半導體製造裝置設置於懸浮於空間之微粒等極少之場所，即所謂之無塵室。操作員於操作半導體製造裝置之情形時，進入至無塵室，但此時，會有更衣、洗手、及吹淋空氣射叢等工序。又，於無塵室內作業之操作員有可能因動作、發汗、或呼氣等而成為污染源，因此較理想為進入至無塵室之操作員之人數、及頻率少。藉由遠程KVM裝置101，操作員無需進入至無塵室，便可操作半導體製造裝置。
限制處理、及判定處理係由遠程KVM裝置101所進行。因此，操作員對操作員終端100、及製造裝置102進行重新安裝軟體等改修之必要性減少。從而，藉由遠程KVM裝置101，可減少控制裝置、及被控制機器之改修等，從而可容易地構建系統。再者，即便不進行改修，亦可構建系統。
又，控制處理係可限制操作員之操作之處理。遠程KVM裝置101可自製造裝置102之操作畫面掌握裝置之狀態，故而可限制因裝置之狀態而於安全性上存在問題之遠距操作中的控制信號向製造裝置102的傳送。例如，於製造裝置102為半導體製造裝置之情形時，操作員終端100之操作員處於遠方，於不瞭解製造裝置102之周邊狀況之狀況下，於正在進行製造裝置102之維護時操作裝置會伴有危險。對藉由遠距操作而引發之製造裝置102之操作中之、根據製造裝置102之狀態被認為危險之操作進行限制，可提高安全性。從而，藉由遠程KVM裝置101，可確保安全性而進行遠距操作。
<第2實施形態>
作為第2實施形態，對本發明之一實施形態之資訊處理裝置、及資訊處理系統進行說明。第2實施形態之資訊處理系統使用第1實施形 態中所使用之圖1之資訊處理系統1。從而，省略圖1之資訊處理系統1之說明。
於第2實施形態中，列舉於第一資訊處理機器中使用有第1實施形態中所使用之操作員終端100之情形為例進行說明。從而，省略操作員終端100之說明。
於第2實施形態中，列舉於第二資訊處理機器中使用有第1實施形態中所使用之製造裝置102之情形為例進行說明。從而，省略製造裝置102之說明。
第2實施形態係列舉於資訊處理裝置中使用有第1實施形態中所使用之遠程KVM裝置101之情形為例進行說明。從而，省略遠程KVM裝置101之說明。
第2實施形態之整體處理係與第1實施形態中所進行之圖8之整體處理相同。於第2實施形態中，步驟S0804之利用圖像之判定處理、及步驟S0806之限制處理之內容與第1實施形態不同。
<第2實施形態之判定處理>
圖15係用以說明本發明之一實施形態之第2實施形態之判定處理之一例的流程圖。
如圖15所示，於第2實施形態之判定處理中，於步驟S1501、及步驟S1502中，進行與第1實施形態之圖9之步驟S0901、及步驟S0902相同之處理，圖6之判定處理部101F41取得操作畫面、及圖案資料。
於步驟S1503中，圖6之判定處理部101F41生成差分圖像。差分圖像係包含將已進行前次之判定處理之操作畫面與當前之判定處理之操作畫面進行比較而不同之部分的圖像之區域的圖像。前次之判定處理之操作畫面係，於前次之判定處理之下述步驟S1508中，讀出並取得例如記憶於圖6之記憶部101F2中之圖像資料。
於圖6之記憶部101F2中未記憶圖像資料的初次之判定處理例如 係進行第1實施形態之判定處理等、不使用記憶於圖6之記憶部101F2中之資料的另外的判定處理。以下，初次之判定處理係列舉如下情形為例而進行說明，即，進行第1實施形態之判定處理，且於下述步驟S1508中將前次之判定處理之各種資料記憶於圖6之記憶部101F2中。
圖16A~16C係用以說明本發明之一實施形態之第2實施形態的差分圖像、及差分圖像之生成方法之一例的圖。
圖16A係表示前次之判定處理之操作畫面之一例的圖。於圖16A中，列舉前次之判定處理之操作畫面例如為圖10中所示之桌面畫面3之情形為例進行說明。
圖16B係表示當前之判定處理之操作畫面之一例的圖。圖16B係表示於作為前次之判定處理之操作畫面之圖16A之桌面畫面3上追加有檔案夾71的變更後之桌面畫面7的圖。
以下，列舉前次之判定處理之操作畫面為圖16A之桌面畫面3、及當前之判定處理之操作畫面為圖16B之當前之判定處理之操作畫面為變更後之桌面畫面7之情形為例進行說明。
圖16C係表示於步驟S1503中生成之差分圖像之一例的圖。差分圖像8係已抽選出將圖16A之桌面畫面3與圖16B之變更後之桌面畫面7比較而不同之部分的圖像。於圖16A之桌面畫面3與圖16B之變更後之桌面畫面7中，不同之部分為變更後之桌面畫面7上追加有檔案夾71，故而圖16C成為例如檔案夾71之圖像。
於步驟S1504至步驟S1507中，圖6之判定處理部101F41於第1實施形態中係對變更後之桌面畫面7整體進行第1實施形態之圖9之步驟S0903至步驟S0906之處理。與此相對地，於步驟S1504至步驟S1507中，圖6之判定處理部101F41係對差分圖像8進行相同之處理。
具體而言，於步驟S1504至步驟S1507中，圖6之判定處理部101F41係對圖像尺寸較變更後之桌面畫面7小之差分圖像8進行圖案匹 配處理、及是否需要限制處理之判定處理。圖案匹配處理、及是否需要限制處理之判定處理係相對於較小圖像而進行，故而可減少計算量，從而高速地進行處理。
於步驟S1504中，於差分圖像8之情形時，與第1實施形態同樣地，圖6之判定處理部101F41藉由圖案匹配判定差分圖像8中是否包含「開始」之文字。
當於步驟S1505中，差分圖像8中包含「開始」之文字之情形時，進入至判定為需要限制處理之步驟S1506。當於步驟S1505中，差分圖像8中不含「開始」之文字之情形時，進入至步驟S1507，於是否需要限制處理之判定中，進行與於下述步驟S1508中記憶之前次之判定處理之結果相同的判定。變更後之桌面畫面7如圖16B所示，於標題文本31中包含「開始」之文字。於前次之判定處理中，藉由步驟S1506而進行判定為需要限制處理之處理，且將判定為需要限制處理之結果記憶於圖6之記憶部101F2中。從而，於步驟S1507中，進行判定為需要限制處理之處理。
於步驟S1508中，圖6之判定處理部101F41將變更後之桌面畫面7、差分圖像8、差分圖像8之座標位置、及於步驟S1507中判定為需要限制處理之結果記憶於圖6之記憶部101F2中。
<第2實施形態之限制處理>
第2實施形態之限制處理係與第1實施形態之限制處理相同。於第2實施形態之限制處理中，如圖14中所說明般，藉由訊息，使操作員可獲知受到限制處理之操作。
再者，第2實施形態之限制處理亦可為進行由圖14中所說明之藉由訊息告知之限制處理與下述遮罩(mask)處理組合而成的限制處理。進而，第2實施形態之限制處理亦可為藉由差分之資訊，進行限制第1實施形態之控制信號的處理。
圖17係用以說明本發明之一實施形態之第2實施形態之限制處理之一例的流程圖。於第2實施形態之限制處理中，例如進行下述遮罩處理來作為限制處理。以下，於下述遮罩處理之情形時，對第2實施形態之限制處理進行說明。
遮罩處理係如下處理，即，例如對於圖12之設定資料4中被設定為限制使用之圖標進行影線繪製等處理，於畫面上視覺性地對操作員顯示使用受到限制。
遮罩處理例如對於圖12之設定資料4中被設定為限制使用之圖標進行影線繪製等處理。當操作員於已進行影線繪製等處理之區域進行操作之情形時，遮罩處理係由圖6之限制處理部101F4進行限制與操作對應且輸出至製造裝置102之控制信號的處理，且其係表示進行限制處理的處理。
遮罩處理之詳情將於下文敍述。
於第2實施形態之限制處理中，對差分圖像8進行限制處理。於第2實施形態之限制處理中，將對差分圖像8進行限制處理所得之圖像、與於前次之限制處理中生成且已進行下述遮罩處理之操作圖像進行合成，從而生成並輸出操作圖像。
於步驟S1701中，圖6之限制處理部101F4取得差分圖像、及已進行前次之遮罩處理之操作畫面。差分圖像8讀出並取得藉由圖15之判定處理而記憶於圖6之記憶部101F2中的資料。已進行前次之遮罩處理之操作畫面係，於下述步驟S1708中，讀出並取得例如記憶於圖6之記憶部101F2中之圖像資料。圖6之記憶部101F2中未記憶圖像資料的初次之限制處理例如係進行第1實施形態之限制處理等、進行不使用記憶於圖6之記憶部101F2中之資料的另一限制處理。以下，初次之限制處理係列舉如下情形為例而進行說明，即，進行第1實施形態之限制處理，且於下述步驟S1708中，將前次之限制處理之各種資料記憶於 圖6之記憶部101F2中。
於步驟S1702、及步驟S1703中，圖6之限制處理部101F4進行與第1實施形態之圖13之步驟S1302、及步驟S1303相同之處理，且基於製造裝置102之狀態、及記憶於圖6之記憶部101F2中之設定資料4而取得限制處理內容。
於步驟S1704至步驟S1707中，圖6之限制處理部101F4與第1實施形態不同，對於步驟S1701中取得之差分圖像8，進行是否需要遮罩處理之判斷、及遮罩處理。
於步驟S1704中，圖6之限制處理部101F4對差分圖像8進行是否需要遮罩處理之判斷。
於對差分圖像8，基於在步驟S1703中取得之限制處理內容，判斷為需要遮罩處理之情形時(於步驟S1704中為YES)，進入至步驟S1705，圖6之限制處理部101F4對差分圖像進行遮罩處理。於對差分圖像8，基於在步驟S1703中取得之限制處理內容，判斷為無需遮罩處理之情形時(於步驟S1704中為NO)，進入至步驟S1707，圖6之限制處理部101F4將差分圖像、與已進行前次之遮罩處理之操作圖像合成，並輸出藉由合成而生成之圖像。
於步驟S1705中，圖6之限制處理部101F4對差分圖像進行遮罩處理。於差分圖像8為圖16C、且設定資料為圖12之設定資料4之情形時，差分圖像8如圖16C所示，為檔案夾71。檔案夾71基於圖12之設定資料4，判斷為需要遮罩處理。
圖18A~18D係用以說明本發明之一實施形態之第2實施形態之遮罩處理之一例的圖。
圖18A係表示差分圖像之一例之圖。圖18A與圖16C之圖像相同。
圖18B係表示已進行遮罩處理之差分圖像之一例的圖。圖18B係 表示已藉由作為步驟S1705之遮罩處理的影線繪製，對圖18A之差分圖像8進行遮罩處理的差分圖像81的圖。
於步驟S1706中，圖6之限制處理部101F4將已進行遮罩處理之差分圖像81、與已進行前次之遮罩處理之操作圖像合成並予以輸出。已進行前次之遮罩處理的操作圖像例如為下述圖20C之已進行遮罩處理之桌面畫面6，於前次之限制處理之下述步驟S1708中，將該操作圖像記憶於圖6之記憶部101F2中。
圖18C係表示藉由合成而生成之桌面畫面82之一例的圖。
如圖18C所示，藉由合成而生成之桌面畫面82係藉由如下方式生成，即，圖6之限制處理部101F4使得於下述圖20C之已進行遮罩處理之桌面畫面6上，重疊有已進行遮罩處理之差分圖像81，生成操作畫面。
再者，為了進行合成之處理，亦可於判定處理之圖15之步驟S1508中，記憶表示差分圖像之位置、大小、範圍等之座標資訊，作為差分圖像之資訊，並於限制處理之步驟S1706中使用上述資訊。
於步驟S1707中，圖6之限制處理部101F4例如將下述圖20C之已進行遮罩處理之桌面畫面6、與圖18A之差分圖像8合成並予以輸出。
圖18D係表示藉由未對差分圖像進行遮罩處理之情形時之合成而生成的、未對差分圖像進行遮罩處理之桌面畫面83的圖。
未對差分圖像進行遮罩處理之桌面畫面83例如係於步驟S1703中取得之設定資料4中，將檔案夾71與郵件應用軟體圖標351同樣地設定為可點選之情形等時生成的圖像。
未對差分圖像進行遮罩處理之桌面畫面83係於步驟S1706中，由圖6之限制處理部101F4將差分圖像8、與已進行前次之遮罩處理之操作畫面合成而生成。
於步驟S1708中，圖6之限制處理部101F4將藉由步驟S1706之合 成而生成的桌面畫面82記憶於圖6之記憶部101F2中。
第2實施形態之限制處理係對圖像尺寸較桌面圖像小之差分圖像進行是否進行遮罩處理之判斷、及遮罩處理之對象，故而計算量少，從而可高速地進行處理。
再者，雖係以於桌面畫面上之檔案夾增加之情形為例進行說明，但實施形態並不限定於此。例如當於畫面上顯示有彈出畫面之情形時，亦可進行與第2實施形態相同之差分處理。例如，於如圖12之設定資料4中之設定編號「3」般，顯示有狀態為「指定並執行檔案名」之彈出畫面之情形時，亦可對該差分圖像進行判定處理及限制處理。
於第2實施形態中，與第1實施形態同樣地，限制處理、及判定處理係藉由遠程KVM裝置101而進行。因此，操作員對操作員終端100、及製造裝置102進行重新安裝軟體等改修之必要性減少。因此，藉由遠程KVM裝置101，可減少控制裝置、及被控制機器之改修等，從而可容易地構建系統。再者，即便不進行改修，亦可構建系統。
藉由進行限制處理，遠程KVM裝置101可將進行遠距操作時會有危險之操作通知操作員，藉此限制操作員所實施之危險操作。從而，藉由遠程KVM裝置101，可於遠距操作下進行確保安全性之操作。
<第3實施形態>
作為第3實施形態，對本發明之一實施形態之資訊處理裝置、及資訊處理系統進行說明。第3實施形態之資訊處理系統使用第1實施形態中所使用之圖1之資訊處理系統1。從而，省略圖1之資訊處理系統1之說明。
第3實施形態係以於第一資訊處理機器中使用有第1實施形態中所使用之操作員終端100之情形為例進行說明。從而，省略操作員終端100之說明。
於第3實施形態中，列舉於第二資訊處理機器中使用有第1實施形態中所使用之製造裝置102之情形為例進行說明。從而，省略製造裝置102之說明。
於第3實施形態中，列舉於資訊處理裝置中使用有第1實施形態中所使用之遠程KVM裝置101之情形為例進行說明。從而，省略遠程KVM裝置101之說明。
第3實施形態之整體處理係與第1實施形態中所進行之圖8之整體處理相同。第3實施形態之步驟S0806之限制處理之內容不同。
<第3實施形態之限制處理>
圖19係用以說明本發明之一實施形態之第3實施形態之限制處理之一例之流程圖。
圖19之第3實施形態之限制處理與圖13之第1實施形態之限制處理的不同不同之處在於，圖13之步驟S1304成為步驟S1904、及步驟S1905。從而，圖19之第3實施形態之限制處理中之步驟S1901至步驟S1903之處理與圖13之第1實施形態之限制處理中之S1301至步驟S1303相同，故而省略說明。以下，以與圖13之第1實施形態之限制處理不同之部分為中心進行說明。
於步驟S1904中，圖6之限制處理部101F4進行與圖12之設定資料4中所設定之當前之狀態對應的限制處理。以下，以如下情形為例進行說明，即，於狀態為「開始」之情形時，藉由使郵件應用軟體圖標351之部分以外進行影線顯示之處理，進行「可點選郵件應用軟體圖標351」。
於步驟S1904中，圖6之限制處理部101F4對於步驟S1901中取得之桌面畫面3上顯示有郵件應用軟體圖標351之區域以外，進行遮罩處理。
圖20A~20C係用以說明對本發明之一實施形態之操作畫面進行 遮罩處理之一例的圖。
圖20A係表示於步驟S1901中取得之桌面畫面3之一例的圖。所取得之桌面畫面3係與於圖10及圖9之步驟S0901中取得之圖像相同的資料。
圖20B係表示遮罩處理中所使用之遮罩資料之一例的圖。遮罩資料5係圖像之縱、及橫之像素數與桌面畫面3相同、即大小相同的圖像資料。遮罩資料5設定有可點選區域51。可點選區域51係透過之圖像區域，且預先指定區域。於重疊有遮罩資料5之情形時，於可點選區域51之部分，被重疊之圖像之部分不受到遮罩而顯示。
圖20C係表示已進行遮罩處理之桌面畫面6之一例的圖。已進行遮罩處理之桌面畫面6係於圖20A之桌面畫面3上，重疊有圖20B之遮罩資料5而生成。藉由遮罩處理，圖6之限制處理部101F4可生成桌面畫面6，該桌面畫面6係顯示圖20A之圖像中之可點選之區域、即於圖20B中指定之可點選區域51，而對其他區域進行影線繪製之遮罩處理。
操作員藉由圖20C，可獲知於當前之狀態下能藉由遠距操作執行之操作內容。
再者，於第3實施形態之限制處理中，較佳為與第1實施形態之限制處理組合而進行複數個限制處理。
又，限制處理並不將進行限制處理之對象限於圖標。限制處理例如亦可對其他種類之組件(Widget)進行限制處理。限制處理之對象例如為標籤(Tab)、滾動條(Scrollbar)、文本框(Textbox)、勾選框(Checkbox)、單選按鈕(Radiobutton)、或視窗(Window)等GUI。
遮罩處理不限於圖20A~20C之處理。例如，遮罩處理亦可為非顯示、無效化等。
圖21A~21E係對本發明之一實施形態之遮罩處理之種類之一例 進行說明的圖。
圖21A~21E均表示與圖20A~20C中所說明之遮罩處理同樣地，於圖20A之桌面畫面3上重疊有圖20B之遮罩資料5之情形的圖。於圖20A~20C與圖21A~21E中，於可點選區域51以外之區域進行之遮罩處理不同。
圖21A係表示對位於圖20B之可點選區域51以外之區域的組件進行非顯示之遮罩處理之例的圖。已進行非顯示之遮罩處理之桌面畫面61係與圖20中所說明之遮罩處理同樣地，根據圖20A、及圖20B生成。即，已進行非顯示之遮罩處理之桌面畫面61係藉由顯示圖20B中所指定之可點選區域51、對其他區域進行非顯示之遮罩處理而生成。
圖21B係表示使位於圖20B之可點選區域51以外之區域的組件半透明化、而使其無效化的處理之例的圖。已進行半透明化之遮罩處理之桌面畫面62係與圖20A~20C中所說明之遮罩處理同樣地，根據圖20A、及圖20B而生成。即，已進行半透明化之遮罩處理之桌面畫面62係藉由顯示圖20B中所指定之可點選區域51、而對其他區域進行半透明化之遮罩處理而生成。
圖21C係表示用黑色塗滿圖20B之可點選區域51以外之區域、而使其無效化之處理之例的圖。已進行塗滿顏色之遮罩處理的桌面畫面63係與圖20A~20C中所說明之遮罩處理同樣地，根據圖20A、及圖20B而生成。即，已進行塗滿顏色之遮罩處理之桌面畫面63係藉由顯示圖20B中所指定之可點選區域51、而對其他區域進行用黑色塗滿的遮罩處理而生成。
圖1之遠程KVM裝置101將圖21A~21E所示之已進行非顯示之遮罩處理之桌面畫面61、已進行半透明化之遮罩處理之桌面畫面62、或已進行塗滿顏色之遮罩處理之桌面畫面63輸出給操作員。操作員可自已進行各遮罩處理之桌面畫面，獲知於當前之狀態下能藉由遠距操作 執行之操作內容。
進而，遮罩處理亦可對一部分組件進行遮罩處理。例如，亦可如圖21D、或圖21E般，對特定之組件進行遮罩處理。
圖21D係表示對一部分圖標進行非顯示之遮罩處理之例的圖。於圖21D中，表示有對一部分圖標已進行與圖21A相同之非顯示之遮罩處理的桌面畫面64。對一部分圖標已進行非顯示之遮罩處理的桌面畫面64相當於使圖10之終端操作圖標32不顯示之情形之例。於為對一部分圖標已進行非顯示之遮罩處理之桌面畫面64之情形時，操作員可獲知操作員僅終端操作圖標32之操作無法進行。
圖21E係表示對一部分視窗已進行非顯示之遮罩處理之一例的圖。圖21D係對一部分視窗已進行與圖21A相同之非顯示之遮罩處理的桌面畫面65。對一部分視窗已進行非顯示之遮罩處理之桌面畫面65係使圖10之網路組35之視窗、及網路組35中所含之郵件應用軟體圖標351與網路利用應用軟體圖標352不顯示之情形時之例。
再者，記憶於圖6之記憶部101F2中之遮罩處理用之資料並不限於指定遮罩處理之對象的資料。例如，亦可設定為：記憶不屬於遮罩處理之對象的資料，而對所記憶之資料以外之部分進行遮罩處理。
又，記憶於圖6之記憶部101F2中之遮罩處理用之資料並不限於圖像之資料。遮罩處理用之資料例如亦可為記憶文字、或符號之文本資料。遮罩處理用之資料例如亦可為用以表示畫面之一定之範圍、大小、位置、或佈局的座標資料。遮罩處理用之資料例如亦可為QR碼(註冊商標)、或條碼等標記資料。遮罩處理用之資料例如亦可為表示用以指定錯誤訊息框等之訊息視窗之形狀、或佈局的資料。
又，限制處理不限於僅進行遮罩處理之處理。例如，限制處理較佳為將遮罩處理、與使於已進行遮罩處理之區域內之操作無效的處理組合而進行。進而，限制處理亦可為進行遮罩處理、及使滑鼠之游 標無法移動至已進行遮罩處理之區域之排他處理的處理。例如，於圖10之情形時，亦可將使滑鼠之游標無法向郵件應用軟體圖標351之區域以外移動的處理等與遮罩處理組合而進行。
於第3實施形態中，與第1實施形態同樣地，限制處理、及判定處理係藉由遠程KVM裝置101而進行。因此，操作員對操作員終端100、及製造裝置102進行重新安裝軟體等改修之必要性減少。因此，藉由遠程KVM裝置101，可減少控制裝置、及被控制機器之改修等，從而可容易地構建系統。再者，即便不進行改修，亦可構建系統。
藉由進行遮罩處理，遠程KVM裝置101可將進行遠距操作時會有危險之操作通知操作員，從而可限制操作員所實施之危險操作。從而，藉由遠程KVM裝置101，可於遠距操作下進行確保安全性之操作。又，藉由進行遮罩處理，亦可限制不希望自製造裝置102而於操作員終端側顯示之畫面、例如為於製造裝置102中進行登入操作時之畫面等顯示於操作員終端，從而提高安全性。
又，例如，資訊處理系統1亦可另外具有複數個電腦(未圖示)。藉由複數個電腦，各種處理為了高速地進行處理，亦可係並行、或分散地進行一部分或全部之處理。
又，實施形態中所說明之系統構成係一例，當然根據用途及目的，存在各種各樣的系統構成。例如，各處理亦可經由網路，藉由2個以上之電腦，分散、冗長、或並行進行處理。又，資訊處理裝置所使用之資訊亦可分散、或冗長地記憶於2個以上之記憶裝置中。
以上，已對本發明之較佳實施形態進行了詳述，但本發明不限定於該特定之實施形態，而可於申請專利範圍所記載之本發明之主旨之範圍內進行各種變化、變更。
例如，本發明亦可用於包含PC等之網路系統中。又，本發明可於半導體製造、FPD(Flat Panel Display，平板顯示器)等顯示器製造、 或太陽電池等電子機器、及電子零件製造之製造裝置之相關領域實施。
本國際申請係主張基於2013年11月18日申請之日本專利申請2013-238356號之優先權者，此處將2013-238356號之全部內容援用於本國際申請中。

Claims (14)

  1. 一種資訊處理裝置，其係進行用以自第一資訊處理機器操作第二資訊處理機器之處理者，且包括：輸入處理機構，其進行處理，用以：接收來自上述第一資訊處理機器之操作之輸入資料，以進行對上述第二資訊處理機器之操作；及接收來自上述第二資訊處理機器而與上述操作相關之操作畫面之圖像之輸入資料；限制處理機構，其進行用以對上述操作之上述輸入資料或上述圖像之上述輸入資料實施特定之限制(predetermined restriction)的處理；及記憶機構，其記憶包含與上述第二資訊處理機器之狀態相應之限制處理內容的限制資料；其中上述限制處理機構係：對自上述第二資訊處理機器取得之上述圖像之上述輸入資料之部分(a portion)進行圖案匹配(pattern-matching)處理而判定與上述圖像之上述輸入資料之上述部分相應之圖案資料(pattern data)係記憶在上述記憶機構，藉而取得上述第二資訊處理機器之上述狀態，並基於上述取得之狀態及上述限制資料，判定是否進行用以對上述第二資訊機器之上述操作之上述輸入資料或上述第二資訊處理機器之上述圖像之上述輸入資料實施上述特定之限制的處理，及傳輸上述輸出資料。
  2. 如請求項1之資訊處理裝置，其進而包括：進行用以將輸出資料輸出之處理的輸出處理機構；且上述限制處理機構於判定為進行用以實施上述特定之限制的處理之情形時，進行用以對上述操作之上述輸入資料實施上述特定之限制的處理；上述輸出處理機構係基於已進行用以實施上述特定之限制的處理之上述輸入資料，而進行用以將上述輸出資料輸出至上述第二資訊處理機器的處理。
  3. 如請求項1之資訊處理裝置，其進而包括：進行用以將輸出資料輸出之處理的輸出處理機構；且上述限制處理機構於判定為進行用以實施上述特定之限制的處理之情形時，進行用以對上述圖像之上述輸入資料實施上述特定之限制的處理；上述輸出處理機構係基於已進行用以實施上述特定之限制的處理之上述圖像資料，而進行用以將上述輸出資料輸出至上述第一資訊處理機器的處理。
  4. 如請求項1之資訊處理裝置，其中上述限制資料係至少包含標記資料、圖像資料、座標資料、佈局資料、或文字資料中之任一者的資料。
  5. 如請求項1之資訊處理裝置，其中於上述限制處理機構判定為進行用以實施上述特定之限制的處理之情形時，用以實施上述特定之限制的處理係基於上述限制資料，對上述圖像之上述輸入資料之一部分、或全部進行遮罩處理(process of masking)之處理。
  6. 如請求項1之資訊處理裝置，其中上述記憶機構記憶以前已進行用以實施上述特定之限制的處理的過去之圖像資料，於上述限制處理機構判定為進行用以實施上述特定之限制的處理之情形時，用以實施上述特定之限制的處理係基於上述過去之圖像資料、及上述圖像之上述輸入資料，而判定是否進行用以實施上述特定之限制的處理。
  7. 如請求項1之資訊處理裝置，其中上述記憶機構記憶設定資料，該設定資料係藉由將進行上述第二資訊處理機器之限制處理之狀態與由上述限制處理進行之限制處理內容相關聯(associating)而輸入。
  8. 如請求項1之資訊處理裝置，其中上述第二資訊處理機器係製造機器(manuafcturing device)。
  9. 如請求項1之資訊處理裝置，其中上述資訊處理裝置係遠距之KVM(Keyboard Video Mouse，鍵盤、顯示器、滑鼠)裝置。
  10. 如請求項1之資訊處理裝置，其中上述限制處理機構係藉由進行上述圖案匹配處理，而判定是否對上述圖像之上述輸入資料進行上述特定之限制。
  11. 一種資訊處理系統，其係進行用以自包含1個以上之電腦之第一資訊處理機器操作第二資訊處理機器之處理者，且包括：輸入處理機構，其進行處理，用以：接收來自上述第一資訊處理機器之操作之輸入資料，以進行對上述第二資訊處理機器之操作；及接收來自上述第二資訊處理機器而與上述操作相關之操作畫面之圖像之輸入資料；限制處理機構，其進行用以對上述操作之上述輸入資料或上述圖像之上述輸入資料實施特定之限制的處理；及記憶機構，其記憶包含與上述第二資訊處理機器之狀態相應之限制處理內容的限制資料；其中上述限制處理機構係：對自上述第二資訊處理機器取得之上述圖像之上述輸入資料之部分進行圖案匹配處理而判定與上述圖像之上述輸入資料之上述部分相應之圖案資料係記憶在上述記憶機構，藉而取得上述第二資訊處理機器之上述狀態，並基於上述取得之狀態及上述限制資料，判定是否進行用以對上述第二資訊機器之上述操作之上述輸入資料或上述第二資訊處理機器之上述圖像之上述輸入資料實施上述特定之限制的處理，及傳輸上述輸出資料。
  12. 如請求項11之資訊處理系統，其中上述記憶機構記憶設定資料，該設定資料係藉由將進行上述第二資訊處理機器之限制處理之狀態與由上述限制處理進行之限制處理內容相關聯而輸入。
  13. 一種資訊處理方法，其係進行用以自第一資訊處理機器操作第二資訊處理機器之處理者，且包括：進行處理，用以：接收來自上述第一資訊處理機器之操作之輸入資料，以進行對上述第二資訊處理機器之操作；及接收來自上述第二資訊處理機器而與上述操作相關之操作畫面之圖像之輸入資料；對自上述第二資訊處理機器取得之上述圖像之上述輸入資料之部分進行圖案匹配處理而判定與上述圖像之上述輸入資料之上述部分相應之圖案資料係記憶在上述記憶機構，藉而取得上述第二資訊處理機器之狀態；基於上述取得之狀態及限制資料，判定是否進行用以實施特定之限制的處理；進行用以對上述第二資訊機器之上述操作之上述輸入資料或上述第二資訊機器之上述圖像之上述輸入資料實施上述特定之限制的處理；及記憶包含與上述第二資訊處理機器之狀態相應之限制處理內容的上述限制資料。
  14. 如請求項13之資訊處理方法，其進一步包含：記憶設定資料，該設定資料係藉由將進行上述第二資訊處理機器之限制處理之狀態與由上述限制處理進行之限制處理內容相關聯而輸入。
TW103139672A 2013-11-18 2014-11-14 資訊處理裝置、資訊處理方法及資訊處理系統 TWI671676B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013238356A JP6678375B2 (ja) 2013-11-18 2013-11-18 情報処理装置、情報処理方法、および情報処理システム
JP2013-238356 2013-11-18

Publications (2)

Publication Number Publication Date
TW201531922A TW201531922A (zh) 2015-08-16
TWI671676B true TWI671676B (zh) 2019-09-11

Family

ID=53057460

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103139672A TWI671676B (zh) 2013-11-18 2014-11-14 資訊處理裝置、資訊處理方法及資訊處理系統

Country Status (5)

Country Link
US (1) US20160261717A1 (zh)
JP (1) JP6678375B2 (zh)
KR (1) KR20160086836A (zh)
TW (1) TWI671676B (zh)
WO (1) WO2015072526A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6392817B2 (ja) * 2016-08-04 2018-09-19 ファナック株式会社 シミュレーション装置
JP6944291B2 (ja) * 2017-07-05 2021-10-06 株式会社ディスコ 加工装置
JP7469854B2 (ja) * 2019-05-20 2024-04-17 シュナイダーエレクトリックホールディングス株式会社 画面作成装置
CN110928460B (zh) * 2019-10-09 2021-12-03 广州视源电子科技股份有限公司 智能交互平板的操作方法、装置、终端设备和存储介质
WO2024062567A1 (ja) * 2022-09-21 2024-03-28 日本電気株式会社 スイッチ装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244633A (ja) * 2007-03-26 2008-10-09 Seiko Epson Corp リモートコントローラ
US20110314278A1 (en) * 2010-06-18 2011-12-22 Axis Technology, LLC On-the-fly data masking
US20120178431A1 (en) * 2011-01-08 2012-07-12 Gold Steven K Proximity-Enabled Remote Control

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003282387A (ja) 2002-03-22 2003-10-03 Tokyo Electron Ltd 機器制御システム、制御装置及び機器制御方法
JP4300809B2 (ja) * 2003-01-28 2009-07-22 パナソニック電工株式会社 粒状物体の検査装置およびその検査方法
JP2004348605A (ja) 2003-05-23 2004-12-09 Tokyo Electron Ltd 制御装置及び制御方法、処理装置、及びプログラム
WO2005036899A2 (en) * 2003-10-10 2005-04-21 Enfora, L.P. Controlling the use of a wireless mobile communication device
JP2005347953A (ja) * 2004-06-01 2005-12-15 Canon Inc 制御システム、制御装置、及び被制御装置
JP2006352460A (ja) * 2005-06-15 2006-12-28 Toyota Motor Corp リモート操作システム、サービスセンタ及びリモート操作装置
JP2007034376A (ja) 2005-07-22 2007-02-08 Fujitsu Component Ltd 切り替え装置、並びに、その制御方法および制御プログラム
JP4956938B2 (ja) * 2005-08-25 2012-06-20 富士通株式会社 リモート操作プログラム、方法及び端末装置
JP4439475B2 (ja) * 2006-01-31 2010-03-24 キヤノンソフト情報システム株式会社 イベント実行システム
AU2008203410A1 (en) * 2007-07-30 2009-02-19 Daryl Morellini Profiling method and apparatus
JP5290553B2 (ja) * 2007-09-20 2013-09-18 富士通コンポーネント株式会社 Ｋｖｍスイッチ、ｋｖｍシステム及びプログラム
JP5055099B2 (ja) * 2007-12-06 2012-10-24 キヤノン株式会社 リモート操作システム及びその制御方法
JP4956400B2 (ja) * 2007-12-18 2012-06-20 株式会社京三製作所 車両存否判定装置、車両存否判定方法及びプログラム
JP2010170415A (ja) * 2009-01-23 2010-08-05 Nec Corp 動作変更装置と情報処理システム及び方法とプログラム
US20120116547A1 (en) * 2009-07-22 2012-05-10 Mikio Shigehara Remote control system for machine tool
JP5734085B2 (ja) * 2011-05-13 2015-06-10 株式会社Ｎｔｔドコモ 画面共有装置、画面共有システム、画面共有方法及びプログラム
JP6071297B2 (ja) * 2011-07-22 2017-02-01 東芝メディカルシステムズ株式会社 医用画像制御システム
JP2013137669A (ja) * 2011-12-28 2013-07-11 Ntt Docomo Inc 画面共有装置及び画面共有方法
JP2013211736A (ja) * 2012-03-30 2013-10-10 Nippon Seiki Co Ltd 車載装置
JP6120670B2 (ja) * 2013-05-16 2017-04-26 キヤノン株式会社 印刷装置、及び、印刷装置の制御方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244633A (ja) * 2007-03-26 2008-10-09 Seiko Epson Corp リモートコントローラ
US20110314278A1 (en) * 2010-06-18 2011-12-22 Axis Technology, LLC On-the-fly data masking
US20120178431A1 (en) * 2011-01-08 2012-07-12 Gold Steven K Proximity-Enabled Remote Control

Also Published As

Publication number Publication date
JP6678375B2 (ja) 2020-04-08
TW201531922A (zh) 2015-08-16
JP2015099999A (ja) 2015-05-28
US20160261717A1 (en) 2016-09-08
KR20160086836A (ko) 2016-07-20
WO2015072526A1 (ja) 2015-05-21

Similar Documents

Publication Publication Date Title
TWI671676B (zh) 資訊處理裝置、資訊處理方法及資訊處理系統
WO2016017972A1 (en) Electronic device and method for displaying user interface thereof
US20210365767A1 (en) Method and device for operator registration processing based on deep learning and electronic device
JP2022126793A (ja) 端末の制御方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
US20100077055A1 (en) Remote user interface in a terminal server environment
US20140176394A1 (en) Screen output system
CN103701927A (zh) 一种终端间的图像共享方法、终端设备及通信系统
US11775142B2 (en) Preferential automation view curation
JP6750124B2 (ja) 端末装置、ｕｉ拡張方法及びｕｉ拡張プログラム
CN112199301A (zh) 用户界面自动化测试方法、电子设备及存储介质
CN107273108A (zh) 显示和操作装置以及通过显示和操作装置操作现场设备的方法
US10970093B2 (en) Information processing apparatus for displaying a software screen on a foreground of a display based on a setting
US20170228207A1 (en) System and method for providing visual feedback related to cross device gestures
US9710234B2 (en) Generating software code
US20180012042A1 (en) Banner notification in locked host monitor
US20200044941A1 (en) Monitoring system, image information providing device, client control device, image information providing program, and client control program
CN114546314B (zh) 一种窗口显示方法、装置、电子设备及存储介质
EP3059673A1 (en) Mobile application systems and methods of operation
TWI767590B (zh) 用於多部電子計算裝置的機器人流程自動化裝置及機器人流程自動化方法
JP5836499B2 (ja) 利用者支援機能を有する情報処理装置、利用者支援プログラム、及び利用者支援方法
CN109542327B (zh) 对单元格进行处理的方法、装置及计算机可读介质
JP2013134614A (ja) 電子機器及び電子機器のプログラム
US20210027750A1 (en) Display apparatus, display system, and display method
US20150160787A1 (en) Controlling multiple computing systems
JP2007183804A (ja) コンソール、操作管理装置、同時操作管理システムおよび複数装置の同時操作方法およびプログラム