TW202303375A - 操作系統、處理系統、處理系統之構築方法、電腦、操作方法及記憶媒體 - Google Patents

操作系統、處理系統、處理系統之構築方法、電腦、操作方法及記憶媒體 Download PDF

Info

Publication number
TW202303375A
TW202303375A TW111123911A TW111123911A TW202303375A TW 202303375 A TW202303375 A TW 202303375A TW 111123911 A TW111123911 A TW 111123911A TW 111123911 A TW111123911 A TW 111123911A TW 202303375 A TW202303375 A TW 202303375A
Authority
TW
Taiwan
Prior art keywords
aforementioned
operating system
screen
command
input
Prior art date
Application number
TW111123911A
Other languages
English (en)
Inventor
渕上康徳
Original Assignee
日商東芝股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商東芝股份有限公司 filed Critical 日商東芝股份有限公司
Publication of TW202303375A publication Critical patent/TW202303375A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本發明提供一種可提高便利性之操作系統、處理系統、處理系統之構築方法、電腦、操作方法及記憶媒體。 實施形態之操作系統取得來自操作對象即第1裝置之映像信號。前述操作系統使基於前述映像信號之畫面顯示於顯示裝置。前述操作系統相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令。前述操作系統基於前述操作命令產生與前述第1裝置對應之操作信號，且向前述第1裝置發送。

Description

操作系統、處理系統、處理系統之構築方法、電腦、操作方法及記憶媒體
本發明之實施形態係關於一種操作系統、處理系統、處理系統之構築方法、電腦、操作方法及記憶媒體。
有藉由其他裝置操作某裝置之系統。於該系統中，追求便利性之進一步之提高。 [先前技術文獻] [專利文獻]
[專利文獻1] 日本特開2004-110489號公報
[發明所欲解決之課題]
本發明所欲解決之課題在於提供一種可提高便利性之操作系統、處理系統、處理系統之構築方法、電腦、操作方法及記憶媒體。 [解決課題之技術手段]
實施形態之操作系統取得來自操作對象即第1裝置之映像信號。前述操作系統使基於前述映像信號之畫面顯示於顯示裝置。前述操作系統相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令。前述操作系統基於前述操作命令產生與前述第1裝置對應之操作信號且向前述第1裝置發送。
以下，一面參照圖式一面說明本發明之各實施形態。在本申請案之說明書與各圖中，對於與已經說明之要件為相同之要件賦予以相同之符號，且適宜地省略詳細之說明。
圖1係顯示實施形態之操作系統之示意圖。 如圖1所示般，處理系統1包含操作系統10及處理裝置21(第1裝置)。操作系統10包含：取得裝置11、運算裝置12、產生裝置13、記憶裝置14、輸入裝置15、及顯示裝置16。操作系統10係為了操作處理裝置21而使用。
處理裝置21處理工件。處理例如為選自搬送、加工、洗淨、加熱、冷卻、及乾燥之至少一者。加工例如為選自成膜、蝕刻、研磨、微影術、及接合之至少一者。
處理裝置21包含控制部21a。處理裝置21之各構成要件基於自控制部21a發送之命令而動作，對工件進行處理。控制部21a例如包含：中央運算處理裝置(CPU)、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、記憶裝置、輸入介面、輸出介面、通訊介面、及連接該等之匯流排。控制部21a可為用於處理裝置21之專用電腦，亦可為泛用電腦。可藉由複數個電腦之協同，實現控制部21a之功能。
輸入裝置22係為了使用者將資料輸入處理裝置21而使用。使用者例如係擔任藉由處理裝置21執行之處理之操作者。輸入裝置22例如包含選自鍵盤、滑鼠、觸控墊、及麥克風(聲音輸入)之至少一者。
顯示裝置23將自處理裝置21輸出之映像信號以使用者可視認之方式顯示。顯示裝置23包含監視器。
取得裝置11取得自處理裝置21向顯示裝置23輸出之映像信號，且將該映像信號向顯示裝置23發送。取得裝置11例如包含映像信號之分配器及捕獲單元。取得裝置11將取得之映像信號向運算裝置12發送。
運算裝置12使基於接收到之映像信號之畫面顯示於顯示裝置16。運算裝置12受理使用輸入裝置15自使用者輸入之操作(輸入操作)。運算裝置12相應於輸入操作產生與該輸入操作對應之操作命令。操作命令係執行與輸入操作相同之操作內容之命令。運算裝置12將操作命令向產生裝置13發送。
輸入操作為光標之移動、選擇、文字之輸入等。例如，藉由選擇之操作，進行圖標之選擇、選單之顯示、選單之選擇、向輸入欄之聚焦等。藉由選擇與光標之移動之組合，而進行範圍之選擇、複數個圖標之選擇等。
在進行選擇之操作時，運算裝置12執行座標之轉換。具體而言，在顯示於顯示裝置23之畫面之內容相應於顯示裝置16之畫面之解析度縮小或放大時，運算裝置12執行座標轉換。於座標轉換中，運算裝置12取得在顯示裝置16之畫面中被選擇之座標。運算裝置12將該座標轉換成顯示裝置23之畫面中之座標。一般而言，此係緣於在顯示裝置之種類不同時，解析度、原點之座標、座標系等在該等顯示裝置之間不同之故。
運算裝置12例如包含CPU、ROM、RAM、記憶裝置、輸入介面、輸出介面、通訊介面、及連接該等之匯流排。運算裝置12係專用或泛用之電腦，可藉由複數個電腦之協同而實現運算裝置12之功能。輸入裝置15例如包含選自鍵盤、滑鼠、觸控墊、及麥克風之至少一者。顯示裝置16包含監視器。
產生裝置13基於操作命令產生與處理裝置21對應之操作信號。產生裝置13將產生之操作信號向操作對象即處理裝置21(控制部21a)輸入。例如，在輸入裝置22包含滑鼠或鍵盤時，操作信號相當於自滑鼠或鍵盤向控制部21a發送之信號。在輸入裝置22包含觸控墊時，操作信號相當於自觸控墊向控制部21a發送之信號。產生裝置13例如包含以產生相當於自輸入裝置22發送之信號之操作信號之方式被程式化之微電腦。
處理裝置21在受理到操作信號時，依照該操作信號，執行光標之移動、圖標之選擇、文字之輸入等。
記憶裝置14記憶處理裝置21之操作所需之各種資料。例如，記憶裝置14記憶顯示裝置16及23各者之解析度、原點之座標、座標系等。記憶裝置14包含硬碟驅動器(HDD)、固態硬碟(SSD)、或網路連接硬碟(NAS)等。
圖2(a)、圖2(b)、圖3(a)、及圖3(b)係例示顯示裝置之畫面之示意圖。 圖2(a)及圖3(a)係顯示於顯示裝置23之畫面之一例。圖2(b)及圖3(b)係顯示於顯示裝置16之畫面之一例。於本例中，顯示裝置23之畫面之解析度大於顯示裝置16之畫面之解析度。在顯示裝置16之畫面中，顯示裝置23之畫面整體被縮小地顯示。在顯示裝置23之畫面之解析度小於顯示裝置16之畫面之解析度時，在顯示裝置16之畫面內，顯示裝置23之畫面整體以與顯示裝置23之畫面相同之尺寸顯示。顯示於顯示裝置23之畫面之內容亦可相應於顯示裝置16之畫面之解析度而放大。
顯示於顯示裝置16之畫面及顯示於顯示裝置23之畫面基於相同之映像信號。因此，如圖2(a)及圖2(b)所示般，於顯示裝置16之畫面A1，顯示與顯示裝置23之畫面a1相同之內容。於圖示之例中，於畫面a1中，顯示圖標b1～b7、及與藉由處理裝置21處理之工件相關之資訊c1。於畫面A1中，顯示與圖標b1～b7相同之圖標B1～B7、及與資訊c1相同之資訊C1。
使用者一面觀察顯示裝置16之畫面A1，一面使用輸入裝置15對運算裝置12輸入操作。例如如圖2(b)及圖3(b)所示般，使用者於畫面A1中，使光標P移動至圖標B3，藉由點擊而選擇圖標B3。該情形下，運算裝置12取得被點擊之座標。運算裝置12對記憶裝置14進行存取，參照顯示裝置16之原點之座標、顯示裝置16之座標系、顯示裝置23之原點之座標、顯示裝置23之座標系。
圖4(a)及圖4(b)係用於說明實施形態之操作系統之座標轉換之示意圖。 如圖4(a)及圖4(b)所示般，將顯示裝置16之X方向上之解析度設為Rx1、將顯示裝置16之座標系之原點之X座標設為Ox1、將顯示裝置23之X方向上之解析度設為Rx2、將顯示裝置23之座標系之原點之X座標設為Ox2。運算裝置12可藉由以下之數式，將在顯示裝置16之畫面中被點擊之點之X方向之座標x1，轉換成在顯示裝置23之畫面中被點擊之點之X方向之座標x2。 x2=(x1-Ox1)×(Rx2-Ox2)/(Rx1-Ox1)+Ox2
將顯示裝置16之Y方向上之解析度設為Ry1、將顯示裝置16之座標系之原點之Y座標設為Oy1、將顯示裝置23之Y方向上之解析度設為Ry2、將顯示裝置23之座標系之原點之Y座標設為Oy2。運算裝置12藉由以下之數式，將在顯示裝置16之畫面中被點擊之點之Y方向之座標y1，轉換成在顯示裝置23之畫面中被點擊之點之Y方向之座標y2。 y2=(y1-Oy1)×(Ry2-Oy2)/(Ry1-Oy1)+Oy2
運算裝置12產生使光標向經轉換之座標(x,y)=(x2,y2)移動之操作命令、及選擇座標(x,y)=(x2,y2)之操作命令。產生裝置13基於該操作命令，產生與處理裝置21對應之操作信號。
處理裝置21如圖3(b)所示般，依照操作信號，使光標p向圖標b3移動，而選擇圖標b3。藉由將經轉換之座標包含於操作命令中，而無關於顯示裝置16之規格與顯示裝置23之規格之差，操作系統10可適切地操作處理裝置21。
作為一例，顯示裝置16之解析度為2000×1000。顯示裝置16之座標系之原點座標為(x,y)=(10, 20)。顯示裝置23之解析度為640×480。顯示裝置16之座標系之原點座標為(x,y)=(0, 0)。於顯示裝置16之畫面a1中，座標(x,y)=(460, 400)之點被點擊。運算裝置12使用上述之數式，如以下般將在畫面A1中被點擊之座標轉換成在畫面a1中被點擊之座標。 x2=460×(2000-10)/640+10 y2=400×(1000-20)/480+20 藉此，算出在畫面a1中被點擊之座標(x,y)=(1440, 837)。
圖5係顯示實施形態之操作系統之動作之流程圖。 取得裝置11取得映像信號(步驟S1)。運算裝置12使基於映像信號之畫面顯示於顯示裝置16(步驟S2)。運算裝置12受理使用輸入裝置15之輸入操作(步驟S3)。運算裝置12相應於輸入操作之受理，產生與輸入操作對應之操作命令(步驟S4)。產生裝置13基於操作命令產生與處理裝置21對應之操作信號(步驟S5)。產生裝置13將產生之操作信號向處理裝置21發送(步驟S6)。處理裝置21依照接收到之操作信號而操作。
對於實施形態之優點進行說明。 操作系統10取得來自處理裝置21之映像信號，且將與處理裝置21對應之操作信號發送至處理裝置21。操作系統10將與來自使用者之輸入操作對應之操作信號發送至處理裝置21。使用者藉由使用操作系統10，而可不使用輸入裝置22地操作處理裝置21。藉由在既有之處理裝置21、輸入裝置22、及顯示裝置23中適用操作系統10，可無需處理裝置21之改造、用於遠程操作之通訊設定、特別之通訊要件之整備等，而容易地遠程操作處理裝置21。根據操作系統10，不進行輸入操作之記憶、或所記憶之輸入操作之執行等，使用者可使用輸入裝置15直接操作處理裝置21。根據實施形態，可提高操作系統10之便利性。
在操作系統10操作處理裝置21時，操作系統10無需對處理裝置21之資料等進行存取。根據實施形態，即便在處理裝置21僅連接於有限之網路之狀態下仍可遠程操作處理裝置21，而可提高與處理裝置21相關之資料之安全性。
再者，此處，「遠程操作」意指利用電信號等以與處理裝置21不同之其他操作系統10操作處理裝置21。操作系統10無需設置於遠離處理裝置21之場所。操作系統10可設置於遠離處理裝置21之場所，亦可連接於處理裝置21而設置。
運算裝置12將基於映像信號之畫面相應於顯示裝置16之解析度而縮小或放大。藉此，可將顯示裝置23之畫面整體顯示於顯示裝置16，而容易進行圖標之選擇、選單之顯示、選單之選擇、向輸入欄之聚焦等之操作。可提高處理系統1及操作系統10之使用性。
若畫面被放大或縮小，則在顯示裝置16之畫面中被選擇之座標、與在顯示裝置23之畫面中應被選擇之座標之間產生偏差。運算裝置12為了補正偏差，而執行上述之座標轉換。藉此，即便在畫面被放大或縮小時，仍可於顯示裝置23之畫面，選擇適切之位置。
(第1變化例) 圖6係顯示實施形態之第1變化例之操作系統10a之示意圖。 第1變化例之操作系統10a可執行用於自動操作處理裝置21之自動操作模式。處理系統1a包含操作系統10a及處理裝置21。記憶裝置14記憶自動操作模式時參照之動作檔案14a。於動作檔案14a，記述對於處理裝置21之操作。
使用者使用輸入裝置15或22操作處理裝置21。在來自產生裝置13之操作信號、或來自輸入裝置22之輸入操作輸入至處理裝置21時，處理裝置21被操作，顯示裝置23之畫面變化。運算裝置12根據來自輸入裝置15之輸入及畫面之變化，判定被執行之操作，且記述於動作檔案。於自動操作模式中，運算裝置12基於動作檔案產生操作命令。藉此，由使用者進行之操作，藉由操作系統10a而被自動重複。
動作檔案包含第1檔案及第2檔案。第1檔案記述用於產生操作命令之產生動作。例如，第1檔案為記述用於產生操作命令且向產生裝置13發送之動作定序之程式檔案。第1檔案係以C語言等泛用之程式化語言記述。
第2檔案在產生動作之執行時被參照。第2檔案包含在輸出信號之識別、與後述之操作信號之產生上所使用之資訊。例如，第2檔案以文字形式記述指向裝置之選擇座標、圖像辨識時所參照之資料之資訊等。
運算裝置12一面參照第2檔案所含之資訊，一面執行第1檔案中記述之產生動作。運算裝置12對於基於取得之映像資訊之畫面，進行圖像辨識處理。藉由圖像辨識，而判定畫面之變化、所執行之操作等。於圖像辨識中，執行選自模板匹配、文字辨識、及色辨識之至少一者。動作檔案及圖像辨識所需之參考資料，係由使用者或操作系統10a預先準備。
對於滑鼠等指向裝置，運算裝置12將所選擇之座標記述於第2檔案，且記憶於記憶裝置14。例如，使用者一面觀察顯示裝置16之畫面，一面使用輸入裝置15進行點擊。運算裝置12將被點擊之座標轉換成顯示裝置23之畫面之座標，且記述於第2檔案。
對於鍵盤，取得裝置11取得藉由鍵盤輸入文字時之自處理裝置21向顯示裝置23之映像信號。運算裝置12使基於映像信號之畫面顯示於顯示裝置16。使用者於顯示之畫面中，將光標對準於供輸入文字之文字框，選擇其座標。藉此，文字框被聚焦。使用者使用輸入裝置15對文字框輸入文字。運算裝置12將顯示裝置23之畫面之座標、及輸入至該文字框之1個以上之文字記述於第2檔案。
在操作信號被發送至處理裝置21後，運算裝置12藉由進行圖像辨識，相應於操作信號判定處理裝置21是否被操作。在判定為未操作時，運算裝置12可對顯示裝置16或其他終端裝置發送無法操作之主旨之通知。使用於圖像辨識之模板圖像之檔案名、使用於文字辨識之範圍、使用於色辨識之圖像及範圍等記述於第2檔案。
於模板圖像之準備中，取得裝置11取得執行圖像辨識時之自處理裝置21向顯示裝置23之映像信號。運算裝置12使基於映像信號之畫面顯示於顯示裝置16。使用者使用輸入裝置15選擇所顯示之畫面之一部分。所選擇之部分作為模板圖像記憶於記憶裝置14。使用者將所參照之模板圖像之檔案名記述於第2檔案。例如，對於執行由操作系統10a實施之自動操作之所有畫面，進行模板圖像之準備。在處理裝置21被操作時，於畫面中產生變化。例如，所顯示之畫面轉移至其他畫面、或顯示有視窗。將不包含於變化前之畫面、而包含於變化後之畫面之部分圖像，用作模板圖像。
於文字辨識範圍之準備中，取得裝置11取得在需要辨識文字時之自處理裝置21向顯示裝置23之映像信號。運算裝置12使基於映像信號之畫面顯示於顯示裝置16。使用者使用輸入裝置15，於所顯示之畫面中，確認執行文字辨識之範圍。使用者將該範圍記述於第2檔案。或者，使用者亦可選擇執行文字辨識之範圍之2個對角點。運算裝置12將被選擇之2個對角點之座標，轉換成顯示裝置23之畫面中之座標。運算裝置12將所轉換之座標記述於第2檔案。
於色辨識之準備中，取得裝置11取得需要辨識色時之自處理裝置21向顯示裝置23之映像信號。運算裝置12使基於映像信號之畫面顯示於顯示裝置16。使用者使用輸入裝置15，於所顯示之畫面中，選擇執行色辨識之範圍。所選擇之範圍之圖像係記憶於記憶裝置14。使用者將該範圍記述於第2檔案。或者，使用者亦可選擇執行色辨識之範圍之2個對角點。運算裝置12將被選擇之2個對角點之座標，轉換成顯示裝置23之畫面中之座標。運算裝置12將所轉換之座標記述於第2檔案。
於使用模板圖像之圖像辨識中，運算裝置12對基於映像信號之畫面與模板圖像進行比較，判定與模板圖像類似之圖像是否包含於畫面中。於文字辨識中，運算裝置12切出預先記憶之範圍之圖像。運算裝置12對於該圖像，執行光學字元辨識(Optical Character Recognition，OCR)等文字辨識之處理。於色辨識中，運算裝置12切出預先記憶之範圍之圖像。運算裝置12在預先記憶之圖像與切出之圖像之間，判定各部分之色是否一致。運算裝置12係藉由利用該等處理而辨識圖像，來判定操作信號對於處理裝置21之操作是否結束。
圖7(a)及圖7(b)係例示顯示裝置之畫面之示意圖。圖8(a)係例示第1檔案之一部分之示意圖。圖8(b)係例示第2檔案之一部分之示意圖。 關於由操作系統10a執行之動作檔案之製作，參照具體例進行說明。在由處理裝置21執行之處理過程之一部分中，基於自處理裝置21輸出之映像信號，將圖7(a)及圖7(b)所示之畫面顯示於顯示裝置16。於圖7(a)所示之畫面A1中，顯示有圖標B1～B7及資訊C1。於圖7(b)所示之畫面A2中，顯示有圖標B1～B4、圖標B11～B14、處理裝置21之示意圖D。
使用者於圖7(a)所示之畫面A1中，使光標P移動至圖標B3，選擇圖標B3。運算裝置12將被選擇之座標，轉換成顯示裝置23之畫面中之座標。運算裝置12將使光標向所轉換之座標移動之動作、及選擇該座標之動作，記述於第1檔案。運算裝置12將所轉換之座標記述於第2檔案。
於顯示裝置16，顯示圖7(b)所示之畫面A2。使用者自畫面A2切出用於判定自畫面A1向畫面A2之轉移之模板圖像。例如，將示意圖D及圖標B11～B14之任一者作為模板圖像使用。使用者將切出之模板圖像，作為圖像資料記憶於記憶裝置14。使用者將自畫面A1向畫面A2之轉移之判定時所參照之模板圖像之檔案名，記述於第2檔案。
使用者於畫面A2中，使光標P移動至圖標B14，選擇圖標B14。運算裝置12將被選擇之座標，轉換成顯示裝置23之畫面中之座標。運算裝置12將使光標向所轉換之座標移動之動作、及選擇該座標之動作，記述於第1檔案。運算裝置12將所轉換之座標記述於第2檔案。以下，同樣地，重複模板圖像之記憶、及向第2檔案之檔案名之記述。
例如如圖8(a)及圖8(b)所示般，為了進行操作系統10a之操作，而準備第1檔案及第2檔案。於第1檔案中，記述上述之用於選擇特定圖標之操作命令之產生、參照模板圖像等藉由運算裝置12執行之動作。於第2檔案中，記述所選擇之座標、所參照之模板圖像之檔案名等。
操作系統10a之操作之開始之觸發，為任意。例如，可基於輸入處理裝置21之信號、或自其他感測器或計測器等發送之信號等開始操作。可相應於自其他操作系統10a發送之信號、或自藉由其他操作系統10a操作之其他處理裝置21發送之信號，開始操作。信號可在其他操作系統10a之操作時發送，亦可在其他操作系統10a之操作時以外發送。亦可於在顯示裝置23顯示有特定之畫面時，開始操作。亦可在使用者對運算裝置12輸入特定之命令時，開始操作。
圖9係顯示使用實施形態之第1變化例之操作系統之自動操作方法之步序之流程圖。 操作系統10a以使用者可使用輸入裝置15操作處理裝置21之方式，執行圖5所示之流程圖之動作。使用者操作處理裝置21，以執行欲使處理裝置21自動執行之處理。在操作中，製作第1檔案、參考資料、及第2檔案(步驟S11)。例如，運算裝置12將與使用者之操作對應之動作定序記述於第1檔案。運算裝置12將所選擇之座標記述於第2檔案。使用者將參考資料記憶於記憶裝置14。使用者將參考資料之檔案名等記述於第2檔案。
操作系統10a使用所製作之第1檔案、參考資料、及第2檔案，執行處理裝置21之自動操作模式(步驟S12)。
根據第1變化例之操作系統10a，可藉由自動操作模式，自動操作處理裝置21。例如，可無需進行處理裝置21之改造或程式之覆寫等，而將處理裝置21之操作自動化。
於操作系統10a中，在操作處理裝置21時，參照動作檔案。動作檔案包含第1檔案及第2檔案。第1檔案記述用於產生操作命令之產生動作。第2檔案與第1檔案不同地製作，在基於第1檔案之記述之產生動作之執行時被參照。
於製造現場，有使用相同種類之複數個處理裝置21之情形。複數個處理裝置21可藉由複數個操作系統10a分別自動地操作。該情形下，可使用共通之動作檔案及共通之參考資料。例如，若準備用於操作1個處理裝置21之動作檔案及參考資料，則複製該動作檔案及參考資料，於各個操作系統10a之操作中使用。
或者，即便在相同種類之處理裝置21彼此之間，亦有所顯示之畫面略微不同之情形。例如，有同一畫面中之同一圖標之位置在處理裝置21彼此之間略微不同之情形。其結果為，在利用指向裝置選擇記述於第2檔案之座標時，有無法選擇所期望之圖標之情形。即便在相同種類之處理裝置21彼此之間，亦有因雜訊之影響、處理裝置21之映像信號之輸出部之經年劣化等，而模板圖像之外觀不同之情形。其結果為，有圖像辨識之精度下降之情形。
於先前之操作系統中，在存在如此之機差時，需要製作補正該機差之新的程式檔案。亦即，由運算裝置12執行之基本之動作、或所使用之參考資料、所輸入之文字等，雖然在處理裝置21彼此之間大致相同，但是需要重新製作用於產生操作命令之程式檔案。
於操作系統10a中，操作命令之產生時所使用之資訊，記述於與第1檔案不同之第2檔案。例如，在存在圖標之座標之偏差時，只要以補正該偏差之方式變更座標之記述即可。在模板圖像之外觀不同時，只要準備外觀不同之模板圖像，以參照該圖像資料之方式變更第2檔案之記述即可。根據實施形態，可容易地補正機差，且可減輕操作系統10a之準備所需之使用者之負擔。
第2檔案例如為文字檔案。因此，即便為無與程式化相關之知識之使用者，亦可以文字形式記述第2檔案，而可容易地修正第2檔案。
參考資料可藉由操作系統10a自動產生。例如，運算裝置12在選擇任一座標時，保存選擇前之畫面及選擇後之畫面。運算裝置12檢測相對於選擇前之畫面之特徵量的選擇後之畫面之特徵量之變化。運算裝置12自選擇後之畫面，擷取特徵量之變化大之區域。運算裝置12將擷取出之區域作為模板圖像記憶於記憶裝置14。運算裝置12將該模板圖像之檔案名記述於第2檔案。藉由參考資料之自動產生，可減輕使用者準備參考資料之負擔。
使用者可在製造生產線之作動前，為了確認在操作系統10a之操作上是否存在不良狀況，而試運行自動操作模式。例如，使用者在自動操作模式之試運行中，確認是否適切地選擇圖標、是否正常地辨識圖像等。在確認到自動操作模式之不良狀況時，使用者適當修正第2檔案之記述。
運算裝置12亦可自動修正記述於第2檔案之座標。例如，在自動操作模式之試運行中，運算裝置12產生用於選擇記述於第2檔案之座標之選擇操作命令，且發送至產生裝置13。產生裝置13基於選擇操作命令產生操作信號，且發送至處理裝置21。運算裝置12在操作信號被發送後辨識藉由取得裝置11取得之圖像，判定是否顯示有預先準備之模板圖像。在未顯示模板圖像時，運算裝置12產生用於選擇與記述於第2檔案之座標不同之其他座標之其他選擇操作命令。例如，該其他座標自記述於第2檔案之座標附近隨機決定。運算裝置12對產生裝置13發送其他選擇操作命令。產生裝置13基於其他選擇操作命令產生其他操作信號，且發送至處理裝置21。重複產生其他選擇操作命令，例如直至顯示有所準備之模板圖像、或選擇操作命令之產生次數達到規定值為止。運算裝置12以選擇與目前為止之座標不同之其他座標之方式產生其他選擇操作命令。
圖10係顯示實施形態之操作系統之自動操作模式之試運行之一部分之流程圖。 例如，於圖9所示之流程圖中，於步驟S1與S2之間，試運行使用第1檔案、第2檔案、及參考資料之自動操作模式。於試運行之一部分中，運算裝置12產生用於選擇畫面之一部分之選擇操作命令(步驟S21)。產生裝置13產生基於該選擇操作命令之操作信號，且發送至處理裝置21。運算裝置12基於畫面之辨識結果，判定操作信號對於處理裝置21之操作是否結束(步驟S22)。
在操作未結束時，運算裝置12判定選擇操作之試運行次數是否未達規定次數(步驟S23)。在試運行次數未達規定次數時，運算裝置12產生用於選擇其他座標之其他選擇操作命令(步驟S24)。產生裝置13產生基於該選擇操作命令之操作信號，且發送至處理裝置21。在選擇操作之試運行次數達到規定次數時，運算裝置12向使用者報知(步驟S25)。例如，使通知無法適切地執行操作之資訊，顯示於顯示裝置16。
於步驟S22中，在判定為相應於選擇操作命令之操作結束時，運算裝置12將記述於第2檔案之座標修正成可執行選擇操作之選擇操作命令所使用之座標(步驟S26)。再者，於在記述於第2檔案之原先之座標下可執行選擇操作時，不修正第2檔案。
藉由圖10所示之流程圖之處理，在需要修正記述於第2檔案之座標時，該座標被自動修正。藉此，可提高操作系統10a之便利性。
再者，在操作信號輸入處理裝置21時，有處理裝置21之應答延遲之情形。有可能在判定相應於選擇操作命令之操作是否結束時，畫面因延遲而不變化，在判定後畫面正常變化。因此，對於在向顯示裝置23之畫面之顯示上可能產生延遲之處理裝置21，將發送操作信號之間隔設定為更長，或將基於選擇操作命令之操作信號發送複數次。例如，於圖10所示之流程圖中，在某操作信號輸入處理裝置21後，操作未結束時，可自產生裝置13將相同之操作信號再次輸入處理裝置21。
(第2變化例) 圖11係顯示實施形態之第2變化例之操作系統之示意圖。 於處理裝置21，可連接有具備作為輸入裝置及顯示裝置發揮功能之輸入顯示裝置。例如，圖11所示般，作為輸入顯示裝置而設置觸控面板24。第2變化例之操作系統10b進一步包含切換裝置17。處理系統1b包含操作系統10b及處理裝置21。
產生裝置13產生相當於自觸控面板24發送之信號之操作信號。切換裝置17對輸入處理裝置21之信號進行切換。具體而言，於切換裝置17，輸入自觸控面板24發送之信號、及自產生裝置13發送之操作信號。切換裝置17切換自觸控面板24發送之信號輸入處理裝置21之狀態、與自產生裝置13發送之操作信號輸入處理裝置21之狀態。在操作系統10b之操作中，切換裝置17將操作信號輸入處理裝置21。
藉由切換裝置17，在操作系統10b之操作中，可避免使用者藉由觸控面板24操作處理裝置21。例如，可減少因使用者之操作而轉移至其他畫面、而操作系統10b之自動操作模式中斷之可能性。
切換裝置17例如包含繼電器電路或開關電路。藉由設置切換裝置17，可藉由操作系統10b操作使用觸控面板24之處理裝置21。
關於觸控面板24，即便為相同種類之裝置，但產生之操作信號之座標之偏差大。此係緣於檢測觸控之感測器之座標與顯示器之位置關係被個別地調整之故。因此，即便在相同種類之複數個處理裝置21分別使用相同種類之複數個觸控面板24時，仍不得不就每一處理裝置21修正自動操作時所選擇或所參照之座標。
該情形下，藉由修正記述於第2檔案之座標，而可容易地修正與座標之偏差相關之機差。因此，實施形態之發明特別適合於使用觸控面板24之處理裝置21。根據第2變化例，可減輕針對連接有觸控面板24之處理裝置21之自動操作模式之準備的使用者之負擔。
(第3變化例) 圖12係顯示實施形態之第3變化例之操作系統之示意圖。 第3變化例之操作系統10c與操作系統10相比進一步包含切換裝置17。自產生裝置13或輸入裝置22向處理裝置21發送之信號，經由切換裝置17輸入處理裝置21。切換裝置17切換自輸入裝置22發送之信號輸入處理裝置21之狀態、與自產生裝置13發送之操作信號輸入處理裝置21之狀態。
在操作系統10c之操作中，切換裝置17將操作信號輸入處理裝置21。藉此，在操作系統10c之操作中，可避免使用者使用輸入裝置22來操作處理裝置21。例如，可減少因使用者之操作而自動操作模式中斷之可能性。根據第3變化例，可提高包含操作系統10c及處理裝置21之處理系統1c之便利性。
(第4變化例) 圖13係顯示實施形態之第4變化例之操作系統之示意圖。 如圖13所示般，第4變化例之操作系統10d與操作系統10相比進一步包含讀取裝置18a及18b。讀取裝置18a及18b讀取識別資訊。作為識別資訊，可使用一維條碼、二維條碼、或無線射頻識別(Radio Frequency IDentifier，RFID)。讀取裝置18a及18b為條碼讀取機或RFID讀取機。例如，讀取裝置18a讀取擔任處理裝置21的操作者之識別資訊。讀取裝置18b讀取由處理裝置21處理的工件之識別資訊。
例如，在執行處理裝置21之處理時，使用者(操作者)在讀取裝置18b可讀取工件之識別資訊之場所放置工件。其後，使用者使讀取裝置18a讀取自身之識別資訊。運算裝置12相應於讀取裝置18a對識別資訊之讀取，開始處理裝置21之操作。例如，運算裝置12使讀取裝置18b讀取工件之識別資訊，在其後開始操作命令之產生。
操作系統10d可產生相應於所讀取之識別資訊之操作信號，且向處理裝置21輸入。或者，可自運算裝置12向處理裝置21經由通訊埠藉由串列通訊等將識別資訊直接輸入。
如第4變化例般，操作系統10d亦可包含與藉由處理裝置21執行之處理相關之其他裝置。可相應於其他裝置之動作，開始處理裝置21之操作。藉此，使用者無需為了操作之開始而操作輸入裝置15或22。根據第4變化例，可提高操作系統10d之便利性。可提高包含操作系統10d及處理裝置21之處理系統1d之便利性。
(第5變化例) 圖14係顯示實施形態之第5變化例之操作系統之示意圖。 第5變化例之操作系統10e如圖14所示般，與管理裝置30(第2裝置)連接。處理系統1e包含：操作系統10e、處理裝置21、及管理裝置30。例如，運算裝置12藉由網路、有線通訊、或無線通訊與管理裝置30連接。管理裝置30係向處理裝置21發送命令之上位之裝置。
在管理裝置30向處理裝置21發送命令時，操作系統10e接收該命令。操作系統10e相應於命令而執行操作。例如，運算裝置12產生相應於命令之操作命令，且向產生裝置13發送。
例如，於記憶裝置14記憶有複數個動作檔案。運算裝置12相應於自管理裝置30發送之命令，選擇複數個動作檔案之1個。運算裝置12執行所選擇之動作檔案所含之程式，並產生操作命令。或者，自管理裝置30發送之命令可用作操作之開始之觸發。
操作系統10e可將與由處理裝置21執行之處理相關之參數輸入處理裝置21。參數為被處理之工件之數目、執行處理時之條件等。條件例如為溫度、壓力、氣體或液體之流量、電流、電壓、處理時間等。操作系統10e產生用於輸入參數之數值之操作信號，且向處理裝置21發送。藉此，數值輸入顯示於顯示裝置23之文字框等。
管理裝置30可將自操作系統10e輸入處理裝置21之參數，向操作系統10e發送。自管理裝置30向處理裝置21發送之命令包含參數。操作系統10e接收作為參數而輸入之數值，並產生相應於該數值之操作信號。藉此，自管理裝置30發送之數值向處理裝置21輸入。
管理裝置30亦可將與所處理之工件相關之資訊向操作系統10e發送。自管理裝置30向處理裝置21發送之命令，包含與處理之工件相關之資訊。例如，管理裝置30將工件之識別資訊(ID)向操作系統10e發送。操作系統10e經由通訊埠將識別資訊向處理裝置21輸入。或者，操作系統10e亦可產生相應於識別資訊之操作信號，且向處理裝置21輸入。
於製造現場中，有為了管理複數個處理裝置，而設置更上位之裝置之情形。另一方面，有因處理裝置21與管理裝置30之間之通訊IF之互換性、通訊規格之相異等，而無法自管理裝置30向處理裝置21直接發送命令之情況。例如，若處理裝置21老舊，則有處理裝置21無法受理自管理裝置30發送之命令之情形。該情形下，藉由使用操作系統10e，而可藉由管理裝置30管理處理裝置21。例如，無需進行處理裝置21之改造等，而可更容易地提高生產效率。藉由使用操作系統10e，可將單體或複數個處理裝置21之作動狀況向管理裝置30發送。因此，管理裝置30可容易地取得與處理系統1e之單體或複數個運轉率或作動狀況相關之資訊。
(第6變化例) 圖15係顯示實施形態之第6變化例之處理系統之示意圖。 於第6變化例之處理系統1f中，管理裝置30與複數個操作系統10e連接。複數個操作系統10e分別與複數個處理裝置21連接。管理裝置30向複數個處理裝置21發送命令。複數個操作系統10e相應於自管理裝置30發送之命令，分別操作複數個處理裝置21。管理裝置30亦可選擇複數個處理裝置21之1個以上，向所選擇之處理裝置21發送命令。
根據處理系統1f，管理裝置30可取得與複數個處理裝置21之運轉率或作動狀況相關之資訊，而可提高複數個處理裝置21之生產效率。
任一操作系統10e之處理裝置21之操作，可相應於自其他操作系統10e發送之信號、或自藉由其他操作系統10e操作之其他處理裝置21發送之信號而開始。信號可在其他操作系統10e之操作時發送，亦可在其他操作系統10e之操作時以外發送。藉由在複數個操作系統10e、複數個處理裝置21、及管理裝置30之三者以上之間，收發用於操作之開始之信號，而例如可有效率地運轉複數個處理裝置21。
(第7變化例) 圖16係顯示實施形態之第7變化例之操作系統之示意圖。 於第7變化例之處理系統1g中，操作系統10g與終端裝置35連接。操作系統10g設定為可藉由終端裝置35遠程操作。終端裝置35可遠程操作操作系統10g之運算裝置12。
使用者可藉由操作終端裝置35對運算裝置12發送輸入操作。操作系統10依照自終端裝置35發送之輸入操作，操作處理裝置21。使用者可藉由終端裝置35之操作，執行動作檔案之準備、操作系統10g之自動操作模式等。
即便在操作系統10g與處理裝置21相鄰地設置時，仍可自遠離該操作系統10g之場所、藉由終端裝置35操作操作系統10g。根據第7變化例，可提高處理系統1g之便利性。
(第8變化例) 圖17係顯示實施形態之第8變化例之操作系統之示意圖。 於第8變化例之處理系統1h中，複數個操作系統10g與終端裝置35連接。終端裝置35可遠程操作複數個操作系統10g之運算裝置12。
根據第8變化例，可藉由1個終端裝置35操作複數個操作系統10g。可在遠離複數個操作系統10g之位置進行用於操作複數個處理裝置21之自動操作模式之設定等。根據第8變化例，可提高處理系統1h之便利性。
圖18係顯示硬體構成之示意圖。 運算裝置12、控制部21a、管理裝置30、及終端裝置35各者例如分別包含圖18所示之電腦90之構成。電腦90包含：CPU 91、ROM 92、RAM 93、記憶裝置94、輸入介面95、輸出介面96、及通訊介面97。
ROM 92儲存控制電腦90之動作之程式。於ROM 92，儲存有為了使電腦90實現上述之各處理所需之程式。RAM 93作為供儲存於ROM 92之程式展開之記憶區域而發揮功能。
CPU 91包含處理電路。CPU 91將RAM 93作為工作記憶體，執行記憶於ROM 92或記憶裝置94之至少任一者之程式。在程式之執行中，CPU 91經由系統匯流排98控制各構成，且執行各種處理。
記憶裝置94係記憶程式之執行所需之資料、或藉由程式之執行而獲得之資料。亦可將記憶裝置94作為記憶裝置14使用。
輸入介面(I/F)95連接電腦90與輸入裝置95a。輸入I/F 95例如為USB等串列匯流排介面。CPU 91可經由輸入I/F 95，自輸入裝置95a讀入各種資料。將輸入裝置95a作為輸入裝置15或22使用。
輸出介面(I/F)96連接電腦90與顯示裝置96a。輸出I/F 96例如為數位視訊介面(Digital Visual Interface，DVI)或高解析度多媒體介面(High-Definition Multimedia Interface(HDMI(登録商標))等映像輸出介面。CPU 91可經由輸出I/F 96對顯示裝置96a發送資料，且使顯示裝置96a顯示畫面。將顯示裝置96a作為顯示裝置16或23使用。
通訊介面(I/F)97連接電腦90外部之伺服器97a與電腦90。通訊I/F 97例如為LAN卡等網路卡。CPU 91可經由通訊I/F 97自伺服器97a讀入各種資料。
2個以上之電腦90可協同地作為運算裝置12、控制部21a、管理裝置30、或終端裝置35而發揮功能。在作為運算裝置12發揮功能之電腦中，組入產生裝置13，該電腦可作為運算裝置12及產生裝置13發揮功能。可在1個電腦中，安裝具有運算裝置12之功能之程式、及具有產生裝置13之功能之程式。
上述各種資料之處理可作為可使電腦執行之程式而記錄於磁碟(軟性磁碟及硬碟等)、光碟(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW等)、半導體記憶體、或其他非暫時性之可由電腦讀取之記錄媒體(non-transitory computer-readable storage medium)。
例如，記錄於記錄媒體之資訊可藉由電腦(或組入系統)讀出。於記錄媒體中，記錄形式(記憶形式)為任意。例如，電腦自記錄媒體讀出程式，基於該程式利用CPU執行記述於程式之指示。於電腦中，程式之取得(或讀出)可經由網路進行。
根據以上說明之操作系統、處理系統、或操作方法，可容易地遠程操作處理裝置21，而可提高處理裝置21之便利性。藉由使電腦使用執行操作方法之程式，而可獲得同樣之效果。根據構築操作系統而與第1裝置連接之處理系統之構築方法，可提供一種可容易地操作處理裝置21之處理系統。
本發明之實施形態可包含以下之特徵。 (特徵1) 一種操作系統，其包含：取得來自操作對象即第1裝置之映像信號； 使基於前述映像信號之畫面顯示於顯示裝置； 相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令； 基於前述操作命令產生與前述第1裝置對應之操作信號，且向前述第1裝置發送。 (特徵2) 如特徵1之操作系統，其使基於前述映像信號之前述畫面，相應於前述顯示裝置之解析度放大或縮小地顯示。 (特徵3) 如特徵2之操作系統，其中前述輸入操作包含前述畫面中之選擇， 將前述畫面中被選擇之座標，轉換成連接於前述第1裝置之顯示裝置之畫面中之座標且包含於前述操作命令中。 (特徵4) 如特徵1至3中任一項之操作系統，其中在包含對於前述第1裝置之操作內容之動作檔案中，記述前述輸入操作。 (特徵5) 如特徵4之操作系統，其可執行基於前述動作檔案來產生前述操作命令之自動操作模式。 (特徵6) 如特徵5之操作系統，其中在前述自動操作模式中，基於前述畫面之辨識結果，判定前述操作信號對於前述第1裝置之操作是否結束。 (特徵7) 如特徵5之操作系統，其基於前述畫面之特徵量之變化產生模板圖像， 於前述自動操作模式中，基於前述畫面與前述模板圖像之比較結果，判定前述操作信號對於前述第1裝置之操作是否結束。 (特徵8) 如特徵5至7中任一項之操作系統，其自向前述第1裝置發送命令之第2裝置接收前述命令，且 相應於前述命令執行前述自動操作模式。 (特徵9) 如特徵8之操作系統，其中在相應於前述命令之前述自動操作模式中，產生與前述命令對應之前述操作命令。 (特徵10) 如特徵8或9之操作系統，其中在相應於前述命令之前述自動操作模式中，自複數個前述動作檔案選擇1個前述動作檔案， 基於所選擇之前述動作檔案來產生前述操作命令。 (特徵11) 如特徵8至10中任一項之操作系統，其中前述命令包含輸入前述第1裝置之參數或與由前述第1裝置處理之工件相關之資訊。 (特徵12) 如特徵5至11中任一項之操作系統，其相應於讀取裝置之識別資訊之讀取，執行前述自動操作模式。 (特徵13) 一種處理系統，其包含：特徵1至12中任一項之操作系統，及 前述第1裝置，其執行工件之處理。 (特徵14) 如特徵13之處理系統，其包含：複數個前述第1裝置； 複數個前述操作系統，其等對前述複數個第1裝置分別發送前述操作信號；及 終端裝置，其對前述複數個操作系統發送前述輸入操作。 (特徵15) 一種處理系統之構築方法，其構築如下之操作系統︰該操作系統與第1裝置連接，且 取得來自前述第1裝置之映像信號； 使基於前述映像信號之畫面顯示； 相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令； 基於前述操作命令產生與前述第1裝置對應之操作信號且向前述第1裝置發送；並且 前述操作系統係設定為可自終端裝置遠程操作。 (特徵16) 一種電腦，其相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令； 基於前述操作命令，產生與操作對象即第1裝置對應之操作信號；及 將前述操作信號向前述第1裝置發送。 (特徵17) 如特徵16之電腦，其中在包含對於前述第1裝置之操作內容之動作檔案中，記述前述輸入操作。 (特徵18) 如特徵17之電腦，其可執行基於前述動作檔案來產生前述操作命令之自動操作模式。 (特徵19) 一種操作方法，其包含：取得來自操作對象即第1裝置之映像信號； 使基於前述映像信號之畫面顯示於顯示裝置； 相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令； 基於前述操作命令產生與前述第1裝置對應之操作信號且向前述第1裝置發送。 (特徵20) 如特徵19之操作方法，其中前述輸入操作包含前述畫面中之選擇， 使基於前述映像信號之前述畫面，相應於前述顯示裝置之解析度放大或縮小地顯示， 將前述畫面中被選擇之座標，轉換成連接於前述第1裝置之顯示裝置之畫面中之座標且包含於前述操作命令中。 (特徵21) 如特徵19或20之操作方法，其判定在前述畫面中執行之操作，並在包含對於前述第1裝置之操作內容之動作檔案中，記述前述操作。 (特徵22) 如特徵21之操作方法，其基於前述動作檔案而產生前述操作命令。 (特徵23) 一種程式，其使電腦執行特徵19至22中任一項之操作方法。 (特徵24) 一種記憶媒體，其記憶使電腦執行特徵19至22中任一項之操作方法之程式。
以上，例示了本發明之若干個實施形態，但該等實施形態係作為例子而提出者，並非意欲限定發明之範圍。該等新穎之實施形態可以其他各種形態予以實施，在不脫離發明之要旨之範圍下，可進行各種省略、置換、變更等。該等實施形態或其變化例，包含於發明之範圍及要旨內，且包含於申請專利範圍所記載之發明及其均等之範圍內。又，前述各實施形態可相互組合而實施。
1,1a,1b,1c,1d,1e,1f,1g,1h:處理系統 10,10a,10b,10c,10d,10e,10g:操作系統 11:取得裝置 12:運算裝置 13:產生裝置 14:記憶裝置 14a:動作檔案 15:輸入裝置 16:顯示裝置 17:切換裝置 21:處理裝置 21a:控制部 22:輸入裝置 23:顯示裝置 24:觸控面板 30:管理裝置 35:終端裝置 90:電腦 91:CPU 92:ROM 93:RAM 94:記憶裝置 95:輸入介面 95a:輸入裝置 96:輸出介面 96a:顯示裝置 97:通訊介面 97a:伺服器 98:系統匯流排 a1,A1:畫面 b1~b7,B1～B7,B11～B14:圖標 c1,C1:資訊 D:示意圖 p,P:光標 S1~S6,S11~S12,S21~S26:步驟
圖1係顯示實施形態之操作系統之示意圖。 圖2(a)、(b)係例示顯示裝置之畫面之示意圖。 圖3(a)、(b)係例示顯示裝置之畫面之示意圖。 圖4(a)、(b)係用於說明實施形態之操作系統之座標轉換之示意圖。 圖5係顯示實施形態之操作系統之動作之流程圖。 圖6係顯示實施形態之第1變化例之操作系統之示意圖。 圖7(a)、(b)係例示顯示裝置之畫面之示意圖。 圖8(a)係例示第1檔案之一部分之示意圖。(b)係例示第2檔案之一部分之示意圖。 圖9係顯示使用實施形態之第1變化例之操作系統的自動操作方法之步序之流程圖。 圖10係顯示實施形態之操作系統之自動操作模式之試運行之一部分之流程圖。 圖11係顯示實施形態之第2變化例之操作系統之示意圖。 圖12係顯示實施形態之第3變化例之操作系統之示意圖。 圖13係顯示實施形態之第4變化例之操作系統之示意圖。 圖14係顯示實施形態之第5變化例之操作系統之示意圖。 圖15係顯示實施形態之第6變化例之處理系統之示意圖。 圖16係顯示實施形態之第7變化例之操作系統之示意圖。 圖17係顯示實施形態之第8變化例之操作系統之示意圖。 圖18係顯示硬體構成之示意圖。
1:處理系統
10:操作系統
11:取得裝置
12:運算裝置
13:產生裝置
14:記憶裝置
15:輸入裝置
16:顯示裝置
21:處理裝置
21a:控制部
22:輸入裝置
23:顯示裝置

Claims (23)

  1. 一種操作系統，其包含：取得來自操作對象即第1裝置之映像信號； 使基於前述映像信號之畫面顯示於顯示裝置； 相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令； 基於前述操作命令產生與前述第1裝置對應之操作信號，且向前述第1裝置發送。
  2. 如請求項1之操作系統，其使基於前述映像信號之前述畫面，相應於前述顯示裝置之解析度放大或縮小地顯示。
  3. 如請求項2之操作系統，其中前述輸入操作包含前述畫面中之選擇， 將前述畫面中被選擇之座標，轉換成連接於前述第1裝置之顯示裝置之畫面中之座標且包含於前述操作命令中。
  4. 如請求項1或2之操作系統，其中在包含對於前述第1裝置之操作內容之動作檔案中，記述前述輸入操作。
  5. 如請求項4之操作系統，其可執行基於前述動作檔案來產生前述操作命令之自動操作模式。
  6. 如請求項5之操作系統，其在前述自動操作模式中，基於前述畫面之辨識結果，判定前述操作信號對於前述第1裝置之操作是否結束。
  7. 如請求項5之操作系統，其基於前述畫面之特徵量之變化產生模板圖像， 於前述自動操作模式中，基於前述畫面與前述模板圖像之比較結果，判定前述操作信號對於前述第1裝置之操作是否結束。
  8. 如請求項5之操作系統，其自向前述第1裝置發送命令之第2裝置接收前述命令，且 相應於前述命令執行前述自動操作模式。
  9. 如請求項8之操作系統，其中在相應於前述命令之前述自動操作模式中，產生與前述命令對應之前述操作命令。
  10. 如請求項8之操作系統，其中在相應於前述命令之前述自動操作模式中，自複數個前述動作檔案選擇1個前述動作檔案， 基於所選擇之前述動作檔案來產生前述操作命令。
  11. 如請求項8之操作系統，其中前述命令包含輸入前述第1裝置之參數或與由前述第1裝置處理之工件相關之資訊。
  12. 如請求項5之操作系統，其相應於讀取裝置之識別資訊之讀取，執行前述自動操作模式。
  13. 一種處理系統，其包含：請求項1或2之操作系統；及 前述第1裝置，其執行工件之處理。
  14. 如請求項13之處理系統，其包含：複數個前述第1裝置； 複數個前述操作系統，其等對前述複數個第1裝置分別發送前述操作信號；及 終端裝置，其對前述複數個操作系統發送前述輸入操作。
  15. 一種處理系統之構築方法，其構築如下之操作系統：該操作系統係與第1裝置連接，且 取得來自前述第1裝置之映像信號； 使基於前述映像信號之畫面顯示； 相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令； 基於前述操作命令產生與前述第1裝置對應之操作信號，且向前述第1裝置發送；並且 前述操作系統係設定為可自終端裝置遠程操作。
  16. 一種電腦，其相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令； 基於前述操作命令，產生與操作對象即第1裝置對應之操作信號；及 將前述操作信號向前述第1裝置發送。
  17. 如請求項16之電腦，其中在包含對於前述第1裝置之操作內容之動作檔案中，記述前述輸入操作。
  18. 如請求項17之電腦，其可執行基於前述動作檔案來產生前述操作命令之自動操作模式。
  19. 一種操作方法，其包含：取得來自操作對象即第1裝置之映像信號； 使基於前述映像信號之畫面顯示於顯示裝置； 相應於來自使用者之輸入操作，產生與前述輸入操作對應之操作命令； 基於前述操作命令產生與前述第1裝置對應之操作信號，且向前述第1裝置發送。
  20. 如請求項19之操作方法，其中前述輸入操作包含前述畫面中之選擇， 使基於前述映像信號之前述畫面，相應於前述顯示裝置之解析度放大或縮小地顯示， 將前述畫面中被選擇之座標，轉換成連接於前述第1裝置之顯示裝置之畫面中之座標且包含於前述操作命令中。
  21. 如請求項19或20之操作方法，其判定在前述畫面中執行之操作，並在包含對於前述第1裝置之操作內容之動作檔案中，記述前述操作。
  22. 如請求項21之操作方法，其基於前述動作檔案來產生前述操作命令。
  23. 一種記憶媒體，其記憶使電腦執行請求項19或20之操作方法之程式。
TW111123911A 2021-06-28 2022-06-27 操作系統、處理系統、處理系統之構築方法、電腦、操作方法及記憶媒體 TW202303375A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021106283 2021-06-28
JP2021-106283 2021-06-28

Publications (1)

Publication Number Publication Date
TW202303375A true TW202303375A (zh) 2023-01-16

Family

ID=84691380

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111123911A TW202303375A (zh) 2021-06-28 2022-06-27 操作系統、處理系統、處理系統之構築方法、電腦、操作方法及記憶媒體

Country Status (4)

Country Link
US (1) US20240126416A1 (zh)
JP (1) JPWO2023276875A1 (zh)
TW (1) TW202303375A (zh)
WO (1) WO2023276875A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104395843B (zh) * 2012-06-19 2017-06-23 三菱电机株式会社 自动操作系统及操作自动化方法
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
JP2017224114A (ja) * 2016-06-14 2017-12-21 キヤノン株式会社 装置、制御方法およびプログラム

Also Published As

Publication number Publication date
JPWO2023276875A1 (zh) 2023-01-05
US20240126416A1 (en) 2024-04-18
WO2023276875A1 (ja) 2023-01-05

Similar Documents

Publication Publication Date Title
US9317403B2 (en) Method for creating a label
TWI693564B (zh) 機台自動化管理系統及其方法
JP2015204615A (ja) 機器と移動デバイスとの間でインタラクトする方法及びシステム
US20190265878A1 (en) Method and system for prototyping graphic user interface
JP6889510B2 (ja) プログラミング装置、およびプログラム
WO2016170618A1 (ja) 自動試験装置
JP5875555B2 (ja) 画像作成システム
KR102174550B1 (ko) 표시 화면 생성 장치 및 표시 화면 생성 방법
TW202303375A (zh) 操作系統、處理系統、處理系統之構築方法、電腦、操作方法及記憶媒體
KR101745330B1 (ko) 사무/공장 자동화를 위한 컴퓨터 입력 시스템
JP2023014104A (ja) 操作システム、処理システム、操作方法、及びプログラム
JP5266416B1 (ja) テストシステム及びテストプログラム
CN105472359B (zh) 用于投影仪的远程调试方法
US20220281115A1 (en) Screen image transition information generation device, screen image transition information generation method, screen image transition information generation program, and screen image transition information generation system
US10388257B2 (en) Information processing apparatus, method of controlling the same and non-transitory computer-readable storage medium
KR101919723B1 (ko) 원격 제어 시스템, 보수용 단말, 조작 단말 및 원격 제어 방법
CN113168340B (zh) 信息处理系统以及信息处理方法
WO2022190427A1 (ja) 開発支援装置、開発支援方法、及び、開発支援プログラム
CN112272802B (zh) 支持装置以及记录介质
WO2022190428A1 (ja) 開発支援装置、開発支援方法、及び、開発支援プログラム
JP7085311B2 (ja) 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム
JP4869559B2 (ja) 画像信号発生装置、画像表示装置、画像表示装置のオンライン制御方法
JP2009169548A (ja) 情報処理装置、そのマルチウィンドウ表示方法及びプログラム
TW202326317A (zh) 基於腳本的控制系統和控制方法
JP2022136792A (ja) 画像処理装置、編集方法およびプログラム