TW202236037A

TW202236037A - 用於多部電子計算裝置的機器人流程自動化裝置及機器人流程自動化方法

Info

Publication number: TW202236037A
Application number: TW110107308A
Authority: TW
Inventors: 江衍玫; 李資瀚; 蔡翰毅
Original assignee: 伊斯酷軟體科技股份有限公司
Priority date: 2021-03-02
Filing date: 2021-03-02
Publication date: 2022-09-16
Also published as: TWI767590B; US11748053B2; US20220283769A1

Abstract

一種機器人流程自動化裝置及機器人流程自動化方法被揭露。該機器人流程自動化裝置產生並且儲存一腳本，該腳本中至少記錄關於一第一裝置的一事件以及相應於該事件的至少一動作。該機器人流程自動化裝置持續接收該第一裝置的一當前螢幕擷取影像，並且根據該腳本而持續分析該第一裝置的該當前螢幕擷取影像，以判斷是否發生該事件。當判斷發生該事件時，該機器人流程自動化裝置根據該腳本而產生相應於該至少一動作的至少一控制訊號，並且傳送該至少一控制訊號至一第二裝置，以針對該第二裝置執行該至少一動作。

Description

用於多部電子計算裝置的機器人流程自動化裝置及機器人流程自動化方法

本揭露是關於一種機器人流程自動化裝置及機器人流程自動化方法。更具體而言，本揭露是關於一種用於多部電子計算裝置的機器人流程自動化裝置及機器人流程自動化方法。

機器人流程自動化（Robotic Process Automation，RPA）是一種透過軟體編排模擬使用者在一電子裝置上的操作行為，進而輔助或代替使用者操作該電子裝置的一種自動化方法，其相當適合被應用於時常需要反覆進行相同或相似操作的工作環境，例如充滿各式生產設備的工業生產環境。然而，傳統的機器人流程自動化裝置只能針對單一個設備進行流程的自動化，而無法直接串接起不同設備中的軟體或操作系統。此外，因應於資訊安全的考量，工業生產環境中的設備通常具有不可連網的限制，此同樣也致使工業生產環境中的設備僅能夠藉由其各自的機器人流程自動化裝置來進行單機式的自動化，而無法藉由單一個機器人流程自動化裝置來偕同地實施多機式的自動化。有鑑於此，如何設計出一種用於多部電子計算裝置的機器人流程自動化裝置，將是本發明所屬技術領域中亟待解決的問題。

為了解決至少上述的問題，本發明的實施例提供了一種機器人流程自動化裝置。該機器人流程自動化裝置可包含一儲存器、一通訊介面以及一處理器，該處理器可與該儲存器及該通訊介面電性連接。該儲存器可用以儲存一腳本，且該腳本中至少記錄相應於一第一裝置的一事件以及相應於該事件的至少一動作。該通訊介面可與該第一裝置以及一第二裝置耦合，且可用以持續接收該第一裝置的一當前螢幕擷取影像。該處理器可用以產生該腳本，以及根據該腳本而持續分析該第一裝置的該當前螢幕擷取影像，以判斷是否發生該事件。當判斷發生該事件時，該處理器還可用以根據該腳本而產生相應於該至少一動作的至少一控制訊號。該通訊介面還可用以傳送該至少一控制訊號至該第二裝置，以針對該第二裝置執行該至少一動作。

為了解決至少上述問題，本發明的實施例還提供了一種機器人流程自動化方法。該機器人流程自動化方法由一電子計算裝置所執行。該電子計算裝置儲存一腳本，該腳本中至少記錄相應於一第一裝置的一事件以及相應於該事件的至少一動作。該機器人流程自動化方法包含下列步驟：持續接收該第一裝置的一當前螢幕擷取影像；產生該腳本；根據該腳本而持續分析該第一裝置的該當前螢幕擷取影像，以判斷是否發生該事件；以及當判斷發生該事件時，根據該腳本而產生相應於該至少一動作的至少一控制訊號，並傳送該至少一控制訊號至一第二裝置，以針對該第二裝置執行該至少一動作。

綜上所述，本發明提供的機器人流程自動化裝置及機器人流程自動化方法透過分析螢幕擷取影像的方式而達到非侵入式的事件判斷，並且透過腳本整合了針對第一裝置與第二裝置之間的偕同運作流程，以在發生涉及第一裝置的事件時，相應地對第二裝置執行相應於該事件的至少一動作，進而達成跨裝置的機器人流程自動化。因此，本發明所提供的機器人流程自動化裝置及機器人流程自動化方法確實解決了本發明所屬技術領域中的上述問題。

以上內容並非為了限制本發明，而只是概括地敘述了本發明可解決的技術問題、可採用的技術手段以及可達到的技術功效，以讓本發明所屬技術領域中具有通常知識者初步地瞭解本發明。根據檢附的圖式及以下的實施方式所記載的內容，本發明所屬技術領域中具有通常知識者便可進一步瞭解本發明的各種實施例的細節。

以下將透過多個實施例來說明本發明，惟這些實施例並非用以限制本發明只能根據所述操作、環境、應用、結構、流程或步驟來實施。為了易於說明，與本發明的實施例無直接關聯的內容或是不需特別說明也能理解的內容，將於本文以及圖式中省略。於圖式中，各元件（element）的尺寸以及各元件之間的比例僅是範例，而非用以限制本發明。除了特別說明之外，在以下內容中，相同（或相近）的元件符號可對應至相同（或相近）的元件。在可被實現的情況下，如未特別說明，以下所述的每一個元件的數量可以是一個或多個。

第1圖例示了根據本發明的某些實施例的機器人流程自動化裝置。第1圖所示內容是為了舉例說明本發明的實施例，而非為了限制本發明的保護範圍。

參照第1圖，一機器人流程自動化裝置1基本上可包含一儲存器11、一通訊介面12以及一處理器13，其中處理器13可與儲存器11及通訊介面12電性連接。須說明者，上述元件之間的「電性連接」可以是直接的（即沒有透過其他功能性元件而彼此連接）或者是間接的（即透過其他功能性元件而彼此連接）。機器人流程自動化裝置1可以是各種具計算能力的電子裝置，例如但不限於：桌上型電腦、可攜式電腦、智慧型手機、可攜式電子配件（眼鏡、手錶等等）。機器人流程自動化裝置1可以藉由運行一腳本中所定義的流程以達成機器人流程自動化，其具體運作細節將於隨後詳述。

儲存器11可用以儲存機器人流程自動化裝置1所產生的資料、從外部裝置傳入機器人流程自動化裝置1的資料、或使用者自行輸入到機器人流程自動化裝置1的資料。儲存器11可包含一般的計算裝置／電腦內所具備的各種儲存單元，藉以實現以下所述的各種對應功能。舉例而言，儲存器11可包含第一級記憶體（又稱主記憶體或內部記憶體），且處理器13可直接讀取儲存在第一級記憶體內的指令集，並在需要時執行這些指令集。儲存器11還可包含第二級記憶體（又稱外部記憶體或輔助記憶體），其可透過資料緩衝器將儲存的資料傳送至第一級記憶體。第二級記憶體可以是，例如但不限於：硬碟、光碟等。儲存器11亦可包含第三級記憶體，亦即，可直接插入或自電腦拔除的儲存裝置，例如隨身硬碟、或是雲端硬碟。儲存器可用以儲存一腳本111，腳本111中可至少記錄一事件以及相應於該事件的至少一動作，其細節將隨後詳述。

通訊介面12可用以與外部的裝置及／或使用者進行資料的收發。舉例而言，通訊介面12可與一第一裝置121以及一第二裝置122耦合，且可自第一裝置121接收其當前螢幕擷取影像P1，以及自第二裝置122接收其當前螢幕擷取影像P2。此外，通訊介面12亦可發送至少一控制訊號（例如：控制訊號S1）至第二裝置122，以對第二裝置122進行操作。第一裝置121以及第二裝置122可以是欲進行機器人流程自動化的目標裝置，其具體可為例如但不限於工業生產環境中的生產裝置（例如但不限於：一印刷電路板（PCB）雷射鑽孔機、一光學自動檢測（AOI）機、一晶圓針測機（prober）等等）的控制電腦。當前螢幕擷取影像P1與當前螢幕擷取影像P2可以分別是第一裝置121與第二裝置122的操作系統正在顯示的畫面，其內容可能隨著時間的改變而有所不同，亦即，於不同時間點上的當前螢幕擷取影像P1或當前螢幕擷取影像P2可能是不同的影像。

在某些實施例中，通訊介面12還可自一使用者123接收一擷取影像指令C1、一定義事件指令C2、一指派動作指令C3等等，其細節將隨後詳述。在某些實施例中，通訊介面12還可與至少一輸入／輸出訊號整合器（例如：一輸入／輸出訊號整合器124）耦合，以透過該至少一輸入／輸出訊號整合器而接收及／或傳送通訊介面12與第一裝置121及第二裝置122之間的上述資料或訊號。該至少一輸入／輸出訊號整合器可透過有線或無線的方式接收來自第一裝置121與第二裝置122的影像資料以及來自通訊介面12的至少一控制訊號，並提供整合及切換的功能，其可以是例如但不限於一鍵盤-影像-滑鼠切換器（KVM switch）。須說明者，本文中針對「裝置」所使用的用語「第一」與「第二」僅用以標示，並非用以限制其層級或順序性。

在某些實施例中，通訊介面12可以是一計算機裝置／電腦當中的各種輸入／輸出介面（I/O interface），例如但不限於：一通用序列匯流排（Universal Serial Bus，USB）介面、一影像圖形陣列（Video Graphics Array，VGA）介面、一高畫質多媒體介面（High Definition Multimedia Interface，HDMI）等等。在此情況下，機器人流程自動化裝置1可透過通訊介面12而獲得外部裝置的螢幕擷取影像（例如：第一裝置121的當前螢幕擷取影像P1、第二裝置122的當前螢幕擷取影像P2等等），也可透過通訊介面12連接至滑鼠、觸控板、鍵盤、觸控螢幕等輸入裝置，進而接收來自使用者123的各式指令（例如：擷取影像指令C1、定義事件指令C2、指派動作指令C3等等）。在某些實施例中，通訊介面12還可與一顯示器電性連接，以透過該顯示器而呈現機器人流程自動化裝置1的各種影像輸出。

在某些實施例中，通訊介面12可以是一收發器，其可用以與外部的裝置進行有線或是無線的通訊。以無線通訊為例，通訊介面12可包含例如但不限於：天線、放大器、調變器、解調變器、偵測器、類比至數位轉換器、數位至類比轉換器等通訊元件。以有線通訊為例，通訊介面12可以是例如但不限於：一十億位元乙太網路收發器（gigabit Ethernet transceiver）、一十億位元乙太網路介面轉換器（gigabit interface converter，GBIC）、一小封裝可插拔收發器（small form-factor pluggable (SFP) transceiver）、一百億位元小封裝可插拔收發器（ten gigabit small form-factor pluggable (XFP) transceiver）等。在此情況下，通訊介面12可和電性連接至第一裝置121的一輸入／輸出訊號整合器以及電性連接至第二裝置122的另一輸入／輸出訊號整合器形成一內部網路（未繪示於圖中），以透過該等輸入／輸出訊號整合器而獲得第一裝置121的當前螢幕擷取影像P1以及第二裝置122的當前螢幕擷取影像P2，以及傳送控制訊號S1至第二裝置122。除此之外，通訊介面12也可透過有線或無線的方式而自使用者13接收前述的擷取影像指令C1、定義事件指令C2、指派動作指令C3等等。

處理器13可以是具備訊號處理功能的微處理器（microprocessor）或微控制器（microcontroller）等。微處理器或微控制器是一種可程式化的特殊積體電路，其具有運算、儲存、輸出／輸入等能力，且可接受並處理各種編碼指令，藉以進行各種邏輯運算與算術運算，並輸出相應的運算結果。處理器13可被編程以解釋各種指令與執行各項運算任務或程式。處理器13可用以產生腳本111。

接著，將透過第1圖、第2A圖與第2B圖來詳述根據本發明的實施例的機器人流程自動化裝置1如何達成多裝置的機器人流程自動化。第2A圖與第2B圖例示了根據本發明的某些實施例的機器人流程自動化裝置所提供的圖形使用者介面。第2A圖與第2B圖所示內容是為了舉例說明本發明的實施例，而非為了限制本發明的保護範圍。

同時參照第1圖、第2A圖與第2B圖，首先，通訊介面12可持續地接收第一裝置121的當前螢幕擷取影像P1以及第二裝置122的當前螢幕擷取影像P2。處理器13可提供一圖形使用者介面2，以便使用者123透過通訊介面12而於圖形使用者介面2中進行操作。具體而言，如第2A圖所示，處理器13可於圖形使用者介面2的一第一頁面中同時呈現第一裝置121的當前螢幕擷取影像P1以及第二裝置122的當前螢幕擷取影像P2，並且可於圖形使用者介面2的一第二頁面中呈現一腳本編輯區塊21以及一動作選擇區塊22，如第2B圖所示。在某些實施例中，機器人流程自動化裝置1還可透過通訊介面12與一顯示器來呈現圖形使用者介面2，以向使用者顯示當前螢幕擷取影像P1以及當前螢幕擷取影像P2。

使用者123可藉由該第一頁面與該第二頁面提供擷取影像指令C1、定義事件指令C2以及指派動作指令C3至機器人流程自動化裝置1，而處理器13可根據該等指令而定義腳本111中的事件與相應的動作。具體而言，首先，處理器13可根據使用者123的擷取影像指令C1（例如但不限於：透過移動游標而選取一範圍）而在該第一頁面中所顯示的第一裝置121的當前擷取影像P1中擷取一目標影像（未繪示於圖中）。接著，處理器13可根據使用者123的定義事件指令C2（例如但不限於：透過移動及點擊游標而於畫面中出現的一選單中選擇「定義事件」的選項）而在例如但不限於該第一頁面中定義一事件211為「第一裝置121的當前擷取影像P1中出現該目標影像」，且此時代表事件211的圖形使用者介面元件E11可被顯示於該第二頁面中的腳本編輯區塊21中。隨後，處理器13可根據使用者123的指派動作指令C3（例如但不限於：在該第二頁面中透過游標選取代表複數動作221、222、223、224的複數圖形使用者介面元件E21、E22、E23、E24其中至少一者，以於畫面中出現的一選單中選擇「指派動作」的選項，進而使被選取的圖形使用者介面元件與圖形使用者介面元件E11相關聯；或者透過游標拖放（drag and drop）的方式而在該第二頁面中將動作選擇區塊22中的圖形使用者介面元件E21、E22、E23、E24其中至少一者移至腳本編輯區塊21以使其與圖形使用者介面元件E11相關聯）而指定相應於事件211的至少一動作為動作223，藉此產生腳本111。在某些實施例中，處理器13還可透過該第一頁面以及該第二頁面而編輯動作221、222、223、224的內容。

上述的該目標影像可以是包含特定的圖示、數字、文字及／或符號的一局部擷圖。此外，上述的動作221、222、223、224可以是由針對第二裝置122的滑鼠及／或鍵盤執行的至少一操作所形成的動作，且該至少一操作可以是例如但不限於：滑鼠右鍵點擊、滑鼠左鍵雙擊、滑鼠游標移動至特定位置、鍵盤按鍵按壓、於輸入欄位中輸入字元、透過鍵盤的快捷鍵進行應用程式切換、滑鼠游標框選特定物件、滑鼠游標拖放等等。在某些實施例中，當上述動作的內容包含了針對位置及／或特定物件執行動作（例如：滑鼠游標框選特定物件、滑鼠游標移動至特定位置、於輸入欄位中輸入字元等等）時，處理器13還可分析第二裝置122的當前螢幕擷取影像P2，以在當前螢幕擷取影像P2中找到所述特定位置及／或特定物件，並對其執行動作。

舉例而言，該目標影像可以是關於第一裝置121所顯示的溫度欄位的一局部擷圖，且可包含代表裝置溫度高於一特定溫度的一串文字（例如：「當前機器溫度：攝氏200度」的文字）。因此，一旦處理器13判斷當前螢幕擷取影像P1中出現該目標影像（即，發生事件211），表示第一裝置121的溫度已高於該特定溫度，故此時便應針對第一裝置121執行相應的降溫動作。據此，相應於事件211的動作223可以是在第二裝置122（例如：一溫度控制裝置）的當前螢幕擷取影像P2中偵測關於第一裝置121的溫度控制選項，以及移動游標至該溫度控制選項並加以點擊。

再舉例而言，該目標影像可包含第一裝置121中關於電壓過高的警告圖示。因此，當處理器13判斷第一裝置121的當前螢幕擷取影像P1中出現該目標影像時（即，發生事件211），可對其執行相應的斷電動作。據此，相應於事件211的動作223可以是在第二裝置122（例如：一斷電裝置）的當前螢幕擷取影像P2中的一指令輸入欄位中輸入相應的斷電指令。

再舉例而言，該目標影像可包含「產品異常」的文字。因此，當處理器13判斷屬於產品檢測裝置的第一裝置121的當前螢幕擷取影像P1中出現包含的該目標影像時（即，發生事件211），可調整其產品的製造參數。據此，相應於事件211的動作223可以是將游標移動至當前螢幕擷取影像P2中的一參數輸入框，點擊該參數輸入框，並於其中輸入特定參數。更具體而言，在某些實施例中，處理器13還可分析屬於生產裝置的第二裝置122的當前螢幕擷取影像P2，以在當前螢幕擷取影像P2中找到該參數輸入框。接著，處理器13可透過通訊介面12傳送控制訊號S1至第二裝置122，以對其執行「移動游標、點擊參數輸入框以及輸入特定參數」之動作，進而調整其產品的製造參數。

在某些實施例中，處理器13可透過基於卷積神經網路架構的一深度學習模型來分析當前螢幕擷取影像P1以及當前螢幕擷取影像P2，藉此偵測當前螢幕擷取影像P1中是否出現上述的該目標影像，以及偵測當前螢幕擷取影像P2中的特定物件（例如：前述的參數輸入框、指令輸入欄位）。該深度學習模型可由處理器13訓練而成，亦可由外部裝置預先訓練後輸入至機器人流程自動化裝置1中。應理解，本發明所屬技術領域中具有通常知識者可根據目標影像的種類而採用相應的訓練資料。在某些實施例中，處理器13還可透過例如但不限於光學字元辨識（optical character recognition，OCR）等方法來辨識當前螢幕擷取影像P1以及當前螢幕擷取影像P2中的字元。

應理解，上述關於圖形使用者介面2以及腳本111的內容僅為示例而非限制，於某些其他實施例中，使用者123可以透過不斷提供上述的擷取影像指令C1、定義事件指令C2以及指派動作指令C3而定義多種事件以及指派相應的多個動作，而通訊介面12及處理器13可根據上述指令而持續於該第一頁面與該第二頁面中進行上述的流程，進而產生內容相對更複雜的腳本111。

於產生腳本111之後，處理器13可透過運行腳本111而判斷其中所記錄的各事件是否發生，並且據以執行相應的各動作，以達到流程自動化的效果。具體而言，處理器13於運行腳本111之後可持續分析第一裝置121的當前螢幕擷取影像P1，以判斷事件211（即，第一裝置121的當前擷取影像P1中出現該目標影像）是否發生。當處理器13判斷事件211發生時，處理器13可根據腳本111而產生相應於動作223的一控制訊號S1，而通訊介面12可傳送控制訊號S1至第二裝置122，以針對第二裝置122執行動作223，藉此，達成跨裝置的機器人流程自動化。在某些實施例中，控制訊號S1可以是模擬第二裝置122的滑鼠及／或鍵盤進行動作223時的輸入訊號。

在某些實施例中，處理器13還可於腳本111中進一步界定另一事件，並指派相應於該另一事件的另一動作。該另一事件可以是第一裝置121的當前螢幕擷取影像P1中出現了其他的目標影像。據此，處理器13可持續分析當前螢幕擷取影像P1，以判斷是否發生該另一事件，若是，則可根據腳本111而產生相應於該另一動作的另一控制訊號，並透過通訊介面12將該另一控制訊號傳送至第一裝置121，以針對第一裝置121進行該另一動作。在某些實施例中，相似地，該另一事件可以是第二裝置122的當前螢幕擷取影像P2中出現了其他的目標影像。據此，處理器13可持續分析當前螢幕擷取影像P2，以判斷是否發生該另一事件，若是，則可根據腳本111而產生相應於該另一動作的另一控制訊號，並透過通訊介面12將該另一控制訊號傳送至第二裝置122，以針對第二裝置122進行該另一動作。藉此，機器人流程自動化裝置1便可進行針對單一裝置的機器人流程自動化。

舉例而言，當處理器13判斷第一裝置121（例如：一電腦）的當前螢幕擷取影像P1中關於一應用程式的一圖示上出現紅點圖案時（即，發生另一事件），表示系統中有關於該應用程式的新通知，故處理器13可根據腳本111而產生相應於「滑鼠游標點擊該應用程式的該圖示」的控制訊號，並透過通訊介面12傳送該控制訊號第一裝置121，使得第一裝置121中出現紅點圖案的該應用程式圖示被點擊，進而顯示該應用程式的新通知。

綜上所述，本發明的機器人流程自動化裝置1針對複數裝置建立了偕同運作的腳本111，故機器人流程自動化裝置1可透過非侵入式的螢幕擷取影像分析而判斷相應於第一裝置121的事件211的發生，並且因應於事件211而相應地對第二裝置122進行操作，且所述操作亦是基於非侵入式的螢幕擷取影像分析。此外，本發明的機器人流程自動化裝置1在某些實施例中亦可針對單一裝置進行機器人流程自動化。有鑑於此，本發明的機器人流程自動化裝置1確實達成了多個裝置之間的機器人流程自動化，從而解決了現有技術中存在的前述問題。

第3圖例示了根據本發明的某些實施例的機器人流程自動化方法。第3圖所示內容是為了舉例說明本發明的實施例，而非為了限制本發明的保護範圍。

參照第3圖，一種機器人流程自動化方法3可由一電子計算裝置所執行。該電子計算裝置可儲存一腳本，且該腳本中可至少記錄相應於一第一裝置的一事件以及相應於該事件的至少一動作。機器人流程自動化方法3可包含下列步驟：持續接收該第一裝置的一當前螢幕擷取影像（標示為301）；產生該腳本（標示為302）根據該腳本而持續分析該第一裝置的該當前螢幕擷取影像，以判斷是否發生該事件（標示為303）；以及當判斷發生該事件時，根據該腳本而產生相應於該至少一動作的至少一控制訊號，並傳送該至少一控制訊號至一第二裝置，以針對該第二裝置執行該至少一動作（標示為304）。

在某些實施例中，機器人流程自動化方法3還可包含下列步驟：持續接收該第二裝置的一當前螢幕擷取影像；產生一圖形使用者介面；以及於該圖形使用者介面中同時呈現該第一裝置的該當前螢幕擷取影像以及該第二裝置的該當前螢幕擷取影像。

在某些實施例中，關於機器人流程自動化方法3，該電子計算裝置是透過至少一輸入／輸出訊號整合器而接收該第一裝置的該當前螢幕擷取影像以及傳送該控制訊號至該第二裝置。

在某些實施例中，關於機器人流程自動化方法3，該至少一動作對應至滑鼠及／或鍵盤的至少一操作。

在某些實施例中，機器人流程自動化方法3還可包含下列步驟：根據一使用者的一擷取影像指令而於該圖形使用者介面中所顯示的該第一裝置的該當前螢幕擷取影像中擷取一目標影像；根據該使用者的一定義事件指令而於該圖形使用者介面中定義該事件為該第一裝置的該當前螢幕擷取影像中出現該目標影像；以及根據該使用者的一指派動作指令而指定相應於該事件的該至少一動作，進而產生該腳本。

在某些實施例中，機器人流程自動化方法3還可包含下列步驟：根據一使用者的一擷取影像指令而於該圖形使用者介面中所顯示的該第一裝置的該當前螢幕擷取影像中擷取一目標影像；根據該使用者的一定義事件指令而於該圖形使用者介面中定義該事件為該第一裝置的該當前螢幕擷取影像中出現該目標影像；根據該使用者的一指派動作指令而指定相應於該事件的該至少一動作，進而產生該腳本；以及自該使用者接收該擷取影像指令、該定義事件指令以及該指派動作指令。

機器人流程自動化方法3的每一個實施例本質上都會與機器人流程自動化裝置1的某一個實施例相對應。因此，即使上文未針對機器人流程自動化方法3的每一個實施例進行詳述，本發明所屬技術領域中具有通常知識者仍可根據上文針對機器人流程自動化裝置1的說明而直接瞭解機器人流程自動化方法3的未詳述的實施例。

上述實施例只是舉例來說明本發明，而非為了限制本發明。任何針對上述實施例進行修飾、改變、調整、整合而產生的其他實施例，只要是本發明所屬技術領域中具有通常知識者不難思及的，都涵蓋在本發明的保護範圍內。本發明的保護範圍以申請專利範圍為準。

如下所示： 1:機器人流程自動化裝置 11:儲存器 111:腳本 12:通訊介面 121:第一裝置 122:第二裝置 123:使用者 13:處理器 14:顯示器 2:圖形使用者介面 211:事件 221、222、223、224:動作 3:機器人流程自動化方法 301、302、303、304:步驟 C1:擷取影像指令 C2:定義事件指令 C3:指派動作指令 E11、E21、E22、E23、E24:圖形使用者介面元件 P1、P2:當前螢幕擷取影像 S1:控制訊號

檢附的圖式可輔助說明本發明的各種實施例，其中：第1圖例示了根據本發明的某些實施例的機器人流程自動化裝置；第2A圖與第2B圖例示了根據本發明的某些實施例的機器人流程自動化裝置所產生的圖形使用者介面；以及第3圖例示了根據本發明的某些實施例的機器人流程自動化方法。

無。

3:機器人流程自動化方法

301、302、303、304:步驟

Claims

一種機器人流程自動化裝置，包含：一儲存器，用以儲存一腳本，其中該腳本中至少記錄相應於一第一裝置的一事件以及相應於該事件的至少一動作；一通訊介面，與該第一裝置以及一第二裝置耦合，該通訊介面用以持續接收該第一裝置的一當前螢幕擷取影像；以及一處理器，與該儲存器及該通訊介面電性連接，用以：產生該腳本；根據該腳本而持續分析該第一裝置的該當前螢幕擷取影像，以判斷是否發生該事件；以及當判斷發生該事件時，根據該腳本而產生相應於該至少一動作的至少一控制訊號；其中，該通訊介面還用以傳送該至少一控制訊號至該第二裝置，以針對該第二裝置執行該至少一動作。
如請求項1所述的機器人流程自動化裝置，其中該通訊介面還用以與至少一輸入／輸出訊號整合器耦合，且該通訊介面是透過該至少一輸入／輸出訊號整合器而自該第一裝置接收該第一裝置的該當前螢幕擷取影像以及傳送該控制訊號至該第二裝置。
如請求項1所述的機器人流程自動化裝置，其中該至少一動作對應至滑鼠及／或鍵盤的至少一操作。
如請求項1所述的機器人流程自動化裝置，其中該通訊介面還用以持續接收該第二裝置的一當前螢幕擷取影像，且該處理器還用以產生一圖形使用者介面，以及於該圖形使用者介面中同時呈現該第一裝置的該當前螢幕擷取影像以及該第二裝置的該當前螢幕擷取影像。
如請求項4所述的機器人流程自動化裝置，其中該處理器還用以：根據一使用者的一擷取影像指令而於該圖形使用者介面中所顯示的該第一裝置的該當前螢幕擷取影像中擷取一目標影像；根據該使用者的一定義事件指令而於該圖形使用者介面中定義該事件為該第一裝置的該當前螢幕擷取影像中出現該目標影像；以及根據該使用者的一指派動作指令而指定相應於該事件的該至少一動作，進而產生該腳本。
如請求項5所述的機器人流程自動化裝置，其中該通訊介面還用以自該使用者接收該擷取影像指令、該定義事件指令以及該指派動作指令。
一種機器人流程自動化方法，由一電子計算裝置所執行，該電子計算裝置儲存一腳本，該腳本中至少記錄相應於一第一裝置的一事件以及相應於該事件的至少一動作，該機器人流程自動化方法包含下列步驟：持續接收該第一裝置的一當前螢幕擷取影像；產生該腳本；根據該腳本而持續分析該第一裝置的該當前螢幕擷取影像，以判斷是否發生該事件；以及當判斷發生該事件時，根據該腳本而產生相應於該至少一動作的至少一控制訊號，並傳送該至少一控制訊號至一第二裝置，以針對該第二裝置執行該至少一動作。
如請求項7所述的機器人流程自動化方法，其中該電子計算裝置是透過至少一輸入／輸出訊號整合器而自該第一裝置接收該第一裝置的該當前螢幕擷取影像以及傳送該控制訊號至該第二裝置。
如請求項7所述的機器人流程自動化方法，其中該至少一動作對應至滑鼠及／或鍵盤的至少一操作。
如請求項7所述的機器人流程自動化方法，還包含下列步驟：持續接收該第二裝置的一當前螢幕擷取影像；產生一圖形使用者介面；以及於該圖形使用者介面中同時呈現該第一裝置的該當前螢幕擷取影像以及該第二裝置的該當前螢幕擷取影像。
如請求項10所述的機器人流程自動化方法，還包含下列步驟：根據一使用者的一擷取影像指令而於該圖形使用者介面中所顯示的該第一裝置的該當前螢幕擷取影像中擷取一目標影像；根據該使用者的一定義事件指令而於該圖形使用者介面中定義該事件為該第一裝置的該當前螢幕擷取影像中出現該目標影像；以及根據該使用者的一指派動作指令而指定相應於該事件的該至少一動作，進而產生該腳本。
如請求項11所述的機器人流程自動化方法，還包含下列步驟：自該使用者接收該擷取影像指令、該定義事件指令以及該指派動作指令。