TWI798563B

TWI798563B - 智慧排程方法與智慧排程裝置

Info

Publication number: TWI798563B
Application number: TW109122178A
Authority: TW
Inventors: 藍裕斌; 謝子鈞; 方思涵; 龔如心
Original assignee: 台達電子工業股份有限公司
Priority date: 2020-07-01
Filing date: 2020-07-01
Publication date: 2023-04-11
Also published as: TW202203138A

Abstract

本發明提出一種智慧排程方法。在此方法中，從製造執行系統接收工單資訊與排程相關資訊；依據模擬環境資訊以強化學習方法產生一排程代理人；排程代理人依據工單資訊以及排程相關資訊產生初始排程結果；對初始排程結果進行優化以產生最佳排程結果，並將最佳排程結果傳送至製造執行系統，其中製造執行系統依據最佳排程結果進行工單指派。此外，一種智慧排程裝置亦在此揭露。

Description

智慧排程方法與智慧排程裝置

本發明是有關於一種智慧排程的技術。

現今工廠的生產排程趨於複雜且具高度不確定性的特性，造成排程決策須因應生產狀態與客戶需求即時地調整。此外，過去針對各種生產系統的大多數的排程問題已經被證實為非決定性多項式困難（non-deterministic polynomial hard，NP hard）問題。換言之，當排程問題規模變大時，常常無法在一合理的時間內取得全域最佳解。因此，標準的線性規劃或整數規劃法無法解決實務上的大型動態排程問題。

實務上，一般會選擇各種針對排程的演算法以取得次優解。然而，排程的優劣會直接影響工廠交期與生產效益。因此，如何解決目前常用的排程方法所遇到的若干問題，為本領域技術人員所關心的議題之一。

本發明提供一種智慧排程方法，該方法包括下列步驟：從製造執行系統接收工單資訊與排程相關資訊；依據模擬環境資訊以強化學習方法產生一排程代理人；排程代理人依據工單資訊以及排程相關資訊產生初始排程結果；對初始排程結果進行優化以產生最佳排程結果，並將最佳排程結果傳送至製造執行系統，其中製造執行系統依據最佳排程結果進行工單指派。

本發明提供一種智慧排程裝置，包括記憶體與處理器。記憶體用以儲存多個指令，並從製造執行系統接收工單資訊與排程相關資訊；處理器連接記憶體，用以載入並執行多個指令；其中處理器依據模擬環境資訊以強化學習方法產生一排程代理人；排程代理人依據工單資訊以及排程相關資訊產生初始排程結果；對初始排程結果進行優化以產生最佳排程結果，並將最佳排程結果傳送至製造執行系統，製造執行系統依據最佳排程結果進行工單指派。

基於上述，本發明提供的智慧排程方法以強化學習方法進行排程並進一步進行優化，以建立具有記憶能力的神經結構並確保排程結果的品質。此外，本發明的智慧排程方法更可以近似最佳化演算法產生最佳優化的排程結果。藉此，可直接因應高度動態的排程情境以產生最佳的排程結果。因此，此智慧排程方法在不同的生產情境與生產目標的表現均優於傳統方法，故可以有效解決高度動態的生產排程問題。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

第1圖根據本發明的實施例繪示智慧排程裝置100的方塊圖，其中智慧排程裝置100可包括處理器110以及記憶體120。處理器110可連接至記憶體120，並且存取和執行儲存於記憶體120中的多個指令。記憶體120可用以儲存由處理器110執行的多個指令。

在一些實施例中，處理器110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。

在一些實施例中，記憶體120例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合。

在一些實施例中，智慧排程裝置100更可包括收發器130，收發器130可連接記憶體120。收發器130可以無線或有線的方式傳送及接收訊號。收發器130還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。在本實施例中，收發器130可用以從用於管理各種生產系統的製造執行系統（Manufacturing Execution System，MES）接收工單資訊與排程相關資訊，以將工單資訊與排程相關資訊傳送至記憶體120中，其中生產系統可以是晶圓生產線系統或電子零件生產線系統等。在一些實施例中，工單資訊可以是由生產管理人員通過終端裝置（未繪示）輸入至製造執行系統。在另一些實施例中，工單資訊可以是從管理工單的伺服器獲得。此外，工單資訊可指示各種工單的相關資訊，且排程相關資訊可指示工單與生產線之間的各種相關排程資訊。

第2圖根據本發明的實施例繪示智慧排程方法的流程圖。請同時參照第1圖與第2圖，本實施例的方法適用於第1圖的智慧排程裝置100，以下即搭配智慧排程裝置100中各裝置之間的作動關係來說明本發明實施例之智慧排程裝置的詳細步驟。

首先，於步驟S201中，記憶體120可經由收發器130從製造執行系統接收工單資訊與排程相關資訊。詳細而言，製造執行系統可即時地記錄各種生產系統的工單資訊與排程相關資訊，已將工單資訊與排程相關資訊經由收發器130傳送至記憶體120。在一些實施例中，工單資訊可包括多個工單、各工單於各種機台的作業時間、各工單於各種產線上的作業時間、機台的設置時間以及製程的需求等各種工單的相關資訊，且排程相關資訊可包括閒置機台的資訊、機器的數量、生產人員的數量、產品品名、工單編號、預定交貨時間、生產機台的類型或產品數量等工單與生產線之間的各種相關排程資訊。

接著，於步驟S203中，處理器110可依據模擬環境資訊以強化學習（reinforcement learning, RL）方法產生一排程代理人，例如是代理人(agent)、人工智慧機器人(AI)等。詳細而言，處理器110可產生模擬環境資訊，並依據模擬環境資訊以強化學習方法產生一排程代理人。在一些實施例中，處理器110可依據至少一參數種類與至少一參數值範圍以利用參數產生器（parameter generator）產生模擬環境資訊，其中模擬環境資訊可包括至少一環境參數與至少一情境參數。在一些實施例中，強化學習方法可以是深度強化學習方法（deep reinforcement learning, DRL）。

在一些實施例中，生產管理人員可預先通過終端裝置設定至少一參數種類與至少一參數值範圍。藉此，終端裝置可將至少一參數種類與至少一參數值範圍傳送至收發器130，以將至少一參數種類與至少一參數值範圍儲存至記憶體120。而在另一些實施例中，至少一參數種類與至少一參數值範圍可預先儲存於記憶體120中。在一些實施例中，參數種類可以是工單的加工時間、工單種類、工單種類的數量、機台數量、工單數量、工作緊迫度以及工作到達率等，且參數值範圍是對應各種參數種類的參數值範圍。

在一些實施例中，環境參數可以是加工時間參數（產品族對應各機台的作業時間參數）與機台設定時間參數（機台更換生產產品所需的設置時間參數）等，且情境參數可以是工單種類數量參數（產品族數量參數）、機台數量參數（機台數量參數）、工單數量參數（各工單的數量參數）、工作緊迫度參數（各工單到期日參數）以及工作到達率參數（各工單到達產線的速率參數）等。

在一些實施例中，處理器110可依據模擬環境資訊產生模擬環境（simulation environment）模型，並利用模擬環境模型以強化學習方法產生一排程代理人，其中排程代理人之輸入資訊可包括狀態（state）資訊與獎勵（reward）資訊等。

舉例而言，生產管理人員可預先通過終端裝置將至少一參數種類設定為工單種類、工單的加工時間、工單種類的數量，並對應參數種類設定參數值範圍（例如，將工單種類設定為多種手機零件、將工單的加工時間對應的參數值範圍設定為10~20小時、將工單種類的數量設定為10種），且終端裝置可將參數種類與參數值範圍經由收發器130傳送至記憶體120。藉此，處理器110可讀取記憶體120中的參數種類與參數值範圍，並依據參數種類與參數值範圍以利用參數產生器產生至少一環境參數與至少一情境參數。基於此，處理器110可依據至少一環境參數與至少一情境參數產生模擬環境資訊，以依據模擬環境資訊產生模擬環境模型，並產生狀態資訊(工單資訊或製造現場資訊)與獎勵資訊，進而依據模擬環境模型的模擬環境與強化學習方法產生排程代理人。

接著，於步驟S205中，處理器110中的排程代理人可依據工單資訊以及排程相關資訊產生初始排程結果。詳細而言，響應於處理器110依據模擬環境資訊產生模擬環境，處理器110可進一步利用模擬環境訓練排程代理人(即，步驟S203)，且排程代理人可依據工單資訊與排程相關資訊產生初始排程結果，其中初始排程結果為對多個工單進行初始排程的結果。

在一些實施例中，處理器110可利用預先儲存於記憶體120中的強化學習模組（未繪示）以線下學習（offline learning）方法訓練排程代理人並更新排程代理人，並依據工單資訊與排程相關資訊以利用排程代理人產生初始排程結果。在一些實施例中，處理器110更可依據模擬環境資訊與初始排程結果以線上學習方法（online learning）訓練強化學習模組以產生另一排程代理人。換言之，為了因應模擬環境資訊與初始排程結果的變化，處理器110可即時地對環境模擬模組進行更新以增進強化學習模組之訓練。

最後，於步驟S207中，處理器110可對初始排程結果進行優化以產生最佳排程結果，並經由收發器130將最佳排程結果傳送至製造執行系統，其中製造執行系統依據最佳排程結果進行工單指派。詳細而言，在處理器110產生初始排程結果後，處理器110可進一步對初始排程結果進行優化的程序，以產生更加適用於目前的工單資訊與排程相關資訊的最佳排程結果，其中最佳排程結果為在對多個工單進行初始排程後進一步進行優化的最佳結果。藉此，製造執行系統便可依據最佳排程結果對生產系統進行工單指派。

在一些實施例中，處理器110可利用近似最佳化（approximation and optimization）演算法對初始排程結果進行優化以產生最佳排程結果，其中近似最佳化演算法可以是萬用啟發式（meta-heuristic）演算法或局部搜尋（local search）法等。

基於上述，本發明的智慧排程方法可以以強化學習方法進行排程並進一步進行優化，以即時地決定目前的工單資訊與排程相關資訊最適用的排程結果。此外，針對排程的優化，本發明的智慧排程方法更可以近似最佳化演算法產生最佳的優化的排程結果。藉此，製造執行系統便可依據最適用於目前的工單資訊與排程相關資訊的排程結果對整個生產系統進行工單指派。基於此，本發明的智慧排程方法將大大減少總完工時間。

第3圖根據本發明的另一實施例繪示智慧排程裝置的示意圖。請參照第3圖，智慧排程裝置100可連接於用於管理生產系統的製造執行系統200，且智慧排程裝置100可包括處理器110、記憶體120以及收發器130。處理器110可連接至記憶體120與收發器130，並且存取和執行儲存於記憶體120中的多個模組。此外，記憶體120可用於儲存可由處理器110執行的多個模組，其中上述多個模組可包括排程模組1201、訓練模組1202、排程優化模組1203、模擬控制模組1204以及環境模擬模組1205。

再者，收發器130可即時地從製造執行系統200接收工單資訊與排程相關資訊。工單資訊例如是由生產管理人員通過終端裝置輸入至製造執行系統或是從管理工單的伺服器接收。此外，工單資訊可指示各種工單的相關資訊，且排程相關資訊可指示工單與生產線之間的各種相關排程資訊。

舉例而言，工單資訊可包括多個工單、各工單於各種機台的作業時間、各工單於各種產線上的作業時間、機台的設置時間以及製程的需求等各種工單的相關資訊，且排程相關資訊可包括閒置機台的資訊、機器的數量、生產人員的數量、產品品名、工單編號、預定交貨時間、生產機台的類型或產品數量等各種相關排程資訊。藉此，排程模組1201可經由收發器130從製造執行系統接收工單資訊與排程相關資訊。

再者，環境模擬模組1205與訓練模組1202可依據模擬環境資訊以強化學習方法產生一排程代理人。詳細而言，模擬控制模組1204可產生模擬環境資訊，且環境模擬模組1205與訓練模組1202可依據模擬環境資訊以強化學習方法產生一排程代理人。在一些實施例中，模擬控制模組1204可依據至少一參數種類與至少一參數值範圍以利用參數產生器產生模擬環境資訊，其中模擬環境資訊可包括至少一環境參數與至少一情境參數。藉此，環境模擬模組1205可依據模擬環境資訊產生模擬環境模型，且訓練模組1202可利用模擬環境模型以強化學習方法產生一排程代理人。在一些實施例中，強化學習方法可以是深度強化學習方法。

在一些實施例中，模擬控制模組1204更可包括參數模組12041與情境模組12042。情境模組12042可依據至少一參數種類與至少一參數值範圍以利用參數模組12041中的參數產生器產生模擬環境資訊。在一些實施例中，環境模擬模組1205更可包括模擬模組12051與效能評估模組12052。環境模擬模組1205可從模擬控制模組1204接收模擬環境資訊，其中模擬環境資訊可包括至少一環境參數與至少一情境參數。此外，模擬模組12051可依據模擬環境資訊產生模擬環境模型，且效能評估模組12052可對產生的模擬環境模型進行評估以產生評估結果。藉此，模擬模組12051可依據評估結果對模擬環境模型優化，並將模擬環境模型傳送至訓練模組1202。

在一些實施例中，生產管理人員可預先通過終端裝置（未繪示）設定至少一參數種類與至少一參數值範圍。藉此，終端裝置可將至少一參數種類與至少一參數值範圍傳送至收發器130，以將至少一參數種類與至少一參數值範圍儲存至記憶體120。而在另一些實施例中，至少一參數種類與至少一參數值範圍可預先儲存於記憶體120中。在一些實施例中，參數種類可以是工單加工時間、工單種類、工單種類的數量、機台數量、工單數量、工作緊迫度以及工作到達率等，而參數值範圍是對應各種參數種類的參數值範圍。

再者，排程模組1201、訓練模組1202以及環境模擬模組1205可依據工單資訊以及排程相關資訊產生初始排程結果。詳細而言，響應於處理器110依據模擬環境資訊產生一排程代理人，處理器110可進一步利用排程代理模組12012中的排程代理人，並且排程代理模組12012中的排程代理人可依據工單資訊與排程相關資訊產生初始排程結果，其中初始排程結果為對多個工單進行初始排程的結果。

在一些實施例中，訓練模組1202更可包括超參數設定（hyper-parameter setting）模組12021與強化學習模組12022。強化學習模組12022可從環境模擬模組1205接收模擬環境模型，並利用模擬環境模型以強化學習方法產生另一排程代理人。響應於強化學習模組12022產生另一排程代理人，強化學習模組12022可藉此即時更新排程代理模組，其中強化學習模組12022與超參數設定模組12021可利用狀態資訊與獎勵資訊訓練排程模組1201中的排程代理模組12012，且排程代理模組12012可依據工單資訊與排程相關資訊產生初始排程結果。

在一些實施例中，強化學習模組12022與超參數設定模組12021可依據狀態資訊與獎勵資訊以線下學習方法訓練排程代理模組12012，且排程代理模組12012可依據工單資訊與排程相關資訊產生初始排程結果。此外，強化學習模組12022與超參數設定模組12021可依據模擬環境資訊與初始排程結果以線上學習方法更新排程代理模組12012。換言之，為了因應模擬環境資訊與初始排程結果的變化，強化學習模組12022與超參數設定模組12021可即時地對排程代理模組12012進行更新。

最後，排程優化模組1203可對初始排程結果進行優化以產生最佳排程結果，並經由收發器130將最佳排程結果傳送至製造執行系統，其中製造執行系統依據最佳排程結果進行工單指派。詳細而言，在排程模組1201產生初始排程結果後，排程優化模組1203可進一步對初始排程結果進行優化的程序，以產生更加適用於目前的工單資訊與排程相關資訊的最佳排程結果，其中最佳排程結果為在對多個工單進行初始排程後進一步進行優化的最佳結果。藉此，製造執行系統便可依據最佳排程結果對生產系統進行工單指派。

在一些實施例中，排程模組1201更可包括資訊提取模組12011、排程代理模組12012以及工單排程模組12013，或者是可僅包括排程代理模組12012。資訊提取模組12011可透過收發器130接收從製造執行系統200傳送的工單資訊與排程相關資訊。排程代理模組12012可將初始排程結果傳送至工單排程模組12013。

在一些實施例中，排程優化模組1203更可包括編碼模組12031與近似最佳化演算模組12032。經由編碼模組12031與近似最佳化演算模組12032的處理，可對工單排程模組12013儲存的初始排程結果進行優化以產生最佳排程結果。

藉此，工單排程模組12013可經由收發器130將最佳排程結果傳送至製造執行系統200，其中製造執行系統200依據最佳排程結果進行工單指派。詳細而言，在排程代理模組12012產生初始排程結果後，排程優化模組1203可進一步對初始排程結果進行優化的程序，以產生更加適用於目前的工單資訊與排程相關資訊的最佳排程結果。藉此，製造執行系統200便可依據最佳排程結果進行工單指派。

在一些實施例中，近似最佳化演算模組12032可利用近似最佳化演算法對初始排程結果進行優化以產生最佳排程結果，其中近似最佳化演算法可以是萬用啟發式演算法或局部搜尋法。

綜上所述，本發明實施例所提出的智慧排程方法與使用此方法的裝置結合了強化學習方法與近似最佳化演算法，藉由強化學習方法與近似最佳化演算法的結合來有效地增加排程速度並解決動態排程問題，進而提升了工廠生產效率。特別是，本發明實施例在進行排程時可提高排程結果的品質與穩定度。因此，本發明實施例所提出的排程方法能夠因應生產線上的不同的需求來進行排程。

雖然本發明已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。

100:智慧排程裝置 110:處理器 120:記憶體 1201:排程模組 12011:資訊提取模組 12012:排程代理模組 12013:工單排程模組 1202:訓練模組 12021:超參數設定模組 12022:強化學習模組 1203:排程優化模組 12031:編碼模組 12032:近似最佳化演算模組 1204:模擬控制模組 12041:參數模組 12042:情境模組 1205:環境模擬模組 12051:模擬模組 12052:效能評估模組 130:收發器 200:製造執行系統

第1圖根據本發明的實施例繪示智慧排程裝置的方塊圖。第2圖根據本發明的實施例繪示智慧排程方法的流程圖。第3圖根據本發明的另一實施例繪示智慧排程裝置的示意圖。

S201~S207:智慧排程方法的步驟

Claims

一種智慧排程方法，包括：從一製造執行系統接收一工單資訊與一排程相關資訊，其中該工單資訊指示與多個工單相關的資訊，且該排程相關資訊指示該些工單與生產線之間的相關資訊；依據一模擬環境資訊以一強化學習方法產生一排程代理人；該排程代理人依據該工單資訊以及該排程相關資訊產生一初始排程結果，其中該排程代理人依據該工單資訊以及該排程相關資訊產生該初始排程結果的步驟包括：以一線下學習方法訓練一排程代理模組，並依據該工單資訊與該排程相關資訊以利用該排程代理模組產生該初始排程結果；以及利用一近似最佳化演算法對該初始排程結果進行優化以產生一最佳排程結果，並將該最佳排程結果傳送至該製造執行系統，其中該製造執行系統依據該最佳排程結果進行工單指派，其中該近似最佳化演算法為萬用啟發式演算法或局部搜尋法。
如請求項1所述之智慧排程方法，更包括：依據至少一參數種類與至少一參數值範圍以利用一參數產生器產生該模擬環境資訊，其中該模擬環境資訊包括至少一環境參數與至少一情境參數。
如請求項1所述之智慧排程方法，更包括：依據該模擬環境資訊與該初始排程結果以一線上學習方法訓練該排程代理模組以產生一另一排程代理模組。
一種智慧排程裝置，包括：一記憶體，用以儲存多個指令，並從一製造執行系統接收一工單資訊與一排程相關資訊，其中該工單資訊指示與多個工單相關的資訊，且該排程相關資訊指示該些工單與生產線之間的相關資訊；以及一處理器，連接該記憶體，用以載入並執行該些指令；其中該處理器依據一模擬環境資訊以一強化學習方法產生一排程代理人；該排程代理人依據該工單資訊以及該排程相關資訊產生一初始排程結果，其中該處理器利用一強化學習模組以一線下學習方法訓練一排程代理模組，並依據該工單資訊與該排程相關資訊以利用該排程代理模組產生該初始排程結果；利用一近似最佳化演算法對該初始排程結果進行優化以產生一最佳排程結果，並將該最佳排程結果傳送至該製造執行系統，其中該製造執行系統依據該最佳排程結果進行工單指派，該近似最佳化演算法為萬用啟發式演算法或局部搜尋法。
如請求項4所述之智慧排程裝置，其中該處理器依據至少一參數種類與至少一參數值範圍以利用一參數產生器產生該模擬環境資訊，其中該模擬環境資訊包括至少一環境參數與至少一情境參數。
如請求項4所述之智慧排程裝置，其中該處理器依據該模擬環境資訊與該初始排程結果以一線上學習方法訓練該排程代理模組以產生一另一排程代理模組。