TW202209236A - 用於升級自動化舊有系統的代理直譯器 - Google Patents

Abstract

本發明大體上關於升級現有的自動化舊有系統。更特別地，本發明有關供代理直譯器系統從舊有系統的複數個介面裝置及控制器收集及整合設定、組態、操作及品質檢驗資料，並隨後使用該整合資料以自動執行所有功能，在無人工作業員介入的情況下，以建構強化學習模組之系統及方法。該代理直譯器模組中的整合資料可使用資料分析及人工智慧的深度學習方法進一步進行分析，以可靠且一致性對產品的瑕疵標準進行分類，以進一步提高檢驗品質。所述瑕疵標準分類使代理直譯器系統能夠突顯潛在問題並輔助對舊有自動化系統進行預防性維護。無論是否與舊有設備或品管流程的操作有關，在無人為介入的情況下，代理直譯器系統能使舊有系統調適及擴展成製造更新的產品。

Description

用於升級自動化舊有系統的代理直譯器

本發明關於自動化製程的系統與方法，特別是關於應用深度學習技術來建立自動化製程的系統與方法。

在自動化製造領域中，能夠使計算及資訊處理能力調適成更具競爭力、技術先進且無錯誤的環境變得非常重要。但由於舊有系統是任何自動化生產線中的關鍵部分，因此在嘗試完全重寫舊有系統軟體或將系統功能性轉移或遷移至更高效率、高功能及高成本效益的生產環境中時，必須付出大量的努力及花費。從零開始重寫舊有系統通常並非為一可行的選項，乃因系統的保固責任、故障風險、資料損失，以及由於代工製造商（OEM）停止提供所有支援情況下，對舊有系統的系統架構如何設計及其內部實際如何執行並不了解。

自動化系統已被使用於各種微電子製造及封裝流程。例如，在典型的半導體製造設施（Fab）中，經切割的晶圓通常在設定及建構裝置參數後裝載至設備上。這些流程往往由容易出錯的作業員完成，且事實上更受到每個作業員可用不同方式為特定批次設定及建構裝置參數的影響。在處理完晶圓後，作業員需進一步重新檢驗有瑕疵的矽晶片，並決定其是否真的有瑕疵或應將其重新歸類為無瑕疵。人為因素再次遭遇到許多的錯誤。製造設施中設備的人工操作已逐漸被自動化流程所取代，以減輕與非自動化、人工操作相關的代價昂貴的半導體製造問題。

即便在舊有製造系統到達代工製造商決定停止升級支援或強迫客戶購買新設備機型以迎合新的檢驗特徵，或僅對特定任務或流程進行自動化之後，一些人工操作流程仍持續進行。由於購買設備機型的資本支出增加而提高了整體的生產成本，同時廢棄老舊但仍可靠的舊有系統，使得製造商陷入兩難。一些涉及人工作業員對設定、配置及驗證瑕疵或對某些新類型的瑕疵進行分類的關鍵人工操作持續進行，此對於確保向客戶提供無瑕疵產品係不可或缺。眾所周知，此種涉及人工檢驗員的人工操作在操作、檢驗、分類、文書管理及訓練過程中容易出錯，乃因人為錯誤及疲勞對於保持有效率及最佳品質係為固定不變的阻礙因素。

此外，用於檢驗新種類矽晶片或積體電路的舊有製造系統的建立係高度依賴作業員的能力、經驗及其所接受的訓練。若遭遇屬於同一產品系列的多種類型的矽晶片，對特定裝置設定選擇正確的製程配方檔案（Recipe file）尤為重要。製程配方或組態設定檔案在經歷多年後會積累起來，而新的人工檢驗員會發現其很難對機器的最佳設定選擇正確的檔案。

在任何流程中人工操作的另一問題領域係與資料的收集及分類有關。資料可為參數設定、瑕疵分類、與製程相關的資料收集等形式。製造作業員或檢驗員通常在每個處理步驟以手動方式輸入資料，並對每個正在處理中的個別晶圓批次與系統電腦程式互動多次。不同的作業員／檢驗員之間亦存在不一致的問題，此進一步導致容易出錯的品質檢驗。因此，一致性的問題係為一需要適當解決的課題。

製造商顯然需要一個適當的解決方案或框架，以確保透過一工具可完整及安全整合與舊有系統通訊的多個介面，該工具對製造商／最終用戶保持透明，同時導入一種新技藝，提供一個完全自動化及強化學習系統，使其能夠繼續使用其舊有機器的現有基礎，並將有關機器設定或檢驗後品質檢查的所有人為介入消除或降至最低，以確保對高品質產出的準確性及再現性之高度一致性。雖然此需求可適用於舊有機器，其亦適用於可能仍需要人工在不同處理步驟中做出某些關鍵決策的較新設備上。

本發明在以下稱為「代理直譯器」提供一種透過建構一硬體代理直譯器單元以自動化製程之系統及方法，其透過強化學習建構領域知識，藉由監控人工檢驗員在滑鼠／鍵盤及一組輸入／輸出連接埠上的每個單一活動，以操作一件舊有設備。常駐在代理直譯器中的領域知識將被用於控制舊有設備及最終消除對人工檢驗員的需求。

在本發明的一實施例中，提供一種用於實施代理直譯器以管理及控制至少一舊有系統的系統及方法。該系統及方法包括以下步驟：（a）捕捉正在被設定及品管作業員進行檢視及檢驗之顯示器的影像；（b）在設定及組態流程中對於所捕捉的影像，收集鍵盤及滑鼠的位置座標；（c）登錄及儲存由作業員所觸發的滑鼠、某些輸入／輸出連接埠及鍵盤指令，並分析由相關指令啟動的活動；（d）分析及監控該顯示器上所顯示的後續結果及由指令啟動的所有輸入／輸出連接埠；（e）映射該舊有系統的回應，以基於被啟動的指令建構回應庫；及（f）使用該回應庫分析多個指令活動，隨後在無任何人為介入下控制舊有設備。最後，代理直譯器以其本身的指令順序覆寫該舊有系統的輸入滑鼠鍵盤指令，有效充當控制該舊有系統的人類。在舊有系統本身上未安裝任何軟體之下，達成自動化舊有系統的最終目標。

在本發明的另一實施例中，提供一種在代理直譯器內建立一用於多個裝置的組態及製程配方檔案以自動化設備設定之系統及方法。該系統及方法包括以下步驟：（a）捕捉正由品管作業員進行檢視及檢驗之顯示器監督器的影像；（b）在設定及組態流程期間相對於所捕捉的影像，收集鍵盤及滑鼠的位置座標及某些輸入埠；（c）登錄及儲存由作業員所觸發的滑鼠、某些輸入／輸出連接埠及鍵盤指令，並分析由相關指令啟動的活動；（d）建立由特定裝置的組態參數所組成之製程配方或設定檔案；（e）在後續生產流程期間在無人為介入的情況下，使用該製程配方檔案自動設定及建構該舊有系統。

在本發明的另一實施例中，提供一種在代理直譯器內用於實施深度學習模組以提高瑕疵檢驗的品質之系統及方法。該系統及方法包括以下步驟：（a）依照人工檢驗員的指示對瑕疵標準進行分類；（b）將深度學習技術應用於經分類的瑕疵，及改進瑕疵鑑定流程；（c）基於深度學習技術建立新的領域知識；（d）在適用的情況下，使用該新的領域知識檢驗及重新分類瑕疵，以進一步提高檢驗的準確性及再現性。藉由覆寫滑鼠鍵盤輸入及複製人類手動更改結果，該代理直譯器使用此新的重新分類結果以更改舊有系統中的檢驗結果。

本發明係關於一種自動化微電子製程的設定、組態及操作之方法。雖然以下所提供的多個實施例係關於一種用於製造半導體裝置之自動化微電子製程的方法，但應理解，本發明的方法可用於自動化任何微電子製程以製造例如平板裝置、磁碟機裝置，及其等同裝置。其意圖係自動化一組流程以使舊有設備將人為介入降至最低，透過使用深度學習技術提高流程品質的方式，以提高製程的品質並在流程中擴展舊有設備的使用壽命。本發明係關於自動化製程的方法，而非自動化特定類型的設備或製程。

圖1為一典型自動化系統的方塊圖視圖，該系統由控制系統的各種元件及稱為舊有系統的機械製造系統所組成。因此，由圖1中可推知，典型包括PC控制系統28的某些裝置，例如處理器、記憶體（未顯示）、包括滑鼠32及鍵盤26的輸入裝置、包括顯示器24的輸出裝置、緊急按鈕（未顯示）、透過輸入／輸出連接埠30控制的塔型指示燈等，其中一些係透過USB、乙太網路連接埠等經由其相關介面連接。應當理解，更多的週邊設備可鏈結至控制系統28以介接外部網路或裝置，以實施某些類型的流程。控制系統28係介接製造舊有設備20，以執行製造、檢驗、分類，並輸出必要資料到外部介面（未顯示）的多個步驟，以用於資料整合及管理。

圖2為本發明的自動化系統之一實施例的方塊圖視圖，其係使用與舊有系統的各種週邊設備通訊的代理伺服器42實施，以透過PC控制系統28控制自動化設備20。在本發明的新系統架構中，最初連接至PC控制系統28的所有裝置現在連接至代理直譯器42，然後透過其相對的多個連接埠與PC控制系統28進行通訊。在圖2中，輸入裝置包括滑鼠32及鍵盤26，其分別經由介面50及48連接至代理伺服器42。PC控制系統28的顯示器連接埠經由介面34連接至代理伺服器的輸入顯示器連接埠。代理直譯器與PC控制系統28接合及通訊，經由介面54至滑鼠連接埠，經由介面52至鍵盤連接埠通訊，監視及登錄所有活動，及對特定的自動化設備建構領域知識，在此情況下為自動化設備20。顯示器24經由介面40連接至代理伺服器42。應當理解，可將更多週邊設備鏈結至代理直譯器42，以使其能夠在需要時執行額外的任務。代理直譯器使用隨著時間逐漸建構的領域知識以控制自動化設備20，透過PC控制系統28介面以執行控制及操作舊有機器20的多個步驟。

圖3為在一自動化機器中典型流程的流程圖視圖。該流程圖從步驟60開始。在步驟62中，作業員掃描批次文件中的批次代碼及下載有關該批次的資訊。然後作業員基於要被處理的裝置，從設定檔案清單中選擇相關的設定檔案。在步驟64中，啟動設備的操作並開始必要的處理步驟（在此情況下係矽晶片的檢驗）。在步驟70中，控制機器的電腦程式檢查正在檢驗中的矽晶片是否為最後晶片。若為最後矽晶片，則程式移到步驟90。若不是最後矽晶片，則程式移到步驟74。在步驟74中，作業員將經檢驗的矽晶片的結果與晶圓圖資料檔中的結果進行比較。若結果匹配，程式移到下個步驟76。若結果不匹配，則程式進行步驟82，作業員仔細查看檢驗程式所鑑定的瑕疵，並判定其是否確實為瑕疵品並且與下載的晶圓圖檔中的結果不匹配，作業員將有瑕疵的矽晶片歸入適當的類別，並在步驟86中更新資訊。在步驟82中仔細查看瑕疵後，若作業員判定被識別為有瑕疵的矽晶片並非瑕疵品，且結果與下載的晶圓圖檢驗結果匹配，則作業員將決定不更新晶圓圖資料檔案而進行下個步驟76。然後程式從步驟76移動到步驟70，並重複整個流程直到晶圓中的最後矽晶片為止。

圖4為在訓練或教示期間所使用或使用代理直譯器84實施本發明的自動化系統的實施例之流程圖，所有其他處理步驟與圖3中的流程圖相同。代理直譯器監視來自滑鼠32（圖2）、鍵盤26（圖2）的關於監視器24（圖2）上所顯示影像的所有活動，並使用強化學習模組學習設備20的操作。在步驟74及82的輸出處發生之有關控制及指令的所有資料係被整合及儲存在代理直譯器中。分析經整合的資料以輔助建構強化學習模組，以隨後用於在無人工作業員介入的情況下自動控制設備20。

圖5為顯示在建立強化學習模組的流程中所遵循的步驟之流程圖，該模組主要係學習及儲存舊有設備的操作順序。圖4所示的代理直譯器84是圖5流程圖的起始步驟。步驟100是常駐在代理直譯器中的強化學習的起始點。較佳地，第一步驟可如步驟102中在顯示監視器上捕捉影像。從外部介面裝置（例如滑鼠、某些輸入／輸出連接埠及鍵盤輸入或指令）收集的所有資訊及資料皆關於代理直譯器所捕捉及儲存的當前影像。在步驟104中設定及配置機器時，強化學習模組儲存及整合所收集的由作業員觸發的輸入及輸出，作為流程的一部分。操作活動的記錄及登錄並伴隨作業員的介入，以觸發任何特定流程，包括但不限於特定於被檢驗中的裝置之驗證，較佳地係針對晶圓上的每個單一矽晶片持續進行，如步驟106所示。在步驟108中，強化學習模組對舊有設備的操作順序中與流程相關的各種指令，建立操作流程。代理直譯器使用這些指令及其相關流程，以操作舊有設備而無人為介入。步驟110代表代理直譯器強化學習模組流程圖的結束。代理直譯器可進一步分析作業員關於品質控制及瑕疵分類的輸入，以使用深度學習技術建立自動瑕疵分類（ADC）方法，使舊有設備能夠以更高的準確性及可靠性執行品質檢驗。深度學習模組將與強化學習模組一起常駐在代理直譯器中，其將共同輔助提高舊有設備在特徵性及生產力方面的性能。代理直譯器可幫助增加舊設備的使用壽命，其係本發明的主要特徵。

在圖5a中，更詳細顯示與圖5中的強化學習模組108相關的步驟。步驟150中的強化學習模組是使用「競爭雙深度Q網路（Duelling Double Deep Q network）」（D3QN）架構實施，該架構包含兩個網路：一主要（MAIN）網路，其使用對正向行為的獎勵及對負向行為的懲罰，自與環境互動中學習，以決定在互動式環境下的正確動作；及一目標（TARGET）網路（其係在k個訓練步驟中主要網路的凍結版本），以穩定動態目標。D3QN系統亦使用兩個流：一價值（VALUE）流152，用於學習每一機器狀態的共同Q值（品質）（該狀態下所有動作的偏差值）；及一優勢（ADVANTAGE）流154，用於學習在某種狀態下應採取的動作。步驟172及174中的優勢流由經驗緩衝器170持續更新，以提高每個機器狀態的Q值，並在返回到步驟150中D3QN模組之前，於步驟176中將其加總。

主要網路自凍結模型160內的特徵圖164獲得輸入，其係由顯示螢幕178的物件檢測模型所生成，諸如經修正的YOLO（You Only Look Once（你只看一次）），以及螢幕中有關影像及文字的信賴度向量，其分別自深度學習網路（諸如經修正的YOLO）及經修正的CTPN（Connectionist Text Proposal Network（聯結式文字提議網路））。信賴度向量係使用作為篩選器，以確保動作分類器162在與當前無關的狀態不採取行動。再者，一客製化建構的LSTM（長短期記憶）模型係用於區分不同狀態下的相似螢幕。

圖6為機器正常操作步驟之流程圖，其中代理直譯器系統係基於圖5流程中所建構的強化及深度學習模組發起所有指令。一典型的代理直譯器流程從步驟120開始，並在步驟122中掃描來自批次放行單（Lot traveler）或文件的批次資訊。批次資訊由代理直譯器進一步分析，並在步驟124中，將相關的鍵盤及滑鼠指令傳送至中央伺服器，以將設定及組態資訊下載至舊有機器控制系統中。在步驟126中，舊有機器中的控制系統藉由在檢驗相機下檢查當前矽晶片是否為最後一個晶片，以開始機器的操作。若是，則流程跳到步驟136以結束圖6的操作流程。若不是，則操作進行下個步驟130，其中自晶圓圖檔中擷取與相機下的當前矽晶片相關的瑕疵及其他資訊。在步驟133中，使用深度學習模組進一步檢測相機下的當前矽晶片，以執行高度複雜的分析，以增強檢驗達成更可靠的檢驗結果。

步驟133中的深度學習模組建構的架構包括一經修正的高效網路（EfficientNet）及一經修正的Faster-RCNN（基於區域的卷積神經網路）。這些深度學習模型經過訓練，以透過使用經修正的ResNET-101（殘差網路）層來分析輸入影像以識別物件表面上的瑕疵。

在步驟133中達成的結果將與步驟130和步驟134中的結果進行比較。若經比較的結果相同，則操作進行步驟128，其中機器將晶圓索引至下個要被檢驗的矽晶片。若步驟134中的比較結果不相同，則在步驟132中，代理直譯器傳送相關的鍵盤及滑鼠指令至舊有控制系統，以更新晶圓圖檔中的當前矽晶片結果。實際上，步驟124中晶圓圖檔中所存在的結果被步驟132檢驗中的矽晶片之新結果所覆寫。操作進行步驟128，其中下個要被檢驗的矽晶片在相機下被編入索引。隨後，操作進行步驟126。該流程持續並重複，直到最後所要檢驗的矽晶片為止。透過代理直譯器系統，將新的及增強的檢驗方法應用於舊有機器的此關鍵基本特徵乃是本發明的主要特徵。

本說明書所闡述的方法不必然按所述的順序執行，且此等方法的多個步驟順序應被理解為僅是例示。同樣地，在符合本發明的各種實施例的方法中，此等方法可包括多個添加步驟，可省略或結合某些步驟。

雖然在本說明書描述本發明的多個實施例，但應理解，前述多個實施例及優點僅作為例示，不應被解釋為限制本發明或申請專利範圍的範疇。熟習該項技藝者可透過應用在本發明的精神及原理的範疇內的任何基於神經的計算模型，設計許多其他修改及實施例。本教示亦可輕易應用於其他類型的舊有系統。更特別係，在所揭露、圖式及文後申請專利範圍的範疇內的主題組合安排的多個配置中可有多種變化及修改。除了多重配置中的多個變化及修改之外，熟習該項技藝者亦明白多個替代性使用。

20:舊有設備 24:顯示器 26:鍵盤 28:PC控制系統 30:輸入／輸出連接埠 32:滑鼠 34,40,48,50,52,54:介面 42:代理伺服器／代理直譯器 60、62、64、70、74、76、80、82、86、90、100、102、104、106、108、110、120、122、124、126、128、130、132、133、134、136、150、172、176、178:步驟 84:代理直譯器 152:價值流 154:優勢流 160:凍結模型 162:動作分類器 164:特徵圖 170:經驗緩衝器 178:顯示螢幕

本發明將針對特定實施例及參考附圖進行說明，其中同樣的數字代表同樣的部件，其中： 圖1為現今存在的一典型自動化系統的方塊圖視圖，該系統具有使舊有系統執行根據電腦程式的方法之電腦系統； 圖2為具有連接至代理直譯器的電腦系統之自動化系統的一實施例之方塊圖視圖，該代理直譯器在舊有系統的設定及組態期間，自與根據本發明的顯示器上顯示的裝置影像相關的裝置，諸如滑鼠、某些輸入／輸出連接埠及鍵盤指令收集資訊； 圖3為按照圖1的系統，描繪在一典型檢驗及分類檢驗流程期間由人工作業員所遵循的多個處理步驟之流程圖。 圖4為根據圖2所示之本發明的一實施例之描繪在訓練或教示期間的多個處理步驟之流程圖。 圖5為描繪按照圖2所示之本發明之於強化學習模組建立期間所遵循的多個處理步驟之流程圖。 圖5a為描繪根據本發明的一實施例之用於強化學習的多個步驟之流程圖。 圖6為顯示在機器正常操作期間在無人工作業員介入的情況下，代理直譯器系統的自動操作之流程圖。

20:舊有設備

24:顯示器

26:鍵盤

28:PC控制系統

30:輸入/輸出連接埠

32:滑鼠

34、40、48、50、52、54:介面

42:代理伺服器/代理直譯器

Claims (12)

1. 一種連接至PC控制系統並使用人工智慧控制一舊有機器的代理直譯器系統，該代理直譯器系統包含： 一伺服器，其透過諸如多個輸入及多個輸出之多重通道來溝通耦接至一PC控制系統，其操作該機器，透過諸如乙太網路、USB等硬體介面來接收及傳送操作指令、教示順序及根據顯示在顯示器終端機上的影像之相對回應。
2. 如請求項1所述之代理直譯器系統，其中該外部硬體介面包括多個輸入／輸出連接埠、多個USB連接埠、乙太網路連接埠、VGA連接埠、滑鼠、鍵盤及顯示器介面，以透過該PC控制系統操作該舊有系統，其用於學習及建立操作該舊有系統所需的領域知識。
3. 如請求項2所述之代理直譯器系統，其中該代理直譯器可在控制該舊有系統的該PC控制系統內常駐為一軟體模組，並利用其多個介面以學習及建立操作該舊有系統所需的該領域知識。
4. 如請求項2所述之代理直譯器系統，其中該代理直譯器透過對該舊有系統的所有操作狀態的各種介面所監控的指令及回應，從與該舊有系統的互動來累積該領域知識。
5. 如請求項4所述之代理直譯器系統，其中所述用於特定裝置類型的儲存於一製程配方檔案中的指令及回應係從人工作業員參照顯示器上的影像所產生的鍵盤指令及滑鼠移動所獲得，並結合在該乙太網路及I/O介面上從該舊有系統接收到對於該代理直譯器的相關回應，以建立有關該舊有系統的該領域知識。
6. 如請求項4所述之代理直譯器系統，其中所述透過深度學習技術及持續強化學習的應用所建立的領域知識，在無需人工作業員介入的情況下隨後被使用以操作該舊有系統。
7. 一種透過深度學習模組以建構人工智慧模組之訓練代理直譯器系統的方法，其係用於選擇藉由與舊有系統互動及接收該系統的操作順序及狀態之觀察所執行的動作，其中該方法包含： 獲得由該舊有系統互動環境所觸發的一組活動，其中每一活動包含一流程，其特徵為隨著該活動的一組事件及一相關的指令或一組指令； 使用雙深度Q網路實施來對特定裝置類型建立一組具有各種參數的製程配方檔案，透過該舊有系統的多個操作狀態的強化學習以建構領域知識； 在該舊有系統設定及操作期間處理該觀察及其相關動作，及對正向及負向動作實施一獎勵及懲罰的方法以得到一最佳行為模型，以有效操作該舊有系統； 對每一單獨動作建立一信賴度向量，以作為一篩選器防止該動作分類器對該舊有系統選定的不相關操作狀態產生回應； 藉由實施「競爭雙深度Q網路的概念，持續檢視及更新該強化該學習模組的該優勢流。
8. 如請求項6所述之方法，其中該競爭雙深度Q網路係透過兩個流實施，其包含： 一用於學習機器的每一操作狀態之共同Q值（品質）的有價值流，及一用於學習該機器的特定狀態之對應動作的優勢流。
9. 如請求項6所述之方法，其中該優勢流係透過一經驗緩衝器被定期更新，以對一特定的機器狀態輔助品質改進及微調該品質值。
10. 如請求項6所述之方法，其中用於提高物件表面的該瑕疵檢測品質的該深度學習模型包含： 一凍結模型，其藉由分配一信賴度向量以確保該動作分類器對該任何不相關的機器狀態不採取任何動作，透過使用一物件檢測模型而產生及不斷更新； 一客製化的LSTM（長短期記憶）模型，用於區分在不同機器狀態下的相似影像； 一組特徵圖，其針對影像及文字分別使用經修正的YOLO（你只看一次）及經修正的CTPN（聯結式文字提議網路）。
11. 如請求項9所述之方法，其中在該影像及文字資訊上實施的該強化學習模型係衍生自該顯示螢幕，且所採取或傳達至該舊有系的任何動作係透過該代理直譯器進行串流。
12. 如請求項10所述之方法，其中在該代理直譯器內對該舊有系統的所有操作狀態建立的該領域知識，在無人工作業員介入的情況下隨後被該代理直譯器用以自動化操作該舊有系統。

Images