TWI758979B - 適應性搜尋空間調整的參數最佳化系統與方法及應用其之使用者介面 - Google Patents

Abstract

一種適應性搜尋空間調整的參數最佳化系統與方法及應用其之使用者介面。參數最佳化系統包括一資料擷取單元、一適應性調整單元及一最佳化搜尋單元。資料擷取單元擷取數個操作參數及一目標參數之數組試驗數值。適應性調整單元包括一參數空間轉換器及一搜尋範圍界定器。參數空間轉換器依據此些試驗數值，對此些操作參數之一參數空間進行一空間轉換。搜尋範圍界定器依據此些試驗數值，以轉換後之參數空間界定一參數搜尋範圍。最佳化搜尋單元係以參數搜尋範圍為一限制條件，並以最佳化目標參數為目標，搜尋此些操作參數的一組推薦數值。

Description

適應性搜尋空間調整的參數最佳化系統與方法及 應用其之使用者介面

本揭露是有關於一種適應性搜尋空間調整的參數最佳化系統與方法及應用其之使用者介面。

在產業中，需要以最佳化目標參數為目標的搜尋操作參數的推薦數值。由於各個操作參數之間具有高度關聯程度，因此不容易界定出有效的參數搜尋範圍。倘若界定的參數搜尋範圍過於狹窄，則可能會收斂在非最佳解之區域解。倘若界定的參數搜尋範圍過於廣泛，則試驗次數必須相當的多，才能夠收斂到最佳解。許多的產業的製程設備不多且材料相當昂貴，若試驗次數過多，不僅會影響產品的交期，也造成大量成本的浪費。

因此，針對操作參數具有高度關聯程度的情況下，研究人員正積極研究如何去界定出有效的參數搜尋範圍，以加速參數優化的速度。

本揭露係有關於一種適應性搜尋空間調整的參數最佳化系統與方法及應用其之使用者介面。

根據本揭露之一實施例，提出一種適應性搜尋空間調整的參數最佳化系統。適應性搜尋空間調整的參數最佳化系統包括一資料擷取單元、一適應性調整單元及一最佳化搜尋單元。資料擷取單元用以擷取數個操作參數及一目標參數擷取之數組試驗數值。適應性調整單元包括一參數空間轉換器及一搜尋範圍界定器。參數空間轉換器用以依據此些試驗數值，對此些操作參數之一參數空間進行一空間轉換。搜尋範圍界定器用以依據此些試驗數值，以轉換後之參數空間界定一參數搜尋範圍。最佳化搜尋單元係以參數搜尋範圍為一限制條件，並以最佳化目標參數為目標，搜尋此些操作參數的一組推薦數值。

根據本揭露之另一實施例，提出一種適應性搜尋空間調整的參數最佳化方法。適應性搜尋空間調整的參數最佳化方法包括以下步驟。擷取數個操作參數及一目標參數之數組試驗數值。依據此些試驗數值，對此些操作參數之一參數空間進行一空間轉換。依據此些試驗數值，以轉換後之參數空間界定一參數搜尋範圍。以參數搜尋範圍為一限制條件，並以最佳化目標參數為目標，搜尋此些操作參數的一組推薦數值。

根據本揭露之再一實施例，提出一種使用者介面。使用者介面包括一歸類視窗、一篩選視窗、一參數搜尋範圍視窗及一推薦視窗。歸類視窗用以顯示數個操作參數所歸類的數個群組。篩選視窗用以顯示此些操作參數之篩選結果。參數搜尋範圍視窗用以顯示一參數搜尋範圍。推薦視窗用以顯示此些操作參數的一組推薦數值。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

100:參數最佳化系統

110:資料擷取單元

120:適應性調整單元

121:參數篩選器

122:參數空間轉換器

123:搜尋範圍界定器

130:最佳化搜尋單元

140:使用者介面

900:製程設備

A1:準確範圍

C1:期望改善取樣函數

comp1,comp2:轉換參數

DT:試驗數值

G1,G2:群組

GP1:高斯過程模型

P1,P2,P3,P4,P5:點

R0:試驗數值範圍

R1,R2,R4,R6,R7,R8:參數搜尋範圍

R11,R12:搜尋範圍

Ra,Rb,Rc,RG:參數搜尋範圍

RV:推薦數值

S110,S121,S122,S123,S130:步驟

W1:歸類視窗

W2:篩選視窗

W3:參數搜尋範圍視窗

W4:推薦視窗

x1,x2,x3:操作參數

y:目標參數

第1圖繪示根據一實施例之適應性搜尋空間調整的參數最佳化系統的方塊圖。

第2圖示例說明不同的參數搜尋範圍。

第3圖繪示根據一實施例之適應性搜尋空間調整的參數最佳化方法的流程圖。

第4圖繪示根據一實施例之步驟S110的示意圖。

第5圖示例說明步驟S121之示意圖。

第6圖示例說明步驟S122之示意圖。

第7圖繪示根據一實施例之轉換參數的高斯過程模型。

第8圖繪示轉換參數之期望改善取樣函數。

第9圖繪示根據一實施例之試驗數值範圍與參數搜尋範圍。

第10圖繪示流程執行兩次所獲得的參數搜尋範圍。

第11圖示例說明傳統採用過濾貝葉斯優化(Filtering Bayesian optimization,FBO)技術與採用本揭露技術進行參數最佳化之比較。

第12圖示例說明使用者介面。

請參照第1圖，其繪示根據一實施例之適應性搜尋空間調整的參數最佳化系統100的方塊圖。參數最佳化系統100包括一資料擷取單元110、一適應性調整單元120、一最佳化搜尋單元130及一使用者介面140。適應性調整單元120包括一參數篩選器121、一參數空間轉換器122及一搜尋範圍界定器123。資料擷取單元110、適應性調整單元120、參數篩選器121、參數空間轉換器122、搜尋範圍界定器123、最佳化搜尋單元130例如是一電路、一晶片、一電路板或儲存程式碼之儲存裝置。使用者介面140例如是一顯示螢幕、一輸入輸出設備、或一智慧型手機。參數最佳化系統100用以針對製程設備900(或生產線)進行數個操作參數(例如是壓力、溫度、流量)的優化，以期最佳化目標參數(例如是產率)。在最佳化的過程中，適應性調整單元120之參數空間轉換器122可以進行參數空間的轉換，並且適應性調整單元120之搜尋範圍界定器123可以界定出適合的參數搜尋範圍，以提高優化過程的效率。請參照第2圖，其示例說明不同的參數搜尋範圍Ra、Rb、 Rc。如第2圖之左側所示，傳統上的參數搜尋範圍Ra固定為全域，必須透過相當多的試驗次數才能夠收斂到最佳解(方形點)。如第2圖之右側所示，本實施例在迭代時，會動態調整參數搜尋範圍(例如是由參數搜尋範圍Rb經由多次迭代後調整為參數搜尋範圍Rc)，無需過多的試驗次數即可迅速收斂至最佳解(方形點)。以下更搭配一流程圖詳細說明各項元件的運作。

請參照第3圖，其繪示根據一實施例之適應性搜尋空間調整的參數最佳化方法的流程圖。在步驟S110中，資料擷取單元110擷取數個操作參數及目標參數之數組試驗數值。舉例來說，請參照第4圖，其繪示根據一實施例之步驟S110的示意圖。製程設備900例如是具有操作參數x1、x2、x3及目標參數y。操作參數x1例如是流量，操作參數x2例如是溫度，操作參數x3例如是壓力。目標參數y例如是產率。操作參數之數量並不侷限於3，操作參數之數量可以是2或大於3。後續步驟係以操作參數x1、x2、x3及目標參數y為例進行說明，但仍須強調本實施例並不侷限操作參數的數量。操作參數x1、x2、x3及目標參數y之數組試驗數值DT(標示於第1圖)例如是下表一。試驗數值之數量並不侷限於3，只要在迭代過程中曾經試驗過的數值均會列入，而不斷地增加，以使後續的優化程序能夠朝向最佳解邁進。

接著，在步驟S121中，適應性調整單元120之參數篩選器121依據操作參數x1、x2、3之群組關係，篩選操作參數x1、x2、x3。請參照第5圖，其示例說明步驟S121之示意圖。在此步驟中，使用者可以透過使用者介面140將此些操作參數x1、x2、x3依據相互影響程度歸類至群組G1、G2(群組之數量不侷限為2)。舉例來說，操作參數x2、x3的相互影響程度較大，而被歸類至同一個群組G2。操作參數x1與其他操作參數x2、x3的相互影響程度較小，而歸類至另一群組G1。然後，參數篩選器121依據各個群組G1、G2對目標參數y之一關聯程度進行篩選。舉例來說，參數篩選器121藉由一分群套索回歸演算法(Group-Lasso Regularization)計算出群組G1、G2之操作參數x1、x2、x3的

值分別為0、1.32、0.41。

值的絕對值超過0越多者表示對目標參數y之關聯程度較高。故參數篩選器121可以篩選出群組G2之操作參數x2、x3來作為參數搜尋範圍的主要調整對象。

除了分群套索回歸演算法以外，參數篩選器121也可以藉由一稀疏分群套索演算法(Sparse Group Lasso)、一貝氏分群套索演算法(Bayesian Group Lasso)、一綜合絕對懲罰演算法(Composite Absolute Penalty)或一分組最小角迴歸演算法(Group Least Angle Regression Selection)來篩選此些 操作參數x1、x2、x3。

此外，每一群組中的操作參數之數量並不侷限於1或2(可以大於或等於3)。並且，各個群組之操作參數的數量也無須一致。

在此步驟中，將操作參數x1、x2、x3根據相互影響程度進行分類，以使容易相互影響的操作參數x2、x3可以一起考慮，並透過後續的空間轉換來降低操作參數x2、x3的相互影響程度。此外，根據對目標參數y之關聯程度來對群組G1、G2進行篩選，以留下對目標參數y最有影響的群組G2，使得最佳化的過程能夠更快速收斂。

然後，在步驟S122中，參數空間轉換器122依據此些試驗數值DT(標示於第1圖)，對此些操作參數x2、x3之一參數空間進行一空間轉換。請參照第6圖，其示例說明步驟S122之示意圖。舉例來說，第6圖之實線座標軸為原參數空間之操作參數x2、x3。第6圖之虛線座標軸為轉換後參數空間之轉換參數comp1、comp2。參數空間轉換器122例如是藉由一偏最小二乘迴歸演算法(Partial Least Squares regression)進行空間轉換。在偏最小二乘迴歸演算法中，如下式(1)所示，X為記錄操作參數x2、x3的矩陣，S為記錄轉換參數comp1、comp2的矩陣，w為轉換矩陣。

S=Xw...................................................................(1)

其中，

在偏最小二乘迴歸演算法中，主要是要求得w，使得轉換參數comp1與轉換參數comp2對於目標參數y之關聯程度最大，即下式(2)。

轉換參數comp1與轉換參數comp2之間具有正交關係，而能夠降低參數相互影響程度。轉換參數comp1與轉換參數comp2能維持對於原始的操作參數x2、x3之變異程度，亦而能夠提高對目標參數y之識別程度。

轉換參數comp1、comp2與操作參數x2、x3關係例如下式。

其中，

上式(3)亦可表示為下式(4)、(5)。

comp1=0.987＊x2+0.159＊x3......................................(4)

comp2=-0.159＊x2+0.987＊x3....................................(5)

如下表二及表三所示，表二為操作參數x2、x3。經過空間轉換後，可以獲得表三的轉換參數comp1、comp2。

表二

除了上述的偏最小二乘迴歸演算法以外，參數空間轉換器122亦可以藉由一主成分分析演算法(Principal Component Analysis,PCA)進行空間轉換。

接著，在步驟S123中，適應性調整單元120之搜尋範圍界定器123依據試驗數值DT(標示於第1圖)，以轉換後之參數空間界定一參數搜尋範圍RG(標示於第1圖)。此步驟包括以下幾個程序。請參照第7圖，其繪示根據一實施例之轉換參數comp1的高斯過程模型(Gaussian process model)GP1。如第7圖所示，搜尋範圍界定器123利用試驗數值DT建立轉換參數comp1的高斯過程模型GP1。高斯過程模型GP1顯示不準確度。越靠近試驗數值DT者，不準確度越低；越遠離試驗數值DT者，不準確度越高。

接著，搜尋範圍界定器123依據高斯過程模型GP1保留一準確範圍A1，例如是-15~25。

然後，請參照第8圖，其繪示轉換參數comp1之期望改善取樣函數(Expected Improvement function,EI function) C1。在期望改善取樣函數C1中，縱軸為期望改善數值(Expected Improvement,EI)，橫軸為轉換參數comp1的準確範圍。搜尋範圍界定器123再於準確範圍A1中依據期望改善數值界定出搜尋範圍R11。如第8圖所示，轉換參數comp1在試驗數值DT所在的0.40~2.30之區間時，期望改善數值為0。轉換參數comp1從0.40移動到-2.50時，期望改善數值可以大幅上升至0.62。轉換參數comp1從2.3移動到25時，期望改善數值只能小幅上升至0.004。可見轉換參數comp1朝負方向移動可以獲得較大的改善。因此，搜尋範圍界定器123可以將轉換參數comp1位於-2.50~0.40之區間界定為搜尋範圍R11，即下式(6)。

-2.50

0.987＊x2+0.159＊x3

0.40...........................(6)

同樣的，採用類似的方式，搜尋範圍界定器123可以將轉換參數comp2位於0.19~0.95之區間界定為搜尋範圍R12(繪示於第9圖)。

0.19

-0.159＊x2+0.987＊x3

0.95...............................(7)

請參照第9圖，其繪示根據一實施例之試驗數值範圍R0與參數搜尋範圍R1。已試驗的試驗數值DT包括點P1、點P2及點P3。點P1、點P2及點P3位於試驗數值範圍R0內。搜尋範圍界定器123則是基於試驗數值範圍R0進一步在轉換參數comp1界定出搜尋範圍R11，並在轉換參數comp2界定出搜尋範圍R12，以組成參數搜尋範圍R1。參數搜尋範圍R1即為相當有機會朝向最佳解收斂的範圍。

接著，在步驟S130中，最佳化搜尋單元130以參數搜尋範圍R1為一限制條件，並以最佳化目標參數y為目標，搜尋操作參數x1、x2、x3的一組推薦數值RV(標示於第1圖)，例如是第9圖的點P4。舉例來說，最佳化搜尋單元123可以藉由具限制式之貝氏最佳化演算法搜尋操作參數x1、x2、x3的推薦數值RV，如下式(8)所示。

取得操作參數x1、x2、x3之推薦數值RV之後，可以提供至製程設備900(或生產線)，以獲得對應之目標參數y。倘若最佳解的搜尋尚未收斂，則將此組數值加入試驗數值DT(標示於第1圖)，並重新執行步驟S110、S121、S122、S123、S130。再次執行的過程中，步驟S121的分組結果與篩選結果可能會變更，也可能不變。在步驟S122、S123進行空間轉換與參數搜尋範圍的操作參數也可能會變更，也可能不變。

請參照第10圖，其繪示流程執行兩次所獲得的參數搜尋範圍R1及參數搜尋範圍R2。如第10圖所示，一開始的試驗數值DT為點P1、點P2、點P3，點P1、點P2、點P3位於試驗數值範圍R0內。在流程執行一次後，獲得參數搜尋範圍R1，並在參數搜尋範圍R1中推薦點P4。在流程執行第二次後，獲得參數搜尋範圍R2(步驟S121也篩選出操作參數x2、x3)，並在參數搜尋範圍R2中推薦點P5。在第10圖的例子中，剛好第一次 執行流程與第二次執行流程都是篩選出操作參數x2、x3，故可以將參數搜尋範圍R1與參數搜尋範圍R2繪示於同一張圖。倘若第一次執行流程與第二次執行流程並非都是篩選出操作參數x2、x3，則無法將參數搜尋範圍R1與參數搜尋範圍R2繪示於同一張圖。

在另一實施例中，上述步驟S121係可省略，而將所有的操作參數x1、x2、x3都作為參數搜尋範圍的調整對象。

請參照第11圖，其示例說明傳統採用過濾貝葉斯最佳化(Filtering Bayesian optimization,FBO)技術與採用本揭露技術進行參數最佳化之比較。研究人員初始以相同的試驗數值DT執行FBO技術與本揭露技術。從第11圖可以發現，FBO技術在最佳化過程中的推薦數值散落於各處，且經過相當多次的迭代才有辦法收斂到最佳解。本揭露技術從參數搜尋範圍R6，調整到參數搜尋範圍R7，再調整到參數搜尋範圍R8後，很快地就搜尋到最佳解。

研究人員更以相同的實驗條件比較本揭露技術與其他幾種傳統技術，並整理收斂到最佳解的迭代次數如下表四。方法一為傳統的貝葉斯最佳化(Bayesian optimization,BO)，方法二為PCA-BO技術，方法三為FBO技術，方法四為省略步驟S121之本揭露技術，方法五為未省略步驟S121之本揭露技術。

表四

很明顯的，不論實驗條件為何，本揭露技術都可以快速收斂到最佳解。

在上述過程中，使用者可以透過使用者介面140得知參數最佳化系統100的運作。請參照第12圖，其示例說明使用者介面140。使用者介面140包括一歸類視窗W1、一篩選視窗W2、一參數搜尋範圍視窗W3及一推薦視窗W4。歸類視窗W1用以顯示操作參數x1、x2、x3所歸類的數個群組G1、G2(標示於第5圖)。如第12圖所示，在歸類視窗W1中，「1」代表群組G1，「2」代表群組G2。篩選視窗W2用以顯示操作參數x1、x2、x3之篩選結果。如第12圖所示，篩選視窗W2顯示操作參數x1、x2、x3的

值分別為0、1.7、0.5。

值的絕對值大於0者表示對目標參數y之關聯程度較高。故群組G2之操作參數x2、x3可以被篩選出來作為參數搜尋範圍的主要調整對象。參數搜尋範圍視窗W3用以顯示參數搜尋範圍R4。參數搜尋範圍R4係為空間轉換後的範圍，而非操作參數x2、x3的個別單純範圍。如第12圖所示，參數搜尋範圍R4係為操作參數x2、x3之一線性組合的範圍限制。並且，在操作參數x1、x2、x3有經過篩選的情況下，參數搜尋範圍視窗W3所顯示的參數搜尋範圍R4僅對應於部分的操作參數x2、x3。推薦視窗W4用以顯示操作參數x1、x2、x3的一組推薦數值，例如是「0.01、0.22、0.83」。

透過上述實施例，參數搜尋範圍透過空間轉換技術 可以適應性的調整，無需過多的試驗次數即可迅速收斂至最佳解。此外，在操作參數過多時，可以適當地篩選出需要進行空間轉換與限制搜尋範圍的操作參數，更可提高參數最佳化尋的效率。

綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

100:參數最佳化系統

110:資料擷取單元

120:適應性調整單元

121:參數篩選器

122:參數空間轉換器

123:搜尋範圍界定器

130:最佳化搜尋單元

140:使用者介面

900:製程設備

DT:試驗數值

RG:參數搜尋範圍

RV:推薦數值

Claims (18)

1. 一種適應性搜尋空間調整的參數最佳化系統，包括：一資料擷取單元，用以擷取複數組試驗數值，該些試驗數值之每一組包含複數個操作參數之數值及一目標參數之數值；一適應性調整單元，包括：一參數空間轉換器，用以依據該些試驗數值，對該些操作參數之一參數空間進行一空間轉換；及一搜尋範圍界定器，用以依據該些試驗數值，以經該空間轉換後之該參數空間界定一參數搜尋範圍；以及一最佳化搜尋單元，係以該參數搜尋範圍為一限制條件，並搜尋該目標參數之最佳數值為目標，搜尋該些操作參數的一組推薦數值。
2. 如請求項1所述之適應性搜尋空間調整的參數最佳化系統，其中該適應性調整單元更包括：一參數篩選器，用以依據該些操作參數之群組關係，篩選該些操作參數，以提供給該參數空間轉換器進行該空間轉換。
3. 如請求項2所述之適應性搜尋空間調整的參數最佳化系統，其中該些操作參數依據相互影響程度被歸類至複數個群組。
4. 如請求項3所述之適應性搜尋空間調整的參數最佳化系統，其中該參數篩選器依據各該群組對該目標參數之一關聯程度進行篩選。
5. 如請求項2所述之適應性搜尋空間調整的參數最佳化系統，其中該參數篩選器藉由一分群套索回歸演算法(Group-Lasso Regularization)、一稀疏分群套索演算法(Sparse Group Lasso)、一貝氏分群套索演算法(Bayesian Group Lasso)、一綜合絕對懲罰演算法(Composite Absolute Penalty)或一分組最小角迴歸演算法(Group Least Angle Regression Selection)篩選該些操作參數。
6. 如請求項1所述之適應性搜尋空間調整的參數最佳化系統，其中該參數空間轉換器利用該空間轉換降低該些操作參數之一參數相互影響程度，並提高該些操作參數對該目標參數之一識別程度。
7. 如請求項1所述之適應性搜尋空間調整的參數最佳化系統，其中該參數空間轉換器藉由一偏最小二乘迴歸演算法(Partial Least Squares regression)或一主成分分析演算法(Principal Component Analysis,PCA)進行該空間轉換。
8. 如請求項1所述之適應性搜尋空間調整的參數最佳化系統，其中該搜尋範圍界定器利用該些試驗數值建立一高斯 過程模型(Gaussian process model)，並依據該高斯過程模型保留一準確範圍，再於該準確範圍中依據一期望改善取樣函數(Expected Improvement function,EI function)界定該參數搜尋範圍。
9. 如請求項1所述之適應性搜尋空間調整的參數最佳化系統，其中該最佳化搜尋單元係藉由具限制式之貝氏最佳化演算法搜尋該些操作參數的該組推薦數值。
10. 一種適應性搜尋空間調整的參數最佳化方法，包括：擷取複數組試驗數值，該些試驗數值之每一組包含複數個操作參數之數值及一目標參數之數值；依據該些試驗數值，對該些操作參數之一參數空間進行一空間轉換；依據該些試驗數值，以經該空間轉換後之該參數空間界定一參數搜尋範圍；以及以該參數搜尋範圍為一限制條件，並以搜尋該目標參數之最佳數值為目標，搜尋該些操作參數的一組推薦數值。
11. 如請求項10所述之適應性搜尋空間調整的參數最佳化方法，更包括：依據該些操作參數之群組關係，篩選該些操作參數，以進行該空間轉換。
12. 如請求項11所述之適應性搜尋空間調整的參數最佳化方法，其中在篩選該些操作參數之步驟中，該些操作參數依據該些操作參數之相互影響程度被歸類至複數個群組。
13. 如請求項12所述之適應性搜尋空間調整的參數最佳化方法，其中在篩選該些操作參數之步驟中，係依據各該群組對該目標參數之一關聯程度進行篩選。
14. 如請求項11所述之適應性搜尋空間調整的參數最佳化方法，其中在篩選該些操作參數之步驟中，係藉由一分群套索回歸演算法(Group-Lasso Regularization)、一稀疏分群套索演算法(Sparse Group Lasso)、一貝氏分群套索演算法(Bayesian Group Lasso)、一綜合絕對懲罰演算法(Composite Absolute Penalty)或一分組最小角迴歸演算法(Group Least Angle Regression Selection)篩選該些操作參數。
15. 如請求項10所述之適應性搜尋空間調整的參數最佳化方法，其中在對該些操作參數之該參數空間進行該空間轉換之步驟中，係利用該空間轉換降低該些操作參數之一參數相互影響程度，並提高該些操作參數對該目標參數之一識別程度。
16. 如請求項10所述之適應性搜尋空間調整的參數最佳化方法，其中在對該些操作參數之該參數空間進行該空間 轉換之步驟中，係藉由一偏最小二乘迴歸演算法(Partial Least Squares regression)或一主成分分析演算法(Principal Component Analysis,PCA)進行該空間轉換。
17. 如請求項10所述之適應性搜尋空間調整的參數最佳化方法，其中在界定該參數搜尋範圍之步驟中，係利用該些試驗數值建立一高斯過程模型(Gaussian process model)，並依據該高斯過程模型保留一準確範圍，再於該準確範圍中依據一期望改善取樣函數(Expected Improvement function,EI function)界定該參數搜尋範圍。
18. 如請求項10所述之適應性搜尋空間調整的參數最佳化方法，其中在搜尋該些操作參數的該組推薦數值之步驟中，係藉由具限制式之貝氏最佳化演算法搜尋該些目標參數的該組推薦數值。

Images