TWI752850B - 時間序列預測模型的超參數配置方法 - Google Patents

Abstract

一種時間序列預測模型的超參數配置方法，包括：儲存N個產品的N個資料集，決定預測模型，以及執行超參數搜索程序。超參數搜索程序包括：產生M組超參數，應用每一組超參數於預測模型，依據二策略分別對預測模型進行訓練及驗證以產生二誤差陣列，其中該二策略分別以二相異的資料維度從N個資料集中選取訓練資料集及驗證資料集，依據二權重及二誤差陣列進行加權運算或排序操作並搜索目標超參數，目標超參數在二誤差陣列中所對應的二誤差值為相對最小值。

Description

時間序列預測模型的超參數配置方法

本發明關於一種基於機器學習的時間序列預測模型的超參數配置方法。

人工智慧（artificial intelligence，AI）已經成為我們日常生活中的一部分。人工智慧幫助人類理解、推理、計劃、交流和感知。儘管人工智慧是一項強大的技術，開發模型並不是一件容易的事，因為在「開發」和「部署」階段之間會存在現實差距。無法縮小該現實差距的模型將產生錯誤的見解，從而層遞誤差並提升不必要的風險。因此，確保模型的效能至關重要。

測量或評估人工智慧模型通常關聯於高精確度。因此，對於人工智慧建模人員來說，最佳化此目標是理所當然的。為此，人工智慧建模人員執行超參數調整以獲得最佳精確度。在開發階段，超參數調整在訓練集和驗證集上被執行。然而，在部署階段，超參數集被調整後的這個人工智慧模型可能在測試集上表現差勁。也就是說，在開發和部署階段之間經常存在效能（通常以精確度衡量）差距。

在人工智慧的眾多應用中，其中一者是以預測模型為多個時間序列資料產生預測結果。時間序列是將某一現象的數量變化依時間的先後順序排列。從時間序列可推導這一現象的發展規律，從而預測現象發展的方向及其數量。舉例來說，使用預測模型預測多個城市的每日氣溫，或是使用預測模型預測多個產品的客戶需求量。

為了預測多個時間序列，可以針對每個時間序列採用單獨的預測模型，該預測模型例如是神經網路模型。然而，在給定大量要預測的時間序列資料以及對大量預測模型的存儲要求下，這種方法由於複雜度高而難以實現。

如果只採用一個預測模型，那麼此預測模型將考慮所有時間序列資料。利用這些時間序列資料訓練預測模型時，預測模型可能過度擬合（overfitting）訓練資料。

當採用傳統的時間序列預測模型被應用在多個時間序列時，該模型在開發階段與部署階段之間的效能差距通常是因為：該模型無法推廣到不同的時間範圍；以及在一組時間序列資料上訓練的預測模型不適用在另一組時間序列。換言之，傳統的預測模型不能處理沒有預先訓練過的時間範圍或產品。

有鑑於此，本發明提出一種時間序列預測模型的超參數配置方法，適用於多個產品的時間序列預測模型。

依據本發明一實施例的一種時間序列預測模型的超參數配置方法，包括：儲存裝置儲存分別對應於N個產品的N個資料集，其中每一資料集為時間序列；決定一預測模型；以及處理器執行超參數搜索程序。超參數搜索程序包括：處理器產生對應預測模型的M組超參數；處理器應用每一組超參數於預測模型；處理器依據第一策略及第二策略分別對應用每一組超參數的預測模型進行訓練，其中第一策略及第二策略分別以二相異的資料維度從N個資料集中選取一部份作為訓練資料集；處理器依據第一策略及第二策略分別對應用每一組超參數的預測模型進行驗證以產生二誤差陣列，其中第一策略及第二策略分別以該二相異的資料維度從N個資料集中選取另一部份作為驗證資料集，且二誤差陣列的每一者具有M個誤差值；處理器依據第一權重、第二權重及二誤差陣列進行加權運算或排序操作；以及處理器在二誤差陣列中搜索目標超參數，其中目標超參數為M組超參數中的一者，且目標超參數在二誤差陣列中所對應的二誤差值為二誤差陣列中的相對最小值；當搜索到目標超參數時，處理器輸出目標超參數；且當無法搜索到目標超參數時，處理器增加M值並執行超參數搜索程序。

綜上所述，本發明提出的時間序列預測模型的超參數配置方法適用於任何基於機器學習的時間序列預測模型。本發明提出的超參數調整方法可找出每個產品時域上的銷售模式，並且可找出多個產品之間的連動關係。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及特點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之構想及特點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

舉例說明本發明適用的一種狀況：考慮開發一個準確的預測模型的任務，該預測模型用於預測未來一年間超過十種產品的月銷售額。為了成功做到這一點，預測模型需要找出每個產品內的時間性的銷售模式，以及多個產品之間在銷售上的連動關係。而一個好的預測模型需要一組好的超參數（hyper-parameter）。

圖1是本發明一實施例的時間序列預測模型的超參數配置方法的流程圖。

步驟S1係以一儲存裝置「儲存N個產品的N個資料集」，其中每一資料集為一產品的一時間序列（time-series），例如該產品在過去三年之間的每月銷售額。

步驟S2是「決定一預測模型」。在本發明一實施例中，該預測模型是長短期記憶（Long Short-Term Memory）模型。LSTM是循環神經網路（Recurrent neural network，RNN）的變體。LSTM可以隨著大資料量進行擴展，並且可以採用多個變數作為輸入，這有助於預測模型解決物流（logistics）問題。由於其忘記和更新機制，LSTM還可以對長期和短期的相依關係進行建模。本發明一實施例採用LSTM作為時間序列預測模型。

步驟S3~S6描述處理器找出適用於步驟S2的預測模型的一組超參數的流程。

步驟S3是以處理器「執行超參數搜索程序」。步驟S4是判斷步驟S3「是否搜索到目標超參數」。若步驟S4的判斷為「是」，則執行步驟S5「輸出目標超參數」。另一方面，若步驟S4的判斷步驟為「否」，則執行步驟S6「增加超參數搜索範圍」，然後回到步驟S3再次「執行超參數搜索程序」。

圖2是超參數搜索程序的細部流程圖。

步驟S31是以處理器「產生對應預測模型的M組超參數」。M為一個相對大的數字，例如1000。實務上，處理器採用隨機方式產生M組超參數。每一組超參數中包括多個超參數，例如LSTM所用的超參數包括隱藏層神經元的丟棄率（dropout rate）、卷積核大小（kernel size）、多層感知機（Multilayer perceptron，MLP）的層數等。輕量級的提升樹（Light Gradient Boosting，Light GBM）模型所用的超參數包括樹葉的數量，樹的深度等。

步驟S32是處理器「應用每一組超參數於預測模型」。因此本步驟S32產生了M個預測模型，分別具有不同配置參數。

步驟S33及步驟S34是處理器依據第一策略及第二策略分別對應用每一組超參數的預測模型進行訓練。步驟S35及步驟S36是處理器依據第一策略及第二策略分別對應用每一組超參數的預測模型進行驗證，並產生二誤差陣列。詳言之，第一策略及第二策略分別以二相異的資料維度從N個資料集中選取一部份作為訓練資料集。第一策略及第二策略分別以該二相異的資料維度從N個資料集中選取另一部份作為一驗證資料集。所述二相異的資料維度包括時間序列的維度及產品的維度。

圖3是第一策略及第二策略的示意圖。為了找出每個產品內的時間性的銷售模式，並找出多個產品之間在銷售上的連動關係，本發明提出兩種交叉驗證策略，如圖3所示，其中第一策略在時間軸上進行交叉驗證，第二策略在產品軸上進行交叉驗證。

圖3繪示了三種產品做為範例，其中每一橫列代表一種產品，訓練資料集以著色區域表示、驗證資料集以斜線區域標示，原本的資料集中未被使用的部分以空白區域表示。如圖3所示，第一策略以時間序列的資料維度（如圖3中繪示的橫軸）進行K折交叉驗證（K-fold cross-verification），本發明並不限制K的數值。在第一策略中，從第1折（fold）至第K折的訓練資料集的資料量遞增。例如：第1折的訓練資料量為1月的每月銷售額，第2折的訓練資料量為1~2月的每月銷售額，…，第10折的訓練資料量為1~10月的每月銷售額。在第一策略中，從第1折至第K折的驗證資料集的資料量固定，且驗證資料集在該時間序列中晚於訓練資料集。例如第1折的驗證資料集為2月的銷售額，第2折的驗證資料集為3月的銷售額，…，第10折的驗證資料集為11月的銷售額。在第一策略中，訓練資料集的資料量大於或等於驗證資料集。由於預測模型需預測訓練時間框架之後會發生的狀況，因此驗證時間框架總是緊隨訓練時間框架之後。須注意的是，屆時預測模型適合的預測時間長度即為此時驗證資料集取樣的時間長度。整體而言，本發明使用第一策略在時間軸上進行交叉驗證，該過程必須符合因果關係（causality）約束，也就是訓練資料集不能包含來自未來的資料。驗證集所屬的時間點始終在訓練資料集所屬的時間點之後。對於每個折，本發明提出不同的訓練時間長度從資料集中選取訓練資料集。

如圖3所示，本發明特別提出的第二策略考量的是產品的資料維度（如圖3中繪示的縱軸），也就是將所有產品劃分為訓練資料集和驗證資料集並進行N折交叉驗證。如圖3所示，在N折中的每一折包含訓練資料集和驗證資料集的不同組合。這是為了模擬對一組產品的訓練，並預測另一組沒見過的產品。換言之，從現有產品之間的關聯性，訓練預測模型以預測其他產品與現有產品之間的關聯性。本發明並不限制N的數值。在另一實施例中，假設有12個產品，則N的數值可設置為12、6、4、3或2，即產品數量的因數。

在步驟S33及步驟S34中被訓練好的預測模型在進行N折交叉驗證時在每一折都會產生一個誤差（loss），其為模型輸出的預測值與驗證資料集中的實際值兩者之間的差值。在步驟S35及步驟S36中，將所有N折的誤差加總獲得一個總誤差值（後文簡稱誤差值）。因此， 對M個預測模型分別進行第一策略的驗證將獲得M個誤差值，其組成一誤差陣列，對M個預測模型分別進行第二策略的驗證也將獲得M個誤差值，其組成另一誤差陣列。簡言之，步驟S35及步驟S36將產生二誤差陣列，該二誤差陣列的每一者具有M個誤差值。

請參考圖2的步驟S37。步驟S37是以處理器「依據第一權重、第二權重及二誤差陣列進行加權運算或排序操作，並在二誤差陣列中搜索目標超參數」。目標超參數為M組超參數中的一者，且目標超參數在二誤差陣列中所對應的二誤差值為二誤差陣列中的相對最小值。

圖4是圖2的步驟S37的一實施例的細部流程圖。

步驟S41是處理器「應用第一權重於對應第一策略的誤差陣列的每一個誤差值」，步驟S42是處理器「應用第二權重於對應第二策略的誤差陣列的每一個誤差值」，步驟S43是處理器「計算二誤差陣列中互相對應的二誤差值的多個總和」。

為便於說明，假設第一策略對應的誤差陣列為

，第二策略對應的誤差陣列為

，其中

代表第 P 策略的第 i 個誤差值。假設第一權重為

，第二權重為

。在執行步驟S41~S43的流程之後，可產生一個新的陣列

，其包含M個加權誤差值，且

。

透過第一權重和第二權重的數值調整，可反映預測模型著重在「時間性的預測準確度」或是「針對未知產品的預測準確度」。

步驟S44是處理器「將多個總和由小到大排序」。即，依據

的數值進行遞增排列。步驟S45是處理器「選取多個總和中的最小值所對應的該組超參數作為目標超參數」。即，目標超參數

滿足

。在步驟S44排序之後，目標超參數

即為陣列中的第一個元素。

圖5是圖2的步驟S37的另一實施例的細部流程圖。

步驟S51是處理器「由小到大排序對應第一策略的誤差陣列的每一個誤差值」。步驟S52是處理器「由小到大排序對應第二策略的誤差陣列的每一個誤差值」。步驟S53是處理器「從二誤差陣列的最小索引值開始遍歷，檢查二誤差陣列對應相同索引值的二誤差值」。步驟S54是處理器判斷是否「二誤差值皆對應至同一組超參數」。

當步驟S54的判斷結果為「是」，則執行步驟S55，處理器「以該組超參數作為目標超參數」，換言之，當該二誤差值皆對應至M組超參數中的同一者時，以該組超參數作為該目標超參數。此時，圖1的步驟S4的判斷結果為「是」，因此可繼續執行步驟S5「輸出目標超參數」。

當步驟S54的判斷結果為「否」，則執行步驟S56，步驟S56是處理器「遞增陣列索引值」。

為便於說明，以下用實際數值說明步驟S51~S56的流程。假設對應第一策略及第二策略的二誤差陣列如下表一所示。

表一

第一策略的超參數 序號	1	2	3	4	5	6	7	8	9	10
對應第一策略的誤差陣列的誤差值	11	78	82	40	30	36	12	69	2	80
第二策略的超參數 序號	1	2	3	4	5	6	7	8	9	10
對應第二策略的誤差陣列的誤差值	4	73	49	27	93	68	5	54	32	25

在處理器完成步驟S51及步驟S52之後，結果如下表二所示：

表二

索引值	1	2	3	4	5	6	7	8	9	10
第一策略的超參數 序號	9	1	7	5	6	4	8	2	10	3
對應第一策略的誤差陣列的誤差值	2	11	12	30	36	40	69	78	80	82
第二策略的超參數 序號	1	7	10	4	9	3	8	6	2	5
對應第二策略的誤差陣列的誤差值	4	5	25	27	32	49	54	68	73	93

按上表二所示的範例，在步驟S53中，誤差陣列的最小索引值為1，故處理器首先檢查對應該索引值1的二誤差值2及4，誤差值2對應第9組超參數，誤差值4對應第1組超參數。

在步驟S54中，這兩個誤差值2及4並非對應至同一組超參數（9≠1），因此繼續執行步驟S56，將陣列索引值由1遞增為2，並且回到步驟S54。上述流程被反覆執行，直到索引值為7時，對應索引值7的二誤差值69及54皆對應至第8組超參數，因此繼續執行步驟S55，以第8組超參數作為目標超參數。

須注意的是，在步驟S54及步驟S56的迴圈中，可能處理器已遍歷（traverse）陣列的所有索引值，但仍找不到對應同一索引值的二誤差值亦是對應至同一組超參數。此時，圖1的步驟S4的判斷結果為「否」，因此將繼續執行步驟S6，增加超參數的搜索範圍，然後再次執行步驟S3的超參數搜索程序。在一實施例中，可提高M值並重新產生另外M組超參數。在另一實施例中，只增加L個新的超參數，並以L+M個超參數進行圖1所示的流程。

為了產生一個將所有時間序列資料都考慮在內而又不過度擬合的單一時間序列預測模型，本發明提出一種基於機器學習的時間序列預測模型的超參數配置方法。好的時間序列預測模型需要一組好的超參數。本發明提出的超參數搜索程序中具有兩個良好的交叉驗證策略，藉此產生一組良好的超參數。在以通用性（generalization）為核心關注點的現有交叉驗證技術的基礎上，本發明提出一種時間序列預測模型的超參數配置方法。為此，本發明同時在類內（in-class）和類外（out-class）的資料點上應用兩種策略，以確保人工智慧模型在類內和類外情況下都能很好地通用化。

綜上所述，本發明提出的時間序列預測模型的超參數配置方法適用於任何基於機器學習的時間序列預測模型。本發明提出的超參數調整方法可找出每個產品內的時間性的銷售模式，並且可找出多個產品之間在銷售上的連動關係。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

S1~S6:步驟 S31~S37:步驟 S41~S45:步驟 S51~S56:步驟

圖1是本發明一實施例的時間序列預測模型的超參數配置方法的流程圖； 圖2是超參數搜索程序的細部流程圖； 圖3是第一策略及第二策略的示意圖； 圖4是圖2的步驟S37的一實施例的細部流程圖；以及 圖5是圖2的步驟S37的另一實施例的細部流程圖。

S2~S4、S31~S37:步驟

Claims (6)

1. 一種時間序列預測模型的超參數配置方法，包括： 以一儲存裝置儲存分別對應於N個產品的N個資料集，其中每一該些資料集為一時間序列； 決定一預測模型；以及 以一處理器執行一超參數搜索程序，該超參數搜索程序包括： 以該處理器產生對應該預測模型的M組超參數； 以該處理器應用每一該M組超參數於該預測模型； 以該處理器依據一第一策略及一第二策略分別對應用每一該M組超參數的該預測模型進行訓練，其中該第一策略及該第二策略分別以二相異的資料維度從該N個資料集中選取一部份作為一訓練資料集； 以該處理器依據該第一策略及該第二策略分別對應用每一該M組超參數的該預測模型進行驗證以產生二誤差陣列，其中該第一策略及該第二策略分別以該二相異的資料維度從該N個資料集中選取另一部份作為一驗證資料集，且該二誤差陣列的每一者具有M個誤差值； 以該處理器依據一第一權重、一第二權重及該二誤差陣列進行一加權運算或一排序操作；以及 以該處理器在該二誤差陣列中搜索一目標超參數，其中該目標超參數為該M組超參數中的一者，且該目標超參數在該二誤差陣列中所對應的該二誤差值為該二誤差陣列中的相對最小值； 當搜索到該目標超參數時，以該處理器輸出該目標超參數；且 當無法搜索到該目標超參數時，以該處理器增加M值並執行該超參數搜索程序。
2. 如請求項1所述的時間序列預測模型的超參數配置方法，其中該預測模型是長短期記憶（Long Short-Term Memory）模型。
3. 如請求項1所述的時間序列預測模型的超參數配置方法，其中該第一策略以時間序列的資料維度進行K折交叉驗證，且該第二策略以產品的資料維度進行N折交叉驗證。
4. 如請求項3所述的時間序列預測模型的超參數配置方法，其中在該第一策略中，從第1折至第K折的該訓練資料集的資料量遞增，從第1折至第K折的該驗證資料集的資料量固定，且該驗證資料集在該時間序列中晚於該訓練資料集。
5. 如請求項1所述的時間序列預測模型的超參數配置方法， 其中以該處理器依據該第一權重、該第二權重及該二誤差陣列進行該加權運算或該排序操作包括： 以該處理器應用該第一權重於對應該第一策略的該誤差陣列的每一該M個誤差值； 以該處理器應用該第二權重於對應該第二策略的該誤差陣列的每一該M個誤差值； 以該處理器計算該二誤差陣列中互相對應的該二誤差值的多個總和； 以該處理器將該些總和由小到大排序；以及 以該處理器選取該些總和中的最小值所對應的該組超參數作為該目標。
6. 如請求項1所述的時間序列預測模型的超參數配置方法， 其中以該處理器依據該第一權重、該第二權重及該二誤差陣列進行該加權運算或該排序操作包括： 以該處理器由小到大排序對應該第一策略的該誤差陣列的每一該M個誤差值；及 以該處理器由小到大排序對應該第二策略的該誤差陣列的每一該M個誤差值； 其中以該處理器在該二誤差陣列中搜索該目標超參數包括： 從該二誤差陣列的最小索引值開始遍歷，以該處理器檢查該二誤差陣列對應相同索引值的該二誤差值；及 當該二誤差值皆對應至該M組超參數中的同一者時，以該組超參數作為該目標超參數。

Images