TWI823720B - 精確之負載預測系統與其訓練方法 - Google Patents

Abstract

一種精確之負載預測系統與其訓練方法，該負載預測系統包括一長短期記憶神經網路。該長短期記憶神經網路的訓練方法包括以下步驟。首先，提供一長短期記憶神經網路及訓練資料集。在來，使用訓練資料集作為長短期記憶神經網路的輸入，以輸出一第一訓練結果。若該第一訓練結果不符合預期，則進行下述的步驟。將長短期記憶神經網路的參數以麻雀搜索演算法進行優化，並將優化後的參數更新到該長短期記憶神經網路，並對更新後的該長短期記憶神經網路進行測試，以得到一第二訓練結果。若該第二訓練結果不符合預期則再用麻雀搜索演算法繼續進行優化。

Description

精確之負載預測系統與其訓練方法

本發明是指一種神經網路的訓練方法與預測系統，特別是一種長短期記憶神經網路的訓練方法與電力負載預測系統。

負載預測(Load  Forecasting,  LF)  在實現現代電力系統的安全和經濟運轉中起著重要作用，是能量管理系统的重要組成部份，對電力系統的火電計劃、水火電協調、機組經濟調度和交換功率計劃而言，短期負載預測是非常重要和有用的基礎工具。在傳統使用於電力系統之預測方法中，通常是使用會影響系統負載之幾種重要因素來做調整，其優點是我們可以以一種簡單的預測模型來做負載預測。不過，系統負載與影響因子間往往存在一種非線性的關係，而由於是非線性關係，所以使得傳統方法來求解是非常不容易的。 綜上所述，如何有效的解決電力負載預測中存在非線性的問題，便是本領域具通常知識者值得去思量的。

本發明的其中一目的在於提供一種長短期記憶神經網路的訓練方法，該長短期記憶神經網路的訓練方法包括以下步驟： A10：提供一長短期記憶神經網路； A20：提供一訓練資料集； A30：使用該訓練資料集作為該長短期記憶神經網路的輸入，以使該長短期記憶神經網路輸出一第一訓練結果； A40：若該第一訓練結果不符合預期，則進行下述步驟； A50：將該長短期記憶神經網路的至少部分的參數，以一麻雀搜索演算法進行優化； 其中，步驟A50還包括以下步驟： A52：利用該長短期記憶神經網路的至少部分參數，以產生初始群體； A54：設計適應度函數；及 A56：執行麻雀搜索演算法； A60：將優化後的參數更新到該長短期記憶神經網路，並對更新後的該長短期記憶神經網路進行測試，以得到一第二訓練結果； A70：若該第二訓練結果不符合預期則回到步驟A56。 在上述之長短期記憶神經網路的訓練方法中，該長短期記憶神經網路是用於電力負載預測，且該長短期記憶神經網路的輸出為一電力負載值與時間的對應關係。 本發明的另外一目的在於提供一種電力負載預測系統，此電力負載預測系統包括一長短期記憶神經網路，該長短期記憶神經網路是經由上述之長短期記憶神經網路的訓練方法所訓練而成。 藉由本創作，可精準地對電力負載進行預測。 為讓本發明之上述特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。

參照本文闡述的詳細內容和附圖說明能較佳理解本發明。下面參照附圖會討論各種實施例。然而，本領域技術人員將容易理解，這裡關於附圖給出的詳細描述僅僅是為了解釋的目的，因為這些方法和系統可超出所描述的實施例。例如，所給出的教導和特定應用的需求可能產生多種可選的和合適的方法來實現在此描述的任何細節的功能。因此，任何方法可延伸超出所描述和示出的以下實施例中的特定實施選擇範圍。 請參閱圖1與圖2，圖1所繪示為本發明之長短期記憶神經網路的訓練方法的流程的實施例，圖2所繪示為本發明之長短期記憶神經網路的實施例。首先，如步驟S110與圖2所示，提供一長短期記憶神經網路100。此長短期記憶神經網路100主要是由多個神經元（圖中僅繪示出3個，亦即：神經元110, 110’, 110’’）所構成，神經元110包括一輸入閘112、一輸出閘114及一遺忘閘116等三個閘結構，通過這些閘結構可控制神經元110的輸入、輸出以及歷史依賴共同作用。在長短期記憶神經網路100的每一個神經元110中，其具體運作過程可由下列方程式表示： (1) (2) (3) (4) (5) (6) 上述方程式(1)控制當前神經元從上一個神經元中“忘記”信息，是由被稱作“遺忘閘116”的 Sigmoid 層實現。σ為激活函數，其為一 Sigmoid 函數。 W _f 與 b _f 分別為遺忘閘116的權重值和閥值。遺忘閘116的工作原理是通過讀取前一個神經元110’的輸出 h _t-1 及當前神經元110的輸入 l _t 進行運算，輸入一個[0,1]之間的值與上一細胞狀態 c _t-1 相乘，若輸出 1 與 c _t-1 相乘後代表上一個細胞狀態信息完全“記憶”，若輸出 0 與 c _t-1 相乘後代表上一個細胞狀態信息完全“遺忘”，以此方式保證神經網路模型的長期記憶的特性。 上述方程式(2)和方程式(3)則共同控制細胞的輸入，方程式(2)由被稱作“輸入閘112”的 Sigmoid 層實現。輸入閘112讀取前一個神經元110’的輸出 h _t-1 及當前神經元110輸入 l _t 後，輸出一個[0,1]之間量 i _t 。方程式(3)由一層 tanh 創建一個新的候選值 ，便可由 c _t-1 、 f _t 、 i _t 得到式(5)中當前細胞狀態 c _t 。 W _i 與 W _c 分別為輸入閘和候選值的權重值，而 b _i 與 b _c 則為對應的偏置值。 經計算獲得上一個神經元110’的信息留存及當前神經元110的信息輸入後，最終輸出由被稱作 “輸出閘114”的Sigmoid 層控制。接著，將經過tanh 層處理的當前細胞狀態量 c _t 與輸出閘得到的 Sigmoid 量 o _t (如上述方程式(5)所示)相乘，得到方程式(7)中當前神經元110的最終輸出量 h _t ，並將最終輸出量 h _t 輸入到下一個神經元110’’。在方程式(5)中， W _o 與 b _o 分別為輸出閘114的權重值和偏置值。 須注意的是，上述權重值 W _f 、 W _i 、 W _c 、與 W _o 、閥值 b _f 、與偏置值 b _i 、 b _c 、 b _o 皆為矩陣，也就是皆由多個元素所組成。 接著，執行步驟S120，提供一訓練資料集以供上述之長短期記憶神經網路100訓練之用。在本實施例中，由於長短期記憶神經網路100是用於電力負載預測，故訓練資料集是包括會影響到電力負載的因素，例如：天氣狀況、當日是否為節假日、前一小時的電力負載數據、及上一周同一天的電力負載數據，在此天氣狀況例如為温度、濕度、是否降雨等。這樣一來，經過訓練後，僅需輸入影響電力負載的因素到長短期記憶神經網路100，長短期記憶神經網路100便可以對電力負載進行預測。在收集訓練資料時，可將一些異常或特例的資料排除，例如當天有轉播職棒總冠軍賽。 接著，執行步驟S130，將訓練資料集的部分資料輸入至長短期記憶神經網路100中，以使長短期記憶神經網路100輸出一第一訓練結果。在訓練的過程中，長短期記憶神經網路100中的參數會不斷地調整，以使長短期記憶神經網路100的預測效果越來越好。在本實施例中，參數所指的就是上述的遺忘閘的權重值 W _f 、遺忘閘的閥值 b _f 、輸入閘的權重值 W _i 、輸入閘的偏置值 b _i 、候選值的權重值 W _c 、候選值的偏置值 b _c 、輸出閘的權重值 W _o 、及輸出閘的偏置值 b _o 。 再來，執行步驟S140，當第一訓練結果符合預期，便結束訓練。然而，一般來說，長短期記憶神經網路100僅能達到局部最優(local optimization)，故往往無法使第一訓練結果達到一定的精準度。在本實施例中，精準度是使用下列的方程式進行衡量： (7) 其中，MAPE(Mean Absolute Percentage Error)  表示預測之絕對平均誤差值，T代表樣本數， y _t 表示實際值， 表示預測值。在本實施例中， y _t 表示當下實際的電力負載數據，而 則為長短期記憶神經網路100的第一輸出結果。當方程式(7)的 f(x)小於一定值，便停止長短期記憶神經網路100的訓練。然而，若方程式(7)的 f(x)大於一定值（亦即：不符合預期），則進行下列的步驟。 之後，執行步驟S150，將長短期記憶神經網路100的至少部分的參數，以一麻雀搜索演算法(Sparrow Search Algorithm, SSA)進行優化。在本實施例中，要用麻雀搜索演算法優化的參數為遺忘閘的權重值 W _f 、遺忘閘的閥值 b _f 、輸入閘的權重值 W _i 、輸入閘的偏置值 b _i 、候選值的權重值 W _c 、候選值的偏置值 b _c 、輸出閘的權重值 W _o 、及輸出閘的偏置值 b _o 。當然，在其他的實施例中，也可僅選取上述部分的參數進行優化。麻雀搜索演算法是由中國東華大學的Jiankai Xue和Bo Shen於2020年所提出論文「Jiankai Xue & Bo Shen (2020). A novel swarm intelligence optimization approach: sparrow search algorithm. Systems Science & Control Engineering. 2020, VOL. 8, NO. 1, 22–34 https://doi.org/10.1080/21642583.2019.1708830」中揭露。 以下，將對麻雀搜索演算法如何應用在本案之長短期記憶神經網路100中進行簡介。請同步參照圖3，圖3所繪示為本發明之麻雀搜索演算法的流程之實施例。 首先，執行步驟S152，利用上述的參數產生初始群體。在本實施例中，是藉由下述的方程式(8)產生初始群體。 (8) 在本實施例中， 所指的是權重值 W _f 、 W _i 、 W _c 、與 W _o 、閥值 b _f 、與偏置值 b _i 、 b _c 、 b _o 的元素， r所指的則是元素之總數，而 m則為初始群體的個數，初始群體的個數是由演算法的使用者所決定，在本實施例中 m為20。另外，當 時則代表其值是由方程式(8)所產生，且 。當然，本領域具有通常知識者也可使用方程式(8)以外的方式產生初始群體。須注意的是，上述產生初始群體的方法並未在Jiankai Xue和Bo Shen於2020年所提出論文中揭露。 上述之初始群體或之後經由方程式(10)~(12)（於之後敘述）疊代所產生的新群體皆可用一個矩陣進行表示，如以下的方程式(9)所示： (9) 其中， n代表初始群體的個數（本實施例為20），而 d則代表長短期記憶神經網路100之全部待優化參數的個數。在此矩陣中，每一列代表一個群體。 再來，執行步驟S154，設計適應度函數。由於長短期記憶神經網路100的參數最佳化的目標就是要保證預測模型的預測準確度盡可能達到最高，因此較佳是採用預測誤差作為適應度函數。在本實施例中，是使用上述方程式(7)為適應度函數。當然，本領域具有通常知識者也可使用方程式(7)以外的方式來設計適應度函數。 之後，執行步驟S156，執行麻雀搜索演算法。在執行麻雀搜索演算法時，是先將由步驟S152所產生的初始群體分成三群：發現者、加入者、和偵察預警者。其中，發現者的個數占初始群體的10%~20%，而偵察預警者的個數占初始群體的10%~20%，其餘則為加入者。其中，屬於發現者群組的群體執行以下方程式(10)進行疊代更新： (10) 其中， 中的 i和 j代表其在方程式(9)所示的矩陣中之位置，而t則代表疊代次數。在此， 爲最大的疊代次數， α爲(0,1]之間的均勻隨機數，RP 是準正態分佈的隨機數，MTx 是大小爲 1× d、元素均爲 1 的矩陣， 和 分別表示預警值和安全值。 在此，屬於加入者群組的群體執行以下方程式(11) 進行疊代更新： (11) 在方程式(11)中， Q是準正態分佈的隨機數， 代表在 t次疊代時，在第 j維的最差位置（亦即：最遠離所要求之解），而 代表在 t+1次疊代時，在第 j維的最優位置（亦即：最接近所要求之解）。 在此，屬於偵察預警者群組的群體執行以下方程式(12) 進行疊代更新： (12) 在方程式(12)中，β表示步長控制參數，其為一個均值爲 0、方差爲 1 的正態分佈隨機數， K是介於[-1,1]之間的一個隨機數，也是步長控制參數， ε是一個極小的常數，以避免分母爲 0 的情況發生。 表示方程式(9)第 i列群體的適應度值， 和 為當前全部群體中的最優和最差適應度值。 接著，執行步驟S160。初始群體經由上述方程式(10)~(12)疊代所產生的新群體，可將其代入長短期記憶神經網路100中。詳細來說，在經過方程式(10)~(12)所述的疊代後，原本20組解的群體，同樣會產生20組新的解的群體，這20組解中的每一組皆會代入到長短期記憶神經網路100中，也就是將長短期記憶神經網路100中原本的參數置換成新的參數，並將訓練資料集中的另一部分資料（有別於一開始訓練時）餵入至更新參數的長短期記憶神經網路100中。之後，執行步驟S170，每一組解所得到預測結結果（在此稱為第二訓練結果），同樣會代入至上述方程式(7)中，然後從20組新的解中挑選出最好的一組，若最好的這一組其 f(x)小於一定值，便停止長短期記憶神經網路100的訓練。然而，若方程式(7)的 f(x)大於一定值（亦即：不符合預期），則再次執行步驟S156，以再獲得20組新的解的群體，直到找出能滿足 f(x)小於一定值的參數。 經由圖1所繪示流程的訓練後，長短期記憶神經網路100會在預測上能有更好的結果，以下發明人將以電力負載的預測為例進行實驗和說明。在本說明書所揭露的實驗中，所用的訓練資料為2019年3月12日至2020年3月11日之全部資料，測試資料為2020年5月10日至2020年6月9日之全部資料，並實際預測2020年1月1日至2020年12月31日之負載預測值。在圖4至圖6中，所繪示為以實際日子作預測之負載預測曲線圖，在圖中實線代表實際之負載，點線代表預測之負載。在圖4中所示為9月16日(星期三)之負載預測，其最低負載(25,350MW)約在早上4時，最大之負載(36,803MW)約在15時。在圖5中，其所示為一個星期例假日10月17日(星期六)的電力負載變化，由圖中曲線可看出其負載值要比正常之工作日來的小，最低負載一樣在早上4時負載量為(22,450M)，而最大之負載(27,400MW)約在16時。圖6中所示之負載曲線圖為2020年典型夏季一周之負載預測(2020/7/20星期一至2020/7/26星期日)。圖6所示之夏季典型一周每日之負載預測之尖峰負載值大約在37235MW左右，而每日之負載峰值所出現之時間點也略有不同。以上從圖4至圖6之量測曲線，均為使用本論文所提方法所測得。再從圖4至圖5針對不同之工作型態日期所測得之負載實際值與負載預測值間之負載絕對百分比誤差(MAPE)大小值約在1.18%至1.21%之間，而其最大負載絕對百分比誤差(Max.MAPE)大小值約在1.62%至1.73%之間。 此外，在本說明書中，本案的發明人還以不同之神經網路（包括ANN, EP-ANN, GA-SVM, PSO-SVM及ILSTM-NN）來預測不同之日子形態所得之绝對平均負載誤差值MAPE及最大誤差值max.MAPE，並作比較如圖7中的表1所示。在此，ANN表示用倒傳遞來作為訓練之基本類神經網路，EP-ANN是以普通之ANN為主體，而以進化規劃法(Evolutionary Programming, EP)來訓練期参數之神經網路，GA-SVM是以SVM為主體，而以基因演算法(Genetic Algorithm, GA)來訓練之神經網路，ILSTM-NN則代表本實施例的長短期記憶神經網路100。 圖7中所示，在以工作天為例ILSTM-NN計算所得之值分別比ANN、EP-ANN、GA-SVM、PSO-SVM不同方法改善了55%、43%、36%及21%。而在以非工作天為例ILSTM-NN計算所得之值分別比ANN、EP-ANN、GA-SVM、PSO-SVM各改善了33%、31.4%、20.4%及9.2%。國定假日方面，ILSTM-NN計算所得之值分別比ANN、EP-ANN、GA-SVM、PSO-SVM各改善了33.3%、27.4%、22.2%及16.1%。如以下雨天之型態為例，ILSTM-NN計算所得之值分別比ANN、EP-ANN、GA-SVM、PSO-SVM各改善了31%、29.2%、24.3%及16.5%。如以各不同日子型態之平均來計，ILSTM-NN計算所得之平均值分別比ANN、EP-ANN、GA-SVM、PSO-SVM各改善了49%、41%、30%及22%。在圖8中，表2所示為2019年8月至2020年7月一整年不同月份使用不同神經網路所得到之每個月分不同之MAPE與Max.MAPE平均值。從表中觀察得知，幾乎每種不同方法在夏季時（大約在六、七、八月等三個月）所計算得之MAPE與Max.MAPE平均值會比其他另外幾個月之計算值來得高一些，之所以會有這個結果顯現之原因，大致上是因為夏天裡的天氣狀況較為多變之情形所致，因為在台灣夏季裡常有颱風的天氣，另一方面又因為高溫天氣用電量常有破歷年用電量之紀錄，這些因素為造成負載預測誤差值較高之主因。在圖9中，表3所示為在表1中使用不同神經網路計算其中「工作天」(2020/9/23星期三)一天內24小時不同時間點所計算到之每一個小時不同之MAPE與Max.MAPE值。由表3中可觀測知，使用ILSTM-NN法計算所得之每個小時之MAPE與Max.MAPE值均比其他四種方法所計算值來的小。 綜上所述，藉由本實施例所揭露的訓練方法所訓練而成的長短期記憶神經網路100具有較佳的電力負載預測能力。此外，在本實施例中，雖然是使用訓練好的長短期記憶神經網路100來預測電力負載，但本案的發明人相信使用本發明所揭露的訓練方法所訓練而成的長短期記憶神經網路同樣能用來良好地預測其他事項。 另外，請參照圖10，圖10所繪示為本發明之電力負載預測系統的實施例。其中，電力負載預測系統10包括一輸入模組12、一長短期記憶神經網路100、與一顯示模組14。其中，長短期記憶神經網路100是經由圖1所繪示的訓練方法訓練而成的長短期記憶神經網路。輸入模組12從外部（例如：伺服器或/及感測器）輸入會影響到電力負載的因素，例如：天氣狀況、當日是否為節假日、前一小時的電力負載數據、及上一周同一天的電力負載數據，並將這些因素傳遞到長短期記憶神經網路100。長短期記憶神經網路100則輸出電力負載的預測值，並將電力負載的預測值傳輸到顯示模組14上進行顯示。 本發明說明如上，然其並非用以限定本創作所主張之專利權利範圍。其專利保護範圍當視後附之申請專利範圍及其等同領域而定。凡本領域具有通常知識者，在不脫離本專利精神或範圍內，所作之更動或潤飾，均屬於本創作所揭示精神下所完成之等效改變或設計，且應包含在下述之申請專利範圍內。

10:電力負載預測系統

12:輸入模組

14:顯示模組

100:長短期記憶神經網路

110, 110’, 110’’:神經元

112:輸入閘

114:輸出閘

116:遺忘閘

S110~S170:流程圖步驟

S152~S156:流程圖步驟

圖1所繪示為本發明之長短期記憶神經網路的訓練方法的流程。 圖2所繪示為本發明之長短期記憶神經網路的實施例。 圖3所繪示為本發明之麻雀搜索演算法的流程之實施例。 圖4至圖6所繪示為以實際日子作預測之負載預測曲線圖。 圖7中的表1所示為不同神經網路對不同日期之負載預測誤差值所得之比較結果。 圖8中的表2所示為2019年8月至2020年7月一整年不同月份使用不同神經網路所得到之每個月分不同之MAPE與Max.MAPE平均值。 圖9中的表3所示為在表1中使用不同神經網路計算其中「工作天」(2020/9/23星期三)一天內24小時不同時間點所計算到之每一個小時不同之MAPE與Max.MAPE值。 圖10所繪示為本發明之電力負載預測系統的實施例。

S110~S140:流程圖符號

Claims (8)

1. 一種電力負載預測系統的訓練方法，包括：A10：提供一長短期記憶神經網路；A20：提供一訓練資料集，該訓練資料集包括以下的資料：天氣狀況、當日是否為節假日、前一小時的電力負載數據、上一周同一天的電力負載數據；A30：使用該訓練資料集作為該長短期記憶神經網路的輸入，以使該長短期記憶神經網路輸出一第一訓練結果；A40：若該第一訓練結果不符合預期，則進行下述步驟；A50：將該長短期記憶神經網路的至少部分的參數，以一麻雀搜索演算法進行優化，其中步驟A50還包括以下步驟：A52：利用該長短期記憶神經網路的至少部分參數，以產生初始群體；A54：設計適應度函數；及A56：執行麻雀搜索演算法；A60：將優化後的參數更新到該長短期記憶神經網路，並對更新後的該長短期記憶神經網路進行測試，以得到一第二訓練結果；及A70：若該第二訓練結果不符合預期則回到步驟A56；其中，該長短期記憶神經網路是用於電力負載預測，且該長短期記憶神經網路的輸出為一電力負載值與時間的對應關係。
2. 如請求項1所述之電力負載預測系統的訓練方法，其中在步驟A50中，被該麻雀搜索演算法優化的參數是選自由遺忘閘的權重值、遺忘閘的閥值、輸入閘的權重值、輸入閘的偏置值、候選值的權重值、候選值的偏置值、輸出閘的權重值、及輸出閘的偏置值所組成的群組。
3. 如請求項2所述之電力負載預測系統的訓練方法，其中在步驟A50中，被該麻雀搜索演算法優化的參數是遺忘閘的權重值、遺忘閘的閥值、輸入閘的權重值、輸入閘的偏置值、候選值的權重值、候選值的偏置值、輸出閘的權重值、及輸出閘的偏置值。
4. 如請求項1所述之電力負載預測系統的訓練方法，其中步驟A52是採用以下方程式取得初始群體：

   

   ，S=1,2,...,r，n=0,1,2,...,m-1，其中r為被優化的參數的個數，m為初始群體的個數；其中，

   

   代表被優化的參數的初始值。
5. 如請求項4所述之電力負載預測系統的訓練方法，其中m=20。
6. 如請求項1所述之電力負載預測系統的訓練方法，其中在步驟A54中，適應度函數為：

   

   ，其中T代表樣本數，y _t 表示實際值，

   

   表示預測值。
7. 如請求項1所述之電力負載預測系統的訓練方法，其中於步驟A56中，還包括：將初始群體分成發現者、加入者、和偵察預警者三群；其中，發現者的個數占初始群體的10%~20%，而偵察預警者的個數占初始群體的10%~20%。
8. 一種電力負載預測系統，包括一長短期記憶神經網路，該長短期記憶神經網路是經由如請求項1至請求項7中任一項所述之訓練方法所訓練而成。