TWI780411B

TWI780411B - 基於長短期記憶模型之異常網路流量偵測系統及方法

Info

Publication number: TWI780411B
Application number: TW109107038A
Authority: TW
Inventors: 林柏青; 黃仁竑; 張瑜倫; 彭敏君
Original assignee: 國立中正大學
Priority date: 2020-03-04
Filing date: 2020-03-04
Publication date: 2022-10-11
Also published as: TW202134962A

Abstract

一種基於長短期記憶模型之異常網路流量偵測系統及方法，其取原始流量中的每一封包之一標頭欄位，並進行欄位擴充；將每一該標頭欄位以一詞嵌入(word embedding)方法轉換為64維的詞向量；利用至少一層長短期記憶(long-short term memory, LSTM)模型檢視該等封包之標頭欄位，自動學習封包之特徵，以訓練該長短期記憶模型自動分辨封包是否異常；當取得真實流量後，利用訓練出之該長短期記憶模型分辨真實流量中每一封包之標頭欄位，判斷每一封包是否異常，以偵測是否為異常流量。由於本發明以封包為單位進行分類，因此可阻擋同一流量中個別的異常封包，且無須記憶個別的流量，可節省記憶體空間。

Description

基於長短期記憶模型之異常網路流量偵測系統及方法

本發明係有關一種偵測異常網路流量之技術，特別是指一種基於長短期記憶模型之異常網路流量偵測系統及方法。

按，隨著物聯網的發展，各式各樣的設備連網應用大規模成長，裝置間資料的交換更加迅速，其背後支撐的是龐大的使用者資料，一旦系統出現漏洞，或裝置使用者預設的連線帳號密碼未經更改便上線，攻擊者不僅能盜用這些設備收集來的資料進行個資販賣、釣魚、散佈垃圾郵件，還能控制這些設備對其最終攻擊目標發動分散式阻斷服務攻擊。與此同時，由於一般的使用者難以察覺其物連網設備已遭受控制，駭客的行為將難以被制止。

因此，異常流量檢測更顯重要。目前透過偵測網路流量來防止攻擊發生的偵測方法大致上可以分成三類：傳統防毒軟體使用的基於規則偵測(Rule-based)、網絡入侵檢測系統(intrusion detection system, IDS)使用的基於特徵偵測(Signature-based)、與近五年結合人工智慧演算法的基於流量偵測(Flow-based)。Rule-based的偵測方法是將封包的行為用規則表示出來，透過定義好的規則與封包行為做比較，來判斷是否為惡意行為存在，但這種方法缺乏靈活性，且容易產生誤判；Signature-based的偵測方法需事先建立入侵特徵資料庫，透過特徵值比對來偵測符合攻擊型態的封包；Flow-based的偵測方法通常會結合深度學習演算法，讓演算法架構去學習每一筆流量的內容，最後能讓深度學習演算法根據學習過程的經驗來判斷一筆沒看過的流量是否為惡意流量，但都是判斷一個流量的類型，而不是以封包為單位判斷該封包的攻擊型態。

Flow-based所使用的深度學習演算法也會影響其偵測準確度。深度學習為一種較深層的類神經網路，其網路模型模仿生物神經元傳遞的運作過程，從而進行神經網路的學習和分析，運用了許多隱藏層的感知器來架設其神經網路，以遞迴式神經網路(Recurrent Neural Network, RNN)為例，其承襲了前饋神經網路的特性，並加入了內部記憶儲存功能，能將接收到的狀態資訊，在自身的網路中循環傳遞，其隱藏層之間的節點不再為無連接，而是有連接的，且其隱藏層的輸入不僅包括輸入層的輸出，還包括上一時刻隱藏層的輸出，理論上，RNNs 能夠對任何長度的序列性數據進行處理，適合用來處理時間序列結構的輸入，包括影片、語音、文章等等，而物聯網的資料通常會加上時間戳記，每筆資料之間存在著先後順序或因果關係。第1圖為RNN的架構，其中

代表時間為t時的網路輸入；

代表時間為t 時的網路狀態或記憶；U、W和V為權重向量；

為時間為t時的輸出結果，時間t 的狀態向量

是由目前的輸入

和前一刻的狀態

透過U和W權重向量評估而來，

，時間t 的狀態之輸出結果

是由目前狀態

透過V權重向量計算而來，

，雖然RNN可以透過先前看過的資訊來影響當前訓練的結果，但隨著資料量的增加，越早處理的資料對當前資料的影響將逐漸減少，由此得知RNN中的隱藏層設計對預測結果的影響很大。

有鑑於此，本發明即提出一種基於長短期記憶模型之異常網路流量偵測系統及方法，採用由遞迴式神經網路延伸出的長短期記憶模型，以有效解決上述該等問題，具體架構及其實施方式將詳述於下：

本發明之主要目的在提供一種基於長短期記憶模型之異常網路流量偵測系統及方法，其以封包為單位分辨流量，最終輸出的結果可判斷單一封包是否異常並進行阻擋，藉此減少發現異常流量所需的時間，以線上即時偵測到惡意封包。

本發明之另一目的在提供一種基於長短期記憶模型之異常網路流量偵測系統及方法，其對每一封包的標頭欄位進行預處理及詞嵌入轉換，以擴充欄位並增加欄位之間的關聯性，提升後續訓練長短期記憶模型的成效。

本發明之再一目的在提供一種基於長短期記憶模型之異常網路流量偵測系統及方法，其利用三層之長短期記憶模型取代傳統之遞迴式神經網路進行訓練，可將不重要的資訊去除而保留重要的資料，以提高訓練中相對時間成本所獲得的效益。

為達上述目的，本發明提供一種基於長短期記憶模型之異常網路流量偵測系統，包括：一封包標頭處理模組，取原始流量中的每一封包之一標頭欄位，並進行欄位擴充；一詞嵌入處理模組，訊號連接該封包標頭處理模組，利用一詞嵌入(word embedding)方法將該標頭欄位轉換為64維的詞向量；一分類模組，訊號連接該詞嵌入處理模組，利用至少一層長短期記憶(long-short term memory, LSTM)模型檢視該等封包之該等標頭欄位，自動學習該等封包之特徵，以訓練該長短期記憶模型自動分辨封包是否異常；以及一驗證及測試模組，訊號連接該分類模組，取得真實流量後，利用訓練出之該長短期記憶模型分辨該真實流量中每一封包之標頭欄位，一一判斷該等封包是否異常，以偵測是否為異常流量。

依據本發明之實施例，該封包標頭處理模組係將該標頭欄位擴充為33個欄位。

依據本發明之實施例，該長短期記憶模型包括一輸入層、一隱藏層、一輸入閘門、一遺忘閘門、一輸出閘門及一輸出層。

承上，該隱藏層利用Sigmoid做為激勵函式(Activation Function)。該長短期記憶模型中之損失函式為二進位交叉熵(Binary CrossEntropy)。

依據本發明之實施例，該分類模組包含三層之該長短期記憶模型，每一層後面設有一層停止(dropout)層以防止過度擬合。

依據本發明之實施例，該長短期記憶模型使用RMSProp優化演算法進行最佳化。

依據本發明之實施例，該長短期記憶模型係以二分法對該等封包進行分類，其輸出之0和1分別代表正常封包及異常封包，或是輸出之0和1分別代表異常封包及正常封包。

依據本發明之實施例，該長短期記憶模型之訓練結果於輸出前係經過一softmax函數進行轉換，以轉換成二進位值。

本發明另提供一種基於長短期記憶模型之異常網路流量偵測方法，包括下列步驟：利用一封包標頭處理模組取原始流量中的每一封包之一標頭欄位，並進行欄位擴充；利用一詞嵌入處理模組將每一該標頭欄位以一詞嵌入(word embedding)方法轉換為64維的詞向量；一分類模組接收經過該詞嵌入方法轉換之每一該標頭欄位，並利用至少一層長短期記憶(long-short term memory, LSTM)模型檢視該等封包之該等標頭欄位，自動學習該等封包之特徵，以訓練該長短期記憶模型自動分辨封包是否異常；以及當取得真實流量後，一驗證及測試模組利用訓練出之該長短期記憶模型分辨該真實流量中每一封包之標頭欄位，一一判斷該等封包是否異常，以偵測是否為異常流量。

本發明提供一種基於長短期記憶模型之異常網路流量偵測系統及方法，以兩階段的深度學習架構來實現即時惡意封包偵測。於第一階段中，先使用現有資料集擷取每個封包的標頭欄位，搭配詞嵌入方法增加欄位之間的關係程度，以訓練長短期記憶模型，使長短期記憶模型能夠分辨封包是否異常；第二接段則用訓練出的長短期記憶模型測試真實流量，偵測短時間內的流量中是否出現異常封包。

請參考第2圖，其為本發明基於長短期記憶模型之異常網路流量偵測系統之方塊圖，請同時參考第3圖，其為本發明基於長短期記憶模型之異常網路流量偵測方法之流程圖。

本發明之基於長短期記憶模型之異常網路流量偵測系統包括一封包標頭處理模組10、一詞嵌入處理模組12、一分類模組14及一驗證及測試模組16，其中，詞嵌入處理模組12與封包標頭處理模組10訊號連接，分類模組14與詞嵌入處理模組12訊號連接，驗證及測試模組16與分類模組14訊號連接，分類模組14中更包括至少一層長短期記憶(long-short term memory, LSTM)模型142，於第2圖之實施例中為三層之長短期記憶模型。

首先，於步驟S10中，利用封包標頭處理模組10取原始流量中的每一封包之一標頭欄位，並進行欄位擴充；於步驟S12中，詞嵌入處理模組12利用一詞嵌入(word embedding)方法將標頭欄位轉換為64維的詞向量；接著步驟S14，分類模組14利用至少一層長短期記憶模型142檢視該等封包之標頭欄位，自動學習該等封包之特徵，以訓練長短期記憶模型142自動分辨封包是否異常；最後，於步驟S16中取得真實流量後，驗證及測試模組16利用訓練出之長短期記憶模型142分辨真實流量中每一封包之標頭欄位，一一判斷該等封包是否異常，以偵測是否為異常流量。

以下詳述每一模組之細節。

封包標頭 處理模組 10 ：

用以取出每個封包的標頭部分，並將原本的24個欄位擴充成33個欄位以便後續詞嵌入方法學習欄位間的關係。由於攻擊封包皆為TCP或UDP封包，因此本發明僅考慮TCP或UDP封包而捨棄非TCP或UDP的封包；此外，為了使本發明最終的長短期記憶模型能偵測不同類型的封包，因此本發明只取原始封包資料中的標頭欄位，共54個位元組。由於表頭資料中的54個位元組之間僅為54個不相關聯的數值，為了提升長短期記憶模型訓練的成效，將各個欄位切開來，一個封包當作是一句話，而每個欄位則為這句話中的每個字詞，後交由詞嵌入模型去學習欄位之間的關聯性，學習完成後再用以訓練長短期記憶模型。由於長短期記憶模型的輸入需為固定長度，且為了提升詞嵌入學習的成效，在切割表頭欄位時，本發明將TCP封包的25個欄位與UDP的19個欄位皆擴充為33個欄位，兩者的原始欄位資料與修改過的資料如下表一所示。

	原始	修改後
數量	內容	數量	內容
Ether header	3	ether.dst, ether.src, ether.type	7	ether.dst(3), ether.src(3), ether.type
IP header	12	ip.version, ip.ihl, ip.tos, ip.len, ip.id, ip.flags, ip.frag, ip.ttl, ip.proto, ip.chksum, ip.src, ip.dst	14	ip.version, ip.ihl, ip.tos, ip.len, ip.id, ip.flags, ip.frag, ip.ttl, ip.proto, ip.chksum, ip.src(2), ip.dst(2)
TCP header	10	tcp.sport, tcp.dport, tcp.seq, tcp.ack, tcp.dataofs, tcp.reserved, tcp.flags, tcp.window, tcp.chksum, tcp.ugptr	12	tcp.sport, tcp.dport, tcp.seq(2), tcp.ack(2), tcp.dataofs, tcp.reserved, tcp.flags, tcp.window, tcp.chksum, tcp.ugptr
UDP header	4	udp.sport, udp.dport, udp.len, udp.chksum	12	udp.sport, udp.dpot, udp.len, udp.chksum, 0, 0, 0, 0, 0, 0, 0, 0

表一

表頭欄位中，MAC位址前三個位元組為網路硬體製造商的編號，是由IEEE分配的，而後三個位元組則是該製造商所製造的某個網路產品的系列號，於是在處理MAC位址時，將一個欄位(六個位元組)分割成三個欄位(前兩位元組、中間兩位元組、後兩位元組)，將有助於詞嵌入的學習，並減低詞嵌入的詞量上限。同理，表頭欄位中，IP位址可分為兩個部分，前半部份為具體的網路編號，後半部份為主機編號。

另外，TCP封包中的TCP sequence與TCP acknowledge欄位，此兩個欄位的數值相較其他欄位高出幾十萬倍，擔心訓練過成會因過大的數值造成偏頗，於是將32位元的欄位切割成長度為16位元的兩個欄位。最後由於TCP封包與UDP封包欄位長度不同，這會導致長短期記憶模型無法訓練，因此將UDP封包相較於TCP封包要少的欄位，以零補齊。如此一來，表一中不論是Ether header加IP header加TCP header，或是Ether header加IP header加UDP header，欄位數量總和皆為33個欄位。

詞嵌入模組 12 ：

詞嵌入技術的核心是用一個向量來表示每一個詞，把一段由許多詞組成的文句，轉換成一個個詞向量來表示，相較於one-hot encoding只把詞彙編號但卻無法得知編號之間相對應關係的方法，詞嵌入能使意思相近的詞在向量表示的高維空間中距離比較靠近。透過使用這種方法將封包資料以欄位為單位作為一個詞，將能得知一個封包資料設計的「語法」，進而提高封包欄位間數值的關聯性，增加後續模型計算的準確率。

因此，當封包標頭處理模組10將標頭欄位切割完成後，為了讓資料能在高維空間中表現出它們之間的關係，本發明利用詞嵌入模組12，以詞嵌入方法將封包中的每個欄位轉換成64維的詞向量，轉換過的資料能增加了訓練的準確度，如第5圖所示，將33個欄位30輸入長短期記憶模型142中，每個欄位30分別映射到64維的詞向量。

分類模組 14 ：

分類模組14中包含至少一層長短期記憶模型142檢視該等封包之標頭欄位，自動學習該等封包之特徵，以訓練長短期記憶模型142自動分辨封包是否異常。長短期記憶模型142較之遞迴式神經網路多了三個閘門，分別為輸入閘門(Input gate)、遺忘閘門(Forget gate)、與輸出閘門(Output gate)，使其提供明確的長期記憶，適合用於處理和預測時間序列間隔較久的事件，解決了RNN隨著資料量的變大而造成權重指數級爆炸或消失的問題，其架構如第4圖所示，其中，輸入閘門是控制記憶單元要儲存多少新的資訊量，遺忘閘門是控制上一個記憶單元要保留多少資訊量，而輸出閘門是來控制前一記憶單元狀態經過輸入閘門及遺忘閘門後欲輸出的資訊量。

當兩個輸入進入長短期記憶模型單元(LSTM cell)後，遺忘閘門會用透過學習而得來的權重，決定當它看到新的輸入時，舊的狀態中哪些資料該被遺忘，與前一個單元的狀態相乘便能將不重要的資訊過濾掉。接著輸入閘門會個別運算更新資料、與創造長短期記憶模型單元可能的狀態，將兩個值相乘便得到需要更新的資料，將過濾後的資訊與需更新的資訊相加，便完成了更新目前單元狀態的工作。最後輸出閘門會透過sigmoid函式取得輸入的值，與tanh函式取得此單元剛運算完的狀態相乘，得到這個步驟的輸出。

由於長短期記憶模型的核心架構將不重要的資訊去除，同時保留下了重要的資料，因此用長短期記憶模型取代遞迴式神經網路進行流量是否異常的判斷，將提高訓練中相對時間成本所獲得的效益。

長短期記憶模型142除了上述的三個閘門之外，還包括神經網路本身具有的一輸入層、一隱藏層及一輸出層，而在本發明中，更在每一層長短期記憶模型142後面多加一層停止(Dropout)層144來防止過度擬合的狀態發生。如第4圖所示，隱藏層使用Sigmoid來做為激勵函式(Activation Function)，由於採用二分法，輸出為0或1，例如以0表示正常封包，1表示異常封包，所以損失函式可使用二進位交叉熵(Binary CrossEntropy)等。另外，本發明的長短期記憶模型142還使用了RMSProp優化演算法，解決了更新過的參數變化幅度過大的問題。訓練循環週期(Epoch)為10，批次大小(Batch size)為100。長短期記憶模型142之訓練結果於輸出前，係經過一softmax函數進行轉換，以轉換成0或1的二進位值。因此，整個分類模組14的架構如第6圖及下表二所示，每一層長短期記憶模型142的單位數不斷歸納，及設定停止層144的丟棄率為20%，最後經過softmax函數15轉換成二進位值，輸出結果22。

層	輸出型態	參數 #
詞嵌入	(None, 33, 64)	4194304
LSTM_1	(None, 33, 128)	98816
停止層_1	(None, 33, 128)	0
LSTM_2	(None, 33, 64)	49408
停止層_2	(None, 33, 64)	0
LSTM_3	(None, 32)	12416
停止層_3	(None, 32)	0
Dense	(None, 1)	33

表二

驗證及測試模組 16 ：

真實流量進入後，驗證及測試模組16會以一固定期間為單位切割，將真實流量資料切割為測試資料，例如每60秒切割一次，接著利用分類模組14中所訓練之長短期記憶模型142判斷每個封包是否異常，與訓練時相同，是提取每個封包的標頭欄位部分進行判斷，即便本發明僅檢視個別封包的標頭欄位，而非同一條流量或其內部若干封包的特徵，仍可達到相當高的準確度，因此可大幅提升系統效能，且相當容易部署與調整。

綜上所述，本發明所提供之一種基於長短期記憶模型之異常網路流量偵測系統及方法係以封包為單位分辨流量，判斷異常封包的攻擊型態，且不須事先人工設定封包的特徵，而是藉由詞嵌入方法結合長短期記憶模型進行深度學習，可省去定義封包特徵所需的時間，並即時分辨出每一筆流入的封包是否有異常狀況發生；此外，本發明更可用於在網路環境進行線上部署並過濾個別的異常封包，而非只能偵測和過濾流量；再者，由於本發明不會記憶每一條流量的特徵，因此可大幅提升系統效能與延展性，節省記憶體空間。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10:封包標頭處理模組 12:詞嵌入處理模組 14:分類模組 142:長短期記憶模型 144:停止層 15:softmax函數 16:驗證及測試模組 20:真實流量 22:結果 30:欄位

第1圖為遞迴式神經網路之架構圖。第2圖為本發明基於長短期記憶模型之異常網路流量偵測系統之方塊圖。第3圖為本發明基於長短期記憶模型之異常網路流量偵測方法之流程圖。第4圖為長短期記憶模型之架構圖。第5圖為本發明基於長短期記憶模型之異常網路流量偵測方法將標頭欄位的每個欄位映射到64維的詞向量之示意圖。第6圖為詞嵌入處理模組結合分類模組之示意圖。

10:封包標頭處理模組

12:詞嵌入處理模組

14:分類模組

142:長短期記憶模型

144:停止層

16:驗證及測試模組

20:真實流量

22:結果

Claims

一種基於長短期記憶模型之異常網路流量偵測系統，包括：一封包標頭處理模組，取原始流量中的每一封包之一標頭欄位，並進行欄位擴充；一詞嵌入處理模組，訊號連接該封包標頭處理模組，利用一詞嵌入(word embedding)方法將該標頭欄位轉換為64維的詞向量；一分類模組，訊號連接該詞嵌入處理模組，利用至少一層長短期記憶(long-short term memory,LSTM)模型檢視該原始流量中的該等封包之該等標頭欄位，自動學習該等封包之特徵，以訓練該長短期記憶模型自動分辨封包是否異常；以及一驗證及測試模組，訊號連接該分類模組，取得真實流量後，利用訓練出之該長短期記憶模型分辨該真實流量中每一封包之標頭欄位，一一判斷該真實流量中的該等封包是否異常，以偵測是否為異常流量。
如請求項1所述之基於長短期記憶模型之異常網路流量偵測系統，其中該封包標頭處理模組係將該標頭欄位擴充為33個欄位。
如請求項1所述之基於長短期記憶模型之異常網路流量偵測系統，其中該長短期記憶模型包括一輸入層、一隱藏層、一輸入閘門、一遺忘閘門、一輸出閘門及一輸出層。
如請求項3所述之基於長短期記憶模型之異常網路流量偵測系統，其中該隱藏層利用Sigmoid做為激勵函式(Activation Function)。
如請求項1或3所述之基於長短期記憶模型之異常網路流量偵測系統，其中該長短期記憶模型之訓練結果於輸出前，係經過一softmax函數進行轉換，以轉換成二進位值。
如請求項1所述之基於長短期記憶模型之異常網路流量偵測系統，其中該分類模組包含三層之該長短期記憶模型，每一層後面設有一層停止(dropout)層以防止過度擬合。
如請求項1所述之基於長短期記憶模型之異常網路流量偵測系統，其中該長短期記憶模型中之損失函式為二進位交叉熵(Binary CrossEntropy)。
如請求項1所述之基於長短期記憶模型之異常網路流量偵測系統，其中該長短期記憶模型使用RMSProp優化演算法進行最佳化。
如請求項1所述之基於長短期記憶模型之異常網路流量偵測系統，其中該長短期記憶模型係以二分法對該等封包進行分類，其輸出之0和1分別代表正常封包及異常封包，或是輸出之0和1分別代表異常封包及正常封包。
一種基於長短期記憶模型之異常網路流量偵測方法，包括下列步驟：利用一封包標頭處理模組取原始流量中的每一封包之一標頭欄位，並進行欄位擴充；利用一詞嵌入處理模組將每一該標頭欄位以一詞嵌入(word embedding)方法轉換為64維的詞向量；一分類模組接收經過該詞嵌入方法轉換之每一該標頭欄位，並利用至少一層長短期記憶(long-short term memory,LSTM)模型檢視該等封包之該等標頭欄位，自動學習該等封包之特徵，以訓練該長短期記憶模型自動分辨封包是否異常；以及當取得真實流量後，一驗證及測試模組利用訓練出之該長短期記憶模型分辨該真實流量中每一封包之標頭欄位，一一判斷該等封包是否異常，以偵測是否為異常流量。
如請求項10所述之基於長短期記憶模型之異常網路流量偵測方法，其中該封包標頭處理模組係將該標頭欄位擴充為33個欄位。
如請求項10所述之基於長短期記憶模型之異常網路流量偵測方法，其中該長短期記憶模型包括一輸入層、一隱藏層、一輸入閘門、一遺忘閘門、一輸出閘門及一輸出層。
如請求項12所述之基於長短期記憶模型之異常網路流量偵測方法，其中該分類模組包含三層之該長短期記憶模型，每一層後面設有一層停止(dropout)層以防止過度擬合。
如請求項12所述之基於長短期記憶模型之異常網路流量偵測方法，其中該隱藏層利用Sigmoid做為激勵函式(Activation Function)。
如請求項10所述之基於長短期記憶模型之異常網路流量偵測方法，其中該長短期記憶模型中之損失函式為二進位交叉熵(Binary CrossEntropy)。
如請求項10所述之基於長短期記憶模型之異常網路流量偵測方法，其中該長短期記憶模型使用RMSProp優化演算法進行最佳化。
如請求項10所述之基於長短期記憶模型之異常網路流量偵測方法，其中該長短期記憶模型係以二分法對該等封包進行分類，其輸出之0和1分別代表正常封包及異常封包，或是輸出之0和1分別代表異常封包及正常封包。
如請求項10或12所述之基於長短期記憶模型之異常網路流量偵測方法，其中該長短期記憶模型之訓練結果於輸出前係經過一softmax函數進行轉換，以轉換成二進位值。