TWI715457B - 非監督式惡意流量偵測系統及方法 - Google Patents

Abstract

一種非監督式惡意流量偵測系統及方法，其利用一預處理模組將接收到的原始封包依據所屬的連線(flow)進行分類後，取同一連線中前複數個封包的前複數個位元組，將該等位元組輸入一卷積神經網路模型中，進行至少一次卷積和降維採樣後，篩選出封包之特徵；以及利用一自動編碼器對封包之特徵進行學習及分類，建立至少一正常流量的型態，並藉由該正常流量的型態判斷目前所檢視之連線的流量是否異常。由於只需檢視每條連線的前幾個封包的前幾個位元組即可分類正常或異常流量，無需檢視完整的連線，故可提高系統效能，及早阻擋異常流量。

Description

非監督式惡意流量偵測系統及方法

本發明係有關一種偵測惡意網路流量之技術，特別是指一種非監督式惡意流量偵測系統及方法。

面對各種網路威脅，入侵檢測系統大概有兩種主要的檢測方法：以流量中的特定片段與惡意流量資料庫中的資料比對來判斷的方法為特徵檢測(Signature-based Detection)。雖然此種方法之誤報率(False Positive Rate)較低，但面對未知攻擊流量會喪失判斷的能力，並且由於需要擷取特徵，用在即時檢測的系統上效能較差。另一種是基於異常的檢測方法(Anomaly-based Detection)，能夠偵測未知型態的入侵，但具有較高的誤報率。。

現今的異常檢測系統，多為以下四種分類方法：基於端口的辨識(port-based)、深度封包檢測(deep packets inspection based)、流量的統計資料(statistical)、和流量行為模式(behavioral)。從機器思維的觀點來看前兩種屬於以定義規則來對流量的辨識方法(Rule-based approach)需要比對資料來判斷，但具有一定的計算成本，且無法對加密的流量進行判斷。後兩種屬於機器學習的範疇，利用提取的特徵對流量進行分類，雖然突破了基於規則的缺點，但在特徵的提取會對結果有很大的影響。此外，目前也有利用自動編碼 器進行特徵學習和降維，針對不同輸入進行訓練，以檢測物聯網裝置是否發出惡意流量的深度學習架構，利用連線特徵做為輸入，可篩選重要的特徵，一般具有很高的正確率，但特徵的好壞對結果有較大影響，更由於其輸入資料需要從原始連線中擷取特徵，致使即時偵測之效能有所下降，且容易從同類型之位址資訊找出封包關聯性而影響隱私。

有鑑於此，本發明即提出一種非監督式惡意流量偵測系統及方法，利用深度學習的卷積神經網路模型中權重的訓練，達到自動特徵提取和選擇的功能，以有效解決上述該等問題，具體架構及其實施方式將詳述於下：

本發明之主要目的在提供一種非監督式惡意流量偵測系統及方法，其只需檢視每條連線中前幾個封包的前幾個位元組，即可對網路流量是正常或異常進行分類，無需檢視完整的連線，故可大幅降低所檢視的流量，提高系統效能，並及早對異常流量進行阻擋。

本發明之另一目的在提供一種非監督式惡意流量偵測系統及方法，其利用卷積神經網路從原始封包中自動學習特徵，再利用自動編碼器依據該些特徵建立正常流量的型態，因此相當容易部署與調整，更可達到高準確度。

本發明之再一目的在提供一種非監督式惡意流量偵測系統及方法，其用以區別正常和異常流量所設定之閥值係基於自動編碼器中正常流量的均方誤差(MSELoss)分佈，並可針對待測流量經過自動編碼器所得到的均方誤差的差異對待測流量進行分級警示。

為達上述目的，本發明提供一種非監督式惡意流量偵測系統，包括：一預處理模組，將接收到的複數原始封包依據所屬的連線進行分類後，取同一連線中的前複數個封包，再提取該等封包的前複數個位元組；一卷積神經網路模型，訊號連接該預處理模組，以該等位元組做為輸入進行至少一次卷積和降維採樣，再篩選出該等封包之特徵；以及一自動編碼器，訊號連接該卷積神經網路模型，對該等封包之特徵進行學習及分類，建立至少一正常流量的型態，並藉由該正常流量的型態分類目前所檢視之該連線的流量是否異常。

依據本發明之實施例，該卷積神經網路模型包括一卷積層及一池化層，該卷積層以該等位元組做為輸入進行卷積，得到一特徵圖像，該池化層以降維方式對該特徵圖像進行至少一特徵之採樣。

依據本發明之實施例，該預處理模組係依據該等原始封包之來源IP位址、來源埠、目的IP位址、目的埠及傳輸層協議判斷是否為同一連線。將封包歸類至連線後，該預處理模組會進一步刪除錯誤和重複封包，並將該等封包之來源IP位址、MAC位址等資訊進行隨機化處理。

依據本發明之實施例，該等位元組包括該等封包之一標頭欄位及部分封包內容。

依據本發明之實施例，該自動編碼器為一非監督式二元分類器，將該連線之流量分類為正常或異常。

依據本發明之實施例，該卷積神經網路模型之一交叉熵損失(CrossEntropyLoss)加上該自動編碼器之一均方誤差(MSELoss)可得到一損失函數。

依據本發明之實施例，該自動編碼器具有一閥值，該閥值之計算方式為參考正常流量從該自動編碼器得到的該均方誤差之分佈。

依據本發明之實施例，該卷積神經網路模型中更包括一全連接層(Dense Layer)，其中包括與該封包之一標頭欄位之數量相符的複數神經元。

本發明另提供一種非監督式惡意流量偵測方法，包括下列步驟：利用一預處理模組將接收到的複數原始封包依據所屬的連線(flow)進行分類後，取同一連線中的前複數個封包，再提取該等封包的前複數個位元組；將該等位元組輸入一卷積神經網路模型，進行至少一次卷積和降維採樣，再篩選出該等封包之特徵；以及利用一自動編碼器對該等封包之特徵進行學習及分類，建立至少一正常流量的型態，並藉由該正常流量的型態分類目前所檢視之該連線的流量是否異常。

10:預處理模組

12:卷積神經網路模型

122:卷積層

124:池化層

126:全連接層

128:輸出層

14:自動編碼器

第1圖為本發明非監督式惡意流量偵測系統之方塊圖。

第2圖為本發明非監督式惡意流量偵測方法之流程圖。

第3圖為卷積神經網路模型之架構示意圖

第4圖為卷積神經網路模型中最大池化之示意圖。

第5圖為本發明非監督式惡意流量偵測方法中一維卷積神經網路模型結合自動編碼器之示意圖。

第6A圖為正常流量分佈圖，第6B圖為惡意流量分佈圖，第6C圖為正常和惡意流量之共同分佈圖。

第7圖為以本發明進行實驗之測試集之均方誤差分佈直條圖。

本發明提供一種非監督式惡意流量偵測系統及方法，先利用卷積神經網路從原始封包中自動學習一條連線的特徵，且僅檢視該連線少部分的原始封包的標頭與內容，而學習後的資料輸出到一非監督式深度學習模型(自動編碼器)，訓練以建立正常流量的型態，並據此決定所檢視的連線是否異常。由於目前對於各種攻擊最新的防禦系統仍然大都依靠事先定義之完整網路流量的特徵，這些特徵定義是人工的，且在取出流量特徵後也已來不及阻擋惡意流量。而本發明只檢視每條連線的前幾個封包的前幾個位元組，因此可以大幅降低所檢視的流量，快速偵測到異常流量，及早發現異常流量並進行阻擋。

請參考第1圖，其為本發明非監督式惡意流量偵測系統之方塊圖，請同時參考第2圖，其為本發明非監督式惡意流量偵測方法之流程圖。

本發明之非監督式惡意流量偵測系統包括一預處理模組10、一卷積神經網路模型(Convolutional Neural Network,CNN)12及一自動編碼器(Autoencoder)14，其中卷積神經網路模型12訊號連接預處理模組10，自動編碼器14訊號連接卷積神經網路模型12。本發明中之自動編碼器14為非監督式深度學習模型。

當接收到原始封包後，如步驟S10所述，預處理模組10將接收到的原始封包進行分類，屬於同一條連線(flow)的原始封包被分類在一起，接著取同一連線中的前複數個封包，再提取該等封包的前複數個位元組；接著步驟S12，將該些位元組做為卷積神經網路模型12的輸入，在卷積神經網路 模型12中進行至少一次卷積和降維採樣後，再篩選出該些封包之特徵；如步驟S14所述，利用自動編碼器14對該些封包之特徵進行學習及分類，建立至少一正常流量的型態，最後並藉由正常流量的型態判斷目前所檢視之連線的流量是否異常，如步驟S16所述。

以下詳述每一元件在每一步驟中的詳細流程。

預處理模組10：

預處理模組10依據原始封包之來源IP位址、來源埠、目的IP位址、目的埠及傳輸層協議等，判斷是否為同一條連線，並剔除掉錯誤和重複流量後，已將輸入的原始封包依所屬連線分類完成；接著，由於在實驗中的惡意流量只有少數幾個是被攻擊者，且現實中之攻擊多會偽造來源IP，為了確保系統的可信度，本發明特別針對惡意流量的固定身分資訊(如來源IP位址，MAC位址等)進行以隨機化處理。最後會針對每條連線中所具有的封包大小及數量進行測試，以在正確率及即時性上取得平衡。

卷積神經網路模型12：

卷積神經網路是一深度神經網路，最常用於分析視覺圖像，利用卷積層(convolution layer)的方式將影像中顏色、紋理、光源、大小等等做為類神經網路(neural network)的輸入特徵。與一般的多層感知器相比，最大特色在於局部感知與權重共享，藉由Filter抽取影像的局部特徵，並且讓影像各區域共享這個Filter，如此一來能改善原先類神經網路將影像拉成1×N向量時，輸入資料失去局部關聯性的問題，因此常運用於局部關係強烈的圖像辨識領域。

卷積神經網路的基本思想簡單直觀，利用多樣化的影像資料庫做為訓練影像，將影像利用數以百萬計的神經網路參數(一群具有特定功能的參數我們稱為model)向網路輸出端傳遞，在輸出端計算目標與預測的誤差，藉由反向傳播學習(back-propagation)不斷更新神經網路的權重值，造就卷積類神經網路可解決大量資料的問題，因此對於高變化性、大量且高維的影像辨識而言，具有很大的應用與研究價值，網路架構常包含單個或多個卷積層(convolution layer)、池化層(pooling layer，subsampling)，並在輸出端連結全連接層(fully-connected layer，原始的類神經網路)。

卷積神經網路模型12之架構圖如第1圖所示，第一層卷積層122之運作為透過每一個過濾器(Filter)與原始圖像進行卷積，而後可得到一個特徵圖像，而其特徵圖像之深度會等於其過濾器之數量，其方程式如下式(1)：

其中，k為過濾器之代號；W^k為第k個過濾器的向量權重；b_k為第k個過濾器的偏移量；x_ij為基於第k個過濾器之大小下於原始影像的位置(i,j)中，各像素之數值；而h^k _ij為基於第k個過濾器的向量權重與基於第k個過濾器之大小下於原始影像的位置(i,j)中像素之數值進行點積後，所輸出之新的像素值。

第二層池化層124之運作為類似進行訊號處理，以降維的方式進行特徵的採樣。假設以最大池化(Maxpooling)為例，如第2圖所示，將具有16個像素的影像分成四個區塊，每一個區塊的四個像素中取最大值，例如左上角區塊為1,1,5,6，則最大值為6，以此類推可得到最大池化後的影像包含6,8,3,4等四個像素。

第三層全連接層126之運作像一般類神經網路裡的全連接層一樣，其將原始圖片經過好幾層卷積層122和池化層124後，所篩選過之重要圖片與神經元進行兩向量間之點積，方程式如下式(2)：

其上述之參數n^w _i為第w個全連接層下，第i個神經元之輸出值；k為全連接層中神經元之數量；ω^w _ji為第w個全連接層中，對於第j個特徵參數所對應之第i個神經元的向量權重；b^w為第w個全連接層中之偏移量；而x_j為第j張圖片之輸入的特徵向量。

第四層輸出層128之運作為經過全連接層126後欲輸出之預測結果，其方程式如下式(3)：

其中，參數o_c為c類別之預測輸出結果；l為輸入之神經元數量；ω_ic為c類別之神經元中，對於第i個神經元之權重值；b為輸出層之偏移量；而n_i為欲輸入之第i個神經元。

本發明中所使用的卷積神經網路模型12如上所述為利用分類二維圖像資料的方法分類網路流量的原始封包，但也可用一維的方式，此時，一維的卷積神經網路模型是以原始封包的標頭欄位做為輸入，所以把卷積層124的過路器之核心尺寸(kernel size)設成6，其係以標頭欄位中最大寬度欄位之Mac位址設置)。

自動編碼器14：

自動編碼器是通過重建輸入的神經網路訓練過程，其全連接層向量具有降維、降噪的作用。特點是編碼器會建立一個全連接層(或多個全連接層)包含了輸入資料含義的低維向量。此外有一個解碼器，會通過全連接層的低維向量重建輸入資料。通過神經網路的訓練最後自動編碼器會在全連接層中得到一個代表輸入資料的低維向量，其可幫助保留重要資訊以達到資料分類、視覺化、儲存、壓縮、降噪...等的功能，是一種非監督的學習模式，只需要輸入資料，不需要標籤輸入資料。

本發明中的自動編碼器14為一種非監督式二元分類器，用以將連線之流量分類為正常或異常，將上述一維卷積神經網路中之全連接層(第5層)加上自動編碼器14，去學習卷積神經網路模型12中提取之特徵，可用以訓練所有正常流量之型態。

當自動編碼器14對正常流量之型態訓練完成後，最後對原始流量進行測試時，以正常跟惡意資料平衡之測試集與自動編碼器輸出之一均方誤差(MSELoss)分佈分類流量，且由於是以正常流量計算出之閥值，所以可以針對不同的均方誤差差異做分級之警示，詳細之架構參數設計如下表一：

在上表一中，第6層及第7層為求卷積神經網路之交叉熵損失(CrossEntropyLoss)所設計的層，而第8層的前一層為第5層。

以T-SNE降維均方誤差之可視化結果如第6A圖至第6C圖所示，第6A圖為正常流量分佈圖，第6B圖為惡意流量分佈圖，第6C圖為正常和惡意流量之共同分佈圖，其中，降維資料為卷積神經網路模型之特徵擷取輸出分佈。

特別的是，本發明更對自動編碼器14之均方誤差(MSELoss，即自動編碼器原始的損失函數)進行優化，其係將卷積神經網路模型12之一交叉 熵損失加上自動編碼器14之均方誤差做為本發明整體架構之一損失函數，此外，本發明還提供以下幾種優化程序：1.優化連線中每個封包大小及封包數量，找出可以最少資料最短時間內能夠處理之輸入資料，並具有一定準確率之適合組合資料；2.在所有卷積神經網路層間批量標準化(Batch Normalization)，蓋因於本發明具有較多層之深度學習架構，每層間加上批量標準化能夠使參數分布相對穩定，加速學習效率，還可緩解梯度消失與過度學習(Overfitting)的情況；3.在卷積神經網路模型提取特徵時，多增加一層25個神經元之全連接層(Dense Layer)，其中包括與該封包之一標頭欄位之數量相符的複數神經元，但由於主要是以標頭欄位作為輸入資料，因此多增加一層25個神經元之全連接層參考各種特徵之排列組合，每種特徵之組合皆有機會影響分類結果，本發明藉此可避免遺漏重要的特徵組合作為分類之用，對分類結果有大幅提升的效果；4.所有全連接層皆設計有逐層貪婪之預訓練。逐層貪婪預訓練之設計一樣具有緩解深層架構中梯度消失與過度學習之問題，而且能夠更好的初始化每一層之參數；5.最後在偵測攻擊時，會利用自動編碼器的訓練集(即正常流量)所產生之均方誤差分佈，取其最大值與最大之1%資料的平均值進行比較以決定閥值。若最大值與最大1%資料平均值之間的差距超過均方誤差分佈之三倍標準差，則會以最大1%資料平均值做為閥值；反之，則以最大值為偵測之閥值。

以本發明之系統及方法進行實驗，以USTC-TFC2016之正常流量資料為輸入訓練資料，經過預處理後，輸入資料為10個種類之正常流量，測試資料為平衡USTC-TFC2016之正常流量與Mirai之惡意DDoS資料之測試集，如下表二和三：

分別以連線中不同封包大小及封包數量處理輸入資料，分別測試之結果如下表四：

從上表四中可看出，在取得封包標頭欄位的資料(TCP一般具有54位元組，UDP一般具有42位元組)的情況下，此非監督式分類架構具有99.6%正確率以上，更是在每個封包取50位元組，每個連線取兩個封包時， 即可達到完全分類之效果。由此可知，實驗證實本發明只需要擷取一個連線中少數幾個封包，即能偵測惡意連線。

第7圖為以本發明進行實驗之測試集之均方誤差分佈直條圖，其中虛線為分類所設之閾值。從圖中可清楚看到正常流量跟Mirai DDoS之均方誤差之差異(測試集流量)，此圖為每個封包取50位元組，每個連線取兩個封包之架構結果，圖中橫軸為均方誤差之值，縱軸為單位區間之資料數量。

綜上所述，本發明所提供之一種非監督式惡意流量偵測系統及方法係利用卷積神經網路從原始封包中自動學習特徵，再利用自動編碼器依據該些特徵建立正常流量的型態，因此相當容易部署與調整，更可達到高準確度。此外，本發明只需檢視每條連線中前幾個封包的前幾個位元組，雖然只檢視少量的封包及其中的少數位元組，卻可對網路流量是正常或異常進行分類，無需檢視完整的連線，故可大幅降低所檢視的流量，提高系統效能，並及早對異常流量進行阻擋。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

10:預處理模組

12:卷積神經網路模型

122:卷積層

124:池化層

126:全連接層

128:輸出層

14:自動編碼器

Claims (17)

1. 一種非監督式惡意流量偵測系統，包括：一預處理模組，將接收到的複數原始封包依據來源IP位址、來源埠、目的IP位址、目的埠及傳輸層協議等五項數據以判斷是否屬於同一連線(flow)，將屬於同一條連線的該等原始封包分類在一起後，取同一連線中的前複數個封包，再提取該等封包的前複數個位元組；一卷積神經網路模型，訊號連接該預處理模組，以該等位元組做為輸入進行至少一次卷積得到一一維特徵圖像，再對該一維特徵圖像降維採樣，篩選出該等封包之特徵以代表該連線的流量特徵；以及一自動編碼器，訊號連接該卷積神經網路模型，對該等封包之特徵進行學習及分類，建立至少一正常流量的型態，並藉由該至少一正常流量的型態分類目前所檢視之該連線的流量是否異常。
2. 如請求項1所述之非監督式惡意流量偵測系統，其中該卷積神經網路模型包括一卷積層及一池化層，該卷積層以該等位元組做為輸入進行卷積，得到該一維特徵圖像，該池化層以降維方式對該特徵圖像進行至少一特徵之採樣。
3. 如請求項1所述之非監督式惡意流量偵測系統，其中該預處理模組更刪除錯誤和重複封包，並將該等封包之來源IP位址、MAC位址等資訊進行隨機化處理。
4. 如請求項1所述之非監督式惡意流量偵測系統，其中該等位元組包括該等封包之一標頭欄位及部分封包內容。
5. 如請求項1所述之非監督式惡意流量偵測系統，其中該自動編碼器為一非監督式二元分類器，將該連線之流量分類為正常或異常。
6. 如請求項1所述之非監督式惡意流量偵測系統，其中該卷積神經網路模型的損失函數是依據一交叉熵損失(CrossEntropyLoss)與該自動編碼器之一均方誤差(MSELoss)所設計。
7. 如請求項6所述之非監督式惡意流量偵測系統，其中該自動編碼器具有一閥值，該閥值之計算方式為參考正常流量從該自動編碼器得到的該均方誤差之分佈。
8. 如請求項1所述之非監督式惡意流量偵測系統，其中該卷積神經網路模型中更包括一全連接層(Dense Layer)，其中包括與該封包之一標頭欄位之數量相符的複數神經元。
9. 一種非監督式惡意流量偵測方法，包括下列步驟：利用一預處理模組將接收到的複數原始封包依據來源IP位址、來源埠、目的IP位址、目的埠及傳輸層協議等五項數據判斷是否屬於同一連線(flow)，將屬於同一條連線的原始封包分類在一起後，取同一連線中的前複數個封包，再提取該等封包的前複數個位元組；將該等位元組輸入一卷積神經網路模型，進行至少一次卷積得到一一維特徵圖像，再對該一維特徵圖像降維採樣，篩選出該等封包之特徵以代表該連線的流量特徵；以及利用一自動編碼器對該等封包之特徵進行學習及分類，建立至少一正常流量的型態，並藉由該正常流量的型態分類目前所檢視之該連線的流量是否異常。
10. 如請求項9所述之非監督式惡意流量偵測方法，其中該卷積神經網路模型包括一卷積層及一池化層，該卷積層以該等位元組做為輸入進行卷積，得到該一維特徵圖像，該池化層以降維方式對該特徵圖像進行至少一特徵之採樣。
11. 如請求項9所述之非監督式惡意流量偵測方法，其中該預處理模組更刪除錯誤和重複封包，並將該等封包之來源IP位址、MAC位址等資訊進行隨機化處理。
12. 如請求項9所述之非監督式惡意流量偵測方法，其中該等位元組包括該等封包之一標頭欄位及部分封包內容。
13. 如請求項9所述之非監督式惡意流量偵測方法，其中該自動編碼器為一非監督式二元分類器，將該連線之流量分類為正常或異常。
14. 如請求項9所述之非監督式惡意流量偵測方法，其中該卷積神經網路模型的損失函數是依據一交叉熵損失(CrossEntropyLoss)與該自動編碼器之一均方誤差(MSELoss)所設計一。
15. 如請求項14所述之非監督式惡意流量偵測方法，其中該自動編碼器具有一閥值，該閥值之計算方式為參考正常流量從該自動編碼器得到的該均方誤差之分佈。
16. 如請求項15所述之非監督式惡意流量偵測方法，其中該閥值的設定並可應用在針對一待測流量經過該自動編碼器所得到的該均方誤差的差異，對該待測流量進行分級警示，超出該閥值越高者，其為異常流量的可能性愈高，可將其警示等級也設為愈高。
17. 如請求項9所述之非監督式惡意流量偵測方法，其中該卷積神經網路模型中更包括一全連接層(Dense Layer)，其中包括與該封包之一標頭欄位之數量相符的複數神經元。

Images