TWI437850B - 網路流量異常偵測系統及其方法 - Google Patents

網路流量異常偵測系統及其方法 Download PDF

Info

Publication number
TWI437850B
TWI437850B TW101119289A TW101119289A TWI437850B TW I437850 B TWI437850 B TW I437850B TW 101119289 A TW101119289 A TW 101119289A TW 101119289 A TW101119289 A TW 101119289A TW I437850 B TWI437850 B TW I437850B
Authority
TW
Taiwan
Prior art keywords
data element
anomaly detection
element values
network traffic
values
Prior art date
Application number
TW101119289A
Other languages
English (en)
Other versions
TW201349797A (zh
Inventor
賴裕昆
李俊頡
廖怡俊
Original Assignee
中原大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中原大學 filed Critical 中原大學
Priority to TW101119289A priority Critical patent/TWI437850B/zh
Priority to US13/762,684 priority patent/US9160639B2/en
Publication of TW201349797A publication Critical patent/TW201349797A/zh
Application granted granted Critical
Publication of TWI437850B publication Critical patent/TWI437850B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/026—Capturing of monitoring data using flow identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Description

網路流量異常偵測系統及其方法
本發明係關於一種網路流量異常偵測系統及其方法，特別是指一種對擷取封包而產生之資料元素值進行比較並加總，據以比較加總值與異常臨界值，而判定網路流量狀況之偵測系統及方法。
網路流量分析在現今的網路系統安全中扮演了相當重要的角色。藉由觀測、蒐集並分析網路系統中的各項流量資訊可以探知網路異常行為的發生。網路流量異常偵測的目的在於偵測網路環境中突然發生劇烈變化的封包流，藉由這些資訊與其他入侵偵測技術的關聯分析，便可用來判斷其中可能存在的安全性漏洞、惡意攻擊與異常行為。
由於網際網路的發展以及頻寬的快速增加，使得於單位時間網路流量分析的資料量也隨之增加，且隨著網路系統愈趨複雜，單一觀測點的系統已無法提供完整的網路資訊，增加觀測點的數量能使偵測系統取得更完整的網路流量概觀。為了因應網際網路快速的成長，處理器核心不僅要兼顧到處理效能，更需要提供更大的擴展性以及便利性，近年來，單核心處理晶片的時脈已經達到一個瓶頸，為了能有更高的運算能力，多核心的處理器開始被大量的發展，擁有大量核心的繪圖處理晶片逐漸的被關注而應用到圖形運算以外的領域，進而使用繪 圖處理晶片進行通用計算，其主要的概念就是分擔原先中央處理器的計算量。由於多核心的處理晶片可以藉由大量的運算核心提供卓越的平行運算，並且有較高的記憶體存取頻寬，進而相當適用於高度資料平行特性的網路應用。
在上述背景之下，較具代表性的如Neelam Goyal與Randy Smith(請參閱R.Smith,N.Goyal,J.Ormont,K.Sankaralingam,C.Estan.Evaluating GPUs for network packet signature matching.Performance Analysis of Systems and Software,2009 ISPASS 2009.IEEE Inter-national symposium on,strony 175-184,2009)等人提出的利用GPU SIMD架構實現網路異常偵測，其係將NVIDIA GeForce 8 Series(G80)作為字串比對的加速核心，而Shuai Mu等人使用NVIDIA GT280繪圖處理晶片，運用該晶片可提供240個川流處理器(Stream Processor)達933GFLOPS(Giga Floating point Operations per Second)的運算能力與141.7GB/s的記憶體存取速度的優勢，以處理路由表之查詢，並以Bloom filter與Aho-Corisick演算法實現了字串比對的功能。
另外，Sangjin Han與Keon Jang(請參閱R.Smith,N.Goyal,J.Ormont,K.Sankaralingam,C.Estan.Evaluating GPUs for network packet signature matching.Performance Analysis of Systems and Software,2009 ISPASS 2009.IEEE Inter-national symposium on,strony 175-184,2009)等人更發表了PacketShader軟體路由 器，其係採用NVIDIA GTX480繪圖處理晶片做為IP路由表查詢程序的加速器，並藉由GTX480提供高達480個川流處理器的處理能力與177.4GB/s的記憶體存取頻寬，使PacketShader軟體路由器達到40Gbps的速度，由上述可發現，上述繪圖處理晶片之最基本的架構係利用川流處理器之基本架構，藉以提高處理速度之效能。
而如美國專利公告號第7751325號B.Krishnamurthy等人所提出之「Method and apparatus for sketch-based detection of changes in network traffic」專利文件中，其係利用K-ary Sketch流量異常偵測演算法應用於多核心處理晶片，該系統係採用多組雜湊函數對網路封包流進行資料的摘要與統計，藉以減低雜湊碰撞所產生的誤差，且將其所提出之K-ary Sketch流量異常偵測演算法再應用於SUN UltraSparc-III與SGI R12k微處理器的運算，其運算時間分別為2.69秒與1.46秒(雜湊函數數量為5、雜湊函數空間大小為64K，輸入資料量10,000,00個來源端IP位址)。
然而，由於K-ary Sketch流量異常偵測演算法中，會將4-Universal Hashing運算所產生的雜湊值對預測誤差陣列進行查表，之後再於多個雜湊值之間求出變異數並且取出中位數，最後再將此中位數對門檻值進行比較，而上述取出中位數之前會進行資料排序，而由於此資料排序之程序會造成處理器處理時間的延宕，若多筆資料之大小恰巧由大排至小，那處理器將該些資料由小 至大排序並取中位數時，勢必會延宕處理的時間。
綜合以上所述，相信舉凡在所屬技術領域中具有通常知識者應不難理解習知技術中，由於現有之流量異常偵測系統會藉由取出中位數來進行資料排序之處理程序，因而有一定的機率造成處理器處理時間的延宕，進而影響處理效能。
有鑒於在上述習知技術中，現有之流量異常偵測系統會藉由資料排序並取出中位數之處理程序，而有一定的機率造成處理器處理時間的延宕，進而普遍存在影響處理效能之問題。
緣此，本發明提供一種網路流量異常偵測系統及其方法，藉由資料元素值擷取單元擷取封包流之複數個資料元素值並且分散至平行處理單元，然後將該些資料元素值與一標準閾值進行比較，藉以產生複數個比較結果值，接著藉由加總單元來加總該些比較結果值而產生比對加總值，最後再將比對加總值與一異常臨界值進行比較而判定網路流量狀況。
本發明為解決習知技術之問題所採用之必要技術手段係提供一種網路流量異常偵測系統，係用以偵測至少一網路封包，藉以判斷網路封包之一流量狀況是否異 常，且網路封包具有L個位元資料元素值，網路流量變異偵測系統包含一資料元素值擷取單元、N個平行處理單元、一加總單元、一判斷單元。資料元素值擷取單元係在上述L個位元資料元素值中，擷取M個資料元素值，其中，M為大於1之奇數。N個平行處理單元係用以接收並處理上述M個資料元素值，各平行處理單元包含一比較模組，而比較模組係電性連接於資料元素值擷取單元，並且設有一標準閾值。加總單元係電性連接於上述N個平行處理單元，判斷單元係電性連接於加總單元，並且設有一異常臨界值。其中，上述M個資料元素值係分散至上述N個平行處理單元之該比較模組，與標準閾值進行比較，藉以產生M個比較結果值；加總單元係將上述M個比較結果值予以加總以獲得一比對加總值；判斷單元係將比對加總值與異常臨界值進行比較，並在比對加總值大於等於異常臨界值時，將流量狀況判斷為異常。
較佳者，上述之網路流量異常偵測系統中，異常臨界值係為上述M個資料元素乘以二分之一，且上述N個平行處理單元更包含一暫存單元以及一D型正反器。暫存單元係為隨機存取記憶體(Random Access Memory；RAM)，電性連接於資料元素值擷取單元，用以暫存上述M個資料元素值。D型正反器係於暫存單元以及比較模組之間，電性連接於暫存單元以及比較模組，用以接收並記憶上述M個資料元素值，並且傳送上述M個資料元素值至該比較模組。另外，比較模組 係為運算邏輯單元(Arithmetic Logic Unit；ALU)。
此外，當上述M個資料元素值其中之一者大於等於該標準閾值時，上述M個比較結果值中相對應之一者係為1，當上述M個資料元素值其中之一者小於該標準閾值時，上述M個比較結果值中相對應之一者係為0。
本發明為解決習知技術之問題所採用之必要技術手段更提供一種網路流量異常偵測方法，係用以偵測至少一網路封包，藉以判斷網路封包之一流量狀況是否異常，且網路封包具有L個位元資料元素值，網路流量異常偵測方法包含以下步驟：(a)在上述L個位元資料元素值中，擷取M個資料元素值，其中，M為大於1之奇數；(b)將上述M個資料元素值分散至N個平行處理單元；(c)將上述M個資料元素值與一標準閾值進行比較，藉以產生M個比較結果值；(d)將上述M個比較結果值予以加總以獲得一比對加總值；(e)比較比對加總值與異常臨界值，據以判定流量狀況。其中，比對加總值大於等於異常臨界值時，將流量狀況判斷為異常。
較佳者，上述之網路流量異常偵測方法中，係藉由一資料元素值擷取單元來擷取M個資料元素值，且係藉由上述N個平行處理單元接收並處理上述M個資料元素值，且各平行處理單元包含一比較模組。而比較模組係為運算邏輯單元(Arithmetic Logic Unit；ALU)，電性連接於資料元素值擷取單元，設有標準閾值，且比較 模組用以執行步驟(c)。另外，係藉由一加總單元執行步驟(d)，且加總單元電性連接於上述N個平行處理單元，且係藉由一判斷單元執行步驟(e)，而判斷單元電性連接於加總單元，並設有異常臨界值，且異常臨界值係為上述M個資料元素值乘以二分之一。
另外，較佳者，上述N個平行處理單元更包含一暫存單元以及一D型正反器，暫存單元係為隨機存取記憶體(Random Access Memory；RAM)，電性連接於資料元素值擷取單元，用以暫存上述M個資料元素值。D型正反器係於暫存單元以及比較模組之間，電性連接於暫存單元以及比較模組，用以接收並記憶上述M個資料元素值，並且傳送上述M個資料元素值至比較模組。此外，當上述M個資料元素值其中之一者大於等於標準閾值時，上述M個比較結果值中相對應之一者係為1，當上述M個資料元素值其中之一者小於標準閾值時，上述M個比較結果值中相對應之一者係為0。
相較於習知技術中，現有之流量異常偵測系統會藉由資料排序並取出中位數之處理程序，而有一定的機率造成處理器處理時間的延宕，進而普遍存在影響處理效能之問題。
緣此，本發明提供一種網路流量異常偵測系統及其方法，藉由資料元素值擷取單元擷取封包流之奇複數個(如3、5、7等依此類推)資料元素值並且分散至平行 處理單元，然後將該些資料元素值與一標準閾值進行比較，藉以產生奇複數個(如3、5、7等依此類推)比較結果值，接著藉由加總單元來加總該些比較結果值而產生比對加總值，最後再將比對加總值與一異常臨界值進行比較而判定網路流量狀況。而由於本發明所提供之網路流量異常偵測系統及其方法不需進行資料排序以及取出中位數之處理程序，因此在處理效能上會大幅度地提升，進而使多核心處理晶片的處理速度更為快速。
本發明所採用的具體實施例，將藉由以下之實施例及圖式作進一步之說明。
由於本發明所提供之網路流量異常偵測系統及其方法，可廣泛運用於各種多核心繪圖處理晶片，其組合實施方式不勝枚舉，故在此不再一一贅述，僅列舉其中二個較佳實施例來加以具體說明。
請參閱第一圖，第一圖係顯示本發明第一實施例之網路流量異常偵測系統示意圖。如第一圖所示，本發明較佳實施例係應用於川流處理器(Storm Processor)，網路流量異常偵測系統1係用以偵測至少一來源端位址之至少一網路封包2，藉以判斷網路封包2之一流量狀況是否異常，且網路封包2具有L個位元資料元素值，其中，L個位元資料元素值可為32位元或是64位元等。網路流量變異偵測系統1包含一資料元素值擷取單元11、N個平行處理單元12(本發明第一實施例係 N=16，圖中僅標示一個，但並不限於上述較佳實施例，例如可為16、32等依此類推)、一加總單元13以及一判斷單元14。各平行處理單元12包含一比較模組121，且比較模組121係電性連接於資料元素值擷取單元11，並且設有一標準閾值，而比較模組121係為運算邏輯單元(Arithmetic Logic Unit；ALU)。加總單元13係電性連接於上述十六個平行處理單元12(圖中僅繪製二個)，判斷單元14係電性連接於加總單元13，設有一異常臨界值。
資料元素值擷取單元11係在上述L個位元資料元素值中，擷取M個資料元素值，更具體來說，在擷取上述M個資料元素值過程中，其係先擷取出網路封包2之流量標記(例如是標頭)，並利用M個雜湊(Hash)函數來計算上述L個位元資料元素值，藉以獲取而得到上述M個資料元素值。其中，M為大於1之奇數(即M係為大於等於3之奇數數量，如3、5、7及9等依此類推)，而平行處理單元12係用以接收並處理上述M個資料元素值。
其中，上述M個資料元素值係分散至上述十六個平行處理單元12之比較模組121，與標準閾值進行比較，藉以產生M個比較結果值，而當上述M個資料元素值其中之一者大於等於標準閾值時，上述M個比較結果值中相對應之一者係為1，當上述M個資料元素值其中之一者小於標準閾值時，上述M個比較結果值中相對應之一者係為0，具體來說，每個資料元素值都會 跟標準閾值進行比較而產生相對應的結果，只要資料元素值大於或等於標準閾值時，比較模組121會將其比較結果值設定為1，而資料元素值小於標準閾值時，比較模組121會將其比較結果值設定為0。
加總單元13係將上述M個比較結果值予以加總以獲得一比對加總值，具體來說，即是將上述產生的1或0予以加總而產生比對加總值，另外，值得一提的是，加總單元13亦可藉由計算比較結果值為1之數量來獲得比對加總值，亦即假若比較結果值為1之數量有16個，那麼比對加總值即為16。判斷單元14係將比對加總值與異常臨界值進行比較，並在比對加總值大於或等於異常臨界值時，將流量狀況判斷為異常，具體來說，其係將上述所擷取網路封包2之流量標記之流量狀況判斷為異常。而異常臨界值係為上述M個資料元素值乘以二分之一，亦即M/2，更具體來說，本發明第一實施例中，只要比對加總值大於或等於M/2時，流量狀況即判斷為異常。
為了使本發明敘述較為清楚，請一併參閱第一圖及第二圖，第二圖係顯示本發明網路流量異常偵測方法流程圖。如圖所示，第二圖之方法流程係以第一圖之第一實施例之系統架構來執行，因此系統架構在此不再贅述，網路流量異常偵測方法係用以偵測一來源端位址之一網路封包2，藉以判斷網路封包2之一流量狀況是否異常，且網路封包2具有L個位元資料元素值，其中，L個位元資料元素值可為32位元或是64位元等，而網 路流量異常偵測方法如後：
步驟S101：在L個位元資料元素值中，擷取M個資料元素值。
步驟S102：將M個資料元素值分散至N個平行處理單元。
步驟S103：將M個資料元素值與標準閾值進行比較，藉以產生M個比較結果值。
步驟S104：加總M個比較結果值以獲得比對加總值。
步驟S105：比較比對加總值與異常臨界值，據以判定流量狀況。
上述步驟開始後，隨即進行步驟S101在L個位元資料元素值中，擷取M個資料元素值，其中，其係藉由資料元素值擷取單元11來擷取M個資料元素值，更具體來說，在擷取上述M個資料元素值過程中，其係先擷取出網路封包2之流量標記(例如是標頭)，並利用M個雜湊(Hash)函數來計算上述L個位元資料元素值，藉以獲取而得到上述M個資料元素值。而在擷取完資料元素值後，隨即進行步驟S102將M個資料元素值分散至N個平行處理單元，其中，係藉由上述N個平行處理單元12接收並處理上述M個資料元素值(本發明方法之較佳實施例係N=16，但並不限於上述實施例，例如可為16、32等依此類推)。
在執行完上述步驟S102後，隨即進行步驟S103將M個資料元素值與標準閾值進行比較，藉以產生M 個比較結果值，其中，本發明方法之較佳實施例係以比較模組121來執行步驟S103，進而言之，當上述M個資料元素值其中之一者大於等於標準閾值時，上述M個比較結果值中相對應之一者係為1，當上述M個資料元素值其中之一者小於標準閾值時，上述M個比較結果值中相對應之一者係為0，具體來說，每個資料元素值都會跟標準閾值進行比較而產生相對應的結果，只要資料元素值大於或等於標準閾值時，比較模組121會將其比較結果值設定為1，而資料元素值小於標準閾值時，比較模組121會將其比較結果值設定為0。
而在執行完上述步驟S103後，隨即進行步驟S104加總M個比較結果值以獲得比對加總值，其中，本發明方法之較佳實施例係以加總單元13來執行步驟S104，進而言之，步驟S104即是將上述步驟S103所產生之1或0予以加總而產生比對加總值，另外，值得一提的是，加總單元13亦可藉由計算比較結果值為1之數量來獲得比對加總值，亦即假若比較結果值為1之數量有17個，那麼比對加總值即為17。
執行完上述步驟S104後，隨即進行步驟S105比較比對加總值與異常臨界值，據以判定流量狀況，其中，本發明方法之較佳實施例係以判斷單元14執行步驟S105，而比對加總值大於或等於異常臨界值時，將流量狀況判斷為異常，具體來說，其係將上述所擷取網路封包2之流量標記之流量狀況判斷為異常。而異常臨界值係為上述M個資料元素值乘以二分之一，亦即M/2， 更具體來說，本發明第一實施例中，只要比對加總值大於或等於M/2時，流量狀況即判斷為異常，此外，應用於實際狀況中，可以將判斷為異常的流量來源端位址列表出來，藉以使網管人員可進一步查詢該來源端位址之狀況。另外，值得一提的是，上述第一圖及第二圖之異常臨界值可設定為M個資料元素值加上一再乘以二分之一，亦即(M+1)/2，此僅僅係視何種多核心處理晶片而設定。
此外，為了使上述第二圖敘述更為清楚，具體來說，在實際應用於網路偵測系統中，由於來源端位址的流量可能存在大量之網路封包2，也因而在上述狀況中，步驟S101的過程中會擷取出K組網路封包2之流量標記(例如是標頭)，並利用雜湊(Hash)函數來計算上述L個位元資料元素值，藉以獲取而得到M＊ K個資料元素值，另外，上述L個位元資料元素值係鍵值，且上述步驟S103、S104以及S105應用於實際的狀況中，是藉由變異數陣列與標準閾值進行比較而得到一個比較值陣列，具體來說會得到M＊ K個比較結果值而形成比較值陣列，比較值陣列可以表示在變異數陣列中哪些資料值元素值大於標準閾值，若是大於標準閾值的話，比較值陣列的值設定為1，反之為0，接著將比較值陣列的值加總(即步驟S104將比較結果值進行加總)，更具體來說，其係加總每組網路封包2之流量標記之M個比較結果值，若其加總值大於1/2的雜湊函數數量，即判定封包的流量係為異常，而由於此鍵值(即 上述之L個位元資料元素值)的中位數必定大於標準閾值，因此，在本發明所提供之步驟中，不需進行排序以及取出中位數之處理程序，因此系統效能上得以明顯提升。其中，為了使本發明敘述較為清楚，本發明較佳實施例係以K=1為基礎進行說明。
請參閱以下程式碼：
其中，上述係顯示本發明網路流量異常偵測方法應用於實際演算法之示意程式碼，並且係以B.Krishnamurthy等人所提出之「Method and apparatus for sketch-based detection of changes in network traffic」專利文件中，K-ary Sketch流量異常偵測演算法為基底改寫而成。
請參閱第三圖，第三圖係顯示本發明第二實施例之網路流量異常偵測系統示意圖。如第三圖所示，與第一圖不同的是，十六個平行處理單元12(圖中僅繪製二個並僅標示一個)都包含一暫存單元122以及一D型 正反器123。暫存單元122係電性連接於資料元素值擷取單元11，用以暫存M個資料元素值，且暫存單元122係為隨機存取記憶體(Random Access Memory；RAM)。D型正反器123係於暫存單元122以及比較模組121之間，電性連接於暫存單元122以及比較模組121，用以接收並記憶上述M個資料元素值，並且傳送上述M個資料元素值至比較模組121。
另外，值得一提的是，相較於第二圖，第三圖之第二實施例應用於網路流量異常偵測方法上，僅僅是於步驟S102以及S103之間進一步進行暫存上述M個資料元素值以及記憶上述M個資料元素值，其餘步驟皆相同，於此不再贅述。
請參閱第四圖，第四圖係顯示本發明應用於Storm-1川流處理器之比較示意圖。如第四圖所示，B.Krishnamurthy等人在其所發表之專利文件中，使用SUN UltraSparc-III與SGI R12k微處理器實現K-ary Sketch流量異常偵測系統中之預估變異數的運算，其運算時間分別為2.69秒與1.46秒(雜湊函數數量為5、雜湊函數空間大小為64K、輸入資料量10,000,000個來源端IP位址，請參閱美國專利公告號第7751325號圖18)，但在相同條件下，本發明之網路流量異常偵測系統及方法應用於Strom-1川流處理器只需0.99毫秒，由此可明顯了解到效能提升效果是相當顯著的。
請參閱第五圖，第五圖係顯示本發明應用於Storm-1川流處理器執行時間之第一比較示意圖。如第 五圖所示，其比較條件係設定為雜湊函數數量為4，空間(Entry)大小為4K，且係以本發明與B.Krishnamurthy等人在其所發表之專利文件之效能相比較，其中，曲線100即為B.Krishnamurthy等人所提出之系統之核心運算時間，而曲線200係本發明所提出之系統之核心運算時間，而方塊300係為B.Krishnamurthy等人所提出之系統之系統執行時間，方塊400係本發明所提出之系統之系統執行時間。由圖中可明確了解到，依據不同的來源端位址查詢個數的總系統執行時間中，本發明相較於B.Krishnamurthy等人所提出之系統縮短為30%-40%，核心的執行速度則提升了將近10倍。
請參閱第六圖，第六圖係顯示本發明應用於Storm-1川流處理器執行時間之第二比較示意圖。如第六圖所示，B.Krishnamurthy等人在其另外發表之論文(請參閱Balachander Krishnamutrhy,Subhabreta Sen,Yin Zhang,and Yan Chen.Sketch-based change detection：methods,evaluation,and applications.In Proceedings of the 3rd ACM SIGCOMM conference on Internet measurement,pages 234-247,Miami Beach,FL,USA,2003.ACM)中，使用SUN UltraSparc-III與SGI R12k微處理器實現K-ary Sketch流量異常偵測系統並進行系統的模擬，其運算一千萬筆4-Universal雜湊函數下所需的運算時間分別為34毫秒與89毫秒，而在相同條件下，本發明之網路流量異常偵測系統及方法應用於Strom-1川流處理器只需18毫秒，由此可明顯了解到本 發明可提供更短的雜湊函數運算執行時間。
請參閱第七圖，第七圖係顯示本發明應用於Storm-1川流處理器執行雜湊函數之效能示意圖。如第七圖所示，相較於B.Krishnamurthy等人所提出之網路變異偵測系統，為了可更明顯顯示本發明之功效，在此將條件設定為25個雜湊函數的運算上，由第七圖可明顯了解到本發明相較於B.Krishnamurthy等人所提出之網路變異偵測系統效能上降低了至少49%之運算效率。
綜合以上所述，本發明所提供之網路流量異常偵測系統及其方法中，由於藉由判斷加總比較結果值所得之比對加總值是否大於1/2之M個資料元素值，且其中位數必定大於標準閾值，因而不需進行排序以及取出中位數之處理程序，因此在處理效能上會大大提升，進而使多核心處理晶片的處理速度更為快速，且由上述之比較結果可具體了解到，本發明確實能夠大大提升處理效能，因此應用於現有之多核心處理晶片可確實帶來處理速度提升之功效。
藉由上述之本發明實施例可知，本發明確具產業上之利用價值。惟以上之實施例說明，僅為本發明之較佳實施例說明，舉凡所屬技術領域中具有通常知識者當可依據本發明之上述實施例說明而作其它種種之改良及變化。然而這些依據本發明實施例所作的種種改良及變化，當仍屬於本發明之發明精神及界定之專利範圍內。
1‧‧‧網路流量異常偵測系統
11‧‧‧資料元素值擷取單元
12‧‧‧平行處理單元
121‧‧‧比較模組
122‧‧‧暫存單元
123‧‧‧D型正反器
13‧‧‧加總單元
14‧‧‧判斷單元
2‧‧‧封包
100、200‧‧‧曲線
300、400‧‧‧方塊
第一圖係顯示本發明第一實施例之網路流量異常偵測系統示意圖；第二圖係顯示本發明網路流量異常偵測方法流程圖；第三圖係顯示本發明第二實施例之網路流量異常偵測系統示意圖；第四圖係顯示本發明應用於Storm-1川流處理器之比較示意圖；第五圖係顯示本發明應用於Storm-1川流處理器執行時間之第一比較示意圖；第六圖係顯示本發明應用於Storm-1川流處理器執行時間之第二比較示意圖；以及第七圖係顯示本發明應用於Storm-1川流處理器執行雜湊函數之效能示意圖。

Claims (19)

  1. 一種網路流量異常偵測系統，係用以偵測至少一網路封包，藉以判斷該網路封包之一流量狀況是否異常，且該網路封包具有L個位元資料元素值，該網路流量變異偵測系統包含：一資料元素值擷取單元，係在上述L個位元資料元素值中，擷取M個資料元素值，其中，M為大於1之奇數；N個平行處理單元，係用以接收並處理上述M個資料元素值，各平行處理單元包含：一比較模組，係電性連接於該資料元素值擷取單元，設有一標準閾值；一加總單元，係電性連接於上述N個平行處理單元；以及一判斷單元，係電性連接於該加總單元，設有一異常臨界值；其中，上述M個資料元素值係分散至上述N個平行處理單元之該比較模組，與該標準閾值進行比較，藉以產生M個比較結果值；該加總單元係將上述M個比較結果值予以加總以獲得一比對加總值；該判斷單元係將該比對加總值與該異常臨界值進行比較，並在該比對加總值大於等於該異常臨界值時，將該流量狀況判斷為異常。
  2. 如申請專利範圍第1項所述之網路流量異常偵測系統，其中，該異常臨界值係為上述M個資料元素值乘以二分之一。
  3. 如申請專利範圍第1項所述之網路流量異常偵測系統，其中，上述N個平行處理單元更包含一暫存單元，係電性連接於該資料元素值擷取單元，用以暫存上述M個資料元素值。
  4. 如申請專利範圍第3項所述之網路流量異常偵測系統，其中該暫存單元係為隨機存取記憶體(Random Access Memory；RAM)。
  5. 如申請專利範圍第3項所述之網路流量異常偵測系統，其中，上述N個平行處理單元更包含一D型正反器，係於該暫存單元以及該比較模組之間，電性連接於該暫存單元以及該比較模組，用以接收並記憶上述M個資料元素值，並且傳送上述M個資料元素值至該比較模組。
  6. 如申請專利範圍第1項所述之網路流量異常偵測系統，其中，當上述M個資料元素值其中之一者大於等於該標準閾值時，上述M個比較結果值中相對應之一者係為1，當上述M個資料元素值其中之一者小於該標準閾值時，上述M個比較結果值中相對應之一者係為 0。
  7. 如申請專利範圍第1項所述之網路流量異常偵測系統，其中，該比較模組係為運算邏輯單元(Arithmetic Logic Unit；ALU)。
  8. 一種網路流量異常偵測方法，係用以偵測至少一網路封包，藉以判斷該網路封包之一流量狀況是否異常，且該網路封包具有L個位元資料元素值，該網路流量異常偵測方法包含以下步驟：(a)在上述L個位元資料元素值中，擷取M個資料元素值，其中，M為大於1之奇數；(b)將上述M個資料元素值分散至N個平行處理單元；(c)將上述M個資料元素值與一標準閾值進行比較，藉以產生M個比較結果值；(d)將上述M個比較結果值予以加總以獲得一比對加總值；以及(e)比較該比對加總值與一異常臨界值，據以判定該流量狀況；其中，該比對加總值大於等於該異常臨界值時，將該流量狀況判斷為異常。
  9. 如申請專利範圍第8項所述之網路流量異常偵測方法，其中，係藉由一資料元素值擷取單元來擷取M個 資料元素值。
  10. 如申請專利範圍第9項所述之網路流量異常偵測方法，其中，係藉由上述N個平行處理單元接收並處理上述M個資料元素值，且各平行處理單元包含一比較模組。
  11. 如申請專利範圍第10項所述之網路流量異常偵測方法，其中，該比較模組設有該標準閾值，且該比較模組用以執行步驟(c)。
  12. 如申請專利範圍第10項所述之網路流量異常偵測方法，其中，該比較模組係為運算邏輯單元(Arithmetic Logic Unit；ALU)。
  13. 如申請專利範圍第9項所述之網路流量異常偵測方法，其中，上述N個平行處理單元更包含一暫存單元，係電性連接於該資料元素值擷取單元，用以暫存上述M個資料元素值。
  14. 如申請專利範圍第13項所述之網路流量異常偵測方法，其中該暫存單元係為隨機存取記憶體(Random Access Memory；RAM)。
  15. 如申請專利範圍第13項所述之網路流量異常偵測方 法，其中，上述N個平行處理單元更包含一D型正反器，係於該暫存單元以及該比較模組之間，電性連接於該暫存單元以及該比較模組，用以接收並記憶上述M個資料元素值，並且傳送上述M個資料元素值至該比較模組。
  16. 如申請專利範圍第8項所述之網路流量異常偵測方法，其中，係藉由一加總單元執行步驟(d)，且該加總單元電性連接於上述N個平行處理單元。
  17. 如申請專利範圍第16項所述之網路流量異常偵測方法，其中，係藉由一判斷單元執行步驟(e)，且該判斷單元電性連接於該加總單元，並設有該異常臨界值。
  18. 如申請專利範圍第8項所述之網路流量異常偵測方法，其中，該異常臨界值係為上述M個資料元素值乘以二分之一。
  19. 如申請專利範圍第8項所述之網路流量異常偵測方法，其中，當上述M個資料元素值其中之一者大於等於該標準閾值時，上述M個比較結果值中相對應之一者係為1，當上述M個資料元素值其中之一者小於該標準閾值時，上述M個比較結果值中相對應之一者係為0。
TW101119289A 2012-05-30 2012-05-30 網路流量異常偵測系統及其方法 TWI437850B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101119289A TWI437850B (zh) 2012-05-30 2012-05-30 網路流量異常偵測系統及其方法
US13/762,684 US9160639B2 (en) 2012-05-30 2013-02-08 Network flow abnormality detection system and a method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101119289A TWI437850B (zh) 2012-05-30 2012-05-30 網路流量異常偵測系統及其方法

Publications (2)

Publication Number Publication Date
TW201349797A TW201349797A (zh) 2013-12-01
TWI437850B true TWI437850B (zh) 2014-05-11

Family

ID=49671697

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101119289A TWI437850B (zh) 2012-05-30 2012-05-30 網路流量異常偵測系統及其方法

Country Status (2)

Country Link
US (1) US9160639B2 (zh)
TW (1) TWI437850B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI700605B (zh) * 2018-12-28 2020-08-01 新唐科技股份有限公司 安全晶片之時脈頻率攻擊偵測系統
TWI782645B (zh) * 2021-07-29 2022-11-01 中華電信股份有限公司 基於行動網路的評估網路元件之品質劣化的系統和方法
US11863412B2 (en) 2022-03-16 2024-01-02 Chung Yuan Christian University Packet information analysis method and network traffic monitoring device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106506261A (zh) * 2016-10-18 2017-03-15 上海市信息网络有限公司 智能在线监测前端局域网网络流量的方法
CN107483455B (zh) * 2017-08-25 2020-07-14 国家计算机网络与信息安全管理中心 一种基于流的网络节点异常检测方法和系统
US10931544B2 (en) 2018-06-25 2021-02-23 International Business Machines Corporation Client-side service routing mechanism
CN110912767B (zh) * 2019-10-25 2022-03-25 电子科技大学 一种网络流量的单点测量方法
CN112104666B (zh) * 2020-11-04 2021-04-02 广州竞远安全技术股份有限公司 一种基于gpu视频编码接口的异常网络流量高速检测系统及方法
CN113890840A (zh) * 2021-09-29 2022-01-04 深信服科技股份有限公司 流量异常检测方法、装置、电子设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167860B1 (en) * 1999-03-25 2007-01-23 Nortel Networks Limited Fault tolerance for network accounting architecture
US6446200B1 (en) * 1999-03-25 2002-09-03 Nortel Networks Limited Service management
US20030043938A1 (en) * 2001-08-28 2003-03-06 Optix Networks Inc. Apparatus and method for periodic pattern detection
US7751325B2 (en) * 2003-08-14 2010-07-06 At&T Intellectual Property Ii, L.P. Method and apparatus for sketch-based detection of changes in network traffic
CN101976217B (zh) * 2010-10-29 2014-06-04 中兴通讯股份有限公司 网络处理器异常检测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI700605B (zh) * 2018-12-28 2020-08-01 新唐科技股份有限公司 安全晶片之時脈頻率攻擊偵測系統
TWI782645B (zh) * 2021-07-29 2022-11-01 中華電信股份有限公司 基於行動網路的評估網路元件之品質劣化的系統和方法
US11863412B2 (en) 2022-03-16 2024-01-02 Chung Yuan Christian University Packet information analysis method and network traffic monitoring device

Also Published As

Publication number Publication date
US20130326056A1 (en) 2013-12-05
US9160639B2 (en) 2015-10-13
TW201349797A (zh) 2013-12-01

Similar Documents

Publication Publication Date Title
TWI437850B (zh) 網路流量異常偵測系統及其方法
Yu et al. PBCNN: packet bytes-based convolutional neural network for network intrusion detection
Yu et al. Sbotminer: large scale search bot detection
CN108306879B (zh) 基于Web会话流的分布式实时异常定位方法
Zhou et al. Persistent spread measurement for big network data based on register intersection
CN109117634A (zh) 基于网络流量多视图融合的恶意软件检测方法及系统
CN111030941A (zh) 一种基于决策树的https加密流量分类方法
US20120239652A1 (en) Hardware Accelerated Application-Based Pattern Matching for Real Time Classification and Recording of Network Traffic
Huang et al. You Can Drop but You Can't Hide: $ K $-persistent Spread Estimation in High-speed Networks
CN106330611A (zh) 一种基于统计特征分类的匿名协议分类方法
CN105407096A (zh) 基于流管理的报文数据检测方法
Lai et al. Implementing on-line sketch-based change detection on a NetFPGA platform
Bayazit et al. Neural network based Android malware detection with different IP coding methods
Locher Finding heavy distinct hitters in data streams
Haghighat et al. Payload attribution via character dependent multi-bloom filters
Zhou et al. Exploring Netfow data using hadoop
CN116915450A (zh) 基于多步网络攻击识别和场景重构的拓扑剪枝优化方法
CN113746707B (zh) 一种基于分类器及网络结构的加密流量分类方法
Parvat et al. Performance improvement of deep packet inspection for Intrusion Detection
Najam et al. Multi-byte pattern matching using stride-k dfa for high speed deep packet inspection
CN114398633A (zh) 一种蜜罐攻击者的画像分析方法及装置
Mahmood et al. A scalable sampling scheme for clustering in network traffic analysis
CN110689074A (zh) 一种基于模糊集特征熵值计算的特征选择方法
Khattak et al. D3TAC: Utilizing distributed computing for DDoS attack traffic analysis on the cloud
Gu et al. Meta-TFEN: A Multi-Modal Deep Learning Approach for Encrypted Malicious Traffic Detection

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees