TWI783229B - 網路異常流量偵測裝置及網路異常流量偵測方法 - Google Patents

網路異常流量偵測裝置及網路異常流量偵測方法 Download PDF

Info

Publication number
TWI783229B
TWI783229B TW109117089A TW109117089A TWI783229B TW I783229 B TWI783229 B TW I783229B TW 109117089 A TW109117089 A TW 109117089A TW 109117089 A TW109117089 A TW 109117089A TW I783229 B TWI783229 B TW I783229B
Authority
TW
Taiwan
Prior art keywords
feature
packet
network
traffic
abnormal
Prior art date
Application number
TW109117089A
Other languages
English (en)
Other versions
TW202145769A (zh
Inventor
林風
林昕學
葉恩豪
李家朋
鐘嘉德
Original Assignee
國立臺灣大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣大學 filed Critical 國立臺灣大學
Priority to TW109117089A priority Critical patent/TWI783229B/zh
Priority to US17/129,177 priority patent/US11539620B2/en
Publication of TW202145769A publication Critical patent/TW202145769A/zh
Application granted granted Critical
Publication of TWI783229B publication Critical patent/TWI783229B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Paper (AREA)
  • Application Of Or Painting With Fluid Materials (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

一種網路異常流量偵測裝置及網路異常流量偵測方法。所述方法由所述裝置執行的步驟包括：擷取待監測網路與外部網路之間傳輸的複數個訓練資料；對訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量；以非監督式學習方法來建構一流量識別模型；將訓練特徵向量輸入至流量識別模型以訓練流量識別模型；擷取待監測網路與外部網路之間傳輸的複數個測試資料；對測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量；將測試特徵向量輸入至流量識別模型以識別測試資料的封包標頭屬於正常或異常；以及根據流量識別模型的識別結果判斷待監測網路的流量是否異常。

Description

網路異常流量偵測裝置及網路異常流量偵測方法
本發明涉及網際網路技術領域，尤其涉及一種網路異常流量偵測裝置及網路異常流量偵測方法。
隨著將大量數據傳送到行動通訊裝置以及從行動通訊裝置傳送大量數據的需求的快速增長，傳統的行動語音通訊網路演變成與互聯網協議（Internet Protocol，IP）數據封包通訊的網路。此類IP數據封包通訊可以為行動通訊裝置的用戶提供IP承載語音、多媒體、多播和點播通訊服務。穩定的網路流量將使上述服務更加便利，然而偵測網路異常的技術所需要的資料量相當龐大。舉例來說，有些需要看到封包負載（packet payload），其可能有隱私的問題，有些則須要看到封包負載的技術稱為DPI，其檢查封包裡的內容，尋找特定的字串或是樣式字串（pattern string），亦有隱私的問題，更會遇到加密的封包使無法運作。另一種技術使用基於封包特徵（flow-based feature），這個技術須要蒐集大量封包，來計算封包之間的統計特性，其缺點為除了計算這些統計特性所需的複雜度較高以外，偵測時間也會被拖累，因為必須等到串流結束之後使得開始運算整個串流的統計特性。
有鑑於此，如何提供一種異常流量偵測機制，其能有效地偵測出異常流量，係為業界及學術界亟需解決的一技術問題。
本發明的目的在於提供一種網路異常流量偵測裝置及網路異常流量偵測方法，利用網路流量中的封包IP標頭資訊來訓練機器學習，以判斷特定的網路流量是否遵循其正常的行為特徵，也就是封包特徵。若特定網路流量的封包特徵不符合正常的行為特徵，則該網路流量會被識別為異常流量。
為了達到上述的目的，本發明一實施例提供一種網路異常流量偵測裝置，包含：一網路介面；一儲存器；以及一處理器，電性連接該網路介面及該儲存器，並執行以下步驟：透過該網路介面擷取第一時間內一待監測網路與一外部網路之間傳輸的複數個訓練資料；對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量並儲存於該儲存器；以非監督式學習方法來建構一流量識別模型並儲存於該儲存器；將該些訓練特徵向量輸入至該流量識別模型以訓練該流量識別模型；透過該網路介面擷取第二時間內該待監測網路與該外部網路之間傳輸的複數個測試資料；對該些測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量並儲存於該儲存器；將該些測試特徵向量輸入至該流量識別模型以識別該些測試資料的該些封包標頭屬於正常或異常；以及根據該流量識別模型的識別結果計算出一異常指數以判斷該待監測網路的流量是否異常。
較佳地，對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量的步驟包括：從該些封包標頭中選擇複數個特徵類型，該些特徵類型包括數值特徵以及非數值特徵；填充該些特徵類型中特徵值為空的欄位；標準化該些特徵類型中的數值特徵以得到一第一子特徵；將該些特徵類型中的非數值特徵轉換為二元值特徵以得到一第二子特徵；以及根據該第一子特徵、該第二子特徵得到該訓練特徵向量。
較佳地，其中該些特徵類型包括數值特徵以及非數值特徵，數值特徵包括封包大小、TCP滑動窗口大小、TCP封包標頭長度、TCP封包資料區段長度、TCP封包緊急資料指標、UDP封包長度、IP封包標頭長度和IP封包生存期，非數值特徵包括TCP封包旗標、IP封包服務類型（TOS）和IP封包旗標。
較佳地，其中對該些測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量的步驟包括：從該些封包標頭中選擇複數個特徵類型，該些特徵類型包括數值特徵以及非數值特徵；填充該些特徵類型中特徵值為空的欄位；標準化該些特徵類型中的數值特徵以得到一第三子特徵；將該些特徵類型中的非數值特徵轉換為二元值特徵以得到一第四子特徵；以及根據該第三子特徵、該第四子特徵得到該測試特徵向量。
較佳地，其中該些特徵類型包括數值特徵以及非數值特徵，數值特徵類型包括封包大小、TCP滑動窗口大小、TCP封包標頭長度、TCP封包資料區段長度、TCP封包緊急資料指標、UDP封包長度、IP封包標頭長度和IP封包生存期，非數值特徵類型包括TCP封包旗標、IP封包服務類型（TOS）和IP封包旗標。
較佳地，其中根據該流量識別模型的識別結果計算出該異常指數以判斷該待監測網路的流量是否異常的步驟包括：當該異常指數大於一異常閾值時，則判斷該待監測網路的流量為異常。
較佳地，其中以非監督式學習方法來建構該流量識別模型的步驟包括：以單類支援向量機（One-class SVM，OC-SVM）或隔離林（Isolation Forest，IF）演算法建構該流量識別模型。
為了達到上述的目的，本發明另一實施例提供一種網路異常流量偵測方法，由一網路異常流量偵測裝置所執行，該網路異常流量偵測裝置包括一網路介面、一儲存器以及一處理器，該處理器電性連接該網路介面及該儲存器，該網路異常流量偵測方法由該處理器執行以下步驟：透過該網路介面擷取第一時間內一待監測網路與一外部網路之間傳輸的複數個訓練資料；對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量並儲存於該儲存器；以非監督式學習方法來建構一流量識別模型並儲存於該儲存器；將該些訓練特徵向量輸入至該流量識別模型以訓練該流量識別模型；透過該網路介面擷取第二時間內該待監測網路與該外部網路之間傳輸的複數個測試資料；對該些測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量並儲存於該儲存器；將該些測試特徵向量輸入至該流量識別模型以識別該些測試資料的該些封包標頭屬於正常或異常；以及根據該流量識別模型的識別結果計算出一異常指數以判斷該待監測網路的流量是否異常。
較佳地，其中對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量的步驟包括：從該些封包標頭中選擇複數個特徵類型，該些特徵類型包括數值特徵以及非數值特徵；填充該些特徵類型中特徵值為空的欄位；標準化該些特徵類型中的數值特徵以得到一第一子特徵；將該些特徵類型中的非數值特徵轉換為二元值特徵以得到一第二子特徵；以及根據該第一子特徵、該第二子特徵得到該訓練特徵向量。
較佳地，其中該些特徵類型包括數值特徵以及非數值特徵，數值特徵類型包括封包大小、TCP滑動窗口大小、TCP封包標頭長度、TCP封包資料區段長度、TCP封包緊急資料指標、UDP封包長度、IP封包標頭長度和IP封包生存期，非數值特徵類型包括TCP封包旗標、IP封包服務類型（TOS）和IP封包旗標。
較佳地，其中對該些測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量的步驟包括：從該些封包標頭中選擇複數個特徵類型，該些特徵類型包括數值特徵以及非數值特徵；填充該些特徵類型中特徵值為空的欄位；標準化該些特徵類型中的數值特徵以得到一第三子特徵；將該些特徵類型中的非數值特徵轉換為二元值特徵以得到一第四子特徵；以及根據該第三子特徵、該第四子特徵得到該測試特徵向量。
較佳地，其中該些特徵類型包括數值特徵以及非數值特徵，數值特徵類型包括封包大小、TCP滑動窗口大小、TCP封包標頭長度、TCP封包資料區段長度、TCP封包緊急資料指標、UDP封包長度、IP封包標頭長度和IP封包生存期，非數值特徵類型包括TCP封包旗標、IP封包服務類型（TOS）和IP封包旗標。
較佳地，其中根據該流量識別模型的識別結果計算出該異常指數以判斷該待監測網路的流量是否異常的步驟包括：當該異常指數大於一異常閾值時，則判斷該待監測網路的流量為異常。
較佳地，其中以非監督式學習方法來建構該流量識別模型的步驟包括：以單類支援向量機（One-class SVM，OC-SVM）或隔離林（Isolation Forest，IF）演算法建構該流量識別模型。
本領域普通技術人員將瞭解，雖然下面的詳細說明將參考圖示實施例、圖式進行，但本發明並不僅限於這些實施例。而是，本發明的範圍是廣泛的，且意在僅透過申請專利範圍限定本發明的範圍。
以下將透過實施例來解釋本發明內容，本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此，關於實施例之說明僅為闡釋本發明之目的，而非用以限制本發明。需說明者，以下實施例及圖式中，與本發明非直接相關之元件已省略 而未繪示，且圖式中各元件間之尺寸關係僅為求容易瞭解，並非用以限制實際比例。
請參閱圖1，圖1為繪示本發明一實施例的網路異常流量偵測系統1的示意圖。網路異常流量偵測系統1包括一網路異常流量偵測裝置10、一路由器RT、一待監測網路LAN以及一外部網路WAN。網路異常流量偵測裝置10可設置於一電腦設備，所述電腦設備包括用戶設備與網路設備。其中，所述用戶設備包括但不限於電腦、智慧手機、PDA等；所述網路設備包括但不限於單個網路伺服器、多個網路伺服器組成的伺服器組。其中，所述電腦設備可單獨運行來實現本發明，也可透過路由器RT與其他網路（待監測網路LAN、外部網路WAN）中的其他電腦設備的交互操作來實現本發明。其中，所述電腦設備所處的網路包括但不限於網際網路、廣域網路、都會區網路、局域網、VPN網路等。
根據一實施例，網路異常流量偵測裝置10可透過路由器RT擷取待測網路LAN與外部網路WAN之間傳輸的封包資料，並建構流量識別模型以對該封包資料進行分析，從而判斷待測網路LAN的網路流量是否存在異常。
根據另一個實施例，網路異常流量偵測裝置10亦可整合至路由器RT中或設置於待測網路LAN中。以下將描述網路異常流量偵測裝置10所執行的網路異常流量偵測方法。
搭配圖1，參閱圖1至圖5，圖2為繪示本發明一實施例的網路異常流量偵測裝置10的示意圖，圖3為繪示本發明一實施例的網路異常流量偵測方法的流程圖，圖4為繪示本發明一實施例的訓練資料的資料前處理方法的流程圖。圖5為繪示本發明一實施例的測試資料的資料前處理方法的流程圖。
網路異常流量偵測裝置10包括一處理器101、一網路介面103、一儲存器105，其中處理器101與網路介面103、儲存器105電性連接。網路異常流量偵測裝置10偵測待測網路LAN的網路流量是否存在異常的步驟大致可分為訓練階段與測試階段，其中訓練階段包括以下步驟：
首先，在訓練階段中，處理器101透過網路介面103擷取第一時間內待監測網路LAN與外部網路WAN之間傳輸的複數個訓練資料（S301），該些訓練資料為封包資料。處理器101對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量並儲存於儲存器105（S303）。處理器101對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量的步驟包括：
處理器101從該些封包標頭中選擇複數個特徵類型，該些特徵類型包括數值特徵以及非數值特徵（S401）。封包標頭會以向量的形式表示，
Figure 02_image001
代表第i筆資料中第j個特徵類型，i=1, 2, ..., M（M為蒐集到的訓練資料中，資料的總封包數），j=1, 2, ..., N（N為訓練用的特徵數量）。本實施例所選的數值特徵包括：封包大小、TCP滑動窗口大小、TCP封包標頭長度、TCP封包資料區段長度、TCP封包緊急資料指標、UDP封包長度、IP封包標頭長度和IP封包生存期（
Figure 02_image003
，
Figure 02_image005
，
Figure 02_image007
，
Figure 02_image009
，
Figure 02_image011
，
Figure 02_image013
，
Figure 02_image015
，
Figure 02_image017
），但不以此為限。本實施例所選的非數值特徵包括：TCP封包旗標、IP封包服務類型（TOS）和IP封包旗標（
Figure 02_image019
，
Figure 02_image021
，
Figure 02_image023
），但不以此為限。
當使用TCP協定傳送資料（訓練資料、測試資料）的封包時，資料中特徵ri,11 的值為空（如：UDP封包大小）。如若使用UDP協定傳送資料（訓練資料、測試資料）的封包時，資料中特徵
Figure 02_image005
，
Figure 02_image019
，
Figure 02_image007
，
Figure 02_image009
，
Figure 02_image011
的值為空，（如：TCP滑動窗口大小、TCP封包旗標、TCP封包標頭長度、TCP封包資料區段的長度、TCP封包中的緊急資料指標）。爲了避免訓練資料存在過多的缺失值，處理器101填充該些特徵類型中特徵值為空的欄位（S403），例如值為空的欄位以"-1"填充。
針對訓練資料中的數值特徵類型的封包標頭，處理器101按以下的公式進行縮放特徵值。處理器101標準化該些特徵類型中的數值特徵以得到一第一子特徵（S405），舉例來說，使用sklearn函式庫中的StandardScaler()函式對訓練資料做標準化。處理過後的訓練資料作為第一子特徵
Figure 02_image025
，
Figure 02_image025
將會呈現以標準差為1，均值為0的分佈，
Figure 02_image025
為ri,j 標準化後的結果。第一子特徵
Figure 02_image025
將趨近於標準常態分佈。例如
Figure 02_image027
。
針對訓練資料中的非數值特徵類型的封包標頭，處理器101將該些特徵類型中的非數值特徵轉換為二元值特徵以得到一第二子特徵（S407）。舉例來說，處理器101所選的非數值特徵類型的封包標頭的特徵值以十六進制被wireshark讀出，因此處理器101先將n個位元的非數值特徵從十六進制轉換成二進制，再轉成n個1bit的子特徵，使其以子特徵的形式表示。舉例來說，某筆訓練資料的6個位元的TCP封包旗標
Figure 02_image019
，其特徵值為0x18，
Figure 02_image019
會轉換成向量[0,1,1,0,0,0]，以列表示。故
Figure 02_image019
的特徵值被轉換為TCP封包旗標子特徵[
Figure 02_image029
，
Figure 02_image031
，
Figure 02_image033
，
Figure 02_image035
，
Figure 02_image037
，
Figure 02_image039
]的形式。同理，某筆訓練資料的8個位元的IP封包服務類型
Figure 02_image021
會轉換成IP封包服務類型子特徵[
Figure 02_image041
，
Figure 02_image043
，
Figure 02_image045
，
Figure 02_image047
，
Figure 02_image049
，
Figure 02_image051
，
Figure 02_image053
，
Figure 02_image055
]的形式。某筆訓練資料的3個位元的IP封包旗標
Figure 02_image023
會轉換成IP封包旗標子特徵[
Figure 02_image057
，
Figure 02_image059
，
Figure 02_image061
]的形式。TCP封包旗標子特徵、IP封包服務類型子特徵和IP封包旗標子特徵構成第二子特徵
Figure 02_image063
。
接著，根據S405所得到的第一子特徵
Figure 02_image025
與S407所得到的第二子特徵
Figure 02_image063
構成訓練特徵向量
Figure 02_image065
,
Figure 02_image067
，
Figure 02_image069
為蒐集到的第i筆訓練資料的第j個特徵。（S409）
接著，處理器101以非監督式學習方法來建構流量識別模型（S305）。舉例來說，以單類支援向量機（One-class SVM，OC-SVM）或隔離林（Isolation Forest，IF）演算法建構該流量識別模型，然不以此為限。
然後，處理器101將S303所得到的訓練特徵向量
Figure 02_image071
輸入至該流量識別模型以訓練該流量識別模型（S307）。以上完成訓練階段S301～S307。
接著，針對待監測網路LAN的流量異常監測，處理器101進入測試階段。在測試階段中，處理器101透過網路介面103擷取第二時間內待監測網路LAN與外部網路WAN之間傳輸的複數個測試資料（S309），該些測試資料為封包資料。處理器101對該些測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量並儲存於儲存器105（S311）。步驟S311大致上與S303相同，關於測試資料的資料前處理步驟S501～S509亦大致上與步驟S401～S409相同，可由將測試資料中的數值特徵標準化得到第三子特徵（S505），將測試資料中的非數值特徵轉換為二元值特徵以得到第四子特徵（S507），並根據第三子特徵、第四子特徵得到測試特徵向量（S509）。
然後，處理器101將該些測試特徵向量從儲存器105輸入至該流量識別模型以識別該些測試資料的該些封包標頭屬於正常或異常（S313）。具體來說，流量識別模型輸出的值屬於
Figure 02_image073
來判斷這些測試資料的封包屬於正常或異常，其中0代表正常，1代表異常。
最後，處理器101根據流量識別模型的識別結果計算出該異常指數以判斷該待監測網路的流量是否異常（S315）。具體來說，參閱圖6，在一個偵測期間T的K個測試資料的封包P1、P2、…、PK中，有A個封包被流量識別模型判斷為異常，則異常指數為A/K。當異常指數大於一異常閾值S時，則判斷該待監測網路的流量為異常。其中異常閾值S可介於0.1～0.9之間，然不以此為限。
綜上所述，本發明所揭露的網路異常流量偵測裝置及其網路異常流量偵測方法可只偵測時間區間內的前K個封包，即可根據封包是否異常的節果判斷網路流量是否異常，因此負載少、複雜度低，且不需要等到整個串流結束，因此速度較快，即可以最短的時間透過電子郵件或簡訊通知網路管理相關人員。
1:網路異常流量偵測系統 RT:路由器 LAN:待監測網路 WAN:外部網路 10:網路異常流量偵測裝置 101:處理器 103:網路介面 105:儲存器 S301～S305:網路異常流量偵測方法流程步驟 S401~S409:訓練資料的資料前處理方法流程步驟 S501～S509:測試資料的資料前處理方法流程步驟 T:偵測期間 P1、P2…PK:封包
透過閱讀參照以下圖式所作的對非限制性實施例所作的詳細描述，本發明的其它特徵、目的和優點將會變得更明顯： [圖1]繪示本發明一實施例的網路異常流量偵測系統的示意圖。 [圖2]繪示本發明一實施例的網路異常流量偵測裝置的示意圖。 [圖3]繪示本發明一實施例的網路異常流量偵測方法的流程圖。 [圖4]繪示本發明一實施例的訓練資料的資料前處理方法的流程圖。 [圖5]繪示本發明一實施例的測試資料的資料前處理方法的流程圖。 [圖6]繪示本發明一實施例的測試資料的示意圖。
無
S301~S315:網路異常流量偵測方法的流程步驟

Claims (14)

  1. 一種網路異常流量偵測裝置，包含： 一網路介面； 一儲存器；以及 一處理器，電性連接該網路介面及該儲存器，並執行以下步驟： 透過該網路介面擷取第一時間內一待監測網路與一外部網路之間傳輸的複數個訓練資料； 對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量並儲存於該儲存器； 以非監督式學習方法來建構一流量識別模型並儲存於該儲存器； 將該些訓練特徵向量輸入至該流量識別模型以訓練該流量識別模型； 透過該網路介面擷取第二時間內該待監測網路與該外部網路之間傳輸的複數個測試資料； 對該些測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量並儲存於該儲存器； 將該些測試特徵向量輸入至該流量識別模型以識別該些測試資料的該些封包標頭屬於正常或異常；以及 根據該流量識別模型的識別結果計算出一異常指數以判斷該待監測網路的流量是否異常。
  2. 如請求項1所述的網路異常流量偵測裝置，其中對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量的步驟包括： 從該些封包標頭中選擇複數個特徵類型，該些特徵類型包括數值特徵以及非數值特徵； 填充該些特徵類型中特徵值為空的欄位； 標準化該些特徵類型中的數值特徵以得到一第一子特徵； 將該些特徵類型中的非數值特徵轉換為二元值特徵以得到一第二子特徵；以及 根據該第一子特徵、該第二子特徵得到該訓練特徵向量。
  3. 如請求項1所述的網路異常流量偵測裝置，其中該些特徵類型包括數值特徵以及非數值特徵，數值特徵包括封包大小、TCP滑動窗口大小、TCP封包標頭長度、TCP封包資料區段長度、TCP封包緊急資料指標、UDP封包長度、IP封包標頭長度和IP封包生存期，非數值特徵包括TCP封包旗標、IP封包服務類型（TOS）和IP封包旗標。
  4. 如請求項1所述的網路異常流量偵測裝置，其中對該些測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量的步驟包括： 從該些封包標頭中選擇複數個特徵類型，該些特徵類型包括數值特徵以及非數值特徵； 填充該些特徵類型中特徵值為空的欄位； 標準化該些特徵類型中的數值特徵以得到一第三子特徵； 將該些特徵類型中的非數值特徵轉換為二元值特徵以得到一第四子特徵；以及 根據該第三子特徵、該第四子特徵得到該測試特徵向量。
  5. 如請求項1所述的網路異常流量偵測裝置，其中該些特徵類型包括數值特徵以及非數值特徵，數值特徵類型包括封包大小、TCP滑動窗口大小、TCP封包標頭長度、TCP封包資料區段長度、TCP封包緊急資料指標、UDP封包長度、IP封包標頭長度和IP封包生存期，非數值特徵類型包括TCP封包旗標、IP封包服務類型（TOS）和IP封包旗標。
  6. 如請求項1所述的網路異常流量偵測裝置，其中根據該流量識別模型的識別結果計算出該異常指數以判斷該待監測網路的流量是否異常的步驟包括：當該異常指數大於一異常閾值時，則判斷該待監測網路的流量為異常。
  7. 如請求項1所述的網路異常流量偵測裝置，其中以非監督式學習方法來建構該流量識別模型的步驟包括：以單類支援向量機（One-class SVM，OC-SVM）或隔離林（Isolation Forest，IF）演算法建構該流量識別模型。
  8. 一種網路異常流量偵測方法，由一網路異常流量偵測裝置所執行，該網路異常流量偵測裝置包括一網路介面、一儲存器以及一處理器，該處理器電性連接該網路介面及該儲存器，該網路異常流量偵測方法由該處理器執行以下步驟： 透過該網路介面擷取第一時間內一待監測網路與一外部網路之間傳輸的複數個訓練資料； 對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量並儲存於該儲存器； 以非監督式學習方法來建構一流量識別模型並儲存於該儲存器； 將該些訓練特徵向量輸入至該流量識別模型以訓練該流量識別模型； 透過該網路介面擷取第二時間內該待監測網路與該外部網路之間傳輸的複數個測試資料； 對該些測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量並儲存於該儲存器； 將該些測試特徵向量輸入至該流量識別模型以識別該些測試資料的該些封包標頭屬於正常或異常；以及 根據該流量識別模型的識別結果計算出一異常指數以判斷該待監測網路的流量是否異常。
  9. 如請求項8所述的網路異常流量偵測方法，其中對該些訓練資料的複數個封包標頭進行資料前處理以得到複數個訓練特徵向量的步驟包括： 從該些封包標頭中選擇複數個特徵類型，該些特徵類型包括數值特徵以及非數值特徵； 填充該些特徵類型中特徵值為空的欄位； 標準化該些特徵類型中的數值特徵以得到一第一子特徵； 將該些特徵類型中的非數值特徵轉換為二元值特徵以得到一第二子特徵；以及 根據該第一子特徵、該第二子特徵得到該訓練特徵向量。
  10. 如請求項8所述的網路異常流量偵測方法，其中該些特徵類型包括數值特徵以及非數值特徵，數值特徵類型包括封包大小、TCP滑動窗口大小、TCP封包標頭長度、TCP封包資料區段長度、TCP封包緊急資料指標、UDP封包長度、IP封包標頭長度和IP封包生存期，非數值特徵類型包括TCP封包旗標、IP封包服務類型（TOS）和IP封包旗標。
  11. 如請求項8所述的網路異常流量偵測方法，其中對該些測試資料的複數個封包標頭進行資料前處理以得到複數個測試特徵向量的步驟包括： 從該些封包標頭中選擇複數個特徵類型，該些特徵類型包括數值特徵以及非數值特徵； 填充該些特徵類型中特徵值為空的欄位； 標準化該些特徵類型中的數值特徵以得到一第三子特徵； 將該些特徵類型中的非數值特徵轉換為二元值特徵以得到一第四子特徵；以及 根據該第三子特徵、該第四子特徵得到該測試特徵向量。
  12. 如請求項8所述的網路異常流量偵測方法，其中該些特徵類型包括數值特徵以及非數值特徵，數值特徵類型包括封包大小、TCP滑動窗口大小、TCP封包標頭長度、TCP封包資料區段長度、TCP封包緊急資料指標、UDP封包長度、IP封包標頭長度和IP封包生存期，非數值特徵類型包括TCP封包旗標、IP封包服務類型（TOS）和IP封包旗標。
  13. 如請求項8所述的網路異常流量偵測方法，其中根據該流量識別模型的識別結果計算出該異常指數以判斷該待監測網路的流量是否異常的步驟包括：當該異常指數大於一異常閾值時，則判斷該待監測網路的流量為異常。
  14. 如請求項8所述的網路異常流量偵測方法，其中以非監督式學習方法來建構該流量識別模型的步驟包括：以單類支援向量機（One-class SVM，OC-SVM）或隔離林（Isolation Forest，IF）演算法建構該流量識別模型。
TW109117089A 2020-05-22 2020-05-22 網路異常流量偵測裝置及網路異常流量偵測方法 TWI783229B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109117089A TWI783229B (zh) 2020-05-22 2020-05-22 網路異常流量偵測裝置及網路異常流量偵測方法
US17/129,177 US11539620B2 (en) 2020-05-22 2020-12-21 Anomaly flow detection device and anomaly flow detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109117089A TWI783229B (zh) 2020-05-22 2020-05-22 網路異常流量偵測裝置及網路異常流量偵測方法

Publications (2)

Publication Number Publication Date
TW202145769A TW202145769A (zh) 2021-12-01
TWI783229B true TWI783229B (zh) 2022-11-11

Family

ID=78608627

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109117089A TWI783229B (zh) 2020-05-22 2020-05-22 網路異常流量偵測裝置及網路異常流量偵測方法

Country Status (2)

Country Link
US (1) US11539620B2 (zh)
TW (1) TWI783229B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567511B (zh) * 2022-04-18 2022-08-19 杭州海康威视数字技术股份有限公司 一种基于宽度学习的轻量级恶意流量检测方法及装置
CN114884715A (zh) * 2022-04-27 2022-08-09 深信服科技股份有限公司 一种流量检测方法、检测模型训练方法、装置及相关设备
CN115175191A (zh) * 2022-06-28 2022-10-11 南京邮电大学 一种基于elm和深度森林的混合模型异常流量检测系统及方法
CN115348097A (zh) * 2022-08-18 2022-11-15 北京天融信网络安全技术有限公司 一种异常资产的获取方法、装置、电子设备和存储介质
US11831525B1 (en) * 2023-03-28 2023-11-28 Sap Se Anomaly detection using unsupervised learning and surrogate data sets

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011139687A1 (en) * 2010-04-26 2011-11-10 The Trustees Of The Stevens Institute Of Technology Systems and methods for automatically detecting deception in human communications expressed in digital form
US20130269033A1 (en) * 2010-09-03 2013-10-10 Telefonica S.A. Method and system for classifying traffic
TW202017337A (zh) * 2018-10-29 2020-05-01 財團法人電信技術中心 骨幹網路異常流量偵測方法和系統

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105703963B (zh) * 2014-11-26 2017-04-05 中国科学院沈阳自动化研究所 基于pso‑ocsvm的工业控制系统通信行为异常检测方法
US10805338B2 (en) * 2016-10-06 2020-10-13 Cisco Technology, Inc. Analyzing encrypted traffic behavior using contextual traffic data
CN107733921A (zh) 2017-11-14 2018-02-23 深圳中兴网信科技有限公司 网络流量异常检测方法、装置、计算机设备和存储介质
US11025486B2 (en) * 2018-10-19 2021-06-01 Cisco Technology, Inc. Cascade-based classification of network devices using multi-scale bags of network words
TWI674777B (zh) 2018-11-09 2019-10-11 財團法人資訊工業策進會 異常流量偵測裝置及其異常流量偵測方法
US11100364B2 (en) * 2018-11-19 2021-08-24 Cisco Technology, Inc. Active learning for interactive labeling of new device types based on limited feedback
US10893004B2 (en) * 2018-11-20 2021-01-12 Amazon Technologies, Inc. Configurable detection of network traffic anomalies at scalable virtual traffic hubs
US11115289B1 (en) * 2019-05-30 2021-09-07 Cable Television Laboratories, Inc. Systems and methods for network security model

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011139687A1 (en) * 2010-04-26 2011-11-10 The Trustees Of The Stevens Institute Of Technology Systems and methods for automatically detecting deception in human communications expressed in digital form
US20130269033A1 (en) * 2010-09-03 2013-10-10 Telefonica S.A. Method and system for classifying traffic
TW202017337A (zh) * 2018-10-29 2020-05-01 財團法人電信技術中心 骨幹網路異常流量偵測方法和系統

Also Published As

Publication number Publication date
US11539620B2 (en) 2022-12-27
TW202145769A (zh) 2021-12-01
US20210367885A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
TWI783229B (zh) 網路異常流量偵測裝置及網路異常流量偵測方法
WO2022227388A1 (zh) 日志异常检测模型训练方法、装置及设备
CN111191767B (zh) 一种基于向量化的恶意流量攻击类型的判断方法
Song et al. Encrypted traffic classification based on text convolution neural networks
CN107786388B (zh) 一种基于大规模网络流数据的异常检测系统
He et al. Deep‐Feature‐Based Autoencoder Network for Few‐Shot Malicious Traffic Detection
Chandolikar et al. Efficient algorithm for intrusion attack classification by analyzing KDD Cup 99
CN109299160B (zh) 一种基于监控大数据挖掘的电力cps安全性分析方法
CN111866024A (zh) 一种网络加密流量识别方法及装置
Thom et al. Smart recon: Network traffic fingerprinting for iot device identification
CN115600128A (zh) 一种半监督加密流量分类方法、装置及存储介质
CN110222513A (zh) 一种线上活动的异常监测方法、装置及存储介质
CN117221087A (zh) 告警根因定位方法、装置及介质
CN116599720A (zh) 一种基于GraphSAGE的恶意DoH流量检测方法、系统
CN116167370A (zh) 基于日志时空特征分析的分布式系统异常检测方法
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
Xu et al. HTtext: A TextCNN-based pre-silicon detection for hardware Trojans
Das et al. The devil is in the details: Confident & explainable anomaly detector for software-defined networks
CN113992419A (zh) 一种用户异常行为检测和处理系统及其方法
WO2024088025A1 (zh) 一种基于多维数据的5gc网元自动化纳管方法及装置
JP6078485B2 (ja) 運用履歴分析装置及び方法及びプログラム
CN116828087B (zh) 基于区块链连接的信息安全系统
CN117792708A (zh) 一种探测网络空间资产的方法、装置及电子设备
JP6858798B2 (ja) 特徴量生成装置、特徴量生成方法及びプログラム
CN116599743A (zh) 4a异常绕行检测方法、装置、电子设备及存储介质