TWI672925B - 網路異常事件分析裝置、方法及其電腦程式產品 - Google Patents

網路異常事件分析裝置、方法及其電腦程式產品 Download PDF

Info

Publication number
TWI672925B
TWI672925B TW107100664A TW107100664A TWI672925B TW I672925 B TWI672925 B TW I672925B TW 107100664 A TW107100664 A TW 107100664A TW 107100664 A TW107100664 A TW 107100664A TW I672925 B TWI672925 B TW I672925B
Authority
TW
Taiwan
Prior art keywords
data
network
principal component
abnormal
model
Prior art date
Application number
TW107100664A
Other languages
English (en)
Other versions
TW201926949A (zh
Inventor
何智祥
陳立勝
鍾偉和
郭斯彥
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Publication of TW201926949A publication Critical patent/TW201926949A/zh
Application granted granted Critical
Publication of TWI672925B publication Critical patent/TWI672925B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一種網路異常事件分析裝置、方法及其電腦程式產品。該網路異常事件分析裝置儲存複數筆網路狀態資料，並將各該網路狀態資料降維為一主成分資料，選取該主成分資料之一第一子集及一第二子集分別作為複數筆訓練資料及複數筆測試資料，將該等訓練資料分類為複數筆正常資料及複數筆異常資料以得一分類模型，將該等異常資料分群以得一分群模型，以該等測試資料測試該分類模型及該分群模型以得一準確率，於判斷該準確率未達到一門檻值後選取該等主成分資料之一第三子集作為複數筆確認資料，並以該等確認資料更新該分類模型及該分群模型。

Description

網路異常事件分析裝置、方法及其電腦程式產品
本發明係關於一種網路異常事件分析裝置、方法及其電腦程式產品。更具體而言，本發明係關於一種與機器學習相關之網路異常事件分析裝置、方法及其電腦程式產品。
由於科技的快速發展，目前已有眾多由不同通訊技術所建構出的網路。許多因素會使一網路運作異常，例如：基地台間的干擾、媒體存取控制(Media Access Control；MAC)層的錯誤、實體層的錯誤等等。
雖然已有一些先前技術利用機器學習模型來偵測網路的異常狀態，但這些先前技術都有些不足。舉例而言，某些先前技術是由通訊公司中的專業人士依其經驗判斷出一個網路環境中的哪些網路參數較為重要，再以那些網路參數訓練用來偵測網路異常狀態的機器學習模型。然而，不同網路環境會受不同因素影響，專業人士對於某一網路環境所做出的判斷結果往往不適用於另一網路環境。另外，某些先前技術則僅針對網路環境中的某一或某些應用程式進行分析，而非針對整個網路環境，導致訓練出的模型不適用於執行其他應用程式的網路環境。
有鑑於此，本領域仍需一種能客觀地選取網路環境中較為重 要之網路參數來偵測及分析網路異常事件之技術。
本發明之一目的在於提供一種網路異常事件分析裝置。該網路異常事件分析裝置包含一儲存器及一處理器，其中該處理器電性連接至該儲存器。該儲存器儲存複數筆網路狀態資料，其中各該網路狀態資料包含複數個網路特徵值。該處理器藉由以一降維演算法分析該等網路狀態資料所包含之該等網路特徵值而將各該網路狀態資料降維為一主成分資料，選取該等主成分資料之一第一子集作為複數筆訓練資料，藉由以一分類演算法將該等訓練資料分類為複數筆第一正常資料及複數筆第一異常資料以得一分類模型，藉由以一分群演算法將該等第一異常資料分群為複數個第一異常群組以得一分群模型，選取該等主成分資料之一第二子集作為複數筆測試資料，以該等測試資料測試該分類模型及該分群模型以得一準確率，判斷該準確率未達到一門檻值，於判斷該準確率未達到該門檻值後選取該等主成分資料之一第三子集作為複數筆確認資料，藉由以該分類演算法將該等確認資料分類為複數筆第二正常資料及複數筆第二異常資料以更新該分類模型，藉由以該分群演算法將該等第二異常資料分群為複數個第二異常群組以更新該分群模型，以及輸出更新後之該分類模型及更新後之該分群模型。
本發明之另一目的在於提供一種網路異常事件分析方法，其係適用於一電子計算裝置。該電子計算裝置儲存複數筆網路狀態資料，其中各該網路狀態資料包含複數個網路特徵值。該網路異常事件分析方法包含下列步驟：(a)藉由以一降維演算法分析該等網路狀態資料所包含之該等網 路特徵值而將各該網路狀態資料降維為一主成分資料，(b)選取該等主成分資料之一第一子集作為複數筆訓練資料，(c)藉由以一分類演算法將該等訓練資料分類為複數筆第一正常資料及複數筆第一異常資料以得一分類模型，(d)藉由以一分群演算法將該等第一異常資料分群為複數個第一異常群組以得一分群模型，(e)選取該等主成分資料之一第二子集作為複數筆測試資料，(f)以該等測試資料測試該分類模型及該分群模型以得一準確率，(g)判斷該準確率未達到一門檻值，(h)於判斷該準確率未達到該門檻值後，選取該等主成分資料之一第三子集作為複數筆確認資料，(i)藉由以該分類演算法將該等確認資料分類為複數筆第二正常資料及複數筆第二異常資料以更新該分類模型，(j)藉由以該分群演算法將該等第二異常資料分群為複數個第二異常群組以更新該分群模型，以及(k)輸出更新後之該分類模型及更新後之該分群模型。
本發明之又一目的在於提供一種電腦程式產品。一電子計算裝置載入該電腦程式產品後，該電子計算裝置執行該電腦程式產品所包含之複數個程式指令，以執行前段所述之網路異常事件分析方法。
本發明所提供之網路異常事件分析技術(包含裝置、方法及其電腦程式產品)利用機器學習技術來訓練用於偵測網路異常事件之分類模型及分群模型。概要而言，本發明所提供之網路異常事件分析技術先以降維演算法分析蒐集到之網路狀態資料之網路特徵值，藉此將網路狀態資料降維成主成分資料(亦即，排除網路狀態資料中較不重要之網路特徵值)，之後再以主成分資料之一第一子集、一第二子集及一第三子集分別做為訓練資料、測試資料及確認資料。訓練資料用以進行後續之分類訓練及分群訓 練，測試資料用以判斷分類訓練之結果及分群訓練之結果是否符達到一預設標準，確認資料則用以在分類或/及分群之結果未達該預設標準時來再次進行分類訓練及分群訓練。
由於本發明所提供之網路異常事件分析技術之運作係起始於所蒐集到之所有網路狀態資料之網路特徵值，故可適用於各種網路環境。此外，本發明所提供之網路異常事件分析技術係以降維後之主成分資料訓練分類模型及分群模型，因此能排除不重要的網路特徵值在訓練過程中所造成的過度擬合(overfitting)現象，進而提高網路異常事件分類及分群之準確率，並產生較為正確之網路異常偵測結果。再者，由於本發明所提供之網路異常事件分析技術還會依據確認資料來更新分類模型及分群模型，因此能提供更為準確的分類模型及分群模型以偵測網路異常事件，有助於網路管理者或/及使用者了解發生網路異常事件之原因，並予以解決。
以下結合圖式闡述本發明之詳細技術及實施方式，俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之技術特徵。
1‧‧‧網路異常事件分析裝置
10a、……、10b‧‧‧網路狀態資料
11‧‧‧儲存器
12a、……、12b‧‧‧主成分資料
13‧‧‧處理器
200‧‧‧分類模型
202‧‧‧確認資料
204‧‧‧分類模型
S301~S317‧‧‧步驟
第1圖係描繪第一實施方式之網路異常事件分析裝置1之架構示意圖；第2圖係描繪利用各主成分資料與分類模型間之距離來選取第三子集之具體範例；以及第3圖係描繪第二實施方式之網路異常事件分析方法之流程圖。
以下將透過實施方式來解釋本發明所提供之網路異常事件分析裝置、方法及其電腦程式產品。然而，該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本發明之目的，而非用以限制本發明之範圍。應理解，在以下實施方式及圖式中，與本發明非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本發明之範圍。
本發明之第一實施方式為一網路異常事件分析裝置1，其架構示意圖係描繪於第1圖。網路異常事件分析裝置1包含一儲存器11及一處理器13，其中處理器13電性連接至儲存器11。儲存器11可為一記憶體、一通用串列匯流排(Universal Serial Bus；USB)碟、一硬碟、一光碟(Compact Disk；CD)、一隨身碟、一資料庫或本發明所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體或電路。處理器13可為各種處理器、中央處理單元(Central Processing Unit；CPU)、微處理器或本發明所屬技術領域中具有通常知識者所知之其他計算裝置中之任一者。網路異常事件分析裝置1可被具體地實施於一網路後端之伺服器(例如：長程演進(Long Term Evolution：LTE)標準中之機器類型通訊(Machine Type Communication；MTC)伺服器)、一雲端伺服器、一基地台或其他具有類似或更強運算能力之裝置。
儲存器11儲存複數筆蒐集自一或多個網路環境中之不同節點(例如：基地台、行動裝置、閘道器等等)之網路狀態資料10a、……、10b。每一筆網路狀態資料10a、……、10b包含複數個網路特徵值(例如： D個，其中D為正整數)，且每一筆網路狀態資料10a、……、10b所包含之各該網路特徵值與一網路參數(例如：通訊品質)相關。舉例而言，網路參數可為信號強度、參考訊號接收功率(Reference Signal Received Power；RSRP)、參考訊號接收品質(Reference Signal Received Quality；RSRQ)、誤位元率(Bit Error Rate；BER)、封包錯誤率(Packet Error Rate；PER)、資料率(Data Rate)等等。需說明者，為使後續訓練出來之分類模型及分群模型更為精確，每一筆網路狀態資料10a、……、10b所包含之各該網路特徵值可為將一網路參數之值正規化(normalized)後之數據。
於本實施方式中，處理器13先以一降維演算法(例如：高相關濾波法(High Correlation Filter)、隨機森林法(Random Forests)、前向特徵構造法(Forward Feature Construction)、反向特徵消除法(Backward Feature Elimination)、缺失值比率法(Missing Values Ratio)、低方差濾波法(Low Variance Filter)及主成分分析法(Principal Component Analysis)，但不以此為限)分析網路狀態資料10a、……、10b所包含之該等網路特徵值(例如：分析該等網路特徵值間之關聯性、相依性或/及特殊性)，藉此將網路狀態資料10a、……、10b降維為複數筆主成分資料12a、……、12b(例如：由D維降為K維，其中K為小於D之正整數)。採用降維演算法處理網路狀態資料10a、……、10b之目的在於找出網路狀態資料10a、……、10b中較有代表性、較為關鍵之網路特徵值以供後續訓練模型之用，藉此避免以所有的網路特徵值去訓練模型所產生的過度擬合(overfitting)現象，因而能夠提升機器學習之精準度。
為便於理解，茲以一具體範例說明降維之過程，然而此具體 範例並非用以限制本發明之範圍。茲假設處理器13所使用之降維演算法為主成分分析法。此外，如前所述，每一筆網路狀態資料10a、……、10b為D維，且每一筆網路狀態資料10a、……、10b所包含之網路特徵值為正規化後之數據。處理器13會根據網路狀態資料10a、……、10b建立一共變異數矩陣(Covariance Matrix)，分解該共變異矩陣為特徵向量(Eigenvectors)及特徵值(Eigenvalues)，且選取K(需說明者，K為小於D之正整數，代表降維後之維度)個最大的特徵值所對應的特徵向量。接著，處理器13對所選取的K個特徵向量排序，並以排序後的K個特徵向量建立一投影矩陣(Project Matrix)。之後，處理器13使用投影矩陣處理網路狀態資料10a、……、10b以獲得主成分資料12a、……、12b(例如：若將D維之網路狀態資料10a、……、10b以矩陣呈現，則可藉由矩陣相乘之方式獲得降維為K維之主成分資料12a、……、12b)。
接著，處理器13會選取主成分資料12a、……、12b之一第一子集作為複數筆訓練資料。需說明者，本發明未限制處理器13如何選取作為訓練資料之第一子集(亦即，如何選擇該等訓練資料)。舉例而言，處理器13可採隨機之方式從主成分資料12a、……、12b挑選複數筆作為前述訓練資料。再舉例而言，處理器13可採常態分布之方式從主成分資料12a、……、12b挑選複數筆作為前述訓練資料。
在選取出訓練資料後，處理器13以一分類演算法(例如：支援向量機(Support Vector Machine)、線性分類法(Linear Classification)及K位最近鄰居法(K-Nearest Neighbor)，但不以此為限)將訓練資料10b分類為複數筆第一正常資料及複數筆第一異常資料，並藉此確定一分類模型。舉 例而言，處理器13以分類演算法將該等訓練資料區分為第一正常資料及第一異常資料後，便可確定區分第一正常資料及第一異常資料之函數，而該函數便為經訓練而確定之分類模型。
接著，處理器13再以一分群演算法(例如：K均值法(K-means)、聚合式分群法(Agglomerative Clustering)及分列式分群法(Divisive Clustering)，但不以此為限)將該等第一異常資料分群為複數個第一異常群組，藉此獲得一分群模型。舉例而言，處理器13將該等第一異常資料分群為該等第一異常群組後，便可確定區分該等第一異常群組之一或多個函數，而該一或多個函數便為經訓練而確定之分群模型。
接著，網路異常事件分析裝置1會測試分類模型及分群模型之準確率。若準確率未達一門檻值，網路異常事件分析裝置1會再重新訓練分類模型及分群模型。
具體而言，處理器13會選取主成分資料12a、……、12b之一第二子集作為複數筆測試資料。需說明者，本發明未限制處理器13如何選取作為測試資料之第二子集，因此如何選擇該等測試資料並不會受到前述第一子集之影響。舉例而言，處理器13可採隨機之方式從主成分資料12a、……、12b挑選複數筆作為前述測試資料。再舉例而言，處理器13可採常態分布之方式從主成分資料12a、……、12b挑選複數筆作為前述測試資料。
接著，處理器13以該等測試資料測試該分類模型及該分群模型以得一準確率。本發明所屬技術領域中具有通常知識者應能理解如何根據該等測試資料測試該分類模型及該分群模型以得一準確率，故不贅言。處 理器13會判斷該準確率是否達到一門檻值。若該準確率達到該門檻值，處理器13便輸出該分類模型及該分群模型作為後續偵測網路異常事件時所使用之模型。若該準確率未達到該門檻值，處理器13則會重新訓練分類模型及分群模型。具體而言，處理器13選取主成分資料12a、……、12b之一第三子集作為複數筆確認資料，藉由以該分類演算法將該等確認資料分類為複數筆第二正常資料及複數筆第二異常資料以更新分類模型，藉由以該分群演算法將該等第二異常資料分群為複數個第二異常群組以更新分群模型。之後，處理器13即可輸出更新後之分類模型及更新後之分群模型。需說明者，於某些實施方式中，處理器13可重複前述運作，直到更新後之分類模型及更新後之分群模型之準確率達到該門檻值。
茲進一步地說明處理器13可如何從主成分資料12a、……、12b選取第三子集。
於某些實施方式中，處理器13可利用每一筆主成分資料12a、……、12b與分類模型間之距離來選取第三子集(亦即，選取確認資料)。為便於理解，請參閱第2圖所繪示之具體範例，但該具體範例並非用以限制本發明之範圍。第2圖之左側係描繪主成分資料12a、……、12b(每一黑點代表一筆主成分資料)以及訓練出來之分類模型200之示意圖。處理器13會計算主成分資料12a、……、12b中之每一筆與分類模型200之距離(例如：歐幾里德距離(Euclidean Distance))，再從主成分資料12a、……、12b中選取距離小於另一門檻值者作為確認資料202。第2圖右側則描繪利用確認資料202更新後之分類模型204。採用此種方式決定確認資料202之邏輯在於，與分類模型200間距離較小的那些主成分資料，其網路特徵值對於分類模型 200而言是較模糊的。因此，若以與分類模型200間距離較小的那些主成分資料來決定新的分類模型204，則新的分類模型204能更為明確地區分與分類模型200間距離較小的那些主成分資料。
於某些實施方式中，處理器13可利用每一筆主成分資料12a、……、12b之時間資訊來選取第三子集(亦即，選取確認資料)。具體而言，每一筆主成分資料12a、……、12b具有一時間資訊(例如：主成分資料12a、……、12b所分別對應之網路狀態資料10a、……、10b被擷取/蒐集到之時間)，處理器13根據該等時間資訊將主成分資料12a、……、12b區分為複數個群組(例如：將主成分資料12a、……、12b所涵蓋之時間範圍區分為不重疊之時間區間，並以這些時間區間來將主成分資料12a、……、12b區分為複數個群組)。處理器13再自各群組選取至少一主成分資料作為確認資料。採用此種方式選取確認資料之用意在於打破時間之相依性，使處理器13在更新分類模型時能考量到時間因素對網路環境之影響。
於某些實施方式中，處理器13則可利用每一筆主成分資料12a、……、12b之區域資訊來選取第三子集(亦即，選取確認資料)。具體而言，每一筆主成分資料12a、……、12b具有一區域資訊(例如：網際網路位址、所屬基地台之位址)，處理器13根據該等區域資訊將主成分資料12a、……、12b區分為複數個群組(例如：將主成分資料12a、……、12b依所屬基地台之位址區分為複數個不重疊之群組)。處理器13再自各群組選取至少一主成分資料作為確認資料。採用此種方式決定確認資料之用意在於打破區域之相依性，使處理器13在更新分類模型時能考量到區域因素對網路環境之影響。
由上述說明可知，網路異常事件分析裝置1之運作係起始於所蒐集到之所有網路狀態資料之網路特徵值，故所訓練出來之分類模型及分群模型可適用於各種網路環境，解決了習知技術需由專業人士判斷且受限於特定網路環境之困境。此外，網路異常事件分析裝置1係以降維演算法將網路狀態資料10a、……、10b降維成主成分資料12a、……、12b，藉此篩選出較為重要網路特徵值以供後續訓練模型之用。透過此種方式，網路異常事件分析裝置1排除了不重要的網路特徵值在訓練過程中所造成的過度擬合(overfitting)的問題，因而能夠提升訓練出來的分類模型及分群模型之精準度，進而提供更為正確之網路異常偵測結果。
除此之外，當所訓練出來的分類模型及分群模型之準確率未達門檻值時，網路異常事件分析裝置1還會利用確認資料來更新分類模型及分群模型，因此能提供更為精確的分類模型及分群模型以偵測出網路異常事件並判斷網路異常事件之類別，有助於網路管理者或/及使用者了解發生網路異常事件之原因，並予以解決。
本發明之第二實施方式為一網路異常事件分析方法，其流程圖係描繪於第3圖。該網路異常事件分析方法適用於一電子計算裝置(例如：第一實施方式中之網路異常事件分析裝置1)。於本實施方式中，該電子計算裝置儲存複數筆網路狀態資料，其中各該網路狀態資料包含複數個網路特徵值。
於步驟S301，該電子計算裝置以一降維演算法分析該等網路狀態資料所包含之該等網路特徵值而將各該網路狀態資料降維為一主成分資料。舉例而言，步驟S301所採用之降維演算法可為高相關濾波法、隨機 森林法、前向特徵構造法、反向特徵消除法、缺失值比率法、低方差濾波法或主成分分析法，但不以此為限。
接著，於步驟S303，該電子計算裝置選取該等主成分資料之一子集作為複數筆訓練資料。於步驟S305，該電子計算裝置藉由以一分類演算法將該子集所包含之主成分資料分類為複數筆正常資料及複數筆異常資料以得一分類模型。舉例而言，步驟S305所採用之分類演算法可為支援向量機、線性分類法或K位最近鄰居法，但不以此為限。需說明者，當第一次執行步驟S305時，該子集所包含之主成分資料為步驟S303所選取之該等訓練資料。當非第一次執行步驟S305時，該子集所包含之主成分資料為步驟S315所選取之確認資料(容後說明)。
於步驟S307，該電子計算裝置藉由以一分群演算法將該等異常資料分群為複數個異常群組以得一分群模型。舉例而言，步驟S307所採用之分群演算法可為K均值法、聚合式分群法或分列式分群法，但不以此為限。需說明者，於某些實施方式中，在執行步驟S307後可直接執行步驟S317，由該電子計算裝置輸出該分類模型及該分群模型。
於本實施方式中，在執行步驟S307後則是執行步驟S309，由該電子計算裝置選取該等主成分資料之另一子集作為複數筆測試資料。接著，執行步驟S311，由該電子計算裝置以該等測試資料測試該分類模型以得一準確率。之後，於步驟S313，由該電子計算裝置判斷該準確率是否達到一門檻值。
若步驟S313之判斷結果為是，則執行步驟S317由該電子計算裝置輸出該分類模型及該分群模型。若步驟S313之判斷結果為否，則會優 化分類模型及分群模型。具體而言，於步驟S315，由該電子計算裝置選取該等主成分資料之另一子集作為複數筆確認資料，之後再次執行步驟S303至步驟S313。網路異常事件分析方法重複前述步驟，直到步驟S313之判斷結果為該準確率達到該門檻值，之後便執行步驟S317輸出該分類模型及該分群模型。
需說明者，於某些實施方式中，步驟S315在選取主成分資料之一子集作為複數筆確認資料時，係計算各該主成分資料與該分類模型之一距離，再自該等主成分資料中選取該距離小於另一門檻值者作為該等確認資料。
另外，於某些實施方式中，步驟S315在選取主成分資料之一子集作為複數筆確認資料時，係利用各該主成分資料所具有之時間資訊。具體而言，步驟S315可根據該等時間資訊將該等主成分資料區分為複數個群組，再自各群組選取至少一主成分資料作為該等確認資料。
此外，於某些實施方式中，步驟S315在選取主成分資料之一子集作為複數筆確認資料時，係利用各該主成分資料所具有之區域資訊。具體而言，步驟S315可根據該等區域資訊將該等主成分資料區分為複數個群組，再自各群組選取至少一主成分資料作為該等確認資料。
除了上述步驟，第二實施方式亦能執行第一實施方式所描述之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第二實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
第二實施方式中所闡述之網路異常事件分析方法可由包含複數個指令之一電腦程式產品實現。該電腦程式產品可為能被於網路上傳輸之檔案，亦可被儲存於一非暫態電腦可讀取儲存媒體中。關於該電腦程式產品，在其所包含之該等指令被載入一電子計算裝置(例如：網路異常事件分析裝置1)後，該電腦程式執行如在第二實施方式中所述之網路異常事件分析方法。該非暫態電腦可讀取儲存媒體可為一電子產品，例如：一唯讀記憶體(read only memory；ROM)、一快閃記憶體、一軟碟、一硬碟、一光碟(compact disk；CD)、一隨身碟、一可由網路存取之資料庫或本發明所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體。
需說明者，於本發明專利說明書中，第一子集、第二子集及第三子集中之「第一」、「第二」及「第三」僅用來表示該等子集為不同子集而已。第一正常資料及第二正常資料中之「第一」及「第二」僅用來表示該等正常資料為不同次分類所獲得之正常資料而已。第一異常資料及第二異常資料中之「第一」及「第二」僅用來表示該等異常資料為不同次分類所獲得之異常資料而已。第一異常群組及第二異常群組中之「第一」及「第二」僅用來表示該等異常群組為不同次分群所獲得之異常群組而已。
綜上所述，本發明所提供之網路異常事件分析技術(包含裝置、方法及其電腦程式產品)對所蒐集到之網路狀態資料降維以取得較具代表性之主成分資料(亦即，排除網路狀態資料中較不重要之網路特徵值)，選取主成分資料之一子集作為訓練資料，利用分類演算法及分群演算法分別產生分類模型及分群模型，再以主成分資料之另一子集測試分類模型及分群模型之準確率。若準確率未達一預設值，本發明所提供之網路異常事件 分析技術會再以考慮其他因素(例如：時間因素、區域因素或與分類模型之距離)之方式來選取主成分資料之另一子集來優化分類模型及分群模型。
本發明所提供之網路異常事件分析技術所訓練出來之分類模型及分群模型可適用於各種網路環境，解決了習知技術需由專業人士判斷且受限於特定網路環境之困境。此外，本發明所提供之網路異常事件分析技術排除了不重要的網路特徵值在訓練過程中所造成的過度擬合的問題，因而能夠提升訓練出來的分類模型及分群模型之精準度，進而提供更為正確之網路異常偵測結果。
上述實施方式僅用來例舉本發明之部分實施態樣，以及闡釋本發明之技術特徵，而非用來限制本發明之保護範疇及範圍。任何本發明所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，而本發明之權利保護範圍以申請專利範圍為準。

Claims (15)

  1. 一種網路異常事件分析裝置，包含：一儲存器，儲存複數筆網路狀態資料，其中各該網路狀態資料包含複數個網路特徵值；以及一處理器，電性連接至該儲存器，藉由以一降維演算法分析該等網路狀態資料所包含之該等網路特徵值而將各該網路狀態資料降維為一主成分資料，選取該等主成分資料之一第一子集作為複數筆訓練資料，藉由以一分類演算法將該等訓練資料分類為複數筆第一正常資料及複數筆第一異常資料以得一分類模型，藉由以一分群演算法將該等第一異常資料分群為複數個第一異常群組以得一分群模型，其中，該處理器選取該等主成分資料之一第二子集作為複數筆測試資料，以該等測試資料測試該分類模型及該分群模型以得一準確率，判斷該準確率未達到一第一門檻值，於判斷該準確率未達到該第一門檻值後選取該等主成分資料之一第三子集作為複數筆確認資料，藉由以該分類演算法將該等確認資料分類為複數筆第二正常資料及複數筆第二異常資料以更新該分類模型，藉由以該分群演算法將該等第二異常資料分群為複數個第二異常群組以更新該分群模型，以及輸出更新後之該分類模型及更新後之該分群模型。
  2. 如請求項1所述之網路異常事件分析裝置，其中該處理器計算各該主成分資料與該分類模型之一距離，且該處理器係自該等主成分資料中選取該距離小於一第二門檻值者作為該等確認資料。
  3. 如請求項1所述之網路異常事件分析裝置，其中各該主成分資料具有一時 間資訊，該處理器根據該等時間資訊將該等主成分資料區分為複數個群組，其中該處理器係自各群組選取至少一主成分資料作為該等確認資料。
  4. 如請求項1所述之網路異常事件分析裝置，其中各該主成分資料具有一區域資訊，該處理器根據該等區域資訊將該等主成分資料區分為複數個群組，該處理器係自各群組選取至少一主成分資料作為該等確認資料。
  5. 如請求項1所述之網路異常事件分析裝置，其中該降維演算法為一高相關濾波法(High Correlation Filter)、一隨機森林法(Random Forests)、一前向特徵構造法(Forward Feature Construction)、一反向特徵消除法(Backward Feature Elimination)、一缺失值比率法(Missing Values Ratio)、一低方差濾波法(Low Variance Filter)及一主成分分析法(Principal Component Analysis)其中之一。
  6. 如請求項1所述之網路異常事件分析裝置，其中該分類演算法為一支援向量機(Support Vector Machine)、一線性分類法(Linear Classification)及一K位最近鄰居法(K-Nearest Neighbor)其中之一。
  7. 如請求項1所述之網路異常事件分析裝置，其中該分群演算法為一K均值法(K-means)、一聚合式分群法(Agglomerative Clustering)及一分列式分群法(Divisive Clustering)其中之一。
  8. 一種網路異常事件分析方法，適用於一電子計算裝置，該電子計算裝置儲存複數筆網路狀態資料，各該網路狀態資料包含複數個網路特徵值，該網路異常事件分析方法包含下列步驟：藉由以一降維演算法分析該等網路狀態資料所包含之該等網路特徵值而將各該網路狀態資料降維為一主成分資料； 選取該等主成分資料之一第一子集作為複數筆訓練資料；藉由以一分類演算法將該等訓練資料分類為複數筆第一正常資料及複數筆第一異常資料以得一分類模型；藉由以一分群演算法將該等第一異常資料分群為複數個第一異常群組以得一分群模型；選取該等主成分資料之一第二子集作為複數筆測試資料；以該等測試資料測試該分類模型及該分群模型以得一準確率；判斷該準確率未達到一第一門檻值；於判斷該準確率未達到該第一門檻值後，選取該等主成分資料之一第三子集作為複數筆確認資料；藉由以該分類演算法將該等確認資料分類為複數筆第二正常資料及複數筆第二異常資料以更新該分類模型；藉由以該分群演算法將該等第二異常資料分群為複數個第二異常群組以更新該分群模型；以及輸出更新後之該分類模型及更新後之該分群模型。
  9. 如請求項8所述之網路異常事件分析方法，更包含下列步驟：計算各該主成分資料與該分類模型之一距離；以及自該等主成分資料中選取該距離小於一第二門檻值者作為該等確認資料。
  10. 如請求項8所述之網路異常事件分析方法，其中各該主成分資料具有一時間資訊，該網路異常事件分析方法更包含下列步驟：根據該等時間資訊將該等主成分資料區分為複數個群組；以及 自各群組選取至少一主成分資料作為該等確認資料。
  11. 如請求項8所述之網路異常事件分析方法，其中各該主成分資料具有一區域資訊，該網路異常事件分析方法更包含下列步驟：根據該等區域資訊將該等主成分資料區分為複數個群組；以及自各群組選取至少一主成分資料作為該等確認資料。
  12. 如請求項8所述之網路異常事件分析方法，其中該降維演算法為一高相關濾波法(High Correlation Filter)、一隨機森林法(Random Forests)、一前向特徵構造法(Forward Feature Construction)、一反向特徵消除法(Backward Feature Elimination)、一缺失值比率法(Missing Values Ratio)、一低方差濾波法(Low Variance Filter)及一主成分分析法(Principal Component Analysis)其中之一。
  13. 如請求項8所述之網路異常事件分析方法，其中該分類演算法為一支援向量機(Support Vector Machine)、一線性分類法(Linear Classification)及一K位最近鄰居法(K-Nearest Neighbor)其中之一。
  14. 如請求項8所述之網路異常事件分析方法，其中該分群演算法為一K均值法(K-means)、一聚合式分群法(Agglomerative Clustering)及一分列式分群法(Divisive Clustering)其中之一。
  15. 一種電腦程式產品，經由一電子計算裝置載入該電腦程式產品後，該電子計算裝置執行該電腦程式產品所包含之複數個程式指令，以執行一種網路異常事件分析方法，該電子計算裝置儲存複數筆網路狀態資料，各該網路狀態資料包含複數個網路特徵值，該網路異常事件分析方法包含下列步驟： 藉由以一降維演算法分析該等網路狀態資料所包含之該等網路特徵值而將各該網路狀態資料降維為一主成分資料；選取該主成分資料之一第一子集作為複數筆訓練資料；藉由以一分類演算法將該等訓練資料分類為複數筆第一正常資料及複數筆第一異常資料以得一分類模型；藉由以一分群演算法將該等第一異常資料分群為複數個第一異常群組以得一分群模型；選取該等主成分資料之一第二子集作為複數筆測試資料；以該等測試資料測試該分類模型及該分群模型以得一準確率；判斷該準確率未達到一門檻值；於判斷該準確率未達到該門檻值後，選取該等主成分資料之一第三子集作為複數筆確認資料；藉由以該分類演算法將該等確認資料分類為複數筆第二正常資料及複數筆第二異常資料以更新該分類模型；藉由以該分群演算法將該等第二異常資料分群為複數個第二異常群組以更新該分群模型；以及輸出更新後之該分類模型及更新後之該分群模型。
TW107100664A 2017-11-24 2018-01-08 網路異常事件分析裝置、方法及其電腦程式產品 TWI672925B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/822,022 2017-11-24
US15/822,022 US20190166024A1 (en) 2017-11-24 2017-11-24 Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof

Publications (2)

Publication Number Publication Date
TW201926949A TW201926949A (zh) 2019-07-01
TWI672925B true TWI672925B (zh) 2019-09-21

Family

ID=66632816

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107100664A TWI672925B (zh) 2017-11-24 2018-01-08 網路異常事件分析裝置、方法及其電腦程式產品

Country Status (3)

Country Link
US (1) US20190166024A1 (zh)
CN (1) CN109842513A (zh)
TW (1) TWI672925B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10979302B2 (en) * 2017-12-04 2021-04-13 Cisco Technology, Inc. Meta behavioral analytics for a network or system
US10769056B2 (en) * 2018-02-26 2020-09-08 The Ultimate Software Group, Inc. System for autonomously testing a computer system
US11954461B2 (en) 2018-02-26 2024-04-09 Ukg Inc. Autonomously delivering software features
US10812334B2 (en) * 2018-06-29 2020-10-20 Forescout Technologies, Inc. Self-training classification
US11146444B2 (en) * 2018-07-31 2021-10-12 International Business Machines Corporation Computer system alert situation detection based on trend analysis
JP7331369B2 (ja) * 2019-01-30 2023-08-23 日本電信電話株式会社 異常音追加学習方法、データ追加学習方法、異常度算出装置、指標値算出装置、およびプログラム
US11321376B2 (en) * 2019-04-02 2022-05-03 Aspen Technology, Inc. Classification of operating plan data using machine learning
US11995127B2 (en) 2019-04-02 2024-05-28 Aspentech Corporation Validation of operating plans and schedules using machine learning
JP7235967B2 (ja) * 2019-07-24 2023-03-09 富士通株式会社 ネットワーク分析プログラム、ネットワーク分析装置及びネットワーク分析方法
CN112445687A (zh) * 2019-08-30 2021-03-05 深信服科技股份有限公司 一种计算设备的卡顿检测方法及相关装置
TWI738131B (zh) * 2019-11-28 2021-09-01 財團法人資訊工業策進會 影像系統及檢測方法
CN111242171B (zh) * 2019-12-31 2023-10-31 中移（杭州）信息技术有限公司 网络故障的模型训练、诊断预测方法、装置以及电子设备
CN111268317B (zh) * 2020-03-03 2023-02-03 深圳壹账通智能科技有限公司 垃圾分类处理方法、装置、终端及存储介质
CN111461231B (zh) * 2020-04-02 2023-06-30 腾讯云计算（北京）有限责任公司 一种短信息的发送控制方法、装置及存储介质
CN111753907B (zh) * 2020-06-24 2024-06-14 国家电网有限公司大数据中心 一种电量数据的处理方法、装置、设备和存储介质
CN111882179A (zh) * 2020-07-09 2020-11-03 福建奇点时空数字科技有限公司 一种基于数据流处理的网络安全态势感知系统平台
CN112181706B (zh) * 2020-10-23 2023-09-22 北京邮电大学 一种基于对数区间隔离的电力调度数据异常检测方法
US11372561B1 (en) * 2020-12-04 2022-06-28 EMC IP Holding Company LLC Techniques for identifying misconfigurations and evaluating and determining storage tier distributions
CN113125903A (zh) * 2021-04-20 2021-07-16 广东电网有限责任公司汕尾供电局 线损异常检测方法、装置、设备及计算机可读存储介质
CN113295635A (zh) * 2021-05-27 2021-08-24 河北先河环保科技股份有限公司 一种基于动态更新数据集的水质污染报警方法
CN113822356A (zh) * 2021-09-22 2021-12-21 广东电网有限责任公司 一种用电用户的分类方法、装置、电子设备及存储介质
CN115825312B (zh) * 2023-02-22 2023-05-12 华谱科仪(北京)科技有限公司 色谱检测数据交互方法、装置、设备和计算机可读介质
CN117978543B (zh) * 2024-03-28 2024-06-04 贵州华谊联盛科技有限公司 基于态势感知的网络安全预警方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6457143B1 (en) * 1999-09-30 2002-09-24 International Business Machines Corporation System and method for automatic identification of bottlenecks in a network
US8306931B1 (en) * 2009-08-06 2012-11-06 Data Fusion & Neural Networks, LLC Detecting, classifying, and tracking abnormal data in a data stream
WO2013062620A2 (en) * 2011-04-04 2013-05-02 Northwestern University Methods and systems for analyzing data of an online social network
TWI548235B (zh) * 2014-01-14 2016-09-01 Chunghwa Telecom Co Ltd Network anomaly traffic monitoring system with normal distribution mode
CN106131027A (zh) * 2016-07-19 2016-11-16 北京工业大学 一种基于软件定义网络的网络异常流量检测防御系统
TW201728124A (zh) * 2014-09-16 2017-08-01 科勞簡尼克斯股份有限公司 以彈性地定義之通信網路控制器為基礎之網路控制、操作及管理
CN107231348A (zh) * 2017-05-17 2017-10-03 桂林电子科技大学 一种基于相对熵理论的网络流量异常检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192051B2 (en) * 2015-06-17 2019-01-29 Accenture Global Services Limited Data acceleration
US9699205B2 (en) * 2015-08-31 2017-07-04 Splunk Inc. Network security system
CN105553998B (zh) * 2015-12-23 2019-02-01 中国电子科技集团公司第三十研究所 一种网络攻击异常检测方法
CN105915555B (zh) * 2016-06-29 2020-02-18 北京奇虎科技有限公司 网络异常行为的检测方法及系统
CN106452955B (zh) * 2016-09-29 2019-03-26 北京赛博兴安科技有限公司 一种异常网络连接的检测方法及系统
CN107291911B (zh) * 2017-06-26 2020-01-21 北京奇艺世纪科技有限公司 一种异常检测方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6457143B1 (en) * 1999-09-30 2002-09-24 International Business Machines Corporation System and method for automatic identification of bottlenecks in a network
US8306931B1 (en) * 2009-08-06 2012-11-06 Data Fusion & Neural Networks, LLC Detecting, classifying, and tracking abnormal data in a data stream
WO2013062620A2 (en) * 2011-04-04 2013-05-02 Northwestern University Methods and systems for analyzing data of an online social network
TWI548235B (zh) * 2014-01-14 2016-09-01 Chunghwa Telecom Co Ltd Network anomaly traffic monitoring system with normal distribution mode
TW201728124A (zh) * 2014-09-16 2017-08-01 科勞簡尼克斯股份有限公司 以彈性地定義之通信網路控制器為基礎之網路控制、操作及管理
CN106131027A (zh) * 2016-07-19 2016-11-16 北京工业大学 一种基于软件定义网络的网络异常流量检测防御系统
CN107231348A (zh) * 2017-05-17 2017-10-03 桂林电子科技大学 一种基于相对熵理论的网络流量异常检测方法

Also Published As

Publication number Publication date
TW201926949A (zh) 2019-07-01
CN109842513A (zh) 2019-06-04
US20190166024A1 (en) 2019-05-30

Similar Documents

Publication Publication Date Title
TWI672925B (zh) 網路異常事件分析裝置、方法及其電腦程式產品
US10068176B2 (en) Defect prediction method and apparatus
US20240003968A1 (en) Integrated circuit profiling and anomaly detection
CN106713324B (zh) 一种流量检测方法及装置
WO2019051941A1 (zh) 车型识别方法、装置、设备及计算机可读存储介质
US20180018339A1 (en) Workload identification
CN111476270B (zh) 基于K-means算法的课程信息确定方法、装置、设备及存储介质
US11899747B2 (en) Techniques to embed a data object into a multidimensional frame
US20140040174A1 (en) Anomaly detection for cloud monitoring
US9037518B2 (en) Classifying unclassified samples
TW202029079A (zh) 異常群體識別方法及裝置
US9276821B2 (en) Graphical representation of classification of workloads
US8121967B2 (en) Structural data classification
CN109189876B (zh) 一种数据处理方法及装置
CN109257383B (zh) 一种bgp异常检测方法及系统
CN110460401B (zh) 一种基于矩阵分解和粒子群优化聚类的协作频谱感知方法
WO2018006631A1 (zh) 一种用户等级自动划分方法及系统
CN116662817B (zh) 物联网设备的资产识别方法及系统
CN113537321A (zh) 一种基于孤立森林和x均值的网络流量异常检测方法
CN112702339A (zh) 基于深度迁移学习的异常流量监测与分析方法和装置
CN112468487A (zh) 实现模型训练的方法、装置、实现节点检测的方法及装置
CN115905450A (zh) 一种基于无人机监控的水质异常溯源方法及系统
CN110580171B (zh) App分类方法、相关装置及产品
Sobolewski et al. SCR: simulated concept recurrence–a non‐supervised tool for dealing with shifting concept
Liu et al. A weight-incorporated similarity-based clustering ensemble method