TWI768588B

TWI768588B - 系統異常預測方法

Info

Publication number: TWI768588B
Application number: TW109143631A
Authority: TW
Inventors: 林風; 葉恩豪; 林昕學
Original assignee: 國立臺灣大學
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2022-06-21
Also published as: US20220188669A1; TW202223659A

Abstract

本發明揭露之系統異常預測方法係應用於並警示任一監控之系統的異常的一預測系統，包括下列步驟：預處理包括分布在多個時槽中的多個資料點的訓練資料，以對每個時槽的資料點產生對應特徵，並對每個時槽依據各目前時槽的前一時槽的對應特徵分群分布抽取頻率特徵，及使用機器學習演算法，利用來自對應特徵及頻率特徵之建模資料作為輸入以建立一預測模型，用以預測並警示監控之系統的未來異常。

Description

系統異常預測方法

本發明係與預測方法相關，尤其是與基於頻率特徵以建立預測模型之預測方法相關。

進行異常偵測、預測時，若系統異常狀態的發生次數遠少於正常系統狀態，會造成系統狀態數量的不平衡，即系統異常的特殊樣態資訊相較於正常系統狀態要少得多。在使用機器學習演算法辨別系統狀態的預測系統中，前述的不平衡的現象會影響預判的精確性，使得誤判的機會升高。有鑑於此，如何研發出在受限於系統異常狀態數量稀少的情況下，可有效預測未來系統異常的產生，並預先發出警訊，一直是資訊產業持續精進的目標。

本發明之一目的在於提供系統異常預測方法，其可依據目前時槽的前一時槽的對應特徵分群分布抽取頻率特徵，而在系統異常狀態數量稀少的情況下，增加機器學習演算法的效能，並可預測未來系統異常的產生及預先提出警訊。

依據本發明之一面向，本發明揭露之系統異常預測方法係應包括一處理單元之一預測系統，預測系統預測並警示一監控之系統的異常，系統異常預測方法包括下列步驟：以處理單元，預處理包括分布在多個時槽中的多個資料點的訓練資料，以對每個時槽的資料點產生對應特徵，並對每個時槽依據各目前時槽的前一時槽的對應特徵分群分布抽取頻率特徵，其中訓練資料來自監控之系統之多種日誌資料，各種日誌資料依時間順序紀錄監控之系統中的一特定實體單元的狀態；及以處理單元，使用機器學習演算法，利用來自對應特徵及頻率特徵之建模資料作為輸入以建立一預測模型，用以預測並警示監控之系統的未來異常。

為進一步說明各實施例及其優點，本發明乃配合圖式提供下列說明。此些圖式乃為本發明揭露內容之一部分，其主要係用以說明實施例，並可配合說明書之相關描述來解釋實施例的運作原理。配合參考這些內容，本領域具有通常知識者應能理解其他可能的實施方式以及本發明之優點。圖中的元件並未按比例繪製，而類似的元件符號通常用來表示類似的元件。如在此揭露，「實施例」、「示例」及「本實施例」並非專指單一實施例，而可及於依據本發明不同結合方式實施之例子，不悖于本發明之精神與範圍。此處使用之詞彙僅用以闡明本發明原則之具體實施例，應不拘限本發明。故而，如「之中」可包括「之內」及「之上」，「一」及「該」可包括單數或複數；「藉」可指「從」，「若」可指「當」或「一旦」，端示於前後文字內容。此外，「及／或」可包括有關元件的任何可能的組合。

本說明書揭露系統異常預測方法之多個示例。請參考圖1及圖2，其中圖1顯示依據本發明之一示例之一預測系統與其監測的監控之系統之功能方塊圖，預測系統適於應用如圖2顯示之系統異常預測方法，圖2顯示依據本發明之一實施例之一系統異常預測方法之一流程圖。請注意本實施例之預測系統僅為應用系統異常預測方法之眾多系統中之一示範例，系統異常預測方法並不限於此。預測系統100是用以預測並警示一監控之系統200的異常，其中包括一處理單元101及一特徵資料庫102，處理單元101與特徵資料庫102耦接。處理單元101係被配置以執行如圖2顯示之系統異常預測方法，其中使用機器學習演算法預測監控之系統200的系統的異常狀態。較佳地，處理單元101是依固定周期規律地進行預測。

本例之監控之系統以企業支援系統200為例，企業支援系統供企業體營運之生產、管理與監測之電子系統，其不限於企業體之產業別，但在本例當中係以供電信公司管理產品、帳單及收款和編排網路操作的電子系統為例，另一例為應用於工廠中以各種感測器、控制器控制、管理與監測生產之電子系統。企業支援系統200舉例但不限於包括使用者201、網路（Internet/Intranet）202、防火牆203、網站前端單元（Web Frontend Unit）204、網站後端單元（Web Backend Unit）205、中介服務單元（Intermediate Service Unit）206、輕量級目錄存取協定（Lightweight Directory Access Protocol，簡稱LDAP）207及資料庫208，此些單元的作動與架構在此無須限定。請注意，尚有操作系統（OS）（圖中未示）執行於使用者201、網路202、防火牆203、網站前端單元204、網站後端單元205、中介服務單元206、輕量級目錄存取協定207及資料庫208的實體主機中。使用者201經由網路202及防火牆203而與網站前端單元204耦接，網站前端單元204、網站後端單元205、LDAP 207及資料庫208皆與中介服務單元206耦接，網站後端單元205並與資料庫208耦接。預測系統100的特徵資料庫102接收並儲存來自企業支援系統200的多種日誌資料，此些日誌資料依時間順序紀錄該企業支援系統中的一特定實體單元的狀態，例如：WebFrontend.csv日誌資料紀錄網站前端單元204的狀態，WebBackend_1.csv、WebBackend_2.csv日誌資料紀錄網站後端單元205的狀態，IntermediateService.csv日誌資料紀錄中介服務單元206的狀態，Database_1.csv至Database_5.csv等日誌資料紀錄資料庫208的狀態，及OS_1.csv、OS_2.csv紀錄OS的狀態。此些日誌資料為可選擇性地合併儲存在特徵資料庫102中，並在每一時槽（Time Slot）中具有代表系統狀態的一資料點。在此是以不同的數值代表不同的系統狀態，如：「0」代表正常、「1」代表異常，但並不限於此。由於企業支援系統200的可靠性佳，使得日誌資料當中的資料點絕大多代表著系統正常，只有非常少數的資料點代表系統異常，因此產生不平衡的資料組合。舉例來說，這種不平衡的資料組合可包括兩類數量差異大的資料群，如：超過10倍、99倍，甚至在實驗當中發現99.925%的資料點代表著系統正常。因此，需要應用如圖2顯示的系統異常預測方法提升機器學習演算法的效能，以預測未來系統異常的產生及預先提出警訊。

如圖2，處理單元101執行系統異常預測方法，首先，在步驟S1中，預處理包括分布在多個時槽中的多個資料點的訓練資料，以對每個時槽的資料點產生對應特徵，並對每個時槽依據各目前時槽的前一時槽的對應特徵分群分布抽取頻率特徵。在本實施例中，實施步驟S1時，可細分為數個子步驟。為了避免受影響缺失的資料點，先執行子步驟S1-1：將一預定資料填入該訓練資料中缺失的資料點。此預定資料無須限制，在此示例為「-1」數值。如此可產生此步驟的輸出A ⁽¹⁾。

接著，處理單元101對A ⁽¹⁾執行子步驟S1-2：對每個時槽的資料點產生對應特徵。實施時，處理單元101可使用資訊獲利（Information Gain）演算法降低訓練資料的維度；接著，增加數量較少的資料群的權重，並選取該訓練資料中的前A個高重要度的特徵及該訓練資料中的前B個高離散性的特徵以對每個時槽的資料點產生對應特徵。在此以

(i)表示

的第i個特徵，j = 1, 2 … T，可藉在

中移除

(i)得到

，

。如此可產生此子步驟的輸出A ⁽²⁾= ｛(

, y _j) | j = 1, 2 … T｝。

接續子步驟S1-2，處理單元101執行子步驟S1-3：對每個時槽依據各目前時槽的前一時槽的對應特徵分群分布抽取頻率特徵。實施時，處理單元101可先使用一分群演算法計算該對應特徵的分布。分群演算法可包括但不限下列之任一者：K-means分群（K-Ｍeans Clustering）演算法及高斯混合模型（Gaussian mixture model，簡稱GMM）演算法，在此係以K-means分群演算法為例。請一併參考圖3顯示的依據本發明之一實施例之一系統異常預測方法進行子步驟S1-2之示範例的示意圖。具體而言，處理單元101對每一時槽j-v+1, j-v+2, … j逐一先判斷其對應特徵是否為離散特徵。若非為離散特徵，則使用K-means分群演算法計算對應特徵的分布並將此對應特徵分類為c個群組；若目前時槽該對應特徵為離散特徵，則對對應特徵的分群結果使用一位有效編碼（One-Hot Encoding）將ｃ類特徵轉換為ｃ維度向量，此ｃ維度向量包括ｃ個子特徵。在此以第ｊ個時槽作為目前時槽且FFC滑動視窗時槽數v = 3為例，第ｊ個時槽的對應特徵為第ｍ個特徵。如此，在第ｊ個時槽的第ｍ個子特徵即以(b _0,m,j, b _1,m,j, …, b _c-1,m,j)表示，且b _k,m,j= I _[xm,j _屬於 _K _群組 _]，k = 0, 1, …, c-1，I為指標函數。接著，處理單元101計算在一FFC滑動視窗內每個子特徵的平均數（mean）以抽取頻率特徵，FFC滑動視窗包括第(j-v+1)、(j-v+2)…j個時槽，在第ｊ個時槽的第ｍ個特徵的頻率特徵的特徵向量 z _m,j= (z _0,m,j, z _1,m,j, z2 _,m,j, … z _c-1,m,j)，z _k,m,j=

，且k = 0, 1, …, c-1。以CPU速率為例，假設c = 3且FFC滑動視窗時槽數v = 3，請參考圖4顯示的依據本發明之一實施例之一系統異常預測方法進行子步驟S1-3之示範例的示意圖。在第j個時槽的頻率特徵係依據以FFC滑動視窗時槽所劃定的第j-2、j-1、j個時槽中的CPU速率資料點的群集（clustering）結果而定。由於對第j個時槽來說，有2個時槽在「群組0」有代表異常的數值「1」，還有1個時槽在「群組1」有代表異常的數值「1」，所以其頻率特徵依群組0-2順序為2/3、1/3、0/3。若在j-v+1 ＜ 1的情形時，對第j個時槽來說，1 ≦ j ≦ v-1，FFC滑動視窗時槽會包括系統啟動前的時槽，為了避免這樣的情形在此僅對第v個時槽之後的資料執行子步驟S1-3。

接續子步驟S1-3，處理單元101執行子步驟S1-4：正規化該頻率特徵。如此可避免使用機器學習演算法訓練時，產生過分偏向某特徵的訓練節果。接續子步驟S1-4，處理單元101執行子步驟S1-5：將經正規化的該頻率特徵與對應特徵串聯。在第ｊ個時槽的第ｍ個特徵的頻率特徵的特徵向量為 z _m,j，且資料組X ⁽²⁾= ｛

| j = 1, 2 … T｝的維度為Dim (X ⁽²⁾)。將

與 z _m,j, 1 ≦ m ≦ Dim (X ⁽²⁾)串聯，可得到

。如此可產生此子步驟的輸出A ⁽³⁾= ｛(

, y _j) | j = v, v+1, v+2 … T｝。

接續子步驟S1-4，處理單元101執行子步驟S1-5：以一預測視窗依時序切割來自對應特徵及頻率特徵之特徵向量以產生建模資料。舉例來說，針對第j次的預測切割出A ⁽³⁾中的第j, j-1, j-2, …, j-w+1時槽，其數量依預測視窗大小而定，即產生

= (

,

, …,

)。如此可產生此子步驟的輸出A ⁽⁴⁾= ｛(

, y _j) | v+w-1 ≦j ≦ T｝。

接著，在步驟S2中，處理單元101使用機器學習演算法，利用來自該對應特徵及該頻率特徵之建模資料作為輸入以建立一預測模型，用以預測並警示該企業支援系統的未來異常。具體來說，可使用包括隨機森林（Random Forest，簡稱RF）演算法及支持向量機（Support Vector Machine，簡稱SVM）演算法之任一者的機器學習演算法，利用經串聯的該頻率特徵的特徵向量 z _m,j與第j個時槽的對應特徵，如：前述A ⁽⁴⁾作為輸入，對數量較少的資料群施以較大權重產生該建模資料。

接著，處理單元101可使用建立之預測模型，將企業支援系統200的多種日誌資料持續輸入預測模型以預測企業支援系統200的未來行為，在此是以未來行為的一出現機率為其預測結果之實施態樣。舉例來說，可透過日誌資料分析是否存在並非由其他系統異常導致的首次系統異常（Leading System Error）。藉此，業者可在首次系統異常尚未導致多起接續系統異常（Consecutive System Error）時，即收悉精準且及時的異常警示。因此，由上述中可以得知，依照本實施例的系統異常預測方法，其可依據目前時槽的前一時槽的對應特徵分群分布抽取頻率特徵，而在系統異常狀態數量稀少的情況下，增加機器學習演算法的效能，並可預測未來系統異常的產生及預先提出警訊。

以上敍述依據本發明多個不同實施例，其中各項特徵可以單一或不同結合方式實施。因此，本發明實施方式之揭露為闡明本發明原則之具體實施例，應不拘限本發明於所揭示的實施例。進一步言之，先前敍述及其附圖僅為本發明示範之用，並不受其限囿。其他元件之變化或組合皆可能，且不悖于本發明之精神與範圍。

100　預測系統 101　處理單元 102　特徵資料庫 200　企業支援系統 201　使用者 202　網路 203　防火牆 204　網站前端單元 205　網站後端單元 206　中介服務單元 207　輕量級目錄存取協定 208　資料庫 S1, S2　步驟

圖1顯示依據本發明之一示例之一預測系統與其監測的監控之系統之功能方塊圖，預測系統適於應用如圖2顯示之系統異常預測方法。

圖2顯示依據本發明之一實施例之一系統異常預測方法之一流程圖。

圖3顯示依據本發明之一實施例之一系統異常預測方法進行子步驟S1-2之示範例的示意圖。

圖4顯示依據本發明之一實施例之一系統異常預測方法進行子步驟S1-3之示範例的示意圖。

S1, S2　步驟

Claims

一種系統異常預測方法，用於包括一處理單元之一預測系統，該預測系統預測並警示一監控之系統的異常，該系統異常預測方法包括下列步驟：以該處理單元，預處理包括分布在多個時槽中的多個資料點的訓練資料，以對該些時槽的每個時槽的該些資料點產生對應特徵，並對該些時槽的每個時槽依據各目前時槽的前一時槽的對應特徵分群分布抽取頻率特徵，其中該訓練資料來自該監控之系統之多種日誌資料，各該種日誌資料依時間順序紀錄該監控之系統中的一特定實體單元的狀態；及以該處理單元，使用機器學習演算法，利用來自該對應特徵及該頻率特徵之建模資料作為輸入以建立一預測模型，用以預測並警示該監控之系統的未來異常。
如申請專利範圍第1項所述的系統異常預測方法，其中該訓練資料為一不平衡的資料組合，包括兩類數量差異超過10倍的資料群。
如申請專利範圍第2項所述的系統異常預測方法，其中對每個時槽的資料點產生對應特徵之該步驟更包括：增加數量較少的資料群的權重；及選取該訓練資料中的前A個高重要度的特徵及該訓練資料中的前B個高離散性的特徵以產生該對應特徵。
如申請專利範圍第1項所述的系統異常預測方法，其中對每個時槽依據各目前時槽的前一時槽的對應特徵分群分布抽取頻率特徵之該步驟更包括：使用一分群演算法計算該對應特徵的分布；對每個時槽依據各該時槽的前一時槽的該對應特徵分布抽取頻率特徵；正規化該頻率特徵；及將經正規化的該頻率特徵與對應特徵串聯。
如申請專利範圍第4項所述的系統異常預測方法，其中該分群演算法包括但不限下列之任一者：K-means分群演算法及高斯混合模型演算法。
如申請專利範圍第4項所述的系統異常預測方法，其中使用一分群演算法計算該對應特徵的分布之該步驟包括：若該目前時槽的該對應特徵非為離散特徵，使用該分群演算法計算該對應特徵的分布並將該對應特徵分類為c個群組；及若該目前時槽的該對應特徵為離散特徵，對該對應特徵的分群結果使用一位有效編碼將c類特徵轉換為c維度向量，該c維度向量包括c個子特徵，在第j個時槽的第m個子特徵以(b_0,m,j,b_1,m,j,...,b_c-1,m,j)表示，且b_k,m,j=I_{[xm,j屬於K群組]}，k=0,1,…,c-1，I為指標函數。
如申請專利範圍第6項所述的系統異常預測方法，其中對每個時槽依據各該時槽的前一時槽的該對應特徵分布抽取頻率特徵之該步驟包括：計算在一FFC滑動視窗內每個子特徵的平均數以抽取該頻率特徵，該目前時槽為第j個時槽時，該FFC滑動視窗包括第(j-v+1)、(j-v+2)…j個時槽，在第j個時槽的第m個特徵的該頻率特徵的特徵向量z _m,j=(z_0,m,j,z_1,m,j,z2_,m,j,...z_c-1,m,j)，
，且k=0,1,…,c-1。
如申請專利範圍第7項所述的系統異常預測方法，其中將經正規化的該頻率特徵與對應特徵串聯之該步驟包括：將該頻率特徵的特徵向量z _m,j與第j個時槽的對應特徵串聯。
如申請專利範圍第8項所述的系統異常預測方法，其中使用機器學習演算法，利用來自該對應特徵及該頻率特徵之建模資料作為輸入以建立一預測模型之該步驟包括：使用包括但不限於隨機森林演算法及支持向量機演算法之任一者的機器學習演算法，利用經串聯的該頻率特徵的特徵向量z _m,j與第j個時槽的對應特徵，對數量較少的資料群施以較大權重產生該建模資料。
如申請專利範圍第1項所述的系統異常預測方法，其中預處理包括分布在多個時槽中的多個資料點的訓練資料之該步驟更包括：將一預定資料填入該訓練資料中缺失的資料點；及以一預測視窗依時序切割來自該對應特徵及該頻率特徵之特徵向量以產生該建模資料。