TW202427232A - 資訊系統運作之預測與告警系統及方法、建模與訓練系統及方法及其電腦程式產品 - Google Patents
資訊系統運作之預測與告警系統及方法、建模與訓練系統及方法及其電腦程式產品 Download PDFInfo
- Publication number
- TW202427232A TW202427232A TW111149645A TW111149645A TW202427232A TW 202427232 A TW202427232 A TW 202427232A TW 111149645 A TW111149645 A TW 111149645A TW 111149645 A TW111149645 A TW 111149645A TW 202427232 A TW202427232 A TW 202427232A
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- prediction
- historical
- matrix
- vector
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012549 training Methods 0.000 title claims abstract description 60
- 238000004590 computer program Methods 0.000 title claims description 5
- 230000002159 abnormal effect Effects 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 255
- 239000013598 vector Substances 0.000 claims description 225
- 238000012795 verification Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 description 40
- 238000010586 diagram Methods 0.000 description 27
- 230000005856 abnormality Effects 0.000 description 11
- 238000009499 grossing Methods 0.000 description 5
- 101000827703 Homo sapiens Polyphosphoinositide phosphatase Proteins 0.000 description 3
- 102100023591 Polyphosphoinositide phosphatase Human genes 0.000 description 3
- 101100012902 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) FIG2 gene Proteins 0.000 description 3
- 101100233916 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR5 gene Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Alarm Systems (AREA)
Abstract
本發明提供一種資訊系統運作之預測與告警系統及方法,針對一系統數據的歷史資料,透過一建模訓練模組來決定一預測告警模組的最佳參數,使該預測告警模組基於該參數計算該系統數據的運作資料的一預測序列,並據以比對該預測序列與對應實際的運作資料,進而決定該系統數據對應實際的運作資料是否發生異常,而輸出一異常通知。
Description
本發明係有關一種預測與告警系統及方法,特別是一種對於資訊系統運作所產生的系統數據之預測與告警系統及方法,及其建模與訓練系統及方法。
隨著軟體技術突飛猛進與資通訊網路蓬勃發展的長足進步,企業營運的資訊系統也不斷地擴張,無論是伺服器、主機設備與網路通訊基礎建設等的正常運作,還是會計、工廠維運、客服通話服務等相關日常業務都是屬資訊系統的範疇。
對於資訊系統運作所產生的系統數據,習知預測與告警系統及方法多利用移動平均線與統計中的標準差方式來偵測系統數據中的異常狀況。由於該些方法沒有辦法考慮到週期性的因素,例如半夜關機,週末使用量變小等,若因上述等影響週期上的因素容易導致資訊系統運作時判斷錯誤,而誤將正常判斷為異常,會造成需耗費大量的工時進行修正或者排除異常的發生。在多數資訊系統中一旦判斷錯誤而發出錯誤的異常警訊,會導致要系統重啟或是人工排除異常,這將使企業營運蒙受損失與效率降低,此等問題來自於無法對資訊系統運作建立有效的預測與告警模型。
要建立有效的預測與告警模型,需要針對企業自身的營運數據與內部系統數據進行建模與訓練。因此,如何建立出能夠準確預測系統數據之預測與告警模型,為目前資訊產業亟待解決的重要問題。
有鑒於此,本發明的目的之一在於提供一種預測與告警系統及方法,能夠在資訊系統運作的系統數據中,透過深度學習之模型找出不符合預期模式的觀測值,並據以判斷為異常。
本發明的另一目的在於提供一種建模與訓練系統及方法,能夠針對企業自身的營運數據與內部系統數據進行建模與訓練,透過深度學習之模型找出一預測告警模組的最佳參數。
為達到上述發明目的,本發明提供一種資訊系統運作的預測與告警方法,包括以下步驟:由一輸出入模組從一資訊系統持續接收一系統數據儲存於一資料庫,該系統數據包含一具有時間序列的運作資料;以及由一預測告警模組執行以下程序:根據一數據數量n、一週期數量m以及一標準差倍數k的值,讀取該資料庫儲存的該運作資料,並根據一時點從該運作資料依序擷取多個m個週期的數據向量[nx1],每一數據向量[nx1]具有n個數據量元素,其中n、m為正整數,k的值為實數;依序將該多個m個週期的數據向量[nx1]進行:指派至一數據矩陣[nxm],根據該數據矩陣[nxm],生成一平均向量[nx1]與一標準差向量[nx1],再根據該平均向量[nx1]、該標準差向量[nx1]與該標準差倍數k的值以生成一預測向量[nx1];比對該多個預測向量[nx1]的數據元素與該運作資料在該時間序列的該多個對應週期的數據向量[nx1]的數據元素,以獲得一比對結果;以及,根據該比對結果,以決定是否通知該輸出入模組輸出一異常通知。
為達到上述發明目的,本發明復提供一種資訊系統運作之建模與訓練方法,包括以下步驟:由一輸出入模組從一資訊系統接收一系統數據儲存於一資料庫,該系統數據包含一具有時間序列的歷史資料;以及由一建模訓練模組執行以下程序:讀取該資料庫儲存的該歷史資料,並根據一歷史時點從該歷史資料依序擷取多個m個週期的歷史數據向量[nx1],每一歷史數據向量[nx1]具有n個數據元素,其中n、m為正整數;依序將該多個m個週期的歷史數據向量[nx1] 進行:指派至一歷史數據矩陣[nxm],根據該歷史數據矩陣[nxm],生成一歷史平均向量[nx1]與一歷史標準差向量[nx1],再根據該歷史平均向量[nx1]、該歷史標準差向量[nx1]與一歷史標準差倍數k生成一歷史預測向量[nx1],其中k的值為實數;比對該歷史預測向量[nx1]的數據元素與該歷史資料在該時間序列的該多個對應週期的歷史數據向量[nx1]的數據元素,以獲得一驗證結果;以及,根據該驗證結果,以決定該n、m以及k的值是否用於該系統數據的一運作資料之預測與告警。
為達到上述發明目的,本發明再提供一種電腦程式產品,用於一資訊系統的運作之預測與告警,經由一電腦系統載入該程式執行:使一處理器讀取一資料庫儲存的一系統數據,該系統數據包含該資訊系統的一具有時間序列的運作資料;使該處理器根據一時點從該運作資料依序擷取多個m個週期的數據向量[nx1],每一數據向量[nx1]具有n個數據元素,其中n、m為正整數;使該處理器依序將該多個m個週期的數據向量[nx1] 進行:指派至一數據矩陣[nxm],根據該數據矩陣[nxm],生成一平均向量[nx1]與一標準差向量[nx1],再根據該平均向量[nx1]、該標準差向量[nx1]與一標準差倍數k的值以生成一預測向量[nx1],其中k的值為實數;使該處理器比對該運作資料在該時間序列的該多個對應週期的數據向量[nx1]的數據元素與該預測向量[nx1]的數據元素,以獲得一比對結果;以及,使該處理器根據該比對結果,決定是否通知一輸出入模組輸出一異常通知。
為達到上述發明目的,本發明更提供一種電腦程式產品,用於一資訊系統的運作之建模與訓練,經由一電腦系統載入該程式執行:使一處理器讀取一資料庫儲存的一系統數據,該系統數據包含該資訊系統的一具有時間序列的歷史資料;使該處理器根據一歷史時點從該歷史資料依序擷取多個m個週期的歷史數據向量[nx1],每一歷史數據向量[nx1]具有n個數據元素,其中n、m為正整數;使該處理器依序將該多個m個週期的歷史數據向量[nx1] 進行:指派至一歷史數據矩陣[nxm],根據該歷史數據矩陣[nxm],生成一歷史平均向量[nx1]與一歷史標準差向量[nx1],再根據該歷史平均向量[nx1]、該歷史標準差向量[nx1]與一歷史標準差倍數k以生成一歷史預測向量[nx1],其中k的值為實數;比對該歷史預測向量[nx1]的數據元素與該歷史資料在該時間序列的該對應週期的歷史數據向量[nx1] 的數據元素,以獲得一驗證結果;以及,使該處理器根據該驗證結果,以決定該n、m以及k的值是否用於該系統數據的一運作資料之預測與告警。
為達到上述發明目的,本發明又提供一種資訊系統運作之預測與告警系統,包含:一資料庫,儲存一資訊系統的一系統數據,該系統數據包含一具有時間序列的運作資料;一輸出入模組,連接該資訊系統與該資料庫,並從該資訊系統接收該系統數據;以及一預測告警模組,連接該輸出入模組與該資料庫,並執行:根據一數據週期n、一週期數量m以及一標準差倍數k的值,讀取該資料庫儲存的該運作資料,並根據一時點從該運作資料依序擷取多個m個週期的數據向量[nx1],每一數據向量[nx1]具有n個數據元素,其中n、m為正整數,k的值為實數;依序將該多個m個週期的數據向量[nx1]進行:指派至為一數據矩陣[nxm],根據該數據矩陣[nxm],生成一平均向量[nx1]與一標準差向量[nx1],再根據該平均向量[nx1]、該標準差向量[nx1]與該標準差倍數k的值以生成一預測向量[nx1];比對該預測向量[nx1]的數據元素與該運作資料在該時間序列的該對應週期的數據向量[nx1]的數據元素,以獲得一比對結果;以及,根據該比對結果,以決定是否通知該輸出入模組輸出一異常通知。
為達到上述發明目的,本發明又提供一種資訊系統運作之建模與訓練系統,包含:一資料庫,儲存一資訊系統的一系統數據,該系統數據包含一具有時間序列的歷史資料;以及一建模訓練模組,連接該資料庫,並執行:讀取該資料庫儲存的該歷史資料,並根據一歷史時點從該歷史資料依序擷取多個m個週期的歷史數據向量[nx1],每一歷史數據向量[nx1]具有n個數據元素,其中n、m為正整數;依序將該多個m個週期的歷史數據向量[nx1] 進行:指派至一歷史數據矩陣[nxm],根據該歷史數據矩陣[nxm],生成一歷史平均向量[nx1]與一歷史標準差向量[nx1],再根據該歷史平均向量[nx1]、該歷史標準差向量[nx1]與一歷史標準差倍數k以生成一歷史預測向量[nx1],其中k的值為實數;比對該歷史預測向量[nx1]的數據元素與該歷史資料在該時間序列的該對應週期的歷史數據向量[nx1] 的數據元素,以獲得一驗證結果;以及根據該驗證結果,以決定該n、m以及k的值是否用於該系統數據的一運作資料之預測與告警。
綜上所述,根據本發明所實施的預測與告警系統及方法,及其建模與訓練系統及方法,利用一建模訓練模組透過系統數據的歷史資料來計算一歷史預測向量,據以驗證出適用於一預測告警模組的最佳參數,達到更準確的預測與告警率;而該最佳參數供該預測告警模組透過系統數據的運作資料來計算一預測向量,據以比對實際的運作資料判斷是否發生異常,而決定是否輸出一異常通知。此外,本發明利用卷積運算與適配之遮罩矩陣設計而獲得一平滑預測序列,可降低預測異常的敏感度以增加系統運作穩定度。
此外,本發明係可針對資訊系統的運作產生之大量系統數據進行處理,例如:營運數據包含有即時訂單數GMV(Gross Merchandise Volume)、營業額、消費金額、上線人數、PV(Page View)、RV(Repeat Visitors)、UV(Unique Visitor)、IP數、流量來源、地區、使用裝置、使用者瀏覽事件、服務網站或應用程式操作行為、客服通話記錄…等;內部系統數據包含有系統LOG、基礎設施運行資料、系統指標如:CPU、記憶體用量、I/O數(Read/Write PS)、網路流出/入量、封包流出/入量、彈性開啟的機器/叢集數量、Swap數、QPS(Queries Per Second)、 RPS、DB連線數、機器回應時間…等。
以下藉由特定的具體實施例加以說明本發明之實施方式。
首先請參考圖1,係顯示本發明資訊系統運作之預測與告警系統的架構圖。本發明預測與告警系統與外部的資訊系統1通訊連線,以讀取該資訊系統1的系統數據資料庫2所儲存的系統數據。該系統數據包含該資訊系統1運作所產生的歷史資料與近期的運作資料。本發明預測與告警系統與方法可以根據該系統數據的歷史資料進行建模與訓練,來決定預測與告警該運作資料是否發生異常狀況的最佳參數,例如:系統數據所具有的週期性與標準差倍數。
在本發明的一種實施例中,一種資訊系統運作之預測與告警系統包含一輸出入模組3、一預測告警資料庫4、一預測告警模組5以及一建模訓練模組6,其中該輸出入模組3向連線資訊系統1以讀取系統數據資料庫2所儲存的系統數據,並將系統數據存入該預測告警資料庫4中。該建模訓練模組6從該預測告警資料庫4讀取系統數據的一具有時間序列的歷史資料。該建模訓練模組6執行如圖5所示本發明建模與訓練方法,基於該系統數據的歷史資料以驗證出適用於該預測告警模組5的最佳參數,使該預測告警模組5達到更準確的預測與告警效率。在較佳實施例中,該最佳參數包含一數據週期n值、一週期數量m值以及一標準差倍數k值。
在本發明的實施例中,該預測告警模組5從該建模訓練模組6獲得該最佳參數的n值、m值以及k值,並據以從該預測告警資料庫4讀取系統數據的一具有時間序列的運作資料。該預測告警模組5執行如圖2所示本發明預測與告警方法,以計算出該運作資料的一預測序列,並據以比對該預測序列與對應實際的運作資料,進而決定該系統數據對應實際的運作資料是否發生異常,而輸出一異常通知,以告知相關人員進行即時處理。
請配合圖1參考圖2、圖3與圖4,該圖2顯示本發明系統運作之預測與告警方法的流程圖,該圖3顯示本發明資訊系統運作之預測與告警方法依時間序列依序指派至數據矩陣以求出平滑預測矩陣,據以進行比對之示意圖,而該圖4顯示本發明資訊系統運作之預測與告警方法依時間序列自p週期起的運作資料與預測序列進行比對的示意圖。在本發明的實施例中,圖2所示流程圖由該預測告警模組5所執行。本發明預測與告警方法包含:步驟S101,該輸出入模組3從一資訊系統之系統數據資料庫2讀取系統數據,該系統數據包含一具有時間序列的運作資料,如圖4所示。
步驟S102,該預測告警模組5決定一數據週期n、一週期數量m與一標準差倍數k,其中n值、m值以及k值為建模訓練模組6所提供的最佳參數值,且n、m的值為正整數,k的值為實數。接著步驟S103,參考圖3,該預測告警模組5根據時間序列的一時點從該運作資料擷取nxm個數據元素的一數據量,並將該數據量分割為m個週期的數據向量[nx1],每一數據向量[nx1]具有n個數據元素,並將該等m個數據向量[nx1]依時間序列指派至一數據矩陣
X[nxm],如圖4所示。該數據矩陣
X[nxm]可由以下式子表示:
步驟S104,該預測告警模組5根據該數據矩陣
X[nxm],計算獲得一平均向量
[nx1]與一標準差向量
[nx1]。該平均向量
與該標準差向量
可由以下式子計算獲得:
,
,
,
,
步驟S105,參考圖3,該預測告警模組5再根據該平均向量
[nx1]、該標準差向量
[nx1]與該標準差倍數k的值以計算獲得一預測向量
[nx1]。該預測向量
[nx1] 可由以下式子計算獲得:
在本發明之另一實施例中,亦可藉由將該平均向量
[nx1]加上或減去該標準差向量
[nx1]與該標準差倍數k的值之積,並依照不同情境,能夠調整所取用的範圍,例如預測一上限值、或下限值、或一區間。
步驟S106,請同時參考圖3與圖4,該預測告警模組5將該時點後第2週期至第m+1個週期起的m個週期的數據向量依序指派至該數據矩陣
X[nxm]。每一次將回到步驟S104與步驟S105,根據新指派之該數據矩陣
X[nxm]計算一平均向量
[nx1]與一標準差向量
[nx1],據此進一步依序生成多個預測向量
[nx1]。
詳細而言,該等預測向量
[nx1]可用於監督該運作資料在該時間序列的一對應週期的運行狀況。在本發明中,該對應週期之起始時間點可依使用情況選擇,例如緊接著前述所取之該等運作資料之下一個週期、或下一年的相同時間點、或使用者使用期間的相應時點等,根據不同使用情境調整該對應關係,使該預測向量
[nx1]用於監督該運作資料在該對應週期的運行狀況;換言之,參考圖4,該預測告警模組5以多個m個週期的數據量來預測其對應週期的預測值,每個週期以一個向量[nx1]表示。
步驟S107,再次參考圖3,該預測告警模組5以多個預測向量
[nx1]生成一預測矩陣
Y。接著步驟S108,參考圖3,該預測告警模組5將該預測矩陣
Y根據一遮罩矩陣M,對該預測矩陣
Y進行卷積運算,透過卷積運算將該預測矩陣
Y進行平滑化,以獲得一平滑預測矩陣。關於根據一遮罩矩陣M對該預測矩陣
Y進行卷積運算與依時間序列展開之預測序列
S之運算方式,其中預測矩陣
Y與平滑化預測序列
S的第一個週期係該運作資料在時間序列上的該對應週期,將在後面的圖9A與圖9B進一步詳細說明卷積運算。
因此,該多個數據矩陣
X[nxm]便經步驟S104到步驟S108,以生成該預測矩陣
Y與平滑預測序列
S。該預測告警模組5將該第2週期至第m+1個週期的m個數據向量[nx1]依時間序列指派至該數據矩陣
X[nxm],由所取數據而言,可視為將第1個週期的數據向量[nx1]從該數據矩陣
X[nxm]移除,依時間序列組合第2個週期至第m+1個週期的數據向量[nx1] 成為該數據矩陣
X[nxm],依此類推。所以,每次用於計算之數據矩陣
X[nxm]都是維持相同尺寸[nxm]。如圖4所示,該數據矩陣
X[nxm]是以m個週期為移動視窗,據以逐次計算出下一個週期的預測向量
[nx1],再經平滑化預測矩陣
Y而展開為平滑預測序列
S,其中預測矩陣
Y與平滑化預測序列
S的第一個週期係該運作資料在時間序列上的該對應週期。在本發明的實施例中,步驟S106,係確認該預測矩陣
Y可包含數個或足夠多的預測向量
[nx1]後,才進行步驟S107、步驟108以對該預測矩陣
Y進行卷積運算,進而獲得一平滑預測矩陣,再依時間序列展開為預測序列
S。
步驟S109,該預測告警模組5依時間序列,比對該系統數據在該時間序列的該對應週期起的運作資料與該平滑預測序列
S。平滑化該預測矩陣展開的預測序列
S與該系統數據對應週期的運作資料的進行比對,以獲得一比對結果。
步驟S110,該預測告警模組5監督該系統數據是否發生異常。若將平滑預測矩陣展開的預測序列與該匹配之運作資料進行比對,判斷為異常發生時,則執行步驟S111,參考圖4,例如第p+1個週期時運作資料出現高於預測序列
S之值發生時,則判斷為異常發生。在步驟S111,該預測告警模組5透過該輸出入模組3發出一異常通知並將此異常通知記錄於該預測告警資料庫4。
圖3為顯示本發明系統運作之預測與告警方法,關於步驟S104到S108依時間序列多次指派至數據矩陣以求出平滑預測矩陣,據以進行比對之示意圖。在本實施例中該預測告警模組會進一步執行以下程序:讀取該預測告警資料庫所儲存的該運作資料在該時點的第2週期至第m+1個週期的數據向量[nx1],將該第2週期至第m+1個週期的數據向量[nx1]依時間序列指派至該數據矩陣
X[nxm];根據指派後的該數據矩陣
X[nxm],計算該對應週期的下一個週期(即第p+1個週期)的預測向量[nx1]。依此類推,讀取該預測告警資料庫儲存的該運作資料,依時間序列將第3週期至第m+2個週期起的m個週期的數據向量[nx1]依序指派至該數據矩陣
X[nxm]以計算獲得多個預測向量[nx1]。因此,依時間序列生成該對應週期起的多個預測向量[nx1] 而獲得一預測矩陣
Y,根據一遮罩矩陣M,對該預測矩陣
Y進行卷積運算,以獲得一平滑預測矩陣,由該平滑預測矩陣展開的平滑預測序列
S可對應該運作資料在該對應週期起的數據向量[nx1];以及比對該運作資料在該時間序列的該對應週期起的一或多個數據元素與該平滑預測序列
S的一或多個數據元素,以獲得該比對結果。
圖4為顯示本發明系統運作之預測與告警方法依時間序列自p週期起的運作資料與平滑預測矩陣展開的預測序列
S進行比對之一示意圖。在本實施例中該預測告警模組根據該數據矩陣
X[nxm],計算獲得一平均向量
[nx1]與一標準差向量
[nx1],再根據該平均向量
[nx1]、該標準差向量
[nx1]與該標準差倍數k的值以計算獲得一預測向量
[nx1],該預測向量
[nx1] 用於監督該運作資料在該時間序列的一對應週期p的狀況; 比對該運作資料在該時間序列的該對應週期的數據向量[nx1]的數據元素與該預測向量
[nx1]的數據元素,以獲得一比對結果,計算之該平滑預測矩陣展開的預測序列
S的數據元素與該運作資料對應的數據元素進行比對,根據該比對結果,以決定是否通知該輸出入模組輸出一異常通知。
請配合圖1並參考圖5、圖6與圖7A,該圖5顯示本發明系統運作之建模與訓練方法的流程圖,該圖6顯示本發明資訊系統運作之建模與訓練方法依時間序列多次指派至歷史數據矩陣以求出平滑歷史預測矩陣,據以進行比對之示意圖,而該圖7A顯示本發明資訊系統運作之建模與訓練方法的一種實施例,依時間序列自p週期起的歷史資料與歷史預測序列進行比對的示意圖。在本發明的實施例中,圖5所示流程圖由該建模訓練模組6所執行。本發明建模與訓練方法包含:步驟S201,該輸出入模組3從一資訊系統之系統數據資料庫2讀取系統數據,該系統數據包含一具有時間序列的歷史資料,如圖7A所示。
在預測告警資料庫4中存有事先選定的參數,該參數包含一數據週期n、一週期數量m以及一標準差倍數k,且事先決定各參數的值域,其中n、m的值為正整數,k的值為實數,該建模訓練模組6將基於所有參數的值域進行建模與訓練。
步驟S202,該建模訓練模組6 從各自的值域選擇n、m及k值的組合。接著步驟S203,參考圖6,該建模訓練模組6根據步驟S202選擇n、m及k值的組合,而根據時間序列的一歷史時點從該歷史資料擷取nxm個歷史數據元素的一數據量,並將該數據量分割為m個週期的歷史數據向量[nx1],每一歷史數據向量[nx1]具有n個歷史數據元素,並將該等m個歷史數據向量[nx1]依時間序列指派至一歷史數據矩陣
X[nxm],如圖7A所示。該歷史數據矩陣
X[nxm]可由以下式子(1)表示:
(1)
步驟S204,該建模訓練模組6根據該歷史數據矩陣
X[nxm],計算獲得一歷史平均向量
[nx1]與一歷史標準差向量
[nx1]。該歷史平均向量
與該歷史標準差向量
可由以下式子計算獲得:
,
,
,
,
步驟S205,參考圖6,該建模訓練模組6再根據該歷史平均向量
[nx1]、該歷史標準差向量
[nx1]與該標準差倍數k的值以計算獲得一歷史預測向量
[nx1]。該歷史預測向量
[nx1] 可由以下式子計算獲得:
在本發明之另一實施例中,亦可藉由將該歷史平均向量
[nx1]加上或減去該歷史標準差向量
[nx1]與該標準差倍數k的值之積,並依照不同情境,能夠調整所取用的範圍,例如預測一上限值、或下限值、或一區間。
步驟S206,請同時參考圖6、與圖7A,該建模訓練模組6將該時點後第2週期至第m+1個週期起的m個週期的數據向量依序指派至該歷史數據矩陣
X[nxm]。每一次將回到步驟S204與步驟S205,根據新指派之該歷史數據矩陣
X[nxm]計算一歷史平均向量
[nx1]與一歷史標準差向量
[nx1],據此進一步依序生成多個歷史預測向量
[nx1]。
詳細而言,該等歷史預測向量
[nx1]可分別用於判斷該歷史資料在該時間序列的一對應週期的歷史狀況。在本發明中,該等對應週期之起始時間點可依使用情況選擇,例如緊接著前述所取之該等歷史資料之下一個週期、或該歷史資料之時間序列上之下一年的相同時間點、或使用者使用期間的相應時點等,根據不同使用情境調整該對應關係,使該預測向量
[nx1]用於判斷該歷史資料在該歷史時點的對應週期的狀況;換言之,參考圖7A,該建模訓練模組6以多個m個週期的數據量來訓練其歷史對應週期的歷史預測值,每個週期以一個向量[nx1]表示。
步驟S207,再次參考圖6,該建模訓練模組6以多個歷史預測向量
[nx1]生成一歷史預測矩陣
Y。接著步驟S208,參考圖6,該建模訓練模組6將該歷史預測矩陣
Y根據一遮罩矩陣M,對該歷史預測矩陣
Y進行卷積運算,透過卷積運算將該歷史預測矩陣
Y進行平滑化,以獲得一平滑歷史預測矩陣。關於根據一遮罩矩陣M對該歷史預測矩陣
Y進行卷積運算與依歷史預測矩陣展開之歷史預測序列
S之運算方式,其中歷史預測矩陣
Y與平滑化歷史預測序列
S的第一個週期係該歷史資料在時間序列上的該對應週期,將在後面的圖9A與圖9B進一步詳細說明卷積運算。
因此,該多個歷史數據矩陣
X[nxm]經步驟S204到步驟S208的計算,以更新該歷史預測矩陣
Y與平滑歷史預測矩陣
S。該建模訓練模組6將該第2週期至第m+1個週期的歷史數據向量[nx1]依時間序列指派至該歷史數據矩陣
X[nxm],由所取數據而言,可視為將第1個週期的歷史數據向量[nx1]從該歷史數據矩陣
X[nxm]移除,依時間序列組合第2個週期至第m+1個週期的歷史數據向量[nx1] 成為該歷史數據矩陣
X[nxm],依此類推。所以,每次用於計算之歷史數據矩陣
X[nxm]都是維持相同尺寸[nxm]。如圖7A所示,該歷史數據矩陣
X[nxm]是以m個週期為移動視窗,據以逐次計算出下一個週期的歷史預測向量
[nx1],再經平滑化歷史預測矩陣
Y而展開為平滑歷史預測序列
S。在本發明的實施例中,步驟S206,係確認該預測矩陣
Y包含數個或足夠多的歷史預測向量
[nx1]後,才進行步驟S207、步驟S208以對該歷史預測矩陣
Y進行卷積運算,進而獲得一平滑歷史預測矩陣,再依時間序列展開為歷史預測序列
S。
步驟S209,該建模訓練模組6依時間序列,比對該系統數據在該時間序列的該對應週期起的歷史資料與該平滑歷史預測序列
S。平滑化該歷史預測矩陣展開的歷史預測序列
S與該系統數據對應週期的歷史資料進行比對,以獲得一驗證結果。接著步驟S210,該建模訓練模組6將其平滑化該歷史預測矩陣展開的歷史預測序列
S與該系統數據對應週期的歷史資料進行比對後之該驗證結果之該數據週期n、該週期數量m與該標準差倍數k之值的組合紀錄於預測告警資料庫4中。
進行步驟S211,該建模訓練模組6判斷各參數的既定值域內所有的n、m及k值的組合是否都已計算完成;若各參數的值域內n、m及k值還有未計算的組合,則再次執行步驟S202到S210;若各參數的值域內n、m及k值的所有組合都已計算完成,則執行步驟S212。各參數的值可以隨機選取或以迭代如網格搜索(grid search)選取;亦即可事先不對週期數量m做分析。步驟S212,該建模訓練模組6將根據紀錄的驗證結果來決定數據週期n、該週期數量m與該標準差倍數k之最佳值,以提供給預測告警模組5,進一步執行如圖2之系統運作之預測與告警方法。稍後,將配合圖7A與圖7B說明不同實施例的驗證方式,來決定數據週期n、該週期數量m與該標準差倍數k等參數之最佳值。
圖6為顯示本發明系統運作之建模與訓練方法,關於步驟S202到S210的驗證結果,依時間序列多次指派至歷史數據矩陣以求出平滑歷史預測矩陣,據以進行比對之示意圖。在本實施例中,該建模訓練模組6會進一步執行以下程序:讀取該預測告警資料庫4所儲存的該歷史資料在該時點的第2週期至第m+1個週期的歷史數據向量[nx1],將該第2週期至第m+1個週期的歷史數據向量[nx1]依時間序列指派至該歷史數據矩陣
X[nxm];根據指派後的該歷史數據矩陣
X[nxm],計算該對應週期的下一個週期(即第p+1個週期)的歷史預測向量[nx1]。依此類推,讀取該預測告警資料庫4儲存的該歷史資料,依時間序列分別將第3週期至第m+2個週期起的m個週期的歷史數據向量[nx1]依序指派至該歷史數據矩陣
X[nxm]以計算獲得多個歷史預測向量[nx1]。因此,依時間序列組合該對應週期起的多個歷史預測向量[nx1] 而獲得一歷史預測矩陣
Y,根據一遮罩矩陣M,對該歷史預測矩陣
Y進行卷積運算,以獲得一平滑歷史預測矩陣,由該平滑預測矩陣展開的平滑預測序列
S可對應該歷史資料在該對應週期起的數據向量[nx1];以及比對該歷史資料在該時間序列的該對應週期起的一或多個歷史數據元素與該平滑歷史預測矩陣
S的一或多個數據元素,以獲得該驗證結果。
請參考圖7A與圖7B,分別顯示本發明不同實施例的驗證方式,來決定數據週期n、該週期數量m與該標準差倍數k等參數之最佳值。如圖7A所示本發明一種實施例的系統運作之建模與訓練方法,該時間序列的一對應週期為該歷史時點的p週期,在步驟S209依歷史時點自p週期起的歷史資料與平滑歷史預測矩陣展開的平滑歷史預測序列
S進行比對,其比對方式是以兩者對應數據元素之間的均方根誤差(Root Mean-Square Error,簡稱RMSE)為驗證結果,其值越小表示建模與訓練之n、m及k值越準確。因此,步驟S212將從步驟S210的記錄中獲得所有的驗證結果,選出自p週期起歷史資料與平滑歷史預測序列
S之間差異最小者(即最小均方根誤差),即兩者的密合度最佳,便將據以計算出該平滑歷史預測序列
S的n、m及k值的組合作為參數的最佳值。
如圖7B所示本發明另一種實施例的系統運作之建模與訓練方法,在該時間序列的一對應週期為該歷史時點的p週期,則利用自p週期起以歷史資料之歷史異常來驗證該組n、m、k值所計算的歷史預測序列
S進行比對。在步驟S204,根據該歷史時點自p週期起的該歷史資料具有一已知的歷史異常;在步驟S209依歷史時點自p週期起的歷史資料與平滑歷史預測矩陣展開的平滑歷史預測序列
S進行比對,其比對方式是以歷史異常的數據元素超出平滑歷史預測序列
S為驗證結果。因此,步驟S212將從步驟S210的記錄中獲得所有的驗證結果,選出自p週期起歷史資料的歷史異常能夠準確地被平滑歷史預測序列
S所檢出者,便將據以計算出該平滑歷史預測序列
S的n、m及k值的組合作為參數的最佳值。
請參考圖8A與圖8B,分別顯示本發明另一實施例之建模與訓練方法以及預測與告警方法的示意圖。在本發明另一實施例中,建模與訓練方法是基於批次歷史資料量來建模與訓練,例如:以5月歷史資料量來組成歷史數據矩陣,據以計算獲得的一歷史預測向量,而該歷史預測向量用於判斷該歷史資料在6月歷史資料量的一對應週期的歷史狀況,而獲得數據週期n、該週期數量m與該標準差倍數k等參數之最佳值。基於數據週期n、該週期數量m與該標準差倍數k等參數之最佳值,預測與告警方法是基於批次運作資料量來預測與監督,例如:以5月運作資料量來組成數據矩陣,據以計算獲得的一預測向量,而該預測向量用於監督6月運作資料量的該對應週期的運行狀況,據以監督6月運作資料量是否發生異常。
圖8A為本發明另一實施例之資訊系統運作之建模與訓練方法,依時間序列自一對應週期起基於批次歷史資料量與該組n、m、k值所計算的歷史預測序列之密合度進行驗證的示意圖。以5月歷史資料量來組成歷史數據矩陣並以6月歷史資料量來驗證為例,可參考圖5,在步驟S202選擇n、m以及k的值後,步驟S203根據5月歷史資料量的第1個至第m個週期的數據向量,來組合成為一歷史數據矩陣。經步驟S204與步驟S205,計算獲得一歷史預測向量,並且在步驟S206自5月歷史資料量的第m+1個週期起依序將一數據向量逐次指派至該歷史數據矩陣,進而獲得一歷史預測矩陣。其中,該歷史預測矩陣用於判斷該歷史資料在6月歷史資料量的一對應週期起的歷史狀況,而該對應週期可為6月歷史資料量的第1個週期,或第1到第m之間的中間週期或第m個週期。因此,藉由該對應週期的不同實施例,可評估步驟S202選擇n、m以及k的值所獲得的平滑歷史預測序列與6月歷史資料量的密合度進行驗證,以決定n、m以及k的最佳值。
圖8B為本發明另一實施例之資訊系統運作之預測與告警方法,依時間序列自一批次運作資料量的一對應週期起的運作資料與預測序列進行比對的示意圖。以5月運作資料量來組成數據矩陣以監督6月運作資料量為例,可參考圖2,在步驟S102決定n、m以及k的值後,步驟S103根據5月運作資料量的第1個至第m個週期的數據向量,來組合成為一數據矩陣。經步驟S104與步驟S105,計算獲得一預測向量,並且在步驟S107自5月運作資料量的第m+1個週期起依序將一數據向量逐次指派至該數據矩陣,進而獲得一預測矩陣。其中,該預測矩陣用於監督6月運作資料量的一對應週期起的運作狀況是否發生異常,而該對應週期可為6月運作資料量的第1個週期,或第1到第m之間的中間週期或第m個週期。換言之,在本發明另一實施例中,由5月運作資料量的第1個至第m個週期的數據向量,來預測6月運作資料量的第1個週期,或第1到第m之間的中間週期或第m個週期的數據向量。該對應週期可由建模訓練模組6評估n、m以及k的最佳值時所決定。
接下來參考圖9A與圖9B,將說明圖2所示流程之步驟S108與圖5所示流程之步驟S208,關於根據一遮罩矩陣M對該預測矩陣
Y進行卷積運算與依時間序列展開之預測序列
S。圖9A為顯示本發明方法根據一遮罩矩陣M,對預測矩陣的元素
進行卷積運算之示意圖;圖9B為顯示圖9A所示預測矩陣依時間序列展開之預測序列,在元素
的卷積運算的計算範圍內各關聯週期的數據與遮罩矩陣M的各元素對應之示意圖。該運算如圖9A所示,以n=6,預測矩陣
Y的第7、8、9週期的預測向量為例,而該遮罩矩陣M如以下式子為例:
在本發明的此一實施例,遮罩矩陣M的設計為一上下三角對稱的矩陣,且左上三角與左下三角的權重值為0,其餘權重值為非零值。非零數值的排列形狀為一三角形,以最後一行之中心為最大值,向左方及上下方遞減。由於卷積運算最後是取平均值,因此權重值之權重大小與範圍皆沒有限定;權重設越大,最後加權的總數也越大,除以的值也越大。
詳細而言,遮罩矩陣M[axb]係預先設計,其寬度b約為欲進行卷積運算之預測矩陣
Y之寬度的1/2,其中之非零數值的排列形狀為:以矩陣第b行為底、且高為b之三角形狀,並以第b行之一元素作為卷積運算時與預測矩陣
Y對準之對準位置,該對準位置最佳係於該行之中心,且其為該等非零數值中之最大值,可設為b/2,並不限定為整數,其他非零數值則自該對準位置向左方及上下方遞減,且遞減之差不限於1。此外,遮罩矩陣M[axb]亦可利用機器學習來獲得較佳之尺寸。
圖9A所示該遮罩矩陣M具有一對準位置7。當該遮罩矩陣M對預測矩陣
Y進行卷積運算,係以該遮罩矩陣M的對準位置7逐一對準預測矩陣
Y的每一元素進行運算後即可得到一平滑預測矩陣。例如,該遮罩矩陣M對預測矩陣
Y的元素
進行卷積運算的計算範圍8,包含該遮罩矩陣M對預測矩陣
Y的重疊元素。元素
進行卷積運算如以下式子表示:
上述式子僅為圖9A一計算之實施例,遮罩矩陣M對預測矩陣
Y的計算會根據重疊元素不同而有不同計算之重疊,係以該遮罩矩陣M的對準位置7逐一對準預測矩陣
Y的每一元素進行運算後即可得到一平滑預測矩陣。此外,根據遮罩矩陣M的不同設計,其對準位置7也可以有不同位置,例如:圖9A所示對準位置7在
;或者亦可在
或
代表考慮待測時間點及該點在其他週期之對應時間點之前、後的影響。遮罩矩陣M的尺寸亦可嘗試不同大小。非零數值的權重值亦可僅有上半部三角形,代表不考慮待測時間點及該點在其他週期之對應時間點之後的影響。
請參考圖9B,當預測矩陣
Y依時間序列展開為預測序列時,第9週期之元素
即為預測矩陣
Y的元素
。當卷積運算的重疊元素都在預測矩陣
Y的前接續週期的範圍內時,如圖9A所示計算範圍8,該遮罩矩陣M與該預測矩陣的卷積運算,是基於該預測矩陣中該預測向量[nx1]關聯前接續週期的預測向量的影響。如圖9B所示,以預測序列了解卷積運算的計算範圍,該遮罩矩陣M的對準位置7對準預測序列的第9週期之元素
時,卷積運算是關聯前接續第7與第8週期,計算範圍包含前接續第7與第8週期的5個重疊元素。
因此,該些前接續週期的對應時點與對準位置7的時點之間的距離會依據預設的權重值進行遮罩矩陣M之處理。卷積計算的目的在於對預測序列作平滑化處理,避免導致系統偵測過於敏感而誤判,除了本身偵測到的數值(對準位置7所對應的元素)之外,另外參考縱軸前後時間單位的前後接續元素,以及前接續週期同時間點之對應元素依照不同的權重進行計算。
當該遮罩矩陣M對預測矩陣
Y的重疊元素超出預測矩陣
Y的前接續週期的範圍時,在本發明的不同實施例將有不同的計算範圍。在本發明的一種實施例中,該遮罩矩陣M與該預測矩陣的卷積運算,是基於該預測矩陣中該預測向量[nx1]關聯前接續週期或後接續週期的預測向量依該時間序列之接續數據的影響,其卷積運算的計算範圍包含計算關聯的前接續週期或後接續週期的預測向量之接續數據與該遮罩矩陣M之對應權重值之乘積,如圖10與圖12所示。在本發明的另一種實施例中,該遮罩矩陣M與該預測矩陣的卷積運算,是基於該預測矩陣中該預測向量不關聯前接續週期或後接續週期的預測向量依該時間序列之接續數據的影響,其卷積運算的計算範圍不包含計算關聯的前一個週期或後一個週期的預測向量之接續數據與該遮罩矩陣M之對應權重值之乘積,如圖11與圖13所示。
參考圖10,顯示當該遮罩矩陣M與預測矩陣的疊合超過週期範圍,以元素
與
的卷積運算為例,在本發明的一種實施例中,卷積運算關聯前接續週期或後接續週期的預測向量依該時間序列之接續數據的影響。當遮罩矩陣M對元素
進行卷積運算時,計算範圍8將包含前接續第6、7、8週期的接續數據
與
;當遮罩矩陣M對元素
進行卷積運算時,計算範圍8將包含後接續第8、9、10週期的接續數據
與
參考圖11,顯示當該遮罩矩陣M與預測矩陣的疊合超過週期範圍,以元素
與
的卷積運算為例,在本發明的另一種實施例中,卷積運算不關聯前接續週期或後接續週期的預測向量依該時間序列之接續數據的影響。當遮罩矩陣M對元素
進行卷積運算時,計算範圍8將不包含前接續第6、7、8週期的接續數據
與
;當遮罩矩陣M對元素
進行卷積運算時,計算範圍8將不包含後接續第8、9、10週期的接續數據
與
其中如圖10之矩陣遮罩M計算方式以理論上對於平滑處理能夠得到較準確的結果,但是由於其遮罩矩陣M與預測矩陣的疊合超過週期範圍,會導致計算量較多;其中,元素
進行卷積運算如以下式子表示:
上述式子僅為圖10一計算之實施例,遮罩矩陣M對預測矩陣
Y的計算會根據重疊元素不同而有不同計算之重疊,係以該遮罩矩陣M的對準位置逐一對準預測矩陣
Y的每一元素進行運算後即可得到一平滑預測矩陣。
相對應地,另一種方式如圖11之矩陣遮罩M計算方式將遮罩超出矩陣邊界的部分,則不予考慮計算,或給予零權重使其不影響計算,將計算範圍限縮,可以使計算量變小,又不會對於平滑處理的準確性產生足以影響判斷之差別;其中,元素
進行卷積運算如以下式子表示:
上述式子僅為圖11一計算之實施例,遮罩矩陣M對預測矩陣
Y的計算會根據重疊元素不同而有不同計算之重疊,係以該遮罩矩陣M的對準位置逐一對準預測矩陣
Y的每一元素進行運算後即可得到一平滑預測矩陣。
參考圖12,顯示若第7週期對應預測矩陣的第一個預測向量,該遮罩矩陣M對第一個預測向量進行卷積運算,以元素
與
的卷積運算為例,則該遮罩矩陣M與預測矩陣的疊合超過週期範圍。在本發明的一種實施例中,卷積運算關聯前接續週期或後接續週期的預測向量依該時間序列之接續數據的影響。當遮罩矩陣M對元素
進行卷積運算時,計算範圍8僅包含第7週期的疊合元素,並無前接續週期的接續數據;當遮罩矩陣M對元素
進行卷積運算時,計算範圍8將包含後接續第8週期的接續數據
與
,並無前接續週期的接續數據。
參考圖13,顯示若第7週期對應預測矩陣的第一個預測向量,該遮罩矩陣M對第一個預測向量進行卷積運算,以元素
與
的卷積運算為例,則該遮罩矩陣M與預測矩陣的疊合超過週期範圍。在本發明的另一種實施例中,卷積運算不關聯前接續週期或後接續週期的預測向量依該時間序列之接續數據的影響。當遮罩矩陣M對元素
進行卷積運算時,計算範圍8僅包含第7週期的疊合元素,並無前接續週期的接續數據;當遮罩矩陣M對元素
進行卷積運算時,計算範圍8將包含後接續第8週期的接續數據
與
,並無前接續週期以及後接續週期的接續數據。
參考圖14,顯示若將一週期性之預測矩陣
Y透過遮罩矩陣M進行卷積運算後,所形成之平滑預測矩陣展開之平滑預測序列S與進行卷積運算前之預測矩陣
Y展開之一對應圖表,將預測矩陣
Y展開後與經過平滑化卷積運算後展開之平滑化預測序列S,其縱軸變化幅度從而趨緩,其中預測矩陣
Y與平滑化預測序列
S的第一個週期係時間序列上的該對應週期。在本發明的另一種實施例中,平滑化預測序列S之縱軸值之變化幅度明顯低於預測矩陣
Y之展開,以達成卷積計算之目的,即對預測序列作平滑化處理,避免導致系統偵測過於敏感而誤判。
1:資訊系統
2:系統數據資料庫
3:輸出入模組
4:預測告警資料庫
5:預測告警模組
6:建模訓練模組
7:對準位置
8:計算範圍
X:數據矩陣/歷史數據矩陣
Y:預測矩陣/歷史預測矩陣
M:遮罩矩陣
S:平滑預測序列
圖1為本發明資訊系統運作之預測與告警系統的架構圖。
圖2為本發明資訊系統運作之預測與告警方法的流程圖。
圖3為本發明資訊系統運作之預測與告警方法依時間序列依序指派至數據矩陣以求出平滑預測矩陣,據以進行比對之示意圖。
圖4為本發明資訊系統運作之預測與告警方法依時間序列自p週期起的運作資料與預測序列進行比對的示意圖。
圖5為本發明資訊系統運作之建模與訓練方法的流程圖。
圖6為本發明資訊系統運作之建模與訓練方法依時間序列多次指派至該歷史數據矩陣以求出之平滑歷史預測矩陣,據以進行基於該組n、m、k值的驗證結果之示意圖。
圖7A為本發明資訊系統運作之建模與訓練方法自p週期起基於歷史資料與該組n、m、k值所計算的歷史預測序列之密合度進行驗證的示意圖。
圖7B為本發明資訊系統運作之建模與訓練方法自p週期起以歷史資料之歷史異常來驗證該組n、m、k值所計算的歷史預測序列的示意圖。
圖8A為本發明資訊系統運作之建模與訓練方法依時間序列自一對應週期起基於批次歷史資料量與該組n、m、k值所計算的歷史預測序列之密合度進行驗證的示意圖。
圖8B為本發明資訊系統運作之預測與告警方法依時間序列自一批次運作資料量的一對應週期起的運作資料與預測序列進行比對的示意圖。
圖9A為本發明方法根據一遮罩矩陣,對預測矩陣的元素
進行卷積運算之示意圖,其中該遮罩矩陣與預測矩陣的疊合未超過週期範圍。
圖9B為圖9A所示預測矩陣依時間序列展開之預測序列,在元素
的卷積運算的計算範圍內各關聯週期的數據與遮罩矩陣的各元素對應之示意圖,其中該對應關係均在一個週期內。
圖10為當該遮罩矩陣與預測矩陣的疊合超過週期範圍,以元素
與
的卷積運算為例,並考量預測向量關聯前、後接續週期的接續數據,其計算範圍包含遮罩矩陣的元素與接續數據對應之示意圖。
圖11為當該遮罩矩陣與預測矩陣的疊合超過週期範圍,以元素
與
的卷積運算為例,但不考量預測向量關聯前、後接續週期的接續數據,其計算範圍不包含遮罩矩陣的元素與接續數據對應之示意圖。
圖12為若第7週期對應預測矩陣的第一個預測向量,該遮罩矩陣對第一個預測向量進行卷積運算,以元素
與
的卷積運算為例,並考量預測向量關聯前、後接續週期的接續數據,其計算範圍包含遮罩矩陣的元素與接續數據對應之示意圖。
圖13為若第7週期對應預測矩陣的第一個預測向量,該遮罩矩陣對第一個預測向量進行卷積運算,以元素
與
的卷積運算為例,但不考量預測向量關聯前、後接續週期的接續數據,其計算範圍不包含遮罩矩陣的元素與接續數據對應之示意圖。
圖14為若將一週期性之預測矩陣
Y透過遮罩矩陣進行卷積運算後,所形成之平滑預測矩陣展開之平滑預測序列S與進行卷積運算前之預測矩陣
Y展開之一對應之示意圖。
S101~S111:步驟
Claims (10)
- 一種系統運作之預測與告警方法,包括以下步驟: 由一輸出入模組從一資訊系統持續接收一系統數據儲存於一資料庫,該系統數據包含一具有時間序列的運作資料;以及 由一預測告警模組執行以下程序: 根據一數據數量n、一週期數量m以及一標準差倍數k的值,讀取該資料庫儲存的該運作資料,並根據一時點從該運作資料依序擷取多個m個週期的數據向量[nx1],每一數據向量[nx1]具有n個數據元素,其中n、m為正整數,k的值為實數; 依序將該多個m個週期的數據向量[nx1]進行:指派至一數據矩陣[nxm],根據該數據矩陣[nxm],生成一平均向量[nx1]與一標準差向量[nx1],再根據該平均向量[nx1]、該標準差向量[nx1]與該標準差倍數k的值生成一預測向量[nx1]; 比對該多個預測向量[nx1]的數據元素與該運作資料在該時間序列的該多個對應週期的數據向量[nx1]的數據元素,以獲得一比對結果;以及 根據該比對結果,以決定是否通知該輸出入模組輸出一異常通知。
- 如請求項1所述之預測與告警方法,更包含由該預測告警模組執行以下程序: 依時間序列以該多個預測向量[nx1]生成一預測矩陣; 根據一遮罩矩陣,對該預測矩陣進行卷積運算,以生成一平滑預測序列;以及 比對該平滑預測序列的數據元素與該運作資料在該時間序列的該對應週期的數據元素,以獲得該比對結果。
- 如請求項2所述之預測與告警方法,其中在該卷積運算中,該遮罩矩陣[axb]包含a乘以b個遮罩元素; 該遮罩矩陣[axb]中,非零之該等遮罩元素係呈現以第b行為底、高為b之三角形,與該預測矩陣之一對準位置係位於第b行,且該等遮罩元素之值由該對準位置往該遮罩矩陣[axb]之上方、下方、及左方遞減;並且 該卷積運算之範圍,僅包含該遮罩矩陣[axb]對準該對準位置時與該遮罩矩陣[axb]有重疊的該預測矩陣之該等數據元素。
- 一種系統運作之建模與訓練方法,包括以下步驟: 由一輸出入模組從一資訊系統接收一系統數據儲存於一資料庫,該系統數據包含一具有時間序列的歷史資料;以及 由一建模訓練模組執行以下程序: 讀取該資料庫儲存的該歷史資料,並根據一歷史時點從該歷史資料依序擷取多個m個週期的歷史數據向量[nx1],每一歷史數據向量[nx1]具有n個數據元素,其中n、m為正整數; 依序將該多個m個週期的歷史數據向量[nx1]進行:指派至一歷史數據矩陣[nxm],根據該歷史數據矩陣[nxm],生成一歷史平均向量[nx1]與一歷史標準差向量[nx1],再根據該歷史平均向量[nx1]、該歷史標準差向量[nx1]與一歷史標準差倍數k以生成一歷史預測向量[nx1],其中k的值為實數; 比對該多個歷史預測向量[nx1]的數據元素與該歷史資料在該時間序列的該多個對應週期的歷史數據向量[nx1]的數據元素,以獲得一驗證結果;以及 根據該驗證結果,以決定該n、m以及k的值是否用於該系統數據的一運作資料之預測與告警。
- 如請求項4所述之建模與訓練方法,其中該建模訓練模組進一步執行以下程序: 依時間序列生成該多個歷史預測向量[nx1]而獲得一歷史預測矩陣; 根據一遮罩矩陣,對該歷史預測矩陣進行卷積運算,以獲得一平滑歷史預測序列;以及 比對該平滑歷史預測序列的數據元素與該歷史資料在該時間序列的該對應週期起的數據元素,以獲得該驗證結果。
- 如請求項5所述之建模與訓練方法,其中在該卷積運算中,該遮罩矩陣[axb]包含a乘以b個遮罩元素; 該遮罩矩陣[axb]中,非零之該等遮罩元素係呈現以第b行為底、高為b之三角形,與該歷史預測矩陣之一對準位置係位於第b行,且該等遮罩元素之值由該對準位置往該遮罩矩陣[axb]之上方、下方、及左方遞減;並且 該卷積運算之範圍,僅包含該遮罩矩陣[axb]對準該對準位置時與該遮罩矩陣[axb]有重疊的該歷史預測矩陣之該等數據元素。
- 如請求項4至6中任一項所述之建模與訓練方法,進一步包含以下程序:從n、m、k各自的值域選擇該n、m以及k的值,並驗證根據該選擇的n、m、k的值所生成之該歷史預測向量[nx1]的數據元素與該歷史資料對應的數據元素,並記錄該n、m、k的值;以及,從記錄之該n、m、k的值中,決定該n、m、k之最佳值提供給如請求項1所述之預測及告警方法之該預測告警模組對該系統數據的該運作資料之預測與告警。
- 一種電腦程式產品,用於一資訊系統的運作之預測與告警,經由一電腦系統載入該程式執行: 使一處理器讀取一資料庫儲存的一系統數據,該系統數據包含該資訊系統的一具有時間序列的運作資料; 使該處理器根據一時點從該運作資料依序擷取多個m個週期的數據向量[nx1],每一數據向量[nx1]具有n個數據元素,其中n、m為正整數; 使該處理器依序將該多個m個週期的數據向量[nx1]進行:指派至一數據矩陣[nxm],根據該數據矩陣[nxm],生成一平均向量[nx1]與一標準差向量[nx1],再根據該平均向量[nx1]、該標準差向量[nx1]與一標準差倍數k的值以生成一預測向量[nx1],其中k的值為實數; 使該處理器比對該多個預測向量[nx1]的數據元素與該運作資料在該時間序列的該多個對應週期的數據向量[nx1]的數據元素,以獲得一比對結果;以及 使該處理器根據該比對結果,決定是否通知一輸出入模組輸出一異常通知。
- 一種電腦程式產品,用於一資訊系統的運作之建模與訓練,經由一電腦系統載入該程式執行: 使一處理器讀取一資料庫儲存的一系統數據,該系統數據包含該資訊系統的一具有時間序列的歷史資料; 使該處理器根據一歷史時點從該歷史資料依序擷取多個m個週期的歷史數據向量[nx1],每一歷史數據向量[nx1]具有n個數據元素,其中n、m為正整數; 使該處理器依序將該多個m個週期的歷史數據向量[nx1]進行:指派至一歷史數據矩陣[nxm],根據該歷史數據矩陣[nxm],生成一歷史平均向量[nx1]與一歷史標準差向量[nx1],再根據該歷史平均向量[nx1]、該歷史標準差向量[nx1]與一歷史標準差倍數k生成一歷史預測向量[nx1],其中k的值為實數; 使該處理器比對該多個歷史預測向量[nx1]的數據元素與該歷史資料在該時間序列的該多個對應週期的歷史數據向量[nx1]的數據元素,以獲得一驗證結果;以及 使該處理器根據該驗證結果,以決定該n、m以及k的值是否用於該系統數據的一運作資料之預測與告警。
- 一種系統運作之預測與告警系統,包含: 一資料庫,儲存一資訊系統的一系統數據,該系統數據包含一具有時間序列的運作資料; 一輸出入模組,連接該資訊系統與該資料庫,並由從該資訊系統接收該系統數據;以及 一預測告警模組,連接該輸出入模組與該資料庫,並執行: 根據一數據週期n、一週期數量m以及一標準差倍數k的值,讀取該資料庫儲存的該運作資料,並根據一時點從該運作資料依序擷取多個m個週期的數據向量[nx1],每一數據向量[nx1]具有n個數據元素,其中n、m為正整數,k的值為實數; 依序將該多個m個週期的數據向量[nx1]進行:指派至一數據矩陣[nxm],根據該數據矩陣[nxm],生成一平均向量[nx1]與一標準差向量[nx1],再根據該平均向量[nx1]、該標準差向量[nx1]與該標準差倍數k的值生成一預測向量[nx1]; 比對該多個預測向量[nx1]的數據元素與該運作資料在該時間序列的該多個對應週期的數據向量[nx1]的數據元素,以獲得一比對結果;以及 根據該比對結果,以決定是否通知該輸出入模組輸出一異常通知。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111149645A TWI848481B (zh) | 2022-12-23 | 2022-12-23 | 資訊系統運作之預測與告警系統及方法、建模與訓練系統及方法及其電腦程式產品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW111149645A TWI848481B (zh) | 2022-12-23 | 2022-12-23 | 資訊系統運作之預測與告警系統及方法、建模與訓練系統及方法及其電腦程式產品 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202427232A true TW202427232A (zh) | 2024-07-01 |
TWI848481B TWI848481B (zh) | 2024-07-11 |
Family
ID=92929043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111149645A TWI848481B (zh) | 2022-12-23 | 2022-12-23 | 資訊系統運作之預測與告警系統及方法、建模與訓練系統及方法及其電腦程式產品 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI848481B (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10489716B2 (en) * | 2016-07-08 | 2019-11-26 | Intellergy, Inc. | Method for performing automated analysis of sensor data time series |
US11023896B2 (en) * | 2019-06-20 | 2021-06-01 | Coupang, Corp. | Systems and methods for real-time processing of data streams |
CN111897673B (zh) * | 2020-07-31 | 2022-10-21 | 平安科技(深圳)有限公司 | 运维故障根因识别方法、装置、计算机设备和存储介质 |
WO2022103738A1 (en) * | 2020-11-10 | 2022-05-19 | Globalwafers Co., Ltd. | Systems and methods for enhanced machine learning using hierarchical prediction and compound thresholds |
CN112561191B (zh) * | 2020-12-22 | 2024-02-27 | 北京百度网讯科技有限公司 | 预测模型的训练、预测方法、装置、设备、程序和介质 |
CN114595448B (zh) * | 2022-03-14 | 2022-09-27 | 山东省计算中心(国家超级计算济南中心) | 一种基于相关性分析和三维卷积的工控异常检测方法、系统、设备及存储介质 |
CN115456075A (zh) * | 2022-09-14 | 2022-12-09 | 中国电子科技集团公司第十研究所 | 一种目标行为异常预警的处理系统及方法 |
-
2022
- 2022-12-23 TW TW111149645A patent/TWI848481B/zh active
Also Published As
Publication number | Publication date |
---|---|
TWI848481B (zh) | 2024-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107808122B (zh) | 目标跟踪方法及装置 | |
JP6661052B2 (ja) | 時系列データ処理装置、時系列データ処理システムおよび時系列データ処理方法 | |
JP7007243B2 (ja) | 異常検知システム | |
JP6774636B2 (ja) | 異常分析方法、プログラムおよびシステム | |
CN109242135B (zh) | 一种模型运营方法、装置、及业务服务器 | |
CN104350471B (zh) | 在处理环境中实时地检测异常的方法和系统 | |
US7243049B1 (en) | Method for modeling system performance | |
US10482464B1 (en) | Identification of anomalous transaction attributes in real-time with adaptive threshold tuning | |
JP5077617B2 (ja) | 想定外需要検出システムおよび想定外需要検出プログラム | |
US9858106B2 (en) | Virtual machine capacity planning | |
TWI663510B (zh) | 設備保養預測系統及其操作方法 | |
US11657121B2 (en) | Abnormality detection device, abnormality detection method and computer readable medium | |
WO2011002798A2 (en) | Automatic fault detection and classification in a plasma processing system and methods thereof | |
WO2016147657A1 (ja) | 情報処理装置、情報処理方法、及び、記録媒体 | |
JP6193287B2 (ja) | 異常検出装置、異常検出方法及びネットワーク異常検出システム | |
EP3761133A1 (en) | Diagnosis device and diagnosis method | |
JP7466197B2 (ja) | 異常解析装置、製造システム、異常解析方法及びプログラム | |
CN118211837B (zh) | 一种智能电表的性能评估方法及装置 | |
CN117076258A (zh) | 一种基于互联网云端的远程监控方法及系统 | |
CN102257448A (zh) | 使用切换模型进行机器状况监视的文件的滤波和预测 | |
JP6475469B2 (ja) | 診断ジョブ生成システム、診断ジョブ生成方法及び診断ジョブ生成表示方法 | |
KR101960755B1 (ko) | 미취득 전력 데이터 생성 방법 및 장치 | |
CN114338348A (zh) | 一种智能告警方法、装置、设备及可读存储介质 | |
TWI848481B (zh) | 資訊系統運作之預測與告警系統及方法、建模與訓練系統及方法及其電腦程式產品 | |
EP2882139A1 (en) | System and method for IT servers anomaly detection using incident consolidation |