TWI723720B

TWI723720B - 預警規則最佳化配置之監控系統及方法

Info

Publication number: TWI723720B
Application number: TW109100067A
Authority: TW
Inventors: 張昇賀; 鄭安容; 蔡建麟; 馬翎嘉
Original assignee: 中華電信股份有限公司
Priority date: 2020-01-02
Filing date: 2020-01-02
Publication date: 2021-04-01
Also published as: TW202127833A

Abstract

本發明提供一種預警規則最佳化配置之監控系統及方法。儲存模組用以供存取虛實資源資料、使用者資料與預警規則資料。預警規則效度統計模組用以對預警規則進行效度評分。虛實資源特徵建構模組可根據虛實資源資料與預警規則資料產生預警規則對應虛實資源之第一經前處理資料。使用者資源特徵建構模組可根據虛實資源資料、預警規則資料與使用者資料，產生使用者對應虛實資源之第二經前處理資料。深度學習分析運用模組，使用第一經前處理資料或使用第一經前處理資料與第二經前處理資料進行訓練而產生預判模型，俾用以最佳化配置預警規則。

Description

預警規則最佳化配置之監控系統及方法

本發明是關於一種網路管理監控系統，詳而言之，是有關於一種用於監控外部虛實資源以進行預警規則之最佳化配置之系統及方法。

資訊科技日新月異不斷進展，各式資訊服務推陳出新，龐大的網路流量與資料運算需仰賴各式各樣的基礎設施，包含網路建設、網通設備、伺服器與虛擬化雲端資源等。一旦相關設備發生異常，將導致資訊服務受到影響，因此當問題發生，維運人員需儘速登入系統進行盤查與維修，但如果設備數量龐大或廠牌型號眾多，將延遲維修完工時程。

為解決上述問題，傳統監控系統會透過納管虛實資源設備，使用API呼叫、標準網路協定查詢、作業系統層級指令呼叫等方式，擷取相關設備的運行狀態，包含網路封包流量、設備資源使用率、電路狀態等訊息。透過監控系統所提供統一的監控介面，快速總攬所有已納管虛實資源之即時運作狀態，而無需逐一訪查各設備。

舉例來說，一般的資訊系統會將資料儲存於資料庫中，而資料庫運行於儲存設備上，一旦儲存設備的磁碟空間滿載導致資料無法繼續寫入時，服務會發生異常，故維運人員需定期檢視相關儲存設備的使用量與狀態，在使用率滿載前增加儲存設備容量或清理磁碟空間。原先磁碟使用率需透過執行指令或是廠商介面才得以訪查，現在只需登入統一監控介面，透過圖形化介面即可快速得知有哪些儲存設備面臨滿載，需先行維護或調教。

導入監控系統雖可提昇營維運效率，但現實上資訊服務系統的成長速度仍遠超過維運人員的有效管理涵蓋率，故監控系統的功能也勢必有所進展。典型的方式，係從維運人員需花費時間登入監控介面訪查，演進為針對關鍵監控指標制定預警規則，讓監控系統依據預警規則自動化定期輪巡設備狀態。當監控指標超過預警臨界值時，主動預警維運人員。

舉例來說，維運人員僅需一次性設定預警規則，內容可包含欲監控之儲存設備清單、磁碟使用率超標值、預警對象，接下來系統就會自動根據預警規則的配置，輪巡受監控之儲存設備。當超過預警值時立即發送預警訊息給維運人員。當然監控項目不僅有儲存設備，也包含各式各樣虛實設備與資源。

伴隨監控系統導入預警規則配置功能，如果規則配置良好，自然可防患於未然；反之，則會讓維運人員被大量浮濫的預警所騷擾，不僅浪費維運時間，也消耗了系統資源。舉例來說，磁碟使用率雖然是一個資訊系統是否能正常運行的指標項目，但如果配置預警值超過30%使用率即進行預警，距離資源滿載還有七成空間，顯然為不良配置。對此，維運人員需花費多餘時間過濾該類垃圾預警。

良好的預警規則配置，高度仰賴網管人員多年實際營維運經驗，方能針對各式各樣虛實資源設備特性，設定有指標性意義的監控標的，作為預警判斷依據。在環境發生規模級災難前，就能得知設備是否因瀕臨運作極限，而需先行維護或調教。舉例來說，依IDC機房人員實際營維運經驗，一定會針對骨幹網路、重要電路的Round Trip Time(RTT)/Package Loss Rate(PLR)/網路狀態等特別關注，而RTT/PLR的預警數值則需透過歷史數據或是設備極限才能精準配置，否則容易淪為垃圾預警，而這些需要多年的實務經驗。

因此，針對數量持續增加且種類愈趨龐雜的虛實資源設備，如何提供一個能有效且適度進行預警的自動化監控系統，協助維運人員充分掌握網路資源的運作狀況並提昇維運效率，已成為相關業界一個極為重要的課題。

為解決上述提及的問題，本發明提供一種預警規則最佳化配置之監控系統，用於監控外部虛實資源，包括：儲存模組，用於供存取虛實資源資料、使用者資料與預警規則資料；預警規則效度統計模組，用於對預警規則進行效度評分以產生評分，再將所產生之該評分儲存於該預警規則資料中；虛實資源特徵建構模組，用以根據該虛實資源資料與該預警規則資料，產生該預警規則對應虛實資源之第一經前處理資料；使用者資源特徵建構模組，用以根據該虛實資源資料、該預警規則資料與該使用者資料，產生使用者對應該虛實資源之第二經前處理資料；以及深度學習分析運用模組，係使用該第一經前處理資料進行訓練以產生基礎預判模型，或使用該第一經前處理資料與該第二經前處理資料進行訓練以產生進階預判模型，俾用以進行該預警規則之最佳化配置。

在一實施例中，所述預警規則效度統計模組更包括：手動效度評分單元，供使用者針對發生障礙預警事件之預警規則進行該效度評分；以及自動效度評分單元，用以排程掃描從未或極少觸發該障礙預警事件之預警規則，並自動進行該效度評分。

在一實施例中，所述第一經前處理資料包括相對應之預警規則、虛實資源之特徵值以及評分，所述第二經前處理資料包括相對應之使用者資料、預警規則、虛實資源之特徵值以及評分。

在一實施例中，所述深度學習分析運用模組，更包含：基礎深度學習單元，用以將該第一經前處理資料導入類神經網路進行深度學習訓練，以產生該基礎預判模型；進階深度學習單元，用以將該第一經前處理資料與該第二經前處理資料導入類神經網路進行深度學習訓練，以產生該進階預判模型；以及預警規則最佳化單元，係使用該基礎預判模型或該進階預判模型，進行預警規則之最佳化配置。

在一實施例中，所述基礎深度學習單元所執行的演算法包括下列流程：對該第一經前處理資料進行特徵值編碼；正規化該評分；將該進行該特徵值編碼後的第一經前處理資料以及該進行該正規化後的評分聚合為稀疏矩陣；將該稀疏矩陣導入全連接層，以算出分數；以及進行參數調教而得到該基礎預判模型。

在一實施例中，所述進階深度學習單元所執行的演算法包括下列流程：分別處理該第一經前處理資料與該第二經前處理資料，而產生各別的矩陣化結構資料；將該些矩陣化結構資料分別導入全連接層而得出各別的特徵矩陣；將該些特徵矩陣連結為一稀疏矩陣；對該稀疏矩陣進行評分預測；以及進行參數調教而得到該進階預判模型。

本發明另提供一種預警規則之最佳化配置之監控方法，包括：將對預警規則進行效度評分後所產生之評分儲存於預警規則；根據虛實資源資料與該預警規則資料，產生該預警規則對應虛實資源之第一經前處理資料；以及將該第一經前處理資料進行深度學習訓練，以產生基礎預判模型，俾對該預警規則進行最佳化配置。

在一實施例中，所述進行深度學習訓練之步驟包括：對該第一經前處理資料進行特徵值編碼；正規化該評分；將該進行該特徵值編碼後的第一經前處理資料以及該進行該正規化後的評分聚合為稀疏矩陣；將該稀疏矩陣導入全連接層，以算出分數；以及進行參數調教而得出該基礎預判模型。

在一實施例中，所述對預警規則進行效度評分乃由使用者針對發生障礙預警事件之預警規則給予該評分；或者自動化排程掃描從未或極少觸發該障礙預警事件之預警規則以自動給予該評分。

在一實施例中，所述最佳化配置預警規則之監控方法，更包括下列步驟：根據該虛實資源資料、該預警規則資料與使用者資料，產生使用者對應該虛實資源之第二經前處理資料；及將該第一經前處理資料與該第二經前處理資料進行深度學習訓練，以產生進階預判模型，以對該預警規則進行最佳化配置。

在一實施例中，所述進行深度學習訓練之步驟包括：分別處理該第一經前處理資料與該第二經前處理資料，而產生各別的矩陣化結構資料；將該矩陣化結構資料分別導入全連接層而得出各別的特徵矩陣；將該特徵矩陣連結為一稀疏矩陣；對該稀疏矩陣進行計算評分預測；以及進行參數調教而得到該進階預判模型。

本發明所提供預警規則可最佳化配置之監控系統及方法，具有相當的優點。由於導入機器深度學習機制，並依據預警規則的效度準則，給予預警規則的實際效度評分，是以在累積歷史評分統計作為標籤資料後，可建構訓練用的矩陣化結構特徵前處理資料，再交付深度學習模組訓練，而得出預判模型。如此，可使用模型進行預警規則最佳化配置，而達到智慧化營維運之目的。

1‧‧‧監控系統

20‧‧‧外部虛實資源

10‧‧‧儲存模組

100‧‧‧虛實資源資料

101‧‧‧使用者資料

102‧‧‧預警規則資料

11‧‧‧預警規則效度統計模組

111‧‧‧手動效度評分單元

112‧‧‧自動效度評分單元

12‧‧‧虛實資源特徵建構模組

120‧‧‧第一經前處理資料

13‧‧‧使用者資源特徵建構模組

130‧‧‧第二經前處理資料

14‧‧‧深度學習分析運用模組

141‧‧‧基礎深度學習單元

142‧‧‧進階深度學習單元

143‧‧‧預警規則最佳化單元

151‧‧‧基礎預判模型

152‧‧‧進階預判模型

S31~S36、S70~S76、S80~S89、S91~S95‧‧‧步驟

第1圖顯示本發明之預警規則可最佳化配置之監控系統的架構示意圖。

第2圖顯示本發明之預警規則效度統計模組之架構示意圖。

第3圖顯示本發明之進行效度評分之方法。

第4圖顯示本發明根據預警影響程度給予評分之評分準則。

第5圖顯示本發明產製深度學習所需前處理資料之相關架構。

第6圖顯示本發明根據前處理資料進行深度學習之流程架構。

第7圖顯示本發明基礎深度學習單元所執行的演算法相關流程。

第8圖顯示本發明進階深度學習單元所執行的演算法相關流程。

第9圖顯示本發明所提供一種預警規則最佳化配置之監控方法。

以下藉由特定的具體實施例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之優點及功效。

請參見第1圖，係顯示了本發明所提供一種監控系統1，用於即時監控外部虛實資源20，並針對欲預警之監控項目配置預警規則。所述監控系統1主要包括了一儲存模組10、一預警規則效度統計模組11、一虛實資源特徵建構模組12、一使用者資源特徵建構模組13以及一深度學習分析運用模組14。

所述儲存模組10，提供存取虛實資源資料100、使用者資料101與預警規則資料102之功能。在一實施例中，儲存模組10可回應內部應用程式介面(Application Programming Interface；API)與其他模組或單元的呼叫，而允許其存取相關資料。預警規則效度統計模組11提供對預警規則進行效度評分之功能。虛實資源特徵建構模組12根據虛實資源資料100與預警規則資料102，產生預警規則對應虛實資源之第一經前處理資料。使用者資源特徵建構模組13根據虛實資源資料100、預警規則資料102與使用者資料101，產生使用者對應虛實資源之第二經前處理資料。深度學習分析運用模組14使用第一經前處理資料進行訓練產生基礎預判模型，或使用第一經前處理資料與第二經前處理資料進行訓練而產生進階預判模型，用以最佳化配置預警規則。

在一實施例中，上述的外部虛實資源20，在實體面向包含伺服器、交換器、防火牆、負載平衡器、儲存裝置等，至於透過預警規則配置進行監控的項目包括了CPU使用率、記憶體使用率、磁碟使用率、網路介面狀態、網路流量、連線狀態、設備狀態等。在虛擬面向，所述外部虛實資源20則包括軟體資源、資料庫、應用系統、網路服務、電路狀態、虛擬化資源等，至於其詳細監控項目包括服務連線數、連線狀態、回應時間、電路劣化數、網路介面頻寬流量等。

以實體設備儲存裝置為例，當儲存空間滿載讓系統資料無法正常寫入時，將導致服務發生異常，故為避免該情況發生，使用者(例如：維運人員)可主動設定預警規則為特定實體設備之磁碟使用率超過90%時發出預警。

請參見第2圖，係顯示了本發明所提供預警規則效度統計模組11之架構。在一實施例中，所述預警規則效度統計模組11更包括一手動效度評分單元111與一自動效度評分單元112。手動效度評分單元111可供使用者針對發生障礙預警事件之預警規則給予評分；至於自動效度評分單元112，則以排程掃描從未或極少觸發障礙預警事件之預警規則，並自動給予評分，而針對此種極少或從未觸發的項目，通常會給予較低的評分。

請參見第3圖，係顯示透過預警規則效度統計模組11所進行之規則效度評分方法，其包括了手動評分與自動評分兩部份。規則效度評分方法的相關步驟如下：於步驟S31中，使用者根據維運經驗，替虛實資源重要的監控指標設定預警規則，以完成初步的設定；接著，在手動評分的部分，於步驟S32中，當使用者在維運過程中接到障礙預警，會進行障礙排除；於步驟S33中，當使用者完成障礙排除後，可根據該預警規則配置的有效性，給予評分；於步驟S34中，透過手動效度評分單元將評分紀錄於儲存模組，例如預警規則資料中。至於自動評分的部份，於步驟S35中，透過自動效度評分單元利用其排程器，在一段時間經過後，將少量或未發生預警之預警規則，自動給予較低的評分；於步驟S36中，自動效度評分單元同樣會將評分紀錄於儲存模組，例如預警規則資料中。

請參見第4圖，係顯示根據預警影響程度給予評分之評分準則。依照障礙影響程度的高低可分為五種層級，由最低的層級1至最高的層級5，分別給予1分至5分的規則評分。相關層級包括了：

層級1：系統仍可正常運行不構成障礙，評為1分；

層級2：系統正常運行不構成障礙但會影響服務效能，評為2分；

層級3：造成部份模組或子系統發生障礙，導致部分服務無法正常運作，評為3分；

層級4：造成系統障礙而影響服務，評為4分；

層級5：規模級影響全域環境障礙，亦即影響的不只是單一系統的服務，甚至會造成多組服務甚至全域環境發生障礙，評為5分。

例如：當關鍵骨幹網路發生斷線，可能大規模影響系統斷訊，導致服務完全中斷，則評為5分；反之如儲存空間磁碟使用率超過50%預警，系統可正常運行且不構成障礙，甚至也不影響服務效能，評為1分。此外，如同前述，如果是透過自動效度評分單元所掃描到的從未或極少量觸發障礙事件之預警規則，也會給予較低規則評分1分。上述的評分紀錄皆儲存於預警規則資料，以提供後續進行深度學習訓練所需之標籤使用。

在累積相當數量的規則評分紀錄後，由於預警規則效度已可透過評分的數值來衡量，因此可導入深度學習技術以建構預判模型。此時，可先產製深度學習所需之前處理資料，其相關架構如第5圖所示。虛實資源特徵建構模組12可存取儲存模組10中的虛實資源資料100與預警規則資料102，虛實資源特徵建構模組12將兩份資料透過索引建立關聯，並將關鍵項目轉為訓練用特徵欄位，再整合輸出為預警規則對應虛實資源之第一經前處理資料120。另一方面，使用者資源特徵建構模組13可存取虛實資源資料100、預警規則資料102與使用者資料101，並將這些資料關鍵項目轉為訓練用特徵欄位，再整合輸出為使用者對應虛實資源之第二經前處理資料130。

關於第一經前處理資料120與第二經前處理資料130的格式，說明如下。要特別指出的是，因為相依於虛實資源的種類與設備特性，所以特徵值項目維度眾多，以下以代數為例。第一經前處理資料120的格式，可以為二維矩陣資料結構，欄位(column)包含了預警規則(policy；其特徵值代數以Pi表示)；監控資源之特徵值(metric；其特徵值代數以Mj表示)；以及規則評分(score；特徵值代數以Sk表示)。所形成的矩陣其每一列(raw)皆為獨立的預警規則，假設共有k列資料，其二維矩陣可條列如下：

[[P(1,1),P(1,2)...P(1,i),M(1,1),M(1,2),...,M(1,j),S1],

[P(2,1),P(2,2)...P(2,i),M(2,1),M(2,2),...,M(2,j),S2],

[P(k,1),P(k,2)...P(k,i),M(k,1),M(k,2),...,M(k,j),Sk]]

亦即，所述第一經前處理資料120會包括相對應之預警規則(Pi)、虛實資源之特徵值(Mj)以及評分(Sk)。

至於，第二前處理資料130的格式，同樣為二維矩陣資料結構，欄位包含了使用者資料(user；特徵值代數以Un表示)；預警規則(以Pi表示)；監控資源之特徵值(特徵值代數以Mj表示)；與評分(特徵值代數以Sk表示)。假設共有k列資料，其二維矩陣條列如下：

[[U(1,1),U(1,2)...U(1,n),P(1,1),P(1,2)...P(1,i),M(1,1), M(1,2),...,M(1,j),S1],

[U(2,1),U(2,2)...U(2,n),P(2,1),P(2,2)...P(2,i),M(2,1),M(2,2),...,M(2,j),S2],

[U(k,1),U(k,2)...U(k,n),P(k,1),P(k,2)...P(k,i),M(k,1),M(k,2),...,M(k,j),Sk]]

亦即，所述第二經前處理資料130會包括相對應之使用者資料(Un)、預警規則(Pi)、虛實資源之特徵值(Mj)以及評分(Sk)。

要特別說明的是，經前處理資料的格式僅為一種可能的實施態樣，因為其特徵值實際資料會因應各監控系統操作情境與監控資源種類有所不同而發生變化。例如：使用者(Uk)針對一資通設備(M(k,j))的網路介面流量(P(k,1))，可設定流入流量(P(k,2))超過10000kbps(P(k,3))且持續超過30分鐘(P(k,4))則產生預警，並給予此預警規則的效度評分的評分為Sk。換言之，因虛實資源設備種類繁多且預警規則組合千變萬化，因此其特徵值會相對增減，並不侷限於上述實施例。

請參見第6圖，係顯示本發明所提供深度學習之流程架構。須先說明的是，在一實施例中，所述深度學習分析運用模組14更包含一基礎深度學習單元141、一進階深度學習單元142與一預警規則最佳化單元143。在監控系統上線初期，由於尚未有足量的使用者，因此會將虛實資源特徵建構模組12產製的第一經前處理資料120，交付基礎深度學習單元141進行訓練。此時，基礎深度學習單元141會根據第一經前處理資料120訓練，而產生基礎預判模型151。

當監控系統有足量的使用者時，則可進一步將使用者資源特徵建構模組13所產製之第二經前處理資料130，交付進階深度學習單元 142訓練。此時，進階深度學習單元142會根據第一經前處理資料120與第二經前處理資料130進行訓練，而產生進階預判模型152。

預警規則最佳化單元143，則可使用基礎預判模型151與進階預判模型152，對預警規則進行最佳化配置。要進一步指出的是，進階預判模型152所具備的優勢，在於因為累積了足量的使用者特徵，因此可根據使用者的不同特徵，給予最適合的預警規則配置。

請參見第7圖，係顯示在本發明一實施例中基礎深度學習單元所執行的演算法相關流程。於步驟S70中，進行特徵值編碼；於步驟S71中，對第一經前處理資料的特徵值做一位有效編碼(one-hot encoding)，生成矩陣化結構資料；於步驟S72中，將預警規則評分除以標準差作正規化；於步驟S73中，將步驟S71和S72之結果聚合為一份稀疏矩陣，並切分為訓練資料集與驗證資料集；於步驟S74中，導入全連接層，並用歸一化函數算出分數；於步驟S75中，使用驗證資料集判斷成效，若成效不佳，則調整深度學習演算法或相關參數，再重新返回步驟S74以導入全連接層用歸一化函數計算分數；於步驟S76中，經過參數調教後，可得到基礎預判模型。

要進一步說明的是，在對第一前處理資料進行特徵值編碼時，若資料為連續性數值則可選擇保留原值。例如：以儲存空間使用率為例，使用率通常為0至100的連續性整數值，單位為%，由於此為連續性數值，則不特別作一位編碼(one-hot encoding)，而直接以整數值當成矩陣之特徵值Pi。若相關數值為浮點數，則可採四捨五入將之編為整數。若為離散資料則進行一位編碼。以服務回應時間為例，編碼方法可採[回應時間，編碼]的格式處理，用3位元的[0/1,0/1,0/1]可表示八種狀態，狀態則用回應時間的區間做為判斷依據，例如：高速[回應時間<=50ms,000]、快速[50ms<回應時間<=500ms,001]、普通[500ms<回應時間<2000ms,010]、慢[2000ms<回應時間<10000ms,011]、危險[>=10000ms,111]。

此外，如同前述，由於預警規則評分值為整數值1至5，因此可將數值除以標準差以作正規化，來有效提昇模型準確率。並且，藉著使用線性整流函數作為激活函數，輸入序列類神經網路進行全連接層運算，最後再用歸一化函數算出分數，使得到的數值介於0與1中間。如果分數大於0.5則判定此規則效度較高，反之無效。如此，經訓練後可得出基礎預測模型151供預警規則最佳化單元143使用。

請參見第8圖，係顯示在本發明一實施例中進階深度學習單元所執行的演算法相關流程。於步驟S80中，先處理第一經前處理資料120為矩陣化結構資料；於步驟S81中，再將其導入全連接層；於步驟S83中，並產生一預警規則特徵矩陣(S82)。另一方面，於步驟S83中，處理第二經前處理資料為矩陣化結構資料；於步驟S84中，再將其導入全連接層；於步驟S85中，產生一使用者與其所屬虛實資源特徵矩陣。亦即，先分別處理第一經前處理資料與第二經前處理資料，而產生各別的矩陣結構，以並將矩陣結構分別導入全連接層而得出各別的特徵矩陣，再於步驟S86中，將兩個特徵矩陣連結為一稀疏矩陣；於步驟S87中，並以均方根誤差法(Root Mean Square Error；RMSE)計算評分預測；然後，於步驟S88中，將評分預測比較驗證資料，若判定結果不佳，則調整深度學習演算法或相關參數，再重新返回於步驟S81或S84以導入全連接層；於步驟S89中，進行參數調教後，可得到進階預判模型。

更進一步說明，所述進階深度學習單元所執行的演算法，係將第一前處理資料之預警規則所監控的虛擬資源屬性與預警臨界值，用全連接層神經網路學得預警規則特徵矩陣。同時，將第二前處理資料之使用者資料及管理之虛實資源等屬性，用全連接層神經網路學得使用者特徵矩陣。再將兩份特徵矩陣資料連接為所述的稀疏矩陣，並且將預警規則評分值除以標準差作正規化以強化預測準確度。隨後將稀疏矩陣以均方根誤差進行運算評估，當均方根誤差值越小，代表預警規則可能更適合該使用者，所得到的進階預判模型可供預警規則最佳化單元使用。

值得留意的是，稀疏矩陣評估方法並不以均方根誤差為限，可依實際最佳化配置的使用者反饋結果，調整成絕對平均誤差MAE(Mean Square Error)方法或召回率預測(Recall Prediction)等方法。另外，如上述，也可透過調整全連接層使用之演算法或參數來優化模型。

請參見第9圖，本發明另提供一種預警規則最佳化配置之監控方法，包括下列步驟：於步驟S91中，根據虛實資源資料與預警規則資料，使用特徵建構方法產生預警規則對應虛實資源之第一經前處理資料；於步驟S92中，將該第一經前處理資料導入類神經網路，進行深度學習訓練，而產生基礎預判模型。另外，於步驟S93中，根據虛實資源資料、預警規則資料與使用者資料，使用特徵建構方法產生使用者對應虛實資源之第二經前處理資料；於步驟S94中，將第一經前處理資料與第二經前處理資料導入類神經網路，進行深度學習訓練，而產生進階預判模型。最後於步驟S95中，使用該基礎預判模型或該進階預判模型對預警規則進行最佳化配置。此外，在步驟S91和S93之前，可先對預警規則進行效度評分，而評分的分數儲存於預警規則資料中。

在一實施例中，對預警規則進行之效度評分可由使用者針對發生障礙預警事件之預警規則給予評分；或者自動化排程掃描從未或極少觸發障礙預警事件之預警規則以自動給予評分。

要進一步說明的是，上述步驟S92與S94中所進行的深度學習訓練，可以是第7圖或第8圖所顯示的訓練流程，用以得出基礎預判模型與進階預判模型，提供預警規則最佳化單元進行最佳化預警規則配置，因此相關步驟此處不再贅述。

本發明所提供預警規則最佳化配置之監控系統及方法，具有相當的優點。由於導入機器深度學習機制，並依據預警規則效度準則，給予預警規則的實際效度評分，是以在累積歷史評分統計作為標籤資料後，可建構訓練之矩陣化結構特徵前處理資料，再交付深度學習模組訓練，而得出預判模型。如此，可使用模型進行預警規則最佳化配置，而達到智慧化營維運之目的。

上述實施例僅為例示性說明本發明之技術原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此技術之人士均可在不違背本發明之精神與範疇下，對上述實施形態進行修飾與改變。然任何運用本發明所教示內容而完成之等效修飾及改變，均仍應為下述之申請專利範圍所涵蓋。而本發明之權利保護範圍，應如下述之申請專利範圍所列。