TWI771531B

TWI771531B - 使用機器學習預測系統健康度之方法與系統

Info

Publication number: TWI771531B
Application number: TW107141868A
Authority: TW
Inventors: 陳人豪; 黃昭文
Original assignee: 中華電信股份有限公司
Priority date: 2018-11-23
Filing date: 2018-11-23
Publication date: 2022-07-21
Also published as: TW202020754A

Abstract

一種使用機器學習預測系統健康度之方法與系統，該方法係包括：取得各監測項目重要性權重；整合該些監測項目重要性權重與時間函數，以計算出健康度；利用該健康度進行健康度訓練，以產出健康度預測模型；以及利用該健康度預測模型預測出系統健康度。本發明因採用健康度分數計算方法，將效能項目轉換為分數，以讓系統維運人員直觀且精準地掌握系統運作狀態。

Description

使用機器學習預測系統健康度之方法與系統

本發明係關於一種預測系統健康度之方法與系統，尤指一種使用機器學習預測系統健康度之方法與系統。

習知大型系統運行出現系統異常時，通常會造成公司莫大的損失。然而要在大型系統大量的效能指標中看出潛在的系統異常是非常困難的，因為誘發大型系統出現異常的原因是環環相扣，同樣的效能表現在不同情境下可能會推導出完全不同的解讀。

舉例來說，處理器使用率低可能代表目前系統所需運算量少，因此系統無異常。但假如同時也分析了硬碟使用率，發現硬碟使用率高達100%，或許需解讀成系統因為沒有交換空間可用，導致運算閒置，因此系統出現異常。

當系統出現異常後，很快會轉變成障礙。要排除障礙要花很長的時間，造成莫大的損失。因此，如果能在系統出現障礙前，就提前預測出系統狀態異常，系統維運人員就可提前排除可能要發生的障礙，解決可能要發生的問題，以減少不必要的損失。

然而，如何提供一種直觀且精準的可預測系統健康度之技術，遂成為系統開發商的重要課題。

為至少解決上述問題，本案提供一種使用機器學習預測系統健康度之方法，係包括：取得各監測項目重要性權重；整合該些監測項目重要性權重與時間函數，以計算出健康度；利用該健康度進行健康度訓練，以產出健康度預測模型；以及利用該健康度預測模型預測出系統健康度。

本案復提供一種使用機器學習預測系統健康度之系統，係包括：健康度分析模組，係取得各監測項目重要性權重；健康度計算模組，係整合該些監測項目重要性權重與時間函數，以計算出健康度；健康度建模模組，係利用該健康度進行健康度訓練，以產出健康度預測模型；以及健康度預測模組，係利用該健康度預測模型預測出系統健康度。

在前述之使用機器學習預測系統健康度之方法與系統中，該取得各監測項目重要性權重之步驟係包括：將歷史監控資料進行正規化，以產生正規化特徵；利用該歷史監控資料中的障礙事件，生成初始權重訓練標籤；結合該正規化特徵與該初始權重訓練標籤，以產生初始權重訓練資料；使用該初始權重訓練資料進行初始權重訓練，以生成初始權重；設定出各監控項目門檻值，以利用該監控項目門檻值與該歷史監控資料進行比對而生成新權重訓練標籤；結合該正規化特徵與該新權重訓練標籤，以產生新權重訓練資料；以及將該初始權重與該新權重訓練資料進行權重訓練，以生成該些監測項目重要性權重。

在前述之使用機器學習預測系統健康度之方法與系統中，該使用該初始權重訓練資料進行初始權重訓練之步驟中係使用線性版本的機器學習訓練模型來進行該初始權重訓練。

在前述之使用機器學習預測系統健康度之方法與系統中，在設定出各監控項目門檻值之步驟之前，更包括進行障礙事件比例檢測。若該障礙事件比例佔全體比例小於1/2，則再次將該正規化特徵與該初始權重訓練標籤結合，以重新產生初始權重訓練資料，俾於產出該初始權重訓練資料時，將該障礙事件的數量加倍。

在前述之使用機器學習預測系統健康度之方法與系統中，生成初始權重訓練標籤時，係選擇在迴圈中F分數(F-score)評分最高的初始權重作為選擇的初始權重。

在前述之使用機器學習預測系統健康度之方法與系統中，該健康度之計算係使用該些監測項目重要性權重與該些監控項目門檻值進行計算，再搭配時間函數進行整合，以求出該健康度。

在前述之使用機器學習預測系統健康度之方法與系統中，該利用該健康度進行健康度訓練之步驟更包括：利用該健康度計算出健康度訓練標籤，以結合該健康度訓練標籤與該正規化特徵而生成健康度訓練資料。

前述之使用機器學習預測系統健康度之方法與系統中，該產出健康度預測模型之步驟更包括：利用健康度訓練資料進行健康度訓練，以產生該健康度預測模型。

由上可知，本發明之使用機器學習預測系統健康度之方法與系統，係使用數學方法建立機器學習模型中需預測的標籤，可有效解決稀有(或障礙)事件的問題。且使用數學方法計算機器學習訓練資料中使用的特徵與標籤，使最後得出的健康度預測模型能夠達成評估未來數小時(如一小時)系統狀態的技術效果。

此外，本發明之使用機器學習預測系統健康度之方法與系統因採用健康度分數計算方法，將效能項目轉換為分數，可讓系統維運人員直觀且精準地掌握系統運作狀態。再者，因健康度預測模型使用機器學習技術，健康度預測模型將隨著系統演進，可不斷進行學習而自動調整。

再者，本發明之使用機器學習預測系統健康度之方法與系統可同時將所有系統效能項目納入分析考量，最後使用機器學習方法計算各項目與之間與系統異常之間的多維關連，做為最後評估系統狀態的依據。

1‧‧‧健康度分析模組

2‧‧‧健康度計算模組

3‧‧‧健康度建模模組

4‧‧‧健康度預測模型

S1~S33‧‧‧步驟

本案揭露之具體實施例將搭配下列圖式詳述，這些說明顯示在下列圖式：第1圖為本發明使用機器學習預測系統健康度方法之流程圖。

第2圖為本發明求出各監測項目重要性權重之流程圖。

第3圖為本發明建立健康度預測模型之流程圖。

第4圖為本發明建立健康度預測模型之系統方塊圖。

以下藉由特定的具體實施例說明本發明之實施方式，熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。

須知，本說明書所附圖式所繪示之結構、比例、大小等，均僅用以配合說明書所揭示之內容，以供熟悉此技藝之人士之瞭解與閱讀，並非用以限定本發明可實施之限定條件，故不具技術上之實質意義，任何結構之修飾、比例關係之改變或大小之調整，在不影響本發明所能產生之功效及所能達成之目的下，均應仍落在本發明所揭示之技術內容得能涵蓋之範圍內。同時，本說明書中所引用之如「前」、「後」及「一」等之用語，亦僅為便於敘述之明瞭，而非用以限定本發明可實施之範圍，其相對關係之改變或調整，在無實質變更技術內容下，當視為本發明可實施之範疇。

第1圖係為本發明使用機器學習預測系統健康度方法之流程圖。

在步驟S1中，取得各監測項目重要性權重。

在步驟S2中，整合該些監測項目重要性權重與時間函數，以計算出健康度。

在步驟S3中，利用該健康度進行健康度訓練，以產出健康度預測模型。

在步驟S4中，利用該健康度預測模型預測出系統健康度。

由上述可知，本發明透過兩階段的機器學習流程，第一階段求出各監測項目重要性權重，第二階段將權重與時間函數整合而計算出健康度，最後再將健康度作為輸出標籤，以訓練出預測模型。

第2圖係為本發明第一階段求出各監測項目重要性權重之流程圖。

在步驟S21中，將歷史監控資料進行正規化，以產生正規化特徵。

本發明利用正規化將歷史監控資料按比例縮放，讓歷史監控資料落在某一特定的區間。因正規化會將所有監控項目數值正規化到0~1的範圍，正規化後的0與1分別對應到原本項目的歷史最大值與最小值。步驟S21的實施是為了避免有些項目的數值太大或太小，影響到機器學習演算法訓練出來的效果。太大的數值容易造成機器學習演算法過於重視該項目，太小的數值容易造成機器學習演算法忽視該項目。因此，正規化後因為所有項目都在0~1的範圍，機器學習演算法在訓練時就可以同等重視各監控項目。

舉例而言，表1為本發明歷史監控資料。該歷史監控資料具有處理器、記憶體、儲存設備、交換分區、執行程序、執行中的執行緒與可用堆疊等7個監測項目。這些監測項目會作為機器學習訓練模型的輸入特徵。

本實施例使用的訓練資料是累計收集了一整年份的資料，而表1中的資料是一年中的特定時間點的其中一筆資料。

在本實施例中，記憶體資料在歷史資料中最大與最小值分別是32%與13%，而表1中的資料是21%，因此本步驟要將該數值正規化到0~1的區間，將歷史監控資料進行正規化的結果為0+(21-13)*(1-0)/(32-13)=0.42。最後計算出的七種監測項目的正規化特徵如表2。

在步驟S22中，利用該歷史監控資料中的障礙事件，生成初始權重訓練標籤。在一實施例中，發生障礙事件的狀況設定標籤為1，系統正常則設定標籤為0。

在步驟S23中，結合該正規化特徵與該初始權重訓練標籤，以產生初始權重訓練資料。

初始權重訓練資料中，由於正規化特徵與初始權重訓練標籤中各項目的時間點對齊，因此隱含了正規化特徵與初始權重訓練標籤之間的影響關係。本發明使用的訓練資料格式為LIBSVM格式。

例如，如表3所示，前方的資料是要預測的標籤，後方的資料為輸入特徵，前方數字標示該特徵是第幾個特徵，冒號後接數值。表3為經過正規化後所得到的數值。換言之，本發明可將各個時間點的正規化特徵與初始權重訓練標籤依照時間戳章結合，產出如表3所示的初始權重訓練資料。

在步驟S24中，使用該初始權重訓練資料進行初始權重訓練，以生成初始權重。

在一實施例中，使用該初始權重訓練資料進行初始權重訓練之步驟係使用線性版本的機器學習訓練模型進行該初始權重訓練。本實施例在第一階段的訓練所使用之線性預測模型為Linear SVM，其計算公式如下：

其中，w是權重，C是常數，x是特徵，y是標籤，1是效能指標項目數量，ξ是損失函數。公式中前項是正規項(regularization term)，用來限制單項權重過大的情況，後項是損失函數且此函數為可微分，因此，可以透過微分的方法去調整w。本發明使用的損失函數是一維的max(1-yiwTxi,0)。

在步驟S25中，進行障礙事件比例檢測。

若該障礙事件比例佔全體比例小於1/2，則再次將該正規化特徵與該初始權重訓練標籤結合，以重新產生初始權重訓練資料，俾於產出該初始權重訓練資料時，將該障礙事件的數量加倍。

由於障礙事件是稀少事件，因此本步驟透過每次加倍的方式調整障礙事件在資料母體中的比例，最後調整至障礙事件的比例佔全體事件的1/2，讓機器學習演算法不會只偏重預測正常情況而忽略掉障礙事件。

舉例而言，在一實施例中，障礙事件與正常事件比例為1：1000，因此會重覆步驟S23~S25。11次(1,2¹,2²,...,2¹⁰)的重覆，會計算出11種權重。由於第11次的2¹⁰，超過1000，因此會將總筆數再縮減至1000。

在一實施例中，該初始權重訓練標籤之生成，係選擇在迴圈中F分數(F-score)評分最高的初始權重作為選擇的初始權重。

F分數(F-score)的計算方式如下：

定義準確率=A/(A+B)=P

定義召回率=A/(A+C)=R

F-score=2*(P*R)/(P+R)

使用F分數(F-score)作為評估標準可以同時兼顧預測系統異常與預測系統正常的準確度。

換言之，11種權重之選擇是以在驗證資料中預測障礙事件F分數(F-score)得分最高的權重作為採用的初始權重。由於障礙事件是稀少事件，因此透過F分數(F-score)的評分可以讓機器學習演算法不會只偏重預測正常情況而忽略掉障礙事件。

在步驟S26中，設定出各監控項目門檻值，以利用該監控項目門檻值與該歷史監控資料進行比對而生成新權重訓練標籤。

門檻值設定是依據各系統原本的維運慣例設定，偵測敏感度可高於障礙事件。舉例而言，例如設定處理器>60%，記憶體>50%，交換分區>2%，執行程序數>300，儲存設備>90%，對於應用程式伺服器相關項目設定執行緒數量>3000，可用堆疊<1000MB，比較歷史資料後生成權重訓練標籤，以表1資料為例，由於處理器與可用堆疊超出門檻值，因此設定此組資料權重訓練標籤為1。

在步驟S27中，結合該正規化特徵與該新權重訓練標籤，以產生新權重訓練資料。

例如，在權重訓練資料中，由於正規化特徵與新權重訓練標籤中各項目的時間點對齊，因此隱含了正規化特徵與初始權重訓練標籤之間的影響關係，如表4所示。

在步驟S28中，將該初始權重與該新權重訓練資料進行權重訓練，以生成該些監測項目重要性權重。

在一實施例中，所訓練出的權重為：處理器0.5，記憶體0.5，儲存設備0.2，交換分區0.1，執行程序0.2，執行中的執行緒0.3，可用堆疊0.6。

由於該些監測項目重要性權重是透過更新障礙事件訓練出的初始權重，予以再訓練而得出者。因此同時考慮到了障礙事件的發生與項目超過門檻值的情形，使得考慮的情況更為全面。

第3圖係為本發明第二階段本發明建立健康度預測模型之流程圖。本階段之目的是將時間特徵導入，以與各項目分數權重組合而計算出分數。接著，再使用此分數作為輸出標籤進行機器學習，以導出最終目標的系統健康度預測模型。

在步驟S31中，使用該些監測項目重要性權重與該些監控項目門檻值進行計算，再搭配時間函數進行整合，以求出該健康度。

健康度計算方法如下：定義時間特徵函數如下：

其中，t_e為未來時間中有發生障礙事件的時間，t_s為要計算分數的時間點。若未來數小時(如一小時)內沒有障礙事件，則取g(t_e-t_s)=0

定義健康度計算函數如下：

其中，W為權重113，X為透過門檻值109判斷取得，分數最後要再正規化到0~100的區間，並且再取一次100的補數。分數正規化對應的0與100，分別是對應到所有歷史資料計算score公式中，其中，最小的score與最大的score在最後取完100的補數後，分別對應到100與0，以據之代表系統健康度。分數越高代表系統狀況越健康，100分代表系統運作狀況正常。

此計算公式使用權重來配分各個監控項目，再搭配該時間點距離障礙事件的時間做數值的縮放，讓機器學習模型有預測的效果。只有數值有超過門檻值的項目才會納入此公式的計算。

以表1資料為例，由於處理器與可用堆疊超出門檻值，因此總和分數為0.5+0.6=1.1，假設時間點正好是超出門檻值的時間點，因此於te-ts=0時，時間函數結果為1且分數為1.1*1=1.1；又假設在此時間點之前1小時內沒有任何項目超過門檻值，其他時間點的分數可以不計算。假設實施例訓練資料中，最高分數為2.1，最低分數為0，現在要把1.1正規化到0~100區間，計算方式為0+(1.1-0)*(100-0)/(2.1-0)=52.38，健康度訓練標籤為52.38，接著再取100的補數，即得到100-52.38=47.62。

在步驟S32中，利用該健康度計算出健康度訓練標籤，以結合該健康度訓練標籤與該正規化特徵而生成健康度訓練資料。

健康度訓練資料中的正規化特徵與權重訓練資料中的正規化特徵處理方式並不相同。在健康度訓練資料中會將當下時間點的正規化特徵與前一小時內的正規化特徵都串接在一起，成為一個特徵聯集，如此能將一小時內的正規化特徵變化狀況與健康度訓練標籤產生關聯。

舉例而言，由於是5分鐘收集一次資料，因此N=1+60/5=13，而k=監控項目數量=7，因此一組訓練資料中共有13*7=91個特徵項目。

在步驟S33中，利用健康度訓練資料進行健康度訓練，以產生該健康度預測模型。

健康度預測模型能夠透過當下時點及當下時點前數小時(如一小時)內的資料，進行系統健康度的預測。換言之，未來只要將監控資料轉換成表5的格式，即可透過健康度預測模型預測出系統健康度。

第4圖係為本發明建立健康度預測模型之系統方塊圖。本系統包括健康度分析模組1、健康度計算模組2、健康度建模模組3與健康度預測模組4。

健康度分析模組1係取得各監測項目重要性權重。健康度計算模組2係整合該些監測項目重要性權重與時間函數，以計算出健康度。健康度建模模組3係利用該健康度進行健康度訓練，以產出健康度預測模型。健康度預測模組4係利用該健康度預測模型預測出系統健康度。

綜上所述，本發明之使用機器學習預測系統健康度之方法與系統，係使用數學方法建立機器學習模型中需預測的標籤，可有效解決稀有(障礙)事件的問題。且使用數學方法計算機器學習訓練資料中使用的特徵與標籤，會使最後得出的健康度預測模型能夠達成評估未來數小時(如一小時)系統狀態的技術效果。

上述實施例係用以例示性說明本發明之原理及其功效，而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施例進行修改。因此本發明之權利保護範圍，應如後述之申請專利範圍所列。

S1~S4‧‧‧步驟

Claims

一種使用機器學習預測系統健康度之方法，係包括：健康度分析模組取得系統的監測項目的重要性權重，且該監測項目為該系統的處理器、記憶體、儲存設備、交換分區、執行程序、執行中的執行緒或可用堆疊，其中，該健康度分析模組依據該監測項目的歷史監控資料的正規化特徵與新權重訓練標籤產生該監測項目的新權重訓練資料，再將該監測項目的初始權重與新權重訓練資料進行權重訓練以生成該監測項目的重要性權重；健康度計算模組依據該監測項目的重要性權重與時間函數
計算出該系統的健康度，其中，t_e為該監測項目的未來時間中有發生障礙事件的時間，t_s為該監測項目中要計算分數的時間點，max為取最大值；健康度建模模組利用依據該監測項目的重要性權重與時間函數
所計算之該系統的健康度進行該監測項目的健康度訓練，其中，該健康度建模模組利用依據該監測項目的重要性權重與時間函數
所計算之該系統的健康度計算出該監測項目的健康度訓練標籤，以結合該監測項目的健康度訓練標籤與歷史監控資料的正規化特徵而生成該監測項目的健康度訓練資料，且該健康度建模模組利用依據該監測項目的重要性權重與時間函數g(t_e-
所計算之該系統的健康度而進行之該監測項目的健康度訓練的結果產出健康度預測模型；以及健康度預測模組利用該健康度建模模組依據該監測項目的重要性權重與時間函數g(t_e-t_s)=max(0,1-
所計算之該系統的健康度而進行之該監測項目的健康度訓練的結果所產出的該健康度預測模型，以使用機器學習技術預測出該系統未來的健康度。
如申請專利範圍第1項所述之使用機器學習預測系統健康度之方法，其中，該健康度分析模組取得該系統的監測項目的重要性權重之步驟係包括：將該監測項目的歷史監控資料進行正規化，以產生該監測項目的歷史監控資料的正規化特徵；利用該監測項目的歷史監控資料中的障礙事件，生成該監測項目的初始權重訓練標籤；結合該監測項目的歷史監控資料的正規化特徵與該監測項目的初始權重訓練標籤，以產生該監測項目的初始權重訓練資料；使用該監測項目的初始權重訓練資料進行初始權重訓練，以生成該監測項目的初始權重；設定出該監測項目的門檻值，以利用該監測項目的門檻值與歷史監控資料進行比對而生成該監測項目的新權重訓練標籤；結合該監測項目的歷史監控資料的正規化特徵與新權重訓練標籤，以產生該監測項目的新權重訓練資料；以及將該監測項目的初始權重與新權重訓練資料進行權重訓練，以生成該監測項目的重要性權重。
如申請專利範圍第2項所述之使用機器學習預測系統健康度之方法，其中，使用該監測項目的初始權重訓練資料進行初始權重訓練之步驟中，該初始權重訓練係使用線性版本的機器學習訓練模型。
如申請專利範圍第2項所述之使用機器學習預測系統健康度之方法，更包括在設定出該監測項目的門檻值之步驟之前，進行該障礙事件的比例檢測。
如申請專利範圍第4項所述之使用機器學習預測系統健康度之方法，其中，若該障礙事件的比例佔全體比例小於1/2，則再次將該監測項目的歷史監控資料的正規化特徵與初始權重訓練標籤結合，以重新產生該監測項目的初始權重訓練資料，俾於產出該監測項目的初始權重訓練資料時，將該障礙事件的數量加倍。
如申請專利範圍第2項所述之使用機器學習預測系統健康度之方法，其中，生成該監測項目的初始權重訓練標籤時，係選擇在迴圈中F分數(F-score)評分最高的初始權重作為選擇的初始權重。
如申請專利範圍第1項所述之使用機器學習預測系統健康度之方法，其中，該系統的健康度之計算係使用該監測項目的重要性權重與門檻值進行計算，再搭配該時間函數進行整合，以計算出該系統的健康度。
如申請專利範圍第1項所述之使用機器學習預測系統健康度之方法，其中，產出該健康度預測模型之步驟更包括：利用該監測項目的健康度訓練資料進行該監測項目的健康度訓練，以產生該健康度預測模型。
一種使用機器學習預測系統健康度之系統，係包括：健康度分析模組，係取得系統的監測項目的重要性權重，且該監測項目為該系統的處理器、記憶體、儲存設備、交換分區、執行程序、執行中的執行緒或可用堆疊，其中，該健康度分析模組依據該監測項目的歷史監控資料的正規化特徵與新權重訓練標籤產生該監測項目的新權重訓練資料，再將該監測項目的初始權重與新權重訓練資料進行權重訓練以生成該監測項目的重要性權重；健康度計算模組，係依據該監測項目的重要性權重與時間函數
計算出該系統的健康度，其中，t_e為該監測項目的未來時間中有發生障礙事件的時間，t_s為該監測項目中要計算分數的時間點，max為取最大值；健康度建模模組，係利用依據該監測項目的重要性權重與時間函數
所計算之該系統的健康度進行該監測項目的健康度訓練，其中，該健康度建模模組利用依據該監測項目的重要性權重與時間函數
所計算之該系統的健康度計算出該監測項目的健康度訓練標籤，以結合該監測項目的健康度訓練標籤與歷史監控資料的正規化特徵而生成該監測項目的健康度訓練資料，且該健康度建模模組利用依據該監測項目的重要性權重與時間函數
所計算之該系統的健康度而進行之該監測項目的健康度訓練的結果產出健康度預測模型；以及健康度預測模組，係利用該健康度建模模組依據該監測項目的重要性權重與時間函數g(t_e-t_s)=
所計算之該系統的健康度而進行之該監測項目的健康度訓練的結果所產出的該健康度預測模型，以使用機器學習技術預測出該系統未來的健康度。
如申請專利範圍第9項所述之使用機器學習預測系統健康度之系統，其中，該健康度分析模組取得該系統的監測項目的重要性權重之步驟係包括：將該監測項目的歷史監控資料進行正規化，以產生該監測項目的歷史監控資料的正規化特徵；利用該監測項目的歷史監控資料中的障礙事件，生成該監測項目的初始權重訓練標籤；結合該監測項目的歷史監控資料的正規化特徵與該監測項目的初始權重訓練標籤，以產生該監測項目的初始權重訓練資料；使用該監測項目的初始權重訓練資料進行初始權重訓練，以生成該監測項目的初始權重；設定出該監測項目的門檻值，以利用該監測項目的門檻值與歷史監控資料進行比對而生成該監測項目的新權重訓練標籤；結合該監測項目的歷史監控資料的正規化特徵與新權重訓練標籤，以產生該監測項目的新權重訓練資料；以及將該監測項目的初始權重與新權重訓練資料進行權重訓練，以生成該監測項目的重要性權重。
如申請專利範圍第10項所述之使用機器學習預測系統健康度之系統，其中，使用該監測項目的初始權重訓練資料進行初始權重訓練之步驟中，該初始權重訓練係使用線性版本的機器學習訓練模型。
如申請專利範圍第10項所述之使用機器學習預測系統健康度之系統，更包括在設定出該監測項目的門檻值之步驟之前，進行該障礙事件的比例檢測。
如申請專利範圍第12項所述之使用機器學習預測系統健康度之系統，其中，若該障礙事件的比例佔全體比例小於1/2，則再次將該監測項目的歷史監控資料的正規化特徵與初始權重訓練標籤結合，以重新產生該監測項目的初始權重訓練資料，俾於產出該監測項目的初始權重訓練資料時，將該障礙事件的數量加倍。
如申請專利範圍第10項所述之使用機器學習預測系統健康度之系統，其中，生成該監測項目的初始權重訓練標籤時，係選擇在迴圈中F分數(F-score)評分最高的初始權重作為選擇的初始權重。
如申請專利範圍第9項所述之使用機器學習預測系統健康度之系統，其中，該系統的健康度之計算係使用該監測項目的重要性權重與門檻值進行計算，再搭配該時間函數進行整合，以計算出該系統的健康度。
如申請專利範圍第9項所述之使用機器學習預測系統健康度之系統，其中，產出該健康度預測模型之方式更包括：利用該監測項目的健康度訓練資料進行該監測項目的健康度訓練，以產生該健康度預測模型。