TW202311961A

TW202311961A - 應用程式異常偵測方法及其系統

Info

Publication number: TW202311961A
Application number: TW110132624A
Authority: TW
Inventors: 葉為治; 鄭巧翊; 林相宇; 鄭國卿; 蔡恆萍
Original assignee: 遠傳電信股份有限公司
Priority date: 2021-09-02
Filing date: 2021-09-02
Publication date: 2023-03-16
Also published as: US20230061230A1

Abstract

本發明為一種應用程式異常偵測方法及其系統，包括根據至少一應用程式之日誌資料，蒐集特徵參數，並分別輸入該特徵參數至處理裝置中，以通過運算分別產生第一預測值、第二預測值、第一偵測值及第二偵測值。接著利用一異常分數評估方程式，分別對第一預測值、第二預測值、第一偵測值及第二偵測值加權運算，以產生應用程式的異常評估數值。最後將異常評估數值輸入警示分級模型中，以將異常評估數值分級，並依據分級提出對應的警示訊號。本發明能主動預測應用程式產生異常的趨勢並提出警示，以提早發現異常採取因應措施。

Description

應用程式異常偵測方法及其系統

本發明係有關一種電子數位資料處理之技術，特別是指一種預測異常趨勢之應用程式異常偵測方法及其系統。

隨著網路科技的快速發展，雲端管理技術也相對普遍被廣泛應用。一般來說，當企業的接待人員與客戶確認交易內容產生訂單後，會透過網路連線到雲端伺服器建立的應用程式，接待人員再將客戶的訂單資料輸入以儲存在雲端資料庫中。

以電信公司舉例來說，接待人員在訂單的成單過程中，操作應用程式時，需進行許多的確認步驟，如輸入客戶資料、檢核客戶資格、確認促銷方案、確認商品型號、確認加購加值及結帳等步驟。

但是當接待人員操作應用應用程式時，所處理的任一步驟有問題時，都會影響整體公司的業務管理，客人也可能須耗費時間等待錯誤排除後才能完成交易，因而產生服務觀感不佳等問題。

因此若能提早預測應用程式操作時可能問題的發生，而非等到問題發生後才進行應用程式的檢查及修復，就能減少客戶或接待人員等待的時間，提升服務效率及品質。

有鑑於此，本發明遂針對上述習知技術之缺失，提出一種應用程式異常偵測方法及其系統，以有效克服上述之該等問題。

本發明之主要目的在提供一種應用程式異常偵測方法及其系統，其主動預測應用程式產生異常的趨勢，以提早發現並採取因應措施。

本發明之另一目的在提供一種應用程式異常偵測方法及其系統，其主動預測應用程式產生異常的趨勢，並依據異常情況區分不同分級的警示，以有效提醒管理員採取因應措施。

為達上述之目的，本發明係提供一種應用程式異常偵測方法，包括下列步驟，首先根據至少一應用程式之日誌資料，蒐集一特徵參數。分別輸入該特徵參數至第一預測模型、第二預測模型中、第一偵測模型及第二偵測模型中，以通過運算分別產生第一預測值、第二預測值、第一偵測值及第二偵測值。接著利用一異常分數評估方程式，分別對第一預測值、第二預測值、第一偵測值及第二偵測值加權運算，以產生應用程式的異常評估數值。將異常評估數值輸入警示分級模型中，以將異常評估數值分級，當異常評估數值大於第一分級閥值且小於等於第二分級閥值，產生第一警示訊號，當異常評估數值大於第二分級閥值產生第二警示訊號。

在本實施例中，其中異常分數評估方程式表示為：

其中

為第一預測值、第二預測值、第一偵測值及第二偵測值，

為第一預測值、第二預測值、第一偵測值及第二偵測值所加的權重值。

在本實施例中，第一預測模型、第二預測模型分別產生第一預測值及第二預測值之步驟更包括，第一預測模型及第二預測模型接收特徵參數後，經運算能分別產生第一預測異常數量及第二預測異常數量。比對第一預測異常數量與預測異常數量閥值，及比對第二預測異常數量與預測異常數量閥值，並根據結果分別產生第一預測值及第二預測值。

在本實施例中，結果為第一預測異常數量或第二預測異常數量是否在一預測異常數量閥值範圍內的結果。

在本實施例中，第一預測模型為長短期記憶模型（long short-term memory，LSTM）。

在本實施例中，第二預測模型為泊松回歸（Poisson regression）。

在本實施例中，第一偵測模型為決策樹模型（HC +Decision tree）。

在本實施例中，第二偵測模型為孤立樹模型（Isolation Forest，iForest）。

在本實施例中，特徵參數包括時間資訊，及其對應該時間資訊中產生異常的數量。

另外，本發明亦提供一種應用程式異常偵測系統，包括一特徵參數蒐集裝置，根據至少一應用程式之日誌（Log）資料，蒐集特徵參數。一處理裝置連接特徵參數蒐集裝置，並接收特徵參數，其中處理裝置包括一第一預測模組接收特徵參數，並通過運算產生第一預測值；一第二預測模組接收特徵參數，並通過運算產生第二預測值；一第一偵測模組接收特徵參數，並通過運算產生第一偵測值；一第二偵測模組接收特徵參數，並通過運算產生第二偵測值；一異常分數評估模組利用一異常分數評估方程式，分別對第一預測值、第二預測值、第一偵測值及第二偵測值加權運算，以產生至少一應用程式的一異常評估數值；一警示分級模組接收異常評估數值，以將異常評估數值分級，當該異常評估數值大於第一分級閥值且小於等第二分級閥值，產生第一警示訊號，當該異常評估數值大於第二分級閥值產生第二警示訊號。一警示裝置連接處理裝置，以接收並發出第一警示訊號以及第二警示訊號。

在本實施例中，異常分數評估模組中的異常分數評估方程式表示為：

其中

為第一預測值、第二預測值、第一偵測值及第二偵測值，

在本實施例中，第一預測模組內包括一第一預測模型，輸入特徵參數至第一預測模型後，經第一預測模型運算產生第一預測異常數量，第一預測模組並比對第一預測異常數量與一預測異常數量閥值，並根據結果產生該第一預測值。第二預測模組內包括一第二預測模型，輸入特徵參數至第二預測模型後，經第二預測模型運算產生第二預測異常數量，第二預測模組並能比對第二預測異常數量與一預測異常數量閥值，並根據結果產生第二預測值。

在本實施例中，第一偵測模組包括一第一偵測模型，以對特徵參數進行運算產生第一偵測值，第一偵測模型為決策樹模型（HC +Decision tree）。

在本實施例中，第二偵測模組包括一第二偵測模型，以對特徵參數進行運算產生第二偵測值，第二偵測模型為孤立樹模型（Isolation Forest，iForest）。

在本實施例中，特徵參數包括時間資訊，及其對應時間資訊中產生異常的數量。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

本發明應用程式異常偵測方法及其系統可用以預測應用程式中的異常情形，並能分級提出對應的警示，以在異常發生之前能提早對應用程式進行修復，能有效提升整體效益。

首先說明本發明之應用程式異常偵測系統，請參照第一圖，應用程式異常偵測系統1之架構包括一特徵參數蒐集裝置10、一處理裝置20以及一警示裝置30，其中處理裝置20連接特徵參數蒐集裝置10以及警示裝置30。特徵參數蒐集裝置10可為接收裝置，如網路收發器或訊號連接埠等接收器，以透過網路連接應用程式來根據應用程式之日誌資料，蒐集應用程式的特徵參數，或者是透過訊號連接埠連接硬碟，以存取硬碟內儲存的特徵參數。特徵參數包括時間資訊，及其對應該時間資訊中產生異常的數量。舉例來說，特徵參數可為一固定時間內應用程式異常產生的數量，如上班時間、假日時段、一年、一個月、一小時、一分鐘、星期幾、工作日、白天、晚上、營業前的時間等每個不同時間內所產生異常的數量。

處理裝置20則為具有運算功能的裝置，如中央處理器（Central Processing Unit，CPU），處理裝置20接收特徵參數，並據其進行運算，處理裝置20將蒐集到的這些特徵參數利用神經網路技術進行運算，即能根據歷史的時間預測未來對應時間可能發生的異常。警示裝置30可為顯示器或發聲裝置，以提供影像或聲音的警示訊號。

接著詳細說明處理裝置20利用特徵參數預測應用程式異常的過程，在本實施例中，處理裝置20包括一第一預測模組22、一第二預測模組24、一第一偵測模組26、一第二偵測模組27、一異常分數評估模組28以及一警示分級模組29。請配合參照第二圖及第三圖，以詳細說明處理裝置20及每一個模組的運算功能以及應用程式異常偵測方法。

首先進入步驟S10，處理裝置20由特徵參數蒐集裝置10根據應用程式之日誌資料，接收到多筆特徵參數，並將相同的特徵參數分別輸入到第一預測模組22、第二預測模組24、第一偵測模組26以及第二偵測模組27中，令第一預測模組22通過運算產生第一預測值，其中第一預測值為未來一段時間，如15分鐘後發生異常的數值，第二預測模組24通過運算產生第二預測值，其中第二預測值為未來一段時間，如15分鐘後發生異常的數值，第一偵測模組26通過運算產生第一偵測值，第二偵測模組27通過運算產生第二偵測值。

詳細來說，第一預測模組22內存有一第一預測模型，在本實施例中第一預測模型為長短期記憶模型（long short-term memory，LSTM），當特徵參數至第一預測模型後，經第一預測模型的運算產生第一預測異常數量後，第一預測模組22可比對第一預測異常數量與一預測異常數量閥值，並根據結果產生第一預測值。

第二預測模組24內則存有一第二預測模型，其可為泊松回歸（Poisson regression），當輸入特徵參數至第二預測模型後，經第二預測模型運算產生第二預測異常數量，第二預測模組24並比對第二預測異常數量與預測異常數量閥值，並根據結果產生第二預測值。

上述之結果為第一預測異常數量或第二預測異常數量是否在一預測異常數量閥值範圍內的結果。在本實施例中，第一預測值與第二預測值以二進制0/1表示。詳細來說，提供第一預測異常數量或第二預測異常數量比對的預測異常數量閥值範圍為過去一段時間內，如一周內產生異常數量平均值上下2.5倍標準差以內，當第一預測異常數量或第二預測異常數量在預測異常數量閥值範圍內，表示為正常，第一預測值或第二預測值表示為0，但若第一預測異常數量或第二預測異常數量未落在預測異常數量閥值範圍內，表示為異常，第一預測值或第二預測值表示1。

說明第一偵測值的產生方法。第一偵測值為偵測過去一段時間的數值，如15分鐘前的應用程式發生異常的數值。第一偵測模組26內則存有一第一偵測模型，其可為決策樹模型（HC +Decision tree），以對特徵參數進行運算產生第一偵測值，在本實施例中，第一偵測值亦以二進制表示，若未偵測到異常，第一偵測值表示為1，若偵測到異常，第一偵測值表示為0。

說明第二偵測值的產生方法。第二偵測值為偵測過去一段時間發生異常的數值，如15分鐘前的應用程式發生異常的數值。第二偵測模組27內存有一第二偵測模型，其可為為孤立樹模型（Isolation Forest，iForest），以對特徵參數進行運算產生第二偵測值，第二偵測值亦以二進制表示，若未偵測到異常，第二偵測值表示為1，若偵測到異常，第二偵測值表示為0。

運算出第一預測值、第二預測值、第一偵測值及第二偵測值後，接著進入步驟S12，將第一預測值、第二預測值、第一偵測值及第二偵測值輸入到異常分數評估模組28，利用一異常分數評估方程式，使異常分數評估模組28再分別對第一預測值、第二預測值、第一偵測值及第二偵測值加權運算。在本實施例中設定加權的權重值的初始值為0.25，且第一預測值的權重值

第二預測值的權重值

第一偵測值的權重值

第二偵測值的權重值。異常分數評估模組28將對加權後的第一預測值、第二預測值、第一偵測值及第二偵測值之總和平均，以產生出應用程式的異常評估數值。其中異常分數評估模組28中的異常分數評估方程式表示為：

其中

為第一預測值

)、第二預測值

、第一偵測值

及第二偵測值

，

為第一預測值所加的權重值

、第二預測值所加的權重值(

、第一偵測值所加的權重值

及第二偵測值所加的權重值

。

產生出異常評估數值後，最後進入步驟S14，將異常評估數值輸入到警示分級模組29之警示分級模型中，以將異常評估數值分級。警示分級模組29判斷當異常評估數值小於等於第一分級閥值時，不發出警示。當異常評估數值大於第一分級閥值且小於等於第二分級閥值時，產生第一警示訊號，當異常評估數值大於第二分級閥值時，產生第二警示訊號。在本實施例中，第一分級閥值設定為0.33，第二分級閥值設定為0.67。

將警示分級後，接著透過警示裝置30發出第一警示訊號以及第二警示訊號。在本實施例中，第一警示訊號為電子信箱的訊息發送，以發送到管理員的信箱中，提醒管理員應用程式有中風險的機率會產生異常，請進行檢查及修復。第二警示訊號則為電子信箱以及通訊裝置簡訊的訊息發送，以發送到管理員的信及通訊裝置中，以提醒管理員應用程式有高風險的機率會產生異常，請進行檢查及修復。

綜上所述，本發明能主動預測應用程式產生異常的趨勢，以提早發現並採取因應措施，同時能依據異常情況區分不同分級的警示，以有效提醒管理員採取因應措施。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

1:應用程式異常偵測系統 10:特徵參數蒐集裝置 20:處理裝置 22:第一預測模組 24:第二預測模組 26:第一偵測模組 27:第二偵測模組 28:異常分數評估模組 29:警示分級模組 30:警示裝置 S10~S14:步驟

第一圖係為本發明之系統方塊圖。第二圖係為本發明之方法流程圖。第三圖係為本發明之流程示意圖。

S10~S14:步驟

Claims

一種應用程式異常偵測方法，包括下列步驟：根據至少一應用程式之日誌資料，蒐集一特徵參數；分別輸入該特徵參數至第一預測模型、第二預測模型中、第一偵測模型及第二偵測模型中，以通過運算分別產生第一預測值、第二預測值、第一偵測值及第二偵測值；利用一異常分數評估方程式，分別對該第一預測值、該第二預測值、該第一偵測值及該第二偵測值加權運算，以產生該至少一應用程式的一異常評估數值；以及將該異常評估數值輸入警示分級模型中，以將該異常評估數值分級，當該異常評估數值大於第一分級閥值且小於等於第二分級閥值，產生第一警示訊號，當該異常評估數值大於第二分級閥值產生第二警示訊號。
如請求項1所述之應用程式異常偵測方法，其中該異常分數評估方程式表示為：
其中
為該第一預測值、該第二預測值、該第一偵測值及該第二偵測值，
為該第一預測值、該第二預測值、該第一偵測值及該第二偵測值所加的權重值。
如請求項1所述之應用程式異常偵測方法，其中該第一預測模型、第二預測模型分別產生第一預測值及第二預測值之步驟更包括：該第一預測模型及該第二預測模型接收該特徵參數後，經運算能分別產生第一預測異常數量及第二預測異常數量；及比對該第一預測異常數量與預測異常數量閥值，及比對該第二預測異常數量與預測異常數量閥值，並根據結果分別產生該第一預測值及該第二預測值。
如請求項3所述之應用程式異常偵測方法，其中該結果為該第一預測異常數量或該第二預測異常數量是否在一預測異常數量閥值範圍內的結果。
如請求項1所述之應用程式異常偵測方法，其中該第一預測模型為長短期記憶模型（long short-term memory，LSTM）。
如請求項1所述之應用程式異常偵測方法，其中該第二預測模型為泊松回歸（Poisson regression）。
如請求項1所述之應用程式異常偵測方法，其中該第一偵測模型為決策樹模型（HC +Decision tree）。
如請求項1所述之應用程式異常偵測方法，其中該第二偵測模型為孤立樹模型（Isolation Forest，iForest）。
如請求項1所述之應用程式異常偵測方法，其中該特徵參數包括時間資訊，及其對應該時間資訊中產生異常的數量。
一種應用程式異常偵測系統，包括：一特徵參數蒐集裝置，根據至少一應用程式之日誌資料，蒐集特徵參數；一處理裝置，連接該特徵參數蒐集裝置，並接收該特徵參數，該處理裝置包括：一第一預測模組，接收該特徵參數，並通過運算產生第一預測值；一第二預測模組，接收該特徵參數，並通過運算產生第二預測值；一第一偵測模組，接收該特徵參數，並通過運算產生第一偵測值；一第二偵測模組，接收該特徵參數，並通過運算產生第二偵測值；一異常分數評估模組，利用一異常分數評估方程式，分別對該第一預測值、該第二預測值、該第一偵測值及該第二偵測值加權計算，，以產生該至少一應用程式的一異常評估數值；及一警示分級模組，接收該異常評估數值，以將該異常評估數值分級，當該異常評估數值大於第一分級閥值且小於等第二分級閥值，產生第一警示訊號，當該異常評估數值大於第二分級閥值產生第二警示訊號；以及一警示裝置，連接該處理裝置，以接收並發出該第一警示訊號以及該第二警示訊號。
如請求項10所述之應用程式異常偵測系統，其中該異常分數評估模組中的該異常分數評估方程式表示為：
其中
為該第一預測值、該第二預測值、該第一偵測值及該第二偵測值，
為該第一預測值、該第二預測值、該第一偵測值及該第二偵測值所加的權重值。
如請求項10所述之應用程式異常偵測系統，其中該第一預測模組內包括一第一預測模型，輸入該特徵參數至該第一預測模型後，經該第一預測模型運算產生第一預測異常數量，該第一預測模組並比對該第一預測異常數量與一預測異常數量閥值，並根據結果產生該第一預測值；其中該第二預測模組內包括一第二預測模型，輸入該特徵參數至該第二預測模型後，經該第二預測模型運算產生第二預測異常數量，該第二預測模組並能比對該第二預測異常數量與一預測異常數量閥值，並根據結果產生該第二預測值。
如請求項12所述之應用程式異常偵測系統，其中該結果為該第一預測異常數量或該第二預測異常數量是否在一預測異常數量閥值範圍內的結果。
如請求項12所述之應用程式異常偵測系統，其中該第一預測模型為長短期記憶模型（long short-term memory，LSTM）。
如請求項12所述之應用程式異常偵測系統，其中該第二預測模型為泊松回歸（Poisson regression）。
如請求項10所述之應用程式異常偵測系統，其中該第一偵測模組包括一第一偵測模型，以對該特徵參數進行運算產生該第一偵測值，該第一偵測模型為決策樹模型（HC +Decision tree）。
如請求項10所述之應用程式異常偵測系統，其中該第二偵測模組包括一第二偵測模型，以對該特徵參數進行運算產生該第二偵測值，該第二偵測模型為孤立樹模型（Isolation Forest，iForest）。
如請求項10所述之應用程式異常偵測系統，其中該特徵參數包括時間資訊，及其對應該時間資訊中產生異常的數量。