TWI494750B - Real - time monitoring and alarm system of service interface for large enterprise information integration platform - Google Patents

Description

大型企業資訊整合平台之服務介面即時監控與告警系統

本發明揭示一種大型企業資訊整合平台之服務介面即時監控及告警系統，特別是指透過線上自動偵測模組，抽取有用資料進行分析，並記錄及運算所有線上介面最新運作狀況，即時運算出結果，發出適當訊息。

大型企業為了解決不同系統介接與資料分散的問題，衍生出“企業應用軟體整合平台”(Enterprise Application Integration)，或“服務為導向之架構平台”(Service Oriented Architecture)之需求，企業應用軟體整合主要目的在於將企業內部各應用程式透過即時訊息整合之方式EMS(Enterprise Message Server)，達到資訊透通性，企業便可即時且有效的運用這些資料在內部行政與決策及各種商業業務競爭的場合。而為提昇市場優勢，配合新業務的行銷及電信業務推廣能達到訊息即時化、資訊整合化與流程自動化，在既有的資源中創造更大的獲利能力，皆需仰賴快速內部資源的整合及快速的客戶資料與服務的整合與提供。

然而，現有的企業應用軟體整合的技術，雖然可在“正常”的情況下提供即時訊息整合的功能，但是對於“異常”的情況卻是反應遲鈍，等到發現異常，已經經過一段時間，事後再從log中分析各系統在平台上運行狀態，確仍有諸多缺失，實非一良善之設計，而亟待加以改良。

由此可見，本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件，企業資訊整合服務介面即時監控及告警系統。

其包含後端應用系統介面狀態即時監控功能、系統異常告警門檻值設定、系統異常訊息通報，使其能在異常情況發生的同時，即可適時自動將異常的狀況通知系統管理人員，達到企業應用系統整合365天全年無休的運作。

本發明的目的在提供一企業級資訊整合服務平台的服務品質監控系統(在實際應用上可監控100次/sec以上的介面使用量，而不影響平台服務效能)，一個大型的企業往往有數十個甚至超過百個資訊系統，系統間因業務之需要彼此間透過服務介面來交換資料，透過系統線上自動偵測模組，記錄並運算所有線上介面最新運作狀況，如何在如此巨大的資訊內容中抽取有用資料進行分析，即時運算出結果發出適當訊息，並且能不影響平台服務效能是本發明的重點。

本發明的另一目的在於當線上應用介面服務發生問題，除了告警外，更可應用此告警的訊息內容，讓整合服務平台自動進入控管(flow Control)狀態，針對不良之服務介面進入控管狀態，不至於因單一系統或少數介面出現問題而影響整個企業資訊整合平台之效能。

本發明的目的是在建構一個大量服務介面之即時監控及告警系統，以解決企業級資訊整合服務平台維運問題，當企業內部各資訊系統為了業務、行銷、行政、財務等需求問題，進而架構了數以百計的資訊應用系統，而這些系統間又因業務需求，彼此間需透過整合平台交換資訊，當各系統提供之服務介面總數超過數百個，甚至上千個時，如何在第一時間了解各服務介面運作問題進而排除障礙，是影響企業IT運行的重要議題，因應此一複雜問題，本發明之架構包括：訊息攔截接收模組(在架構上採用UDP方式用以減少網路上的延遲)、訊息過濾模組(只記錄有用資訊減少記憶體使用)、訊息分群模組(將不同服務介面分群處理，以快速釐清問題方向)、時間軸計算模組(依據需求設定運算與監控之時間單位如5秒)、告警模組(當系統一偵測出有服務介面發生問題，立即應用媒介通知相關系統之關係人如eMail、簡訊...並在訊息中附加服務介面過去一段時間內之效能曲線圖示，讓訊息更加完整與更容易理解)、統計模組(統計服務介面效能與可用率)、資料暫存模組(因應前端查詢與展示，將效能資料預存於記憶體中，以快速回應使用者)、儲存共用模組及資訊即時更新模組(前端動態圖示：如動態效能圖、介面可用率、使用總量、錯誤量、告警資訊、歷史告警資訊...)等九大建構模組。應用此一監控系統，即可即時控管整合服務平台上之各種服務介面，藉以了解各服務介面運作情形(並可同時任意選取不同服務介面，online監看所有服務介面之即時效能圖)讓系統運作透明化管理更加輕鬆化。

本發明較佳實施例，在伺服器使用Windows Server 2003，全球資訊網伺服器使用IIS，Java應用伺服器使用Apache Jakarta Tomcat，企業非同部之訊息平台使用Java Message Service系列產品。

大型企業資訊整合服務平台中包含各種服務資訊內容格式如BINARY、TEXT、XML(Extensible Markup Language)...傳送規約(Protocol)如SOCKET、HTTP(Hypertext Transfer Protocol)、SOAP(Simple Object Access Protocol)、JMS(Java Message Service)...因此在處理上非常複雜，而訊息攔截接收模組(101)主要是扮演此一資料格式轉換與抽取角色(轉換後之資料格式如表一)，先以UDP方式收集整合服務平台上之各類訊息，所提發明之所以採用UDP方式，乃因UDP模式具有同區域中所有訊息接收端皆可接收相同訊息，如此訊息攔截接收模組(101)可收集訊息，且又不影響原系統資料之傳送，改善傳統一對一查詢(Request/Reply)循序處理的缺點。訊息過濾模組(102)則是將訊息攔截接收模組(101)所得的訊息加以過濾，將非監控所須訊息濾除，萃取出監控所需的訊息。

並將萃取出之訊息送往訊息分群模組(103)，此模組以表一中之<CMD>欄位作為分群依據。而時間軸計算模組(104)主要依據監控設計時間單位進行計算，將所萃取之資料計算一次，訊息分群模組(103)與時間軸計算模組(104)處理萃取後的資料，根據不同條件作分群的處理，並整合使用者設定的監控條件如告警門檻、監控間隔等，配合時間軸計算模組(104)作分析運算；分析結果若達告警上限，則透過告警模組(105)通知相關之維運人員，已期達到即時通報即時修復之效。另外，分析後的資料亦會經由資料Cache模組(107)暫時存於系統中，資料Cache模組(107)則依監控系統前端的設定，即時且週期性地將分析結果輸出至監控系統前端供做展示。

資料Cache模組(107)從時間軸計算模組(104)取得每單位時間所計算出資訊，更新監控即時資訊(如後端系統介面之回應效能資訊及EMS Queue ＆ Topic執行資訊)，運用Cache管理機制之資訊即時更新模組及儲存共用模組設計高效率之即時監控系統，此資訊提供外部監控系統所用因此可同時讓多個監控client同時使用。資訊即時更新模組(109)利用Cache之Callback機制(此指的是Cache模組可設定資料之有效時間，當有效時間一過此模組就會觸發Callback)更新最新資料，即時掌握即時資訊之異動處理，首先設定Cache與時間軸計算模組之聯結，以鎖定監控對象，然後設計Callback處理邏輯，監控對象一有資料更新，馬上觸發Callback機制以進行Cache資料更新。資訊即時更新模組(109)主要為即時資料之分類統計，統計對象為系統及指令之執行效能，包含執行回應時間、呼叫成功次數、呼叫失敗次數等。儲存共用模組(108)設計每單位時間更新之Cache為系統儲存共用模組，提供大量資料給使用者使用，以提高即時監控系統運作效率。即時動態圖模組處理每10秒更新之即時資訊並且加以儲存，儲存區間為最近30分鐘之系統執行資訊，讓使用者可以透過動態圖介面即時掌控系統執行現況。即時動態圖模組聯結告警設定模組(105)，對於系統及指令之即時異常，可以進行告警設定，設定結果立即生效，系統維運人員一接獲告警通知，即可即刻進行系統維修任務。

訊息攔截接收模組(101)抽取資料以XML表示格式(Schema)如下表：

各相對xml node意義如下：

<CMD>：各介面名稱

<Status>：介面使用狀態值

<Msg>：介面使用狀態描述

<PARAM>：此介面使用輸入參數值,<V>：各個參數值

<SIP>:Source IP

<DIP>:Target IP

<UID>：使用者ID

<StartTime>：開始時間

<EndTime>：結束時間

<UUID>：此介面執行時期代表ID

<CMD>指令名稱</CMD>，指令名稱是以xxxx.xxxx.xxxx.xxxx.xxxx格式定義(xxxx代表文數字，長度最長為128byte，可表示為：公司.類別.系統.功能.動作),如com.order.tops.customer_profile.query代表查詢為order類別之tops系統，功能為customer_profile，動作為query，com.billing.lbbp.invoice.query代表查詢帳務類別之lbbp系統，功能為invoice.因此可以[公司]為做為群組之key值，或以[公司.類別]為群組之key值，依此方式[公司.類別.系統.功能]可得到更細之統計群組值。

本發明之技術內容進一步說明如下：

(1)系統主要效能與告警功能：

透過監控系統Web Server取得最新整合平台之服務介面效能資訊.並於Browser(瀏覽器)端展現所有系統介面最新資訊，並每隔10秒更新一次如圖二.

(2)異常指令即時顯示及歷史資料彙整

透過服務介面狀態監測，顯示每10秒更新之異常指令即時資訊，如圖三所示，即時顯示異常原因、異常來源詳細資料及修復狀態等，透過系統線上自動偵測模組，一有異常產生，系統自動發送告警資訊給系統維運者。

(3)系統介面即時監控功能

透過系統即時監控模組，掌握每10秒更新之系統介面即時動態，如圖四所示，系統介面即時監控模組針對所有後端系統及介面提供即時資訊，包含指令執行平均回應時間、呼叫成功次數及呼叫失敗次數。系統維運者可以同時開啟多個視窗即時掌控系統執行現況，即時解決系統異常。

(4)系統異常告警設定

透過系統異常告警設定模組，動態設定告警資訊及維運人員，一經設定，立即生效，設定功能如圖五所示，系統異常告警設定模組設有錯誤門檻值、效能門檻值、錯誤率門檻值及維運人員選單，提供系統管理者設定及選取。運轉的系統會時時比對門檻值，若運轉值不在門檻值的範圍內，系統異常立即顯示，告警作業立即啟動，系統維運人員即可馬上進行系統維修任務。

(5)系統效能即時統計

透過系統效能即時統計模組，顯示最近30分鐘之效能資訊，系統指令平均回應時間如圖六所示，系統效能統計分為所有系統之效能統計及單一系統所有指令之效能統計，效能統計圖計有平均回應時間、呼叫成功次數及呼叫失敗次數等三種。使用者可以點選統計圖上的柱狀體以顯示該項目之即時監控圖，隨時掌握異常系統之細部資訊。

(6)EMS(Enterprise Message Server)即時監控及異常告警

EMS非同步訊息平台，具備了整合不同介面及傳輸模式的介接、支援即時的資料交換機制、快速滿足新的業務需求等特性，適合做為大型資訊系統之底層架構，EMS topic及durable即時資訊及告警設定如圖七,EMS queue及topic之即時監控、告警設定及異常告警功能，提供底層訊息平台保持正常穩定運作，一有異常，透過告警發佈，能於最短時間內修復。

惟以上所述者，僅為本發明之一較佳實施例而已，並非用來限定本發明實施之範圍。即凡依本發明申請專利範圍所做的均等變化與修飾，皆為本發明專利範圍所涵蓋。

101．．．訊息攔截接收模組

102．．．訊息過濾模組

103．．．訊息分群模組

104．．．時間軸計算模組

105．．．告警模組

106．．．統計模組

107．．．資料Cache模組

108．．．儲存共用模組

109．．．資訊即時更新模組

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效；有關附圖為：

圖一為本發明大型企業資訊整合平台之服務介面即時監控與告警系統之架構示意圖；

圖二為本發明主要監控系統畫面；

圖三為本發明之異常介面即時顯示及歷史資料彙整圖；

圖四為本發明之個別系統介面即時狀態功能；

圖五為本發明之系統介面告警參數與聯絡人設定功能畫面；

圖六為本發明之系統效能即時統計功能畫面；

圖七為本發明之EMS(Enterprise Message Server)告警參數設定功能畫面。

101．．．訊息攔截接收模組

102．．．訊息過濾模組

103．．．訊息分群模組

104．．．時間軸計算模組

105．．．告警模組

106．．．統計模組

107．．．資料Cache模組

108．．．儲存共用模組

109．．．資訊即時更新模組

Claims (9)

1. 一種大型企業資訊整合平台之服務介面即時監控與告警系統，其包括：至少一前端告警設定終端模組，其提供一使用者介面與使用者互動，並藉由一前端通訊介面與告警核心管理模組連結；至少一訊息攔截接收模組，其藉由網路通訊攔截接收企業資訊整合平台上各種資訊；至少一訊息過濾模組，將訊息攔截接收模組所得的訊息加以過濾，萃取出監控所需的訊息，以決定儲存那些資訊，並將萃取出之訊息送往訊息分群模組；一訊息分群模組，將訊息過濾模組萃取出之訊息依據設定之條件將其群組化；一時間軸計算模組，將訊息過濾模組萃取出之訊息依據設定時間條件計算各種效能值；一統計模組，將歷史資訊加以統計分析，統計服務介面效能與可用率；一資料Cache模組，可運用Cacheback管理機制儲存時間軸計算模組之即時效能分析結果，以供前端監控系統即時且週期性讀取及展示；一儲存共用模組，儲存資料Cache模組每單位時間更新之後之Cache資料；一資訊即時更新模組，每單位時間取得最新效能資訊，供前端監控系統即時處理即時資訊之異動；以及一告警模組，當系統一偵測出有服務介面發生問題，立即應用媒介通知相關系統之關係人。
2. 如專利申請範圍第1項所述之大型企業資訊整合平台之服務介面即時監控與告警系統，其中該前端通訊介面更包含及資料格式之轉換，其轉換方式包括：a.　接收前端應用系統之指令，將通信規約HTTP轉換為UDP；b.　接收前端應用系統之指令，將通信規約SOCKET轉換為UDP；c.　接收前端應用系統之指令，將通信規約JMS轉換為UDP；d.　接收前端應用系統之指令，將資料轉換為XML格式。
3. 如專利申請範圍第1項所述之大型企業資訊整合平台之服務介面即時監控與告警系統，其中該訊息攔截接收模組係以UDP方式接收企業資訊整合服務平台上之各類訊息，資料使用XML為格式，並應用本發明之指令格式做為資料統計之群組方式。
4. 如專利申請範圍第3項所述之大型企業資訊整合平台之服務介面即時監控與告警系統，其中該XML schema 資料格式內容可包含：介面名稱、介面使用狀態值、介面使用狀態描述、介面使用輸入參數值、來源IP位址(Source IP)、目的地IP位址(Target IP)、使用者身份ID、開始時間、結束時間及介面執行時期代表ID。
5. 如專利申請範圍第1項所述之大型企業資訊整合平台之服務介面即時監控與告警系統，其中該訊息分群模組係將訊息過濾模組萃取出之訊息分群為系統與介面兩種群組。
6. 如專利申請範圍第1項所述之大型企業資訊整合平台之服務介面即時監控與告警系統，其中該資料Cache模組使用Callback管理機制更新內部資訊之步驟可包括：a.設定Cache與時間軸計算模組之聯結，以鎖定監控對象；b.監控對象一有資料更新，即依據所設定資料之有效時間參數發生timeout時，更新資料。
7. 如專利申請範圍第1項所述之大型企業資訊整合平台之服務介面即時監控與告警系統，其中該告警模組可依介面回應時間、介面呼叫成功次數與單位時間內介面呼叫失敗百分率等參數，監控線上所有服務之介面並發出告警。
8. 如專利申請範圍第1項所述之大型企業資訊整合平台之服務介面即時監控與告警系統，其特徵為可運用於EMS(Enterprise Message Server)即時監控及異常告警，係可依其中Message Server上之Queue，Topic之Message數發出告警。
9. 如專利申請範圍第1項所述之大型企業資訊整合平台之服務介面即時監控與告警系統，更包含一資料庫系統，可儲存歷史效能資訊、告警資訊與各項使用者的權限與設定資料。