TWI514174B - 分散式多重傳輸協定之跨層日誌搜集系統與方法 - Google Patents

Description

分散式多重傳輸協定之跨層日誌搜集系統與方法

本發明涉及日誌搜集系統與方法，特別是一種分散式多重傳輸協定之跨層日誌搜集系統與方法。

雲端運算為當前的趨勢之一，各式各樣的服務逐一出現。在雲端運算的環境中，依不同的服務模式，分別可區別為SaaS、PaaS、IaaS等三種類型；若以佈署模式的角度而言，又可區別為公有雲、私有雲、社群雲及混合雲四種。

然而把資料在網路上進行傳輸，運用網路資源進行運算、儲存及處理的同時，如何確保資料的安全，成為資料擁有者面臨的難題。這同時也是雲端服務廠商除了如何提供高效能、高可用度的服務外，另一個需要設法說服客戶的重要關鍵。

目前計算機運算環境中，針對不同類型的記錄，有不同的方式及標準來處理，如：

1.網路設備常使用簡單網路管理協議(SNMP，Simple Network Management Protocol)執行相關設備資料的搜 集。

2.應用程式則可能採用資料庫的稽核功能或自行記錄等方式。

3. Windows系統則運用作業系統中的事件記錄。

4. Linux系統則常運用系統日誌(Syslog)等協定。

上述之設備或程式的相關日誌記錄依其自身的需求，自行傳輸儲存，各自有其各自的處理方式，所以在雲端運中，如何收集這些日誌記錄納入雲端管理中，便成為一件困難的事情。

是以，要如何解決上述習用之問題與缺失，即為本發明之發明人與從事此行業之相關廠商所亟欲研究改善之方向所在者。

故，本發明之發明人有鑑於上述缺失，乃搜集相關資料，經由多方評估及考量，並以從事於此行業累積之多年經驗，經由不斷試作及修改，始設計出此種發明專利者。

本發明之主要目的在於提供一種分散式多重傳輸協定之跨層日誌搜集系統，適用於分散式架構建置、支援多重傳輸協定的日誌搜集平台，為雲端服務提供資料的安全保障，並提高服務的效能及滿足可用需求。

本發明之另一目的在於提供一種分散式多重傳輸協 定之跨層日誌搜集方法，適用於雲端環境中不同層級間日誌搜集的問題，透過日誌觀察，了解系統與各設備的關係，可以協助管理者了解不同設備間的關聯性。

為了達到上述發明目的，本發明係採取以下之技術手段予以達成，其中，本發明使用分散式多重傳輸協定之跨層日誌搜集方法，包括以下步驟：一前端裝置向一核心裝置請求校正其系統時間，時間同步後開始接受服務請求；在前端裝置的一客戶端，運用其自身的協定將所記錄的日誌資料傳輸予前端裝置；前端裝置接受客戶端傳入之日誌資料時，將其轉換成為中介格式之日誌資料，暫存在前端裝置上；前端裝置在一觸發事件下，將所儲存之日誌資料及前端裝置系統時間回傳予核心裝置；核心裝置在接收到一特定日誌資料時，會參考前端裝置的系統時間，加以比較及校正，進而將日誌資料依實際發生時間順序，輸入核心裝置中；核心裝置監視日誌資料；以及當核心裝置發現一日誌資料的內容，符合設定的一特定條件時，會依指定的方式通知管理人員。

再者，從另一種實施方式中，本發明係採取以下之技術手段予以達成，其中，本發明使用分散式多重傳輸協定之跨層日誌搜集系統，包括：一前端裝置，其為一計算機並配置至少一程式模組可執行一客戶端所發出之服務要求，前端裝置依客戶端使用之協定提供服務，再將服務所執行之硬體平台、作業系統、 網路設備以及所使用之軟體程式的全部日誌的資料收集成一具有中介格式的複數個暫存資料，日誌的資料轉換成為中介格式，可執行多重傳輸協定的日誌資料搜集程序；以及一核心裝置為一計算機並以網路連接前端裝置，核心裝置配置至少一程式模組可執行以下之程序：比對前端裝置的系統時間與核心裝置的系統時間，計算一時間差值，以時間差值推算前端裝置回傳的暫存日誌資料中各筆記錄間的發生順序，並進一步確認在不同的前端裝置回傳的記錄間，其各別的發生順序；以及核心裝置依據網路的IP位址、主機的MAC位址、主機的作業系統、應用程式之不同中介資料來源，識別其層級，再依層級跨層匯整日誌資料，以提供跨層的日誌資料整合。

目前，日誌服務必需符合可重建性、可說明性、問題偵測及入侵偵測等四項特性，以達成有效的搜集與整合日誌資料，提升對系統情況了解，以妥善管理並降低各式風險的系統管理目的。因此，本發明運用許多分散式的日誌搜集伺服器，針對各種不同的資料來源，加以搜集、整合，以提供跨層的雲端運算活動記錄。

為使本發明之上述目的、特徵、和優點能更明顯易懂，下文特舉較佳實施例並配合所附圖式做詳細說明。

10‧‧‧核心裝置

21、22、23‧‧‧前端裝置

31‧‧‧伺服器

32‧‧‧軟體程式

33‧‧‧作業系統

34‧‧‧網路裝置

35‧‧‧應用程式

S11~S21‧‧‧方法流程步驟

第一圖所示為本發明一實施例之分散式多重傳輸協定之跨層日誌搜集系統示意圖。

第二圖所示為本發明一實施例之分散式多重傳輸協定之跨層日誌搜集方法流程步驟示意圖。

下面結合圖示和具體操作之實施例對本發明作進一步說明。

請參閱第一圖所示為本發明一實施例之分散式多重傳輸協定之跨層日誌搜集系統示意圖，前端裝置21、22、23負責記錄相關系統運用對應的協定傳入的日誌資料，核心裝置10負責匯整由前端裝置所搜集的相關日誌資料。

每一個前端裝置21、22、23為一計算機，又可稱為日誌搜集伺服器，並配置至少一程式模組可執行客戶端所發出之服務要求，如伺服器31、軟體程式32、作業系統33、網路裝置34以及應用程式35。前端裝置21、22、23依客戶端使用之協定提供服務，再將服務所執行之伺服器31、作業系統33、網路裝置34以及所使用之軟體程式32及應用程式35的全部日誌的資料收集成具有中介格式的數個暫存資料，日誌的資料再轉換成為中介格式，執行多重傳輸協定的日誌資料搜集程序。

在一實施例中，客戶端包含一程式模組可以執行將 日誌資料於每一服務執行完畢後，傳送至前端裝置21、22、23。

核心裝置10為一計算機並以網路連接前端裝置21、22、23，其配置至少一程式模組可執行以下之程序：比對前端裝置21、22、23的系統時間與核心裝置10的系統時間，計算一時間差值，以時間差值推算前端裝置21、22、23所回傳的暫存資料中各筆記錄之間的發生順序，並進一步確認在不同的前端裝置21、22、23所回傳的記錄的發生順序；以及核心裝置10依據網路的IP位址、主機的MAC位址、主機的作業系統、應用程式之不同中介資料來源，識別其層級，再依層級跨層匯整日誌資料，以提供跨層的日誌資料整合。

另外，核心裝置10具有資料監護權，確保日誌資料已經從前端裝置21、22、23完整無誤的被核心裝置10接收，避免日誌資料在轉換為中介格式後，於傳輸中遺失。

再者，核心裝置10可依據系統的需求，將該日誌資料依不同層級加以減少或移除，以簡化搜集的資料，且核心裝置由一網路向標準時間進行時間校正。因此，前端裝置21、22、23依核心裝置10之時間、本身時區以及日光節約設定，更新本身時間；以及核心裝置10依前端裝置21、22、23之時間、本身時區以及日光節約設定，將時間標準化。

根據上述，前端裝置21、22、23所述之功能包括：前端裝置21、22、23以其所需服務的客戶端使用之協定提供服務，再 將資料轉換成為中介格式，以支援多重傳輸協定的日誌資料搜集；前端裝置21、22、23會定期、或依核心裝置10通知，將其已記錄之日誌資料，運用相關協定回傳至核心裝置10；前端裝置21、22、23會回報其系統的時間，以供核心裝置10比對相關記錄發生時間的順序，具有校正時間的功能；以及前端裝置21、22、23可以在確認日誌資料已被核心裝置10搜集的情況下，清除自身所存放的資料，以減低資料外流的風險。

核心裝置10所述之功能包括：比對前端裝置21、22、23的時間與本身的時間，計算其差異，以進一步運用資料推算前端裝置21、22、23回傳的中介資料記錄，其各筆記錄間的發生順序，並進一步確認在不同端系統回傳的記錄間，其各別的發生順序。以免除因前端裝置21、22、23因自身等因素，造成各別前端裝置21、22、23的時間失準；核心裝置10提供資料監護權的機制，確保日誌記錄已從前端裝置21、22、23完整無誤的被核心裝置10接收，以免除日誌資料在轉換為中介格式後，於傳輸過程中遺失的問題；核心裝置10除依校正後的時序處理前端裝置21、22、23回傳的中介資料外，另依不同中介資料來源，識別其層級，如網路的IP位址、主機的MAC位址、主機的作業系統、應用程式的版本等相關資料，再依其層級，跨層匯整相關資料，以提供跨層的日誌資料整合；以及核心裝置10可依據其自身系統的需求，將日誌資料依不同層級加以減少或移除，以去除過度搜集的資料。

請參閱第二圖所示為本發明一實施例之分散式多重傳輸協定之跨層日誌搜集方法流程步驟示意圖。步驟S11：前端裝置初始化。

步驟S12：前端裝置在初始化後即向核心裝置請求校正其系統時間，使前端裝置以核心裝置系統時間為基準，時間同步後開始接受服務請求。

步驟S13：時間效正完成，前端裝置開始接受客戶端傳送日誌。

步驟S14：傳送日誌資料。前端裝置的客戶端，運用自身的協定將所需記錄的日誌資料傳輸給前端裝置。

步驟S15：將日誌記錄轉換為中介格式。前端裝置接受客戶端傳入之日誌記錄，將日誌記錄轉換為中介格式，再儲存於前端裝置上。

步驟S16：在特定情況下傳送日誌及系統時間。前端裝置在特定觸發事件下(如：在特定週期或空間不足等情況)，前端裝置會將所儲存的日誌記錄及當前系統時間回傳給核心裝置。

步驟S17：比對系統時間、重新效正事件時序。核心裝置接收到前端裝置日誌資料時，會參考前端裝置的系統時間，加以比對及校正，依日誌資料實際發生的時間順序，儲存在核心裝置中。

步驟S18：核心裝置通知前端裝置確認相關的日誌資 料接收無誤。

步驟S19：前端裝置移除已確認轉移至核心裝置的日誌資料。

步驟S20：核心裝置監視所有相關日誌資料。

步驟S21：發現異常情況，依使用者最適方式發出通知警告訊息。在核心裝置發現其中一日誌資料的內容符合設定的一特定條件時，會依指定的方式通知管理人員。通知管理人員是由網路電話軟體Skype、臉書(Face Book)訊息或簡訊方式通知。

依據上述之步驟，本發明可以下述虛擬碼表示：

綜合上述，本案的前端裝置負責記錄相關系統運用對應的協定傳入的日誌資料，以達成整個機制中對多重傳輸協定支援的目的。前端裝置主要會依照所需服務的客戶端使用之協定，搜集其日誌，再將資料轉換成為中介格式，以支援多重傳輸 協定的日誌資料搜集。而核心裝置主要負責彙整前端裝置所搜集到的相關日誌資料。然而雲端環境中，前端裝置可能位於不同的地區，進而會有時間、日光節約時間等相關的時序問題，故核心裝置需比對前端裝置的時間與本身的時間，計算其差異，再校正前端裝置回傳的每一筆日誌資料發生的時間點，以符合日誌可重建性的要求。

本發明一實施例在於運用許多分散式的日誌搜集伺服器，針對各種不同的資料來源，加以搜集、整合，以提供跨層的活動記錄。改善當前日誌搜集主要是集中於特定一節點執行的方式，於效能上面臨瓶頸；此外亦有別於目前日誌資料搜集在不同的來源及層級間是各別獨立的情況，本發明可提供使用者更全面性的資訊。

透過上述之詳細說明，即可充分顯示本發明之目的及功效上均具有實施之進步性，極具產業之利用性價值，且為目前市面上前所未見之新發明，完全符合發明專利要件，爰依法提出申請。唯以上所述著僅為本發明之較佳實施例而已，當不能用以限定本發明所實施之範圍。即凡依本發明專利範圍所作之均等變化與修飾，皆應屬於本發明專利涵蓋之範圍內，謹請 貴審查委員明鑑，並祈惠准，是所至禱。

10‧‧‧核心裝置

21、22、23‧‧‧前端裝置

31‧‧‧伺服器

32‧‧‧軟體程式

33‧‧‧作業系統

34‧‧‧網路裝置

35‧‧‧應用程式

Claims (10)

1. 一種分散式多重傳輸協定之跨層日誌搜集系統，包括：至少二前端裝置，其為一計算機並配置至少一程式模組可執行一客戶端所發出之服務要求，該程式模組包括一伺服器、一軟體程式、一作業系統、一網路裝置、一應用程式上述任一或任意組合，該前端裝置依該客戶端使用之協定提供服務，再將該服務所執行之硬體平台、作業系統、網路設備以及所使用之軟體程式的全部日誌的資料收集成一具有中介格式的複數個暫存資料，該些日誌的資料轉換成為中介格式，可執行多重傳輸協定的日誌資料搜集程序；以及一核心裝置，其為一計算機並以網路連接該前端裝置，該核心裝置配置至少一程式模組可執行以下之程序：比對該前端裝置的系統時間與該核心裝置的系統時間，計算一時間差值，以該時間差值除以該前端裝置從開始收集日誌到回傳的整體時間得到 該前端裝置所回報日誌時間一調整參數，以該調整參數推算該前端裝置回傳的該些暫存資料中各筆記錄間的發生順序，並進一步確認在不同端前端裝置回傳的記錄間，其各別的發生順序；以及該核心裝置依據網路的IP位址、主機的MAC位址、主機的作業系統、應用程式之不同中介資料來源，識別其層級，再依該層級跨層匯整日誌資料，以提供跨層的日誌資料整合。
2. 如申請專利範圍第1項所述之分散式多重傳輸協定之跨層日誌 搜集系統，其中該核心裝置具有資料監護權，確保該些日誌資料已經從該前端裝置完整無誤的被該核心裝置接收，避免該些日誌資料在轉換為中介格式後，於傳輸中遺失。
3. 如申請專利範圍第1項所述之分散式多重傳輸協定之跨層日誌搜集系統，其中該核心裝置可依據系統的需求，將該日誌資料依不同層級加以減少或移除，以簡化搜集的資料。
4. 如申請專利範圍第1項所述之分散式多重傳輸協定之跨層日誌搜集系統，其中該核心裝置由一網路向標準時間進行時間校正。
5. 如申請專利範圍第1項所述之分散式多重傳輸協定之跨層日誌搜集系統，更包括；該前端裝置依該核心裝置之時間，本身時區以及日光節約設定，更新本身時間；以及該核心裝置依該前端裝置之該時間、該本身時區以及該日光節約設定，將時間標準化。
6. 一種分散式多重傳輸協定之跨層日誌搜集方法，其步驟包括：一前端裝置向一核心裝置請求校正其時間，時間同步後開始接受服務請求；在該前端裝置的一客戶端，運用其自身的協定將所記錄的日誌資料傳輸予該前端裝置；該前端裝置接受該客戶端傳入之日誌資料時，將其轉換成為中介格式之日誌資料，暫存在該前端裝置上；該前端裝置在一觸發事件下，將所儲存之日誌資料及前端裝置系統時間回傳予該核心裝置； 該核心裝置在接收到一特定日誌資料時，會參考該前端裝置的系統時間，加以比較及校正，進而將該些日誌資料依實際發生時間順序，輸入該核心裝置中，其中，其比較及校正方式是比對該前端裝置的系統時間與該核心裝置的系統時間，計算一時間差值，以該時間差值除以該前端裝置從開始收集日誌到回傳的整體時間得到 該前端裝置所回報日誌時間一調整參數，並以該調整參數調整該些日誌資料紀錄的時間點；該核心裝置監視該些日誌資料；以及當該核心裝置發現該些日誌資料的內容，符合設定的一特定條件時，會依指定的方式通知管理人員。
7. 如申請專利範圍第6項所述之分散式多重傳輸協定之跨層日誌搜集方法，更包括該前端裝置在初始化後即向該核心裝置請求校正其時間，使該前端裝置以該核心裝置時間為基準。
8. 如申請專利範圍第6項所述之分散式多重傳輸協定之跨層日誌搜集方法，其中該觸發事件包括特定週期、收到核心裝置通知以及儲存空間不足。
9. 如申請專利範圍第6項所述之分散式多重傳輸協定之跨層日誌搜集方法，更包括：通知該前端裝置確認該些日誌資料接收無誤；以及該前端裝置確認該核心裝置接收無誤後，移除其暫存的日誌資料。
10. 如申請專利範圍第6項所述之分散式多重傳輸協定之跨層日誌搜集方法，其中通知該管理人員是由網路電話軟體Skype、臉書(Face Book)訊息、簡訊方式通知。