TWI778698B

TWI778698B - 日誌解析系統及日誌解析方法

Info

Publication number: TWI778698B
Application number: TW110124684A
Authority: TW
Inventors: 李漢生
Original assignee: 大陸商深圳富桂精密工業有限公司
Priority date: 2021-06-16
Filing date: 2021-07-05
Publication date: 2022-09-21
Also published as: CN115480998A; TW202301122A

Abstract

本申請提供一種日誌解析系統及日誌解析方法，其中，所述方法包括：獲取日誌資料；對日誌資料進行解析，獲得解析失敗的日誌資料和解析成功的日誌資料；對解析成功的日誌資料進行資料結構化處理，獲得結構化資料；對解析失敗的日誌資料和結構化資料進行修正，獲得修正後的資料；將修正後的資料輸出至終端；按照預定的時間對日誌解析系統的設定文檔進行監聽，根據監聽到的設定文檔的改變對日誌解析系統進行更新配置；利用萬維網頁面實現對上述日誌解析流程任務的配置視覺化。本申請可以輔助進行日誌解析，降低日誌解析的難度。

Description

日誌解析系統及日誌解析方法

本發明涉及日誌資料處理技術領域，尤其涉及一種日誌解析系統及日誌解析方法。

隨著5G技術的快速推行以及物聯網的迅猛發展，日誌資料技術領域需要在萬物互聯的技術背景下，將日誌資料用各種方式採集出來，進行大資料處理分析。在對日誌資料進行採集的過程中，由於採集的介質多種多樣且使用的協定也各不相同，導致採集出來的數位化資訊雜亂、無序，將這樣的資訊直接上傳雲端，會導致雲端資料處理的難度大幅提升。

鑒於以上內容，有必要提供一種日誌解析系統及日誌解析方法，能夠降低系統的各個模組之間的耦合度，便於對系統進行拓展，降低日誌解析流程的難度。

所述日誌解析系統包括多個模組，所述多個模組包括：日誌接入模組，用於獲取來自不同通信協定的日誌資料；資料解析模組，用於對所獲取的日誌資料進行並行解析，獲得解析失敗的日誌資料和解析成功的日誌資料；所述資料解析模組，還用於對所述解析成功的日誌資料進行資料結構化處理，獲得結構化資料；資料處理模組，用於對所述解析失敗的日誌資料和所述結構化資料進行修正，獲得修正後的資料；資料輸出模組，用於將所述修正後的資料輸出至終端。

可選地，所述日誌解析系統包含外掛程式，所述外掛程式用於拓展所述多個模組；所述日誌解析系統還包括遠端控制模組，所述遠端控制模組用於按照預定的時間對所述日誌解析系統的設定文檔進行監聽，並於監聽到更新的設定文檔時，載入所述更新的設定文檔對所述多個模組進行更新配置；所述遠端控制模組還用於對所述多個模組進行控制；所述日誌解析系統還包括視覺化模組，所述視覺化模組利用萬維網頁面實現對所述日誌解析系統的配置視覺化。

可選地，所述日誌接入模組包含通用行讀取器；所述遠端控制模組控制所述日誌接入模組基於所述通用行讀取器獲取所述來自不同通信協定的日誌資料，將所述來自不同通信協定的日誌資料統一接入到所述日誌解析系統。

可選地，所述資料解析模組包含通用行解譯器；所述遠端控制模組控制所述資料解析模組，基於所述通用行解譯器對所述來自不同通信協定的日誌資料進行並行解析，並基於所述通用行解譯器，對所述解析成功的日誌資料進行所述資料結構化處理。

可選地，所述資料處理模組包含通用行解譯器；所述遠端控制模組控制所述資料處理模組，基於所述通用行解譯器對所述解析失敗的日誌來源資料和所述結構化資料進行修正，包括：刪除或替換所述解析失敗的日誌資料、為所述結構化資料添加標籤。

可選地，所述終端包括本機存放區、透過通信協議連接的雲端和控制台。

可選地，所述遠端控制模組包含消息接收模組、資訊解析器和控制庫。

可選地，所述消息接收模組用於獲取對所述多個模組的控制資訊；所述資訊解析器用於對所述控制資訊進行解析，獲得解析結果，所述解析結果包括存取控制修飾符；所述控制庫用於根據所述存取控制修飾符對所述多個模組進行控制。

可選地，所述視覺化模組透過萬維網頁面，對所述多個模組進行配置，生成所述多個模組的設定文檔，使得所述多個模組根據所述設定文檔對所述日誌資料進行處理；及在萬維網頁面中顯示所述多個模組的運行狀態。

所述日誌解析方法，利用所述日誌解析系統，所述方法包括：獲取來自不同通信協定的日誌資料；對所述來自不同通信協定的日誌資料進行並行解析，獲得解析失敗的日誌資料和解析成功的日誌資料；對所述解析成功的日誌資料進行資料結構化處理，獲得結構化資料；對所述解析失敗的日誌資料和所述結構化資料進行修正，獲得修正後的資料；將所述修正後的資料輸出至終端；按照預定的時間對所述日誌解析系統的設定文檔進行監聽，根據監聽到的設定文檔的改變對所述日誌解析系統進行更新配置；利用萬維網頁面實現對上述日誌解析流程任務的配置視覺化。

相較於習知技術，本申請的日誌解析系統及日誌解析方法中，所述日誌解析系統透過解耦的方式形成多個獨立模組，每個模組定義通用介面，所述日誌解析系統以輸入、解析、處理、輸出的流程串聯這些通用介面來實現所述日誌解析方法中的流程；透過對通用介面的繼承，實現適應多種複雜應用場景的功能；透過對介面參數的抽取，把日誌解析流程按模組定義各自的行為到設定文檔中，並形成定時任務；透過設定文檔的定義將所述日誌解析方法的流程的設計到視覺化頁面中，降低用戶的使用難度。所述日誌解析系統具有高內聚、低耦合、模組化和可拓展等特性，有利於系統的反覆運算升級。

1:日誌解析系統

10:日誌接入模組

11:資料解析模組

12:資料處理模組

13:資料輸出模組

14:遠端控制模組

15:視覺化模組

3:電腦裝置

31:儲存器

32:處理器

S1~S6:步驟

為了更清楚地說明本申請實施例或習知技術中的技術方案，下面將對實施例或習知技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。

圖1是本申請實施例提供的日誌解析系統的功能模組圖。

圖2是本申請實施例提供的電腦裝置的架構圖。

圖3本申請實施例提供的日誌解析方法的流程圖。

為了能夠更清楚地理解本申請的上述目的、特徵和優點，下面結合附圖和具體實施例對本申請進行詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。

在下面的描述中闡述了很多具體細節以便於充分理解本申請，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。

除非另有定義，本文所使用的所有的技術和科學術語與屬於本申請的技術領域的技術人員通常理解的含義相同。本文中在本申請的說明書中所使用的術語只是為了描述具體的實施例的目的，不是旨在於限制本申請。

參閱圖1所示，為本申請實施例提供的日誌解析系統1的功能模組圖。所述日誌解析系統1包括多個模組，所述多個模組包括：日誌接入模組10、資料解析模組11、資料處理模組12、資料輸出模組13；所述日誌解析系統1還包括遠端控制模組14和視覺化模組15，所述遠端控制模組14用於作為所述日誌解析系統1的控制中心。在本實施例中，所述日誌解析系統1可以應用於電腦裝置(例如圖2所示的電腦裝置3)中，對於需要進行日誌解析任務的電腦裝置，可以直接在電腦裝置上集成本申請的方法所提供的用於日誌解析的功能，或者以軟體開發套件(Software Development Kit，SDK)的形式運行在電腦裝置上。

在一個實施例中，所述日誌解析系統1包含外掛程式(Plug-in)，可以在日誌解析任務的運行過程中透過補丁包的形式增刪所述外掛程式，從而拓展所述多個模組。

在一個實施例中，所述日誌接入模組10用於獲取來自不同通信協定的日誌資料，所述來自不同通信協定的日誌資料包含格式各異、雜亂無序的日誌資料，所述日誌資料可以以被包含在日誌文檔的形式被所述日誌接入模組10接入。所述日誌接入模組10包含通用行讀取器(General Line Reader)，所述通用行讀取器可以按行讀取所述日誌文檔中的日誌資料；所述遠端控制模組14用於控制所述日誌接入模組10透過對所述通用行讀取器的繼承(Inheritance)獲取所述來自不同通信協定的日誌資料，將所述來自不同通信協定的日誌資料統一接入到所述日誌解析系統1，儲存在預先定義的資料庫中。這些不同通信協定可以包括IP協定，IMCP協定，TCP協定等。

在一個實施例中，所述資料解析模組11用於利用並行技術(Parallel Technology)對所述資料庫中所獲取的日誌資料進行並行解析，獲得解析失敗的日誌資料(例如，根據電腦裝置3中預先定義的規則被判定為敏感性資料從而解析失敗的日誌資料)和解析成功的日誌資料；所述資料解析模組11包含通用行解譯器，所述通用行解譯器是指命令列解譯器(Command Line Interpreter)；所述遠端控制模組14用於控制所述資料解析模組11透過對所述通用行解譯器的繼承對所述來自不同通信協定的日誌資料進行並行解析，並基於所述通用行解譯器，根據所述電腦裝置3中預先定義的格式對所述解析成功的日誌資料進行所述資料結構化處理，將格式各異、雜亂無序的日誌資料格式化成有序的結構化資料(Structured Data)，將日誌資料進行標識化(Tokenization)。

在一個實施例中，所述資料處理模組12用於對所述解析失敗的日誌資料和所述結構化資料進行修正，獲得修正後的資料；所述資料處理模組12包含通用行解譯器；所述遠端控制模組14用於控制所述資料處理模組12透過對所述通用行解譯器的繼承對所述解析失敗的日誌來源資料和所述結構化資料進行修正。所述對所述解析失敗的日誌來源資料和所述結構化資料進行修正包括：檢索所述解析失敗的日誌來源資料，刪除或替換檢索到的解析失敗的日誌資料，例如，根據電腦裝置3中預先定義的規則對敏感性資料進行刪除或替換掉其中的關鍵字。所述對所述解析失敗的日誌來源資料和所述結構化資料進行修正還包括：從所述資料庫中檢索所述結構化資料，根據電腦裝置3中預先定義的資料標籤的屬性和定義規則，為檢索到的所述結構化資料添加標籤。所述對所述解析失敗的日誌來源資料和所述結構化資料進行修正還包括：根據修正後的日誌資料更新所述資料庫。

在一個實施例中，所述資料輸出模組13包含通用資料匯出工具，用於將所述修正後的資料從所述資料庫輸出至終端，所述終端可以是所述日誌解析系統1之外的儲存裝置，包括但不限於所述電腦裝置3的本機存放區、透過通信協定(例如，MQTT協定)與所述日誌解析系統1通訊連接的雲端、控制台(例如，在Windows下的CMD控制台中輸出所述日誌解析系統1的運行結果)。

在一個實施例中，所述遠端控制模組14用於按照預定的時間(例如，每隔30秒)對所述日誌解析系統1的設定文檔進行監聽，並於監聽到更新的設定文檔時，載入所述更新的設定文檔對所述日誌解析系統1的多個模組進行更新配置；所述遠端控制模組14還用於對所述多個模組進行控制。所述多個模組包括，但不限於，所述日誌接入模組10、資料解析模組11、資料處理模組12、資料輸出模組13。

在一個實施例中，所述遠端控制模組14包含消息接收模組151、資訊解析器152和控制庫153。所述消息接收模組151用於獲取來自不同通信協議的對所述多個模組的控制資訊，例如透過MQTT協定與所述日誌解析系統1外部的消息伺服器(例如，安裝在所述電腦裝置3中的消息伺服器)進行資訊交互，獲取所述控制資訊；所述資訊解析器152用於對所述控制資訊進行解析，獲得解析結果，所述解析結果包括存取控制修飾符；所述控制庫153用於根據所述存取控制修飾符對所述多個模組進行控制，包括：根據存取控制修飾符指示的更新設定文檔的命令，控制所述日誌解析系統1的運行狀態(例如重啟、暫停、啟動等)或者透過下載所述日誌解析系統1的最新版本的軟體程式更新所述日誌解析系統1。

在其他實施例中，所述日誌解析系統1還可以包含雲端，所述雲端可以以軟體的形式安裝在所述電腦裝置3中。所述遠端控制模組14將所述日誌解析系統1的當前運行狀態發送至所述雲端，所述雲端用於對所述日誌解析系統1的當前運行狀態進行解析，獲得運行狀態的解析結果，透過所述消息伺服器將所述運行狀態的解析結果傳輸至所述消息接收模組151，實現間接監聽。所述雲端還用於根據所述運行狀態的解析結果獲得所述多個模組的控制資訊，將所述控制資訊輸入所述消息接收模組151。所述消息接收模組151將接收所述控制資訊的動作記錄到所述日誌解析系統1的本地日誌(例如，在所述資料庫中預先定義的本地日誌文檔)中。所述資訊解析器152用於將所述控制資訊中的控制行為與所述控制庫153提供的介面對應起來，並載入控制參數，執行控制流程，將整個過程中產生的行為結果記錄到所述本地日誌中。所述控制庫153提供一個通用的核心控制執行庫，透過拓展庫實現對所述日誌解析系統1的直接或間接運行控制。所述直接控制包含版本更新庫，透過調用版本更新庫的介面實現下載所述更新的設定文檔，根據所述更新的設定文檔重新運行所述日誌解析系統1的更新流程。所述間接控制包括對所述日誌解析系統1的資料解析任務的運行狀態進行控制，透過對每個任務的運行設定文檔的改寫，所述日誌解析系統1定期(例如，每隔1小時)掃描運行設定文檔所在目錄(例如，在所述資料庫中預先定義的設定文檔所在目錄)，根據所述設定文檔對所述日誌解析系統1中的任務進行停止、刪除、重啟或新建等操作。

在一個實施例中，所述視覺化模組15利用萬維網頁面實現對所述日誌解析系統1的配置視覺化。所述視覺化模組15透過所述電腦裝置3的顯示器展示所述萬維網頁面，對所述多個模組進行配置，生成所述多個模組的設定文檔，使得所述多個模組根據所述設定文檔對所述日誌資料進行處理；及在萬維網頁面中顯示所述多個模組的運行狀態。所述萬維網頁面包含任務參數配置頁面，用於為每個日誌文檔匹配對應的所述日誌解析系統1的日誌解析任務，進入某個日誌解析任務後，可以在所述某個日誌解析任務的任務參數配置頁面對該日誌解析任務下的日誌接入模組10、資料解析模組11、資料處理模組12、資料輸出模組13進行順序配置，配置完成後儲存設定文檔。所述萬維網頁面中顯示的是所述日誌解析系統1的日誌解析任務的運行狀態，例如在工業環境下，透過將所述日誌解析系統1安裝至生產資料所在的電腦裝置3上，打開所述萬維網頁面，新建一個日誌解析任務，進入任務參數配置頁面，依次對日誌接入參數配置頁面、資料解析配置頁面、資料處理配置頁面和資料輸出配置頁面上的表單進行填寫，將配置完成後的表單進行儲存並退出所述任務參數配置頁面；選中配置好的日誌解析任務，改變其運行狀態(例如運行、暫停或重啟)，所述萬維網頁面可以以清單形式展示每個日誌解析任務的狀態，如解析成功的日誌資料的條數，解析失敗的日誌資料的條數等。

在一個實施例中，所述日誌解析系統1包含日誌記錄庫，在所述日誌解析系統1中設置了日誌記錄埋點，並在日誌記錄埋點處標記了與日誌記錄對應的標籤。所述日誌解析系統1在運行時產生的日誌記錄會儲存到所述日誌解析系統1本地預先定義的資料庫的日誌文檔中。所述日誌解析系統1的日誌與日誌解析流程任務的日誌分別儲存在各自目錄下。所述日誌解析系統1同時透過定義對本地日誌文檔的日誌解析流程，實現所述日誌解析系統1運行心跳的上報，所述心跳資訊包括所述日誌解析系統1資源使用量，各日誌解析任務的運行狀態，所述日誌解析系統1的版本等。

在一個實施例中，所述遠端控制模組14為可選用模組，所述遠端控制模組14配置在所述日誌解析系統1的設定文檔中，與日誌解析任務的配置分離。所述日誌解析系統1執行狀態的回饋是透過日誌解析流程對所述日誌解析系統1的日誌文檔進行按標籤篩選，並處理記錄輸出到雲端完成控制的間接回饋。

在一個實施例中，可以利用Golang語言編寫的軟體形式，透過交叉編譯將所述日誌解析系統1編譯成日誌收集終端平臺可執行文檔。

如圖3示，所述日誌解析方法具體包括以下步驟，根據不同的需求，該流程圖中步驟的順序可以改變，某些步驟可以省略。

步驟S1，日誌接入模組10獲取來自不同通信協定的日誌資料。

在一個實施例中，所述來自不同通信協定的日誌資料包含格式各異、雜亂無序的日誌資料，所述日誌資料可以以被包含在日誌文檔的形式被所述日誌接入模組10接入。所述日誌接入模組10包含通用行讀取器，所述通用行讀取器可以按行讀取所述日誌文檔中的日誌資料。遠端控制模組14控制所述日誌接入模組10透過對所述通用行讀取器的繼承獲取所述來自不同通信協定的日誌資料，將所述來自不同通信協定的日誌資料統一接入到日誌解析系統1，儲存在預先定義的資料庫中。這些不同通信協定可以包括IP協定，IMCP協定，TCP協定等。

步驟S2，資料解析模組11對所述來自不同通信協定的日誌資料進行並行解析，獲得解析失敗的日誌資料和解析成功的日誌資料。

在一個實施例中，所述資料解析模組11利用並行技術對所述資料庫中所獲取的日誌資料進行並行解析，獲得解析失敗的日誌資料(例如，根據電腦裝置3中預先定義的規則被判定為敏感性資料從而解析失敗的日誌資料)和解析成功的日誌資料；所述資料解析模組11包含通用行解譯器，所述通用行解譯器是指命令列解譯器；所述遠端控制模組14控制所述資料解析模組11透過對所述通用行解譯器的繼承對所述來自不同通信協定的日誌資料進行並行解析，並基於所述通用行解譯器，根據所述電腦裝置3中預先定義的格式對所述解析成功的日誌資料進行所述資料結構化處理，將格式各異、雜亂無序的日誌資料格式化成有序的結構化資料，將日誌資料進行標識化。

步驟S3，資料處理模組12對所述解析成功的日誌資料進行資料結構化處理，獲得結構化資料；對所述解析失敗的日誌資料和所述結構化資料進行修正，獲得修正後的資料。

在一個實施例中，所述資料處理模組12包含通用行解譯器；所述遠端控制模組14控制所述資料處理模組12透過對所述通用行解譯器的繼承對所述解析失敗的日誌來源資料和所述結構化資料進行修正。所述對所述解析失敗的日誌來源資料和所述結構化資料進行修正包括：檢索所述解析失敗的日誌來源資料，刪除或替換檢索到的解析失敗的日誌資料，例如，根據電腦裝置3中預先定義的規則對敏感性資料進行刪除或替換掉其中的關鍵字。所述對所述解析失敗的日誌來源資料和所述結構化資料進行修正還包括：從所述資料庫中檢索所述結構化資料，根據電腦裝置3中預先定義的資料標籤的屬性和定義規則，為檢索到的所述結構化資料添加標籤。所述對所述解析失敗的日誌來源資料和所述結構化資料進行修正還包括：根據修正後的日誌資料更新所述資料庫。

步驟S4，資料輸出模組13將所述修正後的資料輸出至終端。

在一個實施例中，所述資料輸出模組13包含通用資料匯出工具，所述資料輸出模組13將所述修正後的資料從所述資料庫輸出至終端，所述終端可以是所述日誌解析系統1之外的儲存裝置，包括但不限於所述電腦裝置3的本機存放區、透過通信協定(例如，MQTT協定)與所述日誌解析系統1通訊連接的雲端、控制台(例如，在Windows下的CMD控制台中輸出所述日誌解析系統1的運行結果)。

步驟S5，遠端控制模組14按照預定的時間對所述日誌解析系統的設定文檔進行監聽，根據監聽到的設定文檔的改變對所述日誌解析系統進行更新配置。

在一個實施例中，所述遠端控制模組14按照預定的時間(例如，每隔30秒)對所述日誌解析系統1的設定文檔進行監聽，並於監聽到更新的設定文檔時，載入所述更新的設定文檔對所述日誌解析系統1的多個模組進行更新配置；所述遠端控制模組14還用於對所述多個模組進行控制。所述多個模組包括，但不限於，所述日誌接入模組10、資料解析模組11、資料處理模組12、資料輸出模組13。

在一個實施例中，所述遠端控制模組14包含消息接收模組151、資訊解析器152和控制庫153，所述消息接收模組151獲取來自不同通信協議的對所述多個模組的控制資訊，例如透過MQTT通信協定與所述日誌解析系統1外部的消息伺服器(例如，安裝在所述電腦裝置3中的消息伺服器)進行資訊交互，獲取所述控制資訊；所述資訊解析器152對所述控制資訊進行解析，獲得解析結果，所述解析結果包括存取控制修飾符；所述控制庫153根據所述存取控制修飾符對所述多個模組進行控制，包括：根據存取控制修飾符指示的更新設定文檔的命令，控制所述日誌解析系統1的運行狀態(例如重啟、暫停、啟動等)或者透過下載所述日誌解析系統1的最新版本的軟體程式更新所述日誌解析系統1。

在其他實施例中，所述日誌解析系統1還可以包含雲端，所述雲端可以以軟體的形式安裝在所述電腦裝置3中。所述遠端控制模組14將所述日誌解析系統1的當前運行狀態發送至所述雲端，所述雲端對所述日誌解析系統1的當前運行狀態進行解析，獲得運行狀態的解析結果，透過所述消息伺服器將所述運行狀態的解析結果傳輸至所述消息接收模組151，實現間接監聽。所述雲端還用於根據所述運行狀態的解析結果獲得所述多個模組的控制資訊，將所述控制資訊輸入所述消息接收模組151。所述消息接收模組151將接收所述控制資訊的動作記錄到所述日誌解析系統1的本地日誌(例如，在所述資料庫中預先定義的本地日誌文檔)中。所述資訊解析器152將所述控制資訊中的控制行為與所述控制庫153提供的介面對應起來，並載入控制參數，執行控制流程，將整個過程中產生的行為結果記錄到所述本地日誌中。所述控制庫153提供一個通用的核心控制執行庫，透過拓展庫實現對所述日誌解析系統1的直接或間接運行控制。所述直接控制包含版本更新庫，透過調用版本更新庫的介面實現下載所述更新的設定文檔，根據所述更新的設定文檔重新運行所述日誌解析系統1的更新流程。所述間接控制包括對所述日誌解析系統1的資料解析任務的運行狀態進行控制，透過對每個任務的運行設定文檔的改寫，所述日誌解析系統1定期(例如，每隔1小時)掃描運行設定文檔所在目錄(例如，在所述資料庫中預先定義的設定文檔所在目錄)，根據所述設定文檔對所述日誌解析系統1中的任務進行停止、刪除、重啟或新建等操作。

步驟S6，視覺化模組15利用萬維網頁面實現對上述日誌解析流程任務的配置視覺化。

在一個實施例中，所述視覺化模組15透過萬維網頁面，對所述多個模組進行配置，生成所述多個模組的設定文檔，使得所述多個模組根據所述設定文檔對所述日誌資料進行處理；及在萬維網頁面中顯示所述多個模組的運行狀態。所述萬維網頁面包含任務參數配置頁面，為每個日誌文檔匹配對應的所述日誌解析系統1的日誌解析任務，進入某個日誌解析任務後，可以在所述某個日誌解析任務的任務配置頁面對該任務下的日誌接入模組10、資料解析模組11、資料處理模組12、資料輸出模組13進行順序配置，配置完成後儲存設定文檔。所述萬維網頁面中顯示的是所述日誌解析系統1的日誌解析任務的運行狀態，例如在工業環境下，透過將所述日誌解析系統1安裝至生產資料所在的電腦裝置3上，打開所述萬維網頁面，新建一個日誌解析任務，進入任務參數配置頁面，依次對日誌接入參數配置頁面、資料解析配置頁面、資料處理配置頁面和資料輸出配置頁面上的表單進行填寫，將配置完成後的表單進行儲存並退出所述任務參數配置頁面；選中配置好的日誌解析任務，改變其運行狀態(例如運行、暫停或重啟)，所述萬維網頁面可以以清單形式展示每個日誌解析任務的狀態，如解析成功的日誌資料的條數，解析失敗的日誌資料的條數等。

上述圖3詳細介紹了本申請的日誌解析方法，下面結合圖2，對實現所述日誌解析方法的硬體裝置架構進行介紹。

應該瞭解，所述實施例僅為說明之用，在專利申請範圍上並不受此結構的限制。

參閱圖2所示，為本申請實施例提供的電腦裝置的結構示意圖。在本申請較佳實施例中，所述電腦裝置3包括儲存器31、至少一個處理器32。本領域技術人員應該瞭解，圖2示出的電腦裝置的結構並不構成本申請實施例的限定，既可以是匯流排型結構，也可以是星形結構，所述電腦裝置3還可以包括比圖示更多或更少的其他硬體或者軟體，或者不同的部件佈置。

在一些實施例中，所述電腦裝置3包括一種能夠按照事先設定或儲存的指令，自動進行數值計算和/或資訊處理的終端，其硬體包括但不限於微處理器、專用積體電路、可程式設計閘陣列、數位訊號處理器及嵌入式設備等。

需要說明的是，所述電腦裝置3僅為舉例，其他現有的或今後可能出現的電子產品如可適應於本申請，也應包含在本申請的保護範圍以內，並以引用方式包含於此。

在一些實施例中，所述儲存器31用於儲存程式碼和各種資料。例如，所述儲存器31可以用於儲存安裝在所述電腦裝置3中的日誌解析系統1，並在電腦裝置3的運行過程中實現高速、自動地完成程式或資料的存取。所述儲存器31包括唯讀記憶體(Read-Only Memory，ROM)、可程式設計唯讀儲存器(Programmable Read-Only Memory，PROM)、可抹除可程式設計唯讀儲存器(Erasable Programmable Read-Only Memory，EPROM)、一次可程式設計唯讀儲存器(One-time Programmable Read-Only Memory，OTPROM)、電子抹除式可複寫唯讀儲存器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、唯讀光碟(Compact Disc Read-Only Memory，CD-ROM)或其他光碟儲存器、磁碟儲存器、磁帶儲存器、或者任何其他能夠用於攜帶或儲存資料的電腦可讀的儲存介質。

在一些實施例中，所述至少一個處理器32可以由積體電路組成，例如可以由單個封裝的積體電路所組成，也可以是由多個相同功能或不同功能封裝的積體電路所組成，包括一個或者多個中央處理器(Central Processing unit，CPU)、微處理器、數位訊號處理器、圖形處理器及各種控制晶片的組合等。所述至少一個處理器32是所述電腦裝置3的控制核心(Control Unit)，利用各種介面和線路連接整個電腦裝置3的各個部件，透過運行或執行儲存在所述儲存器31內的程式或者模組，以及調用儲存在所述儲存器31內的資料，以執行電腦裝置3的各種功能和處理資料，例如執行日誌解析系統1的日誌解析的功能。

在一些實施例中，所述日誌解析系統1運行於電腦裝置3中。所述日誌解析系統1可以包括多個由程式碼段所組成的功能模組。所述日誌解析系統1中的各個程式段的程式碼可以儲存於電腦裝置3的儲存器31中，並由至少一個處理器32所執行，以實現圖3所示的日誌解析的功能。

儘管未示出，所述電腦裝置3還可以包括給各個部件供電的電源(比如電池)，優選的，電源可以透過電源管理裝置與所述至少一個處理器32邏輯相連，從而透過電源管理裝置實現管理充電、放電、以及功耗管理等功能。電源還可以包括一個或一個以上的直流或交流電源、再充電裝置、電源故障檢測電路、電源轉換器或者逆變器、電源狀態指示器等任意元件。所述電腦裝置3還可以包括多種感測器、藍牙模組、Wi-Fi模組、顯示器等，在此不再贅述。

上述以軟體功能模組的形式實現的集成的單元，可以儲存在一個電腦可讀取儲存介質中。上述軟體功能模組儲存在一個儲存介質中，包括若干指令用以使得一台電腦裝置(可以是伺服器、個人電腦等)或處理器(processor)執行本申請各個實施例所述方法的部分。

在進一步的實施例中，結合圖3，所述至少一個處理器32可執行所述電腦裝置3的作業系統以及安裝的各類應用程式(如所述的日誌解析系統1)、程式碼等，例如，上述的各個模組。

在本申請的一個實施例中，所述儲存器31儲存一個或多個指令(即至少一個指令)，所述至少一個指令被所述至少一個處理器32所執行以實現圖3所示的日誌解析的目的。

在本申請所提供的幾個實施例中，應該理解到，所揭露的裝置和方法，可以透過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述模組的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式。

所述作為分離部件說明的模組可以是或者也可以不是物理上分開的，作為模組顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。

另外，在本申請各個實施例中的各功能模組可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能模組的形式實現。

對於本領域技術人員而言，顯然本申請不限於上述示範性實施例的細節，而且在不背離本申請的精神或基本特徵的情況下，能夠以其他的具體形式實現本申請。因此，無論從哪一點來看，均應將實施例看作是示範性的，而且是非限制性的，本申請的範圍由所附請求項而不是上述說明限定，因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本申請內。不應將請求項中的任何附圖標記視為限制所涉及的請求項。此外，顯然“包括”一詞不排除其他單元或，單數不排除複數。裝置請求項中陳述的多個單元或裝置也可以由一個單元或裝置透過軟體或者硬體來實現。第一，第二等詞語用來表示名稱，而並不表示任何特定的順序。

最後所應說明的是，以上實施例僅用以說明本申請的技術方案而非限制，儘管參照以上較佳實施例對本申請進行了詳細說明，本領域的普通技術人員應當理解，可以對本申請的技術方案進行修改或等同替換，而不脫離本申請技術方案的精神和範圍。

S1~S6:步驟

Claims

一種日誌解析系統，其中，所述系統包括多個模組，所述多個模組包括：日誌接入模組，用於獲取來自不同通信協定的日誌資料；資料解析模組，用於對所獲取的日誌資料進行並行解析，獲得解析失敗的日誌資料和解析成功的日誌資料；所述資料解析模組，還用於對所述解析成功的日誌資料進行資料結構化處理，獲得結構化資料；資料處理模組，用於對所述解析失敗的日誌資料和所述結構化資料進行修正，獲得修正後的資料；資料輸出模組，用於將所述修正後的資料輸出至終端；所述日誌解析系統還包括遠端控制模組，所述遠端控制模組用於按照預定的時間對所述日誌解析系統的設定文檔進行監聽，並於監聽到更新的設定文檔時，載入所述更新的設定文檔對所述多個模組進行更新配置；所述日誌解析系統還包括視覺化模組，所述視覺化模組利用萬維網頁面實現對所述日誌解析系統的配置視覺化。
如請求項1所述的日誌解析系統，其中，所述日誌解析系統包含外掛程式，所述外掛程式用於拓展所述多個模組；所述遠端控制模組還用於對所述多個模組進行控制。
如請求項2所述的日誌解析系統，其中，所述日誌接入模組包含通用行讀取器；所述遠端控制模組控制所述日誌接入模組基於所述通用行讀取器，獲取所述來自不同通信協定的日誌資料，將所述來自不同通信協定的日誌資料統一接入到所述日誌解析系統。
如請求項2所述的日誌解析系統，其中，所述資料解析模組包含通用行解譯器；所述遠端控制模組控制所述資料解析模組，基於所述通用行解譯器對所述來自不同通信協定的日誌資料進行並行解析，並基於所述通用行解譯器，對所述解析成功的日誌資料進行所述資料結構化處理。
如請求項2所述的日誌解析系統，其中，所述資料處理模組包含通用行解譯器；所述遠端控制模組控制所述資料處理模組，基於所述通用行解譯器對所述解析失敗的日誌來源資料和所述結構化資料進行修正，包括：刪除或替換所述解析失敗的日誌資料、為所述結構化資料添加標籤。
如請求項2所述的日誌解析系統，其中，所述終端包括本機存放區、透過通信協議連接的雲端和控制台。
如請求項2所述的日誌解析系統，其中，所述遠端控制模組包含消息接收模組、資訊解析器和控制庫。
如請求項7所述的日誌解析系統，其中，所述消息接收模組用於獲取對所述多個模組的控制資訊；所述資訊解析器用於對所述控制資訊進行解析，獲得解析結果，所述解析結果包括存取控制修飾符；所述控制庫用於根據所述存取控制修飾符對所述多個模組進行控制。
如請求項2所述的日誌解析系統，其中，所述視覺化模組透過萬維網頁面，對所述多個模組進行配置，生成所述多個模組的設定文檔，使得所述多個模組根據所述設定文檔對所述日誌資料進行處理；及在萬維網頁面中顯示所述多個模組的運行狀態。
一種日誌解析方法，利用如請求項1至9中任一項所述的日誌解析系統，其中，所述方法包括：獲取來自不同通信協定的日誌資料；對所述來自不同通信協定的日誌資料進行並行解析，獲得解析失敗的日誌資料和解析成功的日誌資料；對所述解析成功的日誌資料進行資料結構化處理，獲得結構化資料；對所述解析失敗的日誌資料和所述結構化資料進行修正，獲得修正後的資料；將所述修正後的資料輸出至終端；按照預定的時間對所述日誌解析系統的設定文檔進行監聽，根據監聽到的設定文檔的改變對所述日誌解析系統進行更新配置；利用萬維網頁面實現對上述日誌解析流程任務的配置視覺化。