TWI764026B - 日誌管理設備及日誌管理方法 - Google Patents

日誌管理設備及日誌管理方法

Info

Publication number
TWI764026B
TWI764026B TW108127916A TW108127916A TWI764026B TW I764026 B TWI764026 B TW I764026B TW 108127916 A TW108127916 A TW 108127916A TW 108127916 A TW108127916 A TW 108127916A TW I764026 B TWI764026 B TW I764026B
Authority
TW
Taiwan
Prior art keywords
log
parsing
module
conditions
data table
Prior art date
Application number
TW108127916A
Other languages
English (en)
Other versions
TW202107299A (zh
Inventor
尤澤龍
林佳宏
官大勝
Original Assignee
中華電信股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中華電信股份有限公司 filed Critical 中華電信股份有限公司
Priority to TW108127916A priority Critical patent/TWI764026B/zh
Publication of TW202107299A publication Critical patent/TW202107299A/zh
Application granted granted Critical
Publication of TWI764026B publication Critical patent/TWI764026B/zh

Links

Images

Abstract

一種日誌管理設備及日誌管理方法,係利用日誌收集模組收集複數日誌,利用日誌解析模組依據解析條件及欄位條件的設定內容,對各該日誌解析成具有相同解析欄位的解析後日誌,以及利用日誌儲存模組依據資料表分割條件及該解析後日誌的該解析欄位建立日誌資料表,以依據該資料表分割條件,將該解析後日誌儲存至對應的該日誌資料表中。

Description

日誌管理設備及日誌管理方法
本發明係有關如伺服器之設備管理技術,尤指一種日誌管理設備及日誌管理方法。
因應系統雲端化的潮流,各服務逐漸轉移至雲端系統,以增加主機資源的使用效率和減少維運複雜度,在轉移過程中原本的單一服務會拆分成多個小型的微服務,每個微服務會產生各自的日誌(Log)。
然而,日誌本身並不具有欄位,且各該微服務的日誌之間的格式皆不一樣,因此,難以從日誌的格式中查出該日誌是屬於那個微服務,使得在需要依據日誌對不同服務進行後續的分析和障礙查測時,需要花費更多時間來分析日誌的內容。
因此,如何有效的整理日誌,以供使用者進行查詢或分析,即為本發明所要解決之技術問題。
為解決上述問題,本發明提供一種日誌管理設備,係包括:日誌收集模組,係收集複數日誌;日誌解析模組,係設定符合正規表示式之解析條件、欄位條件及資料表分割條件,以依據該解析條件及欄位條件,對各該日誌解析成具有相同解析欄位的解析後日誌;以及日誌儲存模組,係依據該資料表分割條件及該解析後日誌的解析欄位建立日誌資料表,以依據該資料表分割條件,將該解析後日誌儲存至對應的該日誌資料表中。
於一實施例中,該日誌收集模組、日誌解析模組及日誌儲存模組係為無狀態(stateless)架構,其中,該無狀態架構係為於雲端的儲存空間中存取資料的架構。
於一實施例中,該日誌解析模組設定的該解析條件包含第一解析條件、第二解析條件及第三解析條件,該第一解析條件係分辨日誌名稱,該第二解析條件係選擇該日誌中的刪除字元,以及該第三解析條件係選擇已排除該日誌名稱以及該刪除字元之日誌中的其他字元,且該欄位條件係依該第一解析條件及第三解析條件的結果定義為該解析欄位。
於一實施例中,該日誌解析模組設定的該解析條件更包含第四解析條件,該第四解析條件係用以分辨該日誌所屬的應用服務之名稱及系統之名稱,其中,該第三解析條件係選擇已排除該應用服務之名稱、該系統之名稱、該日誌名稱以及該刪除字元之日誌中的其他字元,且該欄位條件係依該第一解析條件、第三解析條件及第四解析條件的結果定義為該解析欄位。
於一實施例中,該日誌收集模組係在收集該日誌時係產生日誌收集紀錄,該日誌收集紀錄包含日誌名稱、目前已完成該日誌之收集的行數以及收集時間。
本發明另提供一種日誌管理方法,係包括:令日誌收集模組收集複數日誌;令日誌解析模組設定符合正規表示式之解析條件、欄位條件及資料表分割條件,以依據該解析條件及欄位條件,對各該日誌解析成具有相同解析欄位的解析後日誌;以及令日誌儲存模組依據該資料表分割條件及該解析後日誌的該解析欄位建立日誌資料表,以依據該資料表分割條件,將該解析後日誌儲存至對應的該日誌資料表中。
於一實施例中,該日誌收集模組、日誌解析模組及日誌儲存模組係為無狀態架構,其中,該無狀態架構係為於雲端的儲存空間中存取資料的架構。
於一實施例中,令該日誌解析模組設定的該解析條件包含第一解析條件、第二解析條件、第三解析條件,該第一解析條件係分辨日誌名稱,該第二解析條件係選擇該日誌中的刪除字元,以及該第三解析條件係選擇已排除該日誌名稱以及該刪除字元之日誌中的其他字元,且該欄位條件係依該第一解析條件及第三解析條件的結果定義為該解析欄位。
於一實施例中,令該日誌解析模組設定的該解析條件更包含第四解析條件,該第四解析條件係用以分辨該日誌所屬的應用服務之名稱及系統之名稱,其中,該第三解析條件係選擇已排除該應用服務之名稱、該系統之名稱、該日誌名稱以及該刪除字元之日誌中的其他字元,且 該欄位條件係依該第一解析條件、第三解析條件及第四解析條件的結果定義為該解析欄位。
於一實施例中,該日誌收集模組係在收集該日誌時係產生日誌收集紀錄,且該日誌收集紀錄包含日誌檔名、目前已完成該日誌之收集的行數以及收集時間。
由上可知,本發明透過正規表示式的解析功能及欄位條件的設定,讓使用者可自行定義日誌的解析格式,依此對應解析多個服務的日誌有不同格式的情境,使得不同格式的日誌能得到統一的解析欄位,再透過資料表分割條件建立及區分日誌資料表,以使具有相同解析欄位的解析後日誌儲存至對應的日誌資料表後,藉以減少資料管理的複雜度,進而提高查詢或分析日誌的速度及效率。
1‧‧‧日誌管理設備
11‧‧‧日誌收集模組
12‧‧‧日誌解析模組
13‧‧‧日誌儲存模組
S1~S3‧‧‧步驟
第1圖係本發明之日誌管理設備之示意架構圖;第2圖係各該日誌為同系統中同應用服務產生的日誌之實施例的示意圖;第3圖係該日誌收集模組在收集該日誌時產生的日誌收集紀錄之實施例的示意圖;第4圖係當各該日誌為同系統中同應用服務產生的日誌時,該解析條件的正規表示式之實施例的示意圖;第5圖係複數日誌為同系統中同應用服務產生的日誌時,日誌解析模組12設定的該欄位條件以及資料表分割條件之實施例的示意圖; 第6圖係日誌儲存模組依據第5圖的資料表分割條件及該解析後日誌的該解析欄位建立及儲存日誌資料表之實施例的示意圖;第7圖係第6圖之日誌資料表中的每個日誌資料表點開展開後的顯示內容之實施例的示意圖;第8圖係各該日誌為同系統中不同應用服務產生及不同系統中不同應用服務產生的日誌之實施例的示意圖;第9圖係當各該日誌為同系統中不同應用服務產生的及不同系統中不同應用服務產生的日誌時,該解析條件的正規表示式之實施例的示意圖;第10圖係各該日誌為同系統中不同應用服務產生及不同系統中不同應用服務產生的時,該解析條件、欄位條件及資料表分割條件之實施例的示意圖;第11圖係日誌儲存模組依據第10圖的資料表分割條件及該解析後日誌的該解析欄位建立及儲存日誌資料表之實施例的示意圖;第12圖係第11圖之日誌資料表中的每個日誌資料表點開展開後的顯示內容之實施例的示意圖;以及第13圖係本發明之日誌管理方法之步驟流程圖。
以下藉由特定的具體實施例說明本發明之實施方式,熟悉此技藝之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。
須知,本說明書所附圖式所繪示之結構、比例、大小等,均僅用以配合說明書所揭示之內容,以供熟悉此技藝之人士之瞭解與閱讀,並非用以限定本發明可實施之限定條件,故不具技術上之實質意義,任何結構之修飾、比例關係之改變或大小之調整,在不影響本發明所能產生之功效及所能達成之目的下,均應仍落在本發明所揭示之技術內容得能涵蓋之範圍內。
第1圖係本發明之日誌管理設備1之示意架構圖,其中,在一實施例中,該日誌管理設備1可為一伺服器,也可為一應用於雲端環境的日誌管理伺服器。如第1圖所示,該日誌管理設備1係包括:日誌收集模組11、日誌解析模組12及日誌儲存模組13。於一實施例中,該日誌管理設備1中的各個模組11~13係為應用程式並儲存在該日誌管理設備1的儲存裝置中,以供該日誌管理設備1的處理器執行各該模組11~13中的應用程式,但不以此為限。
日誌收集模組11係收集複數日誌,其中,各該日誌為同系統中同應用服務產生的日誌、同系統中之不同應用服務產生的日誌或不同系統中之不同應用服務產生的日誌。
請參閱第2圖,該圖係各該日誌為同系統中同應用服務產生的日誌之實施例的示意圖。如第2圖所示,每一列的字串代表一個日誌。
請一併參閱第3圖,該圖係該日誌收集模組11在收集該日誌時產生的日誌收集紀錄之實施例的示意圖。如第3圖所示,source的欄位代表該日誌檔名,offset的欄位代表目前已完成該日誌之收集的行數或列數,timestamp的欄位代表收集該日誌當下的收集時間。
該日誌收集模組11係為無狀態架構,其中,該無狀態架構係為於雲端的儲存空間中存取資料的架構。例如在產生該日誌收集紀錄的同時,將該日誌收集紀錄儲存至雲端的儲存空間中,使日誌管理設備1重新啟動後,可從存放於該雲端的儲存空間的該日誌收集紀錄中找回原本的收集狀態和紀錄,以避免重複收集已收集過的日誌。
請一併參閱第1-3圖,日誌解析模組12係設定解析條件、欄位條件及資料表分割條件,以依據該解析條件及欄位條件,對各該日誌解析成具有相同解析欄位的解析後日誌,其中,該解析條件需符合正規表示式。
日誌解析模組12設定的該欄位條件係用以將該解析條件的結果定義為該解析欄位。
日誌解析模組12係為能在雲端的儲存空間中存取資料的該無狀態架構,例如將設定好的該解析條件、欄位條件及資料表分割條件儲存至雲端的儲存空間中,避免日誌管理設備1因自動重啟而遺失日誌解析的相關設定。
當該日誌收集模組11所收集的複數日誌為同系統中同應用服務產生的日誌時,該日誌解析模組12設定的該解析條件包含第一解析條件、第二解析條件、第三解析條件,其中,該第一解析條件係分辨日誌名稱,該第二解析條件係選擇該日誌中的刪除或不要字元,該第三解析條件係將選擇已排除該日誌名稱以及該刪除或不要字元之日誌中的其他字元。
請參閱第4圖,該圖係當該日誌收集模組11所收集的各該日誌為同系統中同應用服務產生的日誌時,日誌解析模組12設定該解析條件 的該第一解析條件、第二解析條件、第三解析條件的正規表示式之實施例的示意圖。如第4圖所示,file代表該第一解析條件的正規表示式,其中,[a-zA-Z0-9\\\.\-_( )]代表可比對英文字母大小寫的A-Z、數字0-9、反斜線(\)、句點(.)、破折號(-)、底線(_)、小括號等文字,最後的+符號則代表要比對前述內容的文字一個或多個,主要用來比對檔案路徑,nouse代表該第二解析條件的正規表示式,其中,nouse之中括號中的\s代表空白字元,亦即nouse[:\s]表示選擇該日誌中的冒號及空白字元(即前述的刪除或不要字元),而最後的+符號則代表要比對前述內容的文字一個或多個,主要用來比對多餘的空白或冒號,GREEDYDATA代表該第三解析條件的正規表示式,其中,.*代表可用來比對任何文字,用以比對任何文字零個或多個,例如用來比對日誌內最後所剩的所有文字。
於一實施例中,nouse的\s係代表連續兩個以上的空白字元,但不以此為限。
請參閱第5圖,該圖係複數日誌為同系統中同應用服務產生的日誌時,日誌解析模組12設定的該解析條件、欄位條件以及資料表分割條件之實施例的示意圖。如第5圖所示,match區塊及mutate區塊係用於設定該解析條件、欄位條件,output區塊用於設定該資料表分割條件。
match區塊中的%{file:dir}%{nouse:remove}%{GREEDYDATA:code}代表將該第一解析條件file的解析結果設為第一欄位並將該第一欄位的名稱file改名成dir、將該第二解析條件nouse的解析結果設為第二欄位並將該第二欄位的名稱nouse改名成remove、將該第三解析條件GREEDYDATA的解析結果設為第三欄 位並將該第三欄位的名稱GREEDYDATA改名成code,其命名方式可依據使用者自訂,不限於此。
若要將解析結果的各該欄位以其所屬的解析條件之代碼命名(如file、nouse及GREEDYDATA),則以%{file:file}%{nouse:nouse}%{GREEDYDATA:GREEDYDATA}表示。
mutate區塊中的remove_field=>[“remove”]代表將第二解析條件解析出的第二欄位刪除,並令刪除後所剩的該第一欄位及第三欄位為該解析欄位(如第7圖所示的dir和code欄位)。
output區塊中index後的%{+YYYY.MM.dd}的大括號內的內容代表該資料表分割條件設定為建立後的日誌資料表以日期區分,table代表該資料表的資料表名稱的設定。
請一併參閱第1-5圖,日誌儲存模組13係依據該資料表分割條件及該解析後日誌的解析欄位建立日誌資料表,以依據該資料表分割條件,將該解析後日誌儲存至對應的該日誌資料表中。
日誌儲存模組13係為能在雲端的儲存空間中存取資料的該無狀態架構,例如將該日誌資料表儲存於至雲端的儲存空間中,避免日誌管理設備1因自動重啟而遺失該日誌資料表。
請參閱第6圖,該圖係日誌儲存模組13依據第5圖的資料表分割條件及該解析後日誌的該解析欄位建立及儲存日誌資料表之實施例的示意圖。如第6圖所示,每個日誌資料表以日期區分(如第6圖中的2019.01.04),以依據日期將該解析後日誌儲存至對應的該日誌資料表中。
請參閱第7圖,該圖係第6圖之日誌資料表中的每個日誌資料表點開展開後的顯示內容之實施例的示意圖。如第7圖所示,日誌資料表展開後的每筆該解析後日誌係包含dir及code的欄位,其中,dir代表該日誌的日誌名稱,code代表該日誌的內容。
請參閱第8圖,該圖係各該日誌為同系統中同應用服務產生及不同系統中不同應用服務產生的日誌之實施例的示意圖。如第8圖所示,每一列的字串代表一個日誌,且包含A、B兩個系統的API和Server兩個服務,一共四種日誌的內容。
當該日誌收集模組11所收集的各該日誌為第8圖所示之同系統中不同應用服務產生的或不同系統中不同應用服務產生的時,該日誌解析模組12設定的該解析條件更包含第四解析條件,該第四解析條件係用以分辨該日誌所屬的應用服務之名稱及系統之名稱,其中,該第三解析條件係選擇已排除該應用服務之名稱、該系統之名稱、該日誌名稱以及該排除或不要字元之日誌中的其他字元,且該欄位條件係將該第一解析條件、第三解析條件及第四解析條件的結果定義為該解析欄位。
請參閱第9圖,該圖係當該日誌收集模組11所收集的各該日誌為同系統中不同應用服務產生的及不同系統中不同應用服務產生的日誌時,日誌解析模組12設定該解析條件的該第一解析條件、第二解析條件、第三解析條件及第四解析條件的正規表示式之實施例的示意圖。如第9圖所示,file、nouse及GREEDYDATA的功能皆與第4圖中的file、nouse及GREEDYDATA相同,差異僅在file的中括號內所設定的比對內容是在比對英文字母小寫的a-z、數字0-9,而第四解析條件的正規表示式Category代 表用來比對system文字,後續的[ab]{1}則比對a或b英文字母一個,接下來的[apiserv]+則比對文字內容是否為英文字母apiserv等七個字母之一,並以不限排列順序的方式比對一至多個字母,主要用來比對系統和服務名稱。
請參閱第10圖,該圖係該日誌收集模組11所收集的各該日誌為同系統中不同應用服務產生及不同系統中不同應用服務產生的日誌時,日誌解析模組12設定的該解析條件、欄位條件以及資料表分割條件之實施例的示意圖。如第10圖所示,match區塊及mutate區塊係用於設定該解析條件、欄位條件,output區塊用於設定該資料表分割條件,output區塊中index後的%{+YYYY.MM.dd}的大括號內的內容代表該資料表分割條件設定為建立後的日誌資料表以日期區分,index=>“與-%{+YYYY.MM.dd}之間的字元代表該日誌資料表的資料表名稱的設定。
請參閱第11圖,該圖係日誌儲存模組13依據第10圖的資料表分割條件及該解析後日誌的該解析欄位建立及儲存日誌資料表之實施例的示意圖。如第11圖所示,每個日誌資料表以日期區分,以依據日期將該解析後日誌儲存至對應的該日誌資料表中。例如Systems A的應用服務API(“Systems A API”)的日誌經解析所獲得的該解析後日誌將儲存至以日期區分且資料表名稱為systemaapi的日誌資料表中。
請參閱第12圖,該圖係第11圖之日誌資料表中的每個日誌資料表點開展開後的顯示內容之實施例的示意圖。如第12圖所示,日誌資料表展開後的每筆該解析後日誌係包含category、dir及code的欄位,其 中,category欄位代表該日誌所屬的系統及應用服務,dir代表該日誌的日誌名稱,code代表該日誌的內容。
第13圖係本發明之日誌管理方法之步驟流程圖。如第13圖所示,該方法係包括下列執行步驟:
在步驟S1中,收集複數日誌,其中,令日誌收集模組11收集複數日誌,其中,各該日誌為同系統中同應用服務產生的日誌(如第2圖所示)、同系統中之不同應用服務產生的日誌或不同系統中之不同應用服務產生的日誌。
於一實施例中,該步驟S1更包括令該日誌收集模組11在收集該日誌時係產生日誌收集紀錄(如第3圖所示),以及能在雲端的儲存空間中存取資料,以將該日誌收集紀錄儲存至雲端的儲存空間中,使日誌管理設備1重新啟動後,可從存放於該雲端的儲存空間的該日誌收集紀錄中找回原本的收集狀態和紀錄,以避免重複收集已收集過的日誌。
在步驟S2中,對各該日誌解析成具有相同解析欄位的解析後日誌,其中,令日誌解析模組12設定解析條件、欄位條件及資料表分割條件,以依據該解析條件及欄位條件,對各該日誌解析成具有相同解析欄位的解析後日誌,其中,該解析條件需符合正規表示式,該欄位條件係用以將該解析條件的結果定義為該解析欄位。該步驟S2中的該解析條件的正規表示式內容參照第4及9圖,該解析條件、欄位條件及資料表分割條件的設定方式參照第5及10圖。
於一實施例中,該步驟S2更包括令該日誌解析模組12能在雲端的儲存空間中存取資料,以將所設定的各該條件儲存至雲端的儲存空 間中,避免日誌管理設備1因自動重啟而遺失日誌解析的相關設定,但不以此為限。
於一實施例中,該步驟S2中的日誌解析模組12在設定欄位條件時,更包括修改該欄位的名字(如第5及10圖中解析條件之代碼後之字元的設定方式)。
在步驟S3中,建立日誌資料表,以將該解析後日誌儲存至該日誌資料表中,其中,令日誌儲存模組13依據該資料表分割條件及該解析後日誌的該解析欄位建立日誌資料表,以依據該資料表分割條件,將該解析後日誌儲存至對應的該日誌資料表中。
於一實施例中,該步驟S3更包括令該日誌儲存模組13能在雲端的儲存空間中存取資料,以將該日誌資料表儲存於至雲端的儲存空間中,避免日誌管理設備1因自動重啟而遺失該日誌資料表。
當該步驟S1中的該日誌收集模組11所收集的複數日誌為同系統中同應用服務產生的日誌時,該步驟S2中的該日誌解析模組12設定的該解析條件包含第一解析條件、第二解析條件、第三解析條件,請參照第4圖所示的解析條件,該第一解析條件(file)係分辨日誌名稱,該第二解析條件(nouse)係選擇該日誌中的刪除或不要字元,該第三解析條件(GREEDYDATA)係將選擇已排除該日誌名稱以及該刪除或不要字元之日誌中的其他字元,且該欄位條件係依該第一解析條件及第三解析條件的結果定義為該解析欄位,經由該第一解析條件、第二解析條件、第三解析條件及欄位條件解析該日誌所得的該解析後日誌如第7圖所示,最後由該步 驟S3中的該日誌儲存模組13依據日期區分的該資料表分割條件將該解析後日誌儲存至對應的該日誌資料表中(如第6圖所示)。
當該步驟S1中的該日誌收集模組11所收集的各該日誌為同系統中不同應用服務產生的或不同系統中不同應用服務產生的時,該步驟S2中的該日誌解析模組12設定的該解析條件更包含第四解析條件,該第四解析條件係用以分辨該日誌所屬的應用服務之名稱及系統之名稱,該第四解析條件的正規表示式的內容參照第9圖中的Category,其中,該第三解析條件係選擇已排除該應用服務之名稱、該系統之名稱、該日誌名稱以及該刪除或不要字元之日誌中的其他字元,且該欄位條件係將該第一解析條件、第三解析條件及第四解析條件的結果定義為該解析欄位,經由該第一解析條件、第二解析條件、第三解析條件、第四解析條件及欄位條件解析該日誌所得的該解析後日誌如第12圖所示,最後由該步驟S3中的該日誌儲存模組13依據日期區分的該資料表分割條件將該解析後日誌儲存至對應的該日誌資料表中(如第11圖所示)。
由上可知,本發明透過正規表示式的解析功能及欄位條件的設定,讓使用者可自行定義日誌的解析格式,依此對應解析多個服務的日誌有不同格式的情境,使得不同格式的日誌能得到統一的解析欄位,再透過資料表分割條件建立及區分日誌資料表,以使具有相同解析欄位的解析後日誌儲存至對應的日誌資料表後,藉以減少資料管理的複雜度,進而提高查詢或分析日誌的速度及效率。
上述實施形態僅例示性說明本發明之原理及其功效,而非用於限制本發明。任何熟習此項技藝之人士均可在不違背本發明之精神及 範疇下,對上述實施形態進行修飾與改變。因此,本發明之權利保護範圍,應如後述之申請專利範圍所列。
1‧‧‧日誌管理設備
11‧‧‧日誌收集模組
12‧‧‧日誌解析模組
13‧‧‧日誌儲存模組

Claims (8)

  1. 一種日誌管理設備,係包括:日誌收集模組,係收集複數日誌;日誌解析模組,係設定符合正規表示式之解析條件、欄位條件及資料表分割條件,以依據符合該正規表示式之解析條件及欄位條件對該複數日誌解析成複數具有相同解析欄位的解析後日誌;以及日誌儲存模組,係依據該日誌解析模組所設定符合該正規表示式之資料表分割條件及該複數具有相同解析欄位的解析後日誌之解析欄位建立日誌資料表,以依據符合該正規表示式之資料表分割條件將該複數解析後日誌分別儲存至對應的該日誌資料表中,其中,該日誌解析模組依據符合該正規表示式之解析條件分辨該日誌收集模組所收集之該複數日誌的日誌名稱、選擇該日誌收集模組所收集之該複數日誌中的刪除字元、以及選擇已排除該日誌名稱與該刪除字元之日誌中的其他字元,以對該複數日誌解析成該複數具有相同解析欄位的解析後日誌。
  2. 如申請專利範圍第1項所述之日誌管理設備,其中,該日誌收集模組、日誌解析模組及日誌儲存模組係為無狀態架構,而該無狀態架構係為於雲端的儲存空間中存取資料的架構。
  3. 如申請專利範圍第1項所述之日誌管理設備,其中,該日誌解析模組更依據符合該正規表示式之解析條件分辨該日誌所屬的應用服務之名稱及系統之名稱。
  4. 如申請專利範圍第1項所述之日誌管理設備,其中,該日誌收集模組係在收集該日誌時產生日誌收集紀錄,且該日誌收集紀錄包含日誌檔名、目前已完成該日誌之收集的行數以及收集時間。
  5. 一種日誌管理方法,係包括:令日誌收集模組收集複數日誌;令日誌解析模組設定符合正規表示式之解析條件、欄位條件及資料表分割條件,以依據符合該正規表示式之解析條件及欄位條件對該複數日誌解析成複數具有相同解析欄位的解析後日誌;以及令日誌儲存模組依據該日誌解析模組所設定符合該正規表示式之資料表分割條件及該複數具有相同解析欄位的解析後日誌之解析欄位建立日誌資料表,以依據符合該正規表示式之資料表分割條件將該複數解析後日誌分別儲存至對應的該日誌資料表中,其中,該日誌解析模組依據符合該正規表示式之解析條件分辨該日誌收集模組所收集之該複數日誌的日誌名稱、選擇該日誌收集模組所收集之該複數日誌中的刪除字元、以及選擇已排除該日誌名稱與該刪除字元之日誌中的其他字元,以對該複數日誌解析成該複數具有相同解析欄位的解析後日誌。
  6. 如申請專利範圍第5項所述之日誌管理方法,其中,該日誌收集模組、日誌解析模組及日誌儲存模組係為無狀態架構,而該無狀態架構係為於雲端的儲存空間中存取資料的架構。
  7. 如申請專利範圍第5項所述之日誌管理方法,其中,令該日誌解析模組更依據符合該正規表示式之解析條件分辨該日誌所屬的應用服務之名稱及系統之名稱。
  8. 如申請專利範圍第5項所述之日誌管理方法,其中,該日誌收集模組係在收集該日誌時產生日誌收集紀錄,且該日誌收集紀錄包含日誌檔名、目前已完成該日誌之收集的行數以及收集時間。
TW108127916A 2019-08-06 2019-08-06 日誌管理設備及日誌管理方法 TWI764026B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW108127916A TWI764026B (zh) 2019-08-06 2019-08-06 日誌管理設備及日誌管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108127916A TWI764026B (zh) 2019-08-06 2019-08-06 日誌管理設備及日誌管理方法

Publications (2)

Publication Number Publication Date
TW202107299A TW202107299A (zh) 2021-02-16
TWI764026B true TWI764026B (zh) 2022-05-11

Family

ID=75745257

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108127916A TWI764026B (zh) 2019-08-06 2019-08-06 日誌管理設備及日誌管理方法

Country Status (1)

Country Link
TW (1) TWI764026B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1394034A (zh) * 2001-06-21 2003-01-29 华为技术有限公司 综合网管设备日志管理系统
TW200947340A (en) * 2008-05-15 2009-11-16 Chunghwa Telecom Co Ltd Telecommunications room e-operation work log
CN104461842A (zh) * 2013-09-23 2015-03-25 伊姆西公司 基于日志相似性来处理故障的方法和装置
US20180365280A1 (en) * 2017-06-14 2018-12-20 Fujitsu Limited Log management apparatus and log management method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1394034A (zh) * 2001-06-21 2003-01-29 华为技术有限公司 综合网管设备日志管理系统
TW200947340A (en) * 2008-05-15 2009-11-16 Chunghwa Telecom Co Ltd Telecommunications room e-operation work log
CN104461842A (zh) * 2013-09-23 2015-03-25 伊姆西公司 基于日志相似性来处理故障的方法和装置
US20180365280A1 (en) * 2017-06-14 2018-12-20 Fujitsu Limited Log management apparatus and log management method

Also Published As

Publication number Publication date
TW202107299A (zh) 2021-02-16

Similar Documents

Publication Publication Date Title
US11599400B2 (en) Segmenting machine data into events based on source signatures
US11733829B2 (en) Monitoring tree with performance states
US10205643B2 (en) Systems and methods for monitoring and analyzing performance in a computer system with severity-state sorting
US10515469B2 (en) Proactive monitoring tree providing pinned performance information associated with a selected node
US10469344B2 (en) Systems and methods for monitoring and analyzing performance in a computer system with state distribution ring
US9984128B2 (en) Managing site-based search configuration data
US9124612B2 (en) Multi-site clustering
CN110555012B (zh) 数据迁移方法及装置
Lemoudden et al. Managing cloud-generated logs using big data technologies
TWI764026B (zh) 日誌管理設備及日誌管理方法
Kumar et al. Raw Cardinality Information Discovery for Big Datasets
US20240160614A1 (en) Method for fast and efficient computing of tree form-factors
Likhita et al. Log management in cloud through big data