JP7306157B2 - ログ出力装置、及び、ログ出力方法 - Google Patents
ログ出力装置、及び、ログ出力方法 Download PDFInfo
- Publication number
- JP7306157B2 JP7306157B2 JP2019153807A JP2019153807A JP7306157B2 JP 7306157 B2 JP7306157 B2 JP 7306157B2 JP 2019153807 A JP2019153807 A JP 2019153807A JP 2019153807 A JP2019153807 A JP 2019153807A JP 7306157 B2 JP7306157 B2 JP 7306157B2
- Authority
- JP
- Japan
- Prior art keywords
- log
- event
- data
- information
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/40—Data acquisition and logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Description
図1は、実施形態1に係るログ出力装置の構成を示すブロック図である。図2は、イベント単位で設けたログ出力装置を示すブロック図である。図1に示すように、ログ出力装置10には、アプリケーション装置20と記録装置30とが接続されている。アプリケーション装置20は、例えば、コンピュータや電子機器などの各種機能を発揮するためのアプリケーション(プログラム)を実行する。アプリケーション装置20は、アプリケーションの実行中に順次実行される(発生する)イベントのための操作部21を備える。
はじめに、図7のフローチャートに示すように、ログ符号化部14は、第1ログ記憶部12に記憶されているログメッセージ列42の行数(Lines1)を検査する(ステップS101)。Lines1が0行(NULL)であった場合(ステップS101;Yes)には、ログ符号化部14は、第1ログ記憶部12に記憶されたログメッセージ列42がそのまま圧縮データ50として出力されることを示す(R)をイベント名に付加したヘッダラベル51をファイル出力部15に出力する(ステップS102)。ただし、Lines1の行数は0行でありログメッセージ列42が存在しないため、ログ符号化部14は、ヘッダラベル51のみを出力して終了する。
一方、Lines1が0行でない場合(ステップS101;No)は、ログ符号化部14は、第2ログ記憶部13に記憶されているログメッセージ列42の行数(Lines2)を検査する(ステップ103)。このステップS103において、Lines2が0行(NULL)であった場合(ステップS103;Yes)には、ログ符号化部14は、第1ログ記憶部12に記憶されたログメッセージ列42がそのまま圧縮データ50として出力されることを示す(R)をイベント名に付加したヘッダラベル51をファイル出力部15に出力する(ステップS104)。
また、ステップS103において、Lines2が0行でない場合(ステップS103;No)には、ログ符号化部14は、第1ログ記憶部12と第2ログ記憶部13との差分データが出力されていることを示す(D)をイベント名に付加したヘッダラベル51をファイル出力部15に出力する(ステップS109)。この後、図8に示す、差分データを生成する処理に遷移する。
図8の処理では、はじめに、ログ符号化部14は、第1ログ記憶部12に記憶されたログメッセージ列42の行位置を指す変数mに1を設定し、同様に第2ログ記憶部13の行番号を指す変数nに1を設定する(ステップS111)。また、ログ符号化部14は、第2ログ記憶部13のログメッセージ列42を検索するための変数xに変数nの値を代入する(ステップS112)。
一方で、変数xがLines2よりも大きい場合(ステップS115;Yes)は、一致するログメッセージが見つからない、すなわち、Log1(m)は新たに出現したログメッセージであるため、ログ符号化部14は、Log1(m)を出力する(ステップS121)。
一方、上記したステップS113の処理において、ログメッセージ(Log1(m))とログメッセージ(Log2(x))とが一致した場合(ステップS113;Yes)には、処理をステップS116へ移行する。このステップS116では、ステップS113でログメッセージが一致したときの第2ログ記憶部13のログメッセージ列42の行を指す変数xが、検索を開始した行を指す変数nよりも大きいかを検査する。
変数nが変数x以上の場合(ステップS116;No)、第2ログ記憶部13のLog2(x)は、第1ログ記憶部12のログメッセージ列にも出現したとして、ログ符号化部14は、イコール記号(=)を出力する(ステップS131)。このとき、イコール記号(=)に続けてLog2(x)を記号化した値を付加してもよい。例えば、図4の第2ログ記憶部13のログメッセージ列42の「ログメッセージA2」の一部である「A2」を付加して、ログメッセージ列52の「=A2」のようにしてもよい。
また、変数mがLines1以下の場合(ステップS133;No)は、第1ログ記憶部12のログメッセージ列に未処理のログメッセージがあるため、変数nがLines2よりも大きいかを検査する(ステップS134)。変数nがLines2以下の場合(ステップS134;No)、すなわち、第1ログ記憶部12と第2ログ記憶部13の両方に未処理のログメッセージがある場合は、処理をステップS112へ戻して、次の未処理のログメッセージの符号化処理を行う。
一方、変数nがLines2より大きい場合(ステップS134;Yes)、変数mがLines1よりも大きいかを検査する(ステップS161)。変数mがLines1以下の場合(ステップS161;No)、すなわち、第1ログ記憶部12に未処理のログメッセージが残っている場合には、未処理のログメッセージが上記ステップS121と同様に新たに出現したログメッセージであるため、ログ符号化部14は、Log1(m)を出力する(ステップS162)。次に、ログ符号化部14は、変数mに1を加算して(ステップS163)した後、処理をステップS161に戻して、未処理のログメッセージを処理するループを構成する。また、変数mがLines1よりも大きい場合(ステップS161;Yes)は、すべて処理済となるため符号化処理を終了する。
上記したステップS151では、変数nがLines2よりも大きいかを検査する。変数nがLines2以下の場合(ステップS151;No)は、第2ログ記憶部13のログメッセージ列42に未処理の行が残っている。この未処理の行は、第1ログ記憶部12に出現しなかったログメッセージであるため、ログ符号化部14はマイナス記号(-)を出力する(ステップS152)。このとき、マイナス記号に続けてLog2(n)を記号化した値を付加してもよい。例えば、図4の第2ログ記憶部13のログメッセージ列42の「ログメッセージA6」の一部である「A6」を付加して、ログメッセージ列52の「-A6」のようにしてもよい。
上記した実施形態では、最新イベントのログデータ40-1と直近イベントのログデータ40-2との差分情報からなる圧縮データ50は、追加されたログメッセージを、『func1 処理が開始しました;A1』、『表示処理が正常に行われました;A2』、『OK処理が正常に行われました;A3』などといった文章情報で示していた。この文章情報で示したログメッセージは、内容を理解しやすい反面、文字数が増加することにより、データ量が増大する傾向にある。
図10は、実施形態2に係るログ出力装置の構成を示すブロック図である。図11は、イベント単位で設けたログ復元部を示すブロック図である。上記した実施形態1に係るログ出力装置10は、最新イベントのログデータと直近イベントのログデータとの差分情報を圧縮データ50として記録装置30に順次出力する構成としたが、実施形態2では、さらに記録装置30に記憶された圧縮データ50をログデータに復元するログ復元部85を備えている。上記した実施形態1と同一の構成については同一の符号を付して説明を省略する。
11、11A、11B ログ情報取得部
12、12A、12B 第1ログ記憶部(記憶部)
13、13A、13B 第2ログ記憶部(記憶部)
14、14A、14B ログ符号化部(ログ情報出力部)
15 ファイル出力部
21 操作部
22 Aボタン
23 Bボタン
30 記録装置
40-1 ログデータ(最新イベントのログデータ)
40-2 ログデータ(直近イベントのログデータ)
50 圧縮データ(差分情報、ログ記録情報)
80 ファイル取得部
81、81A、81B ログ差分情報取得部
82、82A、82B ログ差分記憶部
83、83A、83B ログ情報記憶部
84、84A、84B ログ復号化部(ログデータ出力部)
85 ログ復元部
110 圧縮データ(差分情報、ログ記録情報)
120-1 ログデータ(先イベントのログデータ)
120-2 ログデータ(後イベントのログデータ)
Claims (7)
- アプリケーション実行中に発生する複数の異なるイベントのログデータをイベント単位で記憶する記憶部と、
最新イベントのログデータと、前記最新イベントと同じ種類のイベントであり、かつ、前記最新イベントの時間的に直近に発生して前記記憶部に記憶された直近イベントのログデータとの差分情報をログ記録情報として出力するログ情報出力部と、を備え、
前記ログ情報出力部は、前記ログ記録情報が記録される記録装置の空き容量に応じて、前記ログ記録情報に含まれるログの内容を説明するログメッセージを文章情報、単語情報または文字情報に切り替えて出力可能とする、
ことを特徴とするログ出力装置。 - アプリケーション実行中に発生する複数の異なるイベントのログデータをイベント単位で記憶する記憶部と、
最新イベントのログデータと、前記最新イベントと同じ種類のイベントであり、かつ、前記最新イベントの時間的に直近に発生して前記記憶部に記憶された直近イベントのログデータとの差分情報をログ記録情報として出力するログ情報出力部と、を備え、
前記最新イベントのログデータと前記直近イベントのログデータとが同一のログメッセージを含む場合、もしくは、前記直近イベントのログデータに含まれていたログメッセージが前記最新イベントのログデータから削除されている場合、前記ログ情報出力部は、前記ログメッセージをそれぞれ予め定めた記号で示した前記ログ記録情報を出力する、
ことを特徴とするログ出力装置。 - 前記ログ情報出力部は、前記差分情報のデータ量が前記最新イベントのログデータのデータ量よりも大きい場合には、該最新イベントのログデータを前記ログ記録情報として出力することを特徴とする請求項1または2に記載のログ出力装置。
- 時間的に先に発生した先イベントのログデータを記憶するログ情報記憶部と、
前記先イベントのログデータと同じ種類のイベントであり、かつ、該先イベントよりも後に発生した後イベントのログ情報と前記先イベントのログ情報との差分情報であるログ記録情報と、前記ログ情報記憶部に記録された前記先イベントのログデータとから、前記後イベントのログデータを復元して出力するログデータ出力部と、を備えることを特徴とする請求項1または2に記載のログ出力装置。 - アプリケーション実行中に発生する複数の異なるイベントのログデータをイベント単位で記憶部に記憶するステップと、
最新イベントのログデータと、前記最新イベントと同じ種類のイベントであり、かつ、前記最新イベントの時間的に直近に発生して前記記憶部に記憶された直近イベントのログデータとの差分情報をログ記録情報として出力するステップと、を備え、
前記最新イベントのログデータと前記直近イベントのログデータとが同一のログメッセージを含む場合、もしくは、前記直近イベントのログデータに含まれていたログメッセージが前記最新イベントのログデータから削除されている場合、前記ログ記録情報は、前記ログメッセージをそれぞれ予め定めた記号で示して出力される、
ことを特徴とするログ出力方法。 - 前記差分情報を前記ログ記録情報として出力するステップでは、前記ログ記録情報が記録される記録装置の空き容量に応じて、前記ログ記録情報に含まれるログの内容を説明するログメッセージを文章情報、単語情報または文字情報に切り替えて出力することを特徴とする請求項5に記載のログ出力方法。
- 時間的に先に発生した先イベントのログデータを記憶するステップと、
前記先イベントのログデータと同じ種類のイベントであり、かつ、該先イベントよりも後に発生した後イベントのログ情報と前記先イベントのログ情報との差分情報であるログ記録情報と、記憶された前記先イベントのログデータとから、前記後イベントのログデータを復元して出力するステップと、をさらに備えることを特徴とする請求項5または6に記載のログ出力方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019153807A JP7306157B2 (ja) | 2019-08-26 | 2019-08-26 | ログ出力装置、及び、ログ出力方法 |
US16/935,224 US10936382B1 (en) | 2019-08-26 | 2020-07-22 | Log output device, log output method, and log output program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019153807A JP7306157B2 (ja) | 2019-08-26 | 2019-08-26 | ログ出力装置、及び、ログ出力方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021033693A JP2021033693A (ja) | 2021-03-01 |
JP7306157B2 true JP7306157B2 (ja) | 2023-07-11 |
Family
ID=74677573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019153807A Active JP7306157B2 (ja) | 2019-08-26 | 2019-08-26 | ログ出力装置、及び、ログ出力方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10936382B1 (ja) |
JP (1) | JP7306157B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011113443A (ja) | 2009-11-30 | 2011-06-09 | Mitsubishi Electric Corp | ログ圧縮装置及びログ収集システム及びコンピュータプログラム及びログ圧縮方法 |
JP2011145830A (ja) | 2010-01-13 | 2011-07-28 | Nippon Telegr & Teleph Corp <Ntt> | イベントログ抽出方法、その装置及びプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS51119320A (en) | 1975-04-11 | 1976-10-19 | Ishifuku Kinzoku Kogyo Kk | Copper alloy for metal spectacle rims |
JP2011113494A (ja) * | 2009-11-30 | 2011-06-09 | Canon Inc | ログ監査システムにおけるログ取得制御 |
JP6003265B2 (ja) * | 2012-06-13 | 2016-10-05 | セイコーエプソン株式会社 | 制御装置、制御装置の制御方法、及び、プログラム |
JP2014016758A (ja) * | 2012-07-09 | 2014-01-30 | Nippon Telegr & Teleph Corp <Ntt> | ログデータ解凍装置、ログデータ圧縮装置、ログデータ解凍プログラム及びログデータ圧縮プログラム |
GB2514563A (en) * | 2013-05-28 | 2014-12-03 | Ibm | Selective purging of a log structure |
GB2521364A (en) * | 2013-12-17 | 2015-06-24 | Ibm | Recording GUI data |
US9619478B1 (en) * | 2013-12-18 | 2017-04-11 | EMC IP Holding Company LLC | Method and system for compressing logs |
US11144506B2 (en) * | 2018-10-29 | 2021-10-12 | EMC IP Holding Company LLC | Compression of log data using field types |
-
2019
- 2019-08-26 JP JP2019153807A patent/JP7306157B2/ja active Active
-
2020
- 2020-07-22 US US16/935,224 patent/US10936382B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011113443A (ja) | 2009-11-30 | 2011-06-09 | Mitsubishi Electric Corp | ログ圧縮装置及びログ収集システム及びコンピュータプログラム及びログ圧縮方法 |
JP2011145830A (ja) | 2010-01-13 | 2011-07-28 | Nippon Telegr & Teleph Corp <Ntt> | イベントログ抽出方法、その装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021033693A (ja) | 2021-03-01 |
US20210064447A1 (en) | 2021-03-04 |
US10936382B1 (en) | 2021-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7234165B1 (en) | Malware scanning of compressed computer files | |
US10514974B2 (en) | Log analysis system, log analysis method and program recording medium | |
US20070067362A1 (en) | Undo function for unzipped files | |
US8407192B2 (en) | Detecting a file fragmentation point for reconstructing fragmented files using sequential hypothesis testing | |
US9792388B2 (en) | Pattern extraction apparatus and control method therefor | |
US20130179413A1 (en) | Compressed Distributed Storage Systems And Methods For Providing Same | |
KR20100059901A (ko) | 두 번의 패스를 통한 텍스트 스트링의 해시 추출 | |
JP6720788B2 (ja) | ログ管理装置及びログ管理プログラム | |
Aronson et al. | Towards an engineering approach to file carver construction | |
US20130024466A1 (en) | System event logging system | |
JPWO2008084738A1 (ja) | 符号化装置、復号化装置、それらの方法、その方法のプログラム及びそのプログラムを記録した記録媒体 | |
CN109564613B (zh) | 签名创建设备、签名创建方法、记录签名创建程序的记录介质、以及软件确定系统 | |
US9563635B2 (en) | Automated recognition of patterns in a log file having unknown grammar | |
JP7306157B2 (ja) | ログ出力装置、及び、ログ出力方法 | |
US20170103123A1 (en) | Index creating device, index creating method, search device, search method, and computer-readable recording medium | |
JP2011128915A (ja) | ログ収集装置、ログ収集装置のログ収集方法、ログ収集システム、ログ収集システムのログ収集方法 | |
US11061856B2 (en) | Data ingestion system | |
US10162832B1 (en) | Data aware deduplication | |
CN111026531A (zh) | 任务重复发送处理方法、装置、计算机设备及存储介质 | |
JP2016170750A (ja) | データ管理プログラム、情報処理装置およびデータ管理方法 | |
JP2023501093A (ja) | カスタマイズ可能な区切りテキスト圧縮フレームワーク | |
CN111046635A (zh) | 制作freemarker模板的方法、装置、计算机设备以及存储介质 | |
Nguyen et al. | The impact of data fragment sizes on file type recognition | |
Boiko et al. | Advanced file carving: ontology, models and methods | |
JP5674974B2 (ja) | 圧縮データ処理プログラム、圧縮データ編集プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230612 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7306157 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |