JP6955676B2 - ログ分析方法、システムおよび記録媒体 - Google Patents
ログ分析方法、システムおよび記録媒体 Download PDFInfo
- Publication number
- JP6955676B2 JP6955676B2 JP2018543970A JP2018543970A JP6955676B2 JP 6955676 B2 JP6955676 B2 JP 6955676B2 JP 2018543970 A JP2018543970 A JP 2018543970A JP 2018543970 A JP2018543970 A JP 2018543970A JP 6955676 B2 JP6955676 B2 JP 6955676B2
- Authority
- JP
- Japan
- Prior art keywords
- log
- order
- logs
- analysis target
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Debugging And Monitoring (AREA)
Description
図1は、本実施形態に係るログ分析システム100のブロック図である。図1において、矢印は主なデータの流れを示しており、図1に示したもの以外のデータの流れがあってよい。図1において、各ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図1に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
本実施形態では、2つ以上の装置又はプログラムから出力された分析対象ログに対して個別に第1および第2順序を判定し、その後に集約されたログに対して第3順序を判定して出力する。これにより、2つ以上の装置又はプログラムにまたがるログの順序をより高精度に判定および出力することができる。
図8は、上述の各実施形態に係るログ分析システム100、200の概略構成図である。図8には、ログ分析システム100、200が識別子を有するログから判定された第1順序と、識別子を有さないログから判定された第2順序を用いて再構成されたログから単一の第3順序を判定する装置として機能するための構成例が示されている。ログ分析システム100、200は、互いに関連することを示す識別子を有する第1ログおよび前記識別子を有さない第2ログを含む分析対象ログを入力するログ入力部110と、前記第1ログにおいて、前記識別子を用いて前記第1ログに含まれるログの出現順序である第1順序を判定する第1順序判定部130と、前記第2ログにおいて、前記識別子を用いずに前記第2ログに含まれるログの出現順序である第2順序を判定する第2順序判定部150と、前記第1順序および前記第2順序を用いて、前記分析対象ログに含まれるログの出現順序である第3順序を出力する第3順序出力部170と、を備える。
第1ログを分析対象ログとして入力する工程と、
前記第1ログに含まれるログのうち、互いに関連することを示す識別子を有する第1部分ログの出現順序である第1順序を判定する工程と、
前記第1ログから前記第1部分ログを除いて得られる第2ログに含まれるログのうち、前記識別子を有しないログの出現順序である第2順序を判定する工程と、
前記第1順序および前記第2順序を用いて、前記分析対象ログに含まれるログの出現順序である第3順序を出力する工程と、
を含むログ分析方法。
前記第2順序を判定する工程は、前記識別子を有しないログ間の時系列の相関関係に基づいて、前記第2順序を判定する、付記1に記載のログ分析方法。
前記第2順序を判定する工程は、前記識別子を有しないログの中で第1の種類のログの次に第2の種類のログが出現する遷移確率が所定の閾値より高いログ群の順序を、前記第2順序として判定する、付記2に記載のログ分析方法。
前記第1順序を判定する工程は、前記第1部分ログの中で共通の前記識別子を有するログ群の順序を、前記第1順序として判定する、付記1〜3のいずれか一項に記載のログ分析方法。
前記第3順序を出力する工程は、前記分析対象ログから前記第1順序および前記第2順序に該当するログを除外した後に、前記分析対象ログに前記第1順序および前記第2順序に該当するログの位置を示す情報を挿入することによって生成された第3ログから、前記第3順序を出力する、付記1〜4のいずれか一項に記載のログ分析方法。
前記分析対象ログを入力する工程は、第1の分析対象ログおよび第2の分析対象ログを入力し、
前記第1順序を判定する工程は、前記第1の分析対象ログおよび前記第2の分析対象ログのそれぞれに対して個別に前記第1順序を判定し、
前記第2順序を判定する工程は、前記第1の分析対象ログおよび前記第2の分析対象ログのそれぞれに対して個別に前記第2順序を判定し、
前記第3順序を出力する工程は、前記第1の分析対象ログおよび前記第2の分析対象ログの前記第1順序および前記第2順序を統合することによって、前記第3順序を出力する、付記1〜5のいずれか一項に記載のログ分析方法。
前記分析対象ログに含まれる各ログが、変化可能な変数部分と変化しない定数部分とを含む、予め決められた複数の形式のいずれに合致するか判定する工程をさらに含み、
前記第1順序を判定する工程および前記第2順序を判定する工程は、前記分析対象ログに含まれる各ログの前記形式を用いて前記第1順序および前記第2順序を判定する、付記1〜6のいずれか一項に記載のログ分析方法。
前記第1順序、前記第2順序および前記第3順序は、ログの順列又は組み合わせである、付記1〜7のいずれか一項に記載のログ分析方法。
コンピュータに、
第1ログを分析対象ログとして入力する工程と、
前記第1ログに含まれるログのうち、互いに関連することを示す識別子を有する第1部分ログの出現順序である第1順序を判定する工程と、
前記第1ログから前記第1部分ログを除いて得られる第2ログに含まれるログのうち、前記識別子を有しないログの出現順序である第2順序を判定する工程と、
前記第1順序および前記第2順序を用いて、前記分析対象ログに含まれるログの出現順序である第3順序を出力する工程と、
を実行させるログ分析プログラムが記録された記録媒体。
第1ログを分析対象ログとして入力するログ入力部と、
前記第1ログに含まれるログのうち、互いに関連することを示す識別子を有する第1部分ログの出現順序である第1順序を判定する第1順序判定部と、
前記第1ログから前記第1部分ログを除いて得られる第2ログに含まれるログのうち、前記識別子を有しないログの出現順序である第2順序を判定する第2順序判定部と、
前記第1順序および前記第2順序を用いて、前記分析対象ログに含まれるログの出現順序である第3順序を出力する第3順序出力部と、
を備えるログ分析システム。
101 CPU
102 メモリ
103 記憶装置
104 通信インターフェース
110 ログ入力部
120 フォーマット判定部
130 第1順序判定部
140 第1ログ再構成部
150 第2順序判定部
160 第2ログ再構成部
170 第3順序出力部
181 フォーマット記憶部
182 関連識別子記憶部
183 結果記憶部
290 ログ集約部
Claims (9)
- 第1ログを分析対象ログとして入力する工程と、
前記第1ログに含まれるログのうち、互いに関連することを示す識別子を有する第1部分ログの出現順序である第1順序を判定する工程と、
前記第1ログから前記第1部分ログを除いて得られる第2ログに含まれる前記識別子を有しないログの中で、第1の種類のログの次に第2の種類のログが出現する遷移確率が所定の閾値より高いログ群の順序である第2順序を判定する工程と、
前記第1順序および前記第2順序を組み合わせた順序を含むように、前記分析対象ログに含まれるログの出現順序である第3順序を出力する工程と、
を含むログ分析方法。 - 前記第2順序を判定する工程は、前記識別子を有しないログ間の時系列の相関関係に基づいて、前記第2順序を判定する、請求項1に記載のログ分析方法。
- 前記第1順序を判定する工程は、前記第1部分ログの中で共通の前記識別子を有するログ群の順序を、前記第1順序として判定する、請求項1又は2に記載のログ分析方法。
- 前記第3順序を出力する工程は、前記分析対象ログから前記第1順序および前記第2順序に該当するログを除外した後に、前記分析対象ログに前記第1順序および前記第2順序に該当するログの前記分析対象ログ内における位置を示す情報を挿入することによって生成された第3ログから、前記第3順序を出力する、請求項1〜3のいずれか一項に記載のログ分析方法。
- 前記分析対象ログを入力する工程は、第1の分析対象ログおよび第2の分析対象ログを入力し、
前記第1順序を判定する工程は、前記第1の分析対象ログおよび前記第2の分析対象ログのそれぞれに対して個別に前記第1順序を判定し、
前記第2順序を判定する工程は、前記第1の分析対象ログおよび前記第2の分析対象ログのそれぞれに対して個別に前記第2順序を判定し、
前記第3順序を出力する工程は、前記第1の分析対象ログおよび前記第2の分析対象ログの前記第1順序および前記第2順序を統合することによって、前記第3順序を出力する、請求項1〜4のいずれか一項に記載のログ分析方法。 - 前記分析対象ログに含まれる各ログが、変化可能な変数部分と変化しない定数部分とを含む、予め決められた複数の形式のいずれに合致するか判定する工程をさらに含み、
前記第1順序を判定する工程および前記第2順序を判定する工程は、前記分析対象ログに含まれる各ログの前記形式を用いて前記第1順序および前記第2順序を判定する、請求項1〜5のいずれか一項に記載のログ分析方法。 - 前記第1順序、前記第2順序および前記第3順序は、ログの順列又は組み合わせである、請求項1〜6のいずれか一項に記載のログ分析方法。
- コンピュータに、
第1ログを分析対象ログとして入力する工程と、
前記第1ログに含まれるログのうち、互いに関連することを示す識別子を有する第1部分ログの出現順序である第1順序を判定する工程と、
前記第1ログから前記第1部分ログを除いて得られる第2ログに含まれる前記識別子を有しないログの中で、第1の種類のログの次に第2の種類のログが出現する遷移確率が所定の閾値より高いログ群の順序である第2順序を判定する工程と、
前記第1順序および前記第2順序を組み合わせた順序を含むように、前記分析対象ログに含まれるログの出現順序である第3順序を出力する工程と、
を実行させるログ分析プログラム。 - 第1ログを分析対象ログとして入力するログ入力部と、
前記第1ログに含まれるログのうち、互いに関連することを示す識別子を有する第1部分ログの出現順序である第1順序を判定する第1順序判定部と、
前記第1ログから前記第1部分ログを除いて得られる第2ログに含まれる前記識別子を有しないログの中で、第1の種類のログの次に第2の種類のログが出現する遷移確率が所定の閾値より高いログ群の順序である第2順序を判定する第2順序判定部と、
前記第1順序および前記第2順序を組み合わせた順序を含むように、前記分析対象ログに含まれるログの出現順序である第3順序を出力する第3順序出力部と、
を備えるログ分析システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016198028 | 2016-10-06 | ||
JP2016198028 | 2016-10-06 | ||
PCT/JP2017/036346 WO2018066661A1 (ja) | 2016-10-06 | 2017-10-05 | ログ分析方法、システムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018066661A1 JPWO2018066661A1 (ja) | 2019-07-25 |
JP6955676B2 true JP6955676B2 (ja) | 2021-10-27 |
Family
ID=61831744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018543970A Active JP6955676B2 (ja) | 2016-10-06 | 2017-10-05 | ログ分析方法、システムおよび記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200042422A1 (ja) |
JP (1) | JP6955676B2 (ja) |
WO (1) | WO2018066661A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2570512B (en) | 2018-01-30 | 2020-04-22 | Advanced Risc Mach Ltd | An apparatus and method for aligning corresponding elements in multiple streams of elements |
US11163718B2 (en) * | 2018-10-30 | 2021-11-02 | Dell Products L.P. | Memory log retrieval and provisioning system |
JP2023530104A (ja) * | 2020-06-11 | 2023-07-13 | コモンウェルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション | ログデータのコンプライアンス |
CN116599861A (zh) * | 2023-07-18 | 2023-08-15 | 海马云(天津)信息技术有限公司 | 检测云服务异常的方法、服务器设备和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4300808B2 (ja) * | 2003-01-24 | 2009-07-22 | 株式会社日立製作所 | 統合ログ表示方法及びシステム |
JP2011159125A (ja) * | 2010-02-01 | 2011-08-18 | Nec Corp | イベントクラスタリングシステム、そのコンピュータプログラムおよびデータ処理方法 |
WO2016031681A1 (ja) * | 2014-08-25 | 2016-03-03 | 日本電信電話株式会社 | ログ分析装置、ログ分析システム、ログ分析方法及びコンピュータプログラム |
-
2017
- 2017-10-05 JP JP2018543970A patent/JP6955676B2/ja active Active
- 2017-10-05 US US16/338,528 patent/US20200042422A1/en not_active Abandoned
- 2017-10-05 WO PCT/JP2017/036346 patent/WO2018066661A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20200042422A1 (en) | 2020-02-06 |
JPWO2018066661A1 (ja) | 2019-07-25 |
WO2018066661A1 (ja) | 2018-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6955676B2 (ja) | ログ分析方法、システムおよび記録媒体 | |
JP6708219B2 (ja) | ログ分析システム、方法およびプログラム | |
JP6780655B2 (ja) | ログ分析システム、方法およびプログラム | |
CN103164698B (zh) | 文本指纹库生成方法及装置、文本指纹匹配方法及装置 | |
US20170140309A1 (en) | Database analysis device and database analysis method | |
JP2013511097A5 (ja) | ||
US10650145B2 (en) | Method for testing computer program product | |
WO2016075915A1 (ja) | ログ分析システム、ログ分析方法およびプログラム記録媒体 | |
WO2018069950A1 (ja) | ログ分析方法、システムおよびプログラム | |
JP5948291B2 (ja) | 監視情報分析装置及び方法 | |
JP2016012193A (ja) | 抽出方法、装置、及びプログラム | |
CN106557419B (zh) | 程序的测试方法及装置 | |
CN106933916B (zh) | Json字符串的处理方法及装置 | |
CN111133396B (zh) | 生产设备监视装置、生产设备监视方法以及记录介质 | |
US20170308391A1 (en) | Information processing apparatus, information processing method, and recording medium | |
CN109582504A (zh) | 一种用于苹果设备的数据恢复方法和装置 | |
CN113032524A (zh) | 商标侵权识别方法、终端设备及存储介质 | |
CN111695880A (zh) | 一种生产流程监控方法及系统 | |
CN113641523B (zh) | 一种日志处理方法及装置 | |
CN113128213A (zh) | 日志模板提取方法及装置 | |
JP6756378B2 (ja) | 異常検出方法、システムおよびプログラム | |
JP6798504B2 (ja) | ログ分析システム、ログ分析方法及びプログラム | |
CN112035169B (zh) | 跳转处理方法及装置、计算机设备及计算机可读存储介质 | |
CN111309370B (zh) | 多项目多系统环境的版本号有向图排序稽核方法和系统 | |
CN105204937A (zh) | 内核函数调用方法、装置及操作系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210902 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6955676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |