JP6803754B2 - ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 - Google Patents
ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 Download PDFInfo
- Publication number
- JP6803754B2 JP6803754B2 JP2017004788A JP2017004788A JP6803754B2 JP 6803754 B2 JP6803754 B2 JP 6803754B2 JP 2017004788 A JP2017004788 A JP 2017004788A JP 2017004788 A JP2017004788 A JP 2017004788A JP 6803754 B2 JP6803754 B2 JP 6803754B2
- Authority
- JP
- Japan
- Prior art keywords
- log
- log message
- word
- message
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0778—Dumping, i.e. gathering error/state information after a fault for later diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0769—Readable error formats, e.g. cross-platform generic formats, human understandable formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0781—Error filtering or prioritizing based on a policy defined by the user or on a policy defined by a hardware/software module, e.g. according to a severity level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0784—Routing of error reports, e.g. with a specific transmission path or data flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0787—Storage of error reports, e.g. persistent data storage, storage using memory protection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2268—Logging of test results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
(a) 複数のログメッセージ201が記録されたログ200を収集する、
(b) ログ200から複数のログメッセージ201を取得する、
(c) ログメッセージ201(第1のログメッセージ)を構成する単語の出現回数を、ログ200に含まれる複数のログメッセージ201に基づいて作成され、複数のログメッセージ201に含まれる単語と当該単語の出現回数とを関連付けて格納した学習後の単語−出現回数関連付け管理テーブル120から取得する、
(d) ログメッセージ201と、当該ログメッセージ201を構成する単語のうちその出現回数が所定の出現回数判定閾値未満である単語を少数単語として関連付けてログ−単語関連付け管理テーブル121に格納する、
(e) ログメッセージ201より過去のログメッセージ201(第2のログメッセージ)に含まれる少数単語をログ−単語関連付け管理テーブル121から取得する、
(f) ログメッセージ201の少数単語と過去のログメッセージ201の少数単語との一致度を示す一致度評価値E1を算出する、
(g) ログメッセージ201を構成する単語の出現回数に基づいて定まるログメッセージ201の識別情報である分類値を算出する、
(h) ログメッセージ201とログメッセージ201の分類値とを関連付けてログ−単語関連付け管理テーブル121に格納する、
(i) 過去を構成する単語の出現回数に基づいて定まるログメッセージ201の分類値をログ−単語関連付け管理テーブル121から取得する、
(j) ログメッセージ201の分類値と過去のログメッセージ201の分類値との組み合わせの出現回数を、ログ200に含まれる複数のログメッセージ201に基づいて作成され、各ログメッセージを構成する単語の出現回数に基づいて定まる各ログメッセージ201の分類値の組み合わせとその出現回数とを関連付けて格納した学習後の分類値−出現回数関連付け管理テーブル122から取得する、
(k) 分類値−出現回数関連付け管理テーブル122から取得した分類値の組み合わせの出現回数に基づいてログメッセージ201の分類値と過去のログメッセージ201の分類値との組み合わせの出現度を示す出現度評価値E2を算出する、
(l) 一致度評価値E1および出現度評価値E2に基づきログメッセージ201と過去のログメッセージ201との関連度を示す関連度評価値E3を算出する、
(m) 複数のログメッセージ201に含まれる単語と当該単語の出現回数とを関連付けて格納した単語−出現回数関連付け管理テーブル120を作成する、
(n) ログメッセージ201の分類値と過去のログメッセージ201の分類値との組み合わせと、当該組み合わせの出現回数とを関連付けて格納した分類値−出現回数関連付け管理テーブル122を作成する、
(o) 一致度評価値E1、出現度評価値E2及び関連度評価値E3のいずれかに基づいてログメッセージ201と過去のログメッセージ201とをグループとして関連付けてログ−グループ関連付け管理テーブル123に格納する、
(p) グループとして関連付けられたログメッセージ201に関する情報のリクエストメッセージ受け付けると、当該リクエストに含まれるログメッセージ201とグループとして関連付けられた他のログメッセージ201をログ−グループ関連付け管理テーブル123から取得して当該リクエストメッセージに対するレスポンスメッセージに含めて出力する、
(p’) 前記リクエストに含まれるログメッセージとグループとして関連付けられかつ評価値を満足する他のログメッセージをログ−グループ関連付け管理テーブル123から取得して当該リクエストメッセージに対するレスポンスメッセージに含めて出力する。
Claims (9)
- プロセッサを有するログメッセージグループ化装置であって、
前記プロセッサが、
(a)複数のログメッセージが記録されたログを収集する、
(b)前記ログから前記複数のログメッセージを取得する、
(c)第1のログメッセージを構成する単語の出現回数を、前記ログに含まれる複数のログメッセージに基づいて作成され、前記複数のログメッセージに含まれる単語と前記単語の出現回数とを関連付けて格納した単語−出現回数関連情報から取得する、
(d)前記第1のログメッセージと、前記第1のログメッセージを構成する単語のうち、その出現回数が所定の出現回数判定閾値未満である単語を少数単語として関連付けてログ−単語関連情報に格納する、
(e)前記第1のログメッセージより過去の第2のログメッセージに含まれる前記少数単語を前記ログ−単語関連情報から取得する、
(f)前記第1のログメッセージに含まれる前記少数単語と前記第2のログメッセージに含まれる前記少数単語との一致度を示す評価値である第1の評価値を算出する、ように構成されていることを特徴とするログメッセージグループ化装置。 - 請求項1に記載のログメッセージグループ化装置において、
前記プロセッサが、
(g)前記第1のログメッセージを構成する単語の出現回数に基づいて定まる前記第1のログメッセージの識別情報である分類値を生成する、
(h)前記第1のログメッセージと前記第1のログメッセージの分類値とを関連付けて前記ログ−単語関連情報に格納する、
(i)前記第2のログメッセージを構成する単語の出現回数に基づいて定まる前記第2のログメッセージの分類値を取得する、
(j)前記第1のログメッセージの分類値と前記第2のログメッセージの分類値との組み合わせの出現回数を、前記ログに含まれる複数のログメッセージに基づいて作成され、各ログメッセージを構成する単語の出現回数に基づいて定まる各ログメッセージの分類値の組み合わせとその出現回数とを関連付けて格納した分類値−出現回数関連情報から取得する、
(k)前記分類値−出現回数関連情報から取得した前記組み合わせの出現回数に基づいて前記第1のログメッセージの分類値と前記第2のログメッセージの分類値との組み合わせの出現度を示す評価値である第2の評価値を算出する、
(l)前記第1の評価値および前記第2の評価値に基づき前記第1のログメッセージと前記第2のログメッセージとの関連度を示す評価値である第3の評価値を算出する、ように構成されていることを特徴とするログメッセージグループ化装置。 - 請求項1に記載のログメッセージグループ化装置において、
前記プロセッサが、
(m)前記複数のログメッセージに含まれる単語と当該単語の出現回数とを関連付けて格納した単語−出現回数関連情報を作成する、ように構成されていることを特徴とするログメッセージグループ化装置。 - 請求項2に記載のログメッセージグループ化装置において、
前記プロセッサが、
(n)前記第1のログメッセージの分類値と前記第2のログメッセージの分類値との組み合わせと、その組み合わせの出現回数とを関連付けて格納した分類値−出現回数関連情報を作成する、ように構成されていることを特徴とするログメッセージグループ化装置。 - 請求項2に記載のログメッセージグループ化装置において、
前記プロセッサが、
(o)前記第1〜第3の評価値のいずれかに基づいて前記第1のログメッセージと前記第2のログメッセージとをグループとして関連付けてログ−グループ関連情報に格納する、ように構成されていることを特徴とするログメッセージグループ化装置。 - 請求項5に記載のログメッセージグループ化装置において、
前記プロセッサが、
(p)ログメッセージに関する情報のリクエストを受け付けると、前記リクエストに含まれるログメッセージとグループとして関連付けられた他のログメッセージを前記ログ−グループ関連情報から取得して当該リクエストに対するレスポンスに含めて出力する、ように構成されていることを特徴とするログメッセージグループ化装置。 - 請求項6に記載のログメッセージグループ化装置において、
前記リクエストには、前記第1〜第3の評価値のいずれかに係る条件を示す情報が含まれ、
前記プロセッサが、
(p’)前記リクエストに含まれるログメッセージとグループとして関連付けられかつ前記条件を満足する他のログメッセージを前記ログ−グループ関連情報から取得して当該リクエストに対するレスポンスに含めて出力する、ように構成されていることを特徴とするログメッセージグループ化装置。 - ログメッセージが記録されたログを出力する1または複数の情報システムと、
前記ログを収集し、前記ログメッセージをグループとして関連付けるログメッセージグループ化装置と、
前記ログメッセージグループ化装置からグループとして関連付けられたログメッセージに関する情報を取得する管理端末と、を備え、
前記ログメッセージグループ化装置が、請求項7に記載のログメッセージグループ化装置で構成されていることを特徴とするログメッセージグループ化システム。 - ログメッセージグループ化方法であって、
プロセッサが、
(a)複数のログメッセージが記録されたログを収集する、
(b)前記ログから前記複数のログメッセージを取得する、
(c)第1のログメッセージを構成する単語の出現回数を、前記ログに含まれる複数のログメッセージに基づいて作成され、前記複数のログメッセージに含まれる単語と前記単語の出現回数とを関連付けて格納した単語−出現回数関連情報から取得する、
(d)前記第1のログメッセージと、前記第1のログメッセージを構成する単語のうち、その出現回数が所定の出現回数判定閾値未満である単語を少数単語として関連付けてログ−単語関連情報に格納する、
(e)前記第1のログメッセージより過去の第2のログメッセージに含まれる前記少数単語を前記ログ−単語関連情報から取得する、
(f)前記第1のログメッセージに含まれる前記少数単語と前記第2のログメッセージに含まれる前記少数単語との一致度を示す評価値である第1の評価値を算出する、ことを特徴とするログメッセージグループ化方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004788A JP6803754B2 (ja) | 2017-01-16 | 2017-01-16 | ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 |
US15/864,829 US10579461B2 (en) | 2017-01-16 | 2018-01-08 | Log message grouping apparatus, log message grouping system, and log message grouping method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017004788A JP6803754B2 (ja) | 2017-01-16 | 2017-01-16 | ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018116322A JP2018116322A (ja) | 2018-07-26 |
JP6803754B2 true JP6803754B2 (ja) | 2020-12-23 |
Family
ID=62841339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017004788A Active JP6803754B2 (ja) | 2017-01-16 | 2017-01-16 | ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10579461B2 (ja) |
JP (1) | JP6803754B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6803754B2 (ja) * | 2017-01-16 | 2020-12-23 | 株式会社日立製作所 | ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 |
US10831585B2 (en) * | 2017-03-28 | 2020-11-10 | Xiaohui Gu | System and method for online unsupervised event pattern extraction and holistic root cause analysis for distributed systems |
US10839802B2 (en) * | 2018-12-14 | 2020-11-17 | Motorola Mobility Llc | Personalized phrase spotting during automatic speech recognition |
JP7207009B2 (ja) * | 2019-02-26 | 2023-01-18 | 日本電信電話株式会社 | 異常検知装置、異常検知方法および異常検知プログラム |
US11244058B2 (en) | 2019-09-18 | 2022-02-08 | Bank Of America Corporation | Security tool |
US11281520B2 (en) * | 2020-06-05 | 2022-03-22 | Vmware, Inc. | Methods and systems for determining potential root causes of problems in a data center using log streams |
CN112882997B (zh) * | 2021-02-19 | 2022-06-07 | 武汉大学 | 一种基于N-gram与频繁模式挖掘的系统日志解析方法 |
US11921603B2 (en) * | 2021-08-05 | 2024-03-05 | Microsoft Technology Licensing, Llc | Automated interoperational tracking in computing systems |
US11625309B1 (en) * | 2021-10-31 | 2023-04-11 | Kyndryl, Inc. | Automated workload monitoring by statistical analysis of logs |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001147923A (ja) * | 1999-11-18 | 2001-05-29 | Toshiba Corp | 類似文書検索装置、類似文書検索方法及び記録媒体 |
JP5521807B2 (ja) * | 2010-06-16 | 2014-06-18 | 富士通株式会社 | 障害原因推定装置、障害原因推定プログラム及び障害原因推定方法 |
JP5609637B2 (ja) * | 2010-12-28 | 2014-10-22 | 富士通株式会社 | プログラム、情報処理装置、及び情報処理方法 |
JP5933463B2 (ja) * | 2013-02-04 | 2016-06-08 | 日本電信電話株式会社 | ログ生起異常検知装置及び方法 |
US9244755B2 (en) * | 2013-05-20 | 2016-01-26 | Vmware, Inc. | Scalable log analytics |
US20160261541A1 (en) * | 2013-06-07 | 2016-09-08 | Hewlett-Packard Development Company, L.P. | Prioritizing log messages |
JP6432266B2 (ja) | 2014-10-03 | 2018-12-05 | 富士通株式会社 | グループ化方法、グループ化装置、およびグループ化プログラム |
JP6503679B2 (ja) * | 2014-10-06 | 2019-04-24 | 富士通株式会社 | フィルタルール作成装置、フィルタルール作成方法、およびプログラム |
US9892166B2 (en) * | 2014-10-09 | 2018-02-13 | Ca, Inc. | Partitioning log records based on term frequency and type for selective skipping during full-text searching |
WO2016075915A1 (ja) * | 2014-11-10 | 2016-05-19 | 日本電気株式会社 | ログ分析システム、ログ分析方法およびプログラム記録媒体 |
US9612897B1 (en) * | 2014-12-12 | 2017-04-04 | State Farm Mutual Automobile Insurance Company | Method and system for detecting system outages using application event logs |
US9678822B2 (en) * | 2015-01-02 | 2017-06-13 | Tata Consultancy Services Limited | Real-time categorization of log events |
WO2016132717A1 (ja) | 2015-02-17 | 2016-08-25 | 日本電気株式会社 | ログ分析システム、ログ分析方法およびプログラム記録媒体 |
JP6803754B2 (ja) * | 2017-01-16 | 2020-12-23 | 株式会社日立製作所 | ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 |
-
2017
- 2017-01-16 JP JP2017004788A patent/JP6803754B2/ja active Active
-
2018
- 2018-01-08 US US15/864,829 patent/US10579461B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US10579461B2 (en) | 2020-03-03 |
JP2018116322A (ja) | 2018-07-26 |
US20180203757A1 (en) | 2018-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6803754B2 (ja) | ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 | |
CN107291928B (zh) | 一种日志存储系统和方法 | |
JP6919569B2 (ja) | ログ分析システム、方法、及び記録媒体 | |
WO2014196129A1 (ja) | 障害分析装置、障害分析方法、および、記録媒体 | |
JP6047017B2 (ja) | パターン抽出装置および制御方法 | |
JP6665784B2 (ja) | ログ分析システム、ログ分析方法およびログ分析プログラム | |
WO2017104119A1 (ja) | ログ分析システム、方法およびプログラム | |
CN102257487A (zh) | 分析事件 | |
JP2017010277A (ja) | 作業分析システム及び作業分析方法 | |
JP5466622B2 (ja) | 運用監視装置、運用監視方法、および運用監視プログラム | |
JP2018195127A (ja) | インシデント管理装置、インシデント管理方法およびコンピュータプログラム | |
JP6174469B2 (ja) | 事故分析活用支援装置および方法 | |
KR101597143B1 (ko) | 정보 처리 장치 및 정보 처리 방법 | |
JP5711677B2 (ja) | 監視情報分析装置及び方法 | |
JP2009110220A (ja) | 監査ログ収集・評価システム、監査ログ収集・評価方法、および、収集・評価コンピュータ | |
US11423230B2 (en) | Process extraction apparatus and non-transitory computer readable medium | |
JPH08314751A (ja) | 障害対策支援方法 | |
JP2005190402A (ja) | リスク評価支援システム、情報処理装置、リスク評価支援方法、及びプログラム | |
JP2013152543A (ja) | 画像蓄積プログラム、方法および装置 | |
JP7446147B2 (ja) | 合意形成支援装置および合意形成支援方法 | |
CN113094088A (zh) | 数据库配置信息采集方法、装置、计算机设备及存储介质 | |
JP2007041638A (ja) | シーケンス図作成装置、シーケンス図作成プログラムおよびシーケンス図作成プログラムを記録したコンピュータ読取り可能な記録媒体 | |
WO2020070906A1 (ja) | ワークショップ支援システム及びワークショップ支援方法 | |
JP2016122413A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JPWO2009008129A1 (ja) | 開発書類データ管理装置、開発書類データ管理システム、開発書類データ管理方法及び、そのプログラム並びに記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6803754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |