JP6988827B2 - 異常識別システム、方法及びプログラム - Google Patents
異常識別システム、方法及びプログラム Download PDFInfo
- Publication number
- JP6988827B2 JP6988827B2 JP2018556575A JP2018556575A JP6988827B2 JP 6988827 B2 JP6988827 B2 JP 6988827B2 JP 2018556575 A JP2018556575 A JP 2018556575A JP 2018556575 A JP2018556575 A JP 2018556575A JP 6988827 B2 JP6988827 B2 JP 6988827B2
- Authority
- JP
- Japan
- Prior art keywords
- partial
- log
- logs
- model
- minority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0778—Dumping, i.e. gathering error/state information after a fault for later diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/079—Root cause analysis, i.e. error or fault diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0793—Remedial or corrective actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/86—Event-based monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Debugging And Monitoring (AREA)
Description
本発明の一実施形態による異常識別システム及び異常識別方法について図1乃至図8を用いて説明する。
上記各実施形態において説明した異常識別システムは、他の実施形態によれば、図9に示すように構成することもできる。図9は、他の実施形態による異常識別システムの機能構成を示すブロック図である。
本発明は、上記実施形態に限らず、種々の変形が可能である。
所定の条件に従って対象ログから3つ以上の複数の部分ログを抽出するログ抽出部と、
前記ログ抽出部により抽出された前記複数の部分ログからモデルを生成するモデル化部と、
前記モデル化部により生成された前記モデルと前記モデルの生成に寄与した前記部分ログとの対応関係を取得する対応関係取得部と、
前記対応関係取得部により取得された前記対応関係に基づき、前記複数の部分ログを、前記モデルの生成への寄与の有無に応じて2つの部分ログ群に分類し、前記2つの部分ログ群のうち、より少ない前記部分ログを含む少数派の部分ログ群を決定し、前記少数派の部分ログ群に基づき、前記複数の部分ログのうち、前記モデルの生成への寄与の有無に関する特異性が最も高い部分ログを決定する決定部と
を有することを特徴とする異常識別システム。
前記モデル化部は、前記複数の部分ログから複数の前記モデルを生成し、
前記決定部は、
前記複数のモデルのそれぞれについて、前記少数派の部分ログ群を決定し、前記少数派の部分ログ群に含まれる前記部分ログに所定の値を付与し、
前記複数の部分ログのそれぞれについて、前記複数のモデルについて付与された前記所定の値を合計することを特徴とする付記1記載の異常識別システム。
前記決定部は、前記所定の値の合計に基づき、前記特異性が最も高い部分ログを決定することを特徴とする付記2記載の異常識別システム。
前記決定部は、前記複数の部分ログを、前記所定の値の合計に基づきランキングすることを特徴とする付記2又は3に記載の異常識別システム。
前記所定の値は、前記複数の部分ログの総数に対する、前記少数派の部分ログ群に含まれる前記部分ログの数の比率に応じた値であることを特徴とする付記2乃至4のいずれかに記載の異常識別システム。
前記対応関係取得部は、前記対応関係を示す対応表を作成し、
前記決定部は、前記対応表において、前記少数派の部分ログ群に含まれる前記部分ログを強調することを特徴とする付記1乃至5のいずれかに記載の異常識別システム。
所定の条件に従って対象ログから3つ以上の複数の部分ログを抽出し、
前記複数の部分ログからモデルを生成し、
前記モデルと前記モデルの生成に寄与した前記部分ログとの対応関係を取得し、
前記対応関係に基づき、前記複数の部分ログを、前記モデルの生成への寄与の有無に応じて2つの部分ログ群に分類し、前記2つの部分ログ群のうち、より少ない前記部分ログを含む少数派の部分ログ群を決定し、
前記少数派の部分ログ群に基づき、前記複数の部分ログのうち、前記モデルの生成への寄与の有無に関する特異性が最も高い部分ログを決定する
ことを特徴とする異常識別方法。
前記複数の部分ログから複数の前記モデルを生成し、
前記複数のモデルのそれぞれについて、前記少数派の部分ログ群を決定し、前記少数派の部分ログ群、又は前記2つの部分ログ群のうちの前記少数派の部分ログ群でない多数派の部分ログ群に含まれる前記部分ログに所定の値を付与し、
前記複数の部分ログのそれぞれについて、前記複数のモデルについて付与された前記所定の値を合計することを特徴とする付記7記載の異常識別方法。
前記所定の値の合計に基づき、前記特異性が最も高い部分ログを決定することを特徴とする付記8記載の異常識別方法。
前記複数の部分ログを、前記所定の値の合計に基づきランキングすることを特徴とする付記8又は9に記載の異常識別方法。
前記所定の値は、前記複数の部分ログの総数に対する、前記少数派の部分ログ群に含まれる前記部分ログの数の比率に応じた値であることを特徴とする付記8乃至10のいずれかに記載の異常識別方法。
前記対応関係を示す対応表を作成し、
前記対応表において、前記少数派の部分ログ群に含まれる前記部分ログを強調することを特徴とする付記7乃至11のいずれかに記載の異常識別方法。
コンピュータに、
所定の条件に従って対象ログから3つ以上の複数の部分ログを抽出し、
前記複数の部分ログからモデルを生成し、
前記モデルと前記モデルの生成に寄与した前記部分ログとの対応関係を取得し、
前記対応関係に基づき、前記複数の部分ログを、前記モデルの生成への寄与の有無に応じて2つの部分ログ群に分類し、前記2つの部分ログ群のうち、より少ない前記部分ログを含む少数派の部分ログ群を決定し、
前記少数派の部分ログ群に基づき、前記複数の部分ログのうち、前記モデルの生成への寄与の有無に関する特異性が最も高い部分ログを決定する
ことを実行させることを特徴とするプログラムが記録された記録媒体。
2…対象システム
10…処理部
20…記憶部
106…ログ抽出部
108…モデル化部
110…モデルマージ部
112…決定部
Claims (10)
- 所定の条件に従って対象ログから3つ以上の複数の部分ログを抽出するログ抽出部と、
前記ログ抽出部により抽出された前記複数の部分ログからモデルを生成するモデル化部と、
前記モデル化部により生成された前記モデルと前記モデルの生成に寄与した前記部分ログとの対応関係を取得する対応関係取得部と、
前記対応関係取得部により取得された前記対応関係に基づき、前記複数の部分ログを、前記モデルの生成への寄与の有無に応じて2つの部分ログ群に分類し、前記2つの部分ログ群のうち、より少ない前記部分ログを含む少数派の部分ログ群を決定し、前記少数派の部分ログ群に基づき、前記複数の部分ログのうち、前記モデルの生成への寄与の有無に関する特異性が最も高い部分ログを決定する決定部と
を有することを特徴とする異常識別システム。 - 前記モデル化部は、前記複数の部分ログから複数の前記モデルを生成し、
前記決定部は、
前記複数のモデルのそれぞれについて、前記少数派の部分ログ群を決定し、前記少数派の部分ログ群に含まれる前記部分ログに所定の値を付与し、
前記複数の部分ログのそれぞれについて、前記複数のモデルについて付与された前記所定の値を合計することを特徴とする請求項1記載の異常識別システム。 - 前記決定部は、前記所定の値の合計に基づき、前記特異性が最も高い部分ログを決定することを特徴とする請求項2記載の異常識別システム。
- 前記決定部は、前記複数の部分ログを、前記所定の値の合計に基づきランキングすることを特徴とする請求項2又は3に記載の異常識別システム。
- 前記所定の値は、前記複数の部分ログの総数に対する、前記少数派の部分ログ群に含まれる前記部分ログの数の比率に応じた値であることを特徴とする請求項2乃至4のいずれか1項に記載の異常識別システム。
- 前記対応関係取得部は、前記対応関係を示す対応表を作成し、
前記決定部は、前記対応表において、前記少数派の部分ログ群に含まれる前記部分ログを強調することを特徴とする請求項1乃至5のいずれか1項に記載の異常識別システム。 - 所定の条件に従って対象ログから3つ以上の複数の部分ログを抽出し、
前記複数の部分ログからモデルを生成し、
前記モデルと前記モデルの生成に寄与した前記部分ログとの対応関係を取得し、
前記対応関係に基づき、前記複数の部分ログを、前記モデルの生成への寄与の有無に応じて2つの部分ログ群に分類し、前記2つの部分ログ群のうち、より少ない前記部分ログを含む少数派の部分ログ群を決定し、
前記少数派の部分ログ群に基づき、前記複数の部分ログのうち、前記モデルの生成への寄与の有無に関する特異性が最も高い部分ログを決定する
ことを特徴とする異常識別方法。 - 前記複数の部分ログから複数の前記モデルを生成し、
前記複数のモデルのそれぞれについて、前記少数派の部分ログ群を決定し、前記少数派の部分ログ群、又は前記2つの部分ログ群のうちの前記少数派の部分ログ群でない多数派の部分ログ群に含まれる前記部分ログに所定の値を付与し、
前記複数の部分ログのそれぞれについて、前記複数のモデルについて付与された前記所定の値を合計することを特徴とする請求項7記載の異常識別方法。 - 前記所定の値の合計に基づき、前記特異性が最も高い部分ログを決定することを特徴とする請求項8記載の異常識別方法。
- コンピュータに、
所定の条件に従って対象ログから3つ以上の複数の部分ログを抽出し、
前記複数の部分ログからモデルを生成し、
前記モデルと前記モデルの生成に寄与した前記部分ログとの対応関係を取得し、
前記対応関係に基づき、前記複数の部分ログを、前記モデルの生成への寄与の有無に応じて2つの部分ログ群に分類し、前記2つの部分ログ群のうち、より少ない前記部分ログを含む少数派の部分ログ群を決定し、
前記少数派の部分ログ群に基づき、前記複数の部分ログのうち、前記モデルの生成への寄与の有無に関する特異性が最も高い部分ログを決定する
ことを実行させることを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016240125 | 2016-12-12 | ||
JP2016240125 | 2016-12-12 | ||
PCT/JP2017/043325 WO2018110327A1 (ja) | 2016-12-12 | 2017-12-01 | 異常識別システム、方法及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018110327A1 JPWO2018110327A1 (ja) | 2019-10-24 |
JP6988827B2 true JP6988827B2 (ja) | 2022-01-05 |
Family
ID=62558662
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018556575A Active JP6988827B2 (ja) | 2016-12-12 | 2017-12-01 | 異常識別システム、方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20190294523A1 (ja) |
JP (1) | JP6988827B2 (ja) |
WO (1) | WO2018110327A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7286439B2 (ja) * | 2019-06-27 | 2023-06-05 | 株式会社東芝 | 監視制御システム、情報処理装置、情報処理方法及びコンピュータプログラム |
CN112579327B (zh) * | 2019-09-27 | 2024-05-14 | 阿里巴巴集团控股有限公司 | 一种故障检测方法、装置及设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4630489B2 (ja) * | 2000-05-31 | 2011-02-09 | 株式会社東芝 | ログ比較デバッグ支援装置および方法およびプログラム |
JP2003203001A (ja) * | 2001-12-28 | 2003-07-18 | Toshiba Corp | ログ解析方法、ログ解析プログラム |
JP4845001B2 (ja) * | 2004-11-26 | 2011-12-28 | 株式会社リコー | 情報処理装置及び同装置に用いるプログラム |
-
2017
- 2017-12-01 US US16/463,876 patent/US20190294523A1/en not_active Abandoned
- 2017-12-01 WO PCT/JP2017/043325 patent/WO2018110327A1/ja active Application Filing
- 2017-12-01 JP JP2018556575A patent/JP6988827B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20190294523A1 (en) | 2019-09-26 |
WO2018110327A1 (ja) | 2018-06-21 |
JPWO2018110327A1 (ja) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6643211B2 (ja) | 異常検知システム及び異常検知方法 | |
JP6919569B2 (ja) | ログ分析システム、方法、及び記録媒体 | |
US9753801B2 (en) | Detection method and information processing device | |
JP4890806B2 (ja) | 予測プログラムおよび予測装置 | |
JP5919825B2 (ja) | データ処理方法、分散処理システムおよびプログラム | |
JP5541130B2 (ja) | 管理装置、管理方法および管理用プログラム | |
JP6047017B2 (ja) | パターン抽出装置および制御方法 | |
WO2013042789A1 (ja) | 運用管理装置、運用管理方法、及びプログラム | |
WO2016093836A1 (en) | Interactive detection of system anomalies | |
JP6295857B2 (ja) | 抽出方法、装置、及びプログラム | |
JP2017111601A (ja) | 調査対象特定プログラム、および調査対象特定方法 | |
JP6714152B2 (ja) | 分析装置、分析方法及び分析プログラム | |
Park et al. | Big data meets hpc log analytics: Scalable approach to understanding systems at extreme scale | |
JP2011138422A (ja) | 行動パターン検出装置、行動パターン検出方法及び行動パターン検出プログラム | |
TW201702921A (zh) | 異常預測方法、系統及裝置 | |
US20170255634A1 (en) | Method for Extracting Maximal Repeat Patterns and Computing Frequency Distribution Tables | |
JP6201079B2 (ja) | 監視システムおよび監視方法 | |
JP6988827B2 (ja) | 異常識別システム、方法及びプログラム | |
CN115033876A (zh) | 日志处理方法、日志处理装置、计算机设备及存储介质 | |
JP6191440B2 (ja) | スクリプト管理プログラム、スクリプト管理装置及びスクリプト管理方法 | |
JP2016024486A (ja) | データ活用システム及びその制御方法 | |
US10878049B2 (en) | Search apparatus and search system | |
Jittawiriyanukoon | Evaluation of a multiple regression model for noisy and missing data | |
JP6496078B2 (ja) | 分析支援装置、分析支援方法、および分析支援プログラム | |
US11574210B2 (en) | Behavior analysis system, behavior analysis method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211102 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211115 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6988827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |