JPWO2017104119A1 - ログ分析システム、方法およびプログラム - Google Patents
ログ分析システム、方法およびプログラム Download PDFInfo
- Publication number
- JPWO2017104119A1 JPWO2017104119A1 JP2017556325A JP2017556325A JPWO2017104119A1 JP WO2017104119 A1 JPWO2017104119 A1 JP WO2017104119A1 JP 2017556325 A JP2017556325 A JP 2017556325A JP 2017556325 A JP2017556325 A JP 2017556325A JP WO2017104119 A1 JPWO2017104119 A1 JP WO2017104119A1
- Authority
- JP
- Japan
- Prior art keywords
- log
- abnormality
- output
- format
- determination target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3485—Performance evaluation by tracing or monitoring for I/O devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0781—Error filtering or prioritizing based on a policy defined by the user or on a policy defined by a hardware/software module, e.g. according to a severity level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3041—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is an input/output interface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
Abstract
Description
図1は、本実施形態に係るログ分析システム100のブロック図である。図1において、矢印は主なデータの流れを示しており、図1に示したもの以外のデータの流れがあってよい。図1において、各ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図1に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。
具体的には、無視判定部140は、コンテキスト情報の異常ログのフォーマットIDが、異常事例情報のフォーマットIDと同一である場合に、合致していると判定する。
(2)コンテキスト情報の異常ログ中の各変数値と、異常事例情報の各変数値とが類似すること
具体的には、無視判定部140は、変数値が文字列のとき、コンテキスト情報の異常ログ中の変数値が、異常事例情報の変数値を基準として所定の規則(例えば末尾の1文字以外が一致すること、あるいは一定の文字列と変化する数字の組み合わせで定義されていること)に合致している場合に、類似していると判定する。また、無視判定部140は、変数値が数値のとき、コンテキスト情報の異常ログ中の変数値が、異常事例情報の変数値を基準として所定の範囲内(例えば−10%〜+10%)である場合に、類似していると判定する。
(3)コンテキスト情報の直前ログが、異常事例情報の直前シーケンスに合致すること
具体的には、無視判定部140は、コンテキスト情報の直前ログのフォーマットIDの順列又は組み合わせが、異常事例情報の直前シーケンスのフォーマットIDの順列又は組み合わせと同一である場合に、合致していると判定する。なお、無視判定部140は、コンテキスト情報の直前ログの全てではなく、一部が直前シーケンスと同一である場合に合致していると判定してもよい。
(4)コンテキスト情報のCPU使用率と、異常事例情報のCPU使用率とが類似すること
具体的には、無視判定部140は、コンテキスト情報のCPU使用率が、異常事例情報のCPU使用率を基準として所定の範囲内(例えば−10%〜+10%)である場合に、類似していると判定する。
(5)コンテキスト情報の停止デバイスが、異常事例情報の停止デバイスに類似すること
具体的には、無視判定部140は、コンテキスト情報の停止デバイスの少なくとも一部が、異常事例情報の停止デバイスと同一である場合に、類似していると判定する。なお、無視判定部140は、コンテキスト情報の停止デバイスの一部ではなく、全てが異常事例情報の停止デバイスと同一である場合に類似していると判定してもよい。
本実施形態では、異常事例情報を生成する際に、異常ログの出力時以外にも広く発生しているログやシーケンスを異常事例情報の元となるコンテキスト情報から除外する。これにより、異常ログが既知の異常事例か否かの判定に貢献しない情報を用いずに判定を行うことができ、判定の精度を向上させることができる。
本実施形態では、異常事例情報を生成する際に、異常ログに含まれる変数値を含むログ、および異常ログに含まれる変数値に関連する性能情報、死活監視情報のみを用いる。これにより、判定対象の異常ログの内容に直接関係する情報のみを用いて判定を行うことができ、判定の精度を向上させることができる。
図10は、本実施形態に係るログ分析システム400のブロック図である。ログ分析システム400は、図1の構成に加えて、フォーマット学習部491およびモデル学習部492を備える。
図11は、上述の各実施形態に係るログ分析システム100、200、300、400の概略構成図である。図11には、ログ分析システム100、200、300、400が異常事例情報に基づいて判定対象の異常ログを無視するか否かの判定を行う装置として機能するための構成例が示されている。ログ分析システム100、200、300、400は、過去にユーザからの入力に基づいて無視されたログが出力された状況を示す情報を記録する記憶部としての異常事例情報記憶部173と、判定対象のログが出力された状況を示す情報が、前記無視されたログが出力された状況を示す情報に類似する場合に、前記判定対象のログを無視することを判定する判定部としての無視判定部140と、を備える。
過去にユーザからの入力に基づいて無視されたログが出力された状況を示す情報を記録する記憶部と、
判定対象のログが出力された状況を示す情報が、前記無視されたログが出力された状況を示す情報に類似する場合に、前記判定対象のログを無視することを判定する判定部と、
を備えるログ分析システム。
ユーザにより入力された前記判定対象のログに対する対応内容を読み取り、前記対応内容が前記判定対象のログを無視することを示す場合に、前記判定対象のログが出力された状況を示す情報を、前記無視されたログが出力された状況を示す情報として前記記憶部に記録する登録部を備える、付記1に記載のログ分析システム。
前記判定対象のログが、前記判定対象のログの中で変化可能な変数部分と前記判定対象のログの中で変化しない定数部分とを含む、予め決められた複数の形式のいずれに合致するか判定する形式判定部をさらに備え、
前記判定対象のログが出力された状況を示す情報は、前記判定対象のログの前記形式、および前記判定対象のログ中の前記変数部分の値の少なくとも一方を含む、付記1又は2に記載のログ分析システム。
前記形式判定部は、前記判定対象のログが出力された時刻を基準として所定の時間内に出力された複数のログが、前記予め決められた複数の形式のいずれに合致するか判定するようにさらに構成され、
前記判定対象のログが出力された状況を示す情報は、前記複数のログの前記形式の順列又は組み合わせを含む、付記3に記載のログ分析システム。
前記形式判定部により前記形式が判定されたログを蓄積する判定済ログ記憶部をさらに備え、
前記複数のログの前記形式の順列又は組み合わせから、前記判定済ログ記憶部に蓄積されたログ中に所定の閾値以上の頻度で出現する前記形式を除外する選別部をさらに備える、付記4に記載のログ分析システム。
前記判定対象のログが出力された状況を示す情報から、前記判定対象のログ中の前記変数部分の値を含む情報のみを抽出する抽出部をさらに備える、付記3〜5のいずれか一項に記載のログ分析システム。
前記判定対象のログが出力された状況を示す情報は、前記判定対象のログに関連する装置の性能情報および死活監視情報の少なくとも一方を含む、付記1〜6のいずれか一項に記載のログ分析システム。
過去にユーザからの入力に基づいて無視されたログが出力された状況を示す情報を読み出す工程と、
判定対象のログが出力された状況を示す情報が、前記無視されたログが出力された状況を示す情報に類似する場合に、前記判定対象のログを無視することを判定する工程と、
を備えるログ分析方法。
コンピュータに、
過去にユーザからの入力に基づいて無視されたログが出力された状況を示す情報を読み出す工程と、
判定対象のログが出力された状況を示す情報が、前記無視されたログが出力された状況を示す情報に類似する場合に、前記判定対象のログを無視することを判定する工程と、
を実行させるログ分析プログラム。
Claims (9)
- 過去にユーザからの入力に基づいて無視されたログが出力された状況を示す情報を記録する記憶部と、
判定対象のログが出力された状況を示す情報が、前記無視されたログが出力された状況を示す情報に類似する場合に、前記判定対象のログを無視することを判定する判定部と、
を備えるログ分析システム。 - ユーザにより入力された前記判定対象のログに対する対応内容を読み取り、前記対応内容が前記判定対象のログを無視することを示す場合に、前記判定対象のログが出力された状況を示す情報を、前記無視されたログが出力された状況を示す情報として前記記憶部に記録する登録部を備える、請求項1に記載のログ分析システム。
- 前記判定対象のログが、前記判定対象のログの中で変化可能な変数部分と前記判定対象のログの中で変化しない定数部分とを含む、予め決められた複数の形式のいずれに合致するか判定する形式判定部をさらに備え、
前記判定対象のログが出力された状況を示す情報は、前記判定対象のログの前記形式、および前記判定対象のログ中の前記変数部分の値の少なくとも一方を含む、請求項1又は2に記載のログ分析システム。 - 前記形式判定部は、前記判定対象のログが出力された時刻を基準として所定の時間内に出力された複数のログが、前記予め決められた複数の形式のいずれに合致するか判定するようにさらに構成され、
前記判定対象のログが出力された状況を示す情報は、前記複数のログの前記形式の順列又は組み合わせを含む、請求項3に記載のログ分析システム。 - 前記形式判定部により前記形式が判定されたログを蓄積する判定済ログ記憶部をさらに備え、
前記複数のログの前記形式の順列又は組み合わせから、前記判定済ログ記憶部に蓄積されたログ中に所定の閾値以上の頻度で出現する前記形式を除外する選別部をさらに備える、請求項4に記載のログ分析システム。 - 前記判定対象のログが出力された状況を示す情報から、前記判定対象のログ中の前記変数部分の値を含む情報のみを抽出する抽出部をさらに備える、請求項3〜5のいずれか一項に記載のログ分析システム。
- 前記判定対象のログが出力された状況を示す情報は、前記判定対象のログに関連する装置の性能情報および死活監視情報の少なくとも一方を含む、請求項1〜6のいずれか一項に記載のログ分析システム。
- 過去にユーザからの入力に基づいて無視されたログが出力された状況を示す情報を読み出す工程と、
判定対象のログが出力された状況を示す情報が、前記無視されたログが出力された状況を示す情報に類似する場合に、前記判定対象のログを無視することを判定する工程と、
を備えるログ分析方法。 - コンピュータに、
過去にユーザからの入力に基づいて無視されたログが出力された状況を示す情報を読み出す工程と、
判定対象のログが出力された状況を示す情報が、前記無視されたログが出力された状況を示す情報に類似する場合に、前記判定対象のログを無視することを判定する工程と、
を実行させるログ分析プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015242945 | 2015-12-14 | ||
JP2015242945 | 2015-12-14 | ||
PCT/JP2016/005083 WO2017104119A1 (ja) | 2015-12-14 | 2016-12-08 | ログ分析システム、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017104119A1 true JPWO2017104119A1 (ja) | 2018-09-27 |
JP6780655B2 JP6780655B2 (ja) | 2020-11-04 |
Family
ID=59056210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556325A Active JP6780655B2 (ja) | 2015-12-14 | 2016-12-08 | ログ分析システム、方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180365124A1 (ja) |
JP (1) | JP6780655B2 (ja) |
WO (1) | WO2017104119A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10514974B2 (en) * | 2015-02-17 | 2019-12-24 | Nec Corporation | Log analysis system, log analysis method and program recording medium |
US10516684B1 (en) * | 2016-04-21 | 2019-12-24 | Instart Logic, Inc. | Recommending and prioritizing computer log anomalies |
CN108762965A (zh) * | 2018-05-22 | 2018-11-06 | 东旭集团有限公司 | 日志查找方法、系统及生产设备 |
JP7111965B2 (ja) * | 2018-09-03 | 2022-08-03 | 富士通株式会社 | 情報処理方法、情報処理装置および情報処理プログラム |
JP7103427B2 (ja) * | 2018-10-11 | 2022-07-20 | 日本電信電話株式会社 | 情報処理装置、データ分析方法及びプログラム |
CN112805687A (zh) * | 2018-10-11 | 2021-05-14 | 日本电信电话株式会社 | 信息处理装置、异常分析方法以及程序 |
CN111274059B (zh) * | 2020-01-21 | 2023-10-10 | 浙江大华技术股份有限公司 | 一种从设备的软件异常处理方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008198123A (ja) * | 2007-02-15 | 2008-08-28 | Hitachi Information Systems Ltd | 障害検知システム及び障害検知プログラム |
JP2009075817A (ja) * | 2007-09-20 | 2009-04-09 | Hitachi Ltd | ログ解析方法、ログ格納装置及びプログラム |
JP2014106851A (ja) * | 2012-11-29 | 2014-06-09 | Fujitsu Ltd | 情報処理装置、情報処理方法及びプログラム |
WO2014196129A1 (ja) * | 2013-06-03 | 2014-12-11 | 日本電気株式会社 | 障害分析装置、障害分析方法、および、記録媒体 |
WO2015146086A1 (ja) * | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | ログ分析システム、障害原因分析システム、ログ分析方法、および、記録媒体 |
-
2016
- 2016-12-08 WO PCT/JP2016/005083 patent/WO2017104119A1/ja active Application Filing
- 2016-12-08 JP JP2017556325A patent/JP6780655B2/ja active Active
- 2016-12-08 US US16/060,138 patent/US20180365124A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008198123A (ja) * | 2007-02-15 | 2008-08-28 | Hitachi Information Systems Ltd | 障害検知システム及び障害検知プログラム |
JP2009075817A (ja) * | 2007-09-20 | 2009-04-09 | Hitachi Ltd | ログ解析方法、ログ格納装置及びプログラム |
JP2014106851A (ja) * | 2012-11-29 | 2014-06-09 | Fujitsu Ltd | 情報処理装置、情報処理方法及びプログラム |
WO2014196129A1 (ja) * | 2013-06-03 | 2014-12-11 | 日本電気株式会社 | 障害分析装置、障害分析方法、および、記録媒体 |
WO2015146086A1 (ja) * | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | ログ分析システム、障害原因分析システム、ログ分析方法、および、記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6780655B2 (ja) | 2020-11-04 |
US20180365124A1 (en) | 2018-12-20 |
WO2017104119A1 (ja) | 2017-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6780655B2 (ja) | ログ分析システム、方法およびプログラム | |
WO2017094262A1 (ja) | ログ分析システム、方法およびプログラム | |
JP6708219B2 (ja) | ログ分析システム、方法およびプログラム | |
JP6787340B2 (ja) | ログ分析システム、ログ分析方法及びプログラム | |
JP5913145B2 (ja) | ログ可視化装置及び方法及びプログラム | |
WO2018122890A1 (ja) | ログ分析方法、システムおよびプログラム | |
CN113190401B (zh) | 快游戏的异常监控方法、电子设备、移动终端以及存储介质 | |
JPWO2018069950A1 (ja) | ログ分析方法、システムおよびプログラム | |
JP6955676B2 (ja) | ログ分析方法、システムおよび記録媒体 | |
CN106301979B (zh) | 检测异常渠道的方法和系统 | |
WO2017094263A1 (ja) | ログ分析システム、方法およびプログラム | |
JP5711677B2 (ja) | 監視情報分析装置及び方法 | |
US9235423B2 (en) | Availability evaluation device and availability evaluation method | |
JP6798504B2 (ja) | ログ分析システム、ログ分析方法及びプログラム | |
CN108170838B (zh) | 话题演变的可视化展现方法、应用服务器及计算机可读存储介质 | |
JP6756378B2 (ja) | 異常検出方法、システムおよびプログラム | |
WO2017081866A1 (ja) | ログ分析システム、方法およびプログラム | |
WO2017085921A1 (ja) | ログ分析システム、方法およびプログラム | |
US20220004481A1 (en) | Log analysis device, log analysis method, and program | |
US20220253529A1 (en) | Information processing apparatus, information processing method, and computer readable medium | |
CN109522340B (zh) | 一种数据统计方法、装置及设备 | |
JP7103392B2 (ja) | 異常検出方法、システムおよびプログラム | |
CN115840772A (zh) | 一种客群数据统计方法、装置、电子设备及存储介质 | |
CN115437891A (zh) | 一种告警邮件的生成方法及装置、存储介质、计算机设备 | |
JP2018165897A (ja) | 表示制御装置、表示制御方法、およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200928 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6780655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |