JP5711677B2 - 監視情報分析装置及び方法 - Google Patents
監視情報分析装置及び方法 Download PDFInfo
- Publication number
- JP5711677B2 JP5711677B2 JP2012035649A JP2012035649A JP5711677B2 JP 5711677 B2 JP5711677 B2 JP 5711677B2 JP 2012035649 A JP2012035649 A JP 2012035649A JP 2012035649 A JP2012035649 A JP 2012035649A JP 5711677 B2 JP5711677 B2 JP 5711677B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- word
- log
- message
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
前記複数の機器から収集したログメッセージを格納するログ情報記憶手段と、
前記ログ情報記憶手段から前記ログメッセージを取得して、該ログメッセージに含まれる各単語に対して、該単語の出現位置(idx)、単語(word)、該ログメッセージに含まれる単語数(len)からなる{idx,word,len}の組の出現頻度を求め、該出現頻度に基づいてスコアを算出し、該スコアに基づいてクラスタリングを行うことにより、テンプレートを生成し、テンプレート記憶手段に格納するテンプレート生成手段と、
前記複数の機器から直接、または、前記ログ情報記憶手段から、ログメッセージを取得して、前記テンプレート記憶手段の前記テンプレートとマッチングを行うことにより、重要なメッセージを抽出し、出力するテンプレートマッチング手段と、
を有し、
前記テンプレート生成手段は、
クラスタリングされたクラスタを値の高いものから併合し、前記ログメッセージの総単語数と重要な単語を含むクラスタの範囲を決定するための所定の閾値を乗じた値を超えた時点において併合した単語集合を前記テンプレートとする。
最もスコアの大きい単語Aを現在のクラスタとし、前記ログメッセージから取得したクラスタリングを行っていない最大のスコアを有する単語Bの平均距離を求め、該平均距離が所定の閾値以下であれば、該単語Bを該現在のクラスタに併合する手段を含む。
任意のタイミングで前記テンプレートを生成し、前記テンプレート記憶手段を更新する手段を含む。
抽出された重要なメッセージを強調表示する手段を含む。
「%TRACKING-5-STATE: 1 interface Fa0/0 line-protocol Up->Down」
というsyslogメッセージを考えると、ログメッセージの単語は大別して、ログを分類するためのエラーコード部分(「%TRACKING-5-STATE」)、イベントが起こった対象を表す部分(「interface, line-protocol」)、実際に起こったイベント部分(「Up->Down」)、パラメータ部分(「1,Fa0/0」)という4分類が可能な場合が多いことから、この値を設定している。
本発明では、単語情報生成部10によって単語とそのスコアが記憶された単語情報DB50と、それを用いてテンプレートを作成するテンプレート生成部40、そして発生してくるログをテンプレートと突合せ、情報の重要度に応じて表示するテンプレート整形・表示部80を主要な構成とする。なお、テンプレート生成部40としてテンプレート把握エンジンを用いるものとする。これらは、図5に示すような構成で実施することができる。
第1の実施例では、オフライン形態について説明したが、本実施例では、オンライン形態について説明する。
10 単語情報生成部
20 出現数計数部
30 スコア算出部
40 テンプレート生成部
50 ログDB
60 単語情報DB
70 テンプレートDB
80 テンプレート整形・表示部
Claims (8)
- 複数の機器が出力するログ情報から有用な情報を抽出する監視情報分析装置であって、
前記複数の機器から収集したログメッセージを格納するログ情報記憶手段と、
前記ログ情報記憶手段から前記ログメッセージを取得して、該ログメッセージに含まれる各単語に対して、該単語の出現位置(idx)、単語(word)、該ログメッセージに含まれる単語数(len)からなる{idx,word,len}の組の出現頻度を求め、該出現頻度に基づいてスコアを算出し、該スコアに基づいてクラスタリングを行うことにより、テンプレートを生成し、テンプレート記憶手段に格納するテンプレート生成手段と、
前記複数の機器から直接、または、前記ログ情報記憶手段から、ログメッセージを取得して、前記テンプレート記憶手段の前記テンプレートとマッチングを行うことにより、重要なメッセージを抽出し、出力するテンプレートマッチング手段と、
を有し、
前記テンプレート生成手段は、
クラスタリングされたクラスタを値の高いものから併合し、前記ログメッセージの総単語数と重要な単語を含むクラスタの範囲を決定するための所定の閾値を乗じた値を超えた時点において併合した単語集合を前記テンプレートとする
ことを特徴とする監視情報分析装置。 - 前記テンプレート生成手段は、
最もスコアの大きい単語Aを現在のクラスタとし、前記ログメッセージから取得したクラスタリングを行っていない最大のスコアを有する単語Bの平均距離を求め、該平均距離が所定の閾値以下であれば、該単語Bを該現在のクラスタに併合する手段を含む
請求項1記載の監視情報分析装置。 - 前記テンプレート生成手段は、
任意のタイミングで前記テンプレートを生成し、前記テンプレート記憶手段を更新する手段を含む
請求項1記載の監視情報分析装置。 - 前記テンプレートマッチング手段は、
抽出された重要なメッセージを強調表示する手段を含む
請求項1記載の監視情報分析装置。 - 複数の機器が出力するログ情報から有用な情報を抽出する監視情報分析方法であって、
テンプレート生成手段が、前記複数の機器から収集したログメッセージを格納するログ情報記憶手段から該ログメッセージを取得して、該ログメッセージに含まれる各単語に対して、該単語の出現位置(idx)、単語(word)、該ログメッセージに含まれる単語数(len)からなる{idx,word,len}の組の出現頻度を求め、該出現頻度に基づいてスコアを算出し、該スコアに基づいてクラスタリングを行うことにより、テンプレートを生成し、テンプレート記憶手段に格納するテンプレート生成ステップと、
テンプレートマッチング手段が、前記複数の機器から直接、または、前記ログ情報記憶手段から、ログメッセージを取得して、前記テンプレート記憶手段の前記テンプレートとマッチングを行うことにより、重要なメッセージを抽出し、出力するテンプレートマッチングステップと、
を行い、
前記テンプレート生成ステップにおいて、
クラスタリングされたクラスタを値の高いものから併合し、前記ログメッセージの総単語数と重要な単語を含むクラスタの範囲を決定するための所定の閾値を乗じた値を超えた時点において併合した単語集合を前記テンプレートとする
ことを特徴とする監視情報分析方法。 - 前記テンプレート生成ステップにおいて、
最もスコアの大きい単語Aを現在のクラスタとし、前記ログメッセージから取得したクラスタリングを行っていない最大のスコアを有する単語Bの平均距離を求め、該平均距離が所定の閾値以下であれば、該単語Bを該現在のクラスタに併合する
請求項5記載の監視情報分析方法。 - 前記テンプレート生成ステップにおいて、
任意のタイミングで前記テンプレートを生成し、前記テンプレート記憶手段を更新する請求項5記載の監視情報分析方法。 - 前記テンプレートマッチングステップにおいて、
抽出された重要なメッセージを強調表示する
請求項5記載の監視情報分析方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012035649A JP5711677B2 (ja) | 2012-02-21 | 2012-02-21 | 監視情報分析装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012035649A JP5711677B2 (ja) | 2012-02-21 | 2012-02-21 | 監視情報分析装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013171471A JP2013171471A (ja) | 2013-09-02 |
JP5711677B2 true JP5711677B2 (ja) | 2015-05-07 |
Family
ID=49265350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012035649A Active JP5711677B2 (ja) | 2012-02-21 | 2012-02-21 | 監視情報分析装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5711677B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6244992B2 (ja) * | 2014-03-07 | 2017-12-13 | 富士通株式会社 | 構成情報管理プログラム、構成情報管理方法、及び構成情報管理装置 |
CN106575254B (zh) * | 2014-08-25 | 2019-05-28 | 日本电信电话株式会社 | 日志分析装置、日志分析系统、日志分析方法及存储介质 |
JP2018132841A (ja) | 2017-02-13 | 2018-08-23 | 富士通株式会社 | プログラム、情報処理装置および情報処理装置の制御方法 |
JP7010157B2 (ja) | 2018-06-27 | 2022-01-26 | 日本電信電話株式会社 | ネットワーク機器情報管理装置およびネットワーク機器情報管理方法 |
CN109992475B (zh) * | 2019-03-20 | 2023-09-01 | 网宿科技股份有限公司 | 一种日志的处理方法、服务器及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07105046A (ja) * | 1993-10-05 | 1995-04-21 | Toshiba Corp | 計算機システムの異常監視処理機構 |
JP2001356939A (ja) * | 2000-06-13 | 2001-12-26 | Tokyo Electric Power Co Inc:The | ログ情報解析装置、方法および記録媒体 |
US7523361B2 (en) * | 2002-12-04 | 2009-04-21 | Sap Ag | Error condition handling |
JP4944391B2 (ja) * | 2005-05-11 | 2012-05-30 | 富士通株式会社 | メッセージ異常自動判別装置、方法、及びプログラム |
JP5435225B2 (ja) * | 2009-11-12 | 2014-03-05 | 日本電気株式会社 | 運用管理装置、運用管理方法、及びプログラム |
JP5577879B2 (ja) * | 2010-06-17 | 2014-08-27 | 日本電気株式会社 | フィルタ設定システム、フィルタ設定方法、及びフィルタ設定プログラム |
-
2012
- 2012-02-21 JP JP2012035649A patent/JP5711677B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013171471A (ja) | 2013-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10514974B2 (en) | Log analysis system, log analysis method and program recording medium | |
JP5711677B2 (ja) | 監視情報分析装置及び方法 | |
CN107423202B (zh) | 事件解析装置、事件解析系统、事件解析方法及事件解析程序 | |
JP6919569B2 (ja) | ログ分析システム、方法、及び記録媒体 | |
JP5913145B2 (ja) | ログ可視化装置及び方法及びプログラム | |
WO2019202711A1 (ja) | ログ分析システム、ログ分析方法及び記録媒体 | |
JP6780655B2 (ja) | ログ分析システム、方法およびプログラム | |
JP6420524B2 (ja) | 分析用サーバ装置、データ解析システム、及びデータ解析方法 | |
JP4483807B2 (ja) | ログフォーマット変換装置、ログフォーマット変換方法、及びログフォーマット変換プログラム | |
JP2008027072A (ja) | データベース分析プログラム、データベース分析装置、データベース分析方法 | |
JP6295857B2 (ja) | 抽出方法、装置、及びプログラム | |
JP2011138422A (ja) | 行動パターン検出装置、行動パターン検出方法及び行動パターン検出プログラム | |
JP5798095B2 (ja) | ログ生成則作成装置及び方法 | |
TW201730786A (zh) | 執行以時間序列資料與分析資料當中的至少一部分作為輸入資料之分析處理的分析系統及分析方法 | |
JPWO2017110720A1 (ja) | ログ分析システム、ログ分析方法及びプログラム | |
JP2015036891A (ja) | 監視情報分析装置及び方法 | |
JP4953834B2 (ja) | データ解析方法及びデータ解析システム | |
JP4928848B2 (ja) | 計算機システム統合管理環境におけるメッセージ変換装置 | |
JP5432941B2 (ja) | 緊急時対策業務支援装置及び緊急時対策業務支援方法 | |
EP2256677A1 (en) | Workflow processing program, method, and device | |
JP2012084062A (ja) | 意味のある頻出アイテムセットを抽出するシステム、方法及びプログラム | |
JP6057750B2 (ja) | ログ可視化操作画面制御システム及び方法 | |
JP2021149489A (ja) | 業務可視化装置、業務可視化方法、及びプログラム | |
JP2006155344A (ja) | データ分析装置、データ分析プログラム及びデータ分析方法 | |
CN106469086B (zh) | 事件处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131001 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140311 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5711677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |