JP6503679B2 - フィルタルール作成装置、フィルタルール作成方法、およびプログラム - Google Patents
フィルタルール作成装置、フィルタルール作成方法、およびプログラム Download PDFInfo
- Publication number
- JP6503679B2 JP6503679B2 JP2014205805A JP2014205805A JP6503679B2 JP 6503679 B2 JP6503679 B2 JP 6503679B2 JP 2014205805 A JP2014205805 A JP 2014205805A JP 2014205805 A JP2014205805 A JP 2014205805A JP 6503679 B2 JP6503679 B2 JP 6503679B2
- Authority
- JP
- Japan
- Prior art keywords
- log
- message
- occurrence
- similarity
- messages
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/212—Monitoring or handling of messages using filtering or selective blocking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/02—Capturing of monitoring data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Description
そのため、同一の原因に基づいて発生するメッセージ群、同一内容を包含して複数回出現するメッセージ群について、集約あるいは少数選択して出力できる仕組みが提案されている。メッセージ群が集約あるいは少数選択される仕組みでは、例えば、予めフィルタルールが作成され、フィルタルールに基づいてメッセージが出力される。
、「共起確率」は、メッセージ相互間で共起する確率を示す指標であり、メッセージの関連性を示す指標ともいえる。
そして、情報処理装置は、メッセージ間で共起確率が所定の基準に合致するものについては、いずれか1つのメッセージを監視対象事象に選択して、他のメッセージを廃棄する。共起確率が所定の基準に合致するものは、例えば、同一原因で発生した複数のメッセージであると判断できるからである。このような仕組みにより監視ルールに合致したメッセージの出力件数を抑えることが可能になる。
実施例では、複数のシステムを含む監視対象システムが例示される。より具体的には、監視対象システム内のメッセージを監視する情報処理装置が、メッセージの共起関係を従来よりも早期に求め、監視対象システムから出力されるメッセージに適用するフィルタルールを作成する処理が例示される。実施例の情報処理装置は、監視対象システムに含まれる複数のシステムのうち、振る舞いが類似するシステムから出力されたメッセージログを統合することで、従来よりも早期に、各システムから発せられるメッセージの共起関係を求めるためのメッセージの量を増加させる。本実施例で、「監視対象システムに含まれる複数のシステム」は、「監視対象システムに含まれる」という意味では、サブシステムとも呼ぶことができる。また、実施例の情報処理装置は、フィルタルール作成装置の一例である。
図3は、監視対象システム内の各システムからのメッセージを統合することで、メッセージの共起関係を分析するための対象データ量を実効的に増加させる処理のデータフローを例示する。図3では、メッセージログA、B、C、Dに対するデータフローが例示されている。図3は、メッセージログを単にログとしている。
t2,mt3、・・・等は1つのメッセージの種類に分類できる。また、ある特定の事象、例えば、温度異常を報知する警告メッセージmw1、mw2、mw3、・・・等は1つのメッセージの種類に分類できる。本実施例において、メッセージの種類の分類の仕方に限定がある訳ではない。すなわち、監視対象システムが採用するメッセージの種類の分け方に依存しないで、本情報処理装置による処理は適用可能である。また、メッセージの種類分けが行われない監視対象システムに対しては、本情報処理装置は、個々のメッセージについて、共起関係を算出してもよい。
・ システム同士で、メッセージパターンの距離を求める。システム同士で、異なるメッセージパターンが存在すると、距離に1が加算される。システム同士で共通のメッセージパターンが存在するが、共通のメッセージパターンの出現間隔が重複しない場合、距離に1が加算される。さらに、本実施例では、情報処理装置は、メッセージパターンが共通で、かつ、出現間隔が一部でも重複するシステム同士を共起関係が同一として取り扱う。共起関係が同一の場合、システム同士の距離に、1は加算されず、距離が0とされる。ただし、本実施例において、距離の定義が以上のものに限定される訳ではない。
・ システムAとBとの距離がdであり、システムAの要素数n(A)、システムBの要素数n(B)とすると、d/n(A)とd/n(B)との調和平均は以下の数1で定義される。
[数1]d/n(A)とd/n(B)との調和平均
=2*(d/n(A))*(d/n(B))/(d/n(A)+d/n(B));
本実施例では、数1のような調和平均を用いて、システムAとシステムBの類似度が定義される。数1は、x=d/n(A)と、y=d/n(B)とすると、調和平均=2*x*y/(x+y)となる。x=d/n(A)は、システムAの要素数に対するシステムBとの距離の比率であり、システムAの要素数に占めるシステムBの要素と異なる要素の比率ということができる。同様に、y=d/n(B)は、システムBの要素数に対するシステムAとの距離の比率であり、システムBの要素数に占めるシステムAの要素と異なる要素の比率ということができる。
例えば、x>>yのとき、類似度=:2y; x=yのとき類似度=y;
要素数が同数で、すべて不一致のとき、x=y=1,類似度=1;
要素数がn(A)=1000,n(B)=1で、すべて不一致のとき、x=:1,y=1001、類似度=:2;
要素数が同数ですべて一致するとき、x=y=0、類似度は不定値;
となる。
[数2]システムAとシステムBの類似度
=20*(d/n(A))*(d/n(B))/(d/n(A)+d/n(B))+1;(d=0以外のとき)
ただし、システムAとシステムBの類似度=1;(d=0のとき)
数2の定義によれば、図4のシステムAとシステムBとの間の類似度は、以下の通りである。メッセージパターン[1,2,3]の要素は、出現間隔が6プラスマイナス2分と7プラスマイナス2分で重複部分が存在するので、共起関係が共通し、距離は0である。メッセージパターン[1*]の要素は、出現間隔が2プラスマイナス1分と5プラスマイナス2分で重複しないので、共起関係が共通せず、距離は1である。メッセージパターン[1,3]の要素は、出現間隔が4プラスマイナス2分と4プラスマイナス1分で重複部分が存在するので、共起関係が共通し、距離は0である。システムBのメッセージパターン[1,4]の要素はシステムAに存在しない。したがって、要素が不一致であり、共起関係が共通せず、距離は1である。
2/3+2/4)+1=47/7;
本情報処理装置は、監視対象システム内の複数のシステムから得られたメッセージログについて、図4、図5の定義にしたがって、監視対象システム内の複数のシステム間それぞれの類似度を求める。そして、本情報処理装置は、システム間で得られた類似度の値が所定の範囲内の複数システムをまとめて、システムのクラスタリングを行う。
[数3]
S(AB,C)=(S(A,C)+S(B,C))/2=(10+9)/2=9.5;
である。 また、クラスタABとクラスタDEの類似度S(AB,DE)は、
[数4]
S(AB,DE)=(S(AB,D)+S(AB,E))/2=(6.5+6.5)/2=6.5;
である。ただし、S(AB,D)=(6+7)/2=6.5;S(AB,E)=(8+5)/2=6.5;である。また、システムCとクラスタDEの類似度S(C,DE)は、[数5]
S(C,DE)=(S(C,D)+S(C,E))/2=(4+6)/2=5;
である。
[数6]
S(AB,CDE)
=(S(AB,C)+S(AB,DE))/2=(9.5+6.5)/2=8;
である。
類似度が2であり、統合ログ(ED)とシステムCのメッセージログとの類似度が5であるとする。この場合、情報処理装置は、5:2の比率で統合ログ(ED)とシステムCのメッセージログを混合し、システムE向けの統合ログ(EDC)を作成する。
(規則1)ログ内のイベント発生の順序は保持したまま、時刻をずらして混合。
(規則2)2つのログ内のイベントに共起が生じないよう、間隔を空けて混合。
図10は、システムAのメッセージログとシステムBのメッセージログを2:1の比率で混合する例である。メッセージログは、いずれも5月1日 00:00から5月2日 00:00のものである。この例では、情報処理装置は、5月1日 00:00から5月2日 00:00にシステムA、5月2日 01:00から5月3日 01:00にシステムA、5月3日 02:00から5月4日 02:00にシステムBの時刻を割り当て、
メッセージログを混合する。このような混合によって、情報処理装置は、混合することによる実際に存在しない共起関係の発生を抑制できる。
図11は、本実施形態における情報処理装置のハードウェア構成を例示する図である。なお、監視対象システム内の各システムも、図11と同様の構成を有する。本情報処理装置はCPU11と、主記憶部12と、インターフェース(I/F)を通じて接続される外部機器を有し、プログラムにより情報処理を実行する。CPU11はプロセッサの一例である。主記憶部12は主記憶部の一例である。外部機器としては、外部記憶部13、表示部14、操作部15、および通信部16を例示できる。
を補助する記憶領域として使用され、CPU11が実行するコンピュータプログラム、CPU11が処理するデータ等を記憶する。外部記憶部13は、ハードディスクドライブ、Solid State Disk(SSD)等である。さらに、情報処理装置10には、着脱可能記憶媒体の駆動装置を設けてもよい。着脱可能記憶媒体は、例えば、ブルーレイディスク、Digital Versatile Disk(DVD)、Compact Disc(CD)、フラッシュメモリカード等である。
度算出部22、類似システム算出部24、類似システムログ統合部26、および統合システムログ共起分析部27、フィルタ設定部29の各処理部を有する。情報処理装置のCPU11は、主記憶装置12に実行可能に展開されたコンピュータプログラムにより、図12の各処理部として作用する。ただし、図12に例示した情報処理装置1のいずれかの処理部の少なくとも一部がハードウェア回路であってもよい。
力する。単一システムログ共起関係21は、監視対象システム内の個々のシステムから発生するメッセ−ジについて、メッセージの種類間での共起確率が所定値以上のものを集めたメッセージの種類のグループである。メッセージの種類間での共起確率が所定値以上のものを集めたメッセージの種類のグループはメッセージパターンとも呼ばれる。ただし、本実施例では、単一システムログ共起関係21は、メッセージの種類のグループ(メッセージパターン)の他、メッセージパターンのメッセージの種類が発生するまでの時間特性である、パターン内メッセージの分布時刻幅を含む。単一システムログ共起分析部20は分析部の一例である。
図13に、メッセージログ管理台帳を例示する。メッセージログ管理台帳は、メッセージログファイル名と、システム特定情報との関係を記録する。メッセージログファイル名は、図12の監視対象システムから発行されるメッセージの格納先のファイル名である。また、システム特定情報は、メッセージログファイル名のファイルにメッセージを出力するシステムを特定する情報である。システム特定情報は、例えば、システムが接続されるネットワーク上のホスト名、ネットワーク上のアドレス等である。図13のように、1つのシステム、例えば、sys001に対して、複数のメッセージログファイルが存在し得る。
はメッセージログファイル名で特定される。図14の表で、最初の行は、説明のためのコメント行(タイトル行)である。図14の表で、2行目以降の各行が各メッセージを格納するレコードである。メッセージログの各レコードは、IDと、時刻と、メッセージ種別と、メッセージの各フィールドを有する。
は、メッセージの種類を特定する情報である。メッセージの種類は、例えば、監視対象の情報の種類、例えば、センサの識別情報、メモリ等のリソースの識別情報、警報の種別等を特定する。本実施例では、メッセージパターン[1,2,3]、[1*]等は、個々のメッセージに対する共起関係ではなく、メッセージの種類に対する共起関係である。さらに、図14で、メッセージは、各システムから発行される個々のメッセージ例である。
のためのコメント行(タイトル行)である。図18の表で、2行目以降の各行が類似システムテーブル23のレコードを格納するレコードである。類似システムテーブル23の各レコードは、クラスタIDと、類似度と、類似システムを含む。クラスタIDは、各クラスタを識別する情報である。類似度は、各クラスタ内の類似度である。類似システムは、クラスタに含まれるシステムを識別する情報である。
図20は、共起分析部の処理を例示するフローチャートである。共起分析部は、図12に例示した単一システムログ共起分析部20および統合システムログ共起分析部27において実行される処理部である。ここでは、単一システムログ共起分析部20および統合システムログ共起分析部27を総称して、共起分析部とし、図20の処理を説明する。
次に、共起分析部は、A1の共起確率の算出結果である共起関係テーブルにしたがい、共起確率が所定値より高いメッセージペアをメッセージログログから抽出する(A2)。A2の処理では、共起分析部は、A1で作成したメッセージの種類のペアのうち、共起確率の高い種類のペアに対応する個々のメッセージペアを抽出する。共起分析部は、抽出したメッセージペアを共起ペアとして主記憶部12に保持する。次に、共起分析部は、同一メッセージを持つメッセージペア同士を連結して共起グループを作成する(A3)。共起分析部は、作成した共起グループを主記憶部12に保持する。そして、共起分析部は、同じ種類のメッセージのグループをまとめてメッセージパターンを作成する(A4)。A4の処理では、共起分析部は、個々のメッセージを有する共起グループから、メッセージの種類間の関係を示すメッセージパターンを作成する。A1の処理では、情報処理装置は、2つのメッセージの種類の間で共起確率を求めて、メッセージペアを作成する前提として、共起確率をメッセージの種類ごとに判定する。一方、A2、A3では、情報処理装置は、メッセージのグループを求めるため、個々のメッセージペアの関係を解析する。このような処理によって、メッセージのグループを精度良く解析できる。そして、A4では、情報処理装置は、得られたメッセージのグループから、メッセージの種類の関係を抽出することで、メッセージパターンを作成する。
ごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出することの一例である。
コードを1件取り出す(A21)。なお、共起関係テーブルのレコード1件を共起ルールと呼ぶ。A21の処理は、メッセージを分類したメッセージの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出することの一例である。以下、共起ルールは、事前メッセージの種類と事後メッセージの種類の組で表現される。例えば、共起ルールは、[1,1]、[1,2]等で記述される。
合、共起分析部は、メッセージペア連結処理を終了する。
出部22は、すべてのシステムaの共起関係について評価していない場合に、処理をB3
2に戻す。一方、分析結果類似度算出部22は、すべてのシステムaの共起関係について
評価した場合に、まだ比較されていないシステムbの共起関係を数えて距離に加算する(B38)。
算出する(B39)。ここで、類似度は、例えば、数2で定義される。分析結果類似度算出部22は、算出した類似度を分類結果類似度(図17)として主記憶部12に保持する。B34,B35、およびB39の処理は、第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成することの一例である。B34の判定で、同一の共起関係が見つからない場合に、B36の処理で加算される距離の値がメッセージの種類の異同の程度の一例である。また、B35の判定で、共起関係の分布時刻幅が重複しない場合に、B36の処理で加算される距離の値が一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度の一例である。なお、類似度が数2の定義に限定されるわけではなく、例えば、分析結果類似度算出部22は、単純に、システムaとシステムbの距離の積算値、システムaとシステムbの距離と、それぞれ重み係数による平均値等を類似度としてもよい。
を判定する(D55)。D55の判定で、繰返しカウントがログL1の繰返し数未満の場合、類似システムログ統合部26は、ログL1の最終時刻を記録する(D56)。さらに、類似システムログ統合部26は、次のログの開始時刻を算出する(D57)。さらに、類似システムログ統合部26は、ログL1の時刻をD57の処理で算出した開始時刻を起点とするようにずらす(D58)。そして、類似システムログ統合部26は、処理をD54に戻し、再度ログL1を混合ログに書き出す。
タルールの決定の仕方に限定がある訳ではない。例えば、フィルタ設定部29が、種類のペアの一方が検出した場合に、フィルタルールは、一方の種類を無視し、監視対象事象に含めないフィルタルールでもよい。また、例えば、フィルタ設定部29が、種類のペアのいずれかが検出した場合に、フィルタルールは、包括的なメッセージに集約し、複数回のメッセージを監視対象事象に含めないようにするフィルタルールでもよい。そして、類似システムログ統合部26は、すべての共起関係を処理したか否かを判定する(E5)。フィルタ設定部29は、未処理の共起関係がある場合に、処理をE1に戻す。図29のE1−E5の処理は、メッセージを抽出するルールを生成することの一例である。
<実施形態の効果>
以上述べたように、実施例の情報処理装置は、監視対象システムの複数のシステムをクラスタ化し、クラスタ化されたシステムに対して、統合システムログ共起関係を求める。したがって、例えば、単一システムログ共起部20が処理する、個々のシステムから出力されたメッセージ量が少量であっても、統合システムログ共起部27は、クラスタ化されたシステムにより実質的にメッセージ量を増加させて統合システムログ共起関係28を作成できる。その結果、フィルタ設定部29は、実質的にメッセージ量を増加させた結果である統合システムログ共起関係28を用いてフィルタルールを生成でき、単一システムログ共起関係21を用いるよりもフィルタルールの精度を向上できる。その結果、監視対象システム稼働時の比較的早い段階で、フィルタ設定部29は、監視対象システムからのメッセージにフィルタを適用し、重複したメッセージ、同一原因で発生する複数メッセージを低減できる。
り、メッセージログを混合することによる副作用を低減できる。
《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
等に固定された記録媒体としても利用可能である。
12 主記憶部
20 単一システムログ共起分析部
21 単一システムログ共起関係
22 分析結果 類似度算出部
23 類似システムテーブル
24 類似システム算出部
25 分析結果類似度
26 類似システムログ統合部
27 統合システムログ共起分析部
28 統合システムログ共起関係
29 フィルタ設定部
<その他>
本実施形態は、以下の態様を含む。以下の態様は付記と呼ばれる。各付記のそれぞれの構成は、他の付記の構成と組み合わせてもよい。
(付記1)
命令を記憶する記憶部と、
該記憶部に記憶された前記命令に従って、システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、抽出された前記共起メッセージ群に基づいて前記システム間の動作の類似の程度を示す値情報を生成し、前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、前記クラスタリング処理により作成されたクラスタにおける共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成するプロセッサと、
を備えたことを特徴とするフィルタルール作成装置。
(付記2)
前記プロセッサは、前記複数のログそれぞれに含まれるメッセージを分類したメッセー
ジの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出し、第1のシステムに対応する第1のログから抽出されたメッセージの種類と、第2のシステムに対応する第2のログから抽出されたメッセージの種類との間の発生状況の比較を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成し、
生成された前記値情報が所定の基準を満たすときに、前記第1のシステムと第2のシステムのクラスタリング処理を行う付記1に記載のフィルタルール作成装置。
(付記3)
前記プロセッサは、前記第1のシステムに対応する第1のログから抽出されたメッセージの種類と、前記第2のシステムに対応する第2のログから抽出されたメッセージの種類における、
(a)前記メッセージの種類の異同の程度、および、
(b)一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度
を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成する付記2に記載のフィルタルール作成装置。
(付記4)
前記プロセッサは、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間で動作の類似の程度を示す値情報を生成し、生成された値情報が所定の基準を満たすときに、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間でのクラスタリング処理をさらに行う付記1からの3のいずれか1項に記載のフィルタルール作成装置。
(付記5)
前記プロセッサは、前記クラスタリング処理において、
第1のシステムで発生する第1のログに対して生成される一の値情報と、前記第1のロ
グと第2のシステムで発生する第2のログとの間で生成される相互の値情報とにしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第1のログに代わるログを作成し、
前記第2のログに対して生成される一の値情報と、前記第1のログと前記第2のログとの間で生成される前記相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第2のログに代わるログを作成する付記1から4のいずれか1項に記載のフィルタルール作成装置。
(付記6)
前記プロセッサは、前記クラスタリング処理において、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合する付記1から5のいずれか1項に記載にフィルタルール作成装置。
(付記7)
分析部が、システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、抽出された共起メッセージ群から前記システム間の動作の類似の程度を示す値情報を生成し、
統合部が、前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、
設定部が、前記クラスタリング処理により作成されたクラスタにおける共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成する、フィルタルール作成方法。
(付記8)
前記分析部は、前記複数のログそれぞれに含まれるメッセージを分類したメッセージの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出し、第1のシステムに対応する第1のログから抽出されたメッセージの種類と、第2のシステムに対応する第2のログから抽出されたメッセージの種類との間の発生状況の比較を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成し、
前記統合部は、前記分析部で生成された前記値情報が所定の基準を満たすときに、前記
第1のシステムと第2のシステムのクラスタリング処理を行う付記7に記載のフィルタルール作成方法。
(付記9)
前記分析部は、前記第1のシステムに対応する第1のログから抽出されたメッセージの種類と、前記第2のシステムに対応する第2のログから抽出されたメッセージの種類における、
(a)前記メッセージの種類の異同の程度、および、
(b)一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度
を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成する付記8に記載のフィルタルール作成方法。
(付記10)
前記分析部は、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間で動作の類似の程度を示す値情報を生成し、生成された値情報が所定の基準を満たすときに、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間でのクラスタリング処理をさらに行う付記7から9のいずれか1項に記載のフィルタルール作成方法。
(付記11)
前記統合部は、前記クラスタリング処理において、
第1のシステムで発生する第1のログに対して生成される一の値情報と、前記第1のロ
グと第2のシステムで発生する第2のログとの間で生成される相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第1のログに代わるログを作成し、
前記第2のログに対して生成される一の値情報と、前記第1のログと前記第2のログとの間で生成される前記相互の値情報とにしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第2のログに代わるログを作成する付記7から10のいずれか1項に記載のフィルタルール作成方法。
(付記12)
前記統合部は、前記クラスタリング処理において、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合する付記7から11のいずれか1項に記載にフィルタルール作成方法。
(付記13)
コンピュータに、
システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、
抽出された共起メッセージ群から前記システム間の動作の類似の程度を示す値情報を生成し、
前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、
前記クラスタリング処理により作成されたクラスタにおける共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成する、ことを実行させるためのフィルタルール作成プログラム。
(付記14)
前記複数のログそれぞれに含まれるメッセージを分類したメッセージの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出し、第1のシステムに対応する第1のログから抽出されたメッセージの種類と、第2のシステムに対応する第2のログから抽出されたメッセージの種類との間の発生状況の比較を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成し、
生成された前記値情報が所定の基準を満たすときに、前記第1のシステムと第2のシステムのクラスタリング処理を行うことをさらに実行させるための付記13に記載のフィルタルール作成プログラム。
(付記15)
前記第1のシステムに対応する第1のログから抽出されたメッセージの種類と、前記第2のシステムに対応する第2のログから抽出されたメッセージの種類における、
(a)前記メッセージの種類の異同の程度、および、
(b)一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度
を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成することをさらに実行させるための付記14に記載のフィルタルール作成プログラム。(付記16)
作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間で動作の類似の程度を示す値情報を生成し、生成された値情報が所定の基準を満たすときに、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間でのクラスタリング処理をさらに実行させるための付記13から15のいずれか1項に記載のフィルタルール作成プログラム。
(付記17)
前記クラスタリング処理において、
第1のシステムで発生する第1のログに対して生成される一の値情報と、前記第1のロ
グと第2のシステムで発生する第2のログとの間で生成される相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第1のログに代わるログを作成し、
前記第2のログに対して生成される一の値情報と、前記第1のログと前記第2のログとの間で生成される前記相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第2のログに代わるログを作成することをさらに実行させるための付記14から16のいずれか1項に記載のフィルタルール作成プログラム。
(付記18)
前記プロセッサは、前記クラスタリング処理において、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合することをさらに実行させるための付記13から17のいずれか1項に記載にフィルタルール作成プログラム。
Claims (8)
- 命令を記憶する記憶部と、
該記憶部に記憶された前記命令に従って、システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、抽出された前記共起メッセージ群に基づいて前記システム間の動作の類似の程度を示す値情報を生成し、前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、抽出した前記共起メッセージ群のうち前記クラスタリング処理により作成されたクラスタに属する各システムからのログに出現する共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成するプロセッサと、
を備えたことを特徴とするフィルタルール作成装置。 - 分析部が、システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、抽出された共起メッセージ群から前記システム間の動作の類似の程度を示す値情報を生成し、
統合部が、前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、
設定部が、抽出された前記共起メッセージ群のうち前記クラスタリング処理により作成されたクラスタに属する各システムからのログに出現する共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成する、フィルタルール作成方法。 - 前記分析部は、前記複数のログそれぞれに含まれるメッセージを分類したメッセージの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出し、第1のシステムに対応する第1のログから抽出されたメッセージの種類と、第2のシステムに対応する第2のログから抽出されたメッセージの種類との間の発生状況の比較を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成し、
前記統合部は、前記分析部で生成された前記値情報が所定の基準を満たすときに、前記第1のシステムと第2のシステムのクラスタリング処理を行う請求項2に記載のフィルタルール作成方法。 - 前記分析部は、前記第1のシステムに対応する第1のログから抽出されたメッセージの
種類と、前記第2のシステムに対応する第2のログから抽出されたメッセージの種類における、
(a)前記メッセージの種類の異同の程度、および、
(b)一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度
を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成する請求項3に記載のフィルタルール作成方法。 - 前記分析部は、作成された前記クラスタ間、または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間で動作の類似の程度を示す値情報を生成し、生成された値情報が所定の基準を満たすときに、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間でのクラスタリング処理をさらに行う請求項2から4のいずれか1項に記載のフィルタルール作成方法。
- 前記統合部は、前記クラスタリング処理において、第1のシステムで発生する第1のロ
グに対して生成される一の値情報と、前記第1のログと第2のシステムで発生する第2のログとの間で生成される相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第1のログに代わるログを作成し、
前記第2のログに対して生成される一の値情報と、前記第1のログと前記第2のログとの間で生成される前記相互の値情報とにしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第2のログに代わるログを作成する請求項2から5のいずれか1項に記載のフィルタルール作成方法。 - 前記統合部は、前記クラスタリング処理において、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合する請求項2から6のいずれか1項に記載にフィルタルール作成方法。
- コンピュータに、
システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、
抽出された共起メッセージ群から前記システム間の動作の類似の程度を示す値情報を生成し、
前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、
抽出した前記共起メッセージ群のうち前記クラスタリング処理により作成されたクラスタに属する各システムからのログに出現する共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成する、ことを実行させるためのフィルタルール作成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014205805A JP6503679B2 (ja) | 2014-10-06 | 2014-10-06 | フィルタルール作成装置、フィルタルール作成方法、およびプログラム |
US14/851,198 US9906476B2 (en) | 2014-10-06 | 2015-09-11 | Filter rule generation apparatus and filter rule generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014205805A JP6503679B2 (ja) | 2014-10-06 | 2014-10-06 | フィルタルール作成装置、フィルタルール作成方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016076075A JP2016076075A (ja) | 2016-05-12 |
JP6503679B2 true JP6503679B2 (ja) | 2019-04-24 |
Family
ID=55633637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014205805A Active JP6503679B2 (ja) | 2014-10-06 | 2014-10-06 | フィルタルール作成装置、フィルタルール作成方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9906476B2 (ja) |
JP (1) | JP6503679B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10587555B2 (en) * | 2015-09-01 | 2020-03-10 | Sap Portals Israel Ltd. | Event log analyzer |
US9813357B2 (en) * | 2015-11-03 | 2017-11-07 | Gigamon Inc. | Filtration of network traffic using virtually-extended ternary content-addressable memory (TCAM) |
US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
JP6643211B2 (ja) * | 2016-09-14 | 2020-02-12 | 株式会社日立製作所 | 異常検知システム及び異常検知方法 |
JP6803754B2 (ja) * | 2017-01-16 | 2020-12-23 | 株式会社日立製作所 | ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法 |
JP2018132841A (ja) * | 2017-02-13 | 2018-08-23 | 富士通株式会社 | プログラム、情報処理装置および情報処理装置の制御方法 |
CN108694107B (zh) * | 2017-04-10 | 2022-01-07 | 北京京东尚科信息技术有限公司 | 消息队列的积压量监控方法、装置、可读介质和电子设备 |
JP6794909B2 (ja) * | 2017-04-13 | 2020-12-02 | 富士通株式会社 | メッセージ出力プログラム、メッセージ出力方法及びメッセージ出力装置 |
CN107301120B (zh) * | 2017-07-12 | 2021-04-30 | 北京京东尚科信息技术有限公司 | 用于处理非结构化日志的方法及装置 |
US11442995B2 (en) * | 2020-10-21 | 2022-09-13 | Servicenow, Inc. | Filtering of log search results based on automated analysis |
WO2023129599A2 (en) * | 2021-12-28 | 2023-07-06 | Trellisware Technologies, Inc. | Clustered coherent distributed spatial multiplexing in wireless communication networks |
US20230325296A1 (en) * | 2022-04-10 | 2023-10-12 | Cyberproof Israel Ltd. | System and method for generating one or more aggregation rules configured to be utilized by a log collector |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3951800B2 (ja) | 2001-11-16 | 2007-08-01 | 日本電信電話株式会社 | 相関ルール分析装置と方法およびプログラムと記録媒体 |
US7131037B1 (en) * | 2002-06-05 | 2006-10-31 | Proactivenet, Inc. | Method and system to correlate a specific alarm to one or more events to identify a possible cause of the alarm |
JP4746850B2 (ja) * | 2004-06-21 | 2011-08-10 | 富士通株式会社 | パターン生成プログラム |
US7721152B1 (en) * | 2004-12-21 | 2010-05-18 | Symantec Operating Corporation | Integration of cluster information with root cause analysis tool |
US7817564B2 (en) * | 2006-07-31 | 2010-10-19 | Cisco Technology, Inc. | Method and system for handling fault messages in a network |
JP5428934B2 (ja) * | 2010-02-22 | 2014-02-26 | 富士通株式会社 | 障害パターン生成プログラムおよび障害パターン生成装置 |
JP5541130B2 (ja) * | 2010-12-10 | 2014-07-09 | 富士通株式会社 | 管理装置、管理方法および管理用プログラム |
US9213590B2 (en) * | 2012-06-27 | 2015-12-15 | Brocade Communications Systems, Inc. | Network monitoring and diagnostics |
JP5798095B2 (ja) * | 2012-08-10 | 2015-10-21 | 日本電信電話株式会社 | ログ生成則作成装置及び方法 |
JP2014106851A (ja) | 2012-11-29 | 2014-06-09 | Fujitsu Ltd | 情報処理装置、情報処理方法及びプログラム |
JP2017111601A (ja) * | 2015-12-16 | 2017-06-22 | 富士通株式会社 | 調査対象特定プログラム、および調査対象特定方法 |
-
2014
- 2014-10-06 JP JP2014205805A patent/JP6503679B2/ja active Active
-
2015
- 2015-09-11 US US14/851,198 patent/US9906476B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9906476B2 (en) | 2018-02-27 |
US20160099898A1 (en) | 2016-04-07 |
JP2016076075A (ja) | 2016-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6503679B2 (ja) | フィルタルール作成装置、フィルタルール作成方法、およびプログラム | |
CN110019396B (zh) | 一种基于分布式多维分析的数据分析系统及方法 | |
US9959015B2 (en) | Systems and methods for monitoring and analyzing performance in a computer system with node pinning for concurrent comparison of nodes | |
US20200279107A1 (en) | Digital image-based document digitization using a graph model | |
US9251221B1 (en) | Assigning scores to objects based on search query results | |
CN103748579B (zh) | 在映射化简框架中处理数据 | |
CN111885040A (zh) | 分布式网络态势感知方法、系统、服务器及节点设备 | |
US20160055044A1 (en) | Fault analysis method, fault analysis system, and storage medium | |
JP2017111601A (ja) | 調査対象特定プログラム、および調査対象特定方法 | |
US20060294220A1 (en) | Diagnostics and resolution mining architecture | |
JP6665784B2 (ja) | ログ分析システム、ログ分析方法およびログ分析プログラム | |
WO2011139393A1 (en) | Dynamic adaptive process discovery and compliance | |
Qu et al. | Efficient online summarization of large-scale dynamic networks | |
CN113254255B (zh) | 一种云平台日志的分析方法、系统、设备及介质 | |
WO2017092444A1 (zh) | 基于Hadoop的日志数据挖掘方法及系统 | |
JP2006260056A (ja) | 統合運用管理サーバ、統合的な運用管理のためのメッセージの抽出方法、及び、プログラム | |
US8134935B2 (en) | Transaction topology discovery using constraints | |
KR20190022434A (ko) | 데이터베이스 시스템의 최적화 방법, 시스템, 전자장치 및 저장매체 | |
US20210232483A1 (en) | Log analysis device, log analysis method, and program | |
JP2013149061A (ja) | 文書類似性評価システム、文書類似性評価方法およびコンピュータ・プログラム | |
CN113157473A (zh) | 一种对多维日志的故障根因定位方法和装置 | |
GB2576663A (en) | Validation of search query in data analysis system | |
CN103136440A (zh) | 数据处理方法和装置 | |
WO2016199411A1 (ja) | ログ表示装置とログ表示方法およびログ表示プログラム | |
CN114201369A (zh) | 一种服务器集群管理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6503679 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |