JP6503679B2 - フィルタルール作成装置、フィルタルール作成方法、およびプログラム - Google Patents

フィルタルール作成装置、フィルタルール作成方法、およびプログラム Download PDF

Info

Publication number
JP6503679B2
JP6503679B2 JP2014205805A JP2014205805A JP6503679B2 JP 6503679 B2 JP6503679 B2 JP 6503679B2 JP 2014205805 A JP2014205805 A JP 2014205805A JP 2014205805 A JP2014205805 A JP 2014205805A JP 6503679 B2 JP6503679 B2 JP 6503679B2
Authority
JP
Japan
Prior art keywords
log
message
occurrence
similarity
messages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014205805A
Other languages
English (en)
Other versions
JP2016076075A (ja
Inventor
幸洋 渡辺
幸洋 渡辺
松本 安英
安英 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2014205805A priority Critical patent/JP6503679B2/ja
Priority to US14/851,198 priority patent/US9906476B2/en
Publication of JP2016076075A publication Critical patent/JP2016076075A/ja
Application granted granted Critical
Publication of JP6503679B2 publication Critical patent/JP6503679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/212Monitoring or handling of messages using filtering or selective blocking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0604Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、フィルタルール作成装置、フィルタルール作成方法、およびプログラムに関する。
複数のシステムを含む監視対象から出力されるメッセージのうち、所定の監視ルールに該当するメッセージが管理者に通知されるという運用管理方法がある。図1に、複数のシステムを含む監視対象システムにおける運用管理手順を例示する。図1の監視対象システムは、複数のシステム、例えば、機種およびメーカの異なる情報処理装置群301を含む。監視対象システム内の情報処理装置から発せられたメッセージは、監視対象システムを監視する監視装置302に収集される。監視装置302は、事前に、収集対象となる運用メッセージをオペレータ装置304等から通知され、監視ルールとして保持している。監視装置302は、監視ルールに該当する運用メッセージをシステムから収集する。
監視装置302自身のフィルタ処理部、または監視装置302と連携するフィルタ処理装置303は、監視対象システムを管理する監視オペレータの負担軽減のため、メッセージをフィルタリングする。フィルタリングは、例えば、フィルタリングルールにしたがい、収集されたメッセージをまとめ、集約し、あるいは、選別する処理である。フィルタリングの結果、監視対象システムから発せられるメッセージよりも少量のメッセージが監視対象事象として監視オペレータの操作するオペレータ装置304に通知される。監視オペレータは、フィルタリング後に通知された監視対象事象から対処の要否判断が求められるものを担当者に連絡する。
しかしながら、複数の情報処理装置を含むシステム内では大量のメッセージが発生する場合がある。このため、所定の監視ルールに該当するメッセージについても、定期的に発信されるものや同一原因で発生するメッセージ群などがあり、同一内容を含むメッセージが複数、場合によっては大量に出力されてしまう場合がある。
そのため、同一の原因に基づいて発生するメッセージ群、同一内容を包含して複数回出現するメッセージ群について、集約あるいは少数選択して出力できる仕組みが提案されている。メッセージ群が集約あるいは少数選択される仕組みでは、例えば、予めフィルタルールが作成され、フィルタルールに基づいてメッセージが出力される。
図2に、情報処理装置がフィルタルールを作成し、フィルタルールにしたがって、同一内容を包含して複数回出現するメッセージ群を集約、あるいは少数のメッセージを選択して出力する処理例を示す。図2の監視対象システムでは、監視対象システムを監視する情報処理装置が、情報処理装置群301からのメッセージをメッセージログに蓄積しておく。そして、情報処理装置は、蓄積されたメッセージログ中のそれぞれのメッセージa、b、c等の間の共起確率を算出する。ここで「共起」とは、あるメッセージが発生したときに、そのメッセージ の発生に付随して別のメッセージが発生することを意味する。また
、「共起確率」は、メッセージ相互間で共起する確率を示す指標であり、メッセージの関連性を示す指標ともいえる。
そして、情報処理装置は、メッセージ間で共起確率が所定の基準に合致するものについては、いずれか1つのメッセージを監視対象事象に選択して、他のメッセージを廃棄する。共起確率が所定の基準に合致するものは、例えば、同一原因で発生した複数のメッセージであると判断できるからである。このような仕組みにより監視ルールに合致したメッセージの出力件数を抑えることが可能になる。
特開2003−216869号公報 特開2014−106851号公報
しかしながらフィルタルールは、監視対象システムを一定期間以上運用し、メッセージを蓄積することで得られたログを解析して生成される。メッセージの蓄積にはある程度の時間が掛かかり、フィルタルールが生成されるまでは、フィルタルールが適用されないため、監視対象システムの運用開始後、一定期間は、重複したメッセージが出力されてしまう場合がある。
1つの側面では、メッセージ監視において、フィルタルールの適用の早期化を図ることを目的とする。
開示の技術の一側面はフィルタルール作成装置によって例示される。本フィルタルール作成装置は、プロセッサと主記憶装置とを備える。プロセッサは、記憶部に記憶された命令に従って、システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、抽出された前記共起メッセージ群に基づいてシステム間の動作の類似の程度を示す値情報を生成し、値情報に基づき、複数のシステムのクラスタリング処理を行い、クラスタリング処理により作成されたクラスタにおける共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成する。
本フィルタルール作成装置によれば、メッセージ監視において、フィルタルールの適用を早期に開始することができる。
複数のシステムを含む監視対象における運用管理手順を例示する図である。 情報処理装置がフィルタルールを作成し、複数回出現するメッセージ群を集約、あるいは少数のメッセージを選択して出力する処理例を示す図である。 メッセージの共起関係を分析するための対象データ量を実効的に増加させる処理のデータフローを例示する図である。 メッセージログのメッセージパターン例である。 システム同士の距離を例示する図である。 メッセージログの類似度に基づくシステムのクラスタリングを例示する図である。 クラスタリング結果のイメージを例示する図である。 メッセージログの混合手順を例示する図である。 メッセージログの混合手順を例示する図である。 メッセージログの混合方法を例示する図である。 情報処理装置のハードウェア構成を例示する図である。 情報処理装置の各処理部と各処理部によって処理されるデータの関連を例示する図である。 メッセージログ管理台帳を例示する図である。 メッセージログの構成とデータを例示する図である。 単一システムログ共起関係のデータを例示する図である。 統合システムログ共起関係のデータを例示する図である。 分類結果類似度のデータ例を示す図である。 類似システムテーブルを例示する図である。 類似システムテーブルをトーナメント形式で図示した例である。 共起分析部の処理を例示するフローチャートである。 メッセージペア抽出処理の詳細を例示するフローチャートである。 メッセージペア連結処理の詳細を例示するフローチャートである。 メッセージパターン作成の詳細を例示するフローチャートである。 分析結果類似度算出部22の処理を例示するフローチャートである。 距離と類似度の算出処理の詳細を例示するフローチャートである。 類似システム算出処理を例示するフローチャートである。 類似システムログ統合部の処理を例示するフローチャートである。 2つのログを類似度で混合する処理の詳細を例示するフローチャートである。 フィルタ設定部の処理を例示するフローチャートである。
以下、図面を参照して、一実施形態に係る情報処理装置について説明する。以下の実施形態の構成は例示であり、本情報処理装置は実施形態の構成には限定されない。
[実施例]
実施例では、複数のシステムを含む監視対象システムが例示される。より具体的には、監視対象システム内のメッセージを監視する情報処理装置が、メッセージの共起関係を従来よりも早期に求め、監視対象システムから出力されるメッセージに適用するフィルタルールを作成する処理が例示される。実施例の情報処理装置は、監視対象システムに含まれる複数のシステムのうち、振る舞いが類似するシステムから出力されたメッセージログを統合することで、従来よりも早期に、各システムから発せられるメッセージの共起関係を求めるためのメッセージの量を増加させる。本実施例で、「監視対象システムに含まれる複数のシステム」は、「監視対象システムに含まれる」という意味では、サブシステムとも呼ぶことができる。また、実施例の情報処理装置は、フィルタルール作成装置の一例である。
<メッセージログの統合例>
図3は、監視対象システム内の各システムからのメッセージを統合することで、メッセージの共起関係を分析するための対象データ量を実効的に増加させる処理のデータフローを例示する。図3では、メッセージログA、B、C、Dに対するデータフローが例示されている。図3は、メッセージログを単にログとしている。
図3では、メッセージログA、B、C、Dは、それぞれ監視対象システム内のシステムA、B、C、Dから出力されたメッセージのファイルであるとする。ただし、それぞれのシステムが複数のメッセージログを出力する場合でも、本実施例の処理は適用可能である。例えば、システムAが、メッセージログa1、a2、・・・等を出力する場合には、メッセージログa1、a2、・・・等を1つに統合して、メッセージログAとすればよい。メッセージログB、C、D等についても、処理は同様である。
監視対象システムの運用開始当初、メッセージログA、B、C、Dには、それぞれのメッセージログ内でメッセージの共起関係を分析するために十分な量のメッセージが蓄積されていない状況が生じ得る。本実施例の情報処理装置は、図3のそれぞれのメッセージログ内に十分な量のメッセージがない場合に、メッセージの共起関係を分析するためのメッセージ量を実効的に増加させる。
例えば、構成が同一の複数のシステムのメッセージログを1つに統合することが考えられる。しかし、単純に、同一構成のシステムのログを集めただけでは、望ましい結果が得られない場合がある。例えば、複数のシステム、例えば、クラウドAとクラウドBとが同一のアプリケーション構成である場合を想定する。しかし、同一のアプリケーションが利用される場合でも、クラウドA上にアプリケーション環境が構築された場合とクラウドB上にアプリケーション環境が構築された場合とで、アプリケーションの挙動が異なる場合がある。
例えば、ユーザがアプリケーションのログ出力の設定を変えた場合、アプリケーション構成が同じでも、ログに現れるメッセージの共起関係が変わってしまう場合がある。また、例えば、外部からのアクセス頻度が高いシステムと低いシステムとでは、アプリケーションの構成が同じでも、メッセージログに現れるメッセージの共起関係が変わってしまうことがある。
そこで、実施例の情報処理装置は、監視対象システム内で、振る舞いが似たシステムが多数存在することがある点に着目する。実施例の情報処理装置は、振る舞いが似た複数のシステムからのメッセージログを統合することで、共起関係を分析するためのメッセージ量、すなわち、学習対象のメッセージログを増加させる。ところで、統合したメッセージログを用いて精度よく共起関係を分析するには、統合する複数のメッセージログ間で、メッセージの共起の仕方、状況(以下、共起ルール)がかけ離れたものでないことが望ましい。つまり、共起ルールの多くが共通する複数のシステムは、メッセージログを統合しても、情報処理装置が精度よく共起関係を分析することができる可能性が高い。そこで、本実施例では、「振る舞い」とは、例えば、分析の結果得られるメッセージの共起関係を意味することする。また、「振る舞いが似たシステム」として、メッセージの共起関係が似たシステムとして理解することが望ましい。
例えば、システムXとシステムYの両方で「メッセージAとメッセージBが所定のルールで現れる、例えば、一対で現れる」という関係が得られた場合、システムXとシステムYは、振る舞いが似ているとして処理してよい。振る舞いが似たシステムのログを合わせて分析することで、メッセージ量、つまり、学習量の不足を解消する。監視対象内のそれぞれのシステムの利用者は、自システムのメッセージログを提供することで、自システムと振る舞いの似た他のシステムを含む監視対象システムに適用可能な共起関係に基づくフィルタを迅速に入手できるようになる。
そこで、図3に例示のように、本情報処理装置は、まず、各メッセージログA、B、C、D等について、少ないメッセージログでログ共起分析を行い、それぞれ共起関係を求める。この段階での共起関係は精度が低い可能性はある。次に、本情報処理装置は、共起関係が類似する監視対象のメッセージログを統合する。具体的な処理では、メッセージログを統合する代わりに、監視対象内の個々のシステムを統合して、メッセージの共起関係を求めればよい。本情報処理装置は、このようなログ共起分析とメッセージログ(あるいはシステム)の統合を複数段階繰り返す。
そして、本情報処理装置は、統合したシステムのメッセージログに対して、再度ログ共起分析を行い、それぞれ共起関係を求める。以上のような処理の結果、情報処理装置が個々のシステム毎に分析した場合と比べ、共起関係を分析する対象のメッセージの母数が大きくなり、情報処理装置は共起関係を精度良く求める事ができる。
実施例では、共起関係は、個々のメッセージごとの関係ではなく、メッセージの種類ごとに求める。例えば、ある特定の温度センサT1の温度を報知するメッセージmt1、m
t2,mt3、・・・等は1つのメッセージの種類に分類できる。また、ある特定の事象、例えば、温度異常を報知する警告メッセージmw1、mw2、mw3、・・・等は1つのメッセージの種類に分類できる。本実施例において、メッセージの種類の分類の仕方に限定がある訳ではない。すなわち、監視対象システムが採用するメッセージの種類の分け方に依存しないで、本情報処理装置による処理は適用可能である。また、メッセージの種類分けが行われない監視対象システムに対しては、本情報処理装置は、個々のメッセージについて、共起関係を算出してもよい。
図4は、類似度を算出するシステムのメッセージログのメッセージパターン例である。メッセージパターンとは、メッセージログ中で、共起確率が所定値以上のメッセージの種類の組み合わせということができる。ただし、メッセージパターンは、異なるメッセージの種類の組み合わせの場合と、同一メッセージの種類の繰り返しの場合を含む。また、1つのシステムのメッセージログ中で共起確率が所定値以上のメッセージパターンを要素ともいい、メッセージパターン数を要素数ともいう。
図4の例では、システムAから出力されるメッセージログは、メッセージパターン[1,2,3]と[1*]と[1,3]とを含む。メッセージパターン[1,2,3]は、例えば、メッセージの種類1、種類2、種類3の順に、種類1、種類2、種類3のメッセージが繰り返すメッセージパターンである。ただし、メッセージの種類の順序は無視して、メッセージパターン[1,2,3]は、例えば、種類1、種類2、種類3のメッセージが繰り返すメッセージパターンである、と定義してもよい。メッセージの種類の順序をメッセージパターンの定義に含むか含まないかは、本実施例における情報処理装置の処理とは、直接関係がない。メッセージパターン[1*]は、メッセージの種類1が繰り返すメッセージ群である。メッセージパターン[1,3]は、メッセージの種類1と種類3が繰り返すメッセージパターンである。
また、図4のシステムAにおいて、メッセージパターン[1,2,3]では、出現間隔が例えば、6プラスマイナス2分、つまり、4分から8分の間に、メッセージの種類1、種類2、種類3が出力される。また、メッセージパターン[1*]では、出現間隔が例えば、2プラスマイナス1分、つまり、1分から3分の間に、メッセージの種類1が繰り返し出力される。さらにまた、メッセージパターン[1,3]では、出現間隔が例えば、4プラスマイナス2分、つまり、2分から6分の間に、メッセージの種類1、および種類3が出力される。
一方、図4の例で、システムBから出力されるメッセージログは、メッセージパターン[1,2,3]と[1*]と[1,3]と[1,4]を含む。メッセージパターン[1,2,3]、[1*]、[1,3]、および[1,4]の出現間隔は、それぞれ、7プラスマイナス2分、5プラスマイナス1分、4プラスマイナス1分、2プラスマイナス2分である。
本実施例では、情報処理装置は、システム同士の振る舞いの類似度を以下の定義より算出する。
・ システム同士で、メッセージパターンの距離を求める。システム同士で、異なるメッセージパターンが存在すると、距離に1が加算される。システム同士で共通のメッセージパターンが存在するが、共通のメッセージパターンの出現間隔が重複しない場合、距離に1が加算される。さらに、本実施例では、情報処理装置は、メッセージパターンが共通で、かつ、出現間隔が一部でも重複するシステム同士を共起関係が同一として取り扱う。共起関係が同一の場合、システム同士の距離に、1は加算されず、距離が0とされる。ただし、本実施例において、距離の定義が以上のものに限定される訳ではない。
図5に、システム同士の距離を例示する。図5で、左側のメッセージパターン[a,b,c]で出現間隔6プラスマイナス2分と、メッセージパターン[a,b,c]で出現間隔7プラスマイナス2分とは、メッセージパターンが共通で、かつ、出現間隔が重複する。したがって、図5の左側の2組のメッセージ群は、共起関係が同一であり、距離が0である。一方、右側のメッセージパターン[a*]で出現間隔2プラスマイナス1分と、メッセージパターン[a*]で出現間隔5プラスマイナス1分とは、メッセージパターンが共通であるが、出現間隔が重複しない。したがって、図5の右側の2組のメッセージ群は、共起関係が同一でなく、距離が1である。
・ システムAとBとの距離がdであり、システムAの要素数n(A)、システムBの要素数n(B)とすると、d/n(A)とd/n(B)との調和平均は以下の数1で定義される。
[数1]d/n(A)とd/n(B)との調和平均
=2*(d/n(A))*(d/n(B))/(d/n(A)+d/n(B));
本実施例では、数1のような調和平均を用いて、システムAとシステムBの類似度が定義される。数1は、x=d/n(A)と、y=d/n(B)とすると、調和平均=2*x*y/(x+y)となる。x=d/n(A)は、システムAの要素数に対するシステムBとの距離の比率であり、システムAの要素数に占めるシステムBの要素と異なる要素の比率ということができる。同様に、y=d/n(B)は、システムBの要素数に対するシステムAとの距離の比率であり、システムBの要素数に占めるシステムAの要素と異なる要素の比率ということができる。
類似度として、調和平均を用いる理由は、xまたはyのいずれか一方の距離の比率が大きな値をとると、類似度は、0から離れた値となり、システムAとシステムBとは類似しない結果となるからである。ここで、近似する値を示す記号として、=:を用いると、
例えば、x>>yのとき、類似度=:2y; x=yのとき類似度=y;
要素数が同数で、すべて不一致のとき、x=y=1,類似度=1;
要素数がn(A)=1000,n(B)=1で、すべて不一致のとき、x=:1,y=1001、類似度=:2;
要素数が同数ですべて一致するとき、x=y=0、類似度は不定値;
となる。
そこで、本情報処理装置では、類似度として、1以上の値で数1の10倍の値の範囲となるように、以下の定義を用いる。
[数2]システムAとシステムBの類似度
=20*(d/n(A))*(d/n(B))/(d/n(A)+d/n(B))+1;(d=0以外のとき)
ただし、システムAとシステムBの類似度=1;(d=0のとき)
数2の定義によれば、図4のシステムAとシステムBとの間の類似度は、以下の通りである。メッセージパターン[1,2,3]の要素は、出現間隔が6プラスマイナス2分と7プラスマイナス2分で重複部分が存在するので、共起関係が共通し、距離は0である。メッセージパターン[1*]の要素は、出現間隔が2プラスマイナス1分と5プラスマイナス2分で重複しないので、共起関係が共通せず、距離は1である。メッセージパターン[1,3]の要素は、出現間隔が4プラスマイナス2分と4プラスマイナス1分で重複部分が存在するので、共起関係が共通し、距離は0である。システムBのメッセージパターン[1,4]の要素はシステムAに存在しない。したがって、要素が不一致であり、共起関係が共通せず、距離は1である。
以上から、システムAとシステムBと距離d=2である。また、システムAのメッセージログの要素数n(A)=3、システムBのメッセージログの要素数n(B)=4である。したがって、数2によれば、類似度S(A,B)=20*(2/3)*(2/4)/(
2/3+2/4)+1=47/7;
本情報処理装置は、監視対象システム内の複数のシステムから得られたメッセージログについて、図4、図5の定義にしたがって、監視対象システム内の複数のシステム間それぞれの類似度を求める。そして、本情報処理装置は、システム間で得られた類似度の値が所定の範囲内の複数システムをまとめて、システムのクラスタリングを行う。
図6に、メッセージログの類似度に基づくシステムのクラスタリングを例示する。図6では、システムA,B,C、D,Eのメッセージログの類似度を基に、メッセージログがクラスタリングされる。クラスタリングとは、監視対象システム内の複数のシステムを1まとまりのグループとみなし、メッセージの共起関係を解析することをいう。本情報処理装置は、類似度の値の小さい、すなわち、メッセージパターンが一致し、出現間隔の重複が多い要素を含むメッセージログのシステム同士をクラスタリングする。
図6では、システムAとシステムBとの類似度はS(A,B)=2である。また、システムDとシステムEとの類似度はS(D,E)=2である。そこで、本情報処理装置は、まず、システムAとシステムBをクラスタリングし、システムDとシステムEをクラスタリングする。システムAとシステムBのクラスタをABと呼ぶことにする。また、システムDとシステムEのクラスタをDEと呼ぶことにする。
図6では、1段階クラスタリング後、システムのクラスタは、AB、C、DEとなる。ただし、クラスタCは、単独のシステムC自体である。そして、本情報処理装置は、1段階クラスタ後のクラスタ間で類似度を求める。クラスタ間の類似度は、クラスタに含まれる1段階クラスタリング前のシステム間の平均値、クラスタ間の平均値、クラスタとシステム間の平均値とする。
例えば、クラスタABとシステムCとの類似度S(AB,C)は、
[数3]
S(AB,C)=(S(A,C)+S(B,C))/2=(10+9)/2=9.5;
である。 また、クラスタABとクラスタDEの類似度S(AB,DE)は、
[数4]
S(AB,DE)=(S(AB,D)+S(AB,E))/2=(6.5+6.5)/2=6.5;
である。ただし、S(AB,D)=(6+7)/2=6.5;S(AB,E)=(8+5)/2=6.5;である。また、システムCとクラスタDEの類似度S(C,DE)は、[数5]
S(C,DE)=(S(C,D)+S(C,E))/2=(4+6)/2=5;
である。
さらに、1段階クラスタリング後のクラスタ間での類似度の値は、システムCとクラスタDEとの間の類似度S(C,DE)=5が最小であるので、システムCとクラスタDEによって2段階目のクラスタリングをする。2段階クラスタリング後のクラスタABとCDEの類似度S(AB,CDE)は、
[数6]
S(AB,CDE)
=(S(AB,C)+S(AB,DE))/2=(9.5+6.5)/2=8;
である。
図7に、図6のクラスタリング結果のイメージを例示する。図6では、第1段階クラスタリングでクラスタAB、Dが作成され、第2段階クラスタリングでクラスタEDCが作成された。情報処理装置は、単独のシステム間、クラスタ間、単独のシステムとクラスタとの間で、類似度の値が小さい順にクラスタリングを所定の限度まで行う。本実施例では、本情報処理装置は、出来上がるクラスタ数がしきい値を下回るか、数2の定義による類似度の値の最小値がしきい値を超えるまでクラスタリング処理を繰り返す。図6の例では、情報処理装置は、類似度が5までの範囲で、クラスタAB、D、を順次作成した。図6の処理は、例えば、横軸をシステムとし、縦軸を類似度とするトーナメントの組み合わせ図で記述できる。また、図6の処理は、例えば、クラスタを楕円で表現し、楕円内にクラスタに含まれるシステムの組と、システム間の類似度を示すイメージ図で記述できる。
次に、本情報処理装置は、クラスタリングの結果に応じて、メッセージログを混合する。図8、図9は、メッセージログの混合手順を例示する図である。本情報処理装置は、例えば、システムAのメッセージログとシステムBのメッセージログを混合する場合に、類似度に応じて2つのメッセージログを混合する。図8のように、システムAのメッセージログ自体の類似度が1であり、一方、システムAとシステムBのメッセージログの類似度が2である場合には、情報処理装置は、システムA向けに混合される統合ログにおいて、2:1の比率で、システムAとシステムBのメッセージログを混合する。つまり、自システムと相手システム(または相手クラスタ)の類似度に応じて、混合相手のメッセージログを薄めて、自システム用の統合ログを作成する。逆に、システムAとシステムBのメッセージログの類似度が小さい値であればあるほど、つまり、システムAとシステムBが類似すればするほど、システムA向けに混合される統合ログで、システムBのメッセージログの比率を高くして混合する。なお、単独のシステム自体の類似度は、例えば、システムAのメッセージログと同一のシステムAのメッセージログとについて、数2を適用すれば類似度=1となることは明らかである。
は、システムとシステムDから作成した向け統合ログと、向け統合ログにシステムのメッセージログを混合して、さらに向け統合ログを作成する場合の処理例である。この例では、情報処理装置は、システムのメッセージログ自体の類似度1と、システム、システムD間の類似度が2とにしたがって、2:1の比率でシステムとシステムDのメッセージログを混合して、システム向けの統合ログを作成する。
次に、システムとシステムDから作成したシステム向けの統合ログ(D)自体の
類似度が2であり、統合ログ(D)とシステムのメッセージログとの類似度が5であるとする。この場合、情報処理装置は、5:2の比率で統合ログ(D)とシステムのメッセージログを混合し、システム向けの統合ログ()を作成する。
このように、統合ログ作成時に、自システム(自クラスタ)のメッセージログの類似度と、自システム(自クラスタ)の混合対象である相手システムとの間の類似度とにしたがって、メッセージログの混合比率を変えることで、メッセージパターンと出現間隔の類似が少ない相手システム(相手クラスタ)のメッセージログを混合することの副作用を軽減できる。
図10に、メッセージログの混合方法を例示する。本実施例では、情報処理装置は、複数のメッセージログを混合する場合に、以下の規則を採用する。
(規則1)ログ内のイベント発生の順序は保持したまま、時刻をずらして混合。
(規則2)2つのログ内のイベントに共起が生じないよう、間隔を空けて混合。
図10は、システムAのメッセージログとシステムBのメッセージログを2:1の比率で混合する例である。メッセージログは、いずれも5月1日 00:00から5月2日 00:00のものである。この例では、情報処理装置は、5月1日 00:00から5月2日 00:00にシステムA、5月2日 01:00から5月3日 01:00にシステムA、5月3日 02:00から5月4日 02:00にシステムBの時刻を割り当て、
メッセージログを混合する。このような混合によって、情報処理装置は、混合することによる実際に存在しない共起関係の発生を抑制できる。
<システム例>
図11は、本実施形態における情報処理装置のハードウェア構成を例示する図である。なお、監視対象システム内の各システムも、図11と同様の構成を有する。本情報処理装置はCPU11と、主記憶部12と、インターフェース(I/F)を通じて接続される外部機器を有し、プログラムにより情報処理を実行する。CPU11はプロセッサの一例である。主記憶部12は主記憶部の一例である。外部機器としては、外部記憶部13、表示部14、操作部15、および通信部16を例示できる。
CPU11は、主記憶装置12に実行可能に展開されたコンピュータプログラムを実行し、情報処理装置10の機能を提供する。主記憶部12は、CPU11が実行するコンピュータプログラム、CPU11が処理するデータ等を記憶する。主記憶部12は、Dynamic Random Access Memory(DRAM)、Static Random Access Memory(SRAM)、Read Only Memory(ROM)等である。さらに、外部記憶部13は、例えば、主記憶部12
を補助する記憶領域として使用され、CPU11が実行するコンピュータプログラム、CPU11が処理するデータ等を記憶する。外部記憶部13は、ハードディスクドライブ、Solid State Disk(SSD)等である。さらに、情報処理装置10には、着脱可能記憶媒体の駆動装置を設けてもよい。着脱可能記憶媒体は、例えば、ブルーレイディスク、Digital Versatile Disk(DVD)、Compact Disc(CD)、フラッシュメモリカード等である。
また、情報処理装置は、表示部14、操作部15、通信部16を有する。表示部14は、例えば、液晶ディスプレイ、エレクトロルミネッセンスパネル等である。操作部15は、例えば、キーボード、ポインティングデバイス等である。本実施形態では、ポインティングデバイスとしてマウスが例示される。通信部16は、ネットワーク上の他の装置とデータを授受する。例えば、CPU11は、通信部16を通じて、監視対象システムからメッセージログを取得する。
図12は、本情報処理装置の各処理部と各処理部によって処理されるデータの関連を例示する図である。図12のように、情報処理装置は、監視対象システム内の複数のシステムから発行されるメッセージを蓄積したメッセージログを解析し、メッセージの共起関係に基づくフィルタルールを生成する。
ここで、監視対象システムとは、情報処理装置が管理する情報システムであり、監視対象システム自体に限定があるわけではない。例えば、監視対象システムは、監視対象となるコンピュータ、その他のシステムを複数含む。本実施例では、メッセージログは、監視対象システム内のシステムごとに生成される。ただし、1つのシステムが複数のメッセージログを生成してもよい。
図12のように、情報処理装置は、単一システムログ共起分析部20、分析結果 類似
度算出部22、類似システム算出部24、類似システムログ統合部26、および統合システムログ共起分析部27、フィルタ設定部29の各処理部を有する。情報処理装置のCPU11は、主記憶装置12に実行可能に展開されたコンピュータプログラムにより、図12の各処理部として作用する。ただし、図12に例示した情報処理装置1のいずれかの処理部の少なくとも一部がハードウェア回路であってもよい。
単一システムログ共起分析部20は、監視対象システム内の複数のシステムから発行されるメッセージを蓄積したメッセージログを解析し、単一システムログ共起関係21を出
力する。単一システムログ共起関係21は、監視対象システム内の個々のシステムから発生するメッセ−ジについて、メッセージの種類間での共起確率が所定値以上のものを集めたメッセージの種類のグループである。メッセージの種類間での共起確率が所定値以上のものを集めたメッセージの種類のグループはメッセージパターンとも呼ばれる。ただし、本実施例では、単一システムログ共起関係21は、メッセージの種類のグループ(メッセージパターン)の他、メッセージパターンのメッセージの種類が発生するまでの時間特性である、パターン内メッセージの分布時刻幅を含む。単一システムログ共起分析部20は分析部の一例である。
分析結果類似度算出部22は、監視対象システム内の複数のシステムで共起関係を比較し、分析結果類似度25を出力する。分析結果類似度25は、監視対象システム内の複数のシステム間の類似度を格納する。分析結果類似度算出部22が分析部の一例でもある。
類似システム算出部24は、分析結果類似度25を基に、クラスタリング処理を実行し、クラスタ化されたシステムを作成し、類似システムテーブル23に出力する。さらに、類似システム算出部24は、クラスタリング処理を実行した監視対象システム内のシステムに対して、クラスタリング処理を繰り返す。すなわち、類似システム算出部24は、各単一システム間、クラスタ化されたシステム間、単一システムとクラスタ化されたシステム間で、類似度を算出する。そして、類似システム算出部24は、類似度の値が所定値を超えるか、または、クラスタ化されたシステムを含む監視対象システム内のシステムの数が所定値以下になるまで、クラスタリング処理を繰り返す。類似システム算出部24は、統合部の一例である。
類似システムログ統合部26は、クラスタ化されたシステムについて、クラスタ化される前の各システムのメッセージログを統合し、統合システムログを作成する。統合システムログ共起分析部27は、統合システムログを解析し、統合システムログ共起関係28を出力する。統合システムログ共起分析部27の処理は、処理対象が統合システムログであるが、処理内容は単一システムログ共起分析部20と同様である。単一システムログ共起分析部20の処理と、統合システムログ共起分析部27の処理は、例えば、ログ共起分析部という共通処理にまとめることも可能である。
フィルタ設定部29は、統合システムログ共起関係28を基に、フィルタルールを作成する。フィルタルールは、例えば、共起確率が所定値以上のメッセージパターンについて、メッセージパターンに含まれるメッセージの種類を1つ選択するという規則である。例えば、メッセージパターン[a,b,c]について、メッセージの種類aを選択する規則である。フィルタ部は、フィルタルールにしたがって、監視対象システムのメッセージにフィルタを適用し、監視対象事象を出力する。フィルタ設定部29は、設定部の一例である。
<データの構成とデータ例>
図13に、メッセージログ管理台帳を例示する。メッセージログ管理台帳は、メッセージログファイル名と、システム特定情報との関係を記録する。メッセージログファイル名は、図12の監視対象システムから発行されるメッセージの格納先のファイル名である。また、システム特定情報は、メッセージログファイル名のファイルにメッセージを出力するシステムを特定する情報である。システム特定情報は、例えば、システムが接続されるネットワーク上のホスト名、ネットワーク上のアドレス等である。図13のように、1つのシステム、例えば、sys001に対して、複数のメッセージログファイルが存在し得る。
図14に、メッセージログの構成とデータを例示する。本実施例では、メッセージログ
はメッセージログファイル名で特定される。図14の表で、最初の行は、説明のためのコメント行(タイトル行)である。図14の表で、2行目以降の各行が各メッセージを格納するレコードである。メッセージログの各レコードは、IDと、時刻と、メッセージ種別と、メッセージの各フィールドを有する。
IDは、各メッセージに付与される識別情報であり、例えば、メッセージログ内の通し番号である。ただし、IDは、監視対象システム全体でユニークな識別情報であってもよい。時刻は、メッセージが発行された時刻情報である。図14の例では、時刻は、年月日(例えば、2012-03-13)、時刻(T10:31:02)およびグリニッジ標準時(09:00)を含む。グリニッジ標準時で09:00は、9時間のずれ、つまり日本の時刻を示す。メッセージ種別
は、メッセージの種類を特定する情報である。メッセージの種類は、例えば、監視対象の情報の種類、例えば、センサの識別情報、メモリ等のリソースの識別情報、警報の種別等を特定する。本実施例では、メッセージパターン[1,2,3]、[1*]等は、個々のメッセージに対する共起関係ではなく、メッセージの種類に対する共起関係である。さらに、図14で、メッセージは、各システムから発行される個々のメッセージ例である。
図15は、単一システムログ共起関係21のデータを例示する図である。単一システムログ共起関係21は、単独のシステムごとのメッセージパターンの発生状況、具体的には、例えば、共起確率が所定以上のメッセージ群を記憶する。図15は、システムsys002のデータ例である。図15の表で、最初の行は、説明のためのコメント行(タイトル行)である。図15の表で、2行目以降の各行が共起関係のデータを格納するレコードである。
図15のように、単一システムログ共起関係21の各レコードは、共起メッセージパターンと、パターン出現回数と、パターン内メッセージの分布時刻幅(分)の各フィールドを有する。共起メッセージパターンは、共起確率が所定以上のメッセージ群のメッセージの種類を示す。例えば、[1,2,3]は、メッセージの種類1、2、3のメッセージ群を示す。また。[1*]は、メッセージの種類1の繰り返しによるメッセージ群を示す。
パターン出現回数は、システム内でのメッセージパターンのメッセージがメッセージログ取得期間内に発行された回数である。パターン内メッセージの分布時刻幅(分)は、メッセージパターンのメッセージが1通りそろうまでの時間である。例えば、[1,2,3]のメッセージパターンの例では、分布時刻幅(分)は、種類1のメッセージが発生後、種類2および3のメッセージが発生するまでの時間である。また、例えば、[1*]のメッセージパターンの例は、種類1のメッセージが発生後、次に種類1のメッセージが発生するまでの時間である。
図16に、統合システムログ共起関係28のデータを例示する。統合システムログ共起関係28は、クラスタリングされた複数のシステムのグループに対して、各システム向けに統合されたメッセージログにおける、共起確率が所定以上のメッセージ群を示すデータである。統合されたメッセージログを統合システムログと呼ぶことにする。統合システムログ共起関係28のデータの構成自体は、図15の単一システムログ共起関係21のデータの構成と同一であるので、その説明を省略する。
図17に、分類結果類似度25のデータ例を示す。分類結果類似度25は、監視対象システム内のシステム間の類似度の算出結果を表形式で記述したものである。図17のデータ例では、表の行方向および列方向に、システムの一覧が列挙され、行列位置のエントリに、行位置のシステムと、列位置のシステムとの類似度が記録される。
図18に、類似システムテーブル23を例示する。類似システムテーブル23は、クラスタとクラスタに含まれるシステムの関係表を例示する。図18の表の最初の行は、説明
のためのコメント行(タイトル行)である。図18の表で、2行目以降の各行が類似システムテーブル23のレコードを格納するレコードである。類似システムテーブル23の各レコードは、クラスタIDと、類似度と、類似システムを含む。クラスタIDは、各クラスタを識別する情報である。類似度は、各クラスタ内の類似度である。類似システムは、クラスタに含まれるシステムを識別する情報である。
図19は、図18の類似システムテーブル23をトーナメント形式で図示した例である。図18、図19の例では、例えば、クラスタC01とC04はともに類似度2である。クラスタC01は、システムsys001、sys100を含む。また、クラスタC04は、システムsys098、sys099を含む。また、クラスタC02は、類似度3であり、クラスタC01とシステムsys002を含む。なお、本実施例の図18、図19は、類似度=3で打ち切った事例である。一方、クラスタC03と他のシステム、クラスタとは、類似度が3より大きく、類似度は計算されない。図18、図19の例では、クラスタC03は、システムsys003を含む。
<処理フロー>
図20は、共起分析部の処理を例示するフローチャートである。共起分析部は、図12に例示した単一システムログ共起分析部20および統合システムログ共起分析部27において実行される処理部である。ここでは、単一システムログ共起分析部20および統合システムログ共起分析部27を総称して、共起分析部とし、図20の処理を説明する。
共起分析部は、処理対象となるメッセージログのすべての種類のメッセージについて共起確率を算出する(A1)。ここで、処理対象となるメッセージログは、例えば、単一システムログ共起分析部20については、単独システムのメッセージログである。また、処理対象となるメッセージログは、統合システムログ共起分析部27については、クラスタリングされた統合システムログである。共起分析部は、算出した共起確率を主記憶部12の共起関係テーブルに保持する。ここで、共起関係テーブルは、例えば、処理対象であるメッセージログ内のメッセージの種類のペアに対して、共起確率を設定したテーブルである。
次に、共起分析部は、A1の共起確率の算出結果である共起関係テーブルにしたがい、共起確率が所定値より高いメッセージペアをメッセージログログから抽出する(A2)。A2の処理では、共起分析部は、A1で作成したメッセージの種類のペアのうち、共起確率の高い種類のペアに対応する個々のメッセージペアを抽出する。共起分析部は、抽出したメッセージペアを共起ペアとして主記憶部12に保持する。次に、共起分析部は、同一メッセージを持つメッセージペア同士を連結して共起グループを作成する(A3)。共起分析部は、作成した共起グループを主記憶部12に保持する。そして、共起分析部は、同じ種類のメッセージのグループをまとめてメッセージパターンを作成する(A4)。A4の処理では、共起分析部は、個々のメッセージを有する共起グループから、メッセージの種類間の関係を示すメッセージパターンを作成する。A1の処理では、情報処理装置は、2つのメッセージの種類の間で共起確率を求めて、メッセージペアを作成する前提として、共起確率をメッセージの種類ごとに判定する。一方、A2、A3では、情報処理装置は、メッセージのグループを求めるため、個々のメッセージペアの関係を解析する。このような処理によって、メッセージのグループを精度良く解析できる。そして、A4では、情報処理装置は、得られたメッセージのグループから、メッセージの種類の関係を抽出することで、メッセージパターンを作成する。
共起分析部は、作成したメッセージパターンを主記憶部12のログ共起関係テーブルに保持する。共起関係テーブルは、単一システムログ共起分析部20については、図15の単一システムログ共起関係21であり、統合システムログ共起分析部27については、図16の統合システムログ共起関係28である。図20のA1からA4の処理は、システム
ごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出することの一例である。
図21は、メッセージペア抽出処理(図20のA2)の詳細を例示するフローチャートである。図21の処理開始前、図20のA1の処理により、主記憶装置12の共起関係テーブルには、処理対象となるメッセージログ中のメッセージの種類のペアごとの共起確率が保持されている。共起関係テーブルの各レコードは、例えば、事前メッセージの種類、事後メッセージの種類、および共起確率を含む。
この処理では、情報処理装置は、共起関係テーブルから、共起確率>しきい値であるレ
コードを1件取り出す(A21)。なお、共起関係テーブルのレコード1件を共起ルールと呼ぶ。A21の処理は、メッセージを分類したメッセージの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出することの一例である。以下、共起ルールは、事前メッセージの種類と事後メッセージの種類の組で表現される。例えば、共起ルールは、[1,1]、[1,2]等で記述される。
次に、情報処理装置は、メッセージログからA21で取り出した共起ルールに合致するメッセージのペア(事前メッセージID、事後メッセージID)を抽出する(A22)。情報処理装置は、共起ルールと関連付けて、抽出したメッセージのペアを共起ペアとして主記憶部12に保持する。主記憶部12に保持される共起ペアは、図21のように、共起ルール、事前メッセージID、事後メッセージIDを含む。そして、情報処理装置は、すべての共起ルールを評価したか否かを判定する(A23)。情報処理装置は、すべての共起ルールを評価していない場合、A21の処理をさらに実行する。一方、情報処理装置は、すべての共起ルールを評価した場合、メッセージペア抽出処理を終了する。
図22は、メッセージペア連結処理(図20のA3)の詳細を例示するフローチャートである。図22の処理は、図21で作成した複数のメッセージペアから、メッセージのグループを作成する処理である。この処理では、共起分析部は、まだ評価されていない共起ペア(対象ペアという)を1件取り出す(A31)。そして、共起分析部は、対象ペアの事前メッセージまたは事後メッセージと同じメッセージIDを持つ他の共起ペアを探す(A32)。そして、共起分析部は、他の共起ペアが見つかったか否かを判定する(A33)。他の共起ペアが見つかった場合、共起分析部は、見つけた共起ペアのうち、現在処理中の対象ペアとIDが一致しない方のメッセージを対象ペアと組み合わせて共起グループを作成し、共起グループテーブルに追加する(A34)。なお、共起グループテーブルは、共起グループIDと共起グループIDに属するメッセージIDを対応付けたテーブルである。
次に、情報処理装置は、追加したメッセージを起点として再帰的に共起ペアを探す(A35)。例えば、A34の処理前に共起グループGXにはメッセージID=MSG1、MSG2が含まれており、A32、A33の処理で共起ペアとしてメッセージID=MSG2、MSG3が見つかった場合を想定する。この想定の場合、情報処理装置は、A34の処理で共起グループGXに、メッセージID=MSG3を追加する。そして、情報処理装置は、A35の処理でメッセージID=MSG3を含む共起ペアを起点に、再帰的に、メッセージペア連結処理を呼び出す。この再帰的な呼び出しにより、情報処理装置は、A32−A34で新たに追加されたメッセージ(メッセージID=MSG3)を基にしたメッセージペアのグループ化を実行でき、より大きなメッセージグループを作成できる。
一方、A33の判定で、他の共起ペアが見つからなかった場合、共起分析部は、すべての共起ペアを評価したか否かを判定する(A36)。まだ評価されていない共起ペアが存在する場合、共起分析部は、処理をA31に戻す。一方、すべての共起ペアを評価した場
合、共起分析部は、メッセージペア連結処理を終了する。
図23は、メッセージパターン作成(図20のA4)の詳細を例示するフローチャートである。図23は、図22のメッセージペア連結処理で作成された共起グループに含まれるメッセージの種類を抽出し、メッセージの種類間の関係であるメッセージパターンを作成する処理である。
この処理では、情報処理装置は、主記憶部12に保持された共起グループから、まだ評価されていない共起グループを1件取り出す(A41)。そして、情報処理装置は、共起グループに含まれるメッセージのIDに基づき種類のパターンを作成する(A42)。ここでは、例えば、共起グループID=G001について、メッセージIDと種類が、ID=68563214(種類=1)、ID=68563217(種類=1)、ID=68563218(種類=1)、ID=68563222(種類=2)、ID=68563228(種類=3)、ID=68563232(種類=3)のとき、メッセージパターン[1,2,3]が作成される。
そして、共起分析部は、すべての共起グループを評価したか否かを判定する(A43)。まだ評価されていない共起グループが存在する場合、共起分析部は、処理をA41に戻す。一方、すべての共起グループを評価した場合、共起分析部は、種類のパターンが一致するグループを集計し、メッセージパターンとする。さらに、共起分析部は、(1)集計したグループであるメッセージパターンの個数(2)メッセージの時刻幅を算出する(A44)。そして、共起分析部は、メッセージパターンとメッセージの時刻幅をログ共起関係として主記憶部12に保持する。
図24は、分析結果類似度算出部22の処理を例示するフローチャートである。分析結果類似度算出部22は、単一システムログ共起分析部20の処理結果である単一システムログ共起関係を読み出す(B1)。単一システムログ共起関係は、単独のシステムごとに作成されている。B1では、分析結果類似度算出部22は、例えば、システムaの単一システムログ共起関係を読み出す。
次に、分析結果類似度算出部22は、例えば、システムbの単一システムログ共起関係を読み出す(B2)。そして、分析結果類似度算出部22は、システムaとシステムbの共起関係の距離と類似度を算出する(B3)。分析結果類似度算出部22は、算出した類似度を分類結果類似度(図17参照)として主記憶12に保持する。そして、分析結果類似度算出部22は、すべてのシステムについて評価したか否かを判定する(B4)。分析結果類似度算出部22は、すべてのシステムについて評価していない場合、処理をB1に戻す。B3の処理は、システム間の動作の類似の程度を示す値情報を生成することの一例である。また、B3の処理で算出される類似度は、システム間の動作の類似の程度を示す値情報の一例である。さらにまた、B3の処理は、第1のシステムに対応する第1のログから抽出されたメッセージの種類と、第2のシステムに対応する第2のログから抽出されたメッセージの種類との間の発生状況の比較を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成することの一例である。
図25は、距離と類似度の算出処理(図24のB3)の詳細を例示するフローチャートである。以下、システムaとシステムbに対する処理を例に説明する。この処理では、分析結果類似度算出部22は、システムaとシステムbの共起関係の要素数を調べ、要素数を主記憶部12に保持する(B31)。次に、分析結果類似度算出部22は、システムaのログ共起関係を1件読み出す(B32)。そして、分析結果類似度算出部22は、B32で読み出した共起関係と同一の共起関係をシステムbの共起関係中から探す(B33)。
そして、分析結果類似度算出部22は、B2で読み出した共起関係と同一の共起関係がシステムbの共起関係中で見つかったか否かを判定する(B34)。B34の判定で、同一の共起関係が見つかった場合、分析結果類似度算出部22は、システムaとシステムbで同一の共起関係において、共起関係の分布時刻幅が重複するか否かを判定する(B35)。B34またはB35のいずれかでNの場合、つまり、同一の共起関係が見つからない、または、共起関係の分布時刻幅が重複しない場合、分析結果類似度算出部22は、システムaとシステムbとの距離に1を加算する(B36)。
一方、B34の判定で、同一の共起関係が見つかり、かつ、共起関係の分布時刻幅が重複する場合には、分析結果類似度算出部22は、システムaとシステムbとの距離に1を加算しないで、B37に処理を進める。そして、分析結果類似度算出部22は、すべてのシステムaの共起関係について評価したか否かを判定する(B37)。分析結果類似度算
出部22は、すべてのシステムaの共起関係について評価していない場合に、処理をB3
2に戻す。一方、分析結果類似度算出部22は、すべてのシステムaの共起関係について
評価した場合に、まだ比較されていないシステムbの共起関係を数えて距離に加算する(B38)。
そして、分析結果類似度算出部22は、a,bそれぞれの要素数と距離を用いて類似度を
算出する(B39)。ここで、類似度は、例えば、数2で定義される。分析結果類似度算出部22は、算出した類似度を分類結果類似度(図17)として主記憶部12に保持する。B34,B35、およびB39の処理は、第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成することの一例である。B34の判定で、同一の共起関係が見つからない場合に、B36の処理で加算される距離の値がメッセージの種類の異同の程度の一例である。また、B35の判定で、共起関係の分布時刻幅が重複しない場合に、B36の処理で加算される距離の値が一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度の一例である。なお、類似度が数2の定義に限定されるわけではなく、例えば、分析結果類似度算出部22は、単純に、システムaとシステムbの距離の積算値、システムaとシステムbの距離と、それぞれ重み係数による平均値等を類似度としてもよい。
図26は、類似システム算出部24の処理を例示するフローチャートである。この処理では、類似システム算出部24は、図24の分析結果類似度算出部22の処理で作成した分類結果類似度(図17)から、類似度が最小のエントリを探す(C1)。次に、類似システム算出24は、C1で見出した最小の類似度の値がしきい値以上か否かを判定する(C2)。類似度の値がしきい値未満とは、C1で見出したエントリに対応する類似度の2つのシステムa,bが類似していること意味する。そこで、C2でYの判定の場合、類似システム算出24は、分類結果類似度(図17)の処理中エントリに位置するX軸とY軸のシステムa,bをクラスタ化する(C3)。C3の処理は、値情報が所定の基準を満たすときに、第1のシステムと第2のシステムのクラスタリング処理を行うことの一例である。
次に、類似システム算出24は、C3で作成したクラスタと他のクラスタとの類似度、または、C3で作成したクラスタと他の各システムの類似度を再計算する(C4)。C4の処理は、作成されたクラスタ間または作成されたクラスタとクラスタ化の対象とされなかったシステムとの間で動作の類似の程度を示す値情報を生成することの一例である。また、C5、C6、およびC3の処理は、生成された値情報が所定の基準を満たすときに、作成されたクラスタ間または作成されたクラスタとクラスタ化の対象とされなかったシステムとの間でのクラスタリング処理をさらに行うことの一例である。
次に、類似システム算出24は、再計算した類似度がしきい値以上か否かを判定する(C5)。C5の判定で、再計算した類似度が以上場合(Yの判定)、類似システム算出24は、処理をC7に進める。一方、C5の判定で再計算した類似度がしきい値未満の場合(Nの判定)、つまり、C3で作成したクラスタと他の各システムが類似していると判断できる場合、類似システム算出24は、クラスタ数がしきい値以下か否かを判定する(C6)。C6の判定で、クラスタ数がしきい値より大きい場合(Nの判定)、類似システム算出24は、処理をC1に戻す。一方、C5の判定でクラスタ数がしきい値以下の場合(Yの判定)、類似システム算出24は、処理をC7に進める。なお、C2の判定で最小の類似度の値がしきい値以上の場合、つまり、分析結果類似度のいずれのエントリも、類似したシステムを示していない場合、類似システム算出24は、処理をC7に進める。そして、類似システム算出24は、作成したクラスタを類似システムテーブル23(図18)の類似システムとして、主記憶部12に出力する(C7)。図26のC1−C7の処理は、ログ連関情報に基づき、複数のシステムのクラスタリング処理を行うことの一例である。
図27は、類似システムログ統合部26の処理を例示するフローチャートである。類似システムログ統合部26は、類似システムテーブル23で類似度が小さい順にクラスタ内の類似システム間のログを混合する処理を実行する。この処理では、類似システムログ統合部26は、類似度が小さい順にクラスタを選択し、システム名を1件読み出す(D1)。以下、D1で読み出したシステムを自システムと呼ぶ。次に、類似システムログ統合部26は、読み出した自システムを含むクラスタを1件読み出す(D2)。次に、類似システムログ統合部26は、自システムのメッセージログと類似度を読みだす(D3)。今、自システムのメッセージログログL1と類似度AN1とする。
さらに、類似システムログ統合部26は、クラスタに属する他のシステムを選択し、選択した他のシステムのログをログL2、クラスタの類似度を類似度AN2として読み出す(D4)。そして、類似システムログ統合部26は、2つのログを類似度比で混合する(D5)。次に、類似システムログ統合部26は、現在処理中のクラスタの類似度はしきい値以上か否かを判定する(D6)。類似システムログ統合部26は、現在処理中のクラスタの類似度がしきい値未満の場合、類似システムログ統合部26は、現在のクラスタを含むクラスタを読み出す(D7)。そして、類似システムログ統合部26は、現在処理中の混合ログをログL1、現在の類似度を類似度AN1とする(D8)。そして、類似システムログ統合部26は、D4の処理に進む。
一方、D6の判定で、現在処理中のクラスタの類似度がしきい値以上の場合、類似システムログ統合部26は、作成した混合ログを統合ログとして、例えば、外部記憶部13に出力する(D9)。そして、類似システムログ統合部26は、すべてのシステムについて処理したか否かを判定する(D10)。類似システムログ統合部26は、すべてのシステムについて処理していない場合に、処理をD1に戻す。
図28は、2つのログを類似度で混合する処理(図26のD5)の詳細を例示するフローチャートである。この処理では、類似システムログ統合部26は、2つのメッセージログと、2つの類似度を受け取り、2つのメッセージログを2つの類似度の比で混合する。例えば、類似システムログ統合部26は、ログL1と類似度AN1を読みだす(D51)。次に、類似システムログ統合部26は、ログL2と、ログ1とログ2との間の類似度AN2を読みだす(D52)。そして、類似システムログ統合部26は、類似度AN1、AN2からログL1、L2の繰返し比を求める(D53)。
次に、類似システムログ統合部26は、ログL1を混合ログに書き出す(D54)。そして、類似システムログ統合部26は、繰返しカウントがログL1の繰返し数以上か否か
を判定する(D55)。D55の判定で、繰返しカウントがログL1の繰返し数未満の場合、類似システムログ統合部26は、ログL1の最終時刻を記録する(D56)。さらに、類似システムログ統合部26は、次のログの開始時刻を算出する(D57)。さらに、類似システムログ統合部26は、ログL1の時刻をD57の処理で算出した開始時刻を起点とするようにずらす(D58)。そして、類似システムログ統合部26は、処理をD54に戻し、再度ログL1を混合ログに書き出す。
一方、D55の判定で、繰返しカウントがログL1の繰返し数以上の場合、類似システムログ統合部26は、繰返しカウントを0に設定する(D59)。そして、類似システムログ統合部26は、D57と同様に次のログの開始時刻を算出し、ログL2の時刻を開始時刻が起点となるようにずらす(D60)。そして、類似システムログ統合部26は、ログL2を混合ログに書き出し、繰返しカウントに1を足す(D61)。
次に、類似システムログ統合部26は、繰返しカウントがログL2の繰返し数以上か否かを判定する(D62)。D62の判定で、繰返しカウントがログL2繰返し数未満の場合、類似システムログ統合部26は、ログL2の最終時刻を記録する(D63)。さらに、類似システムログ統合部26は、次のログの開始時刻を算出する(D64)。そして、類似システムログ統合部26は、処理をD60に戻し、再度ログL2を混合ログに書き出す。一方、D62の判定で、繰返しカウントがログ2の繰返し数以上の場合、類似システムログ統合部26は、処理を終了する。
D5、D54、D61の処理は、第1のログと第2のログとを混合することによって第1のログに代わるログを作成することの一例である。同様に、D5、D54、D61の処理は、第1のログと第2のログとを混合することによって第2のログに代わるログを作成することの一例である。また、D56−D58、D60−D64の処理は、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合することの一例である。
図29は、フィルタ設定部29の処理を例示するフローチャートである。フィルタ設定部29は、まず、処理対象となる統合システムログのすべてのメッセージの種類について共起確率を算出する(E1)。E1の処理は、共起分析部のA1の処理(図20)と同様である。フィルタ設定部29は、算出した共起確率を主記憶部12(共起関係テーブル)に保持する。E1の共起確率の算出の仕方に限定がある訳ではない。単純に、メッセージの種類のペアごとに共起確率を算出してもよい。また、例えば、フィルタ設定部29は、特開2014−106851で開示されているように、第1のメッセージが出現した後の第1の期間内に第2のメッセージの種類が出現する第1の確率と、第2のメッセージの種類が出現する前の第2の期間内に第1のメッセージの種類が出現する第2の確率とに基づいて共起関係を示す値を算出し、共起確率としてもよい。ここで、フィルタ設定部29は、第1の確率と第2の確率との平均に基づいて共起確率を算出してもよい。
次に、フィルタ設定部29は、E1の共起確率の算出結果である共起関係テーブルにエントリがあるか、つまり、共起関係が存在するか否かを判定する(E2)。E2の判定で、共起関係が存在する場合、フィルタ設定部29は、共起確率が所定値より高いメッセージの種類のペアをメッセージログログから抽出する(E3)。E3の処理では、共起分析部は、E2で存在が確認された共起関係テーブルのエントリについて、メッセージの種類のペアの共起確率が、しきい値より高い場合に、処理中のエントリの種類のペアを抽出し、共起ペアとして、主記憶部12に保持する。
次に、フィルタ設定部29は、フィルタルールを決定する(E4)。そして、フィルタ設定部29は、決定した共起グループを主記憶部12に保持する。E4の処理で、フィル
タルールの決定の仕方に限定がある訳ではない。例えば、フィルタ設定部29が、種類のペアの一方が検出した場合に、フィルタルールは、一方の種類を無視し、監視対象事象に含めないフィルタルールでもよい。また、例えば、フィルタ設定部29が、種類のペアのいずれかが検出した場合に、フィルタルールは、包括的なメッセージに集約し、複数回のメッセージを監視対象事象に含めないようにするフィルタルールでもよい。そして、類似システムログ統合部26は、すべての共起関係を処理したか否かを判定する(E5)。フィルタ設定部29は、未処理の共起関係がある場合に、処理をE1に戻す。図29のE1−E5の処理は、メッセージを抽出するルールを生成することの一例である。
<実施形態の効果>
以上述べたように、実施例の情報処理装置は、監視対象システムの複数のシステムをクラスタ化し、クラスタ化されたシステムに対して、統合システムログ共起関係を求める。したがって、例えば、単一システムログ共起部20が処理する、個々のシステムから出力されたメッセージ量が少量であっても、統合システムログ共起部27は、クラスタ化されたシステムにより実質的にメッセージ量を増加させて統合システムログ共起関係28を作成できる。その結果、フィルタ設定部29は、実質的にメッセージ量を増加させた結果である統合システムログ共起関係28を用いてフィルタルールを生成でき、単一システムログ共起関係21を用いるよりもフィルタルールの精度を向上できる。その結果、監視対象システム稼働時の比較的早い段階で、フィルタ設定部29は、監視対象システムからのメッセージにフィルタを適用し、重複したメッセージ、同一原因で発生する複数メッセージを低減できる。
特に、情報処理装置の単一システムログ共起分析部20は、監視対象システムの複数のシステムからのメッセージログにおいて所定値以上の共起確率を有するメッセージの種類の共起ルールを基に、メッセージペアを作成する。そして、単一システムログ共起分析部20は、メッセージをグループ化し、メッセージの種類の組み合わせであるメッセージパターンと発生時間間隔を含む単一システムログ共起関係21を作成する。さらに、情報処理装置の分析結果類似度算出部22は、単一システムログ共起関係21を基に、システム間の距離を求め、類似度を算出する。したがって、情報処理装置は、類似度という評価指標を基に、監視対象システム中の各システムから振る舞いが似たシステムを抽出できる。すなわち、単一システムログ共起分析部20は、単一システム間のメッセージの種類の発生状況の比較を基に、類似度を算出できる。
また、情報処理装置の分析結果類似度算出部22は、システム間の距離算出のため、メッセージの種類の異同と、一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔とを用いる。したがって、分析結果類似度算出部22は、監視対象システム中の各システムの振る舞いとして、メッセージの共起確率に基づくフィルタルール作成に関連した評価を行うことができる。
また、情報処理装置の類似システム算出部24は、作成されたクラスタ間または作成されたクラスタとクラスタ化の対象とされなかったシステムとの間でさらに類似度を再計算し、類似度の値がしきい値未満の場合に、さらにクラスタ化を行う。したがって、類似システム算出部24は、システム間で類似度の値がしきい値未満に、より大きなクラスタを作成できる可能性を高めることができる。さらに、類似システム算出部24は、クラスタ数がしきい値以下かどうかを判定することで、一定以上のクラスタ数の範囲でクラスタ化を実行できる。
また、情報処理装置の類似システムログ統合部26は、クラスタ化の対象となる自システムの類似度と、自システムとクラスタ化の対象となる相手システムとの間の類似度に応じて、メッセージログの量の比率を変えて混合する。したがってクラスタ化の対象となる相手システムとの間の類似度に応じて、相手システムのメッセージログを薄める効果があ
り、メッセージログを混合することによる副作用を低減できる。
また、情報処理装置の類似システムログ統合部26は、複数のメッセージログを混合する場合に、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合する。したがって、混合前に存在しなかった共起関係がメッセージログの混合によって発生することが抑制される。
《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD−ROM、CD−R/W、DVD、ブルーレイディスク、DAT、8mmテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ROM(リードオンリーメモリ)等がある。さらに、SSD(Solid State Drive)は、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ
等に固定された記録媒体としても利用可能である。
11 CPU
12 主記憶部
20 単一システムログ共起分析部
21 単一システムログ共起関係
22 分析結果 類似度算出部
23 類似システムテーブル
24 類似システム算出部
25 分析結果類似度
26 類似システムログ統合部
27 統合システムログ共起分析部
28 統合システムログ共起関係
29 フィルタ設定部
<その他>
本実施形態は、以下の態様を含む。以下の態様は付記と呼ばれる。各付記のそれぞれの構成は、他の付記の構成と組み合わせてもよい。
(付記1)
命令を記憶する記憶部と、
該記憶部に記憶された前記命令に従って、システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、抽出された前記共起メッセージ群に基づいて前記システム間の動作の類似の程度を示す値情報を生成し、前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、前記クラスタリング処理により作成されたクラスタにおける共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成するプロセッサと、
を備えたことを特徴とするフィルタルール作成装置。
(付記2)
前記プロセッサは、前記複数のログそれぞれに含まれるメッセージを分類したメッセー
ジの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出し、第1のシステムに対応する第1のログから抽出されたメッセージの種類と、第2のシステムに対応する第2のログから抽出されたメッセージの種類との間の発生状況の比較を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成し、
生成された前記値情報が所定の基準を満たすときに、前記第1のシステムと第2のシステムのクラスタリング処理を行う付記1に記載のフィルタルール作成装置。
(付記3)
前記プロセッサは、前記第1のシステムに対応する第1のログから抽出されたメッセージの種類と、前記第2のシステムに対応する第2のログから抽出されたメッセージの種類における、
(a)前記メッセージの種類の異同の程度、および、
(b)一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度
を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成する付記2に記載のフィルタルール作成装置。
(付記4)
前記プロセッサは、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間で動作の類似の程度を示す値情報を生成し、生成された値情報が所定の基準を満たすときに、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間でのクラスタリング処理をさらに行う付記1からの3のいずれか1項に記載のフィルタルール作成装置。
(付記5)
前記プロセッサは、前記クラスタリング処理において、
第1のシステムで発生する第1のログに対して生成される一の値情報と、前記第1のロ
グと第2のシステムで発生する第2のログとの間で生成される相互の値情報とにしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第1のログに代わるログを作成し、
前記第2のログに対して生成される一の値情報と、前記第1のログと前記第2のログとの間で生成される前記相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第2のログに代わるログを作成する付記1から4のいずれか1項に記載のフィルタルール作成装置。
(付記6)
前記プロセッサは、前記クラスタリング処理において、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合する付記1から5のいずれか1項に記載にフィルタルール作成装置。
(付記7)
分析部が、システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、抽出された共起メッセージ群から前記システム間の動作の類似の程度を示す値情報を生成し、
統合部が、前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、
設定部が、前記クラスタリング処理により作成されたクラスタにおける共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成する、フィルタルール作成方法。
(付記8)
前記分析部は、前記複数のログそれぞれに含まれるメッセージを分類したメッセージの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出し、第1のシステムに対応する第1のログから抽出されたメッセージの種類と、第2のシステムに対応する第2のログから抽出されたメッセージの種類との間の発生状況の比較を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成し、
前記統合部は、前記分析部で生成された前記値情報が所定の基準を満たすときに、前記
第1のシステムと第2のシステムのクラスタリング処理を行う付記7に記載のフィルタルール作成方法。
(付記9)
前記分析部は、前記第1のシステムに対応する第1のログから抽出されたメッセージの種類と、前記第2のシステムに対応する第2のログから抽出されたメッセージの種類における、
(a)前記メッセージの種類の異同の程度、および、
(b)一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度
を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成する付記8に記載のフィルタルール作成方法。
(付記10)
前記分析部は、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間で動作の類似の程度を示す値情報を生成し、生成された値情報が所定の基準を満たすときに、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間でのクラスタリング処理をさらに行う付記7から9のいずれか1項に記載のフィルタルール作成方法。
(付記11)
前記統合部は、前記クラスタリング処理において、
第1のシステムで発生する第1のログに対して生成される一の値情報と、前記第1のロ
グと第2のシステムで発生する第2のログとの間で生成される相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第1のログに代わるログを作成し、
前記第2のログに対して生成される一の値情報と、前記第1のログと前記第2のログとの間で生成される前記相互の値情報とにしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第2のログに代わるログを作成する付記7から10のいずれか1項に記載のフィルタルール作成方法。
(付記12)
前記統合部は、前記クラスタリング処理において、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合する付記7から11のいずれか1項に記載にフィルタルール作成方法。
(付記13)
コンピュータに、
システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、
抽出された共起メッセージ群から前記システム間の動作の類似の程度を示す値情報を生成し、
前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、
前記クラスタリング処理により作成されたクラスタにおける共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成する、ことを実行させるためのフィルタルール作成プログラム。
(付記14)
前記複数のログそれぞれに含まれるメッセージを分類したメッセージの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出し、第1のシステムに対応する第1のログから抽出されたメッセージの種類と、第2のシステムに対応する第2のログから抽出されたメッセージの種類との間の発生状況の比較を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成し、
生成された前記値情報が所定の基準を満たすときに、前記第1のシステムと第2のシステムのクラスタリング処理を行うことをさらに実行させるための付記13に記載のフィルタルール作成プログラム。
(付記15)
前記第1のシステムに対応する第1のログから抽出されたメッセージの種類と、前記第2のシステムに対応する第2のログから抽出されたメッセージの種類における、
(a)前記メッセージの種類の異同の程度、および、
(b)一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度
を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成することをさらに実行させるための付記14に記載のフィルタルール作成プログラム。(付記16)
作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間で動作の類似の程度を示す値情報を生成し、生成された値情報が所定の基準を満たすときに、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間でのクラスタリング処理をさらに実行させるための付記13から15のいずれか1項に記載のフィルタルール作成プログラム。
(付記17)
前記クラスタリング処理において、
第1のシステムで発生する第1のログに対して生成される一の値情報と、前記第1のロ
グと第2のシステムで発生する第2のログとの間で生成される相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第1のログに代わるログを作成し、
前記第2のログに対して生成される一の値情報と、前記第1のログと前記第2のログとの間で生成される前記相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第2のログに代わるログを作成することをさらに実行させるための付記14から16のいずれか1項に記載のフィルタルール作成プログラム。
(付記18)
前記プロセッサは、前記クラスタリング処理において、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合することをさらに実行させるための付記13から17のいずれか1項に記載にフィルタルール作成プログラム。

Claims (8)

  1. 命令を記憶する記憶部と、
    該記憶部に記憶された前記命令に従って、システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、抽出された前記共起メッセージ群に基づいて前記システム間の動作の類似の程度を示す値情報を生成し、前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、抽出した前記共起メッセージ群のうち前記クラスタリング処理により作成されたクラスタに属する各システムからのログに出現する共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成するプロセッサと、
    を備えたことを特徴とするフィルタルール作成装置。
  2. 分析部が、システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、抽出された共起メッセージ群から前記システム間の動作の類似の程度を示す値情報を生成し、
    統合部が、前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、
    設定部が、抽出された前記共起メッセージ群のうち前記クラスタリング処理により作成されたクラスタに属する各システムからのログに出現する共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成する、フィルタルール作成方法。
  3. 前記分析部は、前記複数のログそれぞれに含まれるメッセージを分類したメッセージの種類間で所定値以上の共起確率を有するメッセージの種類の組み合わせを抽出し、第1のシステムに対応する第1のログから抽出されたメッセージの種類と、第2のシステムに対応する第2のログから抽出されたメッセージの種類との間の発生状況の比較を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成し、
    前記統合部は、前記分析部で生成された前記値情報が所定の基準を満たすときに、前記第1のシステムと第2のシステムのクラスタリング処理を行う請求項2に記載のフィルタルール作成方法。
  4. 前記分析部は、前記第1のシステムに対応する第1のログから抽出されたメッセージの
    種類と、前記第2のシステムに対応する第2のログから抽出されたメッセージの種類における、
    (a)前記メッセージの種類の異同の程度、および、
    (b)一の種類のメッセージの繰り返しの時間間隔又は複数の種類のメッセージの共起のための時間間隔を含む発生時間特性の異同の程度
    を基に前記第1のシステムと第2のシステムとの間の動作の類似の程度を示す値情報を生成する請求項3に記載のフィルタルール作成方法。
  5. 前記分析部は、作成された前記クラスタ間、または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間で動作の類似の程度を示す値情報を生成し、生成された値情報が所定の基準を満たすときに、作成された前記クラスタ間または作成された前記クラスタとクラスタ化の対象とされなかったシステムとの間でのクラスタリング処理をさらに行う請求項2から4のいずれか1項に記載のフィルタルール作成方法。
  6. 前記統合部は、前記クラスタリング処理において、第1のシステムで発生する第1のロ
    グに対して生成される一の値情報と、前記第1のログと第2のシステムで発生する第2のログとの間で生成される相互の値情報にしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第1のログに代わるログを作成し、
    前記第2のログに対して生成される一の値情報と、前記第1のログと前記第2のログとの間で生成される前記相互の値情報とにしたがった比率で、前記第1のログと前記第2のログとを混合することによって前記第2のログに代わるログを作成する請求項2から5のいずれか1項に記載のフィルタルール作成方法。
  7. 前記統合部は、前記クラスタリング処理において、1つのログと他のログとの発生時間が重複しないようにメッセージの発生時刻をシフトして複数のログを混合する請求項2から6のいずれか1項に記載にフィルタルール作成方法。
  8. コンピュータに、
    システムごとにシステム内で発生したメッセージを蓄積した複数のログから共起確率に基づいて共起メッセージ群を抽出し、
    抽出された共起メッセージ群から前記システム間の動作の類似の程度を示す値情報を生成し、
    前記値情報に基づき、前記複数のシステムのクラスタリング処理を行い、
    抽出した前記共起メッセージ群のうち前記クラスタリング処理により作成されたクラスタに属する各システムからのログに出現する共起メッセージ群に基づき、各クラスタに含まれるシステムそれぞれのログからメッセージを抽出するルールを生成する、ことを実行させるためのフィルタルール作成プログラム。
JP2014205805A 2014-10-06 2014-10-06 フィルタルール作成装置、フィルタルール作成方法、およびプログラム Active JP6503679B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014205805A JP6503679B2 (ja) 2014-10-06 2014-10-06 フィルタルール作成装置、フィルタルール作成方法、およびプログラム
US14/851,198 US9906476B2 (en) 2014-10-06 2015-09-11 Filter rule generation apparatus and filter rule generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014205805A JP6503679B2 (ja) 2014-10-06 2014-10-06 フィルタルール作成装置、フィルタルール作成方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2016076075A JP2016076075A (ja) 2016-05-12
JP6503679B2 true JP6503679B2 (ja) 2019-04-24

Family

ID=55633637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014205805A Active JP6503679B2 (ja) 2014-10-06 2014-10-06 フィルタルール作成装置、フィルタルール作成方法、およびプログラム

Country Status (2)

Country Link
US (1) US9906476B2 (ja)
JP (1) JP6503679B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10587555B2 (en) * 2015-09-01 2020-03-10 Sap Portals Israel Ltd. Event log analyzer
US9813357B2 (en) * 2015-11-03 2017-11-07 Gigamon Inc. Filtration of network traffic using virtually-extended ternary content-addressable memory (TCAM)
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
JP6643211B2 (ja) * 2016-09-14 2020-02-12 株式会社日立製作所 異常検知システム及び異常検知方法
JP6803754B2 (ja) * 2017-01-16 2020-12-23 株式会社日立製作所 ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法
JP2018132841A (ja) * 2017-02-13 2018-08-23 富士通株式会社 プログラム、情報処理装置および情報処理装置の制御方法
CN108694107B (zh) * 2017-04-10 2022-01-07 北京京东尚科信息技术有限公司 消息队列的积压量监控方法、装置、可读介质和电子设备
JP6794909B2 (ja) * 2017-04-13 2020-12-02 富士通株式会社 メッセージ出力プログラム、メッセージ出力方法及びメッセージ出力装置
CN107301120B (zh) * 2017-07-12 2021-04-30 北京京东尚科信息技术有限公司 用于处理非结构化日志的方法及装置
US11442995B2 (en) * 2020-10-21 2022-09-13 Servicenow, Inc. Filtering of log search results based on automated analysis
WO2023129599A2 (en) * 2021-12-28 2023-07-06 Trellisware Technologies, Inc. Clustered coherent distributed spatial multiplexing in wireless communication networks
US20230325296A1 (en) * 2022-04-10 2023-10-12 Cyberproof Israel Ltd. System and method for generating one or more aggregation rules configured to be utilized by a log collector

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3951800B2 (ja) 2001-11-16 2007-08-01 日本電信電話株式会社 相関ルール分析装置と方法およびプログラムと記録媒体
US7131037B1 (en) * 2002-06-05 2006-10-31 Proactivenet, Inc. Method and system to correlate a specific alarm to one or more events to identify a possible cause of the alarm
JP4746850B2 (ja) * 2004-06-21 2011-08-10 富士通株式会社 パターン生成プログラム
US7721152B1 (en) * 2004-12-21 2010-05-18 Symantec Operating Corporation Integration of cluster information with root cause analysis tool
US7817564B2 (en) * 2006-07-31 2010-10-19 Cisco Technology, Inc. Method and system for handling fault messages in a network
JP5428934B2 (ja) * 2010-02-22 2014-02-26 富士通株式会社 障害パターン生成プログラムおよび障害パターン生成装置
JP5541130B2 (ja) * 2010-12-10 2014-07-09 富士通株式会社 管理装置、管理方法および管理用プログラム
US9213590B2 (en) * 2012-06-27 2015-12-15 Brocade Communications Systems, Inc. Network monitoring and diagnostics
JP5798095B2 (ja) * 2012-08-10 2015-10-21 日本電信電話株式会社 ログ生成則作成装置及び方法
JP2014106851A (ja) 2012-11-29 2014-06-09 Fujitsu Ltd 情報処理装置、情報処理方法及びプログラム
JP2017111601A (ja) * 2015-12-16 2017-06-22 富士通株式会社 調査対象特定プログラム、および調査対象特定方法

Also Published As

Publication number Publication date
US9906476B2 (en) 2018-02-27
US20160099898A1 (en) 2016-04-07
JP2016076075A (ja) 2016-05-12

Similar Documents

Publication Publication Date Title
JP6503679B2 (ja) フィルタルール作成装置、フィルタルール作成方法、およびプログラム
CN110019396B (zh) 一种基于分布式多维分析的数据分析系统及方法
US9959015B2 (en) Systems and methods for monitoring and analyzing performance in a computer system with node pinning for concurrent comparison of nodes
US20200279107A1 (en) Digital image-based document digitization using a graph model
US9251221B1 (en) Assigning scores to objects based on search query results
CN103748579B (zh) 在映射化简框架中处理数据
CN111885040A (zh) 分布式网络态势感知方法、系统、服务器及节点设备
US20160055044A1 (en) Fault analysis method, fault analysis system, and storage medium
JP2017111601A (ja) 調査対象特定プログラム、および調査対象特定方法
US20060294220A1 (en) Diagnostics and resolution mining architecture
JP6665784B2 (ja) ログ分析システム、ログ分析方法およびログ分析プログラム
WO2011139393A1 (en) Dynamic adaptive process discovery and compliance
Qu et al. Efficient online summarization of large-scale dynamic networks
CN113254255B (zh) 一种云平台日志的分析方法、系统、设备及介质
WO2017092444A1 (zh) 基于Hadoop的日志数据挖掘方法及系统
JP2006260056A (ja) 統合運用管理サーバ、統合的な運用管理のためのメッセージの抽出方法、及び、プログラム
US8134935B2 (en) Transaction topology discovery using constraints
KR20190022434A (ko) 데이터베이스 시스템의 최적화 방법, 시스템, 전자장치 및 저장매체
US20210232483A1 (en) Log analysis device, log analysis method, and program
JP2013149061A (ja) 文書類似性評価システム、文書類似性評価方法およびコンピュータ・プログラム
CN113157473A (zh) 一种对多维日志的故障根因定位方法和装置
GB2576663A (en) Validation of search query in data analysis system
CN103136440A (zh) 数据处理方法和装置
WO2016199411A1 (ja) ログ表示装置とログ表示方法およびログ表示プログラム
CN114201369A (zh) 一种服务器集群管理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R150 Certificate of patent or registration of utility model

Ref document number: 6503679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150