JP5798095B2 - ログ生成則作成装置及び方法 - Google Patents

ログ生成則作成装置及び方法 Download PDF

Info

Publication number
JP5798095B2
JP5798095B2 JP2012178411A JP2012178411A JP5798095B2 JP 5798095 B2 JP5798095 B2 JP 5798095B2 JP 2012178411 A JP2012178411 A JP 2012178411A JP 2012178411 A JP2012178411 A JP 2012178411A JP 5798095 B2 JP5798095 B2 JP 5798095B2
Authority
JP
Japan
Prior art keywords
template
rule
monitoring target
target device
ids
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012178411A
Other languages
English (en)
Other versions
JP2014035749A (ja
Inventor
達明 木村
達明 木村
森　達哉
達哉 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012178411A priority Critical patent/JP5798095B2/ja
Publication of JP2014035749A publication Critical patent/JP2014035749A/ja
Application granted granted Critical
Publication of JP5798095B2 publication Critical patent/JP5798095B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Description

本発明は、ログ生成則作成装置及び方法に係り、特に、多種多様な機械が出力するログ情報から利用者にとって有用な情報を抽出するためのルール作成装置及び方法に関する。
詳しくは、利用者が監視対象装置の生成するログの形式の生成則を事前に直接的に知ることなく、必要な情報(ルール)を抽出するためのログ生成則作成装置及び方法に関する。
今日、 コスト削減を主な理由として、異なる製造元の、異なる役割を持つ機器、ソフトウェアの一元的な監視・管理が行われている。一方で、こうした多種多様な機器やソフトウェアはそれぞれ独自の形態を持つログを出力する機構を有しており、 機器の監視・管理を行う際において使用される。情報機器の発展に伴い、これらのログ情報は複雑かつ大規模化しており、効率的な監視方法が必要となっている。
こうした中で、ログ分析を簡略化するための分析基盤がある（例えば、非特許文献１参照）。しかし、これを利用するためには、個々のログの発生する意味やログメッセージの内容に関しての事前知識が必要となり、膨大で複雑なログに対しての適用には不向きとなる。
また、以前に生起したエラーログに対してログ番号を付与し、ある一定期間保持しておき、同じエラーログ番号が再度起こる度にこれを通知する障害情報の管理方法が知られている。
一方、ルータなどのネットワーク機器の生成するsyslogを対象とし、ベンダやメッセージタイプ、エラーコード、詳細なメッセージ内容といったある程度の形式を事前に与えられた場合におけるテンプレートの把握法を与える技術がある（例えば、非特許文献２参照）。当該技術は、ルータの位置関係などを利用して、syslog のダイジェスト情報を表示する手法を提案している。
こうした中で、事前情報を用いた、対象がsyslogのみではない一般的なログのテンプレートを抽出する方法がある。
Splunk http://www.splunk.com/ T. Qiu, Z. Ge, D. Pei, J. Wang, J, Xu,"What Happened in my Network? Mining Network Events from Router Syslogs", In IMC, 2010.
しかしながら、上記の非特許文献１の技術は、機械の生成するログには実際に発生した事象を意味するメッセージ部分と、エラーコードや、ID番号、起こった場所、時間等のエラーコード特有の値や単語が含まれており、実際は発生した事象が同じであってもエラーログが一意に定まらないことが多い。このため、同じ事象の発生を意味するログが別々の番号で管理されてしまうことになり、非効率的かつ有用とは言えない。
また、非特許文献２の技術では、少なくとも情報を収集する段階での事前知識が必要である。例えば、どのベンダからログを収集しているか、メッセージ内のどの部分がエラーコードを示しているのかといったことを把握しておかなければならず、テンプレート把握機構を単純に用意するだけでなく、事前の手動での入力や準備が必要となる。また、syslog のダイジェスト表示機能は、syslogに特化した手法であるために、その他の監視ログ情報への適用ができないという問題がある。
また、事前情報を用いた、対象がsyslog のみではない一般的なログのテンプレートを抽出する方法では、テンプレートだけではログの意味付けが難しく、 複数生起するログ間の関係を自動的に把握する技術が必要となる。
本発明は、上記の点に鑑みなされたもので、利用者が、観視対象装置の生成するログメッセージの内容を直接的に知ることなく、その利用者にとって有用なログ生起則(ルール)を抽出することが可能なログ生成則作成装置及び方法を提供することを目的とする。
上記の課題を解決するため、本発明（請求項１）は、監視対象機器のログ型式の生成則（ルール）を生成するためのログ生成則作成装置であって、
少なくとも前記監視対象機器のログメッセージ(以下、「ログ」と記す)、該ログメッセージ内の重要な部分（以下、「テンプレート」と記す）を格納したログ・テンプレート情報記憶手段を参照し、過去に生起したログに対応するテンプレートを抽出するテンプレート抽出手段と、
読み込んだログを分割したログ系列から、同時生起性の高い監視対象機器とテンプレートとの組を、イベントとしてグループ記憶手段に格納するグループ生成手段と、
前記グループ記憶手段の各イベントを読み出して、同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一の監視対象機器ＩＤと対応付けられた１つ以上のテンプレートＩＤを抽出し、抽出した１つ以上のテンプレートＩＤを該監視対象機器ＩＤに対応付けてテンプレートルール候補としてテンプレートルール候補記憶手段に格納する処理を全イベントについて繰り返し、該テンプレートルール候補記憶手段に格納されたテンプレートルール候補同士を比較して、テンプレートルール候補同士の間でテンプレートＩＤの組の類似度が所定の閾値より高く、監視対象機器ＩＤが異なるものが所定の数以上存在するという条件を満たすテンプレートルール候補を抽出し、抽出したテンプレートルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けてテンプレートルールとしてルール記憶手段に格納する、或いは、同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一のテンプレートＩＤと対応付けられた１つ以上の監視対象機器ＩＤを抽出し、抽出した１つ以上の監視対象機器ＩＤを該テンプレートＩＤに対応付けて監視対象機器ルール候補として監視対象機器ルール候補記憶手段に格納する処理を全イベントについて繰り返し、該監視対象機器ルール候補記憶手段に格納された監視対象機器ルール候補同士を比較して、監視対象機器ルール候補同士の間で監視対象機器ＩＤの組の類似度が所定の閾値より高く、テンプレートＩＤが異なるものが所定の数以上存在するという条件を満たす監視対象機器ルール候補を抽出し、抽出した監視対象機器ルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けて監視対象機器ルールとしてルール記憶手段に格納するルール把握手段と、を有する。
また、本発明（請求項２）は、前記ルール把握手段において、
前記グループ記憶手段の同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一の監視対象機器ＩＤと対応付けられた１つ以上のテンプレートＩＤを抽出し、抽出した１つ以上のテンプレートＩＤを該監視対象機器ＩＤに対応付けてテンプレートルール候補としてテンプレートルール候補記憶手段に格納する処理を全イベントについて繰り返し、該テンプレートルール候補記憶手段に格納された全テンプレートルール候補について、テンプレートルール候補同士を比較して、テンプレートルール候補同士の間でテンプレートＩＤの組の類似度が所定の閾値よりも高く、監視対象機器ＩＤが異なるものが所定の数以上存在するという条件を満たすテンプレートルール候補を抽出し、抽出したテンプレートルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けてテンプレートルールとするテンプレートルール抽出手段と、
前記グループ記憶手段の同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一のテンプレートＩＤと対応付けられた１つ以上の監視対象機器ＩＤを抽出し、抽出した１つ以上の監視対象機器ＩＤを該テンプレートＩＤに対応付けて監視対象機器ルール候補として監視対象機器ルール候補記憶手段に格納する処理を全イベントについて繰り返し、該監視対象機器ルール候補記憶手段に格納された全監視対象機器ルール候補について、監視対象機器ルール候補同士を比較して、監視対象機器ルール候補同士の間で監視対象機器ＩＤの組の類似度が所定の閾値よりも高く、テンプレートＩＤが異なるものが所定の数以上存在するという条件を満たす監視対象機器ルール候補を抽出し、抽出した監視対象機器ルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けて監視対象機器ルールとする監視対象機器ルール抽出手段と、を含む。
また、本発明（請求項３）は、前記ログ・テンプレート情報記憶手段が、監視情報ラベルを含み、
前記テンプレートルールの監視対象機器ＩＤのリストに含まれる監視対象機器ＩＤのうち、共通の監視情報ラベルを持つものが所定の割合以上あれば、該監視対象機器ＩＤを該監視情報ラベルで置き換える手段を更に有する。
また、本発明（請求項４）は、前記ログ・テンプレート情報記憶手段が、テンプレートラベルを含み、
前記監視対象機器ルールのテンプレートＩＤのリストに含まれるテンプレートＩＤのうち、共通のテンプレートラベルを持つものが所定の割合以上あれば、該テンプレートＩＤを該テンプレートラベルで置き換える手段を更に有する。
上述のように本発明によれば、利用者が監視対象機器が生成するログメッセージの内容を直接的に知ることなく、当該利用者にとって有用なログ生成則を抽出することが可能となる。
本発明の一実施の形態におけるシステム構成図である。 本発明の一実施の形態におけるルール作成装置の構成図である。 本発明の一実施の形態におけるルール作成装置の処理のフローチャートである。 本発明の第１の実施例のシステムの概略図（オフライン利用例）である。 本発明の第２の実施例のシステムの概略図（オンライン利用例）である。
以下、図面と共に本発明の実施の形態を説明する。
図１は、本発明の一実施の形態におけるシステム構成を示す。
同図に示すシステムは、複数の監視対象装置群３、監視対象装置群３からログを収集し、ログＤＢ２０に出力するログ収集装置１０、ログＤＢ２０を読み込んで、ログメッセージからテンプレートを生成し、ラベルを付与して、ログ・テンプレート・ラベル情報ＤＢ４０に格納するログ編集装置３０、ログ・テンプレート・ラベル情報ＤＢ４０の情報を読み込んでログ生成則（ルール）を生成し、ルールＤＢ２００に格納するログ生成則（ルール）作成装置１００から構成される。なお、図１では、ログ収集装置１０とログ編集装置３０を分けて記載しているが、この例に限定されることなく、１つの装置としてもよい。
上記のログ収集装置１０、ログ編集装置３０は、既存技術により実現可能である。ログ収集装置１０は、監視対象装置３からログを収集し、ログDB２０に格納するログ編集装置３０は、例えば、ログDB２０からログメッセージを取得して、該ログメッセージに含まれる各単語に対して、該単語の出現位置、単語、該ログメッセージに含まれる単語数に対して出現頻度の組に基づいてスコアを算出し、該スコアに基づいてクラスタリングを行うことにより、テンプレートを生成し、DBに格納する方法を用いることが可能である。また、利用状況に応じて、サービス型式、ログ優先度・重要度などのラベル付けがされているものとする。ラベルは、利用者が必要に応じて与えるものであり、無くても構わない。
ログＤＢ２０のログには、当該ログを生成した監視対象機器３を指し示す情報が含まれており、監視対象機器を特定できるものとする。
ルール作成装置１００は、ログ・テンプレート・ラベル情報ＤＢ４０を参照し、過去に生起したログ情報がどのテンプレートに一致するかを調べ、特定の時間幅やサービス提供タイプ、監視対象機器３毎にテンプレートの同時生起性の高いものをクラスタリングし、監視対象機器及びテンプレートのグループをイベントとして保存する。得られた各イベントのテンプレート及び監視対象機器に対して、生起回数を数え上げ、出現回数の多いものをログ生起ルールとしてルールＤＢ２００に出力する。
以下に、ルール作成装置１００について説明する。
図２は、本発明の一実施の形態におけるルール作成装置の構成を示す。
同図に示すルール作成装置１００は、テンプレートID抽出部１１０、ログ分割部１２０、グループ生成部１３０、ルール把握部１４０、ルール併合部１５０、グループ記憶部１６０、テンプレートルール候補記憶部１７０、監視対象機器ルール候補記憶部１８０から構成される。
ルール把握部１４０は、テンプレートルール把握部１４１、監視対象機器ルール把握部１４２を有する。
グループ記憶部１６０、テンプレートルール候補記憶部１７０、監視対象機器ルール候補記憶部１８０は、当該ルール作成装置１００の内部に具備されるメモリやハードディスク等の記憶媒体である。
図３は、本発明の一実施の形態におけるルール作成装置の処理のフローチャートである。
以下に示す前提として、各監視対象機器３には、固有の監視対象機器ＩＤが割り振られ、同様に各テンプレートにもテンプレートＩＤが付与され、ログと共にログ・テンプレート・ラベル情報ＤＢ４０に格納されているものとする。
ステップ１０１） テンプレートＩＤ抽出部１１０は、ログ・テンプレート・ラベル情報ＤＢ４０から、データを読み込み、過去に生起したログメッセージを、生起した時間、監視対象機器固有のＩＤと共に、どのログテンプレートに一致するかを調べ、一致するログテンプレートＩＤを抽出する。
ステップ１０２） ログ分割部１２０は、読み込んだログを、特定の時間幅（１日単位など）やサービス提供タイプ、監視対象機器群タイプなど、M個の意味のある区切りSm(m＝１，２，…，M)に分割する。
ステップ１０３） グループ生成部１３０は、ログ分割部１２０で分割された各系列Sm内において、監視対象機器及びテンプレートの同時生起性の高さを比較してクラスタリングを行い、同時生起性の高い監視対象機器及びテンプレートのグループを作成し、グループ記憶部１６０に格納する。クラスタリングには様々な手法が考えられるが、一つの実現方法として、非負値行列分割（例えば、非特許文献３：D. D. Lee and H. S. Seung, "Algorithms for Non-negative Matrix Factorization," In Proc. of NIPS, 2000）を用いた手法について説明する。
以下の要領で各ログ系列Smに対して、テンプレート生起行列Vmを作成する。
１）各系列Sm内に出現する｛監視対象機器固有ID、ログテンプレートID｝をqi（ｉ＝１，２，…，Qm）と表し、合計Qm個の｛監視対象機器固有ID、ログテンプレートID｝の組が出現していたとする。qiのインデックスiをテンプレートの生起行列Vmの行番号に対応させる。
２）ログ系列の開始時から終了時までを適切な時間幅（1 sec.など）で区切り、各時間窓をｔj（j＝１，２，…，Tm）とする。なお、TmはSm内の時間窓の個数である。時間窓のインデックスｊはテンプレート生起行列Vmの列番号に対応しているものとする。
３）各時間窓ｔjで｛監視対象機器固有ID，ログテンプレートID｝qiが生起していれば行列Vmの（i,j）成分にその生起回数を記録する。
４） 続いて、非負値行列分解（非特許文献３）を用いて、テンプレート生起行列の素性を把握する。非負値行列分解は初期値に依存して結果が変わるため、何度か実行した後に、非負値分解のコスト関数が最小となる結果を採用する。
５） 非負値行列分解で得られる素性の数Kは事前に与える必要があるが、行列Vmの行の大きさQmに応じて適宜設定するものとする（例：Qm =250なら、K=100など）。
６） 非負値行列分解による出力をQm×K行列W m及びK×行列H mとする。
７） W mの各列ベクトルｗm,k（k＝１，２，…,K）に対して、成分[wm,k]iを、値の大きい順にソートし、順に足し上げていったときにある閾値（0.9など）を超えるところまでの成分に対応するｑiを１つのグループとする。このグループをイベントと呼び、em,kで表す。
８）qiの定義より、各イベントem,kは、｛監視対象機器固有ID，ログテンプレートID｝の集合となり、これはログ系列Sm内で出現した、同時生起する確率の高い｛監視対象機器固有ID，ログテンプレートID｝の集合と考えることができる。各系列Smのうち、関連しているものを任意で選ぶことが可能である。例えば、同一サービスタイプで、時系列が連続しているものなどが挙げられるが、利用状況に応じて選択することが可能である。
ステップ１０４） ルール把握部１４０は、グループ記憶部１６０から系列Smを取得して、選択された系列Smから出力されたイベント群em,kに対して、以下の操作を実行し、ルールの把握を行う。
対象とする全イベント群を{el：ｌ＝１，…,E}とし、イベントelに含まれる｛監視対象機器固有ID，ログテンプレートID｝の組を{qli：ｉ＝1，…，Q l }とする。
把握したいルールの種類に応じて、｛監視対象機器固有ID，ログテンプレートID｝の要素を選択し、以下に説明する２種類のルール把握を行う。
ステップ１０４（a））テンプレートルールの把握：
ルール把握部１４０のテンプレートルール把握部１４１は、同一イベントに含まれるqiのテンプレートIDのうち、同一の監視対象機器固有IDと対応付けられているものを探し、これらのテンプレートの組と監視対象機器固有IDをテンプレートルール候補記憶部１７０に保持する。例えば、あるイベントeiが、｛（１，１０）、（１，１１）、（１，１２）、（２，２０）｝という構成であれば、（１、[１０，１１，１２]）としてテンプレートルール候補記憶部１７０に保存する。これをテンプレートルール候補と呼ぶ。
ステップ１０５〜１０８）全イベントについてこれを繰り返し、得られた全テンプレートルール候補について、以下の操作を行い、確定したルールとして出力する。ルール併合部１５０は、ルール同士を比較し、テンプレートIDの組との類似度がある閾値よりも高く、監視対象機器固有IDが異なるものがC個以上存在すれば、これらをまとめてテンプレートルールとしてルールDB２００に出力する。
テンプレートIDの組の類似度の比較には様々な方法が考えられるが、例えば、Jaccard係数が挙げられる。この場合、２つのルール候補のテンプレートの組がA、Bで与えられたとき、１（A∩B）/1(A∪B)で計算できる。但し、１（A）はA内に含まれるIDの数を表す。
ステップ１０７） 得られたテンプレートレートルールは、ルール併合部１５０の抽象化部１５１において、監視情報ラベルを用いて抽象化を行うことができる。テンプレートルールを｛[監視対象機器IDリスト]⇒[テンプレートIDリスト]｝という形で表現したときに、監視対象機器IDリストに含まれる監視対象機器IDのうち、共通のラベルを持つものがある割合以上あれば、そのラベルによってこれを置き換え、｛監視対象機器ラベル⇒[テンプレートIDリスト]｝という形に置き換える。もしラベルが無ければ、｛*⇒[テンプレートIDリスト]｝のように監視対象機器IDリストそのものを省略することもできる。
ステップ１０４(b)）以下、同様に、監視対象機器ルールの把握法について説明する。監視対象機器ルール把握部１４２は、グループ記憶部１６０から系列Smを取得して、同一イベント内に含まれるqiの監視対象機器IDのうち、同一テンプレートIDと対応付けられているものを探し、このテンプレートと監視対象機器ID列を監視対象機器ルール候補記憶部１８０に保存する。例えば、あるイベントelが{(１，１０)，（２，１０）}という構成であれば、｛[１，２]，１０｝として監視対象機器ルール候補記憶部１８０に保存する。これを監視対象機器ルール候補と呼ぶ。
ステップ１０５〜１０８） 全イベントにこれを繰り返し、ルール併合部１５０は、得られた全ルール候補についてルール同士を比較し、監視対象機器IDの組との類似度がある閾値より高く、テンプレートIDが異なるものがC個以上存在すれば、これらをまとめて監視対象機器ルールとしてルールDB２００に出力する。
ステップ１０７） また、得られた監視対象機器ルールは、ルール併合部１５０内の抽象化部１５１において、テンプレートラベルを用いて抽象化を行うことができる（ステップ１０７）。監視対象機器ルールを{[監視対象機器IDリスト]⇒[テンプレートIDリスト]}という形で表現したときに、テンプレートIDリストに含まれるテンプレートIDのうち、共通のラベルを持つものがある割合以上あれば、そのラベルによってこれを置き換え{[監視対象機器IDリスト]⇒テンプレートIDラベル}という形へ置き換える。
テンプレートルールは、同一時間窓内において発生することが多いテンプレートのグループを、その監視対象機器の属性と共に表す。
監視対象機器ルールは、ある種のテンプレートラベルについて、同一時間窓内において、同時に発生することが多い監視対象機器のグループを表す。
上記では、監視対象機器ルールとテンプレートルールについて述べたが、これらを用いて複合ルールを作成することも可能である。テンプレートルール及び監視対象機器ルールは、再度全イベント内での同時生起性を比較することで、ルールの組み合わせを作ることも可能である。ルール併合部１５０の複合化部１５２において、得られたルールが、各イベント内で発生している同時生起回数を計算し、C回以上であれば、複合ルールとして出力する。例えば、C=2の場合、異なるルールｒ１とｒ２が２つのイベントで出現していれば、{r１，ｒ２}が複合ルールとなる。
本実施例の主要な構成要素は, 過去に生起したログのテンプレートを保存しておくログ・テンプレート・ラベル情報DB４０とテンプレートを用いて監視情報に対して時系列に対してクラスタリングを行い、ルール把握を行う分析エンジン１００およびルールDB２００、 そして利用者へこれを出力し、あるいは利用者が事前にラベル等を与えるユーザインタフェース５０である。これらは図４あるいは図５に示すような形態で実施することができる。ルール把握エンジン１００は、前述のルール作成装置１００に対応する。
図４ではログ収集装置１０で集められたログを、予めログ・テンプレート・ラベル情報DB４０に保存している場合を想定している。把握されたログ生起ルールは、過去に起こったログのダイジェストとして利用者端末１，２に表示することができる。
図５では、時々刻々と発生するログに対してクラスタリングを随時行い、ルールを逐次更新していく機構を示した。この場合、ルールとして採用する前段階のルール候補を保存するDB（例えば、図２のテンプレートルール候補記憶部１７０、監視対象機器ルール候補記憶部１８０）と、随時これを管理する管理エンジンとして、前述のルール作成装置１００に対応するルール把握エンジン２００が必要となる。
ここで、ログ収集装置１０は事前に準備されているものとし、監視対象となる機器群３もログを生成する機構を有しているものとする。
[第１の実施例]
入力とするログはどのような機器のものでも問題ないが、例えばネットワーク監視のためのルータのsyslog などが考えられる。この場合において、図４のオフラインの形態について説明する。ネットワーク機器（監視対象装置）の生成するログは一元的に収集され、ログDBへ保存され、事前にテンプレートおよび監視機器の情報が付与され, それぞれラベルも保存されている。
利用者は利用者端末１、２から分析したい時間系列および監視機器群、サービスタイプ、位置などを指定する。それに応じてログ情報の同時生起頻度に基づくクラスタリング、ルール把握が分析エンジン(ルール作成装置)１００で行われる。なお、これらの工程は全てオフラインで行われる。出力されたルールは、それぞれ利用者端末１，２へ提供される。
[第２の実施例]
第１の実施例では、ログ情報があらかじめログ・テンプレート・ラベル情報DB４０に蓄積されており、オフラインでルール把握を適用する場合を示したが、オンラインでルールを更新しながらの利用も可能である。以下では図５を用いながら、この利用例を示す。
ログ収集装置１０から送られた各ログ情報は、どのテンプレートに属するかが把握され、同時に監視機器情報とラベル付けが行われる。到着したこのログ情報に対して、過去に把握しているルールへのマッチングを行い、どのルールで発生しているログがあるかを把握する。一方でルールDB２００にもし含まれていない新しい(監視機器ID, テンプレートID) の組が到着した場合は、それをルール候補としてルール候補DB(図２のテンプレートルール候補記憶部１７０、監視対象機器ルール候補記憶部１８０に対応)へ加える。ルール候補DBは随時更新され、新しいルールが出来上がった場合、ルールDB２００に新しくルールを追加する。
また、この場合も第１の実施例と同様に、逐次到着するログがどのルールで生起しているのかを利用者へ逐次ユーザインタフェース５０を通して通知する。
なお、図２に示すルール作成装置の各構成要素の動作をプログラムとして構築し、ルール作成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
１，２ 利用者端末
３ 監視対象装置
１０ ログ収集装置
２０ ログDB
３０ ログ編集装置
４０ ログ・テンプレート・ラベル情報DB
５０ ユーザインタフェース
６０ テンプレート整形・表示部
１００ ルール作成装置
１１０ テンプレートＩＤ抽出部
１２０ ログ分割部
１３０ グループ生成部
１４０ ルール把握部
１４１ テンプレートルール把握部
１４２ 監視対象機器ルール把握部
１５０ ルール併合部
１５１ 抽象化部
１５２ 複合化部
１６０ グループ記憶部
１７０ テンプレートルール候補記憶部
１８０ 監視対象機器ルール候補記憶部
２００ ルールＤＢ

Claims (8)

  1. 監視対象機器のログ型式の生成則（ルール）を生成するためのログ生成則作成装置であって、
    少なくとも前記監視対象機器のログメッセージ(以下、「ログ」と記す)、該ログメッセージ内の重要な部分（以下、「テンプレート」と記す）を格納したログ・テンプレート情報記憶手段を参照し、過去に生起したログに対応するテンプレートを抽出するテンプレート抽出手段と、
    読み込んだログを分割したログ系列から、同時生起性の高い監視対象機器とテンプレートとの組を、イベントとしてグループ記憶手段に格納するグループ生成手段と、
    前記グループ記憶手段の各イベントを読み出して、同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一の監視対象機器ＩＤと対応付けられた１つ以上のテンプレートＩＤを抽出し、抽出した１つ以上のテンプレートＩＤを該監視対象機器ＩＤに対応付けてテンプレートルール候補としてテンプレートルール候補記憶手段に格納する処理を全イベントについて繰り返し、該テンプレートルール候補記憶手段に格納されたテンプレートルール候補同士を比較して、テンプレートルール候補同士の間でテンプレートＩＤの組の類似度が所定の閾値より高く、監視対象機器ＩＤが異なるものが所定の数以上存在するという条件を満たすテンプレートルール候補を抽出し、抽出したテンプレートルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けてテンプレートルールとしてルール記憶手段に格納する、或いは、同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一のテンプレートＩＤと対応付けられた１つ以上の監視対象機器ＩＤを抽出し、抽出した１つ以上の監視対象機器ＩＤを該テンプレートＩＤに対応付けて監視対象機器ルール候補として監視対象機器ルール候補記憶手段に格納する処理を全イベントについて繰り返し、該監視対象機器ルール候補記憶手段に格納された監視対象機器ルール候補同士を比較して、監視対象機器ルール候補同士の間で監視対象機器ＩＤの組の類似度が所定の閾値より高く、テンプレートＩＤが異なるものが所定の数以上存在するという条件を満たす監視対象機器ルール候補を抽出し、抽出した監視対象機器ルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けて監視対象機器ルールとしてルール記憶手段に格納するルール把握手段と、
    を有することを特徴とするログ生成則作成装置。
  2. 前記ルール把握手段は、
    前記グループ記憶手段の同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一の監視対象機器ＩＤと対応付けられた１つ以上のテンプレートＩＤを抽出し、抽出した１つ以上のテンプレートＩＤを該監視対象機器ＩＤに対応付けてテンプレートルール候補としてテンプレートルール候補記憶手段に格納する処理を全イベントについて繰り返し、該テンプレートルール候補記憶手段に格納された全テンプレートルール候補について、テンプレートルール候補同士を比較して、テンプレートルール候補同士の間でテンプレートＩＤの組の類似度が所定の閾値よりも高く、監視対象機器ＩＤが異なるものが所定の数以上存在するという条件を満たすテンプレートルール候補を抽出し、抽出したテンプレートルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けてテンプレートルールとするテンプレートルール抽出手段と、
    前記グループ記憶手段の同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一のテンプレートＩＤと対応付けられた１つ以上の監視対象機器ＩＤを抽出し、抽出した１つ以上の監視対象機器ＩＤを該テンプレートＩＤに対応付けて監視対象機器ルール候補として監視対象機器ルール候補記憶手段に格納する処理を全イベントについて繰り返し、該監視対象機器ルール候補記憶手段に格納された全監視対象機器ルール候補について、監視対象機器ルール候補同士を比較して、監視対象機器ルール候補同士の間で監視対象機器ＩＤの組の類似度が所定の閾値よりも高く、テンプレートＩＤが異なるものが所定の数以上存在するという条件を満たす監視対象機器ルール候補を抽出し、抽出した監視対象機器ルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けて監視対象機器ルールとする監視対象機器ルール抽出手段と、を含む請求項１記載のログ生成則作成装置。
  3. 前記ログ・テンプレート情報記憶手段は、監視情報ラベルを含み、
    前記テンプレートルールの監視対象機器ＩＤのリストに含まれる監視対象機器ＩＤのうち、共通の監視情報ラベルを持つものが所定の割合以上あれば、該監視対象機器ＩＤを該監視情報ラベルで置き換える手段を更に有する
    請求項２記載のログ生成則作成装置。
  4. 前記ログ・テンプレート情報記憶手段は、テンプレートラベルを含み、
    前記監視対象機器ルールのテンプレートＩＤのリストに含まれるテンプレートＩＤのうち、共通のテンプレートラベルを持つものが所定の割合以上あれば、該テンプレートＩＤを該テンプレートラベルで置き換える手段を更に有する
    請求項２記載のログ生成則作成装置。
  5. 監視対象機器のログ型式の生成則（ルール）を生成するためのログ生成則作成方法であって、
    テンプレート抽出手段、グループ生成手段、ルール把握手段を有する装置において、
    前記テンプレート抽出手段が、少なくとも前記監視対象機器のログメッセージ(以下、「ログ」と記す)、該ログメッセージ内の重要な部分（以下、「テンプレート」と記す）を格納したログ・テンプレート情報記憶手段を参照し、過去に生起したログに対応するテンプレートを抽出するテンプレート抽出ステップと、
    前記グループ生成手段が、読み込んだログを分割したログ系列から、同時生起性の高い監視対象機器とテンプレートとの組を、イベントとしてグループ記憶手段に格納するグループ生成ステップと、
    前記ルール把握手段が、前記グループ記憶手段の各イベントを読み出して、同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一の監視対象機器ＩＤと対応付けられた１つ以上のテンプレートＩＤを抽出し、抽出した１つ以上のテンプレートＩＤを該監視対象機器ＩＤに対応付けてテンプレートルール候補としてテンプレートルール候補記憶手段に格納する処理を全イベントについて繰り返し、該テンプレートルール候補記憶手段に格納されたテンプレートルール候補同士を比較して、テンプレートルール候補同士の間でテンプレートＩＤの組の類似度が所定の閾値より高く、監視対象機器ＩＤが異なるものが所定の数以上存在するという条件を満たすテンプレートルール候補を抽出し、抽出したテンプレートルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けてテンプレートルールとしてルール記憶手段に格納する、或いは、同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一のテンプレートＩＤと対応付けられた１つ以上の監視対象機器ＩＤを抽出し、抽出した１つ以上の監視対象機器ＩＤを該テンプレートＩＤに対応付けて監視対象機器ルール候補として監視対象機器ルール候補記憶手段に格納する処理を全イベントについて繰り返し、該監視対象機器ルール候補記憶手段に格納された監視対象機器ルール候補同士を比較して、監視対象機器ルール候補同士の間で監視対象機器ＩＤの組の類似度が所定の閾値より高く、テンプレートＩＤが異なるものが所定の数以上存在するという条件を満たす監視対象機器ルール候補を抽出し、抽出した監視対象機器ルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けて監視対象機器ルールとしてルール記憶手段に格納するルール把握ステップと、
    を行うことを特徴とするログ生成則作成方法。
  6. 前記ルール把握ステップにおいて、
    前記グループ記憶手段の同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一の監視対象機器ＩＤと対応付けられた１つ以上のテンプレートＩＤを抽出し、抽出した１つ以上のテンプレートＩＤを該監視対象機器ＩＤに対応付けてテンプレートルール候補としてテンプレートルール候補記憶手段に格納する処理を全イベントについて繰り返し、該テンプレートルール候補記憶手段に格納された全テンプレートルール候補について、テンプレートルール候補同士を比較して、テンプレートルール候補同士の間でテンプレートＩＤの組の類似度が所定の閾値よりも高く、監視対象機器ＩＤが異なるものが所定の数以上存在するという条件を満たすテンプレートルール候補を抽出し、抽出したテンプレートルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けてテンプレートルールとするテンプレートルール抽出ステップと、
    前記グループ記憶手段の同一イベント内に含まれる監視対象機器ＩＤとテンプレートＩＤとの組を取得し、取得した監視対象機器ＩＤとテンプレートＩＤとの組において同一のテンプレートＩＤと対応付けられた１つ以上の監視対象機器ＩＤを抽出し、抽出した１つ以上の監視対象機器ＩＤを該テンプレートＩＤに対応付けて監視対象機器ルール候補として監視対象機器ルール候補記憶手段に格納する処理を全イベントについて繰り返し、該監視対象機器ルール候補記憶手段に格納された全監視対象機器ルール候補について、監視対象機器ルール候補同士を比較して、監視対象機器ルール候補同士の間で監視対象機器ＩＤの組の類似度が所定の閾値よりも高く、テンプレートＩＤが異なるものが所定の数以上存在するという条件を満たす監視対象機器ルール候補を抽出し、抽出した監視対象機器ルール候補に含まれる監視対象機器ＩＤのリストとテンプレートＩＤのリストとを対応付けて監視対象機器ルールとする監視対象機器ルール抽出ステップと、
    を行う請求項５記載のログ生成則作成方法。
  7. 前記ルール把握ステップにおいて、
    前記ログ・テンプレート情報記憶手段に、監視情報ラベルを含む場合に、
    前記テンプレートルールの監視対象機器ＩＤのリストに含まれる監視対象機器ＩＤのうち、共通の監視情報ラベルを持つものが所定の割合以上あれば、該監視対象機器ＩＤを該監視情報ラベルで置き換えるステップ、
    前記ログ・テンプレート情報記憶手段に、テンプレートラベルを含む場合に、
    前記監視対象機器ルールのテンプレートＩＤのリストに含まれるテンプレートＩＤのうち、共通のテンプレートラベルを持つものが所定の割合以上あれば、該テンプレートＩＤを該テンプレートラベルで置き換えるステップ、
    のいずれかまたは両方のステップを更に行う、
    請求項６記載のログ生成則作成方法。
  8. 前記ルール把握ステップにおいて、
    前記テンプレートルール及び前記監視対象機器ルールにおいて、再度全イベント内での同時共起回数を計算し、所定の回数以上であれば複合ルールとして該テンプレートルールと該監視対象機器ルールを組み合わせて複合ルールとして出力する複合ルール生成ステップを更に行う
    請求項５または６記載のログ生成則作成方法。
JP2012178411A 2012-08-10 2012-08-10 ログ生成則作成装置及び方法 Active JP5798095B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012178411A JP5798095B2 (ja) 2012-08-10 2012-08-10 ログ生成則作成装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012178411A JP5798095B2 (ja) 2012-08-10 2012-08-10 ログ生成則作成装置及び方法

Publications (2)

Publication Number Publication Date
JP2014035749A JP2014035749A (ja) 2014-02-24
JP5798095B2 true JP5798095B2 (ja) 2015-10-21

Family

ID=50284689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012178411A Active JP5798095B2 (ja) 2012-08-10 2012-08-10 ログ生成則作成装置及び方法

Country Status (1)

Country Link
JP (1) JP5798095B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575254B (zh) * 2014-08-25 2019-05-28 日本电信电话株式会社 日志分析装置、日志分析系统、日志分析方法及存储介质
JP6503679B2 (ja) * 2014-10-06 2019-04-24 富士通株式会社 フィルタルール作成装置、フィルタルール作成方法、およびプログラム
JP6665784B2 (ja) * 2014-11-10 2020-03-13 日本電気株式会社 ログ分析システム、ログ分析方法およびログ分析プログラム
JP5922811B1 (ja) * 2015-02-05 2016-05-24 日本電信電話株式会社 ログ情報分類装置、ログ情報分類方法、及びプログラム
JP6643211B2 (ja) * 2016-09-14 2020-02-12 株式会社日立製作所 異常検知システム及び異常検知方法
US20230124408A1 (en) 2020-03-05 2023-04-20 Siemens Healthcare Diagnostics Inc. An approach for analysis of logs from a complex physical equipment

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2011111599A1 (ja) * 2010-03-11 2013-06-27 日本電気株式会社 障害分析ルール抽出装置、障害分析ルール抽出方法、及び記憶媒体

Also Published As

Publication number Publication date
JP2014035749A (ja) 2014-02-24

Similar Documents

Publication Publication Date Title
US11405301B1 (en) Service analyzer interface with composite machine scores
US10761687B2 (en) User interface that facilitates node pinning for monitoring and analysis of performance in a computing environment
JP5798095B2 (ja) ログ生成則作成装置及び方法
US10691728B1 (en) Transforming a data stream into structured data
CN107660283B (zh) 用于在日志分析系统中实现日志解析器的方法和系统
US10237295B2 (en) Automated event ID field analysis on heterogeneous logs
CN104461842B (zh) 基于日志相似性来处理故障的方法和装置
US9262248B2 (en) Log configuration of distributed applications
US11727025B2 (en) Method and system for implementing a log parser in a log analytics system
JP5933463B2 (ja) ログ生起異常検知装置及び方法
WO2014196129A1 (ja) 障害分析装置、障害分析方法、および、記録媒体
WO2016161381A1 (en) Method and system for implementing a log parser in a log analytics system
JP5948291B2 (ja) 監視情報分析装置及び方法
JP5651381B2 (ja) 障害原因判定ルール検証装置及びプログラム
US10346450B2 (en) Automatic datacenter state summarization
JP5711677B2 (ja) 監視情報分析装置及び方法
JP5295062B2 (ja) 複合イベント処理向けクエリ自動生成装置
JP2018081403A (ja) インシデント管理システム、インシデント管理方法およびコンピュータプログラム
EP4105813A1 (en) Method for analyzing data consisting of a large number of individual messages, computer program product and computer system
US11838171B2 (en) Proactive network application problem log analyzer
US20220035359A1 (en) System and method for determining manufacturing plant topology and fault propagation information
JP2009187395A (ja) トピック分析装置、方法及びプログラム
CN106469086B (zh) 事件处理方法和装置
US11755453B1 (en) Performing iterative entity discovery and instrumentation
WO2021047576A1 (zh) 日志记录处理方法、装置、设备及机器可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150324

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150820

R150 Certificate of patent or registration of utility model

Ref document number: 5798095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150