JP5948358B2 - 監視機器情報分析装置及び方法及びプログラム - Google Patents

Description

本発明は、監視機器情報分析装置及び方法及びプログラムに係り、特に、多種多様な機器が出力するログ情報から利用者にとって有用な情報を抽出するための監視機器情報分析装置及び方法及びプログラムに関する。

今日、コスト削減を主な理由として、異なる製造元の、異なる役割を持つ機器、ソフトウェアの一元的な監視・管理が行われている。一方で、こうした多種多様な機器やソフトウェアはそれぞれ独自の形態を持つログを出力する機構を有しており、機器の監視・管理を行う際において使用される。情報機器の発展に伴い、これらのログ情報は複雑・大規模化しており、すべてを日常的に監視することはできず、分析そのものが課題となっている。

こうした中で、非特許先行文献１のように、機器のデータを収集し、インデックス化することによりログ分析を簡略化するための分析基盤がある。

一方、非特許先行文献２では、ルータなどのネットワーク機器の生成するsyslogを対象とし、ルータの位置関係などを利用して、syslog のダイジェスト情報を表示する手法および頻度等を利用した異常検知法を提案している。

一方, 非特許先行文献３では、ネットワークにおける機器の設定変更等の工事起因の異常検知手法を提案している。予め工事の時点を与え、その時点でログの発生量やトラヒック量などの各指標の変化を検知する手法である。

Splunk http://www.splunk.com/ T. Qiu, Z. Ge, D. Pei, J. Wang, J, Xu,"What Happened in my Network? Mining Network Events from Router Syslogs", In IMC, 2010. Ajay Mahimkar, Zihui Ge, Jia Wang, Jennifer Yates, Yin Zhang, Joanne Emmons, Brian Huntley, Mark Stockert, "Rapid Detection of Maintenance Induced Changes in Service Performance," In ACM CoNEXT (International Conference on emerging Networking EXperiments and Technologies), 2011. 木村達明, 渡邉暁, 豊野剛, 西松研, 塩本公平. 大規模ネットワークログ情報のオンライン・テンプレート抽出法. 電子情報通信学会ソサイエティ大会, 2013.

しかしながら、上記非特許文献１の技術は、膨大で複雑なログの中から隠れた意味のあるログ情報を発見するには、個々のログの発生する意味やログメッセージの内容に関しての事前知識やシステムに関する経験が必要となる。

また、非特許文献２の技術は、ダイジェスト情報を表示するのみであり、実際に得られる情報がオペレーション上重要かどうかを判断することはできない。

非特許文献３の技術は、故障の前に発生する予兆ログや発生量の変化等の発見には利用することができない。

また、こうした技術以外にも様々な異常検知技術が提案されているが、例えば故障の予兆ログのように、特定イベントに対して意味のあるログ情報の発現を抽出する技術は存在しない。

本発明は、上記の点に鑑みなされたもので、利用者が機器の生成するログメッセージの意味を直接的に知ることなく、特定事象の事前予兆ログ（以前と以後で発生量に顕著な変化のあるログ）を抽出することが可能な監視機器情報分析装置及び方法及びプログラムを提供することを目的とする。

一態様によれば、複数の監視対象機器から出力されるログ情報から特定事象の以前と以後で発生量に変化があるログを抽出する監視機器情報分析装置であって、
与えられた対象イベント、監視対象機器h、該対象イベントの発生時刻及び終了時刻、該対象イベントの前後の時間幅（T_pre、T_pos）が与えられると、該監視対象機器hにおいて生起したログメッセージごとに当該ログメッセージに対応するテンプレート及び生起して時間とを格納したテンプレート情報記憶手段を参照して、前記対象イベントの発生時刻の前の時間幅における前記テンプレートの発生量と前記対象イベントの終了時刻の後の時間葉幅における前記テンプレートの発生量との変動量であるログ変動量のサンプルを、前記対象イベントが発生した日と、前記日とは別の日について算出するログ変動量計算手段と、
前記サンプルを用いて統計的手法による検定を行い、検定統計量が所定の閾値より大きい場合には事前ログとして検知する検定手段と、を有する監視機器情報分析装置が提供される。

一態様によれば、利用者が機器の生成するログメッセージの意味を直接知ることなく、特定事象の以前と以後で発生量に変化のあるログを抽出することが可能となる。

本発明の第１の実施の形態におけるシステム構成例である。 本発明の第１の実施の形態における監視機器情報分析装置の構成例である。 本発明の第１の実施の形態における分析処理のフローチャートである。 本発明の第２の実施の形態におけるシステム構成例である。 本発明の第３の実施の形態におけるシステム構成例である。

以下、図面と共に本発明の実施の形態を説明する。

本発明は、利用者が監視対象とする機器群が生成する十分な過去の情報を分析することにより、特定事象の以前と以後で発生量に変化のあるログを抽出するものである。

[第１の実施の形態]
図１は、本発明の第１の実施の形態におけるシステム構成例を示す。

同図に示すシステムは、オフライン利用時の形態を示している。

同図に示すシステムは、監視対象機器h(1)〜h(n)からなる監視対象機器群と、当該監視対象機器群からログ情報を一元的に収集するログ収集装置２、ログ収集装置２で収集されたログ情報を格納するログＤＢ１１、ログＤＢ１１のログ情報からテンプレートを生成するテンプレート生成装置３、生成されたテンプレートを格納するテンプレート情報DB１、故障などの特定の事象情報が記録されたイベントDB４、テンプレート情報DB１とイベントDB４の情報に基づいて発生量に変化のあるログを抽出する監視機器情報分析装置２０を有する。テンプレート情報は、過去にログＤＢ１１に蓄積された監視対象機器hのログ情報から、ここで、テンプレート情報ＤＢ１に格納される予め、非特許文献４のテンプレート抽出法などを用いて、ログ情報内の重要とされる部分（以下、「テンプレート」と記す）が抽出され、テンプレートIDが付与されている。テンプレートIDは、i＝1,2,…,Iで表す。

ログ収集装置２に接続される監視対象機器hが生成するログ情報には、該当ログ情報を生成した監視対象機器hを指し示す情報が含まれており、監視対象機器hを特定することができるものとする。監視対象機器hには全てIDが付与されており、h=1,2,…,Hで表す。

図１に示すシステムでは、ログ収集装置２で収集されたログ情報を、予めログＤＢ１１に保存している場合を想定しており、オフラインで各故障の事後に分析を行い、事前ログを抽出する。

テンプレート生成装置３は、ログＤＢ１１から取得したログ情報を、生起した時間、監視機器ＩＤと共に、どのログテンプレートに一致するかを把握し、ログテンプレートに一意に対応するログテンプレートＩＤ付与してテンプレートＤＢ１に格納する。これにより、どの時点でどの監視対象機器hからどのテンプレートIが発生したかが把握されているものとする。

本発明は、故障などのある特定の事象の前後のログ及び別日の同時間帯に発生したログ、他の監視対象機器で同時間帯に発生したログなどを分析することで、事象の前後で発生の挙動が変化したと考えられるログを特定する。以降、これを「事前ログ」と記す。

ログ収集装置２に入力されるログ情報はどのような機器のものでも問題ないが、例えば、ネットワーク監視のためのルータのsyslogなどが考えられる。

図２は、本発明の一実施の形態における監視機器情報分析装置の構成例を示す。

監視機器情報分析装置２０は、テンプレート情報ＤＢ１に接続されている。

監視機器情報分析装置２０は、ユーザインタフェース２１、ログ変動量計算部２２、検定部２３、事前ログマージ部２４を有する。

図１の例では、テンプレート情報ＤＢ１及びイベントＤＢ４を監視機器情報分析装置２０の外部に配置しているが、この例に限定されることなく、当該監視機器情報分析装置２０内に配置してもよい。

ユーザインタフェース２１は、利用者５から指定された分析したい事象(対象イベント)、監視対象機器、時間幅(対象イベントの前後の時間)等の情報を取得し、後述するログ変動量計算部２２、検定部２３、事前ログマージ部２４による処理を行うことで抽出された事前ログを利用者５に出力する。

ログ変動量計算部２２は、利用者５から指定された対象イベントに基づいてイベントＤＢ４を参照して得られた事象と、監視対象機器のＩＤに基づいて、テンプレート情報ＤＢ１から、指定された時間幅における監視対象機器（h）のテンプレート発生量と、当該監視対象機器（h）における故障のn日前の同時間帯のテンプレートの発生量を取得し、後述する所定の定義を適用して、対象イベント発生日の時間幅内で発生したイベントに関するログ変動量を算出する。

検定部２３は、ログ変動量計算部２２で求められたログ変動量をサンプルとして取得し、当該サンプルを用いて統計的手法による検定を行い、事前ログを検出する。検定を行う際に、抽出されたこれらのサンプル数で不足する場合には、当該監視対象機器ｈ以外の機器のテンプレート発生量の算出及びログ変動量の算出をログ変動量計算部２２に指示し、取得する。

事前ログマージ部２４は、全イベントに対して検出された事前ログをマージしたものをユーザインタフェース２１に出力する。

図３は、本発明の一実施の形態における分析処理のフローチャートである。

ステップ１０１）ログ変動量計算部２２は、イベントDB４からユーザにより指定された対象のイベントを指定し、ユーザインタフェース２１を介して、特定事象（以下、「対象イベント」と記す）、監視対象機器h、発生時刻／終了時刻、対象イベント前後の時間幅T_pre、T_posを取得する。なお、発生時刻／終了時刻の代わりに、故障の発生時刻／回復時時刻のように幅を持つものを用いても良い。対象イベント前後の時間幅T_pre、T_posは、利用者５が任意に設定することができ、事前に発生したログと事後に発生したログの発生量の変化を見る期間を意味する。なお、以下では、対象イベントの発生時刻からT_pre時間前、及び、対象イベントの終了時刻からT_pos時間後に発生した監視対象機器hにおけるテンプレートｉの発生量をp_ih及びq_ihと表す。

ステップ１０２） ログ変動量計算部２２は、テンプレートＤＢ１を参照し、ステップ１０１で取得した監視対象機器h、発生時刻／終了時刻、対象イベント前後の時間幅T_pre、T_posを用いて、発生時刻からT_pre時間前に発生した監視対象機器hのテンプレート発生量p_ih、及び、終了時刻からT_pos時間後に発生した監視対象機器hのテンプレートiの発生量q_ihを求め、メモリ（図示せず）に格納する。

さらに、ログ変動量計算部２２は、テンプレートＤＢ１を参照し、当該監視対象機器hにおける故障のn日前（n=1,2,…,n）の同時間帯（対象イベントの発生時刻からT_pre前、対象イベントの終了時刻からT_pos後）の監視対象機器hにおけるテンプレートiの発生量を、p_ih(n)、q_ih(n)として取得し、メモリ(図示せず)に格納する。ここで、n日前という設定の仕方は任意であり、ユーザがユーザインタフェース２１を介して、例えば、同一曜日のみを指定したり、別の月の同じ日付のみを指定することも可能である。

ログ変動量計算部２２は、メモリ（図示せず）に格納されたテンプレート発生量(p_ih，q_ih，p_ih(n)，q_ih(n))を取得し、以下の定義i、定義iiを用いてログ変動量を求める。

定義i)
x=| p_ih−q_ih |
または
定義ii)
x_n=| p_ih (n)−q_ih (n)|
または、
x_n=| p_ih (n) / q_ih (n)|
上記の定義iiについては、q_{ih}として０が含まれる場合があるなど値域の限定のために、
x_n=log (p_ih(n) / (1 + q_ih (n)) )
や、
x_n| p_ih (n) + 1 / q_ih (n) + 1|
のような変更も考えられるが、p_ihとq_ihの割合を利用する点で同等である。以下では簡単化のため（定義i）を用いる場合のみを述べるが、手順については定義iiの場合も同様である。

上記のログ変動量の定義i、定義iiにはそれぞれ以下のような違いがある。

定義iについては、ログの相対的な差を表すため、例えば常時大量に発生するログの差分（p_ih =100, q_ih =99の場合、x=1）と、一度しか発生しないログ（p_ih =1, q_ih =0の場合、x=1）を同等に扱い「異常」と考える。一方で、定義iiの場合は、その割合を計算するため、大量に発生する場合(p_ih =100, q_ih =99の場合、x=101/100)は一度しか発生しないログ（p_ih =1, q_ih =0の場合、x=2/1）よりも異常度が低いと考えられる。利用者は目的に応じてどちらの定義も指定することができる。

上記で求められたxまたはx_nをサンプルとしてメモリ（図示せず）に格納する。

ステップ１０３）検定部２３は、メモリ（図示せず）からステップ１０２で求められたログ変動量（定義iを用いた場合はx、定義iiを用いた場合はx_n)をサンプルとして取得する。

ステップ１０４）利用者が閾値をユーザインタフェース２１を介して設定しておき、サンプルがその閾値を下回るとき、ログ変動量計算部２２に対して監視対象機器h以外の監視対象機器h'のログの変動量の算出を指示し、監視対象機器h'のログ変動量から上記のステップ１０２と同様の方法で求められたサンプルx_h'を取得する。

状況によっては、監視対象機器hでのn日前のログをサンプルとして十分に確保できない場合であったり、異常値が多く含まれるために検出が困難となる場合がある。こうしたとき、以下の要領で他の監視対象機器のサンプルの情報を用いることでサンプル数を増やす。当該サンプルは、監視対象機器h以外の機器h'（h'≠h）の対象イベント前後の変化量をx_h'=|p_ih'−q_ih'|として取得する。こうして、サンプルに用いる監視対象機器h'は対象イベントと同様の機器役割や種別を持つ機器であることが望ましいため、事前に与えられた場合は、利用者５がサンプルとして利用する監視対象機器群を指定するものとする。

サンプルとして利用する監視対象機器h'において、テンプレートiの出方が同様とは限らないため、これを予め補正する必要がある。これは、関数f()を用いて補正する方法、即ち、x_h':=f(x_h)とする方法が考えられるが、一例として簡単にf()が線形多項式の場合を考える。

過去のx_h'及びx_hをn日分サンプルとして用意し、これを線形多項式としてフィッティングを行う。方法は様々なものがあるが、例として二乗和誤差最小化やマージン最大化などがある。

ステップ１０５）検定部２３は、上記のステップ１０３で得られたサンプル、ステップ１０４において必要に応じて取得したサンプルを用いて、任意の統計的手法による検定を行い、所定の閾値より高ければ事前ログとして検出する。

検定の仕方は任意であるが、例えば、正規分布による検定、Hampel test、QUARTILE法、t-検定等が挙げられる。

＜正規分布による検定法＞
ここで、正規分布による検定法について説明する。

として、検定統計量｜x−μ｜/σがある閾値以上であれば、事前ログとして検知する。所定の値以上のサンプル数Nがあり、x_nが正規分布に従っていれば有効であると判断する。

＜Hampel testによる検出法＞
Hampel testについては、非特許文献５（OUTLIER DETECTION: http://www.eng.tau.ac.il/~bengal/outlier.pdf）に記載されている。

上記の正規分布による検定法では、サンプルの中に異常点が含まれた場合、その影響を受け平均μや標準偏差σの値が正常の値から離れてしまう場合がある。これに対し、Hampel testはこれらの影響を緩和する手法であり、median(x_n) =x_nのメジアン、

として計算し、検定量

がある閾値を超えた場合に、事前ログとして検知する。平均の代わりにメジアンを用いることで、標本中に存在する特異点を考慮する手法である。

上記の処理により得られた事前ログをメモリ（図示せず）に格納する。

ステップ１０６）上記のステップ１０２〜１０５の処理を全テンプレートについて実行した後、全入力イベントに対して、ステップ１０５までに検出された事前ログをマージし、ユーザインタフェース２１を介して出力する。

［第２の実施の形態］
前述の第１の実施の形態では、事象情報が予めイベントＤＢ４に蓄積されており、オフラインで事前ログ把握を適用する場合を考えたが、本実施の形態では、事象を現時点とし、オンラインで事前ログを抽出しながら利用する場合を説明する。

図４は、本発明の第２の実施の形態におけるシステム構成例を示す。図１と同一構成部分には同一符号を付し、その説明を省略する。

同図では、監視対象機器hにおいて時々刻々と発生するログに対して、現時点を特定事象（対象イベント）として、事前ログの有無をオンラインで特定する形態を示している。

利用場面としては、例えば、ユーザ申告故障などの場合に利用することができる。

ログ収集装置２で収集された各ログ情報は、テンプレート生成装置３において、どのテンプレートに属するかが把握され、同時に監視機器情報も付与され、テンプレート情報ＤＢ１に格納される。また、現時点と同時間帯に発生したログの量を把握するために、任意の時間幅に発生したログの量を時間帯別ログ量ＤＢ６に順次記録しておく。

監視機器情報分析装置２０では、分析を行う時間間隔は任意であるが、利用者５によって事前に設定された分析開始時間になれば、現時刻を対象事象発生時刻として、第１の実施の形態と同様の方法により事前ログを抽出し、ユーザインタフェース２１を介して利用へ逐次通知する。

［第３の実施の形態］
本実施の形態は、監視対象機器のログ情報以外の情報を入力として持つ場合である。

テンプレートIDのような、1,2,…と番号を振ることができる離散化された情報であれば、前述の第1、第２の実施の形態が適用可能であるが、CPU使用率、トラヒック量などの連続値の数値情報であれば、これを利用者５が予めオフラインで離散化しておくことにより、ログ情報に紐付くテンプレートと同様に扱えるようにする。

図５は、本発明の第３の実施の形態におけるシステム構成例を示す。同図において、図１と同一構成部分には同一符号を付し、その説明を省略する。

図５に示すシステムは、図１の構成に、ログ収集装置２とは別の他監視データ収集装置７と、他監視データ離散化装置８、別機器情報離散化ＤＢ９、他監視データＤＢ１１が付加されている。

他監視データ収集装置７は、監視対象機器hから機器ID(h)に対応付けられたCPU使用率、トラヒック量等の離散化情報を取得する。

他監視データ離散化装置８は、収集された離散化情報を取得して別機器情報離散化ＤＢ９に格納し、ログ収集装置２において随時到着したログ情報と当該離散化情報を機器ID（h）でマッチングを行い、紐付けて他監視データＤＢ１１に格納する。

監視機器情報分析装置２０は、テンプレート情報ＤＢ１を用いて、事前ログを抽出すると共に、当該事前ログに他監視データＤＢ１１の情報を関連付けて出力する。監視機器情報分析装置２０の処理は、オフライン時は第１の実施の形態と同様であり、オンライン時は第２の実施の形態と同様の処理を行う。

なお、上記の図２に示される監視機器情報分析装置２０の各構成要素の動作をプログラムとして構築し、監視機器情報分析装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることも可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１ テンプレート情報ＤＢ
２ ログ収集装置
３ テンプレート生成装置
４ イベントＤＢ
５ 利用者（端末）
６ 時間帯別ログ量ＤＢ
７ 他監視データ収集装置
８ 他監視データ離散化装置
９ 別機器情報離散化ＤＢ
１０ 他監視データＤＢ
１１ ログＤＢ
２０ 監視機器情報分析装置
２１ ユーザインタフェース
２２ ログ変動量計算部
２３ 検定部
２４ 事前ログマージ部
h 監視対象機器

Claims (8)

1. 複数の監視対象機器から出力されるログ情報から特定事象の以前と以後で発生量に変化があるログを抽出する監視機器情報分析装置であって、
   与えられた対象イベント、監視対象機器h、該対象イベントの発生時刻及び終了時刻、該対象イベントの前後の時間幅（T_pre、T_pos）が与えられると、該監視対象機器hにおいて生起したログメッセージごとに当該ログメッセージに対応するテンプレート及び生起して時間とを格納したテンプレート情報記憶手段を参照して、前記対象イベントの発生時刻の前の時間幅における前記テンプレートの発生量と前記対象イベントの終了時刻の後の時間葉幅における前記テンプレートの発生量との変動量であるログ変動量のサンプルを、前記対象イベントが発生した日と、前記日とは別の日について算出するログ変動量計算手段と、
   前記サンプルを用いて統計的手法による検定を行い、検定統計量が所定の閾値より大きい場合には事前ログとして検知する検定手段と、
   を有することを特徴とする監視機器情報分析装置。
2. 前記ログ変動量計算手段は、
   前記対象イベントの発生時刻からT_pre時間前に発生した前記監視対象機器hのテンプレートの発生量(p_ih)、及び該対象イベントの終了時刻からT_pos時間後に発生した該監視対象機器hのテンプレートの発生量(q_ih)を算出する第１のテンプレート発生量算出手段と、
   前記監視対象機器hのｎ日前の前記対象イベントの発生時刻からT_pre時間前に発生した該監視対象機器hのテンプレートの発生量(p_ih(n))、及該対象イベントの終了時刻からT_pos時間後に発生した該監視対象機器hのテンプレートの発生量(q_ih(n))を算出する第２のテンプレート発生量算出手段と、
   前記第１のテンプレート発生量算出手段で求められたテンプレート発生量（p_ih，q_ih）と、前記第２のテンプレート発生量算出手段で求められたテンプレート発生量（p_ih(n)，q_ih(n)）のログ差分またはログ比率を前記ログ変動量として算出するサンプル算出手段と、
   を含む請求項１記載の監視機器情報分析装置。
3. 前記検定手段は、
   得られた前記サンプルの数が所定の数以下である場合には、前記監視対象機器hとは異なる監視対象機器h’に関するサンプルの算出を該ログ変動量計算手段に指示する手段を含み、
   前記ログ変動量計算手段は、
   前記監視対象機器h以外の監視対象機器h’のログ変動量を求め、関数を用いて補正する手段を更に有する
   請求項１または２記載の監視機器情報分析装置。
4. 与えられた全ての対象イベントに対して、前記検定手段で得られた前記事前ログをマージして出力する手段を更に有する
   請求項１乃至３のいずれか１項に記載の監視機器情報分析装置。
5. 複数の監視対象機器から出力されるログ情報から特定事象の以前と以後で発生量に変化があるログを抽出する監視機器情報分析方法であって、
   与えられた対象イベント、監視対象機器h、該対象イベントの発生時刻及び終了時刻、該対象イベントの前後の時間幅（T_pre、T_pos）が与えられると、該監視対象機器hにおいて生起したログメッセージごとに当該ログメッセージに対応するテンプレート及び生起して時間とを格納したテンプレート情報記憶手段を参照して、前記対象イベントの発生時刻の前の時間幅における前記テンプレートの発生量と前記対象イベントの終了時刻の後の時間葉幅における前記テンプレートの発生量との変動量であるログ変動量のサンプルを、前記対象イベントが発生した日と、前記日とは別の日について算出するログ変動量計算ステップと、
   前記サンプルとなるログ変動量を取得し、該サンプルを用いて統計的手法による検定を行い、検定統計量が所定の閾値より大きい場合には事前ログとして検知する検定ステップと、
   を行うことを特徴とする監視機器情報分析方法。
6. 前記ログ変動量計算ステップにおいて、
   前記対象イベントの発生時刻からT_pre時間前に発生した前記監視対象機器hのテンプレートの発生量(p_ih)、及び該対象イベントの終了時刻からT_pos時間後に発生した該監視対象機器hのテンプレートの発生量(q_ih)を算出する第１のテンプレート発生量算出ステップと、
   前記監視対象機器hのｎ日前の前記対象イベントの発生時刻からT_pre時間前に発生した該監視対象機器hのテンプレートの発生量(p_ih(n))、及該対象イベントの終了時刻からT_pos時間後に発生した該監視対象機器hのテンプレートの発生量(q_ih(n))を算出する第２のテンプレート発生量算出ステップと、
   前記第１のテンプレート発生量算出ステップで求められたテンプレート発生量（p_ih，q_ih）と、前記第２のテンプレート発生量算出ステップで求められたテンプレート発生量(pih(n），qih(n))のログ差分またはログ比率を前記ログ変動量として算出するサンプル算出ステップと、
   を行う請求項５記載の監視機器情報分析方法。
7. 前記検定ステップにおいて、
   得られた前記サンプルの数が所定の数以下であると判定された場合には、前記監視対象機器h以外の監視対象機器h’のログ変動量を求め、関数を用いて補正する
   請求項５または６記載の監視機器情報分析方法。
8. コンピュータを、
   請求項１乃至４のいずれか１項に記載の監視機器情報分析装置の各手段として機能させるための監視機器情報分析プログラム。

Images