JP5933463B2 - ログ生起異常検知装置及び方法 - Google Patents

ログ生起異常検知装置及び方法 Download PDF

Info

Publication number
JP5933463B2
JP5933463B2 JP2013019825A JP2013019825A JP5933463B2 JP 5933463 B2 JP5933463 B2 JP 5933463B2 JP 2013019825 A JP2013019825 A JP 2013019825A JP 2013019825 A JP2013019825 A JP 2013019825A JP 5933463 B2 JP5933463 B2 JP 5933463B2
Authority
JP
Japan
Prior art keywords
log
occurrence
tuple
time
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013019825A
Other languages
English (en)
Other versions
JP2014153723A (ja
Inventor
達明 木村
達明 木村
森 達哉
達哉 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013019825A priority Critical patent/JP5933463B2/ja
Publication of JP2014153723A publication Critical patent/JP2014153723A/ja
Application granted granted Critical
Publication of JP5933463B2 publication Critical patent/JP5933463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、多種多様な機器が出力するログ情報から利用者にとって異常な状態を検出するログ生起異常検知装置及び方法に係り、特に、多種類の機器の生成するログの形式の生成則を事前に直接的に知ることなく、そのログ全体を用いて異常な状態を抽出するためのログ生起異常検知装置及び方法に関する。
今日、コスト削減を主な理由として、異なる製造元の、異なる役割を持つ機器、ソフトウェアの一元的な監視や管理が行われている。一方、こうした多種多様な機器やソフトウェアはそれぞれ独自の形態を持つログを出力する機構を有しており、機器の監視や管理を行う際において使用される。情報機器の発展に伴い、これらのログ情報は複雑化、大規模化しており、効率的な監視方法が必要となっている。
こうした中で非特許文献1のようなログ分析を簡略化するための分析基盤がある。当該技術は、事前に個々のログの発生する意味やログメッセージの内容について把握し、運用者の知識を適用したルールを設定し、異常度を得るものである。
一方、非特許文献2は、ルータなどのネットワーク機器の生成するsyslogを対象とし、ベンダやメッセージタイプ、エラーコード、詳細なメッセージ内容といったある程度の形式を事前に与えられた場合におけるテンプレートの把握法であり、ルータの位置関係などを利用して、syslogのダイジェスト情報を表示する手法を提案している。
また、事前情報を用いた、対象がsyslogのみではない一般的なログのテンプレートを抽出する方法がある。当該方法は、ログが格納されたログ情報記憶手段からログメッセージを取得して、該ログメッセージに含まれる各単語に対して、該単語の出現位置、単語、該ログメッセージに含まれる単語数に対して出現頻度の組に基づいてスコアを算出し、該スコアに基づいてクラスタリングを行うことにより、テンプレートを生成する。このとき、クラスタリングされたクラスタを値の高いものから併合し、ログメッセージの総単語数と重要な単語を含むクラスタの範囲を決定するための所定の閾値を乗じた値を超えた時点において併合した単語の集合をテンプレートとする。複数の機器のログメッセージを取得して、生成されているテンプレートとマッチングを行うことにより、重要なメッセージを抽出する技術である。
Splunk http://www.splunk.com/ T. Qiu, Z. Ge, D. Pei, J. Wang. J. Xu, "What Happened in my Network? Mining Network Events from Router syslogs", In IMC, 2010.
しかしながら、上記非特許文献1の技術を利用するためには、個々のログの発生する意味やログメッセージの内容に関しての事前知識が必要となり、膨大で複雑なログに対しての適用には不向きとなる。また、異常の検出に関しては、syslog等のログに含まれる異常度や、ログに含まれる、あるいはログメッセージ生起数の発生数に関して閾値を用い、事前に運用者の知識を適用したルールの設定により実現可能となるため、ログの生起則の把握や閾値の設定が困難である。
上記非特許文献2の技術では、syslogの要約情報を表示するのみであり、その生起則に注目した異常検出は行えず、どの要約情報が異常であるかについては、非特許文献1の技術と同様に、やはり運用者の知識が必要となる。また、情報収集段階でも知識が必要であり、例えば、どのベンダからログを収集しているか、メッセージ内のどの部分がエラーコードを示しているのかといったことを把握しておかなければならず、テンプレート把握機構を単純に用意するだけでなく、事前に手動での入力や準備が必要となる。また、syslogのダイジェスト表示機能は、syslogに特化した手法であるために、その他の監視ログ情報への適用ができないという問題がある。
また、事前情報を用いた、対象がsyslogのみではない一般的なログのテンプレートを抽出する方法は、テンプレートだけではログの意味付けが難しく、複数生起するログ間の関係を自動的に把握する技術が必要となる。
本発明は、上記の点に鑑みなされたもので、利用者が機器の生成するログメッセージの生成則を直接知ることなく、その利用者にとって異常なログ生成を検出することが可能なログ生起異常検知装置及び方法を提供することを目的とする。
上記の課題を解決するため、本発明(請求項1)は、多種多様な機器から出力されるログ情報から異常な状態を検出するログ生起異常検知装置であって、
過去に蓄積されたログメッセージ内の重要とされる部分(以下、「ログテンプレート」と記す)、該ログテンプレートをグループ化したロググループとを格納したログテンプレート・ロググループ記憶手段と、
監視対象機器情報と監視対象機器のラベルを格納した監視対象機器情報・ラベル記憶手段と、
利用者端末からの指定情報に基づいて、前記ログテンプレート・ロググループ記憶手段と前記監視対象機器情報・ラベル記憶手段からロググループまたはテンプレートラベル、監視対象機器情報の集合をログタプルとして取得し、所定の条件に基づいて異常性スコアを算出し、該異常性スコアが所定の閾値を超えたものを異常として検出する異常性検出手段と、を有し、
前記異常性検出手段は、
所定の時間幅における生起を計数し、ログ時系列の全時間幅合計で除し、観測時間のうち生起した時間幅割合を頻度として計算する頻度計算手段、
前記ログタプルの生起回数を所定の時間区切り毎に計算し、該生起回数の要素の変動係数を算出し、該時間区切りでの該生起回数の分布を計算する周期性計算手段、
前記ログタプルに含まれるメッセージのスコアを異常スコアとして用いるスコア利用手段、
予め登録された文字列ごとの重みを設定しておき、前記ログタプルに含まれるメッセージ内の文字列と比較して、異常性の高さを前記ログタプルのロググループへ割り振る単語異常性抽出手段、
前記ログタプルのログの所定の生起パターンに基づいて異常性のあるログタプルを抽出する生起パターン判定手段、
以前に同一ログテンプレート及びロググループが生起した場合の時間と、監視対象時点で発生したログタプルと発生時間との時間差を求める直前発生時間時間差算出手段、
のいずれかまたは全ての異常性またはスコアを纏めて前記異常性スコアとする手段を含む
また、本発明(請求項)は、前記生起パターン判定手段において、
同一時間幅内の同一タプルの発生数、
同一時間幅内の同一監視対象機器からの異なるタプルの発生数、
同値ログタプルの発生継続時間幅数、
のいずれかを算出する。
上述のように本発明によれば、利用者が監視対象とする機器群が生成する十分な量の過去の情報を分析することにより、利用者が機器の生成するログメッセージの生成則を直接的に知ることなく、その利用者にとって異常なログ生起を検出することが可能となる。
本発明の一実施の形態におけるログ生起検知装置の構成図である。 本発明の一実施の形態における異常スコア分析部の異常判定のフローチャートである。 本発明の第1の実施例のシステム構成例(固定閾値利用時)である。 本発明の第2の実施例のシステム構成例(オフライン学習時)である。 本発明の第3の実施例のシステム構成例(オンライン学習時)である。
以下、図面と共に本発明の実施の形態を説明する。
図1は、本発明の一実施の形態におけるログ生起異常検知装置の構成を示す。
同図に示すログ生起異常検知装置10は、ユーザインタフェース11、異常スコア分析部12、監視対象機器情報・監視対象機器ラベルDB13、ログテンプレート・ロググループ・ラベル情報DB14を有する。
監視対象機器1が生成するログには、該当ログを生成した監視対象機器を指し示す情報(監視対象機器固有ID)が含まれており、監視対象機器を特定できるものとする。また、利用状況に応じて、これらの監視対象機器の情報はサービス形式、位置、機器型式などの付加的属性によってラベル付けされているものとする。これらのラベルは利用者が必要に応じて与えるものであり、無くても構わない。以降、これを「監視対象機器ラベル」と呼ぶ。当該監視対象機器情報及び監視対象機器ラベルは、監視対象機器情報・監視対象機器ラベルDB13に格納されているものとする。
ログテンプレート・ロググループ・ラベル情報DB14には、外部のログ収集装置2が収監視対象機器1から収集したログメッセージから生成されたログテンプレート、ロググループ、ラベル情報が格納される。過去に蓄積されたログメッセージからテンプレート抽出法等を用いて、事前にログメッセージ内の重要とされる部分(以下、「テンプレート」と記す)が抽出されているものとする。当該ログテンプレートは、利用状況に応じて、サービス形式、ログ優先度・重要度などのラベル付けがされているものとする。これらのラベルは利用者が必要に応じて与えるものであり、なくても構わない。なお、テンプレート抽出法としては、前述した対象がsyslogのみではない一般的なログのテンプレートを抽出する方法がある。
ログテンプレート・ロググループ・ラベル情報DB14の各ログテンプレートは、ログ生起ルール抽出法などを用いて、ログテンプレートの同時生起性によりグルーピングが行われているものとする。この際、グループに含まれるログテンプレート要素は1つでも構わず、また複数のグループに属することを許容する。このログテンプレートのグループを以降「ログテンプレート」と呼ぶ。
なお、ログ生起ルール抽出法としては、過去に生起したログに対応するテンプレートを抽出し、監視対象機器毎にテンプレートの同時生起性の高いものをクラスタリングし、該監視対象機器及びテンプレートのグループ(ロググループ)を生成し、該ロググループをイベントとし該イベントの監視対象機器及びテンプレートに対して生起回数を計数し、出現回数の多いものを生起ルールとする。
なお、事前に把握されたロググループは、これまでにそのロググループが出現した時間を把握しているものとする。
上記の監視対象機器情報・監視対象機器ラベルDB13とログテンプレート・ロググループ・ラベル情報DB14か得られたらログテンプレート及び監視対象機器の情報を合わせて、以降は「ログタプル」と呼ぶ。ログテンプレートはロググループやテンプレートラベル、監視対象機器情報は、監視対象機器ラベル等に利用用途により任意に置換が可能であるものとする。
異常スコア分析部12は、まず、利用者端末3から入力された入力の時系列、テンプレートID,監視対象機器固有ID、監視対象機器ラベルに基づいて、監視対象機器情報・監視対象機器ラベルDB13とログテンプレート・ロググループ・ラベル情報DB14を参照し、過去に生起したログ情報がどのテンプレート及びロググループに一致するかを、発生した監視対象機器の情報と共に把握する。これをもとに、現在及び過去に発生したログの異常性を、それより以前に保存しているログの情報を用いて把握し、異常性の高いものを抽出する。
ユーザインタフェース11は、異常スコア分析部12の分析結果を利用者端末3に提供すると共に、利用者からの各スコアへの重み等の設定項目の入力を取得し、異常スコア分析部12に渡す。
以下に、異常スコア分析部12における分析手順を説明する。
図2は、本発明の一実施の形態における異常スコア分析部の異常判定のフローチャートである。
ステップ101) 異常スコア分析部12は、インタフェース11を介して、利用者端末3より入力の時系列、テンプレートID、監視対象機器固有ID,各ラベルを受け取り、これらに基づいて、監視対象機器情報・監視対象機器ラベルDB13及びログテンプレート・ロググループ・ラベル情報DB14から対象のログタプルを取得する。
ステップ102)頻度の把握:
過去に把握し保存したログの中でも、恒常的に高頻度に発生するログは異常性が低いと考えられる。そこで、過去に把握したログテンプレート・ロググループ・ラベル情報DB14のログテンプレートあるいはロググループの、ある細かい時間幅(例えば、1秒など)において生起があれば1を計上し、これを入力とするログ時系列の全時間幅合計で割り、観測時間のうち生起を確認できた時間幅割合を頻度として計算する。
ステップ103)周期性の把握:
過去に把握し、保存したログの中でも、毎日同じ頻度で発生するログは異常性が低いと考えられる。例えば、cronジョブのメッセージや、毎日の監視業務において発生するログメッセージである。そこで、過去に把握したログの周期性を計算し、これを正常具合を表す指標とする。周期性を把握する方法は様々な方法が考えられるが、以下に示すような、日毎のログタプルの発生回数の変動係数を計算する方法がある。
・固有なログタプルの生起回数を一日などのある決まった時間区切り毎で計算し、一週間分などいくつか標本を集める。得られた発生回数の要素の変動係数を計算することで、時間区切りでの発生回数にどれだけばらつきがあるかを計算できる。
ステップ104)ログそのものの異常性を把握:
syslogなどのメッセージにはそのログそのものの異常性を表すスコアが付与されているため、それをそのまま異常スコアとして用いる。異常性を表すスコアとしては、例えばsyslogプロトコルに関してはRFC5424にてシビリティ(重要度)が決定されている(例えば、http://tools.ietf.org/html/rfc5424参照)。このため、受信側(ログ一元管理装置)側にてこれらの情報を保持することが可能である。
ステップ105)ログに含まれる単語の異常性を把握:
メッセージ内の文字列には、明らかに異常性が高いと考えられるものがある。例えば、downやfailure、errorといった文字列である。事前にこれらをメモリ(図示せず)に登録し、重みを設定しておくことで、異常性の高さをロググループへ割り振ることができる。
ステップ106)ログの生起パターンによる異常性の把握:
続いて、ログの生起の仕方に着目した異常性の把握方法を以下(a),(b),(c)に分類して説明する。
(a)同一時間幅内の、同一ログタプルの発生数:
(b)同一時間内の、同一監視対象機器(及び監視対象機器ラベル)からの異なるログタプルの発生数:
(c)同一ログタプルの、発生継続時間幅数:
ステップ106a)周期性が低いものの中でも、特にある時点で集中して発生が観測できた場合、それは異常な事象が発生したためであると考えられる。この発生回数を計算する。
ステップ106b)ステップ106a)と同様の状況下でも、特に同じロググループのものとは限らず、異常な事象の及ぼす影響が大きい場合、同一監視対象機器から異なるログテンプレート及びロググループに属するメッセージが発生することが考えられる。そこで、上記の条件(b)にマッチするログタプル数を計上する。
ステップ106c)同一時間幅内の発生回数が少なくても、異常が回復されずに継続すると、それはログタプルの継続発生として観測される。周期性が全体の中での頻度が低いログタプルの中でも、この継続時間幅数を計算し、異常性を表す指標と考える。ここで、時間幅の取り方によっては途切れる可能性があるので、ログタプルに適宜時間マージン(例えば、1分〜5分など)を付与して、生起時間のずれが3分で、考えている時間幅が1秒の場合でも継続しているとして計上するものとする。
ステップ107) 直前発生時間との差:
観測時間内で同一頻度のものの中でも、異常性把握したい点からの生起が時間的、空間的に離れていれば、現在の状態とは関係が薄いと考えられる。そこで、以前に同一ログテンプレート及びロググループが生起した場合、その時間を把握しておき(例えば、メモリ(図示せず)に格納)、対象時点で発生したログタプルとの時間差を計算する。
ステップ108) 得られた異常性スコアあるいは正常性スコア(ステップ102〜107)をまとめ、異常性スコアとしてもち、ある閾値を超えた場合に異常検知を行う。
なお、ステップ102〜107の処理は任意に選択可能である。
ステップ102〜107の処理結果の纏め方は様々な方法が考えられるが、例として、重み付き一般化線形モデルの表現がある。ここで一般化線形モデルとは、ある非線形関数φ、fを用いて、y(x)= f(wφ(x))で表現できる。但し、xとはステップ102〜107の値を並べたベクトルであり、wは各次元への重みを表す同次元のベクトルである。明らかにy(x)は1次元の値となり、閾値を用いて異常検知を行うことができる。
異常スコア分析部12は、ステップ108で検出された異常検知の結果をユーザインタフェース11を介して利用者端末3に提供する。
以下に、具体的な実現例を示す。
[第1の実施例]
図3は、本発明の第1の実施例のシステム構成例(固定閾値利用時)である。
同図において、図1と同一構成部分には同一符号を付し、その説明を省略する。なお、異常スコア分析エンジン12は、図1の異常スコア分析部12に対応する。
異常スコア分析エンジン12において、ある固定閾値を用いて異常を検出する場合を想定している。
図3の構成において、入力とするログはどのような機器のものでも問題ないが、例えば、ネットワーク監視のルータのsyslogなどが考えられる。この場合において、図3のスコアの固定閾値による監視の形態について説明する。
監視対象機器1(ネットワーク機器)の生成するログはログ収集装置2によって一元的に収集され、ログテンプレート、ロググループを生成し、ラベル情報を付与してログテンプレート・ロググループ・ラベル情報DB14に保存され、また、事前にログテンプレート、ロググループ及び監視対象機器情報、監視対象機器ラベルが付与され、監視対象機器情報・監視対象機器ラベルDB13に格納されているものとする。
オフライン利用の場合、利用者は検出した過去の時間範囲を指定し、その中のログタプルが分析対象となる。オンライン利用の場合は、時々刻々と到着するログ系列内のログタプルが分析対象となる。利用者端末3から入力された利用者が異常検出を行いたい、時間範囲や対照とする監視対象機器/ラベル、テンプレートなどを絞りこむための情報(入力の時系列、テンプレートID,監視対象機器固有ID,監視対象機器ラベル)に基づいて監視対象機器情報・監視対象機器ラベルDB13、ログテンプレート・ロググループ・ラベル情報DB14から取得されたログタプルは、異常スコア分析エンジン12に入力され、異常スコアが付与され、閾値を超えた場合に異常として利用者に情報が提供される。提供される情報としては、例えば、発生したログテンプレートあるいはロググループ、監視対象機器名等がある。これにより、利用者はどの監視対象機器でどのようなログに対して異常が発生したのかを把握することができる。
[第2の実施例]
図4は、本発明の第2の実施例のシステム構成例(オフライン学習時)である。
ここでいう、オフラインとは、ログ収集装置2で収集されたログ情報を元に、過去の事象の異常を検出することを指す。
同図に示す構成は、図3の構成に故障・異常情報(教師データ)DB15が付加された構成である。故障・異常情報(教師データ)DB15には、利用者端末3が過去に異常スコア分析エンジン12から取得した異常状態の情報に基づいて生成した教師データが格納されている。つまり、オフラインで異常スコア判定を学習しておき、教師データとするものであり、異常スコア分析エンジン12では当該教師データが入力されると、当該異常スコア分析エンジン12のスコア決定のためのパラメータが更新される。異常スコアの計算法において、一般化線形モデルがあることを述べたが、このパラメータの学習が一例としてあり、学習法についてはSVM(Support Vector Machine:非特許文献3:V.N. Vapanik. "Statistical Learning Theory," Wiley, New York 1998.)などがある。
[第3の実施例]
図5は、本発明の第3の実施の形態におけるシステム構成例(オンライン学習時)である。
ここでいう、オンラインとは、現在発生しているログに対してオンラインで判定することを指す。
第2の実施例では、教師情報が故障・異常情報(教師データ)DB15に蓄積されている場合を示したが、オンラインで逐次的に異常スコア分析エンジン12のパラメータを構成することも可能である。別系統、または、ログから既にルールとして把握されている仕組みに従い、検知、あるいは利用者によって検知された異常は、随時正例の教師データとして故障・異常情報(教師データ)DB15に追加されつつ、異常スコア分析エンジン12のパラメータ更新に用いられる。第2の実施例と同様に、一般化線形モデルを異常スコアとして用いる場合、オンライン学習法については、オンラインSVM(Support Vetor Machine:非特許文献4:Koby Crammer, Ofer Dekel, Joseph Keshet, Shai Shalev-Shwartz, and Yoram Singer. "Online passive-aggressive algorithms," Journal of Machine Learning Research, 7:551-585, 2006.)などを用いることで実現が可能となる。また、この場合も第1の実施例と同様に逐次到着するログの異常を検知すれば、これを利用者への逐次ユーザインタフェースを通して通知する。
なお、上記のログ生起異常検知装置の構成要素の動作をプログラムとして構築し、ログ生起異常検知装置として利用されるコンピュータにインストールして実行させる、または、ネットワーク介して流通させることが可能である。
本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
1 監視対象機器
2 ログ収集装置
3 利用者端末
10 ログ生起異常検知装置
11 ユーザインタフェース
12 異常スコア分析部、異常スコア分析エンジン
13 対象監視機器情報・監視対象機器ラベルDB
14 ログテンプレート・ロググループ・ラベル情報DB
15 故障・異常情報(教師データ)DB
16 既存監視アラーム

Claims (4)

  1. 多種多様な機器から出力されるログ情報から異常な状態を検出するログ生起異常検知装置であって、
    過去に蓄積されたログメッセージ内の重要とされる部分(以下、「ログテンプレート」と記す)、該ログテンプレートをグループ化したロググループとを格納したログテンプレート・ロググループ記憶手段と、
    監視対象機器情報と監視対象機器のラベルを格納した監視対象機器情報・ラベル記憶手段と、
    利用者端末からの指定情報に基づいて、前記ログテンプレート・ロググループ記憶手段と前記監視対象機器情報・ラベル記憶手段からロググループまたはテンプレートラベル、監視対象機器情報の集合をログタプルとして取得し、所定の条件に基づいて異常性スコアを算出し、該異常性スコアが所定の閾値を超えたものを異常として検出する異常性検出手段と、
    を有し、
    前記異常性検出手段は、
    所定の時間幅における生起を計数し、ログ時系列の全時間幅合計で除し、観測時間のうち生起した時間幅割合を頻度として計算する頻度計算手段、
    前記ログタプルの生起回数を所定の時間区切り毎に計算し、該生起回数の要素の変動係数を算出し、該時間区切りでの該生起回数の分布を計算する周期性計算手段、
    前記ログタプルに含まれるメッセージのスコアを異常スコアとして用いるスコア利用手段、
    予め登録された文字列ごとの重みを設定しておき、前記ログタプルに含まれるメッセージ内の文字列と比較して、異常性の高さを前記ログタプルのロググループへ割り振る単語異常性抽出手段、
    前記ログタプルのログの所定の生起パターンに基づいて異常性のあるログタプルを抽出する生起パターン判定手段、
    以前に同一ログテンプレート及びロググループが生起した場合の時間と、監視対象時点で発生したログタプルと発生時間との時間差を求める直前発生時間時間差算出手段、
    のいずれかまたは全ての異常性またはスコアを纏めて前記異常性スコアとする手段を含む
    ことを特徴とするログ生起異常検知装置。
  2. 前記生起パターン判定手段は、
    同一時間幅内の同一ログタプルの発生数、
    同一時間幅内の同一監視対象機器からの異なるログタプルの発生数、
    同値ログタプルの発生継続時間幅数、
    のいずれかを算出する
    請求項記載のログ生起異常検知装置。
  3. 多種多様な機器から出力されるログ情報から異常な状態を検出するログ生起異常検知方法であって、
    過去に蓄積されたログメッセージ内の重要とされる部分(以下、「ログテンプレート」と記す)、該ログテンプレートをグループ化したロググループとを格納したログテンプレート・ロググループ記憶手段と、
    監視対象機器情報と監視対象機器のラベルを格納した監視対象機器情報・ラベル記憶手段と、
    異常性検出手段と、を有する装置において、
    前記異常性検出手段が、利用者端末からの指定情報に基づいて、前記ログテンプレート・ロググループ記憶手段と前記監視対象機器情報・ラベル記憶手段からロググループまたはテンプレートラベル、監視対象機器情報の集合をログタプルとして取得し、所定の条件に基づいて異常性スコアを算出し、該異常性スコアが所定の閾値を超えたものを異常として検出する異常性検出ステップ
    を行い、
    前記異常性検出ステップにおいて、
    所定の時間幅における生起を計数し、ログ時系列の全時間幅合計で除し、観測時間のうち生起した時間幅割合を頻度として計算する頻度計算ステップ、
    前記ログタプルの生起回数を所定の時間区切り毎に計算し、該生起回数の要素の変動係数を算出し、該時間区切りでの該生起回数の分布を計算する周期性計算ステップ、
    前記ログタプルに含まれるメッセージのスコアを異常スコアとして用いるスコア利用手段、
    予め登録された文字列ごとの重みを設定しておき、前記ログタプルに含まれるメッセージ内の文字列と比較して、異常性の高さを前記ログタプルのロググループへ割り振る単語異常性抽出ステップ、
    前記ログタプルのログの所定の生起パターンに基づいて異常性のあるログタプルを抽出する生起パターン判定ステップ、
    以前に同一ログテンプレート及びロググループが生起した場合の時間と、監視対象時点で発生したログタプルと発生時間との時間差を求める直前発生時間時間差算出ステップ、
    のいずれかまたは全ての異常性またはスコアを纏めて前記異常性スコアとする
    ことを特徴とするログ生起異常検知方法。
  4. 前記生起パターン判定ステップにおいて、
    同一時間幅内の同一ログタプルの発生数、
    同一時間幅内の同一監視対象機器からの異なるログタプルの発生数、
    同値ログタプルの発生継続時間幅数、
    のいずれかを算出する
    請求項記載のログ生起異常検知方法。
JP2013019825A 2013-02-04 2013-02-04 ログ生起異常検知装置及び方法 Active JP5933463B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013019825A JP5933463B2 (ja) 2013-02-04 2013-02-04 ログ生起異常検知装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013019825A JP5933463B2 (ja) 2013-02-04 2013-02-04 ログ生起異常検知装置及び方法

Publications (2)

Publication Number Publication Date
JP2014153723A JP2014153723A (ja) 2014-08-25
JP5933463B2 true JP5933463B2 (ja) 2016-06-08

Family

ID=51575584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013019825A Active JP5933463B2 (ja) 2013-02-04 2013-02-04 ログ生起異常検知装置及び方法

Country Status (1)

Country Link
JP (1) JP5933463B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199411A1 (ja) * 2015-06-11 2016-12-15 日本電気株式会社 ログ表示装置とログ表示方法およびログ表示プログラム
JP6803754B2 (ja) * 2017-01-16 2020-12-23 株式会社日立製作所 ログメッセージグループ化装置、ログメッセージグループ化システムおよびログメッセージグループ化方法
WO2018235252A1 (ja) * 2017-06-23 2018-12-27 日本電気株式会社 分析装置、ログの分析方法及び記録媒体
JP7006347B2 (ja) * 2018-02-13 2022-01-24 日本電気株式会社 管理装置、管理方法とそのプログラム
JP7207009B2 (ja) 2019-02-26 2023-01-18 日本電信電話株式会社 異常検知装置、異常検知方法および異常検知プログラム
CN110011990B (zh) * 2019-03-22 2022-03-04 南开大学 内网安全威胁智能分析方法
CN112069787A (zh) * 2020-08-27 2020-12-11 西安交通大学 一种基于词嵌入的日志参数异常检测方法
JP7317785B2 (ja) * 2020-10-07 2023-07-31 エヌ・ティ・ティ・コムウェア株式会社 異常検知装置、異常検知方法、異常検知システム、およびプログラム
CN113127319A (zh) * 2021-04-06 2021-07-16 北京大米科技有限公司 一种信息监控方法、相关装置及计算机存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010092203A (ja) * 2008-10-07 2010-04-22 Nec Corp 異常検出装置および異常検出方法
JP5541130B2 (ja) * 2010-12-10 2014-07-09 富士通株式会社 管理装置、管理方法および管理用プログラム
WO2012160637A1 (ja) * 2011-05-23 2012-11-29 富士通株式会社 メッセージ判定装置およびメッセージ判定プログラム

Also Published As

Publication number Publication date
JP2014153723A (ja) 2014-08-25

Similar Documents

Publication Publication Date Title
JP5933463B2 (ja) ログ生起異常検知装置及び方法
US11657309B2 (en) Behavior analysis and visualization for a computer infrastructure
JP6643211B2 (ja) 異常検知システム及び異常検知方法
JP5913145B2 (ja) ログ可視化装置及び方法及びプログラム
US9411673B2 (en) Management server, management system, and management method
JP6919569B2 (ja) ログ分析システム、方法、及び記録媒体
JP6085550B2 (ja) ログ分析装置及び方法
WO2019223062A1 (zh) 系统异常的处理方法和系统
JP6714152B2 (ja) 分析装置、分析方法及び分析プログラム
CN111010291A (zh) 业务流程异常告警方法、装置、电子设备及存储介质
CN110489317B (zh) 基于工作流的云系统任务运行故障诊断方法与系统
JP2016012193A (ja) 抽出方法、装置、及びプログラム
CN113313280B (zh) 云平台的巡检方法、电子设备及非易失性存储介质
US20150326446A1 (en) Automatic alert generation
CN114422325A (zh) 内容分发网络异常定位方法、装置、设备及存储介质
CN113220534A (zh) 集群多维度异常监控方法、装置、设备及存储介质
US9032518B2 (en) Internet monitoring and alerting system
Vervaet et al. USTEP: Unfixed search tree for efficient log parsing
JP6190539B2 (ja) ログ分析装置、ログ分析システム、ログ分析方法及びコンピュータプログラム
CN109660407A (zh) 分布式系统监控系统及方法
JP2015109074A (ja) ルールの自動化された生成および動的な更新
JP5798095B2 (ja) ログ生成則作成装置及び方法
CN107666399A (zh) 一种监控数据的方法和装置
KR102512857B1 (ko) 빅데이터 기반의 스마트 팩토리 분석시스템 및 방법
CN117422434A (zh) 一种智慧运维调度平台

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160502

R150 Certificate of patent or registration of utility model

Ref document number: 5933463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150