JPWO2017094262A1 - ログ分析システム、方法およびプログラム - Google Patents

Abstract

本発明は、異常の原因を示す規則が定義されていない場合であっても、異常の原因を示唆する情報を出力することができるログ分析システム、方法およびプログラムを提供する。本発明の一実施形態に係るログ分析システム１００は、分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定するフォーマット判定部１２０と、分析対象ログに含まれる各ログから構成要素を抽出し、構成要素の分析対象ログ中の出現数を形式毎に集計し、形式毎の出現数に基づいて構成要素の分類を行う構成要素分類部１３０と、構成要素の分類に基づいて、分析対象ログの重み付けを行う重み付け部１５０と、を備える。

Description

本発明は、ログの分析を行うためのログ分析システム、方法およびプログラムに関する。

一般的にコンピュータ上で実行されるシステムにおいては、複数の装置およびプログラムから、イベントの結果やメッセージ等を含むログが出力される。ログ分析システムは、出力されたログの中から所定の基準に従って異常なものを検出し、異常なログとしてユーザ（オペレータ等）に対して出力する。

システムにおいては複数の装置およびプログラムが協同して働いているため、単一の異常なログから異常の原因を直接特定できないことがある。その場合には、ユーザは多数のログを参照して異常の原因を探る必要がある。特に経験や知識の少ないユーザは、ログから異常の原因にたどり着くまでに多大な時間を要する。

特許文献１には、過去の知識に基づいて予めイベントパターンとその原因や対策方法とを関連付けて登録しておき、入力ログのイベントパターンに対する原因や対策方法を取得する技術が開示されている。特許文献１の技術を用いることによって、ユーザは登録済のイベントパターンに対する原因を素早く知ることができる。

特許第４３１８６４３号公報

しかしながら、特許文献１の技術は登録済のイベントパターンに対する原因を取得できるものの、登録されていないイベントパターンに対する原因を取得することができない。すなわち、特許文献１の技術は、知識に基づく規則を予め個別に定義することによって異常の原因を示すものであるため、異常の原因を示す規則が定義されていないログに対して適用することができない。

本発明は、上述の問題に鑑みて行われたものであって、異常の原因を示す規則が定義されていない場合であっても、異常の原因を示唆する情報を出力することができるログ分析システム、方法およびプログラムを提供することを目的とする。

本発明の第１の態様は、ログ分析システムであって、分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する形式判定部と、前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う構成要素分類部と、前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う重み付け部と、を備える。

本発明の第２の態様は、ログ分析方法であって、分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する工程と、前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う工程と、前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う工程と、を備える。

本発明の第３の態様は、ログ分析プログラムであって、コンピュータに、分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する工程と、前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う工程と、前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う工程と、を実行させる。

本発明によれば、異常の原因を示す規則が定義されていない場合であっても、分析対象ログの重み付けを行うことができる。

第１の実施形態に係るログ分析システムのブロック図である。 第１の実施形態に係る分析対象ログの模式図である。 第１の実施形態に係るフォーマットの模式図である。 第１の実施形態に係る構成要素の集計結果の模式図である。 第１の実施形態に係る構成要素の分類情報の模式図である。 第１の実施形態に係る構成要素の重み付け結果の模式図である。 第１の実施形態に係る重み付け結果を表示する画面の模式図である。 第１の実施形態に係る重み付け結果を表示する画面の模式図である。 第１の実施形態に係るログ分析システムの概略構成図である。 第１の実施形態に係るログ分析システムを用いる構成要素分類処理のフローチャートを示す図である。 第１の実施形態に係るログ分析システムを用いる異常分析処理のフローチャートを示す図である。 第２の実施形態に係るログ分析システムのブロック図である。 第３の実施形態に係るログ分析システムのブロック図である。 各実施形態に係るログ分析システムのブロック図である。

以下、図面を参照して、本発明の実施形態を説明するが、本発明は本実施形態に限定されるものではない。なお、以下で説明する図面で、同機能を有するものは同一符号を付け、その繰り返しの説明は省略することもある。

（第１の実施形態）
図１は、本実施形態に係るログ分析システム１００のブロック図である。図１において、矢印は主なデータの流れを示しており、図１に示したもの以外のデータの流れがあってよい。図１において、各ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図１に示すブロックは単一の装置内に実装されてよく、あるいは複数の装置内に別れて実装されてよい。ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてよい。

ログ分析システム１００は、処理部として、ログ入力部１１０、フォーマット判定部１２０、構成要素分類部１３０、ログ異常分析部１４０、重み付け部１５０および出力部１６０を備える。また、ログ分析システム１００は、記憶部として、フォーマット記憶部１７１、分類情報記憶部１７２およびモデル記憶部１７３を備える。

ログ入力部１１０は、分析対象の期間の分析対象ログ１０を取得し、ログ分析システム１００に入力する。分析対象ログ１０は、ログ分析システム１００の外部から取得されてよく、あるいはログ分析システム１００の内部に予め記録されたものを読み出すことにより取得されてよい。分析対象ログ１０は、１つ以上の装置又はプログラムから出力される１つ以上のログを含む。分析対象ログ１０は、任意のデータ形式（ファイル形式）で表されたログであり、例えばバイナリデータ又はテキストデータでよい。また、分析対象ログ１０はデータベースのテーブルとして記録されてよく、あるいはテキストファイルとして記録されてよい。

図２Ａは、例示的な分析対象ログ１０の模式図である。本実施形態における分析対象ログ１０は、装置又はプログラムから出力される１つのログを１単位とし、１つ以上の任意の数のログを含む。１つのログは１行の文字列でよく、あるいは複数行の文字列でよい。すなわち、分析対象ログ１０は分析対象ログ１０に含まれるログの総体を指し、ログは分析対象ログ１０から抜き出された１つのログを指す。各ログは、タイムスタンプおよびメッセージ等を含む。ログ分析システム１００は、特定の種類のログに限らず、広範な種類のログを分析対象とすることができる。例えば、ｓｙｓｌｏｇ、イベントログ等のオペレーティングシステムから出力されるメッセージを記録するログを分析対象ログ１０として用いることができる。また、ＩＤＳ（Ｉｎｔｒｕｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ）やＩＰＳ（Ｉｎｔｒｕｓｉｏｎ Ｐｒｅｖｅｎｔｉｏｎ Ｓｙｓｔｅｍ）等、ネットワーク上のセキュリティ装置のログも分析対象ログ１０として用いることができる。

フォーマット判定部１２０は、変数抽出部であり、分析対象ログ１０に含まれる各ログに対して、フォーマット記憶部１７１に予め記録されているいずれのフォーマットに適合するかを判定し、適合するフォーマットを用いて各ログを変数部分と定数部分とに分離する。フォーマットとは、ログの特性に基づいて予め決められた、ログの形式である。ログの特性は、互いに類似するログ間で変化しやすい又は変化しづらいという性質や、ログ中で変化しやすい部分とみなせる文字列が記載されているという性質を含む。変数部分とはフォーマットの中で変化可能な部分であり、定数部分とはログのフォーマットの中で変化しない部分である。入力されたログ中の変数部分の値（数値、文字列およびその他のデータを含む）を変数値と呼ぶ。変数部分および定数部分はフォーマット毎に異なる。そのため、あるフォーマットでは変数部分として定義される部分が、別のフォーマットでは定数部分として定義されることや、その逆があり得る。本実施形態では、このようにログの特性に基づいて決められたフォーマットを用いてログの分析を行うため、異常の原因であるイベントパターンや構成部品等の知識がなくても、異常の原因を示唆する情報を提供することができる。

図２Ｂは、フォーマット記憶部１７１に記録される例示的なフォーマットの模式図である。フォーマットは、一意のＩＤに関連付けられたフォーマットを表す文字列を含む。フォーマットは、ログ中の変化可能な部分に所定の識別子を記載することによって変数部分として規定し、ログ中の変数部分以外の部分を定数部分として規定する。変数部分の識別子として、例えば「＜変数：タイムスタンプ＞」はタイムスタンプを表す変数部分を示し、「＜変数：文字列＞」は任意の文字列を表す変数部分を示し、「＜変数：数値＞」は任意の数値を表す変数部分を示し、「＜変数：ＩＰ＞」は任意のＩＰアドレスを表す変数部分を示す。変数部分の識別子はこれらに限られず、正規表現や、取り得る値のリスト等の任意の方法により定義されてよい。また、フォーマットは変数部分を含まずに定数部分のみによって構成されてよく、あるいは定数部分を含まずに変数部分のみによって構成されてよい。

例えば、フォーマット判定部１２０は、図２Ａの３行目のログを、図２ＢのＩＤが２２３であるフォーマットに適合すると判定する。そして、フォーマット判定部１２０は、判定されたフォーマットに基づいて該ログを処理し、タイムスタンプである「２０１５／０８／１７ ０８：２９：５９」、文字列である「ＳＶ００２」およびＩＰアドレスである「１９２．１６８．１．２３」を変数値として決定する。

図２Ｂにおいて、フォーマットは視認性のために文字列のリストで表されているが、任意のデータ形式（ファイル形式）で表されてよく、例えばバイナリデータ又はテキストデータでよい。また、フォーマットはテキストファイルとしてフォーマット記憶部１７１に記録されてよく、あるいはデータベースのテーブルとしてフォーマット記憶部１７１に記録されてよい。

構成要素分類部１３０は、フォーマット判定部１２０によりフォーマットが判定された分析対象ログ１０に含まれる構成要素を抽出し、構成要素をそれらの間の類似性に基づいて分類する。構成要素とは、分析対象ログ１０を出力するシステムに含まれるサーバ等の物理装置、仮想マシン等の仮想装置、各種プログラム等をいう。異常の原因はいずれかの構成要素であることが多いため、本実施形態では構成要素を示す変数値を用いてログ分析を行う。

最初に、構成要素分類部１３０は、フォーマット判定部１２０によりフォーマットが判定された分析対象ログ１０の各ログから、構成要素を抽出する。構成要素を抽出するために、構成要素分類部１３０は、予め定義された構成要素の名称のリストを読み込み、ログの中で該リストのいずれかに一致する変数値を構成要素として決定する。構成要素の名称のリストは、構成要素の名称を示す文字列の羅列でよく、あるいは構成要素の名称を示す正規表現等のパターンでよい。

次に、構成要素分類部１３０は、抽出された各構成要素について、分析対象ログ１０のうち該構成要素が出現するログの数をフォーマット毎に集計する。図３Ａは、例示的な構成要素の出現数の集計結果を示す模式図である。図３Ａにおいて、構成要素「ＳＶ００１」に対して「ＩＤ＝１、Ｖ＝２」という記載は、フォーマットＩＤが「１」である２つのログ中に変数値「ＳＶ００１」が出現することを示す。このように、構成要素分類部１３０は、構成要素毎かつフォーマット毎に、分析対象ログ１０中で出現するログの数を集計して記録する。本実施形態では構成要素の出現数をログの数を用いて定義しているため、１つのログ中に２回以上同じ構成要素が出現しても、１回とカウントされる。別の方法として、構成要素の出現数をログ中に構成要素が出現する数を用いて定義してもよい。この場合には、１つのログ中に２回同じ構成要素が出現すると、２回とカウントされる。

次に、構成要素分類部１３０は、構成要素が出現するログのフォーマットの種類数に基づいて、構成要素間の第１の類似度を算出する。フォーマットの種類数とは、１つの構成要素について少なくとも１回出現するフォーマットＩＤの数をいう。例えば、図３Ａにおいては、構成要素「ＳＶ００１」および「ＳＶ００３」のフォーマットの種類数は２であり、構成要素「ＳＶ００２」のフォーマットの種類数は４である。構成要素分類部１３０は、抽出された構成要素のうち、２つの構成要素の全ての組み合わせについて、フォーマットの種類数に基づく第１の類似度を算出する。本実施形態では、第１の類似度として、２つの構成要素間の、フォーマットの種類数の差の絶対値を用いる。このように定義された第１の類似度は、フォーマットの種類数が近いほど小さい値を取る。そのため、第１の類似度は２つの構成要素が類似しているか否かの指標となる。第１の類似度の定義は、これに限られず、フォーマットの種類数に従って２つの構成要素の類似性を示すことが可能な任意の定義を用いてよい。

また、構成要素分類部１３０は、構成要素が出現するログのフォーマットの構成比率に基づいて、構成要素間の第２の類似度を算出する。まず、構成要素分類部１３０は、集計された構成要素の出現数を用いて、各構成要素についてフォーマットの構成比率を算出する。具体的には、各構成要素について、全フォーマットの出現数を合計したログ総量を算出する。そして、各構成要素について、フォーマット毎の出現数をログ総量で除算することによって、フォーマット毎の構成比率を算出する。

構成要素分類部１３０は、抽出された構成要素のうち、２つの構成要素の全ての組み合わせについて、フォーマットの構成比率に基づく第２の類似度を算出する。本実施形態では、第２の類似度として、２つの構成要素のフォーマットの構成比率から生成された特徴ベクトル間の距離を用いる。まず、構成要素分類部１３０は、各構成要素について、フォーマットの構成比率を並べた特徴ベクトルを生成する。例えば、フォーマットＩＤが１の出現比率が０．７であり、フォーマットＩＤが２の出現比率が０．３であり、その他のフォーマットが出現しない場合には、（０．７，０．３，０，０，…）（特徴ベクトルの次元数は全フォーマットの数に等しい）という特徴ベクトルとなる。そして、構成要素分類部１３０は、抽出された構成要素のうち、２つの構成要素の全ての組み合わせについて、特徴ベクトル間の距離を第２の類似度として算出する。特徴ベクトル間の距離の算出には、周知のユークリッド距離の算出方法を用いてよい。第２の類似度は、フォーマットの構成比率が類似しているほど小さい値を取る。そのため、第２の類似度は２つの構成要素が類似しているか否かの指標となる。第２の類似度の定義は、これに限られず、フォーマットの構成比率に従って２つの構成要素の類似性を示すことが可能な任意の定義を用いてよい。

本実施形態において、構成要素分類部１３０は、フォーマットの種類数に基づく第１の類似度が所定の範囲内であり、かつ第２の類似度が所定の範囲内である場合に、２つの構成要素は類似していると判定する。所定の範囲として、第１および第２の類似の定義によって、所定の閾値以上、所定の閾値より大きい、所定の閾値以下、および所定の閾値未満のうち１つ又は２つ以上の範囲を用いてもよい。本実施形態に係る構成要素分類部１３０は、フォーマットの種類数に基づく第１の類似度とフォーマットの構成比率に基づく第２の類似度との両方を用いて類似の判定を行うが、第１の類似度と第２の類似度とのどちらか一方によって類似の判定を行ってもよい。

最後に、構成要素分類部１３０は、類似すると判定した構成要素同士を同じグループに分けることによって、構成要素の分類を行う。例えば構成要素であるＳＶ００１およびＳＶ００２が類似していると判定され、構成要素であるＳＶ００２およびＳＶ００５が類似していると判定された場合に、構成要素分類部１３０は、ＳＶ００１、ＳＶ００２およびＳＶ００５を同一のグループに分類する。構成要素分類部１３０は構成要素の分類結果を分類情報として分類情報記憶部１７２に記録する。

図３Ｂは、分類情報記憶部１７２に記録される例示的な構成要素の分類情報を示す模式図である。分類情報は、構成要素と、該構成要素に対して割り振られたグループの識別子であるグループＩＤとを含む。図３Ｂに示す分類情報は一例であり、任意の形式で記録されてよい。図３Ｂにおいて分類情報は視認性のために文字列のリストで表されているが、任意のデータ形式（ファイル形式）で表されてよく、例えばバイナリデータ又はテキストデータでよい。また、分類情報は複数のファイル又はテーブルに別れて記録されてもよい。

本実施形態に係る構成要素分類部１３０は、フォーマットの種類数から算出する第１の類似度およびフォーマットの構成比率から算出する第２の類似度に基づいて構成要素の分類を行うが、フォーマットの種類数およびフォーマットの構成比率の少なくとも一方を用いて周知のクラスタリング法を行うことにより構成要素の分類を行ってもよい。

ログ異常分析部１４０は、フォーマット判定部１２０によりフォーマットが判定されたログに対して、モデル記憶部１７３に予め記録されているモデルに基づいて異常か否かを判定する。モデルとは、ログの正常な振る舞いの定義である。モデル記憶部１７３には、１つ以上のモデルが予め記録されている。モデルは、例えばあるフォーマットにおいて数値の変数値が所定の範囲内であること、あるフォーマットにおいて文字列の変数値が登録済のものであること等である。モデルはこれに限られず、任意の定義でよい。

ログ異常分析部１４０は、入力されたログがモデル記憶部１７３中のいずれのモデルにも適合しない場合に該ログは異常であると判定し、異常ログとして次の重み付け部１５０に入力する。一方、ログ異常分析部１４０は、入力されたログがモデル記憶部１７３中のいずれかのモデルに適合する場合に該ログは正常ログであると判定し、重み付け部１５０に入力しない。

重み付け部１５０は、ログ異常分析部１４０から出力される異常ログに対して、分類情報記憶部１７２に記録された構成要素の分類情報に基づいて重み付けを行う。具体的には、重み付け部１５０は、異常ログに含まれるある構成要素（異常構成要素と呼ぶ）について、分類情報記憶部１７２に記録された分類情報から類似する構成要素（類似構成要素と呼ぶ）を取得する。そして、重み付け部１５０は、ログ異常分析部１４０から出力される異常ログから、異常構成要素が含まれる異常ログと同じ種類の異常ログを抽出し、その中に類似構成要素が含まれるかどうかを判定する。なお、同じ種類の異常ログとは、異常ログ同士が同じフォーマットであること、あるいは同じフォーマットでありかつ同じ変数値を含むことを示す。同じ種類の異常ログであるか否かは、これに限られず、異常ログ同士の類似性に基づいて決定されてもよい。

重み付け部１５０は、異常構成要素が含まれる異常ログと同じ種類の異常ログに、類似構成要素が含まれる場合に該異常ログおよび該異常構成要素の優先度を低くし、類似構成要素が含まれない場合に該異常ログおよび該異常構成要素の優先度を高くするように、重み付けを行う。優先度は、高いほど異常の原因である蓋然性が高いことをユーザに示唆する値である。１つの異常構成要素に対して複数の類似構成要素が存在する場合には、重み付け部１５０は、異常構成要素が含まれる異常ログと同じ種類の異常ログに含まれる類似構成要素の数が大きいほど該異常ログおよび該異常構成要素の優先度を低くし、該数が小さいほど該異常ログおよび該異常構成要素の優先度を高くするように、重み付けを行う。換言すると、重み付け部１５０は、分類が同一である２つの構成要素が、同じ種類の異常ログに含まれる場合に、該２つの構成要素の優先度を下げるように重み付けを行う。重み付け部１５０は、ログ異常分析部１４０から出力される異常ログに含まれる各構成要素を異常構成要素に設定してこの重み付けを繰り返す。

図３Ｃは、重み付け部１５０による例示的な重み付け結果を示す模式図である。重み付け結果は、重み付けによる優先度に基づく順位と、異常ログに含まれる構成要素である異常箇所を含む。順位が小さいほど、優先度が高く重み付けされていることを示す。図３Ｃにおいて、重み付け結果は視認性のために文字列および数値のリストで表されているが、任意のデータ形式（ファイル形式）で表されてよく、例えばバイナリデータ又はテキストデータでよい。

出力部１６０は、重み付け部１５０による重み付け結果の出力を行う。本実施形態において、出力部１６０は表示装置２０に重み付け結果を出力し、表示装置２０はユーザに向けて重み付け結果を画像として表示する。表示装置２０は、画像を表示するための液晶ディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ等の表示部を備える。

図４Ａ、４Ｂは、表示装置２０を用いる例示的な重み付け結果の表示画面を示す模式図である。図４Ａ、４Ｂに示す画面Ａは、異常ログに含まれる構成要素である異常箇所Ａ１と、重み付けによる優先度を示す順位Ａ２とを表示する。異常箇所Ａ１は、順位Ａ２が小さい順に上から下へ並べられている。最も小さい順位、すなわち最も優先度の高い異常箇所Ａ１は、太字および下線により強調されている。さらに、マウス、タッチパネル等の入力装置を用いた操作（すなわち、外部からの操作）を行うことによっていずれかの異常箇所Ａ１を選択すると、画面Ａは、図４Ｂのように選択された異常箇所Ａ１を含む異常ログＡ３を表示する。異常ログＡ３中において、選択された異常箇所Ａ１を示す文字列が太字および下線により強調されている。図４Ａ、４Ｂの画面を参照することによって、ユーザは分析対象ログ１０中で異常の原因である蓋然性の高い構成要素を知ることができる。異常箇所Ａ１の強調は、色又は文字種の変更や、文字の点滅等の任意の方法により行われてよい。

図４Ａ、４Ｂに示す画面は一例であり、重み付け部１５０による重み付け結果を含む情報をユーザに対して視認可能に表示できれば、いずれの表示方法を用いてもよい。また、ログ分析システム１００（出力部１６０）による情報の出力方法は、ユーザに向けた画像表示に限られない。例えば、出力部１６０は出力すべき情報をデータとして出力し、ログ分析システム１００又はその他システムは出力部１６０からのデータに対して記録処理、印刷処理、分析処理、統計処理等を行ってもよい。

図５は、本実施形態に係るログ分析システム１００の例示的な機器構成を示す概略構成図である。ログ分析システム１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、メモリ１０２と、記憶装置１０３と、通信インターフェース１０４とを備える。ログ分析システム１００は、表示装置２０に通信インターフェース１０４を介して接続されてよく、あるいは表示装置２０を含んでよい。ログ分析システム１００は独立した装置でよく、あるいは他の装置と一体に構成されてよい。

通信インターフェース１０４は、データの送受信を行う通信部であり、有線通信および無線通信の少なくとも一方の通信方式を実行可能に構成される。通信インターフェース１０４は、該通信方式に必要なプロセッサ、電気回路、アンテナ、接続端子等を含む。通信インターフェース１０４は、ＣＰＵ１０１からの信号に従って、該通信方式を用いてネットワークに接続され、通信を行う。通信インターフェース１０４は、例えば分析対象ログ１０を外部から受信する。

記憶装置１０３は、ログ分析システム１００が実行するプログラムや、プログラムによる処理結果のデータ等を記憶する。記憶装置１０３は、読み取り専用のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、読み書き可能のハードディスクドライブ又はフラッシュメモリ等を含む。また、記憶装置１０３は、ＣＤ−ＲＯＭ等のコンピュータ読取可能な可搬記憶媒体を含んでもよい。メモリ１０２は、ＣＰＵ１０１が処理中のデータや記憶装置１０３から読み出されたプログラムおよびデータを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。

ＣＰＵ１０１は、処理に用いる一時的なデータをメモリ１０２に一時的に記録し、記憶装置１０３に記録されたプログラムを読み出し、該プログラムに従って該一時的なデータに対して種々の演算、制御、判別などの処理動作を実行する処理部としてのプロセッサである。また、ＣＰＵ１０１は、記憶装置１０３に処理結果のデータを記録し、また通信インターフェース１０４を介して処理結果のデータを外部に送信する。

本実施形態においてＣＰＵ１０１は、記憶装置１０３に記録されたプログラムを実行することによって、図１のログ入力部１１０、フォーマット判定部１２０、構成要素分類部１３０、ログ異常分析部１４０、重み付け部１５０および出力部１６０として機能する。また、本実施形態において記憶装置１０３は、図１のフォーマット記憶部１７１、分類情報記憶部１７２およびモデル記憶部１７３として機能する。

ログ分析システム１００は、図５に示す具体的な構成に限定されない。ログ分析システム１００は、１つの装置に限られず、２つ以上の物理的に分離した装置が有線又は無線で接続されることにより構成されていてもよい。ログ分析システム１００に含まれる各部は、それぞれ電気回路構成により実現されていてもよい。ここで、電気回路構成とは、単一のデバイス、複数のデバイス、チップセット又はクラウドを概念的に含む文言である。

また、ログ分析システム１００の少なくとも一部がＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）形式で提供されてよい。すなわち、ログ分析システム１００を実現するための機能の少なくとも一部が、ネットワーク経由で実行されるソフトウェアによって実行されてよい。

本実施形態に係るログ分析システム１００を用いるログ分析方法は、構成要素を分類して分類情報を記録する構成要素分類処理および分類情報に基づいて重み付けを行う異常分析処理からなる。構成要素分類処理によって分類情報記憶部１７２に一度記録された構成要素の分類情報は、構成要素に大きな変更がない限り、繰り返して用いることができる。そのため、構成要素分類処理および異常分析処理は連続して行われてよく、あるいは１回の構成要素分類処理の後に複数回の異常分析処理が行われてよい。

図６は、本実施形態に係る構成要素分類処理のフローチャートを示す図である。まず、ログ入力部１１０は、分析対象ログ１０を取得し、ログ分析システム１００に入力する（ステップＳ１０１）。フォーマット判定部１２０は、ステップＳ１０１で入力された分析対象ログ１０に含まれる１つのログを判定対象として、フォーマット記憶部１７１に記録されたいずれかのフォーマットに適合するか否かを判定する（ステップＳ１０２）。

ステップＳ１０２において判定対象のログがフォーマット記憶部１７１に記録されたいずれのフォーマットにも適合しない場合には（ステップＳ１０３のＮＯ）、分析対象ログ１０の次の１つのログを判定対象としてステップＳ１０２〜Ｓ１０３を繰り返す。

ステップＳ１０２において判定対象のログがフォーマット記憶部１７１に記録されたいずれかのフォーマットに適合した場合には（ステップＳ１０３のＹＥＳ）、フォーマット判定部１２０は、該フォーマットを用いて判定対象のログを変数部分と定数部分とに分離する（ステップＳ１０４）。フォーマット判定部１２０は、判定対象のログ中の変数値を記録する。

分析対象ログ１０中の全てのログに対してフォーマット判定が終了していない場合には（ステップＳ１０５のＮＯ）、分析対象ログ１０の次の１つのログを判定対象としてステップＳ１０２〜Ｓ１０５を繰り返す。

分析対象ログ１０中の全てのログに対してフォーマット判定が終了した場合には（ステップＳ１０５のＹＥＳ）、構成要素分類部１３０は、ステップＳ１０４において変数部分が取得された分析対象ログ１０の各ログから、構成要素を抽出する（ステップＳ１０６）。次に、構成要素分類部１３０は、ステップＳ１０６で抽出された各構成要素について、分析対象ログ１０のうち該構成要素が出現するログの数をフォーマット毎に集計する（ステップＳ１０７）。

次に、構成要素分類部１３０は、ステップＳ１０６で抽出された構成要素のうち、２つの構成要素の全ての組み合わせについて、フォーマットの種類数に基づく第１の類似度を算出する（ステップＳ１０８）。次に、構成要素分類部１３０は、ステップＳ１０６で抽出された構成要素のうち、２つの構成要素の全ての組み合わせについて、フォーマットの構成比率に基づく第２の類似度を算出する（ステップＳ１０９）。ステップＳ１０８とステップＳ１０９とは、順序が逆転されてもよく、あるいは並行して行われてよい。第１および第２の類似度の算出には、構成要素分類部１３０について上述した算出方法を用いる。

構成要素分類部１３０は、ステップＳ１０８で算出した第１の類似度が所定の範囲内であり、かつステップＳ１０９で算出した第２の類似度が所定の範囲内である場合に、２つの構成要素は類似していると判定する。そして、構成要素分類部１３０は、類似すると判定した構成要素同士を同じグループに分けることによって、構成要素の分類を行う（ステップＳ１１０）。最後に、構成要素分類部１３０は、ステップＳ１１０で分類した結果を分類情報として分類情報記憶部１７２に記録する（ステップＳ１１１）。

図７は、本実施形態に係る異常分析処理のフローチャートを示す図である。ステップＳ１０１〜Ｓ１０５のフォーマット判定は、構成要素分類処理と同様である。異常分析処理において構成要素分類処理で行われたステップＳ１０１〜Ｓ１０５のフォーマット判定の結果を用いてよく、あるいは異常分析処理において改めてステップＳ１０１〜Ｓ１０５のフォーマット判定を行ってよい。

次に、ログ異常分析部１４０は、ステップＳ１０２においてフォーマットが判定された分析対象ログ１０の各ログに対して、モデル記憶部１７３に予め記録されているモデルに基づいて異常か否かを判定する（ステップＳ１１２）。ログ異常分析部１４０は、入力されたログがモデル記憶部１７３中のいずれのモデルにも適合しない場合に該ログは異常であると判定し、異常ログとしてステップＳ１１３〜Ｓ１１４の重み付けの対象とする。

次に、重み付け部１５０は、構成要素分類処理において出力された分類情報を分類情報記憶部１７２から読み出す（ステップＳ１１３）。そして、重み付け部１５０は、読み出した分類情報から、ステップＳ１１２で取得された異常ログに含まれる各構成要素（異常構成要素）に類似する構成要素（類似構成要素）を取得する。さらに、重み付け部１５０は、ステップＳ１１２で取得された異常ログから、異常構成要素が含まれる異常ログと同じ種類の異常ログを抽出し、その中に類似構成要素が含まれるかどうかを判定する。重み付け部１５０は、異常構成要素が含まれる異常ログと同じ種類の異常ログに、類似構成要素が含まれる場合に該異常ログおよび該異常構成要素の優先度を低くし、類似構成要素が含まれない場合に該異常ログおよび該異常構成要素の優先度を高くするように、重み付けを行う（ステップＳ１１４）。

ステップＳ１１２で取得された全ての異常ログに含まれる構成要素ついて重み付けが終わった後、出力部１６０は、ステップＳ１１４における重み付け結果を表示装置２０に出力する（ステップＳ１１５）。表示装置２０は、重み付け結果を所定の画面（例えば図４Ａ、４Ｂの画面Ａ）を用いて表示する。

一般的に、互いに類似する構成要素が同じ種類の異常ログを出力している場合には、それらの構成要素自体は異常の原因ではなく、他の構成要素が原因である異常の影響を受けているのみであることが多い。一方、異常ログを出力しているある構成要素に類似する構成要素が、該異常ログと同じ種類の異常ログを出力していない場合には、異常ログを出力している構成要素のみに何らかの異常が起こっており、異常の原因となっていることが多い。そのため、本実施形態に係るログ分析システム１００は、互いに類似する構成要素が同じ種類の異常ログを出力している場合に優先度を低くし、そうでない場合に優先度を高くするように異常ログの重み付けを行うことによって、異常の原因である蓋然性の高い構成要素を示唆する情報をユーザに提供することができる。

（第２の実施形態）
第１の実施形態は一度に入力された分析対象ログ１０中で、互いに類似する構成要素が同じ種類の異常ログを出力しているか否かによって、優先度を変えるように重み付けを行う。それに対して、本実施形態は、今回入力された分析対象ログ１０と過去に検出された異常ログとの間で、互いに類似する構成要素が同じ種類の異常ログを出力しているか否かによって、優先度を変えるように重み付けを行う。

図８は、本実施形態に係るログ分析システム２００のブロック図である。ログ分析システム２００は、図１の構成に加えて、異常履歴記憶部２７４を備える。ログ分析システム２００においては、ログ異常分析部１４０および重み付け部１５０の機能が第１の実施形態と異なる。

本実施形態に係るログ異常分析部１４０は、第１の実施形態と同様に異常ログを判定した後、該異常ログを異常履歴記憶部２７４に蓄積する。異常履歴記憶部２７４は、異常ログに加えて、識別子、判定されたフォーマット、含まれる構成要素、判定された異常を示す異常情報、重み付けされた優先度、無視等の対応を示す対応情報を記録してよい。異常ログは、異常履歴記憶部２７４に、データベースのテーブルあるいはテキストファイル等の任意の形式で記録されてよい。

本実施形態に係る重み付け部１５０は、ログ異常分析部１４０から出力される異常ログに対して、分類情報記憶部１７２に記録された構成要素の分類情報および異常履歴記憶部２７４に記憶された過去の異常ログに基づいて重み付けを行う。具体的には、重み付け部１５０は、今回の異常分析処理で取得された異常ログ（今回の異常ログと呼ぶ）に含まれるある構成要素（異常構成要素と呼ぶ）について、分類情報記憶部１７２に記録された分類情報から類似する構成要素（類似構成要素と呼ぶ）を取得する。そして、重み付け部１５０は、異常履歴記憶部２７４に今回の異常分析処理よりも前に記録された異常ログ（過去の異常ログと呼ぶ）のうち、異常構成要素が含まれる今回の異常ログと同じ種類の過去の異常ログを抽出し、その中に類似構成要素が含まれるかどうかを判定する。なお、同じ種類の異常ログとは、異常ログ同士が同じフォーマットであること、あるいは同じフォーマットでありかつ同じ変数値を含むことを示す。同じ種類の異常ログであるか否かは、これに限られず、異常ログ同士の類似性に基づいて決定されてもよい。

重み付け部１５０は、異常構成要素が含まれる今回の異常ログと同じ種類の過去の異常ログに、類似構成要素が含まれる場合に該今回の異常ログおよび該異常構成要素の優先度を低くし、類似構成要素が含まれない場合に該今回の異常ログおよび該異常構成要素の優先度を高くするように、重み付けを行う。１つの異常構成要素に対して複数の類似構成要素が存在する場合には、重み付け部１５０は、異常構成要素が含まれる今回の異常ログと同じ種類の過去の異常ログに含まれる類似構成要素の数が大きいほど該今回の異常ログおよび該異常構成要素の優先度を低くし、該数が小さいほど該今回の異常ログおよび該異常構成要素の優先度を高くするように、重み付けを行う。重み付け部１５０は、ログ異常分析部１４０から出力される今回の異常ログに含まれる各構成要素を異常構成要素に設定してこの重み付けを繰り返す。

さらに、本実施形態と第１の実施形態とを組み合わせ、今回の異常ログ同士の間で行う重み付けと、今回の異常ログおよび過去の異常ログの間で行う重み付けとを両方行ってもよい。

重み付け部１５０は、過去の異常ログに関連する情報を用いて重み付けを行ってよい。過去の異常ログに関連する情報は、例えば過去の異常ログに対する無視等の対応の内容である。この場合には、重み付け部１５０は、今回の異常ログと同じ種類の過去の異常ログに対して無視の対応が行われていれば、今回の異常ログに対して優先度を低くするように重み付けを行う。また、過去の異常ログに関連する情報として、過去の異常ログに対して重み付けされた優先度を用いてもよい。

このように、本実施形態においては、異常ログ中の構成要素の類似性および過去の異常ログに基づいて、今回の異常ログの異常判定を行うことができる。例えば今回の異常ログが少ない場合には今回の異常ログ同士の間で重み付けを行う第１の実施形態の精度が低下することがあるが、そのような場合であっても本実施形態によれば蓄積した過去の異常ログを用いて精度よく重み付けを行うことができる。

（第３の実施形態）
図９は、本実施形態に係るログ分析システム３００のブロック図である。ログ分析システム３００は、図１の構成に加えて、フォーマット学習部３８１およびモデル学習部３８２を備える。

フォーマット学習部３８１は、フォーマット判定部１２０がフォーマットの判定を行う際、判定対象のログがフォーマット記憶部１７１に記録されているいずれのフォーマットにも適合しない場合に、新たなフォーマットを作成してフォーマット記憶部１７１に記録する。

フォーマット学習部３８１がフォーマットを学習するための第１の方法として、フォーマット学習部３８１は、フォーマットが未知である複数のログを蓄積し、それらに対して統計的に変化する変数部分と変化しない定数部分とを分離することによって、新たなフォーマットとして定義することができる。フォーマット学習部３８１がフォーマットを学習するための第２の方法として、フォーマット学習部３８１は、既知の変数値のリストを読み込み、フォーマットが未知であるログの中で既知の変数値と一致する又は類似する部分を変数部分と判定し、それ以外の部分を定数部分と判定することによって、新たなフォーマットを定義することができる。既知の変数値として、値そのものを用いてよく、あるいは正規表現のようなパターンを用いてよい。フォーマットの学習方法はこれらに限られず、入力されたログに対して新たなフォーマットを定義することが可能な任意の学習アルゴリズムを用いてよい。

モデル学習部３８２は、ログ異常分析部１４０がモデルの判定を行う際、判定対象のログがモデル記憶部１７３に記録されているいずれのモデルにも適合しない場合に、新たなモデルを作成してモデル記憶部１７３に記録する。

通常、ログ異常分析部１４０はモデル記憶部１７３に予め記録されているいずれのモデルにも適合しないログを異常ログと判定するが、モデルが未知であるログであっても正常ログである場合がある。この場合に、ユーザは入力装置を介してモデル記憶部１７３のモデルに適合しないログが正常ログであるという指示を入力すると、モデル学習部３８２は当該ログのフォーマットおよび変数値に基づいて新たなモデルを作成し、モデル記憶部１７３に記録する。モデルの学習方法はこれに限られず、入力されたログから新たにモデルを定義することが可能な任意の学習アルゴリズムを用いてよい。

以上のように、ログ分析システム３００は、フォーマットおよびモデルの学習部を備えるため、未知のフォーマットおよびモデルを含むログから新たにフォーマットおよびモデルを生成し、記録することができる。

（その他の実施形態）
図１０は、上述の各実施形態に係るログ分析システム１００、２００、３００の概略構成図である。図１０には、ログ分析システム１００、２００、３００が構成要素の分類に基づいて重み付けを行う装置として機能するための構成例が示されている。ログ分析システム１００、２００、３００は、分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する形式判定部としてのフォーマット判定部１２０と、前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う構成要素分類部１３０と、前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う重み付け部１５０と、を備える。

本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラム（より具体的には、図６、７に示す処理をコンピュータに実行させるプログラム）を記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する形式判定部と、
前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う構成要素分類部と、
前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う重み付け部と、
を備えるログ分析システム。

（付記２）
前記構成要素分類部は、前記形式毎の前記出現数に基づいて２つの前記構成要素が類似していると判定する場合に、前記２つの構成要素を同じグループに分類することによって、前記分類を行う付記１に記載のログ分析システム。

（付記３）
前記構成要素分類部は、前記２つの構成要素が出現するログが合致する前記形式の種類数に基づいて第１の類似度を算出し、前記第１の類似度が所定の範囲内である場合に、前記２つの構成要素を同じグループに分類する、付記２に記載のログ分析システム。

（付記４）
前記構成要素分類部は、前記２つの構成要素が出現するログが合致する前記形式の構成比率に基づいて第２の類似度を算出し、前記第２の類似度が所定の範囲内である場合に、前記２つの構成要素を同じグループに分類する、付記２に記載のログ分析システム。

（付記５）
前記構成要素分類部は、前記２つの構成要素が出現するログが合致する前記形式の種類数に基づいて第１の類似度を算出するとともに、前記２つの構成要素が出現するログが合致する前記形式の構成比率に基づいて第２の類似度を算出し、前記第１の類似度が第１の範囲内であり、かつ前記第２の類似度が第２の範囲内である場合に、前記２つの構成要素を同じグループに分類する、付記２に記載のログ分析システム。

（付記６）
前記分析対象ログに含まれる各ログが異常ログであるか否かを判定する異常分析部をさらに備え、
前記重み付け部は、前記異常分析部によって判定された前記異常ログに対して前記重み付けを行う、付記１〜５のいずれか一項に記載のログ分析システム。

（付記７）
前記重み付け部は、前記分類が同一である２つの前記構成要素が同じ種類の前記異常ログに含まれる場合に、前記分類が同一である前記２つの構成要素の優先度を下げるように前記重み付けを行う、付記６に記載のログ分析システム。

（付記８）
前記重み付け部は、過去に記録された前記異常ログに基づいて、前記異常分析部によって判定された前記異常ログに対して前記重み付けを行う、付記６又は７に記載のログ分析システム。

（付記９）
分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する工程と、
前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う工程と、
前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う工程と、
を備えるログ分析方法。

（付記１０）
コンピュータに、
分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する工程と、
前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う工程と、
前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う工程と、
を実行させるログ分析プログラム。

この出願は、２０１５年１１月３０日に出願された日本出願特願２０１５−２３３２２５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する形式判定部と、
   前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う構成要素分類部と、
   前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う重み付け部と、
   を備えるログ分析システム。
2. 前記構成要素分類部は、前記形式毎の前記出現数に基づいて２つの前記構成要素が類似していると判定する場合に、前記２つの構成要素を同じグループに分類することによって、前記分類を行う請求項１に記載のログ分析システム。
3. 前記構成要素分類部は、前記２つの構成要素が出現するログが合致する前記形式の種類数に基づいて第１の類似度を算出し、前記第１の類似度が所定の範囲内である場合に、前記２つの構成要素を同じグループに分類する、請求項２に記載のログ分析システム。
4. 前記構成要素分類部は、前記２つの構成要素が出現するログが合致する前記形式の構成比率に基づいて第２の類似度を算出し、前記第２の類似度が所定の範囲内である場合に、前記２つの構成要素を同じグループに分類する、請求項２に記載のログ分析システム。
5. 前記構成要素分類部は、前記２つの構成要素が出現するログが合致する前記形式の種類数に基づいて第１の類似度を算出するとともに、前記２つの構成要素が出現するログが合致する前記形式の構成比率に基づいて第２の類似度を算出し、前記第１の類似度が第１の範囲内であり、かつ前記第２の類似度が第２の範囲内である場合に、前記２つの構成要素を同じグループに分類する、請求項２に記載のログ分析システム。
6. 前記分析対象ログに含まれる各ログが異常ログであるか否かを判定する異常分析部をさらに備え、
   前記重み付け部は、前記異常分析部によって判定された前記異常ログに対して前記重み付けを行う、請求項１〜５のいずれか一項に記載のログ分析システム。
7. 前記重み付け部は、前記分類が同一である２つの前記構成要素が同じ種類の前記異常ログに含まれる場合に、前記分類が同一である前記２つの構成要素の優先度を下げるように前記重み付けを行う、請求項６に記載のログ分析システム。
8. 前記重み付け部は、過去に記録された前記異常ログに基づいて、前記異常分析部によって判定された前記異常ログに対して前記重み付けを行う、請求項６又は７に記載のログ分析システム。
9. 分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する工程と、
   前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う工程と、
   前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う工程と、
   を備えるログ分析方法。
10. コンピュータに、
    分析対象ログに含まれる各ログが、予め決められた複数の形式のいずれに合致するか判定する工程と、
    前記分析対象ログに含まれる各ログから構成要素を抽出し、前記構成要素の前記分析対象ログ中の出現数を前記形式毎に集計し、前記形式毎の前記出現数に基づいて前記構成要素の分類を行う工程と、
    前記構成要素の前記分類に基づいて、前記分析対象ログの重み付けを行う工程と、
    を実行させるログ分析プログラム。
    
    

Images