JP6665784B2 - ログ分析システム、ログ分析方法およびログ分析プログラム - Google Patents

Description

本発明は、情報処理システムが出力したログを分析するログ分析システム、ログ分析方法およびログ分析プログラムに関する。

コンピュータシステムなどの情報処理システムの運用管理者は、当該コンピュータシステムが出力するログを監視し、当該システムの正常性の確認や障害などの異常の分析を行う。ログの監視および分析は、当該ログに含まれる複数のメッセージの関連性に基づいて行うことが重要である。

コンピュータシステムが大規模化かつ複雑化した結果、コンピュータシステムが出力するログの数量は膨大となっている。そのため、運用管理者がコンピュータシステムの全てを知悉することはできず、ログに含まれるメッセージ間の関連性を把握しきることは難しい。

このような背景を踏まえ、コンピュータシステムが出力する膨大なログを分析するために、以下のような技術が開示されている。

特許文献１は、複数のコンピュータシステムから収集したメッセージを基に障害の発生を検知し、検知した障害を分析するメッセージ分析システムについて開示している。特許文献１のメッセージ分析システムは、事例に対応して発生するメッセージの時間的要素を蓄積し、受信したメッセージの時刻と蓄積した時間的要素とを用いて事例を集約する。そして、そのメッセージ分析システムは、複数のメッセージを事例毎に集約して分析する。

特許文献２は、コンピュータが実行するアプリケーションソフト等から出力されるログ情報を予め定義された条件に基づいて分析することによって、特定の事象を検知するログ監視システムについて開示している。特許文献２のログ監視システムは、蓄積されたログ情報に含まれるログ発現時刻に基づいて、予め設定された時間帯単位で各ログ情報を分類する。そのログ監視システムは、同じ時間帯内の各ログ情報に含まれるメッセージを比較し、同一メッセージを含むログ情報の数を発現回数条件として計測する。そして、そのログ監視システムは、単位時間あたりのログ情報の発現回数が発現回数条件に合致する場合、そのログ情報の通知処理を行う事象検知装置が参照する通知条件情報の候補を生成する。

さらに、以下の技術には、膨大なログを網羅的に分析するための分析ルールを自動で生成する技術が開示されている。

特許文献３は、障害メッセージのフィルタ精度を高めることを支援する情報処理装置について開示している。特許文献３の情報処理装置は、障害時に機器から送信された複数のメッセージから関連するメッセージのみを抽出し、抽出された複数のメッセージをグループ化する。その情報処理装置は、任意のメッセージと、当該メッセージが送信された前後の時間に出力されたメッセージとの共起関係に着目してメッセージ同士の関係を判定する。その情報処理装置は、共起関係の強さを示す指標の値が一定値以上の場合、メッセージ同士をグループ化する。

特許文献４は、複数の情報処理装置からなる分散システムにおいて発生するメッセージの異常を検知する通知装置について開示している。特許文献４の通知装置は、任意の曜日および時間帯において発生していたメッセージと、そのメッセージの発生回数とを記録し、別途定義された最大長の値まで当該メッセージを一連のメッセージとしてグループ化する。その通知装置は、分析対象の機器から送信された正常時の複数のメッセージを関連する一連のメッセージとしてグループ化する。

特開２００６−３３１０２６号公報 特開２００８−４１０４１号公報 特開２０１４−１０６８５１号公報 特許第４９４４３９１号公報

特許文献１のメッセージ分析システムは、様々な形式で定義された事例とのマッチング処理によって、リアルタイムに受信するメッセージを分析することができる。しかし、そのメッセージ分析システムには、定義されていない事例に関してはリアルタイムで分析することができないという問題点があった。なぜならば、そのメッセージ分析システムは、定義済みの事例に基づいてメッセージの分析を行うためである。

特許文献２のログ監視システムによれば、同じ時間帯の同一メッセージを含むログ情報を分析することによって、既知事象の更新および新規事象の検知に必要な条件を生成することができる。しかし、そのログ監視システムには、同じメッセージが検出されない限り、既知事象の更新および新規事象の検知に必要な条件を生成することができないという問題点があった。

特許文献３の情報処理装置は、連続するメッセージの共起確率と、共起確率を用いて算出されるスコアとを用いてメッセージ間の関係性を定義する。そのため、例えば、関係性を定義しなければならないメッセージの種類がログの数量の増加に伴って増加した場合、考慮すべきメッセージの組み合わせも増加してしまう。その結果、その情報処理装置には、メッセージの組み合わせ自体の数が増加した際に計算量も増加することによって、適切な解を得るのに時間が掛かるという問題点があった。

特許文献４の通知装置は、連続する一連のメッセージの種類数を最大長で定義しているが、最大長を定義する基準を具体的に開示していない。また、その通知装置は、任意の時間帯に出現した全てのメッセージをグループ化の対象とするため、関係の無いメッセージまでグループ化されてしまうという問題点があった。

本発明は、情報処理システムから出力されたログメッセージを分析する際に、一定時間内に連続して出力されたログメッセージの組み合わせを抽出する時間を短縮することができるログ分析システムを提供することを目的とする。

本発明のログ分析システムは、ログメッセージの出現情報に基づいて、同期して出現するログメッセージの組み合わせ毎に基準パターンを生成する基準パターン生成手段と、基準パターンに含まれるログメッセージの出現情報を基準パターン間で比較し、比較した結果に基づいて基準パターン同士を結合する基準パターン結合手段とを備える。

本発明のログ分析方法においては、ログメッセージの出現情報に基づいて、同期して出現するログメッセージの組み合わせ毎に基準パターンを生成し、基準パターンに含まれるログメッセージの出現情報を基準パターン間で比較し、比較した結果に基づいて基準パターン同士を結合する。

本発明のログ分析プログラムは、ログメッセージの出現情報に基づいて、同期して出現するログメッセージの組み合わせ毎に基準パターンを生成する処理と、基準パターンに含まれるログメッセージの出現情報を基準パターン間で比較し、比較した結果に基づいて基準パターン同士を結合する処理とをコンピュータに実行させる。

本発明によれば、情報処理システムから出力されたログメッセージを分析する際に、同期して出現するメッセージの組み合わせを抽出する時間を短縮することができる。

本発明の第１の実施形態に係るログ分析システムの構成を示すブロック図である。 本発明の第１の実施形態に係るログ分析システムで用いるログファイルの一例を示す図である。 本発明の第１の実施形態に係るログ分析システムで用いる統合ログの一例を示す図である。 本発明の第１の実施形態に係るログ分析システムで用いる出現情報の一例を示す図である。 本発明の第１の実施形態に係るログ分析システムで用いるパターンの一例を示す図である。 本発明の第１の実施形態に係るログ分析システムの動作に関するフローチャートである。 本発明の第１の実施形態に係るログ分析システムの出現情報集計処理に関するフローチャートである。 本発明の第１の実施形態に係るログ分析システムの基準パターン生成処理に関するフローチャートである。 本発明の第１の実施形態に係るログ分析システムの基準パターン結合処理に関するフローチャートである。 本発明の第１の実施形態に係るログ分析システムの基準パターン結合処理に関するフローチャートである。 本発明の第１の実施形態に係るログ分析システムの特徴部分の構成を示すブロック図である。 本発明の第２の実施形態に係るログ分析システムの構成を示すブロック図である。 本発明の第２の実施形態に係るログ分析システムで用いるパターンの一例を示す図である。 本発明の第２の実施形態に係るログ分析システムの順序情報生成処理に関するフローチャートである。 本発明の第３の実施形態に係るログ分析システムの構成を示すブロック図である。 本発明の第３の実施形態に係るログ分析システムで用いるログ識別情報の一例を示す図である。 本発明の第３の実施形態に係るログ分析システムのログ識別処理に関するフローチャートである。 本発明の第４の実施形態に係るログ分析システムの構成を示すブロック図である。 本発明の第４の実施形態に係るログ分析システムのログ分類処理に関するフローチャートである。 本発明の第５の実施形態に係るログ分析システムの構成を示すブロック図である。 本発明の第５の実施形態に係るログ分析システムで用いるパターンの一例を示す図である。 本発明の第５の実施形態に係るログ分析システムの遷移時間学習処理に関するフローチャートである。 本発明の実施形態に係るログ分析システムを可能とするためのハードウェア構成を示すブロック図である。

以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。

（第１の実施形態）
まず、本発明の第１の実施形態に係るログシステム１について、図面を参照しながら説明する。

〔構成〕
図１は、本発明の第１の実施形態に係るログ分析システム１の構成を示すブロック図である。なお、図１以降の全てのブロック図中に示した矢印の向きは、一例を示すものであり、ブロック間の信号の向きを限定するものではない。

図１に示すように、本実施形態に係るログ分析システム１は、ログ収集手段１１と、ログ集計手段１２と、基準パターン生成手段１３と、基準パターン結合手段１４と、パターン記憶手段１５とを備える。

［ログ収集手段］
ログ収集手段１１は、分析対象システム１０のログファイルを収集する。ログ収集手段１１は、分析対象システム１０からログファイルを受信してもよいし、図示しない記憶部からログファイルを読み出してもよい。また、ログ収集手段１１は、運用管理者からログファイルの入力を受け付けてもよい。

図２に、ログ分析システム１が収集するログファイルの一例（ログファイル１０１〜１０３）を示す。ログファイルは、ログメッセージ（ログレコードとも呼ぶ）の集合であり、図２のように少なくとも一つのログメッセージから構成される。ログメッセージは、それぞれのログメッセージを識別するための識別子であるログＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）、当該ログメッセージが出力された時刻、メッセージの本文、ログレベルなどといった複数のログ要素により構成される。なお、ログＩＤはログ識別子とも呼ばれ、以下においては単にＩＤと記載されることもある。

ログ収集手段１１は、収集した少なくとも一つのログファイルに基づいて、全てのログファイルに格納されたログメッセージを時系列順に並び替えた統合ログを生成する。ログ収集手段１１は、生成した統合ログをログ集計手段１２に向けて送信する。

図３に、ログ収集手段１１が生成する統合ログの一例（統合ログ１０４）を示す。統合ログは、ログメッセージの集合であり、図３のように少なくとも一つのログメッセージから構成される。なお、統合ログは、元々は異なるログファイルを構成していたログメッセージを結合したものである。また、統合ログは、ログファイルを識別するための識別子と、ログファイルにおける当該ログメッセージの行番号とを組み合わせた情報の集合であってもよい。

ログ収集手段１１は、例えば、収集対象のログファイルそのものの指定や、ログファイルに記録されたログメッセージの日時の指定など、収集するログメッセージの範囲の指定を運用管理者から受け付けてもよい。また、ログ収集手段１１は、ログメッセージの分析に必要な情報を定義したファイル（図示しない）を読み込み、ファイルが定義する情報に従って、取得したログファイルの形式をログ分析システム１が分析しやすい形式に変換してもよい。

［ログ集計手段］
ログ集計手段１２は、ログ収集手段１１から受信した情報と、別途定義された時間幅とに基づいて、それぞれのログメッセージの出現情報を算出する。時間幅は、ログ集計手段１２が集計対象とするログメッセージの出現時間の範囲を示す。時間幅は、ユーザによって定義されたものであってもよいし、図示しないファイルに予め記録されたものであってもよい。

図４は、出現情報の一例（出現情報１０５）を示す図である。出現情報は、図４のように、ログメッセージのログＩＤに対応させた少なくとも一つの出現時刻と出現回数との組によって構成されている。なお、出現情報は、出現回数の総和を含んでいてもよい。図４の出現情報１０５には、それぞれのログＩＤに関して、複数の出現時刻が記録されるとともに、複数の出現時刻それぞれに対応する出現回数が記録されている。

ログ集計手段１２は、統合ログを時間幅毎に読み込み、読み込んだ時間幅内の統合ログの当該箇所に含まれるＩＤの種類とその数を出現回数として集計する。ログ集計手段１２は、時間幅で分割された時間の中で任意の時刻を１つ選択して、当該ＩＤの出現時刻として登録する。ログ集計手段１２は、例えば、分割された時間の中央値や最小値、最大値を出現時刻として登録してもよい。ログ集計手段１２は、算出した出現情報を基準パターン生成手段１３へ送信する。

基準パターン生成手段１３は、ログ集計手段１２から受信した少なくとも一つの出現情報を比較し、同一の出現情報をもつＩＤ同士を結合する。そして、基準パターン生成手段１３は、結合したＩＤの組み合わせとその出現情報とを基準パターン結合手段１４に送信する。すなわち、基準パターン生成手段１３は、ログメッセージの出現情報に基づいて、同期して出現するログメッセージの組み合わせ毎に基準パターンを生成する。

基準パターン生成手段１３は、例えば、出現情報の同一性に関する判定基準などの指定を運用管理者から受け付けてもよい。また、基準パターン生成手段１３は、出現情報の同一性の判定に必要な情報を定義したファイル（図示しない）を読み込み、入力されたＩＤの出現情報をそのファイルに基づいて比較してもよい。

［基準パターン結合手段］
基準パターン結合手段１４は、基準パターン生成手段１３から受信したＩＤまたは複数のＩＤの組み合わせに関する出現情報を比較する。基準パターン結合手段１４は、別途定義した条件を満たす単独のＩＤまたは複数のＩＤの組み合わせを結合する。すなわち、基準パターン結合手段１４は、基準パターンに含まれるログメッセージの出現情報を基準パターン間で比較し、比較した結果に基づいて基準パターン同士を結合する。基準パターン結合手段１４は、結合した結果の集合を「パターン（組み合わせ）」としてパターン記憶手段１５へ出力する。なお、このパターン（組み合わせ）の集合を「パターン集合」とも呼ぶ。

図５には、パターン（組み合わせ）を表形式でまとめた組み合わせ情報テーブル１０６を示す。パターン（組み合わせ）は、単独のＩＤまたは複数のＩＤの組み合わせと、それらに対応する出現情報とを含む。図５の組み合わせ情報テーブル１０６において、出現情報は、出現時刻および出現回数によって構成されている。

パターン記憶手段１５は、基準パターン結合手段１４が出力したパターン（組み合わせ）を格納する。

以上が、本実施形態に係るログ分析システム１の構成についての説明である。

〔動作〕
次に、本実施形態に係るログ分析システム１の動作について説明する。

図６は、本実施形態に係るログ分析システム１の動作の概略に関するフローチャートである。本実施形態に係るログ分析システム１は、出現情報集計処理、基準パターン生成処理および基準パターン結合処理という三つの処理を行う。

図６において、ステップＳ１の出現情報集計処理は、ログ収集手段１１がログファイルを読み込み、ログ集計手段１２がＩＤ毎の出現情報を集計する処理である。

ステップＳ２の基準パターン生成処理は、基準パターン生成手段１３が、ＩＤ毎の出現情報に基づいて、同期して出現する少なくとも一つのログメッセージを基準パターンとして結びつける処理である。なお、「同期して出現する少なくとも一つのログメッセージ」とは、「一定時間内に連続して出力された少なくとも一つのログメッセージ」を意味する。

ステップＳ３の基準パターン結合処理は、基準パターン結合手段１４が、基準パターン集合に基づいてＩＤの組み合わせを結合し、パターン（組み合わせ）を生成する処理である。

以下において、第１の実施形態に係るログ分析システム１の動作を、出現情報集計処理、基準パターン生成処理および基準パターン結合処理の三つに分けて詳細に説明する。

［出現情報集計処理］
まず、出現情報集計処理について説明する。出現情報集計処理とは、ログ収集手段１１がログファイルを読み込み、ログ集計手段１２がＩＤ毎の出現情報を集計する処理である。図７は、出現情報集計処理に関するフローチャートである。

図７において、まず、ログ収集手段１１は、分析対象システム１０から出力されたログファイルを読み込む（ステップＳ１０１）。

ログ収集手段１１は、取得した全てのログファイルを結合することによって、統合ログを生成する（ステップＳ１０２）。

ログ収集手段１１は、各ログメッセージの時刻情報に基づいて、統合ログのログメッセージを時系列順に並び変える（ステップＳ１０３）。

次に、ログ集計手段１２は、定義された時間幅に基づいて、統合ログのログメッセージを読み込む（ステップＳ１０４）。

例えば、読み込みを開始するログメッセージの時刻が「２０１４／０７／０１＿１２：００：０１」であり、定義された時間幅が「１分」であったとする。このとき、ログ集計手段１２は、「２０１４／０７／０１＿１２：００：０１」から「２０１４／０７／０１＿１２：０１：００」までの区間のログメッセージを読み込む。

次に、ログ集計手段１２は、読み込んだログメッセージの集合から同一のＩＤの出現数を集計し、時刻情報と出現回数との組をＩＤ毎に出現情報として記録する（ステップＳ１０５）。

例えば、「２０１４／０７／０１＿１２：００：０１」から「２０１４／０７／０１＿１２：０１：００」までの区間で、ＩＤ「１００１」のログメッセージが「１０回」、ＩＤ「２０３４」のログメッセージが「３回」出現していたとする。このとき、ログ集計手段１２は、ＩＤ「１００１」の出現情報に出現時刻「２０１４／０７／０１＿１２：００：０１」と出現回数「１０」とを追加する。同様に、ログ集計手段１２は、ＩＤ「２０３４」の出現情報に、出現時刻「２０１４／０７／０１＿１２：００：０１」と、出現回数「３」とを追加する。

ここで、ログ集計手段１２は、統合ログの最後のログメッセージに到達したか否かを判断する（ステップＳ１０６）。

統合ログの最後のログメッセージに到達すると（ステップＳ１０６でＹｅｓ）、ログ集計手段１２は、ＩＤ毎の出現情報を基準パターン生成手段１２に出力する（ステップＳ１０７）。

一方、統合ログの最後のログメッセージに到達していない場合は（ステップＳ１０６でＮｏ）、ステップＳ１０４に戻る。

すなわち、ログ集計手段１２は、統合ログの最後のログメッセージに到達するまで上記のステップＳ１０４およびステップＳ１０５の処理を繰り返す。なお、任意の時刻においてログメッセージの読み込みを完了することができるように、ユーザによる時刻の入力を可能としたり、図示しない定義情報からの読み込みを完了する時刻の取得を可能としたりするようにログ集計手段１２を構成してもよい。

以上が、出現情報集計処理についての説明である。

［基準パターン生成処理］
次に、基準パターン生成処理について説明する。基準パターン生成処理とは、基準パターン生成手段１３が、ＩＤ毎の出現情報に基づき、同期して出現するログメッセージを基準パターンとして結びつける処理である。図８は、基準パターン生成処理に関するフローチャートである。なお、図８を用いて説明するログメッセージの結合に関する動作は一例であって、同時刻に発生するＩＤを比較して結び付けることができる手法であればどのような手法を用いてもかまわない。

図８において、まず、基準パターン生成手段１３は、ログ集計手段１２によって出力されたＩＤ毎の出現情報を読み込む（ステップＳ２０１）。

基準パターン生成手段１３は、受信したＩＤ毎の出現情報の集合（以下、結合候補集合）に基づいて、各ＩＤの出現時刻毎に出現回数の総和（以下、出現頻度）を算出する（ステップＳ２０２）。

基準パターン生成手段１３は、結合候補集合を構成する出現情報を出現頻度の昇順に並び替える（ステップＳ２０３）。

基準パターン生成手段１３は、結合候補集合から比較元となるＩＤ（以下、比較元ＩＤ）を選択する（ステップＳ２０４）。ここでは、基準パターン生成手段１３は、結合候補集合から出現頻度が最小である出現情報のＩＤを比較元ＩＤとして選択し、選択した比較元ＩＤを他のＩＤ（比較対象ＩＤ）の出現情報と比較するものとして説明するが、それとは別の基準で選択してもよい。

ここで、基準パターン生成手段１３は、選択した比較元ＩＤの出現頻度が、結合候補集合を構成する出現情報のうち最大であるか否かを判断する（ステップＳ２０５）。

選択した比較元ＩＤの出現頻度が最大ではない場合（ステップＳ２０５でＮｏ）、基準パターン生成手段１３は、選択した比較元ＩＤと同一の出現情報をもつＩＤがあるか否かを検証する（ステップＳ２０６）。一方、選択した比較元ＩＤの出現頻度が最大である場合（ステップＳ２０５でＹｅｓ）、ステップＳ２０９に進む。

選択した比較元ＩＤと同一の出現情報を持つＩＤ（以下、比較対象ＩＤ）がある場合（ステップＳ２０６でＹｅｓ）、基準パターン生成手段１３は、比較元ＩＤと比較対象ＩＤとを結合し、ＩＤの組み合わせを生成する（ステップＳ２０７）。一方、ステップＳ２０６において、比較元ＩＤと同一の出現情報を持つＩＤがない場合（ステップＳ２０６でＮｏ）、別のＩＤを比較元ＩＤとして取得するためにステップＳ２０４の処理に戻る。

このように、ステップＳ２０４〜ステップＳ２０６の処理は、選択した比較元ＩＤと同一の出現情報を持つ比較対象ＩＤがなくなるまで繰り返される。

ここで、ステップＳ２０７に関して補足説明をする。

ステップＳ２０７において、例えば、ある比較元ＩＤ「２０４８」の出現時刻が、以下の１０通りであるとする。
「２０１４／０７／０１＿９：００：０１、２０１４／０７／０１＿１０：００：０１、２０１４／０７／０１＿１１：００：０１、２０１４／０７／０１＿１２：００：０１、２０１４／０７／０１＿１３：００：０１、２０１４／０７／０１＿１４：００：０１、２０１４／０７／０１＿１５：００：０１、２０１４／０７／０１＿１６：００：０１、２０１４／０７／０１＿１７：００：０１、２０１４／０７／０１＿１８：００：０１」
そして、比較元ＩＤ「２０４８」の各出現時刻に対応する出現回数が「２、２、２、２、２、２、２、２、２、２」であるとする。

このとき、比較対象ＩＤ「２０４９」の出現時刻が、以下の１０通りであるとする。
「２０１４／０７／０１＿９：００：０１、２０１４／０７／０１＿１０：００：０１、２０１４／０７／０１＿１１：００：０１、２０１４／０７／０１＿１２：００：０１、２０１４／０７／０１＿１３：００：０１、２０１４／０７／０１＿１４：００：０１、２０１４／０７／０１＿１５：００：０１、２０１４／０７／０１＿１６：００：０１、２０１４／０７／０１＿１７：００：０１、２０１４／０７／０１＿１８：００：０１」
そして、比較対象ＩＤ「２０４９」の各出現時刻に対応する出現回数が「２、２、２、２、２、２、２、２、２、２」であるとする。

この場合、比較元ＩＤ「２０４８」および比較対象ＩＤ「２０４９」の出現回数の合計値（出現頻度）はともに「２０」であり、出現時刻も同一である。そのため、比較元ＩＤ「２０４８」と比較対象ＩＤ「２０４９」とは結合の対象となる。

また、上述の出現頻度と出現時刻との比較において、出現頻度は同一であるが、出現時刻のみが１単位（例えば１分）ずれていた場合、当該ＩＤ同士は同一の出現情報を持つとみなしてもよい。

例えば、ある比較元ＩＤ「３０１８」の出現時刻が以下の４通りであるとする。
「２０１４／０７／０１＿９：００：０１、２０１４／０７／０１＿１２：００：０１、２０１４／０７／０１＿１５：００：０１、２０１４／０７／０１＿１８：００：０１」
そして、比較元ＩＤ「３０１８」の各出現時刻に対応する出現回数が「３、３、３、３」であるとする。

同様に、比較対象ＩＤ「４０２４」の出現時刻が以下の６通りであるとする。
「２０１４／０７／０１＿９：００：０１、２０１４／０７／０１＿１２：００：０１、２０１４／０７／０１＿１２：０１：０１、２０１４／０７／０１＿１５：００：０１、２０１４／０７／０１＿１８：００：０１、２０１４／０７／０１＿１８：０１：０１」
そして、比較対象ＩＤ「４０２４」の各出現時刻に対応する出現回数が、「３、２、１、３、１、２」であるとする。

このとき、比較元ＩＤ「３０１８」および比較対象ＩＤ「４０２４」の出現回数の合計値（出現頻度）はともに「１２」回である。しかし、比較対象ＩＤ「４０２４」では、比較元ＩＤ「３０１８」にはなかった出現時刻の差分「２０１４／０７／０１＿１２：０１：０１、２０１４／０７／０１＿１８：０１：０１」がある。このとき、時間幅が「１分」であったとすると、出現時刻の差分は、比較元ＩＤ「３０１８」の出現時刻「２０１４／０７／０１＿１２：００：０１、２０１４／０７／０１＿１８：００：０１」と隣接した時刻である。この場合、差分となった時刻は、その隣接した時刻に属するものとし、比較元ＩＤ「３０１８」と比較対象ＩＤ「４０２４」とを結合の対象とする。

なお、時刻の差分をどの範囲まで同一とみなすかの基準は、ユーザが別途定義するように構成してもよい。また、出現頻度および出現情報の一致度について閾値を設定し、設定した閾値条件を満たすＩＤ同士を結合するように構成してもよい。

図８のフローチャート（ステップＳ２０６でＹｅｓ）に戻ると、基準パターン生成手段１３は、ステップＳ２０７において比較元ＩＤと比較対象ＩＤとを結合した後に、結合候補集合の出現情報を更新する（ステップＳ２０８）。出現情報の更新において、第一に、基準パターン生成手段１３は、生成したＩＤの組み合わせとＩＤの出現情報との組を結合候補集合に追加する。第二に、基準パターン生成手段１３は、比較元ＩＤおよび比較対象ＩＤを結合候補集合から削除する。結合候補集合が更新されると、ステップＳ２０３の処理に戻る。

このように、ステップＳ２０３〜ステップＳ２０８の処理は、結合候補集合のうち出現頻度が最大の結合候補（出現情報）に到達するまで繰り返される。

最後に、選択した比較元ＩＤの出現頻度が最大である場合（ステップＳ２０５でＹｅｓ）、基準パターン生成手段１３は、結合候補集合を構成する出現情報を出現頻度の昇順に並び替えた集合を基準パターン集合として基準パターン結合手段１４に出力する（ステップＳ２０９）。なお、選択した比較元ＩＤの出現頻度が最大であるとは、結合候補集合のうち出現頻度が最大の結合候補（出現情報）に到達したことを意味する。

以上が、基準パターン生成処理についての説明である。

［基準パターン結合処理］
次に、基準パターン結合処理について説明する。基準パターン結合処理とは、基準パターン結合手段１４が、基準パターン集合に基づいてＩＤの組み合わせを結合し、パターン（組み合わせ）を生成する処理である。図９および図１０は、基準パターン結合処理に関するフローチャートである。なお、基準パターン集合とは、基準パターンの集合であり、パターン（組み合わせ）の集合と同様に、ＩＤの組み合わせと、当該組み合わせの出現情報との組で構成されるパターンである。

図９において、まず、基準パターン結合手段１４は、基準パターン生成処理において基準パターン生成手段１３が生成した基準パターン集合を読み込む（ステップＳ３０１）。

基準パターン結合手段１４は、読み込んだ基準パターン集合から、出現頻度が最も低い基準パターンを選択する（ステップＳ３０２）。ここで選択された基準パターンを比較元パターンと呼ぶ。基準パターン結合手段１４は、出現頻度が低い順に基準パターン集合から基準パターンを選択する。
ここで、基準パターン結合手段１４は、ステップＳ３０１で読み込んだ基準パターン集合の中に比較元パターンがあるか否かを判断する（ステップＳ３０３）。

比較元パターンがある場合（ステップＳ３０３でＹｅｓ）、基準パターン結合手段１４は、比較元パターンの出現頻度以下のパターンを比較対象のパターン（以下、比較対象パターン）として基準パターン集合から選択する（ステップＳ３０４）。この比較対象パターンの集合を比較対象パターン集合と呼ぶ。一方、比較元パターンがなかった場合（ステップＳ３０３でＮｏ）、図１０のステップＳ３１２に進む。

ここで、基準パターン結合手段１４は、ステップＳ３０１で読み込んだ基準パターン集合の中に比較対象パターンがあるか否かを判断する（ステップＳ３０５）。

比較対象パターンがある場合（ステップＳ３０５でＹｅｓ）、基準パターン結合手段１４は、比較元パターンの出現情報と、比較対象パターン集合に含まれる比較対象パターンの出現情報とを比較し、出現情報の類似度を算出する（ステップＳ３０６）。一方、比較対象パターンがない場合（ステップＳ３０５でＮｏ）、ステップＳ３０８に進む。

ここで、ステップＳ３０６について補足説明をする。

例えば、比較元パターン「５０２５、６０３６」の出現時刻が以下の５通りであるとする。
「２０１４／７／１＿１２：００：０１、２０１４／７／２＿１２：００：０１、２０１４／７／３＿１２：００：０１、２０１４／７／４＿１２：００：０１、２０１４／７／５＿１２：００：０１」
そして、比較元パターン「５０２５、６０３６」の各出現時刻に対応する出現回数が「２、２、２、２、２」であるとする。

一方で、比較対象パターン「１００１、３００９、７０４９」の出現時刻が以下の５通りであるとする。
「２０１４／７／１＿１２：００：０１、２０１４／７／２＿１２：００：０１、２０１４／７／３＿１２：００：０１、２０１４／７／４＿１２：００：０１、２０１４／７／５＿１２：００：０１」
そして、比較対象パターン「１００１、３００９、７０４９」の各出現時刻に対応する出現回数が「２、１、１、２、２」であるとする。

すなわち、二つの基準パターンに共通する出現情報は、出現時刻が「２０１４／７／１＿１２：００：０１、２０１４／７／２＿１２：００：０１、２０１４／７／３＿１２：００：０１、２０１４／７／４＿１２：００：０１、２０１４／７／５＿１２：００：０１」、出現回数が「２、１、１、２、２」である。

このとき、比較元パターン「５０２５、６０３６」と比較対象パターン「１００１、３００９、７０４９」との類似度は、出現回数の比から「８／８」すなわち「１．０」であると計算される。ただし、出現回数の比は、「共通する出現情報の出現頻度」と「比較対象の出現情報の出現頻度」との比であり、以下の式１によって算出する。
（出現回数の比）＝（共通する出現情報の出現頻度）／（比較対象の出現情報の出現頻度）・・・（１）
なお、式１においては、類似度の指標として、比較対象の出現頻度に対する共通部分の出現頻度の比を用いたが、これに加えて比較元の出現頻度に対する共通部分の出現頻度の比を用いてもよい。また、出現回数の比の算出において、出現情報の出現頻度を用いたが、その代わりに出現時刻の個数を用いてもよい。

基準パターン結合手段１４は、ステップＳ３０６の処理で算出した類似度が別途定義した閾値条件を満たす比較対象パターンを結合候補パターンとして選択する（ステップＳ３０７）。そして、ステップＳ３０４に戻る。閾値条件は、例えば、前述の類似度が所定の閾値を超える場合や、所定の閾値以上の場合に満たされるとすればよい。

基準パターン結合手段１４は、比較対象パターンがなくなるまで（ステップＳ３０５でＮｏ）ステップＳ３０４〜Ｓ３０７の処理を繰り返し、結合候補パターンの集合を生成する。

ここで、ステップＳ３０７について補足説明する。

例えば、比較元パターン「５０２５、６０３６」と比較対象パターン「１００１、３００９、７０４９」との類似度が「１．０」であったとする。このとき、所定の閾値が「０．９」であれば、類似度が閾値以上であるため、比較対象パターン「１００１、３００９、７０４９」は結合候補パターンとなる。ここでは、類似度の指標を１つのみとしたが、複数の類似度の指標がある場合は、単一の値を閾値として適用してもよいし、それぞれの指標に対して個別に閾値を用意してもよい。

ところで、比較対象パターンがない場合（ステップＳ３０５でＮｏ）、基準パターン結合手段１４は、結合候補パターンの集合から全ての出現情報を抽出し、抽出した全ての出現情報を結合した候補出現情報を生成する（ステップＳ３０８）。

ここで、ステップＳ３０８に関して補足説明をする。以下では、結合候補パターンが「１００１、３００９、７０４９」および「２００４、４０１６」の２種類であった場合を例としてあげる。

結合候補パターン「１００１、３００９、７０４９」の出現時刻が以下の５通りであるとする。
「２０１４／７／１＿１２：００：０１、２０１４／７／２＿１２：００：０１、２０１４／７／３＿１２：００：０１、２０１４／７／４＿１２：００：０１、２０１４／７／５＿１２：００：０１」
そして、結合候補パターン「１００１、３００９、７０４９」の各出現時刻に対応する出現回数が「２、１、１、２、２」であるとする。

さらに、結合候補パターン「２００４、４０１６」の出現時刻が「２０１４／７／２＿１２：００：０１、２０１４／７／３＿１２：００：０１」、出現回数が「１、１」であるとする。

このとき、候補出現情報は、出現時刻が「２０１４／７／１＿１２：００：０１、２０１４／７／２＿１２：００：０１、２０１４／７／３＿１２：００：０１、２０１４／７／４＿１２：００：０１、２０１４／７／５＿１２：００：０１」、出現回数が「２、２、２、２、２」となる。

そして、基準パターン結合手段１４は、比較元パターンの出現情報と、結合候補パターンの候補出現情報とを比較し、ステップＳ３０６の処理と同様に二者間の類似度を算出する（ステップＳ３０９）。

ここで、基準パターン結合手段１４は、ステップＳ３０９で算出した類似度が、別途定義した閾値以上であるか否かを判定する（ステップＳ３１０）。なお、比較元パターンの出現情報と、結合候補パターンの候補出現情報との間の類似度に関しては、その類似度が所定の閾値条件を満たすか否かで判定してもよい。

類似度が閾値より小さい場合（ステップＳ３１０でＮｏ）、基準パターン結合手段１４は、新たなる比較元パターンとして次の基準パターンを取得するために、ステップＳ３０２の処理に戻る。

一方、類似度が閾値以上の場合（ステップＳ３１０でＹｅｓ）、基準パターン結合手段１４は基準パターンを更新する（ステップＳ３１１）。基準パターンの更新において、第一に、基準パターン結合手段１４は、比較元パターンと結合候補パターンとをそれぞれ結合した結合済みパターンを生成し、生成した結合済みパターンを基準パターン集合に追加する。第二に、基準パターン結合手段１４は、比較元パターンと結合候補パターンとを基準パターン集合から削除する。基準パターンを更新すると、ステップＳ３０２に戻る。

このように、基準パターン結合手段１４は、比較元パターンの出現情報と結合候補パターンの候補出現情報との類似度が閾値以上になるまで、ステップＳ３０２〜ステップＳ３０９に相当する処理を繰り返す。

次に、図９のステップＳ３０３において、基準パターン集合の中に比較元パターンがない場合（ステップＳ３０３でＮｏ）について、図１０を用いて説明する。

図１０において、基準パターン結合手段１４は、基準パターン集合のパターンを出現頻度の昇順に並び替える（ステップＳ３１２）。

次に、基準パターン結合手段１４は、基準パターン集合から、出現頻度が低い順に基準パターンを取得する（ステップＳ３１３）。ここで選択された基準パターンが比較元の基準パターン（以下、比較元パターン）に相当する。

ここで、基準パターン結合手段１４は、基準パターン集合の中に比較元パターンがあるか否かを判断する（ステップＳ３１４）。

比較元パターンがある場合（ステップＳ３１４でＹｅｓ）、基準パターン結合手段１４は、比較元パターンの出現頻度以下のパターンを比較対象のパターン（以下、比較対象パターン）として基準パターン集合から選択する（ステップＳ３１５）。この比較対象パターンの集合を比較対象パターン集合と呼ぶ。一方、比較元パターンがない場合（ステップＳ３１４でＮｏ）、ステップＳ３２０に進む。

ここで、基準パターン結合手段１４は、基準パターン集合の中に比較対象パターンがあるか否かを判断する（ステップＳ３１６）。

ここで、比較対象パターンがある場合（ステップＳ３１６でＹｅｓ）、基準パターン結合手段１４は、比較元パターンの出現情報と、比較対象パターンの出現情報とを比較し、出現情報の類似度Ａおよび類似度Ｂを算出する（ステップＳ３１７）。

類似度Ａ（第１の類似度）は、比較元パターン（第１のパターンとも呼ぶ）の出現頻度（第１の頻度とも呼ぶ）と共通する出現頻度との比である。類似度Ａは以下の式２によって算出する。
（類似度Ａ）＝（共通する出現情報の出現頻度）／（比較元パターンの出現情報の出現頻度）・・・（２）
類似度Ｂ（第２の類似度）は、出現候補である比較対象パターン（第２のパターンとも呼ぶ）の出現頻度（第２の頻度とも呼ぶ）と共通する出現頻度との比である。類似度Ｂは以下の式３によって算出する。
（類似度Ｂ）＝（共通する出現情報の出現頻度）／（比較対象パターンの出現情報の出現頻度）・・・（３）
なお、共通する出現頻度とは、比較元パターンの出現情報における出現時刻および出現回数と、比較対象パターンの出現情報における出現時刻および出現回数とを比較した際に、両者間で出現時刻および出現回数が一致した際の一致した出現回数の総和である。すなわち、第１のパターンと第２のパターンとを比較した際に、出現情報が一致するパターンの出現回数の総和が共通頻度に相当する。

例えば、比較元パターンの出現時刻が「２０１４／７／１＿１２：００：０１、２０１４／７／２＿１２：００：０１、２０１４／７／３＿１２：００：０１、２０１４／７／４＿１２：００：０１、２０１４／７／５＿１２：００：０１」であるとする。そして、比較元パターンの出現回数が「２、１、１、２、２」であるとする。また、比較対象パターンの出現時刻が「２０１４／７／１＿１２：００：０１、２０１４／７／４＿１２：００：０１、２０１４／７／５＿１２：００：０１」であるとする。そして、比較対象パターンの出現回数が「２、２、２」であるとする。このとき、両者間で共通する出現時刻は「２０１４／７／１＿１２：００：０１、２０１４／７／４＿１２：００：０１、２０１４／７／５＿１２：００：０１」である。そして、それに対応する出現回数は「２、２、２」であるので、出現回数の総和の「６」が共通する出現頻度となる。その結果、比較元パターンの出現頻度は「８」なので、式２に基づき類似度Ａは６／８となり、比較対象パターンの出現頻度は「６」なので、式３に基づき類似度Ｂは６／６となる。例えば、類似度Ａに対する所定の閾値が１、類似度Ｂに対する所定の閾値が０．８の場合、類似度Ａおよび類似度Ｂの両方において所定の閾値が満たされたことになる。なお、出現情報の比較においては、ステップＳ２０７の処理と同様に、出現時刻に差分がある場合であっても出現情報が一致すると判定してもよい。

一方、比較対象パターンがない場合（ステップＳ３１６でＮｏ）、ステップＳ３１３に戻る。

ここで、基準パターン結合手段１４は、ステップＳ３１７で算出した類似度Ａおよび類似度Ｂのそれぞれが、別途定義した所定の閾値以上であるか否かを判定する（ステップＳ３１８）。なお、類似度Ａおよび類似度Ｂに関しては、他の所定の閾値条件を満たすか否かを判定してもよい。

類似度Ａおよび類似度Ｂのそれぞれが、別途定義した閾値未満である場合（ステップＳ３１８でＮｏ）、基準パターン結合手段１４は、新たなる比較元パターンとして次の基準パターンを取得するために、ステップＳ３１３の処理に戻る。

一方、類似度Ａおよび類似度Ｂのそれぞれが、別途定義した閾値以上である場合（ステップＳ３１８でＹｅｓ）、基準パターン結合手段１４は基準パターンを更新する（ステップＳ３１９）。基準パターンの更新において、第一に、基準パターン結合手段１４は、結合候補パターンと、比較元の基準パターンとを結合した新規基準パターンを生成し、生成した新規基準パターンを基準パターン集合に追加する。なお、新規基準パターンの出現情報は、結合候補パターンと比較元パターンとの共通要素である。第二に、基準パターン結合手段１４は、基準パターン集合から比較元パターンおよび結合候補パターンを削除する。基準パターンを更新すると、新たなる比較元パターンとして次の基準パターンを選択するために、ステップＳ３１３に戻る。

最後に、最大の出現頻度を持つ基準パターンに到達した場合（ステップＳ３１４でＮｏ）、基準パターン結合手段１４は、ステップＳ３１３〜Ｓ３１９の繰り返し処理を離脱する。そして、基準パターン結合手段１４は、更新された基準パターン集合をパターン集合としてパターン記憶手段１５へ出力する（ステップＳ３２０）。

以上が、基準パターン結合処理についての説明である。

ここで、本実施形態に係るログ分析システムの特徴部分の構成を図１１に示す。図１１において、基準パターン生成手段１３は、ログメッセージの出現情報に基づいて、同期して出現するログメッセージを組み合わせた基準パターンを生成する。基準パターン結合手段１４は、基準パターン間の出現情報を比較し、比較した結果に基づいて少なくとも一つの基準パターンを結合する。なお、少なくとも一つの基準パターンを結合するという概念には、結合すべき他の基準パターンが無い基準パターンをそのまま更新することを含む。

〔効果〕
以上の第１の実施形態に係るログ分析システムによれば、ログメッセージを分析する際に、一定時間内に連続して出力されたメッセージの組み合わせを抽出する時間を短縮することができる。なぜならば、本実施形態に係るログ分析システムの基準パターン生成手段１３は、パターン生成時に同期して出力されるログメッセージの出現を個別に比較するのではなく、一つのまとまったメッセージとして比較するからである。

また、第１の実施形態に係るログ分析システムによれば、ログメッセージの分析時に閾値を定義することによって一定の閾値条件を充足し、共起確率が高いログメッセージのみをグループ化できる。

さらに、第１の実施形態に係るログ分析システムによれば、メッセージの個数という制約条件では分割される可能性のある時間幅内にまとまって出現する複数のメッセージを、パターンとして正しく抽出することができる。なぜならば、本実施形態に係るログ分析システムは、時間幅に従って統合ログファイルを読み込み、個々のＩＤの関係を閾値に従って算出するためである。

（第２の実施形態）
次に、本発明の第２の実施形態に係るログ分析システム２について説明する。

〔構成〕
図１２は、本実施形態に係るログ分析システム２の機能構成を示すブロック図である。本実施形態に係るログ分析システム２は、第１の実施形態に係るログ分析システム１に順序学習手段２１を追加した構成をもつ。なお、本実施形態に係るログ分析システム２において、第１の実施形態に係るログ分析システム１の構成（図１）と実質的に同一の構成については、同様の符号を付与して説明を省略する。

順序学習手段２１は、基準パターン結合手段１４が出力したパターン集合に基づいて統合ログを参照し、パターン毎に順序情報２２を抽出する。なお、順序情報２２は、パターン（組み合わせ）を用いたログの分析時に、当該パターン（組み合わせ）に含まれるログＩＤが、「パターン（順序）」に含まれた順序通りに出現しているかを分析する際に利用する情報である。なお、パターン（順序）とは、「順序パターン」とも呼ばれ、ログＩＤを出現順で並べたパターンである。

順序学習手段２１は、生成した順序情報２２をパターン記憶手段１５に出力して記録する。なお、図１２には、パターン記憶手段１５が順序情報２２およびパターン集合１５０を格納する様子を図示している。

順序情報２２は、少なくとも１つのＩＤを組み合わせたパターン（組み合わせ）と、そのパターン（組み合わせ）に含まれるＩＤの並び順を考慮したパターン（順序）と、それぞれのパターン（順序）の発生確率とを含む。また、順序情報２２は、パターン（組み合わせ）の集合を別の形式で有し、共通のＩＤで一意性を保ったままパターン（組み合わせ）を管理できるように構成してもよい。また、順序情報２２は、パターンの出現情報を含んでもよい。

図１３は、順序情報２２の一例の順序情報テーブル２２０である。図１３の順序情報テーブル２２０では、パターン（組み合わせ）「１００１、２００４、３００９、５０２５」に関して、２通りの並び順をもつパターン（順序）があることを示す。一つは、パターン（組み合わせ）「１００１、２００４、３００９、５０２５」、パターン（順序）「１００１、２００４、３００９、５０２５」、発生回数「９０」の組み合わせである。もう一つは、パターン（組み合わせ）「１００１、２００４、３００９、５０２５」、パターン（順序）「１００１、３００９、２００４、５０２５」、発生回数「１０」の組み合わせである。

なお、図１３の順序情報テーブル２２０に示す表記は一例であり、同様の意味をもつ表記方式であれば、樹形図などの一般的な表記方式を用いてパターン（順序）を記憶してもよい。また、発生回数ではなく、発生回数の総和に対する各発生回数の比を発生確率として出力するように構成してもよい。

以上が、本実施形態に係るログ分析システム２の構成についての説明である。
［動作］
次に、第２の実施形態に係るログ分析システム２がログメッセージを分析する動作について説明する。なお、出現情報集計処理、基準パターン生成処理および基準パターン結合処理に関しては、第１の実施形態に係るログ分析システム１と同様であるため、説明は省略する。

［順序情報生成処理］
図１４は、本実施形態に係るログ分析システム２のログ分析システム２による順序情報生成処理に関するフローチャートである。

図１４において、まず、順序学習手段２１は、パターン記憶手段１５からパターン集合を受信する（ステップＳ４０１）。なお、順序学習手段２１は、基準パターン結合手段１４からパターン集合を直接受信するように構成してもよい。

次に、順序学習手段２１は、受信したパターン集合に含まれる各パターンの出現情報に基づいて統合ログの該当箇所を読み込む（ステップＳ４０２）。

順序学習手段２１が読み込む統合ログの該当箇所は、出現情報に記録された出現時刻と別途定義された時間幅によって決定される。例えば、出現時刻が「２０１４／７／７＿０９：００：０１」、時間幅が「１分」の場合、順序学習手段２１は、「２０１４／７／７＿０９：００：０１」から「２０１４／７／７＿０９：０１：０１」の時間帯の統合ログを読み込む。

次に、順序学習手段２１は、読み込んだ統合ログの該当箇所に含まれるログメッセージのうち、各パターンに含まれるＩＤの順序を読み込む（ステップＳ４０３）。

例えば、パターン「１００１、２００４、３００９、５０２５」に関して、読み込んだデータが「１００１、７０４９、６０３６、４９００、３００９、２００４、８０８８、５０２５」であったとする。このとき、順序学習手段２１は、読み込んだデータに関して、パターン「１００１、２００４、３００９、５０２５」に含まれるＩＤのみを参照すると、「１００１、３００９、２００４、５０２５」というＩＤの順序が読み込まれる。

次に、順序学習手段２１は、読み込んだＩＤの順序に関して発生回数を１追加し、順序情報を抽出する（ステップＳ４０４）。

ここで、順序学習手段２１は、受信したパターン集合に含まれる全てのパターンに対して順序情報２２を生成したか否かを検証する（ステップＳ４０５）。

受信したパターン集合に含まれる全てのパターンに対して順序情報２２を生成した場合（ステップＳ４０５でＹｅｓ）、順序学習手段２１は、生成した順序情報２２をパターン記憶手段１５に出力して記録する（ステップＳ４０６）。一方、受信したパターン集合に含まれる全てのパターンに対して順序情報２２を生成していない場合（ステップＳ４０５でＮｏ）、未処理のパターンに対して順序情報２２を生成するためにステップＳ４０２に戻る。

順序学習手段２１は、上記のステップＳ４０２〜ステップＳ４０５の処理を繰り返し、基準パターン結合手段１４から受信したパターン集合に含まれる全てのパターンに対して順序情報２２を生成する。

以上が、ログ分析システム２による順序情報生成処理に関する説明である。

〔効果〕
第２の実施形態に係るログ分析システムは、基準パターン結合手段が生成した結果に基づいてパターンの順序情報を生成し、少ない計算量でパターンとその順序情報を生成することができる。その理由は、本実施形態に係るログ分析システムが、基準パターン生成手段を備えるからである。

（第３の実施形態）
次に、本発明の第３の実施形態に係るログ分析システム３について説明する。

〔構成〕
図１５は、本実施形態に係るログ分析システム３の機能構成を示すブロック図である。本実施形態に係るログ分析システム３は、第１の実施形態に係るログ分析システム１にログ識別手段３１およびログ識別情報３２を追加した構成をもつ。なお、本実施形態に係るログ分析システム３において、第１の実施形態に係るログ分析システム１の構成（図１）と実質的に同一の構成については、同様の符号を付与して説明を省略する。

図１６は、ログ識別情報３２の一例（ログ識別情報３２０）を示す図である。

ログ識別情報３２は、ログＩＤと、そのログＩＤに対応するレコード表現との組の集合である。ログＩＤとは、ログ識別子とも呼ばれ、ログメッセージに付与された識別子である。レコード表現とは、ログＩＤに対応するログメッセージの本文を表現したものである。

図１６の例では、ログＩＤ「１００１」に該当するログメッセージは、「ｍｙｓｑｌｄ ｓｔａｒｔｅｄ」という文字列を含むことを意味している。なお、図１６の例では文字列を示しているが、レコード表現は、ログメッセージとの比較が可能な形態であれば、正規表現や独自に定義したテンプレートなどの任意の情報を用いて表現してもよい。

ログ識別手段３１は、ログ収集手段１１から読み込んだ統合ログに含まれるログメッセージに対し、ログ識別情報３２に記録されたレコード表現を参照してログＩＤを割り当てる。そして、ログ識別手段３１は、ログＩＤを付与したログメッセージの統合ログをログ集計手段１２に出力する。

以上が、本実施形態に係るログ分析システム３の構成についての説明である。

〔動作〕
次に、第３の実施形態に係るログ分析システム３の動作について説明する。なお、出現情報集計処理、基準パターン生成処理および基準パターン結合処理に関しては、第１の実施形態に係るログ分析システム１と同様であるため、説明は省略する。

〔ログ識別処理〕
図１７は、本実施形態に係るログ分析システム３のログ識別手段３１によるログ識別処理に関するフローチャートである。

図１７において、まず、ログ識別手段３１は、ログ収集手段１１が生成した統合ログを読み込む（ステップＳ５０１）。

次に、ログ識別手段３１は、ログ識別情報３２を参照し、読み込んだ統合ログに含まれるログメッセージに対してログＩＤを付与する（ステップＳ５０２）。

ここで、ログ識別手段３１は、読み込んだ統合ログに含まれる全てのログメッセージに対してログＩＤが付与されたか否かを判断する（ステップＳ５０３）。

全てのログメッセージに対してログＩＤが付与された場合（ステップＳ５０３でＹｅｓ）、ログ識別手段３１は、その統合ログをログ集計手段１２に送信する（ステップＳ５０４）。

一方、ログＩＤが付与されていないログメッセージがある場合（ステップＳ５０３でＮｏ）、ログＩＤが付与されていないログメッセージに対してログＩＤを付与するために、ステップＳ５０２に戻る。

以降の動作は、第１の実施形態に係るログ分析システム１と同様であるため、説明を省略する。

〔効果〕
第３の実施形態に係るログ分析システムは、ログ識別情報に基づいて、共通のログＩＤが付与されていない複数のログファイルからもパターン（組み合わせ）を少ない計算量で生成することができる。なぜならば、第３の実施形態に係るログ分析システムは、ログ識別情報に基づいてログメッセージに対してログＩＤを付与するログ識別手段と、同期して出現するログをまとめて基準パターンを生成する基準パターン生成手段とを備えているためである。

（第４の実施形態）
次に、本発明の第４の実施形態に係るログ分析システム４について説明する。

〔構成〕
図１８は、第４の実施形態に係るログ分析システム４の機能構成を示すブロック図である。第４の実施形態に係るログ分析システムは、第１の実施形態に係るログ分析システム１に、ログ分類手段４１を追加した構成をもつ。なお、本実施形態に係るログ分析システム４において、第１の実施形態に係るログ分析システム１の構成（図１）と実質的に同一の構成については、同様の符号を付与して説明を省略する。

ログ分類手段４１は、ログ収集手段１１から統合ログを読み込み、読み込んだ統合ログに含まれるログメッセージの特徴に基づいて、特徴の類似度を算出する。ログ分類手段４１は、算出した類似度が高い複数のログメッセージ同士をグループ化して分類し、同一のグループに分類されたログメッセージに共通のログＩＤ（グループ識別子とも呼ぶ）を付与する。そして、ログ分類手段４１は、グループ毎に共通のログＩＤが付与されたログメッセージの統合ログをログ集計手段１２に出力する。

以上が、本実施形態に係るログ分析システム４の構成についての説明である。

〔動作〕
次に、第４の実施形態に係るログ分析システム４の動作について説明する。なお、出現情報集計処理、基準パターン生成処理および基準パターン結合処理に関しては、第１の実施形態に係るログ分析システム１と同様であるため、説明は省略する。

〔ログ識別処理〕
図１９は、本実施形態に係るログ分析システム４のログ分類手段４１によるログ分類処理に関するフローチャートである。

図１９において、まず、ログ分類手段４１は、ログ収集手段１１が生成した統合ログを読み込む（ステップＳ６０１）。

次に、ログ分類手段４１は、読み込んだ統合ログに含まれる全てのログメッセージについて特徴量を算出し、類似度に基づく分類を行う（ステップＳ６０２）。

なお、特徴量の算出ならびに類似度に基づく分類においては、例えば、最短距離法や最長距離法、群平均法、ウォード法、ｋ−Ｍｅａｎｓ法などのアルゴリズムならびに指標を用いることができる。

次に、ログ分類手段４１は、分類結果に従って、分類された各グループにログＩＤを付与する（ステップＳ６０３）。

そして、ログ分類手段４１は、各グループに付与されたログＩＤに従い、統合ログに含まれる全てのログメッセージに対してログＩＤを付与する（ステップＳ６０４）。

最後に、ログ分類手段４１は、グループ毎に共通のログＩＤが付与されたログメッセージの統合ログをログ集計手段１２に出力する（ステップＳ６０５）。

以降の動作は、第１の実施形態に係るログ分析システム１と同様であるため、説明を省略する。

〔効果〕
第４の実施形態に係るログ分析システムによれば、共通のログＩＤが付与されていない複数のログファイルからもパターン（組み合わせ）を少ない計算量で生成することができる。なぜならば、ログメッセージに基づいて特徴量を算出して分類することで類似するログメッセージに対し一意に識別可能なログＩＤを付与するログ分類手段と、同期して出現するログをまとめて基準パターンを生成する基準パターン生成手段とを備えるためである。

（第５の実施形態）
次に、本発明の第５の実施形態に係るログ分析システム５について説明する。

〔構成〕
図２０は、第５の実施形態に係るログ分析システム５の機能構成を示すブロック図である。第５の実施形態に係るログ分析システム５は、第２の実施形態に係るログ分析システム２に、遷移時間学習手段５１を加えた構成をもつ。なお、本実施形態に係るログ分析システム５において、第２の実施形態に係るログ分析システム２の構成（図１２）と実質的に同一の構成については、同様の符号を付与して説明を省略する。また、図２０には、パターン記憶手段１５が遷移情報５２およびパターン集合１５０を格納する様子を図示している。図２０においては省略しているが、パターン記憶手段１５は、図１２と同様に順序情報２２を格納している。

遷移時間学習手段５１は、順序学習手段２１が抽出した各パターンの順序情報２２に基づいて、パターン内部における個々のログＩＤ間の遷移に掛かる遷移時間を抽出する。

図２１は、遷移時間学習手段５１が出力する遷移時間の一例（遷移時間テーブル５１０）を示す図である。遷移時間は、順序情報２２におけるログＩＤ間の遷移と、遷移に掛かる時間とを表現する。

図２１では、「１００１、２００４、３００９、５０２５」というパターン（順序）には、「１００１→２００４」と「２００４→３００９」と「３００９→５０２５」という三種類の遷移が含まれる。それぞれの遷移時間は、図２１の遷移時間テーブル５１０中の括弧内に示すように、「１秒」「２秒」「１秒」である。

なお、図２１では、一例として個々の遷移を分割して表現したが、個々の遷移を記録せずに、対応する遷移時間のみを記録するよう構成してもよい。また、図２１では、パターン（組み合わせ）およびパターン（順序）を含むように記録しているが、それぞれ別に記憶されたものを固有の識別子を用いて読み込みできるように構成してもよい。

以上が、本実施形態に係るログ分析システム５の構成についての説明である。

〔動作〕
次に、第５の実施形態に係るログ分析システム５の動作について説明する。なお、順序情報生成処理、出現情報集計処理、基準パターン生成処理および基準パターン結合処理に関しては、第２の実施形態に係るログ分析システム２と同様であるため、説明は省略する。

〔遷移時間学習処理〕
図２２は、本実施形態に係るログ分析システム４のログ分類手段４１による遷移時間学習処理に関するフローチャートである。

まず、図２２において、順序学習手段２１は、パターン集合に含まれる各パターンの出現情報に基づき、統合ログの該当箇所を読み込む（ステップＳ７０１）。

なお、順序学習手段２１によって読み込まれる該当箇所は、出現情報に記録された出現時刻と、別途定義された時間幅とによって決定される。例えば、出現時刻「２０１４／７／７＿０９：００：０１」、時間幅「１分」ならば、「２０１４／７／７＿０９：００：０１」から「２０１４／７／７＿０９：０１：０１」の統合ログを読み込む。

次に、順序学習手段２１は、読み込んだ該当箇所に含まれるログメッセージのうち、パターンに含まれるＩＤの順序を読み込む（ステップＳ７０２）。

例えば、パターン「１００１、２００４、３００９、５０２５」に関して、読み込んだデータが「１００１、７０４９、６０３６、４９００、３００９、２００４、８０８８、５０２５」であったとする。このとき、読み込んだデータに関してパターンに含まれるＩＤのみを参照すると、その順序は「１００１、３００９、２００４、５０２５」である。

次に、遷移時間学習手段５１は、順序学習手段２１が読み込んだＩＤの順序に基づいて、ＩＤ間の遷移時間を計算する（ステップＳ７０３）。

例えば、ＩＤ「１００１」の時刻が「２０１４／７／７＿０９：００：０１」、ＩＤ「３００９」の時刻が「２０１４／７／７＿０９：００：１２」であった場合、遷移「１００１→３００９」の遷移時間は「１１秒」である。

ここで、遷移時間学習手段５１は、パターンの出現情報に含まれる全ての出現時刻に関して遷移時間が計算されたか否かを判断する（ステップ７０４）。

パターンの出現情報に含まれる出現時刻のうち、全ての遷移時間が計算された場合（ステップＳ７０４でＹｅｓ）、ステップＳ７０５に進む。一方、パターンの出現情報に含まれる全ての出現時刻に関して遷移時間が計算されていない場合（ステップＳ７０４でＮｏ）、ステップＳ７０２に戻る。

遷移時間学習手段５１は、パターンの出現情報に含まれる全ての出現時刻に対し、上述のステップＳ７０２とステップＳ７０３の処理を繰り返し、各遷移の遷移時間を取得する。

次に、遷移時間学習手段５１は、取得した遷移毎の遷移時間を集計し、平均値や中央値などの値を算出し、各遷移の遷移時間として記録する（ステップＳ７０５）。遷移時間学習手段５１は、遷移時間として、平均値や中央値、分散などの値を求めて記録してもよいし、最大値と最小値との組のみを記録してもよい。あるいは、遷移時間学習手段５１は、全ての遷移時間をそのまま記録するように構成してもよい。

ここで、遷移時間学習手段５１は、パターン集合に含まれる全てのパターンとその遷移に対して遷移時間が計算されたか否かを判断する（ステップＳ７０６）。

パターン集合に含まれる全てのパターンとその遷移に対して遷移時間が計算された場合（ステップＳ７０６でＹｅｓ）、遷移時間学習手段５１は、生成した遷移時間に関する情報（遷移情報５２）をパターン記憶手段１５に記録する（ステップＳ７０７）。一方、パターン集合に含まれる全てのパターンとその遷移に対して遷移時間が計算されていない場合（ステップＳ７０６でＮｏ）、ステップＳ７０１に戻る。

遷移時間学習手段５１は、上記のステップＳ７０１〜ステップＳ７０６の処理をパターン毎に繰り返し、パターン集合に含まれる全てのパターンとその遷移に対して遷移時間を算出する。

以上が、ログ分類手段４１による遷移時間学習処理に関する説明である。

〔効果〕
第５の実施形態に係るログ分析システムによれば、基準パターン結合手段が生成した結果に基づいてパターン内の各要素間の遷移時間を生成し、少ない計算量でパターンと当該パターンに含まれる識別子間の遷移時間を生成することができる。その理由は、本実施形態に係るログ分析システムが、基準パターン生成手段と遷移時間学習手段とを備えるからである。

（ハードウェア構成）
次に、本発明の実施形態に係るログ分析システムを可能とするためのハードウェア構成について、図２３のコンピュータ６０を一例として挙げて説明する。

図２３のように、コンピュータ６０は、プロセッサ６１、主記憶装置６２、補助記憶装置６３、入出力インターフェース６４、通信インターフェース６７を備える。プロセッサ６１、主記憶装置６２、補助記憶装置６３、入出力インターフェース６４および通信インターフェース６７は、バス６８を介して互いにデータ授受可能に接続される。また、プロセッサ６１、主記憶装置６２、補助記憶装置６３および入出力インターフェース６４は、通信インターフェース６７を介して図示しないネットワークと接続される。

プロセッサ６１は、補助記憶装置６３等に格納されたプログラムを主記憶装置６２に展開し、展開されたプログラムを実行する。本実施形態においては、コンピュータ６０にインストールされたソフトウェアプログラムを用いる構成とすればよい。また、ネットワーク経由でアクセスできるストレージなどに格納されていたソフトウェアプログラムを用いる構成としてもよい。

主記憶装置６２は、例えばＤＲＡＭ等の揮発性メモリとすればよい（ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）。また、ＭＲＡＭ等の不揮発性メモリを主記憶装置６２として構成・追加してもよい（ＭＲＡＭ：Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）。主記憶装置６２には、プログラムが展開される。

補助記憶装置６３は、ハードディスクやフラッシュメモリ等のローカルディスクによって構成される。なお、補助記憶装置６３は、コンピュータ６０に接続された外部記憶装置としてもよいし、ネットワークを経由して接続されたネットワークストレージとしてもよい。

入出力インターフェース６４は、コンピュータ６０と周辺機器との接続規格に基づいて、コンピュータ６０と周辺機器とを接続する装置である。通信インターフェース６７は、図示しないネットワークとプロセッサ６１との間のデータ授受を仲介する装置である。なお、図２３においては、インターフェースをＩ／Ｆと略して表記している（Ｉ／Ｆ：Ｉｎｔｅｒｆａｃｅ）。

また、コンピュータ６０には、必要に応じて、キーボードやマウス、タッチパネルなどといった入力機器を備え付けてもよい。それらの入力機器は、情報や設定の入力に使用するために使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器が入力機器を兼ねる構成となる。プロセッサ６１と入力機器との間のデータ授受は、入出力インターフェース６４に仲介させればよい。

また、コンピュータ６０には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、コンピュータ６０には、表示機器の表示を制御するための表示制御装置（図示しない）が備えられる。図示しない表示機器は、入出力インターフェース６４を介して接続すればよい。

また、コンピュータ６０には、必要に応じて、リーダライタを備え付ける。リーダライタは、バス６８に接続され、プロセッサ６１と図示しない記録媒体（プログラム記録媒体）との間のデータ授受を仲介し、記録媒体からのデータ・プログラムの読み出し、コンピュータ６０の処理結果を記録媒体に書き込む。記録媒体は、例えばＳＤカード等の半導体記録媒体などで実現できる（ＳＤ：Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）。また、記録媒体は、フレキシブルディスク等の磁気記録媒体、ＣＤやＤＶＤ等の光学記録媒体によって実現してもよい（ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｃ、ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）。

以上が、本発明の実施形態に係るログ分析システムを可能とするためのハードウェア構成の一例である。なお、図２３のハードウェア構成は、本実施形態に係るログ分析システムを可能とするためハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、本実施形態に係るログ分析システムの処理をコンピュータに実行させるログ分析プログラムも本発明の範囲に含まれる。さらに、本発明の実施形態に係るログ分析プログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。

上述した各実施形態は、適宜組み合わせて実施されることが可能である。各ブロック図に示したブロック分けは、説明の便宜上から表された構成である。各実施形態を例に説明された本発明は、その実装に際して、各ブロック図に示した構成には限定されない。また、本発明の実施形態に係るログ分析システムの動作の説明においては、複数の動作を順番に説明しているが、それらの動作の順番は支障のない範囲で変更することができる。また、それらの動作は、それぞれ別々のタイミングで実行されるとは限らない。例えば、ある動作の実行中に他の動作が並行して発生したり、ある動作と他の動作との実行タイミングが部分的にないし全部において重複したりしてもよい。さらに、各動作の説明においては、発明の理解を容易にするため、ある動作が他の動作の契機になるように記載しているが、そのような記載は、ある動作と他の動作との関係を限定するものではない。そのため、各実施形態を実施するときには、その複数の動作の関係は内容的に支障のない範囲で変更することができる。

本発明の実施形態に係るログ分析システムは、情報処理システムや物理プラントなどを運用管理する技術に応用することができる。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１４年１１月１０日に出願された日本出願特願２０１４−２２７７０６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１、２、３、４、５ ログ分析システム
１１ ログ収集手段
１２ ログ集計手段
１３ 基準パターン生成手段
１４ 基準パターン結合手段
１５ パターン記憶手段
２１ 順序学習手段
２２ 順序情報
３１ ログ識別手段
３２ ログ識別情報
４１ ログ分類手段
５１ 遷移時間学習手段
５２ 遷移情報
６０ コンピュータ
６１ プロセッサ
６２ 主記憶装置
６３ 補助記憶装置
６４ 入出力インターフェース
６７ 通信インターフェース
６８ バス

Claims (10)

1. ログメッセージの出現情報に基づいて、同期して出現する前記ログメッセージの組み合わせ毎に基準パターンを生成する基準パターン生成手段と、
   前記基準パターンに含まれる前記ログメッセージの出現情報を前記基準パターン間で比較し、比較した結果に基づいて前記基準パターン同士を結合する基準パターン結合手段とを備えるログ分析システム。
2. 分析対象システムのログファイルを少なくとも一つ取得し、取得した前記ログファイルに含まれる前記ログメッセージをまとめた統合ログを生成するログ収集手段と、
   前記ログ収集手段が生成した前記統合ログに含まれる前記ログメッセージのそれぞれに付与されたログ識別子に対応させて、所定の時間帯において、前記ログメッセージが出現する出現時刻と、前記出現時刻において前記ログメッセージが出現する出現回数とを前記出現情報として集計するログ集計手段とを備える請求項１に記載のログ分析システム。
3. 前記基準パターン生成手段は、
   前記ログ集計手段が集計した前記出現時刻および前記出現回数のうち少なくとも一方に基づいて前記ログ識別子同士を組み合わせることによって前記基準パターンを生成し、
   前記基準パターン結合手段は、
   前記基準パターン生成手段が組み合わせた前記基準パターンに関して、前記出現時刻および前記出現回数のうち少なくとも一方の類似度が所定の閾値条件を満たす前記基準パターンを少なくとも一つ選択し、選択した前記少なくとも一つの基準パターンを結合した基準パターン集合を出力する請求項２に記載のログ分析システム。
4. 前記基準パターン結合手段は、
   前記基準パターン集合の中から選択した比較元となる第１のパターンと、前記基準パターン集合に含まれる比較対象となる第２のパターンとを比較し、前記第１および第２のパターンのうち前記出現情報が一致するパターンの出現回数の総和に相当する共通頻度に関して、前記第１のパターンの出現回数の総和に相当する第１の出現頻度と前記共通頻度との比である第１の類似度と、前記第２のパターンの出現回数の総和に相当する第２の出現頻度と前記共通頻度との比である第２の類似度を算出し、前記第１および前記第２の類似度の両方が所定の閾値条件を満たす前記基準パターン同士を結合する請求項３に記載のログ分析システム。
5. 前記ログ収集手段から前記統合ログを読み込み、前記ログメッセージに付与された前記ログ識別子と、前記ログ識別子に対応する前記ログメッセージの本文との組の集合であるログ識別情報に基づいて、前記統合ログに含まれる前記ログメッセージの本文を参照して前記ログメッセージに前記ログ識別子を割り当てるログ識別手段を備える請求項２乃至４のいずれか一項に記載のログ分析システム。
6. 前記ログ収集手段から前記統合ログを読み込み、前記統合ログに含まれる前記ログメッセージの特徴の類似度が高い前記ログメッセージ同士をグループ化して分類し、同一のグループに分類された前記ログメッセージに対して共通のグループ識別子を付与するログ分類手段を備える請求項２乃至５のいずれか一項に記載のログ分析システム。
7. 前記基準パターン結合手段が出力した前記基準パターン集合に基づいて前記統合ログを参照し、前記基準パターン集合に含まれるパターン毎に前記パターンの順序情報を抽出する順序学習手段を備える請求項３または４に記載のログ分析システム。
8. 順序学習手段が抽出した前記パターンの順序情報に基づいて、前記パターン内部における個々の前記ログ識別子間の遷移に掛かる遷移時間を抽出する遷移時間学習手段を備える請求項７に記載のログ分析システム。
9. ログメッセージの出現情報に基づいて、同期して出現する前記ログメッセージの組み合わせ毎に基準パターンを生成し、
   前記基準パターンに含まれる前記ログメッセージの出現情報を前記基準パターン間で比較し、比較した結果に基づいて前記基準パターン同士を結合するログ分析方法。
10. ログメッセージの出現情報に基づいて、同期して出現する前記ログメッセージの組み合わせ毎に基準パターンを生成する処理と、
    前記基準パターンに含まれる前記ログメッセージの出現情報を前記基準パターン間で比較し、比較した結果に基づいて前記基準パターン同士を結合する処理とをコンピュータに実行させるログ分析プログラム。

Images