JP4600327B2 - ログ解析システム、ログ解析ツール設定方法およびプログラム - Google Patents

ログ解析システム、ログ解析ツール設定方法およびプログラム Download PDF

Info

Publication number
JP4600327B2
JP4600327B2 JP2006085677A JP2006085677A JP4600327B2 JP 4600327 B2 JP4600327 B2 JP 4600327B2 JP 2006085677 A JP2006085677 A JP 2006085677A JP 2006085677 A JP2006085677 A JP 2006085677A JP 4600327 B2 JP4600327 B2 JP 4600327B2
Authority
JP
Japan
Prior art keywords
parameter
session
analysis
module
target score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006085677A
Other languages
English (en)
Other versions
JP2007264760A (ja
Inventor
祐 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2006085677A priority Critical patent/JP4600327B2/ja
Publication of JP2007264760A publication Critical patent/JP2007264760A/ja
Application granted granted Critical
Publication of JP4600327B2 publication Critical patent/JP4600327B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Description

本発明は、ログ解析ツールの設定の変更と評価を繰り返すことで、システムにおける最適なログ解析ツールの設定を発見する技術に関する。
従来、ログを集積し、それを解析するツールがあった。
ここで、不正通信の自動設定侵入検知装置からの通知をデータベースに格納し、攻撃傾向や頻度を分析し、各自動設定侵入検知装置に対して、その攻撃傾向や頻度にあわせた設定情報を配布する集約装置の解釈可能なデータに変換し、ファイアウォール、侵入検知装置から得られた不正アクセスログをログデータベースに格納し、管理者に不正アクセスを報告し、ファイアウォール、侵入検知装置の固有の設定データ形態を解析し、集約装置の解釈可能なデータに変換し、解釈可能なデータとして変換された設定情報を保持し、新たに設定しなければならない情報を受け取り、設定情報への改変、更新を行うことで、監視対象ネットワークが多くても、また、管理者が異なっても、不正アクセスの対処方法を一元管理することが容易である不正通信の自動設定侵入検知装置を提供することができる技術が提案されている(例えば、特許文献1参照)。
特開2005−293509号公報
しかしながら、上述した従来例においては次のような問題点があった。
解析するログに対して有効な設定を見つけることが困難であり、有識者でも試行錯誤が必要であった。
本発明は、以上説明した事情に鑑みてなされたものであり、その目的は、ユーザが目標スコアを指定することで、自動的にログ解析ツールの設定変更と試行錯誤を行うことによって、目標スコアを達成する設定を発見することにある。
上記課題を解決するために、本発明は、セッション生成モジュールは、連続する2つのログの記録時刻が所定時間以上である箇所をセッションの区切りとしてログファイルを1つ以上のログからなるセッションに分割し、
解析モジュールは、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力するログ解析システムにおいて、
目標スコア変換モジュールは、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出し、
パラメータ設定モジュールは、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、
評価モジュールは、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価し、
前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールは複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールは、前記評価をし、
前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見することを特徴とするログ解析システムを提供する。
また、本発明は、セッション生成モジュールが、連続する2つのログの記録時刻が所定時間以上である箇所をセッションの区切りとしてログファイルを1つ以上のログからなるセッションに分割し、
解析モジュールが、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力するログ解析ツールのログ解析ツール設定方法であって、
目標スコア変換モジュールが、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出するステップと、
パラメータ設定モジュールが、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させるステップと、
評価モジュールが、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価するステップと、
前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールが複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールが、前記評価をするステップと
を有し、
前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見することを特徴とするログ解析ツール設定方法を提供する。
また、本発明は、コンピュータに、セッション生成モジュールによって、連続する2つのログの記録時刻が所定時間以上である箇所をセッションの区切りとしてログファイルを1つ以上のログからなるセッションに分割する処理と、
解析モジュールによって、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力する処理とを実行させるログ解析ツールのプログラムであって、
コンピュータに、目標スコア変換モジュールが、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出する処理と、
パラメータ設定モジュールが、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させる処理と、
評価モジュールが、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価する処理と、
前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールが複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールが、前記評価をする処理と
を実行させ、
前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見させることを特徴とするプログラムを提供する。
本発明によれば、自動的にログ解析ツールの設定変更と試行錯誤を行うことによって、目標スコアを達成する設定を発見することができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図1を参照すると、本実施の形態におけるログ解析システムとしてのログ解析ツールは、セッション生成モジュール102と解析モジュール103から構成される。
評価モジュール100は、ユーザが指定する評価完了条件に従って解析スコアファイル109と目標スコアファイル107を比較評価し、評価結果をパラメータ設定モジュール101に渡す機能を有する。
詳細ロジックは図2に示す。
パラメータ設定モジュール101は、ユーサが指定する探索範囲と評価モジュール100から渡される評価結果に従って各パラメータを変更し、変更したパラメータを指定してセッション生成モジュール102と解析モジュール103を動作させる機能を有する。
詳細ロジックは図3、図4に示す。
セッション生成モジュール102は、パラメータ設定モジュール101から指定されたパラメータに従って解析対象ログファイル105からセッションデータをセッションデータファイル106に出力する機能を有する。
詳細ロジックは図5に示す。
解析対象ログファイル105とセッションデータファイル108の関係の一例を図6に示す。これは、解析対象ログファイル(syslog_merge.log)を以下のセッション化ルールでセッション化したものである。
ログから時刻情報とホスト情報を削除し、メッセージから数字を削除したものをシンボルとし、ログの間隔が60秒以上開くごとにセッションを分割する。
セッションヘッダはセッションの先頭にあり、以下のような形式で情報を持つ。
セッション番号△セッションに含まれるシンボル数△解析対象ログにおける開始行番号△解析対象ログにおける終了行番号△”解析対象ログファイル名”
また、セッションが複数ファイルに及ぶ場合や行番号が連続しない場合は、
「”解析対象ログファイル名”」のあとに必要なだけ
「△解析対象ログにおける開始行番号△解析対象ログにおける終了行番号△”解析対象ログファイル名”」
を記載することで表現する。
(△は半角スペースとする。)
解析モジュール103は、パラメータ設定モジュール101から指定されたパラメータに従ってセッションデータファイル108からセッションデータを読み込み、セッションごとの解析スコアを解析スコアファイル109に出力する。
詳細ロジックは図7に示す。
セッションデータファイル108と解析スコアファイル109の関係の一例を図に示す。
解析スコアファイルには、セッションごとの解析結果である解析スコアがあり、解析スコアには以下のような形式で情報をもつ。
セッション番号,解析スコア1,解析スコア2,解析スコア3,、解析対象ログファイルにおける開始行番号△解析対象ログファイルにおける終了行番号△”解析対象ログファイル名”
なお、「解析対象ログファイルにおける開始行番号△解析対象ログファイルにおける終了行番号△”解析対象ログファイル名”」の部分についてはセッションデータファイル108と同様である。
また、解析スコアが4つ以上の場合は、
セッション番号、解析スコア1,解析スコア2,解析スコア3,解析スコア4,・・・解析対象ログファイルにおける開始行番号△解析対象ログファイルにおける終了行番号△”解析対象ログファイル名”
というように「,」で区切って追加していけばよい。
目標スコア変換モジュール104は、ユーザがログごとに指定する目標スコアをもつユーザ指定目標スコアファイル106とセッションデータファイル108からセッションごとの目標スコアもつ目標スコアファイル107を生成する機能を有する。
詳細ロジックは図に示す。
ユーザ指定目標スコアファイル106とセッションデータファイル108と目標スコアファイル107の関係の一例は図10に示す。これは、ユーザ指定目標スコアファイル106のログごとに指定された目標スコアをセッションデータファイル108のセッションと同様に分割し、そのセッション内の目標スコア(解析スコアの目標範囲)の中からそのセッションの目標スコアを算出している。
また、解析スコア1に対しては目標スコアの指定はなく、解析スコア2に対しては2つの目標範囲が指定されており、解析スコア3に対しては1つの目標範囲が指定されていることを示している。ユーザ指定目標スコアファイル106は以下の形式でログごとの目標スコアを示している。
解析スコア1の目標範囲,解析スコア2の目標範囲,解析スコア3の目標範囲
また、各目標範囲は「下限△上限」の順で示し、一つの解析スコア(解析スコア1や解析スコア2など)に対して複数の目標範囲を指定する場合は、
目標範囲1の下限△目標範囲1の上限△目標範囲2の下限△目標範囲2の上限 …
というように指定する。
次に、本実施の形態の動作を説明する。
ログ解析ツールの自動設定を行う場合、まず、評価モジュール100は評価完了条件を設定し、パラメータ設定モジュール101にパラメータ設定開始要求を行う(200−202)。ここでは、評価完了条件として「解析スコア2が目標範囲2の上限と下限の間に全セッションの90%以上が収まり、かつ解析スコア2が目標範囲1の上限と下限の間に全て収まり、かつ解析スコア3が目標範囲3の上限と下限の間にすべて収まる場合」もしくは、「検証回数が1000回に到達した場合」とする。これらは評価完了条件の一例であり限定されない。
パラメータ設定モジュール101はパラメータ設定要求を受けると、ユーザが指定する最適値を探索するパラメータとその探索範囲、初期値、固定値とするパラメータの値を設定する (300−302)。
ここでの各モジュールに指定するパラメータはセッション生成モジュール102に対しては5つ、解析モジュール103に対しては3つとし、探索するパラメータと探索範囲の一例は図11に示す。
ここでの初期値(パラメータ候補)は5つ用意し、それを図12に示す。
また、各パラメータ候補は図13のように管理する。
初期値としてパラメータ候補がセットされると、そのパラメータ候補で、セッション作成モジュール102にセッションデータ生成要求と解析モジュール103に解析要求を行い、目標スコア変換モジュール104に目標スコア変換要求を行う(303−305)。
ここでは、パラメータ候補Aが選択されたものとする。
セッション生成モジュール102は、セッションデータ生成要求を受けると、解析対象ログを読み込み、セッションデータを出力する(400−403)。
解析モジュール103は、解析要求を受けると、セッションデータを読み込み、解析スコアを出力する(600−603)。
目標スコア変換モジュール104は、ユーザ指定目標スコアを読み込み、目標スコア変換要求を受けると、セッションデータを読み込み、目標スコアを出力する(800−805)。
ここでのユーザ指定目標スコアから目標スコアの算出方法は、ユーザ指定目標スコアの同じセッションの同じ目標範囲から下限は最小値、上限は最小値を目標スコアの下限、上限とする。
例えば、同一セッションのユーザ指定目標スコアが以下の場合、
,,4.000000e-002 1.000000e-001 6.000000e-002 9.000000e-002,1.000000e+000 3.000000e+000
,,8.000000e-001 1.000000e+000 8.500000e-001 9.000000e-001,1.000000e+000 3.000000e+000
,,8.000000e-001 1.000000e+000 8.500000e-001 9.000000e-001,1.000000e+000 3.000000e+000
,,5.000000e-002 9.000000e-002 6.000000e-002 8.000000e-002,1.000000e+000 3.000000e+000
,,8.000000e-001 1.000000e+000 8.500000e-001 9.000000e-001,1.000000e+000 3.000000e+000
,,8.000000e-001 1.000000e+000 8.500000e-001 9.000000e-001,1.000000e+000 3.000000e+000
同一セッションの目標スコアは以下のようになる。
2,,4.000000e-002 1.000000e+000 6.000000e-002 9.000000e-001,1.000000e+000 3.000000e+000
評価モジュール100は、目標スコア、解析スコアを読み込み、同じセッション番号の目標スコアと解析スコアを比較評価する(203−205)。
ここでは、解析スコア2が目標範囲2の下限を下回るセッションがあったとする。
この場合、「評価完了条件の未達」を意味する評価結果をパラメータ設定変更モジュール101に渡す(206)。
パラメータ設定変更モジュール101は「評価完了条件の未達」を意味する評価結果を受けると、セッション生成モジュール102にセッションデータ生成中止要求、解析モジュールに解析中止要求、目標スコア変換モジュールに目標スコア変換中止要求を行う(307,312−314)。
次に、まだ未検証であるパラメータ候補(パラメータ候補B、パラメータ候補C、パラメータ候補D、パラメータ候補E)があるので、次のパラメータ候補(パラメータ候補B)をセットして、各モジュールに開始要求を行う(315−316,303−305)。
ここでは、初期値であるパラメータ候補は全て、評価完了条件を達成できなかったとする。
すべてのパラメータ候補について検証を実施し、評価完了条件を達成できなかった場合は、評価結果の順にパラメータ候補を並べ、順位が一つ上位であるパラメータ候補からランダムな位置のビットをコピーし、最も評価結果の悪いパラメータ候補のランダムな位置のビット反転を行い新しいパラメータ候補を生成する(315,317−320)。
ここでの評価結果が良い順は以下のようにする。
「解析スコア2が目標範囲1の上限と下限の間に全て収まり、かつ、解析スコア3が目標範囲3の上限と下限の間に全て収まる場合」 > 「解析スコア2が目標範囲1の上限と下限の間に全て収まる」 > 「解析スコア3が目標範囲3の上限と下限の間にすべて収まる場合」 > 「その他の場合」
同一条件内では、解析スコア2が目標範囲2の上限と下限の間に収まっている割合が大きいほど良いとする。
新しいパラメータ候補の生成方法の一例を図14に示す。
ここでは、D、B、A、E、Cの順となったとし、コピーならびに反転するビットは1つとする。
この新しいパラメータ候補の生成で、生成されたパラメータが探索範囲外を示している場合は、パラメータの補正を行う(321)。
ここでの補正方法は、探索範囲の上限より大きい場合は探索範囲の上限、探索範囲の下限より小さい場合は探索範囲の下限として扱うように補正する。ただし、パラメータ候補を示すビット列自体は変更しない。
新しいパラメータ候補を図15に示す。
新たにパラメータ候補を生成すると、その新たに生成したパラメータ候補をセットして、セッション生成モジュール102、解析モジュール103に開始要求を行い、目標スコア変換モジュール104に開始要求を行う(322,303−305)。
なお、パラメータ候補Dは変更がないので検証を行わない。
このパラメータ候補の生成と検証を「評価完了条件を達成する」を意味する評価結果を受けるまで行う。
そして、パラメータ候補の生成と検証の繰り返しによって、最適なパラメータ候補が生成され、そのパラメータ候補をセットして、セッション生成モジュール102、解析モジュール103、目標スコア変換モジュールに開始要求104が行われたとする。
すると、評価モジュール100が目標スコアと解析スコアを読み込み、比較評価を行う(203−205)。
ここで、「解析スコア2が目標範囲2の上限と下限の間に全セッションの90%以上が収まり、解析スコア2が目標範囲1の上限と下限の間に全て収まり、解析スコア3が目標範囲3の上限と下限の間にすべて収まる場合」という評価完了条件の達成が確認されると、その評価結果をパラメータ設定モジュール101に渡し、評価モジュール100は次の評価開始要求を待つ(206−207)。
パラメータ設定変更モジュール101は、評価完了条件の達成を意味する評価結果を受けるとパラメータ候補値を評価結果の良い順に出力し、セッション生成モジュール102、解析モジュール103、目標スコア変換モジュール104に中止要求を行い、次のパラメータ設定変更開始要求を待つ(307−311)。
また、セッション生成モジュール102、解析モジュール103、目標スコア変換モジュール104も中止要求を受けると次の開始要求を待つ。
以上により、最適なログ解析ツールの設定の発見を容易にする。
なお、上記の実施の形態で具体的に示した、評価完了条件、探索するパラメータ、設定可能なパラメータの種類、探索範囲、パラメータの補正方法、新しいパラメータの生成方法、ログ毎の目標スコアをセッション毎の目標スコアに変換する方法、解析対象ログファイルのフォーマット、セッションデータファイルのフォーマット、解析スコアファイルのフォーマット、ユーザ指定目標スコアファイルのフォーマット、目標スコアファイルのフォーマット等は適宜該当箇所で言及したものもあるが、一例に過ぎず、種々の変形を含むものである。
上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、本ログ解析システムの機能を実現するためのプログラムを各装置に読込ませて実行することにより各装置の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるCD−ROMまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線などを介して伝送波により他のコンピュータシステムに伝送されてもよい。
上述する各実施の形態は、本ログ解析システムが1つのコンピュータシステムとして実現されている構成について説明したが、各機能が別個に接続されている構成や機能毎に複数の装置などが追加された構成にも適用可能であることはもちろんである。
本発明の実施の形態におけるログ解析システムの概念図である。 本発明の実施の形態における評価モジュールを示す図である。 本発明の実施の形態におけるパラメータ設定モジュールの一例を示す図である。 本発明の実施の形態におけるパラメータ設定モジュールの一例を示す図である。 本発明の実施の形態におけるセッション生成モジュールを示す図である。 本発明の実施の形態における解析対象ログファイルとセッションデータファイルの関係を示す図である。 本発明の実施の形態における解析モジュールを示す図である。 本発明の実施の形態におけるセッションデータファイルと解析スコアファイルの関係を示す図である。 本発明の実施の形態における目標スコア変換モジュールを示す図である。 本発明の実施の形態におけるユーザ指定目標スコアファイルとセッションデータファイルと目標スコアファイルの関係を示す図である。 本発明の実施の形態における各モジュールと各パラメータの探索範囲を示す図である。 本発明の実施の形態における各初期値を示す図である。 本発明の実施の形態におけるパラメータ候補の管理を示す図である。 本発明の実施の形態における新しいパラメータ候補の生成を示す図である。 本発明の実施の形態における新しいパラメータ候補を示す図である。
符号の説明
100 評価モジュール
101 パラメータ設定モジュール
102 セッション生成モジュール
103 解析モジュール
104 目標スコア変換モジュール
105 解析対象ログファイル
106 セッションデータファイル
107 目標スコアファイル
108 セッションデータファイル
109 解析スコアファイル

Claims (3)

  1. セッション生成モジュールは、連続する2つのログの記録時刻が所定時間以上である箇所をセッションの区切りとしてログファイルを1つ以上のログからなるセッションに分割し、
    解析モジュールは、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力するログ解析システムにおいて、
    目標スコア変換モジュールは、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出し、
    パラメータ設定モジュールは、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、
    評価モジュールは、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価し、
    前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールは複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールは、前記評価をし、
    前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見することを特徴とするログ解析システム。
  2. セッション生成モジュールが、連続する2つのログの記録時刻が所定時間以上である箇所をセッションの区切りとしてログファイルを1つ以上のログからなるセッションに分割し、
    解析モジュールが、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力するログ解析ツールのログ解析ツール設定方法であって、
    目標スコア変換モジュールが、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出するステップと、
    パラメータ設定モジュールが、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させるステップと、
    評価モジュールが、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価するステップと、
    前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールが複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールが、前記評価をするステップと
    を有し、
    前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見することを特徴とするログ解析ツール設定方法。
  3. コンピュータに、セッション生成モジュールによって、連続する2つのログの記録時刻が所定時間以上である箇所をセッションの区切りとしてログファイルを1つ以上のログからなるセッションに分割する処理と、
    解析モジュールによって、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力する処理とを実行させるログ解析ツールのプログラムであって、
    コンピュータに、目標スコア変換モジュールが、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出する処理と、
    パラメータ設定モジュールが、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させる処理と、
    評価モジュールが、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価する処理と、
    前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールが複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールが、前記評価をする処理と
    を実行させ、
    前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見させることを特徴とするプログラム。
JP2006085677A 2006-03-27 2006-03-27 ログ解析システム、ログ解析ツール設定方法およびプログラム Expired - Fee Related JP4600327B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006085677A JP4600327B2 (ja) 2006-03-27 2006-03-27 ログ解析システム、ログ解析ツール設定方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006085677A JP4600327B2 (ja) 2006-03-27 2006-03-27 ログ解析システム、ログ解析ツール設定方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2007264760A JP2007264760A (ja) 2007-10-11
JP4600327B2 true JP4600327B2 (ja) 2010-12-15

Family

ID=38637729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006085677A Expired - Fee Related JP4600327B2 (ja) 2006-03-27 2006-03-27 ログ解析システム、ログ解析ツール設定方法およびプログラム

Country Status (1)

Country Link
JP (1) JP4600327B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850666A (zh) * 2015-06-15 2015-08-19 上海斐讯数据通信技术有限公司 一种日志文件自动分析方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5200775B2 (ja) * 2008-09-04 2013-06-05 富士通株式会社 イベントデータ分割処理プログラム,装置および方法
JP6228262B2 (ja) * 2016-06-03 2017-11-08 エヌ・ティ・ティ・コミュニケーションズ株式会社 攻撃検出装置、攻撃検出方法、および攻撃検出プログラム
JP7005278B2 (ja) * 2017-10-27 2022-01-21 株式会社エヌ・ティ・ティ・データ 異常ログ検出装置、異常ログの検出方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054370A (ja) * 2002-07-17 2004-02-19 Nec Corp 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置
JP2004318552A (ja) * 2003-04-17 2004-11-11 Kddi Corp Idsログ分析支援装置、idsログ分析支援方法及びidsログ分析支援プログラム
JP2005182647A (ja) * 2003-12-22 2005-07-07 Nec Corp 機器の異常検知装置
JP2005216066A (ja) * 2004-01-30 2005-08-11 Internatl Business Mach Corp <Ibm> 異常検出システム及びその方法
JP2005250802A (ja) * 2004-03-03 2005-09-15 Toshiba Solutions Corp 不正アクセス検出装置及び不正アクセス検出プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054370A (ja) * 2002-07-17 2004-02-19 Nec Corp 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置
JP2004318552A (ja) * 2003-04-17 2004-11-11 Kddi Corp Idsログ分析支援装置、idsログ分析支援方法及びidsログ分析支援プログラム
JP2005182647A (ja) * 2003-12-22 2005-07-07 Nec Corp 機器の異常検知装置
JP2005216066A (ja) * 2004-01-30 2005-08-11 Internatl Business Mach Corp <Ibm> 異常検出システム及びその方法
JP2005250802A (ja) * 2004-03-03 2005-09-15 Toshiba Solutions Corp 不正アクセス検出装置及び不正アクセス検出プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850666A (zh) * 2015-06-15 2015-08-19 上海斐讯数据通信技术有限公司 一种日志文件自动分析方法

Also Published As

Publication number Publication date
JP2007264760A (ja) 2007-10-11

Similar Documents

Publication Publication Date Title
CN107665191B (zh) 一种基于扩展前缀树的私有协议报文格式推断方法
US8005828B2 (en) Learning query rewrite policies
Mizutani Incremental mining of system log format
US9275224B2 (en) Apparatus and method for improving detection performance of intrusion detection system
US9990583B2 (en) Match engine for detection of multi-pattern rules
CN103164698B (zh) 文本指纹库生成方法及装置、文本指纹匹配方法及装置
WO2020250299A1 (ja) 分析装置、分析システム、分析方法及びプログラムが格納された非一時的なコンピュータ可読媒体
CN112468347B (zh) 一种云平台的安全管理方法、装置、电子设备及存储介质
TW201702921A (zh) 異常預測方法、系統及裝置
JP4600327B2 (ja) ログ解析システム、ログ解析ツール設定方法およびプログラム
CN110414236A (zh) 一种恶意进程的检测方法及装置
EP3623983A1 (en) Method and device for identifying security threats, storage medium, processor and terminal
KR102367859B1 (ko) 특징 벡터를 이용하여 데이터를 분류하는 장치 및 방법
US8756312B2 (en) Multi-tier message correlation
Siwach et al. Anomaly detection for weblog data analysis using weighted PCA technique
JP7274162B2 (ja) 異常操作検知装置、異常操作検知方法、およびプログラム
Alosefer et al. Predicting client-side attacks via behaviour analysis using honeypot data
Qin et al. Frequent episode rules for intrusive anomaly detection with internet datamining
CN110855625A (zh) 基于流式处理的异常分析方法、装置及存储介质
KR101909268B1 (ko) Rapi 기반 프로파일링 정보를 공유하기 위한 시스템 및 그 방법
CN113132341B (zh) 网络攻击行为的检测方法、装置、电子设备及存储介质
WO2021171383A1 (ja) ログ生成装置、ログ生成方法、及びコンピュータ読み取り可能な記録媒体
KR101893029B1 (ko) 머신 러닝 기반의 취약점 정보를 분류하는 방법 및 장치
JPWO2009025039A1 (ja) システム分析プログラム、システム分析方法およびシステム分析装置
Guruprasad et al. Development of an evolutionary framework for autonomous rule creation for intrusion detection

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100831

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131008

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4600327

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees