JP4600327B2 - ログ解析システム、ログ解析ツール設定方法およびプログラム - Google Patents
ログ解析システム、ログ解析ツール設定方法およびプログラム Download PDFInfo
- Publication number
- JP4600327B2 JP4600327B2 JP2006085677A JP2006085677A JP4600327B2 JP 4600327 B2 JP4600327 B2 JP 4600327B2 JP 2006085677 A JP2006085677 A JP 2006085677A JP 2006085677 A JP2006085677 A JP 2006085677A JP 4600327 B2 JP4600327 B2 JP 4600327B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- session
- analysis
- module
- target score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
解析モジュールは、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力するログ解析システムにおいて、
目標スコア変換モジュールは、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出し、
パラメータ設定モジュールは、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、
評価モジュールは、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価し、
前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールは複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールは、前記評価をし、
前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見することを特徴とするログ解析システムを提供する。
解析モジュールが、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力するログ解析ツールのログ解析ツール設定方法であって、
目標スコア変換モジュールが、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出するステップと、
パラメータ設定モジュールが、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させるステップと、
評価モジュールが、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価するステップと、
前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールが複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールが、前記評価をするステップと
を有し、
前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見することを特徴とするログ解析ツール設定方法を提供する。
解析モジュールによって、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力する処理とを実行させるログ解析ツールのプログラムであって、
コンピュータに、目標スコア変換モジュールが、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出する処理と、
パラメータ設定モジュールが、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させる処理と、
評価モジュールが、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価する処理と、
前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールが複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールが、前記評価をする処理と
を実行させ、
前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見させることを特徴とするプログラムを提供する。
セッション番号△セッションに含まれるシンボル数△解析対象ログにおける開始行番号△解析対象ログにおける終了行番号△”解析対象ログファイル名”
また、セッションが複数ファイルに及ぶ場合や行番号が連続しない場合は、
「”解析対象ログファイル名”」のあとに必要なだけ
「△解析対象ログにおける開始行番号△解析対象ログにおける終了行番号△”解析対象ログファイル名”」
を記載することで表現する。
(△は半角スペースとする。)
解析スコアファイルには、セッションごとの解析結果である解析スコアがあり、解析スコアには以下のような形式で情報をもつ。
セッション番号,解析スコア1,解析スコア2,解析スコア3,、解析対象ログファイルにおける開始行番号△解析対象ログファイルにおける終了行番号△”解析対象ログファイル名”
なお、「解析対象ログファイルにおける開始行番号△解析対象ログファイルにおける終了行番号△”解析対象ログファイル名”」の部分についてはセッションデータファイル108と同様である。
セッション番号、解析スコア1,解析スコア2,解析スコア3,解析スコア4,・・・解析対象ログファイルにおける開始行番号△解析対象ログファイルにおける終了行番号△”解析対象ログファイル名”
というように「,」で区切って追加していけばよい。
また、各目標範囲は「下限△上限」の順で示し、一つの解析スコア(解析スコア1や解析スコア2など)に対して複数の目標範囲を指定する場合は、
目標範囲1の下限△目標範囲1の上限△目標範囲2の下限△目標範囲2の上限 …
というように指定する。
ここでは、パラメータ候補Aが選択されたものとする。
,,4.000000e-002 1.000000e-001 6.000000e-002 9.000000e-002,1.000000e+000 3.000000e+000
,,8.000000e-001 1.000000e+000 8.500000e-001 9.000000e-001,1.000000e+000 3.000000e+000
,,8.000000e-001 1.000000e+000 8.500000e-001 9.000000e-001,1.000000e+000 3.000000e+000
,,5.000000e-002 9.000000e-002 6.000000e-002 8.000000e-002,1.000000e+000 3.000000e+000
,,8.000000e-001 1.000000e+000 8.500000e-001 9.000000e-001,1.000000e+000 3.000000e+000
,,8.000000e-001 1.000000e+000 8.500000e-001 9.000000e-001,1.000000e+000 3.000000e+000
同一セッションの目標スコアは以下のようになる。
2,,4.000000e-002 1.000000e+000 6.000000e-002 9.000000e-001,1.000000e+000 3.000000e+000
「解析スコア2が目標範囲1の上限と下限の間に全て収まり、かつ、解析スコア3が目標範囲3の上限と下限の間に全て収まる場合」 > 「解析スコア2が目標範囲1の上限と下限の間に全て収まる」 > 「解析スコア3が目標範囲3の上限と下限の間にすべて収まる場合」 > 「その他の場合」
ここでは、D、B、A、E、Cの順となったとし、コピーならびに反転するビットは1つとする。
この新しいパラメータ候補の生成で、生成されたパラメータが探索範囲外を示している場合は、パラメータの補正を行う(321)。
ここでの補正方法は、探索範囲の上限より大きい場合は探索範囲の上限、探索範囲の下限より小さい場合は探索範囲の下限として扱うように補正する。ただし、パラメータ候補を示すビット列自体は変更しない。
新たにパラメータ候補を生成すると、その新たに生成したパラメータ候補をセットして、セッション生成モジュール102、解析モジュール103に開始要求を行い、目標スコア変換モジュール104に開始要求を行う(322,303−305)。
101 パラメータ設定モジュール
102 セッション生成モジュール
103 解析モジュール
104 目標スコア変換モジュール
105 解析対象ログファイル
106 セッションデータファイル
107 目標スコアファイル
108 セッションデータファイル
109 解析スコアファイル
Claims (3)
- セッション生成モジュールは、連続する2つのログの記録時刻が所定時間以上である箇所をセッションの区切りとしてログファイルを1つ以上のログからなるセッションに分割し、
解析モジュールは、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力するログ解析システムにおいて、
目標スコア変換モジュールは、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出し、
パラメータ設定モジュールは、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、
評価モジュールは、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価し、
前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールは複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールは、前記評価をし、
前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見することを特徴とするログ解析システム。 - セッション生成モジュールが、連続する2つのログの記録時刻が所定時間以上である箇所をセッションの区切りとしてログファイルを1つ以上のログからなるセッションに分割し、
解析モジュールが、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力するログ解析ツールのログ解析ツール設定方法であって、
目標スコア変換モジュールが、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出するステップと、
パラメータ設定モジュールが、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させるステップと、
評価モジュールが、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価するステップと、
前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールが複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールが、前記評価をするステップと
を有し、
前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見することを特徴とするログ解析ツール設定方法。 - コンピュータに、セッション生成モジュールによって、連続する2つのログの記録時刻が所定時間以上である箇所をセッションの区切りとしてログファイルを1つ以上のログからなるセッションに分割する処理と、
解析モジュールによって、該セッションごとに解析を行い、セッションごとの異常度等を解析スコアとして出力する処理とを実行させるログ解析ツールのプログラムであって、
コンピュータに、目標スコア変換モジュールが、前記セッションごとに分割した複数のログの各々にユーザが指定した目標スコアの下限のうち、最小のものを前記セッションごとの目標スコアの下限とし、前記目標スコアの上限のうち、最大のものを前記セッションごとの目標スコアの上限として抽出する処理と、
パラメータ設定モジュールが、所定の複数のパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させる処理と、
評価モジュールが、目標スコアを満たすパラメータ候補を探すために前記解析モジュールの出力する前記解析スコアが前記セッションごとの目標スコアを満たすか否か評価する処理と、
前記評価モジュールにより前記目標スコアを満たさないと評価され、前記所定の複数のパラメータ候補に目標スコアを満たすパラメータ候補が無い場合、前記パラメータ設定モジュールが複数の新しいパラメータ候補を生成し、生成した該新しいパラメータ候補のうちの各パラメータを指定して前記セッション生成モジュールおよび前記解析モジュールを動作させ、前記評価モジュールが、前記評価をする処理と
を実行させ、
前記複数のパラメータ候補のうち、少なくとも1つのパラメータ候補が前記目標スコアを満たすパラメータ候補であると評価されるまで前記パラメータ候補の前記生成による変更と前記評価とを繰り返すことで、より前記目標スコアの範囲に前記解析スコアが収まる割合が大きく評価結果の良い前記目標スコアを満たすパラメータ候補を発見させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006085677A JP4600327B2 (ja) | 2006-03-27 | 2006-03-27 | ログ解析システム、ログ解析ツール設定方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006085677A JP4600327B2 (ja) | 2006-03-27 | 2006-03-27 | ログ解析システム、ログ解析ツール設定方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007264760A JP2007264760A (ja) | 2007-10-11 |
JP4600327B2 true JP4600327B2 (ja) | 2010-12-15 |
Family
ID=38637729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006085677A Expired - Fee Related JP4600327B2 (ja) | 2006-03-27 | 2006-03-27 | ログ解析システム、ログ解析ツール設定方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4600327B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850666A (zh) * | 2015-06-15 | 2015-08-19 | 上海斐讯数据通信技术有限公司 | 一种日志文件自动分析方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5200775B2 (ja) * | 2008-09-04 | 2013-06-05 | 富士通株式会社 | イベントデータ分割処理プログラム,装置および方法 |
JP6228262B2 (ja) * | 2016-06-03 | 2017-11-08 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 攻撃検出装置、攻撃検出方法、および攻撃検出プログラム |
JP7005278B2 (ja) * | 2017-10-27 | 2022-01-21 | 株式会社エヌ・ティ・ティ・データ | 異常ログ検出装置、異常ログの検出方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004054370A (ja) * | 2002-07-17 | 2004-02-19 | Nec Corp | 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 |
JP2004318552A (ja) * | 2003-04-17 | 2004-11-11 | Kddi Corp | Idsログ分析支援装置、idsログ分析支援方法及びidsログ分析支援プログラム |
JP2005182647A (ja) * | 2003-12-22 | 2005-07-07 | Nec Corp | 機器の異常検知装置 |
JP2005216066A (ja) * | 2004-01-30 | 2005-08-11 | Internatl Business Mach Corp <Ibm> | 異常検出システム及びその方法 |
JP2005250802A (ja) * | 2004-03-03 | 2005-09-15 | Toshiba Solutions Corp | 不正アクセス検出装置及び不正アクセス検出プログラム |
-
2006
- 2006-03-27 JP JP2006085677A patent/JP4600327B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004054370A (ja) * | 2002-07-17 | 2004-02-19 | Nec Corp | 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 |
JP2004318552A (ja) * | 2003-04-17 | 2004-11-11 | Kddi Corp | Idsログ分析支援装置、idsログ分析支援方法及びidsログ分析支援プログラム |
JP2005182647A (ja) * | 2003-12-22 | 2005-07-07 | Nec Corp | 機器の異常検知装置 |
JP2005216066A (ja) * | 2004-01-30 | 2005-08-11 | Internatl Business Mach Corp <Ibm> | 異常検出システム及びその方法 |
JP2005250802A (ja) * | 2004-03-03 | 2005-09-15 | Toshiba Solutions Corp | 不正アクセス検出装置及び不正アクセス検出プログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850666A (zh) * | 2015-06-15 | 2015-08-19 | 上海斐讯数据通信技术有限公司 | 一种日志文件自动分析方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2007264760A (ja) | 2007-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107665191B (zh) | 一种基于扩展前缀树的私有协议报文格式推断方法 | |
US8005828B2 (en) | Learning query rewrite policies | |
Mizutani | Incremental mining of system log format | |
US9275224B2 (en) | Apparatus and method for improving detection performance of intrusion detection system | |
US9990583B2 (en) | Match engine for detection of multi-pattern rules | |
CN103164698B (zh) | 文本指纹库生成方法及装置、文本指纹匹配方法及装置 | |
WO2020250299A1 (ja) | 分析装置、分析システム、分析方法及びプログラムが格納された非一時的なコンピュータ可読媒体 | |
CN112468347B (zh) | 一种云平台的安全管理方法、装置、电子设备及存储介质 | |
TW201702921A (zh) | 異常預測方法、系統及裝置 | |
JP4600327B2 (ja) | ログ解析システム、ログ解析ツール設定方法およびプログラム | |
CN110414236A (zh) | 一种恶意进程的检测方法及装置 | |
EP3623983A1 (en) | Method and device for identifying security threats, storage medium, processor and terminal | |
KR102367859B1 (ko) | 특징 벡터를 이용하여 데이터를 분류하는 장치 및 방법 | |
US8756312B2 (en) | Multi-tier message correlation | |
Siwach et al. | Anomaly detection for weblog data analysis using weighted PCA technique | |
JP7274162B2 (ja) | 異常操作検知装置、異常操作検知方法、およびプログラム | |
Alosefer et al. | Predicting client-side attacks via behaviour analysis using honeypot data | |
Qin et al. | Frequent episode rules for intrusive anomaly detection with internet datamining | |
CN110855625A (zh) | 基于流式处理的异常分析方法、装置及存储介质 | |
KR101909268B1 (ko) | Rapi 기반 프로파일링 정보를 공유하기 위한 시스템 및 그 방법 | |
CN113132341B (zh) | 网络攻击行为的检测方法、装置、电子设备及存储介质 | |
WO2021171383A1 (ja) | ログ生成装置、ログ生成方法、及びコンピュータ読み取り可能な記録媒体 | |
KR101893029B1 (ko) | 머신 러닝 기반의 취약점 정보를 분류하는 방법 및 장치 | |
JPWO2009025039A1 (ja) | システム分析プログラム、システム分析方法およびシステム分析装置 | |
Guruprasad et al. | Development of an evolutionary framework for autonomous rule creation for intrusion detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091222 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100831 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100913 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4600327 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |