JP5200775B2 - イベントデータ分割処理プログラム,装置および方法 - Google Patents
イベントデータ分割処理プログラム,装置および方法 Download PDFInfo
- Publication number
- JP5200775B2 JP5200775B2 JP2008226604A JP2008226604A JP5200775B2 JP 5200775 B2 JP5200775 B2 JP 5200775B2 JP 2008226604 A JP2008226604 A JP 2008226604A JP 2008226604 A JP2008226604 A JP 2008226604A JP 5200775 B2 JP5200775 B2 JP 5200775B2
- Authority
- JP
- Japan
- Prior art keywords
- sequence
- event
- series
- candidate
- interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
・課題1:従来手法1では,イベントが集中して発生している場合にうまく分割できない。
・課題2:従来手法2では,どのようなパターンを開始および終了パターンとするかを設定する必要がある。
・課題3:従来手法2では,系列が特定のパターンで開始/終了する場合にしか適用できない。
図2に,第1の処理例におけるイベントデータ2の例を示す。
イベント種別「A」=N(A)=4;
イベント種別「B」=N(B)=4;
イベント種別「C」=N(C)=4;
のようになる。
P(¬Y|X)=1−N(X→Y)/N(X)
で計算する。図10に,図9の場合の精度P(¬Y|X)の計算結果を示す。
条件1:N(X)≧N_MIN;
条件2:N(Y)≧N_MIN;
条件3:P(¬Y|X)≧P_MIN;
を満足するものを,禁止パターンとして採用する。
禁止パターン1:A→A;
禁止パターン2:B→B;
禁止パターン3:C→C;
禁止パターン4:C→B;
が出力される。
系列ES1:{E1,E2,E3};
系列ES2:{E4,E5,E6};
系列ES3:{E7,E8,E9};
系列ES4:{E10,E11,E12};
系列ES5:{E13,E14,E15};
系列ES6:{E16,E17,E18};
系列ES7:{E19,E20,E21};
が分割結果3として出力される。分割結果3のイベント系列は,図3に示した望ましい分割結果と一致している。
図19は,第2の処理例におけるイベントデータ2の例を示す図である。
P(¬Y|X)=1−N(X→Y)/N(X)=1−2/4=0.5
となる。図23の下段に,全ての種別の組み合わせについての精度P(¬Y|X)の計算結果の例を示す。
条件1:N(X)≧N_MIN;
条件2:N(Y)≧N_MIN;
条件3:P(¬Y|X)≧P_MIN;
を満足するものを,禁止パターンとして採用し(ステップS45)生成した禁止パターンを全て出力する(ステップS46)。N(X),N(Y),P(¬Y|X)の値が全て条件を満たすパターンは,図24に示す,「A→A」,「B→A」,「B→B」,「C→B」,「C→C」の5つとなり,これらが禁止パターンとして出力される。
系列1:{E1,E2,E3};
系列2:{E4,E5};
系列3:{E6,E7};
系列4:{E8,E9,E10};
系列5:{E11,E12,E13};
系列6:{E14,E15};
系列7:{E16,E17};
系列8:{E18,E19};
である。
URL2:http://abcd.efgh.com/group/labs/techinfo/technote/index.html;
URL3:http://abcd.efgh.com/group/labs/about/index.html;
URL4:http://abcd.efgh.com/group/labs/business/index.html
同一のサイトやディレクトリ内のURLには何らかの観点で関連性の高い情報が記載されていると考えられる。このような場合に,特定のディレクトリまたはWebサイトに属するURLを集めてカテゴリとすることができる。例えば,前記のURLの例では,
カテゴリ1:http://abcd.efgh.com/group/labs/ 以下のURL(イベント)の集合;
カテゴリ2:http://abcd.efgh.com/group/labs/techinfo/ 以下のURLの集合;
カテゴリ3:http://abcd.efgh.com/group/labs/techinfo/freeware/ 以下のURLの集合;
カテゴリ4:http://abcd.efgh.com/group/labs/techinfo/technote/ 以下のURLの集合;
カテゴリ5:http://abcd.efgh.com/group/labs/about/ 以下のURLの集合;
カテゴリ6:http://abcd.efgh.com/group/labs/business/ 以下のURLの集合;
といったカテゴリを生成することができる。イベントが属するカテゴリは,単独である必要はなく,例えばURL1はカテゴリ1,2,3の3つのカテゴリに属していてもよい。
11 データ読み込み部
12 系列候補生成部
13 イベント間隔分類部
14 系列候補分割部
15 禁止パターン生成部
16 禁止パターン出現箇所抽出部
17 分割結果出力部
2 イベントデータ
3 分割結果
Claims (3)
- 複数の系列のイベントが時系列に並ぶイベントデータを,時間的に近接して発生した一連のイベントの系列に分割するイベントデータ分割処理プログラムであって,
コンピュータを,
前記イベントの種別および発生時刻の情報を含むイベントが発生の順に並べられたイベントデータを取得するデータ読み込み部と,
隣り合うイベント同士が別系列であるとの判定用の第1の閾値と,隣り合うイベント同士が同一系列であるとの判定用の第2の閾値とを備えて,前記イベントデータの時間的に隣り合うイベント同士の発生時刻から算出した間隔各々について,前記第1の閾値または前記第2の閾値による判定分類を行うイベント間隔分類部と,
前記イベントデータを前記第1の閾値を超える間隔で分割して系列候補を生成する系列候補生成部と,
前記系列候補のうち,系列候補に含まれる間隔の全てが前記第2の閾値以内の間隔である系列候補を第1の系列候補とし,系列候補に含まれる間隔に前記第2の閾値を超える間隔を含む系列候補を第2の系列候補とし,前記第1の系列候補のイベントの種別の並びに基づいて,同一系列に出現しない確率が高い種別の並びを推定して禁止パターンを生成する禁止パターン生成部と,
前記第2の系列候補各々について,前記禁止パターンと一致するイベントの並びを検出して禁止パターン出現箇所とする禁止パターン出現箇所抽出部と,
前記禁止パターン出現箇所を解消するイベントの間隔を探索し,探索した間隔で前記第2の系列候補を分割して系列を生成する系列候補分割部と,
前記第1の系列候補および前記第2の系列候補から分割された系列を,それぞれイベント系列として出力するイベント系列出力部として機能させる
ことを特徴とするイベントデータ分割処理プログラム。 - 複数の系列のイベントが時系列に並ぶイベントデータを,時間的に近接して発生した一連のイベントの系列に分割するイベントデータ分割処理装置であって,
前記イベントの種別および発生時刻の情報を含むイベントが発生の順に並べられたイベントデータを取得するデータ読み込み部と,
隣り合うイベント同士が別系列であるとの判定用の第1の閾値と,隣り合うイベント同士が同一系列であるとの判定用の第2の閾値とを備えて,前記イベントデータの時間的に隣り合うイベント同士の発生時刻から算出した間隔各々について,前記第1の閾値または前記第2の閾値による判定分類を行うイベント間隔分類部と,
前記イベントデータを前記第1の閾値を超える間隔で分割して系列候補を生成する系列候補生成部と,
前記系列候補のうち,系列候補に含まれる間隔の全てが前記第2の閾値以内の間隔である系列候補を第1の系列候補とし,系列候補に含まれる間隔に前記第2の閾値を超える間隔を含む系列候補を第2の系列候補とし,前記第1の系列候補のイベントの種別の並びに基づいて,同一系列に出現しない確率が高い種別の並びを推定して禁止パターンを生成する禁止パターン生成部と,
前記第2の系列候補各々について,前記禁止パターンと一致するイベントの並びを検出して禁止パターン出現箇所とする禁止パターン出現箇所抽出部と,
前記禁止パターン出現箇所を解消するイベントの間隔を探索し,探索した間隔で前記第2の系列候補を分割して系列を生成する系列候補分割部と,
前記第1の系列候補および前記第2の系列候補から分割された系列を,それぞれイベント系列として出力するイベント系列出力部とを備える
ことを特徴とするイベントデータ分割処理装置。 - 複数の系列のイベントが時系列に並ぶイベントデータを,時間的に近接して発生した一連のイベントの系列に分割するイベントデータ分割処理方法であって,
データ読み込み部とイベント間隔分類部と系列候補生成部と禁止パターン生成部と禁止パターン出現箇所抽出部と系列候補分割部とイベント系列出力部とを備えるコンピュータの,
前記データ読み込み部が,前記イベントの種別および発生時刻の情報を含むイベントが発生の順に並べられたイベントデータを取得する処理過程と,
前記イベント間隔分類部が,隣り合うイベント同士が別系列であるとの判定用の第1の閾値と,隣り合うイベント同士が同一系列であるとの判定用の第2の閾値とを備えて,前記イベントデータの時間的に隣り合うイベント同士の発生時刻から算出した間隔各々について,前記第1の閾値または前記第2の閾値による判定分類を行う処理過程と,
前記系列候補生成部が,前記イベントデータを前記第1の閾値を超える間隔で分割して系列候補を生成する処理過程と,
前記禁止パターン生成部が,前記系列候補のうち,系列候補に含まれる間隔の全てが前記第2の閾値以内の間隔である系列候補を第1の系列候補とし,系列候補に含まれる間隔に前記第2の閾値を超える間隔を含む系列候補を第2の系列候補とし,前記第1の系列候補のイベントの種別の並びに基づいて,同一系列に出現しない確率が高い種別の並びを推定して禁止パターンを生成する処理過程と,
前記禁止パターン出現箇所抽出部が,前記第2の系列候補各々について,前記禁止パターンと一致するイベントの並びを検出して禁止パターン出現箇所とする処理過程と,
前記系列候補分割部が,前記禁止パターン出現箇所を解消するイベントの間隔を探索し,探索した間隔で前記第2の系列候補を分割して系列を生成する処理過程と,
前記イベント系列出力部が,前記第1の系列候補および前記第2の系列候補から分割された系列を,それぞれイベント系列として出力する処理過程とを備える
ことを特徴とするイベントデータ分割処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008226604A JP5200775B2 (ja) | 2008-09-04 | 2008-09-04 | イベントデータ分割処理プログラム,装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008226604A JP5200775B2 (ja) | 2008-09-04 | 2008-09-04 | イベントデータ分割処理プログラム,装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010061412A JP2010061412A (ja) | 2010-03-18 |
JP5200775B2 true JP5200775B2 (ja) | 2013-06-05 |
Family
ID=42188146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008226604A Expired - Fee Related JP5200775B2 (ja) | 2008-09-04 | 2008-09-04 | イベントデータ分割処理プログラム,装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5200775B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5482243B2 (ja) | 2010-01-29 | 2014-05-07 | 富士通株式会社 | 系列生成プログラム、系列生成方法、および系列生成装置 |
JP6429755B2 (ja) * | 2015-09-16 | 2018-11-28 | Kddi株式会社 | 相互関連イベント抽出プログラム、装置及び方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11250038A (ja) * | 1998-02-27 | 1999-09-17 | Toshiba Corp | 情報処理システムおよび同システムの操作履歴管理方法 |
JPH11259571A (ja) * | 1998-03-13 | 1999-09-24 | Nippon Telegr & Teleph Corp <Ntt> | 電子商取引システム不正利用検出方法及び装置 |
US7643686B2 (en) * | 2004-11-17 | 2010-01-05 | Eastman Kodak Company | Multi-tiered image clustering by event |
JP2006260420A (ja) * | 2005-03-18 | 2006-09-28 | Fujitsu Ltd | ウェブサイト分析システム |
JP4600327B2 (ja) * | 2006-03-27 | 2010-12-15 | 日本電気株式会社 | ログ解析システム、ログ解析ツール設定方法およびプログラム |
-
2008
- 2008-09-04 JP JP2008226604A patent/JP5200775B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010061412A (ja) | 2010-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106415507B (zh) | 日志分析装置、攻击检测装置、攻击检测方法以及程序 | |
WO2011111599A1 (ja) | 障害分析ルール抽出装置、障害分析ルール抽出方法、及び記憶媒体 | |
CN108809745A (zh) | 一种用户异常行为检测方法、装置及系统 | |
US20160219067A1 (en) | Method of detecting anomalies suspected of attack, based on time series statistics | |
CN107196953A (zh) | 一种基于用户行为分析的异常行为检测方法 | |
CN113064932B (zh) | 一种基于数据挖掘的网络态势评估方法 | |
JP5454363B2 (ja) | 解析プログラム、解析装置および解析方法 | |
JP2007013343A (ja) | ワーム検出パラメータ設定プログラム及びワーム検出パラメータ設定装置 | |
CN113259176B (zh) | 一种告警事件分析方法和装置 | |
CN107292751B (zh) | 一种时序网络中节点重要性的挖掘方法和装置 | |
CN110113368A (zh) | 一种基于子轨迹模式的网络行为异常检测方法 | |
JP2009135649A (ja) | データ処理装置及びデータ処理方法及びプログラム | |
JP5200775B2 (ja) | イベントデータ分割処理プログラム,装置および方法 | |
US8954468B2 (en) | Extracting a meaningful frequent itemset | |
JP4723466B2 (ja) | データ処理装置及びデータ処理方法及びプログラム | |
CN111612531B (zh) | 一种点击欺诈的检测方法及系统 | |
CN115599830A (zh) | 一种数据关联关系的确定方法、装置、设备和介质 | |
CN110411724B (zh) | 一种旋转机械故障诊断方法、装置、系统及可读存储介质 | |
US11887315B2 (en) | Method and apparatus for tracking an object | |
CN112287776A (zh) | 轴承性能指标分析方法、系统、可读存储介质及电子设备 | |
CN112422546A (zh) | 一种基于变邻域算法和模糊聚类的网络异常检测方法 | |
CN112070161A (zh) | 一种网络攻击事件分类方法、装置、终端及存储介质 | |
CN107133321A (zh) | 页面的搜索特性的分析方法和分析装置 | |
JP2006155344A (ja) | データ分析装置、データ分析プログラム及びデータ分析方法 | |
CN115934699A (zh) | 异常数据筛选方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130128 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |