JP4889618B2 - データ処理装置及びデータ処理方法及びプログラム - Google Patents
データ処理装置及びデータ処理方法及びプログラム Download PDFInfo
- Publication number
- JP4889618B2 JP4889618B2 JP2007308602A JP2007308602A JP4889618B2 JP 4889618 B2 JP4889618 B2 JP 4889618B2 JP 2007308602 A JP2007308602 A JP 2007308602A JP 2007308602 A JP2007308602 A JP 2007308602A JP 4889618 B2 JP4889618 B2 JP 4889618B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- characteristic value
- unit
- input
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Description
この手法では、時系列データと学習データとを比較する。学習データとは時系列データの変化量を測るための基準となるものである。
特許文献1に記載のネットワーク異常検出装置は、検出対象たるネットワーク中を一定時間の間に通過するパケットについて、k個(k:自然数)の分類ごとにパケット数をカウントするパケット数カウント部と、カウントしたパケット数をk個の分類ごとに正規化し、正規化したパケット数を要素としたk次元ベクトルを生成するベクトル生成部とを有する。
さらに、特許文献1のネットワーク異常検出装置は、k次元特徴空間において各次元間の相関関係に基づいて定められた主成分軸を導出する主成分軸導出部と、必要な情報を記憶する記憶部と、生成したk次元ベクトルとの距離を導出する主成分軸−k次元ベクトル間距離測定部と、ネットワークの異常の有無を判定する異常判定部とを有する。
このような構成を有することで、特許文献1に記載のネットワーク異常検出装置は、ネットワーク回線の評価を定量的に行うことができるとともに、未知のネットワーク異常をも検出することが可能であるとされる。
特許文献2では、ネットワーク上を伝送するトラフィックデータを入力し、学習データ作成装置により作成された学習データと前記トラフィックデータから変数を選択する変数選択手段と、該選択された変数をニューラルネットや決定木等の解析アルゴリズムを用いて解析を行い、パターンを生成する処理手段と、該生成されたパターンを用いて前記解析結果を評価する評価手段とを有し、前記変数選択手段および処理手段、評価手段における処理を1回以上行うことにより、侵入の検知に有効なパターンを生成して異常なトラフィックデータを検知する侵入検知システムが記載されている。
特許文献2に記載のネットワーク異常検出装置によれば、アノマリ型IDS(Intrusion Detection System)に用いる有効なパターンデータの生成に必要な学習データをシグネチャ型IDSを利用して生成することとしたことから、従来、熟練者等によらなければ入手が困難であった学習データを容易に入手することができるとされる。
また、上記有効なパターンデータをアノマリ型IDSに適用することにより、シグネチャが登録されていない未知の攻撃や亜種の攻撃を検知できるとされる。
さらに、シグネチャ型IDSにより生成した学習データを用いて侵入検知に有効なパターンデータを生成し、これをアノマリ型IDSに適用したことから、より高い検知率を期待できるとされる。
それらの脅威はインターネットからの大規模攻撃が主なものである。
内部ネットワークで発生する通信トラフィックは外部ネットワークでの通信トラフィックと比較して小規模な変化である。ネットワークを流れるトラフィックの異常な変動を早期に捕らえるためには、ネットワーク異常検知システムを検知が可能な状態に早い期間で移行させる必要がある。
それには、システムが正常なネットワークの状態を学習する段階を早期に終了させることが必要である。そのためには、ネットワークの状態の学習期間を終了させるための明確な基準が必要になる。
既存のネットワーク異常検知システムは、ネットワークトラフィックの異常を判断するための比較対象として、先立って正常とシステムに学習させた学習データを用いる。
正常なネットワーク状態の学習にはネットワークが正常に動作していた際のトラフィックデータが一定量必要である。
しかし、学習時の課題として、収集する期間について明確な基準が定義されていない点がある。そのため学習期間の不足や長期化が発生する場合がある。
学習が不足している場合、検知精度が低下する。また学習が長期化した場合、検知に至るまでに余分な時間を要するためシステムの運用に適さない。
そのため学習データは適切に学習をする必要がある。
また、特許文献2では、ネットワーク上を伝送するトラフィックデータと攻撃種別から攻撃の有無が判定された学習データを作成する学習データ作成装置に関する記載が存在するが、学習を行う期間に対する基準が存在しない。
このため、特許文献1及び特許文献2のいずれにおいても、学習期間が短く、学習データが不足する場合があり、また、逆に、過去の学習期間が長すぎるため、異常検知を開始するタイミングが遅れる場合もある。
このように、特許文献1及び特許文献2では、異常検知のための必要十分な学習期間を決定する基準が存在しないため、十分な学習データが得られず精緻な異常検知を行うことができないという課題、逆に必要以上に学習データの収集に時間を割いた結果、異常検知を効果的なタイミングで行えないという課題がある。
データを順次入力し、入力したデータの特性を表すデータ特性値を算出するデータ特性値算出部と、
前記データ特性値算出部によりデータ特性値が算出されたデータを順次データ特性値に基づいて分類するデータ分類部と、
前記データ分類部により設けられたデータ類型を計数するとともに、データ類型の増加状況を監視し、データ類型の個数が収束したか否かを判断し、データ類型の個数が収束するまでは、前記データ特性値算出部にデータの入力及びデータ特性値の算出を継続させ、データ類型の個数が収束したと判断した際に、前記データ特性値算出部のデータの入力及びデータ特性値の算出を終了させる収束判定部とを有することを特徴とする。
以下、本実施の形態では、時系列データから学習データを取得する学習データ取得部7を主に説明する。
先ず、本実施の形態に係る学習データ取得部7が不正アクセスの分析処理においてどのような役割を担っているかを明確にするため、本実施の形態に係る学習データ取得部7が利用される不正アクセス分析システムの概要を説明する。
なお、不正アクセス分析システム100は、全体として一つのコンピュータで実現されていてもよいし、不正アクセス分析システム100に含まれる各要素が異なるコンピュータで実現され、各コンピュータがネットワークで接続されて不正アクセス分析システムが実現される形態でもよい。
ログ情報集計部5は、情報収集部6で集められたパケットログから不正アクセスの検知に必要なパケットの情報を集計する。例えば、単位時間当たりの送信元IPアドレス毎パケット数、送信先ポート毎パケット数、或いはパケット長等の集計を行う。
異常検知部4は、ログ情報集計部5により集計されたデータをもとに異常なネットワークトラフィックを検知し早期アラートを出力する。
不正アクセス判定部3は、異常検知部4においてトラフィックの異常状態が検知された場合、不正アクセスが原因であることを判定する機能である。ログ情報集計部5において複数の分析視点での集計を行い、各々に対する異常検知部4の検知の結果を総合的に判断し不正アクセスが原因であることを確定する。また、図示していないセキュリティ情報データベースに格納された既知の脆弱性情報も判定に利用する。例えば、異常検知部4において特定のサービス(ポート)へのパケットの分析結果で異常が検知されており、直近に同サービスの脆弱性が公開されていたのであれば、同脆弱性を悪用した不正アクセスの可能性があると判定できる。
誤検知と判定された場合は、その情報を正常状態して異常検知部4にフィードバックする。
なお、セキュリティ情報データベースとは、例えば、ソフトウェアの最新の脆弱性情報・パッチ情報を管理するデータベースである。
対策部2は、不正アクセス判定部3により不正アクセスが確定された場合、特定ポートへのアクセスの制限、パッチの適用等の指示等、対策の指針を出力する機能である。ネットワーク管理者はこの出力を参考に対策を行う。
GUI(Graphical User Interface )1は、早期アラート、不正アクセスの原因、対策情報等を表示する。
詳細は後述するが、本実施の形態に係る学習データ取得部7は、時系列データに含まれるデータ部分を複数個のデータ類型に分類する。このデータ類型をパターンという。そして、時系列データに出現するパターンの数が収束した際に学習期間を終了する。
この点、従来の手法では、学習期間をいつ終了するかについての明確な基準が存在しなかったので、十分な数のパターンが出現する前に学習期間を終了してしまい、この結果、学習データが不足し、異常検知における検知精度が低くなる場合があった(図3の左側の従来手法)。
また、逆に、殆どのパターンが出現してしまいパターン数が増えないにもかかわらず学習期間を継続した結果、異常検知を開始するタイミングが遅れ、不正アクセスによりシステムの運用に支障をきたす場合があった(図3の右側の従来手法)。
収束判定部750は、パターン数が収束するまでは、データ入力・処理部720の処理を継続させることで主成分得点計算部730に学習対象データの入力及び主成分得点の算出を継続させ、パターン数が収束したと判断した際に、データ入力・処理部720の処理を終了させることで主成分得点計算部730に学習対象データの入力及び主成分得点の算出を終了させる。
収束判定部750は、例えば、パターン数が収束した際にデータ入力・処理部720に対して終了指示を出力してデータ入力・処理部720の処理を終了させることができる。また、逆に、収束判定部750は、例えば、パターン数が収束するまではデータ入力・処理部720に対して継続指示を出力して処理を継続させ、パターン数が収束した際に継続指示の出力を停止することでデータ入力・処理部720の処理を終了させることができる。
また、収束判定部750は、パターン数が収束した後に、パターンごとに、各パターンに属する主成分得点の代表となる代表値(代表データ特性値)を選択し、選択した各代表値を時系列データの異常検知に用いられる学習データとして出力する。
なお、本実施の形態では、検査対象の時系列データの一部を学習対象データとすることとし、検査対象の時系列データが入力された際に、図21のフローチャートに示す処理が開始し、学習データの取得が行われる。
そして、データ入力・処理部720は、入力データ710を所定の単位時間ごとに集計する(S2102)。
その後、データ入力・処理部720は、集計後のデータを主成分得点計算部730に出力する。
データ入力・処理部720からのデータは、所定の順序に従って整列されており、この順序に従ってデータを複数の領域(グループ)にグループ化し、各領域に含まれるデータのデータ値の主成分分析を行って、各グループの特徴量を算出する。
そして、主成分得点計算部730は、領域ごとの主成分得点を示したデータをデータ正規化部740に出力する。
なお、主成分得点計算部730で計算された主成分得点は特徴量ともいう。
データ正規化部740のパターン分類の詳細は後述する。
その後、データ正規化部740は、各領域の主成分得点のパターン分類結果を収束判定部750に出力する(S2105)。
他方、終了指示を入力した場合は(S2106でYES)、時系列データの入力を終了する。
なお、ここでは、終了指示を入力することで時系列データの入力を終了することとしたが、継続指示を入力している間は時系列データの入力を継続し、継続指示の入力が終了した際に時系列データの入力を終了するようにしてもよい。
データ正規化部740からのパターン分類結果には、学習対象データの各領域のパターン(各領域の主成分得点が属するパターン)が示されている。また、収束判定部750は、パターンごとの発生数を管理する発生状況データテーブルを有しており、データ正規化部740から入力したパターン分類結果に示されている各領域のパターンの発生数を発生状況データテーブルに反映させて、発生状況データテーブルの各パターンの発生回数を更新する(増加させる)。
一方、後述するパターンの個数又はパターンの出現回数とは、学習対象データにおいていくつのパターンが含まれるかを示す(例えば、学習対象データに、パターンX1〜X5の5個のパターンが含まれる等)。
次に、収束判定部750は、パターンの個数が収束したか否かを判断する(S2204)。
収束判定部750は、例えば、一定時間が経過してもパターン数が増加しない場合に収束したと判断する。
また、パターン数の増加率が一定レベルまで鈍化した場合に収束したと判断してもよい。
また、想定される総パターンの大部分(例えば、90%)が既に出現している場合に収束したと判断してもよい。
更には、これらを組み合わせてもよい。
他方、パターン数が収束したと判断した場合(S2204でYES)は、収束判定部750は、データ入力・処理部720に終了指示を出力する(S2205)。
なお、前述したように、パターン数が収束した際に終了指示を出力する代わりに、パターン数が収束していない間は継続指示を出力し、パターン数が収束した際に継続指示の出力を停止するようにしてもよい。
収束判定部750は、例えば、パターンごとに、そのパターンに属する主成分得点の平均値を算出し、平均値を代表値として選択してもよいし、パターンごとに、そのパターンに属する主成分得点の最小値、中央値、最大値のいずれかを代表値として選択してもよい。
その後、データ出力部760は、学習データを学習データDB8に格納し、異常検知部4が学習データDB8に格納されている学習データを用いて異常検知を行う。
その結果ネットワーク異常検知システムの学習動作の期間を明確化でき、ネットワーク異常検知システムの運用を自動化することが可能になる、さらに学習処理を過不足なく行うことが可能になる。
つまり、図22では、収束判定部750は、データ正規化部740からパターンの分類結果を入力する度に、パターンごとにパターンの発生回数を更新したが、これに代えて、図23の処理では、収束判定部750は、データ正規化部740からのパターン分類結果に示されるパターンと発生状況データテーブルに示されるパターンとを比較し、パターン分類結果に発生状況データテーブルに含まれていない新規なパターンが含まれている場合(S2301でYES)は、当該新規パターンを発生状況データテーブルに追加した後(S2302)、パターン数が収束したかどうかの判定を行う(S2204)。
一方、パターン分類結果に新規パターンが含まれていない場合(S2301でNO)は、処理をS2201に戻す。
このようにしても、学習対象データにおけるパターン数の収束を検知することができる。
なお、図23において、S2301及びS2302以外の処理は、図22に示したものと同様である。
集計単位時間…観測を行う時系列データを集計する単位時間
なお、図10に示す通し番号は各データを現すもので、説明のために記載しているものであり、実際のデータには存在しない。
入力データ710は、例えば送信元IPアドレス毎のパケット数のデータであり、通常、このような入力データ710は不定期に発生するため、データ入力・処理部720では、あらかじめ指定した集計単位時間ごとにデータをまとめる。
図10では、イベント発生日時(集計前イベント発生日時)は、不規則な時間間隔になっている。
図11では、イベント発生日時(集計後イベント発生日時)は単位時間に集計を開始した最初の時刻とする。また、イベント発生数(集計後イベント発生数)は単位時間に発生した集計前イベント発生数の総計である。
入力データの単位時間が、{T1、T2、T3}、{T4、T5}、{T6、T7}に分かれる場合、集計結果は3種類の情報になる。単位時間{T1、T2、T3}のデータを集計した結果は通し番号a1である。集計後イベント発生日時はT1、集計後イベント発生数はC1からC3を加算したものである。
なお、図10と同様に、図11の通し番号も説明のために付加したものであり、実際のデータには存在しない。
また、図11のデータは、図4に示すように、主成分得点計算部730に出力される。
入力データ710の先頭8つのイベントが集計されて5つのイベントとなる。
入力データのうち2007/07/01 0:00:20と2007/07/01 0:01:13、2007/07/01 0:03:04は開始5分間に発生したイベントであるためひとつのイベントとする。
その際イベント発生日時は先に現れた情報(2007/07/01 0:00:20)を使用し、イベント発生数は両者の合計数17(4+8+5)とする。
同様にイベント発生日時が2007/07/01 0:10:33と2007/07/01 0:11:30のもの、2007/07/01 0:16:22と2007/07/01 0:19:54のものはひとつにまとめる。
イベントの集計時間内に1度しか発生しない場合(2007/07/01 0:22:43)はそのまま保持し、集計時間内に1度も発生しない場合はイベント発生時間を単位時間(図14の場合2007/07/01 0:05:00)、イベント発生数を0とする。
主成分対象次元数…主成分分析を計算する次元数
主成分得点計算部730は、時系列データの先頭から主成分対象次元数の個数のデータを取り出し主成分分析にかける。
主成分得点計算部730の入力データの例を図12に示す。
主成分得点計算部730の入力データである図12のデータと、データ入力・処理部720の出力データである図11のデータは同じである。
図11と図12では、以降の説明の便宜のため表記方法が異なっているが、図11の通し番号a1の集計後イベント発生日時T1、集計後イベント発生数C1+C2+C3が、図12の通し番号d1のイベント発生日時T1、イベント発生数C1に対応し、図11の通し番号a2の集計後イベント発生日時T4、集計後イベント発生数C4+C5が、図12の通し番号d2のイベント発生日時T2、イベント発生数C2に対応する関係である。以降の行についても同様である。
(C1 C2 ... Ck)
その後、時系列データから次のk個を取り出し同様に行列を作成して主成分分析を行う。この処理を順次繰り返す。
時系列データから作成した配列と主成分分析で得られた特徴量の関係を図13に示す。
はじめに時系列データ(データ入力・処理部720による集計後の時系列データ)を先頭からk要素ずつ分割したn個の部分時系列(領域)を作成する。
次に、それぞれの部分時系列に対して主成分分析を行う。
主成分分析の概念を図7に示す。
この結果一つの部分時系列あたり2つの主成分得点が得られた。
本工程の出力として、主成分得点計算部730は、イベントの発生時間と特徴量を記述した図14に示すデータを作成し、データ正規化部740に出力する。
データ正規化部740による特徴領域の調査は、具体的には、上記主成分得点計算部730からの入力から第1特徴量と第2特徴量を取り出し、第1特徴量及び第2特徴量の正規化を行った後、2次元平面へ配置する。配置の方法は、例えば、第1特徴量をY軸の座標に配置し、第2特徴量をX軸の座標とする。
通し番号(a)と(f)は主成分空間における位置が近く、同じデータ類型とみなすことができ、通し番号(a)と(f)の領域の主成分得点は同じパターンに分類される。
同様に、通し番号(b)と(d)は主成分空間における位置が近く、同じデータ類型とみなすことができ、通し番号(b)と(d)の領域の主成分得点は同じパターンに分類される。
また、通し番号(c)と(e)は主成分空間における位置が近く、同じデータ類型とみなすことができ、通し番号(c)と(e)の領域の主成分得点は同じパターンに分類される。
図17のデータでは、イベント発生日時(T1〜Tnk+1)ごとに、主成分得点のパターン(X1〜Xpp)が示される。図17において、X1、X2、X3、X4等は、それぞれ異なるパターンであることを示す。
また、データ正規化部740は、主成分得点計算部730から入力した図15又は図16の特徴量のデータも収束判定部750に出力する。
そして、収束判定部750は、パターンごとの出現数を計数し、パターン数が収束しているか判定を行う。
図18は、収束判定部750が管理している発生状況データテーブルの例を示す。図18は、初期値が設定された発生状況データテーブル(パターン発生数及びパターン個数の計数前の発生状況データテーブル)の例を示している。
発生状況データテーブルは、パターン(X1〜Xpp)ごとに発生回数をカウントするためのテーブルである。
収束判定部750は、図17に示すデータ正規化部740からのパターン分類結果中の各パターン発生数を計数し、計数結果を図18の発生状況データテーブルに書き込む。
また、発生状況データテーブルにおいて発生数が1以上のパターンの個数を計数し、項目数の欄に書き込む。
図19は、収束判定部750によりパターンごとの発生数及び項目数が書き込まれた後の発生状況データテーブルの例を示している。
図19の例では、発生数が1以上のパターンは、X1、X2、X4、X6、X7の5つであり、項目数に5が記入されている。
図24は、このような場合に用いられる発生状況データテーブルの例を示している。
図24の発生状況データテーブルでは、パターンごとの発生回数は管理しておらず、データ正規化部740のパターン分類結果に現れたパターン名のみを管理している。
そして、これまでX1〜X4のパターンがデータ正規化部740のパターン分類結果に出現していた場合に、今回データ正規化部740から入力したパターン分類結果のデータにパターンX5が含まれていた場合に、このパターンX5は発生状況データテーブルに含まれていないので、新規なパターンであり、収束判定部750は、このパターンX5を新たに発生状況データテーブルに追加する。
このような手順によっても、収束判定部750は学習対象データにおけるパターンの出現数をカウントすることができる。
ここで、例えば、前回計数した項目数をNPP、閾値をTHと置く。
今回計数した項目数と前回計数した項目数NPPの差異が閾値TH以内であった場合、収束判定部750は、パターン数が収束したとみなし、終了指示をデータ入力・処理部720に出力し、次のデータ出力処理へ移る。
差異が閾値TH以上であった場合、学習が継続しているとみなしデータ入力・処理部720の処理を継続させる。
代表値は、データ正規化部740から入力した図15又は図16の特徴量データと図17のパターン分類結果から選択する。
以下、図16の特徴量データと図17のパターン分類結果を用いて、代表値を選択する例を説明するが、図16の特徴量データの代わりに図15の特徴量データを用いる場合でも同様の処理となる。
先ず、収束判定部750は、例えば、イベント発生日時の項目に従って図16の特徴量と図17のパターンとを対応づける。
具体的には、収束判定部750は、図16のイベント発生日時T1のレコードに、図17のイベント発生日時T1のレコードに記述されているパターンX1を追加し、イベント発生日時T1のレコードにおいて特徴量P1とパターンX1とを対応づける。イベント発生日時Tk+1以降についても同様の処理を行う。イベント発生日時Tnk+1まで特徴量PとパターンXとが対応づけられた後、同一パターンが記述されているレコードを集め、同一パターンが記述されているレコードの特徴量の中からそのパターンの代表値を選択する。
代表値は、同一パターンを有するレコードの特徴量の平均値でもよいし、最大値、最小値、中央値等でもよい。
また、イベント発生日時が最も古いのレコードの特徴量でもよいし、イベント発生日時が最も新しいレコードの特徴量でもよい。
図20は、収束判定部750によりパターンごとに選択された代表値(特徴量)を示すデータである。収束判定部750は、図20に示すデータを学習データとしてデータ出力部760に出力する。
なお、図20の学習データでは、選択された代表値のイベント発生日時の項目が付加されているが、イベント発生日時の項目は省略可能であり、代表値のみが示されるデータであってもよい。
また、イベント発生日時に代えて、またはイベント発生日時に加えて、代表値のパターンを示すようにしてもよい。
データ出力部760は、図20に示す形式のまま学習データを学習データDB8に格納してもよいし、学習データDB8のデータフォーマットに沿うように加工してから学習データを格納するようにしてもよい。
異常検知の動作自体は、既存の手法と同様であるため、説明は省略する。
そして、本実施の形態に係る学習データの取得手法をネットワーク異常検知システムの前段階での適用を行うことにより、従来技術で調整が必要であった学習処理を簡便にし、特に内部ネットワークでの監視のような早期にシステムの検知体制が必要な箇所での異常検知に効果がある。
つまり、パターン出現数が収束した場合に学習を終了させることとしているので、異常検知に必要十分な学習データが収集された段階で学習データの収集を停止することになり、異常検知処理を早期に開始させることができるとともに、高精度な異常検知を行えるだけの十分な量の学習データを蓄積することができる。
そして、収束判定は、主成分の得点の延べ数が一定の値に収束した場合に学習を停止する方法によることを説明した。
時系列データを単位時間ごとに集計した数を記憶するデータ入力・処理部、
上記データ入力・処理部で集計された時系列データから主成分得点の時系列を計算する主成分得点計算部、
上記主成分得点計算部で得られた主成分得点の時系列の正規化を行い学習パターンの集計を行うデータ正規化部、
上記データ正規化部から得られた学習パターンの発生状況を調査し、学習パターン数が収束しているか判定を行う収束判定部、
上記収束判定部から学習したデータをデータベースへ格納するデータ出力部。
RAM914は、揮発性メモリの一例である。ROM913、FDD904、CDD905、磁気ディスク装置920の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。
通信ボード915、キーボード902、スキャナ装置907、FDD904などは、入力部、入力装置の一例である。
また、通信ボード915、表示装置901、プリンタ装置906などは、出力部、出力装置の一例である。
プログラム群923のプログラムは、CPU911がオペレーティングシステム921、ウィンドウシステム922を利用しながら実行する。
また、RAM914には、CPU911による処理に必要な各種データが格納される。
不正アクセス分析システム100及び学習データ取得部7の起動時には、ROM913のBIOSプログラム及び磁気ディスク装置920のブートプログラムが実行され、BIOSプログラム及びブートプログラムによりオペレーティングシステム921が起動される。
また、実施の形態1で説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、RAM914のメモリ、FDD904のフレキシブルディスク、CDD905のコンパクトディスク、磁気ディスク装置920の磁気ディスク、その他光ディスク、ミニディスク、DVD等の記録媒体に記録される。また、データや信号は、バス912や信号線やケーブルその他の伝送媒体によりオンライン伝送される。
Claims (8)
- データを順次入力し、入力したデータの特性を表すデータ特性値を算出するデータ特性値算出部と、
前記データ特性値算出部によりデータ特性値が算出されたデータを順次データ特性値に基づいて分類するデータ分類部と、
前記データ分類部により設けられたデータ類型を計数するとともに、データ類型の増加状況を監視し、データ類型の個数が収束したか否かを判断し、データ類型の個数が収束するまでは、前記データ特性値算出部にデータの入力及びデータ特性値の算出を継続させ、データ類型の個数が収束したと判断した際に、前記データ特性値算出部のデータの入力及びデータ特性値の算出を終了させる収束判定部とを有することを特徴とするデータ処理装置。 - 前記収束判定部は、
前記データ分類部により設けられたデータ類型ごとに、データ類型に属するデータ特性値の代表となる代表データ特性値を選択し、選択した各代表データ特性値を出力することを特徴とする請求項1に記載のデータ処理装置。 - 前記収束判定部は、
前記データ特性値算出部がデータの入力及びデータ特性値の算出を終了した後に、データ類型ごとに代表データ特性値を選択することを特徴とする請求項2に記載のデータ処理装置。 - 前記収束判定部は、
時系列データの異常検知に用いられる学習データとして、各代表データ特性値を出力することを特徴とする請求項2又は3に記載のデータ処理装置。 - 前記収束判定部は、
データ類型の増加状況を監視し、データ類型の個数の増加が一定レベル以下に鈍化した場合に、データ類型の個数が収束したと判断することを特徴とする請求項1〜4のいずれかに記載のデータ処理装置。 - 前記収束判定部は、
データ類型の増加状況を監視し、データ類型の個数が所定の基準値に到達した場合に、データ類型の個数が収束したと判断することを特徴とする請求項1〜5のいずれかに記載のデータ処理装置。 - コンピュータが、データを順次入力し、入力したデータの特性を表すデータ特性値を算出するデータ特性値算出ステップと、
前記コンピュータが、前記データ特性値算出ステップによりデータ特性値が算出されたデータを順次データ特性値に基づいて分類するデータ分類ステップと、
前記コンピュータが、前記データ分類ステップにより設けられたデータ類型を計数するとともに、データ類型の増加状況を監視し、データ類型の個数が収束したか否かを判断し、データ類型の個数が収束するまでは、前記データ特性値算出ステップによるデータの入力及びデータ特性値の算出を継続させ、データ類型の個数が収束したと判断した際に、前記データ特性値算出ステップによるデータの入力及びデータ特性値の算出を終了させる収束判定ステップとを有することを特徴とするデータ処理方法。 - データを順次入力し、入力したデータの特性を表すデータ特性値を算出するデータ特性値算出処理と、
前記データ特性値算出処理によりデータ特性値が算出されたデータを順次データ特性値に基づいて分類するデータ分類処理と、
前記データ分類処理により設けられたデータ類型を計数するとともに、データ類型の増加状況を監視し、データ類型の個数が収束したか否かを判断し、データ類型の個数が収束するまでは、前記データ特性値算出処理によるデータの入力及びデータ特性値の算出を継続させ、データ類型の個数が収束したと判断した際に、前記データ特性値算出処理によるデータの入力及びデータ特性値の算出を終了させる収束判定処理とをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007308602A JP4889618B2 (ja) | 2007-11-29 | 2007-11-29 | データ処理装置及びデータ処理方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007308602A JP4889618B2 (ja) | 2007-11-29 | 2007-11-29 | データ処理装置及びデータ処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009135649A JP2009135649A (ja) | 2009-06-18 |
| JP4889618B2 true JP4889618B2 (ja) | 2012-03-07 |
Family
ID=40867123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007308602A Expired - Fee Related JP4889618B2 (ja) | 2007-11-29 | 2007-11-29 | データ処理装置及びデータ処理方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4889618B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013069230A1 (ja) * | 2011-11-11 | 2013-05-16 | 日本電気株式会社 | 重複判定付き集計装置、方法及びプログラム並びに医療情報分析装置 |
| CN106576072B (zh) | 2014-09-08 | 2018-06-12 | 三菱电机株式会社 | 信息处理装置和信息处理方法 |
| JP7052575B2 (ja) | 2018-06-06 | 2022-04-12 | 日本電信電話株式会社 | 判定装置、判定方法及び判定プログラム |
| JP6644192B1 (ja) * | 2018-06-21 | 2020-02-12 | 三菱電機株式会社 | 学習装置、学習方法及びプログラム |
| JP7402082B2 (ja) * | 2019-07-19 | 2023-12-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法及び情報処理システム |
| CN112241792B (zh) * | 2019-07-19 | 2026-01-06 | 松下电器(美国)知识产权公司 | 信息处理方法以及信息处理系统 |
| JP7211562B2 (ja) * | 2020-06-26 | 2023-01-24 | 三菱電機株式会社 | データ量十分性判定装置、データ量十分性判定方法、データ量十分性判定プログラム、学習モデル生成システム、学習済みの学習モデル生成方法、及び学習済みの学習モデル生成プログラム |
| WO2022215605A1 (ja) * | 2021-04-08 | 2022-10-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、情報処理装置、及び情報処理プログラム |
| JP7399998B2 (ja) * | 2022-03-29 | 2023-12-18 | 本田技研工業株式会社 | 教師データ収集装置 |
-
2007
- 2007-11-29 JP JP2007308602A patent/JP4889618B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009135649A (ja) | 2009-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4889618B2 (ja) | データ処理装置及びデータ処理方法及びプログラム | |
| US8635498B2 (en) | Performance analysis of applications | |
| US11665185B2 (en) | Method and apparatus to detect scripted network traffic | |
| US11184368B2 (en) | Systems and methods for reporting computer security incidents | |
| CN119557186A (zh) | 一种基于人工智能的数据安全溯源方法和系统 | |
| US20230092190A1 (en) | Two-layer side-channel attacks detection method and devices | |
| CN119416260B (zh) | 企业信用数据隐私保护的差分隐私算法优化方法及装置 | |
| JP2020113216A (ja) | 分析装置および分析方法 | |
| CN115242457B (zh) | 一种日志数据的检测方法、装置、电子设备和存储介质 | |
| CN118965359A (zh) | 一种面向电力营销业务数据安全识别监测方法 | |
| CN109918901A (zh) | 实时检测基于Cache攻击的方法 | |
| CN108629181A (zh) | 基于行为的Cache攻击检测方法 | |
| WO2025199388A1 (en) | Real-time detection of network threats using a graph-based model | |
| CN119691753A (zh) | 网络信息安全漏洞的监控方法、系统、装置及储存介质 | |
| CN117973347A (zh) | 基于自动化模板填充技术的溯源报告自动生成方法及系统 | |
| CN112733897A (zh) | 确定多维样本数据的异常原因的方法和设备 | |
| JP4723466B2 (ja) | データ処理装置及びデータ処理方法及びプログラム | |
| US20240250974A1 (en) | System for automatically evaluating the quality of network traffic signatures | |
| CN113032774A (zh) | 异常检测模型的训练方法、装置、设备及计算机存储介质 | |
| CN114357458A (zh) | 一种数据库风险评估系统、方法、电子设备及存储介质 | |
| CN108351940B (zh) | 用于信息安全事件的高频启发式数据获取与分析的系统和方法 | |
| KR102038926B1 (ko) | 공격자 선정 장치 및 공격자 선정 장치의 동작 방법 | |
| CN116150746A (zh) | 一种攻击检测方法、装置、电子设备及存储介质 | |
| CN115801307A (zh) | 一种利用服务器日志进行端口扫描检测的方法和系统 | |
| Dhakar et al. | A new model for intrusion detection based on reduced error pruning technique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100916 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |