JP4668092B2 - 学習能力評価装置、学習能力評価方法及び学習能力評価プログラム - Google Patents

Description

本発明は、異常検知システムの学習能力を評価する技術に関するものである。

インターネットを利用した不正アクセスによる情報漏洩や改ざん、ウイルス攻撃がある。不正アクセスの対策として侵入検知システム（ＩＤＳ，Ｉｎｔｒｕｓｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ）がある。ＩＤＳという技術は不正検知と異常検知という二つの手法に分類される。

不正検知の手法は既知の不正アクセスの攻撃パターンを予めシグネチャとして登録しておく必要がある。不正検知の手法は診断対象なるネットワークを流れるパケットを収集し、登録されたシグネチャとのパターンマッチングにより攻撃の有無を判断する。そのため、既知の攻撃には有効であるが、未知の攻撃に対しては効果がない。

一方、異常検知の手法は診断対象であるネットワークの通常のアクセス状況を学習する。そして、異常検知の手法は通常のアクセス状況と大きく異なるアクセスを異常、すなわち攻撃であると判断する。そのため、未知の攻撃に対しても検知が可能である。

また、異常検知の手法を用いた異常検知システムは異常検知率や誤検知率といった検知精度に関して評価される（非特許文献１）。
特開２００４−３１２０８３号公報 Ｃ．Ｋｒｕｅｇｅｌ著「Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ｏｆ ｗｅｂ−ｂａｓｅｄ ａｔｔａｃｋｓ」Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ １０ｔｈ ＡＣＭ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｅｃｕｒｉｔｙ（ＣＣＳ０３）、２００３年１０月

異常検知システムの異常検知率や誤検知率といった検知精度に関する評価を行う装置はない。また、複数の学習データを与えた場合における検知精度や、検知精度の収束の早さの変化に関して異常検知システムを評価できない。そのため、異常検知システムは最終的な検知精度は高くても検知精度の収束や学習、そして検知に時間がかかってしまう可能性があるという課題がある。
本発明は、例えば、異常検知システムの学習能力を評価することにより、異常検知システムの検知精度の収束や学習時間、検知時間などを予め判定可能とすること目的とする。

本発明にかかる学習能力評価装置は、例えば、ネットワークからデータを取得して上記ネットワークの通常状態を学習し、上記通常状態から外れる状態を上記ネットワークの異常として検知する異常検知システムと通信する学習能力評価装置において、
上記ネットワークからデータを取得して記憶装置に記憶するデータ取得部と、上記データ取得部が取得したデータから上記異常検知システムの学習能力の評価項目に対する検知用データと学習用データとの組を評価用データとして抽出して記憶装置に記憶する評価用データ抽出部と、上記評価用データ抽出部が抽出した評価用データを上記異常検知システムへ通信装置によって送信する評価用データ送信部と、上記評価用データ送信部が評価用データを送信した場合に、上記異常検知システムにより検知された結果である検知結果情報を取得して記憶装置に記憶する検知結果情報取得部と、上記検知結果情報取得部が取得した検知結果情報に基づいて上記評価項目を評価するためのパラメータを処理装置によって算出する分析用データ評価部とを備えることを特徴とする。

本発明にかかる学習能力評価装置によれば、分析用データ評価部が異常検知システムの学習に関する分析を行い数値化するため、異常検知システムの学習能力を評価することができる。

以下、図に基づいて本発明の実施の形態について説明する。

まず、図１、図２に基づき、実施の形態における学習能力評価装置１００のハードウェア構成について説明する。

図１は、実施の形態における学習能力評価装置１００を有する学習能力評価システム１０００の外観の一例を示す図である。
図１において、学習能力評価システム１０００は、表示装置９０１Ａ、キーボード９０２Ａ、マウス９０３Ａ、システムユニット９０９Ａを備え、これらはケーブルや信号線で接続されている。また、学習能力評価システム１０００は、表示装置９０１Ｂ、キーボード９０２Ｂ、マウス９０３Ｂ、システムユニット９０９Ｂなどのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
ここで、システムユニット９０９Ａ、システムユニット９０９Ｂなどはコンピュータである。また、表示装置９０１Ａ、キーボード９０２Ａ、マウス９０３Ａ、システムユニット９０９Ａは異常検知システム２００の一例である。さらに、表示装置９０１Ｂ、キーボード９０２Ｂ、マウス９０３Ｂ、システムユニット９０９Ｂは学習能力評価装置１００の一例である。また、さらに、システムユニット９０９Ａとシステムユニット９０９Ｂとは接続線などにより接続されている。
さらに、システムユニット９０９Ａは、ケーブル、ローカルエリアネットワーク９４２（ＬＡＮ）を介してサーバＡ９１６、サーバＢ９１７と接続される。また、システムユニット９０９Ａは、ＬＡＮ９４２、ゲートウェイ９４１を介してインターネット９４０に接続されている。

図２は、実施の形態における学習能力評価装置１００のハードウェア資源の一例を示す図である。
図２において、学習能力評価装置１００は、プログラムを実行するＣＰＵ９１１（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサともいう）を備えている。ＣＰＵ９１１は、バス９１２を介してＲＯＭ９１３、ＲＡＭ９１４、通信ボード９１５、表示装置９０１、キーボード９０２、マウス９０３、磁気ディスク装置９２０と接続され、これらのハードウェアデバイスを制御する。磁気ディスク装置９２０の代わりに、光ディスク装置、メモリカード読み書き装置などの記憶装置でもよい。

ＲＡＭ９１４は、揮発性メモリの一例である。ＲＯＭ９１３、磁気ディスク装置９２０の記憶媒体は、不揮発性メモリの一例である。これらは、記憶装置あるいは記憶部の一例である。

通信ボード９１５は、ＬＡＮ９４２等に接続されている。通信ボード９１５は、ＬＡＮ９４２に限らず、インターネット９４０、ＩＳＤＮ等のＷＡＮ（ワイドエリアネットワーク）などに接続されていても構わない。インターネット９４０或いはＩＳＤＮ等のＷＡＮに接続されている場合、ゲートウェイ９４１は不用となる。
図２に示す磁気ディスク装置９２０、図２に示すＲＯＭ９１３、ＲＡＭ９１４などには、オペレーティングシステム９２１（ＯＳ）、ウィンドウシステム９２２、プログラム群９２３、ファイル群９２４が記憶されている。プログラム群９２３のプログラムは、ＣＰＵ９１１、オペレーティングシステム９２１、ウィンドウシステム９２２により実行される。

上記プログラム群９２３には、以下に述べる実施の形態の説明において「学習能力評価部１０１」として説明する機能を実行するプログラムが記憶されている。プログラムは、ＣＰＵ９１１により読み出され実行される。
ファイル群９２４には、以下に述べる実施の形態の説明において、「〜の判定」として説明する情報やデータや信号値や変数値やパラメータが、「〜ファイル」の各項目として記憶されている。「〜ファイル」は、ディスクやメモリなどの記録媒体に記憶される。ディスクやメモリになどの記憶媒体に記憶された情報やデータや信号値や変数値やパラメータは、読み書き回路を介してＣＰＵ９１１によりメインメモリやキャッシュメモリに読み出され、抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示などのＣＰＵの動作に用いられる。抽出・検索・参照・比較・演算・計算・処理・出力・印刷・表示のＣＰＵの動作の間、情報やデータや信号値や変数値やパラメータは、メインメモリやキャッシュメモリやバッファメモリに一時的に記憶される。
また、以下に述べる実施の形態の説明において説明するフローチャートの矢印の部分は主としてデータや信号の入出力を示し、データや信号値は、ＲＡＭ９１４のメモリ、ＦＤＤ９０４のフレキシブルディスク、磁気ディスク装置９２０の磁気ディスク、その他光ディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ・Ｖｅｒｓａｔｉｌｅ・Ｄｉｓｋ）等の記録媒体に記録される。また、データや信号は、バス９１２や信号線やケーブルその他の伝送媒体によりオンライン伝送される。

また、以下に述べる実施の形態の説明において「〜部」として説明するものは、「〜回路」、「〜装置」、「〜機器」、「〜手段」であってもよく、また、「〜ステップ」、「〜手順」、「〜処理」であってもよい。すなわち、「〜部」として説明するものは、ＲＯＭ９１３に記憶されたファームウェアで実現されていても構わない。或いは、ソフトウェアのみ、或いは、素子・デバイス・基板・配線などのハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせ、さらには、ファームウェアとの組み合わせで実施されても構わない。ファームウェアとソフトウェアは、プログラムとして、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等の記録媒体に記憶される。プログラムはＣＰＵ９１１により読み出され、ＣＰＵ９１１により実行される。すなわち、プログラムは、以下に述べる「〜部」としてコンピュータを機能させるものである。あるいは、以下に述べる「〜部」の手順や方法をコンピュータに実行させるものである。

実施の形態１．
実施の形態１では、異常検知システム２００の学習能力評価システム１０００について説明する。ここで、異常検知システム２００とは、不正アクセスの診断対象となるネットワークを流れるデータを取得して上記ネットワークの通常状態を学習し、上記通常状態から外れる状態を上記ネットワークの異常として不正なアクセスを検知するシステム又は装置である。学習能力評価システム１０００は、異常検知システム２００の学習能力を評価するシステム又は装置である。ここで、学習能力とは、例えば、学習データによって変動する達成できる最終的な異常検知率、最終的な誤検知率、異常検知率の収束の早さ、誤検知率の収束の早さ、学習時間、検知時間などである。また、学習能力の評価項目は追加することができる。

図３は、実施の形態１にかかる学習能力評価システム１０００の構成を示す図である。学習能力評価システム１０００は、学習能力評価装置１００を備える。学習能力評価装置１００は、異常検知システム２００と通信し、異常検知システム２００を自動的に評価する。学習能力評価装置１００は、異常検知の診断対象となるネットワークを流れるデータを取得（キャプチャ）する。ここで、データとは、例えば、１つのアクセス分のパケットの集合を指す。次に、学習能力評価装置１００は、キャプチャしたパケットを利用して評価項目に応じた複数パターンの学習用データセットと検知用データセットとの組を抽出する。ここで、学習用データセットと検知用データセットの組を評価用データセットという。また、データセットとは、データの集合である。また、学習用データとは、異常検知システム２００にネットワークの通常状態を学習させるデータである。検知用データとは、学習用データセットにより異常検知システム２００に学習を行った後、実際に検知を行わせるためのデータである。そして、学習能力評価装置１００は、評価対象となる異常検知システム２００へまず学習用データを送信し、次に検知用データを送信する。そして、学習能力評価装置１００は、異常検知システム２００からその検知結果情報を例えばログとして受信する。次に、学習能力評価装置１００は、ログから学習能力の分析に必要な情報を抽出して評価する。

図４は、実施の形態１にかかる学習能力評価装置１００の機能を示す機能ブロック図である。実施の形態１にかかる学習能力評価装置１００は、学習能力評価部１０１と、処理装置９８０と、記憶装置９８４と、通信装置９８８とを備える。学習能力評価部１０１は、例えば、ソフトウェア、プログラムなどであっても構わない。この場合、学習能力評価部１０１は、例えば、記憶装置９８４に記憶され、処理装置９８０によって処理されるものである。
学習能力評価部１０１は、パケットキャプチャ部１１０（データ取得部）と、評価用データ抽出部１２０と、評価用データ送信部１３０と、ログ解析部１４０（検知結果情報取得部）と、分析用データ評価部１５０と、学習能力分析部１６０とを備える。
パケットキャプチャ部１１０は、パケット取得部１１１と、パケット保存部１１２とを備える。評価用データ抽出部１２０は、学習用データ抽出部１２１と、検知用データ抽出部１２２と、学習用データ保存部１２３と、検知用データ保存部１２４とを備える。評価用データ送信部１３０は、学習用データ送信部１３１と、検知用データ送信部１３２とを備える。ログ解析部１４０は、ログ受信部１４１と、分析用データ抽出部１４２と、分析用データ保存部１４３とを備える。分析用データ評価部１５０は、評価パラメータ計算部１５１と、評価パラメータ保存部１５２とを備える。学習能力分析部１６０は、分析部１６１を備える。
学習能力評価装置１００は、ネットワークを介して診断対象となるネットワーク及び分析対象となる異常検知システム２００に接続される。

次に、図５と図６とを用いて実施の形態１にかかる学習能力評価システム１０００の動作を説明する。図５と図６とは実施の形態１にかかる学習能力評価システム１０００の動作である学習能力評価処理を示すフローチャートである。学習能力評価処理は、学習能力評価方法及び学習能力評価プログラムの処理内容を示すものである。

まず、データ取得処理（Ｓ１０１）では、パケット取得部１１１は、不正検知の診断対象となるネットワークからパケットを取得する。そして、パケット保存部１１２は、取得したパケットを記憶装置９８４に記憶する。

次に、検知用データ抽出処理（Ｓ１０２）では、検知用データ抽出部１２２は、パケット保存部１１２が記憶したパケットを取得し、取得したパケットが成すデータセットから検知用データセットを抽出する。検知用データ抽出部１２２は、データの抽出方法として、すべてランダムにデータを抽出するランダム抽出部や、ランダムに選択したデータから連続してデータを抽出する連続抽出部などを備える。データの抽出方法はこれに限られず、評価項目に応じたデータ抽出を選択可能である。検知用データ抽出部１２２は、検知用データセットを抽出すると、取得したパケットすべて、又は取得したパケットから検知用データセットを抽出した残りのパケットを学習用データ抽出部１２１へ渡す。

次に、学習用データ抽出処理（Ｓ１０３）では、学習用データ抽出部１２１は、検知用データ抽出部１２２から受け取ったパケットが成すデータセットから学習用データセットを抽出する。学習用データ抽出部１２１は、検知用データ抽出部１２２と同様に、データの抽出方法として、すべてランダムにデータを抽出するランダム抽出部や、ランダムに選択したデータから連続してデータを抽出する連続抽出部などを備える。また、データの抽出方法はこれに限られず、評価項目に応じたデータ抽出を選択可能である。
ここで、（Ｓ１０２）と（Ｓ１０３）とは、評価用データ抽出処理である。

次に、評価用データ記憶処理（Ｓ１０４）では、検知用データ保存部１２４は、（Ｓ１０２）で検知用データ抽出部１２２が抽出した検知用データセットを記憶装置９８４に記憶する。また、学習用データ保存部１２３は、（Ｓ１０３）で学習用データ抽出部１２１が抽出した学習用データセットを記憶装置９８４に記憶する。

次に、学習用データ抽出確認処理（Ｓ１０５）では、評価用データ抽出部１２０は、学習用データセットが評価に必要な分だけ抽出できているか否かを判定する。学習用データセットが評価に必要な分だけ抽出できていると評価用データ抽出部１２０が判定した場合（Ｓ１０５でＹＥＳ）、（Ｓ１０６）へ進む。一方、学習用データセットが評価に必要な分だけ抽出できていないと、評価用データ抽出部１２０が判定した場合（Ｓ１０５でＮＯ）、評価用データ抽出部１２０は、再度（Ｓ１０３）、（Ｓ１０４）を実行し、学習用データセットの抽出、保存を行う。

次に、検知用データ抽出確認処理（Ｓ１０６）では、評価用データ抽出部１２０は、検知用データセットが評価に必要な分だけ抽出できているか否かを判定する。検知用データセットが評価に必要な分だけ抽出できていると評価用データ抽出部１２０が判定した場合（Ｓ１０６でＹＥＳ）、（Ｓ１０７）へ進む。一方、検知用データセットが評価に必要な分だけ抽出できていないと評価用データ抽出部１２０が判定した場合（Ｓ１０６でＮＯ）、評価用データ抽出部１２０は、再度（Ｓ１０２）から（Ｓ１０５）までを実行し、検知用データセットと学習用データセットとの抽出、保存を行う。

（Ｓ１０５）、（Ｓ１０６）で、評価用データ抽出部１２０が学習用データセットと検知用データセットとが異常検知システム２００の評価に必要な分だけ抽出、保存できたと判定した場合、異常検知システム２００の評価に移る。また、図５の１、２と図６の１、２とはそれぞれ対応している。

ここで、（Ｓ１０２）から（Ｓ１０６）までの処理の一例について説明する。
図７はネットワークを流れるデータセットから抽出される学習用データセット、検知用データセットを示している。上述した（Ｓ１０２）では、検知用データ抽出部１２２は、パケット保存部１１２が記憶したパケットの集合から検知用データセットを抽出する。ここでは、例えば、検知用データセットＡが抽出されたとする。次に、（Ｓ１０３）では、検知用データセットＡと組を成す学習用データセットを抽出する。ここでは、例えば、学習用データセット１が抽出されたとする。そして、（Ｓ１０４）では、抽出した検知用データセットと学習用データセットとの組である評価用データセットを記憶装置９８４に記憶する。つまり、ここでは、検知用データセットＡと学習用データセット１との組が評価用データセットである。
そして、（Ｓ１０５）では、検知用データセットＡと組を成す他の学習用データセットを評価に必要なだけ（Ｓ１０３）、（Ｓ１０４）を繰り返して抽出、記憶する。ここでは、例えば、学習用データセット２と学習用データセット３とが抽出されたとする。つまり、検知用データセットＡと学習用データセット２との組の評価用データセットと、検知用データセットＡと学習用データセット３との組の評価用データセットとが記憶装置９８４に記憶される。
さらに、（Ｓ１０６）では、評価項目に応じて、評価に必要なだけ（Ｓ１０２）から（Ｓ１０５）までを繰り返し、評価用データセットを抽出、記憶する。

１つの評価用データセットにおいて、検知用データセットと学習用データセットとが同じデータを重複して持っていても構わない。

図５と図６とを用いた実施の形態１にかかる学習能力評価システム１０００の動作の説明に戻る。以下は、異常検知システム２００を評価する処理である。ここでは、学習用データセットを異常検知システム２００へ流す量である学習量を所定の量から徐々に増やしながら、異常検知システム２００の診断を行い学習能力の評価をする。学習量は以下では一定量ずつ増やしているが、これに限られるわけではなく、学習量に対して一定の割合で増やすなどとしても構わない。

評価用データ選択処理（Ｓ１０７）では、学習用データ送信部１３１は、学習用データ保存部１２３が記憶した学習用データセットを１つ取得する。また、検知用データ送信部１３２は、検知用データ保存部１２４が記憶した学習用データに対応する検知用データセットを取得する。

次に、初期値設定処理（Ｓ１０８）では、評価用データ送信部１３０は、学習量Ａの増加量をＹ、学習量Ａを０に初期化する。

次に、学習量増加処理（Ｓ１０９）では、評価用データ送信部１３０は、学習量Ａの増加量Ｙだけ学習量を増加させる。

次に、学習量データ送信処理（Ｓ１１０）では、学習用データ送信部１３１は、学習用データセットのＡ個のデータを異常検知システム２００へ通信装置９８８によって送信する。

そして、学習処理（Ｓ１１１）では、異常検知システム２００は、受信した学習用データを用いて学習を行う。

次に、検知用データ送信処理（Ｓ１１２）では、検知用データ送信部１３２は、（Ｓ１０７）で取得した検知用データセットのすべてのデータを異常検知システム２００へ通信装置９８８によって送信する。
ここで、（Ｓ１１０）と（Ｓ１１２）とは、評価データ送信処理である。

そして、検知処理（Ｓ１１３）では、異常検知システム２００は、受信した検知用データに対して異常検知を行い、その検知結果情報を例えばログとして学習能力評価装置１００に送信する。

つまり、ここでは、送信する学習用データセットの量は徐々に増加させるが、送信する検知用データセットの量は一定としている。これにより、学習量による異常検知システム２００の異常検知率などが評価できる。

次に、結果情報受信処理（Ｓ１１４）では、ログ受信部１４１は、異常検知システム２００の送信した検知結果情報であるログを受信し、分析用データ抽出部１４２に送る。

次に、検知情報抽出確認処理（Ｓ１１５）では、分析用データ抽出部１４２は、設定された評価項目に応じて必要なパラメータを算出するための情報をログから処理装置９８０によって抽出する。そして、分析用データ保存部１４３は抽出した情報を記憶装置９８４に記憶する。ここで、パラメータとは、最終的な異常検知率、最終的な誤検知率、異常検知率の収束の早さ、誤検知率の収束の早さ、学習時間、検知時間などを指す。また、パラメータはこれに限られず、新たな評価項目の設定などにより追加も可能である。
ここで、（Ｓ１１４）と（Ｓ１１５）とは、検知結果情報取得処理である。

各パラメータを抽出するために必要な情報の一例を挙げる。最終的な異常検知率を抽出するためには、各学習用データセットについて学習データ量ごとの異常検知率が必要である。最終的な誤検知率を抽出するためには、各学習用データセットについて学習データ量ごとの誤検知率が必要である。異常検知率の収束の早さを抽出するためには、各学習用データセットについて学習データ量ごとの異常検知率が必要である。誤検知率の収束の早さを抽出するためには、各学習用データセットについて学習データ量ごとの誤検知率が必要である。学習時間を抽出するためには、学習開始時刻、学習終了時刻が必要である。検知時間を抽出するためには、検知開始時刻、検知終了時刻が必要である。つまり、分析用データ抽出部１４２は、学習用データセットの各学習データ量に対して必要な情報をログから抽出して、分析用データ保存部１４３は分析用データとして記憶する。

次に、学習量確認処理（Ｓ１１６）では、評価用データ送信部１３０は、学習量Ａが（Ｓ１０７）で取得した学習用データセットのデータ数と同じか否かを判定する。つまり、評価用データ送信部１３０は、（Ｓ１０７）で取得した学習用データセットをすべて異常検知システム２００へ送信したか否かを判定する。学習量Ａが学習用データセットのデータ数と同じであると評価用データ送信部１３０が判定した場合（Ｓ１１６でＹＥＳ）、この評価用データセットの評価は終了となり（Ｓ１１７）へ進む。一方、学習量Ａが学習用データセットのデータ数と同じでないと評価用データ送信部１３０が判定した場合（Ｓ１１６でＮＯ）、Ｓ１０９に戻って学習量を増加量Ｙだけ増やして再評価を行う。

次に、評価用データセット確認処理（Ｓ１１７）では、評価用データ送信部１３０は、全ての評価用データの評価が終了したか否かを判定する。全ての評価用データの評価が終了したと評価用データ送信部１３０が判定した場合（Ｓ１１７でＹＥＳ）、（Ｓ１１８）へ進む。一方、全ての評価用データの評価が終了していないと評価用データ送信部１３０が判定した場合（Ｓ１１７でＮＯ）、（Ｓ１０７）に戻って次の評価用データについて評価を行う。
つまり、評価用データ送信部１３０は、評価用データ抽出部１２０が抽出した複数の評価用データを評価用データ毎に送信する。

次に、分析用データ評価処理（Ｓ１１８）では、評価パラメータ計算部１５１は、分析用データ保存部１４３が記憶した各評価項目（パターン）の分析用データに基づき、設定した評価項目に応じたパラメータを処理装置９８０によって計算する。そして、評価パラメータ保存部１５２は記憶装置９８４に記憶する。パラメータについては上述したものに加えて、評価項目により追加も可能である。

そして、学習能力評価処理（Ｓ１１９）では、分析部１６１は、評価パラメータ保存部１５２が記憶した各評価項目のパラメータから、登録された計測装置を用いて評価値を処理装置９８０によって計測する。実施の形態１では分析部１６１は平均計測装置を備え、パラメータの平均を処理装置９８０によって計算して評価値として出力する。

実施の形態１にかかる学習能力評価装置１００によれば、異常検知システム２００の学習能力を評価することができる。そのため、例えば、異常検知システム２００の検知精度の収束の早さの変動が大きい場合に、学習が足りずに十分な性能が発揮できない場合があることを事前に評価することが可能である。

また、実施の形態１にかかる学習能力評価装置１００によれば、異常検知システム２００の評価を自動的に行うことができる。さらに、評価値を用いることで学習能力の高い異常検知システム２００の判別やその改良を行うことができる。

さらに、実施の形態１にかかる学習能力評価装置１００によれば、異常検知システム２００を監視対象ネットワーク上に設置した場合の平均的学習能力を求めることができる。

上述したように、実施の形態１にかかる学習能力評価装置１００では、異常検知システム２００の学習に関する評価を行うために、複数パターンの評価用データセットを異常検知システム２００に適用する。そして、その結果から検知精度やその収束の早さ、学習時間などの評価項目について各パターンの結果の変化の大きさを分析し、数値化することを特徴とする。

実施の形態２．
次に、実施の形態２について説明する。実施の形態２では、実施の形態１にかかる学習能力評価装置１００の分析部１６１に新たに計測装置を加える。

図８は、実施の形態２にかかる学習能力評価装置１００の機能を示す機能ブロック図である。実施の形態２にかかる学習能力評価装置１００は、実施の形態１にかかる学習能力評価装置１００に加え、分析部１６１が分散計測装置を備える。その他については、実施の形態１にかかる学習能力評価装置１００と同様である。

次に、図９と図１０とを用いて実施の形態２にかかる学習能力評価システム１０００の動作を説明する。図９と図１０とは実施の形態２にかかる学習能力評価システム１０００の動作である学習能力評価処理を示すフローチャートである。実施の形態２にかかる学習能力評価システム１０００の動作は、（Ｓ１１９）においてのみ、実施の形態１にかかる学習能力評価システム１０００の動作と異なる。

学習能力分析処理（Ｓ１１９）では、分析部１６１は、評価パラメータ保存部１５２が記憶した各評価用データのパラメータから、登録された計測装置を用いて評価値を計測する。実施の形態２では平均計測装置でパラメータの平均を計算し、分散計測装置で分散を計算し、評価値として出力する。さらに、分析部１６１の計測装置はさらに追加が可能である。

実施の形態２にかかる学習能力評価装置１００によれば、異常検知システム２００を監視対象のネットワークに設置した場合の平均学習能力だけでなく、学習能力が偶然の要因によりどれだけ変動しうるかについても評価することができる。

つまり、上述した実施の形態にかかる学習能力評価装置１００は、所定のネットワークの環境を学習し、その環境から外れたパケットを異常パケットであると判別し、その結果をログなどとして出力する異常検知システム２００についての自動評価装置である。また、学習能力評価装置１００は、診断対象となるネットワークを流れるパケットを取得するパケットキャプチャ装置と、取得したパケットから評価項目に応じた学習用のデータのセットと検知用のデータのセットを生成できる評価用データ生成装置と、学習用データと検知用データを異常検知システム２００に送信する評価用データ送信装置と、異常検知システム２００からのログを収集し、評価に必要なパラメータを抽出するするログ解析装置と、分析用データから異常検知システム２００を評価する評価装置とを備える。ここで、必要なパラメータとは、最終的な異常検知率、最終的な誤検知率、異常検知率の収束の早さ、誤検知率の収束の早さ、学習時間、検知時間を指す。また、最終的な異常検知率とは、評価用データのセットから得られる最高の異常検知率を指す。最終的な誤検知率とは、評価用データから得られる最低の誤検知率を指す。異常検知率の収束の早さは、異常検知率が最終的な異常検知率になるまでの時間を指す。語検知率の収束の早さは、誤検知率が最終的な誤検知率になるまでの時間を指す。学習時間は学習用データのセットから学習用データを受け取り、学習を行った時間、検知時間は検知用データのセットから全ての検知用データについて検知を行うのにかかった時間を指す。また、これらは自動的に行われる。

また、学習能力評価装置１００は、さらに、分析用データから異常検知システム２００の学習能力を評価する評価装置を備える。ここで、学習能力とは、学習データによって変動する達成できる最終的な異常検知率、最終的な誤検知率、異常検知率の収束の早さ、誤検知率の収束の早さ、学習時間、検知時間の変動の大きさを指す。また、変動の大きさの計算は、ログ解析装置によって評価用データのセットごとに抽出した評価項目のパラメータについて変動を計算することで得る。

実施の形態における学習能力評価装置１００を有する学習能力評価システム１０００の外観の一例を示す図。 実施の形態における学習能力評価装置１００のハードウェア資源の一例を示す図。 実施の形態１にかかる学習能力評価システム１０００の構成を示す図。 実施の形態１にかかる学習能力評価装置１００の機能を示す機能ブロック図。 実施の形態１にかかる学習能力評価システム１０００の動作である学習能力評価処理を示すフローチャート。 実施の形態１にかかる学習能力評価システム１０００の動作である学習能力評価処理を示すフローチャート。 実施の形態１における評価用データ抽出部１２０の評価用データセット抽出を説明する図。 実施の形態２にかかる学習能力評価装置１００の機能を示す機能ブロック図。 実施の形態２にかかる学習能力評価システム１０００の動作である学習能力評価処理を示すフローチャート。 実施の形態２にかかる学習能力評価システム１０００の動作である学習能力評価処理を示すフローチャート。

符号の説明

１００ 学習能力評価装置、１０１ 学習能力評価部、１１０ パケットキャプチャ部、１１１ パケット取得部、１１２ パケット保存部、１２０ 評価用データ抽出部、１２１ 学習用データ抽出部、１２２ 検知用データ抽出部、１２３ 学習用データ保存部、１２４ 検知用データ保存部、１３０ 評価用データ送信部、１３１ 学習用データ送信部、１３２ 検知用データ送信部、１４０ ログ解析部、１４１ ログ受信部、１４２ 分析用データ抽出部、１４３ 分析用データ保存部、１５０ 分析用データ評価部、１５１ 評価パラメータ計算部、１５２ 評価パラメータ保存部、１６０ 学習能力分析部、１６１ 分析部、２００ 異常検知システム、９０１ 表示装置、９０２ キーボード、９０３ マウス、９０４ ＦＤＤ、９０９ システムユニット、９１１ ＣＰＵ、９１２ バス、９１３ ＲＯＭ、９１４ ＲＡＭ、９１５ 通信ボード、９１６ サーバＡ、９１７ サーバＢ、９２０ 磁気ディスク装置、９２１ ＯＳ、９２２ ウィンドウシステム、９２３ プログラム群、９２４ ファイル群、９４０ インターネット、９４１ ゲートウェイ、９４２ ＬＡＮ、９８０ 処理装置、９８４ 記憶装置、９８８ 通信装置、１０００ 学習能力評価システム。

Claims (6)

1. ネットワークからデータを取得して上記ネットワークの通常状態を学習し、上記通常状態から外れる状態を上記ネットワークの異常として検知する異常検知システムと通信する学習能力評価装置において、
   上記ネットワークを流れるデータから検知用データと学習用データとを抽出して記憶装置に記憶する評価用データ抽出部と、
   上記評価用データ抽出部が抽出した学習用データを所定の量づつ上記異常検知システムへ通信装置によって送信して、上記異常検知システムに学習させる学習用データの量を徐々に増やす学習用データ送信部と、
   上記学習用データ送信部が上記学習用データを上記所定の量送信する度に、上記検知用データを上記異常検知システムへ通信装置によって送信する検知用データ送信部と、
   上記検知用データ送信部が送信した検知用データに対して、上記異常検知システムにより異常が検知された結果である検知結果情報を取得して記憶装置に記憶する検知結果情報取得部と、
   上記検知結果情報取得部が取得した検知結果情報に基づいて、学習用データの量毎に上記異常検知システムの学習能力を評価をするためのパラメータを処理装置により算出する評価部と
   を備えることを特徴とする学習能力評価装置。
2. 上記評価用データ抽出部は、上記異常検知システムの学習能力の評価項目毎に、その評価項目に対する検知用データと学習用データとの組を抽出し、
   上記学習用データ送信部は、所定の評価項目順に、各評価項目についての学習用データを送信し、
   上記検知用データ送信部は、上記学習用データ送信部が学習用データを所定の量送信する度に、送信された学習用データと組をなす検知用データを送信し、
   上記評価部は、どの評価項目の検知用データに対する検知結果情報であるかに応じたパラメータを、上記検知結果情報に基づいて計算して、学習量に対する上記異常検知システムの異常検知の評価をする
   ことを特徴とする請求項１に記載の学習能力評価装置。
3. 上記学習能力評価装置は、さらに、
   上記評価部が計算した評価項目毎に計算されたパラメータの平均を評価値として算出する学習能力分析部
   を備えることを特徴とする請求項２記載の学習能力評価装置。
4. 上記評価部が計算した評価項目毎に計算されたパラメータの分散を上記評価値として算出する学習能力分析部
   を備えることを特徴とする請求項２記載の学習能力評価装置。
5. ネットワークからデータを取得して上記ネットワークの通常状態を学習し、上記通常状態から外れる状態を上記ネットワークの異常として検知する異常検知システムと通信する
   学習能力評価装置の学習能力評価方法において、
   上記ネットワークを流れるデータから検知用データと学習用データとを抽出して記憶装置に記憶する評価用データ抽出工程と、
   上記評価用データ抽出工程で抽出した学習用データを所定の量づつ上記異常検知システムへ通信装置によって送信して、上記異常検知システムに学習させる学習用データの量を徐々に増やす学習用データ送信工程と、
   上記学習用データ送信工程で上記学習用データを上記所定の量送信する度に、上記検知用データを上記異常検知システムへ通信装置によって送信する検知用データ送信工程と、
   上記検知用データ送信工程で送信した検知用データに対して、上記異常検知システムにより異常が検知された結果である検知結果情報を取得して記憶装置に記憶する検知結果情報取得工程と、
   上記検知結果情報取得工程で取得した検知結果情報に基づいて、学習用データの量毎に上記異常検知システムの学習能力を評価をするためのパラメータを処理装置により算出する評価工程と
   を備えることを特徴とする学習能力評価方法。
6. ネットワークからデータを取得して上記ネットワークの通常状態を学習し、上記通常状態から外れる状態を上記ネットワークの異常として検知する異常検知システムと通信する学習能力評価装置の学習能力評価プログラムにおいて、
   上記ネットワークを流れるデータから検知用データと学習用データとを抽出して記憶装置に記憶する評価用データ抽出処理と、
   上記評価用データ抽出処理で抽出した学習用データを所定の量づつ上記異常検知システムへ通信装置によって送信して、上記異常検知システムに学習させる学習用データの量を徐々に増やす学習用データ送信処理と、
   上記学習用データ送信処理で上記学習用データを上記所定の量送信する度に、上記検知用データを上記異常検知システムへ通信装置によって送信する検知用データ送信処理と、
   上記検知用データ送信処理で送信した検知用データに対して、上記異常検知システムにより異常が検知された結果である検知結果情報を取得して記憶装置に記憶する検知結果情報取得処理と、
   上記検知結果情報取得処理で取得した検知結果情報に基づいて、学習用データの量毎に上記異常検知システムの学習能力を評価をするためのパラメータを処理装置により算出する評価処理と
   をコンピュータに実行させることを特徴とする学習能力評価プログラム。

Images