JP4354480B2 - 異常トラヒック検知装置および方法 - Google Patents

Description

本発明は、時々刻々と観測されるトラヒック時系列データに関して、観測されるトラヒックへの異常値混入の始まりと終わりを検出するデータ分析技術に関する。

日々増大するネットワーク需要を背景に、ＤＤｏＳ攻撃にあげられるようなネットワークトラヒック資源を大量消費する不正行為が増えてきた。このような不正行為でネットワーク帯域が浪費されてしまえば、一般ユーザの通信品質を著しく劣化させることにつながる。そのため、このＤＤｏＳ攻撃のような異常トラヒックが発生したことを一刻も早く検知し、対策することがネットワーク管理者に求められている。しかし、大規模化・高速化するネットワークにおいては監視しなければならない対象も増大していくため、人が全てを管理することは不可能に近い。そこで、異常トラヒック発生検知ならびに異常トラヒック原因分析処理を自動化することが望まれる。

原因分析処理を自動化する際に考慮しなければならないことは、分析の優先順位である。というのも、異常の原因を特定することは通常膨大なコスト（人員的、時間的、計算資源的）がかかるため、緊急性を有する対策を優先して行いたいからである。この分析の優先順位を決める妥当な理由は、観測トラヒックが現在も異常状態にあるかどうかである。何故なら、今現在異常が起こっている監視先への対処は緊急に行うべきである一方、現在は収まっている過去の異常についての対処は、資源があまっているときに行えば十分であるからである。そのため、監視しているトラヒックについて、異常の発生を検知することはもちろん、その異常が継続しているかどうかを判定する必要がでてくることとなる。

従来の異常トラヒック検知技術としては、非特許文献１や特許文献１のように時系列解析モデルや統計的手法を用いて、トラヒック値の急変を検知するものが挙げられる。しかし、非特許文献１や特許文献１に挙げられている手法は監視しているトラヒック値に異変が起こったことを検知するのみで、異常トラヒックの発生と終了を区別して判定するものではなかった。一方、非特許文献２では異常区間を切り出すための手法に触れている。ここで紹介されている手法は、トラヒック値の異常な増加が観測された後、ある程度のトラヒック値の減少を観測したときに異常が終了したと判定しているが、その判定基準の根拠は明確ではないため不十分と言える。例えば、２つ以上の原因によって複合的に異常が発生していた場合、どれかひとつの異常が収まったときにもある程度のトラヒック値の減少を観測できる。非特許文献２の手法では、このような場合に、まだ異常状態であるのにもかかわらず正常状態へ戻ったと誤判定してしまいかねない。また、特許文献２においても異常の発生検知と正常復帰判定を行うことに触れられているが、正常復帰判定のための具体的な手法は提示されていない。

異常の終了判定において難しいのは、観測しているトラヒックから異常な要素が消えたかを判定することである。通常、異常なトラヒック状態は、正常なトラヒックに性質の異なるトラヒックが加算されるために起こる。そのため、観測されるトラヒックが正常な状態に戻ったと判定するには、観測されたトラヒックから加算されていたトラヒックが取り除かれたことを確認しなければならない。しかし、異常状態においては正常なトラヒックを観測することが出来ない上に、正常状態のトラヒック値自体も変動することが一般的なため、何を基準に正常状態へ戻ったと判定するかは非常に難しい問題である。

特開平１１−１７７５４９号公報（トラヒック監視装置及びトラヒック監視方法） 特開２００５−１９７９７１号公報（輻輳制御装置、ルータ装置、輻輳制御システム、及び輻輳制御方法） A. Soule, K. Salamatian and N. Taft, Combining Filtering and Statistical Methods for Anomaly Detection, IMC'05, pp.331-344, 2005. 武井、太田、加藤、根元、トラヒックパターンを用いた不正アクセス検出及び追跡方式、電子情報通信学会論文誌Ｂ、Ｖｏｌ．Ｊ８４−Ｂ Ｎｏ．８、ｐｐ．１４６４−１４７３、２００１ R. Shumway and D.Stoffer, Dynamic linear models with Switching, Journal of the American Statistical Association, 86, 1991.

従来の技術では、異常トラヒックの発生検知は行えるものの、異常トラヒックの妥当な終了判定を行っていなかった。しかし、異常トラヒックの終了判定は、ネットワーク管理機構を自動化するにあたり、異常トラヒック分析の優先順位や分析の打ち切りタイミングを規定するために必要となる技術と言える。以上のような問題を鑑みて、本発明では正常時のトラヒック推移に基づき異常時において観測できない正常トラヒック変動を予測し、異常トラヒックの合理的な終了判定をも実現する異常トラヒック検知手法を提供する。これにより、妥当な分析処理期間と処理の優先順位を規定することが可能となる。

本明細書において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

第１の発明は、時々刻々と訪れるトラヒックデータについて、予め決められたある時間間隔ごとに集約されたトラヒックの変化を監視しネットワークトラヒックの異常を検知する異常トラヒック検知装置であって、観測されたトラヒック値が正常状態であると判定された後に処理を行う正常時処理装置と、観測されたトラヒック値が異常状態であると判定された後に処理を行う異常時処理装置と、各々の処理装置から送られる制御信号を受けて正常時処理装置と異常時処理装置とを切り替える選択装置と、正常時処理装置および異常時処理装置に入力するパラメータを観測されたトラヒック値から計算するパラメータ学習装置と、を有し、前記正常時処理装置は、入力されたパラメータと過去に観測されたトラヒック値に基づき一期先の正常トラヒック状態のトラヒック値を予測する一期先予測装置と、観測されたトラヒック値が正常状態かどうかを判定するための検出閾値を、予め定められた規則により計算する検出閾値計算装置と、観測されたトラヒック値が前記検出閾値計算装置による検出閾値を上回ったときに異常トラヒック発生検知を行い、異常トラヒックが発生したことを通知する異常トラヒック発生検知装置と、を有し、前記異常時処理装置は、入力されたパラメータと正常状態時に観測されたトラヒック値に基づき最後に正常と判定された時刻からｎ期先の正常トラヒック値の推移を予測するｎ期先予測装置と、観測されたトラヒック値が異常状態かどうかを判定するための復帰閾値を、予め定められた規則により計算する復帰閾値計算装置と、観測されたトラヒック値が前記復帰閾値計算装置による復帰閾値を下回ったときに異常トラヒック終了判定を行い、正常トラヒックに復帰したことを通知する異常トラヒック終了判定装置と、を有し、前記一期先予測装置が、前記パラメータ学習装置により計算されるパラメータと過去に観測されたトラヒック値の推移に基づき、一期先に観測されるトラヒック値を予測し、前記検出閾値計算装置が、前記一期先予測装置の出力値と観測されたトラヒック値の推移に基づき、予め定められた規則によって値を検出閾値として出力し、前記異常トラヒック発生検知装置が、前記検出閾値計算装置の検出閾値を観測トラヒック値が上回ったときに異常として検知し、異常トラヒック発生の通知を行い、前記ｎ期先予測装置が、前記パラメータ学習装置により計算されるパラメータと正常状態時における観測トラヒック値の推移に基づき、異常トラヒック発生時における正常トラヒックの推移の予測値をｎ期先予測値として計算し、前記復帰閾値計算装置が、前記ｎ期先予測装置の出力値と正常時に観測されたトラヒック値の推移に基づき、予め定められた規則によって計算される値を復帰閾値として出力し、前記異常トラヒック終了判定装置が、観測トラヒック値が前記復帰閾値計算装置の復帰閾値を観測トラヒック値が下回っていたときに異常トラヒックの終了として判定し、正常状態に復帰したことを通知すること、を特徴とする。

第２の発明は、時々刻々と訪れるトラヒックデータについて、予め決められたある時間間隔ごとに集約されたトラヒックの変化を監視しネットワークトラヒックの異常を検知する異常トラヒック検知装置における異常トラヒック検知方法であって、前記異常トラヒック検知装置は、正常時処理装置と異常時処理装置と選択装置とパラメータ学習装置とを有し、前記正常時処理装置が、観測されたトラヒック値が正常状態であると判定された後に処理を行うステップと、前記異常時処理装置が、観測されたトラヒック値が異常状態であると判定された後に処理を行うステップと、前記選択装置が、各々の処理装置から送られる制御信号を受けて正常時処理装置と異常時処理装置とを切り替えるステップと、前記パラメータ学習装置が、正常時処理装置および異常時処理装置に入力するパラメータを観測されたトラヒック値から計算するステップと、を有し、前記正常時処理装置は、一期先予測装置と検出閾値計算装置と異常トラヒック発生検知装置とを有し、前記一期先予測装置が、入力されたパラメータと過去に観測されたトラヒック値に基づき一期先の正常トラヒック状態のトラヒック値を予測するステップと、前記検出閾値計算装置が、観測されたトラヒック値が正常状態かどうかを判定するための検出閾値を、予め定められた規則により計算するステップと、前記異常トラヒック発生検知装置が、観測されたトラヒック値が前記検出閾値計算装置による検出閾値を上回ったときに異常トラヒック発生検知を行い、異常トラヒックが発生したことを通知するステップと、を有し、前記異常時処理装置は、ｎ期先予測装置と復帰閾値計算装置と異常トラヒック終了判定装置とを有し、前記ｎ期先予測装置が、入力されたパラメータと正常状態時に観測されたトラヒック値に基づき最後に正常と判定された時刻からｎ期先の正常トラヒック値の推移を予測するステップと、前記復帰閾値計算装置が、観測されたトラヒック値が異常状態かどうかを判定するための復帰閾値を、予め定められた規則により計算するステップと、前記異常トラヒック終了判定装置が、観測されたトラヒック値が前記復帰閾値計算装置による復帰閾値を下回ったときに異常トラヒック終了判定を行い、正常トラヒックに復帰したことを通知するステップと、を有し、前記一期先予測装置が、前記パラメータ学習装置により計算されるパラメータと過去に観測されたトラヒック値の推移に基づき、一期先に観測されるトラヒック値を予測し、前記検出閾値計算装置が、前記一期先予測装置の出力値と観測されたトラヒック値の推移に基づき、予め定められた規則によって値を検出閾値として出力し、前記異常トラヒック発生検知装置が、前記検出閾値計算装置の検出閾値を観測トラヒック値が上回ったときに異常として検知し、異常トラヒック発生の通知を行い、前記ｎ期先予測装置が、前記パラメータ学習装置により計算されるパラメータと正常状態時における観測トラヒック値の推移に基づき、異常トラヒック発生時における正常トラヒックの推移の予測値をｎ期先予測値として計算し、前記復帰閾値計算装置が、前記ｎ期先予測装置の出力値と正常時に観測されたトラヒック値の推移に基づき、予め定められた規則によって計算される値を復帰閾値として出力し、前記異常トラヒック終了判定装置が、観測トラヒック値が前記復帰閾値計算装置の復帰閾値を観測トラヒック値が下回っていたときに異常トラヒックの終了として判定し、正常状態に復帰したことを通知すること、を特徴とする。

本発明により、正常時のトラヒック推移に基づき異常時において観測できない正常トラヒック変動を予測し、異常トラヒックの合理的な終了判定を実現することができる。これにより、妥当な分析処理期間と処理の優先順位を規定することが可能となる。

図１に本発明の実施形態の異常トラヒック検知装置を示す。１１０は正常時処理装置であり、１２０は異常時処理装置であり、１００はパラメータ学習装置であり、１３０は選択装置であり、１４０は観測値である。正常時処理装置１１０、は一期先予測装置１１１と検出閾値計算装置１１２と異常トラヒック発生検知装置１１３とを有する。異常時処理装置１２０は、ｎ期先予測装置１２１と復帰閾値計算装置１２２と異常トラヒック終了判定装置１２３とを有する。

まず本異常トラヒック検知装置は、予め定められた期間の観測されたトラヒック値（または、単に観測トラヒック値という）を学習データとして蓄積し、そのトラヒック値の推移から本異常トラヒック検知装置を構成する各装置を動作させるパラメータを逐次学習するパラメータ学習装置１００を有する。この予め定められた期間をＬとし、学習期間と呼ぶ。この学習期間の長さＬは固定された値でも良いし、予め定められる規則により変動しても良い。また、学習データが蓄積されている限り、パラメータ学習装置１００は学習データを利用して観測トラヒックモデルのパラメータを計算し、正常時処理装置１１０および異常時処理装置１２０へパラメータを出力することができる。
なお、パラメータ学習装置１００におけるパラメータ学習において、最尤推定やＥＭアルゴリズムなどが利用できるのは公知の技術である。

本異常トラヒック検知装置では、直前に観測されたトラヒック値ｙ_ｔ−１が正常状態であったか異常状態であったかによって、図２の正常時処理装置１１０ないしは図３の異常時処理装置１２０もしくはその両方へ現在の観測トラヒック値ｙ_ｔを選択送信する選択装置１３０を有する。ここで、正常時処理装置１１０は、直前に観測されたトラヒック値ｙ_ｔ−１が正常状態であったときに動作する装置であり、異常時処理装置１２０は、直前に観測されたトラヒック値ｙ_ｔ−１が異常状態であったときに動作する装置である。なお選択装置１３０の送信先は、正常時処理装置１１０ないしは異常時処理装置１２０からの信号により制御される。これにより、正常な観測トラヒック値と異常な観測トラヒック値を切り分けて処理することが可能となる。

正常時処理装置１１０は、選択装置１３０によって送信された観測トラヒック値ｙ_ｔが正常状態であるかどうかを判定するために利用される、過去の観測トラヒック値ｙ_ｔーｉ，ｉ＝１，２，…に基づいて一期先の正常トラヒック値の予測値＾ｙ_ｔ（実際にはｙの上に＾が記載されるが、コードデータとして入力できないので「＾ｙ」と記載する）を計算する一期先予測装置１１１を有する。一期先予測装置１１１は、パラメータ学習装置１００によって計算されるパラメータθと、正常と判定された過去のトラヒック値ｙ_ｔ−ｉ，ｉ＝１，２，…に基づいて、逐次的に予測値を計算する。

なお、観測されたトラヒックから逐次的に正常なトラヒック値の推移を予測する一期先予測装置１１１に、カルマンフィルタモデルやＡＲＭＡモデル、ＡＲＩＭＡモデルなどの時系列解析手法が利用できるのは公知の技術である。

正常時処理装置１１０は、選択装置１３０によって送信された観測トラヒック値ｙ_ｔが正常状態であるかどうかを判定するための基準となる、検出閾値を計算する検出閾値計算装置１１２を有する。検出閾値計算装置１１２は、一期先予測装置１１１から出力される予測値＾ｙ_ｔと、正常なトラヒック状態において観測されたトラヒック値ｙ_ｔ−ｉ，ｉ＝１，２，…の標準偏差＾σ_ｔ−１（実際にはσの上に＾が記載されるが、コードデータとして入力できないので「＾σ」と記載する）に基づいて検出閾値を計算する。

なお、この検出閾値に、観測されるトラヒック値の予測値＾ｙ_ｔに標準偏差＾σ_ｔ−１のα倍を加えたものを基準とし、それを超えた際に異常として検知することは公知の技術である。

正常時処理装置１１０は、観測トラヒック値ｙ_ｔと検出閾値ｙ_ｔ＋α＾σ_ｔ−１とを比較し、観測トラヒック値が検出閾値を下回るときは、観測トラヒック値は正常状態であると判定し、観測トラヒック値が検出閾値を上回るときは、観測トラヒック値は異常状態であるとして異常検知を行う異常トラヒック発生検知装置１１３を有する。また観測トラヒック値が正常状態であるとき、観測トラヒック値ｙ_ｔは正常なトラヒック値として次回以降の一期先予測へと利用できるよう一期先予測装置１１１へとフィードバックされる。

異常トラヒック発生検知装置によって異常トラヒック発生検知が行われたとき、同時に異常トラヒック発生検知装置は異常の検知通知を行う。この正常時処理装置１１０は、時系列解析モデルなどを利用した公知の技術によって実現されても良い。ただし、異常トラヒック発生検知後の処理は本発明における異常時処理装置１２０で行われることになる。

異常トラヒック発生検知後の異常継続中において、異常時処理装置１２０は、送信された観測トラヒック値ｙ_ｌ＋ｎが正常状態へ戻ったかどうかを判定するために利用される、ｎ期先の正常トラヒック値の推移を予測値＾ｙ_ｌ＋ｎとするｎ期先予測装置１２１を有する。ここで、正常トラヒック値が最後に観測された時刻をｌとして、それからの経過時間をｎであらわしている。ｎ期先予測を行うのは、正常状態の観測トラヒック値の推移に基づき、観測することの出来ない正常トラヒック値の推移を予測するためである。ここで、ｎ期先予測装置１２１は、正常時処理装置１１０における一期先予測装置１１１と検出閾値計算装置１１２で計算された一期先予測値および検出閾値を利用することも出来るし、パラメータ学習装置１００で計算されるパラメータを利用しても良い。

異常中における正常トラヒックは、正常状態の観測トラヒック値に基づいて、新たに提案される技術により予測されることを特徴とする。これにより観測されたトラヒックが正常なトラヒックに戻ったかどうかが判定される。

異常時処理装置１２０は、異常時処理装置１２０に送信された観測トラヒック値ｙ_ｌ＋ｎが正常状態に戻ったかどうかを判定する基準となる、復帰閾値を計算する復帰閾値計算装置１２２を有する。復帰閾値計算装置１２２は、ｎ期先予測装置１２１から出力されるｎ期先予測値＾ｙ_ｌ＋ｎと、正常なトラヒック状態において観測されたトラヒック値に基づいて検出閾値を計算する。

異常時処理装置１２０は、観測トラヒック値ｙ_ｌ＋ｎと復帰閾値とを比較し、観測トラヒック値が復帰閾値を上回るときは、観測トラヒック値は異常状態のままであると判定し、観測トラヒック値が復帰閾値を下回るときは、観測トラヒック値は正常状態へと戻ったとして異常終了判定を行う異常トラヒック終了判定装置１２３を有する。また観測トラヒック値が正常状態へ戻ったと判定されたとき、観測トラヒック値ｙ_ｌ＋ｎは正常なトラヒック値として一期先予測装置１１１へとフィードバックされる。

異常トラヒック終了判定装置１２３によって異常トラヒック終了判定が行われたとき、同時に異常トラヒック終了判定装置１２３は異常の終了通知を行う。

異常トラヒックの終了判定後は、正常時処理装置１１０へと処理が引き継がれる。以降も正常時処理と異常時処理とが適宜切り替えられて異常トラヒック発生検知および終了判定処理が行われていく。

以下、本発明の実施例を説明する。

本実施例においてはカルマンフィルタモデルを適用する場合を説明する。このとき、観測トラヒック値の推移について、大きな周期成分をシステム発展、小さな周期成分を観測誤差とみなすことを特徴とする。ただし、この二つの周期成分は合成されていて、分離して観測することはできない。本発明では、観測トラヒック値の推移におけるシステム発展成分を、システム誤差の累積による結果であると考えることで、観測トラヒック値の予測にカルマンフィルタを利用することを特徴とする。今、現時刻をｔと表せば、カルマンフィルタにおけるトラヒックモデルは、観測値ｙ_ｔと明示的には観測できないシステムの状態ｘ_ｔにより、

で表現される。なお、観測誤差ｖ_ｔとシステム誤差ｗ_ｔは平均０で分散がそれぞれｖａｒ［ｖ_ｔ］＝ｒ，ｖａｒ［ｗ_ｔ］＝ｑの互いに独立な正規分布に従うとする。ここで、観測誤差分散ｒおよびシステム誤差分散ｑはトラヒックモデルの観測できない真のパラメータであるが、ＥＭアルゴリズムを用いたパラメータ学習装置１００より推定を行うことが出来るのは公知の技術である。

カルマンフィルタは、観測値ｙ_ｔのほかにシステムの状態推定値ｘ_ｔ｜ｔを保持している。ここで、表記ｘ_ｉ｜ｔは、時刻ｔまでの観測系列が与えられたときの時刻ｉのシステムの状態推定値を表す。また、時刻ｔにおけるパラメータ学習装置１００によるパラメータ推定値を＾ｒ_ｔ，＾ｑ_ｔと（実際にはｒ、ｑの上に＾が記載されるが、コードデータとして入力できないので「＾ｒ」、「＾ｑ」と記載する）とあらわす。このパラメータはパラメータ学習装置により逐次更新しても良い。

カルマンフィルタの一期先状態予測はシステム状態発展式に基づき、ｘ_{ｔ｜ｔー１}＝Ｅ［ｘ_{ｔ｜ｔ−１}＋ｗ_ｔ］＝ｘ_{ｔ−１｜ｔ−１}により計算される。したがって、一期先予測＾ｙ_ｔは観測式に基づき、

で与えられる。一方、カルマンフィルタでは同時にモデル分散値ｐ_ｔも考慮している。このモデル分散値ｐ_ｔも時間発展し、ｐ_{ｔ｜ｔー１}＝ｐ_{ｔー１｜ｔー１}＋＾ｑ_ｔ−１により計算される。

カルマンフィルタでは、時刻ｔの観測トラヒック値ｙ_ｔを受け取ると、次のような更新式によりシステムの状態値推定、モデル分散値推定へとフィードバックする。

なおここで、ｋ_ｔはカルマンゲインと呼ばれる量で、ｋ_ｔ＝Ｐ_{ｔ｜ｔ−１}／（Ｐ_{ｔ｜ｔ−１}＋＾ｒ_ｔ）で与えられる。

一期先予測装置１１１にカルマンフィルタを用いた実施例では、異常トラヒック発生検知の検出閾値の計算において、過去Ｌ期間に観測されたトラヒック値のシステム誤差分散、観測誤差分散から計算される標準偏差＾σ_ｔを利用する。カルマンフィルタモデルでは、ｗ_ｔ＝ｘ_ｔ｜ｔ−ｘ_{ｔ−１｜ｔ−１}がシステム誤差、ｖ_ｔ＝ｙ_ｔ−ｘ_ｔ｜ｔが観測誤差となる。ここで、観測値に基づくシステム誤差分散＾ｑ_ｔは、

で推定され、同様の計算式で観測値に基づく誤差分散＾ｒ_ｔも計算される。システム誤差と観測誤差は互いに独立な正規分布により生成されるので、トラヒック変化の観測値に基づく一期先観測値の標準偏差は＾σ_ｔ＝√（＾ｒ_ｔ＋＾ｑ_ｔ）と計算できる。

観測トラヒックｙ_ｔが正常であるかどうかは、前述の一期先予測値＾ｙ_ｔと過去の観測値の標準偏差＾σ_ｔ−１から計算される検出閾値との比較によって行われる。すなわち、観測トラヒック値ｙ_ｔが検出閾値＾ｙ_ｔ＋α＾σ_ｔ−１を超えていれば、観測トラヒック値ｙ_ｔは異常なトラヒック状態であるとして異常トラヒック発生の通知をする。ここにαは予め定められるパラメータである。例えば、正常なトラヒック変化の標準偏差＾σ_ｔ−１に対してα＝３としたときは、正常状態における正常な観測トラヒック値を異常として誤検知する確率は約０．１３％に抑えられる。ところで、観測トラヒック値ｙ_ｔが異常なトラヒック状態として検知されたとき、観測トラヒック値ｙ_ｔはカルマンフィルタにおける一期先予測へフィードバックされることはない。また、異常なトラヒック状態が検知された後の処理はｎ期先予測装置１２１に引き継がれる。

さらに、β＜αなる予め定められるパラメータを用いて、観測トラヒック値ｙ_ｔが閾値＾ｙ_ｔ＋β＾σ_ｔ−１を超えているが閾値＾ｙ_ｔ＋α＾σ_ｔ−１を超えていない場合は、小さな異常トラヒック状態の疑いがあることの通知のみを出力し、正常時の処理を引き続き行うというように、異常の度合いによって通知の内容を制御しても良い。

一方、観測トラヒック値ｙ_ｔが閾値＾ｙ_ｔ−α＾σ_ｔ−１を下回る場合、観測トラヒックに大きな減少が起こったことが通知される。この場合、本発明で検出したい異常は起こっていないために正常時の処理を引き続き行うものの、観測トラヒック値は大きな減少と言う異常値であるため、トラヒック変化の観測値に基づく標準偏差＾σ_ｔ−１の計算に含めない。また、トラヒックモデル自体に変化が起こった可能性が高いため、学習データが蓄積され次第パラメータの再学習を行っても良い。

異常トラヒック発生検知がなされた後、以降の処理は異常時処理装置１２０に引き継がれる。正常時処理装置１１０で計算された一期先予測値や検出閾値を参照し、正常トラヒック状態の観測トラヒックデータに基づいたｎ期先予測がｎ期先予測装置１２１により行われる。このｎ期先予測装置１２１による予測値は、観測トラヒックが正常状態に戻ったかどうかを判定するための基準となる。

カルマンフィルタモデルを適用する場合、ｎ期先予測装置１２１としてHoeffding-Azuma不等式（以後、簡単のためにＨＡ不等式と書く）に基づくｎ期先予測が行われる。このＨＡ不等式は、確率変数列Ｘ_１，Ｘ_２，…．Ｘ_ｎがｋ＝１，２，…，ｎについて、Ｅ［Ｘ_ｋ｜Ｘ_１，…，Ｘ_ｋ−１］＝０に従うとき、この確率変数列の和ΣＸ_ｋが期待値（Ｅ［ΣＸ_ｋ］＝０）からどの程度逸脱するかを見積もる式として知られている。ＨＡ不等式を用いたｎ期先予測装置１２１によるｎ期先予測値は次のような手順で計算される。

まず、最後に観測された正常なトラヒック値の状態値Ｘ_ｌ｜ｌと正常なトラヒック状態のシステム発展の推移を元に、次のようなｎ期先状態予測を行う。

ここに、δはｎ期先予測の精度に関する予め定められるパラメータで、ｃ_ｌは正常時に観測されたシステム誤差の標準偏差√（＾ｑ_ｌ）に基づき計算される値である。このｎ期先状態予測値ｘ_{ｌ＋ｎ｜ｌ}は、真の状態値ｘ_ｌ＋ｎの最大限の増加推移を正常時のシステム推移に基づいて計算している。つまり、真のシステム状態値ｘ_ｌ＋ｎはこのｎ期先状態予測値ｘ_{ｌ＋ｎ｜ｌ}よりも小さい値となっている。次に、ｎ期先状態予測値に、観測誤差による影響を考え合わせることでｎ期先予測値が計算される。ただし、観測誤差は平均０の正規分布に従うとしているので、ｎ期先予測装置１２１による時刻ｌ＋ｎの予測値は、

となる。
観測トラヒックｙ_ｌ＋ｎが正常値に戻ったかどうかは、前述のｎ期先予測値＾ｙ_ｌ＋ｎと正常時の観測誤差の標準偏差√（＾ｒ_ｌ）から計算される復帰閾値との比較によって行われる。すなわち、観測トラヒックｙ_ｌ＋ｎが復帰閾値＾ｙ_ｌ＋ｎ＋α√（＾ｒ_ｌ）以下になっていれば、観測トラヒックｙ_ｌ＋ｎは正常状態へ戻ったと判定される。ここに、αは予め定められるパラメータであり、正常時処理装置１１０における検出閾値計算装置１１２で用いるパラメータと同じものでもよい。

異常トラヒック終了判定装置１２３によって観測トラヒックが正常なトラヒック状態に戻ったと判定されたら、正常時処理装置１１０内に保持されている前回の正常状態時のパラメータ＾ｒ_ｌ，＾ｑ_ｌと正常なトラヒック状態として判定された観測トラヒック値を用いて、直ちに正常時処理装置１１０へと処理が引き継がれる。

本実施例は、カルマンフィルタモデルを適用した場合の検出閾値計算装置１１２における各時刻の標準偏差＾σ_ｔの見積もりにおいて、ＥＭアルゴリズムによって観測誤差分散とシステム誤差分散の推定値＾ｒ_ｔ，＾ｑ_ｔを求めるものである。その他の点については実施例１と同様である。

本実施例は、カルマンフィルタモデルを適用した場合の検出閾値計算装置における各時刻の標準偏差＾σ_ｔの見積もりにおいて、過去Ｌ期間の平滑化系列を利用して観測誤差分散とシステム誤差分散を見積もるものである。現時刻をｔとしたときの平滑化系列は、カルマンフィルタで計算される状態予測値ｘ_{ｉ＋１｜ｉ}、状態推定値ｘ_ｉ｜ｉ、モデル分散予測値ｐ_{ｉ＋１｜ｉ}、モデル分散推定値ｐ_ｉ｜ｉを利用して、次のように計算される。

ただし、Ｊ_ｉ＝Ｐ_ｉ｜ｉ／Ｐ_{ｉ＋１｜ｉ}は平滑化ゲインとする。このとき、ｗ_ｉ＝ｘ_ｉ｜ｔ−ｘ_i-１｜ｔがシステム誤差、ｖ_ｉ＝ｙ_ｉ−ｘ_ｉ｜ｔが観測誤差となり、実施例１と同様の計算で標準偏差を見積もることが出来る。

実施例４は、カルマンフィルタモデルを適用した場合の検出閾値計算装置における各時刻の標準偏差として、過去に見積もられた標準偏差の最大値＾σ_ｍａｘ＝ｍａｘ＾σ_ｉ（１≦ｉ≦ｔ）を実績値として利用するものである。その他の点については実施例１と同様である。

本発明では以上のように、正常時処理装置と異常時処理装置を切り替えて用いることで、異常トラヒックの発生検知ならびに終了判定を実現する。

実施例１から４までにおいては、入力トラヒックをカルマンフィルタの状態空間表現でモデル化していたのに対し、ここでは、ＡＲＭＡモデルを用いてモデル化した場合について述べる。ＡＲＭＡモデルでは、時点ｔでのトラヒック量ｙ_ｔを

でモデル化する。ここで、ｕ_ｔは、時点ｔでの誤差を意味する。ａ_１，ａ_２，ｂ_１，ｂ_２は係数である。なお、ここでは、２期前までの観測値、および２期前までの誤差項に依存する場合を例示しており、それぞれＡＲ次数が２、ＭＡ次数が２とよぶ。これら次数は、それぞれ、ｐ次、ｑ次と一般化できるが、ここでは２次の場合を例示する。このＡＲＭＡモデルを、カルマンフィルタの状態空間表現で表すと以下のようになる。

ここで、ｘ_１，ｔ，ｘ_２，ｔは状態空間システム内部でのみ用いる状態変数、ｕ_ｔは、平均０、分散σ^２の正規分布に従う誤差項である。以上のモデルを用いて、図１の一期先予測装置およびｎ期先予測装置において、一期先予測およびｎ期先予測を行う。また、パラメータ学習装置において、観測値ｙ_ｔを用いて逐次的に係数ａ_１，ａ_２，ｂ_１，ｂ_２および誤差分散σ^２を学習する。以下、各装置での動作を記述する。なお、装置間の処理フローは、実施例１の説明に用いた図１〜３と同様である。

■選択装置１３０
現在の状態（異常か正常か）を表すフラグflagを管理しておく、なお、正常時ならばflag＝０、異常時ならばflag＝１とする。また、異常発生時点（つまりflagが０から１へ変わった時点）である時点ｌを記憶しておく。観測値ｙ_ｔが入力されたら、正常時（flag＝０）ならば異常トラヒック発生検知装置１１３へ、異常時（flag＝１）ならば異常トラヒック終了判定装置１２３へ、現時点のトラヒックの観測値ｙ_ｔおよびflagの値を通知する。また、異常発生時点ｌを異常トラヒック終了判定装置１２３へ通知する。また、異常トラヒック検出装置１１３から異常発生の旨を受信したら、flagを１にし、異常トラヒック終了判定装置１２３から異常終了の旨を受信したら、flagを０にする。

■異常トラヒック発生検知装置１１３
選択装置からｙ_ｔおよびflagが通知されたら、検出閾値計算装置１１２から閾値Ｔｈ_ｔを読み出し、ｙ_ｔ＞Ｔｈ_ｔならば、異常トラヒック発生と判定し、その旨を選択装置１３０へ通知する。また、ｙ_ｔの値およびflagの値を、一期先予測装置１１１およびパラメータ学習装置１００へ通知する。

■一期先予測装置
異常トラヒック発生検知装置１１３あるいは異常トラヒック終了判定装置１２０からｙ_ｔおよびflagを受信したら、以下の計算を実施する。

ここで、Ｆ_ｔ ^Ｔは、Ｆ_ｔの転置行列を意味する。また、Ｑ＝１，Ｒ＝０とする。なお、ｘ_ｔ｜ｔ，Ｐ_ｔ｜ｔの初期値ｘ_０｜０，Ｐ_０｜０は、予め定めておく。（例えば、ｘ_０｜０＝［０ ０ ０］^Ｔ，Ｐ_０｜０＝Ｉ，Ｉは単位行列）。上記の式で計算されたｘ_{ｔ｜ｔ−１}を用いて、時点ｔ−１での一期先予測＾ｙ_ｔを、

と計算する。その後、現時点の観測値ｙ_ｔおよび一期先予測値＾ｙ_ｔを検出閾値計算装置１１２へ通知する。

■検出閾値計算装置１１２
一期先予測装置１１１から現時点tの観測値ｙ_ｔおよび時点ｔ−１での一期先予測値＾ｙ_ｔを受信し、かつ、パラメータ学習装置１００からＡＲＭＡモデルの係数を受信したら、以下の計算を実施する。まず、本装置内で保持している、予測誤差ｙ_ｔ−＾ｙ_ｔに関する誤差分散σ^２の推定値＾σ^２を用いて、異常検出閾値Ｔｈ_ｔをＴｈ_ｔ＝＾ｙ_ｔ＋α＾σと計算し、記憶しておく。その後、観測値ｙ_ｔを用いて＾σ^２を以下のように更新する。

ここで、γ_ｃは予め定めるパラメータである（０＜γ_ｃ＜１）。なお、上記の更新は、予測誤差の絶対値｜ｙ_ｔ−＾ｙ_ｔ｜がβ＾σよりも小さいときのみ行う（βは予め定めるパラメータで、例えばβ＝３）。その理由は、異常発生時のような極端なはずれ値も含めて行うと、誤差分散の推定値が過度に大きくなってしまう恐れがあるからである。

■パラメータ学習装置１００
異常トラヒック発生検知装置１１３から通知された観測値ｙ_ｔを用いて、ＡＲＭＡモデルの係数ａ_１，ａ_２，ｂ_１，ｂ_２を以下の手順で学習する。まず、パラメータ学習用のカルマンフィルタ状態空間モデルを以下のように表す。

以上の準備のもと、以下の計算を実施する。

ここで、Ｑ’＝０，Ｒ’＝１とする。なお、ｘ_ｔ｜ｔ，Ｐ_ｔ｜ｔの初期値ｘ_０｜０’，Ｐ_０｜０’は予め定めておく。（例えば、ｘ_０｜０’＝［０ ０ ０ ０］^Ｔ，Ｐ_０｜０’＝Ｉ）。また、Ｈ_ｔ’（ｔ≦２）は、Ｈ_ｔ’＝［０ ０ ０ １］とする。上記の式で計算されたｘ_ｔ｜ｔ’を用いて、ＡＲＭＡモデルの係数ａ_１，ａ_２，ｂ_１，ｂ_２を

と推定する。ここで、ｘ_ｔ｜ｔ’［ｉ］は、ベクトルｘ_ｔ｜ｔ’の第ｉ要素を指す。なお、上記の更新は、予測誤差の絶対値｜ｙ_ｔ−＾ｙ_ｔ｜がβ＾σよりも小さいときのみ行う（βは予め定めるパラメータで、例えばβ＝３）。上記計算完了後、一期先予測装置１１１へ、更新されたＡＲＭＡモデルの係数ａ_１，ａ_２，ｂ_１，ｂ_２を通知する。

■異常トラヒック終了判定装置１２３
選択装置１３０から観測値ｙ_ｔ，flag，異常発生時点ｌを受信したら、まず、異常発生時点ｌからの経過時刻をｎ（＝ｔ−ｌ）とし、ｙ_ｌ＋ｎ＝ｙ_ｔとする。その後、復帰閾値計算装置１２２から閾値Ｔｈ_ｌ＋ｎ’を読み出し、ｙ_ｌ＋ｎ＜Ｔｈ_ｌ＋ｎ’ならば、異常終了と判定し、flag＝０としてその旨を選択装置１３０へ通知する。また、ｙ_ｔの値およびflagの値を、一期先予測装置１１１およびパラメータ学習装置１００へ通知する。また、異常発生時点ｌをｎ期先予測装置１２１に通知する。

■ｎ期先予測装置１２１
異常トラヒック終了判定装置１２３から異常発生時点ｌを受信したら、その時点からのｎ期先における予測値＾ｙ_ｌ＋ｎを以下の式で計算する。

ｎ期先予測値＾ｙ_ｌ＋ｎを復帰閾値計算装置１２２に通知する。

■復帰閾値計算装置１２２
ｎ期先予測装置１２１からｎ期先予測値＾ｙ_ｌ＋ｎを受信したら、検出閾値計算装置１１２から、最新の＾σの値を読み出し、復帰閾値Ｔｈ_ｌ＋ｎ’をＴｈ_ｌ＋ｎ’＝＾ｙ_ｌ＋ｎ＋α＾σと計算し、記憶しておく。

本実施例は、実施例５のｎ期先予測装置に１２１おいて、カルマンフィルタを用いてｎ期先予測を実施していた代わりに、Holt-Wintersモデルを用いてｎ期先予測を行うものである。なお、実施例５では、異常継続中のみｎ期先予測を行っていたが、ここでは正常時にもHolt-Wintersを用いて１期先予測を行っておき、異常発生時以降のｎ期先予測に備える。

実施例５ではＡＲＭＡモデルを用いていたのに対し、ここではＡＲＩＭＡモデルを用いる。ここではＡＲＩＭＡモデルにおける階差ｄ＝１の場合を例に説明する。実施例５では、観測値ｙ_ｔを直接ＡＲＭＡモデルに適用していたが、ここでは、ＡＲＭＡモデルにおけるｙ_ｔを、ｚ_ｔ＝ｙ_ｔ−ｙ_ｔー１に置き換え、そこで計算された予測値＾ｚ_ｔ（実際にはｙの上に＾が記載されるが、コードデータとして入力できないので「＾ｚ」と記載する）に、１期前の観測値ｙ_ｔー１を加えることにより、時点ｔでの予測値＾ｙ_ｔ＝＾ｚ_ｔ＋ｙ_ｔー１とする。それ以外の処理は、実施例５と同じである。

本異常トラヒック検知装置によって、観測トラヒックの状態により、正常時処理装置１１０と異常時処理装置１２０を切り替えることで、異常トラヒック発生の検知と正常復帰の判定を妥当に行うことが可能となる。これにより、異常トラヒック分析を行う外部装置を想定したとき、その装置へ多くの制御情報を含んだ処理制御信号を送信することが可能となる。例えば、異常の終了と共に停止信号を送れば、いたずらに計算資源を消費し続けることがなくなり、分析コストの削減へとつながる。さらに、異常継続時間を管理することにより、トラヒック分析処理の優先順位を制御することも可能となる。これにより、従来オペレータが処理を行っていた作業の自動化を実現することができる。

本発明の有効性を評価した結果を示す。図４は、あるトラヒックを５分間隔に集積したトラヒック時系列データに対して、本発明の実施例を適用した結果である。カルマンフィルタによる一期先予測とＨＡ不等式によるｎ期先予測を用いるためのパラメータは、Ｌ＝３０（２．５時間）、α＝６、β＝３、δ＝０．０１、ｃ_ｌ＝１．５√（＾ｑ_ｌ）とした。異常通知のalertは、異常トラヒック発生通知は＋２、異常トラヒック発生の疑いは＋１、トラヒック急減少は−１として視認しやすい大きさに拡大して同図に表示した。なお図４では、一期先予測、ｎ期先予測の区別なくｙ_ｐ［ｔ］で表示している。また、異常トラヒック発生検知および終了判定基準である閾値の変移をＥＵＢ［ｔ］（ＥＵＢ：Estimated Upper Bound）で表示した。

図４を見ると、異常トラヒック発生通知がされている間は、ｎ期先予測が正常トラヒックの増加傾向を良く捉えている様子が分かる。また、観測トラヒックがＥＵＢ［ｔ］以下になった後は、一期先予測が行われるようになっている。このように、本発明による異常トラヒック発生検知手法は、異常トラヒックの発生検知と終了判定を可能とする。

以上、本発明者によってなされた発明を、前記実施形態、実施例に基づき具体的に説明したが、本発明は、前記実施形態、実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。

本発明における異常トラヒック発生検知装置の構成例を示す図である。 本発明の正常時処理装置における処理概要を示す図である。 本発明の異常時処理装置における処理概要を示す図である。 本発明の効果を示す結果である。

符号の説明

１００…パラメータ学習装置、１１０…正常時処理装置、１１１…一期先予測装置、１１２…検出閾値計算装置、１１３…異常トラヒック発生検知装置、１２０…異常時処理装置、１２１…ｎ期先予測装置、１２２…復帰閾値計算装置、１２３…異常トラヒック終了判定装置、１３０…選択装置、１４０…観測値

Claims (2)

1. 時々刻々と訪れるトラヒックデータについて、予め決められたある時間間隔ごとに集約されたトラヒックの変化を監視しネットワークトラヒックの異常を検知する異常トラヒック検知装置であって、
   観測されたトラヒック値が正常状態であると判定された後に処理を行う正常時処理装置と、観測されたトラヒック値が異常状態であると判定された後に処理を行う異常時処理装置と、各々の処理装置から送られる制御信号を受けて正常時処理装置と異常時処理装置とを切り替える選択装置と、正常時処理装置および異常時処理装置に入力するパラメータを観測されたトラヒック値から計算するパラメータ学習装置と、
   を有し、
   前記正常時処理装置は、入力されたパラメータと過去に観測されたトラヒック値に基づき一期先の正常トラヒック状態のトラヒック値を予測する一期先予測装置と、観測されたトラヒック値が正常状態かどうかを判定するための検出閾値を、予め定められた規則により計算する検出閾値計算装置と、観測されたトラヒック値が前記検出閾値計算装置による検出閾値を上回ったときに異常トラヒック発生検知を行い、異常トラヒックが発生したことを通知する異常トラヒック発生検知装置と、
   を有し、
   前記異常時処理装置は、入力されたパラメータと正常状態時に観測されたトラヒック値に基づき最後に正常と判定された時刻からｎ期先の正常トラヒック値の推移を予測するｎ期先予測装置と、観測されたトラヒック値が異常状態かどうかを判定するための復帰閾値を、予め定められた規則により計算する復帰閾値計算装置と、観測されたトラヒック値が前記復帰閾値計算装置による復帰閾値を下回ったときに異常トラヒック終了判定を行い、正常トラヒックに復帰したことを通知する異常トラヒック終了判定装置と、
   を有し、
   前記一期先予測装置が、前記パラメータ学習装置により計算されるパラメータと過去に観測されたトラヒック値の推移に基づき、一期先に観測されるトラヒック値を予測し、
   前記検出閾値計算装置が、前記一期先予測装置の出力値と観測されたトラヒック値の推移に基づき、予め定められた規則によって値を検出閾値として出力し、
   前記異常トラヒック発生検知装置が、前記検出閾値計算装置の検出閾値を観測トラヒック値が上回ったときに異常として検知し、異常トラヒック発生の通知を行い、
   前記ｎ期先予測装置が、前記パラメータ学習装置により計算されるパラメータと正常状態時における観測トラヒック値の推移に基づき、異常トラヒック発生時における正常トラヒックの推移の予測値をｎ期先予測値として計算し、
   前記復帰閾値計算装置が、前記ｎ期先予測装置の出力値と正常時に観測されたトラヒック値の推移に基づき、予め定められた規則によって計算される値を復帰閾値として出力し、
   前記異常トラヒック終了判定装置が、観測トラヒック値が前記復帰閾値計算装置の復帰閾値を観測トラヒック値が下回っていたときに異常トラヒックの終了として判定し、正常状態に復帰したことを通知すること、を特徴とする異常トラヒック検知装置。
2. 時々刻々と訪れるトラヒックデータについて、予め決められたある時間間隔ごとに集約されたトラヒックの変化を監視しネットワークトラヒックの異常を検知する異常トラヒック検知装置における異常トラヒック検知方法であって、
   前記異常トラヒック検知装置は、正常時処理装置と異常時処理装置と選択装置とパラメータ学習装置とを有し、
   前記正常時処理装置が、観測されたトラヒック値が正常状態であると判定された後に処理を行うステップと、前記異常時処理装置が、観測されたトラヒック値が異常状態であると判定された後に処理を行うステップと、前記選択装置が、各々の処理装置から送られる制御信号を受けて正常時処理装置と異常時処理装置とを切り替えるステップと、前記パラメータ学習装置が、正常時処理装置および異常時処理装置に入力するパラメータを観測されたトラヒック値から計算するステップと、
   を有し、
   前記正常時処理装置は、一期先予測装置と検出閾値計算装置と異常トラヒック発生検知装置とを有し、
   前記一期先予測装置が、入力されたパラメータと過去に観測されたトラヒック値に基づき一期先の正常トラヒック状態のトラヒック値を予測するステップと、前記検出閾値計算装置が、観測されたトラヒック値が正常状態かどうかを判定するための検出閾値を、予め定められた規則により計算するステップと、前記異常トラヒック発生検知装置が、観測されたトラヒック値が前記検出閾値計算装置による検出閾値を上回ったときに異常トラヒック発生検知を行い、異常トラヒックが発生したことを通知するステップと、
   を有し、
   前記異常時処理装置は、ｎ期先予測装置と復帰閾値計算装置と異常トラヒック終了判定装置とを有し、
   前記ｎ期先予測装置が、入力されたパラメータと正常状態時に観測されたトラヒック値に基づき最後に正常と判定された時刻からｎ期先の正常トラヒック値の推移を予測するステップと、前記復帰閾値計算装置が、観測されたトラヒック値が異常状態かどうかを判定するための復帰閾値を、予め定められた規則により計算するステップと、前記異常トラヒック終了判定装置が、観測されたトラヒック値が前記復帰閾値計算装置による復帰閾値を下回ったときに異常トラヒック終了判定を行い、正常トラヒックに復帰したことを通知するステップと、
   を有し、
   前記一期先予測装置が、前記パラメータ学習装置により計算されるパラメータと過去に観測されたトラヒック値の推移に基づき、一期先に観測されるトラヒック値を予測し、
   前記検出閾値計算装置が、前記一期先予測装置の出力値と観測されたトラヒック値の推移に基づき、予め定められた規則によって値を検出閾値として出力し、
   前記異常トラヒック発生検知装置が、前記検出閾値計算装置の検出閾値を観測トラヒック値が上回ったときに異常として検知し、異常トラヒック発生の通知を行い、
   前記ｎ期先予測装置が、前記パラメータ学習装置により計算されるパラメータと正常状態時における観測トラヒック値の推移に基づき、異常トラヒック発生時における正常トラヒックの推移の予測値をｎ期先予測値として計算し、
   前記復帰閾値計算装置が、前記ｎ期先予測装置の出力値と正常時に観測されたトラヒック値の推移に基づき、予め定められた規則によって計算される値を復帰閾値として出力し、
   前記異常トラヒック終了判定装置が、観測トラヒック値が前記復帰閾値計算装置の復帰閾値を観測トラヒック値が下回っていたときに異常トラヒックの終了として判定し、正常状態に復帰したことを通知すること、を特徴とする異常トラヒック検知方法。

Images