JP6193287B2 - 異常検出装置、異常検出方法及びネットワーク異常検出システム - Google Patents
異常検出装置、異常検出方法及びネットワーク異常検出システム Download PDFInfo
- Publication number
- JP6193287B2 JP6193287B2 JP2015068182A JP2015068182A JP6193287B2 JP 6193287 B2 JP6193287 B2 JP 6193287B2 JP 2015068182 A JP2015068182 A JP 2015068182A JP 2015068182 A JP2015068182 A JP 2015068182A JP 6193287 B2 JP6193287 B2 JP 6193287B2
- Authority
- JP
- Japan
- Prior art keywords
- abnormality
- matrix
- degree
- abnormality detection
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 227
- 230000005856 abnormality Effects 0.000 claims description 467
- 239000011159 matrix material Substances 0.000 claims description 238
- 230000006870 function Effects 0.000 claims description 80
- 238000004364 calculation method Methods 0.000 claims description 48
- 239000013598 vector Substances 0.000 claims description 48
- 238000000354 decomposition reaction Methods 0.000 claims description 42
- 238000009826 distribution Methods 0.000 claims description 39
- 230000002159 abnormal effect Effects 0.000 claims description 37
- 239000000470 constituent Substances 0.000 claims description 13
- 238000000034 method Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 16
- 230000007423 decrease Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013450 outlier detection Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
そのため、構成要素の数が増減しつつ、複雑に関係しながら動作する異常検出対象全体に発生した異常を自動的に検出し、更に、その原因となる構成要素の特定を可能とする技術が望まれている。
観測対象を構成する要素の数は一定であると仮定した上で、構成要素間の関係性を表す対称行列の時系列を入力とする。次に、その時系列行列の最大固有ベクトルを各時刻で計算し、それらのベクトルを用いて特徴ベクトルを算出する。そして、その特徴ベクトルと新規の最大固有ベクトルとの距離を異常度として監視することで、異常検出対象全体の異常を検出する。
しかし、異常検出対象の状態を表現する特徴量として観測値の和を用いているため、異常検出対象全体について特徴量を算出すると、複数の構成要素につき横断して加算することになり、失われる情報量が多くなる。そのため、異常検出対象全体の異常が検出できないという課題があった。
しかし、全体の異常検出と、構成要素の異常検出において、それぞれ別の手法に基づいて検出を行っているため、全体の異常と、構成要素の異常との関連付けが難しかった。
すなわち、異常検出対象全体の異常検出結果と、異常検出対象の構成要素の異常検出結果とが、別々の評価尺度により評価されているため、異常検出全体に発生した異常の程度と、異常検出対象の構成要素に発生した異常の程度の比較が難しかった。
そのため、異常検出対象全体に異常が発生した場合の、原因と推定される個所、すなわち異常への影響が大きい構成要素の推定が難しいという課題があった。
異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を検出する異常検出装置であって、
構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、
異常度スコアの確率分布を学習する異常度分布学習部と、
を有し、
データ出力部は、異常検出対象の状態を観測した時系列データから、要素特徴行列と、全体特徴行列と、を生成する特徴行列生成部を有し、
異常度算出部は、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択部と、
異常度分布学習部における学習結果と異常度スコアとを比較し、異常検出対象の異常を判定する異常判定部と、を有し、
異常判定部は、異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を判定することで、異常検出対象全体が異常と判定されたときに、異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とするものである。
異常検出対象全体の状態を表した行列であって、異常検出対象全体の状態を表した行列の部分列が、異常検出対象の構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、を有することを特徴とするものである。
データ出力部が、異常検出対象の状態を観測した結果から、異常検出対象の構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である全体特徴行列と、を生成する特徴行列生成部を有するようにしてもよい。
異常検出対象の状態を観測した結果から、異常検出対象の構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である全体特徴行列と、を生成する特徴行列生成部を有するようにしてもよい。
カーネル関数が、入力された行列に対して行列分解を行い、行列分解の結果により得られたベクトルについて、ベクトルの成分を表現する確率密度関数を算出し、算出された確率密度関数の内積を計算することを特徴とするようにしてもよい。
異常度算出部が、カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出するようにしてもよい。
異常度算出部が、1以上のカーネル化確率モデルを選択可能な、カーネル化確率モデル選択部を有するようにしてもよい。
異常度算出部が、全体特徴行列、及び、要素特徴行列について異常度スコアを算出し、その結果に基づき異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を判定することで、異常検出対象全体が異常と判定されたときに、異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定部を有するようにしてもよい。
異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を検出する異常検出方法であって、
構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力ステップと、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出ステップと、
異常度スコアの確率分布を学習する異常度分布学習ステップと、
を有し、
データ出力ステップは、異常検出対象の状態を観測した時系列データから、要素特徴行列と、全体特徴行列と、を生成する特徴行列生成ステップを有し、
異常度算出ステップは、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択ステップと、
異常度分布学習ステップにおける学習結果と異常度スコアとを比較し、異常検出対象の異常を判定する異常判定ステップと、を有し、
異常判定ステップは、異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を判定することで、異常検出対象全体が異常と判定されたときに、異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とするものである。
異常検出対象全体の状態を表した行列であって、異常検出対象全体の状態を表した行列の部分列が、異常検出対象の構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力ステップと、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出ステップと、を有することを特徴とするものである。
データ出力ステップが、異常検出対象の状態を観測した結果から、異常検出対象の構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である全体特徴行列と、を生成する特徴行列生成ステップを有するようにしてもよい。
異常検出対象の状態を観測した結果から、異常検出対象の構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である全体特徴行列と、を生成する特徴行列生成ステップを有するようにしてもよい。
カーネル関数が、入力された行列に対して行列分解を行い、行列分解の結果により得られたベクトルについて、ベクトルの成分を表現する確率密度関数を算出し、算出された確率密度関数の内積を計算することを特徴とするようにしてもよい。
異常度算出ステップが、カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出するようにしてもよい。
異常度算出ステップが、1以上のカーネル化確率モデルを選択可能な、カーネル化確率モデル選択ステップを有するようにしてもよい。
異常度算出ステップが、前記全体特徴行列、及び、前記要素特徴行列について異常度スコアを算出し、その結果に基づき異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を判定することで、異常検出対象全体が異常と判定されたときに、異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定ステップを有するようにしてもよい。
ネットワーク全体の異常と、ネットワークの構成要素の異常と、を検出するネットワーク異常検出システムであって、
構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、ネットワーク全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、
異常度スコアの確率分布を学習する異常度分布学習部と、
を有し、
データ出力部は、ネットワークの状態を観測した時系列データから、要素特徴行列と、全体特徴行列と、を生成する特徴行列生成部を有し、
異常度算出部は、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択部と、
異常度分布学習部における学習結果と異常度スコアとを比較し、ネットワークの異常を判定する異常判定部と、を有し、
異常判定部は、ネットワーク全体の異常と、ネットワークの構成要素の異常と、を判定することで、ネットワーク全体が異常と判定されたときに、ネットワークの構成要素のうち、異常と判定されるものを検出することを特徴とするものである。
ネットワーク全体の状態を表した行列であって、ネットワーク全体の状態を表した行列の部分列が、ネットワークの構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、を有することを特徴とするものである。
データ出力部が、ネットワークの状態を観測した結果から、ネットワークの構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、ネットワーク全体を表す行列である全体特徴行列と、を生成する特徴行列生成部を有するようにしてもよい。
ネットワークの状態を観測した結果から、ネットワークの構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、ネットワーク全体を表す行列である全体特徴行列と、を生成する特徴行列生成部を有するようにしてもよい。
カーネル関数が、入力された行列に対して行列分解を行い、行列分解の結果により得られたベクトルについて、ベクトルの成分を表現する確率密度関数を算出し、算出された確率密度関数の内積を計算することを特徴とするようにしてもよい。
異常度算出部が、カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出するようにしてもよい。
異常度算出部が、1以上のカーネル化確率モデルを選択可能な、カーネル化確率モデル選択部を有するようにしてもよい。
異常度算出部が、前記全体特徴行列、及び、前記要素特徴行列について異常度スコアを算出し、その結果に基づきネットワーク全体の異常と、ネットワークの構成要素の異常と、を判定することで、ネットワーク全体が異常と判定されたときに、ネットワークの構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定部を有するようにしてもよい。
図1はこの発明の実施の形態による異常検出装置を示す構成図である。
本実施の形態では、本発明に係る異常検出装置について図を参照しながら説明する。
更に、データ出力部200は、特徴行列生成部201を備え、異常度算出部300は、カーネル化確率モデル選択部301と、異常判定部302を備える。
また、異常検出対象900の構成要素は、通信サーバーに限定されるものではなく、例えば、ハブ及びルータのほか、パーソナルコンピュータ、MFP(Multi Function Peripherals)、プリンタ、またはNAS(Network Attached Storage)など、様々な装置によって構成されていてもよい。
特徴行列生成部201は、取得した観測値に基づいて、異常検出対象900の構成要素である通信サーバー間の通信量を成分とするベクトルデータである、要素特徴行列を生成する。
また、特徴行列生成部201は、異常検出対象900に存在する通信サーバーの数だけ生成された要素特徴行列を、列成分として持つ行列データである、全体特徴行列を生成する。このように生成された全体特徴行列は、異常検出対象900全体のある時間における通信量を表した行列データである。
更に、データ出力部200は、特徴行列生成部201にて生成された全体特徴行列を、逐次的に記録してゆくことで、異常検出対象900を表現する全体特徴行列の時系列データを作成する。
データ出力部200は、特徴行列生成部201にて生成された全体特徴行列の時系列データを、入力データとして、異常度算出部300へと出力する。
本実施の形態における、構成要素の集合が特定の意味を持つ例としては、例えば、大規模な企業イントラネットにおける、ある部署に設置された通信サーバーの集合などが該当する。
時刻tにおける観測値を行列表現したものが行列Mtであり、行列成分の第i行、第j列の要素が、サーバーiからサーバーjへの通信量を表す。
図2左図は、ある時刻tにおける異常検出対象900の状態を表す。
図2右図は、時刻t+1における異常検出対象900の状態を表す。
それぞれの状態を行列により表現すると、行列Mt及び、行列Mt+1のようになる。
通信ネットワークにおいては、図2に示されているように、観測値の次元、すなわち通信対象となる通信サーバーの増減が発生する。
なお、観測値については図2の例に限定されるものではなく、通信サーバー毎の負荷率や、通信サーバー間の物理的な接続の有無を表現する値であってもよい。
以下、全体異常度と要素異常度のどちらか、もしくは両者を指して、異常度スコアと呼ぶ。
しかし、入力行列の次元が異なる場合には、数2のように定義することができないため、入力行列の次元が異なる場合にも計算が可能となるように、数2のカーネル関数を拡張する。
具体的には、入力行列MとM´が共に実対象行列であり、行列分解として固有値分解を用いた場合を表す。更に、入力行列MとM´が共に実行列であり、行列分解として特異値分解を用いた場合を表す。
下段の式は、ベクトルu、vが複素数の場合を表す。積分変数zは二次元である。
具体的には、入力行列MとM´の片方もしくは両方が実対象行列ではなく、行列分解として固有値分解を用いた場合を表す。更に、入力行列MとM´の片方もしくは両方が複素行列であり、行列分解として特異値分解を用いた場合を表す。
まず、図示しない入力手段により、前記カーネル関数において用いる、行列分解の方法及び確率密度関数が入力される。
次に、入力データ内の異なる時刻における全体特徴量同士の組み合わせ、及び、入力データ内の異なる時刻における要素特徴行列同士の組み合わせの全てについて、前述のカーネル関数へと入力し、それぞれの内積値を算出する。
算出された内積値を用いて、前記カーネル関数によって表現される空間における、入力データの発生確率を表現する確率モデル、すなわち、カーネル化確率モデルを構築する。
最後に、構築されたカーネル化確率モデルへ、入力データが入力されることで、異常検出対象900全体の異常度を表す、全体異常度及び、異常検出対象の構成要素毎の異常度を表す、要素異常度が算出され、記録される。
カーネル化確率モデル及び、その構築については後述する。
なお、確率密度関数と、カーネル化確率モデルの種類については、当該異常検出装置に事前に定められた種類に基づくようにしてもよいし、種類について都度、図示しない入力部によって設定されるようにしてもよい。
その場合は、設定された確率密度関数及び、カーネル化確率モデルの数だけ異常度スコアが算出される。
本実施の形態においては、情報量基準として、予測的確率的コンプレキシティを用いる。
本実施の形態では、記録された異常度スコアをパーセンタイル点へと変換する手法を用いる。
そして、導出された異常度スコアの閾値を、学習閾値として、異常判定部302へと出力する。
ここで、閾値として用いるパーセンタイル点の数値については95%に限定されるものではなく、任意の数字を用いることができる。
なお、異常度分布学習部400における学習及び、閾値の導出方法については、上記のパーセンタイル法に限定されるものではなく、1クラスサポートベクターマシーンなどの外れ値検出手法、及び、変化点検出手法などの任意の手法を利用することができる。
そして、全体異常度が学習閾値より大きかった場合は異常検出対象900全体について異常が発生している事を、図示しない表示部により、利用者へ提示する。
また、要素異常度のうち、学習閾値より大きかったものがあった場合は、異常検出対象900の構成要素について異常が発生している事と、当該異常が発生している構成要素を、図示しない表示部により、利用者へ提示する。
また、異常の判定において、閾値との比較は、全体異常度と、全ての要素異常度について行う。これにより異常検出対象全体の異常と、異常検出対象の構成要素の異常を判定することができる。
なお、異常の判定は、入力データ内のすべての時刻におけるデータについておこなうようにしてもよい。これにより、過去に発生した異常の判定も行うことができる。
また、本実施の形態において、異常かそうでないかを表す閾値を1つのみ設定する例を示しているが、本発明はこれに限定されるものではなく、異常の程度を表す複数の閾値を設定するようにしてもよい。
取得した観測値を逐次的に記録してゆくことで、観測値の時系列データを生成する(ステップS31)。
なお、カーネル化確率モデル選択部301の動作タイミングは異常判定部302の動作タイミングに同期させるようにしてもよいし、異常検出の開始前に一定の時間を設け、その間に取得された観測値に基づき、カーネル化確率モデル選択部301を動作させ、それ以後はカーネル化確率モデル選択部301を動作をさせないようにしてもよい。
そして、異常度スコアのうち95%点にあたる異常度スコアを学習閾値として異常判定部302へと出力する。
なお、学習の方法については、パーセンタイル点へと変換する手法に限られるものではなく、1クラスサポートベクターマシーンなどの外れ値検出手法、及び、変化点検出手法、など任意の学習方法を利用することができる。
そして、異常度算出部300において、カーネル化確率モデルへ入力データを入力することで、全体異常度と要素異常度が算出されるように構成したので、異常検出対象全体の異常と異常検出対象の構成要素の異常が同一の評価尺度によって検出されるという効果を奏する。
すなわち、行列成分については、実数のみで構成されていてもよく、複素数のみで構成されていてもよく、これらの組み合わせで構成されていてもよい。
また、行列形式については矩形行列、正方行列、対称行列、非対称行列のいずれの形式でもよく、次元についても任意の次元であってもよい。
200…データ出力部
201…特徴行列生成部
300…異常度算出部
301…カーネル化確率モデル選択部
302…異常判定部
400…異常度分布学習部
900…異常検出対象
Claims (18)
- 異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を検出する異常検出装置であって、
前記異常検出装置は、
前記構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、
前記異常度スコアの確率分布を学習する異常度分布学習部と、
を有し、
前記データ出力部は、前記異常検出対象の状態を観測した時系列データから、前記要素特徴行列と、前記全体特徴行列と、を生成する特徴行列生成部を有し、
前記異常度算出部は、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択部と、
前記異常度分布学習部における学習結果と前記異常度スコアとを比較し、前記異常検出対象の異常を判定する異常判定部と、を有し、
前記異常判定部は、前記異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を判定することで、前記異常検出対象全体が異常と判定されたときに、前記異常検出対象の構成要素のうち、異常と判定されるものを検出する
ことを特徴とする、異常検出装置。 - 異常検出対象全体の状態を表した行列であって、前記異常検出対象全体の状態を表した行列の部分列が、前記異常検出対象の構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、を有し、
前記異常度算出部は、前記カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出する、異常検出装置。 - 前記データ出力部は、
前記異常検出対象の状態を観測した結果から、
前記異常検出対象の構成要素の状態を表す行列である要素特徴行列と、
前記要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である全体特徴行列と、
を生成する特徴行列生成部を有する
ことを特徴とする請求項2に記載の異常検出装置。 - 前記カーネル関数は、入力された行列に対して行列分解を行い、前記行列分解の結果により得られたベクトルについて、前記ベクトルの成分を表現する確率密度関数を算出し、算出された前記確率密度関数の内積を計算することを特徴とする、請求項2又は3に記載の異常検出装置。
- 前記異常度算出部は、1以上の前記カーネル化確率モデルを選択可能な、カーネル化確率モデル選択部を有する、請求項2から4の何れかに記載の異常検出装置。
- 前記異常度算出部は、前記異常検出対象の構成要素の状態を表す行列である要素特徴行列、及び、前記要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である全体特徴行列について異常度スコアを算出し、その結果に基づき前記異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を判定することで、前記異常検出対象全体が異常と判定されたときに、前記異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定部を有する、請求項2から5の何れかに記載の異常検出装置。
- 異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を検出する異常検出方法であって、
前記異常検出方法は、
前記構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力ステップと、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出ステップと、
前記異常度スコアの確率分布を学習する異常度分布学習ステップと、
を有し、
前記データ出力ステップは、前記異常検出対象の状態を観測した時系列データから、前記要素特徴行列と、前記全体特徴行列と、を生成する特徴行列生成ステップを有し、
前記異常度算出ステップは、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択ステップと、
前記異常度分布学習ステップにおける学習結果と前記異常度スコアとを比較し、前記異常検出対象の異常を判定する異常判定ステップと、を有し、
前記異常判定ステップは、前記異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を判定することで、前記異常検出対象全体が異常と判定されたときに、前記異常検出対象の構成要素のうち、異常と判定されるものを検出する
ことを特徴とする、異常検出方法。 - 異常検出対象全体の状態を表した行列であって、前記異常検出対象全体の状態を表した行列の部分列が、前記異常検出対象の構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力ステップと、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出ステップと、を有し、
前記異常度算出ステップは、前記カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出する、異常検出方法。 - 前記データ出力ステップは、
前記異常検出対象の状態を観測した結果から、
前記異常検出対象の構成要素の状態を表す行列である要素特徴行列と、
前記要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である全体特徴行列と、
を生成する特徴行列生成ステップを有する
ことを特徴とする請求項8に記載の異常検出方法。 - 前記カーネル関数は、入力された行列に対して行列分解を行い、前記行列分解の結果により得られたベクトルについて、前記ベクトルの成分を表現する確率密度関数を算出し、算出された前記確率密度関数の内積を計算することを特徴とする、請求項8又は9に記載の異常検出方法。
- 前記異常度算出ステップは、1以上の前記カーネル化確率モデルを選択可能な、カーネル化確率モデル選択ステップを有する、請求項8から10の何れかに記載の異常検出方法。
- 前記異常度算出ステップは、前記異常検出対象の構成要素の状態を表す行列である要素特徴行列、及び、前記要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である全体特徴行列について異常度スコアを算出し、その結果に基づき前記異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を判定することで、前記異常検出対象全体が異常と判定されたときに、前記異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定ステップを有する、請求項8から11の何れかに記載の異常検出方法。
- ネットワーク全体の異常と、前記ネットワークの構成要素の異常と、を検出するネットワーク異常検出システムであって、
前記ネットワーク異常検出システムは、
前記構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、前記ネットワーク全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、
前記異常度スコアの確率分布を学習する異常度分布学習部と、
を有し、
前記データ出力部は、前記ネットワークの状態を観測した時系列データから、前記要素特徴行列と、前記全体特徴行列と、を生成する特徴行列生成部を有し、
前記異常度算出部は、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択部と、
前記異常度分布学習部における学習結果と前記異常度スコアとを比較し、前記ネットワークの異常を判定する異常判定部と、を有し、
前記異常判定部は、前記ネットワーク全体の異常と、前記ネットワークの構成要素の異常と、を判定することで、前記ネットワーク全体が異常と判定されたときに、前記ネットワークの構成要素のうち、異常と判定されるものを検出する
ことを特徴とする、ネットワーク異常検出システム。 - ネットワーク全体の状態を表した行列であって、前記ネットワーク全体の状態を表した行列の部分列が、前記ネットワークの構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、を有し、
前記異常度算出部は、前記カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出する、ネットワーク異常検出システム。 - 前記データ出力部は、
前記ネットワークの状態を観測した結果から、
前記ネットワークの構成要素の状態を表す行列である要素特徴行列と、
前記要素特徴行列が部分列となるように構成された、前記ネットワーク全体を表す行列である全体特徴行列と、
を生成する特徴行列生成部を有する
ことを特徴とする請求項14に記載のネットワーク異常検出システム。 - 前記カーネル関数は、入力された行列に対して行列分解を行い、前記行列分解の結果により得られたベクトルについて、前記ベクトルの成分を表現する確率密度関数を算出し、算出された前記確率密度関数の内積を計算することを特徴とする、請求項14又は15に記載のネットワーク異常検出システム。
- 前記異常度算出部は、1以上の前記カーネル化確率モデルを選択可能な、カーネル化確率モデル選択部を有する、請求項14から16の何れかに記載のネットワーク異常検出システム。
- 前記異常度算出部は、前記ネットワークの構成要素の状態を表す行列である要素特徴行列、及び、前記要素特徴行列が部分列となるように構成された、前記ネットワーク全体を表す行列である全体特徴行列について異常度スコアを算出し、その結果に基づき前記ネットワーク全体の異常と、前記ネットワークの構成要素の異常と、を判定することで、前記ネットワーク全体が異常と判定されたときに、前記ネットワークの構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定部を有する、請求項14から17の何れかに記載のネットワーク異常検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015068182A JP6193287B2 (ja) | 2015-03-30 | 2015-03-30 | 異常検出装置、異常検出方法及びネットワーク異常検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015068182A JP6193287B2 (ja) | 2015-03-30 | 2015-03-30 | 異常検出装置、異常検出方法及びネットワーク異常検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016189062A JP2016189062A (ja) | 2016-11-04 |
JP6193287B2 true JP6193287B2 (ja) | 2017-09-06 |
Family
ID=57240495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015068182A Active JP6193287B2 (ja) | 2015-03-30 | 2015-03-30 | 異常検出装置、異常検出方法及びネットワーク異常検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6193287B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6782679B2 (ja) * | 2016-12-06 | 2020-11-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 情報処理装置、情報処理方法及びプログラム |
JP6813451B2 (ja) * | 2017-07-28 | 2021-01-13 | 日本電信電話株式会社 | 異常検知システム及び異常検知方法 |
US11487747B2 (en) | 2018-01-12 | 2022-11-01 | Nippon Telegraph And Telephone Corporation | Anomaly location identification device, anomaly location identification method, and program |
JP7040851B2 (ja) * | 2018-03-09 | 2022-03-23 | 株式会社インテック | 異常検知装置、異常検知方法及び異常検知プログラム |
US11227231B2 (en) * | 2018-05-04 | 2022-01-18 | International Business Machines Corporation | Computational efficiency in symbolic sequence analytics using random sequence embeddings |
US11698630B2 (en) * | 2018-06-11 | 2023-07-11 | Panasonic Intellectual Property Management Co., Ltd. | Abnormality analysis device, abnormality analysis method, and manufacturing system |
CN109784777B (zh) * | 2019-02-28 | 2021-03-02 | 西安交通大学 | 基于时序信息片段云相似度度量的电网设备状态评估方法 |
CN117784656B (zh) * | 2023-11-24 | 2024-09-13 | 兴容(上海)信息技术股份有限公司 | 一种基于数据监测的异常数据智能监管系统及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3506068B2 (ja) * | 1999-09-29 | 2004-03-15 | 日本電気株式会社 | 外れ値度計算装置 |
US20110107155A1 (en) * | 2008-01-15 | 2011-05-05 | Shunsuke Hirose | Network fault detection apparatus and method |
JP2010128674A (ja) * | 2008-11-26 | 2010-06-10 | Nec Corp | コンピュータネットワーク、異常検出装置、異常検出方法および異常検出プログラム |
JP2013025367A (ja) * | 2011-07-15 | 2013-02-04 | Wakayama Univ | 設備状態監視方法およびその装置 |
US9250625B2 (en) * | 2011-07-19 | 2016-02-02 | Ge Intelligent Platforms, Inc. | System of sequential kernel regression modeling for forecasting and prognostics |
-
2015
- 2015-03-30 JP JP2015068182A patent/JP6193287B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016189062A (ja) | 2016-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6193287B2 (ja) | 異常検出装置、異常検出方法及びネットワーク異常検出システム | |
KR102118670B1 (ko) | Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법 | |
US11532056B2 (en) | Deep convolutional neural network based anomaly detection for transactive energy systems | |
US10719577B2 (en) | System analyzing device, system analyzing method and storage medium | |
CN111045894B (zh) | 数据库异常检测方法、装置、计算机设备和存储介质 | |
JP7007243B2 (ja) | 異常検知システム | |
US10444121B2 (en) | Fault detection using event-based predictive models | |
Lim et al. | Identifying recurrent and unknown performance issues | |
JP2015148867A (ja) | 情報処理装置、診断方法、およびプログラム | |
Fu et al. | A hybrid anomaly detection framework in cloud computing using one-class and two-class support vector machines | |
US11275643B2 (en) | Dynamic configuration of anomaly detection | |
US10599501B2 (en) | Information processing device, information processing method, and recording medium | |
US10430268B2 (en) | Operations management system, operations management method and program thereof | |
KR102087959B1 (ko) | 통신망의 인공지능 운용 시스템 및 이의 동작 방법 | |
US11720820B2 (en) | Operational support system and method | |
US11392821B2 (en) | Detecting behavior patterns utilizing machine learning model trained with multi-modal time series analysis of diagnostic data | |
WO2018073955A1 (ja) | システム分析方法、システム分析装置、および、プログラム | |
US20180307218A1 (en) | System and method for allocating machine behavioral models | |
JP2020149466A (ja) | 時系列データ監視システム、および時系列データ監視方法 | |
EP2882139B1 (en) | System and method for IT servers anomaly detection using incident consolidation | |
JP2022127958A (ja) | 業務改善支援装置、プログラムおよびプログラムを格納した記憶媒体 | |
JP2018181052A (ja) | モデル同定装置、予測装置、監視システム、モデル同定方法および予測方法 | |
Wang et al. | Multi‐block principal component analysis based on variable weight information and its application to multivariate process monitoring | |
Lithoxoidou et al. | Malfunction diagnosis in industrial process systems using data mining for knowledge discovery | |
US20220172002A1 (en) | Dynamic and continuous composition of features extraction and learning operation tool for episodic industrial process |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170421 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170421 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170809 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6193287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |