JP6193287B2 - 異常検出装置、異常検出方法及びネットワーク異常検出システム - Google Patents

異常検出装置、異常検出方法及びネットワーク異常検出システム Download PDF

Info

Publication number
JP6193287B2
JP6193287B2 JP2015068182A JP2015068182A JP6193287B2 JP 6193287 B2 JP6193287 B2 JP 6193287B2 JP 2015068182 A JP2015068182 A JP 2015068182A JP 2015068182 A JP2015068182 A JP 2015068182A JP 6193287 B2 JP6193287 B2 JP 6193287B2
Authority
JP
Japan
Prior art keywords
abnormality
matrix
degree
abnormality detection
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015068182A
Other languages
English (en)
Other versions
JP2016189062A (ja
Inventor
俊亮 広瀬
俊亮 広瀬
友武 神津
友武 神津
Original Assignee
有限責任監査法人トーマツ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 有限責任監査法人トーマツ filed Critical 有限責任監査法人トーマツ
Priority to JP2015068182A priority Critical patent/JP6193287B2/ja
Publication of JP2016189062A publication Critical patent/JP2016189062A/ja
Application granted granted Critical
Publication of JP6193287B2 publication Critical patent/JP6193287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Description

この発明は、異常検出装置、異常検出方法及びネットワーク異常検出システムに関する。特に、異常検出対象の構成要素数に増減が発生する場合における異常検出に好適な異常検出装置、異常検出方法及びネットワーク異常検出システムに関する。
通信ネットワークや、大規模プラントにおけるセンサネットワーク、為替・株価の市場等の経済活動などのように、多数の構成要素を有し、その構成要素同士は相関関係を有する、という異常検出対象が数多く存在する。
しかし、人の監視によって、これらの異常検出対象の異常を検出し、更にその原因の特定をすることは難しい。なぜなら、構成要素の数が時間の変異と共に増減するからである。更に、構成要素が複雑に関係しながら動作するため、構成要素間の関係を全て監視するのは難しい。監視できたとしても、構成要素の変化と、その関係性を即座に理解して異常を早期に発見し、原因を特定することは、熟練の技術者でも困難を伴う。
そのため、構成要素の数が増減しつつ、複雑に関係しながら動作する異常検出対象全体に発生した異常を自動的に検出し、更に、その原因となる構成要素の特定を可能とする技術が望まれている。
このような観測対象の異常を検出する手法が、非特許文献1に記載されている。
観測対象を構成する要素の数は一定であると仮定した上で、構成要素間の関係性を表す対称行列の時系列を入力とする。次に、その時系列行列の最大固有ベクトルを各時刻で計算し、それらのベクトルを用いて特徴ベクトルを算出する。そして、その特徴ベクトルと新規の最大固有ベクトルとの距離を異常度として監視することで、異常検出対象全体の異常を検出する。
また、複数の構成要素からなる異常検出対象の構成要素毎の異常を検出する手法が、非特許文献2に記載されている。ある構成要素の近傍構造を表す実数値を特徴量として、新規入力に対して、単純な特徴量の差を、異常を表す値として監視することで、異常検出対象の構成要素毎の異常を検出する。
次に、異常検出対象全体と構成要素の異常検出を同時に実行する手法として、非特許文献3がある。
非特許文献3においては、異常検出対象全体を表現する行列の上位固有値を成分にもつベクトルを生成し、そのベクトルの変化を検出することで異常検出対象全体の異常を検出する。そして、構成要素毎に、システム全体を表す行列を一定次元の低次元に圧縮した行列を生成する。それぞれの変化を追跡することで、観測対象全体と、その要素毎の異常を検出する。
Tsuyoshi Ide and Hisashi Kashima. "Eigenspace-based anomaly detection in computer systems". Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining, 2004, 440-449 Tsuyoshi Ide ,Spiros Papadimitriou and Michail Vlachos. "Computing correlation anomaly scores using stochastic nearest neighbors". Proceedings of the IEEE 7th international conference on Data mining, 2007, 523-528. Shunsuke Hirose, Kenji Yamanisihi, Takayuki Nakata and Ryohei Fujimaki. "Network anomaly detection based on eigen equation compression". Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, 2009, 1185-1194.
従来の異常検出に関する技術は以上のように構成されているので、非特許文献1に開示されている技術を実施すれば、複数の構成要素からなる異常検出対象全体の異常を検出できる。しかし、構成要素の数が一定であるという仮定が必要であるため、構成要素の数に増減が発生する場合に、異常が検出できないという課題があった。
また、非特許文献2に開示されている技術を実施すれば、複数の構成要素からなる異常検出対象の構成要素毎の異常を検出できる。更に、構成要素の数に増減が発生する場合にも構成要素毎の異常が検出できる。
しかし、異常検出対象の状態を表現する特徴量として観測値の和を用いているため、異常検出対象全体について特徴量を算出すると、複数の構成要素につき横断して加算することになり、失われる情報量が多くなる。そのため、異常検出対象全体の異常が検出できないという課題があった。
更に、非特許文献3に開示されている技術を実施すれば、異常検出対象全体の異常と、構成要素毎の異常を検出できる。また、構成要素数の増減についても対応が可能である。
しかし、全体の異常検出と、構成要素の異常検出において、それぞれ別の手法に基づいて検出を行っているため、全体の異常と、構成要素の異常との関連付けが難しかった。
すなわち、異常検出対象全体の異常検出結果と、異常検出対象の構成要素の異常検出結果とが、別々の評価尺度により評価されているため、異常検出全体に発生した異常の程度と、異常検出対象の構成要素に発生した異常の程度の比較が難しかった。
そのため、異常検出対象全体に異常が発生した場合の、原因と推定される個所、すなわち異常への影響が大きい構成要素の推定が難しいという課題があった。
本発明は上記のような課題を解決するためになされたもので、異常検出対象の構成要素数に増減が発生する場合においても、異常検出対象全体の異常と、その構成要素の異常とを、同一の評価尺度を用いて検出する異常検出装置を得ることを目的とする。
この発明に係る異常検出装置は、
異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を検出する異常検出装置であって、
構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、
異常度スコアの確率分布を学習する異常度分布学習部と、
を有し、
データ出力部は、異常検出対象の状態を観測した時系列データから、要素特徴行列と、全体特徴行列と、を生成する特徴行列生成部を有し、
異常度算出部は、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択部と、
異常度分布学習部における学習結果と異常度スコアとを比較し、異常検出対象の異常を判定する異常判定部と、を有し、
異常判定部は、異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を判定することで、異常検出対象全体が異常と判定されたときに、異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とするものである。
この発明に係る異常検出装置は、
異常検出対象全体の状態を表した行列であって、異常検出対象全体の状態を表した行列の部分列が、異常検出対象の構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、を有することを特徴とするものである。
また、この発明に係る異常検出装置は、上記構成を備えた上で、
データ出力部が、異常検出対象の状態を観測した結果から、異常検出対象の構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である全体特徴行列と、を生成する特徴行列生成部を有するようにしてもよい。
また、この発明に係る異常検出装置は、上記構成を備えた上で、
異常検出対象の状態を観測した結果から、異常検出対象の構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である全体特徴行列と、を生成する特徴行列生成部を有するようにしてもよい。
また、この発明に係る異常検出装置は、上記構成を備えた上で、
カーネル関数が、入力された行列に対して行列分解を行い、行列分解の結果により得られたベクトルについて、ベクトルの成分を表現する確率密度関数を算出し、算出された確率密度関数の内積を計算することを特徴とするようにしてもよい。
また、この発明に係る異常検出装置は、上記構成を備えた上で、
異常度算出部が、カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出するようにしてもよい。
また、この発明に係る異常検出装置は、上記構成を備えた上で、
異常度算出部が、1以上のカーネル化確率モデルを選択可能な、カーネル化確率モデル選択部を有するようにしてもよい。
また、この発明に係る異常検出装置は、上記構成を備えた上で、
異常度算出部が、全体特徴行列、及び、要素特徴行列について異常度スコアを算出し、その結果に基づき異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を判定することで、異常検出対象全体が異常と判定されたときに、異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定部を有するようにしてもよい。
この発明に係る異常検出方法は、
異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を検出する異常検出方法であって、
構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力ステップと、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出ステップと、
異常度スコアの確率分布を学習する異常度分布学習ステップと、
を有し、
データ出力ステップは、異常検出対象の状態を観測した時系列データから、要素特徴行列と、全体特徴行列と、を生成する特徴行列生成ステップを有し、
異常度算出ステップは、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択ステップと、
異常度分布学習ステップにおける学習結果と異常度スコアとを比較し、異常検出対象の異常を判定する異常判定ステップと、を有し、
異常判定ステップは、異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を判定することで、異常検出対象全体が異常と判定されたときに、異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とするものである。
この発明に係る異常検出方法は、
異常検出対象全体の状態を表した行列であって、異常検出対象全体の状態を表した行列の部分列が、異常検出対象の構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力ステップと、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出ステップと、を有することを特徴とするものである。
また、この発明に係る異常検出方法は、上記構成を備えた上で、
データ出力ステップが、異常検出対象の状態を観測した結果から、異常検出対象の構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である全体特徴行列と、を生成する特徴行列生成ステップを有するようにしてもよい。
また、この発明に係る異常検出方法は、上記構成を備えた上で、
異常検出対象の状態を観測した結果から、異常検出対象の構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、異常検出対象全体を表す行列である全体特徴行列と、を生成する特徴行列生成ステップを有するようにしてもよい。
また、この発明に係る異常検出方法は、上記構成を備えた上で、
カーネル関数が、入力された行列に対して行列分解を行い、行列分解の結果により得られたベクトルについて、ベクトルの成分を表現する確率密度関数を算出し、算出された確率密度関数の内積を計算することを特徴とするようにしてもよい。
また、この発明に係る異常検出方法は、上記構成を備えた上で、
異常度算出ステップが、カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出するようにしてもよい。
また、この発明に係る異常検出方法は、上記構成を備えた上で、
異常度算出ステップが、1以上のカーネル化確率モデルを選択可能な、カーネル化確率モデル選択ステップを有するようにしてもよい。
また、この発明に係る異常検出方法は、上記構成を備えた上で、
異常度算出ステップが、前記全体特徴行列、及び、前記要素特徴行列について異常度スコアを算出し、その結果に基づき異常検出対象全体の異常と、異常検出対象の構成要素の異常と、を判定することで、異常検出対象全体が異常と判定されたときに、異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定ステップを有するようにしてもよい。
この発明に係るネットワーク異常検出システムは、
ネットワーク全体の異常と、ネットワークの構成要素の異常と、を検出するネットワーク異常検出システムであって、
構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、ネットワーク全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、
異常度スコアの確率分布を学習する異常度分布学習部と、
を有し、
データ出力部は、ネットワークの状態を観測した時系列データから、要素特徴行列と、全体特徴行列と、を生成する特徴行列生成部を有し、
異常度算出部は、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択部と、
異常度分布学習部における学習結果と異常度スコアとを比較し、ネットワークの異常を判定する異常判定部と、を有し、
異常判定部は、ネットワーク全体の異常と、ネットワークの構成要素の異常と、を判定することで、ネットワーク全体が異常と判定されたときに、ネットワークの構成要素のうち、異常と判定されるものを検出することを特徴とするものである。
この発明に係るネットワーク異常検出システムは、
ネットワーク全体の状態を表した行列であって、ネットワーク全体の状態を表した行列の部分列が、ネットワークの構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力部と、
2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに入力データが入力されることで、カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、を有することを特徴とするものである。
また、この発明に係るネットワーク異常検出システムは、上記構成を備えた上で、
データ出力部が、ネットワークの状態を観測した結果から、ネットワークの構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、ネットワーク全体を表す行列である全体特徴行列と、を生成する特徴行列生成部を有するようにしてもよい。
また、この発明に係るネットワーク異常検出システムは、上記構成を備えた上で、
ネットワークの状態を観測した結果から、ネットワークの構成要素の状態を表す行列である要素特徴行列と、要素特徴行列が部分列となるように構成された、ネットワーク全体を表す行列である全体特徴行列と、を生成する特徴行列生成部を有するようにしてもよい。
また、この発明に係るネットワーク異常検出システムは、上記構成を備えた上で、
カーネル関数が、入力された行列に対して行列分解を行い、行列分解の結果により得られたベクトルについて、ベクトルの成分を表現する確率密度関数を算出し、算出された確率密度関数の内積を計算することを特徴とするようにしてもよい。
また、この発明に係るネットワーク異常検出システムは、上記構成を備えた上で、
異常度算出部が、カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出するようにしてもよい。
また、この発明に係るネットワーク異常検出システムは、上記構成を備えた上で、
異常度算出部が、1以上のカーネル化確率モデルを選択可能な、カーネル化確率モデル選択部を有するようにしてもよい。
また、この発明に係るネットワーク異常検出システムは、上記構成を備えた上で、
異常度算出部が、前記全体特徴行列、及び、前記要素特徴行列について異常度スコアを算出し、その結果に基づきネットワーク全体の異常と、ネットワークの構成要素の異常と、を判定することで、ネットワーク全体が異常と判定されたときに、ネットワークの構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定部を有するようにしてもよい。
この発明によれば、異常検出対象の構成要素数に増減が発生する場合においても、異常検出対象全体の異常と、その構成要素の異常とを、同一の評価尺度によって評価し、検出することができるという効果がある。
この発明の実施の形態における異常検出装置を示す構成図である。 この発明の実施の形態における異常検出対象の例を示す図である。 この発明の実施の形態における全体特徴行列と、要素特徴行列の例を示す図である。 この発明の実施の形態における、異常検出装置の動作を示すフローチャートである。
実施の形態.
図1はこの発明の実施の形態による異常検出装置を示す構成図である。
本実施の形態では、本発明に係る異常検出装置について図を参照しながら説明する。
図1において、異常検出装置100は、データ出力部200と、異常度算出部300と、異常度分布学習部400と、を備え、異常検出対象900全体の異常と、その構成要素の異常と、を検出する装置である。
更に、データ出力部200は、特徴行列生成部201を備え、異常度算出部300は、カーネル化確率モデル選択部301と、異常判定部302を備える。
本実施の形態において、異常検出対象900は通信ネットワークであり、複数の通信サーバによって構成される。
また、異常検出対象900の構成要素は、通信サーバに限定されるものではなく、例えば、ハブ及びルータのほか、パーソナルコンピュータ、MFP(Multi Function Peripherals)、プリンタ、またはNAS(Network Attached Storage)など、様々な装置によって構成されていてもよい。

データ出力部200は、異常検出対象900から観測値を取得し、逐次的に記録してゆく。
特徴行列生成部201は、取得した観測値に基づいて、異常検出対象900の構成要素である通信サーバー間の通信量を成分とするベクトルデータである、要素特徴行列を生成する。
また、特徴行列生成部201は、異常検出対象900に存在する通信サーバーの数だけ生成された要素特徴行列を、列成分として持つ行列データである、全体特徴行列を生成する。このように生成された全体特徴行列は、異常検出対象900全体のある時間における通信量を表した行列データである。
更に、データ出力部200は、特徴行列生成部201にて生成された全体特徴行列を、逐次的に記録してゆくことで、異常検出対象900を表現する全体特徴行列の時系列データを作成する。
データ出力部200は、特徴行列生成部201にて生成された全体特徴行列の時系列データを、入力データとして、異常度算出部300へと出力する。
また、異常検出対象900の構成要素の集合、すなわち、構成要素群が、特定の意味を有する場合には、構成要素群の特徴を表す行列を、要素特徴行列として生成するようにしてもよい。
本実施の形態における、構成要素の集合が特定の意味を持つ例としては、例えば、大規模な企業イントラネットにおける、ある部署に設置された通信サーバーの集合などが該当する。
以下に異常検出対象900と部分特徴行列、全体特徴行列との関係について、図2、図3を参照しながら説明する。
図2は、この発明の実施の形態における、異常検出対象900及び、異常検出対象900から取得される観測値の例を示す説明図である。
図2における、異常検出対象900から取得される観測値は、通信サーバー間の通信量である。
時刻tにおける観測値を行列表現したものが行列Mであり、行列成分の第i行、第j列の要素が、サーバーiからサーバーjへの通信量を表す。
図2左図は、ある時刻tにおける異常検出対象900の状態を表す。
図2右図は、時刻t+1における異常検出対象900の状態を表す。
それぞれの状態を行列により表現すると、行列M及び、行列Mt+1のようになる。
通信ネットワークにおいては、図2に示されているように、観測値の次元、すなわち通信対象となる通信サーバーの増減が発生する。
なお、観測値については図2の例に限定されるものではなく、通信サーバー毎の負荷率や、通信サーバー間の物理的な接続の有無を表現する値であってもよい。
図3は、図2における行列Mt+1について、全体特徴行列、要素特徴行列、及び構成要素群を表す要素特徴行列を説明した図である。
本実施の形態においては、データ出力部200が異常検出対象900の観測値を逐次的に取得する例を示しているが、本発明はこの例に限定されるものではなく、異常検出を開始する前に取得された観測値のデータセット等を読み込むようにしてもよい。
なお、データ出力部200から異常度算出部300へと出力される、入力データは、取得した全ての時刻での観測値を用いて生成してもよいし、ある一定の期間を定め、その期間分の観測値を用いて生成するようにしてもよい。
異常度算出部300は、異常検出対象900に発生した異常を検出するための指標である異常度を算出する。カーネル化確率モデル選択部301は、異常度算出のために用いるカーネル化確率モデルを選択する。異常判定部302は、算出された異常度に基づいて、異常検出対象900全体と、その構成要素に発生した異常を判定する。
まず、異常度算出部300は、データ出力部200から入力された入力データに基づいて、異常検出対象900全体の異常度を表す、全体異常度を算出し、記録する。更に、異常検出対象の構成要素毎の異常度を表す、要素異常度を算出し、記録する。
以下、全体異常度と要素異常度のどちらか、もしくは両者を指して、異常度スコアと呼ぶ。
異常度スコアは、2つの任意の行列を入力とするカーネル関数によってカーネル化された確率モデル、すなわち、カーネル化確率モデルへと、入力データが入力されることで算出される。
ここで、異常度算出部300にて用いるカーネル関数について詳細に説明する。
異常検出対象の構成要素数に増減がある場合、すなわち入力データの次元数が変動する場合において、異常検出を行うために、入力された2つの行列の成分、形式、及び、次元数が異なる場合にも、両行列間の「距離」に該当する数値、すなわち内積の値を計算することが可能なカーネル関数を構築する。
当該カーネル関数の入力である二つの行列をM、M´として、以下に示す数1で表す。
Figure 0006193287
M及びM´の行列の次元が等しい場合のカーネル関数は、以下に示す数2で表される。
Figure 0006193287
左辺の値が、入力された行列MとM´間の距離に該当する値すなわち、内積である。
しかし、入力行列の次元が異なる場合には、数2のように定義することができないため、入力行列の次元が異なる場合にも計算が可能となるように、数2のカーネル関数を拡張する。
入力行列を行列分解すると、以下に示す数3で表される。
Figure 0006193287
ここで、ベクトルuとu´、及びベクトルvとv´の次元を揃えるために、射影演算子を導入する。
m次元のベクトルvをs次元空間に移す演算子を以下に示す数4で表す。
Figure 0006193287
数4に示される射影演算子を作用させたベクトルを以下に示す数5のように表し、射影ベクトルと呼ぶ。
Figure 0006193287
数2に示される式に数5に示される射影ベクトルを代入すると、以下に示す数6のようになる。
Figure 0006193287
これにより、入力された行列M、M´の次元数に関わらず両者の内積の値を計算できるようになった。
ここで、射影ベクトルの大きさを規定するために、以下に示す数7のような条件を課す。
Figure 0006193287
ここで、数7に示された条件を満たす射影ベクトルとして、ベクトルuの成分の分布に対する確率密度関数の平方根を採用する。すなわち、射影ベクトルを以下に示す数8のように表す。
Figure 0006193287
数8を用いて数6を書き直すと、以下に示す数9のようになる。
Figure 0006193287
上段の式は、ベクトルu、vが実数の場合を表す。積分変数xは一次元である。
具体的には、入力行列MとM´が共に実対象行列であり、行列分解として固有値分解を用いた場合を表す。更に、入力行列MとM´が共に実行列であり、行列分解として特異値分解を用いた場合を表す。
下段の式は、ベクトルu、vが複素数の場合を表す。積分変数zは二次元である。
具体的には、入力行列MとM´の片方もしくは両方が実対象行列ではなく、行列分解として固有値分解を用いた場合を表す。更に、入力行列MとM´の片方もしくは両方が複素行列であり、行列分解として特異値分解を用いた場合を表す。
更に数9に含まれる定数値を以下に示す数10のように置き換えることで、当該カーネル関数を一般化する。
Figure 0006193287
数10を数9へと代入すると、以下に示す数11のようになる。
Figure 0006193287
数11における行列分解と、積分変数及びベクトルの成分の説明については数9における説明と同様であるため、省略する。
このように、行列分解の方法及び、確率密度関数を決定した上で、数11のように導出されたカーネル関数に、任意の形式の2つの行列を入力することで、入力行列間における「距離」に該当する数値、すなわち内積値の算出が可能となった。
なお、本実施の形態においては、行列分解について、固有値分解及び、特異値分解を用いた例を示している。しかし、本発明はこれに限定されるものではなく、分解が一意に定義され、ベクトルが規格化されている任意の行列分解を用いてもよい。
次に、異常度算出部300における異常度の算出方法を説明する。
まず、図示しない入力手段により、前記カーネル関数において用いる、行列分解の方法及び確率密度関数が入力される。
次に、入力データ内の異なる時刻における全体特徴量同士の組み合わせ、及び、入力データ内の異なる時刻における要素特徴行列同士の組み合わせの全てについて、前述のカーネル関数へと入力し、それぞれの内積値を算出する。
算出された内積値を用いて、前記カーネル関数によって表現される空間における、入力データの発生確率を表現する確率モデル、すなわち、カーネル化確率モデルを構築する。
最後に、構築されたカーネル化確率モデルへ、入力データが入力されることで、異常検出対象900全体の異常度を表す、全体異常度及び、異常検出対象の構成要素毎の異常度を表す、要素異常度が算出され、記録される。
カーネル化確率モデル及び、その構築については後述する。
本実施の形態においては、前記カーネル関数にて使用する確率密度関数として、正規分布を用いる例を示す。しかし、本発明はこれに限定されるものではなく、任意の確率分布を用いてもよい。
なお、確率密度関数と、カーネル化確率モデルの種類については、当該異常検出装置に事前に定められた種類に基づくようにしてもよいし、種類について都度、図示しない入力部によって設定されるようにしてもよい。
また確率密度関数及び、カーネル化確率モデルは複数設定されてもよい。
その場合は、設定された確率密度関数及び、カーネル化確率モデルの数だけ異常度スコアが算出される。
ここで、カーネル化確率モデルと、異常度スコアの算出について説明する。
本実施の形態において、カーネル化確率モデルとは、実空間における、ある確率モデルを、前記カーネル関数によって表現される空間における確率モデルへと変換したもの、すなわち、カーネル化したものを指す。
以下において、行列の時系列的な性質を表現する確率モデルである、ベクトル自己回帰モデルをカーネル化した場合の異常度スコアの算出について説明する。
以下、ベクトル自己回帰モデルをカーネル化したものを、KVAR(カーネル化ベクトル自己回帰モデル:Kernelized Vector Auto Regressive)と呼ぶ。
なお、本発明におけるカーネル化確率モデルは、KVARに限定されるものではなく、正規分布や、von Mises‐Fisher分布など、リプリゼンター定理が成り立つ確率分布であれば、任意の確率分布をカーネル化したものを用いてもよい。
以下に、KVARを用いた異常度スコア算出について、説明する。
行列の時系列が等しい時間間隔で観測されているとし、全体特徴行列の集合をMとし、時刻tにおける観測行列をMとして、以下に示す数12のように表す。
Figure 0006193287
行列の次元は時刻ごとに一定ではなく、以下に示す数13のように表す。
Figure 0006193287
時刻tに観測された構成要素の数をNとして以下に示す数14のように表す。
Figure 0006193287
行列を形式的にベクトルとして表現し、以下に示す数15のように表し、それぞれの要素ベクトルを特徴ベクトルと呼ぶ。
Figure 0006193287
特徴ベクトルDのベクトル自己回帰モデルを以下に示す数16に示す。
Figure 0006193287
Wは利用者が指定する定数である。{A}とΣはパラメータ行列である。μはパラメータベクトルであり、εはガウシアンノイズを表す。
VectorARモデルに基づく、特徴ベクトルDについての異常度スコアを、以下に示す数17のように定義する。すなわち、新規行列の珍しさとして異常度を定義する。
Figure 0006193287
誤差の合計Eは以下に示す数18で表される。
Figure 0006193287
誤差Eを最少化するようにパラメータを推定し、内積をカーネル関数で置き換えると、数17は以下に示す数19のようになる。
Figure 0006193287
以上のように、前記カーネル関数へ任意の行列を入力し、前記カーネル関数によってカーネル化された確率モデルにより、入力された行列に対する確率密度を算出することで、異常度スコアの算出が可能となった。
すなわち、異常度算出部300へ、入力データを入力し、数19を用いて異常度スコアを算出することで、異常検出対象900の構成要素数に増減が発生する場合においても、異常検出対象全体の異常を示す値と、構成要素の異常を示す値と、を確率密度という同一の評価尺度によって算出することができる。
なお、異常度スコアは、入力データにおける全ての時刻の全体特徴行列に対して、前記カーネル関数に用いる行列分解の種類、確率密度関数の種類及び、構築されたカーネル化確率モデルの種類の組み合わせの数だけ、算出され、記録される。
カーネル化確率モデル選択部301は、異常度算出部300に記録された異常度スコアに基づき、情報量基準を用いて、入力データの分布を最もよく表現する、前記カーネル関数に用いる行列分解方法、確率密度関数及び、異常度スコア算出に用いるカーネル化確率モデルを選択する。
ここで、情報量基準とは、あるデータを表現する確率分布の候補と、真の確率分布の距離を定量化したものである。
本実施の形態においては、情報量基準として、予測的確率的コンプレキシティを用いる。
予測的確率的コンプレキシティ(Predictive Stochastic Complexity)は予測符号化の下でのデータの符号長を表し、以下に示す数20のように表される。
Figure 0006193287
xは観測値、tはタイムスタンプを表す。pは確率密度、θはパラメータを表す。パラメータは一時刻前までのデータから求める。
数20に表されるように、前記カーネル関数に用いる行列分解方法、確率密度関数及び、異常度スコア算出に用いるカーネル化確率モデルの組み合わせに基づいて算出された異常度スコアを、全ての時刻について加算した値は、予測的確率的コンプレキシティとみなすことができる。
そして、予測的確率的コンプレキシティの合計が最も少なくなる、行列分解方法、確率密度関数及び、異常度スコア算出に用いるカーネル化確率モデルの組み合わせが、最もよく入力データの分布を表現している、ということを表す。
すなわち、カーネル化確率モデル選択部301は、全ての時刻における異常度スコアの合計値が最少となる、前記カーネル関数にて用いる行列分解方法、確率密度関数及び、異常度スコア算出に用いるカーネル化確率モデルの組み合わせを選択する。
本実施の形態では、情報量基準として予測的確率的コンプレキシティを用いているが、本発明はこれに限定されるものではなく、赤池情報量基準(AIC)や、最小記述長(MDL)などの情報量基準を用いてもよい。
なお、カーネル化確率モデルの選択については、情報量基準によらず、当該異常検出装置に事前に定められたカーネル化確率モデルについて、図示しない入力部によって選択されるようにしてもよい。
そして、カーネル化確率モデル選択部301にて選択された、前記カーネル関数に用いる行列分解方法、確率密度関数及び、異常度スコア算出に用いるカーネル化確率モデルの組み合わせに基づき算出された異常度スコアが、異常判定部302及び、異常度分布学習部400へと入力される。
異常度分布学習部400は、入力された異常度スコアを逐次的に記録する。そして、その記録に基づいて、異常度スコアの確率分布を学習する。
本実施の形態では、記録された異常度スコアをパーセンタイル点へと変換する手法を用いる。
異常度分布学習部400に記録された異常度スコアをパーセンタイル点へと変換し、その95%点として表される異常度スコアを、全体異常度、要素異常度それぞれについて、異常と判定されるかどうかの閾値として導出する。
そして、導出された異常度スコアの閾値を、学習閾値として、異常判定部302へと出力する。
ここで、閾値として用いるパーセンタイル点の数値については95%に限定されるものではなく、任意の数字を用いることができる。
なお、異常度分布学習部400における学習及び、閾値の導出方法については、上記のパーセンタイル法に限定されるものではなく、1クラスサポートベクターマシーンなどの外れ値検出手法、及び、変化点検出手法などの任意の手法を利用することができる。
異常判定部302は、入力された全体異常度と全ての要素異常度につき、学習閾値と比較し、学習閾値よりも大きかった場合に、異常であると判定する。
そして、全体異常度が学習閾値より大きかった場合は異常検出対象900全体について異常が発生している事を、図示しない表示部により、利用者へ提示する。
また、要素異常度のうち、学習閾値より大きかったものがあった場合は、異常検出対象900の構成要素について異常が発生している事と、当該異常が発生している構成要素を、図示しない表示部により、利用者へ提示する。
異常判定部302における異常の判定は、異常判定部302へ入力された異常度スコアのうち、最も直近のデータ、すなわち、異常検出対象900の現在の状態を表す異常度スコアについておこなう。
また、異常の判定において、閾値との比較は、全体異常度と、全ての要素異常度について行う。これにより異常検出対象全体の異常と、異常検出対象の構成要素の異常を判定することができる。
なお、異常の判定は、入力データ内のすべての時刻におけるデータについておこなうようにしてもよい。これにより、過去に発生した異常の判定も行うことができる。
なお、閾値としては、異常度分布学習部400より入力された学習閾値を用いてもよいし、図示しない入力部により設定された設定閾値を用いてもよい。
また、本実施の形態において、異常かそうでないかを表す閾値を1つのみ設定する例を示しているが、本発明はこれに限定されるものではなく、異常の程度を表す複数の閾値を設定するようにしてもよい。
以下に、本実施の形態における、異常判定部302における異常判定の結果例について説明する。
異常度スコアのうち、全体異常度のみが異常と判断された場合、ネットワーク全体の通信量が通常より多い、もしくは少ないという異常が発生しているものとみなす。
異常度スコアのうち、ある構成要素についての要素異常度のみが異常と判定された場合は、ネットワーク全体への影響が少ない異常が、該当構成要素において発生しているとみなす。
異常度スコアのうち、全体異常度について異常と判定され、更に要素異常度についても異常と判定された構成要素が存在する場合は、全体的な異常が発生していて、その異常に大きく影響しているのが異常と判定された構成要素であるとみなす。
本実施の形態においては、異常判定部302における異常判定の結果を、異常が発生したかどうかについてのみ、図示しない表示部により利用者へ提示する例を示しているが、これに加えて、文章による上記異常判定の結果例を、図示しない表示部により利用者へ提示するようにしてもよい。
図4は本実施の形態における異常検出装置100の概略動作を示すフローチャートであり、異常検出装置100は以下のように動作する。
データ出力部200は、異常検出対象900が有する全ての構成要素について、それぞれの状態を表現する数値、すなわち観測値を取得する。
取得した観測値を逐次的に記録してゆくことで、観測値の時系列データを生成する(ステップS31)。
特徴行列生成部201に、観測値が入力されることで、異常検出対象900の構成要素の状態を表す行列データである、要素特徴行列が生成される。更に、特徴行列生成部201は、要素特徴行列を用いて、異常検出対象全体を表す行列データである、全体特徴行列を生成する。そして、データ出力部200は全体特徴行列を時系列に並べたものを入力データとして、異常度算出部300へと出力する。(ステップS32)。
次に、図示しない入力手段により、異常度算出部300の前記カーネル関数において使用する行列分解の方法と、確率密度関数の種類及び、異常度スコアの算出に用いるカーネル化確率モデルの種類が設定される(ステップS33)。
次に、入力データ内の異なる時刻における全体特徴量同士の組み合わせ、及び、入力データ内の異なる時刻における要素特徴行列同士の組み合わせの全てについて、前述のカーネル関数へと入力し、ステップS33にて設定された行列分解の方法及び、確率密度関数の組み合わせに基づいた内積値を算出する(ステップS34)。
そして、算出された内積値を用いて、ステップS33において設定された、行列分解の方法、確率密度関数の種類及び、カーネル化確率モデルの種類ごとに、カーネル化確率モデルを構築する(ステップS35)。
そして、ステップS34にて算出された、全体特徴量同士の内積値の組み合わせ、及び、要素特徴量同士の内積値の組み合わせを、対応する行列分解の方法及び、確率密度関数の組み合わせに基づき、ステップS35にて構築されたカーネル化確率モデルへ入力することで、全体異常度と、要素異常度が算出され、記録される(ステップS36)。
次に、カーネル化確率モデル選択部301は、異常度算出部300に記録された異常度スコアに基づき、情報量基準が最少の値となる、行列分解の方法、確率密度関数、及び、カーネル化確率モデルの組み合わせを選択する(ステップS37)。
なお、カーネル化確率モデル選択部301の動作タイミングは異常判定部302の動作タイミングに同期させるようにしてもよいし、異常検出の開始前に一定の時間を設け、その間に取得された観測値に基づき、カーネル化確率モデル選択部301を動作させ、それ以後はカーネル化確率モデル選択部301を動作をさせないようにしてもよい。
異常度分布学習部400は、カーネル化確率モデル選択部301にて選択された、行列分解の方法、確率密度関数、及び、カーネル化確率モデルの組み合わせに基づき算出された異常度スコアを逐次的に記録する。そして、その記録に基づいて、異常度スコアをパーセンタイル点へと変換する(ステップS38)。
そして、異常度スコアのうち95%点にあたる異常度スコアを学習閾値として異常判定部302へと出力する。
なお、学習の方法については、パーセンタイル点へと変換する手法に限られるものではなく、1クラスサポートベクターマシーンなどの外れ値検出手法、及び、変化点検出手法、など任意の学習方法を利用することができる。
異常判定部302は、異常度分布学習部400にて学習された結果から導出された学習閾値と、入力された異常度スコアとを比較し、全体異常度及び、要素異常度が、閾値より高い数値である場合に、異常検出対象全体、及び、該当する異常検出対象の構成要素を、異常であるとして判定し、図示しない表示部により結果を表示する。(ステップS39)。
以上より、本実施の形態によれば、以下のような効果を奏する。
異常検出装置100は、異常度算出部300において、次元が異なる2つの行列について内積値を計算することができるカーネル関数を用いて、異常度を算出するように構成したので、異常検出対象の構成要素数に増減が発生した場合にも異常検出ができるという効果を奏する。
異常検出装置100は、データ出力部200において、全体特徴行列の部分列が要素特徴行列となるように、異常検出対象900の観測値から入力データを生成する。
そして、異常度算出部300において、カーネル化確率モデルへ入力データを入力することで、全体異常度と要素異常度が算出されるように構成したので、異常検出対象全体の異常と異常検出対象の構成要素の異常が同一の評価尺度によって検出されるという効果を奏する。
異常検出装置100は、異常判定部302において、異常検出対象全体の異常と、異常検出対象の構成要素の異常を、それぞれ全体異常度と要素異常度という同一の評価尺度に基づき判定するように構成したので、異常検出対象全体の異常に対する影響が大きい構成要素の推定ができるという効果を奏する。
図1では、異常検出装置100の全てがコンピュータで構成されている例を示している。しかし、本発明はこれに限定されるものではなく、異常検出装置100の全部、又は一部が、専用のハードウェアで構成されていてもよい。
また、異常検出対象900についても、図2の例に限定されるものではなく、大規模プラントにおけるセンサネットワークや、為替・株価市場等の経済活動などでもよい。
なお、全体特徴行列及び要素特徴行列の成分と形式について制限はなく、任意の成分及び形式の行列を用いることができる。
すなわち、行列成分については、実数のみで構成されていてもよく、複素数のみで構成されていてもよく、これらの組み合わせで構成されていてもよい。
また、行列形式については矩形行列、正方行列、対称行列、非対称行列のいずれの形式でもよく、次元についても任意の次元であってもよい。
以上、実施の形態を参照して本発明を説明したが、本発明は上述した実施の形態に限定されるものではない。本発明の構成及び動作については、本発明の趣旨を逸脱しない範囲において、当業者が理解しうる様々な変更を行うことができる。
100…異常検出装置(ネットワーク異常検出システム)
200…データ出力部
201…特徴行列生成部
300…異常度算出部
301…カーネル化確率モデル選択部
302…異常判定部
400…異常度分布学習部
900…異常検出対象

Claims (18)

  1. 異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を検出する異常検出装置であって、
    前記異常検出装置は、
    前記構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力部と、
    2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、
    前記異常度スコアの確率分布を学習する異常度分布学習部と、
    を有し、
    前記データ出力部は、前記異常検出対象の状態を観測した時系列データから、前記要素特徴行列と、前記全体特徴行列と、を生成する特徴行列生成部を有し、
    前記異常度算出部は、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択部と、
    前記異常度分布学習部における学習結果と前記異常度スコアとを比較し、前記異常検出対象の異常を判定する異常判定部と、を有し、
    前記異常判定部は、前記異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を判定することで、前記異常検出対象全体が異常と判定されたときに、前記異常検出対象の構成要素のうち、異常と判定されるものを検出する
    ことを特徴とする、異常検出装置。
  2. 異常検出対象全体の状態を表した行列であって、前記異常検出対象全体の状態を表した行列の部分列が、前記異常検出対象の構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力部と、
    2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、を有
    前記異常度算出部は、前記カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出する、異常検出装置。
  3. 前記データ出力部は、
    前記異常検出対象の状態を観測した結果から、
    前記異常検出対象の構成要素の状態を表す行列である要素特徴行列と、
    前記要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である全体特徴行列と、
    を生成する特徴行列生成部を有する
    ことを特徴とする請求項2に記載の異常検出装置。
  4. 前記カーネル関数は、入力された行列に対して行列分解を行い、前記行列分解の結果により得られたベクトルについて、前記ベクトルの成分を表現する確率密度関数を算出し、算出された前記確率密度関数の内積を計算することを特徴とする、請求項2又は3に記載の異常検出装置。
  5. 前記異常度算出部は、1以上の前記カーネル化確率モデルを選択可能な、カーネル化確率モデル選択部を有する、請求項2からの何れかに記載の異常検出装置。
  6. 前記異常度算出部は、前記異常検出対象の構成要素の状態を表す行列である要素特徴行列、及び、前記要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である全体特徴行列について異常度スコアを算出し、その結果に基づき前記異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を判定することで、前記異常検出対象全体が異常と判定されたときに、前記異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定部を有する、請求項2からの何れかに記載の異常検出装置。
  7. 異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を検出する異常検出方法であって、
    前記異常検出方法は、
    前記構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力ステップと、
    2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出ステップと、
    前記異常度スコアの確率分布を学習する異常度分布学習ステップと、
    を有し、
    前記データ出力ステップは、前記異常検出対象の状態を観測した時系列データから、前記要素特徴行列と、前記全体特徴行列と、を生成する特徴行列生成ステップを有し、
    前記異常度算出ステップは、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択ステップと、
    前記異常度分布学習ステップにおける学習結果と前記異常度スコアとを比較し、前記異常検出対象の異常を判定する異常判定ステップと、を有し、
    前記異常判定ステップは、前記異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を判定することで、前記異常検出対象全体が異常と判定されたときに、前記異常検出対象の構成要素のうち、異常と判定されるものを検出する
    ことを特徴とする、異常検出方法。
  8. 異常検出対象全体の状態を表した行列であって、前記異常検出対象全体の状態を表した行列の部分列が、前記異常検出対象の構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力ステップと、
    2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出ステップと、を有し、
    前記異常度算出ステップは、前記カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出する、異常検出方法。
  9. 前記データ出力ステップは、
    前記異常検出対象の状態を観測した結果から、
    前記異常検出対象の構成要素の状態を表す行列である要素特徴行列と、
    前記要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である全体特徴行列と、
    を生成する特徴行列生成ステップを有する
    ことを特徴とする請求項に記載の異常検出方法。
  10. 前記カーネル関数は、入力された行列に対して行列分解を行い、前記行列分解の結果により得られたベクトルについて、前記ベクトルの成分を表現する確率密度関数を算出し、算出された前記確率密度関数の内積を計算することを特徴とする、請求項又はに記載の異常検出方法。
  11. 前記異常度算出ステップは、1以上の前記カーネル化確率モデルを選択可能な、カーネル化確率モデル選択ステップを有する、請求項から10の何れかに記載の異常検出方法。
  12. 前記異常度算出ステップは、前記異常検出対象の構成要素の状態を表す行列である要素特徴行列、及び、前記要素特徴行列が部分列となるように構成された、前記異常検出対象全体を表す行列である全体特徴行列について異常度スコアを算出し、その結果に基づき前記異常検出対象全体の異常と、前記異常検出対象の構成要素の異常と、を判定することで、前記異常検出対象全体が異常と判定されたときに、前記異常検出対象の構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定ステップを有する、請求項から11の何れかに記載の異常検出方法。
  13. ネットワーク全体の異常と、前記ネットワークの構成要素の異常と、を検出するネットワーク異常検出システムであって、
    前記ネットワーク異常検出システムは、
    前記構成要素の状態を表す行列である要素特徴行列が部分列となるように構成された、前記ネットワーク全体を表す行列である、全体特徴行列を、入力データとして出力する、データ出力部と、
    2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、
    前記異常度スコアの確率分布を学習する異常度分布学習部と、
    を有し、
    前記データ出力部は、前記ネットワークの状態を観測した時系列データから、前記要素特徴行列と、前記全体特徴行列と、を生成する特徴行列生成部を有し、
    前記異常度算出部は、複数のカーネル化確率モデルから、情報量基準に基づいて、カーネル化確率モデルを選択するカーネル化確率モデル選択部と、
    前記異常度分布学習部における学習結果と前記異常度スコアとを比較し、前記ネットワークの異常を判定する異常判定部と、を有し、
    前記異常判定部は、前記ネットワーク全体の異常と、前記ネットワークの構成要素の異常と、を判定することで、前記ネットワーク全体が異常と判定されたときに、前記ネットワークの構成要素のうち、異常と判定されるものを検出する
    ことを特徴とする、ネットワーク異常検出システム。
  14. ネットワーク全体の状態を表した行列であって、前記ネットワーク全体の状態を表した行列の部分列が、前記ネットワークの構成要素の状態を表すように構成された行列を入力データとして出力するデータ出力部と、
    2つの行列を入力とするカーネル関数によってカーネル化された確率モデルである、カーネル化確率モデルに前記入力データが入力されることで、前記カーネル化確率モデルから予測される状態と実際の状態のずれの程度を表す異常度スコアを算出する異常度算出部と、を有
    前記異常度算出部は、前記カーネル関数によってカーネル化された、カーネル化ベクトル自己回帰モデルを用いて異常度スコアを算出する、ネットワーク異常検出システム。
  15. 前記データ出力部は、
    前記ネットワークの状態を観測した結果から、
    前記ネットワークの構成要素の状態を表す行列である要素特徴行列と、
    前記要素特徴行列が部分列となるように構成された、前記ネットワーク全体を表す行列である全体特徴行列と、
    を生成する特徴行列生成部を有する
    ことを特徴とする請求項14に記載のネットワーク異常検出システム。
  16. 前記カーネル関数は、入力された行列に対して行列分解を行い、前記行列分解の結果により得られたベクトルについて、前記ベクトルの成分を表現する確率密度関数を算出し、算出された前記確率密度関数の内積を計算することを特徴とする、請求項14又は15に記載のネットワーク異常検出システム。
  17. 前記異常度算出部は、1以上の前記カーネル化確率モデルを選択可能な、カーネル化確率モデル選択部を有する、請求項14から16の何れかに記載のネットワーク異常検出システム。
  18. 前記異常度算出部は、前記ネットワークの構成要素の状態を表す行列である要素特徴行列、及び、前記要素特徴行列が部分列となるように構成された、前記ネットワーク全体を表す行列である全体特徴行列について異常度スコアを算出し、その結果に基づき前記ネットワーク全体の異常と、前記ネットワークの構成要素の異常と、を判定することで、前記ネットワーク全体が異常と判定されたときに、前記ネットワークの構成要素のうち、異常と判定されるものを検出することを特徴とする、異常判定部を有する、請求項14から17の何れかに記載のネットワーク異常検出システム。
JP2015068182A 2015-03-30 2015-03-30 異常検出装置、異常検出方法及びネットワーク異常検出システム Active JP6193287B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015068182A JP6193287B2 (ja) 2015-03-30 2015-03-30 異常検出装置、異常検出方法及びネットワーク異常検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015068182A JP6193287B2 (ja) 2015-03-30 2015-03-30 異常検出装置、異常検出方法及びネットワーク異常検出システム

Publications (2)

Publication Number Publication Date
JP2016189062A JP2016189062A (ja) 2016-11-04
JP6193287B2 true JP6193287B2 (ja) 2017-09-06

Family

ID=57240495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015068182A Active JP6193287B2 (ja) 2015-03-30 2015-03-30 異常検出装置、異常検出方法及びネットワーク異常検出システム

Country Status (1)

Country Link
JP (1) JP6193287B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6782679B2 (ja) * 2016-12-06 2020-11-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置、情報処理方法及びプログラム
JP6813451B2 (ja) * 2017-07-28 2021-01-13 日本電信電話株式会社 異常検知システム及び異常検知方法
US11487747B2 (en) 2018-01-12 2022-11-01 Nippon Telegraph And Telephone Corporation Anomaly location identification device, anomaly location identification method, and program
JP7040851B2 (ja) * 2018-03-09 2022-03-23 株式会社インテック 異常検知装置、異常検知方法及び異常検知プログラム
US11227231B2 (en) * 2018-05-04 2022-01-18 International Business Machines Corporation Computational efficiency in symbolic sequence analytics using random sequence embeddings
US11698630B2 (en) * 2018-06-11 2023-07-11 Panasonic Intellectual Property Management Co., Ltd. Abnormality analysis device, abnormality analysis method, and manufacturing system
CN109784777B (zh) * 2019-02-28 2021-03-02 西安交通大学 基于时序信息片段云相似度度量的电网设备状态评估方法
CN117784656B (zh) * 2023-11-24 2024-09-13 兴容(上海)信息技术股份有限公司 一种基于数据监测的异常数据智能监管系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3506068B2 (ja) * 1999-09-29 2004-03-15 日本電気株式会社 外れ値度計算装置
US20110107155A1 (en) * 2008-01-15 2011-05-05 Shunsuke Hirose Network fault detection apparatus and method
JP2010128674A (ja) * 2008-11-26 2010-06-10 Nec Corp コンピュータネットワーク、異常検出装置、異常検出方法および異常検出プログラム
JP2013025367A (ja) * 2011-07-15 2013-02-04 Wakayama Univ 設備状態監視方法およびその装置
US9250625B2 (en) * 2011-07-19 2016-02-02 Ge Intelligent Platforms, Inc. System of sequential kernel regression modeling for forecasting and prognostics

Also Published As

Publication number Publication date
JP2016189062A (ja) 2016-11-04

Similar Documents

Publication Publication Date Title
JP6193287B2 (ja) 異常検出装置、異常検出方法及びネットワーク異常検出システム
KR102118670B1 (ko) Ict 인프라 관리 시스템 및 이를 이용한 ict 인프라 관리 방법
US11532056B2 (en) Deep convolutional neural network based anomaly detection for transactive energy systems
US10719577B2 (en) System analyzing device, system analyzing method and storage medium
CN111045894B (zh) 数据库异常检测方法、装置、计算机设备和存储介质
JP7007243B2 (ja) 異常検知システム
US10444121B2 (en) Fault detection using event-based predictive models
Lim et al. Identifying recurrent and unknown performance issues
JP2015148867A (ja) 情報処理装置、診断方法、およびプログラム
Fu et al. A hybrid anomaly detection framework in cloud computing using one-class and two-class support vector machines
US11275643B2 (en) Dynamic configuration of anomaly detection
US10599501B2 (en) Information processing device, information processing method, and recording medium
US10430268B2 (en) Operations management system, operations management method and program thereof
KR102087959B1 (ko) 통신망의 인공지능 운용 시스템 및 이의 동작 방법
US11720820B2 (en) Operational support system and method
US11392821B2 (en) Detecting behavior patterns utilizing machine learning model trained with multi-modal time series analysis of diagnostic data
WO2018073955A1 (ja) システム分析方法、システム分析装置、および、プログラム
US20180307218A1 (en) System and method for allocating machine behavioral models
JP2020149466A (ja) 時系列データ監視システム、および時系列データ監視方法
EP2882139B1 (en) System and method for IT servers anomaly detection using incident consolidation
JP2022127958A (ja) 業務改善支援装置、プログラムおよびプログラムを格納した記憶媒体
JP2018181052A (ja) モデル同定装置、予測装置、監視システム、モデル同定方法および予測方法
Wang et al. Multi‐block principal component analysis based on variable weight information and its application to multivariate process monitoring
Lithoxoidou et al. Malfunction diagnosis in industrial process systems using data mining for knowledge discovery
US20220172002A1 (en) Dynamic and continuous composition of features extraction and learning operation tool for episodic industrial process

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170421

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170421

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170809

R150 Certificate of patent or registration of utility model

Ref document number: 6193287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250