JP7351480B2 - 異常検知装置、異常検知方法、及びプログラム - Google Patents

Description

本発明は、時系列データの解析技術に関連するものである。

ランダムなノイズを含む時系列データとして、通信トラヒック・株価・気象データなどがあり、これらのデータの振る舞いを近似することで、特徴理解・予測・異常検知などの解析を行う技術が検討されている。

これらの手法は大きく２つに分けられる。１つ目は、Neural Networkを用いる手法であり、２つ目は、時系列データが数学的モデルから生成されると考える手法である。２つ目に関しては、古典的な方法は、データ間に線形な関係性を仮定するが、近年、非線形な関係性に対してもモデルを表現できるTransfer作用素と呼ばれる数学的対象を用いることで時系列データを解析する技術が検討されている（非特許文献１～３）。

非特許文献１には、ランダム性のある時系列データの特徴を、Transfer作用素の固有値・固有関数を近似することで理解する技術が開示されている。非特許文献３には、ランダム性のない時系列データ同士の類似度を、Reproducing kernel Hilbert space（ＲＫＨＳ）と呼ばれる空間の上で定まるTransfer作用素を用いて計算する技術が開示されている。非特許文献２には、ランダム性のある時系列データの特徴を、ＲＫＨＳ上で定まるTransfer作用素の固有値・固有関数を近似することで理解する技術が開示されている。

Crnjaric-Zic, N., Macesic, S., and Mezic, I., Koopman Operator Spectrum for Random Dynamical Systems, arXiv:1711.03146, 2019. Klus, S., Schuster, I., and Muandet, K., Eigendecompositions of Transfer Operators in Reproducing kernel Hilbert spaces, arXiv:1712.01572, 2017. Ishikawa, I., Fujii, K., Ikeda, M., Hashimoto, Y., and Kawahara, Y., Metric on Nonlinear Dynamical Systems with Perron-Frobenius Operators, In Advances in Neural Information Processing Systems 31, p.p. 2856-2866, Curran Associates, Inc., 2018.

Neural Networkはモデルを仮定せずにデータの関係性を近似する方法であるため、この近似の中にランダム性の情報を組み込むことは困難である。

数学モデルを考えることにより、ランダム性を考慮しながらデータの関係性を近似することができると期待される。しかし、数理モデルを用いた古典的な方法は、データ間に線形な関係性を仮定しているため、非線形な振る舞いをするデータに対しては解析の精度が落ちる。

そこで、非線形な振る舞いを仮定したモデルをTransfer作用素を用いて表現し、解析する技術が研究されている。Transfer作用素を用いた従来技術は、Transfer作用素が「離散スペクトラムしか持たない」や、「有界である」という良い性質を持つ場合のみ有効である。

しかし、実際の時系列データを生成するモデルを表現したTransfer作用素がこれらの性質を持つとは限らない。また、従来技術は、Transfer作用素の固有値の近似や、時系列データ間の類似度を計算することを目的としており、異常検知を目的とはしていない。

本発明は上記の点に鑑みてなされたものであり、ランダムなノイズを含む時系列データの振る舞いを近似し、異常検知を行うことを可能とする技術を提供することを目的とする。

開示の技術によれば、観測データに基づいて、当該観測データを生成する数学モデルを表現するＲＫＨＳ上のPerron-Frobenius作用素の近似を作成する近似部と、
前記Perron-Frobenius作用素の近似と、時刻ｔの観測データを用いて、時刻ｔ＋１におけるデータを予測し、予測したデータと、時刻ｔ＋１の観測データとの乖離に基づいて、時刻ｔ＋１の観測データが異常か否かを判断する検知部と
を備える異常検知装置が提供される。

開示の技術によれば、ランダムなノイズを含む時系列データの振る舞いを近似し、異常検知を行うことを可能とする技術が提供される。本技術は、Transfer作用素が「離散スペクトラムしか持たない」や、「有界である」という性質を持たない場合にも適用可能である。

時系列データ異常検知装置の構成図である。 時系列データ異常検知装置のハードウェア構成の例を示す図である。 近似の手順を示すフローチャートである。 異常検知の手順を示すフローチャートである。 近似と異常検知の手順を示すフローチャートである。 予測の散らばりの評価結果を示す図である。 評価で使用したデータを示す図である。 評価で使用したデータを示す図である。 異常度の計算結果を示す図である。 異常度の計算結果を示す図である。 異常度の計算結果を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

（システム構成）
本実施の形態では、ＲＫＨＳ上のPerron-Frobenius作用素と呼ばれるTransfer作用素を近似する手法と、それを用いた応用例として、異常検知を達成するシステムである時系列データ異常検知装置について説明する。本時系列データ異常検知装置は、Transfer作用素が「離散スペクトラムしか持たない」や、「有界である」という性質を持たない場合にも適用可能である。

図１に、本実施の形態における時系列データ異常検知装置１００の構成図を示す。図１に示すように、時系列データ異常検知装置１００は、観測データ取得部１１０、近似部１２０、及び検知部１３０を有する。近似部１２０は、Perron-Frobenius作用素近似部１２１と散らばり具合計算部１２２を有する。時系列データ異常検知装置１００の処理動作については後述する。なお、時系列データ異常検知装置１００を異常検知装置と称してもよい。

（ハードウェア構成例）
時系列データ異常検知装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。

すなわち、時系列データ異常検知装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、時系列データ異常検知装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。すなわち、後述するPerron-Frobenius作用素の近似の計算、予測の計算、散らばり具合の指標計算等は、ＣＰＵがプログラムに従って、これらの計算に対応する数式に示す処理を実行することで実現される。数式に対応するパラメータ、計算対象のデータ等がメモリ等の記憶手段に格納されており、ＣＰＵでの処理実行の際には、ＣＰＵが記憶手段からデータ等を読み出すことで処理を実行する。

上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図２は、上記コンピュータのハードウェア構成例を示す図である。図２のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、及び入力装置１００７等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、時系列データ異常検知装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられ、ネットワークを介した入力手段及び出力手段として機能する。表示装置１００６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。

（時系列データ異常検知装置１００の動作概要）
時系列データ異常検知装置１００の動作の概要は下記のとおりである。時系列データ異常検知装置１００は、下記の近似ステップと異常検知ステップを実行することで時系列データの異常検知を行う。

＜近似ステップ＞
ステップ０：観測データ取得部１１０が、時刻Ｔまでの時系列の観測データを取得する。観測データは、例えば、ネットワークを構成するルータ等から取得されるトラヒック量のデータである。

ステップ１：Perron-Frobenius作用素近似部１２１が、得られている観測データを用いて、そのデータを生成する数学モデルを表現するＲＫＨＳ上のPerron-Frobenius作用素を近似する。

ステップ２：散らばり具合計算部１２２が、近似したPerron-Frobenius作用素を用いて各観測データにおける予測から、予測の散らばり具合を計算する。

＜異常検知実行ステップ＞
ステップ３：観測データ取得部１１０は、時刻ｔにおける観測データと時刻ｔ＋１における観測データを取得する。

ステップ４：検知部１３０は、近似ステップにおいて近似したPerron-Frobenius作用素を用いて、時刻ｔにおける観測データから、時刻ｔ＋１におけるデータを予測する。

ステップ５：検知部１３０は、時刻ｔ＋１における観測データと時刻ｔ＋１における予測データとの乖離を計算する。

ステップ６：検知部１３０は、ステップ２で計算した予測の散らばり具合を考慮した上で異常の閾値を決定し、ステップ５で計算した乖離が閾値より大きければ、時刻ｔ＋１における観測データは異常とみなす。

（時系列データ異常検知装置１００の動作詳細）
時系列データ異常検知装置１００の動作の詳細を図３～図５のフローチャートを参照して説明する。

図３、図４は、Ｔを固定して近似ステップを１度だけ行い、ｔ＞Ｔに対して異常検知実行ステップを継続的に実行する方法を示す（方法１とする）。図５は、Ｔを増加させ、そのたびにｔ＝Ｔ＋１として異常検知を行う方法を示す（方法２とする）。

方法２は方法１に比べ最新の情報を反映できるため、長期間にわたって少しずつトレンドが変化する場合などは、こちらのほうが適する。ただし、方法２は方法１に比べて計算量は多くなるため、時間幅が小さい時系列データに対してリアルタイムで検知する必要がある場合は、方法１のほうが適する。以下、方法１、方法２のそれぞれについて説明する。なお、以下で説明する観測データは、リアルタイムに取得されるデータであってもよいし、サーバ等から取得した過去の観測データであってもよい。いずれの場合も、時系列データ異常検知装置１００においては、観測データはメモリ等の記憶手段に格納され、記憶手段から読み出されて使用される。

＜方法１＞
時系列データ異常検知装置１００の近似部１２０が近似を開始する。

図３のステップ１０１において、Perron-Frobenius作用素近似部１２１は、観測データ取得部１１０により取得された時刻Ｔまでの観測データをＳ組（Ｓは０以上の整数）のデータセットに分割する。

ステップ１０２において、Perron-Frobenius作用素近似部１２１は、直交化と呼ばれる操作により、Ｓ組のデータセットからＳ次元の空間を作成する。

ステップ１０３において、Perron-Frobenius作用素近似部１２１は、作成したＳ次元の空間に、得られている観測データを生成する数学モデルを表現するＲＫＨＳ上のPerron-Frobenius作用素の振る舞いを制限する機能によりPerron-Frobenius作用素の近似を作成する。

ステップ１０４において、散らばり具合計算部１２２は、作成された作用素の近似を用いて、各観測値における予測の散らばり具合を計算する機能により、データの散らばり具合を表す指標を計算し、この指標の値が小さいほど閾値を大きく設定する。

近似部１２０は、Perron-Frobenius作用素の近似と異常の閾値を出力し、処理を終了する。

図４において、検知部１３０が異常検知を開始する。

ステップ２０１において観測データ取得部１１０が時刻ｔ（ｔ＞Ｔ）と時刻ｔ＋１における観測データを得る。

ステップ２０２において、検知部１３０は、図３に示した近似ステップの最後で出力されたPerron-Frobenius作用素の近似を用いて、時刻ｔにおける観測データから時刻ｔ＋１におけるデータを予測する機能を用いることで、時刻ｔ＋１におけるデータを予測する。

ステップ２０３において、検知部１３０は、時刻ｔ＋１における予測データと観測データとの乖離を計算する機能により、時刻ｔ＋１における異常度を決定する。

ステップ２０４において、検知部１３０は、ｔ＋１における異常度が閾値より小さいか否かを判定し、Ｙｅｓであればｔ＋１をｔとして、最初に戻る。Ｎｏであれば、異常と判断し、異常検知を終了する。なお、異常と判断した場合でも。最初に戻って処理を繰り返し行ってもよい。

＜方法２＞
図５において、時系列データ異常検知装置１００の近似部１２０が近似を開始する。

ステップ３０１において、Perron-Frobenius作用素近似部１２１は、観測データ取得部１１０により取得された時刻Ｔ－Ｕ（Ｕ＞０）から時刻Ｔまでの観測データをＳ組のデータセットに分割する。

ステップ３０２において、Perron-Frobenius作用素近似部１２１は、直交化と呼ばれる操作により、Ｓ組のデータセットからＳ次元の空間を作成する。

ステップ３０３において、Perron-Frobenius作用素近似部１２１は、作成したＳ次元の空間に、得られている観測データを生成する数学モデルを表現するＲＫＨＳ上のPerron-Frobenius作用素の振る舞いを制限する機能によりPerron-Frobenius作用素の近似を作成する。

ステップ３０４において、散らばり具合計算部１２２は、作成された作用素の近似を用いて、各観測値における予測の散らばり具合を計算する機能により、データの散らばり具合を表す指標を計算する。この指標の値が小さいほど閾値を大きく設定する。

近似部１２０は、Perron-Frobenius作用素の近似と異常の閾値を出力し、学習を終了する。

続いて、検知部１３０が異常検知を開始する。

ステップ３０５において、観測データ取得部１１０が時刻ｔ＝Ｔ＋１と時刻ｔ＋１における観測データを取得する。

ステップ３０６において、検知部１３０は、学習ステップの最後で出力されたPerron-Frobenius作用素の近似を用いて、時刻ｔにおける観測データから時刻ｔ＋１におけるデータを予測する機能を用いることで、時刻ｔ＋１におけるデータを予測する。

ステップ３０７において、検知部１３０は、時刻ｔ＋１における予測データと観測データとの乖離を計算する機能により、時刻ｔ＋１における異常度を決定する。

ステップ３０８において、検知部１３０は、ｔ＋１における異常度が閾値より小さいか否かを判定し、ＹｅｓであればＴ＋１をＴとして、最初に戻る。Ｎｏであれば、異常と判断し、異常検知を終了する。なお、異常と判断した場合でも。最初に戻って処理を繰り返し行ってもよい。

（計算方法の説明）
以下、時系列データ異常検知装置１００が実行する計算方法について詳細に説明する。また、評価結果についても説明する。なお、以下の説明において、明細書の使用可能文字の制限から、文字の頭につく～を文字の前に記載する場合がある（例：^～Ｋ）。また、文字の頭につく＾を文字の前に記載する場合がある（例：＾Ｋ）。

＜０．問題設定＞
ここでの説明にあたって、時系列データは、以下のような数学モデルから生成されるとする。

Ｘ_ｔ＋１＝ｈ（Ｘ_ｔ）＋ξ_ｔ （１）
ただし、Ｘ_ｔ、ξ_ｔは状態空間χ（コンパクトな距離空間）から確率空間（Ω，Ｆ）への確率変数とし、ｈはχからχへの非線形な写像とする。Ω上に、確率測度Ｐが定まるとする。ξ_ｔ（ｔ＝０，１，…）はノイズを表す独立同分布な確率変数で、ξ_ｔとＸ_ｔも独立とする。

ｋを、χに関する２変数関数で、可測で有界連続な関数で次の２つの条件を満たすとする。

条件１．任意のｘ，ｙ∈χに対して、ｋ（ｘ，ｙ）＝ｋ（ｙ，ｘ）
条件２．任意のｘ_ｉ，…，ｘ_ｊ∈χとｃ_１，…，ｃ_ｎ∈Ｒに対してΣ^ｎ _{ｉ，ｊ＝１}ｃ_ｉｃ_ｊｋ（ｘｉ，ｘ_ｊ）≧０
ｋはカーネルと呼ばれる。ｘ∈χに対して、φ（ｘ）を、ｙに関する関数ｋ（ｘ，ｙ）とする。ｋに関するReproducing kernel Hilbert space（ＲＫＨＳ）とは、φ（ｘ）の全ての線形結合とその極限から成る、無限次元の関数空間である。

ここでは、ｋに関するＲＫＨＳをＨ_ｋと表す。Ｈ_ｋにおいて、φ（ｘ）とφ（ｙ）の内積をｋ（ｘ，ｙ）で定めることで、Ｈ_ｋの要素に内積という概念を適用することができる。

この内積という概念により、Ｈ_ｋにおいて線形代数の理論を用いることができるようになる。Ｈ_ｋは、全ての有界連続関数からなる空間において稠密であるとする。

上記の条件を満たすｋとして、Gaussian kernel ｋ（ｘ，ｙ）＝ｅ^{－ｃ｜｜ｘ－ｙ｜｜＾２}やLaplacian kernel ｋ（ｘ，ｙ）＝ｅ^{－ｃ｜ｘ－ｙ｜}などがあり、これらは多くの応用において用いられている。

確率変数を確率測度へ変換することで、（１）式の関係性を、確率測度を用いた関係性に変換すると、以下のようになる。

ただし、確率変数Ｘに対してＸ_＊Ｐとは、集合Ａに対して、Ｘ_＊Ｐ（Ａ）＝Ｐ（Ｘ^－１（Ａ））により定まる確率測度であり、Ｆ_ｔ（ｘ、ω）＝ｈ（ｘ）＋ξ_ｔ（ω）である。確率変数を確率測度へ変換することで、kernel mean embedding（Krikamol Muandet, Kenji Fukumizu, Bharath Sriperumbudur, and Bernhard Scholkopf. Kernel mean embedding of distributions: A review and beyond. Foundations and Trends in Machine Learning, 10(1-2), p.p. 1-141, 2017.）と呼ばれる概念により、確率測度をＨ_ｋへ埋め込むことができる。

符号付測度μに対するkernel mean embeddingとは、Φ（μ）＝∫_ｘ∈χφ（ｘ）ｄμ（ｘ）により定まる、符号付測度からＨ_ｋへの写像Φである。Φは連続で線形であることが示せる。ＲＫＨＳ Ｈ_ｋ上のPerron-Frobenius作用素Ｋとは、以下により定義される作用素である。

Ｋは写像として定義できていること、Ｋはｔに依存しないこと、Ｋは線形であることが示せる。

＜１．ＲＫＨＳ上のPerron-Frobenius作用素の近似＞
Perron-Frobenius作用素近似部１２１が実行するPerron-Frobenius作用素の近似方法を説明する。

１．１． Arnoldi法
｛ｘ_０，ｘ_１，…，ｘ_Ｔ－１｝を観測データとする。この観測データを｛ｘ_０，ｘ_Ｓ，…，ｘ_{（Ｎ－１）Ｓ}｝，｛ｘ_１，ｘ_１＋Ｓ，…，ｘ_{１＋（Ｎ－１）Ｓ}）｝，…，｛ｘＳ－１，ｘ_{Ｓ－１＋Ｓ}，…，ｘ_{Ｓ－１＋（Ｎ－１）Ｓ}｝というＳ組のデータセットに分ける。

とおく。ただし、χの要素ｘに対してδ_ｘとは、集合Ａに対してｘ∈Ａならばδ_ｘ（Ａ）＝１、

を返す確率測度とする。μ_ｔ，Ｎは、観測データのみから計算できる。Ψ_０，Ｎ＝［Φ（μ_０，Ｎ），…，Φ（μ_{Ｓ－１，Ｎ}）］とおく。以下の関係が成立する。

式（２）を用いて、ＫをΦ（μ_０，Ｎ），…，Φ（μ_{Ｓ－１，Ｎ}）から構成される空間に制限した作用素を計算する。しかし、実際には

を計算することはできないため、有限個の観測データから近似する。以下のような、空間平均と時間平均が一致するという条件を仮定する。

ただし、ω_０∈Ωは、観測データにおける潜在状態である。式（３）の左辺は

と一致し、右辺は

に一致する。Φ（μ_{ｔ＋１，Ｎ}）は観測データのみから計算できるから、

をΦ（μ_{ｔ＋１，Ｎ}）で近似する。

Ｋが有界という良い性質を持つ場合、（２）式においてＮ→∞とした際に

が成立するから、以下が成立する。

［Φ（μ_１），…，Φ（μ_Ｓ）］＝Ｋ［Φ（μ_０），…，Φ（μ_Ｓ－１）］ （４）
ただし、

である。これにより、各ｔ＝０，…，Ｓに対してΦ（μ_ｔ）をΦ（μ_ｔ，Ｎ）で近似することで、有限個のデータからＫをΦ（μ_０），…，Φ（μ_Ｓ－１）の線形結合全体を含む空間に近似的に制限することができる。［Φ（μ_０，Ｎ），…，Φ（μ_{Ｓ－１，Ｎ}）］＝Ｑ_Ｓ，ＮＲ_Ｓ，ＮとＱＲ分解する。Ｑ_Ｓ，Ｎ・Ｒ_Ｓ，Ｎの計算方法は１．１．１節で説明する。制限した作用素を^～Ｋ_Ｓ，Ｎ ^Arnoldiとすると、以下のように計算できる。

Φ（μ_０），…，Φ（μ_Ｓ－１）の線形結合全体を含む空間は、Arnoldi法と呼ばれる最も標準的なＫｒｙｌｏｖ部分空間法で用いられるＫｒｙｌｏｖ部分空間と呼ばれる空間と同じであることが式（４）からわかる。よって、本手法は、Arnoldi法を観測データによって近似的に実行しているとみなすことができる。

１．１．１． 具体的な計算方法
Ψ_０，Ｎ＝Ｑ_Ｓ，ＮＲ_Ｓ，Ｎと、Ψ_０，ＮをＱＲ分解することで、Φ（μ_０，Ｎ），…，Φ（μ_{Ｓ－１，Ｎ}）の線形結合全体を含む空間の正規直交基底を用いた表現への変換、Ｑ_Ｓ，Ｎを得ることができる。

具体的には，正規直交基底ｑ_０，Ｎ，…，ｑ_{ｔ－１，Ｎ}が得られている時、Φ（μ_ｔ，Ｎ）をｑ_０，Ｎ，…，ｑ_{ｔ－１，Ｎ}に正規直交化させることでｑ_ｔ，Ｎを得て、Ｑ_Ｓ，ＮというＣ^ＳからＨ_ｋへの変換を、

という変換とする。ｑ_ｔ，Ｎは、以下の式により計算する。

ただし，〈・，・〉_ｋはＲＫＨＳ上の内積を表し、以下で計算方法を説明する。Ｒ_Ｓ，ＮはＳ×Ｓの行列で、Ｒ_Ｓ，Ｎの（ｉ，ｔ）成分をｒ_ｉ，ｔと表し、ｉ＜ｔに対して〈Φ（μ_ｔ，Ｎ），ｑ_ｉ〉_ｋ，ｉ＝ｔに対して

、ｉ＞ｔに対して０で定める。このとき、

と表せる。すると、ｉ＜ｔに対してｒ_ｉ，ｔは以下のように計算できる。

ただし、〈Φ（μ_ｉ，Ｎ），Φ（μ_ｔ，Ｎ）〉_ｋは以下のように計算できる。

また、｜｜・｜｜_ｋはＲＫＨＳにおけるノルムであり、

により計算する。ｉ＝ｊのとき〈ｑ_ｉ，Ｎ，ｑ_ｊ，Ｎ〉_ｋ＝１，ｉ≠ｊのとき〈ｑ_ｉ，Ｎ，ｑ_ｊ，Ｎ〉_ｋ＝１だから、ｒ_ｔ，ｔは以下のようにして計算できる。

式（５）において，［Φ（μ_１，Ｎ），…，Φ（μ_Ｓ，Ｎ）］はＣ^ＳからＨ_ｋへの、

という変換、Ｑ^＊ _Ｓ，ＮはＨ_ｋからＣ^Ｓへの、

という変換を表す。よって，Ｑ^＊ _Ｓ，Ｎ［Φ（μ_１，Ｎ），…，Φ（μ_Ｓ，Ｎ）］は（ｉ，ｔ）成分が〈Φ（μ_{ｔ＋１，Ｎ}），ｑ_ｉ〉_ｋであるＳ×Ｓ行列になるから，ｒ_ｉ，ｔ同様に計算する。

１．２．Shift-invert Arnoldi法
Ｋが有界でない場合、Ｎ→∞とした極限状態を考えることができないため、観測データによる近似の正当性を示すことができない。そこで、（γＩ－Ｋ）^－１が有界で全単射になるような複素数γを選び、（γＩ－Ｋ）^－１を近似することで、この課題を解決する。（γＩ－Ｋ）^－１は有界であるから、

が成立し、式（３）を仮定すると以下が成立する。

よって、ｊ＝０，…，Ｓに対して以下が成立する。

よって、以下が成立する。

各ｔ＝０，…，Ｓに対してΦ（μ_ｔ）をΦ（μ_ｔ，Ｎ）で近似することで、有限個のデータから、（γＩ－Ｋ）^－１を

の線形結合全体を含む空間へ近似的に制限することができる。

とおき、Ψ_０，Ｎ＝Ｑ_Ｓ，ＮＲ_Ｓ，ＮとＱＲ分解する。Ｑ_Ｓ，Ｎ・Ｒ_Ｓ，Ｎの計算方法は１．１．１節において、Φ（μ_ｊ，Ｎ）を

に置き換えれば良い。これを用いて、（γＩ－Ｋ）^－１の振る舞いを，上記線形結合全体を含む空間に制限することができる。

とおく。１．１節と同様に、有限個の観測データから、（γＩ－Ｋ）^－１を以下で定める＾Ｋ_Ｓ，Ｎによって近似する。

Ｋが有界でない場合でも（γＩ－Ｋ）^－１は有界であるから、１．１節と同様に、本手法は、（γＩ－Ｋ）^－１に対するArnoldi法を観測データによって近似的に実行しているとみなすことができる。（γＩ－Ｋ）^－１に対するArnoldi法は、Shift-invert Arnoldi法と呼ばれる。Ｋ＝γＩ－（（γＩ－Ｋ）^－１）^－１であるから、

とおき、^～Ｋ_Ｓ，Ｎ ^ＳＩＡによりＫを近似する。

１．３． １．１節・１．２節の近似手法の正当性
以下、１．１節・１．２節の近似手法の正当性について説明する。

１．１節・１．２節の近似手法において現れたＱ_Ｓ，Ｎ・Ｒ_Ｓ，Ｎに関して，次の命題が成立する。

命題１
１．１節において、Ψ_０＝［（μ_０），…，Φ（μ_Ｓ－１）］、１．２節において、

とおき、Ψ_０＝Ｑ_ＳＲ_Ｓを、Ψ_０のＱＲ分解とする。^～Ｋ_Ｓ＝Ｑ^＊ _ＳΨ_１Ｒ_Ｎ ^－１とおく。^～Ｋ_Ｓ，Ｎ ^Arnoldiと^～Ｋ_Ｓ，Ｎ ^ＳＩＡをまとめて、^～Ｋ_Ｓ，Ｎと表す。このとき，１．１節・１．２節のそれぞれで定義されたＱ_Ｓ，Ｎと^～Ｋ_Ｓ，Ｎに関して，Ｑ_Ｓ，Ｎ→Ｑ_Ｓ（ｓｔｒｏｎｇｌｙ），^～Ｋ_Ｓ，_Ｎ→^～Ｋ_Ｓが成立する。

＜２．異常検知＞
次に、異常検知のための計算方法について説明する。

１．１節・１．２節で作成した^～Ｋ_Ｓ，Ｎ ^Arnoldi、^～Ｋ_Ｓ，Ｎ ^ＳＩＡを用いて、時刻ｔ－１の観測データφ（ｘ_ｔ－１）から、時刻ｔの観測データを予測し、実際の時刻ｔの観測データとの乖離を計算することで異常検知を行う。以下では、^～Ｋ_Ｓ，Ｎ ^Arnoldiと^～Ｋ_Ｓ，Ｎ ^ＳＩＡをまとめて、^～Ｋ_Ｓ，Ｎと表す。予測は、

によって作成する。よって、実際の時刻ｔの観測との乖離を表す異常度ａ_ｔを、以下のように定める。

ただし、

ｐ_Ｓは、φ（ｘ_ｔ－１）＝ｐ_Ｓ（（γＩ－Ｋ）^－１）ｕ_Ｓを満たすＳ－１次多項式で、

とし、Γ_ｒはｓ≦ｒに対してΓ_ｒ⊇Γ_ｓ⊇Ｗ（（γＩ－Ｋ）^－１）を満たす集合、Ｗ（（γＩ－Ｋ）^－１）＝｛ｚ＝ｖ^＊（γＩ－Ｋ）^－１ｖ｜ｖ∈Ｈ_ｋ，｜｜ｖ｜｜_ｋ＝１｝である。異常度ａ_ｔに対して、以下の命題が成立する。

命題２
１．２節において、

とおく。Ｒ_Ｓを、γΦ（μ_０）－Φ（μ_１），γ（γΦ（μ_０）－Φ（μ_１））－（γΦ（μ_１）－Φ（μ_２）），…，γ^Ｓ－１（γΦ（μ_０）－Φ（μ_１））－…＋（－１）^Ｓ－１（γΦ（μ_Ｓ－１）－Φ（μ_Ｓ））の線形結合全体を含む空間とする。φ（ｘ_ｔ－１）がＲ_Ｓに十分近ければ、Ｃ_１，Ｃ_２，Ｃ_３＞０と０＜θ＜１が存在して、以下が成立する。

式（６）の右辺第１項は、ｘ_ｔ－１とｘ_ｔが式（１）のモデルに従っているとすると、観測の期待値と実際の観測との乖離を表している。第２項はφ（ｘ_ｔ－１）がＲ_Ｓに十分近ければ、０に近い値になる。０＜θ＜１より、Ｓが十分大きければ、第３項は０に近い値になる。よって、ｘ_ｔ－１とｘ_ｔが式（１）のモデルに従っていて、かつ、φ（ｘ_ｔ－１）がＲ_Ｓに十分近ければ、ａ_ｔは小さな値になる。よって、ａ_ｔが大きければ、ｘ_ｔ－１とｘ_ｔが式（１）のモデルに従っていない、または、φ（ｘ_ｔ－１）がＲ_Ｓに近くない、つまり、異常であることがいえる。

しかし、実際にはＧ_Ｓ（ｒ）やＱ_Ｓを計算することはできないので、以下のような値を代わりに用いる。

あるＣが存在して、

が成立することが示せるから、ａ_ｔが大きいときには＾ａ_ｔ，Ｎが大きくなる。

よって、＾ａ_{ｔ，Ｓ，Ｎ}が閾値より大きければ異常、小さければ正常とみなす。

異常かどうかの閾値の設定には、予測のランダム性を考慮することが必要である。そこで、予測のＲＫＨＳにおける大きさである、

の値を用いる。ｄ（ｘ，ｙ）で、ｘ，ｙ∈χの上の距離を表すとする。カーネルｋは距離に関する関数で、ｋ（ｘ，ｙ）＝ｆ（ｄ（ｘ，ｙ））と表せるとする。さらに、ｆは単調に減少する関数とする。０．節で示した例、Gaussian kernel ｋ（ｘ，ｙ）＝ｅ^{－ｃ｜｜ｘ－ｙ｜｜＾２}やLaplacian kernel ｋ（ｘ，ｙ）＝ｅ^{－ｃ｜ｘ－ｙ｜}はこの条件を満たす。

任意の確率測度μは、

という形で表せることが示せる。μに対して、Φ（μ）のＲＫＨＳにおける大きさは以下のように表される。

上記のｆ（ｄ（ｘ_ｉ，ｘ_ｊ））の重み付き和が小さい程ｘ_ｉ，ｘ_ｊの距離が大きいため、

の散らばりは広範囲にわたる。

は時刻ｔおける確率測度の情報に対する予測であるため、正しく予測できた場合、

が小さい程、予測の散らばりは大きいとみなすことができる。そこで、正常データに対して

の値を計算しておくことで、データのランダム性の情報が抽出できる。ランダム性が大きい場合は異常かどうかの閾値は大きくし、ランダム性が小さい場合は異常かどうかの閾値を小さくするなど、閾値の設定に用いることができる。

＜３．評価結果＞
以下、評価結果について説明する。

３．１． 予測の散らばりについて
次のような時系列データ｛ｘ_０，ｘ_１，…，ｘ_Ｔ－１｝を作成した。

ただし、ξ_ｔは平均０、標準偏差σの正規分布からランダムにサンプルされた値である。予測の散らばりと指標

の関係性を確かめるため、σ＝１，３，５，Ｎ＝６０，Ｓ＝３０に対してＫの近似^～Ｋ_Ｓ，Ｎを計算し、各σの各ｔに対する

の値を計算した。カーネルは、Laplacian kernel ｋ（ｘ，ｙ）＝ｅ^{－｜ｘ－ｙ｜}を用いた。結果は図６のようになり、データの散らばりが大きい程

の大きさが小さくなっている。データの散らばりが大きい程予測の散らばりも大きくなると考えられるため、

の大きさが、予測の散らばり具合の指標として使用可能であることが分かる。

３．２．Arnoldi法，Shift-invert Arnoldi法，及び既存手法との比較
http://totem.info.ucl.ac.be/dataset.htmlで公開されているトラヒックデータに対して、Arnoldi法，Shift-invert Arnoldi法，および既存手法の異常度を計算した。このデータは、２３個のルータと、その間の３８個のリンク、及び外部との５３個のリンクから構成されるネットワークにおいて、各ルータにおけるトラヒック量を１５分おきに測定したものである。

特定の１つのルータから送り出されるトラヒック量のみを８７６単位時間分取り出し、前半の７８０個のデータを学習用データ、残りの９６個（１日分）のデータをテスト用正常データとした。

テスト用異常データとしては、｛１０，１０，…，１０｝を使用した。使用したデータを図７・図８に示す。図８は、データを１日ごとに区切って重ねて表示したもので、細線が学習データ、太線が正常データとして使用したデータを表す。

Arnoldi法，Shift-invert Arnoldi法においては、学習用データを用いてＫの近似^～Ｋ_Ｓ，Ｎを計算し、これを用いて正常データと異常データの異常度を計算した。Ｎ＝６０，Ｓ＝１３とした。Shift-invert Arnoldi法ではγ＝１．２５とした。カーネルは、Laplacian kernel ｋ（ｘ，ｙ）＝ｅ^{－｜ｘ－ｙ｜}を用いた。

ここでは、データ｛ｚ_０，ｚ_１，…，ｚ_Ｔ－１｝に対して、ｘ_ｉ＝［ｚ_ｉ，ｚ_ｉ＋１，ｚ_ｉ＋２］とした３次元ベクトルの列｛ｘ_０，ｘ_１，…，ｘ_Ｔ－１｝を観測データとみなすことで、３単位時間前までの情報を利用して予測を作成し、異常度を計算した。

既存法として、文献（Pankaj Malhotra, Lovekesh Vig, Gautam Shroff, and Puneet Agarwal. Long short term memory networks for anomaly detection in time series. In European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, p.p. 89-94, 2015.）で提案されている、ＬＳＴＭを用いる方法を用いた。３単位時間前までの情報を利用して予測を作成するようなＬＳＴＭを、学習データを用いて学習させ、正常データと異常データに対して、文献（Pankaj Malhotra, Lovekesh Vig, Gautam Shroff, and Puneet Agarwal. Long short term memory networks for anomaly detection in time series. In European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, p.p. 89-94, 2015.）の方法で提案されている異常度を計算した。

正常データに関する結果を図９～図１１に示す。図９がArnoldi法であり、図１０がShift-invert Arnoldi法であり、図１１がＬＳＴＭ法である。

異常データは全ての時刻において一定の値をとるため、異常度も一定である。異常データの異常度は、Arnoldi法は７７．２、Shift-invert Arnoldi法は７４．７、ＬＳＴＭは－４．５であった。

Arnoldi法とShift-invert Arnoldi法は、既存法に比べて正常データと異常データを明確に区別できている。図８を見ると、正常データとはいえ、時刻６０～８０付近は、学習データから多少乖離している。一方で、時刻０～１０付近は、学習データから乖離はない。Arnoldi法やShift-invert Arnoldi法では、時刻６０～８０付近における異常度は高くなっているが、時刻０～１０付近の異常度は低くなっていることから、ランダム性を考慮した適切な異常度を算出できていることが分かる。

（実施の形態のまとめ、効果）
以上説明したように、本実施の形態で説明した技術により、Reproducing kernel Hilbert space上のPerron-Frobenius作用素を近似することで、時系列データのランダム性を捉えた予測を作成することができる。これにより、データのランダム性を考慮した異常検知を達成することができる。

より詳細には、ＲＫＨＳという空間を考えることにより、内積という概念を用いることができる。また、有限個のデータからＫｒｙｌｏｖ部分空間を近似的に作成することができる。これにより、Ｋｒｙｌｏｖ部分空間法によるPerron-Frobenius作用素の近似を行うことができる。

Shift-invert Arnoldi法を用いることで、有界という性質を持たないPerron-Frobenius作用素も近似することができる。近似した作用素を用いて予測を作成することで、予測と観測との乖離により異常度を定義し、異常検知を行うことができる。

Perron-Frobenius作用素にランダム性の情報が組み込まれているため、ランダム性を考慮した異常検知を達成することができる。予測の、ＲＫＨＳにおける大きさは、予測の散らばり具合を表すため、異常とみなす異常度の閾値設定に利用することができる。

本明細書には、少なくとも下記各項の異常検知装置、異常検知方法、及びプログラムが記載されている。
（第１項）
観測データに基づいて、当該観測データを生成する数学モデルを表現するＲＫＨＳ上のPerron-Frobenius作用素の近似を作成する近似部と、
前記Perron-Frobenius作用素の近似と、時刻ｔの観測データを用いて、時刻ｔ＋１におけるデータを予測し、予測したデータと、時刻ｔ＋１の観測データとの乖離に基づいて、時刻ｔ＋１の観測データが異常か否かを判断する検知部と
を備える異常検知装置。
（第２項）
前記近似部は、前記Perron-Frobenius作用素の近似を用いて、各観測データにおける予測の散らばり具合の指標を計算し、
前記検知部は、前記散らばり具合の指標に応じた閾値を用いて観測データが異常か否かを判断する
第１項に記載の異常検知装置。
（第３項）
前記散らばり具合の指標は、前記Perron-Frobenius作用素の近似を用いて得られた予測のＲＫＨＳにおける大きさである
第１項に記載の異常検知装置。
（第４項）
前記近似部は、観測データをＳ組のデータセットに分け、当該Ｓ組のデータセットから、直交化の操作により、Ｓ次元の空間に制限した前記Perron-Frobenius作用素の近似を作成する
第１項ないし第３項のうちいずれか１項に記載の異常検知装置。
（第５項）
前記近似部は、Shift-invert Arnoldi法により、前記Perron-Frobenius作用素の近似を作成する
第４項に記載の異常検知装置。
（第６項）
異常検知装置が実行する異常検知方法であって、
観測データに基づいて、当該観測データを生成する数学モデルを表現するＲＫＨＳ上のPerron-Frobenius作用素の近似を作成するステップと、
前記Perron-Frobenius作用素の近似と、時刻ｔの観測データを用いて、時刻ｔ＋１におけるデータを予測し、予測したデータと、時刻ｔ＋１の観測データとの乖離に基づいて、時刻ｔ＋１の観測データが異常か否かを判断するステップと
を備える異常検知方法。
（第７項）
コンピュータを、第１項ないし第５項のうちいずれか１項に記載の異常検知装置における各部として機能させるためのプログラム。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 時系列データ異常検知装置
１１０ 観測データ取得部
１２０ 近似部
１２１ Perron-Frobenius作用素近似部
１２２ 散らばり具合計算部
１３０ 検知部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置

Claims (7)

1. 観測データに基づいて、当該観測データを生成する数学モデルを表現するＲＫＨＳ上のPerron-Frobenius作用素の近似を作成する近似部と、
   前記Perron-Frobenius作用素の近似と、時刻ｔの観測データを用いて、時刻ｔ＋１におけるデータを予測し、予測したデータと、時刻ｔ＋１の観測データとの乖離に基づいて、時刻ｔ＋１の観測データが異常か否かを判断する検知部と
   を備える異常検知装置。
2. 前記近似部は、前記Perron-Frobenius作用素の近似を用いて、各観測データにおける予測の散らばり具合の指標を計算し、
   前記検知部は、前記散らばり具合の指標に応じた閾値を用いて観測データが異常か否かを判断する
   請求項１に記載の異常検知装置。
3. 前記散らばり具合の指標は、前記Perron-Frobenius作用素の近似を用いて得られた予測のＲＫＨＳにおける大きさである
   請求項２に記載の異常検知装置。
4. 前記近似部は、観測データをＳ組のデータセットに分け、当該Ｓ組のデータセットから、直交化の操作により、Ｓ次元の空間に制限した前記Perron-Frobenius作用素の近似を作成する
   請求項１ないし３のうちいずれか１項に記載の異常検知装置。
5. 前記近似部は、Shift-invert Arnoldi法により、前記Perron-Frobenius作用素の近似を作成する
   請求項４に記載の異常検知装置。
6. 異常検知装置が実行する異常検知方法であって、
   観測データに基づいて、当該観測データを生成する数学モデルを表現するＲＫＨＳ上のPerron-Frobenius作用素の近似を作成するステップと、
   前記Perron-Frobenius作用素の近似と、時刻ｔの観測データを用いて、時刻ｔ＋１におけるデータを予測し、予測したデータと、時刻ｔ＋１の観測データとの乖離に基づいて、時刻ｔ＋１の観測データが異常か否かを判断するステップと
   を備える異常検知方法。
7. コンピュータを、請求項１ないし５のうちいずれか１項に記載の異常検知装置における各部として機能させるためのプログラム。

Images