JP6594044B2 - 実時系列内の異常を検出するための方法 - Google Patents

Description

本発明は、包括的には、データ内の異常を検出する時系列データのデータ解析に関し、より詳細には、非常に多くのセンサーによって大規模な産業機械又は機械設備全体から取得されたセンサーデータを記憶する大規模データベースに関する。

機械及び機器の状態の自動化された監視は、様々なセンサーを高レートでサンプリングすることによって得られた多くの個々の読み取り値を含む非常に大きなセンサーデータストリームを処理する方法を用いる。データ取得技術、データ通信技術、及びデータ記憶技術のコストが急速に減少することによって、大量のデータを多変量時系列データの形態で蓄積することが経済的に実現可能になっている。この多変量時系列データでは、時系列の各成分（変数）は、監視されているシステムの状態を示す観測ベクトルの個別の次元とみなすことができる。

そのようなデータの主な使用法のうちの１つは、システム内の欠陥を示す場合がある異常状態を自動的に検出することである。そのような欠陥は、脆い又は壊れた構成要素、正しくない動作シーケンス、通常でない動作状態等を含むことができる。ほとんどの場合、そのような異常状態を即座に発見することが、安全性の確保、材料の浪費の最小化、又は破局故障を回避する保守の実行のために非常に望ましい。

異常を発見する１つの可能な方法は、変数がその正常な範囲にない場合を記述した論理ルールの形で、異常とみなされる状態を明示的に指定することである。幾つかのシステムの場合、この手法は、例えば、温度、圧力、湿度等の幾つかのパラメーターが能動的に調節され、それらの正常な範囲が知られているプロセスを監視するときは、非常にうまくいくことができる。

そのような範囲が入手可能でないとき、正常な動作限界は、データ駆動型手法によって得ることができる。このデータ駆動型手法では、データ変数が正常な状態の下で測定され、正常な動作範囲の記述子がこのデータから抽出される。そのような記述子の例は、論理ルール又は確率分布である。例えば、ｘが、監視されるシステムからの瞬時測定変数のベクトルを表し、ｆ（ｘ）が、値ｘがシステムの正常な動作に対応する確率に対応するｘの変域にわたる確率密度関数である場合、この確率密度の値を連続的に求めることができ、ｆ（ｘ）が所定の閾値τよりも小さいとき、警報を信号で通知することができる。

次に、この問題は、観測データのデータベースＸ＝［ｘ_１，ｘ_２，．．．，ｘ_Ｎ］を所与として、確率密度関数ｆ（ｘ）の適切な推定値をどのように求めるのかということになる。ここで、ｘ_ｔは、ｔ＝１，．．．，Ｎの場合の時刻ｔにおいて求められた観測列ベクトルである。このベクトルｘ_ｔは、ｘ_ｉｔが、ｉ＝１，．．．，Ｍの場合の時刻ｔにおける第ｉ変数の値であるようなＭ個の変数を含む。

変域にわたる確率密度関数を、その変域内のデータ点の取得されたサンプルから推定するための多くの方法がある。パラメトリック方法は、分布のタイプについて明示的な仮定を行い、次いで、その分布のパラメーターを推定する。例えば、関数がガウス分布である場合、パラメーターは、この分布の平均μ及び共分散行列Ｓである。この場合、

であり、ここで、Ｔは転置演算子である。

変数の数Ｍが非常に大きいとき、多くの産業システムについてよくあるように、結果の推定値は、不正確であるとともに用いるのに不便である可能性が高い。この推定値は、正しい確率分布がガウス分布と非常に異なる場合があることから、あまり正確でない場合がある。この推定値は、共分散行列Ｓが、対称ではあるものの、ほぼＭ^２個の数を含むことができるので、Ｍが非常に大きく、例えば、数千又は数百万の数に達する場合、用いるのに不便である可能性が高い。したがって、Ｓをメモリに保持することは、実際的には管理不能になる。その上、読み取り値の数Ｎがデータベクトルの次元数Ｍよりも大きくない限り、かつ、データ点のうちの少なくともＭ＋１個が、一般の位置にない限り、すなわち、一次独立でない限り、独立したエントリーを有する完全な共分散行列を推定することができない。

ガウス分布の混合等の他の推定モデル及び方法を用いて、単一の多変量ガウス分布の精度問題を克服することができるが、それらの方法は、依然として、大きい共分散行列を扱うことに付随した問題を欠点として有し、これは、２つ以上のガウス成分が考慮されるとき更に悪化する。

パラメトリックモデルとは対照的に、パルツェンカーネル密度推定（ＰＫＤＥ：Ｐａｒｚｅｎ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｅ）等の非パラメトリック密度推定方法は、分布について特定のパラメトリック形態を仮定せず、密度

を、適切なカーネル関数Ｋを介して、取得されたデータ点のそれぞれにつき１つの個々の成分の和として推定する。しかしながら、カーネル関数の選択は、通常、容易ではなく、その方法も、取得されたＮ個の全てのデータ点をメモリに保持する必要があり、これは、その数が大きい場合には問題となり、なおさら無数である場合には問題となる。

これらの方法の別の共通の欠点は、例えば、幾つかの変数が連続的であり、他の変数が離散的であるとき、混合タイプのデータを容易に取り扱うことができないということである。

データベクトルの数が大きいとき、高い次元数のデータベクトルを扱うより効率的な手法は、

となるように、データベクトルｘの部分集合上の確率分布ｆ（ｘ）をＰ個の個々の確率分布に分解する（因数分解する）ように試みることである。ここで、ｆ_ｐ（ｘ^（ｐ））は、データベクトルの部分集合ｘ^（ｐ）上の確率密度関数である。ｘからｘ^（ｐ）への射影演算子をπ_ｐで表すものとする。すなわち、ｘ^（ｐ）＝π_ｐ（ｘ）である。データ変数の全てのインデックスの集合をＶ＝｛１，２，．．．，Ｍ｝とし、部分ｐ内の変数のインデックスの集合をＶ_ｐとし、部分ｐ内の変数の数をＭ_ｐ＝｜Ｖ_ｐ｜とする。この場合、

となり、これに応じて、

となるような、集合Ｖ_ｐへのＶの適切な分割を得ることが所望される。

各部分のサイズを変更することによって、推定してメモリに記憶する必要があるパラメーターの数を制御することができる。例えば、ガウスモデルが各部分に適合している場合、その部分の共分散行列は、ほぼＭ^２ _ｐ個の要素を含む。その手法は、混合タイプの変数も取り扱い、この場合、連続変数及び離散変数を異なる部分に配置することができ、異なるパラメトリックモデル、例えば、ガウスモデル、ベルヌーイモデル、及び多項式モデルが、それらの部分に適合することができる。

しかしながら、可能な限り最小の部分を用いることは、異常検出の目的にはあまり効果的ではない。各変数がそれ自体の部分に存在し、Ｐ＝Ｍ、Ｖ_ｐ＝｛ｐ｝、Ｍ_ｐ＝１であるような自明な因数分解は、確かに、確率密度の非常にコンパクトな表現をもたらすが、変数間の従属関係を捕捉することができず、いわゆるコンテキスチャル異常を検出することができない。これらの変数は、全般的に可能であるが、別の変数が特定の値を取るときは可能でない１つの変数の読み取り値によって明らかにされる。例えば、測定された空気の温度は９０度Ｆとなる可能性があるが、これ単独では、必ずしも異常な気候状態を信号で通知するものではなく、暦月を示す別の変数の値が１２月に設定され、かつ、測定ロケーションが北半球にある場合、双方の読み取り値はともに、明らかに異常を示す。

したがって、識別される部分のサイズと、各部分内の個々の密度関数の推定に利用可能な点の数と、結果として得られる密度の精度との間に合理的なバランスを有する分割方法を求めることが望まれている。

本発明の実施形態は、変数の大きな集合をそれよりも小さな部分に分割するための方法を提供し、それによって、変数の集合全体に関する正常な挙動のモデルを各部分に関する個々のモデルに因数分解することができるようにするとともに、個々の部分固有のモデルの推定、保持、及び時系列データにおける異常検出への使用を容易にする。この方法は、全ての変数にわたる完全な共分散行列を明示的に求めない代わりに、非常に大きな固有値問題に効率的な固有値解法に依拠しているスペクトラルクラスタリング方法を用いる。

具体的には、実時系列内の異常が、正常な時系列データのペア間のペアワイズ類似度の類似度行列を最初に求めることによって検出される。スペクトラルクラスタリング手順が、この類似度行列に適用されて、時系列データの次元を表す変数を相互に排他的なグループに分割する。正常な挙動のモデルが、グループごとに推定される。次に、実時系列データについて、異常スコアが、グループごとのモデルを用いて求められ、この異常スコアが所定の閾値と比較されて、異常が信号で通知される。

これにより、識別される部分のサイズと、各部分内の個々の密度関数の推定に利用可能な点の数と、結果として得られる密度の精度との間に合理的なバランスを有する分割方法を求めることができる。

本発明の実施形態による実時系列データ内の異常を検出するための方法の流れ図である。

図１に示すように、本発明の実施形態は、実時系列データ１４０内の異常１７１を検出するための方法を提供する。非負の類似度行列Ａ１１１が、正常な時系列データの次元のペア１０１間のペアワイズ類似度から求められる（１１０）。スペクトラルクラスタリング１２０が、この類似度行列に適用されて、時系列データの次元１１２を表す変数をグループ１２１に分割する（１２０）。ここで、これらのグループは、相互に排他的である。正常な挙動のモデル１３１が、グループごとに求められる（１３０）。実時系列データ１４０について、異常スコア１５１が、このグループごとのモデルを用いて求められる（１５０）。次に、これらの異常スコアを所定の閾値τ１６９と比較して、異常１７１を信号で通知することができる。

任意選択として、個々の異常スコアを組み合わせて（１６０）、グローバル異常スコア１６１を形成することができ、このグローバル異常スコアを所定の閾値τ１６９と比較して、異常１７１を信号で通知することができる。

この方法のステップは、当該技術分野において知られているように、バスによって接続されているメモリ及び入力／出力インターフェースに接続されたプロセッサ１００において実行することができる。

次に、より詳細に説明すると、最適性の特定の基準に従ってＭ個の変数の集合をＰ個の部分に分割したものを求めることは、非常に難しい組み合わせ最適化問題である。Ｍ個の要素の集合の可能な分割の数は、ベル数Ｂ_Ｍである。このベル数は、集合の分割の数をカウントするものであり、小さなＭの場合であっても非常に大きい。全ての可能な分割を網羅的に探索することは、明らかに実際的でなく、より効率的な計算手順が必要とされる。

しかしながら、個々の部分は、互いに関係した変数、すなわち、コンテキスチュアル異常（ｃｏｎｔｅｘｔｕａｌ ａｎｏｍａｌｉｅｓ）を検出しようと試みたときに考慮する必要がある変数を含むはずである。この関係は、近い物理的起源に由来する可能性があり、例えば、同じ機械から取得された温度及び圧力は、その機械内の同じ物質、気体、液体、空気等に作用する物理法則に起因して関係している可能性が高いが、異なる機械からの温度及び圧力は、弱いつながりしかない可能性が高い。有用な手法は、或る類似度尺度に基づいて変数をクラスタリングすることである。

変数のペア間の類似度尺度の通常の候補は相関係数である。関係のある別の類似度尺度は、２つの変数間の或る形態の従属関係を前提とした、一方の変数の他方の変数からの決定係数である。この従属関係は、線形とすることができ、この場合、この決定係数は相関係数に等しいが、多項式ネットワーク、ニューラルネットワーク、又は放射基底関数ネットワーク、サポートベクトルマシン（ＳＶＭ）等の非線形とすることもできる。変数ｉと変数ｊとの間の類似度はｂ_ｉｊである。

本発明者らの方法は、同じグループ内の変数間の類似度が最大にされ、異なるグループ内の変数間の類似度が最小にされるようなＰ個のグループにＭ個の変数をグルーピングしたものを見つけることを試みる。この目的は、クラスタリング手順として知られている大きな手順のクラスと共有されることに気付くことができる。次に、本発明者らのアイデアは、ペアワイズクラスタリングのためのスケーラブルな手順を適切な類似度値の行列に適用することである。

全てのクラスタリング手順がこの目的に適しているとは限らないことに留意すべきである。多くの手順は、クラスタリングされる対象がユークリッド空間に組み込まれていることを前提とする。しかしながら、本発明者の場合、個々の変数は、そのような空間に組み込まれていない。取得されたデータ集合内の個々のデータ点ｘ_ｔは、Ｍ次元ユークリッド空間に組み込まれるが、本発明者の手法は、これらのデータ点をクラスタリングすることではなく、その代わりに、Ｍ次元ユークリッド空間の次元を表す変数をクラスタリングすることである。

それでも、ペアワイズ類似度値を用いてクラスタリングするための適切な手順は存在する。例えば、ペアワイズクラスタリングのための１つの手順は、決定論的アニーリングに基づいている。しかしながら、これらの手順のほとんどは、類似度行列全体がメモリ内に存在することを必要とし、これは、多変量確率密度関数（ｐｄｆ）、例えば、ガウス分布のガウス混合又は非パラメトリックパーゼンカーネル密度推定に適合する方法の主な制限のうちの１つである。

この制限を解消するために、高速固有値解析に基づくスペクトラルクラスタリング手順１２０が用いられる。

この方法は、非負の対称類似度行列Ａ １１１を用いて、Ｍ個の頂点が問題領域における個々の変数に対応し、２つの変数ｉ及びｊの間の辺が重みａ_ｉｊを有するグラフのグラフラプラシアンＬ＝Ｄ−Ａを形成する。変数ｉ及びｊのペアの間の類似度値ｂ_ｉｊは、必ずしも対称ではないので、ａ_ｉｊ＝（ｂ_ｉｊ＋ｂ_ｊｉ）／２を有する行列Ａが用いられる。

スペクトラルクラスタリングは、Ｌの最も小さな非ゼロの固有値を見つけることによって実行される。ここで、最初の値は、常に自明にゼロである。最も小さな非ゼロの固有値が見つかった後、全ての点（変数）を対応する固有ベクトル上に射影し、正規化カット又はシャイマリック（Ｓｈｉ−Ｍａｌｉｋ）手順に従って、射影の同じ符号を有する変数を同じグループにクラスタリングすることによって、グループが求められる。この手順を繰り返すこともできるし、別のクラスタリングアルゴリズムであるｋ平均クラスタリングを用いて、射影の値を３つ以上のグループにクラスタリングすることもできる。

この手順の効率の鍵は、行列Ｌの最初の少数の固有値を高速に求めることである。これは、局所最適ブロック前処理付き共役勾配方法（ＬＯＢＰＣＧ）を用いて実施される固有値ソルバーを含むブロック局所最適前処理付き固有値Ｘソルバー（ＢＬＯＰＥＸ）によって行うことができる。ＬＯＢＰＣＧ方法は、行列全体をメモリにロードすることを必要とせず、行列に所与のベクトルを乗算して得られる結果のみを必要とする。この方法のこの特性によって、非常に高い次元の固有値解析問題にこの方法を適用することが可能になり、類似度行列全体をメモリに記憶する必要がなくなり、したがって、Ｍの非常に大きな値に対するスケーラビリティがもたらされる。

全ての変数の集合が変数に分割された後、グループのそれぞれについての正常な挙動の個々のモデルを互いに独立に推定することができる。グループｐのモデルの１つの可能な表現は、平均ベクトルμ_ｐ及び共分散行列Ｓ_ｐによって表される、グループｐ内の全ての変数にわたる多変量ガウスｐｄｆ ｆ_ｐ（）である。次に、新たなデータ点ｘが利用可能になると、グループｐの異常スコアｓ_ｐが、グループｐ内の変数にわたるデータ点の射影π_ｐ（ｘ）を推定されたｐｄｆ ｆ_ｐ（）から生成することができる確率として計算される。

全てのスコアｓ_ｐが各グループｐ＝１，．．．，Ｐについて計算された後、これらのスコアは、任意選択として、スコアを単に足し合わせることによって、又は重み付きの組み合わせを形成することによって組み合わせることができる。重み付きの組み合わせの場合、各スコアは、対応するグループ内の変数の数又は個々のスコアに対する一般的な論理式によって重み付けされる。例えば、この論理式は、グループ固有の閾値に対するスコアの個々の論理条件、すなわち、θ_ｐがグループｐの個別の閾値である場合にタイプｓ_ｐ＞θ_ｐのスコアｓ_ｐに関する論理演算子ＡＮＤ及びＯＲによって構成することができる。この論理式を用いることの効果は、個々の異常スコアのうちの１つがそれぞれの閾値よりも大きい場合であっても異常が任意の時点で検出されるということである。

Claims (13)

1. 多変量時系列データ内の異常を検出するための方法であって、
   正常な一変量時系列データのペアであって、それぞれが前記多変量時系列データの次元を表す変数に対応する、ペア間の非負のペアワイズ類似度の類似度行列を求めるステップと、
   スペクトラルクラスタリング手順を前記類似度行列に適用するステップであって、前記多変量時系列データの次元を表す前記変数を相互に排他的であるグループに分割するステップと、
   グループごとの正常な挙動のモデルを推定するステップと、
   前記多変量時系列データについて、グループごとの前記正常な挙動のモデルを用いて異常スコアを求めるステップと、
   前記異常スコアを所定の閾値と比較するステップであって、前記異常を信号で通知するステップと、
   を含み、前記ステップは、プロセッサにおいて実行される、方法。
2. 前記多変量時系列データは、センサーによって取得される、請求項１に記載の方法。
3. 前記スペクトラルクラスタリングは、類似度尺度として相関係数の絶対値を用いる、請求項１に記載の方法。
4. 前記相関係数は、線形、非線形、放射基底関数ネットワーク又はサポートベクトルマシンの出力である、請求項３に記載の方法。
5. 前記スペクトラルクラスタリングは、同じグループ内の変数間の類似度を最大にし、異なるグループ内の要素間の前記類似度を最小にする、請求項１に記載の方法。
6. 前記次元は、Ｍ次元ユークリッド空間である、請求項１に記載の方法。
7. 前記スペクトラルクラスタリングは、正規化カット手順を用いる、請求項１に記載の方法。
8. 各グループの前記モデルは、該グループ内の前記変数上の確率密度関数によって表される、請求項１に記載の方法。
9. 前記確率密度関数は、多変量ガウス分布である、請求項８に記載の方法。
10. 前記確率密度関数は、非パラメトリックパルツェンカーネル密度推定である、請求項８に記載の方法。
11. 前記異常スコアを組み合わせることであって、グローバル異常スコアを形成することと、
    前記グローバル異常スコアを前記所定の閾値と比較することであって、前記異常を信号で通知することと、
    を更に含む、請求項１に記載の方法。
12. 前記組み合わせることは、各グループの変数の数に比例した重みを用いた加重加算である、請求項１１に記載の方法。
13. 組み合わせることは、論理式を用い、前記論理式は、グループ固有の閾値に対する前記スコアの論理条件に関する論理演算子ＡＮＤ及びＯＲによって構成される、請求項１１に記載の方法。

Images