JP3821225B2 - 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 - Google Patents
時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 Download PDFInfo
- Publication number
- JP3821225B2 JP3821225B2 JP2002207718A JP2002207718A JP3821225B2 JP 3821225 B2 JP3821225 B2 JP 3821225B2 JP 2002207718 A JP2002207718 A JP 2002207718A JP 2002207718 A JP2002207718 A JP 2002207718A JP 3821225 B2 JP3821225 B2 JP 3821225B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- score
- outlier
- change point
- calculation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Databases & Information Systems (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置に関し、特に、データ解析技術およびデータマイニング技術に関わり、順次入力される離散値変量と連続値変量との両者または一方で記述されたデータに対してその外れ値スコアおよび変化点スコアを計算して外れ値および変化点を精度よく検出する検出装置に関する。
【０００２】
【従来の技術】
従来、この種の時系列データにおける外れ値スコアおよび変化点スコアを計算し外れ値および変化点を検出する検出装置に対しては、統計学、機械学習、データマイニングなどの分野で扱われてきた技術が対象となる。すなわち、本発明で実現する機能である異常値検出と変化点検出とは、従来から統計学、機械学習、データマイニングなどの分野で扱われてきた。
【０００３】
しかし、本発明では、データの発生源すなわち情報源に対して定常性を仮定しない状況を対象とする殊になる。
【０００４】
こうした場合の外れ値検出については下記のような文献などがある。一つは、バージ（Ｐ．Ｂｕｒｇｅ）とショーテイラー（Ｊ．Ｓｈａｗｅ−Ｔａｙｌｏｒ）とによる方式「Ｄｅｔｅｃｔｉｎｇ ｃｅｌｌｕｌａｒ ｆｒａｕｄ ｕｓｉｎｇ ａｄａｐｔｉｖｅ ｐｒｏｔｏｔｙｐｅｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＩ Ａｐｐｒｏａｃｈｅｓ ｔｏ Ｆｒａｕｄ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｉｓｋ Ｍａｎａｇｅｍｅｎｔ，ｐｐ：９−１３，１９９７）である。他の一つは、ヤマニシ（Ｋ．Ｙａｍａｎｉｓｈｉ）ほかによる方式「Ｏｎ−ｌｉｎｅ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｏｕｌｔｌｉｅｒ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｆｉｎｉｔｅ Ｍｉｘｔｕｒｅｓ ｗｉｔｈ Ｄｉｓｃｏｕｎｔｉｎｇ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍｓ」（Ｐｒｏｃ．ｏｆ ｔｈｅ Ｓｉｘｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ ＤａｔａＭｉｎｉｎｇ，ＡＣＭ Ｐｒｅｓｓ，ｐｐ：３２０−３２４，２０００）である。また他の一つは、ムラド（Ｕ．Ｍｕｒａｄ）とピンカス（Ｇ．Ｐｉｎｋａｓ）とによる方式「Ｕｎｓｕｐｅｒｖｉｓｅｄ ｐｒｏｆｉｌｉｎｇ ｆｏｒ ｉｄｅｎｔｉｆｙｉｎｇ ｓｕｐｅｒｉｍｐｏｓｅｄ ｆｒａｕｄ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ３ｒｄＥｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ ｏｆ ＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａｂａｓｅｓ，ｐｐ：２５１−２６１，１９９９）である。これらでは、非定常性を扱うために、適応的外れ値検出アルゴリズムが用いられている。
【０００５】
また、統計学における通常の変化点検出の方法では、与えられたデータ中の変化点の数をあらかじめ決めておいた上で、変化点間のデータは定常なモデルで記述出来るとして、モデルのあてはめを行うものが知られている。こうした方式については、例えば、下記文献などに記載されている。すなわち、「Ｊｏｕｒｎａｌ ｏｆ Ａｍｅｒｉｃａｎ Ｓｔａｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ」（６９：９４５−−９４７，１９７４）に掲載のグセリー（Ｂ．Ｇｕｔｈｅｒｙ）による論文「Ｐａｒｔｉｔｉｏｎ ｒｅｇｒｅｓｓｉｏｎ」、または書籍「Ａｐｐｌｉｅｄ Ｃｈａｎｇｅ Ｐｏｉｎｔ Ｐｒｏｂｌｅｍｓ ｉｎ Ｓｔａｔｉｓｔｉｃｓ」（Ｎｏｖａ Ｓｃｉｅｎｃｅ Ｐｕｂｌｉｓｈｅｒｓ，Ｉｎｃ，１９９５）に掲載のハスコバ（Ｍ．Ｈｕｓｋｏｖａ）による論文「Ｎｏｎｐａｒａｍｅｔｒｉｃ ｐｒｏｃｅｄｕｒｅｓ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ａｃｈａｎｇｅ ｉｎ ｓｉｍｐｌｅ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌｓ」等がある。
【０００６】
データマイニングにおける変化点検出は、グラニック（Ｖ．Ｇｕｒａｌｎｉｋ）とスリバスタバ（Ｊ．Ｓｒｉｖａｓｔａｖａ）による方式「Ｅｖｅｎｔ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ｔｉｍｅ ｓｅｒｉｅｓ ｄａｔａ」（Ｐｒｏｃ．ｏｆ ｔｈｅ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ，ＡＣＭ Ｐｒｅｓｓ，ｐｐ：３２−４２，１９９９）に記載されている。
【０００７】
【発明が解決しようとする課題】
上述した従来の文献による方式または装置では、時系列データに対する外れ値および変化点の検出装置として、次のような問題点がある。
【０００８】
上述のバージ（Ｐ．Ｂｕｒｇｅ）とショーテイラー（Ｊ．Ｓｈａｗｅ−Ｔａｙｌｏｒ）とによる方式、ヤマニシ（Ｋ．Ｙａｍａｎｉｓｈｉ）ほかによる方式、または、ムラド（Ｕ．Ｍｕｒａｄ）とピンカス（Ｇ．Ｐｉｎｋａｓ）とによる方式といった従来の機械学習技術による逐次処理可能な外れ値検出手法では、時系列データ向きの統計モデルが用いられていない。従って、時系列的性質を持ったデータの特徴を十分に捉えられないという問題があった。ここで、時系列データ向きの統計モデルとは、異なる時点におけるデータ間の相関を表現できるモデルのことであり、例えば、自己回帰モデルまたはマルコフモデルなどがそれにあたる。
【０００９】
また、グラニク（Ｖ．Ｇｕｒａｌｎｉｋ）とスリバスタバ（Ｊ．Ｓｒｉｖａｓｔａｖａ）との論文に記載されている従来の変化点検出手法は基本的にデータを一括して処理するいわゆるバッチ処理で動作するものであり、逐次的に処理することが出来ない。さらに、上述した従来の変化点検出手法は局所的に定常であるという仮定を置いて設計されていたが、現実問題としてこのような仮定は不適切であり、除去されるべきである。
【００１０】
さらに、データマイニング等の応用場面では外れ値および変化点を統一的に扱い、両者を検出できることが望ましいにも関わらず、これまでは両者を統一的に扱う枠組みしか知られていなかった。
【００１１】
本発明の課題は、このような問題点を解決することを目的とし、時系列データの性質を捉えられる統計モデルを用い、しかも非定常データに対応することと、外れ値と変化点とを統一的に扱えることと、かつ処理を逐次的に実行できることとにある。
【００１４】
【課題を解決するための手段】
本発明による具体的な検出装置は、順次入力される離散値変量と連続値変量との両者または一方で記述されたデータに対してその外れ値スコアおよび変化点スコアを計算してその外れ値および変化点を検出する検出装置であって、第一のモデル学習装置と外れ値スコア計算装置と移動平均計算装置と第二のモデル学習装置と変化点スコア計算装置とにより構成されている。
【００１５】
第一のモデル学習装置は読み込まれるデータ系列の発生機構を有限個のパラメータで指定される時系列モデルとして学習する。外れ値スコア計算装置は、第一のモデル学習装置が学習して得られたパラメータの値を読み込み、読み込んだ時系列モデルのパラメータと入力された前記データとに基づいて当該データそれぞれの外れ値スコアを計算して結果を出力する。移動平均計算装置は、外れ値スコア計算装置が計算する外れ値スコアを順次読み込んでその移動平均を計算する。第二のモデル学習装置は移動平均計算装置が計算する外れ値スコアの移動平均を順次読み込んで読み込まれるスコアにおける移動平均の系列の発生機構を有限個のパラメータで指定される時系列モデルとして学習する。変化点スコア計算装置は、第二のモデル学習装置が学習して得られたパラメータの値を読み込み、読み込んだ時系列モデルのパラメータと入力された外れ値スコアの移動平均とに基づいて各移動平均の外れ値スコアを計算し、それをもとのデータの変化点スコアとして出力する。
【００１６】
また、上記第一のモデル学習装置として上述した自己回帰モデル学習装置を用いることができる。
【００１７】
また、本発明によると、外れ値スコア計算装置および変化点スコア計算装置を一つのスコア計算装置とし、更に、離散値変量と連続値変量との両者または一方で記述されたデータの系列に対して、そのデータの系列中の外れ値および変化点の候補を求める装置として、上記スコア計算装置が計算した外れ値スコアおよび変化点スコアに基づいて前記データを降順にソートするソート装置と、ソート装置がソートした順序に従ってスコアの高いデータを外れ値および変化点の候補として表示する表示装置とを含むことができる。
【００１８】
また、本発明によると、上記ソート装置に代わり、順次入力される離散値変量と連続値変量の両者または一方で記述されたデータに対して，そのデータの系列中の外れ値および変化点の候補を求める装置として、スコア計算装置が計算した外れ値スコアおよび変化点スコアがあらかじめ定められた閾値を越えたデータを外れ値または変化点の候補として出力するスコア判定装置を含むことができる。
【００１９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２０】
はじめに、記法について説明する。まず「ｘ」は実数を成分とするｎ次元ベクトル値のデータを表す。また「ｙ」は離散値を成分とするｍ次元ベクトル値のデータを表す。また「ｘ」と「ｙ」とをまとめて「ｚ＝（ｘ，ｙ）」と表す。また、Ｎ個のデータからなる系列を「ｚＮ＝ｚ１ｚ２・・・ｚＮ」と表す。
【００２１】
ここで、このような系列に対して「外れ値スコア」を計算する方法について説明する。
【００２２】
まず、データｚを生成する統計モデル
ｐ（ｚｉ｜θ）＝ｐ（ｘｉ，ｙｉ｜θ）
を考える。これは「ｚ」の動く範囲、すなわち、レンジＺ上で定義された確率密度関数のことである。
【００２３】
「θ」は確率密度を指定するパラメータであり、一般には離散パラメータと連続値パラメータとからなる。こうした確率密度関数としては、例えば「ｚ」が連続値変数からなる場合、有限混合ガウス分布、または時系列モデルである自己回帰モデルが用いられる。時系列モデルの場合、ｉ番目のデータｚｉの確率密度はそれまでの系列ｚｉ−１に依存するので
ｐ（ｚｉ｜ｚｉ−１，θ）
となる。
【００２４】
一般に、外れ値スコアを計算するためには、まずデータ系列に基づいてパラメータ「θ」の値を推定する（学習するともいう）。ここで、データの系列を逐次読み込みながら読み込んだデータに基づいて逐次的にパラメータを変更するという「逐次型学習方式」を用いてパラメータを学習する。ここで、データｚｉまでを読みこんで学習した結果得られたパラメータの値を「θ（ｉ）」とする。これを用いて「ｚｉ＋１」の外れ値スコアを計算することができる。例えば、対数スコアｓＬおよびへリンガースコアｓＨは下記数式１および数式２それぞれにより計算される。
【００２５】
【数１】
【数２】
ただし「ｄ２」は二つの確率密度間の二乗へリンガー距離（Ｈｅｌｌｉｎｇｅｒ距離）であり、下記数式３と定義される。
【００２６】
【数３】
【００２７】
次に、本発明で用いるＡＲモデルについて説明する。ＡＲモデルはｎ次元実数値ベクトルデータｘｉの系列の確率分布を記述する時系列統計モデルである。まず、補助的な確率変数として「ωＮ ＝ ω１ω２・・・ωＮ」なる系列を導入する。これは「ｘ」と同じくｎ次元であるとする。一般にｋ次のＡＲモデルは下記数式４で表される。
【００２８】
【数４】
で表される。ただし「Ａｉ」（ｉ＝１，・・・，ｋ）はｎ元正方行列であり、「ε」は平均値「０」となる共分散行列Σの正規分布に従う確率変数である。
【００２９】
いま「ｘｉ」が「ｗ ｉ」を用い「ｘｉ＝ｗ ｉ＋μ」で与えられるとする。ここで下記数式５が与えられる場合には「ｘｔ」の確率密度関数は下記数式６で与えられる。
【００３０】
【数５】
【数６】
【００３１】
外れ値度計算装置は，データの系列を先頭から順に読みこみながら，ｉ番目のデータｚｉを読みこんだ際に，その外れ値度ｓ（ｉ）を出力する。
【００３２】
次に、図１を参照して第一の実施例として、上述した自己回帰モデル学習装置について説明する。ここでは、忘却の速さを表す定数ｒとＡＲモデルの次数ｋがあらかじめ与えられているとする。定数ｒは「０」から「１」までの間の数値であり、小さいほど、過去のデータを速く忘却することを意味する。
【００３３】
図示されるように、第一の実施例は、上述したデータ更新装置で、入力ｘｔを受ける忘却型十分統計量計算装置１１と、この出力を受けてパラメータ値を送出するパラメータ計算装置１２とにより構成される。
【００３４】
忘却型十分統計量計算装置１１はＡＲモデルにおける忘却型十分統計量を計算する装置である。忘却型十分統計量とは、古いデータの影響ほど小さくなるように修正した十分統計量のことである。ここでいう十分統計量は、ｎ次元のベクトルμと「ｋ＋１」個のｎ元正方行列Ｃｊ（ｊ＝０，１，・・・，ｋ）である。忘却型十分統計量計算装置１１は，ｋ次のＡＲモデルの場合には，ｋ時点過去のデータを記憶する機能を有する。
【００３５】
パラメータ計算装置１２では、与えられた十分統計量に基づいてＡＲモデルのパラメータθ「＝（Λ１，・・・，Λｋ，μ，Σ）」の値が計算される。
【００３６】
第一の実施例では，以下のように動作する。
【００３７】
まず、データが読み込まれる前にパラメータ記憶装置１２に格納されている各パラメータの値が初期化される。次に、ｔ番目のデータが入力される度に、以下のように動作する。
【００３８】
忘却型十分統計量計算装置１１は、データｘｔが入力された際に、これまでに記憶していたデータのうち最も古いものを消去し，代わりに最新のデータｘｔを記憶してデータの列「ｘｔ，ｘｔ−１，・・・，ｘｔ−ｋ＋１」を得る。忘却型十分統計量計算装置１１は、これを用いて、保持している十分統計量「μ，Ｃｊ（ｊ＝０，・・・，ｋ）」を下記数式７および数式８に示される更新ルールにより更新し、得られた十分統計量をパラメータ計算装置１２に送りこむ。
【００３９】
【数７】
【数８】
【００４０】
パラメータ計算装置１２は「バーΛｉ」（ｉ＝１，・・・，ｋ）を未知数とする下記数式９の連立方程式の解を求める。ただし「Ｃ−ｊ＝Ｃｊ」とする。
【００４１】
【数９】
【００４２】
パラメータ計算装置１２は、求められた解を「Λｉ」に代入し、下記数式１０および数式１１によりパラメータθを計算して、得られたパラメータθ「＝（Λ１，・・・，Λｋ，μ，Σ）」を出力する。
【００４３】
【数１０】
【数１１】
【００４４】
次に、図２を参照して第二および第三の実施例について説明する。
【００４５】
図示されるように、この実施例では、上述した第一及び第二のモデル学習装置に対応する時系列モデル学習装置２１，２４、移動平均計算装置２２、および上述した外れ値スコア計算装置および変化点スコア計算装置の両者を包含するスコア計算装置２３により構成される。第二の実施例は時系列モデル学習装置２１および外れ値スコア計算装置により実現し、第三の実施例は時系列モデル学習装置２１，２４およびスコア計算装置２３により実現される。
【００４６】
時系列モデル学習装置２１，２４は、逐次的に読み込みながら、時系列モデルの確率密度関数におけるパラメータを学習する装置である。
【００４７】
ただし、一方の時系列モデル学習装置２１は入力されるデータｚｔに関する確率密度関数を学習する装置であり、用いる確率密度関数Ｆｐは下記数式１２で表わされる。
【００４８】
【数１２】
【００４９】
他方の時系列モデル学習装置２４は、移動平均計算装置２３が計算するスコアの移動平均の系列に関する確率密度関数を学習する装置であり、ｋ次の一変量ＡＲモデルを用いる。その確率密度関数Ｆｑｋは下記数式１３で表わされる。
【００５０】
【数１３】
【００５１】
スコア計算装置２３は、確率密度関数Ｆｐ，Ｆｑｋのパラメータとデータとを読み込み、データｘｔのスコアを計算する。スコア計算装置２３は、計算機能のほか「ｚｔ」の系列については最近ｕ（ｚ）個のデータを、「αｔ」の系列については最近ｕ（α）個のデータを、また、「θ」と「ξ」とのそれぞれについては一つ前のパラメータを保存する機能を有する。例えば、ｋ次のＡＲモデルを用いる確率密度関数Ｆｑｋの場合、「ｕ（α）＝ｋ」の条件で、対数スコアまたはヘリンガースコアを計算することができる。
【００５２】
移動平均計算装置２２は、逐次的に入力される実数値のデータに対しそのＴ移動平均を計算して出力する装置である。そのために移動平均計算装置２２は、内部にＴ個の実数値を格納する機能を有する。
【００５３】
第二の実施例に関する装置は以下の順序で動作する。
【００５４】
まず，装置全体の初期化が行われ、パラメータおよびデータを記憶する装置においてはあらかじめ定められた適当な値がセットされる。図示される装置は、ｔ番目のデータｚｔ「＝（ｘｔ，ｙｔ）」が入力されるたびに、以下のように動作する。
【００５５】
時系列モデル学習装置２１およびスコア計算装置２３はデータｚｔの入力を受ける。スコア計算装置２３は、過去に入力されて保存してある確率密度関数Ｆｐのパラメータξと、入力されたデータｚｔおよび過去のデータ「ｚｔ−１，ｚｔ−２，・・・，ｚｔ−ｕ」とに基づいてデータｚｔのスコアを外れ値スコアｓｔとして計算し，得られた外れ値スコアｓｔを移動平均計算装置２２に送り込むと同時に外部へ出力する。
【００５６】
第三の実施例に関する装置は上記第二の実施例に続く以下の順序で動作する。
【００５７】
移動平均計算装置２２は、スコア計算装置２３からスコアｓｔを送り込まれると、保存してある最も古いスコアを消去し、新しく入力されたスコアｓｔを保存する。次いで、移動平均計算装置２２は、保存されているＴ個のスコアの平均値αｔを計算して、時系列モデル学習装置２４に送り込む。
【００５８】
時系列モデル学習装置２４は、上記第一の実施例で説明した通りに動作してｋ次の一変量ＡＲモデルを用いる確率密度関数Ｆｑｋのパラメータξを更新し、得られたパラメータθとスコアαｔとをスコア計算装置２３に送り込む。スコア計算装置２３は，過去に入力されて保存してある下記数式１４の確率密度関数Ｆｑのパラメータθと、入力されたデータαｔおよび過去のデータ「αｔ−１，αｔ−２，・・・，αｔ−ｕ」とに基づいてスコアαｔのスコア、すなわち変化点スコアを計算し、得られたスコアを出力する。
【００５９】
【数１４】
【００６０】
次に、図３を参照して第四の実施例について説明する。
【００６１】
ここでは、データ３１、上述したスコア計算装置である外れ値スコアおよび変化点スコア計算装置３２、スコア付きデータ３３、ソート装置３４、および表示装置３５が示されている。データ３１は有限の長さのデータ系列を蓄えたデータベースである。外れ値スコアおよび変化点スコア計算装置３２は上記実施例２または実施例３で説明した外れ値スコアおよび変化点スコアを計算する装置である。スコア付きデータ３３は外れ値スコアおよび変化点スコア計算装置３２の出力を受けて蓄積する。ソート装置３４はデータを外れ値スコアと変化点スコアとを用いてスコアの高い順にソートする。
【００６２】
図示された装置は以下の順序で動作する。外れ値スコアおよび変化点スコア計算装置３２は、データ３１にアクセスしてデータ系列を順に読み込みつつ各データについて外れ値スコアおよび変化点スコアを計算し、スコア付きデータ３３にデータ、外れ値スコア、および変化点スコアの三つ組みを順次送り込む。スコア付きデータ３３は送られてきたデータを蓄積する。ソート装置３４は、スコア付きデータ３３のデータベースにアクセスして格納されているデータを、外れ値スコアと変化点スコアとを用いスコアの高い順にソートして表示装置３５に送り込む。表示装置３５は送られてきた２種類のソート済みデータをソートされた順にリストして表示する。
【００６３】
次に、図４を参照して第五の実施例について説明する。
【００６４】
ここでは、データ４１、上述したスコア計算装置である外れ値スコアおよび変化点スコア計算装置４２、スコア付きデータ４３、スコア判定装置４４、および表示装置４５が示されている。図４のスコア判定装置４４が図３のソート装置３４の代わりに備えられている。
【００６５】
データ４１は有限の長さのデータ系列を蓄えたデータベースである。外れ値スコアおよび変化点スコア計算装置４２は上記実施例２または実施例３で説明した外れ値スコアおよび変化点スコアを計算する装置である。スコア付きデータ４３は外れ値スコアおよび変化点スコア計算装置４２からの出力を受けて蓄積する。スコア判定装置４４は、スコア付きデータ４３のデータベースにアクセスしてデータを外れ値スコアと変化点スコアとを用いて予め定められた閾値を越えたデータを表示装置４５に送り込む。
【００６６】
図示された装置は以下の順序で動作する。外れ値スコアおよび変化点スコア計算装置４２は、データ４１のデータベースにアクセスして、データ系列を順に読み込みつつ、各データについて外れ値スコアおよび変化点スコアを計算する。スコア付きデータ４３のデータベースに、データ、外れ値スコア、および変化点スコアの三つ組みを順次送り込む。ブロック４３のデータベースは送られてきたデータを蓄積する。スコア判定装置４４は、スコア付きデータ４３のデータベースにアクセスして格納されているデータから、外れ値スコアと変化点スコアとを用いて予め定められた閾値を越えたデータを表示装置４５に送り込む。表示装置４５は送られてきた２種類のデータをそのまま、またはソートされた順にリストアップして表示する。
【００６７】
次に図５を参照して、図２を参照して説明した外れ値スコアおよび変化点スコアのスコア計算装置を用いて解析した実データについて説明する。
【００６８】
この実験は変化点検出を目的に行った。これは、東証株価指数（ＴＯＰＩＸ）の日次データ（１９４６年−１９９８年）を解析した例であり、このうち１９８５年から１９９５年までの結果を示している。グラフには、もとのデータ、およびそれに付けられた変化点スコアを描いてある。データには前処理が行われてある。すなわち、もとの系列を「一次元」の「ｘｔ」とするとき、これを「ｘｔ、ｘｔ−ｘｔ−１」と変換してある。これによって、平均的値の変化だけでなく、トレンドの急激な変化も検出できることが期待出来る。この解析結果によると、いわゆるブラックマンデー、またはバブル経済の発生および崩壊などの時期に変化点スコアが高くなっていることが分かる。グラフにおけるブラックマンデーについては、その翌日に著しく高いピークが示されている。
【００６９】
上記説明では、図示された機能ブロックを参照しているが、機能の分離併合による配分などの変更は上記機能を満たす限り自由であり、上記説明が本発明を限定するものではない。
【００７０】
【発明の効果】
以上説明したように本発明によれば、データの時系列において，その中に現れる統計的な外れ値および変化点であることを示す度合いを外れ値スコアおよび変化点スコアとして計量し、高精度でそれらの検出を行なうことができるという効果を得ることができる。
【００７１】
その理由は、まず、順次入力されるデータ列について、読み込まれるデータ系列の発生機構を時系列統計モデルとして学習する時系列モデル学習装置を用いているからである。また、スコア計算装置が、時系列モデルのパラメータと入力されたデータとに基づいて各データの外れ値スコアを計算しているからである。更に、外れ値スコアの移動平均を計算する移動平均計算装置と、移動平均の系列の発生機構を時系列統計モデルとして学習する時系列モデル学習装置と、外れ値スコアの移動平均に基づいて移動平均の外れ値スコアを更に計算してそれをもとのデータの変化点スコアとして出力するスコア計算装置とを組み合わせて、外れ値スコアおよび変化点スコアを計算することにより外れ値および変化点を検出しているからである。
【図面の簡単な説明】
【図１】本発明によるＡＲモデル学習装置の実施の一形態を示す構成図である。
【図２】本発明による外れ値スコアおよび変化点スコアの計算装置における実施の一形態を示す構成図である。
【図３】本発明による外れ値および変化点の候補を求める装置における実施の一形態を示す構成図である。
【図４】図３とは異なる本発明による外れ値および変化点の候補を求める装置における実施の一形態を示す構成図である。
【図５】図２に示されるスコア計算装置を用いた変化点についての実験結果の一実施例を示すグラフである。
【符号の説明】
１１ 忘却型十分統計量計算装置
１２ パラメータ計算装置
２１、２４ 時系列モデル学習装置
２２ 移動平均計算装置
２３ スコア計算装置
３１、４１ データ（データベース）
３２、４２ 外れ値スコアおよび変化点スコア計算装置
３３、４３ スコア付きデータ（データベース）
３４ ソート装置
３５、４５ 表示装置
４４ スコア判定装置
【発明の属する技術分野】
本発明は、時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置に関し、特に、データ解析技術およびデータマイニング技術に関わり、順次入力される離散値変量と連続値変量との両者または一方で記述されたデータに対してその外れ値スコアおよび変化点スコアを計算して外れ値および変化点を精度よく検出する検出装置に関する。
【０００２】
【従来の技術】
従来、この種の時系列データにおける外れ値スコアおよび変化点スコアを計算し外れ値および変化点を検出する検出装置に対しては、統計学、機械学習、データマイニングなどの分野で扱われてきた技術が対象となる。すなわち、本発明で実現する機能である異常値検出と変化点検出とは、従来から統計学、機械学習、データマイニングなどの分野で扱われてきた。
【０００３】
しかし、本発明では、データの発生源すなわち情報源に対して定常性を仮定しない状況を対象とする殊になる。
【０００４】
こうした場合の外れ値検出については下記のような文献などがある。一つは、バージ（Ｐ．Ｂｕｒｇｅ）とショーテイラー（Ｊ．Ｓｈａｗｅ−Ｔａｙｌｏｒ）とによる方式「Ｄｅｔｅｃｔｉｎｇ ｃｅｌｌｕｌａｒ ｆｒａｕｄ ｕｓｉｎｇ ａｄａｐｔｉｖｅ ｐｒｏｔｏｔｙｐｅｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＩ Ａｐｐｒｏａｃｈｅｓ ｔｏ Ｆｒａｕｄ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒｉｓｋ Ｍａｎａｇｅｍｅｎｔ，ｐｐ：９−１３，１９９７）である。他の一つは、ヤマニシ（Ｋ．Ｙａｍａｎｉｓｈｉ）ほかによる方式「Ｏｎ−ｌｉｎｅ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｏｕｌｔｌｉｅｒ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｆｉｎｉｔｅ Ｍｉｘｔｕｒｅｓ ｗｉｔｈ Ｄｉｓｃｏｕｎｔｉｎｇ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍｓ」（Ｐｒｏｃ．ｏｆ ｔｈｅ Ｓｉｘｔｈ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ ＤａｔａＭｉｎｉｎｇ，ＡＣＭ Ｐｒｅｓｓ，ｐｐ：３２０−３２４，２０００）である。また他の一つは、ムラド（Ｕ．Ｍｕｒａｄ）とピンカス（Ｇ．Ｐｉｎｋａｓ）とによる方式「Ｕｎｓｕｐｅｒｖｉｓｅｄ ｐｒｏｆｉｌｉｎｇ ｆｏｒ ｉｄｅｎｔｉｆｙｉｎｇ ｓｕｐｅｒｉｍｐｏｓｅｄ ｆｒａｕｄ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ３ｒｄＥｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ ｏｆ ＫｎｏｗｌｅｄｇｅＤｉｓｃｏｖｅｒｙ ｉｎ Ｄａｔａｂａｓｅｓ，ｐｐ：２５１−２６１，１９９９）である。これらでは、非定常性を扱うために、適応的外れ値検出アルゴリズムが用いられている。
【０００５】
また、統計学における通常の変化点検出の方法では、与えられたデータ中の変化点の数をあらかじめ決めておいた上で、変化点間のデータは定常なモデルで記述出来るとして、モデルのあてはめを行うものが知られている。こうした方式については、例えば、下記文献などに記載されている。すなわち、「Ｊｏｕｒｎａｌ ｏｆ Ａｍｅｒｉｃａｎ Ｓｔａｔｉｓｔｉｃａｌ Ａｓｓｏｃｉａｔｉｏｎ」（６９：９４５−−９４７，１９７４）に掲載のグセリー（Ｂ．Ｇｕｔｈｅｒｙ）による論文「Ｐａｒｔｉｔｉｏｎ ｒｅｇｒｅｓｓｉｏｎ」、または書籍「Ａｐｐｌｉｅｄ Ｃｈａｎｇｅ Ｐｏｉｎｔ Ｐｒｏｂｌｅｍｓ ｉｎ Ｓｔａｔｉｓｔｉｃｓ」（Ｎｏｖａ Ｓｃｉｅｎｃｅ Ｐｕｂｌｉｓｈｅｒｓ，Ｉｎｃ，１９９５）に掲載のハスコバ（Ｍ．Ｈｕｓｋｏｖａ）による論文「Ｎｏｎｐａｒａｍｅｔｒｉｃ ｐｒｏｃｅｄｕｒｅｓ ｆｏｒ ｄｅｔｅｃｔｉｎｇ ａｃｈａｎｇｅ ｉｎ ｓｉｍｐｌｅ ｌｉｎｅａｒ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌｓ」等がある。
【０００６】
データマイニングにおける変化点検出は、グラニック（Ｖ．Ｇｕｒａｌｎｉｋ）とスリバスタバ（Ｊ．Ｓｒｉｖａｓｔａｖａ）による方式「Ｅｖｅｎｔ ｄｅｔｅｃｔｉｏｎ ｆｒｏｍ ｔｉｍｅ ｓｅｒｉｅｓ ｄａｔａ」（Ｐｒｏｃ．ｏｆ ｔｈｅ ＡＣＭ ＳＩＧＫＤＤ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｄｉｓｃｏｖｅｒｙ ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ，ＡＣＭ Ｐｒｅｓｓ，ｐｐ：３２−４２，１９９９）に記載されている。
【０００７】
【発明が解決しようとする課題】
上述した従来の文献による方式または装置では、時系列データに対する外れ値および変化点の検出装置として、次のような問題点がある。
【０００８】
上述のバージ（Ｐ．Ｂｕｒｇｅ）とショーテイラー（Ｊ．Ｓｈａｗｅ−Ｔａｙｌｏｒ）とによる方式、ヤマニシ（Ｋ．Ｙａｍａｎｉｓｈｉ）ほかによる方式、または、ムラド（Ｕ．Ｍｕｒａｄ）とピンカス（Ｇ．Ｐｉｎｋａｓ）とによる方式といった従来の機械学習技術による逐次処理可能な外れ値検出手法では、時系列データ向きの統計モデルが用いられていない。従って、時系列的性質を持ったデータの特徴を十分に捉えられないという問題があった。ここで、時系列データ向きの統計モデルとは、異なる時点におけるデータ間の相関を表現できるモデルのことであり、例えば、自己回帰モデルまたはマルコフモデルなどがそれにあたる。
【０００９】
また、グラニク（Ｖ．Ｇｕｒａｌｎｉｋ）とスリバスタバ（Ｊ．Ｓｒｉｖａｓｔａｖａ）との論文に記載されている従来の変化点検出手法は基本的にデータを一括して処理するいわゆるバッチ処理で動作するものであり、逐次的に処理することが出来ない。さらに、上述した従来の変化点検出手法は局所的に定常であるという仮定を置いて設計されていたが、現実問題としてこのような仮定は不適切であり、除去されるべきである。
【００１０】
さらに、データマイニング等の応用場面では外れ値および変化点を統一的に扱い、両者を検出できることが望ましいにも関わらず、これまでは両者を統一的に扱う枠組みしか知られていなかった。
【００１１】
本発明の課題は、このような問題点を解決することを目的とし、時系列データの性質を捉えられる統計モデルを用い、しかも非定常データに対応することと、外れ値と変化点とを統一的に扱えることと、かつ処理を逐次的に実行できることとにある。
【００１４】
【課題を解決するための手段】
本発明による具体的な検出装置は、順次入力される離散値変量と連続値変量との両者または一方で記述されたデータに対してその外れ値スコアおよび変化点スコアを計算してその外れ値および変化点を検出する検出装置であって、第一のモデル学習装置と外れ値スコア計算装置と移動平均計算装置と第二のモデル学習装置と変化点スコア計算装置とにより構成されている。
【００１５】
第一のモデル学習装置は読み込まれるデータ系列の発生機構を有限個のパラメータで指定される時系列モデルとして学習する。外れ値スコア計算装置は、第一のモデル学習装置が学習して得られたパラメータの値を読み込み、読み込んだ時系列モデルのパラメータと入力された前記データとに基づいて当該データそれぞれの外れ値スコアを計算して結果を出力する。移動平均計算装置は、外れ値スコア計算装置が計算する外れ値スコアを順次読み込んでその移動平均を計算する。第二のモデル学習装置は移動平均計算装置が計算する外れ値スコアの移動平均を順次読み込んで読み込まれるスコアにおける移動平均の系列の発生機構を有限個のパラメータで指定される時系列モデルとして学習する。変化点スコア計算装置は、第二のモデル学習装置が学習して得られたパラメータの値を読み込み、読み込んだ時系列モデルのパラメータと入力された外れ値スコアの移動平均とに基づいて各移動平均の外れ値スコアを計算し、それをもとのデータの変化点スコアとして出力する。
【００１６】
また、上記第一のモデル学習装置として上述した自己回帰モデル学習装置を用いることができる。
【００１７】
また、本発明によると、外れ値スコア計算装置および変化点スコア計算装置を一つのスコア計算装置とし、更に、離散値変量と連続値変量との両者または一方で記述されたデータの系列に対して、そのデータの系列中の外れ値および変化点の候補を求める装置として、上記スコア計算装置が計算した外れ値スコアおよび変化点スコアに基づいて前記データを降順にソートするソート装置と、ソート装置がソートした順序に従ってスコアの高いデータを外れ値および変化点の候補として表示する表示装置とを含むことができる。
【００１８】
また、本発明によると、上記ソート装置に代わり、順次入力される離散値変量と連続値変量の両者または一方で記述されたデータに対して，そのデータの系列中の外れ値および変化点の候補を求める装置として、スコア計算装置が計算した外れ値スコアおよび変化点スコアがあらかじめ定められた閾値を越えたデータを外れ値または変化点の候補として出力するスコア判定装置を含むことができる。
【００１９】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２０】
はじめに、記法について説明する。まず「ｘ」は実数を成分とするｎ次元ベクトル値のデータを表す。また「ｙ」は離散値を成分とするｍ次元ベクトル値のデータを表す。また「ｘ」と「ｙ」とをまとめて「ｚ＝（ｘ，ｙ）」と表す。また、Ｎ個のデータからなる系列を「ｚＮ＝ｚ１ｚ２・・・ｚＮ」と表す。
【００２１】
ここで、このような系列に対して「外れ値スコア」を計算する方法について説明する。
【００２２】
まず、データｚを生成する統計モデル
ｐ（ｚｉ｜θ）＝ｐ（ｘｉ，ｙｉ｜θ）
を考える。これは「ｚ」の動く範囲、すなわち、レンジＺ上で定義された確率密度関数のことである。
【００２３】
「θ」は確率密度を指定するパラメータであり、一般には離散パラメータと連続値パラメータとからなる。こうした確率密度関数としては、例えば「ｚ」が連続値変数からなる場合、有限混合ガウス分布、または時系列モデルである自己回帰モデルが用いられる。時系列モデルの場合、ｉ番目のデータｚｉの確率密度はそれまでの系列ｚｉ−１に依存するので
ｐ（ｚｉ｜ｚｉ−１，θ）
となる。
【００２４】
一般に、外れ値スコアを計算するためには、まずデータ系列に基づいてパラメータ「θ」の値を推定する（学習するともいう）。ここで、データの系列を逐次読み込みながら読み込んだデータに基づいて逐次的にパラメータを変更するという「逐次型学習方式」を用いてパラメータを学習する。ここで、データｚｉまでを読みこんで学習した結果得られたパラメータの値を「θ（ｉ）」とする。これを用いて「ｚｉ＋１」の外れ値スコアを計算することができる。例えば、対数スコアｓＬおよびへリンガースコアｓＨは下記数式１および数式２それぞれにより計算される。
【００２５】
【数１】
【００２６】
【数３】
次に、本発明で用いるＡＲモデルについて説明する。ＡＲモデルはｎ次元実数値ベクトルデータｘｉの系列の確率分布を記述する時系列統計モデルである。まず、補助的な確率変数として「ωＮ ＝ ω１ω２・・・ωＮ」なる系列を導入する。これは「ｘ」と同じくｎ次元であるとする。一般にｋ次のＡＲモデルは下記数式４で表される。
【００２８】
【数４】
【００２９】
いま「ｘｉ」が「ｗ ｉ」を用い「ｘｉ＝ｗ ｉ＋μ」で与えられるとする。ここで下記数式５が与えられる場合には「ｘｔ」の確率密度関数は下記数式６で与えられる。
【００３０】
【数５】
外れ値度計算装置は，データの系列を先頭から順に読みこみながら，ｉ番目のデータｚｉを読みこんだ際に，その外れ値度ｓ（ｉ）を出力する。
【００３２】
次に、図１を参照して第一の実施例として、上述した自己回帰モデル学習装置について説明する。ここでは、忘却の速さを表す定数ｒとＡＲモデルの次数ｋがあらかじめ与えられているとする。定数ｒは「０」から「１」までの間の数値であり、小さいほど、過去のデータを速く忘却することを意味する。
【００３３】
図示されるように、第一の実施例は、上述したデータ更新装置で、入力ｘｔを受ける忘却型十分統計量計算装置１１と、この出力を受けてパラメータ値を送出するパラメータ計算装置１２とにより構成される。
【００３４】
忘却型十分統計量計算装置１１はＡＲモデルにおける忘却型十分統計量を計算する装置である。忘却型十分統計量とは、古いデータの影響ほど小さくなるように修正した十分統計量のことである。ここでいう十分統計量は、ｎ次元のベクトルμと「ｋ＋１」個のｎ元正方行列Ｃｊ（ｊ＝０，１，・・・，ｋ）である。忘却型十分統計量計算装置１１は，ｋ次のＡＲモデルの場合には，ｋ時点過去のデータを記憶する機能を有する。
【００３５】
パラメータ計算装置１２では、与えられた十分統計量に基づいてＡＲモデルのパラメータθ「＝（Λ１，・・・，Λｋ，μ，Σ）」の値が計算される。
【００３６】
第一の実施例では，以下のように動作する。
【００３７】
まず、データが読み込まれる前にパラメータ記憶装置１２に格納されている各パラメータの値が初期化される。次に、ｔ番目のデータが入力される度に、以下のように動作する。
【００３８】
忘却型十分統計量計算装置１１は、データｘｔが入力された際に、これまでに記憶していたデータのうち最も古いものを消去し，代わりに最新のデータｘｔを記憶してデータの列「ｘｔ，ｘｔ−１，・・・，ｘｔ−ｋ＋１」を得る。忘却型十分統計量計算装置１１は、これを用いて、保持している十分統計量「μ，Ｃｊ（ｊ＝０，・・・，ｋ）」を下記数式７および数式８に示される更新ルールにより更新し、得られた十分統計量をパラメータ計算装置１２に送りこむ。
【００３９】
【数７】
パラメータ計算装置１２は「バーΛｉ」（ｉ＝１，・・・，ｋ）を未知数とする下記数式９の連立方程式の解を求める。ただし「Ｃ−ｊ＝Ｃｊ」とする。
【００４１】
【数９】
パラメータ計算装置１２は、求められた解を「Λｉ」に代入し、下記数式１０および数式１１によりパラメータθを計算して、得られたパラメータθ「＝（Λ１，・・・，Λｋ，μ，Σ）」を出力する。
【００４３】
【数１０】
次に、図２を参照して第二および第三の実施例について説明する。
【００４５】
図示されるように、この実施例では、上述した第一及び第二のモデル学習装置に対応する時系列モデル学習装置２１，２４、移動平均計算装置２２、および上述した外れ値スコア計算装置および変化点スコア計算装置の両者を包含するスコア計算装置２３により構成される。第二の実施例は時系列モデル学習装置２１および外れ値スコア計算装置により実現し、第三の実施例は時系列モデル学習装置２１，２４およびスコア計算装置２３により実現される。
【００４６】
時系列モデル学習装置２１，２４は、逐次的に読み込みながら、時系列モデルの確率密度関数におけるパラメータを学習する装置である。
【００４７】
ただし、一方の時系列モデル学習装置２１は入力されるデータｚｔに関する確率密度関数を学習する装置であり、用いる確率密度関数Ｆｐは下記数式１２で表わされる。
【００４８】
【数１２】
他方の時系列モデル学習装置２４は、移動平均計算装置２３が計算するスコアの移動平均の系列に関する確率密度関数を学習する装置であり、ｋ次の一変量ＡＲモデルを用いる。その確率密度関数Ｆｑｋは下記数式１３で表わされる。
【００５０】
【数１３】
スコア計算装置２３は、確率密度関数Ｆｐ，Ｆｑｋのパラメータとデータとを読み込み、データｘｔのスコアを計算する。スコア計算装置２３は、計算機能のほか「ｚｔ」の系列については最近ｕ（ｚ）個のデータを、「αｔ」の系列については最近ｕ（α）個のデータを、また、「θ」と「ξ」とのそれぞれについては一つ前のパラメータを保存する機能を有する。例えば、ｋ次のＡＲモデルを用いる確率密度関数Ｆｑｋの場合、「ｕ（α）＝ｋ」の条件で、対数スコアまたはヘリンガースコアを計算することができる。
【００５２】
移動平均計算装置２２は、逐次的に入力される実数値のデータに対しそのＴ移動平均を計算して出力する装置である。そのために移動平均計算装置２２は、内部にＴ個の実数値を格納する機能を有する。
【００５３】
第二の実施例に関する装置は以下の順序で動作する。
【００５４】
まず，装置全体の初期化が行われ、パラメータおよびデータを記憶する装置においてはあらかじめ定められた適当な値がセットされる。図示される装置は、ｔ番目のデータｚｔ「＝（ｘｔ，ｙｔ）」が入力されるたびに、以下のように動作する。
【００５５】
時系列モデル学習装置２１およびスコア計算装置２３はデータｚｔの入力を受ける。スコア計算装置２３は、過去に入力されて保存してある確率密度関数Ｆｐのパラメータξと、入力されたデータｚｔおよび過去のデータ「ｚｔ−１，ｚｔ−２，・・・，ｚｔ−ｕ」とに基づいてデータｚｔのスコアを外れ値スコアｓｔとして計算し，得られた外れ値スコアｓｔを移動平均計算装置２２に送り込むと同時に外部へ出力する。
【００５６】
第三の実施例に関する装置は上記第二の実施例に続く以下の順序で動作する。
【００５７】
移動平均計算装置２２は、スコア計算装置２３からスコアｓｔを送り込まれると、保存してある最も古いスコアを消去し、新しく入力されたスコアｓｔを保存する。次いで、移動平均計算装置２２は、保存されているＴ個のスコアの平均値αｔを計算して、時系列モデル学習装置２４に送り込む。
【００５８】
時系列モデル学習装置２４は、上記第一の実施例で説明した通りに動作してｋ次の一変量ＡＲモデルを用いる確率密度関数Ｆｑｋのパラメータξを更新し、得られたパラメータθとスコアαｔとをスコア計算装置２３に送り込む。スコア計算装置２３は，過去に入力されて保存してある下記数式１４の確率密度関数Ｆｑのパラメータθと、入力されたデータαｔおよび過去のデータ「αｔ−１，αｔ−２，・・・，αｔ−ｕ」とに基づいてスコアαｔのスコア、すなわち変化点スコアを計算し、得られたスコアを出力する。
【００５９】
【数１４】
次に、図３を参照して第四の実施例について説明する。
【００６１】
ここでは、データ３１、上述したスコア計算装置である外れ値スコアおよび変化点スコア計算装置３２、スコア付きデータ３３、ソート装置３４、および表示装置３５が示されている。データ３１は有限の長さのデータ系列を蓄えたデータベースである。外れ値スコアおよび変化点スコア計算装置３２は上記実施例２または実施例３で説明した外れ値スコアおよび変化点スコアを計算する装置である。スコア付きデータ３３は外れ値スコアおよび変化点スコア計算装置３２の出力を受けて蓄積する。ソート装置３４はデータを外れ値スコアと変化点スコアとを用いてスコアの高い順にソートする。
【００６２】
図示された装置は以下の順序で動作する。外れ値スコアおよび変化点スコア計算装置３２は、データ３１にアクセスしてデータ系列を順に読み込みつつ各データについて外れ値スコアおよび変化点スコアを計算し、スコア付きデータ３３にデータ、外れ値スコア、および変化点スコアの三つ組みを順次送り込む。スコア付きデータ３３は送られてきたデータを蓄積する。ソート装置３４は、スコア付きデータ３３のデータベースにアクセスして格納されているデータを、外れ値スコアと変化点スコアとを用いスコアの高い順にソートして表示装置３５に送り込む。表示装置３５は送られてきた２種類のソート済みデータをソートされた順にリストして表示する。
【００６３】
次に、図４を参照して第五の実施例について説明する。
【００６４】
ここでは、データ４１、上述したスコア計算装置である外れ値スコアおよび変化点スコア計算装置４２、スコア付きデータ４３、スコア判定装置４４、および表示装置４５が示されている。図４のスコア判定装置４４が図３のソート装置３４の代わりに備えられている。
【００６５】
データ４１は有限の長さのデータ系列を蓄えたデータベースである。外れ値スコアおよび変化点スコア計算装置４２は上記実施例２または実施例３で説明した外れ値スコアおよび変化点スコアを計算する装置である。スコア付きデータ４３は外れ値スコアおよび変化点スコア計算装置４２からの出力を受けて蓄積する。スコア判定装置４４は、スコア付きデータ４３のデータベースにアクセスしてデータを外れ値スコアと変化点スコアとを用いて予め定められた閾値を越えたデータを表示装置４５に送り込む。
【００６６】
図示された装置は以下の順序で動作する。外れ値スコアおよび変化点スコア計算装置４２は、データ４１のデータベースにアクセスして、データ系列を順に読み込みつつ、各データについて外れ値スコアおよび変化点スコアを計算する。スコア付きデータ４３のデータベースに、データ、外れ値スコア、および変化点スコアの三つ組みを順次送り込む。ブロック４３のデータベースは送られてきたデータを蓄積する。スコア判定装置４４は、スコア付きデータ４３のデータベースにアクセスして格納されているデータから、外れ値スコアと変化点スコアとを用いて予め定められた閾値を越えたデータを表示装置４５に送り込む。表示装置４５は送られてきた２種類のデータをそのまま、またはソートされた順にリストアップして表示する。
【００６７】
次に図５を参照して、図２を参照して説明した外れ値スコアおよび変化点スコアのスコア計算装置を用いて解析した実データについて説明する。
【００６８】
この実験は変化点検出を目的に行った。これは、東証株価指数（ＴＯＰＩＸ）の日次データ（１９４６年−１９９８年）を解析した例であり、このうち１９８５年から１９９５年までの結果を示している。グラフには、もとのデータ、およびそれに付けられた変化点スコアを描いてある。データには前処理が行われてある。すなわち、もとの系列を「一次元」の「ｘｔ」とするとき、これを「ｘｔ、ｘｔ−ｘｔ−１」と変換してある。これによって、平均的値の変化だけでなく、トレンドの急激な変化も検出できることが期待出来る。この解析結果によると、いわゆるブラックマンデー、またはバブル経済の発生および崩壊などの時期に変化点スコアが高くなっていることが分かる。グラフにおけるブラックマンデーについては、その翌日に著しく高いピークが示されている。
【００６９】
上記説明では、図示された機能ブロックを参照しているが、機能の分離併合による配分などの変更は上記機能を満たす限り自由であり、上記説明が本発明を限定するものではない。
【００７０】
【発明の効果】
以上説明したように本発明によれば、データの時系列において，その中に現れる統計的な外れ値および変化点であることを示す度合いを外れ値スコアおよび変化点スコアとして計量し、高精度でそれらの検出を行なうことができるという効果を得ることができる。
【００７１】
その理由は、まず、順次入力されるデータ列について、読み込まれるデータ系列の発生機構を時系列統計モデルとして学習する時系列モデル学習装置を用いているからである。また、スコア計算装置が、時系列モデルのパラメータと入力されたデータとに基づいて各データの外れ値スコアを計算しているからである。更に、外れ値スコアの移動平均を計算する移動平均計算装置と、移動平均の系列の発生機構を時系列統計モデルとして学習する時系列モデル学習装置と、外れ値スコアの移動平均に基づいて移動平均の外れ値スコアを更に計算してそれをもとのデータの変化点スコアとして出力するスコア計算装置とを組み合わせて、外れ値スコアおよび変化点スコアを計算することにより外れ値および変化点を検出しているからである。
【図面の簡単な説明】
【図１】本発明によるＡＲモデル学習装置の実施の一形態を示す構成図である。
【図２】本発明による外れ値スコアおよび変化点スコアの計算装置における実施の一形態を示す構成図である。
【図３】本発明による外れ値および変化点の候補を求める装置における実施の一形態を示す構成図である。
【図４】図３とは異なる本発明による外れ値および変化点の候補を求める装置における実施の一形態を示す構成図である。
【図５】図２に示されるスコア計算装置を用いた変化点についての実験結果の一実施例を示すグラフである。
【符号の説明】
１１ 忘却型十分統計量計算装置
１２ パラメータ計算装置
２１、２４ 時系列モデル学習装置
２２ 移動平均計算装置
２３ スコア計算装置
３１、４１ データ（データベース）
３２、４２ 外れ値スコアおよび変化点スコア計算装置
３３、４３ スコア付きデータ（データベース）
３４ ソート装置
３５、４５ 表示装置
４４ スコア判定装置
Claims (4)
- 順次入力される離散値変量と連続値変量との両者または一方で記述されたデータに対してその外れ値スコアおよび変化点スコアを計算してその外れ値および変化点を検出する検出装置において、
読み込まれるデータ系列の発生機構を有限個のパラメータで指定される時系列モデルとして学習する第一のモデル学習装置と、
該第一のモデル学習装置が学習して得られたパラメータの値を読み込み、読み込んだ時系列モデルのパラメータと入力された前記データとに基づいて当該データそれぞれの外れ値スコアを計算して結果を出力する外れ値スコア計算装置と、
前記外れ値スコア計算装置が計算する外れ値スコアを順次読み込んでその移動平均を計算する移動平均計算装置と、
該移動平均計算装置が計算する外れ値スコアの移動平均を順次読み込んで読み込まれるスコアにおける移動平均の系列の発生機構を有限個のパラメータで指定される時系列モデルとして学習する第二のモデル学習装置と、
該第二のモデル学習装置が学習して得られたパラメータの値を読み込み、読み込んだ時系列モデルのパラメータと入力された外れ値スコアの移動平均とに基づいて各移動平均の外れ値スコアを計算し、それをもとのデータの変化点スコアとして出力する変化点スコア計算装置と
を含むことを特徴とする外れ値および変化点の検出装置。 - 請求項１において、前記第一のモデル学習装置が、順次入力される前記データが連続値変量のみで記述される場合、実数ベクトル値のデータ列を順次読み込みながら該データ列の発生する確率分布を、自己回帰モデルを用いて学習するものであって、自己回帰モデルの十分統計量を、新たに読み込んだデータを用いて過去のデータを忘却しながら更新するデータ更新装置と、該データ更新装置が更新した十分統計量を読み込み、それを用いて自己回帰モデルのパラメータを計算するパラメータ計算装置とを含む自己回帰モデル学習装置であることを特徴とする外れ値および変化点の検出装置。
- 請求項１において、前記外れ値スコア計算装置および前記変化点スコア計算装置を一つのスコア計算装置とし、離散値変量と連続値変量との両者または一方で記述されたデータの系列に対して、そのデータの系列中の外れ値および変化点の候補を求める装置として、前記スコア計算装置が計算した外れ値スコアおよび変化点スコアに基づいて前記データを降順にソートするソート装置と、該ソート装置がソートした順序に従ってスコアの高いデータを外れ値および変化点の候補として表示する表示装置とを更に含むことを特徴とする外れ値および変化点の検出装置。
- 請求項１において、前記外れ値スコア計算装置および前記変化点スコア計算装置を一つのスコア計算装置とし、順次入力される離散値変量と連続値変量の両者または一方で記述されたデータに対して、そのデータの系列中の外れ値および変化点の候補を求める装置として、前記スコア計算装置が計算した外れ値スコアおよび変化点スコアがあらかじめ定められた閾値を越えた前記データを外れ値または変化点の候補として出力するスコア判定装置を更に含むことを特徴とする外れ値および変化点の検出装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002207718A JP3821225B2 (ja) | 2002-07-17 | 2002-07-17 | 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 |
| US10/619,626 US7346593B2 (en) | 2002-07-17 | 2003-07-16 | Autoregressive model learning device for time-series data and a device to detect outlier and change point using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002207718A JP3821225B2 (ja) | 2002-07-17 | 2002-07-17 | 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004054370A JP2004054370A (ja) | 2004-02-19 |
| JP3821225B2 true JP3821225B2 (ja) | 2006-09-13 |
Family
ID=30437509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002207718A Expired - Fee Related JP3821225B2 (ja) | 2002-07-17 | 2002-07-17 | 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7346593B2 (ja) |
| JP (1) | JP3821225B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7408324B2 (ja) | 2019-09-13 | 2024-01-05 | キヤノン株式会社 | 診断支援装置、診断支援システム、診断支援方法およびプログラム |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3506068B2 (ja) * | 1999-09-29 | 2004-03-15 | 日本電気株式会社 | 外れ値度計算装置 |
| US7836111B1 (en) * | 2005-01-31 | 2010-11-16 | Hewlett-Packard Development Company, L.P. | Detecting change in data |
| US7505868B1 (en) | 2005-01-31 | 2009-03-17 | Hewlett-Packard Development Company, L.P. | Performing quality determination of data |
| US7809781B1 (en) | 2005-04-29 | 2010-10-05 | Hewlett-Packard Development Company, L.P. | Determining a time point corresponding to change in data values based on fitting with respect to plural aggregate value sets |
| JP5017678B2 (ja) * | 2005-08-31 | 2012-09-05 | 鵬 陳山 | 信号検査方法および信号検査モジュール |
| JP4148524B2 (ja) * | 2005-10-13 | 2008-09-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 相関性を評価するシステム、および、その方法 |
| US7720774B2 (en) * | 2005-10-31 | 2010-05-18 | Sony Corporation | Learning method and apparatus utilizing genetic algorithms |
| JP2007310860A (ja) * | 2005-10-31 | 2007-11-29 | Sony Corp | 学習装置及び方法 |
| US7756676B1 (en) | 2005-11-14 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Detecting data change based on adjusted data values |
| JP2007179131A (ja) * | 2005-12-27 | 2007-07-12 | Nec Corp | イベント検出システム、管理端末及びプログラムと、イベント検出方法 |
| US7783509B1 (en) | 2006-03-10 | 2010-08-24 | Hewlett-Packard Development Company, L.P. | Determining that a change has occured in response to detecting a burst of activity |
| JP4600327B2 (ja) * | 2006-03-27 | 2010-12-15 | 日本電気株式会社 | ログ解析システム、ログ解析ツール設定方法およびプログラム |
| JP4201027B2 (ja) * | 2006-07-10 | 2008-12-24 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 複数の観測結果の間の差異を検出するシステムおよびその方法 |
| JP4413915B2 (ja) | 2006-12-13 | 2010-02-10 | 株式会社東芝 | 異常兆候検出装置および方法 |
| JP4723466B2 (ja) * | 2006-12-19 | 2011-07-13 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びプログラム |
| US20080167889A1 (en) * | 2007-01-05 | 2008-07-10 | Kagarlis Marios A | Price Indexing |
| US20080168001A1 (en) * | 2007-01-05 | 2008-07-10 | Kagarlis Marios A | Price Indexing |
| WO2008087968A1 (ja) | 2007-01-17 | 2008-07-24 | Nec Corporation | 変化点検出方法および装置 |
| CN100445901C (zh) * | 2007-01-25 | 2008-12-24 | 上海交通大学 | 基于AR(p)模型的过程工业生产过程动态成本控制方法 |
| JP2010092203A (ja) * | 2008-10-07 | 2010-04-22 | Nec Corp | 異常検出装置および異常検出方法 |
| JP5320985B2 (ja) * | 2008-10-30 | 2013-10-23 | 日本電気株式会社 | 予測システム、予測方法および予測プログラム |
| US8311772B2 (en) * | 2009-12-21 | 2012-11-13 | Teradata Us, Inc. | Outlier processing |
| CN101807047B (zh) * | 2010-03-19 | 2011-11-09 | 北京航空航天大学 | 基于模糊奇偶方程及ar模型的非线性系统故障预测方法 |
| US10440402B2 (en) * | 2011-01-26 | 2019-10-08 | Afterlive.tv Inc | Method and system for generating highlights from scored data streams |
| JP2013080454A (ja) * | 2011-09-21 | 2013-05-02 | Toshiba Tec Corp | 保守装置、保守方法および保守プログラム |
| US10531251B2 (en) | 2012-10-22 | 2020-01-07 | United States Cellular Corporation | Detecting and processing anomalous parameter data points by a mobile wireless data network forecasting system |
| US9652354B2 (en) | 2014-03-18 | 2017-05-16 | Microsoft Technology Licensing, Llc. | Unsupervised anomaly detection for arbitrary time series |
| JP5826892B1 (ja) * | 2014-06-02 | 2015-12-02 | ヤンマー株式会社 | 変化点検出装置、変化点検出方法、及びコンピュータプログラム |
| JP5826893B1 (ja) * | 2014-06-02 | 2015-12-02 | ヤンマー株式会社 | 変化点予測装置、変化点予測方法、及びコンピュータプログラム |
| US9867039B2 (en) | 2015-06-26 | 2018-01-09 | Futurewei Technologies, Inc. | System and method for faked base station detection |
| US11397792B2 (en) | 2016-09-08 | 2022-07-26 | Nec Corporation | Anomaly detecting device, anomaly detecting method, and recording medium |
| US20180211176A1 (en) * | 2017-01-20 | 2018-07-26 | Alchemy IoT | Blended IoT Device Health Index |
| JP2018132918A (ja) * | 2017-02-15 | 2018-08-23 | 日本電信電話株式会社 | データ分析装置及びデータ分析方法 |
| US10452665B2 (en) * | 2017-06-20 | 2019-10-22 | Vmware, Inc. | Methods and systems to reduce time series data and detect outliers |
| WO2019006474A1 (en) * | 2017-06-30 | 2019-01-03 | The Johns Hopkins University | MATERIAL ARCHITECTURE AND TREATMENT UNITS FOR EXACT BAYESIAN INFERENCE WITH ONLINE LEARNING AND ASSOCIATED METHODS |
| CN111353127A (zh) * | 2018-12-24 | 2020-06-30 | 顺丰科技有限公司 | 一种单变点检测方法、系统、设备及存储介质 |
| US11341019B2 (en) * | 2019-01-17 | 2022-05-24 | Anodot Ltd. | System and method for efficient estimation of high cardinality time-series models |
| JP7171471B2 (ja) * | 2019-03-05 | 2022-11-15 | 株式会社日立製作所 | 学習モデル生成支援装置、及び学習モデル生成支援方法 |
| JP6647473B1 (ja) * | 2019-03-18 | 2020-02-14 | 三菱電機株式会社 | 異常検知装置および異常検知方法 |
| CN110969556B (zh) * | 2019-09-30 | 2023-11-21 | 上海仪电（集团）有限公司中央研究院 | 机器学习多维度多模型融合河道水质异常检测方法及装置 |
| WO2024042636A1 (ja) * | 2022-08-24 | 2024-02-29 | 日本電信電話株式会社 | 処理装置、処理方法およびプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5257364A (en) * | 1990-09-12 | 1993-10-26 | Nec Research Institute, Inc. | Method for generating a correlated sequence of variates with desired marginal distribution for testing a model of a communications system |
| US6055491A (en) * | 1997-10-17 | 2000-04-25 | At&T Corp. | Method and apparatus for analyzing co-evolving time sequences |
| JP3506068B2 (ja) | 1999-09-29 | 2004-03-15 | 日本電気株式会社 | 外れ値度計算装置 |
| US6697769B1 (en) * | 2000-01-21 | 2004-02-24 | Microsoft Corporation | Method and apparatus for fast machine training |
-
2002
- 2002-07-17 JP JP2002207718A patent/JP3821225B2/ja not_active Expired - Fee Related
-
2003
- 2003-07-16 US US10/619,626 patent/US7346593B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7408324B2 (ja) | 2019-09-13 | 2024-01-05 | キヤノン株式会社 | 診断支援装置、診断支援システム、診断支援方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US7346593B2 (en) | 2008-03-18 |
| JP2004054370A (ja) | 2004-02-19 |
| US20040015458A1 (en) | 2004-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3821225B2 (ja) | 時系列データに対する自己回帰モデル学習装置並びにそれを用いた外れ値および変化点の検出装置 | |
| Khalilian et al. | Data stream clustering by divide and conquer approach based on vector model | |
| Minnen et al. | Detecting subdimensional motifs: An efficient algorithm for generalized multivariate pattern discovery | |
| WO2011102432A1 (ja) | 情報絞り込み検出機能を備えたメモリ、このメモリを用いた情報検出方法、このメモリを含む装置、情報の検出方法、メモリの使用方法、およびメモリアドレス比較回路 | |
| JP2005352613A (ja) | トピック分析方法及びその装置並びにプログラム | |
| CN109726195B (zh) | 一种数据增强方法及装置 | |
| US6973446B2 (en) | Knowledge finding method | |
| Gimpy | Missing value imputation in multi attribute data set | |
| US20060184474A1 (en) | Data analysis apparatus, data analysis program, and data analysis method | |
| CN115577114A (zh) | 一种基于时序知识图谱的事件检测方法和装置 | |
| CN111738589A (zh) | 基于内容推荐的大数据项目工作量评估方法、装置及设备 | |
| US10346616B2 (en) | Systems and methods for data loss prevention | |
| JP2019159760A (ja) | データ分析支援装置、及びデータ分析支援方法 | |
| CN112395262A (zh) | 一种基于大数据平台审计日志的用户行为分析方法及系统 | |
| CN115277180A (zh) | 一种区块链日志异常检测与溯源系统 | |
| CN110310012B (zh) | 数据分析方法、装置、设备及计算机可读存储介质 | |
| US20220327394A1 (en) | Learning support apparatus, learning support methods, and computer-readable recording medium | |
| Maram et al. | A framework for performance analysis on machine learning algorithms using covid-19 dataset | |
| CN112949778A (zh) | 基于局部敏感哈希的智能合约分类方法、系统及电子设备 | |
| CN115412336A (zh) | 联盟链账本篡改攻击检测方法、装置及电子设备 | |
| Raja et al. | Imputation framework for missing values | |
| Le et al. | Optimizing genetic algorithm in feature selection for named entity recognition | |
| CN112507070A (zh) | 一种知识产权分类检索系统 | |
| CN112632284A (zh) | 用于未标注文本数据集的信息抽取方法及系统 | |
| Liu et al. | Dynamic community detection over evolving networks based on the optimized deep graph infomax |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060613 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100630 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110630 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120630 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130630 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |