JPWO2009075128A1 - 統合異常検知システム、統合異常検知装置、統合異常検知方法およびプログラム - Google Patents

Abstract

複数の情報を有する情報源から情報を統合異常検知装置にて取得し、取得した複数の情報の異常を異常検出部にて複数のアルゴリズムを用いてそれぞれ検出し、スコア統合部にて、検出の複数の結果それぞれに重み付けを行い、重み付けを行った複数の結果を１つに統合する。

Description

本発明は、異常を検知する統合異常検知システム、統合異常検知装置、統合異常検知方法およびプログラムに関する。

従来、統合的に様々な異常を検知する統合異常検知システムが考えられている（例えば、特許公開２００５−１４２４６７号公報参照。）。

図１は、一般的な統合異常検知システムの構成の一例を示す図である。

図１に示した統合異常検知システムは、情報源１００１と、前処理部１００２と、スコア統合部１００４とから構成されている。情報源１００１は、特許公開２００５−１４２４６７号公報の図４に示された製造装置５に相当する。また、前処理部１００２およびスコア統合部１００４は、特許公開２００５−１４２４６７号公報の図４に示された統合部３１に相当する。

図１に示した統合異常検知システムは、情報源１００１から出力された多くの情報１０１０−１〜１０１０−Ｎ（Ｎは自然数）を、前処理部１００２の前処理１０２０−１〜１０２０−Ｎにおいて、それぞれ同じ装置名、号機名、製品名、レシピ名で処理されたウェハ枚数あるいはロット数に係わる複数の尺度的データ項目からなる処理系列データ郡をそれぞれ抽出し、スコア統合部１００４の統合スコア計算部１０４２において統合された異常検出結果（「統合値（時系列集約処理情報）」）を求めている。

また、他の例として異常検出アルゴリズムを用いた統合異常検知システムが考えられている（例えば、文献１（Aleksandar Lazarevic, Vipin Kumar「Feature Bagging for Outlier Detection」, Proceedings of the eleventh ACM SIGKDD international conference on Knowledge discovery in data mining(KDD2005), 2005）参照。）。

図２は、一般的な統合異常検知システムの構成の他の例を示す図である。

図２に示した統合異常検知システムは、情報源１１０１と、前処理部１１０２と、異常検出部１１０３と、スコア統合部１１０４とから構成されている。

図２に示した統合異常検知システムは、情報源１１０１の情報１１１０を、前処理部１１０２において任意の組み合わせのデータとして複数の前処理１１２０−１〜１１２０−Ｎにてそれぞれ抽出し、異常検出部１１０３においてそれぞれ異常検出アルゴリズム１１３０−１〜１１３０−Ｎにより異常検出結果を算出し、スコア統合部１１０４の統合スコア計算部１１４２において１つの統合された異常検知スコアを求めている。

しかしながら、上述した技術においては、統合されたスコアを求めるにあたり、異なる異常検出アルゴリズムを用いて得た異常検出結果を扱うことができないという問題点がある。その理由は、統合された異常検出結果を求めるにあたり、複数の異常検出結果の重み付けを行う仕組みがないためである。

本発明は、上述したような課題を解決するため、単一の視点から見ただけでは検出できない異常を異なる異常検出アルゴリズムを用いて検出し、且つ異常検出精度を高めてロバスト性を向上させることができる統合異常検知システム、統合異常検知装置、統合異常検知方法およびプログラムを提供することを目的とする。

上記目的を達成するために本発明は、
複数の情報を有する情報源と、前記情報源から前記情報を取得し、取得した情報について異常を検知する統合異常検知装置とを有する統合異常検知システムにおいて、
前記統合異常検知装置は、
前記複数の情報の異常を複数のアルゴリズムを用いてそれぞれ検出する異常検出手段と、
前記異常検出手段における複数の結果それぞれに重み付けを行い、重み付けを行った複数の結果を１つに統合する統合スコア計算手段とを有することを特徴とする。

また、複数の情報を有する情報源から前記情報を取得し、取得した情報について異常を検知する統合異常検知装置であって、
前記複数の情報の異常を複数のアルゴリズムを用いてそれぞれ検出する異常検出手段と、
前記異常検出手段における複数の結果それぞれに重み付けを行い、重み付けを行った複数の結果を１つに統合する統合スコア計算手段とを有する。

また、統合異常検知方法であって、
複数の情報を有する情報源から前記情報を取得するステップと、
前記複数の情報の異常を複数のアルゴリズムを用いてそれぞれ検出するステップと、
前記検出された複数の結果それぞれに重み付けを行うステップと、
前記重み付けを行った複数の結果を１つに統合するステップとを有する。

また、コンピュータに実行させるプログラムであって、
複数の情報を有する情報源から前記情報を取得する手順と、
前記複数の情報の異常を複数のアルゴリズムを用いてそれぞれ検出する手順と、
前記検出された複数の結果それぞれに重み付けを行う手順と、
前記重み付けを行った複数の結果を１つに統合する手順とをコンピュータに実行させる。

以上説明したように本発明においては、複数の情報を有する情報源から情報を取得し、取得した複数の情報の異常を複数のアルゴリズムを用いてそれぞれ検出し、検出の複数の結果それぞれに重み付けを行い、重み付けを行った複数の結果を１つに統合する構成としたため、単一の視点から見ただけでは検出できない異常を異なる異常検出アルゴリズムを用いて検出し、且つ異常検出精度を高めてロバスト性を向上させることができる。

一般的な統合異常検知システムの構成の一例を示す図である。 一般的な統合異常検知システムの構成の他の例を示す図である。 本発明の統合異常検知システムの実施の一形態を示す図である。 図３に示した統合異常検知システムにおける第１の統合異常検知方法を説明するためのフローチャートである。

以下に、本発明の実施の形態について図面を参照して説明する。

図３は、本発明の統合異常検知システムの実施の一形態を示す図である。

本形態は図３に示すように、統合異常検知装置１００と、情報源１０１とから構成されている。また、統合異常検知装置１００は、前処理部１０２と、異常検出部１０３と、スコア統合部１０４と、教師情報１０５とから構成されている。

情報源１０１は、複数の情報源たる情報１１０−１〜１１０−Ｎ（Ｎは自然数）を含む。Ｎは情報源の個数を表す。

前処理部１０２は、情報源１０１から情報１１０−１〜１１０−Ｎの抽出や加工を行い、異常検出部１０３で処理可能な形式への変換を行う。

異常検出部１０３は、処理する情報１１０−１〜１１０−Ｎに適した異常検出アルゴリズム１３０−１−１〜１３０−Ｎ−ＭＮにより、それぞれの異常検出結果を求める。

スコア統合部１０４は、異常検出部１０３から得たそれぞれの異常検出結果を教師情報１０５に基づいた重み付けを行ったうえで１つの統合スコアを求める。

教師情報１０５は、スコア統合部１０４において重み付けを行う際の基礎情報となる。この教師情報１０５は、予め設定された付与情報である。

前処理部１０２では、情報１１０−１から得られる情報であるｘ１向けの前処理１２０−１−１〜１２０−１−Ｍ１と、情報１１０−Ｎから得られる情報であるｘＮ向けの前処理１２０−Ｎ−１〜１２０−Ｎ−ＭＮとを含む。なお、情報１１０−２〜１１０−（Ｎ−１）から得られる情報であるｘ２〜ｘ（Ｎ−１）向けの前処理も含む。Ｍ１はｘ１に対して行う複数の異常検出の処理数を、同様にＭＮはｘＮに対して行う複数の異常検出の処理数を表す。

それぞれの前処理では、ｘ１〜ｘＮに対して、特定のエラー出力等の抽出や単位時間辺りのアクセス件数等の加工を行い、必要に応じて異常検出部１０３で処理可能な形式への変換を行い、前処理１２０−１−１〜１２０−１−Ｍ１ではｙ１＿１〜ｙ１＿Ｍ１を、また前処理１２０−Ｎ−１〜１２０−Ｎ−ＭＮではｙＮ−１〜ｙＮ−ＭＮをそれぞれ出力する。同様に、情報ｘ２〜ｘ（Ｎ−１）を処理した情報ｙ２＿１〜ｙ（Ｎ−１）＿Ｍ（Ｎ−１）も出力する。

異常検出部１０３では、前処理１２０−１−１〜１２０−１−Ｍ１からそれぞれ出力された情報であるｙ１＿１〜ｙ１＿Ｍ１から異常検出を行う異常検出アルゴリズム１３０−１−１〜１３０−１−Ｍ１と、前処理１２０−Ｎ−１〜１２０−Ｎ−ＭＮからそれぞれ出力された情報であるｙＮ＿１〜ｙＮ＿ＭＮから異常検出を行う異常検出アルゴリズム１３０−Ｎ−１〜１３０−Ｎ−ＭＮとを含む。なお、前処理１２０−２−１〜１２０−（Ｎ−１）−Ｍ（Ｎ−１）からそれぞれ出力された情報であるｙ２＿１〜ｙ（Ｎ−１）＿Ｍ（Ｎ−１）からそれぞれ異常検出を行う異常検出アルゴリズムも含む。

それぞれの異常検出処理では、ｙ１＿１〜ｙＮ＿ＭＮに対して、変化点検出や外れ値検出、異常行動検出等のような異なる異常検出アルゴリズムを用いて異常検出を行う。ｙ１＿１〜ｙ１＿Ｍ１向けの異常検出アルゴリズム１３０−１−１〜１３０−１−Ｍ１では異常検出結果ｚ１＿１〜ｚ１＿Ｍ１をそれぞれ出力する。また、ｙＮ＿１〜ｙＮ＿ＭＮ向けの異常検出アルゴリズム１３０−Ｎ−１〜１３０−Ｎ−ＭＮでは異常検出結果ｚＮ＿１〜ｚＮ＿ＭＮをそれぞれ出力する。同様に、ｙ２＿１〜ｙ（Ｎ−１）＿Ｍ（Ｎ−１）向けの異常検出アルゴリズムでは異常検出結果ｚ２＿１〜ｚ（Ｎ−１）＿Ｍ（Ｎ−１）をそれぞれ出力する。

スコア統合部１０４では、複数の異常検出結果に対して教師情報１０５に基づいて重み付けを行うスコア重み変更部１４１と、スコア重み変更部１４１で重みを変更した複数の異常検出結果から１つの統合した異常スコアを求める統合スコア計算部１４２とを含む。

次に、図３に示した統合異常検知システムにおける統合異常検知方法について詳細に説明する。

図４は、図３に示した統合異常検知システムにおける第１の統合異常検知方法を説明するためのフローチャートである。

まず、ステップ１にて、情報源１０１から情報１１０−１〜１１０−Ｎが前処理部１０２に渡される。このとき、時刻tにおけるｉ番目の情報について、例えばｘ_ｉ（ｔ）として表すことが出来る。

次に、ステップ１で得たそれぞれの情報１１０−１〜１１０−Ｎについて、ステップ２にて、前処理部１０２で前処理が実施される。このとき、例えば、ｘ_ｉ（ｔ）への前処理結果を、ｙ_ｉ＿ｊ（ｔ）＝Ｐ_ｉ＿ｊ（ｘｉ（ｔ）)と表すことができる（ｉ＿ｊは、ｉ番目の情報に対するｊ番目の処理を表す）。Ｐ_ｉ＿ｊは、前処理を指す関数で、例えば、特定データの抽出や単位時間辺りのある条件を満たす件数、Ｂａｇｇｉｎｇ（乗法的重みを加えたサンプリング）、Ｂｏｏｓｔｉｎｇ（乗法的重みを加えたランダムサンプリング）等の処理を行い、さらに次のステップ３で処理できる形式への変換を行う。

さらに、ステップ２の処理結果であるそれぞれの情報ｙ１＿１〜ｙＮ＿ＭＮについて、ステップ３にて、異常検出部１０３でそれぞれの異常検出アルゴリズム１３０−１−１〜１３０−Ｎ−ＭＮを用いて異常検出結果を得る。このとき、例えば、ｙ_ｉ＿ｊ（ｔ）への異常検出アルゴリズムをＡ_ｉ＿ｊと定義すると、異常検出結果ｚ_ｉ＿ｊ（ｔ）は、ｚ_ｉ＿ｊ（ｔ）＝Ａ_ｉ＿ｊ（ｙ_ｉ＿ｊ（ｔ））と表すことができる。異常検出アルゴリズムは、例えば、外れ値検出や、変化点検出や、異常行動検出等が存在する。外れ値検出は、特開２００１−１０１１５４号公報や、特開２００３−５９７０号公報や、特開２００４−７８９８１号公報や、特開２００７−１８５３０号公報等に記載されている。また、変化点検出は、特開２００４−５４３７０号公報や特開２００５−４６５８号公報等に記載されている。また、異常行動検出は、特開２００４−３０９９９８号公報等に記載されている。

さらに、ステップ３で得た異常検出部１０３の各異常検出アルゴリズム１３０−１−１〜１３０−Ｎ−ＭＮによるそれぞれの異常検出結果ｚ１＿１〜ｚＮ＿ＭＮと教師情報１０５から出力された教師情報とを入力とし、重みｗ_ｉ＿ｊ（ｔ）の値をステップ４にてスコア重み変更部１４１において更新する。

重みの値は、各異常検出アルゴリズム１３０−１−１〜１３０−Ｎ−ＭＮの異常検出結果と教師情報１０５とを比較して、比較した結果に基づいて更新される。教師情報１０５と同じ結果を出した異常検出アルゴリズムの重みの値は大きくなるように更新される。また、教師情報１０５と異なる結果を出した異常検出アルゴリズムの重みの値は小さくなるように更新される。更新式として、例えば以下の式（式１）を用いることが出来る。

ｌｏｓｓ（Ｓ_ｉ＿ｊ（ｔ））は異常検出アルゴリズムの異常検出結果と教師情報１０５とがどれだけ異なっていたかを表す量であり、例えば以下の式（式２）を用いる求めることが出来る。

ここで、ｕおよびｖは任意の数である。また、教師情報１０５が存在しない場合には、重みの更新は行わず、ｗ_ｉ＿ｊ（ｔ）＝ｗ_ｉ＿ｊ（ｔ−１）とする。

その後、ステップ５にて、スコア重み変更部１４１で更新された重みｗ_ｉ＿ｊ（ｔ）とスコアＳ_ｉ＿ｊ（ｔ）とを入力とし、スコアＳ_ｉ＿ｊ（ｔ）の関数ｆ_ｉ＿ｊ（Ｓ_ｉ＿ｊ（ｔ））を重みｗ_ｉ＿ｊ（ｔ）に従って足し合わせた統合スコアＳ（ｔ）を（式３）を用いて算出し出力する。

ここで、ｆ_ｉ＿ｊ（Ｓ_ｉ＿ｊ（ｔ））は、例えば以下の（式４）または（式５）の様にとることができる。

本実施の形態の効果について説明する。

本実施の形態では、複数の異常検出結果の重み付けを行うことができるため、複数の異なる異常検出アルゴリズムを用いて得た異常検出結果を扱うことが可能となり、複数の視点による異常検出ができる。

また、本実施の形態では、さらに、同一および複数の情報源に対して、複数の前処理、および複数の異常検出エンジンを用いることが可能なため、異常検出精度の増強、ロバスト性の向上が図ることができる。

以下に、図３に示した統合異常検知システムにおける第２の統合異常検知方法を説明する
図３に示した形態において、図４に示したフローチャートのステップ２において実施する前処理を情報１つに対して１つに限定する。つまり、図３に示した統合異常検知システムにおいて、例えば、情報１１０−１の前処理を前処理１２０−１−１に、また、情報１１０−Ｎの前処理を前処理１２０−Ｎ−１に限定する。また、図４に示したフローチャートのステップ３の異常検出の処理と図４に示したフローチャートのステップ４の教師情報を用いた重み付けの処理とを省略する。これにより、図１に示した一般的な統合異常検知システムと同等のものとして利用できる。

また、以下に、図３に示した統合異常検知システムにおける第３の統合異常検知方法を説明する
図３に示した形態において、図４に示したフローチャートのステップ１で得る情報を１つに限定する。つまり、図３に示した統合異常検知システムにおいて、例えば、情報源１０１として情報１１０−１のみに限定する。そして、図４に示したフローチャートのステップ２における各前処理を、入力情報からランダムサンプリングされた属性セットを抽出するような前処理を実施し、図４に示したフローチャートのステップ４における重み付けで教師情報を用いずに一様に重み付けする。これにより、図１に示した文献１で述べられている一般的な統合異常検知システムで、Ｆｅａｔｕｒｅ Ｂａｇｇｉｎｇと呼ばれる手法として利用できる。

なお、上述した統合異常検知装置１００における処理は、目的に応じて作製された論理回路で行うようにしても良い。また、処理内容を記述したプログラムを統合異常検知装置１００にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを統合異常検知装置１００に読み込ませ、実行するものであっても良い。統合異常検知装置１００にて読取可能な記録媒体とは、フロッピーディスク（登録商標）、光磁気ディスク、ＤＶＤ、ＣＤなどの移設可能な記録媒体の他、統合異常検知装置１００に内蔵されたＨＤＤ等を指す。この記録媒体に記録されたプログラムは、統合異常検知装置１００内のＣＰＵ（不図示）にて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。

以上説明したように、本発明においては、以下に記載するような効果を奏する。

第１の効果は、単一の視点から見ただけでは検出できない異常を検出できることである。

その理由は、複数の異常検出結果の重み付けを行う仕組みを持つためである。複数の異常検出結果の重み付けを行うことができることで、複数の異なる異常検出アルゴリズムを用いて得た異常検出結果を扱うことを可能にし、複数の視点から異常検出を可能にするためである。

第２の効果は、異常検出において、精度を増強し、ロバスト性の向上が図れることである。

その理由は、以下である。同一および複数の情報源に対して、複数の前処理および複数の異常検出アルゴリズムを用いることで、単一の前処理および単一の異常検出アルゴリズムを用いる場合と比較して異常か否かの条件をより複雑な形で表現できる。また、教師情報を用いて各異常検出結果の重み付けを逐次的に更新することで、前述の複雑な条件の中から異常検出に適した条件が選ばれるようになる。そして、統合スコアとして、最良の異常検出結果となる単一の前処理および単一の異常検出アルゴリズムの異常検出結果と同じかそれ以上の良い結果を得られるためである。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００７年１２月１１日に出願された日本出願特願２００７−３１９７７５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (20)

1. 複数の情報を有する情報源と、前記情報源から前記情報を取得し、取得した情報について異常を検知する統合異常検知装置とを有する統合異常検知システムにおいて、
   前記統合異常検知装置は、
   前記複数の情報の異常を複数のアルゴリズムを用いてそれぞれ検出する異常検出手段と、
   前記異常検出手段における複数の結果それぞれに重み付けを行い、重み付けを行った複数の結果を１つに統合する統合スコア計算手段とを有することを特徴とする統合異常検知システム。
2. 請求項１に記載の統合異常検知システムにおいて、
   前記統合異常検知装置は、前記異常検出手段における複数の結果と、予め設定された付与情報とに基づいて、前記結果の重み付けを更新するスコア重み変更手段を有し、
   前記統合スコア計算手段は、前記スコア重み変更手段にて更新された重み付けに基づいて、前記異常検出手段における複数の結果を１つに統合することを特徴とする統合異常検知システム。
3. 請求項１または請求項２に記載の統合異常検知システムにおいて、
   前記統合異常検知装置は、前記情報源から取得した情報を前記アルゴリズムに応じた形式へ変換する前処理手段を有することを特徴とする統合異常検知システム。
4. 請求項２に記載の統合異常検知システムにおいて、
   前記スコア重み変更手段は、前記異常検出手段における複数の結果と前記付与情報とが同じである場合、前記重み付けを現在の重み付けよりも大きな重み付けに更新することを特徴とする統合異常検知システム。
5. 請求項２または請求項４に記載の統合異常検知システムにおいて、
   前記スコア重み変更手段は、前記異常検出手段における複数の結果と前記付与情報とが異なる場合、前記重み付けを現在の重み付けよりも小さな重み付けに更新することを特徴とする統合異常検知システム。
6. 複数の情報を有する情報源から前記情報を取得し、取得した情報について異常を検知する統合異常検知装置であって、
   前記複数の情報の異常を複数のアルゴリズムを用いてそれぞれ検出する異常検出手段と、
   前記異常検出手段における複数の結果それぞれに重み付けを行い、重み付けを行った複数の結果を１つに統合する統合スコア計算手段とを有する統合異常検知装置。
7. 請求項６に記載の統合異常検知装置において、
   前記異常検出手段における複数の結果と、予め設定された付与情報とに基づいて、前記結果の重み付けを更新するスコア重み変更手段を有し、
   前記統合スコア計算手段は、前記スコア重み変更手段にて更新された重み付けに基づいて、前記異常検出手段における複数の結果を１つに統合することを特徴とする統合異常検知装置。
8. 請求項６または請求項７に記載の統合異常検知装置において、
   前記情報源から取得した情報を前記アルゴリズムに応じた形式へ変換する前処理手段を有することを特徴とする統合異常検知装置。
9. 請求項７に記載の統合異常検知装置において、
   前記スコア重み変更手段は、前記異常検出手段における複数の結果と前記付与情報とが同じである場合、前記重み付けを現在の重み付けよりも大きな重み付けに更新することを特徴とする統合異常検知装置。
10. 請求項７または請求項９に記載の統合異常検知装置において、
    前記スコア重み変更手段は、前記異常検出手段における複数の結果と前記付与情報とが異なる場合、前記重み付けを現在の重み付けよりも小さな重み付けに更新することを特徴とする統合異常検知装置。
11. 複数の情報を有する情報源から前記情報を取得するステップと、
    前記複数の情報の異常を複数のアルゴリズムを用いてそれぞれ検出するステップと、
    前記検出された複数の結果それぞれに重み付けを行うステップと、
    前記重み付けを行った複数の結果を１つに統合するステップとを有する統合異常検知方法。
12. 請求項１１に記載の統合異常検知方法において、
    前記検出された複数の結果と、予め設定された付与情報とに基づいて、前記結果の重み付けを更新するステップと、
    前記更新された重み付けに基づいて、前記検出された複数の結果を１つに統合するステップとを有することを特徴とする統合異常検知方法。
13. 請求項１１または請求項１２に記載の統合異常検知方法において、
    前記情報源から取得した情報を前記アルゴリズムに応じた形式へ変換するステップを有することを特徴とする統合異常検知方法。
14. 請求項１２に記載の統合異常検知方法において、
    前記検出された複数の結果と前記付与情報とが同じである場合、前記重み付けを現在の重み付けよりも大きな重み付けに更新するステップを有することを特徴とする統合異常検知方法。
15. 請求項１２または請求項１４に記載の統合異常検知方法において、
    前記検出された複数の結果と前記付与情報とが異なる場合、前記重み付けを現在の重み付けよりも小さな重み付けに更新するステップを有することを特徴とする統合異常検知方法。
16. 複数の情報を有する情報源から前記情報を取得する手順と、
    前記複数の情報の異常を複数のアルゴリズムを用いてそれぞれ検出する手順と、
    前記検出された複数の結果それぞれに重み付けを行う手順と、
    前記重み付けを行った複数の結果を１つに統合する手順とをコンピュータに実行させるプログラム。
17. 請求項１６に記載のプログラムにおいて、
    前記検出された複数の結果と、予め設定された付与情報とに基づいて、前記結果の重み付けを更新する手順と、
    前記更新された重み付けに基づいて、前記検出された複数の結果を１つに統合する手順とをコンピュータに実行させることを特徴とするプログラム。
18. 請求項１６または請求項１７に記載のプログラムにおいて、
    前記情報源から取得した情報を前記アルゴリズムに応じた形式へ変換する手順をコンピュータに実行させることを特徴とするプログラム。
19. 請求項１７に記載のプログラムにおいて、
    前記検出された複数の結果と前記付与情報とが同じである場合、前記重み付けを現在の重み付けよりも大きな重み付けに更新する手順をコンピュータに実行させることを特徴とするプログラム。
20. 請求項１７または請求項１９に記載のプログラムにおいて、
    前記検出された複数の結果と前記付与情報とが異なる場合、前記重み付けを現在の重み付けよりも小さな重み付けに更新する手順をコンピュータに実行させることを特徴とするプログラム。

Images