JP7086803B2 - 異常検知装置、異常検知方法及びプログラム - Google Patents

異常検知装置、異常検知方法及びプログラム Download PDF

Info

Publication number
JP7086803B2
JP7086803B2 JP2018181533A JP2018181533A JP7086803B2 JP 7086803 B2 JP7086803 B2 JP 7086803B2 JP 2018181533 A JP2018181533 A JP 2018181533A JP 2018181533 A JP2018181533 A JP 2018181533A JP 7086803 B2 JP7086803 B2 JP 7086803B2
Authority
JP
Japan
Prior art keywords
abnormality
unit
distribution
value
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018181533A
Other languages
English (en)
Other versions
JP2020052740A (ja
Inventor
利幸 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2018181533A priority Critical patent/JP7086803B2/ja
Priority to US16/582,338 priority patent/US11520672B2/en
Publication of JP2020052740A publication Critical patent/JP2020052740A/ja
Application granted granted Critical
Publication of JP7086803B2 publication Critical patent/JP7086803B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/321—Display for diagnostics, e.g. diagnostic result display, self-test user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2101/00—Indexing scheme relating to the type of digital function generated
    • G06F2101/14—Probability distribution functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明の実施形態は、異常検知装置、異常検知方法及びプログラムに関する。
時系列データをモデル化した自己回帰モデルを用い、監視対象の装置及び機器等に取り付けられたセンサにより実際に得られたデータから当該監視対象の装置及び機器等における異常の有無を判別するような手法が従来から知られている。
また、非線形の時系列データをモデル化するための手法として、例えば、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）等のようなニューラルネットワークに含まれる各ノードの処理に用いられるパラメータを機械学習で学習させる手法が従来から知られている。
しかし、従来から知られている手法によれば、例えば、実際に得られたデータに含まれるノイズの特性が時間的に変化するような場合に、当該データから異常の有無を判別する際の判別精度が低下してしまう、という問題点がある。
日本国特開平７－２１９６２３号公報
Pankaj Malhotra, Lovekesh Vig, Gautam Shroff, Puneet Agarwal：「Long Short Term Memory Networks for Anomaly Detection in Time Series」, ESANN 2015 proceedings, Bruges (Belgium), 22-24 April 2015
実施形態は、実際に得られたデータに含まれるノイズの特性が時間的に変化するような場合であっても、当該データから異常の有無を高精度に判別することが可能な異常検知装置、異常検知方法及びプログラムを提供することを目的とする。
実施形態の異常検知装置は、測定対象の物理量を実際に測定して得られたＴ（Ｔ≧２）個の実測値を含むｍ（ｍ≧１）次元の時系列データから異常の有無を検知するように構成された装置であって、予測部と、異常度算出部と、を有して構成されている。前記予測部は、前記ｍ次元の時系列データの時間ステップ毎に、前記ｍ次元の時系列データの時間ステップｔ（１≦ｔ≦Ｔ）において取得され得る予測値の分布状態を表す連続確率分布の表現に必要な分布パラメータを取得するための処理を行うように構成されている。前記異常度算出部は、前記予測部により取得された前記分布パラメータを用い、前記ｍ次元の時系列データの前記時間ステップｔの実測値における異常の大きさを評価した評価値に相当する異常度を算出するための処理を行うように構成されている。前記予測部は、多層のニューラルネットワークを用いて構成されているとともに、前記時間ステップｔに隣接する複数の時間ステップに対応する過去の複数の実測値を入力データとして用いて処理を行うことにより出力データを取得するように構成された基本ネットワーク部と、前記ｍの値が２以上である場合に、前記基本ネットワーク部により取得された前記出力データに含まれるベクトルを分割する処理を行うことにより、ｍ次元の平均ベクトルと、ｍ次の正方行列に相当するｍ次の中間行列と、を基本パラメータとして取得するように構成されたパラメータ取得部と、前記ｍの値が２以上である場合に、前記パラメータ取得部により取得された前記基本パラメータを前記連続確率分布の定義域に収めるための処理を行うことにより、前記ｍ次元の平均ベクトルと、前記ｍ次の中間行列を多変量ガウス分布の定義域に収めるための処理により得られたｍ次の分散共分散行列と、を前記分布パラメータとして取得するように構成された制約処理部と、を有する。
実施形態に係る異常検知装置を含む監視システムの構成の一例を示す図。 実施形態に係る異常検知装置の構成の一例を示す図。 実施形態に係る異常検知装置に含まれる異常度評価部の構成の一例を示す図。 実施形態に係る異常検知装置に含まれるモデルパラメータ学習部の構成の一例を示す図。 実施形態に係る異常検知装置に含まれる異常判定処理部の構成の一例を示す図。 実施形態に係る異常検知装置に含まれる異常度評価部において行われる処理の具体例を示すフローチャート。 実施形態に係る異常検知装置に含まれるモデルパラメータ学習部において行われる処理の具体例の一部を示すフローチャート。 図７の処理の続きを示すフローチャート。 実施形態の作用効果を説明するための模式図。
以下、実施形態について、図面を参照しつつ説明を行う。
監視システム１０１は、図１に示すように、製造装置１と、センサデータ収集装置２と、異常検知装置３と、表示装置４と、警報装置５と、を有して構成されている。図１は、実施形態に係る異常検知装置を含む監視システムの構成の一例を示す図である。
製造装置１は、例えば、半導体等の所定の製品を製造するための装置として構成されている。また、製造装置１には、所定の製品の製造工程における測定対象の物理量を測定するための１つ以上のセンサ１Ａが取り付けられている。
センサ１Ａは、例えば、振動センサ、電圧センサ、温度センサ及び静電容量センサ等の様々なセンサのうちのいずれかにより構成されている。また、センサ１Ａは、所定の種類の物理量を測定して得られたセンサ値を示す信号を生成するとともに、当該生成した信号をセンサデータ収集装置２へ出力するように構成されている。なお、本実施形態によれば、製造装置１に取り付けられた複数のセンサ１Ａにおいて、１つの種類の物理量のみが測定対象の物理量として測定されるものであってもよく、または、相互に異なる複数の種類の物理量が測定対象の物理量として測定されるものであってもよい。また、本実施形態によれば、製造装置１に取り付けられた複数のセンサ１Ａのうちの一部のセンサにおいて、相互に同じ種類の物理量が測定対象の物理量として測定されるものであってもよい。
センサデータ収集装置２は、例えば、１つ以上のプロセッサ２Ａと、記憶媒体２Ｂと、を有するコンピュータとして構成されている。また、センサデータ収集装置２は、センサ１Ａから出力される信号により示される時系列の複数のセンサ値（実測値）をセンサデータとして蓄積するように構成されている。すなわち、センサデータ収集装置２に蓄積されるセンサデータには、１種類以上の測定対象の物理量を実際に測定して得られたセンサ値（実測値）が含まれている。また、センサデータ収集装置２に蓄積されるセンサデータは、非線形の時間依存性を有している。
なお、本実施形態によれば、１つの製造装置１に設けられたセンサ１Ａから出力される信号に応じたセンサデータがセンサデータ収集装置２に蓄積されるものに限らず、複数の製造装置１に設けられたセンサ１Ａ各々から出力される信号に応じたセンサデータがセンサデータ収集装置２に蓄積されるようにしてもよい。
異常検知装置３は、例えば、１つ以上のプロセッサ３Ａと、記憶媒体３Ｂと、を有するコンピュータとして構成されている。また、異常検知装置３は、センサデータ収集装置２に蓄積されたセンサデータを読み込むとともに、当該読み込んだセンサデータから製造装置１における異常の有無を判定するための処理を行うように構成されている。また、異常検知装置３は、製造装置１に異常ありとの判定結果を得た際に、当該判定結果に応じた異常の内容を示す信号を生成するとともに、当該生成した信号を表示装置４及び警報装置５のうちの少なくとも一方へ出力するように構成されている。
すなわち、製造装置１は、監視システム１０１における監視対象の装置に相当するとともに、異常検知装置３による異常検知対象の装置に相当する。
表示装置４は、例えば、液晶モニタ等を有して構成されている。また、表示装置４は、異常検知装置３から出力される信号に応じ、製造装置１において発生している異常を報知するための文字列等を画面に表示することができるように構成されている。
警報装置５は、例えば、ランプまたはブザーを有して構成されている。また、警報装置５は、異常検知装置３から出力される信号に応じて動作することにより、製造装置１において異常が発生している旨を報知することができるように構成されている。
異常検知装置３は、例えば、図２に示すように、異常度評価部３１と、モデルパラメータ学習部３２と、異常判定処理部３３と、を有して構成されている。図２は、実施形態に係る異常検知装置の構成の一例を示す図である。
異常度評価部３１は、センサデータ収集装置２に蓄積されたセンサデータを読み込むとともに、当該読み込んだセンサデータに含まれる評価対象のセンサ値（実測値）における異常の大きさを評価した評価値に相当する異常度を算出するための処理を行うように構成されている。また、異常度評価部３１は、前述の処理により算出した異常度を異常判定処理部３３へ出力するように構成されている。
モデルパラメータ学習部３２は、センサデータ収集装置２に蓄積されたセンサデータを読み込むとともに、当該読み込んだセンサデータに含まれる時系列の複数のセンサ値（実測値）に基づき、異常度評価部３１において用いられるモデルパラメータを取得するための学習処理を行うように構成されている。
異常判定処理部３３は、異常度評価部３１から出力される異常度に基づき、製造装置１における異常の有無を判定するための判定処理を行うように構成されている。また、異常判定処理部３３は、製造装置１に異常ありとの判定結果を得た際に、当該判定結果に応じた異常の内容を示す信号を生成するとともに、当該生成した信号を表示装置４及び警報装置５のうちの少なくとも一方へ出力するように構成されている。
異常度評価部３１は、例えば、図３に示すように、予測部３１１と、異常度算出部３１Ｄと、を有して構成されている。図３は、実施形態に係る異常検知装置に含まれる異常度評価部の構成の一例を示す図である。
予測部３１１は、センサデータ収集装置２に蓄積されたセンサデータと、モデルパラメータ学習部３２により得られたモデルパラメータと、をそれぞれ読み込むとともに、当該読み込んだモデルパラメータと、当該読み込んだセンサデータに含まれる時系列の複数のセンサ値（実測値）と、に基づき、予測対象のセンサ値（予測値）の分布状態を表す連続確率分布の表現に必要な分布パラメータを取得するための処理を行うように構成されている。また、予測部３１１は、前述の処理により取得した分布パラメータを異常度算出部３１Ｄへ出力するように構成されている。また、予測部３１１は、基本ネットワーク部３１Ａと、パラメータ取得部３１Ｂと、制約処理部３１Ｃと、を有して構成されている。
基本ネットワーク部３１Ａは、例えば、入力層、隠れ層及び出力層を有する多層のニューラルネットワークを用いて構成されている。また、基本ネットワーク部３１Ａは、モデルパラメータ学習部３２において保持されているモデルパラメータを読み込むとともに、当該読み込んだモデルパラメータに応じてニューラルネットワークのパラメータに相当する当該ニューラルネットワークの各重み（結合強度）を設定するように構成されている。また、基本ネットワーク部３１Ａは、モデルパラメータ学習部３２から読み込んだモデルパラメータに応じた重みを設定した状態において、センサデータ収集装置２に蓄積されたセンサデータを読み込むとともに、当該読み込んだセンサデータに含まれる時系列の複数のセンサ値（実測値）を入力データとして用いて処理を行うことにより出力データを取得するように構成されている。また、基本ネットワーク部３１Ａは、前述の処理により取得した出力データをパラメータ取得部３１Ｂへ出力するように構成されている。
なお、本実施形態の基本ネットワーク部３１Ａは、後述の基本ネットワーク部３２Ａと同一のネットワーク構成を有している限りにおいては、任意のニューラルネットワークを用いて構成することができる。具体的には、本実施形態の基本ネットワーク部３１Ａは、例えば、全結合型ニューラルネットワーク、畳み込みニューラルネットワーク、及び、再帰型ニューラルネットワーク等の様々なニューラルネットワークのうちのいずれかを用いて構成することができる。
パラメータ取得部３１Ｂは、基本ネットワーク部３１Ａから出力される出力データを分割する処理を行うことにより、分布パラメータの元となる基本パラメータを取得するように構成されている。また、パラメータ取得部３１Ｂは、前述の処理により取得した基本パラメータを制約処理部３１Ｃへ出力するように構成されている。
制約処理部３１Ｃは、パラメータ取得部３１Ｂから出力される基本パラメータを予測対象のセンサ値（予測値）の分布状態を表す連続確率分布の定義域に収めるための処理を行うことにより、当該連続確率分布の表現に必要な分布パラメータを取得するように構成されている。また、制約処理部３１Ｃは、前述の処理により取得した分布パラメータを異常度算出部３１Ｄへ出力するように構成されている。
異常度算出部３１Ｄは、センサデータ収集装置２に蓄積されたセンサデータを読み込むとともに、予測部３１１から出力される分布パラメータを用い、当該読み込んだセンサデータに含まれる評価対象のセンサ値（実測値）における異常の大きさを評価した評価値に相当する異常度を算出するための処理を行うように構成されている。また、異常度算出部３１Ｄは、前述の処理により算出した異常度を異常判定処理部３３へ出力するように構成されている。
モデルパラメータ学習部３２は、例えば、図４に示すように、基本ネットワーク部３２Ａと、パラメータ取得部３２Ｂと、制約処理部３２Ｃと、異常度算出部３２Ｄと、を有して構成されている。図４は、実施形態に係る異常検知装置に含まれるモデルパラメータ学習部の構成の一例を示す図である。
基本ネットワーク部３２Ａは、例えば、入力層、隠れ層及び出力層を有する多層のニューラルネットワークを用いて構成されている。また、基本ネットワーク部３２Ａは、基本ネットワーク部３１Ａと同一のネットワーク構成を有するニューラルネットワークを用いて構成されている。また、基本ネットワーク部３２Ａは、センサデータ収集装置２に蓄積されたセンサデータを読み込むとともに、当該読み込んだセンサデータに含まれる時系列の複数のセンサ値（実測値）を入力データとして用いて処理を行うことにより出力データを取得するように構成されている。また、基本ネットワーク部３２Ａは、前述の処理により取得した出力データをパラメータ取得部３２Ｂへ出力するように構成されている。また、基本ネットワーク部３２Ａは、パラメータ取得部３２Ｂから出力される勾配（後述）を用いたバックプロパゲーションをニューラルネットワークに対して施すことにより、当該ニューラルネットワークに含まれる少なくとも一部の重み（結合強度）を更新する処理を学習処理において行うように構成されている。また、基本ネットワーク部３２Ａは、学習処理における所定の終了条件を満たした際の当該ニューラルネットワークの各重み（結合強度）をモデルパラメータとして保持するように構成されている。
なお、本実施形態の基本ネットワーク部３２Ａは、基本ネットワーク部３１Ａと同一のネットワーク構成を有している限りにおいては、任意のニューラルネットワークを用いて構成することができる。具体的には、本実施形態の基本ネットワーク部３２Ａは、例えば、全結合型ニューラルネットワーク、畳み込みニューラルネットワーク、及び、再帰型ニューラルネットワーク等の様々なニューラルネットワークのうちのいずれかを用いて構成することができる。
パラメータ取得部３２Ｂは、基本ネットワーク部３２Ａから出力される出力データを分割する処理を行うことにより、分布パラメータの元となる基本パラメータを取得するように構成されている。また、パラメータ取得部３２Ｂは、前述の処理により取得した基本パラメータを制約処理部３２Ｃへ出力するように構成されている。また、パラメータ取得部３２Ｂは、制約処理部３２Ｃから出力される勾配（後述）に基づき、基本ネットワーク部３２Ａにより得られた出力データに対する異常度算出部３２Ｄにより得られた異常度の勾配を算出するための処理を行うように構成されている。また、パラメータ取得部３２Ｂは、前述の処理により算出した勾配を基本ネットワーク部３２Ａへ出力するように構成されている。
制約処理部３２Ｃは、パラメータ取得部３２Ｂから出力される基本パラメータを予測対象のセンサ値（予測値）の分布状態を表す連続確率分布の定義域に収めるための処理を行うことにより、当該連続確率分布の表現に必要な分布パラメータを取得するように構成されている。また、制約処理部３２Ｃは、前述の処理により取得した分布パラメータを異常度算出部３２Ｄへ出力するように構成されている。また、制約処理部３２Ｃは、異常度算出部３２Ｄから出力される勾配（後述）に基づき、パラメータ取得部３２Ｂにより得られた基本パラメータに対する異常度算出部３２Ｄにより得られた異常度の勾配を算出するための処理を行うように構成されている。また、制約処理部３２Ｃは、前述の処理により算出した勾配をパラメータ取得部３２Ｂへ出力するように構成されている。
異常度算出部３２Ｄは、センサデータ収集装置２に蓄積されたセンサデータを読み込むとともに、制約処理部３２Ｃから出力される分布パラメータを用い、当該読み込んだセンサデータに含まれる評価対象のセンサ値（実測値）における異常の大きさを評価した評価値に相当する異常度を算出するための処理を行うように構成されている。また、異常度算出部３２Ｄは、制約処理部３２Ｃにより得られた分布パラメータに対する異常度の勾配を算出するための処理を行うように構成されている。また、異常度算出部３２Ｄは、前述の処理により算出した勾配を制約処理部３２Ｃへ出力するように構成されている。
異常判定処理部３３は、例えば、図５に示すように、異常度記録部３３Ａと、平滑化処理部３３Ｂと、異常判定部３３Ｃと、を有して構成されている。図５は、実施形態に係る異常検知装置に含まれる異常判定処理部の構成の一例を示す図である。
異常度記録部３３Ａは、異常度評価部３１から出力される異常度を時系列に記録するように構成されている。
平滑化処理部３３Ｂは、異常度記録部３３Ａに時系列に記録された複数の異常度を読み込むとともに、当該読み込んだ複数の異常度に対して平滑化処理を施すように構成されている。また、平滑化処理部３３Ｂは、前述の平滑化処理の処理結果として得られた異常度を異常判定部３３Ｃへ出力するように構成されている。
異常判定部３３Ｃは、平滑化処理部３３Ｂから出力される異常度に基づき、製造装置１における異常の有無を判定するための判定処理を行うように構成されている。また、異常判定部３３Ｃは、製造装置１に異常ありとの判定結果を得た際に、当該判定結果に応じた異常の内容を示す信号を生成するとともに、当該生成した信号を表示装置４及び警報装置５のうちの少なくとも一方へ出力するように構成されている。
なお、本実施形態においては、異常度評価部３１、モデルパラメータ学習部３２、及び、異常判定処理部３３の各部の機能が、プロセッサ３Ａ及び記憶媒体３Ｂを含むハードウェアにより実現されるようにしてもよい。または、本実施形態においては、例えば、異常度評価部３１、モデルパラメータ学習部３２、及び、異常判定処理部３３の各部の機能を実現するためのプログラムが記憶媒体３Ｂに格納されているとともに、プロセッサ３Ａが当該プログラムを読み込んで実行するようにしてもよい。コンピュータ読取可能な記憶媒体３Ｂとしては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Ｍａｇｎｅｔ Ｏｐｔｉｃａｌ）やＭＤ（Ｍｉｎｉ Ｄｉｓｋ）などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、ＳＤメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ＩＣチップ等）等のハードウェア装置も記憶媒体として含まれる。
続いて、本実施形態の作用について説明する。
なお、以降においては、ｍ個のセンサ１Ａから得られた時系列の複数のセンサ値を含むセンサデータ、すなわち、ｍ次元の時系列データに対して処理が行われる場合を例に挙げて説明する。また、以降においては、時系列データが、Ｘ＝｛ｘ1，ｘ2，…，ｘT｝として表されるＴ（Ｔ≧２）個のセンサ値を有するデータ、すなわち、系列長Ｔのデータであるものとして説明する。また、以降の説明においては、時系列データＸに含まれる各センサ値（実測値）の時間間隔を時間ステップと称するものとする。また、以降の説明においては、時系列データＸに含まれる各センサ値に対して時間ステップ毎に付与された番号をステップ値と称するものとする。また、以降においては、ｍの値が２以上であるとともに、予測対象のｍ次元のセンサ値の分布状態を表す連続確率分布として、下記数式（１）により示される多変量ガウス分布Ｎ（ｘ；μ，Σ）を用いた場合を例に挙げて説明する。なお、下記数式（１）において、ｘはｍ次元のセンサ値を含むベクトルを表し、μはｍ次元の時系列データＸ各々のセンサ値の平均値を含む平均ベクトルを表し、Σはｍ次元の時系列データＸにおける分散及び共分散を含む正定値対称行列に相当するｍ次の分散共分散行列を表すものとする。
Figure 0007086803000001
まず、異常度評価部３１の各部において行われる処理について、図６を参照しつつ説明する。図６は、実施形態に係る異常検知装置に含まれる異常度評価部において行われる処理の具体例を示すフローチャートである。
基本ネットワーク部３１Ａは、モデルパラメータ学習部３２において保持されているモデルパラメータを読み込むとともに、当該読み込んだモデルパラメータに応じてニューラルネットワークに含まれる各重み（結合強度）を設定する（図６のステップＳ１）。
予測部３１１の各部（基本ネットワーク部３１Ａ、パラメータ取得部３１Ｂ及び制約処理部３１Ｃ）は、予測対象のセンサ値のステップ値ｔを１に設定する（図６のステップＳ２）。また、異常度算出部３１Ｄは、評価対象のセンサ値のステップ値ｔを１に設定する（図６のステップＳ２）。
基本ネットワーク部３１Ａは、センサデータ収集装置２に蓄積されたセンサデータの中から、時間ステップｔに隣接する過去のセンサデータを読み込む（図６のステップＳ３）。
具体的には、基本ネットワーク部３１Ａは、例えば、時間ステップｔに対応するｍ次元のセンサ値ｘtを予測する場合には、センサデータ収集装置２に蓄積されたセンサデータの中から、当該時間ステップｔに隣接するＷ（Ｗ≧２）個の時間ステップに対応するｍ次元×Ｗ個のセンサ値｛ｘt-W、ｘt-W+1、…、ｘt-1｝を含む過去のセンサデータを読み込む。
基本ネットワーク部３１Ａは、図６のステップＳ３において読み込んだセンサデータに含まれる各センサ値を入力データとして用いて処理を行うことにより出力データを取得するとともに、当該取得した出力データをパラメータ取得部３１Ｂへ出力する（図６のステップＳ４）。すなわち、基本ネットワーク部３１Ａは、時間ステップｔに隣接する複数の時間ステップに対応する過去の複数の実測値を入力データとして用いて処理を行うことにより出力データを取得する。
パラメータ取得部３１Ｂは、基本ネットワーク部３１Ａから出力される出力データを分割する処理を行うことにより基本パラメータを取得するとともに、当該取得した基本パラメータを制約処理部３１Ｃへ出力する（図６のステップＳ５）。
具体的には、基本ネットワーク部３１Ａは、例えば、図６のステップＳ４において、ｍ次元×Ｗ個のセンサ値を含むベクトルを入力データとして用いて処理を行うことにより、ｍ＋ｍ2個のデータを含むベクトルを当該処理に応じた出力データｖとして取得する。そして、パラメータ取得部３１Ｂは、図６のステップＳ５において、基本ネットワーク部３１Ａから出力される出力データｖに含まれるベクトルを分割する処理を行うことにより、時間ステップｔに対応するｍ次元の平均ベクトルμtと、ｍ次の正方行列に相当するｍ次の中間行列Ｕと、を基本パラメータとして取得する。すなわち、基本ネットワーク部３１Ａから出力される出力データｖと、パラメータ取得部３１Ｂにより取得される基本パラメータに含まれる平均ベクトルμt及び中間行列Ｕと、の間には、下記数式（２）に示すような関係が成立する。なお、下記数式（２）の演算子ｖｅｃ（・）は、行列を１列ずつ抽出して連結することによりベクトルを作成する処理を表すものとする。
Figure 0007086803000002
制約処理部３１Ｃは、パラメータ取得部３１Ｂから出力される基本パラメータを予測対象のセンサ値の分布状態を表す連続確率分布の定義域に収めるための処理を行うことにより、当該連続確率分布の表現に必要な分布パラメータを取得するとともに、当該取得した分布パラメータを異常度算出部３１Ｄへ出力する（図６のステップＳ６）。
具体的には、制約処理部３１Ｃは、パラメータ取得部３１Ｂから出力されるｍ次の中間行列Ｕを上記数式（１）に示した多変量ガウス分布Ｎの定義域に収めるための処理として、例えば、パラメータ取得部３１Ｂから出力されるｍ次の中間行列Ｕに対して下記数式（３）を適用する処理を行うことにより、時間ステップｔに対応するｍ次の分散共分散行列Σtを取得する。なお、下記数式（３）において、Ｉはｍ次の単位行列を表し、λは正の実数を表すものとする。
Figure 0007086803000003
なお、制約処理部３１Ｃは、パラメータ取得部３１Ｂから出力される平均ベクトルμtに対しては処理を行わない。そのため、制約処理部３１Ｃは、図６のステップＳ６において、上記数式（３）を用いた処理の処理結果に相当する分散共分散行列Σtと、パラメータ取得部３１Ｂから出力される平均ベクトルμtと、を時間ステップｔに対応するｍ次元のセンサ値ｘtの分布状態を表す多変量ガウス分布Ｎ（ｘt；μt，Σt）の表現に必要な分布パラメータとして取得するとともに、当該取得した分布パラメータを異常度算出部３１Ｄへ出力する。
ここで、中間行列Ｕは、基本ネットワーク部３１Ａにおけるニューラルネットワークの出力データｖと同じデータを含む関係上、上記数式（１）に示した多変量ガウス分布Ｎの分散共分散行列Σの定義域に収まらない行列として取得される場合がある。これに対し、本実施形態においては、制約処理部３１Ｃが、上記数式（３）に示したような、ｍ次の中間行列Ｕのグラム行列ＵTＵと、ｍ次の単位行列Ｉをλ倍した行列と、を加算する処理を行うことにより、上記数式（１）に示した多変量ガウス分布Ｎの定義域に収まる正定値対称行列に相当するｍ次の分散共分散行列Σtを取得するようにしている。
異常度算出部３１Ｄは、センサデータ収集装置２に蓄積されたセンサデータの中から、時間ステップｔに対応するｍ次元のセンサ値ｘtを含むセンサデータを読み込む（図６のステップＳ７）。
異常度算出部３１Ｄは、予測部３１１の制約処理部３１Ｃから出力される分布パラメータを用いた処理を行うことにより、図６のステップＳ７において読み込んだセンサデータに含まれるセンサ値各々に対応する異常度を算出するとともに、当該算出した異常度を異常判定処理部３３へ出力する（図６のステップＳ８）。
具体的には、異常度算出部３１Ｄは、例えば、制約処理部３１Ｃから出力される分布パラメータに含まれる分散共分散行列Σt及び平均ベクトルμtと、図６のステップＳ７において読み込んだセンサデータに含まれるｍ次元のセンサ値ｘtと、を下記数式（４）に適用することにより、当該ｍ次元のセンサ値ｘt各々に対応する異常度ｆを算出する。
Figure 0007086803000004
ここで、上記数式（４）によれば、異常度算出部３１Ｄは、異常度ｆを算出するための処理として、多変量ガウス分布Ｎ（ｘt；μt，Σt）の負の対数尤度を算出する処理を行っている。そのため、例えば、時間ステップｔに対応するｍ次元のセンサ値ｘtの多変量ガウス分布Ｎ（ｘt；μt，Σt）に対する当てはまりが良い場合には、異常度ｆが相対的に小さな値として算出される。また、例えば、時間ステップｔに対応するｍ次元のセンサ値ｘtの多変量ガウス分布Ｎ（ｘt；μt，Σt）に対する当てはまりが悪い場合には、異常度ｆが相対的に大きな値として算出される。
なお、本実施形態の異常度算出部３１Ｄは、制約処理部３１Ｃから出力される分布パラメータを用いた処理を行う限りにおいては、上記数式（４）に示した負の対数尤度とは異なる評価指標に基づいて異常度ｆを算出するようにしてもよい。
予測部３１１の各部は、図６のステップＳ６の処理を終了した後、予測対象のセンサ値のステップ値ｔに１を加算する（図６のステップＳ９）。また、異常度算出部３１Ｄは、図６のステップＳ８の処理を終了した後、評価対象のセンサ値のステップ値ｔに１を加算する（図６のステップＳ９）。
予測部３１１の各部及び異常度算出部３１Ｄは、ステップ値ｔが時系列データＸの系列長Ｔよりも大きいか否かに係る判定を行う（図６のステップＳ１０）。
予測部３１１の各部及び異常度算出部３１Ｄは、ステップ値ｔが系列長Ｔ以下であるとの判定結果を得た場合（Ｓ１０：ＮＯ）には、図６のステップＳ３からの処理を再度行う。また、予測部３１１の各部及び異常度算出部３１Ｄは、ステップ値ｔが系列長Ｔより大きいとの判定結果を得た場合（Ｓ１０：ＹＥＳ）には、図６の一連の処理を終了する。
なお、図６の一連の処理は、ｍが２以上の場合に適用されるものに限らず、ｍが１である場合においても略同様に適用される。すなわち、図６の一連の処理は、ｍ≧１において適用される。
以上に述べたように、予測部３１１は、ｍ次元の時系列データＸの時間ステップ毎に、当該ｍ次元の時系列データの時間ステップｔ（１≦ｔ≦Ｔ）において取得され得る予測値の分布状態を表す連続確率分布の表現に必要な分布パラメータを取得するための処理を行う。また、以上に述べたように、異常度算出部３１Ｄは、予測部３１１により取得された分布パラメータを用い、ｍ次元の時系列データの時間ステップｔの実測値における異常の大きさを評価した評価値に相当する異常度を算出するための処理を行う。
本実施形態によれば、センサデータに関する事前知識が予め得られている場合に、当該事前知識に応じた追加の処理が制約処理部３１Ｃにおいて行われるようにしてもよい。具体的には、本実施形態によれば、例えば、複数のセンサ１Ａが相互に離れた場所に設けられているような場合に、分散共分散行列Σtに含まれる当該複数のセンサ１Ａの共分散を０にするための処理が制約処理部３１Ｃにおいてさらに行われるようにしてもよい。また、本実施形態によれば、例えば、センサ１Ａにより得られるセンサ値が０以上であることが明らかな場合に、平均ベクトルμtに対する非負制約に係る処理が制約処理部３１Ｃにおいてさらに行われるようにしてもよい。
本実施形態によれば、図６の一連の処理を適宜変形することにより、例えば、ｍの値が２以上である場合に、ｍ次元の時系列データのうちの少なくとも１次元の時系列データについて、時間ステップｔに対応するセンサ値ｘt（予測値）の分布状態を表す連続確率分布の表現に必要な分布パラメータを取得するための処理が予測部３１１により行われるともに、当該分布パラメータを用いて異常度ｆを算出するための処理が異常度算出部３１Ｄにより行われるようにしてもよい。
次に、モデルパラメータ学習部３２の各部において行われる処理について、図７及び図８を参照しつつ説明する。図７は、実施形態に係る異常検知装置に含まれるモデルパラメータ学習部において行われる処理の具体例の一部を示すフローチャートである。図８は、図７の処理の続きを示すフローチャートである。
なお、以降においては、センサ１Ａが正常な状態で取得された、すなわち、製造装置１が正常に動作している状態で取得されたＴ個のセンサ値を含む時系列データＸ＝｛ｘ1，ｘ2，…，ｘT｝を用いた処理が行われる場合を例に挙げて説明する。
基本ネットワーク部３２Ａは、現在保持しているモデルパラメータに対応するニューラルネットワークの各重み（結合強度）を乱数で初期化する（図７のステップＳ２１）。
具体的には、基本ネットワーク部３２Ａは、例えば、正規分布または一様分布に応じて生成した乱数を用い、現在保持しているモデルパラメータに対応するニューラルネットワークの各重み（結合強度）を初期化する。
基本ネットワーク部３２Ａは、予測対象のセンサ値のステップ値ｔをＴ個のステップ値の中からランダムに選択したステップ値に設定する（図７のステップＳ２２）。また、パラメータ取得部３２Ｂ及び制約処理部３２Ｃは、予測対象のセンサ値のステップ値ｔを基本ネットワーク部３２Ａにより選択されたステップ値と同じステップ値に設定する（図７のステップＳ２２）。また、異常度算出部３２Ｄは、評価対象のセンサ値のステップ値ｔを基本ネットワーク部３２Ａにより選択されたステップ値と同じステップ値に設定する（図７のステップＳ２２）。
基本ネットワーク部３２Ａは、センサデータ収集装置２に蓄積されたセンサデータの中から、図７のステップＳ２２により設定したステップ値ｔを有する時間ステップｔに隣接する過去のセンサデータを読み込む（図７のステップＳ２３）。
具体的には、基本ネットワーク部３２Ａは、例えば、基本ネットワーク部３１Ａにおける図６のステップＳ３の処理と略同様の処理を行うことにより、時間ステップｔに隣接するＷ個の時間ステップに対応するｍ次元×Ｗ個のセンサ値｛ｘt-W、ｘt-W+1、…、ｘt-1｝を含む過去のセンサデータを読み込む。
基本ネットワーク部３２Ａは、図７のステップＳ２３において読み込んだセンサデータに含まれる各センサ値を入力データとして用いて処理を行うことにより出力データを取得するとともに、当該取得した出力データをパラメータ取得部３２Ｂへ出力する（図７のステップＳ２４）。
具体的には、基本ネットワーク部３２Ａは、例えば、基本ネットワーク部３１Ａにおける図６のステップＳ４の処理と略同様の処理を行うことにより、ｍ＋ｍ2個のデータを含むベクトルを出力データｖとして取得するとともに、当該取得した出力データｖをパラメータ取得部３２Ｂへ出力する。
パラメータ取得部３２Ｂは、基本ネットワーク部３２Ａから出力される出力データを分割する処理を行うことにより基本パラメータを取得するとともに、当該取得した基本パラメータを制約処理部３２Ｃへ出力する（図７のステップＳ２５）。
具体的には、パラメータ取得部３２Ｂは、例えば、パラメータ取得部３１Ｂにおける図６のステップＳ５の処理と略同様の処理を行うことにより、時間ステップｔに対応するｍ次元の平均ベクトルμtと、ｍ次の正方行列に相当する中間行列Ｕと、を基本パラメータとして取得するとともに、当該取得した基本パラメータを制約処理部３２Ｃへ出力する。
制約処理部３２Ｃは、パラメータ取得部３２Ｂから出力される基本パラメータを予測対象のセンサ値の分布状態を表す連続確率分布の定義域に収めるための処理を行うことにより、当該連続確率分布の表現に必要な分布パラメータを取得するとともに、当該取得した分布パラメータを異常度算出部３２Ｄへ出力する（図７のステップＳ２６）。
具体的には、制約処理部３２Ｃは、例えば、制約処理部３１Ｃにおける図６のステップＳ６の処理（上記数式（４）を用いた処理）と略同様の処理を行うことにより、分散共分散行列Σt及び平均ベクトルμtを時間ステップｔに対応するｍ次元のセンサ値ｘtの分布状態を表す多変量ガウス分布Ｎ（ｘt；μt，Σt）の表現に必要な分布パラメータとして取得するとともに、当該取得した分布パラメータを異常度算出部３２Ｄへ出力する。
異常度算出部３２Ｄは、センサデータ収集装置２に蓄積されたセンサデータの中から、図７のステップＳ２２により設定したステップ値ｔを有する時間ステップｔに対応するｍ次元のセンサ値ｘtを含むセンサデータを読み込む（図７のステップＳ２７）。
異常度算出部３２Ｄは、制約処理部３２Ｃから出力される分布パラメータを用いた処理を行うことにより、図７のステップＳ２７において読み込んだセンサデータに含まれるセンサ値各々に対応する異常度を算出する（図７のステップＳ２８）。
具体的には、異常度算出部３２Ｄは、例えば、異常度算出部３１Ｄにおける図６のステップＳ８の処理と略同様の処理（上記数式（２）を用いた処理）を行うことにより、ｍ次元のセンサ値ｘt各々に対応する異常度ｆを算出する。
異常度算出部３２Ｄは、図７のステップＳ２８による異常度の算出に用いた分布パラメータに対する当該異常度の勾配を算出するとともに、当該算出した勾配を制約処理部３２Ｃへ出力する（図８のステップＳ２９）。
具体的には、異常度算出部３２Ｄは、例えば、図７のステップＳ２８による異常度の算出に用いた分散共分散行列Σt及び平均ベクトルμtと、図７のステップＳ２７により読み込んだｍ次元のセンサ値ｘtと、を下記数式（５）に適用することにより、当該平均ベクトルμtに対する異常度ｆの勾配∂ｆ／∂μtを算出する。また、異常度算出部３２Ｄは、例えば、図７のステップＳ２８による異常度の算出に用いた分散共分散行列Σt及び平均ベクトルμtと、図７のステップＳ２７により読み込んだｍ次元のセンサ値ｘtと、を下記数式（６）に適用することにより、当該分散共分散行列Σtに対する異常度ｆの勾配∂ｆ／∂Σtを算出する。そして、異常度算出部３２Ｄは、前述のように算出した勾配∂ｆ／∂μt及び∂ｆ／∂Σtを制約処理部３２Ｃへ出力する。
Figure 0007086803000005
Figure 0007086803000006
制約処理部３２Ｃは、異常度算出部３２Ｄから出力される勾配に基づき、図７のステップＳ２６による分布パラメータの取得に用いた基本パラメータに対する、図７のステップＳ２８により算出された異常度の勾配を算出するとともに、当該算出した勾配をパラメータ取得部３２Ｂへ出力する（図８のステップＳ３０）。
具体的には、制約処理部３２Ｃは、例えば、図７のステップＳ２６による分布パラメータの取得に用いた中間行列Ｕと、図８のステップＳ２９により異常度算出部３２Ｄから出力される勾配∂ｆ／∂Σtと、を下記数式（７）に適用することにより、当該中間行列Ｕにおけるｉ行ｊ列目の成分Ｕijに対する異常度ｆの勾配∂ｆ／∂Ｕijを算出する。なお、下記数式（７）において、演算子Ｔｒ［・］は行列のトレースを表し、行列Ｊijはｉ行ｊ列目の成分が１であるとともにその他の成分が０であるような行列を表すものとする。
Figure 0007086803000007
なお、制約処理部３２Ｃは、異常度算出部３２Ｄから出力される勾配∂ｆ／∂μtに対しては処理を行わない。そのため、制約処理部３２Ｃは、中間行列Ｕに含まれる各成分に対応する勾配∂ｆ／∂Ｕijの算出結果を勾配∂ｆ／∂Ｕとして取得するとともに、当該取得した勾配∂ｆ／∂Ｕと、勾配∂ｆ／∂μtと、を併せてパラメータ取得部３２Ｂへ出力する。
パラメータ取得部３２Ｂは、制約処理部３２Ｃから出力される勾配に基づき、図７のステップＳ２５による基本パラメータの取得に用いた出力データに対する、図７のステップＳ２８により算出された異常度の勾配を算出するとともに、当該算出した勾配を基本ネットワーク部３２Ａへ出力する（図８のステップＳ３１）。
具体的には、パラメータ取得部３２Ｂは、例えば、図８のステップＳ３０により制約処理部３２Ｃから出力される勾配∂ｆ／∂Ｕ及び∂ｆ／∂μを下記数式（８）に適用することにより、出力データｖに対する異常度ｆの勾配∂ｆ／∂ｖを算出する。そして、パラメータ取得部３２Ｂは、前述のように算出した勾配∂ｆ／∂ｖを基本ネットワーク部３２Ａへ出力する。
Figure 0007086803000008
基本ネットワーク部３２Ａは、パラメータ取得部３２Ｂから出力される勾配∂ｆ／∂ｖに基づくバックプロパゲーションをニューラルネットワークに対して施すことにより、当該ニューラルネットワークに含まれる少なくとも一部の重み（結合強度）の勾配を算出する（図８のステップＳ３２）。
本実施形態によれば、基本ネットワーク部３２Ａが図８のステップＳ３２により算出した勾配を用いてニューラルネットワークに含まれる重み（結合強度）を更新するための処理において、例えば、Ａｄａｇｒａｄ、ＲＭＳｐｒｏｐ、ＡｄａＤｅｌｔａ、及び、Ａｄａｍ等のようなアルゴリズムを用いることができる。また、本実施形態によれば、基本ネットワーク部３２Ａが、図８のステップＳ３２により算出した勾配を用いた処理を行うことにより、ニューラルネットワークに含まれる少なくとも一部の重み（結合強度）を更新するものであればよい。
基本ネットワーク部３２Ａは、図８のステップＳ３２の処理回数（ニューラルネットワークのパラメータの更新回数）が所定の処理回数に到達したか否かに係る判定を行う（図８のステップＳ３３）。
基本ネットワーク部３２Ａは、図８のステップＳ３２の処理回数が所定の処理回数に到達していないとの判定結果を得た場合（Ｓ３３：ＮＯ）には、図７のステップＳ２２に戻って処理を行う。また、基本ネットワーク部３２Ａは、図８のステップＳ３２の処理回数が所定の処理回数に到達したとの判定結果を得た場合（Ｓ３３：ＹＥＳ）には、当該判定結果を得た際のニューラルネットワークの各重み（結合強度）をモデルパラメータとして保持した状態で一連の処理を終了する。
本実施形態によれば、図８のステップＳ３３において、図８のステップＳ３２の処理回数が所定の処理回数に到達したか否かに係る判定処理が行われるものに限らず、例えば、図７のステップＳ２８により算出された異常度が一定値に収束した否かに係る判定処理が行われるようにしてもよい。そして、このような判定処理によれば、図７のステップＳ２８により算出された異常度が一定値に収束したとの判定結果が得られるまで、図７のステップＳ２２以降の一連の処理が繰り返し行われる。
本実施形態によれば、図７及び図８の一連の処理を適宜変形することにより、ミニバッチ学習に相当する処理が行われるようにしてもよい。具体的には、本実施形態によれば、例えば、時系列データＸにおけるＴ個のステップ値の中から複数のステップ値ｔがランダムに選択され、当該複数のステップ値ｔに対応する複数のセンサ値ｘtにおける複数の異常度ｆが算出され、当該複数の異常度ｆに対応する複数の勾配∂ｆ／∂ｖが算出され、当該複数の勾配∂ｆ／∂ｖを用いて基本ネットワーク部３２Ａのニューラルネットワークに含まれる各重み（結合強度）が更新されるようにしてもよい。
本実施形態によれば、図７及び図８の一連の処理を適宜変形することにより、例えば、複数の時系列データＸ各々から１つずつランダムにステップ値ｔが選択され、当該選択されたステップ値ｔ各々に対応する複数のセンサ値ｘtにおける複数の異常度ｆが算出され、当該複数の異常度ｆに対応する複数の勾配∂ｆ／∂ｖが算出され、当該複数の勾配∂ｆ／∂ｖを用いて基本ネットワーク部３２Ａのニューラルネットワークに含まれる各重み（結合強度）が更新されるようにしてもよい。
以上に述べたように、モデルパラメータ学習部３２は、製造装置１（異常検知装置３による異常検知対象の装置）が正常に動作している状態における測定対象の物理量の測定結果として得られた複数の実測値を含む時系列データに相当する正常データを用い、基本ネットワーク部３１Ａと同一のネットワーク構成を有する基本ネットワーク部３２Ａのニューラルネットワークのパラメータを繰り返し更新する処理に相当する学習処理を行うことにより、基本ネットワーク部３１Ａのニューラルネットワークのパラメータを設定する際に用いられるモデルパラメータを取得する。また、以上に述べたように、モデルパラメータ学習部３２は、前述の正常データを用いて基本ネットワーク部３２Ａのニューラルネットワークに含まれる少なくとも一部の重み（結合強度）の更新に用いられる勾配を算出する処理を学習処理において行うとともに、当該学習処理における所定の終了条件を満たした際の当該ニューラルネットワークの各重み（結合強度）をモデルパラメータとして保持する。
最後に、異常判定処理部３３の各部において行われる処理について説明する。
異常度記録部３３Ａは、異常度評価部３１から出力される異常度を時系列に記録する。
具体的には、異常度記録部３３Ａは、例えば、ｍ次元の時系列データＸにおける時間ステップ毎に算出された異常度ｆを時系列に記録する。
平滑化処理部３３Ｂは、異常度記録部３３Ａに時系列に記録された複数の異常度を読み込み、当該読み込んだ複数の異常度に対して平滑化処理を施すとともに、当該平滑化処理の処理結果として得られた異常度を異常判定部３３Ｃへ出力する。
具体的には、平滑化処理部３３Ｂは、異常度記録部３３Ａに記録された各異常度の中から、例えば、時系列データＸにおける所定の時間ステップ幅または所定の時間幅に対応する複数の異常度ｆを読み込み、当該読み込んだ複数の異常度ｆの平均値に相当する平均異常度を算出し、当該算出した平均異常度を異常判定部３３Ｃへ出力する。すなわち、平滑化処理部３３Ｂは、時系列データＸにおける所定の時間ステップ幅または所定の時間幅に対応する複数の異常度ｆの平均値を算出する処理を平滑化処理として行う。
あるいは、平滑化処理部３３Ｂは、異常度記録部３３Ａに記録された各異常度の中から、例えば、所定の製品数または所定のロット数の時系列データＸに対応する複数の異常度ｆを読み込み、当該読み込んだ複数の異常度ｆの平均値に相当する平均異常度を算出し、当該算出した平均異常度を異常判定部３３Ｃへ出力する。すなわち、平滑化処理部３３Ｂは、所定の製品数または所定のロット数の時系列データＸに対応する複数の異常度ｆの平均値を算出する処理を平滑化処理として行う。
本実施形態においては、平滑化処理部３３Ｂが異常度ｆの移動平均を平均異常度として算出するための処理を行うものであってもよい。具体的には、平滑化処理部３３Ｂは、例えば、時系列データＸにおける所定の時間ステップ幅に対応する複数の異常度ｆを時間ステップ毎にスライドさせながら読み込んで平均値を算出するような処理を平滑化処理として行うものであってもよい。
異常判定部３３Ｃは、平滑化処理部３３Ｂから出力される異常度に基づき、製造装置１における異常の有無を判定するための判定処理を行う。また、異常判定部３３Ｃは、製造装置１に異常ありとの判定結果を得た際に、当該判定結果に応じた異常の内容を示す信号を生成するとともに、当該生成した信号を表示装置４及び警報装置５のうちの少なくとも一方へ出力する。
具体的には、異常判定部３３Ｃは、例えば、平滑化処理部３３Ｂから出力される時系列データＸに対応する複数の平均異常度に基づき、製造装置１における異常の有無を判定する。そして、異常判定部３３Ｃは、例えば、平滑化処理部３３Ｂから出力される時系列データＸに対応する複数の平均異常度の中に閾値を超える平均異常度が所定の個数以上含まれていることを検知した場合に、製造装置１に異常ありとの判定結果を取得し、当該判定結果に応じた異常の内容を示す信号を生成するとともに、当該生成した信号を表示装置４及び警報装置５のうちの少なくとも一方へ出力する。また、異常判定部３３Ｃは、例えば、平滑化処理部３３Ｂから出力される時系列データＸに対応する複数の平均異常度の中に閾値を超える平均異常度が所定の個数未満しか含まれていないことを検知した場合に、製造装置１に異常なしとの判定結果を取得する。
本実施形態においては、異常判定部３３Ｃの処理に用いられる閾値が、予め設定された固定値であってもよく、または、作業者等により変更可能な可変値であってもよい。また、本実施形態においては、異常判定部３３Ｃの処理に用いられる閾値が、製造装置１に異常なしとの判定結果が得られた際の平均異常度に基づいて算出される統計量に応じた値として設定されるようにしてもよい。
以上に述べたように、異常検知装置３は、測定対象の物理量を実際に測定して得られたＴ（Ｔ≧２）個の実測値を含むｍ（ｍ≧１）次元の時系列データから異常の有無を検知する。
以上に述べたように、本実施形態によれば、時間ステップｔに対応するｍ次元のセンサ値ｘtの分布状態を表す連続確率分布（多変量ガウス分布Ｎ（ｘt；μt，Σt））の表現に必要な分布パラメータ（分散共分散行列Σt及び平均ベクトルμt）を取得するとともに、当該取得した分布パラメータを時間ステップ毎に変化させるような処理が行われる。そのため、本実施形態によれば、製造装置１の異常検知に用いる自己回帰モデルとして、例えば、図９に模式的に示すような、センサ値の予測値の分布状態を表す連続確率分布がセンサ値の実測値に含まれるノイズの大きさに応じて変化するモデルを作成することができる。従って、本実施形態によれば、時系列データＸに含まれるノイズの特性が時間的に変化するような場合であっても、当該時系列データＸから異常の有無を高精度に判別することができる。図９は、実施形態の作用効果を説明するための模式図である。
本実施形態によれば、例えば、モデルパラメータ学習部３２と同様の機能を有する外部装置において図７及び図８の処理を行うことにより得られたモデルパラメータが記憶媒体３Ｂに格納されている場合に、基本ネットワーク部３１Ａが記憶媒体３Ｂから読み込んだ当該モデルパラメータに応じてニューラルネットワークに含まれる各重み（結合強度）を設定するようにしてもよい。すなわち、本実施形態によれば、図７及び図８の処理を経て得られたモデルパラメータが基本ネットワーク部３１Ａにより読み込まれる限りにおいては、モデルパラメータ学習部３２が異常検知装置３に設けられていなくともよい。
また、本実施形態に係る処理等を適宜変形することにより、上記数式（１）に示した多変量ガウス分布Ｎ（ｘ；μ，Σ）とは異なる他の連続確率分布を用いた処理が行われるようにしてもよい。
また、本実施形態に係る異常検知装置３の構成を適宜変形することにより、製造装置１とは異なる他の装置等に適合させるようにしてもよい。
本発明の実施形態を説明したが、これらの実施形態は、例として示したものであり、本発明の範囲を限定することは意図していない。これら新規の実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１ 製造装置
１Ａ センサ
２ センサデータ収集装置
３ 異常検知装置
３１ 異常度評価部
３２ モデルパラメータ学習部
３１Ａ，３２Ａ 基本ネットワーク部
３１Ｂ，３２Ｂ パラメータ取得部
３１Ｃ，３２Ｃ 制約処理部
３１Ｄ，３２Ｄ 異常度算出部
３３ 異常判定処理部
３３Ａ 異常度記録部
３３Ｂ 平滑化処理部
３３Ｃ 異常判定部
１０１ 監視システム
３１１ 予測部

Claims (8)

  1. 測定対象の物理量を実際に測定して得られたＴ（Ｔ≧２）個の実測値を含むｍ（ｍ≧１）次元の時系列データから異常の有無を検知するように構成された異常検知装置であって、
    前記ｍ次元の時系列データの時間ステップ毎に、前記ｍ次元の時系列データの時間ステップｔ（１≦ｔ≦Ｔ）において取得され得る予測値の分布状態を表す連続確率分布の表現に必要な分布パラメータを取得するための処理を行うように構成された予測部と、
    前記予測部により取得された前記分布パラメータを用い、前記ｍ次元の時系列データの前記時間ステップｔの実測値における異常の大きさを評価した評価値に相当する異常度を算出するための処理を行うように構成された異常度算出部と、
    を有し、
    前記予測部は、
    多層のニューラルネットワークを用いて構成されているとともに、前記時間ステップｔに隣接する複数の時間ステップに対応する過去の複数の実測値を入力データとして用いて処理を行うことにより出力データを取得するように構成された基本ネットワーク部と、
    前記ｍの値が２以上である場合に、前記基本ネットワーク部により取得された前記出力データに含まれるベクトルを分割する処理を行うことにより、ｍ次元の平均ベクトルと、ｍ次の正方行列に相当するｍ次の中間行列と、を基本パラメータとして取得するように構成されたパラメータ取得部と、
    前記ｍの値が２以上である場合に、前記パラメータ取得部により取得された前記基本パラメータを前記連続確率分布の定義域に収めるための処理を行うことにより、前記ｍ次元の平均ベクトルと、前記ｍ次の中間行列を多変量ガウス分布の定義域に収めるための処理により得られたｍ次の分散共分散行列と、を前記分布パラメータとして取得するように構成された制約処理部と、
    を有することを特徴とする異常検知装置。
  2. 前記予測部は、前記ｍの値が２以上である場合に、前記ｍ次元の時系列データのうちの少なくとも１次元の時系列データについて、前記分布パラメータを取得するための処理を行う
    ことを特徴とする請求項１に記載の異常検知装置。
  3. 前記異常度算出部は、前記異常度を算出するための処理として、前記連続確率分布の負の対数尤度を算出する処理を行う
    ことを特徴とする請求項１に記載の異常検知装置。
  4. 前記制約処理部は、前記ｍ次の中間行列を前記多変量ガウス分布の定義域に収めるための処理として、前記ｍ次の中間行列のグラム行列と、ｍ次の単位行列をλ（λは正の実数）倍した行列と、を加算する処理を行う
    ことを特徴とする請求項１に記載の異常検知装置。
  5. 前記異常検知装置による異常検知対象の装置が正常に動作している状態における前記測定対象の物理量の測定結果として得られた複数の実測値を含む時系列データに相当する正常データを用い、前記基本ネットワーク部と同一のネットワーク構成を有する所定のニューラルネットワークのパラメータを繰り返し更新する処理に相当する学習処理を行うことにより、前記基本ネットワーク部のニューラルネットワークのパラメータを設定する際に用いられるモデルパラメータを取得するように構成されたモデルパラメータ学習部をさらに有する
    ことを特徴とする請求項１に記載の異常検知装置。
  6. 前記モデルパラメータ学習部は、前記正常データを用いて前記所定のニューラルネットワークに含まれる少なくとも一部の結合強度の更新に用いられる勾配を算出する処理を前記学習処理において行うとともに、前記学習処理における所定の終了条件を満たした際の前記所定のニューラルネットワークの各結合強度を前記モデルパラメータとして保持する
    ことを特徴とする請求項５に記載の異常検知装置。
  7. 測定対象の物理量を実際に測定して得られたＴ（Ｔ≧２）個の実測値を含むｍ（ｍ≧１）次元の時系列データから異常の有無を検知するための異常検知方法であって、
    予測部が、前記ｍ次元の時系列データの時間ステップ毎に、前記ｍ次元の時系列データの時間ステップｔ（１≦ｔ≦Ｔ）において取得され得る予測値の分布状態を表す連続確率分布の表現に必要な分布パラメータを取得し、
    異常度算出部が、前記予測部により取得された前記分布パラメータを用い、前記ｍ次元の時系列データの前記時間ステップｔの実測値における異常の大きさを評価した評価値に相当する異常度を算出し、
    前記予測部が、
    多層のニューラルネットワークを用いて構成されているとともに、前記時間ステップｔに隣接する複数の時間ステップに対応する過去の複数の実測値を入力データとして用いて処理を行うことにより出力データを取得し、
    前記ｍの値が２以上である場合に、取得された前記出力データを分割する処理を行うことにより、ｍ次元の平均ベクトルと、ｍ次の正方行列に相当するｍ次の中間行列と、を基本パラメータとして取得し、
    前記ｍの値が２以上である場合に、取得された前記基本パラメータを前記連続確率分布の定義域に収めるための処理を行うことにより、前記ｍ次元の平均ベクトルと、前記ｍ次の中間行列を多変量ガウス分布の定義域に収めるための処理により得られたｍ次の分散共分散行列と、を前記分布パラメータとして取得する
    ことを特徴とする異常検知方法。
  8. 測定対象の物理量を実際に測定して得られたＴ（Ｔ≧２）個の実測値を含むｍ（ｍ≧１）次元の時系列データから異常の有無を検知するコンピュータにより実行されるプログラムであって、
    前記ｍ次元の時系列データの時間ステップ毎に、前記ｍ次元の時系列データの時間ステップｔ（１≦ｔ≦Ｔ）において取得され得る予測値の分布状態を表す連続確率分布の表現に必要な分布パラメータを取得する処理と、
    前記分布パラメータを用い、前記ｍ次元の時系列データの前記時間ステップｔの実測値における異常の大きさを評価した評価値に相当する異常度を算出する処理と、
    を実行させ、
    前記分布パラメータを取得する処理は、
    多層のニューラルネットワークを用いて構成されているとともに、前記時間ステップｔに隣接する複数の時間ステップに対応する過去の複数の実測値を入力データとして用いて処理を行うことにより出力データを取得する処理と、
    前記ｍの値が２以上である場合に、取得された前記出力データを分割する処理を行うことにより、ｍ次元の平均ベクトルと、ｍ次の正方行列に相当するｍ次の中間行列と、を基本パラメータとして取得する処理と、
    前記ｍの値が２以上である場合に、取得された前記基本パラメータを前記連続確率分布の定義域に収めるための処理を行うことにより、前記ｍ次元の平均ベクトルと、前記ｍ次の中間行列を多変量ガウス分布の定義域に収めるための処理により得られたｍ次の分散共分散行列と、を前記分布パラメータとして取得する処理と、
    を実行させるためのプログラム。
JP2018181533A 2018-09-27 2018-09-27 異常検知装置、異常検知方法及びプログラム Active JP7086803B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018181533A JP7086803B2 (ja) 2018-09-27 2018-09-27 異常検知装置、異常検知方法及びプログラム
US16/582,338 US11520672B2 (en) 2018-09-27 2019-09-25 Anomaly detection device, anomaly detection method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018181533A JP7086803B2 (ja) 2018-09-27 2018-09-27 異常検知装置、異常検知方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020052740A JP2020052740A (ja) 2020-04-02
JP7086803B2 true JP7086803B2 (ja) 2022-06-20

Family

ID=69945926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018181533A Active JP7086803B2 (ja) 2018-09-27 2018-09-27 異常検知装置、異常検知方法及びプログラム

Country Status (2)

Country Link
US (1) US11520672B2 (ja)
JP (1) JP7086803B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086803B2 (ja) * 2018-09-27 2022-06-20 株式会社東芝 異常検知装置、異常検知方法及びプログラム
EP3893066A1 (de) * 2020-04-09 2021-10-13 Siemens Aktiengesellschaft Verfahren und vorrichtung zum betrieb einer maschine mit einem werkzeug
CN113537519A (zh) * 2020-04-10 2021-10-22 北京京东乾石科技有限公司 一种识别异常设备的方法和装置
CN111880998B (zh) * 2020-07-30 2022-09-02 平安科技（深圳）有限公司 服务系统异常检测方法、装置、计算机设备和存储介质
JP7318612B2 (ja) * 2020-08-27 2023-08-01 横河電機株式会社 監視装置、監視方法、および監視プログラム
CN112418529B (zh) * 2020-11-24 2024-02-27 江苏巨数智能科技有限公司 基于lstm神经网络的户外广告在线倒塌预测方法
CN113255775B (zh) * 2021-05-28 2021-09-24 神威超算(北京)科技有限公司 一种电力系统异常数据的识别方法、装置和智能芯片
US20230244946A1 (en) * 2022-01-28 2023-08-03 International Business Machines Corporation Unsupervised anomaly detection of industrial dynamic systems with contrastive latent density learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016201088A (ja) 2015-04-10 2016-12-01 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 異常検出システムおよび方法
JP2017194341A (ja) 2016-04-20 2017-10-26 株式会社Ihi 異常診断方法、異常診断装置、及び異常診断プログラム
JP2018049355A (ja) 2016-09-20 2018-03-29 株式会社東芝 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、および学習プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07219623A (ja) 1994-02-02 1995-08-18 Yaskawa Electric Corp 計測器の異常検知装置
US10277693B2 (en) * 2015-06-04 2019-04-30 Twitter, Inc. Trend detection in a messaging platform
US10706554B2 (en) * 2017-04-14 2020-07-07 Adobe Inc. Three-dimensional segmentation of digital models utilizing soft classification geometric tuning
JP7086803B2 (ja) * 2018-09-27 2022-06-20 株式会社東芝 異常検知装置、異常検知方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016201088A (ja) 2015-04-10 2016-12-01 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ 異常検出システムおよび方法
JP2017194341A (ja) 2016-04-20 2017-10-26 株式会社Ihi 異常診断方法、異常診断装置、及び異常診断プログラム
JP2018049355A (ja) 2016-09-20 2018-03-29 株式会社東芝 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、および学習プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
井手 剛，入門 機械学習による異常検知 －Ｒによる実践ガイド－，第3版，株式会社コロナ社 CORONA PUBLISHING CO.,LTD. 牛来 真也，2016年01月10日，19頁

Also Published As

Publication number Publication date
JP2020052740A (ja) 2020-04-02
US11520672B2 (en) 2022-12-06
US20200104224A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
JP7086803B2 (ja) 異常検知装置、異常検知方法及びプログラム
CN102985211B (zh) 用于检查焊接点的质量的方法
US20210342244A1 (en) Distributed architecture for fault monitoring
Mao et al. A model for quantifying uncertainty in the estimation of noise-contaminated measurements of transmissibility
US10565080B2 (en) Discriminative hidden kalman filters for classification of streaming sensor data in condition monitoring
US9910966B2 (en) System and method of increasing sample throughput
Monteil et al. Calibration, estimation, and sampling issues of car-following parameters
CN111611294B (zh) 星敏感器数据异常检测方法
CN103646114B (zh) 硬盘smart数据中特征数据提取方法和装置
JP2022002111A (ja) 製造条件出力装置、品質管理システム及びプログラム
WO2017022234A1 (ja) 製造プロセス分析装置、製造プロセス分析方法、及び、製造プロセス分析プログラムが格納された記録媒体
KR102221067B1 (ko) 네트워크 엔트로피에 기초하는 생체의 상태 천이의 예조의 검출을 지원하는 검출 장치, 검출 방법 및 검출 프로그램
JP6950504B2 (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
Neves et al. The influence of frequency content on the performance of artificial neural network–based damage detection systems tested on numerical and experimental bridge data
Luleci et al. Generative adversarial networks for labelled vibration data generation
JP2020140252A (ja) 運営評価装置、運営評価方法、およびプログラム
CN116881783B (zh) 道路损伤检测方法、装置、计算机设备、存储介质
Dederichs et al. Comparison of automated operational modal analysis algorithms for long-span bridge applications
JP6904331B2 (ja) 要因分析装置、要因分析方法、およびプログラム
US11775512B2 (en) Data analysis apparatus, method and system
Luca et al. Anomaly detection using the Poisson process limit for extremes
Jia et al. Development of multivariate failure threshold with quantifiable operation risks in machine prognostics
JP6951202B2 (ja) データ分類装置
Christensen et al. Parameter study of statistics of modal parameter estimates using automated operational modal analysis
Li et al. Methodology on establishing multivariate failure thresholds for improved remaining useful life prediction in PHM

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20191004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220608

R150 Certificate of patent or registration of utility model

Ref document number: 7086803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150