JP7105932B2 - アプリケーション情報に関連する時系列ズデータに関する深層学習を使用した異常検出 - Google Patents

アプリケーション情報に関連する時系列ズデータに関する深層学習を使用した異常検出 Download PDF

Info

Publication number
JP7105932B2
JP7105932B2 JP2020570141A JP2020570141A JP7105932B2 JP 7105932 B2 JP7105932 B2 JP 7105932B2 JP 2020570141 A JP2020570141 A JP 2020570141A JP 2020570141 A JP2020570141 A JP 2020570141A JP 7105932 B2 JP7105932 B2 JP 7105932B2
Authority
JP
Japan
Prior art keywords
time series
series segment
new time
monitored system
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020570141A
Other languages
English (en)
Other versions
JP2021528745A (ja
Inventor
ニン シャー、
ドンジン ソン、
ハイフォン チェン、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Laboratories America Inc
Original Assignee
NEC Laboratories America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Laboratories America Inc filed Critical NEC Laboratories America Inc
Publication of JP2021528745A publication Critical patent/JP2021528745A/ja
Application granted granted Critical
Publication of JP7105932B2 publication Critical patent/JP7105932B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本出願は、2018年9月4日に出願された米国仮特許出願第62/726,501号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
本出願は、その全体が参照により本明細書に組み込まれる、2019年1月11日に出願された米国特許出願第16/245,740号に関連する。
本発明は、複雑なシステムにおける多変量時系列検索に関し、特に、多変量時系列を用いた異常検出に関する。
関連技術の説明
多変量時系列データは、例えば、発電所モニタリング、ヘルスケア、ウェアラブル装置、自動車モニタリング、物のインターネットアプリケーションなどを含む、多くの実用的なアプリケーションにわたって共通である。多変量時系列の検索は、現在の多変量時系列セグメントが与えられたときに、履歴データから関連する時系列セグメントをどのように取得するかを特徴付ける。言い換えると、特定の既知の時系列を使用して履歴データ内で一致する時系列を見つけることは、特に困難になり得る。
異常を検出し補正する方法は、サイバー物理システム内のセンサによって生成された新しい時系列セグメントを、センサの以前の時系列セグメントと比較して、各以前の時系列セグメントについての類似性測度を生成することを含む。新しい時系列が類似性測度に基づいて異常な挙動を表すと判定される。異常な挙動を補正するために、サイバー物理システムに対して補正措置が実行される。
異常を検出し補正するシステムは、サイバー物理システム内のセンサによって生成された新しい時系列セグメントを、センサの以前の時系列セグメントと比較して、各以前の時系列セグメントに対する類似性測度を生成し、その類似性測度に基づいて新しい時系列が異常な挙動を示すことを決定するように構成された異常検出器を含む。コントローラは、異常な挙動を補正するためにサイバー物理システムに対して補正措置を実行するように構成される。
これらおよび他の特徴および利点は添付の図面に関連して読まれるべき、その例示的な実施形態の以下の詳細な説明から明らかになるのであろう。
本開示は、以下の図面を参照して、好ましい実施形態の以下の説明において詳細を提供する。
図1は、本発明の一実施形態による、異常検出および補正を備えた監視対象システムのブロック図である。 図2は、本発明の一実施形態による、異常検出および補正の方法のブロック/フロー図である。 図3は、本発明の一実施形態による、既知の正常サンプルを決定する方法のブロック/フロー図である。 図4は、本発明の一実施形態による、記憶されたサンプルに新しい測定値を照会する方法のブロック/フロー図である。 図5は、本発明の一実施形態による、新しい測定値における異常を識別する方法のブロック/フロー図である。 図6は、本発明の一実施形態による、ニューラルネットワークアーキテクチャのローレベル図である。 図7は、本発明の一実施形態による、ニューラルネットワークアーキテクチャのハイレベル図である。 図8は、本発明の一実施形態による、異常検出および補正のためのシステムのブロック図である。
本発明の実施形態は、潜在的に多数のセンサを含むサイバー物理システムにおける異常検出を提供する。特に、本実施形態は、センサの出力を受け付けることが可能であり、それらを時間セグメントに分割する。各センサについての履歴時間セグメントのセットがデータベースに記憶され、新たに記録された時間セグメントが記憶された時間セグメントと比較される。新しい時間セグメントが以前に記録された時間セグメントから実質的に逸脱すると、異常が検出され、補正措置が実行される。
したがって、機械学習モデルを構築するのではなく、本実施形態は単に、一組の既知の正常な測定値を使用し、新しいおよび異常な状況を識別するために類似性を使用する。したがって、本実施形態は、そのような異常を事前に生成するための正確なラベルを必要とせずに、新しいタイプの異常を識別することができる。
図1を参照すると、異常検出システム106が、監視対象システム102との関連で示されている。監視対象システム102は、製造ラインおよび物理的プラント操作などの物理システム、コンピュータまたは他のコンピュータ化された装置などの電子システム、ウェアラブル装置、車両、物のインターネット装置、ならびにオペレーティングシステムおよびアプリケーションなどのソフトウェアシステムを含む、任意の適切なシステムとすることができる。サイバー物理システムは、複数のタイプのそのようなシステムを含むことができる。
1つまたは複数のセンサ104は、監視対象システム102の状態に関する情報を記録する。センサ104は、例えば、温度センサ、湿度センサ、振動センサ、圧力センサ、電圧センサ、電流センサ、磁場センサ、電場センサ、および光センサなどの物理的センサと、コンピュータシステム上で動作しているオペレーティングシステムおよびアプリケーションの状態および動作に関する情報を記録するために、コンピュータシステム上にインストールされたログユーティリティなどのソフトウェアセンサとを含んでも良い。センサ104によって生成される情報は、任意の適切なフォーマットとすることができ、異種フォーマットで生成されるセンサログ情報を含むことができる。センサ104は、それぞれのレコードが生成された時刻を示す関連するタイムスタンプを有しても、有しなくてもよいレコードの順序付けられたリストとして表される時系列データを生成してもよいと、特に考えられる。
センサ104は、無線通信および有線通信を含む任意の適切な通信媒体およびプロトコルによって、ログされたセンサ情報を異常検出システム106に送信することができる。異常検出システム106は、最近測定された一連の時系列データを、以前に記録されたデータのセットの本体と比較し、1つまたは複数の一致する履歴インスタンスを検索する。これらの検索したインスタンスは、その検索したインスタンスに関連する期間中の監視対象システム102の状態または活動を記述する関連ラベルを有することができる。場合によっては、検索したインスタンスのラベルが、監視対象システム102が異常な、または、別の不利な方法で動作していることを示すことができる。他の例では、一致が見つからない場合、現在の挙動が既知の正常な挙動を反映しないという事実から、異常を示すことができる。
異常挙動が検出されると、異常検出システム106は、システム制御ユニット108と通信して、異常な挙動を補正するために、監視対象システム102の1つまたは複数のパラメータを変更する。例示的な補正措置は、アプリケーションまたはハードウェア構成要素のためのセキュリティ設定の変更、アプリケーションまたはハードウェア構成要素の動作パラメータの変更(例えば、動作速度)、アプリケーションの停止および/または再起動、ハードウェア構成要素の停止および/または再起動、環境条件の変更、ネットワークインターフェースの状態または設定の変更などを含む。これにより、異常検出システム106は、異常な挙動を自動的に補正し、又は軽減する。
次に、図2を参照すると、監視対象システム102内の異常な挙動を検出および補正する方法が示されている。ブロック202は、既知の正常サンプルを決定し、それらをデータベースに記憶する。この訓練フェーズ間、ブロック202は、監視対象システム102が正常に動作していることが知られている期間に、それぞれのセンサ104からの一連の時系列記録を受け入れ、この正常な挙動を表す時間セグメントを生成する。ブロック202の訓練フェーズについてのさらなる詳細は、以下に記載される。
次いで、ブロック204は、特徴および最近測定された時間セグメントのハッシュを使用して、記憶された時間セグメントへの問合せを受け入れる。ブロック206は、例えば、時間セグメント間のハッシュ距離を比較し、異なる時間セグメントを識別することによって、時間セグメントが異常な挙動を表すかどうかを判定する。照会および異常の検出に関するさらなる詳細は、以下に記載される。異常が識別されると、ブロック208は、上述したように、補正措置を実行する。この補正措置は、異常時間セグメントに対応するセンサ104の測定値を通常動作に戻すように選択される。この目的のために、図2の処理は、必要に応じて繰り返すことができ、初期調整が異常な挙動を補正しない場合には、追加の補正措置が実行される。
ここで、図3を参照すると、ブロック202における既知の正常サンプルの決定に関するさらなる詳細が示されている。ブロック302は、センサ記録を時間セグメントに分割する。各センサ記録は、それぞれのセンサ104からの、時間順に配列された一連の測定値を表す。時間セグメントは、任意の適切な期間内に行われる一連の測定に分割することができる。いくつかの実施形態では、セグメントが例えば、それぞれの日をカバーするように、周期的に分割することができる。他の実施形態では、セグメントは、変化する時間周期に従って分割されてもよく、または何らかのイベントによってトリガされてもよい。
ブロック304は、入力アテンションベースの長短期記憶(LSTM)ネットワークを含む、ニューラルネットワークのセットを訓練することによって、時間セグメントのためのデータモデルを生成する。ニューラルネットワークは、所与のセンサ104の時間セグメントのセットを受け入れ、その時間セグメントの特徴を出力する。
ブロック306は、ブロック304で生成されるデータモデルを使用して、各センサ104についての時間セグメントの特徴を生成する。いくつかの実施形態では、特徴が、それぞれがそれぞれのデータ値を有する、例えば128以上の次元を有する高次元ベクトルを表すことができる。次に、ブロック308は、生成された各特徴のハッシュを生成する。いくつかの実施形態では、ブロック308によって使用されるハッシュ関数が、以下で説明するように、隠れた特徴上の符号関数とすることができる。したがって、n個の異なる浮動小数点値を持つ特徴について、関数のハッシュはn個のバイナリ値を持ち、各値はその特徴の対応するデータ値が正か負かを表す。ブロック310は、将来の問合せのために、すべての特徴およびそれらのそれぞれのハッシュコードをデータベースに格納する。
ここで、図4を参照すると、ブロック204において、記憶されたサンプルに新しい測定値を問合せることに関するさらなる詳細が示されている。ブロック402は、新しい時間セグメント問合せを受信する。時間セグメント問合せは、独立型であってもよく、またはいくつかの実施形態では、上述のように時間セグメントに分割されたセンサ104からのより長い時系列の一部であってもよい。ブロック404は、ブロック304で生成されたデータモデルを使用して、受信された問合せの特徴を生成する。次に、ブロック406は、例えば、ブロック308における記憶したハッシュを生成するために使用されたのと同じハッシュ関数を使用して、データモデルによって出力される問合せ特徴のハッシュを生成する。
ブロック408は、問合せ特徴およびハッシュを記憶した値と比較する。この比較は、例えば、記憶したハッシュコードと問合せ特徴のハッシュコードとの間のハミング距離に基づくことができる。いくつかの実施形態では、最小ハミング距離を使用して比較を実行することができる。
次に、図5を参照すると、ブロック206における新しい測定値における異常の識別に関する付加的詳細が示されている。ブロック204で問合せが実行され、新しい測定値のハッシュが記憶された時間セグメントのハッシュと比較された後、ブロック502が、ブロック408で計算された距離を使用してハッシュの最小距離が計算する。ブロック504は、ハッシュ距離の分布を計算する。例えば、問合せと履歴セグメントのハッシュ符号のデータベースとの間の最小ハミング距離を決定することができる。したがって、問合せセグメントからのハッシュ距離が小さい単一の記憶された時間セグメントがある場合、ブロック504は、問合せセグメントの全体的な値を低くする。
したがって、異なる時間ステップでのT問合せ(時間順序に基づく)の実施例では、
Figure 0007105932000001
問合せに対して、
Figure 0007105932000002
問合せに対応するハッシュコードがデータベース内のすべてのハッシュコードと比較され、最小ハミング距離が異常スコアを生成するために使用される。T個の異なるステップ(問合せ)があるので、異常スコアは異なる時間ステップで変化する。
ブロック506は、それぞれの記憶された時間セグメントのハッシュ距離をしきい値と比較する。しきい値は、任意の適切な値とすることができる。いくつかの実施形態では、しきい値が、いくつかの検証または訓練セットにわたって測定された、決定された最小ハミング距離の最大値として決定され得る。したがって、既知の良好な時間セグメントの間で測定された最大距離をしきい値として使用することができ、そこでは、より大きな距離がブロック508によって異常であると識別される。
図6を参照すると、人工ニューラルネットワーク(ANN)アーキテクチャ600が示されている。本アーキテクチャは純粋に例示的なものであり、代わりに他のアーキテクチャまたはタイプのニューラルネットワークを使用することができることを理解されたい。本明細書で説明されるANNの実施形態は、高レベルの一般性でニューラルネットワーク計算の一般原理を示すことを意図して含まれており、いかなる場合でも限定するものと解釈されるべきではない。
さらに、以下に記載されるニューロンの層およびそれらを接続する重みは、一般的な様式で記載され、任意の適切な程度またはタイプの相互接続性を有する任意のタイプのニューラルネットワーク層によって置き換えられ得る。例えば、層は、畳み込み層、プーリング層、完全に接続された層、ソフトマックス層、または任意の他の適切なタイプのニューラルネットワーク層を含むことができる。さらに、必要に応じて層を追加または除去することができ、相互接続のより複雑な形態のために重みを省略することができる。
フィードフォワード操作の間、入力ニューロン602のセットはそれぞれ、重み604のそれぞれの行に並列に入力信号を提供する。重み604はそれぞれ、重み出力が重み604からそれぞれの隠れニューロン606に渡され、隠れニューロン606への重み付き入力を表すように、それぞれの設定可能な値を有する。ソフトウェアの実施形態では、重み604は単に、関連する信号に対して乗算される係数値として表すことができる。各重みからの信号は、列ごとに加算され、隠れニューロン606に流れる。
隠れニューロン606は、重み604のアレイからの信号を使用して、何らかの計算を実行する。次に、隠れニューロン606は、それ自体の信号を重み604の別のアレイに出力する。このアレイは同様に動作し、重み604の列はそれぞれの隠れニューロン606から信号を受信し、行ごとに加算され、出力ニューロン608に供給される重み付けされた信号出力を生成する。
アレイと隠れたニューロン606の追加の層を介在させることにより、これらの段階の任意の数が実装され得ることを理解すべきである。また、いくつかのニューロンは、アレイに一定の出力を提供する定常ニューロン609であってもよいことに注意すべきである。定常ニューロン609は、入力ニューロン602および/または隠れニューロン606の間に存在することができ、フィードフォワード操作中にのみ使用される。
バックプロパゲーションの間、出力ニューロン608は、重み604のアレイを横切って戻る信号を提供する。出力層は、生成されたネットワーク応答を訓練データと比較し、誤差を計算する。誤差信号を誤差値に比例させることができる。この実施例では、重み604の行がそれぞれの出力ニューロン608から並列に信号を受け取り、列ごとに加算して隠れニューロン606に入力を提供する出力を生成する。隠れニューロン606は、重み付けされたフィードバック信号をそのフィードフォワード計算の導関数と結合し、フィードバック信号を重み604のそれぞれの列に出力する前に誤差値を記憶する。このバックプロパゲーションは、すべての隠れニューロン606および入力ニューロン602が誤差値を記憶するまで、ネットワーク600全体を通って進行する。
重み更新中、記憶された誤差値は、重み604の設定可能な値を更新するために使用される。このようにして、重み604は、ニューラルネットワーク600をその処理における誤差に適応するように訓練できる。フィードフォワード、バックプロパゲーション、および重み更新の3つの動作モードは、互いに重複しないことに留意されたい。
図7を参照すると、特徴抽出データモデルニューラルネットワークの構造が示されている。ネットワーク700は、時間セグメントを入力とする。データ点の時系列を表す時間セグメントは、時間または多数のデータ点によって測定される長さTの部分に分割される。ネットワーク700は、時間セグメントの長さを長さTで割ったものに等しい数のチェーンを含む。時間セグメントは、その長さTの部分に分割された、それぞれのチェーンへの入力のセットとして適用される。入力アテンション層702は、時間セグメントの部分を受け取り、第1のチェーンの後のチェーンについては、アテンション層702は、入力として、以前のチェーンの隠れ状態の出力も受け取る。いくつかの実施形態では、第1のチェーン内のアテンション層702は、以前の隠れ状態がないので、その隠れ状態ベクトルとしてゼロベクトルを使用することができる。
アテンション層702は、時間セグメントのそれぞれの部分に対する重みのセットを生成する。これらの重みは、重みが1の合計を有するように、ソフトマックス層704において正規化される。入力部分は、重み付けブロック706において、それぞれの重みと乗算される。次に、重み付けされた入力は、長短期メモリ(LSTM)ブロック708に適用される。LSTMブロックが具体的に企図されるが、代わりにゲート付き回帰型ユニット(GRU)を使用できることを理解されたい。
LSTMブロック708は、次のチェーンのLSTMブロック708への入力としても適用される、チェーンのための隠れ状態を生成する。したがって、各LSTMブロック708は2つの入力、すなわち、以前のチェーンのLSTMブロック708の隠れ状態
Figure 0007105932000003
と、それぞれの重み付けブロック706によって出力された重み付き部分
Figure 0007105932000004
とを受け入れる。2つの入力は、結合されて出力
Figure 0007105932000005
を形成し、関数
Figure 0007105932000006
はLSTMユニットである。以前の隠れ状態が存在しない第1のチェーンでは、
Figure 0007105932000007
の値を0ベクトルに設定できる。最後のチェーンの出力は、入力時間セグメントの特徴のセットであり、例えば、データ値のベクトルとして表され、各データ値は、それぞれの特徴を表す。
本明細書に記載する実施形態は、完全にハードウェアであってもよく、完全にソフトウェアであってもよく、またはハードウェアおよびソフトウェア要素の両方を含むものであってもよい。好ましい実施形態では、本発明がファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されないソフトウェアで実施される。
実施形態は、コンピュータまたは任意の命令実行システムによって、またはそれに関連して使用するプログラムコードを提供する、コンピュータ使用可能またはコンピュータ読み取り可能媒体からアクセス可能なコンピュータプログラム製品を含むことができる。コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを格納、通信、伝搬、または転送する任意の装置を含むことができる。媒体は、磁気、光学、電子、電磁気、赤外線、または半導体システム(または装置またはデバイス)、または伝搬媒体とすることができる。媒体は、半導体または固体メモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、リジッド磁気ディスクおよび光ディスクなどのコンピュータ読み取り可能な記憶媒体を含むことができる。
各コンピュータプログラムは、本明細書に記載する手順を実行するために、記憶媒体または装置がコンピュータによって読み取られるときに、コンピュータの操作を構成し制御するために、汎用または特殊目的のプログラム可能コンピュータによって読み取り可能な、機械読み取り可能な記憶媒体または装置(例えば、プログラムメモリまたは磁気ディスク)に実体的に記憶することができる。本発明のシステムはまた、コンピュータプログラムで構成された、コンピュータ読み取り可能な記憶媒体で実施されるものと考えることができ、その場合、構成された記憶媒体は、コンピュータを特定の所定の方法で動作させて、本明細書に記載する機能を実行させる。
プログラムコードを記憶および/または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接的または間接的に結合された少なくとも1つのプロセッサを含んでもよい。メモリ要素は、プログラムコードの実際の実行中に採用されるローカルメモリ、バルクストレージ、および実行中にバルクストレージからコードが検索される回数を減らすために少なくとも何らかのプログラムコードの一時記憶を提供するキャッシュメモリを含むことができる。入力/出力またはI/O装置(キーボード、ディスプレイ、ポインティング装置などを含むが、これらに限定されない)は、直接または介在するI/Oコントローラを介してシステムに結合され得る。
介在する専用ネットワークまたは公衆ネットワークを介して、データ処理システムを他のデータ処理システムあるいはリモートプリンタまたはストレージデバイスに結合できるようにするために、ネットワークアダプタをシステムに結合することもできる。モデム、ケーブルモデム、およびイーサネットカードは、現在使用可能なネットワークアダプタのタイプの一例に過ぎない。
本明細書で使用されるように、「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、1つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ、ソフトウェア、またはそれらの組み合わせを指すことができる。有用な実施形態では、ハードウェアプロセッササブシステムが1つまたは複数のデータ処理要素(例えば、論理回路、処理回路、命令実行デバイスなど)を含むことができる。1つまたは複数のデータ処理要素は、中央処理装置、グラフィックス処理装置、および/または別個のプロセッサまたはコンピューティング要素ベースのコントローラ(たとえば、論理ゲートなど)に含めることができる。ハードウェアプロセッササブシステムは、1つ以上のオンボードメモリ(例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリなど)を含むことができる。いくつかの実施形態では、ハードウェアプロセッササブシステムが、オンボードまたはオフボードにすることができるか、またはハードウェアプロセッササブシステム(例えば、ROM、RAM、基本入出力システム(BIOS)など)によって使用するために専用にすることができる1つ以上のメモリを含むことができる。
ある実施形態では、ハードウェアプロセッササブシステムは、1つ以上のソフトウェア要素を含むことができ、実行することができる。1つ以上のソフトウェア要素は、特定の結果を達成するために、オペレーティングシステムおよび/または1つ以上のアプリケーションおよび/または特定のコードを含むことができる。
他の実施形態では、ハードウェアプロセッササブシステムは、指定された結果を達成するために1つまたは複数の電子処理機能を実行する専用の専用回路を含むことができる。そのような回路は、1つまたは複数の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、および/またはプログラマブルロジックアレイ(PLA)を含むことができる。
ハードウェアプロセッササブシステムのこれらおよび他の変形もまた、本発明の実施形態に従って企図される。
次に、図8を参照すると、異常検出システム106のさらなる詳細が示されている。システム106は、ハードウェアプロセッサとメモリ804とを含む。ネットワークインターフェース806は、監視対象システム102およびセンサ104と通信し、センサ104から時系列データを受信し、任意の適切な有線または無線の通信媒体およびプロトコルによって監視対象システム102の要素にコマンドを発行する。
モデルトレーナ808は、動作が正常な挙動を表すことが知られている期間に、センサ104から収集された時系列で構成される訓練データのセットに基づいて、データモデル810を生成する。データモデル810を生成することに加えて、モデルトレーナ808は、データモデル810を使用して、訓練セット内の時間セグメントの各々について特徴およびハッシュのセットを生成する。結果として生じるデータモデル810は、異常検出器812によって使用され、時間セグメントが異常な挙動を表すか否かを決定するために、新たに測定された時間セグメントの特徴を識別する。
コントローラ814は、ネットワークインターフェース806を使用して、異常検出器812によって示された異常を自動的に補正するために、監視対象システム102の構成要素に命令を発行する。これらの命令は、例えば、監視対象システム102の1つまたは複数の動作特性の挙動を制御して、異常なセンサ読み取り値を正常な動作範囲に戻すことができる。
上記はあらゆる点で例示的かつ例示的であるが、限定的ではないと理解されるべきであり、本明細書に開示される本発明の範囲は詳細な説明からではなく、むしろ特許法によって許容される全範囲に従って解釈されるような特許請求の範囲から決定されるべきである。本明細書に示され、説明された実施形態は、本発明の例示にすぎず、当業者は本発明の範囲および精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者は、本発明の範囲および精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、本発明の態様を、特許法によって要求される詳細および特殊性と共に説明してきたが、特許証によって保護されることが請求され、望まれるものは添付の特許請求の範囲に記載されている。

Claims (14)

  1. 異常を検出し補正する方法であって、
    監視対象システム内のセンサによって生成された新しい時系列セグメントを、前記センサの以前の時系列セグメントと比較して(204)、各以前の時系列セグメントの類似性測度を生成することと、
    前記類似性測度に基づいて前記新しい時系列が異常な挙動を表すことを決定する(206)ことと、
    前記異常な挙動を補正するために、前記監視対象システムに対して補正措置を実行する(208)ことと、
    各以前の時系列セグメントと前記新しい時系列セグメントとについてハッシュコードを生成することと、を含み、
    前記新しい時系列セグメントを前記以前の時系列セグメントと比較することは、各以前の時系列セグメントと前記新しい時系列セグメントについて前記ハッシュコード間の距離を決定することを含み、
    前記新しい時系列が異常な挙動を表すことを決定することは、前記新しい時系列セグメントのハッシュコードと前記以前の時系列セグメントのハッシュコードとの間で決定された距離の中で最低距離を識別することと、前記最低距離をしきい値と比較することと、を含み、
    前記以前の時系列セグメントの各々のハッシュコード間のハミング距離を決定し、前記しきい値として最高のハミング距離を選択することによって、前記しきい値を決定することを含む方法。
  2. 前記距離を決定することは、それぞれのハッシュコード間のハミング距離を決定することを含む、請求項に記載の方法。
  3. 前記新しい時系列が異常な挙動を表すことを決定することは、前記最低距離が前記しきい値を上回ることを決定することをさらに含む、請求項に記載の方法。
  4. 前記ハッシュコードを生成することは、特徴値のベクトル内の各値に符号関数を適用して、前記特徴値のベクトルと同じ次元を有するハッシュベクトルを生成することを含む、請求項に記載の方法。
  5. 比較することが、ニューラルネットワーク層に従って、前記新しい時系列セグメントの部分に重み付けすることによって、前記新しい時系列セグメントの特徴を決定することを含む、請求項1に記載の方法。
  6. 特徴を決定することは、長短期記憶ニューラルネットワーク層を使用して、前記新しい時系列セグメントの異なる部分からの情報を結合することをさらに含む、請求項に記載の方法。
  7. 前記補正措置は、前記監視対象システムのアプリケーションまたはハードウェアコンポーネントのセキュリティ設定を変更すること、前記監視対象システムのアプリケーションまたはハードウェアコンポーネントの動作パラメータを変更すること、前記監視対象システムのアプリケーションを停止または再起動すること、前記監視対象システムのハードウェアコンポーネントを停止または再起動すること、前記監視対象システムの環境条件を変更すること、および前記監視対象システムのネットワークインターフェースのステータスを変更することからなる群から選択される、請求項1に記載の方法。
  8. 異常を検出し補正するシステムであって、
    監視対象システム内のセンサによって生成された新しい時系列セグメントを、前記センサの以前の時系列セグメントと比較して、各以前の時系列セグメントに対する類似性測度を生成し、前記類似性測度に基づいて前記新しい時系列が異常な挙動を表すことを決定するように構成された異常検出器(812)と、
    前記異常な挙動を補正するために前記監視対象システム上で補正措置を実行するように構成されたコントローラ(814)と、を含み、
    前記異常検出器は、
    各以前の時系列セグメントおよび前記新しい時系列セグメントについてハッシュコードを生成し、各以前の時系列セグメントと前記新しい時系列セグメントとの前記ハッシュコード間の距離を決定し、
    前記新しい時系列セグメントのハッシュコードと前記以前の時系列セグメントの前記ハッシュコードとの間の前記決定された距離のうちの最低距離を識別し、前記最低距離をしきい値と比較し、
    前記以前の時系列セグメントの各々のハッシュコード間のハミング距離を決定し、前記閾値として最高のハミング距離を選択するように構成される、システム。
  9. 前記異常検出器は、それぞれのハッシュコード間のハミング距離を決定するようにさらに構成される、請求項に記載のシステム。
  10. 前記異常検出器は、前記最低距離が前記しきい値を上回っていることを決定するようにさらに構成される、請求項に記載のシステム。
  11. 前記異常検出器は、特徴値のベクトル内の各値に符号関数を適用して、前記特徴値のベクトルと同じ次元を有するハッシュベクトルを生成するようにさらに構成される、請求項に記載のシステム。
  12. 前記異常検出器は、ニューラルネットワーク層に従って、前記新しい時系列セグメントの部分を重み付けすることによって、前記新しい時系列セグメントの特徴を決定するようにさらに構成される、請求項に記載のシステム。
  13. 前記異常検出器は、長短期記憶ニューラルネットワーク層を使用して、前記新しい時系列セグメントの異なる部分からの情報を結合するようにさらに構成される、請求項12に記載のシステム。
  14. 前記コントローラは、前記監視対象システムのアプリケーションまたはハードウェアコンポーネントのセキュリティ設定を変更すること、前記監視対象システムのアプリケーションまたはハードウェアコンポーネントの動作パラメータを変更すること、前記監視対象システムのアプリケーションを停止または再起動すること、前記監視対象システムのハードウェアコンポーネントを停止または再起動すること、前記監視対象システムの環境条件を変更すること、および前記監視対象システムのネットワークインターフェースのステータスを変更することからなる群から選択される補正措置を実行するようにさらに構成される、請求項に記載のシステム。
JP2020570141A 2018-09-04 2019-09-04 アプリケーション情報に関連する時系列ズデータに関する深層学習を使用した異常検出 Active JP7105932B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862726501P 2018-09-04 2018-09-04
US62/726,501 2018-09-04
US16/558,639 US11494618B2 (en) 2018-09-04 2019-09-03 Anomaly detection using deep learning on time series data
US16/558,639 2019-09-03
PCT/US2019/049443 WO2020068382A2 (en) 2018-09-04 2019-09-04 Anomaly detection using deep learning on time series data

Publications (2)

Publication Number Publication Date
JP2021528745A JP2021528745A (ja) 2021-10-21
JP7105932B2 true JP7105932B2 (ja) 2022-07-25

Family

ID=69641694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020570141A Active JP7105932B2 (ja) 2018-09-04 2019-09-04 アプリケーション情報に関連する時系列ズデータに関する深層学習を使用した異常検出

Country Status (3)

Country Link
US (1) US11494618B2 (ja)
JP (1) JP7105932B2 (ja)
WO (1) WO2020068382A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11487872B2 (en) * 2018-12-07 2022-11-01 Hewlett Packard Enterprise Development Lp Detection of hardware security attacks
US11797843B2 (en) * 2019-03-06 2023-10-24 Samsung Electronics Co., Ltd. Hashing-based effective user modeling
JP7248103B2 (ja) * 2019-03-26 2023-03-29 日本電気株式会社 異常検知方法、異常検知装置、プログラム
US11719563B2 (en) * 2019-07-03 2023-08-08 Red Hat, Inc. Distributed anomaly detection using combinable measurement value summaries
US11543808B2 (en) * 2020-04-08 2023-01-03 Nec Corporation Sensor attribution for anomaly detection
US20230154080A1 (en) * 2020-04-20 2023-05-18 Schlumberger Technology Corporation Characterizing non-linear dynamic processes
WO2021220358A1 (ja) * 2020-04-27 2021-11-04 三菱電機株式会社 異常診断方法、異常診断装置および異常診断プログラム
US11956224B2 (en) * 2020-06-11 2024-04-09 Bank Of America Corporation Using machine-learning models to authenticate users and protect enterprise-managed information and resources
US20220019665A1 (en) * 2020-07-20 2022-01-20 Cybereason Inc. Systems and methods for determining measurements of similarity between various types of data
US11336507B2 (en) * 2020-09-30 2022-05-17 Cisco Technology, Inc. Anomaly detection and filtering based on system logs
US20220318624A1 (en) * 2021-04-05 2022-10-06 Nec Laboratories America, Inc. Anomaly detection in multiple operational modes
US20220318627A1 (en) * 2021-04-06 2022-10-06 Nec Laboratories America, Inc. Time series retrieval with code updates
EP4206838A1 (en) 2021-12-29 2023-07-05 Petkim Petrokimya Holding A.S. Forecasting and anomaly detection method for low density polyethylene autoclave reactor
TWI806536B (zh) * 2022-04-06 2023-06-21 瑞昱半導體股份有限公司 異常狀態偵測的處理電路、網路設備與處理方法
CN115600932B (zh) * 2022-12-12 2023-06-30 杭州原数科技有限公司 一种基于大数据的文物储藏环境异常评估方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230727A (ja) 2014-06-05 2015-12-21 三菱電機株式会社 時系列データ内の異常を検出する方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5301310B2 (ja) * 2009-02-17 2013-09-25 株式会社日立製作所 異常検知方法及び異常検知システム
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US10891558B2 (en) * 2015-01-21 2021-01-12 Anodot Ltd. Creation of metric relationship graph based on windowed time series data for anomaly detection
KR102215690B1 (ko) * 2015-12-29 2021-02-16 삼성에스디에스 주식회사 시계열의 데이터를 모니터링 하는 방법 및 그 장치
US20190206520A1 (en) * 2017-12-31 2019-07-04 QZ Labs Mobile-native clinical trial operations service suite

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230727A (ja) 2014-06-05 2015-12-21 三菱電機株式会社 時系列データ内の異常を検出する方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Dragomir Yankov, et al.,"Dot Plots for Time Series Analysis",Proceedings of the 17th IEEE International Conference on Tools with Artificial Intelligence (ICTAI'05),IEEE,2005年11月16日,Pages 1-10,ISBN: 0-7695-2488-5, <DOI: 10.1109/ICTAI.2005.60>.
Tae-Young Kim, et al.,"Web traffic anomaly detection using C-LSTM neural networks",Expert Systems With Applications,Elsevier,2018年04月05日,Vol.106,Pages 66-76,[online], [令和4年2月12日検索], インターネット, <URL: http://sclab.yonsei.ac.kr/publications/Papers/IJ/2018_ESWA_TYK.pdf> and <URL: https://doi.org/10.1016/j.eswa.2018.04.004>,ISSN: 0957-4174
中村 隆顕(外3名),「標本部分列を用いた時系列データ異常検知方式」,電気学会論文誌C,日本,一般社団法人 電気学会,2016年03月01日,Vol.136, No.3,第363~372頁,ISSN: 0385-4221.
入江 豪,「効果的な類似画像検索のためのハッシング」,映像情報メディア学会誌,日本,一般社団法人 映像情報メディア学会,2015年,Vol.69, No.2,第124~130頁,[online], [令和4年2月12日検索], インターネット, <URL: https://doi.org/10.3169/itej.69.124>,ISSN: 1881-6908.

Also Published As

Publication number Publication date
WO2020068382A2 (en) 2020-04-02
WO2020068382A3 (en) 2020-06-18
US11494618B2 (en) 2022-11-08
JP2021528745A (ja) 2021-10-21
US20200074275A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7105932B2 (ja) アプリケーション情報に関連する時系列ズデータに関する深層学習を使用した異常検出
US11169514B2 (en) Unsupervised anomaly detection, diagnosis, and correction in multivariate time series data
US10929220B2 (en) Time series retrieval for analyzing and correcting system status
US11715015B2 (en) Methods and arrangements to identify feature contributions to erroneous predictions
CN112800116B (zh) 一种业务数据的异常检测方法及装置
Aggarwal et al. Two birds with one network: Unifying failure event prediction and time-to-failure modeling
JP7201844B2 (ja) グラディエントベースのセンサ識別を利用した障害予測
US11657121B2 (en) Abnormality detection device, abnormality detection method and computer readable medium
JP2022092592A (ja) 機器の故障及び残存耐用時間を予測する方法、装置及びプログラム
US20230085991A1 (en) Anomaly detection and filtering of time-series data
US20220334573A1 (en) Sensor-agnostic mechanical machine fault identification
CN113762344A (zh) 机床主轴的故障识别方法、故障识别模型训练方法及装置
WO2023196129A1 (en) Anomaly detection using multiple detection models
WO2023107836A1 (en) Machine-learning based behavior modeling
US20230071667A1 (en) Neural network input embedding including a positional embedding and a temporal embedding for time-series data prediction
US20220318624A1 (en) Anomaly detection in multiple operational modes
US20220318627A1 (en) Time series retrieval with code updates
US20240104344A1 (en) Hybrid-conditional anomaly detection
US20230236927A1 (en) Anomaly detection on dynamic sensor data
US20230110056A1 (en) Anomaly detection based on normal behavior modeling
US20240134736A1 (en) Anomaly detection using metric time series and event sequences for medical decision making
CN117609911A (zh) 传感设备的异常识别方法及装置
WO2015063435A1 (en) Method of regression for change detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220712

R150 Certificate of patent or registration of utility model

Ref document number: 7105932

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350