JP7372876B2 - 異常検出システム、異常検出装置及び異常検出方法 - Google Patents

異常検出システム、異常検出装置及び異常検出方法 Download PDF

Info

Publication number
JP7372876B2
JP7372876B2 JP2020090368A JP2020090368A JP7372876B2 JP 7372876 B2 JP7372876 B2 JP 7372876B2 JP 2020090368 A JP2020090368 A JP 2020090368A JP 2020090368 A JP2020090368 A JP 2020090368A JP 7372876 B2 JP7372876 B2 JP 7372876B2
Authority
JP
Japan
Prior art keywords
analysis model
clustering analysis
cloud
edge
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020090368A
Other languages
English (en)
Other versions
JP2021185352A (ja
Inventor
ハーシュ プラモドブハイ プロヒト
隆 遠藤
洋平 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020090368A priority Critical patent/JP7372876B2/ja
Publication of JP2021185352A publication Critical patent/JP2021185352A/ja
Application granted granted Critical
Publication of JP7372876B2 publication Critical patent/JP7372876B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、異常検出システム、異常検出装置及び異常検出方法に関する。
工場やデータセンター等の施設に配置されている機器の安定的な稼働を維持するためには、機器についての異常を早期かつ正確に判定することが重要である。そして、機器の異常検出の手段の1つとして、検証対象の機器のファンやモーターから発生する音響信号を解析することが知られている。
また、IOTの発展に伴い、工場やデータセンター等の施設に配置されているエッジ装置を遠隔地にあるクラウドインフラに接続し、異常検出対象の機器から取得した音響信号等をクラウドインフラを用いて分析することにより、高度な異常診断を行うハイブリッド型システムが存在する。
例えば、US2019-0339681(特許文献1)には、「データ収集および分析用のハイブリッドインフラストラクチャは、エッジレベルとクラウドレベルのコンピューティングを組み合わせて、産業システムおよびプロセスの高レベルの監視と制御を実行する。1つ以上のプラント施設のオンプレミスのエッジデバイスは、プラントフロアの複数の産業用デバイスからデータを収集し、収集したデータに対してローカルエッジレベルの分析を実行できる。さらに、エッジデバイスは、クラウドレベルのデータ収集と分析サービスを実行するクラウドプラットフォームへの通信チャネルを維持する。エッジデバイスは、必要に応じて、選択したデータセットをクラウドプラットフォームに渡すことができる。クラウドプラットフォームでは、クラウドレベルの分析サービスが産業データに対してより高いレベルの分析を実行する。ハイブリッドアーキテクチャは双方向で動作するため、クラウドレベルとエッジレベルの分析で、エッジレベルとクラウドレベルの分析の結果に基づいて産業用デバイスに制御命令を送信することができる」技術が記載されている。
US2019-0339681
上記の特許文献1には、工場やデータセンター等の施設に配置されているエッジ側装置とクラウドインフラとを連携したハイブリッド型異常検出システムを用いて、所定の産業用デバイスを分析し、当該分析の結果に基づいて当該産業用デバイスに制御命令を送信することが開示されている。
しかしながら、エッジ側及びクラウド側の両方に異常検出用のモデルが配置されている場合、エッジ側からクラウド側に送信するデータの圧縮や通信によるロス等で、エッジ側の異常検出モデルとクラウド側の異常検出モデルとが互いにズレてしまい、確実な異常検出結果が得られなくなることがある。特許文献1には、このような課題への対策が想定されておらず、エッジ側の異常検出モデル及びクラウド側の異常検出モデルを互いに整合させ、正確な異常検出結果を提供させる手段が求められている。
そこで、本発明は、工場やデータセンター等の施設に配置されているエッジ側異常検出装置とクラウド側の異常検出装置との異常検出結果の乖離度に基づいてエッジ側異常検出装置及びクラウド側の異常検出用のモデルを互いに同期化し、正確な異常検出結果を提供する手段を提供することを目的とする。
上記の課題を解決するために、代表的な本発明の異常検出システムの一つは、所定の施設に配置されている異常検出対象の機器と、前記施設に配置され、前記異常検出対象の機器から取得した音響信号を分析するエッジ側異常検出装置と、通信ネットワークを介して前記エッジ側異常検出装置に接続されているクラウド側異常検出装置と、からなる異常検出システムであって、前記エッジ側異常検出装置は、第1のクラスタリング分析モデルを含む第1のストレージ部と、前記異常検出対象の機器から取得した前記音響信号の特徴を抽出する特徴抽出部と、前記特徴を前記第1のクラスタリング分析モデルによって分析することで、前記音響信号において異常が存在する確率を示すエッジスコアを計算し、前記エッジスコアが所定のエッジスコア基準を満たす場合に、異常警告を出力するエッジ側異常検出部と、前記特徴を圧縮し、圧縮特徴を生成する特徴圧縮部と、前記圧縮特徴と、前記エッジスコアとを前記クラウド側異常検出装置に送信する第1の通信部と、を含み、前記クラウド側異常検出装置は、第2のクラスタリング分析モデルを含む第2のストレージ部と、前記圧縮特徴と前記エッジスコアとを受信する第2の通信部と、前記圧縮特徴を第2のクラスタリング分析モデルによって分析することで、前記音響信号において異常が存在する確率を示すクラウドスコアを計算し、前記クラウドスコアが所定のクラウドスコア基準を満たす場合に、異常警告を出力するクラウド側異常検出部と、前記エッジスコアと前記クラウドスコアとに基づいて、前記第1のクラスタリング分析モデルと前記第2のクラスタリング分析モデルとの乖離度を計算し、前記乖離度が所定の乖離度基準を満たす場合に、前記第1のクラスタリング分析モデル及び前記第2のクラスタリング分析モデルに対する更新処理を行う同期検証部とを含む。
本発明によれば、工場やデータセンター等の施設に配置されているエッジ側異常検出装置とクラウド側の異常検出装置との異常検出結果の乖離度に基づいてエッジ側異常検出装置及びクラウド側の異常検出用のモデルを互いに同期化し、正確な異常検出結果を提供する手段を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
図1は、本発明の実施形態を実施するためのコンピュータシステムのブロック図である。 図2は、本発明の実施形態に係る異常検出システムの構成の一例を示す図である。 図3は、本発明の実施形態に係る異常検出システムの機能的構成の一例を示す図である。 図4は、本発明の実施形態に係るFIGMMを訓練する処理の一例を示す図である。 図5は、本発明の実施形態に係るエッジ側異常検出処理の一例を示す図である。 図6は、本発明の実施形態に係るクラウド側モデル管理処理の一例を示す図である。 図7は、本発明の実施形態に係るクラウド側異常検出処理の流れを示す図である。
以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(ハードウェア構成)
まず、図1を参照して、本開示の実施形態を実施するためのコンピュータシステム300について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム300の主要コンポーネントは、1つ以上のプロセッサ302、メモリ304、端末インターフェース312、ストレージインタフェース314、I/O(入出力)デバイスインタフェース316、及びネットワークインターフェース318を含む。これらのコンポーネントは、メモリバス306、I/Oバス308、バスインターフェースユニット309、及びI/Oバスインターフェースユニット310を介して、相互的に接続されてもよい。
コンピュータシステム300は、プロセッサ302と総称される1つ又は複数の汎用プログラマブル中央処理装置(CPU)302A及び302Bを含んでもよい。ある実施形態では、コンピュータシステム300は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム300は単一のCPUシステムであってもよい。各プロセッサ302は、メモリ304に格納された命令を実行し、オンボードキャッシュを含んでもよい。
ある実施形態では、メモリ304は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体(揮発性又は不揮発性のいずれか)を含んでもよい。メモリ304は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ304は、異常検出アプリケーション350を格納していてもよい。ある実施形態では、異常検出アプリケーション350は、後述する機能をプロセッサ302上で実行する命令又は記述を含んでもよい。
ある実施形態では、異常検出アプリケーション350は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、異常検出アプリケーション350は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス(図示せず)が、バスインターフェースユニット309、プロセッサ302、またはコンピュータシステム300の他のハードウェアと直接通信するように提供されてもよい。
コンピュータシステム300は、プロセッサ302、メモリ304、表示システム324、及びI/Oバスインターフェースユニット310間の通信を行うバスインターフェースユニット309を含んでもよい。I/Oバスインターフェースユニット310は、様々なI/Oユニットとの間でデータを転送するためのI/Oバス308と連結していてもよい。I/Oバスインターフェースユニット310は、I/Oバス308を介して、I/Oプロセッサ(IOP)又はI/Oアダプタ(IOA)としても知られる複数のI/Oインタフェースユニット312,314,316、及び318と通信してもよい。
表示システム324は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置326に提供することができる。また、コンピュータシステム300は、データを収集し、プロセッサ302に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。
例えば、コンピュータシステム300は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム324は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置326に接続されてもよい。
I/Oインタフェースユニットは、様々なストレージ又はI/Oデバイスと通信する機能を備える。例えば、端末インタフェースユニット312は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザI/Oデバイス320の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザI/Oデバイス320及びコンピュータシステム300に対して入力データや指示を入力し、コンピュータシステム300からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザI/Oデバイス320を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
ストレージインタフェース314は、1つ又は複数のディスクドライブや直接アクセスストレージ装置322(通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい)の取り付けが可能である。ある実施形態では、ストレージ装置322は、任意の二次記憶装置として実装されてもよい。メモリ304の内容は、ストレージ装置322に記憶され、必要に応じてストレージ装置322から読み出されてもよい。I/Oデバイスインタフェース316は、プリンタ、ファックスマシン等の他のI/Oデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース318は、コンピュータシステム300と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク330であってもよい。
ある実施形態では、コンピュータシステム300は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム(クライアント)からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム300は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
次に、図2を参照して、本発明の実施形態に係る異常検出システムの構成について説明する。
図2は、本発明の実施形態に係る異常検出システム200の構成の一例を示す図である。
異常検出システム200は、工場やデータセンター等の施設に配置されているエッジ側異常検出装置210とクラウド側異常検出装置230との異常検出結果の乖離度に基づいてエッジ側異常検出装置及びクラウド側の異常検出用のモデルを互いに同期化し、正確な異常検出結果を提供するためのシステムである。
図2に示すように、本発明の実施形態に係る異常検出システム200は、異常検出対象の機器205と、エッジ側異常検出装置210と、クラウド側異常検出装置230とを含む。エッジ側異常検出装置210とクラウド側異常検出装置230とがインターネットやLAN等の通信ネットワーク225を介して互いに通信可能に接続されている。
異常検出対象の機器205は、工場やデータセンター等の施設に配置されている機器であり、異常検出処理の対象となる音響信号を生成する機器である。例えば、異常検出対象の機器205は、例えばデータセンターに配置されているサーバや、工場に配置されている装置等、作動に伴って音響信号が発生する機器であれば任意の機器であってもよい。
エッジ側異常検出装置210は、工場やデータセンター等の施設に配置され、異常検出対象の機器205から取得した音響信号に対してエッジ側異常検出処理(図5参照)を行うための装置である。図2に示すように、エッジ側異常検出装置210は、取得部211と、通信部212と、ノイズ軽減部213と、特徴抽出部214と、エッジ側異常検出部215と、特徴圧縮部216と、第1のストレージ部217とを含む。
取得部211は、異常検出対象の機器205からの音響信号を取得するための機能部である。取得部211は、例えば異常検出対象の機器205の付近や内部等に設置されているマイクロフォンや録音装置によって収集された音響信号を取得するように構成されているデバイスであってもよい。
通信部212は、通信ネットワーク225を介してクラウド側異常検出装置230とデータの送受信を行うための機能部である。例えば、通信部212は、後述する特徴圧縮部216によって圧縮された圧縮特徴及びエッジ側で計算されたエッジスコアをクラウド側異常検出装置230に送信したり、クラウド側異常検出装置230からのモデル更新通知を受信したりしてもよい。
ノイズ軽減部213は、異常検出対象の機器205から取得した音響信号におけるノイズを除去する処理を行うための機能部である。ここでのノイズ軽減部213は、例えばCompander-based noise reduction, Dynamic Noise Limiter (DNL)、Dynamic Noise Reduction (DNR)等、任意の既存のノイズ除去手段を用いてもよい。
特徴抽出部214は、異常検出対象の機器205から取得した音響信号の特徴を抽出するための機能部である。特徴抽出部214は、例えば、異常検出対象の機器205から取得した音響信号を窓関数に通して、短時間区間ごとの周波数スペクトルを計算した結果を計算した、時間・周波数ごとの信号成分の強さを表すスペクトログラム(例えばLog-Mel Spectrogram)を音響信号の特徴として抽出してもよい。
エッジ側異常検出部215は、異常検出対象の機器205から取得した音響信号の特徴を分析することで、当該音響信号が異常か正常かを判定するための機能部である。より具体的には、エッジ側異常検出部215は、後述する第1のストレージ部217に格納されている第1の静的クラスタリング分析モデル218及び/又は第1の動的クラスタリング分析モデル219を用いて音響信号の特徴を分析することで、当該音響信号において異常が存在する確率を示すエッジスコアを計算し、このエッジスコアが所定のエッジスコア基準を満たす場合に、異常警告を出力してもよい。
特徴圧縮部216は、異常検出対象の機器205から取得した音響信号の特徴を圧縮するための機能部である。ここで特徴圧縮部216は、例えば、可逆音声圧縮、非可逆音声圧縮、符号化手法、変換領域、時間領域等、任意の既存の手段を用いてもよく、具体的な手段及び圧縮率等は適宜に選択されてもよい。
第1のストレージ部217は、上述した機能部が用いる各種データを格納するための記憶部であり、例えば、フラッシュメモリ、ハードディスクドライブ等、任意の記憶媒体であってもよい。また、第1のストレージ部217は、音響信号から抽出された特徴と、当該特徴が抽出された時刻を示すタイムスタンプとを対応付けて格納する。後述するように、この特徴の情報は、クラスタリング分析モデルを訓練する際に用いられてもよい。
更に、図2に示すように、第1のストレージ部217は、異常検出処理の際に用いられる第1のクラスタリング分析モデルを含む。本発明の実施形態に係るクラスタリング分析モデルは、音響信号の特徴量の正常の分布を示す、正常特徴量分布モデルであってもよい。また、第1のクラスタリング分析モデルは、第1の静的クラスタリング分析モデル218と、第1の動的クラスタリング分析モデル219とを含む。第1の静的クラスタリング分析モデル218及び第1の動的クラスタリング分析モデル219は、例えば、ウッドベリーの逆行列の補助定理を用いるFIGMM(Fast Incremental Gaussian Mixture Model)であってもよい。
より具体的には、FIGMMは、入力されたデータポイントに対応する分布コンポーネントからなるガウス混合モデルである。モデルによって同化される各データポイントは、データの尤度の最大値に基づいてモデルパラメーターの逐次更新に貢献する。これらのパラメータは、各データポイントから抽出された関連情報の蓄積に基づいて更新される。新しいポイントが既存のガウスコンポーネントに直接追加されるか、必要に応じて新しいコンポーネントが作成され、適応共鳴理論(ART)アルゴリズムに用いられるマージ及び分割操作が不要となる。
第1の動的クラスタリング分析モデル219は、新しい音響信号が取得される度に、当該音響信号から抽出される特徴に基づいて訓練され、パラメータが随時更新可能なモデルである。第1の動的クラスタリング分析モデル219に格納される音響信号の特徴は、当該音響信号が取得された時刻を示すタイムスタンプに対応付けられる。
第1の静的クラスタリング分析モデル218は、第1の動的クラスタリング分析モデルに含まれるデータの内、一部のみ(例えば、所定の期間に該当する音響信号の特徴)を含み、パラメータが固定されているモデルであり、異常検出処理の際に用いられるモデルである。第1の静的クラスタリング分析モデル218は、(例えば、同期化を行う際等に)第1の動的クラスタリング分析モデル219の特定のデータに基づいて更新されてもよい。
また、クラウド側異常検出装置230は、通信ネットワーク225を介してエッジ側異常検出装置210に接続されるサーバ装置である。クラウド側異常検出装置230は、エッジ側異常検出装置210から送信された圧縮特徴を用いてクラウド側異常検出処理を行い、エッジ側異常検出装置210及びクラウド側異常検出装置230の同期検証・同期化を行う装置である。図2に示すように、クラウド側異常検出装置230は、通信部231と、前処理部233と、クラウド側異常検出部234と、同期検証部235と、ユーザ管理部236と、第2のストレージ部237とを含む。
通信部231は、通信ネットワーク225を介してエッジ側異常検出装置210とデータの送受信を行うための機能部である。例えば、通信部231は、エッジ側異常検出装置210の特徴圧縮部216によって圧縮された圧縮特徴及びエッジ側で計算されたエッジスコアをエッジ側異常検出装置210から受信したり、モデル更新通知をエッジ側異常検出装置210に送信したりしてもよい。
前処理部233は、エッジ側異常検出装置210から受信した圧縮特徴に対して、クラウド側異常検出を行う前に、所定の前処理を行うための機能部である。例えば、前処理部233は、圧縮特徴を解凍したり、フィルターを施したり、外れ値を除外したりする処理を行ってもよい。
クラウド側異常検出部234は、エッジ側異常検出装置210から取得した圧縮特徴を分析することで、当該圧縮特徴が異常か正常かを判定するための機能部である。より具体的には、クラウド側異常検出部230は、後述する第2のストレージ部237に格納されている第2の静的クラスタリング分析モデル238及び/又は第2の動的クラスタリング分析モデル239を用いて音響信号の圧縮特徴を分析することで、当該音響信号において異常が存在する確率を示すクラウドスコアを計算し、このクラウドスコアが所定のクラウドスコア基準を満たす場合に、異常警告を出力してもよい。
同期検証部235は、エッジ側異常検出装置210によって計算されたエッジスコアと、クラウド側異常検出装置230によって計算されたクラウドスコアとに基づいて、第1の動的クラスタリング分析モデル219と第2の動的クラスタリング分析モデル239との同期状態を示す乖離度を計算し、この乖離度が所定の乖離度基準を満たす場合に、第1の動的クラスタリング分析モデル及び第2の動的クラスタリング分析モデルに対する更新処理を行う機能部である。
なお、ここでのエッジスコア及びクラウドスコアは、異常が存在する確率をパーセントとして表現してもよく、0~1の範囲内の数値として表現してもよい。
ユーザ管理部236は、ユーザの入力に基づいてエッジ側異常検出装置210又はクラウド側異常検出装置230を管理するための機能部である。例えば、ユーザは、ユーザ管理部236を介して、複数のモデル候補の中から、クラスタリング分析モデルとして使用したいモデル候補を選択したり、モデルのパラメータを設定したり、モデルの訓練処理を管理したりすることができる。なお、ユーザ管理部236の詳細について後述する。
第2のストレージ部237は、上述した機能部が用いる各種データを格納するための記憶部であり、例えば、フラッシュメモリ、ハードディスクドライブ等、任意の記憶媒体であってもよい。また、エッジ側異常検出装置210から送信された特徴及びタイムスタンプの情報はストレージ部237に格納されるため、この第2のストレージ部237に格納されている特徴及びタイムスタンプの情報は、第1のストレージ部217に格納されている特徴及びタイムスタンプの情報と実質的に同様である。
更に、図2に示すように、第2のストレージ部237は、異常検出処理の際に用いられる第2のクラスタリング分析モデルを含む。この第2のクラスタリング分析モデルは、第2の静的クラスタリング分析モデル238と、第2の動的クラスタリング分析モデル239とを含む。第2の静的クラスタリング分析モデル238及び第2の動的クラスタリング分析モデル239は、例えば、ウッドベリーの逆行列の補助定理を用いるFIGMMモデルであってもよい。
なお、第2のストレージ部237に格納されている特徴及びタイムスタンプの情報は、第1のストレージ部217に格納されている特徴及びタイムスタンプの情報と実質的に同様であるため、後述するように、エッジ側のクラスタリング分析モデルを同期化する際には、エッジ側及びクラウド側の両方で同一の訓練用データが利用可能である。
なお、第2の静的クラスタリング分析モデル238及び第2の動的クラスタリング分析モデル239はそれぞれ、上述した第1の静的クラスタリング分析モデル218及び第1の動的クラスタリング分析モデル219に実質的に対応するが、第2の静的クラスタリング分析モデル238及び第2の動的クラスタリング分析モデル239は、音響信号の特徴そのものによって訓練されるのではなく、エッジ側異常検出装置210に送信される、音響信号の圧縮した特徴によって訓練される点において、第1の静的クラスタリング分析モデル218及び第1の動的クラスタリング分析モデル219と異なる。
そのため、上述したように、音響信号の特徴を通信する際のロス等により、第2の静的クラスタリング分析モデル238及び第2の動的クラスタリング分析モデル239と、第1の静的クラスタリング分析モデル218及び第1の動的クラスタリング分析モデル219とが互いにズレてしまい、確実な異常検出結果が得られなくなることがある。
従って、後述するように、本発明では、エッジ側異常検出装置とクラウド側の異常検出装置との異常検出結果の乖離度に基づいてエッジ側異常検出装置及びクラウド側の異常検出用のモデルを互いに同期化することで、正確な異常検出結果を提供することができる。
なお、エッジ側異常検出装置210及びクラウド側異常検出装置230に含まれるそれぞれの機能部は、図1に示す異常検出アプリケーション350を構成するソフトウエアモジュールであってもよく、独立した専用ハードウェアデバイスであってもよい。
次に、図3を参照して、本発明の実施形態に係る異常検出システムの機能的構成について説明する。
図3は、本発明の実施形態に係る異常検出システム200の機能的構成の一例を示す図である。上述したように、図3に示す異常検出システム200は、工場やデータセンター等の施設に配置されているエッジ側異常検出装置210とクラウド側異常検出装置230との異常検出結果の乖離度に基づいてエッジ側異常検出装置及びクラウド側異常検出装置を互いに同期化し、正確な異常検出結果を提供するためのシステムである。
なお、説明の便宜上、図3では、エッジ側異常検出装置210及びクラウド側の異常検出装置230の機能部の一部を省略しているが、実際には、図3に示すエッジ側異常検出装置210及びクラウド側異常検出装置230の構成は、図2に示すエッジ側異常検出装置210及びクラウド側異常検出装置230と実質的に同様である。
まず、エッジ側異常検出装置210の取得部(図3では例示せず)は、異常検出対象の機器(図3では例示せず)からの音響信号360を取得する。ここでの音響信号360は、例えば異常検出対象の機器に搭載されているファンやモーター等から発生する音を録音したデータであってもよい。上述したように、エッジ側異常検出装置210の取得部は、例えば異常検出対象の機器の付近や内部等に設置されているマイクロフォンや録音装置によって収集された音響信号を取得することで音響信号360を取得してもよい。
次に、ノイズ軽減部213は、取得部によって取得された音響信号360におけるノイズを除去する処理を行うための機能部である。ここでのノイズ軽減部213は、例えばCompander-based noise reduction, Dynamic Noise Limiter (DNL)、Dynamic Noise Reduction (DNR)等、任意の既存のノイズ除去手段を用いてもよい。
次に、特徴抽出部214は、ノイズ軽減部213によってノイズ除去処理が施された音響信号360の特徴を抽出する。例えば、一例として、特徴抽出部214は、音響信号360を窓関数に通して、周波数スペクトルを計算した結果を、時間、周波数、信号成分の強さの3次元を表すスペクトログラム(例えばLog-Mel Spectrogram)を特徴として抽出してもよい。ここで抽出される特徴は、第1の静的クラスタリング分析モデル218及び第1の動的クラスタリング分析モデル219に保存されてもよい。
次に、エッジ側異常検出部215は、異常検出対象の機器205から取得した音響信号の特徴を分析することで、当該音響信号が異常か正常かを判定する。より具体的には、エッジ側異常検出部215は、第1の静的クラスタリング分析モデル218を用いて音響信号の特徴を分析することで、当該音響信号において異常が存在する確率を示すエッジスコア362を計算し、このエッジスコア362が所定のエッジスコア基準を満たす場合に、異常警告を出力してもよい。この異常警告は、音響信号において異常が存在することを知らせる通知であり、異常検出対象の機器205が配置されている施設の管理者等に送信されてもよい。
次に、特徴圧縮部216は、特徴抽出部214によって抽出された、音響信号360の特徴を圧縮し、圧縮特徴364を出力する。ここでは、特徴圧縮部216は、例えば、可逆音声圧縮、非可逆音声圧縮、符号化手法、変換領域、時間領域等、任意の既存の手段を用いてもよく、具体的な手段及び圧縮率等は適宜に選択されてもよい。
次に、通信部(図3では例示せず)は、エッジ側異常検出装置210の特徴圧縮部216によって圧縮された圧縮特徴364及びエッジ側で計算されたエッジスコア362をクラウド側異常検出装置230に送信する。クラウド側異常検出装置230に送信される圧縮特徴364及びエッジ側で計算されたエッジスコア362はクラウド側異常検出装置230の第2のストレージ部237に保存される。
次に、クラウド側異常検出装置230の前処理部233は、第2のストレージ部237に保存されている圧縮特徴364を取得し、当該圧縮特徴に対して、圧縮特徴を解凍したり、フィルターを施したり、外れ値を除外したりする等、任意の前処理を実行する。前処理部233の処理が終了した後、前処理が施された特徴が、第2のストレージ部237に格納されている第2の動的クラスタリング分析モデル239に保存される。
次に、クラウド側異常検出部234は、第2のストレージ部237に保存されている第2の静的クラスタリング分析モデル238を用いて、圧縮特徴364を分析することで、当該圧縮特徴364が異常か正常かを判定する。ここで用いられる第2の静的クラスタリング分析モデル238は、例えば後述するユーザ管理部を介してユーザに選定されたクラスタリング分析モデルであってもよい。
より具体的には、クラウド側異常検出部234は、第2の静的クラスタリング分析モデル238を用いて音響信号360の圧縮特徴364を分析することで、当該音響信号360において異常が存在する確率を示すクラウドスコア366を計算し、このクラウドスコア366が所定のクラウドスコア基準を満たす場合に、異常警告を出力してもよい。この異常警告は、音響信号において異常が存在することを知らせる通知であり、クラウド側異常検出装置230の管理者等に送信されてもよい。
次に、同期検証部235は、エッジ側異常検出部215によって計算されたエッジスコア362と、クラウド側異常検出部234によって計算されたクラウドスコア366とに基づいて、第1の動的クラスタリング分析モデル219と第2の動的クラスタリング分析モデル239との乖離度を計算し、この乖離度が所定の乖離度基準(例えば、10%以上の乖離度、15%以上の乖離度)を満たす場合に、第1の動的クラスタリング分析モデル及び第2の動的クラスタリング分析モデルに対する更新処理を行う。例えば、ある実施形態では、ここで計算された乖離度が所定の乖離度基準を満たす場合、同期検証部235は、第1の動的クラスタリング分析モデル219と第2の動的クラスタリング分析モデル239とを更新する必要があると判定してもよい。
また、ある実施形態では、同期検証部235は、第1の動的クラスタリング分析モデル219と第2の動的クラスタリング分析モデル239との同期状態を表す同期状態情報268をユーザ管理部236に転送してもよい。この同期状態情報268は、例えば計算された乖離度等を含み、第1の動的クラスタリング分析モデル219と第2の動的クラスタリング分析モデル239とが互いにどれぐらい離れているかを示す情報である。
なお、上述したように、同期検証部235は、エッジスコア362とクラウドスコア366とを所定のアルゴリズム(後述する数式3及び数式6)によって比較することで、第1の動的クラスタリング分析モデル219と第2の動的クラスタリング分析モデル239との乖離度を定量化することができる。ここでの「乖離度」とは、第1の動的クラスタリング分析モデル219と第2の動的クラスタリング分析モデル239とが互いに離れている度合いを示す尺度である。
次に、ユーザ管理部236は、ユーザの入力に基づいてエッジ側異常検出装置210又はクラウド側異常検出装置230を管理するための管理アクションを実行してもよい。例えば、ユーザは、ユーザ管理部236を介して、第2の動的クラスタリング分析モデル239における一部のデータをユーザ選定モデルとして第2の静的クラスタリング分析モデル238に設定したり、第2のストレージ部237に格納されている特徴やクラスタリング分析モデルを編集したり、エッジ側異常検出装置210へのモデル更新通知の送信を管理してもよい。
上述したように、第1の動的クラスタリング分析モデル219と第2の動的クラスタリング分析モデル239との乖離度が所定の乖離度基準を満たす場合、あるいはユーザがユーザ管理部236を介してモデルの更新を指示する場合、クラウド側異常検出装置230は、第1の動的クラスタリング分析モデル219の更新を指示するモデル更新通知270を、通信部(図3では例示せず)を介してエッジ側異常検出装置210に送信すると同時に、第2の静的クラスタリング分析モデル238の更新処理を開始する。
なお、クラスタリング分析モデルの更新処理の詳細については後述する。
以上説明した異常検出システム200を用いることにより、工場やデータセンター等の施設に配置されているエッジ側異常検出装置とクラウド側の異常検出装置との異常検出結果の乖離度に基づいてエッジ側異常検出装置及びクラウド側の異常検出モデルを互いに同期化し、正確な異常検出結果を提供する手段を提供することができる。
次に、図4を参照して、本発明の実施形態に係るFIGMMについて説明する。
図4は、本発明の実施形態に係るFIGMMを訓練する処理400の一例を示す図である。上述したように、本発明の実施形態に係る第1の動的クラスタリング分析モデル(例えば、図2及び3に示す第1の動的クラスタリング分析モデル219)及び第2の動的クラスタリング分析モデル(例えば、図2及び3に示す第2の動的クラスタリング分析モデル239)は、FIGMM(Fast Incremental Gaussian Mixture Model)であってもよい.
ここでは、FIGMMとは、ガウス混合モデルにおけるEM(expectation maximization)アルゴリズムを近似するためのアルゴリズムである。FIGMMでは、過去のデータ点に頼らずに、各データ点の入力後、連続して入力されるすべてのデータに一致する結合入出力空間(joint input-output space)の確率モデルが作成され、継続的に更新される。すなわち、FIGMMは、所定の量のデータが収集されないと訓練を開始できない従来のモデルと異なり、新たなデータが入力される度に動的に訓練されるガウス混合モデルである。このFIGMMを用いることにより、第1の動的クラスタリング分析モデル及び第2の動的クラスタリング分析モデルは、大量の学習データを収集しないと訓練できない従来のバッチ型GMMに比べて、学習データを格納するためのメモリ容量を抑え、処理速度を向上させることができる。
以下では、本発明の実施形態に係るFIGMMを訓練する処理400について説明する。
まず、ステップS410では、訓練対象のFIGMM(例えば、図2に示す第1の動的クラスタリング分析モデル219又は第2の動的クラスタリング分析モデル239)は、入力される音響信号405に対して、高速フーリエ変換、メル尺度変換、及び体数スケール変換を施すことで、音響信号405の特徴を抽出する。上述したように、ここで抽出される特徴は、例えばLog-Mel Spectrogramであってもよい。
次に、ステップS420では、入力された音響信号405の特徴が、正常の音響信号を示す正常モデルに含まれる確率が計算される。より具体的には、ここでは、所定のデータ点jが事前に用意された正常モデルに含まれる確率p(x|j)は、以下の数式1によって求められる。
Figure 0007372876000001
ここでは、ujは、j番目のGMM成分の平均値であり、Σはj番目のGMM成分の共分散行列であり、Aはj番目のGMM成分に対応するGMMパラメータである。
次に、ステップS430では、正常モデルのGMMパラメータは、いわゆるランク1更新によって更新される。例えば、ここでは、特定の時間tにおける所定のデータ点jのGMMパラメータA(t)は、以下の数式2によって求められる。
Figure 0007372876000002
なお、ここでは、ウッドベリーの逆行列の補助定理を用いることにより、行列の反転を避けることが可能となり、処理時間を短縮させることができる。
次に、ステップS440では、ステップS430の結果に基づいて、GMMの成分の数が更新される。例えば、ここでは、GMMの成分の数が増やされてもよく、減らされてもよい。
以上説明した訓練処理を用いることで、本発明の実施形態に係る第1の動的クラスタリング分析モデル及び第2の動的クラスタリング分析モデルがリアルタイムで動的に訓練されると共に、学習データを格納するためのメモリ容量を抑え、処理速度を向上させることができる。
次に、図5を参照して、本発明の実施形態に係る、エッジ側異常検出装置によるエッジ側異常検出処理について説明する。
図5は、本発明の実施形態に係るエッジ側異常検出処理500の一例を示す図である。エッジ側異常検出処理500は、例えば図3に示すエッジ側異常検出装置210によって実行され、解析対象の音響信号について異常が存在するか否かを判定するための処理である。
まず、ステップS510では、エッジ側異常検出装置の取得部(例えば、図2に示す取得部211)は、異常検出対象の機器(例えば、図2に示す異常検出対象の機器205)から、解析対象の音響信号を取得する。上述したように、エッジ側異常検出装置の取得部は、例えば異常検出対象の機器の付近や内部等に設置されているマイクロフォンや録音装置によって収集された音響信号を取得することで音響信号を取得してもよい。
ステップS520では、エッジ側異常検出装置のノイズ軽減部(例えば、図2に示すノイズ軽減部213)は、取得部によって取得された音響信号360におけるノイズを除去する処理を行う。ここで、ノイズ軽減部213は、例えばCompander-based noise reduction, Dynamic Noise Limiter (DNL)、Dynamic Noise Reduction (DNR)等、任意の既存のノイズ除去手段を用いてもよい。
次に、ステップS530では、エッジ側異常検出装置の特徴抽出部(例えば、図2に示す特徴抽出部214)は、ノイズ軽減部によってノイズ除去処理が施された音響信号の特徴を抽出する。例えば、一例として、特徴抽出部は、音響信号360を窓関数に通して、短時間区間毎に周波数スペクトルを計算した結果である、時間・周波数ごとの信号成分の強さのを表すスペクトログラム(例えばLog-Mel Spectrogram)を特徴として抽出してもよい。
次に、ステップS540では、エッジ側異常検出装置のエッジ側異常検出部(例えば、図2に示すエッジ側異常検出部215)は、異常検出対象の機器から取得した音響信号の特徴を分析することで、当該音響信号が異常か正常かを判定する。より具体的には、エッジ側異常検出部は、第1の静的クラスタリング分析モデル(図5に例示せず)を用いて音響信号の特徴を分析することで、当該音響信号において異常が存在する確率を示すエッジスコアを計算し、このエッジスコアが所定のエッジスコア基準を満たす場合に、異常警告を出力してもよい。
なお、第1の静的クラスタリング分析モデルは、例えば上述した数式1を用いて解析対象の音響信号が事前に用意された正常モデルに含まれる確率を計算し、この確率に基づいてエッジスコアを計算してもよい。
次に、ステップS550では、エッジ側異常検出装置の特徴圧縮部(例えば、図2に示す特徴圧縮部216)は、特徴抽出部によって抽出された、音響信号の特徴を圧縮し、圧縮特徴を出力する。ここでは、特徴圧縮部は、例えば、可逆音声圧縮、非可逆音声圧縮、符号化手法、変換領域、時間領域等、任意の既存の手段を用いてもよく、具体的な手段及び圧縮率等は適宜に選択されてもよい。
次に、ステップS560では、エッジ側異常検出装置の通信部(例えば、図2に示す通信部212)はステップS540で計算されたエッジスコアと、ステップS550で生成された圧縮特徴とをクラウド側異常検出装置に送信する。これにより、クラウド側異常検出装置は上述したように圧縮特徴に基づいたクラウド側異常検出処理と、エッジスコア及びクラウドスコアに基づいた同期検証の処理を行うことができる。
以上説明した処理により、エッジ側で、音響信号について異常が存在するか否かを把握することができると共に、クラウド側異常検出装置は、ステップS560で送信された圧縮特徴及びエッジスコアを用いて、クラウド側異常検出処理と、エッジ側とクラウド側の同期検証処理を行うことができる。
また、上述したように、同期検証処理の結果、エッジ側の第1の動的クラスタリング分析モデルと、クラウド側の第2の動的クラスタリング分析モデルとの乖離度が所定の乖離度基準を満たすと判定された場合、クラウド側異常検出装置は、第2の動的クラスタリング分析モデルの更新処理を開始すると同時に、モデル更新通知をエッジ側異常検出装置に送信することができる。
以下、クラウド側異常検出装置は、エッジ側の第1の動的クラスタリング分析モデルと、クラウド側の第2の動的クラスタリング分析モデルとの乖離度が所定の乖離度基準を満たすと判定し、モデル更新通知をエッジ側異常検出装置に送信した場合の処理について説明する。
まず、ステップS570では、エッジ側異常検出装置は、モデル更新通知をクラウド側異常検出装置から受信する。このモデル更新通知とは、第1の動的クラスタリング分析モデルの更新を指示する情報である。また、このモデル更新通知は、第1の時刻を指定する情報を含んでもよい。この第1の時刻は、第1の動的クラスタリング分析モデル及び第2の動的クラスタリング分析モデルに格納されている音響信号の特徴の情報において、特定の音響信号の特徴のタイムスタンプに対応する時刻であってもよい。
なお、この第1の時刻は、第1の動的クラスタリング分析モデルと第2の動的クラスタリング分析モデルとの乖離度が所定の値以下の時刻(つまり、実質的に同期している状態の時刻)であることが望ましい。
次に、ステップS580では、第1の動的クラスタリング分析モデルは、第1のストレージ部に格納されている音響信号特徴の情報の中から、ステップS570で受信したモデル更新通知に指定されている第1の時刻までの時刻に対応する音響信号の特徴(第1の訓練用データ)に基づいて訓練される。この訓練の処理は、例えば図4に示すFIGMMの訓練処理に従って行われてもよい。
なお、図5には例示しないが、エッジ側の第1の動的クラスタリング分析モデルが第1の時刻までの時刻に対応する音響信号の特徴に基づいて訓練されると同様に、クラウド側の第2の動的クラスタリング分析モデルも、第2のストレージ部に格納されている音響信号特徴の情報の中から、同じ第1の時刻までの時刻に対応する音響信号の特徴(第1の訓練用データ)に基づいて訓練される。これにより、エッジ側の第1動的クラスタリング分析モデルと、クラウド側の第2の動的クラスタリング分析モデルとが、互いに実質的に同期していた時刻までの音響信号の特徴(すなわち、同一の訓練用情報)に基づいて訓練されるため、改めて互いに同期している状態となる。
次に、ステップS590では、ステップS580で訓練された第1の動的クラスタリング分析モデルに含まれているデータの内、少なくとも一部が第1の静的クラスタリング分析モデルにコピーされる。また、図5には例示しないが、エッジ側で第1の動的クラスタリング分析モデルが第1の静的クラスタリング分析モデルにコピーされると同時に、クラウド側では、ステップS580で訓練された第2の動的クラスタリング分析モデルが第2の静的クラスタリング分析モデルにコピーされる。
これにより、第1の静的クラスタリング分析モデル及び第2の静的クラスタリング分析モデルは改めて互いに同期している状態となり、これらのモデルを用いた異常検出処理が確実に行われる。
以上説明した処理により、エッジ側の第1の動的クラスタリング分析モデルと、クラウド側の第2の動的クラスタリング分析モデルとの乖離度が所定の乖離度基準を満たすと判定された場合、第1の動的クラスタリング分析モデルとクラウド側の第2の動的クラスタリング分析モデルとを同一の時刻までの音響信号特徴に基づいて訓練することで、改めて互いに同期化させることができる。
次に、図6を参照して、本発明の実施形態に係るクラウド側モデル管理処理について説明する。
図6は、本発明の実施形態に係るクラウド側モデル管理処理600の一例を示す図である。図6に示すクラウド側モデル管理処理600は、例えば図3に示すクラウド側異常検出装置230によって実行され、第2の動的クラスタリング分析モデルを構築するための処理である。
まず、ステップS610では、クラウド側異常検出装置の前処理部(例えば、図2に示す前処理部233)は、第2のストレージ部に保存されている圧縮特徴を取得し、当該圧縮特徴に対して、圧縮特徴を解凍したり、フィルターを施したり、外れ値を除外したりする等、任意の前処理を実行する。
次に、ステップS620では、第2の動的クラスタリング分析モデルは、ステップS610で前処理が施された特徴に基づいて訓練される。ここでの訓練の処理は、例えば図4に示すFIGMMの訓練処理に従って行われてもよい。
次に、ステップS630では、ステップS620で訓練された第2の動的クラスタリング分析モデルは第2のストレージ部に保存される。
また、上述したように、ユーザは、ユーザ管理部(例えば、図2に示すユーザ管理部236)を介して、クラスタリング分析モデルとして使用したいモデル候補を選択することができる。以下、ユーザが、ユーザ管理部を介して、クラスタリング分析モデルとして使用したいモデル候補を選択する場合の処理について説明する。
ステップS640では、ユーザは、ユーザ管理部を介して、第2の動的クラスタリング分析モデルとして使用したいモデルをユーザ選定モデルとして選択する。ここでは、ユーザは、第2のストレージ部に格納されている音響信号特徴の情報の中から、第2の動的クラスタリング分析モデルの学習データとして使用したい音響信号特徴を選択してもよく、複数の既に訓練済みのクラスタリング分析モデルの中から第2の動的クラスタリング分析モデルとして使用したいモデルを選択してもよい。
次に、ステップS650では、ステップS640でユーザによって選択されたユーザ選定モデルのパラメータが、第2のストレージ部に格納されている第2の動的クラスタリング分析モデルにコピーされる。
以上説明した処理により、クラウド側異常検出装置による異常検出処理に用いられるクラスタリング分析モデルを用意することができる。
次に、図7を参照して、本発明の実施形態に係るクラウド側異常検出装置によるクラウド側異常検出処理について説明する。
図7は、本発明の実施形態に係るクラウド側異常検出処理700の流れを示す図である。クラウド側異常検出処理700は、例えば図3に示すクラウド側異常検出装置230によって実行され、解析対象の音響信号について異常が存在するか否かを判定すると共に、クラウド側のクラスタリング分析モデルとエッジ側のクラスタリング分析モデルとの同期状態を検証するための処理である。
まず、ステップS710では、ユーザは、クラウド側異常検出装置のユーザ管理部(例えば、図2に示すユーザ管理部236)を介して、第2の動的クラスタリング分析モデルとして使用したいモデルをユーザ選定モデルとして選択する。ここでは、ユーザは、第2のストレージ部に格納されている音響信号特徴の情報の中から、第2の動的クラスタリング分析モデルの学習データとして使用したい音響信号特徴を選択し、モデルの訓練を開始してもよく、複数の既に訓練されているクラスタリング分析モデルの中から第2の動的クラスタリング分析モデルとして使用したいモデルを選択してもよい。なお、図7のステップS710は、図6を参照して説明したクラウド側モデル管理処理600におけるステップS640に実質的に対応する。
ステップS720では、ステップS710で選択されたユーザ選定モデルは、第2の動的クラスタリング分析モデルとして第2のストレージ部に格納されると同時に、第2の動的クラスタリング分析モデルのパラメータが第1の静的クラスタリング分析モデルにコピーされる。また、ユーザ選定モデルが第2のストレージ部に格納されると同時に、ステップS760では、クラウド側異常検出装置の通信部は、エッジ側異常検出装置の第1の動的クラスタリング分析モデルの更新を指示するモデル更新通知をエッジ側異常検出装置に送信する。上述したように、このモデル更新通知は、ユーザ選定モデルの学習に用いられる音響信号特徴に対応する時刻の情報を含んでもよい。これにより、エッジ側異常検出装置は、モデル更新通知に指定された時刻に対応する音響信号特徴を学習データとして第1の動的クラスタリング分析モデルを訓練することで、第1の動的クラスタリング分析モデル及び第2の動的クラスタリング分析モデルは両方とも、ユーザ選定モデルとして選択されたモデルに整合され、互いに同期化される。
次に、ステップ730では、クラウド側異常検出装置のクラウド側異常検出部(例えば、図2に示すクラウド側異常検出部234)は、第2のストレージ部に保存されている第2の静的クラスタリング分析モデルを用いてエッジ側異常検出装置から送信された圧縮特徴を分析することで、当該圧縮特徴364が異常か正常かを判定する。より具体的には、クラウド側異常検出部は、第2の静的クラスタリング分析モデルを用いて音響信号の圧縮特徴を分析することで、当該音響信号360において異常が存在する確率を示すクラウドスコアを計算し、このクラウドスコア366が所定のクラウドスコア基準を満たす場合に、異常警告を出力してもよい。なお、ここでの第2の静的クラスタリング分析モデルは、例えば上述した数式1を用いて解析対象の音響信号が事前に用意された正常モデルに含まれる確率を計算し、この確率に基づいてクラウドスコアを計算してもよい。
次に、ステップS740では、クラウド側異常検出装置の同期検証部(例えば図2に示す同期検証部235)は、エッジ側異常検出部によって計算され、クラウド側異常検出装置に送信され、第2のストレージ部に保存されているエッジスコアと、ステップS730でクラウド側異常検出部によって計算されたクラウドスコアとに基づいて、第1の動的クラスタリング分析モデルと第2の動的クラスタリング分析モデルとの乖離度を計算し、この乖離度が所定の乖離度基準を満たす場合に、第1の動的クラスタリング分析モデル及び第2の動的クラスタリング分析モデルに対する更新処理を行う。
より具体的には、エッジスコアesとクラウドスコアcsと所定の乖離度基準εとの関係が以下の数式3を満たす場合には、第1の動的クラスタリング分析モデルと第2の動的クラスタリング分析モデルとが互いに同期していると判定されてもよい。
Figure 0007372876000003
また、エッジスコアesとクラウドスコアcsと所定の乖離度基準εとの関係が以上の数式3を満たさない場合には、エッジスコアesの移動平均
Figure 0007372876000004
及びクラウドスコアcsの移動平均
Figure 0007372876000005
と所定の値δ1、δ2との関係が以下の数式4を満たすか否かを検証してもよい。
Figure 0007372876000006
なお、ここでの乖離度基準ε及び所定の値δ1、δ2はユーザに指定されてもよい。エッジスコアes及びクラウドスコアcsと所定の乖離度基準εとの関係が数式3を満たさないで、クラウドスコアcsの移動平均とδ1との関係及びエッジスコアesの移動平均とδ2との関係が上記の数式6を満たす場合には、第1の動的クラスタリング分析モデルと第2の動的クラスタリング分析モデルとが互いに同期していないと判定される。そして、第1の動的クラスタリング分析モデルと第2の動的クラスタリング分析モデルとが互いに同期していないと判定される場合には、本処理はステップS750へと進み、第1の動的クラスタリング分析モデルと第2の動的クラスタリング分析モデルとが互いに同期している場合には、本処理は終了する。
ステップS750では、同期検証の結果、エッジ側の第1の動的クラスタリング分析モデルと、クラウド側の第2の動的クラスタリング分析モデルとの乖離度が所定の乖離度基準を満たすと判定された場合、同期検証部は、第2の動的クラスタリング分析モデルの更新処理を開始すると同時に、モデル更新通知をエッジ側異常検出装置に送信する。その後、エッジ側の第1の動的クラスタリング分析モデルと、クラウド側の第2の動的クラスタリング分析モデルとの同期化は、図5に示すステップS570~ステップS590に説明したように行われる。
これにより、第1の静的クラスタリング分析モデル及び第2の静的クラスタリング分析モデルは改めて互いに同期している状態となり、これらのモデルを用いた異常検出処理が確実に行われる。
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
210 エッジ側異常検出装置
213 ノイズ軽減部
214 特徴抽出部
215 エッジ側異常検出部
216 特徴圧縮部
218 第1の静的クラスタリング分析モデル
219 第1の動的クラスタリング分析モデル
230 クラウド側異常検出装置
233 前処理部
234 クラウド側異常検出部
235 同期検証部
236 ユーザ管理部
237 第2のストレージ部
238 第2の静的クラスタリング分析モデル
239 第2の動的クラスタリング分析モデル
360 音響信号
362 エッジスコア
364 圧縮特徴
366 クラウドスコア

Claims (10)

  1. 所定の施設に配置されている異常検出対象の機器と、
    前記施設に配置され、前記異常検出対象の機器から取得した音響信号を分析するエッジ側異常検出装置と、
    通信ネットワークを介して前記エッジ側異常検出装置に接続されているクラウド側異常検出装置と、
    からなる異常検出システムであって、
    前記エッジ側異常検出装置は、
    第1のクラスタリング分析モデルを含む第1のストレージ部と、
    前記異常検出対象の機器から取得した前記音響信号の特徴を抽出する特徴抽出部と、
    前記特徴を前記第1のクラスタリング分析モデルによって分析することで、前記音響信号において異常が存在する確率を示すエッジスコアを計算し、前記エッジスコアが所定のエッジスコア基準を満たす場合に、異常警告を出力するエッジ側異常検出部と、
    前記特徴を圧縮し、圧縮特徴を生成する特徴圧縮部と、
    前記圧縮特徴と、前記エッジスコアとを前記クラウド側異常検出装置に送信する第1の通信部と、
    を含み、
    前記クラウド側異常検出装置は、
    第2のクラスタリング分析モデルを含む第2のストレージ部と、
    前記圧縮特徴と前記エッジスコアとを受信する第2の通信部と、
    前記圧縮特徴を第2のクラスタリング分析モデルによって分析することで、前記音響信号において異常が存在する確率を示すクラウドスコアを計算し、前記クラウドスコアが所定のクラウドスコア基準を満たす場合に、異常警告を出力するクラウド側異常検出部と、
    前記エッジスコアと前記クラウドスコアとに基づいて、前記第1のクラスタリング分析モデルと前記第2のクラスタリング分析モデルとの乖離度を計算し、前記乖離度が所定の乖離度基準を満たす場合に、前記第1のクラスタリング分析モデル及び前記第2のクラスタリング分析モデルに対する更新処理を行う同期検証部と、
    を含む異常検出システム。
  2. 前記第1のストレージ部及び前記第2のストレージ部は、
    前記圧縮特徴と、前記圧縮特徴が抽出された時刻を示すタイムスタンプとを対応付けて格納する、
    ことを特徴とする、請求項1に記載の異常検出システム。
  3. 第1の静的クラスタリング分析モデルと、第1の動的クラスタリング分析モデルとを含み、
    前記乖離度が所定の乖離度基準を満たす場合に、
    前記同期検証部は、
    前記第1の静的クラスタリング分析モデルの更新を指示し、少なくとも第1の時刻を指定する第1のモデル更新通知を前記エッジ側異常検出装置に送信し、
    前記第1のモデル更新通知を受信した前記エッジ側異常検出装置は、
    前記第1の動的クラスタリング分析モデルを、前記第1のストレージ部に格納され、且、前記第1の時刻に対応する第1の訓練用データに基づいて訓練し、
    前記第1の静的クラスタリング分析モデルを前記第1の動的クラスタリング分析モデルに基づいて更新する、
    ことを特徴とする、請求項2に記載の異常検出システム。
  4. 前記第2のクラスタリング分析モデルは、
    第2の静的クラスタリング分析モデルと、第2の動的クラスタリング分析モデルとを含み、
    前記乖離度が所定の乖離度基準を満たす場合に、
    前記クラウド側異常検出装置は、
    前記第2の動的クラスタリング分析モデルを、前記第2のストレージ部に格納され、且、前記第1の時刻に対応する第1の訓練用データに基づいて訓練し、
    前記第2の静的クラスタリング分析モデルを前記第2の動的クラスタリング分析モデルに基づいて更新する、
    ことを特徴とする、請求項3に記載の異常検出システム。
  5. 前記クラウド側異常検出装置は、
    ユーザ管理部を更に含み、
    前記ユーザ管理部は、
    ユーザの入力に基づいて、前記第2のストレージ部に格納されている複数のモデル候補の中から、特定のモデル候補を前記第2の動的クラスタリング分析モデルとして設定し、
    前記第1のクラスタリング分析モデルの更新を指示し、前記第2の動的クラスタリング分析モデルの訓練に用いられた第2の訓練用データに対応する第2の時刻を指定する第2のモデル更新通知を前記エッジ側異常検出装置に送信し、
    前記第2のモデル更新通知を受信した前記エッジ側異常検出装置は、
    前記第1の動的クラスタリング分析モデルを、前記第1のストレージ部に格納され、且、前記第2の時刻に対応する第2の訓練用データに基づいて訓練し、
    前記第1の静的クラスタリング分析モデルを前記第1の動的クラスタリング分析モデルに基づいて更新する、
    ことを特徴とする、請求項4に記載の異常検出システム。
  6. 前記第1の動的クラスタリング分析モデル及び前記第2の動的クラスタリング分析モデルは、
    ウッドベリーの逆行列の補助定理を用いるFIGMM(Fast Incremental Gaussian Mixture Model)である、
    ことを特徴とする、請求項5に記載の異常検出システム。
  7. 第1のクラスタリング分析モデルによって計算される音響信号において異常が存在する確率を示すエッジスコアと、前記音響信号から抽出され、圧縮された圧縮特徴とを受信する転送部と、
    第2のクラスタリング分析モデルを含む第2のストレージ部と、
    前記圧縮特徴を前記第2のクラスタリング分析モデルによって分析することで、前記音響信号において異常が存在する確率を示すクラウドスコアを計算し、前記クラウドスコアが所定のクラウドスコア基準を満たす場合に、異常警告を出力するクラウド側異常検出部と、
    前記エッジスコアと前記クラウドスコアとに基づいて、前記第1のクラスタリング分析モデルと前記第2のクラスタリング分析モデルとの乖離度を計算し、前記乖離度が所定の乖離度基準を満たす場合に、前記第1のクラスタリング分析モデル及び前記第2のクラスタリング分析モデルに対する更新処理を行う同期検証部と、
    を含む異常検出装置。
  8. 前記第2のストレージ部は、
    前記圧縮特徴と、前記圧縮特徴が抽出された時刻を示すタイムスタンプと対応付けて格納し、
    前記第1のクラスタリング分析モデルは、
    第1の静的クラスタリング分析モデルと、第1の動的クラスタリング分析モデルとを含み、
    前記乖離度が所定の乖離度基準を満たす場合に、
    前記同期検証部は、
    前記第1の静的クラスタリング分析モデルの更新を指示し、少なくとも第1の時刻を指定するモデル更新通知を前記第1のクラスタリング分析モデルに送信する、
    ことを特徴とする、請求項7に記載の異常検出装置。
  9. 前記第2のクラスタリング分析モデルは、
    第2の静的クラスタリング分析モデルと、第2の動的クラスタリング分析モデルとを含み、
    前記乖離度が所定の乖離度基準を満たす場合に、
    前記異常検出装置は、
    前記第2の動的クラスタリング分析モデルを、前記第2のストレージ部に格納され、且、前記第1の時刻に対応する第1の訓練用データに基づいて訓練し、
    前記第2の静的クラスタリング分析モデルを前記第2の動的クラスタリング分析モデルに基づいて更新する、
    ことを特徴とする、請求項8に記載の異常検出装置。
  10. 第1のクラスタリング分析モデルによって計算される音響信号において異常が存在する確率を示すエッジスコアと、前記音響信号から抽出され、圧縮された圧縮特徴とを受信する工程と、
    前記圧縮特徴を第2のクラスタリング分析モデルによって分析することで、前記音響信号において異常が存在する確率を示すクラウドスコアを計算し、前記クラウドスコアが所定のクラウドスコア基準を満たす場合に、異常警告を出力する工程と、
    前記エッジスコアと前記クラウドスコアとに基づいて、前記第1のクラスタリング分析モデルと前記第2のクラスタリング分析モデルとの乖離度を計算し、前記乖離度が所定の乖離度基準を満たす場合に、前記第1のクラスタリング分析モデル及び前記第2のクラスタリング分析モデルに対する更新処理を行う工程と、
    を含み、
    前記第1のクラスタリング分析モデルは、
    第1の静的クラスタリング分析モデルと、第1の動的クラスタリング分析モデルとを含み、
    前記第2のクラスタリング分析モデルは、
    第2の静的クラスタリング分析モデルと、第2の動的クラスタリング分析モデルとを含み、
    前記更新処理は、
    前記第1の静的クラスタリング分析モデルの更新を指示し、少なくとも第1の時刻を指定するモデル更新通知を前記第1のクラスタリング分析モデルに送信する工程と、
    前記第1の動的クラスタリング分析モデルを前記第1の時刻に対応する第1の訓練用データに基づいて訓練する工程と、
    前記第1の静的クラスタリング分析モデルを前記第1の動的クラスタリング分析モデルに基づいて更新する工程と、
    前記第2の動的クラスタリング分析モデルを前記第1の時刻に対応する第1の訓練用データに基づいて訓練する工程と、
    前記第2の静的クラスタリング分析モデルを前記第2の動的クラスタリング分析モデルに基づいて更新する工程と、
    を含む異常検出方法。
JP2020090368A 2020-05-25 2020-05-25 異常検出システム、異常検出装置及び異常検出方法 Active JP7372876B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020090368A JP7372876B2 (ja) 2020-05-25 2020-05-25 異常検出システム、異常検出装置及び異常検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020090368A JP7372876B2 (ja) 2020-05-25 2020-05-25 異常検出システム、異常検出装置及び異常検出方法

Publications (2)

Publication Number Publication Date
JP2021185352A JP2021185352A (ja) 2021-12-09
JP7372876B2 true JP7372876B2 (ja) 2023-11-01

Family

ID=78815737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020090368A Active JP7372876B2 (ja) 2020-05-25 2020-05-25 異常検出システム、異常検出装置及び異常検出方法

Country Status (1)

Country Link
JP (1) JP7372876B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102560596B1 (ko) * 2022-12-16 2023-07-27 부산대학교 산학협력단 데이터 프라이버시 취약점 개선을 위한 영지식 증명 및 엣지 컴퓨팅 기반 BaaS 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017120622A (ja) 2015-12-25 2017-07-06 株式会社リコー 診断装置、診断方法、プログラムおよび診断システム
JP2017187820A (ja) 2016-03-31 2017-10-12 株式会社東芝 プロセス診断装置、プロセス診断方法及びコンピュータプログラム
US20190339681A1 (en) 2017-08-31 2019-11-07 Rockwell Automation Technologies, Inc. Discrete manufacturing hybrid cloud solution architecture
US20200065711A1 (en) 2018-08-21 2020-02-27 Lyft, Inc. Systems and methods for detecting and recording anomalous vehicle events

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017120622A (ja) 2015-12-25 2017-07-06 株式会社リコー 診断装置、診断方法、プログラムおよび診断システム
JP2017187820A (ja) 2016-03-31 2017-10-12 株式会社東芝 プロセス診断装置、プロセス診断方法及びコンピュータプログラム
US20190339681A1 (en) 2017-08-31 2019-11-07 Rockwell Automation Technologies, Inc. Discrete manufacturing hybrid cloud solution architecture
US20200065711A1 (en) 2018-08-21 2020-02-27 Lyft, Inc. Systems and methods for detecting and recording anomalous vehicle events

Also Published As

Publication number Publication date
JP2021185352A (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
US20210192220A1 (en) Video classification method and apparatus, computer device, and storage medium
US11551153B2 (en) Localized learning from a global model
US10679135B2 (en) Periodicity analysis on heterogeneous logs
US20180012003A1 (en) Pointing device biometrics continuous user authentication
JP7454105B2 (ja) 顔画像品質評価方法及び装置、コンピュータ機器並びにコンピュータプログラム
US10535371B2 (en) Speaker segmentation and clustering for video summarization
US10796242B2 (en) Robust training technique to facilitate prognostic pattern recognition for enterprise computer systems
US20200293875A1 (en) Generative Adversarial Network Based Audio Restoration
CN110554831B (zh) 操作同步方法、装置、设备及存储介质
US9947323B2 (en) Synthetic oversampling to enhance speaker identification or verification
WO2014207752A1 (en) Authenticating user by correlating speech and corresponding lip shape
US20160255109A1 (en) Detection method and apparatus
EP4369333A1 (en) Method and system for constructing training database by using voice personal-information protection technology
US10984814B2 (en) Denoising a signal
JP7372876B2 (ja) 異常検出システム、異常検出装置及び異常検出方法
CN110459223A (zh) 数据跟踪处理方法、设备、存储介质及装置
US20210176181A1 (en) Intelligent Conversion of Internet Domain Names to Vector Embeddings
US11392786B2 (en) Automated analytic resampling process for optimally synchronizing time-series signals
US20200125995A1 (en) Machine learning with segment-aligned multisensor trace data
US20190392317A1 (en) Feature value generation device, feature value generation method, and program
US20220405574A1 (en) Model-aware data transfer and storage
CN115552380A (zh) 性能事件故障排除系统
CN111292767A (zh) 一种音频事件检测方法和装置以及设备
US11869492B2 (en) Anomaly detection system and method using noise signal and adversarial neural network
US20220269958A1 (en) Device-invariant, frequency-domain signal processing with machine learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230123

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231011

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231020

R150 Certificate of patent or registration of utility model

Ref document number: 7372876

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150