JP7399797B2 - 異常度算出システムおよび方法 - Google Patents

Description

本発明は、異常度算出システムおよび方法に関する。

一般に、設備の異常または故障予兆などの状態は、設備の発する音として現れることが多いため、設備の稼動音に基づく異常音検知は重要である。異常音検知は、異常度算出システムによって音から算出される異常度が閾値を超えたかどうかに基づいて行う。しかし、複数の機械型式について高精度に異常度を算出するためには、機械型式ごとに膨大な学習データが必要である。したがって、複数の機械型式について高精度に異常度を算出することができ、かつ、機械型式あたりに必要な学習データのサンプル数が少なくてすむ異常度算出が求められる。

特許文献１には、「異常の検知対象となるコンテンツ変数と、前記コンテンツ変数が得られた条件を示すコンテキスト変数とを含む基準データと、前記コンテンツ変数と前記コンテキスト変数とを含む判定対象データに含まれる前記コンテキスト変数の値に基づき、前記判定対象データの異常検知を行うときに使用するコンテキスト変数を前記コンテキスト変数から選択する、変数選択部を備えた」技術が開示されている。

特開２０１９－１２１１６２号公報 特開２０１８－９５４２９公報 特開２０２０－７３３６６公報

特許文献１で開示された発明の実施例の一つは、「コンテキスト変数」と呼ばれる稼動条件の組と、「コンテンツ変数」と呼ばれる異常検知対象のセンサデータの組とを入力し、異常検知を行う。特許文献１に記載はないが、もしも特許文献１において、稼動音に対して算出される特徴量の時系列を「コンテンツ変数」として入力できるとするならば、設備の異常音を検知することもできるかもしれない。ただし、この記載は、特許文献１を設備の異常な稼働音（異常音）の検知に適用できると述べているわけではなく、単なる仮定にすぎないことに留意すべきである。

しかし、上述の仮定がもしも成り立つとしても、複数の機械型式について高精度な異常度算出であって、かつ、必要な学習データの機械型式あたりのサンプル数が少ない異常度算出は実現できない。なぜならば、複数の機械型式にわたる正常音は多様であり、複雑に分布しているので、その正常音の分布を学習するためには機械型式あたり大量のサンプルの学習データが必要だからである。

また、もしも、特許文献１において、「コンテキスト変数」として機械の型式を入力できたとしても、複数の機械型式にわたって高精度な異常度算出であって、かつ、必要な学習データの機械型式あたりのサンプル数が少ない異常度算出は実現できない。なぜならば、この方法は、機械の型式ごとに、コンテキスト変数の軸の異なる位置に独立した別の分布を割り当てて正常音をモデル化するものだからである。音 (「コンテンツ変数」) だけでは正常と異常が分けられないサンプルに、機械の型式という軸 (「コンテキスト変数」) を新たに追加することはできるが、機械の型式の数だけ独立した別のモデルを用意することと等価となり、大量のサンプルの学習データが必要となる。

特許文献２と特許文献３も、条件毎に独立した別のモデルを用意する技術であるため、特許文献１について述べたと同様に、複数の機械型式にわたって高精度な異常度算出であって、かつ、必要な学習データの機械型式あたりのサンプル数が少ない異常度算出は実現できない。

本発明は、上記問題に鑑みてなされたもので、その目的は、複数種類の対象装置について、対象装置の振動に由来する信号に基づいて異常度を算出できるようにした異常度算出システムおよび方法を提供することにある。

上記課題を解決すべく、本発明の一つの観点に従う異常度算出システムは、対象装置の異常度を算出する異常度算出システムであり、対象装置の振動に由来する入力信号から特徴量ベクトルを生成して出力する特徴量ベクトル抽出部と、特徴量ベクトルと対象装置の種類を表す装置種類ベクトルとの組を入力として符号ベクトルを出力するニューラルネットワークである符号化部と、符号ベクトルと装置種類ベクトルを入力として復号ベクトルを出力するニューラルネットワークである復号化部と、特徴量ベクトル抽出部からの特徴量ベクトルと符号化部からの符号ベクトルと復号化部からの復号ベクトルとの関数として定義される所定の損失関数を最小化するように、符号化部のニューラルネットワークのパラメタと復号化部のニューラルネットワークのパラメタとを学習する学習部と、特徴量ベクトル抽出部からの特徴量ベクトルと符号化部からの符号ベクトルと復号化部からの復号ベクトルとの関数として定義される異常度を算出する異常度算出部とを備える。

本発明によれば、複数種類の対象装置について、その振動に由来する信号から異常度を算出することができる。

本実施例の全体概要を示す説明図。 異常度算出システムのブロック構成図。 特徴量ベクトル、符号ベクトル、復号ベクトルなどの関係を示す説明図。 異常度算出装置のハードウェアおよびソフトウェア構成図。 学習サブシステムのブロック構成図。 学習サブシステムの処理フロー。 ニューラルネットワークへ入力されるベクトルの作成方法を示す説明図。 異常度算出サブシステムのブロック構成図。 異常度算出サブシステムの処理フロー。 第２実施例に係り、特徴量ベクトルの生成方法を示す説明図。 学習サブシステムのブロック構成図。 学習サブシステムの処理フロー。 異常度算出サブシステムのブロック構成図。 異常度算出サブシステムの処理フロー。 第３実施例に係り、特徴量ベクトル、符号ベクトル、復号ベクトルなどの関係を示す説明図。 装置型式ベクトルと装置カテゴリベクトルの関係を示す説明図。 学習サブシステムのブロック構成図。 学習サブシステムの処理フロー。 異常度算出サブシステムのブロック構成図。 異常度算出サブシステムの処理フロー。 学習サブシステムの精度をさらに高める変形例の説明図。 第４実施例に係り、異常度算出システムのブロック構成図。 特徴量ベクトル、符号ベクトル、復号ベクトルなどの関係を示す説明図。 ニューラルネットワークへ入力されるベクトルの作成方法を示す説明図。 第５実施例に係り、異常度算出システムのブロック構成図。 特徴量ベクトル、符号ベクトル、復号ベクトルなどの関係を示す説明図。 学習サブシステムのブロック構成図。 図２７内の機能の詳細を示すブロック図。 学習サブシステムの処理フロー。

以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態に係る異常度算出システムは、例えば、対象装置の振動に由来する信号Ｄ０を入力として特徴量ベクトルＤ１を出力する特徴量ベクトル抽出部１１と、特徴量ベクトルＤ１と対象装置３の型式を表す装置型式ベクトルＤ４との組を入力として符号ベクトルＤ２を出力するニューラルネットワークである符号化部１２と、符号ベクトルＤ２と対象装置３の型式を表す装置型式ベクトルＤ４を入力として復号ベクトルＤ３を出力するニューラルネットワークである復号化部１３と、特徴量ベクトルＤ１、符号ベクトルＤ２、復号ベクトルＤ３の関数で定義される損失関数を最小化するように符号化部１２のニューラルネットワークのパラメタと復号化部１３のニューラルネットワークのパラメタとを更新させる学習部１５と、特徴量ベクトルＤ１、符号ベクトルＤ２、復号ベクトルＤ３の関数である異常度を算出する異常度算出部１６を備える。以下では、異常度の算出対象である装置３を装置３と略記する場合がある。学習部１５は、例えば、ニューラルネットワークパラメタ更新部と呼ぶこともできる。

本実施形態によれば、装置型式ベクトルＤ４が符号化部１２と復号部１３の両方に入力されるので、装置型式ベクトルＤ４の情報が符号ベクトルＤ２に残っていない場合でも、復号ベクトルＤ３を精度よく予測できる。

したがって、学習部１５が学習処理を反復するに従って、符号ベクトルＤ２の圧縮効率が次第に向上し、符号ベクトルＤ２から装置型式ベクトルＤ４の情報が消滅し、その結果、符号ベクトルＤ２が装置３の型式に依らない共通の分布となるように、符号化部１２のパラメタと復号化部１３のパラメタが学習される。

本実施形態では、符号ベクトルＤ２が装置３の型式に依らず共通の分布となる。このため、本実施形態では、装置型式間で共通する音の特徴を表現するために、ニューラルネットワーク内の写像もできる限り共有されるので、学習処理で探索が必要なパラメタ空間のサイズを小さくすることができる。これにより、本実施形態によれば、学習処理の最適化が進みやすくなる。

本実施形態では、装置３の発する振動に由来する信号に基づいて、装置３の異常度を算出し、算出された異常度から装置３に異常が生じているかを判定することができる。振動に由来する信号には、振動の信号と音の信号とが含まれる。本実施例で使用するセンサ端末２をマイクロフォンから加速度センサまたは変位センサに代えることにより、本実施例の異常度算出システム１は振動の信号から異常度を算出できる。

対象装置３は、例えば、バルブ、摺動装置、ロボット、ポンプ、送風機、シリンダ、コンベア、原動機、トランスミッションなどである。装置３は、機械、工場設備または家庭電気製品などである。本実施形態では、突発的に正常音が変化しうる装置３についても、その異常度を算出できる。

図１～図９を用いて第１実施例を説明する。図１は、本実施例の全体概要を示す説明図である。異常度算出システム１の構成の詳細は後述する。ここでは先に全体構成を簡単に説明する。

異常度算出システム１は、例えば、複数種類の対象装置３の発する音の信号Ｄ０をセンサ端末２により検出し、特徴量ベクトル抽出部１１へ入力する。特徴量ベクトル抽出部１１は、入力された信号Ｄ０から特徴量ベクトルＤ１を抽出して出力する。

符号化部１２は、特徴量ベクトル抽出部１１から入力された特徴量ベクトルＤ１と装置型式ベクトル生成部４から入力された装置型式ベクトルＤ４とに基づいて、符号化ベクトルＤ２を生成する。符号化ベクトルＤ２は、一例として「潜在表現ベクトル」と呼ぶこともできる。

装置型式ベクトルＤ４とは、対象装置３の種類を識別する装置種類ベクトルの一種であり、装置３の型式から生成されるＯｎｅ－Ｈｏｔベクトルである。Ｏｎｅ－Ｈｏｔベクトルとは、ベクトルの全要素のうち所定の一つの要素のみが「１」となっており、他の要素が「０」となっているベクトル表記法である（図７参照）。後述する他の実施例で明らかとなるように、装置種類ベクトルは、装置型式ベクトルＤ４のほかに、装置カテゴリベクトルＤ７を含むこともできる。装置カテゴリとは、同一種類の装置に属する型式を含む上位概念であり、装置３の分類である。

装置型式ベクトルＤ４にＯｎｅ－Ｈｏｔベクトルを用いることで、型式の順序関係に伴う精度低下を防ぐ効果がある。たとえば、型式の順序関係が単に型式を登録した順序である場合、型式１と型式２とは番号が隣り合っており、型式１と型式７とは番号が離れているが、型式７の音よりも型式２の音の方が型式１の音と類似しているとは限らない。しかし、装置型式ベクトルＤ４にＯｎｅ－Ｈｏｔベクトルではなく順序関係に依存したベクトルを使用すると、型式７よりも型式２の方が型式１と類似するというバイアスがかかった処理がなされる可能性が高く、学習処理の最適化が難しくなる。それに対し、Ｏｎｅ－Ｈｏｔベクトルを使用することで、互いの型式の間のベクトルの距離が等しくなるため、型式を順序関係によらず平等に扱うことができる。

同様に、装置カテゴリベクトルＤ７にＯｎｅ－Ｈｏｔベクトルを用いることで、装置カテゴリの順序関係に伴う精度低下を防ぐ効果がある。たとえば、装置カテゴリの順序関係が単に装置カテゴリを登録した順序である場合、装置カテゴリ１と装置カテゴリ２とは番号が隣り合っており、装置カテゴリ１と装置カテゴリ７とは番号が離れているが、装置カテゴリ７の音よりも装置カテゴリ２の音の方が装置カテゴリ１の音と類似しているとは限らない。しかし、装置カテゴリベクトルＤ７にＯｎｅ－Ｈｏｔベクトルではなく順序関係に依存したベクトルを使用すると、装置カテゴリ７よりも装置カテゴリ２の方が装置カテゴリ１と類似するというバイアスがかかった処理がなされる可能性が高く、学習処理の最適化が難しくなる。それに対し、Ｏｎｅ－Ｈｏｔベクトルを使用することで、互いの装置カテゴリの間のベクトルの距離が等しくなるため、装置カテゴリを順序関係によらず平等に扱うことができる。

装置型式ベクトルＤ４は、Ｏｎｅ－Ｈｏｔベクトルではない各要素が０か１をとるバイナリのベクトルであってよい。このとき、０と１の順列が装置３の各型式と対応する。たとえば、装置型式ベクトルＤ４の次元数を３とし、１番目の型式に対応する装置型式ベクトルＤ４を（０、０、１）、２番目の型式に対応する装置型式ベクトルＤ４を（０、１、０）、３番目の型式に対応する装置型式ベクトルＤ４を（０、１、１）、４番目の型式に対応する装置型式ベクトルＤ４を（１、０、０）、５番目の型式に対応する装置型式ベクトルＤ４を（１、０、１）、６番目の型式に対応する装置型式ベクトルＤ４を（１、１、０）、７番目の型式に対応する装置型式ベクトルＤ４を（１、１、１）、とする。符号化部の入力層で装置型式ベクトルＤ４の入力を受け付ける素子の個数と復号化部の入力層で装置型式ベクトルＤ４の入力を受け付ける素子の個数がＯｎｅ－Ｈｏｔベクトルの場合の対数オーダで抑えられるため、装置型式の個数が非常に多い場合には、ニューラルネットワークのパラメタの個数とともに、実行に必要なメモリ量を削減する効果がある。また、装置型式の名称や番号などを入力とする適当なハッシュ関数が生成する固定長ビット系列を装置型式ベクトルＤ４としてもよい。ハッシュ関数は剰余ハッシュなどの公知のハッシュ関数でよい。この場合、型式の順序関係に伴う精度低下を軽減することができる。

装置型式ベクトルＤ４と同様に、装置カテゴリベクトルＤ７も、Ｏｎｅ－Ｈｏｔベクトルではない各要素が０か１をとるバイナリのベクトルであってよい。このとき、０と１の順列が装置３の各装置カテゴリと対応する。たとえば、装置カテゴリベクトルＤ７の次元数を３とし、１番目の装置カテゴリに対応する装置カテゴリベクトルＤ７を（０、０、１）、２番目の装置カテゴリに対応する装置カテゴリベクトルＤ７を（０、１、０）、３番目の装置カテゴリに対応する装置カテゴリベクトルＤ７を（０、１、１）、４番目の装置カテゴリに対応する装置カテゴリベクトルＤ７を（１、０、０）、５番目の装置カテゴリに対応する装置カテゴリベクトルＤ７を（１、０、１）、６番目の装置カテゴリに対応する装置カテゴリベクトルＤ７を（１、１、０）、７番目の装置カテゴリに対応する装置カテゴリベクトルＤ７を（１、１、１）、とする。符号化部の入力層で装置カテゴリベクトルＤ７の入力を受け付ける素子の個数と復号化部の入力層で装置カテゴリベクトルＤ７の入力を受け付ける素子の個数がＯｎｅ－Ｈｏｔベクトルの場合の対数オーダで抑えられるため、装置カテゴリの個数が非常に多い場合には、ニューラルネットワークのパラメタの個数とともに、実行に必要なメモリ量を削減する効果がある。また、装置カテゴリの名称や番号などを入力とする適当なハッシュ関数が生成する固定長ビット系列を装置カテゴリベクトルＤ７としてもよい。ハッシュ関数は剰余ハッシュなどの公知のハッシュ関数でよい。この場合、装置カテゴリの順序関係に伴う精度低下を軽減することができる。

復号化部１３は、符号化部１２から出力された符号ベクトルＤ２と装置型式ベクトル生成部１４の生成した装置型式ベクトルＤ４とに基づいて、復号ベクトルＤ３を生成して出力する。

異常度算出部１６は、特徴量ベクトルＤ１と符号ベクトルＤ２と復号ベクトルＤ３とから、装置３の異常度を算出する。算出された異常度は、例えば、異常検出システム、診断システム、生産管理システムなどの他のシステムへ提供することもできる。

学習部１５は、特徴量ベクトル抽出部１１からの特徴量ベクトルＤ１と符号化部１２からの符号ベクトルＤ２と復号化部１３からの復号ベクトルＤ３との関数として定義される所定の損失関数を最小化するように、符号化部１２のニューラルネットワークのパラメタＤ５Ｅと復号化部１３のニューラルネットワークのパラメタＤ５Ｄとを学習する。

図２は、異常度算出システム１の全体を示すブロック構成図である。異常度算出システム１は、学習サブシステムＬＳＳと異常度算出サブシステムＤＳＳとに大別することができる。学習サブシステムＬＳＳは、符号化部１２のニューラルネットワークのパラメタＤ５Ｅと復号化部１３のニューラルネットワークのパラメタＤ５Ｄとを学習し（Ｓ１）、学習用データベースＤＢ２へ記憶させる。異常度算出サブシステムＤＳＳは、学習用データベースＤＢ２から読み出したパラメタを用いて、異常度を算出する（Ｓ２）。

図３は、特徴量ベクトルＤ１、符号ベクトルＤ２、復号ベクトルＤ３の関係を示す説明図である。

図７に示すように、特徴量ベクトル抽出部１１からの特徴量ベクトルＤ１と装置型式ベクトル生成部１４からの装置型式ベクトルＤ４とは連結されて一つのベクトルとなり、符号化部１２へ入力される。

図３に戻る。符号化部１２により生成された符号ベクトルＤ２は、復号化部１３へ入力される。そして、復号化部１３には、符号化部１２と同様、装置型式ベクトルＤ４も入力される。復号化部１３は、復号ベクトルＤ３を生成して出力する。

図４は、異常度算出装置１００のハードウェアおよびソフトウェア構成図である。計算機に所定のコンピュータプログラムを実行させることにより、その計算機を異常度算出装置１００として用いることができる。図４では、一つの計算機から異常度算出装置１００を構成する例を示すが、これに代えて、複数の計算機から一つまたは複数の異常度算出装置１００を形成してもよい。計算機は仮想的な計算機でもよい。

異常度算出装置１００は、一つまたは複数のセンサ端末２と通信ネットワークＣＮを介して接続されている。

センサ端末２は、例えば、可搬型の録音端末として構成される。センサ端末２と異常度算出装置１とを一体化してもよい。例えば、録音機能を有する異常度算出装置１を可搬型の装置として構成してもよい。この場合は、センサ端末２が不要となる。

異常度算出装置１００は、例えば、演算部１００１と、主記憶装置１００２と、補助記憶装置１００３と、入力部１００４と、出力部１００５と、通信部１００６とを備える計算機である。

演算部１００１は、一つまたは複数のマイクロプロセッサを含んでおり、補助記憶装置１００３に記憶された所定のコンピュータプログラムを主記憶装置１００２に読み出して実行することにより、図１で述べたような特徴量ベクトル抽出部１１、符号化部１２、復号化部１３、装置型式ベクトル生成部１４、学習部１５および異常度算出部１６といった機能を実現する。

入力部１００４は、例えば、キーボード、タッチパネル、ポインティングデバイスなどを含むことができ、異常度算出装置１００を使用するユーザからの入力を受け付ける。出力部１００５は、例えば、モニタディスプレイ、スピーカー、プリンタなどを含むことができ、ユーザへ情報を提供する。

通信部１００６は、通信ネットワークＣＮを介して、センサ端末２と通信する。通信部１００６は、図示せぬ他のコンピュータと通信することもできる。

記憶媒体ＭＭは、例えば、フラッシュメモリまたはハードディスク等の記憶媒体であり、異常度算出装置１００へコンピュータプログラムまたはデータを転送して記憶させたり、異常度算出装置１００からコンピュータプログラムまたはデータを読み出して記憶したりする。記憶媒体ＭＭは、異常度算出装置１００に直接的に接続されてもよいし、通信ネットワークＣＮを介して異常度算出装置１００に接続されてもよい。

センサ端末２の構成を説明する。センサ端末２は、例えば、センサ部２１と、制御部２２と、記憶部２３と、通信部２４とを備える。

センサ部２１は、対象装置３の音を検出するマイクロフォンである。したがって、以下では、センサ部２１をマイクロフォン２１と呼ぶ場合がある。センサ部２１により検出された音のデータは記憶部２３に記憶される。センサ端末２を制御する制御部２２は、記憶部２３に記憶された音データを異常度算出装置１００へ向けて送信する。

なお、センサ部２１をマイクロフォンから加速度センサなどに変更することにより、センサ端末２は対象装置３の振動を検出することができる。そして、異常度算出装置１００は、対象装置３の振動に基づいて異常度を算出することができる。

図５は、学習サブシステムＬＳＳのブロック構成図である。図６は、学習サブシステムＬＳＳの処理フローである。図５および図６を参照して説明する。変分オートエンコーダ (Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ：ＶＡＥ) 型の構成については、後述する。

まず最初に特徴量ベクトル抽出部１１の構成を説明する。入力音取得部１０１は、マイクロフォン２１から入力されたアナログ入力信号をＡ／Ｄ（アナログ／デジタル）変換器によってデジタル入力信号に変換し（Ｓ１０１）、訓練用デジタル入力信号データベースＤＢ１へ格納する（Ｓ１０２）。

フレーム分割部１０２は、訓練用デジタル入力信号データベースＤＢ１から取り出したデジタル入力信号に対して、規定した時間ポイント数 （以下、フレームサイズ） 毎にデジタル入力信号を分割し、フレーム信号を出力する（Ｓ１０４）。フレーム間はオーバーラップしてもよい。

窓関数乗算部１０３は、入力されたフレーム信号っｓに窓関数を乗算することにより、窓関数乗算信号を出力する（Ｓ１０５）。窓関数には、例えばハニング窓を用いる。

周波数領域信号計算部１０４は、入力された窓関数乗算後信号に短時間フーリエ変換を施することにより、周波数領域信号を出力する（Ｓ１０６）。周波数領域信号は、フレームサイズがＮであれば、（Ｎ／２＋１）＝Ｍ個の周波数ビンそれぞれに１個の複素数が対応する、Ｍ個の複素数の組である。周波数領域信号計算部１０４は、短時間フーリエ変換の代わりに、ｃｏｎｓｔａｎｔ Ｑ変換（ＣＱＴ）などの周波数変換手法を用いることもできる。

パワースペクトログラム計算部１０５は、入力された周波数領域信号に基づいて、そのパワースペクトログラムを出力する（Ｓ１０７）。フィルタバンク乗算部１０６は、入力されたパワースペクトログラムにメルフィルタバンクを乗算することにより、メルパワースペクトログラムを出力する（Ｓ１０８）。フィルタバンク乗算部１０６は、メルフィルタバンクの代わりに、１／３オクターブバンドフィルタなどのフィルタバンクを用いてもよい。

瞬時特徴量計算部１０７は、入力されたメルパワースペクトログラムに対数を施すことにより、対数メルパワースペクトログラムを出力する（Ｓ１０９）。なお、対数メルパワースペクトログラムの代わりに、メル周波数ケプストラム係数（ＭＦＣＣ）を計算してもよい。その場合、フィルタバンク乗算部１０６と対数計算部１０７の代わりに、パワースペクトログラムの対数値を計算し、フィルタバンクを乗算し、離散コサイン変換を施し、ＭＦＣＣを出力する。

特徴量時系列算出部１０８は、入力された対数メルパワースペクトログラムに対して、あるいは、ＭＦＣＣに対して、隣接するＬフレームを連結させて特徴量ベクトルＤ１を出力する（Ｓ１１０）。対数メルパワースペクトログラム、あるいは、ＭＦＣＣの代わりに、それらの時間差分あるいは時間微分の時系列（デルタ）を入力し、隣接するＬフレームを連結させて特徴量ベクトルＤ１を出力してもよい。

時間差分あるいは時間微分の時系列の時間差分あるいは時間微分の時系列（デルタデルタ）を入力することにより、隣接するＬフレームを連結させて特徴量ベクトルＤ１を出力してもよい。さらに、これらのいずれかの組み合わせを選んで特徴量軸方向に連結したものに対して、隣接するＬフレームを連結させて特徴量ベクトルＤ１を出力してもよい。特徴量ベクトル抽出部１１の生成する特徴量ベクトルＤ１は、符号化部１２と学習部１５とに入力される。

本実施例では、装置型式ベクトル生成部１４により、装置型式ベクトルＤ４が生成され、符号化部１２と復号化部１３へ入力される（Ｓ１１１）。

符号化部１２は、特徴量ベクトルＤ１と装置型式ベクトル生成部１４からの装置型式ベクトルＤ４とに基づいて符号ベクトルＤ２を生成する。生成された符号ベクトルＤ２は、復号化部１３へ入力される。

復号化部１３は、符号ベクトルＤ２と装置型式ベクトルＤ４とに基づいて復号ベクトルＤ３を生成する。

学習部１５は、特徴量ベクトルＤ１と符号ベクトルＤ２と復号ベクトルＤ３の関数として定義される所定の損失関数の値が最小となるように、符号化部１２のニューラルネットワークのパラメタＤ５Ｅと復号化部１３のニューラルネットワークのパラメタＤ５Ｄとを繰り返し学習させる（Ｓ１１２～Ｓ１１５）。それらパラメタＤ５Ｅ，Ｄ５Ｄは、学習用データベースＤＢ２へ記憶される（Ｓ１１６）。

すなわち、学習部１５は、収束条件を満たすか、または本処理の反復回数Ｃ１が上限値ＴｈＣを超えたかを判定する（Ｓ１１２）。

収束条件を満たさない場合、または反復回数Ｃ１が上限値ＴｈＣ以下の場合、学習部１５は、ニューラルネットワークのパラメタＤ５Ｅ，Ｄ５Ｄを更新し（Ｓ１１３）、収束条件を計算し（Ｓ１１４）、反復回数Ｃ１を１つインクリメントさせてステップＳ１１２へ戻る。

学習部１５は、ニューラルネットワークのパラメタＤ５Ｅ，Ｄ５Ｄを学習用データベースＤＢ２へ保存させる（Ｓ１１６）。

図８は、異常度算出サブシステムＤＳＳのブロック構成図である。図９は、異常度算出サブシステムＤＳＳの処理フローである。図８および図９を参照して説明する。

異常度算出サブシステムＤＳＳは、学習部１５の代わりに異常度算出部１６を有しており、訓練用データベースＤＢ１を使用しない。

入力信号Ｄ０から抽出された特徴量ベクトルＤ１の異常度を算出するに際して、符号化部１２は学習用データベースＤＢ２からパラメタＤ５Ｅを読み込み、復号化部１３は同じく学習用データベースＤＢ２からパラメタＤ５Ｄを読み込む（Ｓ２０１）。

ステップＳ１０１～Ｓ１１１の内容は既に述べたので、重複した説明は割愛する。これらのステップＳ１０１～Ｓ１１１では、対象装置３から検出された音信号Ｄ０についての特徴量ベクトルＤ１を生成し、対象装置３の装置型式ベクトルＤ４と共に符号化部１２のニューラルネットワークへ入力される。なお、以下の記載においても、重複した説明は省略する。

符号化部１２は、特徴量ベクトルＤ１と装置型式ベクトルＤ４とから符号ベクトルＤ２を生成し、その符号ベクトルＤ２を復号化部１３へ入力する（Ｓ２０２）。復号化部１３は、装置型式ベクトルＤ４と符号ベクトルＤ２とから復号ベクトルＤ３を生成して異常度算出部１６へ出力する（Ｓ２０３）。

異常度算出部１６は、特徴量ベクトルＤ１と符号ベクトルＤ２と復号ベクトルＤ３とに基づいて、対象装置３の音信号Ｄ０の異常度を算出し、その計算結果Ｄ６を出力する（Ｓ２０４）。

ここで、変分オートエンコーダ (Ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ：ＶＡＥ) 型の構成を開示する。符号化部１２は、多層ニューラルネットワークであって、その入力層は特徴量ベクトルの次元数と装置型式ベクトルの次元数を足した個数の素子からなり、それらの素子が、特徴量ベクトルと装置型式ベクトルを連結したベクトルの各要素を受け付ける。入力層は、非線形の活性化関数 (たとえばランプ関数) を挟み、適当な個数 (たとえば入力層の素子数と同数) の素子からなる第２層に連結されている。そして、第２層も、非線形の活性化関数を挟み、適当な個数 (たとえば入力層の素子数と同数) の素子からなる第３層に連結されている。このように多層的に連結される第2層以降のことを中間層と呼ぶ。符号化部の中間層の最後は、符号ベクトルの次元数Ｑの２倍の２Ｑ個の素子からなる。それらの素子をＱ個ずつ半分に分け、素子の出力値を、

μ＿１， μ＿２， …， μ＿Ｑ， σ＿１， σ＿２， …， σ＿Ｑ
と定義する。ここで、μ＿１， μ＿２， …， μ＿Ｑを各要素に持つ列ベクトルをμと定義し、σ＿１， σ＿２， …， σ＿Ｑを対角成分の各要素に持つ対角行列をΣと定義する。そして、符号化部の最終層は、μを平均、Σを共分散行列とする多次元正規分布Ｎ（ｚ； μ， Σ） に従って、次元数Ｑの符号ベクトルｚを確率的に生成する。

復号化部１３は、多層ニューラルネットワークであって、その入力層は符号ベクトルの次元数Ｑと装置型式ベクトルの次元数を足した個数の素子からなり、それらの素子が、符号ベクトルと装置型式ベクトルを連結したベクトルの各要素を受け付ける。入力層は、非線形の活性化関数 (たとえばランプ関数) を挟み、適当な個数 (たとえば入力層の素子数と同数) の素子からなる第2層に連結されている。そして、第２層も、非線形の活性化関数を挟み、適当な個数 (たとえば入力層の素子数と同数) の素子からなる第３層に連結されている。このように、符号化部同様に、多層的に連結される中間層を有する。復号化部の最終層は、特徴量ベクトルの次元数と同じ個数の素子からなり、素子の出力値を復号ベクトルと呼ぶ。

学習部１５は、特徴量ベクトルＤ１と符号ベクトルＤ２および復号ベクトルＤ３の関数で定義される損失関数を最小化するように、符号化部１２と復号化部１３のニューラルネットワークのパラメタを更新する。評価関数として、特徴量ベクトルＤ１と復号ベクトルＤ３の間の誤差の大きさ、および、符号ベクトルＤ２の分布と或る定めた分布との非類似度に或る正の定数βを乗算した値、の和を用いる。

特徴量ベクトルＤ１と復号ベクトルＤ３の間の誤差として、たとえば、二乗誤差、Ｌ１ノルム、Ｌｐノルムなどを用いてよい。符号ベクトルの分布との非類似度を測定する分布として、たとえばベクトル０を平均とする標準偏差１の等方正規分布や、ベクトル０を平均とする標準偏差１のラプラス分布、を用いてよい。分布の非類似度として、カルバック・ライブラー （ＫＬ） ダイバージェンスに－１を乗算した値を用いてよい。

損失関数の最小化は、例えばＳＧＤ、Ｍｏｍｅｎｔｕｍ ＳＧＤ、ＡｄａＧｒａｄ、ＲＭＳｐｒｏｐ、ＡｄａＤｅｌｔａ、Ａｄａｍなどの公知の最適化アルゴリズムによって行うことができる。

このように構成される本実施例によれば、装置型式ベクトルＤ４が符号化部１２と復号部１３の両方に入力されるので、装置型式ベクトルＤ４の情報が符号ベクトルＤ２に残っていない場合でも、復号ベクトルＤ３を精度よく予測できる。したがって、学習部１５が学習処理を反復するに従って、符号ベクトルＤ２の圧縮効率が次第に向上し、符号ベクトルＤ２から装置型式ベクトルＤ４の情報が消滅し、符号ベクトルＤ２が装置３の型式に依らない共通の分布となるように、符号化部１２のパラメタと復号化部１３のパラメタが学習される。本実施例では、符号ベクトルＤ２が装置３の型式に依らず共通の分布となり、装置型式間で共通する音の特徴を表現するためにニューラルネットワーク内の写像もできる限り共有されるため、学習処理で探索が必要なパラメタ空間のサイズを小さくすることができる。したがって、本実施例によれば、学習処理の最適化が進みやすくなる。

図１０～図１４を用いて第２実施例を説明する。本実施例を含む以下の各実施例では、第１実施例との相違を中心に述べる。

図１０は、特徴量ベクトルの生成方法を示す説明図である。図１１は、学習サブシステムＬＳＳのブロック構成図である。図１２は、学習サブシステムＬＳＳの処理フローである。図１３は、異常度算出サブシステムＤＳＳのブロック構成図である。図１４は、異常度算出サブシステムＤＳＳの処理フローである。

本実施例の異常度算出システム１（２）の特徴量ベクトル抽出部１１（２）は、特徴量時系列算出部１０８により算出された特徴量ベクトルＤ１から、所定領域（例えば中間時刻）の複数フレームＤ１Ｍ（以下、中間特徴量ベクトルＤ１Ｍ）を取り除いた特徴量ベクトルＤ１Ｌ（以下、欠損後特徴量ベクトルＤ１Ｌ）を算出する中間特徴量ベクトル除外部１１１を有する。

なお、所定領域とは、入力信号Ｄ０の特徴量ベクトルＤ１の時間軸上の中央を中心とする前後所定時間の領域、または、入力信号Ｄ０の特徴量ベクトルＤ１の全体の時間長さのうち中央を中心とする前後所定割合の領域、または、対象装置３の状態が変化する場合の状態変化直前の信号または状態変化直後の信号のいずれか一つを含む領域、のいずれか一つであってもよい。

以下では、変分補間深層ニューラルネットワーク (ＶＩＤＮＮ) 型の構成を開示する。中間特徴量ベクトル除外部１１１は、入力された特徴量時系列Ｄ１の中間時刻の複数フレームである、中間特徴量ベクトルＤ１Ｍを取り除いて、欠損後特徴量ベクトルＤ１Ｌを出力する（図１２のステップＳ１１７）。

ここで、中間特徴量ベクトルＤ１Ｍとして、特徴量時系列において厳密に中央のＫ個の隣接フレームを選んでもよく、中央から前後にずらしたＫ個の隣接フレームを選んでもよい。また、Ｋフレームを一つのクラスタとして、２個以上のＣ個のクラスタを欠損させてもよい。その場合、Ｌフレームのうち、ＣＫフレームが欠損し、（Ｌ－ＣＫ）フレームが入力特徴量として残ることになる。いずれにしても前後のフレームを入力特徴量Ｄ１Ｌとして残すことで、たとえ正常音の特徴量ベクトルＤ１の時間変化が突発的であったとしても、中間特徴量ベクトルＤ１Ｍの予測が可能であるようにする。

Ｋ＝１であっても異常検知は十分に機能する。ただし、Ｋ＝１の場合、装置３の正常／異常にかかわらず前後のフレームの情報だけで中間特徴量ベクトルＤ１Ｍを高精度に補間ができる可能性が高い。それに対して、Ｋを２以上に設定すると、Ｋ＝１の場合に比べて前後のフレームだけから予測することが難しいので、中間特徴量ベクトルＤ１Ｍの予測値は、学習した正常状態の特徴量の分布に強く依存することになる。したがって、もし装置３が正常であれば、中間特徴量ベクトルＤ１Ｍの予測値と真値の両方が、学習した正常状態の特徴量の分布に従うので、予測値と真値の間の誤差が小さくなる。それに対して、もし装置３が異常であれば、中間特徴量ベクトルＤ１Ｍの予測値は学習した正常状態の特徴量の分布に従うが、中間特徴量ベクトルＤ１Ｍの真値は正常状態の特徴量の分布に従わないので、予測値と真値の間の誤差が大きくなる。したがって、Ｋ＝１の場合に比べてＫが２以上の場合の方が異常検知の精度が高い。そのため、Ｋは２以上に設定することが望ましい。

図１１に示す本実施例の符号化部１２（２）は、多層ニューラルネットワークであって、その入力層は欠損後特徴量ベクトルＤ１Ｌの次元数と装置型式ベクトルＤ４の次元数を足した個数の素子からなり、それらの素子が、欠損後特徴量ベクトルＤ１Ｌと装置型式ベクトルＤ４を連結したベクトルの各要素を受け付ける。

その入力層は、非線形の活性化関数（たとえばランプ関数）を挟み、適当な個数（例えば入力層の素子数と同数）の素子からなる第２層に連結されている。第２層も、非線形の活性化関数を挟み、適当な個数（例えば入力層の素子数と同数）の素子からなる第３層に連結されている。このように多層的に連結される第２層以降のことを中間層と呼ぶ。符号化部の中間層の最後は、符号ベクトルの次元数Ｑの２倍の２Ｑ個の素子からなる。それらの素子をＱ個ずつ半分に分け、素子の出力値を、

μ＿１， μ＿２， …， μ＿Ｑ， σ＿１， σ＿２， …， σ＿Ｑ
と定義する。ここで、μ＿１， μ＿２， …， μ＿Ｑを各要素に持つ列ベクトルをμと定義し、σ＿１， σ＿２， …， σ＿Ｑを対角成分の各要素に持つ対角行列をΣと定義する。符号化部の最終層は、μを平均、Σを共分散行列とする多次元正規分布Ｎ（ｚ； μ， Σ） に従って、次元数Ｑの符号ベクトルｚを確率的に生成する。

本実施例の復号化部１３は、多層ニューラルネットワークであって、その入力層は符号ベクトルＤ２の次元数Ｑと装置型式ベクトルＤ４の次元数を足した個数の素子からなり、それらの素子が、符号ベクトルＤ２と装置型式ベクトルＤ４を連結したベクトルの各要素を受け付ける。入力層は、非線形の活性化関数（例えばランプ関数）を挟み、適当な個数（例えば入力層の素子数と同数）の素子からなる第２層に連結されている。そして、第２層も、非線形の活性化関数を挟み、適当な個数 （例えば入力層の素子数と同数）の素子からなる第３層に連結されている。このように、復号化部１３（２）は、符号化部１２（２）同様に、多層的に連結される中間層を有する。復号化部１３（２）の最終層は、中間特徴量ベクトルＤ１Ｍの次元数と同じ個数の素子からなり、それら素子の出力値を復号ベクトルＤ３と呼ぶ。

本実施例の学習部１５（２）は、中間特徴量ベクトルＤ１Ｍと符号ベクトルＤ２および復号ベクトルＤ３の関数で定義される損失関数を最小化するように、符号化部１２（２）のニューラルネットワークのパラメタと復号化部１３（２）のニューラルネットワークのパラメタとを更新する。

評価関数として、中間特徴量ベクトルＤ１Ｍと復号ベクトルＤ３の間の誤差の大きさ、および、符号ベクトルＤ２の分布と或る定めた分布との非類似度に或る正の定数βを乗算した値、の和を用いる。

中間特徴量ベクトルＤ１Ｍと復号ベクトルＤ３の間の誤差として、例えば、二乗誤差、Ｌ１ノルム、Ｌｐノルムなどを用いてよい。符号ベクトルＤ２の分布との非類似度を測定する分布として、例えばベクトル０を平均とする標準偏差１の等方正規分布や、ベクトル０を平均とする標準偏差１のラプラス分布、を用いてよい。また、分布の非類似度として、カルバック・ライブラー （ＫＬ） ダイバージェンスに－１を乗算した値を用いてよい。

損失関数の最小化は、例えば、ＳＧＤ、Ｍｏｍｅｎｔｕｍ ＳＧＤ、ＡｄａＧｒａｄ、ＲＭＳｐｒｏｐ、ＡｄａＤｅｌｔａ、Ａｄａｍなどの公知の最適化アルゴリズムによって行う。

図１２の学習サブシステムＬＳＳの処理フローでは、特徴量ベクトル抽出部１１（２）が特徴量ベクトルＤ１を算出した後で（Ｓ１１０）、中間特徴量ベクトル除外部１１１は、中間特徴量ベクトルＤ１Ｍを除外して欠損後特徴量ベクトルＤ１Ｌを生成し、欠損後特徴量ベクトルＤ１Ｌと中間特徴量ベクトルＤ１Ｍとを出力する（Ｓ１１７）。

図１３および図１４に示す異常度算出サブシステムＤＳＳのブロック構成と処理フローでは、異常度算出部６（２）に対し、符号化部１２（２）から出力される符号ベクトルＤ２と（Ｓ２０２）、復号化部１３（２）から出力される復号ベクトルＤ３と（Ｓ２０３）と、中間特徴量ベクトル除外部１１１から出力される中間特徴量ベクトルＤ１Ｍとが（Ｓ１１７）入力される。そして、異常度算出部６（２）は、これらの入力に基づいて異常度を算出する。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに、本実施例では、特徴量ベクトル（特徴量時系列）Ｄ１から中間特徴量ベクトル（中間特徴量時系列）Ｄ１Ｍを除外して欠損後特徴量ベクトル（欠損後特徴量時系列）Ｄ１Ｌを生成し、除外された中間特徴量時系列（中間特徴量ベクトル）Ｄ１Ｍを補間する。したがって、本実施例によれば、音の時間変化が大きい装置３に対しても、装置型式あたりの必要な学習データ数が少なくてすみ、かつ、複数の装置型式について高精度に異常度を算出することができる。

図１５～図２１を用いて第３実施例を説明する。本実施例では、装置型式ベクトルＤ４に加えて、装置カテゴリベクトルＤ７を使用する。

図１５は、特徴量ベクトルＤ１、装置型式ベクトルＤ４、装置カテゴリベクトルＤ７、符号ベクトルＤ２、復号ベクトルＤ３の関係を示す説明図である。

本実施例に係る異常度算出システム１（３）では、符号化器１２が、音の特徴量ベクトルＤ１と装置型式ベクトルＤ４だけでなく、装置型式の上位概念である装置カテゴリを表すＯｎｅ－Ｈｏｔベクトル(装置カテゴリベクトル)Ｄ７を入力として受け付ける。

復号化器１３は、符号ベクトルＤ２と装置型式ベクトルＤ４だけでなく、装置カテゴリベクトルＤ７を入力として受け付ける。

図１６は、装置型式ベクトルＤ４と装置カテゴリベクトルＤ７との関係を示す説明図である。異常度算出システム１（３）の対象となり得る装置３の型式として、例えば、ポンプＰａ、ポンプＰｂ、ポンプＰｃ、送風機Ｂａ、送風機Ｂｂ、バルブＶａ、バルブＶｂがあると仮定する。

ポンプＰａ、ポンプＰｂ、ポンプＰｃは、いずれもカテゴリ「ポンプ」に属する装置である。同様に、送風機Ｂａと送風機Ｂｂはカテゴリ「送風機」に属し、バルブＶａとバルブＶｂはカテゴリ「バルブ」に属する。

図１７は、学習サブシステムＬＳＳのブロック構成図である。図１８は、学習サブシステムＬＳＳの処理フローである。

装置カテゴリベクトルＤ７は、装装置型式ベクトル生成部１４（３）によって装置カテゴデータベースＤＢ３から読み出されて、装置型式ベクトルＤ４に連結される（Ｄ４＋Ｄ７）。そして、装置型式ベクトルＤ４と装置カテゴリベクトルＤ７は、符号化部１２と復号化部１３とに入力される（Ｓ１１１（３））。

図１９は異常度算出サブシステムＤＳＳのブロック構成図である。図２０は、異常度算出サブシステムＤＳＳの処理フローである。

学習サブシステムＬＳＳで述べたと同様に、装置カテゴリベクトルＤ７は装置型式ベクトルＤ４に連結されて（Ｄ４＋Ｄ７）、装置型式ベクトル生成部１４（３）から符号化部１２と復号化部１３とに入力される（Ｓ１１１（３））。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに、本実施例では、装置型式ベクトルＤ４だけでなく装置カテゴリベクトルＤ７も使用するため、装置カテゴリが同一の装置群では、装置型式が異なっていても、ニューラルネットワークの写像ができる限り共通化される。これにより、本実施例によれば、探索が必要なパラメタ空間のサイズが小さくなって学習の最適化が容易となり、高精度の異常検知を実現することができる。

さらに、本実施例によれば、装置型式あたりの必要な学習データが少なくなる。例えば、「ポンプＰｃ」のデータが少なくても、「ポンプ」に共通する特徴が、同一カテゴリ「ポンプ」に属する他の装置型式の学習データによって学習される。

図２１は、学習サブシステムＬＳＳの変形例を示す説明図である。本変形例では、学習部１５がニューラルネットワークのパラメタを更新する際に、装置型式ベクトルＤ４を確率的に無効化して符号化部１２へ入力する（Ｓ１１１（３－１））。

すなわち、ニューラルネットワークパラメタを更新する反復処理の間に、装置型式ベクトルＤ４について、「０」である要素は或る定めた確率で「１」に置き換え、「１」である要素は別の或る定めた確率で「０」に置き換えられて、符号化部１２に入力される。

例えば、図１９の下側に示すように、装置カテゴリベクトルＤ７では「ポンプ」カテゴリにのみ「１」をセットし、「ポンプ」カテゴリに属する装置型式ベクトルＤ４では、「ポンプ」カテゴリに属する各要素をランダムに選択する。

本変形例では、装置型式ベクトルＤ４だけが確率的に時々無効化されるので、同一の装置カテゴリに含まれる複数の装置型式に対する写像が類似するようにニューラルネットワークのパラメタが学習される。

したがって、本変形例では、探索が必要なパラメタ空間のサイズが小さくなるため、学習の最適化が容易となり、異常検知が高精度化する。また、型式あたりの必要な学習データが少なくなる。

図２２～図２４を用いて第４実施例を説明する。本実施例では、将来の管理対象として追加されるかもしれない未知の装置型式にも対応する。図２２は、本実施例に係る異常度算出システム１（４）のブロック構成図である。

異常度算出システム１（４）では、学習サブシステムＬＳＳと異常度算出サブシステムＤＳＳとの間に、ファインチューニングサブシステムＦＴＳが設けられている。ファインチューニングサブシステムＦＴＳは、学習用データベースＤＢ２から事前学習済のニューラルネットワークのパラメータを受け取ってファインチューニングを実施し、ファインチューニング済のニューラルネットワークのパラメータを別の学習用データベースＤＢ４へ格納させる（Ｓ３）。

図２３は、特徴量ベクトルＤ１、符号ベクトルＤ２、復号ベクトルＤ３、装置型式ベクトルＤ４、装置カテゴリベクトルＤ７の関係を示す説明図である。図２４は、符号化部１２と復号化部１３に入力されるベクトルの作成方法を示す。図２４では、装置カテゴリベクトルＤ７の記載を省略している。

本実施例では、装置型式ベクトルＤ４は、既存の装置型式に対応する既存型式対応部Ｄ４Ｅと、追加可能な未知の装置型式に対応する未知型式対応部Ｄ４Ｎとを備える。未知の装置型式の装置を管理点検対象として追加する場合、その未知の装置型式に対して未知型式対応部Ｄ４Ｎの要素を一つ割り当てる。

このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに、本実施例では、未知の装置型式を予約できるように装置型式ベクトルＤ４を構成したため、既存の装置型式についての学習データを再利用できなくても、学習済モデルが表現する既存の装置型式の特性を利用して、未知の装置型式の特性を効率的に学習できる。

さらに、後述の実施例で明らかとなるが、装置型式ベクトルＤ４内に、既存の装置型式に対応する領域Ｄ４Ｅと未知の装置型式に対応する領域Ｄ４Ｎとを用意しておくことにより、後日に既知の装置型式について再学習することができる。

図２５～図２９を用いて第５実施例を説明する。本実施例は第４実施例をさらに改善した異常度算出システム１（５）を提供する。本実施例では、未知の装置型式についての追加学習をＧｅｎｅｒａｔｉｖｅ ｒｅｐｌａｙによって行う。

図２５は、本実施例による異常度算出システム１（５）のブロック構成図である。図２６は、特徴量ベクトルＤ１、符号ベクトルＤ２、復号ベクトルＤ３、装置型式ベクトルＤ４、装置カテゴリベクトルＤ７の関係を示す説明図である。図２７は、学習サブシステムＬＳＳのブロック構成図である。図２８は、図２７に示す疑似正常音特徴量ベクトル生成部１７の詳細を示すブロック構成図である。図２９は、学習サブシステムＬＳＳの処理フローである。

図２５に示すように、異常度算出システム１（５）は、第４実施例で述べた異常度算出システム１（４）と同様に、学習サブシステムＬＳＳ、異常度算出サブシステムＤＳＳ、事前学習済の学習モデルのデータベースＤＢ２、ファインチューニング済の学習モデルのデータベースＤＢ４、ファインチューニングサブシステムＦＴＳ（５）を備える。

図２６，図２７，図２８に示すように、本実施例の異常度算出システム１（５）は、図２７にも示すように、疑似正常音特徴量ベクトルＤ１Ｆを生成させる疑似正常音特徴量ベクトル生成部１７を備える。

図２８に示すように、疑似正常音特徴量ベクトル生成部１７は、既存の装置型式のデータにより学習済の復号化部１７３を用いる。等方ガウス分布などの所定の分布によって、符号化部１７２が確率的に生成した符号ベクトルＤ２と、ベクトル生成部１７１により生成された既存の装置型式のベクトルＤ４（５）とは、復号化部１７３に入力される。

既存の装置型式ベクトル生成部１７１は、既存の装置型式ベクトルＤ４の全要素のうち一つの要素だけを「１」にした装置型式ベクトルＤ７を生成し、復号化部１７３に入力させる。

これにより、既存の装置型式について学習済の復号化部１７３は、既存の装置型式に関する擬似的な正常音の特徴量ベクトルＤ１Ｆを生成する。

疑似正常音特徴量ベクトルＤ１Ｆは、特徴量ベクトルＤ１として符号化部１２へ入力される。未知の装置型式（新たに追加された装置型式）の学習データから抽出された特徴量ベクトルＤ１Ｎも、特徴量ベクトルＤ１として符号化部１２へ入力される。

図２７は、学習サブシステムＬＳＳのブロック構成図である。図２８は、図２７に示す疑似正常音特徴量ベクトル生成部１７の詳細を示すブロック構成図である。図２９は、学習サブシステムＬＳＳの処理フローである。

本実施例では、既存の装置型式についての疑似正常音特徴量ベクトルＤ１Ｆと、未知の装置型式の学習データから抽出された特徴量ベクトルＤ１Ｎとを用いて、学習済みモデルをファインチューニングする。

ファインチューニングでは、既存の装置型式の疑似正常音特徴量ベクトルＤ１Ｆを復号化部１７３へ入力するときに、対応する装置型式の要素を「１」とする装置型式ベクトルＤ４（５）、および、対応する装置カテゴリの要素を「１」とする装置カテゴリベクトルＤ７（５）も復号化部１７３へ入力する。

このように構成される本実施例も第１実施例、第３実施例と同様の作用効果を奏する。さらに、本実施例では、既存の装置型式について学習済の復号化部１７３を用いることにより、既存の装置型式に関する擬似的な正常音の特徴量ベクトルＤ１Ｆを生成させることができる。したがって、本実施例によれば、既存の装置型式の学習データを保持しなくても、いわゆる破壊的忘却を防止することができる。

すなわち、既知の装置型式の学習データを保存し続けるのは、データベース容量などの点でコストが増大する。一方、未知の装置型式の学習データのみを用いてファインチューニングを行うと、次第に既存の装置型式の性質を忘却するため、汎化精度が低下する。そこで、本実施例では、既存の装置型式の特徴量ベクトルＤ１Ｆを疑似生成する (Ｇｅｎｅｒａｔｉｖｅ ｒｅｐｌａｙ)。これにより、本実施例では、既知の装置型式の学習データを保存し続けなくても、既存の装置型式の性質を忘却を防ぐことができ、汎化精度を保つことができる。

なお、本発明は上述の実施例に限定されず、様々な変形例が含まれる。例えば、上述の実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

本発明は、例えば、セキュリティ分野などにも適用可能である。家庭やオフィス、各種施設の通常状態の音を正常音として学習し、正常音以外の突発的な音（例えば、銃声、人または物体の倒れる音、悲鳴、警報など）を異常音として検出することができる。

さらに、本発明は、音に代えて振動から異常か否かを検出することもできる。上述のように、センサ部２１として振動センサ（加速度センサなど）を用いればよい。

さらに、特徴量ベクトルＤ１から中間特徴量ベクトルＤ３を欠損させる代わりに、特徴量ベクトルＤ１のうち所定の中間領域についての演算結果に重みをつける構成でもよい。

上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。さらに特許請求の範囲に記載された構成は、特許請求の範囲で明示している組合せ以外にも組合せることができる。

１：異常度算出システム、２：センサ端末、３：対象装置、１１特徴量ベクトル抽出部、１２：符号化部、１３：復号化部、１４：装置型式ベクトル生成部、１５：学習部、１６：異常度算出部、１７：疑似正常音特徴量ベクトル生成部、１０１：入力音取得部、１０２：フレーム分割部、１０３：窓関数乗算部、１０４：周波数領域信号計算部、１０５：パワースペクトログラム計算部、１０６：フィルタバンク乗算部、１０７：瞬時特徴量計算部、１０８：特徴量ベクトル算出部、１１１：中間特徴量ベクトル除外部、ＬＳＳ：学習サブシステム、ＤＳＳ：異常度算出サブシステム、ＦＴＳ：ファインチューニングサブシステム

Claims (16)

1. 対象装置の異常度を算出する異常度算出システムであって、
   前記対象装置の振動に由来する入力信号から特徴量ベクトルを生成して出力する特徴量ベクトル抽出部と、
   前記特徴量ベクトルと前記対象装置の種類を表す装置種類ベクトルとの組を入力として符号ベクトルを出力するニューラルネットワークである符号化部と、
   前記符号ベクトルと前記装置種類ベクトルを入力として復号ベクトルを出力するニューラルネットワークである復号化部と、
   前記特徴量ベクトル抽出部からの前記特徴量ベクトルと前記符号化部からの前記符号ベクトルと前記復号化部からの前記復号ベクトルとの関数として定義される所定の損失関数を最小化するように、前記符号化部のニューラルネットワークのパラメタと前記復号化部のニューラルネットワークのパラメタとを学習する学習部と、
   前記特徴量ベクトル抽出部からの前記特徴量ベクトルと前記符号化部からの前記符号ベクトルと前記復号化部からの前記復号ベクトルとの関数として定義される異常度を算出する異常度算出部とを備える
   異常度算出システム。
2. 前記特徴量ベクトル抽出部は、前記入力信号の特徴量ベクトルのうち所定の中間領域の中間特徴量ベクトルを除外した欠損後特徴量ベクトルを特徴量ベクトルとして前記符号化部へ出力し、前記除外された中間特徴量ベクトルを特徴量ベクトルとして出力するものであり、
   前記符号化部は、前記欠損後特徴量ベクトルと前記種類ベクトルとの組を入力として、前記除外された中間特徴量ベクトルを復元可能な符号ベクトルを出力し、
   前記復号化部は、前記符号化部からの符号ベクトルと前記装置種類ベクトルを入力として、復元された中間特徴量ベクトルを復号ベクトルとして出力する、
   請求項１に記載の異常度算出システム。
3. 前記所定の中間領域とは、前記入力信号の特徴量ベクトルの時間軸上の中央を中心とする前後所定時間の領域、前記入力信号の特徴量ベクトルの全体の時間長さのうち中央を中心とする前後所定割合の領域、または、前記対象装置の状態が変化する場合の状態変化直前の信号または状態変化直後の信号のいずれか一つを含む領域、のいずれか一つである、
   請求項２に記載の異常度算出システム。
4. 前記装置種類ベクトルは、前記対象装置の型式を示す装置型式ベクトルを含む、
   請求項１に記載の異常度算出システム。
5. 前記装置種類ベクトルは、前記装置型式ベクトルと、前記対象装置の属するカテゴリを示す装置カテゴリベクトルとを含む、
   請求項４に記載の異常度算出システム。
6. 前記装置型式ベクトルと前記装置カテゴリベクトルとは、ベクトルを構成する全要素のうち一つの要素だけが「１」に設定され、それ以外の要素は「０」に設定されるＯｎｅ Ｈｏｔベクトルとして表現されている、
   請求項５に記載の異常度算出システム。
7. 前記学習部は、前記符号化部のニューラルネットワークのパラメタと前記復号化部のニューラルネットワークのパラメタとを学習する反復処理の中で、前記装置型式ベクトルのうち「０」に設定された要素を所定の確率にしたがって「１」に設定すると共に、前記装置型式ベクトルのうち「１」に設定された要素を他の所定の確率にしたがって「０」に設定する、
   請求項６に記載の異常度算出システム。
8. 前記装置型式ベクトルは、既存の装置型式に対応する既存型式対応部と、追加可能な未知の装置型式に対応する未知型式対応部とを備える、
   請求項４に記載の異常度算出システム。
9. 既存型式の装置の正常音の特徴量ベクトルを擬似的に生成する疑似正常音特徴量ベクトル生成部をさらに備え、
   前記学習部は、前記疑似正常音特徴量ベクトル生成部により生成された疑似正常音特徴量ベクトルと、前記未知型式の装置の特徴量ベクトルとを用いることにより、前記符号化部のニューラルネットワークのパラメタと前記復号化部のニューラルネットワークのパラメタとをファインチューニングする、
   請求項８に記載の異常度算出システム。
10. 前記疑似正常音特徴量ベクトル生成部は、既存型式の装置の特徴量ベクトルによって学習済の復号化部に対して、所定の分布にしたがって確率的に発生させた符号ベクトルと、前記既存型式対応部の全要素のうち、前記確率的に発生させた符号ベクトルに対応する一つの要素に「１」が設定された装置型式ベクトルとを与えることにより、前記疑似正常音特徴量ベクトルを生成する、
    請求項９に記載の異常度算出システム。
11. 対象装置の異常度を計算機により算出する異常度算出方法であって、
    特徴量ベクトル抽出部により、前記対象装置の振動に由来する入力信号から特徴量ベクトルを生成して出力させ、
    ニューラルネットワークである符号化部により、前記特徴量ベクトルと前記対象装置の種類を表す装置種類ベクトルとの組を入力として符号ベクトルを出力させ、
    ニューラルネットワークである復号化部により、前記符号ベクトルと前記装置種類ベクトルを入力として復号ベクトルを出力させ、
    前記特徴量ベクトルと前記符号ベクトルと前記復号ベクトルとの関数として定義される所定の損失関数を最小化するように、前記符号化部のニューラルネットワークのパラメタと前記復号化部のニューラルネットワークのパラメタとを学習部により学習させ、
    前記特徴量ベクトルと前記符号ベクトルと前記復号ベクトルとの関数として定義される異常度を算出させる、
    異常度算出方法。
12. 前記特徴量ベクトル抽出部は、前記入力信号の特徴量ベクトルのうち所定の中間領域の中間特徴量ベクトルを除外した欠損後特徴量ベクトルを特徴量ベクトルとして前記符号化部へ出力し、前記除外された中間特徴量ベクトルを特徴量ベクトルとして出力するものであり、
    前記符号化部は、前記欠損後特徴量ベクトルと前記種類ベクトルとの組を入力として、前記除外された中間特徴量ベクトルを復元可能な符号ベクトルを出力し、
    前記復号化部は、前記符号化部からの符号ベクトルと前記装置種類ベクトルを入力として、復元された中間特徴量ベクトルを復号ベクトルとして出力する、
    請求項１１に記載の異常度算出方法。
13. 前記装置種類ベクトルは、前記対象装置の型式を示す装置型式ベクトルを含む、
    請求項１１に記載の異常度算出方法。
14. 前記装置種類ベクトルは、前記装置型式ベクトルと、前記対象装置の属するカテゴリを示す装置カテゴリベクトルとを含む、
    請求項１３に記載の異常度算出方法。
15. 前記装置型式ベクトルは、既存の装置型式に対応する既存型式対応部と、追加可能な未知の装置型式に対応する未知型式対応部とを備える、
    請求項１４に記載の異常度算出方法。
16. 前記装置型式ベクトルと前記装置カテゴリベクトルとは、それぞれ装置型式を入力とするハッシュ関数が生成する固定長ビット系列と装置カテゴリを入力とするハッシュ関数が生成する固定長ビット系列とで表現されている、
    請求項５に記載の異常度算出システム。
    

Images