JP7014295B2 - 異常検出装置、異常検出方法及びプログラム - Google Patents

Description

本発明は、異常検出装置、異常検出方法及びプログラムに関する。

非特許文献１には、順次入力される音響信号について、通常時の音響信号に含まれる信号パターンを学習させた検出器を通常時の音響信号を生成する発生機構のモデルとして用いる技術が開示されている。非特許文献１に開示された技術では、上記検出器と入力された音響信号中の信号パターンに基づき外れ値スコアを算出することで、通常時の発生機構からの統計的な外れ値となる信号パターンを異常として検出している。

特許文献１には、生成されたモデルがモデル算出に利用されたデータに過剰にフィッティングすることなく、新たなデータに対して精度のよい行動推定を行う、と記載されている。特許文献２には、ユーザの感性を反映できる頭部動作自動生成のための頭部動作学習装置及び頭部動作合成装置を提供する、と記載されている。

特開２０１４－０４８５２３号公報 特開２００７－０３４７８８号公報

Marchi, Erik, et al. "Deep Recurrent Neural Network-Based Autoencoders for Acoustic Novelty Detection." Computational intelligence and neuroscience 2017 (2017)

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

非特許文献１に開示された技術では、音響信号の発生機構が複数の状態を持ち、各状態において生成する信号パターンが異なる場合、異常検出できないという問題がある。例えば、発生機構が状態Ａと状態Ｂの二つの状態を持つ場合を考える。さらに、通常時に状態Ａは信号パターン１、状態Ｂは信号パターン２を生成し、異常時には状態Ａが信号パターン２、状態Ｂが信号パターン１を生成する場合を考える。この場合、非特許文献１に開示された技術では、発生機構の状態の別に関係なく信号パターン１と信号パターン２を生成するとしてモデル化され、真に検出したい異常を検出できない。

本発明は、状態変化を伴う発生機構の生成する音響信号から異常を検出することに寄与する、異常検出装置、異常検出方法及びプログラムを提供することを主たる目的とする。

本発明乃至開示の第１の視点によれば、学習用の音響信号と、音響とは異なるモーダルの信号であって学習用の他モーダル信号から算出された学習用の状況特徴量と、に基づき学習された信号パターンモデルを格納する、パターン格納部と、音響とは異なるモーダルの信号であって異常検出用の他モーダル信号から、前記学習用の状況特徴量に対応する異常検出用の状況特徴量を抽出する、第１の状況特徴抽出部と、異常検出対象の音響信号、前記異常検出用の状況特徴量及び前記信号パターンモデルに基づき、前記異常検出対象の音響信号に関する信号パターン特徴を算出する、異常検出特徴算出部と、前記信号パターン特徴に基づき、前記異常検出対象の音響信号の異常検出を行うための異常スコアを算出する、スコア算出部と、を備える、異常検出装置が提供される。

本発明乃至開示の第２の視点によれば、学習用の音響信号と、音響とは異なるモーダルの信号であって学習用の他モーダル信号から算出された学習用の状況特徴量と、に基づき学習された信号パターンモデルを格納する、パターン格納部を備える異常検出装置において、音響とは異なるモーダルの信号であって異常検出用の他モーダル信号から、前記学習用の状況特徴量に対応する異常検出用の状況特徴量を抽出するステップと、異常検出対象の音響信号、前記異常検出用の状況特徴量及び前記信号パターンモデルに基づき、前記異常検出対象の音響信号に関する信号パターン特徴を算出するステップと、前記信号パターン特徴に基づき、前記異常検出対象の音響信号の異常検出を行うための異常スコアを算出するステップと、を含む、異常検出方法が提供される。

本発明乃至開示の第３の視点によれば、学習用の音響信号と、音響とは異なるモーダルの信号であって学習用の他モーダル信号から算出された学習用の状況特徴量と、に基づき学習された信号パターンモデルを格納する、パターン格納部を備える異常検出装置に搭載されたコンピュータに、音響とは異なるモーダルの信号であって異常検出用の他モーダル信号から、前記学習用の状況特徴量に対応する異常検出用の状況特徴量を抽出する処理と、異常検出対象の音響信号、前記異常検出用の状況特徴量及び前記信号パターンモデルに基づき、前記異常検出対象の音響信号に関する信号パターン特徴を算出する処理と、前記信号パターン特徴に基づき、前記異常検出対象の音響信号の異常検出を行うための異常スコアを算出する処理と、を実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明乃至開示の各視点によれば、状態変化を伴う発生機構の生成する音響信号から異常を検出することに寄与する、異常検出装置、異常検出方法及びプログラムが、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る異常検出装置の処理構成の一例を示す図である。 第１の実施形態に係る異常検出装置の動作の一例を示すフローチャートである。 第１の実施形態に係る異常検出装置の動作の一例を示すフローチャートである。 第２の実施形態に係る異常検出装置の処理構成の一例を示す図である。 第１、第２の実施形態に係る異常検出装置のハードウェア構成の一例を示す図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。

一実施形態に係る異常検出装置１０は、パターン格納部１０１と、第１の状況特徴抽出部１０２と、異常検出特徴算出部１０３と、スコア算出部１０４と、を備える（図１参照）。パターン格納部１０１は、学習用の音響信号と、音響とは異なるモーダルの信号であって学習用の他モーダル信号から算出された学習用の状況特徴量と、に基づき学習された信号パターンモデルを格納する。第１の状況特徴抽出部１０２は、音響とは異なるモーダルの信号であって異常検出用の他モーダル信号から、学習用の状況特徴量に対応する異常検出用の状況特徴量を抽出する。異常検出特徴算出部１０３は、異常検出対象の音響信号、異常検出用の状況特徴量及び信号パターンモデルに基づき、異常検出対象の音響信号に関する信号パターン特徴を算出する。スコア算出部１０４は、信号パターン特徴に基づき、異常検出対象の音響信号の異常検出を行うための異常スコアを算出する。

上記異常検出装置１０は、音響信号に関する外れ値検出に基づく異常検出を実現する。異常検出装置１０は、音響信号から得られる信号パターンに加え、発生機構の状態（状況）に対応する特徴である状況特徴量を用いて外れ値検出を行う。そのため、発生機構の状態の変化に応じた外れ値パターンを検出できる。即ち、異常検出装置１０は、状態変化を伴う発生機構の生成する音響信号から異常を検出できる。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、第１の実施形態に係る異常検出装置１００の処理構成（処理モジュール）の一例を示す図である。図２を参照すると、異常検出装置１００は、状況特徴抽出部１１１と、信号パターンモデル学習部１１２と、信号パターンモデル格納部１１３と、状況特徴抽出部１１４と、異常検出特徴抽出部１１５と、異常スコア算出部１１６と、を含む。

状況特徴抽出部１１１は、音響モデル学習用他モーダル信号１２２を入力とし、状況特徴量（状況特徴ベクトル）を算出し、信号パターンモデル学習部１１２へ出力する。なお、他モーダル信号や状況特徴量の詳細は後述する。

信号パターンモデル学習部１１２は、学習用音響信号１２１と状況特徴抽出部１１１が出力する状況特徴量を入力とし、信号パターンモデルを学習し出力する。

信号パターンモデル格納部１１３は、信号パターンモデル学習部１１２が出力する信号パターンモデルを格納（記憶）する。

状況特徴抽出部１１４は、異常検出対象他モーダル信号１２３を入力とし、状況特徴量を算出し、異常検出特徴抽出部１１５へ出力する。

異常検出特徴抽出部１１５は、異常検出対象音響信号１２４と状況特徴抽出部１１４が出力する状況特徴量を入力とし、信号パターンモデル格納部１１３に格納された信号パターンモデルに基づき信号パターン特徴を算出し出力する。

異常スコア算出部１１６は、異常検出特徴抽出部１１５が出力する信号パターン特徴に基づき、異常検出を行うための異常スコアを算出し出力する。

第１の実施形態に係る異常検出装置１００は、信号パターンモデル学習部１１２において信号パターンを学習する際、学習用音響信号１２１に加えて状況特徴抽出部１１１が出力する状況特徴量を補助特徴として用いて学習を行う。

音響モデル学習用他モーダル信号１２２や異常検出対象他モーダル信号１２３は、音響とは別のモーダルの信号である。例えば、カメラ等のイメージセンサ（図示せず）から得られる画像信号や振動センサ（図示せず）から得られる振動信号等の信号（音響信号とは異なる種類の信号）により音響発生機構の置かれた状況に対する特徴を示す信号が他モーダル信号である。他モーダル信号は、音響（音）からでは得られない情報を含む。

第１の実施形態では、上記他モーダル信号の統計処理を行うことで、時刻ｔにおける発生機構の状態を特徴づける。画像信号を例に挙げると、たとえば、異常検出の対象を特定の室内であると仮定する。この場合、画像をなす各画素における輝度についてのヒストグラムを確認することで、室内において照明が点灯しているか否かが判明する。この例では、照明の状況（点灯、消灯）がそれぞれ発生機構の状態（状況）にあたる。照明が点灯しているときには、人の話し声は異常ではないが、照明が消灯している場合に人の話し声が収録されているのは異常の可能性が高い。第１の実施形態では、このような情報を状況特徴量として用いてパターンモデルの学習に用いる。

なお、上記画素の輝度から得られるヒストグラムは例示であって、他の任意の画像特徴量を用いることもできる。また、画像信号以外の他のモーダルの信号の場合にも、同様に、任意の特徴量を用いることができる。これらの他モーダル信号を使用することで、発生機構の状態を考慮したパターンモデルを学習できる。つまり、信号パターンモデル学習部１１２は、学習用音響信号１２１に含まれる信号パターンに加え、当該信号パターンが生成された発生機構の状況に関する情報を特徴として学習する。

状況特徴抽出部１１４は、状況特徴抽出部１１１と同様の動作により異常検出対象他モーダル信号１２３から状況特徴量を算出する。

異常検出特徴抽出部１１５は、異常検出対象音響信号１２４と異常検出対象他モーダル信号１２３から算出した状況特徴量を入力とし、信号パターンモデル格納部１１３に格納された信号パターンモデルに基づき信号パターン特徴を算出する。第１の実施形態では、異常検出対象音響信号１２４に加え、その発生機構の状況に対応する特徴である状況特徴量を入力に用いるため、発生機構の状況の変化に応じた外れ値パターンを検出できる。

異常検出特徴抽出部１１５において算出された信号パターン特徴は、異常スコア算出部１１６において異常スコアへ変換され出力される。

上述のように、非特許文献１の異常検出技術は，入力された音響信号中における信号パターンだけを用いて発生機構の状態の別なく発生機構のモデル化を行う。そのため、当該文献の技術では、発生機構が複数の状態を持ち各状態において生成する信号パターンの統計的性質が異なる場合、真に検出したい異常を検出できない。

対して、第１の実施形態によると、信号パターンに加えて発生機構の状況に対応する特徴である状況特徴量を用いて外れ値検出を行うため、発生機構の状況（状態）の変化に応じた外れ値パターンを検出できる。つまり、第１の実施形態によると、状態変化を伴う発生機構の生成する音響信号から異常を検出できる。

第１の実施形態では、学習用音響信号１２１にｘ（ｔ）、異常検出対象音響信号１２４にｙ（ｔ）を用いた異常検出を例に説明する。ここで、音響信号ｘ（ｔ）、ｙ（ｔ）はマイクロフォン等の音響センサで収録したアナログ音響信号をＡＤ変換（Analog to Digital Conversion）して得られるデジタル信号系列である。ｔは時間を表すインデックスであり、所定の時刻（たとえば、装置を起動した時間）を原点ｔ＝０として順次入力される音響信号の時間インデックスである。また、各信号のサンプリング周波数をＦｓとすると、隣り合う時間インデックスｔとｔ＋１の時間差、つまり時間分解能は１／Ｆｓとなる。

第１の実施形態は、時々刻々と変化する音響信号の発生機構における異常な信号パターンを検出することを目的とする。第１の実施形態の応用例として公共空間での異常検出を考える場合、マイクロフォンを設置した環境内に存在する人間の活動や機器の動作、周囲環境などが、音響信号ｘ（ｔ）、ｙ（ｔ）の発生機構に対応する。

音響信号ｘ（ｔ）は、通常時における信号パターンモデルの学習に用いる信号であって、予め収録された音響信号である。音響信号ｙ（ｔ）は、異常検出の対象となる音響信号である。ここで、音響信号ｘ（ｔ）は通常時（非異常時）のみの信号パターンだけを含んだ音響信号である必要があるが、異常時の信号パターンが通常時の信号パターンに比べ少量であれば、統計的に音響信号ｘ（ｔ）は通常時の音響信号と捉えることもできる。

信号パターンとは、所定の時間幅（たとえば０．１秒や１秒など）で設定したパターン長Ｔにおける音響信号系列のパターンである。音響信号ｘ（ｔ）の時刻ｔ１における信号パターンベクトルＸ（ｔ１）はｔ１とＴを用いてＸ（ｔ１）＝［ｘ（ｔ１－Ｔ＋１）、…、ｘ（ｔ１）］と表記できる。

また、第１の実施形態では、音響モデル学習用他モーダル信号１２２にａ（ｔ）、異常検出対象他モーダル信号１２３にｂ（ｔ）を用いる。これらの他モーダル信号のｔは時間を表すインデックスであり、音響信号ｘ（ｔ）、ｙ（ｔ）の時間インデックスに対応する。つまり、時間インデックスｔが同じであれば、同じ時刻（タイミング）における他モーダル信号（画像信号、振動信号等）が状況特徴抽出部１１１、１１４に入力される。また、他モーダル信号の信号パターンも音響信号と同様に定める。例えば、時刻ｔ１における他モーダル信号ａ（ｔ）の信号パターンベクトルＡ（ｔ１）は、Ａ（ｔ１）＝［ａ（ｔ１－Ｔ＋１）、…、ａ（ｔ１）］ と表記できる。なお、音響信号ｘ（ｔ）と同様に、他モーダル信号ａ（ｔ）は通常時（非異常時）のみの信号パターンだけを含んだ信号である必要がある。しかし、異常時の信号パターンが通常時の信号パターンに比べ少量であれば、他モーダル信号ａ（ｔ）は通常時の音響信号と捉えることもできる。

第１の実施形態では、通常時の信号パターンベクトルＸ（ｔ）、Ａ（ｔ）を用いて学習した信号パターンモデルに基づき異常な信号パターンを検出する。

以下、第１の実施形態に係る異常検出装置１００の動作について説明する。

学習用音響信号１２１である音響信号ｘ（ｔ）は、信号パターンモデル学習部１１２へ入力される。音響モデル学習用他モーダル信号１２２である他モーダル信号ａ（ｔ）は、状況特徴抽出部１１１へ入力される。

状況特徴抽出部１１１は、他モーダル信号ａ（ｔ）を入力として、状況特徴ベクトルｈ（ｔ）を出力する。より具体的には、状況特徴抽出部１１１は、時刻ｔにおける他モーダル信号ａ（ｔ）から所定の特徴量を計算する。その後、状況特徴抽出部１１１は、時刻（ｔ－Ｔ＋１）から時刻ｔまでに計算された特徴を要素とするベクトルを生成する。当該生成されたベクトルが、状況特徴ベクトルｈ（ｔ）となる。換言すれば、状況特徴ベクトルｈ（ｔ）は、信号パターンベクトルＡ（ｔ）に所定の特徴量算出処理を施すことで算出され、時刻ｔにおける発生機構がどのような信号パターンの音響信号を生成するかの統計的特徴を表す。つまり、状況特徴ベクトルｈ（ｔ）は、信号パターンベクトルＸ（ｔ）が生成された発生機構の時刻ｔにおける状況を表す特徴であるといえる。

上記所定の特徴量算出処理は、他モーダル信号の種類やシステムの用途に応じて選択する。例えば、他モーダル信号が画像信号であれば、状況特徴抽出部１１１は、各画素の輝度からヒストグラムを算出する。

信号パターンモデル学習部１１２は、音響信号ｘ（ｔ）と状況特徴抽出部１１１が出力する状況特徴ベクトルｈ（ｔ）を用いて信号パターンＸ（ｔ）のモデル化を行う。

モデル化方法について、本願開示では、ニューラルネットの一種である「ＷａｖｅＮｅｔ」を用いて説明する。ＷａｖｅＮｅｔは時刻ｔにおける信号パターンＸ（ｔ）＝［ｘ（ｔ－Ｔ＋１）、…、ｘ（ｔ）］を入力として時刻ｔ＋１の音響信号ｘ（ｔ＋１）の従う確率分布ｐ（ｘ（ｔ＋１））を推定する予測器である。

第１の実施形態では、入力信号パターンＸ（ｔ）に加えて状況特徴量（状況特徴ベクトル）ｈ（ｔ）を補助特徴量として用いてｘ（ｔ＋１）の確率分布ｐ（ｘ（ｔ＋１））を定義する。つまり、ＷａｖｅＮｅｔは信号パターンＸ（ｔ）と状況特徴ベクトルｈ（ｔ）によって条件付けられた以下の式（１）による確率分布で表現される。

［式１］

Θは、モデルパラメータである。ＷａｖｅＮｅｔでは音響信号ｘ（ｔ）をμ-ｌａｗアルゴリズムによりＣ次元へ量子化し、ｃ（ｔ）と表すことにより、ｐ（ｘ（ｔ＋１））をＣ次元の離散集合上の確率分布ｐ（ｃ（ｔ＋１））として表す。ここで、ｃ（ｔ）は時刻ｔにおける音響信号ｘ（ｔ）がＣ次元へ量子化された値であり、１からＣまでの自然数を値として持つ確率変数である。

ｐ（ｃ（ｔ＋１）｜Ｘ（ｔ）、ｈ（ｔ））のモデルパラメータΘの推論に際しては、Ｘ（ｔ）とｈ（ｔ）から算出されるｐ（ｃ（ｔ＋１）｜Ｘ（ｔ）、ｈ（ｔ））と、真の値ｃ（ｔ＋１）の間のクロスエントロピーを最小化するように行われる。最小化するクロスエントロピーは以下の式（２）により表せる。

［式２］

第１の実施形態では、信号パターンモデルである確率分布ｐ（ｘ（ｔ＋１））の推定に、信号パターンＸ（ｔ）に加えて状況特徴ベクトルｈ（ｔ）を補助特徴として用いる。つまり、学習用音響信号に含まれる信号パターンだけでなく、その信号パターンが生成された発生機構の状況に関する情報が特徴として学習される。そのため、発生機構の状況に応じた信号パターンモデルを学習することができる。学習されたモデルパラメータΘは、信号パターンモデル格納部１１３へ出力される。

第１の実施形態では、信号パターンモデルとして、ＷａｖｅＮｅｔに基づき信号パターンＸ（ｔ）を用いたｘ（ｔ＋１）の予測器を例として説明したが、以下の式（３）に示す信号パターンモデルの予測器としてモデル化することも可能である。

［式３］

また、下記の式（４）、（５）のように、Ｘ（ｔ）からＸ（ｔ）への射影関数としてパターンモデルを推定してもよい。その場合、ｆ（Ｘ（ｔ）、ｈ（ｔ））の推定には、自己符号化器などのニューラルネットモデルや非負値行列因子分解やＰＣＡ（Principal Component Analysis）などの因子分解手法によってモデル化してもよい。

［式４］

［式５］

信号パターンモデル格納部１１３は、信号パターンモデル学習部１１２が出力する信号パターンモデルのパラメータΘを格納する。

異常検出時には、異常検出対象音響信号１２４である音響信号ｙ（ｔ）は、異常検出特徴抽出部１１５に入力される。また、異常検出対象他モーダル信号１２３である他モーダル信号ｂ（ｔ）は、状況特徴抽出部１１４に入力される。

状況特徴抽出部１１４は、状況特徴抽出部１１１と同様の動作をする。状況特徴抽出部１１４は、音響信号ｙ（ｔ）の状況特徴量（状況特徴ベクトル）ｈ＿ｙ（ｔ）を出力する。

異常検出特徴抽出部１１５は、音響信号ｙ（ｔ）と状況特徴量ｈ＿ｙ（ｔ）、信号パターンモデル格納部１１３に格納された信号パターンモデルのパラメータΘを入力とする。異常検出特徴抽出部１１５は、音響信号ｙ（ｔ）の信号パターンＹ（ｔ）＝［ｙ（ｔ－Ｔ）、…、ｙ（ｔ）］に関する信号パターン特徴を算出する。

第１の実施形態では、信号パターンモデルに関して、時刻ｔにおける信号パターンＹ（ｔ）を入力として時刻ｔ＋１の音響信号ｙ（ｔ＋１）の従う確率分布ｐ（ｙ（ｔ＋１））を推定する予測器として表した（下記の式（６））。

［式６］

ここで、音響信号ｙ（ｔ＋１）を信号パターンモデル学習部１１２と同様に、音響信号ｙ（ｔ）をμ－ｌａｗアルゴリズムによりＣ次元へ量子化した値をｃ＿ｙ（ｔ）とすると、上記式（６）は下記の式（７）と表現できる。

［式７］

これは、信号パターンモデルに基づき、時刻ｔにおいて信号パターンＹ（ｔ）、状態特徴量ｈ＿ｙ（ｔ）が得られたもとでのｃ＿ｙ（ｔ＋１）の予測分布である。

ここで、学習時において、信号パターンモデルのパラメータΘは、信号パターンＸ（ｔ）と状況特徴量ｈ（ｔ）から、ｃ（ｔ＋１）を推定する精度が高くなるように学習されたものである。そのため、信号パターンＸ（ｔ）、状況特徴量ｈ（ｔ）が入力されたときの予測分布ｐ（ｃ（ｔ＋１）｜Ｘ（ｔ）、ｈ（ｔ）、Θ）は、真値ｃ（ｔ＋１）において最も高い確率を持つような確率分布となる。

ここで、異常検出対象信号の信号パターンＹ（ｔ）、状況特徴量ｈ＿ｙ（ｔ）を考える。この場合、学習信号中においてｈ（ｔ）に条件づけられた信号パターンＸ（ｔ）の中に、ｈ＿ｙ（ｔ）に条件づけられたＹ（ｔ）と類似したものが存在した場合、ｐ（ｃ＿ｙ（ｔ＋１）│Ｙ（ｔ）、ｈ＿ｙ（ｔ）、Θ）は学習に用いたＸ（ｔ）、ｈ（ｔ）に対応する真値ｃ（ｔ＋１）に高い確率を持つような確率分布になると考えられる。

一方、学習信号中のｈ（ｔ）に条件づけられたＸ（ｔ）のいずれとも類似度の低いｈ＿ｙ（ｔ）に条件づけられたＹ（ｔ）が入力された場合、つまり、Ｙ（ｔ）、ｈ＿ｙ（ｔ）が学習時のＸ（ｔ）、ｈ（ｔ）と比較して外れ値の場合、ｐ（ｃ＿ｙ（ｔ＋１）｜Ｙ（ｔ）、ｈ＿ｙ（ｔ）、Θ）の予測は不確かになる。つまり、平坦な分布になると考えられる。つまり、ｐ（ｃ＿ｙ（ｔ＋１）│Ｙ（ｔ）、ｈ＿ｙ（ｔ）、Θ）の分布を確認することで、信号パターンＹ（ｔ）が外れ値か否かを計ることができる。

第１の実施形態では、ｃ＿ｙ（ｔ＋１）の取り得る値である１からＣまでの自然数それぞれの場合における確率値を系列として表現したものを信号パターン特徴ｚ（ｔ）として用いる。つまり、信号パターン特徴ｚ（ｔ）は、以下の式（８）で表されるＣ次元のベクトルとなる。

［式８］

異常検出特徴抽出部１１５で算出された信号パターン特徴ｚ（ｔ）は、異常スコア算出部１１６において異常スコアｅ（ｔ）へ変換され出力される。信号パターン特徴ｚ（ｔ）は１からＣまでの値をとる確率変数ｃ上の離散分布である。当該確率分布が鋭いピークを持つ場合、つまりエントロピーが低い場合、Ｙ（ｔ）は外れ値ではない。対して、確率分布が一様分布に近い、つまりエントロピーが高い場合、Ｙ（ｔ）は外れ値であると考えられる。

第１の実施形態では、異常スコアｅ（ｔ）の算出に、信号パターン特徴ｚ（ｔ）から算出されるエントロピーを用いる（下記の式（９）参照）。

［式９］

信号パターンＹ（ｔ）が学習信号に類似した信号パターンを含む場合には、ｐ（ｃ│Ｙ（ｔ）、ｈ＿ｙ（ｔ）、Θ）は鋭いピークを持つ、つまりエントロピーｅ（ｔ）は低い。信号パターンＹ（ｔ）が学習信号に類似した信号パターンを含まない外れ値の場合、ｐ（ｃ│Ｙ（ｔ）、ｈ＿ｙ（ｔ）、Θ）が不確かになり一様分布に近く、つまり、エントロピーｅ（ｔ）が高くなる。

得られた異常スコアｅ（ｔ）をもとに、異常音響信号パターンが検出される。検出には閾値処理を行い、異常の有無を判別してもよいし、異常スコアｅ（ｔ）を時系列信号としてさらに統計処理などを加えてもよい。

上記第１の実施形態に係る異常検出装置１００の動作をまとめると図３、図４に示すフローチャートのとおりとなる。

図３は、学習モデル生成時の動作を示し、図４は異常検出処理時の動作を示す。

初めに、図３に示す学習フェーズにおいては、異常検出装置１００は、音響信号ｘ（ｔ）、他モーダル信号ａ（ｔ）を入力する（ステップＳ１０１）。異常検出装置１００は、学習用の状況特徴量を抽出する（ステップＳ１０２）。異常検出装置１００は、学習用の音響信号ｘ（ｔ）と状況特徴量に基づき、信号パターンを学習する（信号パターンモデルを生成する；ステップＳ１０３）。生成された信号パターンモデルは、信号パターンモデル格納部１１３に格納される。

次に、図４に示す異常検出フェーズにおいては、異常検出装置１００は、音響信号ｙ（ｔ）、他モーダル信号ｂ（ｔ）を入力する（ステップＳ２０１）。異常検出装置１００は、異常検出用の状況特徴量を抽出する（ステップＳ２０２）。異常検出装置１００は、異常判定用の音響信号ｙ（ｔ）と状況特徴量に基づき、信号パターン特徴を抽出（算出）する（ステップＳ２０３）。異常検出装置１００は、信号パターン特徴に基づき、異常スコアを算出する（ステップＳ２０４）。

非特許文献１に開示された異常検出技術は、入力された音響信号中における信号パターンだけを用いて発生機構の状態の別なく発生機構のモデル化を行う。そのため、発生機構が複数の状態を持ち各状態において生成する信号パターンの統計的性質が異なる場合、真に検出したい異常を検出することができない。

一方で、第１の実施形態によると、信号パターンに加えて発生機構の状態に対応する特徴である状況特徴量を用いて外れ値検出を行うため、発生機構の状態の変化に応じた外れ値パターンを検出することができる。つまり、第１の実施形態によると、状態変化を伴う発生機構の生成する音響信号から異常を検出することができる。

［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。

図５は、第２の実施形態に係る異常検出装置２００の処理構成（処理モジュール）の一例を示す図である。図２と図５を参照すると、第２の実施形態に係る異常検出装置２００は、状況特徴モデル格納部２２１をさらに備える。

第１の実施形態では、状況特徴量抽出に関し、教師データを用いないモデル化を説明した。第２の実施形態では、状況信号モデルを用いて状況特徴量を抽出する場合について説明する。具体的には、状況特徴モデル格納部２２１の動作と、状況特徴抽出部１１１ａ、１１４ａの変更部分を説明する。

状況特徴モデル格納部２２１には、状況特徴抽出部１１１ａにおいて状況特徴量を抽出するための基準となる状況特徴モデルＨが格納されている。状況特徴モデルＨは異常検出対象の音響信号の発生機構に関して基準となる、１つ、もしくは複数のモデルが格納されている。

例えば、他モーダル信号が画像信号である場合を考える。また、異常検出の対象を特定の室内とする。この場合、状況特徴モデルとして画像内の人間の数を数えるモデルが設定される。

状況特徴抽出部１１１ａは、状況特徴モデル格納部２２１に格納された状況特徴モデルを確認し、画像信号（音響モデル学習用他モーダル信号）内に存在する人間の数を状況特徴量として算出する。算出された状況特徴量は、第１の実施形態と同様に、信号パターンモデル学習部１１２における学習に利用される。その結果、人間の数に応じた音響信号の通常パターンが学習できる。

状況特徴抽出部１１４ａも状況特徴抽出部１１１ａと同様に、状況特徴量を算出する。当該状況特徴量は、信号パターン特徴の生成及び異常スコアの算出に反映される。その結果、室内に存在する人間の数がゼロであるにも関わらず、人の話し声が収録されているような異常が検出可能となる。

上記の画像信号は一例であって、他のモーダル信号を用いることができる。例えば、対象が室内の例では、床の圧力センサから得られる信号を他モーダル信号としてもよい。たとえば、人間が室内に存在している場合には床に圧力がかかり、また、人の動作に起因する音響信号が収録されていると考えられる。しかし、床に圧力がかかっていないにも関わらず、人の動作に起因する音響信号が収録されている場合は異常である、などの状態が考えられる。

第２の実施形態では、上記のような関係をルールによって定めるのではなく、音響信号に組み合わせて補助特徴として他モーダル信号を状況特徴量に用いることで、状態変化を伴う発生機構から状態に応じて異常な音響信号パターンを検出できる。

［ハードウェア構成］
上記実施形態にて説明した異常検出装置のハードウェア構成を説明する。

図６は、異常検出装置１００のハードウェア構成の一例を示す図である。異常検出装置１００は、所謂、情報処理装置（コンピュータ）により実現され、図６に例示する構成を備える。例えば、異常検出装置１００は、内部バスにより相互に接続される、ＣＰＵ（Central Processing Unit）１１、メモリ１２、入出力インターフェイス１３及び通信手段であるＮＩＣ（Network Interface Card）１４等を備える。なお、図６に示す構成は、異常検出装置１００のハードウェア構成を限定する趣旨ではない。異常検出装置１００には、図示しないハードウェアも含まれていてもよいし、必要に応じてＮＩＣ１４等を備えていなくともよい。

メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）等である。

入出力インターフェイス１３は、図示しない入出力装置のインターフェイスとなる手段である。入出力装置には、例えば、表示装置、操作デバイス等が含まれる。表示装置は、例えば、液晶ディスプレイ等である。操作デバイスは、例えば、キーボードやマウス等である。また、音響センサ等に接続されるインターフェイスも入出力インターフェイス１３に含まれる。

上述の異常検出装置１００の各処理モジュールは、例えば、メモリ１２に格納されたプログラムをＣＰＵ１１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウェア、及び／又は、ソフトウェアで実行する手段があればよい。

［他の実施形態（変形例）］
以上、実施形態を参照して本願開示を説明したが、本願開示は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願開示のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本願開示の範疇に含まれる。

たとえば、他モーダル信号として画像や圧力センサ信号を例に説明したが、ドアの開閉センサであったり、温度センサから得られる時系列温度信号、電力使用量の時系列データ等を用いてもよい。あるいは、需要家ごとの電力使用量の系列データ、ネットワークにおける呼量の時系列データ、風量の時系列データ、一定範囲における降雨量の空間系列データ、その他にも角度系列データ、テキストなどの離散系列データなどが利用できる。また、当然に、系列データには等間隔の系列データだけでなく不等間隔の系列データも含まれる。

上記実施形態では、異常検出装置１００等の内部に学習用のモジュールを含む構成を説明したが、信号パターンモデルの学習は他の装置にて行い、学習済みのモデルを異常検出装置１００等に入力してもよい。

また、コンピュータの記憶部に異常検出プログラムをインストールすることにより、コンピュータを異常検出装置として機能させることができる。また、異常検出プログラムをコンピュータに実行させることにより、コンピュータにより異常検出方法を実行することができる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

また、本願開示は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本願開示は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本願開示の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本願開示の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本願開示の範疇に含まれる。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０、１００、２００ 異常検出装置
１１ ＣＰＵ
１２ メモリ
１３ 入出力インターフェイス
１４ ＮＩＣ
１０１ パターン格納部
１０２ 第１の状況特徴抽出部
１０３ 異常検出特徴算出部
１０４ スコア算出部
１１１、１１１ａ、１１４、１１４ａ 状況特徴抽出部
１１２ 信号パターンモデル学習部
１１３ 信号パターンモデル格納部
１１５ 異常検出特徴抽出部
１１６ 異常スコア算出部
２２１ 状況特徴モデル格納部

Claims (6)

1. 学習用の音響信号と、音響とは異なるモーダルの信号であって学習用の他モーダル信号から算出された学習用の状況特徴量と、に基づき学習された信号パターンモデルを格納する、パターン格納部と、
   音響とは異なるモーダルの信号であって異常検出用の他モーダル信号から、前記学習用の状況特徴量に対応する異常検出用の状況特徴量を抽出する、第１の状況特徴抽出部と、
   異常検出対象の音響信号、前記異常検出用の状況特徴量及び前記信号パターンモデルに基づき、前記異常検出対象の音響信号に関する信号パターン特徴を算出する、異常検出特徴算出部と、
   前記信号パターン特徴に基づき、前記異常検出対象の音響信号の異常検出を行うための異常スコアを算出する、スコア算出部と、
   を備え、
   前記信号パターンモデルは、時刻ｔにおける前記異常検出対象の音響信号を入力とし、時刻ｔ＋１における前記異常検出対象の音響信号の従う確率分布を推定する予測器であり、
   前記信号パターン特徴は、前記時刻ｔ＋１における前記異常検出対象の音響信号が取り得る値それぞれにおける確率値を系列として表現したものであり、
   前記スコア算出部は、前記信号パターン特徴のエントロピーを算出し、前記算出されたエントロピーを用いて前記異常スコアを算出する、異常検出装置。
2. 少なくとも前記異常検出用の状況特徴量を抽出するための基準となる状況特徴モデルを格納する、モデル格納部をさらに備え、
   前記第１の状況特徴抽出部は、前記状況特徴モデルをさらに用いて、前記異常検出用の状況特徴量を抽出する、請求項１に記載の異常検出装置。
3. 前記学習用の音響信号及び前記異常検出用の音響信号は、状態変化を伴う発生機構により生成された音響信号である、請求項１又は２に記載の異常検出装置。
4. 前記音響とは異なるモーダルの信号は、画像信号、振動信号及び圧力センサ信号のうちの少なくとも１つの信号である、請求項１乃至３のいずれか一項に記載の異常検出装置。
5. 学習用の音響信号と、音響とは異なるモーダルの信号であって学習用の他モーダル信号から算出された学習用の状況特徴量と、に基づき学習された信号パターンモデルを格納する、パターン格納部を備える異常検出装置において、
   音響とは異なるモーダルの信号であって異常検出用の他モーダル信号から、前記学習用の状況特徴量に対応する異常検出用の状況特徴量を抽出するステップと、
   異常検出対象の音響信号、前記異常検出用の状況特徴量及び前記信号パターンモデルに基づき、前記異常検出対象の音響信号に関する信号パターン特徴を算出するステップと、
   前記信号パターン特徴に基づき、前記異常検出対象の音響信号の異常検出を行うための異常スコアを算出するスコア算出ステップと、
   を含み、
   前記信号パターンモデルは、時刻ｔにおける前記異常検出対象の音響信号を入力とし、時刻ｔ＋１における前記異常検出対象の音響信号の従う確率分布を推定する予測器であり、
   前記信号パターン特徴は、前記時刻ｔ＋１における前記異常検出対象の音響信号が取り得る値それぞれにおける確率値を系列として表現したものであり、
   前記スコア算出ステップは、前記信号パターン特徴のエントロピーを算出し、前記算出されたエントロピーを用いて前記異常スコアを算出する、異常検出方法。
6. 学習用の音響信号と、音響とは異なるモーダルの信号であって学習用の他モーダル信号から算出された学習用の状況特徴量と、に基づき学習された信号パターンモデルを格納する、パターン格納部を備える異常検出装置に搭載されたコンピュータに、
   音響とは異なるモーダルの信号であって異常検出用の他モーダル信号から、前記学習用の状況特徴量に対応する異常検出用の状況特徴量を抽出する処理と、
   異常検出対象の音響信号、前記異常検出用の状況特徴量及び前記信号パターンモデルに基づき、前記異常検出対象の音響信号に関する信号パターン特徴を算出する処理と、
   前記信号パターン特徴に基づき、前記異常検出対象の音響信号の異常検出を行うための異常スコアを算出するスコア算出処理と、
   を実行させるプログラムであって、
   前記信号パターンモデルは、時刻ｔにおける前記異常検出対象の音響信号を入力とし、時刻ｔ＋１における前記異常検出対象の音響信号の従う確率分布を推定する予測器であり、
   前記信号パターン特徴は、前記時刻ｔ＋１における前記異常検出対象の音響信号が取り得る値それぞれにおける確率値を系列として表現したものであり、
   前記スコア算出処理は、前記信号パターン特徴のエントロピーを算出し、前記算出されたエントロピーを用いて前記異常スコアを算出する、プログラム。

Images