JP7188598B2 - 異常度推定装置、異常度推定方法、およびプログラム - Google Patents

異常度推定装置、異常度推定方法、およびプログラム Download PDF

Info

Publication number
JP7188598B2
JP7188598B2 JP2021536507A JP2021536507A JP7188598B2 JP 7188598 B2 JP7188598 B2 JP 7188598B2 JP 2021536507 A JP2021536507 A JP 2021536507A JP 2021536507 A JP2021536507 A JP 2021536507A JP 7188598 B2 JP7188598 B2 JP 7188598B2
Authority
JP
Japan
Prior art keywords
anomaly
sound
degree
normal sound
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021536507A
Other languages
English (en)
Other versions
JPWO2021019672A1 (ja
Inventor
悠馬 小泉
翔一郎 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021019672A1 publication Critical patent/JPWO2021019672A1/ja
Application granted granted Critical
Publication of JP7188598B2 publication Critical patent/JP7188598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • G01M99/005Testing of complete machines, e.g. washing-machines or mobile phones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • G05B23/0205Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups

Description

本発明は、監視対象が正常な状態か異常な状態かを判定する異常検知技術に関する。
工場などに設置された大型の製造機や造型機などの業務用機器は、故障により稼働が停止するだけで業務に大きな支障をもたらす。そのため、その動作状況を日常的に監視し、異常が発生し次第ただちに対処を行う必要がある。解決案として、業務用機器の管理業者が、定期的に現場へ整備員を派遣し、パーツの摩耗などを確認する方法がある。しかし、多大な人件費や移動費、労力が掛かるため、すべての業務用機器や工場でこれを実施することは難しい。この解決手段として、業務用機器の内部にマイクロホンを設置し、その動作音を日常的に監視する方法がある。この方法では、マイクロホンで収音した動作音を解析し、異常と思われる音(以下、「異常音」と呼ぶ)が発生したら、それを検知し、アラートを上げることで、上記の問題を解決する。このように、音を利用して監視対象が正常な状態か異常な状態かを判定する技術は、異常音検知と呼ばれている。
異常音検知は、観測信号X={xt∈RF}t=1 Tが正常データか異常データかを判定する問題である。ここで、xtはt番目の時間フレームの入力であり、その実態は音の振幅スペクトルでもよいし、何らかの特徴量を抽出した結果でもよい。
異常音検知の実装法として、入力xの異常らしさを表す指標(以下「異常度」と呼ぶ)を求める、パラメータθAを持つ関数AθA(x)の値が、1フレームでも閾値φを超えたら観測信号Xを異常と判定する方法がある。これは、式(1)で表される。
Figure 0007188598000001
ここで、H(・)は引数が非負なら1、負なら0を返すステップ関数である。つまり識別結果が1ならば観測を異常と判定し、0ならば正常と判定する。関数AθA(x)の実装は、深層自己符号化器(AE: deep autoencoder)を利用する方法が提案されている。深層自己符号化器は、入力xtをニューラルネットワークを利用して低次元ベクトルに圧縮し(エンコード)、それを再度ニューラルネットワークを利用して入力に復元する(デコード)。深層自己符号化器を利用した異常音検知では、異常度を再構成誤差として式(2)で計算する。
Figure 0007188598000002
正常音に対する異常度を小さくするために、パラメータθAは正常音の平均再構成誤差を減少させるように学習される。以上の方式は、例えば、非特許文献1などで利用されている。
非特許文献1の方法では、異常音を見逃してしまうことがある。そこで非特許文献2では、まず見逃した異常音を登録(学習)し、それ以降の観測信号が登録異常音と類似していれば観測信号を異常と判定する登録異常音検知技術を提案している。この方法では、ユーザー異常音を含む数フレームの登録音をシステムに入力する。システムは、その登録音を圧縮して低次元ベクトル化する行列を推定する。その後、観測システムも同様の圧縮行列を利用して観測信号を低次元ベクトル化し、2つのベクトルが類似しているとき、観測信号を異常音と判定する。
Y. Koizumi, S. Saito, H. Uematsu, Y. Kawachi, and N. Harada, "Unsupervised Detection of Anomalous Sound based on Deep Learning and the Neyman-Pearson Lemma," IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 27-1, pp. 212-224, 2019. Y. Koizumi, S. Murata, N. Harada, S. Saito, and H. Uematsu, "SNIPER: Few-shot Learning for Anomaly Detection to Minimize False-Negative Rate with Ensured True-Positive Rate," in Proceedings of International Conference on Acoustics, Speech and Signal Processing (ICASSP 2019), 2019.
しかしながら、非特許文献2の方法では、誤検知した正常音の登録に関する問題点が存在する。非特許文献2では、異常音を正常と誤判定する“見逃し”(FN: False-Negative)に対処していた。異常音検知ではもう1つの誤判定として正常音を異常と誤判定する“誤検知”(FP: False-Positive)がある。ゆえに、見逃しに対処するだけでなく、誤検知を抑制するために、正常音を登録する技術が必要である。
この発明の目的は、上記のような技術的課題に鑑みて、正常音を異常と誤判定する誤検知を抑制することができる技術を提供することである。
上記の課題を解決するために、この発明の一態様の異常度推定装置は、観測信号の異常度を算出する異常度推定装置であって、観測信号から算出した異常度を、観測信号と登録正常音との類似度が高いほど値が小さくなるように補正する異常度計算部を含む。
この発明によれば、正常音を異常と誤判定する誤検知を抑制することができる。
図1は、正常音登録装置の機能構成を例示する図である。 図2は、正常音登録方法の処理手順を例示する図である。 図3は、登録正常音検知装置の機能構成を例示する図である。 図4は、登録正常音検知方法の処理手順を例示する図である。 図5は、実験結果を例示する図である。 図6は、実験結果を例示する図である。 図7は、コンピュータの機能構成を例示する図である。
[発明の概要]
<第1の課題を解決する技術:登録音の特徴量抽出>
まず、任意の時間フレーム長の登録音Z={zk∈RF}k=1 Kを埋め込む技術を説明する。この技術では、(1)時間周波数マスキングと(2)自己注意(self-attention)の2つの技術の要点を組み合わせることで埋め込みを実現する。時間周波数マスキングは音声強調などで利用される一般的な手法である(例えば参考文献1参照)。自己注意は文書検索などで広く使われる一般的な手法である(例えば参考文献2参照)。登録音検知のための埋め込みのために、2つの技術の要点を組み合わせた新しい手法を採ることで、工場のような雑音下でも検知したい音の特徴を抽出し、また継続時間長の長さに関わらず同一のアルゴリズムで登録音を埋め込みできる、という登録音正常/異常検知や特定音響イベント検出(specific sound event detection, or rare sound event detection)などに適した相乗効果が生まれる。
〔参考文献1〕Y. Koizumi, K. Niwa, Y. Hioka, K. Kobayashi, and Y. Haneda, "DNN-based Source Enhancement to Increase Objective Sound Quality Assessment Score," IEEE/ACM Transactions on Audio, Speech, and Language Processing, Vol. 26-10, pp.1780-1792, 2018.
〔参考文献2〕A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, "Attention Is All You Need," in Proceedings of 31st Conference on Neural Information Processing Systems (NIPS 2017), 2017.
≪ポイント1:マスク行列の推定≫
工場などで観測した信号は、観測機器の動作音だけでなく、周囲の雑音なども同時に観測する。これは、登録音Zを埋め込む際に、雑音も同時に埋め込んでしまうため、精度低下の原因となる。そこでまず、時間周波数マスキングを参考に、登録音Zから不要な情報を除去する。
Figure 0007188598000003
ここで、○は要素毎の乗算を表す。MθM: RF×K→R[0,1] F×KはパラメータθMを持つ何らかの関数であり、例えば深層ニューラルネットワーク(DNN: Deep Neural Network)などで実装できる。MθMの出力を[0, 1]に制限するのは、必要な情報は変化させず、不要な情報を0にすることを意図している。MθMを深層ニューラルネットワークで実装する場合、出力層の活性化関数をsigmoid関数とすればよい。なお、xtが複素スペクトルでない場合、Gは音声強調の意味での時間周波数マスクではないため、以降ではGのことを単にマスク行列と呼ぶ。
≪ポイント2:誤判定しやすい時間フレームの重み付け和≫
続いて、式(3)で求めたZ'を低次元ベクトルm∈RDへ埋め込む手法を説明する。ここで、誤判定しやすい時間フレームとは、入力される登録音が正常音である場合は例えば未知の正常音を含む時間フレームであり、入力される登録音が異常音である場合は異常音を含む時間フレームである。まず、自己注意を利用して時系列データであるZ'を1つのベクトルy'∈RCへと集約する。そして圧縮行列Ws∈RC×Fを用いてy'をmへと埋め込む。この手続きは以下のように記述できる。
Figure 0007188598000004
ここで、PθP: RF×K→RC×KはパラメータθPを持つ深層ニューラルネットワークなどで実装される関数である。また、Wp∈R1×Cである。自己注意は、文書検索などの分野で新たに入力された文書に対して利用される手法であるが、本発明では、入力された登録音Zを事前に埋め込むためだけに利用し、新たに得られた観測信号Xの異常判定を行う際には利用しない。これにより、学習には時間がかかるが、観測信号Xの異常判定には、登録音に関する複雑な計算を必要としないため、高速な判定が実現できる。
以上より、埋め込み法のパラメータはθE={θM, θP, Wp, Ws}である。学習法は、Zを埋め込んだ後に利用する方法に応じて変更すべきであり、登録異常音検知に利用するのであれば、非特許文献2で提案されている学習法やコスト関数を利用すべきである。また、登録正常音検知に利用するのであれば、後述する方法で学習すればよい。
<第2の課題を解決する技術:正常音を登録するための類似度指標とその学習法>
いま、N-1個の正常音がモデルに登録されており、N番目の誤検知した正常音ZNを誤検知しないように登録したいとする。式(9)で用いる下付き文字のnは、n番目の登録正常音に対応するパラメータであることを示す。以降、数式中で用いても説明は省略する。また、文中では記載を省略することもある。登録正常音に対して異常度を減少させたいため、新たに異常度関数を式(9)のように定義する。
Figure 0007188598000005
ここで、θ={θA, {θS,n}n=1 N}であり、mnは登録正常音Znが埋め込まれたベクトルである。また、S: RF→R>0はパラメータθS,nを持つ関数であり、xtとmnが類似していれば大きな値を返す。Zの埋め込み法は特に制限はないが、例えば上述の埋め込み法を用いることができる。
B(xt, θ)は、xtとmnが類似していれば、その値が閾値φ以下になればよい。いまρ(<φ)をxtとmnが同一の音の際にB(xt, θ)が取るべき値とする。また、xtが正常音であれば、A(xt, θA)<ρの際はB(xt, θ)=A(xt, θA)となるべきである。上記の条件を満たす類似度関数として、本発明では以下を用いる。
Figure 0007188598000006
ここで、St,n∈R[0,1]はft,nとmnの類似度を表す関数であり、本発明ではコサイン類似度をもとに計算している。また、ft,n∈RDはxtを埋め込んだベクトルであり、例えば非特許文献2を参考にすれば、vx∈RF, Wx∈RD×Fとして、式(12)のように実装すればよい。
Figure 0007188598000007
上記より、登録正常音検知のパラメータはθS={Wx, vx}である。また、上述の埋め込み法のようにmの計算にパラメータが必要であれば、それもθSに含まれる。これらのパラメータはA(xt, θA)が閾値φを超えてしまっている際に、B(xt, θ)が小さくなるように学習すべきである。これを実現する、N番目の登録正常音のためのパラメータθS,Nを学習するためのコスト関数として、本発明では以下を用いる。
Figure 0007188598000008
ここで、LθS,Nは、LθS,Nがmを埋め込むためのパラメータで微分可能であれば、θS,Nで微分可能なため、勾配法などを利用してθS,Nを学習できる。また、もし異常音データU={uτ∈RF}τ=1 Tuも得られている、もしくはシミュレーションできるのであれば、B(xt, θ)はUに対しては異常度を減少させるべきではない。そこで、以下のようにコスト関数を変更してもよい。
Figure 0007188598000009
[実施形態]
以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
本発明の実施形態は、上述した登録正常音を検知するためのパラメータを学習する正常音登録装置1と、正常音登録装置1が学習したパラメータを用いて観測信号が登録正常音であるか否かを判定しながら観測信号が正常か異常かを判定する登録正常音検知装置2とからなる。
≪正常音登録装置≫
実施形態の正常音登録装置1は、図1に例示するように、入力部11、初期化部13、特徴量抽出部14、異常度計算部15、パラメータ更新部16、収束判定部17、および出力部18を備える。正常音登録装置1は、必要に応じて、周波数変換部12をさらに備えていてもよい。この正常音登録装置1が、図2に例示する各ステップの処理を行うことにより実施形態の正常音登録方法が実現される。
正常音登録装置1は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。正常音登録装置1は、例えば、中央演算処理装置の制御のもとで各処理を実行する。正常音登録装置1に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。正常音登録装置1の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
以下、図2を参照して、実施形態の正常音登録装置1が実行する正常音登録方法について説明する。
ステップS11において、入力部11は、任意のフレーム長の登録音Z={zk∈RF}k=1 Kと、従来の異常度を算出するための関数A(xt, θA)と、関数A(xt, θA)を学習する際に用いた正常データおよび異常データとを入力として受け取る。ただし、異常データは存在しなくともよい。登録音Zは、登録正常音検知を目的とする場合には登録したい正常音(例えば、誤検知した正常音)であり、登録異常音検知を目的とする場合には登録したい異常音(例えば、見逃した異常音)である。また、埋め込むときの次元数(例えば、上述のC, D)などの必要なパラメータも適宜入力する。次元数は、例えば、D=4, C=30程度に設定すればよい。xtやzkは、例えば非特許文献1に記載のように、メルフィルタバンク出力などを利用すればよい。登録音Zが時間領域の音響信号である場合、周波数変換部12をさらに備え、ステップS12において、周波数変換部12が登録音Zを周波数領域の音響信号に変換すればよい。入力部11(または周波数変換部12)は、受け取った登録音Zを特徴量抽出部14へ出力する。
ステップS13において、初期化部13は、パラメータθS,Nを乱数などで初期化する。登録異常音検知を目的とする場合にはパラメータθEと非特許文献2に記載されたパラメータを初期化する。
ステップS14において、特徴量抽出部14は、入力部11(または周波数変換部12)から登録音Zを受け取り、式(3)~(8)を計算して、登録音Zの特徴をD次元のベクトルmに埋め込む。特徴量抽出部14は、登録音Zが埋め込まれたベクトルmを異常度計算部15へ出力する。
ステップS15において、異常度計算部15は、特徴量抽出部14からベクトルmを受け取り、式(9)を計算して異常度B(xt, θ)を取得する。登録異常音検知を目的とする場合には非特許文献2に記載された異常度の算出を行えばよい。異常度計算部15は、取得した異常度B(xt, θ)をパラメータ更新部16へ出力する。
ステップS16において、パラメータ更新部16は、異常度計算部15から異常度B(xt, θ)を受け取り、式(13)のコスト関数LθS,Nもしくは式(15)のコスト関数L'θS,Nを減少させるようにパラメータθS,Nを更新する。登録異常音検知を目的とする場合には非特許文献2に記載されたコスト関数を用いればよい。
ステップS17において、収束判定部17は、あらかじめ設定した終了条件を満たしているか否かを判定する。収束判定部17は、終了条件を満たしていればステップS18へ処理を進め、満たしていなければステップS14へ処理を戻す。終了条件は、例えば、パラメータ更新を所定の回数実行したこと、などと設定すればよい。
ステップS18において、出力部18は、学習済みのパラメータθS,Nを出力する。登録異常音検知を目的とする場合には学習済みのパラメータθEと非特許文献2に記載されたパラメータを出力する。
≪登録正常音検知装置≫
実施形態の登録正常音検知装置2は、図3に例示するように、パラメータ記憶部20、入力部21、特徴量抽出部24、異常度計算部25、状態判定部26、および出力部27を備える。登録正常音検知装置2は、必要に応じて、分割部22および周波数変換部23をさらに備えていてもよい。この登録正常音検知装置2が、図4に例示する各ステップの処理を行うことにより実施形態の登録正常音検知方法が実現される。
登録正常音検知装置2は、例えば、中央演算処理装置(CPU: Central Processing Unit)、主記憶装置(RAM: Random Access Memory)などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。登録正常音検知装置2は、例えば、中央演算処理装置の制御のもとで各処理を実行する。登録正常音検知装置2に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。登録正常音検知装置2の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。登録正常音検知装置2が備える各記憶部は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ(Flash Memory)のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。
パラメータ記憶部20には、学習済みのパラメータθ={θA, {θS,n}n=1 N}と閾値φとが記憶されている。パラメータθAは従来の異常度を算出するためのパラメータであり、パラメータθS,nは正常音登録装置1が学習したパラメータである。閾値φは、従来の異常度を算出するためのパラメータを学習する過程で決定した閾値であってもよいし、あらかじめ手動で与えた閾値であってもよい。
以下、図4を参照して、実施形態の登録正常音検知装置2が実行する登録正常音検知方法について説明する。
ステップS21において、入力部21は、登録正常音検知の対象とする観測信号xを入力として受け取る。異常音検知の対象を常時監視している場合など観測信号xがリアルタイムに順次入力される場合などには、分割部22をさらに備え、ステップS22において、分割部22が観測信号xを所定の長さに分割すればよい。観測信号xが時間領域の音響信号である場合、周波数変換部23をさらに備え、ステップS23において、周波数変換部23が観測信号xを周波数領域の音響信号に変換すればよい。入力部21(または分割部22または周波数変換部23)は、観測信号xを特徴量抽出部24へ出力する。
ステップS24において、特徴量抽出部24は、入力部21(または分割部22または周波数変換部23)から観測信号xを受け取り、式(3)~(8)を計算して、観測信号xの特徴をD次元のベクトルmに埋め込む。特徴量抽出部24は、観測信号xが埋め込まれたベクトルmを異常度計算部25へ出力する。
ステップS25において、異常度計算部25は、特徴量抽出部24からベクトルmを受け取り、式(9)を計算し、異常度B(x, θ)を得る。異常度計算部25は、得られた異常度B(x, θ)を状態判定部26へ出力する。
ステップS26において、状態判定部26は、異常度計算部25から異常度B(x, θ)を受け取り、式(1)を計算し、観測信号xが正常か異常かを判定する。状態判定部26は、観測信号xが正常か異常かを示す二値データである判定結果を出力部27へ出力する。
ステップS27において、出力部27は、状態判定部26から判定結果を受け取り、その判定結果を登録正常音検知装置2の出力とする。
[実験結果]
実施形態の登録正常音検知装置を用いて登録正常音検知を行った実験結果を、図5,6に示す。図5上段は、登録した正常音のスペクトログラムである。この音は、破線で囲われた0.25秒付近から1.25秒付近にかけてサイレン音が含まれている。異常度Aを設計する際の学習データにこの音が含まれていない場合、この音は誤検知されてしまう。そこで実施形態の正常音登録装置を用いてこの正常音を登録した。その結果、図5中段のようなマスク行列と、図5下段のような自己注意係数が推定された。図5中段のマスク行列は、サイレン音が存在する時間区間において比較的大きな値が出力されている。また図5下段の自己注意係数もサイレン音が存在する時間区間において比較的大きな値が出力されている。
図6に、学習に利用した音とは別の試験音(正常音)の異常度計算結果を示す。図6上段は、試験音のスペクトログラムである。この音は、破線で囲われた0.4秒付近から1.4秒付近にかけて図5上段の登録正常音と同様のサイレン音が含まれている。図6下段は、従来技術(Conventional)で出力された異常度A(xt, θA)と、本発明(Proposed)で出力された異常度B(xt, θ)を表している。図6下段に示されるように、従来技術では、サイレン音を異常音と判定して異常度が上昇しているが、本発明では、サイレン音が存在する時間区間でも異常度が上昇しなくなっている。これらの実験結果から、本発明により適切な異常度を算出できており、誤検知が抑制されていることがわかる。
[変形例]
上述の実施形態では、正常音登録装置1が登録したい正常音から特徴量を抽出し、その登録正常音を検知するためのパラメータを学習する構成としたが、登録音から特徴量を抽出する機能のみを備えた特徴量抽出装置を構成することも可能である。この特徴量抽出装置は、実施形態の正常音登録装置1が備える特徴量抽出部14を備える。この特徴量抽出装置は、周波数変換部12をさらに備えてもよい。この特徴量抽出装置は、例えば、任意の長さの時系列音響信号を入力とし、登録音の特徴が反映された固定長の特徴量を出力とする。
上述の実施形態では、登録正常音検知装置2が観測信号から異常度を計算し、その異常度を用いて正常か異常かを判定する構成としたが、観測信号から異常度を計算する機能のみを備えた異常度推定装置を構成することも可能である。この異常度推定装置は、実施形態の登録正常音検知装置2が備えるパラメータ記憶部20と特徴量抽出部24と異常度計算部25とを備える。この異常度推定装置は、分割部22と周波数変換部23とをさらに備えてもよい。この異常度推定装置は、例えば、観測信号を入力とし、学習済みのパラメータを用いて観測信号から抽出した特徴量を用いてその観測信号の異常度を推定し、その異常度を出力とする。
上述の実施形態では、登録音を検知するためのパラメータを学習するために、特徴量を抽出する機能を用いる構成を説明したが、この機能の用途はこれに限定されず、任意の長さのデータの特徴を反映した適切な特徴量を必要とする技術であれば応用することが可能である。また、上述の実施形態では、対象とする機器が正常か異常かを判定するために、観測信号から異常度を計算する機能を用いる構成を説明したが、この機能の用途はこれに限定されず、得られたサンプルから状態を判定する技術であれば応用することが可能である。
上述の実施形態では、正常音登録装置1と登録正常音検知装置2とを別個の装置として構成する例を説明したが、登録音を検知するためのパラメータを学習する機能と学習済みのパラメータを用いて登録音検知を行う機能とを兼ね備えた1台の登録正常音検知装置を構成することも可能である。すなわち、この登録正常音検知装置は、入力部11、初期化部13、特徴量抽出部14、異常度計算部15、パラメータ更新部16、収束判定部17、パラメータ記憶部20、入力部21、状態判定部26、および出力部27を備える。この登録正常音検知装置は、周波数変換部12および分割部22をさらに備えてもよい。
上述の実施形態では、音データを対象とした登録正常音検知について説明したが、本発明は音データ以外へも適用することが可能である。例えば、本発明は音データ以外の時系列データや、画像データにも適用できる。これを適用するためには、xをその適用対象に適したものにすればよい。これは、振動センサや株価データであれば、これらの時系列情報をまとめたものや、それをフーリエ変換したものにすればよいし、画像であれば画像特徴量やそれをニューラルネットワークなどで分析した結果にしてもよい。この場合、登録正常音検知装置2は、正常時のデータである正常データを登録した異常度を用いて観測データが正常か異常かを判定する異常検知装置として機能する。
以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
[プログラム、記録媒体]
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図7に示すコンピュータの記憶部1020に読み込ませ、制御部1010、入力部1030、出力部1040などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

  1. 観測信号の異常度を推定する異常度推定装置であって、
    前記観測信号から算出した異常度を、前記観測信号と登録正常音との類似度が高いほど値が小さくなるように補正する異常度計算部を含む、
    異常度推定装置。
  2. 請求項1に記載の異常度推定装置であって、
    任意の長さの時系列音響信号から特徴量を示す指定された次元のベクトルを抽出する特徴量抽出部をさらに含み、
    前記特徴量抽出部は、少なくとも既知の正常音と未知の正常音とを含む時系列音響信号からは前記未知の正常音の特徴が反映された特徴量を抽出するよう最適化されており、
    前記異常度計算部は、前記特徴量抽出部が少なくとも正常音を含む時系列音響信号から抽出した特徴量を用いて学習された類似度関数により前記類似度を算出する、
    異常度推定装置。
  3. 請求項2に記載の異常度推定装置であって、
    前記時系列音響信号を周波数変換した時系列周波数信号を取得する周波数変換部をさらに含み、
    前記特徴量抽出部は、前記時系列音響信号の時間領域の成分と前記時系列周波数信号の周波数領域の成分とに基づいて、発生頻度が低い前記既知の正常音の特徴を推定して前記特徴量を抽出するものである、
    異常度推定装置。
  4. 請求項3に記載の異常度推定装置であって、
    前記特徴量抽出部は、前記時系列音響信号から推定した前記特徴を時間区間毎に重み付けして前記特徴量を抽出するものである、
    異常度推定装置。
  5. 観測信号の異常度を算出する異常度推定方法であって、
    異常度計算部が、前記観測信号から算出した異常度を、前記観測信号と登録正常音との類似度が高いほど値が小さくなるように補正する、
    異常度推定方法。
  6. 請求項1から4のいずれかに記載の異常度推定装置としてコンピュータを機能させるためのプログラム。
JP2021536507A 2019-07-30 2019-07-30 異常度推定装置、異常度推定方法、およびプログラム Active JP7188598B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/029777 WO2021019672A1 (ja) 2019-07-30 2019-07-30 異常度推定装置、異常度推定方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021019672A1 JPWO2021019672A1 (ja) 2021-02-04
JP7188598B2 true JP7188598B2 (ja) 2022-12-13

Family

ID=74229342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021536507A Active JP7188598B2 (ja) 2019-07-30 2019-07-30 異常度推定装置、異常度推定方法、およびプログラム

Country Status (3)

Country Link
US (1) US11835430B2 (ja)
JP (1) JP7188598B2 (ja)
WO (1) WO2021019672A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880750B2 (en) * 2020-04-15 2024-01-23 SparkCognition, Inc. Anomaly detection based on device vibration
US11843623B2 (en) * 2021-03-16 2023-12-12 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for anomaly detection
JP7386278B2 (ja) 2022-02-28 2023-11-24 株式会社日立製作所 検査装置及び方法
WO2023181354A1 (ja) * 2022-03-25 2023-09-28 日本電気株式会社 情報処理装置、算出方法及び記憶媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013253847A (ja) 2012-06-06 2013-12-19 Hitachi Ltd 故障確率算出装置及び故障確率算出方法並びに鉄道保守システム
CN106323452A (zh) 2015-07-06 2017-01-11 中达电子零组件(吴江)有限公司 一种设备异音的检测方法及检测装置
JP2017090606A (ja) 2015-11-09 2017-05-25 日本電信電話株式会社 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム
WO2017171051A1 (ja) 2016-04-01 2017-10-05 日本電信電話株式会社 異常音検出学習装置、音響特徴量抽出装置、異常音サンプリング装置、これらの方法及びプログラム
JP2018022014A (ja) 2016-08-03 2018-02-08 日本電信電話株式会社 特徴量抽出装置、特徴量抽出関数情報生成装置、これらの方法及びプログラム
WO2018042616A1 (ja) 2016-09-02 2018-03-08 株式会社日立製作所 診断装置、診断方法及び診断プログラム
JP2019020124A (ja) 2017-07-11 2019-02-07 富士通株式会社 異常検出プログラム、異常検出方法、及び情報処理装置
WO2019049688A1 (ja) 2017-09-06 2019-03-14 日本電信電話株式会社 異常音検知装置、異常モデル学習装置、異常検知装置、異常音検知方法、異常音生成装置、異常データ生成装置、異常音生成方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58100734A (ja) * 1981-12-11 1983-06-15 Nippon Atom Ind Group Co Ltd 回転機器の異常検出法および装置
JPH09166483A (ja) * 1995-12-19 1997-06-24 Hitachi Ltd 機器監視方法及びその装置
JPH11118593A (ja) * 1997-10-15 1999-04-30 Toshiba Corp プラント異常監視装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013253847A (ja) 2012-06-06 2013-12-19 Hitachi Ltd 故障確率算出装置及び故障確率算出方法並びに鉄道保守システム
CN106323452A (zh) 2015-07-06 2017-01-11 中达电子零组件(吴江)有限公司 一种设备异音的检测方法及检测装置
JP2017090606A (ja) 2015-11-09 2017-05-25 日本電信電話株式会社 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム
WO2017171051A1 (ja) 2016-04-01 2017-10-05 日本電信電話株式会社 異常音検出学習装置、音響特徴量抽出装置、異常音サンプリング装置、これらの方法及びプログラム
JP2018022014A (ja) 2016-08-03 2018-02-08 日本電信電話株式会社 特徴量抽出装置、特徴量抽出関数情報生成装置、これらの方法及びプログラム
WO2018042616A1 (ja) 2016-09-02 2018-03-08 株式会社日立製作所 診断装置、診断方法及び診断プログラム
JP2019020124A (ja) 2017-07-11 2019-02-07 富士通株式会社 異常検出プログラム、異常検出方法、及び情報処理装置
WO2019049688A1 (ja) 2017-09-06 2019-03-14 日本電信電話株式会社 異常音検知装置、異常モデル学習装置、異常検知装置、異常音検知方法、異常音生成装置、異常データ生成装置、異常音生成方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KOIZUMI, Yuma, et al.,NIPER: Few-shot Learning for Anomaly Detection to Minimize False-negative Rate with Ensured True-positive Rate,ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing,2019年,p. 915-919,[検索日:2022.07.11], <DOI: 10.1109/ICASSP.2019.8683667>, https://ieeexplore.ieee.org/document/8683667 でダウンロード可能

Also Published As

Publication number Publication date
US11835430B2 (en) 2023-12-05
US20220283057A1 (en) 2022-09-08
WO2021019672A1 (ja) 2021-02-04
JPWO2021019672A1 (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
JP7188598B2 (ja) 異常度推定装置、異常度推定方法、およびプログラム
CN111108362B (zh) 异常声音探测装置、异常模型学习装置、异常探测装置、异常声音探测方法、以及记录介质
WO2018196760A1 (en) Ensemble transfer learning
JP2022082713A (ja) データ変換装置
US20200265119A1 (en) Site-specific anomaly detection
JP6881207B2 (ja) 学習装置、プログラム
US20150089309A1 (en) Troubleshooting based on log similarity
WO2019220620A1 (ja) 異常検出装置、異常検出方法及びプログラム
US20230282216A1 (en) Authentication method and apparatus with transformation model
CN111612037A (zh) 异常用户检测方法、装置、介质及电子设备
CN111125529A (zh) 产品匹配方法、装置、计算机设备及存储介质
CN112883990A (zh) 数据分类方法及装置、计算机存储介质、电子设备
CN113986674A (zh) 时序数据的异常检测方法、装置和电子设备
US20220122629A1 (en) Sound generation apparatus, data generation apparatus, anomaly score calculation apparatus, and program
JP6676009B2 (ja) 話者判定装置、話者判定情報生成方法、プログラム
JP7207540B2 (ja) 学習支援装置、学習支援方法、及びプログラム
Lee et al. Early failure detection of paper manufacturing machinery using nearest neighbor‐based feature extraction
Heravi et al. Structural health monitoring by probability density function of autoregressive-based damage features and fast distance correlation method
US20200401943A1 (en) Model learning apparatus, model learning method, and program
JP7188597B2 (ja) 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム
US11030995B2 (en) Acoustic feature extractor selected according to status flag of frame of acoustic signal
JP7231027B2 (ja) 異常度推定装置、異常度推定方法、プログラム
JP2018109739A (ja) 音声フレーム処理用の装置及び方法
CN113610503A (zh) 简历信息处理方法、装置、设备及介质
JP2018132678A (ja) ターンテイキングタイミング識別装置、ターンテイキングタイミング識別方法、プログラム、記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7188598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150