JP7149197B2 - 異常音検知装置および異常音検知方法 - Google Patents

異常音検知装置および異常音検知方法 Download PDF

Info

Publication number
JP7149197B2
JP7149197B2 JP2019019876A JP2019019876A JP7149197B2 JP 7149197 B2 JP7149197 B2 JP 7149197B2 JP 2019019876 A JP2019019876 A JP 2019019876A JP 2019019876 A JP2019019876 A JP 2019019876A JP 7149197 B2 JP7149197 B2 JP 7149197B2
Authority
JP
Japan
Prior art keywords
sound
new
normal
learning
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019019876A
Other languages
English (en)
Other versions
JP2020126021A (ja
Inventor
洋平 川口
隆 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019019876A priority Critical patent/JP7149197B2/ja
Priority to US16/565,820 priority patent/US10832698B2/en
Publication of JP2020126021A publication Critical patent/JP2020126021A/ja
Application granted granted Critical
Publication of JP7149197B2 publication Critical patent/JP7149197B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、異常音検知装置および異常音検知方法に関する。
機械の状態は、音・振動に現れることが多い。そこで、設備保守などの目的で、機械の状態を把握するために機械から発生する音・振動に基づく診断は重要である。ただし、音・振動に基づいて設備の異常を診断する際には、診断を誤りうることが問題である。この原因は大きく分けて二つに分かれる。一つは、外的要因である、診断対象以外に由来する雑音である。もう一つが、内的要因である、診断対象自身の正常状態のぶれ、すなわち、正常状態同士でも音・振動が異なるという原因である。それぞれの問題を解決するために、対象音源抽出処理、および、異常検知処理が求められる。対象音源抽出処理は、入力信号から、除去したい外来の音のみを除去し、抽出したい診断対象の音のみを抽出する。異常検知処理は、抽出した診断対象の音が、あらかじめ与えられている学習データを元に推定される正常音モデルから十分な確率で生成されうるかどうかによって、正常か異常かを判定する。
対象音源抽出の問題を解決する方法として、特開２００９－１２８９０６号公報（特許文献１）がある。この公報には、「制約付き非負値行列因子分解（ＮＭＦ）を混成信号に適用する工程であって、前記ＮＭＦは雑音除去モデルによって制約され、前記雑音除去モデルはトレーニング音響信号とトレーニング雑音信号とのトレーニング基礎マトリクスおよび該トレーニング基礎マトリクスの重みの統計値とからなり、前記適用により前記混成信号の内の前記音響信号の基底行列の重みを生成する工程と、前記音響信号を再構成するために、該音響信号の基底行列の重みと、前記トレーニング音響信号と前記トレーニング雑音信号とのトレーニング基礎マトリクスとの積を取る工程と、を含む、音響信号と雑音信号とを含む混成信号の雑音を除去するための方法。」と記載されている。
特開２００９－１２８９０６号公報
特許文献１に開示された発明は、雑音が混合した信号から、NMFを使って音声と雑音に分離している。ただし、この方法は、抽出したい音声と、除去したい雑音の両方の学習データが与えられている条件でのみ機能する。
これに対して、本発明が対象とする診断対象音源の異常音の収集は一般に困難であることから、対象音源抽出の学習データには正常音しか含まれないので、除去したい音のみの学習データが与えられ、抽出したい音の学習データが与えられない。
そこで、本発明では、除去したい音のみの学習データが与えられ、抽出したい音の学習データが与えられない場合であっても、異常検知処理を可能とする対象音源抽出方法を課題とする。
本発明の異常音検知装置の好ましい例では、診断対象の機械設備の稼動音を入力して、異常音の有無を判定する異常音検知装置であって、予め、該当機械設備の正常稼動音を入力して、振幅スペクトログラムより正常音基底スペクトルを分解して第１のデータベースへ登録する第１の学習部と、診断時に入力した音響信号に対して、前記第１のデータベースの正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する新規音・新規振動抽出部と、予め、該当機械設備の正常稼動音より新規音・新規振動成分を抽出して、該新規音・新規振動成分より正常音モデルを学習して第２のデータベースへ登録する第２の学習部と、診断時に該当機械設備の音響信号より抽出した新規音・新規振動成分が、前記第２のデータベースの正常音モデルから生成される確率を算出する異常検知部とを備えて構成する。
また、本発明の異常音検知方法の好ましい例では、診断対象の機械設備の稼動音を集音機器で入力して、計算機が異常音の有無を判定する異常音検知方法であって、計算機が、予め、該当機械設備の正常稼動音を入力して、振幅スペクトログラムより正常音基底スペクトルを分解して第１のデータベースへ登録する工程と、診断時に入力した音響信号に対して、前記第１のデータベースの正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する工程と、予め、該当機械設備の正常稼動音より新規音・新規振動成分を抽出して、該新規音・新規振動成分より正常音モデルを学習して第２のデータベースへ登録する工程と、診断時に該当機械設備の音響信号より抽出した新規音・新規振動成分が、前記第２のデータベースの正常音モデルから生成される確率を算出する工程とを有する。
本発明によれば、NMFなどの従来方法では異常音が除去されて異常検知ができないような、雑音が大きい現場であっても、高精度での診断対象の機械設備の異常音検知を可能とする異常音検知装置を構成できる。
本発明における、異常音検知装置１００の構成を示した図である。 設備異常音検知処理部１１１による設備異常音検知処理のフローチャートを示す。 実施例１における、新規音・新規振動抽出処理の流れを示す処理フロー図である。 実施例２における、新規音・新規振動抽出処理の流れを示す処理フロー図である。
以下、実施例を、図面を用いて説明する。
本実施例では、診断対象の機械設備の音・振動を収集するのに適正な位置に設置された集音機器から音響信号を定期的に入力して、診断対象の機械設備の稼動音が正常か異常かを判定して、異常と判定した場合には該当機械設備の異常の旨を表示、出力する異常音検知装置の例を説明する。
図１は、異常音検知装置１００の構成図の例である。
異常音検知装置１００は、汎用の計算機上に構成することができて、そのハードウェア構成は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）などにより構成される演算部１１０、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどを用いたＳＳＤ（Solid State Drive）などにより構成される記憶部１２０、キーボードやマウス等の入力デバイスより構成される入力部１３０、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイなどの表示装置、各種出力装置などにより構成される表示部１４０、ＮＩＣ（Network Interface Card）、ネットワークインターフェース装置などにより構成される通信部１５０、などを備える。
通信部１５０は、ネットワーク１６０を介して外部の機械設備ａ１８０～機械設備ｎ１８１に対応して設置されたマイクロフォンユニット、アナログデジタル変換器、通信部などから成る集音機器１７０、１７１と接続されている。ネットワーク１６０は、無線ネットワーク若しくは有線ネットワークであり、または個別の専用ケーブルでもよい。
演算部１１０は、記憶部１２０に記憶されている異常音検知プログラム１２１をＲＡＭへロードしてＣＰＵで実行することにより以下の各機能部を実現する。演算部１１０は、設備異常音検知処理部１１１、前処理部１１２、新規音・新規振動抽出部１１３、異常検知部１１４、異常表示部１１５、正常音基底スペクトル学習部１１６、新規音・新規振動抽出後正常音モデル学習部１１７を有する。
記憶部１２０は、異常音検知プログラム１２１、正常音基底スペクトルデータベース１２２、新規音・新規振動抽出後正常音モデルデータベース１２３の各情報を記憶する記憶領域を有する。
《設備異常音検知処理》
図２は、設備異常音検知処理部１１１による設備異常音検知処理のフローチャートを示す。
ステップＳ１０１において、所定の周期ごとに起動されて、診断対象の機械設備の稼動音を収集するために設置されていた該当集音機器１７０、１７１から、通信部１５０を介して音響信号を取得する。音響信号は、該当集音機器のマイクロフォンで取得したアナログ信号をデジタル信号に変換した時間領域デジタル信号として入力される。
ステップＳ１０２において、前処理部１１２が起動され、入力されたデジタル信号をフレームごとに分割し、そのフレームに窓関数を乗算し、窓関数乗算後の信号に短時間フーリエ変換を施して、周波数領域信号を出力する。周波数領域信号は、フレームサイズがNであれば、(N / 2 + 1) = K個の周波数ビンそれぞれに1個の複素数が対応する、K個の複素数の組である。
ステップＳ１０３において、新規音・新規振動抽出部１０３が起動され、正常音基底スペクトルデータベース１２２が格納する該当する機械設備の正常音から予め学習して生成した正常音基底スペクトル（学習処理の詳細を後述する）を用いて、周波数領域信号を、正常音基底スペクトルによる低ランク行列と、正常音基底スペクトルで低ランク近似できない非負の行列（ここで新規音・新規振動成分と呼ぶ）とに分離する。そして、新規音・新規振動成分を出力する。
ステップＳ１０４において、異常検知部１１４が起動され、新規音・新規振動抽出後正常音モデルデータベース１２３が格納する該当する機械設備の正常音から予め学習して生成した新規音・新規振動抽出後正常音モデル（学習処理の詳細を後述する）を用いて、当該機械設備の稼動音から抽出された新規音・新規振動が異常を含むかどうかを判定する。すなわち、今回抽出された新規音・新規振動が、新規音・新規振動抽出後正常音モデルから十分な確率で生成されうるかどうかを判定する。十分な確率で生成されない場合は、異常音を含むと判定する。
ステップＳ１０５において、異常表示部１１５が、Ｓ１０４で異常音を含むと判定した場合には、該当する機械設備に異常音が発生した旨の報告を表示部１４０に表示して通知する。Ｓ１０４で異常音を含まないと判定した場合には、特に表示部１４０には表示せずに処理を終了する。
《正常音基底スペクトルの学習方法とデータ構造》
診断対象の機械設備の異常音検知処理を実施するに先立ち、予め、診断対象の機械設備の正常音を学習して正常音基底スペクトルデータベース１２２に登録する正常音基底スペクトルの学習方法とデータ構造について説明する。
正常音基底スペクトルの学習は以下のステップで行う。
(1) 正常音基底スペクトル学習部１１６がユーザによる指示により起動して、稼働音を発している指示された機械設備あるいは部品がいずれも正常であると見なせる状態で集音機器により音響信号を取得する。
(2) 前処理部１１２により、前記音響信号を周波数領域信号に変換して、更に、振幅スペクトログラムあるいはパワースペクトログラムX｛Xは、縦軸が時間を表し、横軸が周波数を表す。フレームサイズ(単位期間)ごとに作成した周波数スペクトル(K個の領域に分けた各周波数の強さ(振幅)の成分より成る)を各行に配列して、縦軸(時間軸)方向に、解析期間Tだけ時系列に配置したT行×K列の行列である。｝に変換する。
(3) パワースペクトログラムXをT行×K列の行列とみなし、教師なしNMFによって、T行×C列の行列であるアクティベーションWと、C行×K列の行列である基底スペクトルHに分解する。ただし、Cは基底数である。教師なしNMFには、ユークリッドノルムNMF、KL divergence NMF、IS divergence NMFなどいずれの種類のNMFを用いてもよい。
(4) 得られた基底スペクトルHを正常音基底スペクトルデータベース１２２に格納する。
ここで、正常音基底スペクトルデータベース１２２に格納される基底スペクトルは、前述のとおりC行×K列の行列であり、すなわちC個のK次元ベクトルである。
複数の音源が存在する環境の場合、各音源の音のみの基底スペクトルを学習することによって、抽出精度を高めることができる。たとえば、機械設備a、機械設備b、機械設備cが存在するとき、機械設備b、機械設備cを止めて、機械設備aのみを稼働させることで機械設備aのみの基底スペクトルを学習できる。機械設備b、機械設備cについても同様に、それぞれの音だけからなる基底スペクトルを学習できる。この場合、正常音基底スペクトルデータベース１２２に格納される基底スペクトルは、3×C行×K列の行列であり、すなわち3×C個のK次元ベクトルである。このように、正常音基底スペクトルデータベース１２２は(音源数×正常音のランク数)個のK次元ベクトルからなる。
《新規音・新規振動抽出処理》
新規音・新規振動抽出部１０３は、診断対象の機械設備から収集された稼動音の音響信号を、前処理部１１２が周波数領域信号に変換した信号を入力として、先ず、振幅スペクトログラムあるいはパワースペクトログラムX（T行×K列の行列）を計算する。
そして、新規音・新規振動抽出部１０３は、正常音基底スペクトルデータベース１２２に格納されている該当機械設備の基底スペクトルHを適用した教師ありNMFをパワースペクトログラムXに対して実行する。以下の数式(１)で表現されるように、新規音・新規振動抽出部１０３が、パワースペクトログラムXを正常音音源のアクティベーションWと、正常音基底スペクトルHと、新規音・新規振動Rとに分解する。
Figure 0007149197000001
上記の新規音・新規振動抽出処理は以下のように考えられる。
新規音・新規振動抽出では、数式(２)を満たす行列W、H、Rを計算するものと考えられる。ただし、Wが各正常音源のアクティベーションの縦ベクトルを横に並べたもの、Hが各正常音基底スペクトルの縦ベクトルを横に並べたもの、Rが新規音・新規振動を表す行列である。
Figure 0007149197000002
すなわち、W、H、Rが全て非負値行列であり、数式(１)を満たす条件において、フロベニウスノルム（数式(３)）が最小となるように、行列W、H、Rを計算する。
Figure 0007149197000003
 ただし、行列Rの第ｉ行第ｊ列の要素を記号ｒijと表記する。
ここで、数式(２)のような制約付きの凸最適化を解くフレームワークであるAlternating Direction Method of Multiplier (ADMM) を導入する。ADMMは必ず大域的最適解へ収束することが知られている。ADMMにより、数式(２)は、数式(４)の各部分問題を計算することに置き換えられる。
Figure 0007149197000004
 ただし、Lはaugmented Lagrangian、ｋは反復回数を表す。
ここで、正常音基底スペクトルHkは学習済みで既知と仮定する。正常音音源のアクティベーションWkの更新式から数式(７)が導出される。また、新規音・新規振動Rkの更新式から数式(８)が導出される。
図３は、本実施例の新規音・新規振動抽出処理の流れを示す処理フロー図である。新規音・新規振動抽出処理は、まず、ステップＳ２０１において、入力される周波数領域信号の振幅スペクトログラムあるいはパワースペクトログラムXを計算する。
次に、ステップＳ２０２において、振幅スペクトログラムあるいはパワースペクトログラムXに対して、正常音基底スペクトルデータベース１２２が格納する正常音基底スペクトルHを用いた教師有り非負値行列因子分解(NMF)を行って、各正常音音源のアクティベーションWを計算する。
次に、ステップＳ２０３において、反復回数kに0を代入する。
次に、ステップＳ２０４において、数式(５)により、新規音・新規振動Rk-1を非負制約付きで初期化する。 ここで、関数S(A)は、行列Aの全ての要素に対して、０以上であればそのまま、０以下であれば０にする変換を行うものと定義する。すなわち、非負値行列とする。
Figure 0007149197000005
次に、ステップＳ２０５において、ラグランジュ乗数Γk-1を乱数により初期化する。
次に、ステップＳ２０６において、kが予め定めた閾値未満であるかどうかを判定し、閾値未満であればＳ２０７に進み、そうでなければＳ２１２に進む。
次に、ステップＳ２０７において、数式(６)により、一時変数Mを更新する。
Figure 0007149197000006
次に、ステップＳ２０８において、数式(７)により、正常音音源のアクティベーションWkを非負制約付きで更新する。
Figure 0007149197000007
次に、ステップＳ２０９において、数式(８)により、新規音・新規振動Rkを非負制約付きで更新する。
Figure 0007149197000008
次に、ステップＳ２１０において、数式(９)により、ラグランジュ乗数を更新する。
Figure 0007149197000009
次に、ステップＳ２１１において、反復回数kに1を加算し、Ｓ２０６に移行する。
ここで、反復回数kは、例えば、フロベニウスノルム（数式(３)）が所定の閾値を下回る数値に収束するように、予め実験的または統計的に選定される。
ステップＳ２１２において、新規音・新規振動Rkを出力し、終了する。
除去したい音のみの学習データが与えられ、抽出したい音の学習データが与えられない場合、雑音が大きい現場ではNMFなどの従来方式で対象音源抽出を行うと新規音まで除去されて異常検知ができなくなる。これは、新規音の学習データが存在しないため、新規音は正常音基底スペクトルの低ランク近似の近似誤差としてしか抽出できず、近似誤差であるために負値を持ちうるためであった。それに対し、本実施例は、正常音のみならず学習データが与えられていない新規音に対しても、明示的に非負値の制約が課される。そのため、雑音が大きい現場であっても、新規音が除去されることがないため、高精度での異常検知ができるという効果を持つ。
《新規音・新規振動抽出後正常音モデルの学習方法、およびデータ構造》
診断対象の機械設備の異常音検知処理を実施するに先立ち、予め、診断対象の機械設備の正常音を入力して、新規音・新規振動抽出部１０３で抽出した新規音・新規振動Rに基づき、新規音・新規振動抽出後正常音モデルの学習方法、および、データ構造について説明する。
新規音・新規振動抽出後正常音モデルの学習は以下のステップで行う。
(1) 新規音・新規振動抽出後正常音モデル学習部１１７がユーザによる指示により起動して、稼働音を発している指示された機械設備あるいは部品がいずれも正常であると見なせる状態で集音機器により音響信号を取得する。
(2) 取得された音響信号を、前処理部１１２、および、新規音・新規振動抽出部１１３を通して、新規音・新規振動Rを抽出する。RはT行×K列の行列である。
(3) Rの各行をK次元ベクトルと考え、それらを入力として正常音モデルを学習する。もしくは、行方向に隣接ないし間引きした近傍の或るL個の時間フレームを結合し、L×K次元ベクトルと考え、それらを入力として正常音モデルを学習する。
(4) 正常音モデルには、公知の1クラスサポートベクター分類器、部分空間法の部分空間ベクトル、局所部分空間法の部分空間ベクトル、k-meansクラスタリングのクラスタ中心、Gaussian Mixture Model (GMM)、Deep Neural Network (DNN) autoencoder、Deep Autoencoding Gaussian Mixture Model (DAGMM)、Convolutional Neural Network (CNN) autoencoder、Long Short Term Memory (LSTM) autoencoder、variational autoencoder (VAE) などを用いればよい。
それぞれのモデルに適したアルゴリズムが知られており、それを用いる。例えば、GMMであればEMアルゴリズムにより、あらかじめ定めたクラスタ数の個数だけのガウス分布の組み合わせによるあてはめがなされる。
(5) 学習された正常音モデルは、算出されたモデルパラメタによって規定される。そのモデルパラメタ全てを新規音・新規振動抽出後正常音モデルデータベース１２３に格納する。
新規音・新規振動抽出後正常音モデルデータベース１２３に格納されるモデルパラメタは、例えばGMMの場合、Q個の各クラスタq = 1、・・・Qの平均ベクトル（L×K次元）μq、各クラスタの共分散行列（L×K×L×K次元）Γq、各クラスタの重み係数（1次元）πqである。
《異常検知処理》
設備異常音検知処理部１１１が起動されて、指定された診断対象の機械設備の稼動音(音響信号)を入力して、前処理部１１２、および、新規音・新規振動抽出部１１３の処理を経て、新規音・新規振動Rが抽出されると、異常検知部１１４が起動される。
異常検知部１１４は、該当新規音・新規振動Rに対して、対応する機械設備の正常音から学習した新規音・新規振動抽出後正常音モデルを新規音・新規振動抽出後正常音モデルデータベース１２３から読み出して使用する。
異常検知部１１４は、該当新規音・新規振動Rの各行のＫ次元ベクトル、またはＬ個の時間フレームを結合したＬ×Ｋ次元ベクトルを入力して、そのベクトルvが新規音・新規振動抽出後正常音モデルから生成される確率を算出する。
異常検知部１１４は、正常音モデルがたとえばGMMの場合、ベクトルvが新規音・新規振動抽出後正常音モデル（モデルパラメタΘ=((μ1、Γ1、π1)、・・・(μq、Γq、πq) 、(μQ、ΓQ、πQ)）から生成される確率p(v｜Θ)を、数式(１０)により計算する。
Figure 0007149197000010
ただし、
Figure 0007149197000011
該確率p(v｜Θ)が、例えば所定の確率以上であれば、診断対象の機械設備の稼動音(音響信号)は正常音であると判定する。例えば該確率が所定の確率未満であれば、異常音を含むと判定する。または、異常音を含む確率（異常確率）として出力することでもよい。
なお、本判定では、診断対象の機械設備の外部環境の異常音も含むと考えられるが、それは判定に影響が無いほど小さいものと仮定している。
《異常表示処理》
異常表示部１１５は、異常検知部１１４が診断対象の機械設備の稼動音(音響信号)は異常音を含むと判定した場合に起動され、該当機械設備が異常音を発している旨を表示部１４０に表示して、または外部の監視システムへ通知する。
また、異常有の表示の他に、今回の新規音・新規振動が新規音・新規振動抽出後正常音モデルから生成される確率に基づき、異常度、異常確率などを算出して、表示を行っても良い。
実施例１の新規音・新規振動抽出処理では、正常音基底スペクトルHが固定であるとして、新規音・新規振動Rを抽出する方法を開示した。実際には、機械のエージングなどにより、学習時と比べて正常音基底スペクトルHが変化することが起こりえる。本実施例では、正常音基底スペクトルHが学習時から変化する場合であっても新規音・新規振動Rを抽出できる方法を開示する。
図４は、本実施例の新規音・新規振動抽出処理の流れを示す処理フロー図である。
図３との違いは、ステップＳ２０８とステップＳ２０９の間に正常音基底スペクトルHk非負制約付更新（ステップＳ３０１）が挿入され、ステップＳ３０１において、数式(１２)により、正常音基底スペクトルHkがラグランジュ乗数より更新される点である。 数式(１２)は、数式(４)のHkの更新式から導出される。
Figure 0007149197000012
正常音基底スペクトルHkを更新し過ぎると、経年変化による新規音・新規振動R kが抽出されにくくなるという問題が起こり得る。この問題を解決するため、Hkの更新の大きさを制限して学習時の正常音基底スペクトルHと近づけるような制約をかけることもできる。たとえば、数式(１２)の代わりに数式(１３)を用いることで実現できる。
Figure 0007149197000013
ただし、φは或る0以上1以下の定数であり、H-1は正常音基底スペクトルデータベース１２２に格納された正常音基底スペクトルである。φ=1のとき数式(１２)と一致し、φ=0のとき実施例１と一致する。
本実施例で開示した方法により、実施例1では、機械のエージングなどによって学習時と比べて正常音基底スペクトルHが変化する場合でも、新規音・新規振動Rを抽出し、異常検知を可能にするという効果が得られる。
（複数の新規音・新規振動抽出の結果を統合）
実施例１および２で開示した方法は、SN比が低い場合には高い抽出精度を示すが、SN比が高い場合には従来の教師有りNMFの残差や教師有りNonnegative Matrix Underapproximation (NMU)の残差を新規音・新規振動とした方が高い抽出精度を示す。そこで、本実施例では、SN比に依らずに高い抽出精度、ひいては、高い異常検知精度を得る方法を開示する。
まず、前提として、複数の新規音・新規振動抽出方法（教師有りNMF、教師有りNMU、実施例１、実施例２）のそれぞれに対して、予め正常音基底スペクトルの学習をおこなっておく。さらに、それぞれの新規音・新規振動抽出方法に対して、実施例１で開示した新規音・新規振動抽出後正常音モデルの学習を行っておく。その上で、設備異常音検知処理部１１１による複数の新規音・新規振動抽出結果を統合した異常検知のための方法は、以下の２通りの手順で行える。
（１）複数の新規音・新規振動抽出方法（教師有りNMF、教師有りNMU、実施例１、実施例２）の中から、SN比に応じて一つを選択する。SN比は、抽出した新規音・新規振動RのパワーP(R)と、入力音パワースペクトログラムXのパワーP(X)の比率P(R)/P(X)で算出する。SN比が或る閾値以上であれば教師有りNMFまたは教師有りNMUを選択し、SN比が閾値未満であれば、実施例１または２を選択する。選択した新規音・新規振動抽出方法が抽出した新規音・新規振動Rを入力として学習した正常音モデルによる異常検知を実施する。
（２）複数の新規音・新規振動抽出方法（教師有りNMF、教師有りNMU、実施例１、実施例２）が抽出したそれぞれの新規音・新規振動Rに対し、対応する正常音モデルを用いた異常検知を別々に実施する。そして、それぞれの異常検知処理で算出した異常確率の平均値を算出する。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
１００ 異常音検知装置
１１０ 演算部
１１１ 設備異常音検知処理部
１１２ 前処理部
１１３ 新規音・新規振動抽出部
１１４ 異常検知部
１１５ 異常表示部
１１６ 正常音基底スペクトル学習部
１１７ 新規音・新規振動抽出後正常音モデル学習部
１２０ 記憶部
１２１ 異常音検知プログラム
１２２ 正常音基底スペクトルデータベース
１２３ 新規音・新規振動抽出後正常音モデルデータベース
１３０ 入力部
１４０ 表示部
１５０ 通信部
１６０ ネットワーク
１７０，１７１ 集音機器
１８０，１８１ 機械設備

Claims (9)

  1. 診断時に診断対象の機械設備の稼動音を入力して、異常音の有無を判定する異常音検知装置であって、
    前記診断時の前の第１学習時に、前記機械設備の第１学習対象の稼働音である正常稼動音を入力して、入力した前記正常稼働音を示す振幅スペクトログラムを作成し、教師なし非負値行列因子分解を実行して、前記振幅スペクトログラムを正常音基底スペクトルに分解して当該正常音基底スペクトルを第１のデータベースへ登録する第１の学習部と、
    前記診断時に入力した前記稼働音を示す音響信号に対して、前記第１学習時に前記第１の学習部によって前記第１のデータベースに登録された前記正常音基底スペクトルである前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する新規音・新規振動抽出部と、
    前記診断時の前であり、且つ、前記第１学習時の後の第２学習時に、前記機械設備の第２学習対象の稼働音である正常稼動音を前記新規音・新規振動抽出部に入力して、前記新規音・新規振動抽出部に、前記第１の学習部によって前記第１のデータベースに登録された前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行させて、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として抽出させて、抽出させた前記新規音・新規振動成分より正常音モデルを学習して、学習した前記正常音モデルを第２のデータベースへ登録する第２の学習部と、
    前記診断時に前記新規音・新規振動抽出部によって前記機械設備の前記音響信号より抽出した新規音・新規振動成分が、前記第２学習時に前記第２の学習部によって前記第２のデータベースに登録された前記正常音モデルである登録済み正常音モデルから生成される確率を算出する異常検知部と、
    を備えたことを特徴とする異常音検知装置。
  2. 前記新規音・新規振動抽出部は、前記診断時において、前記診断対象の前記機械設備から入力した前記音響信号を振幅スペクトログラムXに変換して、前記第１のデータベースに登録されている前記登録済み正常音基底スペクトルである正常音基底スペクトルＨを教師データとする教師あり非負値行列因子分解を実行して、正常音音源のアクティベーションW、新規音・新規振動成分Ｒを計算し、
    数式(１)に定義される行列W、H、Rが全て非負値行列であり、数式X＝WH＋Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数ｋだけ、行列W、Rを反復計算して得られた新規音・新規振動Rｋを前記新規音・新規振動成分として出力することを特徴とする請求項１に記載の異常音検知装置。
    Figure 0007149197000014
  3. 前記新規音・新規振動抽出部は、前記診断時において、数式(１)に定義される行列W、H、Rが全て非負値行列であり、数式X＝WH＋Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数ｋだけ、行列W、Rに加えて、行列Hも反復計算して、前記新規音・新規振動Rｋを出力すると共に、前記所定の反復回数ｋ回の前記反復計算の結果として得られる前記行列HであるH k により、前記第１データベースに登録されている前記登録済み正常音基底スペクトルを更新することを特徴とする請求項２に記載の異常音検知装置。
  4. 前記新規音・新規振動抽出部は、数式(１)に定義される行列W、H、Rが全て非負値行列であり、数式X＝WH＋Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数ｋだけ、行列W、Rに加えて、行列Hも反復計算するに際して、Hkの更新の大きさを制限して学習時の正常音基底スペクトルHと近づけるような制約をかけることを特徴とする請求項３に記載の異常音検知装置。
  5. 前記新規音・新規振動抽出部によって実行される前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する新規音・新規振動抽出方法以外の他の新規音・新規振動抽出方法であって、入力した前記稼働音を示す音響信号から新規音・新規振動成分を抽出する前記他の新規音・新規振動抽出方法を実行することが可能な他の新規音・新規振動抽出部と、
    前記診断時の前の他の学習時に、前記機械設備の他の学習対象の稼働音である正常稼動音を前記他の新規音・新規振動抽出部に入力して、前記他の新規音・新規振動抽出部に、前記他の新規音・新規振動抽出方法を実行させて、前記他の正常稼働音から新規音・新規振動成分を抽出させて、抽出させた前記新規音・新規振動成分より他の正常音モデルを学習して、学習した前記他の正常音モデルを他のデータベースへ登録する他の学習部と、
    を更に備え、
    前記異常検知部は、前記診断時に前記新規音・新規振動抽出部によって抽出された前記新規音・新規振動成分のSN比を、前記診断時に前記新規音・新規振動抽出部によって抽出された新規音・新規振動成分及び入力した前記音響信号に基づいて計算し、
    前記異常検知部は、
    計算した前記SN比が、所定の閾値未満である場合に限って、前記第２学習時に前記第２の学習部によって前記第２のデータベースに登録された前記正常音モデルである前記登録済み正常音モデルから生成される前記確率を算出し、
    前記異常検知部は、
    計算した前記SN比が、所定の閾値以上である場合、前記他の新規音・新規振動抽出部に前記診断時に入力した前記稼働音を示す音響信号から新規音・新規振動成分を抽出させ、前記他の新規音・新規振動抽出部に抽出させた前記新規音・新規振動成分が、前記他の学習時に前記他の学習部によって前記他のデータベースに登録された前記他の正常音モデルである登録済み他の正常音モデルから生成される確率を算出することを特徴とする請求項１に記載の異常音検知装置。
  6. 診断時に診断対象の機械設備の稼動音を入力して、異常音の有無を判定する異常音検知装置であって、
    前記診断時の前の第１学習時に、前記機械設備の第１学習対象の稼働音である正常稼動音を入力して、入力した前記正常稼働音を示す振幅スペクトログラムを作成し、教師なし非負値行列因子分解を実行して、前記振幅スペクトログラムを正常音基底スペクトルに分解して当該正常音基底スペクトルを第１のデータベースへ登録する第１の学習部と、
    前記診断時に入力した前記稼働音を示す音響信号に対して、前記第１学習時に前記第１の学習部によって前記第１のデータベースに登録された前記正常音基底スペクトルである前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する第１の新規音・新規振動抽出部と、
    前記診断時の前であり、且つ、前記第１学習時の後の第２学習時に、前記機械設備の第２学習対象の稼働音である正常稼動音を前記第１の新規音・新規振動抽出部に入力して、前記第１の新規音・新規振動抽出部に、前記第１の学習部によって前記第１のデータベースに登録された前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行させて、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として抽出させて、抽出させた前記新規音・新規振動成分より第１正常音モデルを学習して、学習した前記第１正常音モデルを第２のデータベースへ登録する第２の学習部と、
    前記診断時の前の第３学習時に、前記機械設備の第３学習対象の稼働音である正常稼動音を入力して、入力した前記正常稼働音を示す振幅スペクトログラムを作成し、教師なし非負値行列因子分解を実行して、前記振幅スペクトログラムを正常音基底スペクトルに分解して当該正常音基底スペクトルを第３のデータベースへ登録する第３の学習部と、
    前記診断時に入力した前記稼働音を示す音響信号に対して、前記第３学習時に前記第３の学習部によって前記第３のデータベースに登録された前記正常音基底スペクトルである登録済み更新可能正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み更新可能正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力すると共に新たな正常音基底スペクトルを計算し、計算した新たな正常音基底スペクトルにより前記登録済み更新可能正常音基底スペクトルを更新する第２の新規音・新規振動抽出部と、
    前記診断時の前であり、且つ、前記第３学習時の後の第４学習時に、前記機械設備の第４学習対象の稼働音である正常稼動音を前記第２の新規音・新規振動抽出部に入力して、前記第２の新規音・新規振動抽出部に、前記第３の学習部によって前記第３のデータベースに登録された前記登録済み更新可能正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行させて、前記登録済み更新可能正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として抽出させて、抽出させた前記新規音・新規振動成分より第２正常音モデルを学習して、学習した前記第２正常音モデルを第４のデータベースへ登録する第４の学習部と、
    前記診断時に前記第１の新規音・新規振動抽出部によって前記機械設備の前記音響信号より抽出した新規音・新規振動成分が、前記第２学習時に前記第２の学習部によって前記第２のデータベースに登録された前記第１正常音モデルである登録済み第１正常音モデルから生成される第１確率と、前記診断時に前記第２の新規音・新規振動抽出部によって前記機械設備の前記音響信号より抽出した新規音・新規振動成分が、前記第４学習時に前記第４の学習部によって前記第４のデータベースに登録された前記第２正常音モデルである登録済み第２正常音モデルから生成される第２確率と、を算出して、算出した前記第１確率及び前記第２確率の平均値を算出することを特徴とする異常音検知装置。
  7. 前記診断時に診断対象の機械設備の稼動音を集音機器で入力して、計算機が異常音の有無を判定する異常音検知方法であって、
    計算機が、
    前記診断時の前の第１学習時に、前記機械設備の第１学習対象の稼働音である正常稼動音を入力して、入力した前記正常稼働音を示す振幅スペクトログラムを作成し、教師なし非負値行列因子分解を実行して、前記振幅スペクトログラムを正常音基底スペクトルに分解して当該正常音基底スペクトルを第１のデータベースへ登録する第１の工程と、
    前記診断時に入力した前記稼働音を示す音響信号に対して、前記第１学習時に前記第１の工程によって前記第１のデータベースに登録された前記正常音基底スペクトルである前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行して、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として出力する第２の工程と、
    前記診断時の前であり、且つ、前記第１学習時の後の第２学習時に、前記機械設備の第２学習対象の稼働音である正常稼動音を入力して、前記第１の工程によって前記第１のデータベースに登録された前記登録済み正常音基底スペクトルを教師データとする教師あり非負値行列因子分解を実行し、前記登録済み正常音基底スペクトルで低ランク近似できない非負の行列を新規音・新規振動成分として抽出し、抽出した前記新規音・新規振動成分より正常音モデルを学習して、学習した前記正常音モデルを第２のデータベースへ登録する第３の工程と、
    前記診断時に前記第２の工程によって前記機械設備の前記音響信号より抽出した新規音・新規振動成分が、前記第２学習時に前記第３の工程によって前記第２のデータベースに登録された前記正常音モデルである登録済み正常音モデルから生成される確率を算出する第４の工程と、
    を有することを特徴とする異常音検知方法。
  8. 計算機が、前記新規音・新規振動成分として出力する前記第２の工程において、
    前記診断時において、前記診断対象の前記機械設備から入力した前記音響信号を振幅スペクトログラムXに変換して、前記第１のデータベースに登録されている前記登録済み正常音基底スペクトルである正常音基底スペクトルＨを教師データとする教師あり非負値行列因子分解を実行して、正常音音源のアクティベーションW、新規音・新規振動成分Ｒを計算し、
    数式(１)に定義される行列W、H、Rが全て非負値行列であり、数式X＝WH＋Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数ｋだけ、行列W、Rを反復計算して得られた新規音・新規振動Rｋを前記新規音・新規振動成分として出力することを特徴とする請求項７に記載の異常音検知方法。
    Figure 0007149197000015
  9. 計算機が、前記新規音・新規振動成分として出力する前記第２の工程において、
    前記診断時において、数式(１)に定義される行列W、H、Rが全て非負値行列であり、数式X＝WH＋Rを満たす条件において、フロベニウスノルム ||R||F が最小となるように、所定の反復回数ｋだけ、行列W、Rに加えて、行列Hも反復計算して、前記新規音・新規振動Rｋを出力すると共に、前記所定の反復回数ｋ回の前記反復計算の結果として得られる前記行列HであるH k により、前記第１データベースに登録されている前記登録済み正常音基底スペクトルを更新することを特徴とする請求項８に記載の異常音検知方法。
JP2019019876A 2019-02-06 2019-02-06 異常音検知装置および異常音検知方法 Active JP7149197B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019019876A JP7149197B2 (ja) 2019-02-06 2019-02-06 異常音検知装置および異常音検知方法
US16/565,820 US10832698B2 (en) 2019-02-06 2019-09-10 Abnormal sound detection device and abnormal sound detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019019876A JP7149197B2 (ja) 2019-02-06 2019-02-06 異常音検知装置および異常音検知方法

Publications (2)

Publication Number Publication Date
JP2020126021A JP2020126021A (ja) 2020-08-20
JP7149197B2 true JP7149197B2 (ja) 2022-10-06

Family

ID=71837817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019019876A Active JP7149197B2 (ja) 2019-02-06 2019-02-06 異常音検知装置および異常音検知方法

Country Status (2)

Country Link
US (1) US10832698B2 (ja)
JP (1) JP7149197B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220246165A1 (en) * 2019-06-19 2022-08-04 Nippon Telegraph And Telephone Corporation Abnormality estimation device, abnormality estimation method, and program
US11579598B2 (en) * 2019-10-17 2023-02-14 Mitsubishi Electric Research Laboratories, Inc. Manufacturing automation using acoustic separation neural network
CN112669879B (zh) * 2020-12-24 2022-06-03 山东大学 一种基于时频域深度学习算法的空调内机噪声异常检测方法
KR102509699B1 (ko) * 2021-01-14 2023-03-14 서울대학교 산학협력단 사운드 기반 다중 기기 운영 모니터링 방법과 이를 위한 시스템
CN112700437B (zh) * 2021-01-14 2022-04-29 武汉大学 基于分块和低秩先验的发射率域热红外高光谱异常探测方法
WO2022234635A1 (ja) * 2021-05-07 2022-11-10 日本電気株式会社 データ分析装置、データ分析方法、および記録媒体
CN113240022A (zh) * 2021-05-19 2021-08-10 燕山大学 多尺度单分类卷积网络的风电齿轮箱故障检测方法
CN113657221A (zh) * 2021-08-04 2021-11-16 浙江浙能台州第二发电有限责任公司 一种基于智能感知技术的电厂设备状态监测方法
CN113838480B (zh) * 2021-11-26 2022-03-11 青岛海尔工业智能研究院有限公司 一种洗衣机异音检测方法、装置及电子设备
CN114131202B (zh) * 2021-12-30 2022-09-20 华中科技大学 激光-电弧复合焊时异常声信号的提取方法、系统及装置
CN115762558B (zh) * 2022-11-18 2023-08-01 沃克斯迅达电梯有限公司 自动扶梯生产用性能检测系统及其方法
CN115856628B (zh) * 2023-02-28 2023-06-27 宁波慧声智创科技有限公司 一种基于pso-svm检测模型的微特电机声学质量检测方法
CN117292709B (zh) * 2023-11-23 2024-02-09 中瑞恒（北京）科技有限公司 一种暖通机房异常音频识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058876A (ja) 2006-09-04 2008-03-13 Nippon Telegr & Teleph Corp <Ntt> 音声信号区間推定方法、及びその装置とそのプログラムとその記憶媒体
JP2009128906A (ja) 2007-11-19 2009-06-11 Mitsubishi Electric Research Laboratories Inc 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム
JP2013134331A (ja) 2011-12-26 2013-07-08 Yamaha Corp 音響処理装置
JP2020123229A (ja) 2019-01-31 2020-08-13 株式会社明電舎 異常予兆検出システム、異常予兆検出方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100111499A (ko) * 2009-04-07 2010-10-15 삼성전자주식회사 목적음 추출 장치 및 방법
US20130070928A1 (en) * 2011-09-21 2013-03-21 Daniel P. W. Ellis Methods, systems, and media for mobile audio event recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058876A (ja) 2006-09-04 2008-03-13 Nippon Telegr & Teleph Corp <Ntt> 音声信号区間推定方法、及びその装置とそのプログラムとその記憶媒体
JP2009128906A (ja) 2007-11-19 2009-06-11 Mitsubishi Electric Research Laboratories Inc 音響信号と雑音信号とを含む混成信号の雑音を除去するための方法およびシステム
JP2013134331A (ja) 2011-12-26 2013-07-08 Yamaha Corp 音響処理装置
JP2020123229A (ja) 2019-01-31 2020-08-13 株式会社明電舎 異常予兆検出システム、異常予兆検出方法

Also Published As

Publication number Publication date
JP2020126021A (ja) 2020-08-20
US10832698B2 (en) 2020-11-10
US20200251127A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
JP7149197B2 (ja) 異常音検知装置および異常音検知方法
JP7223839B2 (ja) 異常検出および／または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
Fulcher Feature-based time-series analysis
Michau et al. Fully learnable deep wavelet transform for unsupervised monitoring of high-frequency time series
JP4413915B2 (ja) 異常兆候検出装置および方法
US20170308810A1 (en) Event prediction and object recognition system
US10228994B2 (en) Information processing system, information processing method, and program
JP2018129033A (ja) 人工ニューラルネットワークのクラスに基づく枝刈り
CN106030589A (zh) 使用开源数据的疾病预测系统
US9866954B2 (en) Performance metric based stopping criteria for iterative algorithms
JP6967197B2 (ja) 異常検出装置、異常検出方法及びプログラム
WO2018180197A1 (ja) データ解析装置、データ解析方法およびデータ解析プログラム
WO2020009210A1 (ja) 異常予測システム及び異常予測方法
Arul et al. Data anomaly detection for structural health monitoring of bridges using shapelet transform
JP6850709B2 (ja) 音による診断装置、診断方法、および診断システム
JP5771317B1 (ja) 異常診断装置及び異常診断方法
JP6747447B2 (ja) 信号検知装置、信号検知方法、および信号検知プログラム
WO2016084326A1 (ja) 情報処理システム、情報処理方法、及び、記録媒体
US20220187486A1 (en) Computer system and data processing method
JP2019105871A (ja) 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
JP2020123229A (ja) 異常予兆検出システム、異常予兆検出方法
CN114548254A (zh) 设备故障分类方法、装置、设备及介质
WO2024021108A1 (en) Method and device for predicting service life of rolling bearing and computer readable storage medium
CN114167487B (zh) 一种基于特征波形的地震震级估算方法和装置
US20230105970A1 (en) Systems and methods for time-series forecasting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R150 Certificate of patent or registration of utility model

Ref document number: 7149197

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150