JP6377592B2 - 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム - Google Patents
異常音検出装置、異常音検出学習装置、これらの方法及びプログラム Download PDFInfo
- Publication number
- JP6377592B2 JP6377592B2 JP2015219042A JP2015219042A JP6377592B2 JP 6377592 B2 JP6377592 B2 JP 6377592B2 JP 2015219042 A JP2015219042 A JP 2015219042A JP 2015219042 A JP2015219042 A JP 2015219042A JP 6377592 B2 JP6377592 B2 JP 6377592B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- sudden
- sound
- continuous
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Complex Calculations (AREA)
Description
この方法は、「外れ値検出」としても知られている。
以下、この発明の概要について説明する。この発明では、観測信号を事前に、例えばチャープ音、突発音、持続音等のような音の性質ごとに分離する処理を施した上で統計的手法に基づく異常検知を行う。
Lτ′=-(2ζln ph(f′h,τ′)+2(1-ζ)ln pp(f′p,τ′)) (2)
以下、図面を参照して、異常音検出学習装置及び方法の一実施形態について説明する。異常音検出学習装置は、図1に示すように、周波数領域変換部1、分離部2、音響特徴量抽出部3及びモデル学習部4を例えば備えている。異常音検出学習装置の各部が、図2の各ステップの処理を行うことにより、異常音検出学習方法が実現される。
周波数領域変換部1は、入力された学習データに基づいて周波数領域の信号を生成する(ステップS1)。生成された周波数領域の信号は、分離部2に出力される。
分離部2は、入力された正常動作時の周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する(ステップ2)。分離された2種以上の信号は、音響特徴量抽出部3に出力される。2種以上の信号は、対応する音のスペクトグラムの模様が互いに異なる2種以上の信号である。スペクトログラムの模様とは、周波数強度の時間変化のパターンである。
〔参考文献1〕D. FitzGerald, “HARMONIC/PERCUSSIVE SEPARATION USING MEDIAN FILTERING,” in Proc. of the 13th Int. Conference on Digital Audio Effects, 2010.
〔参考文献2〕N. Ono, et al., “Separation of a monaural audio signal into harmonic percussive components by complementary diffusion on spectrogram,” in Proc. of EUSIPCO, 2008.
定常雑音推定部21は、定常雑音を以下の式で推定する(ステップS21)。
振幅スペクトル推定部22は、メディアンフィルタに基づく分離法を変形し、突発音の振幅スペクトルHω,τ及び持続音の振幅スペクトルPω,τを推定する(ステップS22)。
分離フィルタ設計部23は、突発/持続音分離フィルタを例えば以下の式で設計する(ステップS23)。
分離部24は、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pとを例えば以下の式で求める(ステップS24)。
音響特徴量抽出部3は、分離部2で分離された2種以上の信号のそれぞれについて所定の音響特徴量を抽出する(ステップS3)。この例では、音響特徴量抽出部3は、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pとからそれぞれ音響特徴量fp,τとfh,τを抽出する。ここで、用いる音響特徴量は両者とも共通でもよいし、異なるものでもよい。
モデル学習部4は、抽出された音響特徴量を用いて、2種以上の信号のそれぞれの正常時のモデルを学習する(ステップS4)。
〔参考文献3〕小西貞則, “多変量解析入門, 付録C EM アルゴリズム” pp.294-298, 岩波書店, 2010.
〔参考文献4〕C.M. ビショップ, “パターン認識と機械学習(下) 13 章系列データ” pp.333-347, 丸善出版, 2012.
以下、図面を参照して、異常音検出装置及び方法の一実施形態について説明する。異常音検出装置は、図5に示すように、周波数領域変換部1、分離部2、音響特徴量抽出部3、異常度計算部5、統合異常度計算部7及び異常判定部6を例えば備えている。異常音検出装置の各部が、図6の各ステップの処理を行うことにより、異常音検出方法が実現される。
周波数領域変換部1は、入力された観測信号に基づいて周波数領域の信号を生成する(ステップA1)。生成された周波数領域の信号は、分離部2に出力される。周波数領域変換部1は、例えば、入力された観測信号から振幅スペクトルXω,τを求める。
分離部2は、入力された周波数領域の信号を対応する音の性質が互いに異なる2種以上の信号に分離する(ステップA2)。分離された2種以上の信号は、音響特徴量抽出部3に出力される。分離部2は、例えば、入力された周波数領域の信号である振幅スペクトルXω,τから、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pを求める。
音響特徴量抽出部3は、分離部2で分離された2種以上の信号のそれぞれについて所定の音響特徴量を抽出する(ステップA3)。抽出された音響特徴量は、異常度計算部5に出力される。この例では、音響特徴量抽出部3は、持続音の振幅スペクトルZω,τ,hと突発音の振幅スペクトルZω,τ,pとからそれぞれ音響特徴量fp,τとfh,τを抽出する。
異常度計算部5は、抽出された音響特徴量及び事前に学習された2種以上の信号のそれぞれの正常時のモデルを用いて2種以上の信号のそれぞれの異常度を計算する(ステップA4)。ここで、ある信号の異常度は、その信号が異常であることを表す指標である。計算された異常度は、統合異常度計算部7に出力される。
統合異常度計算部7は、計算された上記2種以上の信号のそれぞれの異常度を統合した統合異常度を計算する(ステップA6)。
異常判定部6は、計算された統合異常度を用いて入力された周波数領域の信号が異常であるかを判定する(ステップA5)。
異常音検出装置又は異常音検出学習装置における各処理をコンピュータによって実現する場合、異常音検出装置又は異常音検出学習装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、その各処理がコンピュータ上で実現される。
関連文書検索装置及び方法並びにモデル作成装置及び方法において説明した処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
2 分離部
21 定常雑音推定部
22 振幅スペクトル推定部
23 分離フィルタ設計部
24 分離部
3 音響特徴量抽出部
4 モデル学習部
5 異常度計算部
6 異常判定部
7 統合異常度計算部
Claims (7)
- 入力された周波数領域の信号に含まれる定常雑音に由来する信号を推定する推定部と、
入力された周波数領域の信号を、突発音に由来する信号から、上記推定された定常雑音に由来する信号を除いた信号である突発信号と、持続音に由来する信号から、上記推定された定常雑音に由来する信号を除いた信号である持続信号と、に分離する分離部と、
上記突発信号と上記持続信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部と、
ある信号の異常度をその信号が異常であることを表す指標として、上記抽出された音響特徴量及び事前に学習された上記突発信号と上記持続信号のそれぞれの正常時のモデルを用いて上記突発信号と上記持続信号のそれぞれの異常度を計算する異常度計算部と、
上記計算された上記突発信号と上記持続信号のそれぞれの異常度を統合した統合異常度を計算する統合異常度計算部と、
上記計算された統合異常度を用いて上記周波数領域の信号が異常であるかを判定する異常判定部と、
を含む異常音検出装置。 - 請求項1の異常音検出装置において、
上記それぞれの正常時のモデルは、正常信号から分離された突発信号をモデル化した確率分布である突発正常モデルと、正常信号から分離された持続信号をモデル化した確率分布である持続正常モデルであり、
上記突発信号の異常度は、上記突発正常モデルを用いて得られた上記突発信号の出力確率であり、上記持続信号の異常度は、上記持続正常モデルを用いて得られた上記持続信号の出力確率であり、
上記統合異常度計算部は、上記突発信号の出力確率及び上記持続信号の出力確率が低いほど上記統合異常度が高くなるように上記統合異常度を計算する、
異常度検出装置。 - 請求項1又は2の異常音検出装置において、
上記異常判定部は、2個以上の時間区間の周波数領域の信号のそれぞれに基づいて上記計算された統合異常度を用いて上記周波数領域の信号が異常であるかを判定する、
異常音検出装置。 - 入力された周波数領域に含まれる定常雑音に由来する信号を推定する推定部と、
入力された正常動作時の周波数領域の信号から、突発音に由来する信号から、上記推定された定常雑音に由来する信号を除いた信号である突発信号と、持続音に由来する信号から、上記推定された定常雑音に由来する信号を除いた信号である持続信号と、に分離する分離部と、
上記突発信号と上記持続信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出部と、
上記抽出された音響特徴量を用いて、上記突発信号と上記持続信号のそれぞれの正常時のモデルを学習するモデル学習部と、
を含む異常音検出学習装置。 - 推定部が、入力された周波数領域の信号に含まれる定常雑音に由来する信号を推定する推定ステップと、
分離部が、入力された周波数領域の信号を、突発音に由来する信号から、上記推定された定常雑音に由来する信号を除いた信号である突発信号と、持続音に由来する信号から、上記推定された定常雑音に由来する信号を除いた信号である持続信号と、に分離する分離ステップと、
音響特徴量抽出部が、上記突発信号と上記持続信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出ステップと、
異常度計算部が、ある信号の異常度をその信号が異常であることを表す指標として、上記抽出された音響特徴量及び事前に学習された上記突発信号と上記持続信号のそれぞれの正常時のモデルを用いて上記突発信号と上記持続信号のそれぞれの異常度を計算する異常度計算ステップと、
統合異常度計算部が、上記計算された上記突発信号と上記持続信号のそれぞれの異常度を統合した統合異常度を計算する統合異常度計算ステップと、
異常判定部が、上記計算された統合異常度を用いて上記周波数領域の信号が異常であるかを判定する異常判定ステップと、
を含む異常音検出方法。 - 推定部が、入力された周波数領域に含まれる定常雑音に由来する信号を推定する推定ステップと、
分離部が、入力された正常動作時の周波数領域の信号から、突発音に由来する信号から、上記推定された定常雑音に由来する信号を除いた信号である突発信号と、持続音に由来する信号から、上記推定された定常雑音に由来する信号を除いた信号である持続信号と、に分離する分離ステップと、
音響特徴量抽出部が、上記突発信号と上記持続信号のそれぞれについて所定の音響特徴量を抽出する音響特徴量抽出ステップと、
モデル学習部が、上記抽出された音響特徴量を用いて、上記突発信号と上記持続信号のそれぞれの正常時のモデルを学習するモデル学習ステップと、
を含む異常音検出学習方法。 - 請求項1から3の何れかの異常音検出装置又は請求項4の異常音検出学習装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015219042A JP6377592B2 (ja) | 2015-11-09 | 2015-11-09 | 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015219042A JP6377592B2 (ja) | 2015-11-09 | 2015-11-09 | 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017090606A JP2017090606A (ja) | 2017-05-25 |
| JP6377592B2 true JP6377592B2 (ja) | 2018-08-22 |
Family
ID=58770649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015219042A Active JP6377592B2 (ja) | 2015-11-09 | 2015-11-09 | 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6377592B2 (ja) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019012437A1 (en) * | 2017-07-13 | 2019-01-17 | Anand Deshpande | SOUND DEVICE BASED ON MONITORING OF MACHINE USES AND METHOD OF OPERATING SAME |
| JP6943067B2 (ja) * | 2017-08-15 | 2021-09-29 | 日本電信電話株式会社 | 異常音検知装置、異常検知装置、プログラム |
| KR101996489B1 (ko) * | 2017-12-28 | 2019-07-04 | 한국외국어대학교 연구산학협력단 | 자동화 생산 라인의 작업 오류 검출 장치 |
| JP7407382B2 (ja) * | 2018-07-31 | 2024-01-04 | パナソニックIpマネジメント株式会社 | 音データ処理方法、音データ処理装置及びプログラム |
| CN118348951A (zh) * | 2018-08-10 | 2024-07-16 | 日本电信电话株式会社 | 概率分布学习装置、自编码器学习装置、数据变换装置 |
| KR102179040B1 (ko) * | 2018-10-25 | 2020-11-16 | 한국외국어대학교 연구산학협력단 | 딥러닝 기반 표면 실장 부품 조립 장치의 동작 이상 검출 장치 및 방법 |
| US12236969B2 (en) | 2019-06-18 | 2025-02-25 | Lg Electronics Inc. | Method for processing sound used in speech recognition robot |
| JP7231027B2 (ja) * | 2019-06-19 | 2023-03-01 | 日本電信電話株式会社 | 異常度推定装置、異常度推定方法、プログラム |
| JP7385381B2 (ja) * | 2019-06-21 | 2023-11-22 | 株式会社日立製作所 | 異常音検知システム、擬似音生成システム、および擬似音生成方法 |
| WO2021019671A1 (ja) * | 2019-07-30 | 2021-02-04 | 日本電信電話株式会社 | 特徴量抽出装置、異常度推定装置、それらの方法、およびプログラム |
| JP7188598B2 (ja) * | 2019-07-30 | 2022-12-13 | 日本電信電話株式会社 | 異常度推定装置、異常度推定方法、およびプログラム |
| JP7304301B2 (ja) * | 2020-02-04 | 2023-07-06 | 株式会社日立製作所 | 音響診断方法、音響診断システム、及び音響診断プログラム |
| CN113379176B (zh) * | 2020-03-09 | 2023-12-19 | 中国移动通信集团设计院有限公司 | 电信网络异常数据检测方法、装置、设备和可读存储介质 |
| KR102344426B1 (ko) * | 2020-04-20 | 2021-12-27 | 한국외국어대학교 연구산학협력단 | 표면 실장 부품 조립 장비의 작동 오류 검출 장치 |
| CN112233692B (zh) * | 2020-09-28 | 2024-09-10 | 东莞市东纳通信有限公司 | 异音检测方法、装置、电子设备及存储介质 |
| CN112509602B (zh) * | 2020-12-18 | 2025-06-10 | 平安科技(深圳)有限公司 | 一种居家监护方法、装置、设备及存储介质 |
| KR20230049238A (ko) * | 2021-10-06 | 2023-04-13 | 삼성전자주식회사 | 마이크 어레이의 이상 채널 검출 및 보상 신호 생성 방법 및 장치 |
| JP7775034B2 (ja) * | 2021-11-12 | 2025-11-25 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
| CN115103285B (zh) * | 2022-01-25 | 2024-08-13 | 深圳市美格信测控技术有限公司 | 扬声器异常检测方法、装置设备及存储介质 |
| CN115841823A (zh) * | 2022-11-17 | 2023-03-24 | 武汉海微科技有限公司 | 音频设备检测方法、装置、设备及存储介质 |
| CN117454300B (zh) * | 2023-12-21 | 2024-04-05 | 广东美的制冷设备有限公司 | 电机异音检测方法、装置、电子设备及存储介质 |
| CN119626259B (zh) * | 2025-02-14 | 2025-04-11 | 中国科学技术大学 | 一种基于扩散模型的多类机器异常声音检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0844695A (ja) * | 1994-08-02 | 1996-02-16 | Hitachi Zosen Corp | 音源の識別方法 |
| JP2001108518A (ja) * | 1999-08-03 | 2001-04-20 | Mitsui Eng & Shipbuild Co Ltd | 異常検知方法および装置 |
| JP5294300B2 (ja) * | 2008-03-05 | 2013-09-18 | 国立大学法人 東京大学 | 音信号の分離方法 |
| JP2014123011A (ja) * | 2012-12-21 | 2014-07-03 | Sony Corp | 雑音検出装置および方法、並びに、プログラム |
-
2015
- 2015-11-09 JP JP2015219042A patent/JP6377592B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017090606A (ja) | 2017-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6377592B2 (ja) | 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム | |
| CN110352349B (zh) | 异常音检测装置、异常度计算装置、异常音生成装置、异常信号检测装置、及其方法、记录介质 | |
| JP6709277B2 (ja) | 異常音検出装置、異常音検出学習装置、異常音サンプリング装置、これらの方法及びプログラム | |
| CN102473412B (zh) | 语音信号区间估计装置与方法 | |
| Sadjadi et al. | Unsupervised speech activity detection using voicing measures and perceptual spectral flux | |
| US20120185418A1 (en) | System and method for detecting abnormal audio events | |
| CN109643552A (zh) | 用于可变噪声状况中语音增强的鲁棒噪声估计 | |
| JPWO2019220620A1 (ja) | 異常検出装置、異常検出方法及びプログラム | |
| Colangelo et al. | Enhancing audio surveillance with hierarchical recurrent neural networks | |
| JP6301891B2 (ja) | 学習装置、識別装置、その方法、およびプログラム | |
| JP6056527B2 (ja) | 侵入物体検知装置 | |
| JP6404780B2 (ja) | ウィナーフィルタ設計装置、音強調装置、音響特徴量選択装置、これらの方法及びプログラム | |
| Sinha et al. | A deep autoencoder approach to bird call enhancement | |
| WO2013190551A1 (en) | Method of classifying glass break sounds in an audio signal | |
| KR20130085732A (ko) | 음성 존재 확률을 이용한 코드북 기반 음성 향상 방법 및 그 장치 | |
| KR20190020471A (ko) | 음성 존재 구간 판별 장치 및 방법 | |
| Arslan | A new approach to real time impulsive sound detection for surveillance applications | |
| Dov et al. | Voice activity detection in presence of transients using the scattering transform | |
| JP4755555B2 (ja) | 音声信号区間推定方法、及びその装置とそのプログラムとその記憶媒体 | |
| JP4673828B2 (ja) | 音声信号区間推定装置、その方法、そのプログラム及び記録媒体 | |
| KR101124712B1 (ko) | 비음수 행렬 인수분해 기반의 음성 검출 방법 | |
| Yegnanarayana et al. | Analysis of instantaneous f 0 contours from two speakers mixed signal using zero frequency filtering | |
| Chowdhury et al. | A highly non-stationary noise tracking and compensation algorithm, with applications to speech enhancement and on-line ASR | |
| Alias et al. | A novel acoustic fingerprint method for audio signal pattern detection | |
| McCallum et al. | Joint stochastic-deterministic wiener filtering with recursive Bayesian estimation of deterministic speech. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180724 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180725 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6377592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |