JP7445503B2 - 異常音検知装置及びそのプログラム - Google Patents
異常音検知装置及びそのプログラム Download PDFInfo
- Publication number
- JP7445503B2 JP7445503B2 JP2020070171A JP2020070171A JP7445503B2 JP 7445503 B2 JP7445503 B2 JP 7445503B2 JP 2020070171 A JP2020070171 A JP 2020070171A JP 2020070171 A JP2020070171 A JP 2020070171A JP 7445503 B2 JP7445503 B2 JP 7445503B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- audio
- detection means
- abnormal sound
- acoustic feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 151
- 230000002159 abnormal effect Effects 0.000 title claims description 94
- 230000005236 sound signal Effects 0.000 claims description 168
- 238000004364 calculation method Methods 0.000 claims description 44
- 230000003595 spectral effect Effects 0.000 claims description 16
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 11
- 239000006185 dispersion Substances 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 17
- 238000011156 evaluation Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Landscapes
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
また、音声信号レベル検知手段は、音声信号のレベルが適正であるか否かを検知する。
そして、単一周波数信号検知手段は、音声信号に単一周波数信号が含まれるか否かを検知する。
さらに、予測値算出手段は、周波数知覚特性に関する音響特徴量及び音階情報に関する音響特徴量を予め学習した学習モデルを用いて、音声信号に音声歪みが含まれる確率を示す予測値を算出する。
そして、異常音検知手段は、音声信号レベル検知手段、単一周波数信号検知手段及び音声歪み検知手段の検知結果に基づいて、音声信号に異常音が含まれるか否かを検知する。
このように、異常音検知装置は、音声信号のレベルだけでなく、単一周波数信号や音声歪みに起因する異常音も検知することができる。
以下、自動音声モニタ1の構成について詳細に説明する。
図1に示すように、自動音声モニタ1は、音響特徴量算出手段10と、音声信号レベル検知手段20と、単一周波数信号検知手段30と、予測値算出手段40と、音声歪み検知手段50と、異常音検知手段60と、切替制御手段70とを備える。
LVMIN≦LVRMS≦LVMAX …式(1)
Centroid>TH1 and σ2<TH2 …式(2)
音声歪み検知手段50は、予測値算出手段40から入力された予測値に基づいて、音声信号に音声歪みが含まれるか否かを検知するものである。
図3を参照し、予測値算出手段40による学習モデルの生成手法について説明する。
学習モデルは、音響特徴量として、メル周波数スペクトル、メル周波数ケプストラム係数及びクロマグラムを機械学習することで生成したものである。例えば、同一の音源素材から、音声歪みが含まれない正常音声信号と、人為的に発生させた音声歪みが含まれる異常音声信号とを生成する。そして、図3に示すように、正常音声信号及び異常音声信号のそれぞれから、各時刻のメル周波数スペクトル(mel)、メル周波数ケプストラム係数(mfcc)、クロマグラム(chr)を算出し、これら多次元の音響特徴量を学習データとする。
参考文献1:DataRobot、[online]、[令和2年3月24日検索]、インターネット〈URL:https://www.datarobot.com/jp/platform/〉
図4を参照し、予測値算出手段40及び音声歪み検知手段50による音声歪みの検知手法について説明する。
図4(a)に示すように、予測値算出手段40は、音声信号のメル周波数スペクトル、メル周波数ケプストラム係数及びクロマグラムからなる多次元の音響特徴量が入力される。すると、予測値算出手段40は、図4(b)に示すように、各時刻の音響特徴量を学習済みの学習モデルに入力することで、学習モデルから各時刻の予測値を取得する。そして、予測値算出手段40は、予め設定された時間窓だけずらしながら、各時刻の予測値を平均化する。
また、音声歪み検知手段50は、前記した手法を用いて、2系統の音声信号のそれぞれに音声歪みが含まれるか否かを検知する。そして、音声歪み検知手段50は、音声信号の系統毎に音声歪みの検知結果を異常音検知手段60に出力する。
異常音検知手段60は、音声信号レベル検知手段20、単一周波数信号検知手段30及び音声歪み検知手段50から入力された検知結果に基づいて、音声信号に異常音が含まれるか否かを検知するものである。
以下、異常音検知手段60による異常音検知手法の第1例について説明する。
具体的には、異常音検知手段60は、音声信号レベルが不適正な場合、音声信号に単一周波数信号が含まれる場合、又は、音声信号に音声歪みが含まれる場合の何れにおいて、音声信号に異常音が含まれると検知する。つまり、異常音検知手段60は、音声信号レベル検知手段20、単一周波数信号検知手段30及び音声歪み検知手段50から入力された検知結果の何れか一つでも異常“1”の場合、音声信号に異常音が含まれると検知する。
また、異常音検知手段60は、第2例の手法で異常音を検知してもよい。
具体的には、異常音検知手段60は、音声信号レベル検知手段20、単一周波数信号検知手段30及び音声歪み検知手段50から入力された検知結果の多数決により、音声信号に異常音が含まれるか否かを検知する。つまり、異常音検知手段60は、正常“0”と異常“1”との検知結果数とを比較し、正常“0”が異常“1”の検知結果数を超える場合、音声信号に異常音が含まれないと検知する。一方、異常音検知手段60は、異常“1”が正常“0”の検知結果数を超える場合、音声信号に異常音が含まれると検知する。
図5を参照し、自動音声モニタ1の動作について説明する。なお、図5では、学習モデルが既に生成されていることとする。
図5に示すように、ステップS1において、音響特徴量算出手段10は、音声信号の音響特徴量(メル周波数スペクトル、メル周波数ケプストラム係数、クロマグラム、二乗平均平方根、スペクトル重心)を算出する。
ステップS3において、単一周波数信号検知手段30は、ステップS1で算出したスペクトル重心に基づいて、音声信号に単一周波数信号が含まれるか否かを検知する。
ステップS5において、音声歪み検知手段50は、ステップS4で算出した予測値に基づいて、音声信号に音声歪みが含まれるか否かを検知する。
ここで、音声信号に異常音が含まれる場合(ステップS6でYes)、自動音声モニタ1は、ステップS7の処理に進む。
一方、音声信号に異常音が含まれない場合(ステップS6でNo)、自動音声モニタ1は、ステップS8の処理に進む。
ここで、処理を終了しない場合(ステップS8でNo)、自動音声モニタ1は、ステップS1の処理に戻る。
自動音声モニタ1は、ラジオ放送の際、音声信号に含まれる様々な異常音を検知し、異常音が含まれない系統の音声信号に切り替えることができる。すなわち、自動音声モニタ1は、2系統の音声信号のそれぞれに対し、レベルの検知、単一周波数信号の検知、音声歪みの検知を行い、正常な系統の音声信号に切り替えることができる。
前記した実施形態では、音声信号が2系統であることとして説明したが、これに限定されない。例えば、自動音声モニタは、1系統の音声信号に含まれる異常音を検知してもよい。
予測値算出手段40の学習モデルに検証データを入力し、その検知結果を評価した。この検証データには、学習に使用していない評価用テストデータを使用した。また、検証データには、約1分48秒の音声データから抽出した、正常音データ数5420個、異常音(歪み音)データ数3780個、計9290個を用いた。そして、学習モデルから出力される予測値と設定値との比較を行った。
10 音響特徴量算出手段
20 音声信号レベル検知手段
30 単一周波数信号検知手段
40 予測値算出手段
50 音声歪み検知手段
60 異常音検知手段
70 切替制御手段
Claims (5)
- 音声信号に含まれる異常音を検知する異常音検知装置であって、
前記音声信号から、周波数知覚特性に関する音響特徴量と音階情報に関する音響特徴量とを算出する音響特徴量算出手段と、
前記音声信号のレベルが適正であるか否かを検知する音声信号レベル検知手段と、
前記音声信号に単一周波数信号が含まれるか否かを検知する単一周波数信号検知手段と、
前記周波数知覚特性に関する音響特徴量及び前記音階情報に関する音響特徴量を予め学習した学習モデルを用いて、前記音声信号に音声歪みが含まれる確率を示す予測値を算出する予測値算出手段と、
前記予測値算出手段が算出した予測値に基づいて、前記音声信号に前記音声歪みが含まれるか否かを検知する音声歪み検知手段と、
前記音声信号レベル検知手段、前記単一周波数信号検知手段及び前記音声歪み検知手段の検知結果に基づいて、前記音声信号に前記異常音が含まれるか否かを検知する異常音検知手段と、
を備えることを特徴とする異常音検知装置。 - 前記音響特徴量算出手段は、
前記周波数知覚特性に関する音響特徴量として、前記音声信号からメル周波数スペクトル及びメル周波数ケプストラム係数を算出し、
前記音階情報に関する音響特徴量として、前記音声信号からクロマグラムを算出し、
前記音声信号のレベルの二乗平均平方根と、前記音声信号のスペクトル重心とをさらに算出し、
前記音声信号レベル検知手段は、
前記音声信号のレベルの二乗平均平方根が予め設定された適正レベルの範囲内であるか否かを検知し、
前記単一周波数信号検知手段は、
前記音声信号のスペクトル重心が予め設定された第1閾値を超え、かつ、前記音声信号のスペクトル重心の分散が予め設定された第2閾値未満の場合、前記音声信号に前記単一周波数信号が含まれると検知し、
前記予測値算出手段は、
前記メル周波数スペクトル、前記メル周波数ケプストラム係数及び前記クロマグラムを予め学習した前記学習モデルを用いることを特徴とする請求項1に記載の異常音検知装置。 - 前記異常音検知手段は、前記音声信号のレベルが不適正な場合、前記音声信号に前記単一周波数信号が含まれる場合、又は、前記音声信号に前記音声歪みが含まれる場合の何れかにおいて、前記音声信号に前記異常音が含まれると検知することを特徴とする請求項1又は請求項2に記載の異常音検知装置。
- 前記音響特徴量算出手段は、2系統の前記音声信号が入力され、入力された各系統の前記音声信号から、前記周波数知覚特性に関する音響特徴量と前記音階情報に関する音響特徴量とを算出し、
前記音声信号レベル検知手段は、各系統の前記音声信号のレベルが適正であるか否かを検知し、
前記単一周波数信号検知手段は、各系統の前記音声信号に前記単一周波数信号が含まれるか否かを検知し、
前記予測値算出手段は、前記学習モデルを用いて、各系統の前記音声信号から前記予測値を算出し、
前記音声歪み検知手段は、各系統の前記音声信号に前記音声歪みが含まれるか否かを検知し、
前記異常音検知手段は、各系統の前記音声信号に前記異常音が含まれるか否かを検知し、
前記異常音検知手段の検知結果に基づいて、2系統の前記音声信号の切り替え制御を行う切替制御手段、をさらに備えることを特徴とする請求項1から請求項3の何れか一項に記載の異常音検知装置。 - コンピュータを、請求項1から請求項4の何れか一項に記載の異常音検知装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020070171A JP7445503B2 (ja) | 2020-04-09 | 2020-04-09 | 異常音検知装置及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020070171A JP7445503B2 (ja) | 2020-04-09 | 2020-04-09 | 異常音検知装置及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021167853A JP2021167853A (ja) | 2021-10-21 |
JP7445503B2 true JP7445503B2 (ja) | 2024-03-07 |
Family
ID=78079708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020070171A Active JP7445503B2 (ja) | 2020-04-09 | 2020-04-09 | 異常音検知装置及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7445503B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114719961B (zh) * | 2022-04-12 | 2024-05-31 | 树根互联股份有限公司 | 机器异响识别方法、装置、计算机设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008079164A (ja) | 2006-09-22 | 2008-04-03 | Dentsu Tec Inc | 音声映像データ検査装置 |
JP2011147127A (ja) | 2009-12-29 | 2011-07-28 | Gn Resound As | 音響システムにおけるホイッスリングの検出方法 |
US20120185418A1 (en) | 2009-04-24 | 2012-07-19 | Thales | System and method for detecting abnormal audio events |
JP2018141854A (ja) | 2017-02-27 | 2018-09-13 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
JP2020036265A (ja) | 2018-08-31 | 2020-03-05 | 株式会社タムラ製作所 | 音声通信システム |
-
2020
- 2020-04-09 JP JP2020070171A patent/JP7445503B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008079164A (ja) | 2006-09-22 | 2008-04-03 | Dentsu Tec Inc | 音声映像データ検査装置 |
US20120185418A1 (en) | 2009-04-24 | 2012-07-19 | Thales | System and method for detecting abnormal audio events |
JP2011147127A (ja) | 2009-12-29 | 2011-07-28 | Gn Resound As | 音響システムにおけるホイッスリングの検出方法 |
JP2018141854A (ja) | 2017-02-27 | 2018-09-13 | ヤマハ株式会社 | 情報処理方法および情報処理装置 |
JP2020036265A (ja) | 2018-08-31 | 2020-03-05 | 株式会社タムラ製作所 | 音声通信システム |
Non-Patent Citations (2)
Title |
---|
NARONGLERDRIT, Prasitthichai et al.,"Monitoring of Indoors Human Activities using Mobile Phone Audio Recordings",Proc. of the IEEE 13th International Colloquium on Signal Processing & its Applications,2017年03月10日,pp.23-28 |
伊藤彰則,"環境音から異常を検知する統計的手法",日本音響学会誌,2019年09月01日,Vol.75, No.9,pp.538-543 |
Also Published As
Publication number | Publication date |
---|---|
JP2021167853A (ja) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220093111A1 (en) | Analysing speech signals | |
JP6921907B2 (ja) | オーディオ分類および処理のための装置および方法 | |
JP6896135B2 (ja) | ボリューム平準化器コントローラおよび制御方法 | |
Avila et al. | Non-intrusive speech quality assessment using neural networks | |
JP7397066B2 (ja) | オーディオ分類を介した動的な音量調整のための方法、コンピュータ可読記憶媒体及び装置 | |
JP6325640B2 (ja) | 等化器コントローラおよび制御方法 | |
US9025781B2 (en) | Sound quality evaluation apparatus and method thereof | |
US20200227071A1 (en) | Analysing speech signals | |
CN106575511B (zh) | 用于估计背景噪声的方法和背景噪声估计器 | |
CN113259832B (zh) | 麦克风阵列的检测方法、装置、电子设备及存储介质 | |
JP7445503B2 (ja) | 異常音検知装置及びそのプログラム | |
CN105336344A (zh) | 杂音检测方法和装置 | |
EP3836140A1 (en) | Electronic apparatus and controlling method thereof | |
EP3764331A1 (en) | Audio alert audibility estimation method and system | |
US11074917B2 (en) | Speaker identification | |
US8255178B2 (en) | Method for detecting statuses of components of semiconductor equipment and associated apparatus | |
US20220165289A1 (en) | Methods and systems for processing recorded audio content to enhance speech | |
JP4275054B2 (ja) | 音声信号判別装置、音質調整装置、放送受信機、プログラム、及び記録媒体 | |
CN113473108A (zh) | 数据处理方法及系统、电子设备、智能音箱及声音输出设备 | |
CN114095829B (zh) | 具有hdmi接口的音响一体化的控制方法及控制装置 | |
Zaunschirm et al. | Audio quality: comparison of peaq and formal listening test results | |
JP2006148609A (ja) | 音質調整装置、放送受信機、プログラム、及び記録媒体 | |
CN108595144B (zh) | 音量调节方法及装置 | |
WO2020084680A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
CN115665628A (zh) | 扬声器检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7445503 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |