JP7422219B2 - 風ノイズの検出 - Google Patents

風ノイズの検出 Download PDF

Info

Publication number
JP7422219B2
JP7422219B2 JP2022514715A JP2022514715A JP7422219B2 JP 7422219 B2 JP7422219 B2 JP 7422219B2 JP 2022514715 A JP2022514715 A JP 2022514715A JP 2022514715 A JP2022514715 A JP 2022514715A JP 7422219 B2 JP7422219 B2 JP 7422219B2
Authority
JP
Japan
Prior art keywords
microphone
wind noise
power
beamforming
signal power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022514715A
Other languages
English (en)
Other versions
JP2022547493A (ja
Inventor
フッツネン,アヌ
ニエミスト,リイッタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022547493A publication Critical patent/JP2022547493A/ja
Application granted granted Critical
Publication of JP7422219B2 publication Critical patent/JP7422219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Description

本開示の態様は、概括的に、風ノイズの検出に関し、さらに詳細には、複数のマイクロホンを使用するヘッドセットなどのデバイスにおける風ノイズの検出に関する。
風の強い条件で、戸外でヘッドセット又は任意のモバイルデバイスを使用すると、風ノイズがマイクロホン信号を破損する可能性がある。また、ユーザが速く動いている場合に、例えば、走る、歩く、又は自転車で走る場合に、風ノイズを誘発する可能性がある。風ノイズは、これらのタイプのデバイスの電話通話、聴覚、又は増強された聴覚の機能に負の影響を及ぼす可能性がある。
複数のマイクロホンを有するデバイスでは、信号対ノイズ比(SNR)を高めるために、ビーム形成が使用されてよい。しかし、ビーム形成信号では、風ノイズは一層大きくなる。異なるマイクロホン信号の間には、それらがマイクロホンアレイに到達する方向に依存して、特定の位相差と振幅差とがある。風ノイズの最中に、マイクロホン信号の位相差と振幅差とは、想定された関係を持たない。最悪の場合のシナリオでは、マイクロホン信号は、風ノイズの最中に加算され、その結果、マイクロホン信号と比較してビーム形成信号に2倍の風ノイズが生じる可能性がある。また、ユーザがマイクロホン又はマイクロホンの孔に触れたときのようなハンドリングノイズは、風ノイズと同様の方法で加算される可能性がある。
風ノイズを検出する方法はいくつかある。例えば、低周波数での高出力は、風ノイズを示すことができる。マイクロホン信号を互いに減算することができ、大きな差であれば風ノイズを示すことができる。さらに、マイクロホン信号の差と和との比を計算し、その結果を閾値と比較することにより、風ノイズが検出できる。しかし、これらの対策は誤りを起こしやすく、誤検出につながりやすい。
従って、上記で特定された問題の少なくとも一部に対処する方式で、風ノイズが検出できることが望ましい。
開示される実施形態の目的は、ヘッドセット又はモバイル通信デバイスのような装置における風検出を提供することである。この目的は、独立請求項の主題事項によって解決される。それ以上の有利な変形は、従属請求項に見出すことができる。
第1の態様によれば、上記及び追加の目的及び利点は、プロセッサを含む装置によって達成される。一実施形態では、プロセッサは、装置の少なくとも1つのマイクロホンのマイクロホン信号の電力を決定し;装置の少なくとも2つのマイクロホンのビーム形成信号の電力をモニタし;マイクロホン信号電力をビーム形成信号電力と比較し;比較に基づいて、装置のマイクロホン信号の中に風ノイズを検出するように構成されている。開示される実施形態の態様は、風ノイズを確実に検出し、誤検出を低減する。この方法は、計算上効率的であり、モバイル通信デバイス又はヘッドセットのような装置内の他の処理と組み合わせることが容易である。
装置の可能な実施の形態では、プロセッサは、ビーム形成信号電力に対するマイクロホン信号電力の比を計算することによって、マイクロホン信号電力をビーム形成信号の電力と比較し;計算された比に基づいて、風ノイズを検出するように、さらに構成されている。開示される実施形態の態様は、マイクロホン信号電力とビーム形成信号電力との間の電力比から風ノイズを確実に検出する。このプロセスは計算上効率的である。
装置の可能な実施の形態では、プロセッサは、計算された比が所定の閾値よりも小さい場合に、風ノイズを検出するように、さらに構成されている。開示される実施形態の態様は、マイクロホン信号電力とビーム形成信号電力との間の電力比から風ノイズを確実に検出する。この比は、目標方向から来る音に対して1であってよく、周囲ノイズに対して1よりも大きくてよく、風ノイズに対して1よりも小さくてよい。
装置の可能な実施の形態では、プロセッサは、風ノイズが検出された場合に、少なくとも2つのマイクロホンのビーム形成をオフに切り替え;一層のオーディオ信号処理のために、少なくとも2つのマイクロホンのうち、最小の量の風ノイズが検出されたマイクロホンを選択するように、さらに構成されている。一旦風ノイズが検出されると、ビーム形成をオフに切り替え、単一のマイクロホン処理のみを使用して、風ノイズが低減できる。風ノイズが最小の量であるマイクロホンが選択される。
装置の可能な実施の形態では、プロセッサは、風ノイズが検出された場合に、少なくとも2つのマイクロホンのビーム形成をオフに切り替え;一層のオーディオ信号処理のために、少なくとも2つのマイクロホンのうちマイクロホンを選択するように、さらに構成されている。一旦風ノイズが検出されると、ビーム形成をオフに切り替え、単一のマイクロホン処理のみを使用して、風ノイズ干渉が低減できる。1つのマイクロホン、例えば、他のマイクロホンよりも口に近いマイクロホンを選択してよい。
装置の可能な実施の形態では、プロセッサは、少なくとも2つのマイクロホンのうちの少なくとも1つの他のマイクロホン信号電力をビーム形成信号電力と比較し、比較に基づいて風ノイズを検出するように、さらに構成されている。装置の1つよりも多いマイクロホンをモニタすることにより、検出が強化される。2つよりも多いマイクロホンがあってよく、マイクロホン数の上限はない。
装置の可能な実施の形態では、プロセッサは、周波数帯域にわたり、マイクロホン信号電力とビーム形成信号電力との比を計算するように、さらに構成されている。風検出は、周波数帯域にわたり、マイクロホン信号電力対ビーム電力比を計算することで強化される。
装置の可能な実施の形態では、プロセッサは、複数の周波数帯域にわたり、ビーム形成信号電力に対するマイクロホン信号電力の比を計算し、所定の閾値と比較するために、複数の周波数帯域にわたり、計算された電力の比の最小値を選択するように、さらに構成されている。風ノイズの検出は、周波数帯域にわたり、信号対ビーム電力比を計算し、これらの帯域にわたり、最小値を選択することによって強化される。
装置の可能な実施の形態では、プロセッサは、計算された電力比を経時的に平均化するように、さらに構成されている。また、風ノイズの検出は、周波数帯域にわたり、電力比又は電力比の最小値を経時的に平均化することによって強化できる。
装置の可能な実施の形態では、プロセッサは、周囲ノイズレベルNを決定するように、さらに構成されている。周囲ノイズレベルが所定の閾値よりも小さい場合に、プロセッサは、風ノイズの検出をバイパスするように構成されている。
装置の可能な実施の形態では、装置は、少なくとも2つのマイクロホンを備えている。
装置の可能な実施の形態では、装置はモバイル通信デバイスである。
装置の可能な実施の形態では、装置はオーディオ信号処理デバイスである。
装置の可能な実施の形態では、装置は、少なくとも2つのマイクロホンを含むヘッドセットである。
装置の可能な実施の形態では、装置は少なくとも2つのマイクロホンを含むスマートウォッチである。
装置の可能な実施の形態では、装置は少なくとも2つのマイクロホンを含むウェアラブルである。
第2の態様によれば、上記及び追加の目的及び利点は、装置のマイクロホン信号の中に風ノイズを検出する方法によって達成される。一実施形態では、装置の少なくとも1つのマイクロホンのマイクロホン信号の電力を決定するステップと;装置の少なくとも2つのマイクロホンのビーム形成信号の電力を決定するステップと;マイクロホン信号電力をビーム形成信号電力と比較するステップと;比較に基づいて、装置のマイクロホン信号の中に風ノイズを検出するステップとを備えている。開示される実施形態の態様は、風ノイズを確実に検出し、誤検出を低減する。この方法は、計算上効率的であり、モバイル通信デバイス又はヘッドセットのような装置内の他の処理と組み合わせることが容易である。
方法の可能な実施の形態では、方法は、ビーム形成信号電力に対するマイクロホン信号電力の比を計算することによって、マイクロホン信号の電力をビーム形成信号電力と比較するステップと;計算された比に基づいて、マイクロホン信号の中に風ノイズを検出するステップとを、さらに備えている。開示される実施形態の態様は、マイクロホン信号電力とビーム形成信号電力との間の電力比から風ノイズを確実に検出する。このプロセスは計算上効率的である。
方法の可能な実施の形態では、方法は、計算された比が所定の閾値よりも小さい場合に、風ノイズを検出するステップを、さらに備えている。風ノイズは、信号対ビーム電力比が一層低い閾値よりも小さい場合に、検出され、検出は、信号対ビーム電力比が一層高い閾値よりも大きい場合にのみ、解除される。閾値の設定は、製品に依存して、また、マイクロホン位置、ビーム設計、及び他のパラメータ値などの特徴に依存して、異なってよい。
方法の可能な実施の形態では、方法は、風ノイズが検出された場合に、少なくとも2つのマイクロホンのビーム形成をオフに切り替えるステップと;一層のオーディオ信号処理のために、少なくとも2つのマイクロホンのうち、最小の量の風ノイズが検出されたマイクロホンを選択するステップとを、さらに備えている。一旦風ノイズが検出されると、ビーム形成をオフに切り替え、単一のマイクロホン処理のみを使用して、風ノイズが低減できる。風ノイズが最小の量であるマイクロホンが選択される。
方法の可能な実施の形態では、方法は、風ノイズが検出された場合に、少なくとも2つのマイクロホンのビーム形成をオフに切り替えるステップと;一層のオーディオ信号処理のために、少なくとも2つのマイクロホンのうちマイクロホンを選択するステップとを、備えている。一旦風ノイズが検出されると、ビーム形成をオフに切り替え、単一のマイクロホン処理のみを使用して、風ノイズが低減できる。1つのマイクロホン、例えば、他のマイクロホンよりも口に近いマイクロホンを選択してよい。
方法の可能な実施の形態では、方法は、装置の少なくとも1つのマイクロホンのうちの他の1つのマイクロホン信号電力とビーム形成信号電力とを比較するステップと、比較に基づいて風ノイズを検出するステップとをさらに含む。装置の1つよりも多いマイクロホンをモニタすることにより、検出が強化される。2つよりも多いマイクロホンがあってよく、マイクロホン数の上限はない。
方法の可能な実施の形態では、比較するステップは、周波数帯域にわたり、マイクロホン信号電力とビーム形成信号電力との比を計算することをさらに含む。風検出は、周波数帯域にわたり、マイクロホン信号電力対ビーム電力比を計算することで強化される。
方法の可能な実施の形態では、比較するステップは、複数の周波数帯域にわたり、ビーム形成信号電力に対するマイクロホン信号電力の比を計算することと;複数の周波数帯域にわたり、計算された電力の比の最小値を選択することと;風ノイズを決定するために、選択された最小値を所定の閾値と比較することとをさらに含む。風ノイズの検出は、周波数帯域にわたり、信号対ビーム電力比を計算し、これらの帯域にわたり、最小値を選択することによって強化される。
方法の可能な実施の形態では、計算された電力比は経時的に平均化される。また、風ノイズの検出は、周波数帯域にわたり、電力比又は電力比の最小値を経時的に平均化することによって強化できる。
方法の可能な実施の形態では、方法は、周囲ノイズレベルNを決定するステップを含む。周囲ノイズレベルが所定の閾値よりも小さい場合に、風ノイズの検出はバイパスされる。
方法の可能な実施の形態では、装置は、少なくとも2つのマイクロホンを備えている。
方法の可能な実施の形態では、装置はモバイル通信デバイスである。
方法の可能な実施の形態では、装置はオーディオ信号処理デバイスである。
方法の可能な実施の形態では、装置は、少なくとも2つのマイクロホンを含むヘッドセットである。
方法の可能な実施の形態では、装置は少なくとも2つのマイクロホンを含むスマートウォッチである。
方法の可能な実施の形態では、装置は少なくとも2つのマイクロホンを含むウェアラブルである。
例示的な実施形態のこれら及び他の態様、実施の形態、及び利点は、添付の図面とともに解釈されれば本明細書に記載の実施形態から明らかになる。しかしながら、明細書及び図面は、例示の目的のためだけに構成され、開示された発明の限定の定義として設計されていないことが理解されるものとする。開示された発明については、添付の請求項を参照するものとする。本発明の追加の態様及び利点は、以下の記載に述べられ、部分的には、記載から明らかであり、又は本発明の実施により知ることができる。さらに、本発明の態様及び利点は、添付の請求項において特に明記されている手段及び組み合わせによって、実現及び取得ができる。
本開示の下記の詳細な部分において、本発明は、以下の図面に示された例示的な実施形態を参照して、さらに詳細に説明される。
開示される実施形態の態様を組み込んだ例示的な装置の概略斜視図を示す。 開示される実施形態の態様を組み込んだ例示的な方法を示す。 開示される実施形態の態様を組み込んだ例示的な方法の態様を示す。 開示される実施形態の態様を組み込んだ例示的な方法の態様を示す。 開示される実施形態の風検出方法の結果を示すグラフである。 開示される実施形態の態様を組み込んだ任意の例示的な方法の態様を示す。 開示される実施形態の態様を実施するために使用可能な例示的な装置の概略ブロック図である。
図1を参照すると、開示される実施形態の態様を組み込んだ例示的な装置100の概略ブロック図が示されている。開示される実施形態の態様は、少なくとも2つのマイクロホン又はオーディオ信号処理デバイスを備えた、ヘッドセット、モバイル通信デバイス、スマートウォッチなどのウェアラブルのような装置又はデバイスの1つ又は複数のマイクロホン内の風ノイズを検出することを目的とする。開示される実施形態の態様は、概括的に、ヘッドセット又はモバイル通信デバイスに関して本明細書に述べるが、開示される実施形態の態様は、それに限定されない。また、開示される実施形態の態様は、デバイスのマイクロホンがユーザによって触れられる場合などに、ハンドリングノイズの検出に適用してよい。代替の実施形態では、風又はハンドリングノイズがマイクロホン信号の品質に影響を及ぼす可能性がある、任意の発話又はオーディオ信号処理デバイスに、風の検出を適用してよい。
図1に示すように、例示的な装置100は、少なくとも1つのプロセッサ102と、少なくとも2つのオーディオ信号入力デバイス104a,104bとを含んでよい。他の実施形態では、装置100は、2つを含む以外に、任意の適切な数のオーディオ信号入力デバイス104aないし104bを含んでよい。開示される実施形態の態様は、2つを超えるオーディオ信号入力デバイス104aないし104nの数によって制限されない。本明細書の説明の目的のために、オーディオ信号入力デバイス104aないし104nは、マイクロホンと称される。
図1を参照すると、Pは、マイクロホン信号Sの電力を示し、Pは、マイクロホン104aないし104nのうちの2つ以上でのビーム形成信号の電力を示す。いくつかの場合において、ビーム形成信号は、マイクロホン104aないし104nの全部ではないが、いくつかから、計算されてよいことが理解される。
概括的に、マイクロホン104aないし104nは、オーディオ又はノイズのような受信信号に応答して、それぞれのマイクロホン信号Sm1ないしSmnを生成するように構成されている。一実施形態では、プロセッサ102は、それぞれのマイクロホン信号Sm1ないしSmnのうちの1つ以上の電力Pm1ないしPmnを決定及び/又は計算するように構成されてよい。この説明の目的のために、マイクロホン信号Sの電力Pはマイクロホン信号電力Pと称され、ビーム形成信号の電力Pはビーム形成信号電力Pと称される。
装置100が外部で使用される場合のように、風ノイズは、1つ又は複数のマイクロホン信号Sm1ないしSmnに有害な影響を及ぼす可能性がある。この風ノイズ干渉は、モバイル通信デバイスと通信する能力を阻害するか、さもなければ低下させる可能性がある。
一実施形態では、マイクロホン104aのマイクロホン信号Sm1の電力Pm1などのマイクロホン信号Sの電力Pが計算される。次に、マイクロホン104aのマイクロホン信号Sm1の電力Pm1が、少なくとも2つのマイクロホン信号から計算されたビーム形成電力信号Pと比較される。また、比較に基づいて、装置100のマイクロホン信号のうち1つ以上の中に風ノイズが検出できる。
一実施形態では、比P/Pの高い値は、周囲ノイズ又は指向性ノイズ(風ノイズがない)を示してよい。比P/Pが1の値である場合に、目標方向からの発話(風ノイズがない)を示してよい。比P/Pが小さい値である場合に、風ノイズや、さらにハンドリングノイズを示してよい。
開示される実施形態の態様は、ビーム形成信号電力Pに対するマイクロホン信号電力P 比を計算し、その結果を閾値と比較することによって、風ノイズを検出する。図1の例に示されるように、1つよりも多いマイクロホン信号Sm1ないしSmnが存在する場合に、対応するマイクロホン信号電力Pm1ないしPmnの決定及び使用は、風ノイズの検出を強化する。ビーム形成信号電力Pは、目標方向での発話のようなオーディオ信号を変化させずに維持し、他の方向から来る音を減衰させる。
一実施形態では、フィルタアンドサム・ビーム形成を利用して、ビーム形成信号電力Pを生成してよい。ここで、ビーム形成信号電力Pを計算するために使用される2つ以上のマイクロホン信号Sm1ないしSmn(概括的に本明細書では、マイクロホン信号Sm1ないしSmnと称される)は、フィルタリングされ、次いで、追加される。風ノイズがある場合に、マイクロホン信号Sm1ないしSmn間の振幅と位相差とは、予想されたものでない可能性がある。マイクロホン信号Sm1ないしSmn間の位相と振幅との関係は、ここではマイクロホンアレイとも称されるマイクロホン104aないし104nに音が到達する方向に依存する。風ノイズがある場合に、振幅と位相との関係は急速に変化する可能性があり、非常にランダムである可能性がある。場合によっては、マイクロホン信号Sm1ないしSmnが加算される可能性があり、適切なオーディオ信号処理に悪影響を及ぼす可能性がある。
図2を参照すると、開示される実施形態の態様によれば、風ノイズは、マイクロホン信号電力対ビーム電力の比(P/P)から検出できる。一実施形態では、マイクロホン信号Sの電力Pが202決定される。ビーム形成信号の電力Pも決定される。P/Pの比が206計算される。この比から、風ノイズがあるか否かが208決定される。例えば、比P/Pの結果が1である場合に、風ノイズなしで目標方向から到来する音を示す。比が1よりも大きい場合に、これは風ノイズがない周囲ノイズを示す。比が1よりも小さい場合に、風ノイズを示す。
風ノイズがないと209決定された場合208に、ビームフォーマ処理は、マイクロホン信号Sm1ないしSmnに対して使用されてよい。場合によっては、ビーム形成は、マイクロホン信号Sm1ないしSmnのうちの、全てではなく、少なくとも2つに関して行ってよい。決定208が風ノイズ211の存在を示す場合に、ビーム形成は、オフに212切り替えられてよい。一実施形態では、最良のマイクロホン、又は最小の量の風ノイズにさらされるマイクロホンを選択してよい。他の実施形態では、ユーザの口に最も近いマイクロホンを選択してよい。選択されたマイクロホンは、一層のオーディオ信号処理のために214使用してよい。
一実施形態では、ビーム形成信号電力Pが、2つ以上のマイクロホン信号電力Pm1ないしPmnと比較される場合に、風ノイズの検出が一層正確になる。一層多くのマイクロホン信号電力Pm1ないしPmnを比較に使用すると、風ノイズの検出が一層正確になる。
例えば、マイクロホン信号電力Pm1ないしPmnのそれぞれが、別々にビーム形成信号電力Pと比較されてよい。決定された最低電力比は、閾値と比較されてよい。他の実施形態では、全電力比の平均値は、例えば機械学習モデルへの入力などの入力として、採用又は使用してよい。
代替の実施形態では、ビーム形成電力信号Pは、フィルタリングされた信号及びフィルタリングされていない信号の両方と、又はフィルタリングされた信号のみと比較してよい。フィルタリングされた信号は、例えば、フィルタアンドサム・ビーム形成におけるビームフォーマフィルタであってよい。開示される実施形態の態様による風の検出は、さらに、マイクロホン信号電力Pが数秒間の期間にわたって平均化される場合に、強化できる。
図3を参照すると、比P/Pの結果が、閾値thrと302比較される。この例では、P/Pの値がthrよりも大きい304場合に、これは、マイクロホン信号Sの中の風ノイズの存在しないこと306、又は干渉する風ノイズの存在しないことを示している。P/Pの値がthrよりも大きくない308場合に、これは、マイクロホン信号Sの中に風ノイズ310があることを示す。
図4を参照すると、一実施形態では、周波数帯域におけるマイクロホン信号電力対ビーム電力比(P/P)を計算し、次いで、これらの帯域にわたって最小値を選択することによって、風ノイズの検出が強化される。図4の例では、Pはマイクロホン信号電力であり、Pはビームフォーマ電力であり、thrは閾値であり、fは周波数帯域であり、Fは周波数帯域のセットである。
図4の例に示されるように、P(f),P(f)の値は、周波数帯域のセットF内の全てのfについて402計算される。P(f)/P(f)の値は、周波数帯域のセットF内の全ての周波数帯域fについて404計算される。Rmin=min(P(f)/P(f))の値は、周波数帯域のセットF内の全ての周波数帯域fについて406計算される。Rminの値がthrよりも大きいか否かが408決定される。Rmin>thrである場合に、これは、いかなる風又はいかなる干渉する風も存在しないこと410を示す。Rmin<thrである場合に、これは、風の存在412、又は干渉する風の存在を示す。
図5を参照すると、一実施形態では、風ノイズの検出はまた、2つの閾値を使用して行える。この例では、風ノイズは、マイクロホン信号電力対ビーム電力比P/Pが一層低い閾値thr2よりも小さい場合に、検出され、検出は、信号対ビーム電力比P/Pが一層高い閾値thr1よりも大きい場合にのみ、解除される。閾値thr1及びthr2の設定は、装置100の特徴及び態様に依存してよい。これらの特徴及び態様のいくつかは、マイクロホン位置、ビーム設計、及び他のパラメータ値を含んでよいが、それらに限定されない。概括的に、閾値thr1及びthr2は、0及び-15dBの範囲の間でほぼ変化するように設計されてよい。
図5の例は、約1.2cm離れた2つのマイクロホン104a,104bで測定されたデータから計算されたマイクロホン信号電力対ビーム電力比を示す。周波数帯Rminの最小値は、実線の曲線502としてプロットされる。これはまた、時間の経過に伴って平均化される。平均化は、Xave(i+1)=Xframe+a*(Xave(i)-Xframe)である。ここで、Xaveは平均値、Xframeは1フレームに対して計算された値、aは平均化がいかに遅いかの程度を決定する定数(たとえば、a=0.99)である。thr1及びthr2の2つの閾値は、破線504,506でプロットされる。約31秒後まで風があり、その後は風がない。
一実施形態では、例えば、マイクロホン信号電力対ビーム電力比P/P又はRminのような上記の例で計算された値は、機械学習アルゴリズムにおける特徴として、単独で、又は他の特徴と組み合わせて使用してよい。
ビーム形成は、通常、低周波数においてマイクロホンノイズを増加させる。無音、又は非干渉の風の条件下では、ビーム電力Pはマイクロホン信号電力Pよりも高くなる可能性がある。この例では、周囲ノイズレベルNを610評価し、ノイズレベルNがある閾値(thrn)よりも小さい場合には、風ノイズの検出をバイパスする。
図6は、ノイズレベル推定を使用する風ノイズの検出アルゴリズムを示す。図6の例に示されているように、P(f),P(f)の値は、周波数帯域のセットF内の全てのfについて602計算される。P(f),P(f)の値は、周波数帯域のセットF内の全ての周波数帯域fについて604計算される。Rmin=min(P(f)/P(f))の値は、周波数帯域のセットF内の全ての周波数帯域fについて606計算される。Rminの値がthrよりも大きいか否かが608決定される。Rminがthrよりも大きい場合に、これは、いかなる風又はいかなる干渉する風も存在しないこと620を示している。
minがthrよりも大きくない場合に、ノイズレベルNが閾値thrnよりも大きいか否かが612決定される。風ノイズの最中は、周囲ノイズレベルNが増加する。従って、風があるときはいつでも、風ノイズが検知される。このタスクには、一般的に使用される任意のノイズ推定610方法を使用してよい。
周囲ノイズレベルNの値が閾値thrnよりも大きくない場合には、周囲ノイズ又は風ノイズが存在しないこと620を示している。周囲ノイズレベルNの値が閾値thrnよりも大きい場合には、周囲ノイズ又は風ノイズの存在622を示している。
一実施形態では、風ノイズが検出されると、例えば、装置100のビーム形成をオフに切り替えることによって風ノイズの影響が低減できる。マイクロホン104aないし104nのうちのどれが、最小の量の風ノイズにさらされるかを、決定してよい。一実施形態では、マイクロホン104aないし104nのうちのどれが最小の量のノイズにさらされるかを決定することは、例えば3500Hz未満のような特定の周波数帯域におけるマイクロホン信号電力Pレベルを比較することを含む。風ノイズの最中の電力レベルPが最も低いマイクロホン104aないし104nは、風の量が最小である。次に、最小の量の風ノイズにさらされるマイクロホンを、一層の動作及びオーディオ信号処理のために選択してよい。風ノイズがないと決定された場合に、ビーム形成をオーディオ信号処理に使用する。代替の実施形態では、開示される実施形態の態様に従って風ノイズが検出された場合に、任意の方式の適切な風ノイズ低減が実施されてよい。
図7は、開示される実施形態の態様を実施するために適切な例示的な装置1000のブロック図を示す。装置1000は、例えば、無線通信ネットワークにおける使用に適している。
装置1000は、プロセッサ又は計算機ハードウェア1002と、メモリ1004と、無線周波数(RF)ユニット1006と、ユーザインターフェース(UI)1008とを含むか、又はこれらに結合されている。ある実施形態では、装置1000は、UI1008を含まない。また、装置1000は、マイクロホンとも称される2つ以上の音響処理デバイス1014を含んでよい。一実施形態では、2つ以上の音響処理デバイス1014は、図1に関して説明したような少なくとも2つのマイクロホンのアレイを備えている。マイクロホン1014は、UI1008に結合されて示されているが、任意の適切な方法で装置に接続されてよく、又は装置の中に接続されてよい。一実施形態では、装置1000は、図1で参照した装置100を含む。
プロセッサ1002は、単一の処理デバイスであってよく、又は、例えば、デジタル信号処理(DSP)デバイス、マイクロプロセッサ、グラフィックス処理ユニット(GPU)、特殊処理デバイス、又は汎用コンピュータ処理デバイス(CPU)などの特殊目的のデバイスを含む複数の処理デバイスを含んでよい。プロセッサ1002は、図1に関して説明したプロセッサ102として実施してよく、ここで述べた方法及びプロセスのいずれか1つ以上を実施するように構成してよい。
図7の例では、様々なタイプの揮発性及び不揮発性コンピュータメモリ、例えば、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク又は光ディスク、又は他のタイプのコンピュータメモリなどの、組み合わせであってよいメモリ1004に結合されるように、プロセッサ1002は構成されている。メモリ1004は、プロセッサ1002がアクセス及び実行してよいコンピュータプログラム命令を記憶するように構成され、プロセッサ1002は、本明細書に記載される方法のような種々の望ましいコンピュータ実施プロセス又は方法を実行させる。メモリ1004は、図1に関して説明した装置100の一部として、又はそれと組み合わせて実施してよい。
メモリ1004に記憶されたプログラム命令は、プログラム、ソフトウェアコンポーネント、ソフトウェアモジュール、ユニットなどの種々の用語を使用して、産業上参照されているプログラム命令のセット又はグループとして構成されている。各モジュールは、単独又は組み合わせで、本明細書に記載される開示される実施形態の態様の1つ以上の態様を実行する特定の目的をサポートするように設計された機能性のセットを含んでよい。また、コンピュータプログラム命令のセットを実行する間に、プロセッサ1002によって記憶及び処理されてよいプログラムデータとデータファイルとが、メモリ1004に含まれる。
さらに装置1000は、トランシーバのようなRFユニット1006を含んでよく、又はこれに結合されてよい。RFユニット1006は、プロセッサ1002に結合され、プロセッサ1002と交換されたデジタルデータ1012に基づいてRF信号を送受信するように構成される。無線ネットワーク内の他のノードとともに無線信号を送受信するように構成されてよい。RF信号の送受信を容易にするために、RFユニット1006はアンテナユニット1010を含み、これは、特定の実施形態では複数のアンテナ素子を含んでよい。ビーム形成に使用されてよいものとしてのMIMO信号の送受信をサポートするように、複数のアンテナ1010は構成されてよい。
UI1008は、タッチスクリーン、キーパッド、ボタン、音声コマンドプロセッサなどの1つ以上のユーザインターフェース要素、及びユーザと情報を交換することに適合された他の要素を含んでよい。また、UI1008は、コンピュータデバイス、又はモバイルユーザ機器に適した種々の情報を表示するように構成された表示ユニットを含んでよく、例えば、有機発光ダイオード(OLED)、液晶ディスプレイ(LCD)、及びLED又はインジケータランプのようなそれほど複雑でない素子のような任意の適切なディスプレイタイプを使用して、実現されてよい。
開示される実施形態の態様は、風ノイズを検出するための新しい方法を提供する。風ノイズの存在は、マイクロホン信号電力とビーム形成信号電力との間の比を計算し、比を閾値と比較することによって決定される。外部で使用される任意のモバイルデバイスは、風ノイズに困らされ、最悪の場合に、風ノイズがマイクロホン信号を完全に破壊し、例えば、電話をかけることを不可能にする。開示される実施形態の態様は、風ノイズを確実に検出することができる。一旦風ノイズが検出されると、ビーム形成をオフに切り替える、及び単一のマイクロホン処理を使用するなど、多数の既知の方法の任意の1つを使用して、風ノイズ干渉が低減できる。また、VACC(音声加速度計)、VPU(音声ピックアップセンサ)又は内部マイクロホンのような、風ノイズの最中のヘッドセットの内部センサを利用してよい。また、電話や他のオーディオ機能の品質を低下させる可能性のある誤検出が避けられる。開示される実施形態の方法はまた、計算上効率的であり、モバイル通信デバイスのようなデバイス内の他の処理と組み合わせることが容易である。
従って、例示的な実施形態に適用される本発明の基本的な新規な特徴が、図示、記載及び指摘されてきたが、例示されたデバイス及び方法の形態及び詳細、またそれらの動作においての様々な省略、置換及び変更を、現在開示されている本発明の精神及び範囲から逸脱することなく当業者が行ってよいことが理解される。さらに、実質的に同一の機能を実質的に同一の方式で実行して同一の結果を達成するこれらの要素の全ての組み合わせは、本発明の範囲内であることが明確に意図される。さらに、本発明の任意の開示された形態又は実施形態に関連して図示、及び/又は説明される構造及び/又は要素は、設計選択の一般的事項として、任意の他の開示、又は記載、又は提案された形態又は実施形態に、組み込まれてよいことが認識されるものとする。従って、ここに添付された請求項によって示されるようにのみ限定されることが意図される。

Claims (9)

  1. プロセッサ(102)を備えている装置(100)であって、前記プロセッサ(102)は、
    装置の少なくとも1つのマイクロホン(104a)のマイクロホン信号(Sm1)のマイクロホン信号電力(Pm1)を決定し、
    装置の少なくとも2つのマイクロホン(104a,104n)のビーム形成信号のビーム形成信号電力(P)を決定し、
    前記マイクロホン信号電力(Pm1)を前記ビーム形成信号電力(P)と比較し、
    比較に基づいて、装置(100)のマイクロホン信号の中に風ノイズを検出するように構成され
    前記プロセッサ(102)は、複数の周波数帯域にわたり、前記ビーム形成信号電力(P )に対する前記マイクロホン信号電力(P m1 )の比を計算し、所定の閾値と比較するために、複数の周波数帯域にわたり、計算された電力の前記比の最小値(R min )を選択するように、さらに構成されている、装置。
  2. 前記プロセッサ(102)は、計算された前記比が所定の閾値よりも小さい場合に、前記風ノイズを検出するように、さらに構成されている、請求項記載の装置(100)。
  3. 前記プロセッサ(102)は、
    風ノイズが検出された場合に、前記少なくとも2つのマイクロホン(104a,104b)のビーム形成をオフに切り替え、
    一層のオーディオ信号処理のために、前記少なくとも2つのマイクロホン(104a,104b)のうち、最小の量の風ノイズが検出されたマイクロホンを選択するように、さらに構成されている、請求項1又は2のいずれか1項に記載の装置(100)。
  4. 前記プロセッサ(102)は、
    前記少なくとも2つのマイクロホン(104a,104b)のうちの少なくとも1つの他のマイクロホン(104b)の少なくとも第2マイクロホン信号(Sm2)の電力(Pm2)を、前記ビーム形成信号電力(P)と比較し、
    前記マイクロホン信号電力(Pm1)と前記第2マイクロホン信号の前記電力(Pm2)とを前記ビーム形成信号電力(P)と比較することに基づいて、前記風ノイズを検出するように、さらに構成されている、請求項1ないしのいずれか1項に記載の装置(100)。
  5. 装置(100)はモバイル通信デバイスである、請求項1ないしのいずれか1項に記載の装置(100)。
  6. 装置のマイクロホン信号の中に風ノイズを検出する方法(200)であって、
    前記装置の少なくとも1つのマイクロホンのマイクロホン信号(Sm1)のマイクロホン信号電力(Pm1)を決定するステップ(202)と、
    前記装置の少なくとも2つのマイクロホンのビーム形成信号のビーム形成信号電力(P)を決定するステップ(204)と、
    前記マイクロホン信号電力(Pm1)を前記ビーム形成信号電力(P)と比較するステップ(206)と、
    比較に基づいて、前記装置のマイクロホン信号の中に風ノイズを検出するステップ(208)とを備え
    前記比較するステップ(206)は、
    複数の周波数帯域にわたり、前記ビーム形成信号電力(P )に対する前記マイクロホン信号電力(P m1 )の比を計算すること(402)と、
    複数の周波数帯域にわたり、計算された電力の比の最小値を選択すること(406)と、
    前記風ノイズを決定する(208)ために、選択された前記最小値を所定の閾値と比較すること(408)とをさらに含む、方法。
  7. 計算された前記比が所定の閾値よりも小さい(308)場合に、前記風ノイズを検出するステップ(208)を、さらに備えている、請求項記載の方法(200)。
  8. 風ノイズが検出された(208)場合に、前記少なくとも2つのマイクロホンのビーム形成をオフに切り替えるステップ(212)と、
    一層のオーディオ信号処理のために、前記少なくとも2つのマイクロホンのうち、最小の量の風ノイズが検出されたマイクロホンを選択するステップ(214)とを、さらに備えている、請求項6又は7のいずれか1項に記載の方法(200)。
  9. 前記装置の前記少なくとも1つのマイクロホンの少なくとも1つの他のマイクロホン信号(Sm2)の電力(Pm2)と、前記ビーム形成信号電力(P)とを比較するステップ(206)と、
    前記マイクロホン信号電力(Pm1)と前記他のマイクロホン信号の前記電力(Pm2)とを前記ビーム形成信号電力(P)と比較することに基づいて、前記風ノイズを検出するステップ(208)とを、さらに備えている、請求項ないしのいずれか1項に記載の方法(200)。
JP2022514715A 2019-09-05 2019-09-05 風ノイズの検出 Active JP7422219B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/073734 WO2021043408A1 (en) 2019-09-05 2019-09-05 Wind noise detection

Publications (2)

Publication Number Publication Date
JP2022547493A JP2022547493A (ja) 2022-11-14
JP7422219B2 true JP7422219B2 (ja) 2024-01-25

Family

ID=68062890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022514715A Active JP7422219B2 (ja) 2019-09-05 2019-09-05 風ノイズの検出

Country Status (5)

Country Link
EP (1) EP4005239A1 (ja)
JP (1) JP7422219B2 (ja)
KR (1) KR20220054646A (ja)
CN (1) CN114287136A (ja)
WO (1) WO2021043408A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538882A (ja) 2005-04-29 2008-11-06 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー マイク信号の中の風ノイズの検出および抑制

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6439192A (en) * 1987-08-04 1989-02-09 Matsushita Electric Ind Co Ltd Microphone device
US7340068B2 (en) * 2003-02-19 2008-03-04 Oticon A/S Device and method for detecting wind noise
EP1475997A3 (en) * 2003-05-09 2004-12-22 Harman/Becker Automotive Systems GmbH Method and system for communication enhancement in a noisy environment
US20120163622A1 (en) * 2010-12-28 2012-06-28 Stmicroelectronics Asia Pacific Pte Ltd Noise detection and reduction in audio devices
US9020157B2 (en) * 2012-03-16 2015-04-28 Cirrus Logic International (Uk) Limited Active noise cancellation system
DK2901715T3 (da) * 2012-09-28 2017-01-02 Sonova Ag Metode til anvendelse af et binauralt høresystem og et binauralt høresystem / method for operating a binaural hearing system and binaural hearing system
EP2848007B1 (en) * 2012-10-15 2021-03-17 MH Acoustics, LLC Noise-reducing directional microphone array
US9767826B2 (en) * 2013-09-27 2017-09-19 Nuance Communications, Inc. Methods and apparatus for robust speaker activity detection
CN106303837B (zh) * 2015-06-24 2019-10-18 联芯科技有限公司 双麦克风的风噪检测及抑制方法、系统
CN106952653B (zh) * 2017-03-15 2021-05-04 科大讯飞股份有限公司 噪声去除方法、装置和终端设备
US10341759B2 (en) * 2017-05-26 2019-07-02 Apple Inc. System and method of wind and noise reduction for a headphone

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538882A (ja) 2005-04-29 2008-11-06 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー マイク信号の中の風ノイズの検出および抑制

Also Published As

Publication number Publication date
KR20220054646A (ko) 2022-05-03
WO2021043408A1 (en) 2021-03-11
EP4005239A1 (en) 2022-06-01
CN114287136A (zh) 2022-04-05
JP2022547493A (ja) 2022-11-14

Similar Documents

Publication Publication Date Title
US8194881B2 (en) Detection and suppression of wind noise in microphone signals
US20200168237A1 (en) Speech signal processing method and apparatus
US11558693B2 (en) Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
US9525938B2 (en) User voice location estimation for adjusting portable device beamforming settings
US9769552B2 (en) Method and apparatus for estimating talker distance
US8644517B2 (en) System and method for automatic disabling and enabling of an acoustic beamformer
US9818425B1 (en) Parallel output paths for acoustic echo cancellation
CN110972014B (zh) 一种有源降噪耳机的参数调整方法、装置及无线耳机
US8204198B2 (en) Method and apparatus for selecting an audio stream
US9521486B1 (en) Frequency based beamforming
EP2863392B1 (en) Noise reduction in multi-microphone systems
US20190014429A1 (en) Blocked microphone detection
US20140341386A1 (en) Noise reduction
US11335362B2 (en) Wearable mixed sensor array for self-voice capture
CN112735370B (zh) 一种语音信号处理方法、装置、电子设备和存储介质
JP7422219B2 (ja) 風ノイズの検出
US10187504B1 (en) Echo control based on state of a device
WO2011105073A1 (ja) 音響処理装置および音響処理方法
US20230097305A1 (en) Audio device with microphone sensitivity compensator
US20230101635A1 (en) Audio device with distractor attenuator
EP4156711A1 (en) Audio device with dual beamforming
JP5022459B2 (ja) 収音装置、収音方法及び収音プログラム
EP4156183A1 (en) Audio device with a plurality of attenuators
EP4307297A1 (en) Method and apparatus for switching main microphone, voice detection method and apparatus for microphone, microphone-loudspeaker integrated device, and readable storage medium
CN117202003A (zh) 无线耳机的降噪校准方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240115

R150 Certificate of patent or registration of utility model

Ref document number: 7422219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150