JPWO2022218673A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2022218673A5
JPWO2022218673A5 JP2023562986A JP2023562986A JPWO2022218673A5 JP WO2022218673 A5 JPWO2022218673 A5 JP WO2022218673A5 JP 2023562986 A JP2023562986 A JP 2023562986A JP 2023562986 A JP2023562986 A JP 2023562986A JP WO2022218673 A5 JPWO2022218673 A5 JP WO2022218673A5
Authority
JP
Japan
Prior art keywords
microphone
user
speech
call
mute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023562986A
Other languages
Japanese (ja)
Other versions
JP2024516946A (en
Publication date
Priority claimed from EP21168551.6A external-priority patent/EP4075822B1/en
Application filed filed Critical
Publication of JP2024516946A publication Critical patent/JP2024516946A/en
Publication of JPWO2022218673A5 publication Critical patent/JPWO2022218673A5/ja
Pending legal-status Critical Current

Links

Claims (20)

1人または複数人の他の参加者との通話中にユーザの発話をキャプチャするよう構成されている主マイクロホンのミュート状態を、マイクロホンシステムの前記主マイクロホンがミュートされた状態で前記ユーザが話す場合に前記ユーザへ通知する方法であって、
- 1) 周囲騒音を抑制するために、前記主マイクロホンからの出力信号、および前記ユーザの周囲の音声をキャプチャするために設置されている追加マイクロホンからの出力信号を処理してノイズキャンセルアルゴリズムを実行することと、
- 2) 前記主マイクロホンがミュートされた状態で前記主マイクロホンからの前記出力信号をプロセッサシステムを用いて音声活動検出アルゴリズムに基づいて処理することと
- 3) 前記音声活動検出アルゴリズムの出力に基づいて発話が存在するかどうかを判定することと
- 4) 追加の条件が満たされているかどうかを判定することと
- 5) 発話が存在して前記追加の条件が満たされていると判定された場合にのみミュート状態通知を前記ユーザへ提供することと
を含む方法。
1. A method for informing a user of a muted state of a primary microphone configured to capture the user's speech during a call with one or more other participants when the user speaks with the primary microphone of a microphone system muted, comprising:
1) processing an output signal from the main microphone and an output signal from an additional microphone positioned to capture sounds around the user to execute a noise cancellation algorithm to suppress ambient noise;
- 2) processing the output signal from the primary microphone with a processor system based on a voice activity detection algorithm while the primary microphone is muted;
- 3) determining whether speech is present based on the output of the voice activity detection algorithm ; and
- 4) determining whether additional conditions are met; and
5) providing a mute status notification to the user only if speech is present and it is determined that the additional condition is met; and
The method includes:
前記追加の条件の判定は、発話と判定されたものが前記ユーザの周囲の発話ソースに由来しているようであるかどうかを判定することと、前記発話と判定されたものが前記ユーザの周囲の発話ソースに由来していないようである場合にのみ前記ミュート状態通知を前記ユーザへ提供することと、を含む請求項1に記載の方法。 The method of claim 1, wherein determining the additional condition includes determining whether the determined speech appears to originate from a speech source surrounding the user, and providing the mute state notification to the user only if the determined speech does not appear to originate from a speech source surrounding the user. 前記ユーザによる発話と前記ユーザの周囲からの発話とを判別できるように、複数のマイクロホンからの出力信号を処理することを含む、請求項2に記載の方法。 The method of claim 2, comprising processing output signals from a plurality of microphones to distinguish between speech by the user and speech from around the user. 前記ユーザによる発話と前記ユーザの周囲からの発話とを判別できるように、前記複数のマイクロホンからの前記出力信号を処理してビームフォーミング感度パターンを提供することを含む、請求項3に記載の方法。 The method of claim 3, comprising processing the output signals from the plurality of microphones to provide a beamforming sensitivity pattern to distinguish between speech by the user and speech from around the user. 前記追加の条件の判定は、前記ユーザが物理的な会話をしているようであるかどうかを判定することと、前記ユーザが物理的な会話をしていないようである場合にのみ前記ミュート状態通知を前記ユーザへ提供することと、を含む請求項1に記載の方法。 2. The method of claim 1 , wherein determining the additional condition includes determining whether the user appears to be having a physical conversation and providing the mute state notification to the user only if the user does not appear to be having a physical conversation. 口用マイクロホンなどの前記主マイクロホンからの前記出力信号に対して第1音声活動検出アルゴリズムを実行することと、前記追加マイクロホンからの前記出力信号に対して第2音声活動検出アルゴリズムを実行して別のソースからの発話を判定することと、を含む請求項5に記載の方法。 6. The method of claim 5, comprising: running a first voice activity detection algorithm on the output signal from the primary microphone , such as a mouth microphone; and running a second voice activity detection algorithm on the output signal from the additional microphone to determine speech from another source. 前記ユーザが物理的な会話をしているようであるかどうかを判定するために、前記ユーザによる発話と別のソースからの発話の間の時間を判定することを含む、請求項5に記載の方法。 The method of claim 5 , comprising determining a time between speech by the user and speech from another source to determine whether the user appears to be engaged in physical conversation. 前記通話の少なくとも1人の前記他の参加者による発話を検出するために前記通話の少なくとも1人の前記他の参加者の音声を示す信号に対して音声活動検出アルゴリズムを実行することを含む、請求項1に記載の方法。 The method of claim 1, comprising: executing a voice activity detection algorithm on a signal indicative of speech of at least one of the other participants in the call to detect speech by the at least one of the other participants in the call. 前記ユーザが話していて、かつ前記通話の少なくとも1人の前記他の参加者による発話が検出されない場合にのみ前記ミュート状態通知を前記ユーザへ提供することを含む、請求項8に記載の方法。 The method of claim 8, comprising providing the mute status notification to the user only when the user is speaking and speech by at least one of the other participants in the call is not detected. ステップ1)~4)は、前記主マイクロホンと、前記追加マイクロホンと、スピーカーとを備えるヘッドセットのプロセッサなどの第1プロセッサにより実行され、ステップ5)は前記通話を容易にするコンピュータ装置やコンピュータシステムのプロセッサなどの第2プロセッサにより実行される、請求項1に記載の方法。 2. The method of claim 1, wherein steps 1) through 4) are performed by a first processor, such as a processor of a headset that includes the primary microphone, the additional microphone, and a speaker, and step 5) is performed by a second processor, such as a processor of a computing device or computer system that facilitates the call. ステップ1)~4)の後に、前記ミュート状態通知の送信を防ぐために、発話が存在して前記追加の条件が満たされていると判定された場合に、前記主マイクロホンからの音声をミュートする判断をするステップが行われる、請求項1に記載の方法。 2. The method of claim 1, further comprising, after steps 1) to 4), making a decision to mute audio from the primary microphone if speech is present and the additional condition is determined to be satisfied, to prevent transmission of the mute state notification. 前記主マイクロホンおよび前記追加マイクロホンからの前記出力信号に対して発話の存在を示す出力を与える音声活動検出器アルゴリズムを含むノイズキャンセルアルゴリズムを実行することと、発話の存在を示す前記出力に基づいて前記主マイクロホンからの前記出力信号のノイズキャンセルが行われたバージョンを生成することと、を含む請求項1に記載の方法。 2. The method of claim 1, comprising: executing a noise cancellation algorithm including a voice activity detector algorithm that provides an output indicative of the presence of speech on the output signals from the primary microphone and the additional microphone; and generating a noise cancelled version of the output signal from the primary microphone based on the output indicative of the presence of speech. 発話の存在を示す前記出力を、前記主マイクロホンからの前記出力信号において発話が存在しない期間における雑音を推定する雑音推定器に適用することを含む、請求項12に記載の方法。 13. The method of claim 12, comprising applying the output indicating the presence of speech to a noise estimator that estimates noise during periods when no speech is present in the output signal from the primary microphone . 一連の周波数ビンを用いた前記主マイクロホンの信号の周波数領域表現にゲインベクトルを乗じることであって、前記ゲインベクトルは発話を含まない周波数ビンに対しては低いゲイン値で生成されている、乗じることと、前記雑音推定器からの入力に応答して前記ゲインベクトルを生成することと、を含む請求項12に記載の方法。 13. The method of claim 12, comprising: multiplying a frequency domain representation of the primary microphone signal with a set of frequency bins by a gain vector , the gain vector being generated with a lower gain value for frequency bins that do not contain speech ; and generating the gain vector in response to an input from the noise estimator . 適応フィルタを含む適応型ノイズキャンセルアルゴリズムを適用して前記主マイクロホンからの前記出力信号のノイズキャンセルが行われたバージョンを生成することを含む、請求項に記載の方法。 The method of claim 1 , comprising applying an adaptive noise cancellation algorithm that includes an adaptive filter to generate a noise-cancelled version of the output signal from the main microphone. 主マイクロホンおよび追加マイクロホンと、請求項1に記載の方法の少なくともステップ1)~4)を実行するよう構成されているプロセッサシステムとを備えるマイクロホンシステムを含む装置 An apparatus including a microphone system comprising a main microphone and an additional microphone and a processor system configured to perform at least steps 1) to 4) of the method according to claim 1 . 前記プロセッサシステムは、前記通話において前記ユーザが話すことを意図しているようであると判定される場合にのみ前記主マイクロホンからの音声出力を提供するように、前記追加の条件に応じて前記主マイクロホンをミュートする判断をするように構成される、請求項16に記載の装置 17. The apparatus of claim 16, wherein the processor system is configured to make a decision to mute the primary microphone in response to the additional condition, such that audio output from the primary microphone is provided only when it is determined that the user appears to intend to speak in the call . 無線方式などでの双方向音声通信向けに構成されているヘッドセットシステムを備え、前記ヘッドセットシステムは、A headset system configured for two-way voice communication, such as by wireless communication, comprising:
- 前記ユーザにより着用されるよう構成されているヘッドセットであって、口用マイクロホンと、前記口用マイクロホンとは別に配置される追加マイクロホンと、スピーカーを備える少なくとも1つのイヤーカップとを備えるマイクロホンシステムを含むヘッドセットと、a headset adapted to be worn by the user, the headset including a microphone system comprising a mouth microphone, an additional microphone arranged separately from the mouth microphone, and at least one ear cup comprising a speaker;
- 前記通話中に前記ユーザが有効化してミュート状態の前記口用マイクロホンからの音声をミュートすることができるミュート有効化機能と、a mute enable function that the user can enable during the call to mute the audio from the mouth microphone that is in a muted state;
- 前記口用マイクロホンが前記ミュート状態で前記ユーザが話している場合に前記ミュート状態であることを前記ユーザへ通知するのが適切かどうかを判断するために、または、前記口用マイクロホンが前記ミュート状態で前記ユーザが話している場合に前記口用マイクロホンをミュートするべきかを判断するために、請求項1に記載の方法の少なくともステップ1)~4)を実行するよう構成されているプロセッサシステムと、a processor system configured to perform at least steps 1) to 4) of the method of claim 1 to determine whether it is appropriate to notify the user of the muted state when the mouth microphone is in the muted state and the user is speaking, or to determine whether the mouth microphone should be muted when the mouth microphone is in the muted state and the user is speaking;
を含む、請求項17に記載の装置。20. The apparatus of claim 17, comprising:
前記プロセッサシステムは、前記ユーザが話すことを意図しているようであるかどうかを判定して、前記通話を容易にするエンティティによってあらゆるミュート状態通知が送信されるのを防ぐために、前記ユーザが話すことを意図しているようであると判定される場合にのみ前記口用マイクロホンからの音声を状況に応じて送信するよう構成される、請求項18に記載の装置。20. The apparatus of claim 18, wherein the processor system is configured to determine whether the user appears to intend to speak and to adaptively transmit audio from the mouth microphone only if it is determined that the user appears to intend to speak, to prevent any mute state notifications from being sent by an entity facilitating the call. 電話、オンライン通話、電話会議のうちの1つまたは複数を実行するための請求項16に記載の装置の利用法。20. Use of the apparatus of claim 16 for conducting one or more of the following: a telephone call, an online call, a conference call.
JP2023562986A 2021-04-15 2022-03-24 Microphone mute notification upon voice activity detection Pending JP2024516946A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21168551.6A EP4075822B1 (en) 2021-04-15 2021-04-15 Microphone mute notification with voice activity detection
EP21168551.6 2021-04-15
PCT/EP2022/057830 WO2022218673A1 (en) 2021-04-15 2022-03-24 Microphone mute notification with voice activity detection

Publications (2)

Publication Number Publication Date
JP2024516946A JP2024516946A (en) 2024-04-18
JPWO2022218673A5 true JPWO2022218673A5 (en) 2024-04-30

Family

ID=75539153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023562986A Pending JP2024516946A (en) 2021-04-15 2022-03-24 Microphone mute notification upon voice activity detection

Country Status (5)

Country Link
US (1) US20240195916A1 (en)
EP (2) EP4075822B1 (en)
JP (1) JP2024516946A (en)
AU (1) AU2022259391A1 (en)
WO (1) WO2022218673A1 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8954324B2 (en) * 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
US20130282373A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
US9215543B2 (en) * 2013-12-03 2015-12-15 Cisco Technology, Inc. Microphone mute/unmute notification
US9560208B2 (en) * 2014-01-07 2017-01-31 Avaya Inc. System and method for providing intelligent and automatic mute notification
US10564925B2 (en) * 2017-02-07 2020-02-18 Avnera Corporation User voice activity detection methods, devices, assemblies, and components
US10224019B2 (en) * 2017-02-10 2019-03-05 Audio Analytic Ltd. Wearable audio device
WO2019186403A1 (en) * 2018-03-29 2019-10-03 3M Innovative Properties Company Voice-activated sound encoding for headsets using frequency domain representations of microphone signals
US11058165B2 (en) * 2019-09-16 2021-07-13 Bose Corporation Wearable audio device with brim-mounted microphones

Similar Documents

Publication Publication Date Title
US10339952B2 (en) Apparatuses and systems for acoustic channel auto-balancing during multi-channel signal extraction
CN110447073B (en) Audio signal processing for noise reduction
US11614916B2 (en) User voice activity detection
US11373665B2 (en) Voice isolation system
KR20090050372A (en) Noise cancelling method and apparatus from the mixed sound
US20080019539A1 (en) Method and system for near-end detection
US10249323B2 (en) Voice activity detection for communication headset
EP3777114B1 (en) Dynamically adjustable sidetone generation
JP2020506634A (en) Method for detecting user voice activity in a communication assembly, the communication assembly
CN110754096B (en) System and method for detecting voice activity of a user of a headset
US10516941B2 (en) Reducing instantaneous wind noise
US10299027B2 (en) Headset with reduction of ambient noise
JPWO2022218673A5 (en)
US20240195916A1 (en) Microphone mute notification with voice activity detection
US11482236B2 (en) Audio systems and methods for voice activity detection
JP2016025471A (en) Echo suppression device, echo suppression program, echo suppression method and communication terminal