RU2019124535A - Захват аудио с использованием формирования диаграммы направленности - Google Patents

Захват аудио с использованием формирования диаграммы направленности Download PDF

Info

Publication number
RU2019124535A
RU2019124535A RU2019124535A RU2019124535A RU2019124535A RU 2019124535 A RU2019124535 A RU 2019124535A RU 2019124535 A RU2019124535 A RU 2019124535A RU 2019124535 A RU2019124535 A RU 2019124535A RU 2019124535 A RU2019124535 A RU 2019124535A
Authority
RU
Russia
Prior art keywords
beamforming
signal
frequency
time
speech
Prior art date
Application number
RU2019124535A
Other languages
English (en)
Other versions
RU2751760C2 (ru
RU2019124535A3 (ru
Inventor
Корнелис Питер ЯНСЕ
Рик Йозеф Мартинус ЯНССЕН
Original Assignee
Конинклейке Филипс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Н.В. filed Critical Конинклейке Филипс Н.В.
Publication of RU2019124535A publication Critical patent/RU2019124535A/ru
Publication of RU2019124535A3 publication Critical patent/RU2019124535A3/ru
Application granted granted Critical
Publication of RU2751760C2 publication Critical patent/RU2751760C2/ru

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing

Claims (31)

1. Устройство захвата аудио, содержащее:
первый формирователь (303) диаграммы направленности, выполненный с возможностью генерировать выходной аудиосигнал со сформированной диаграммой направленности;
адаптер (305) для адаптации параметров формирования диаграммы направленности первого формирователя (303) диаграммы направленности;
детектор (307) для обнаружения нарастания громкости речи в выходном аудиосигнале со сформированной диаграммой направленности; и
контроллер (309) для управления возникновением адаптации параметров формирования диаграммы направленности в предварительно определенном временном интервале адаптации, определенном в ответ на обнаружение нарастания громкости речи.
2. Устройство захвата аудио по п. 1, в котором детектор (307) выполнен с возможностью обнаруживать нарастание громкости речи в ответ на уровень сигнала принятых ранних отражений относительно уровня сигнала принятых поздних отражений.
3. Устройство захвата аудио по п. 1 или 2, в котором первый формирователь (303) диаграммы направленности выполнен с возможностью генерировать по меньшей мере один опорный сигнал шума; и детектор (307) выполнен с возможностью обнаруживать нарастание громкости речи в ответ на сравнение уровня сигнала выходного аудиосигнала со сформированной диаграммой направленности относительно уровня сигнала упомянутого по меньшей мере одного опорного сигнала шума.
4. Устройство захвата аудио по п. 3, в котором контроллер (309) выполнен с возможностью завершать предварительно определенный временной интервал адаптации в ответ на сравнение уровня сигнала выходного аудиосигнала со сформированной диаграммой направленности относительно уровня сигнала упомянутого по меньшей мере одного опорного сигнала шума.
5. Устройство захвата аудио по любому предыдущему пункту, в котором первый формирователь диаграммы направленности выполнен с возможностью генерировать по меньшей мере один опорный сигнал шума; и детектор (307) содержит:
первый преобразователь (801) для генерирования первого сигнала в частотной области из частотного преобразования выходного аудиосигнала со сформированной диаграммой направленности, причем первый сигнал в частотной области представлен значениями частотно-временных фрагментов;
второй преобразователь (803) для генерирования второго сигнала в частотной области из частотного преобразования упомянутого по меньшей мере одного опорного сигнала шума, причем второй сигнал в частотной области представлен значениями частотно-временных фрагментов;
процессор (805) разности, выполненный с возможностью генерировать меру различия частотно-временного фрагмента, указывающую разность между первой монотонной функцией нормы значения частотно-временного фрагмента первого сигнала в частотной области и второй монотонной функцией нормы значения частотно-временного фрагмента второго сигнала в частотной области;
блок (807) оценки нарастания громкости речи для генерирования оценки нарастания громкости речи в ответ на комбинированное значение разности для мер различия частотно-временных фрагментов для частот, которые выше порога частоты.
6. Устройство захвата аудио по п. 5, в котором детектор (307) выполнен с возможностью определять время начала для предварительно определенного временного интервала адаптации в ответ на увеличение комбинированного значения разности выше порога.
7. Устройство захвата аудио по п. 5 или 6, в котором детектор (309) выполнен с возможностью завершать предварительно определенный временной интервал адаптации в ответ на падение комбинированного значения разности ниже порога.
8. Устройство захвата аудио по любому из пп. 5-7, в котором детектор (307) выполнен с возможностью генерировать оценку когерентности шума, указывающую корреляцию между амплитудой выходного аудиосигнала со сформированной диаграммой направленности и амплитудой упомянутого по меньшей мере одного опорного сигнала шума; и по меньшей мере одна из первой монотонной функции и второй монотонной функции зависит от оценки когерентности шума.
9. Устройство захвата аудио по любому из пп. 5-8, в котором адаптер (305) выполнен с возможностью модифицировать скорость адаптации для параметров формирования диаграммы направленности для первого частотно-временного фрагмента в ответ на меру различия частотно-временного фрагмента для первого частотно-временного фрагмента.
10. Устройство захвата аудио по любому из пп. 5-9, в котором детектор (307) выполнен с возможностью фильтровать по меньшей мере одну из норм значений частотно-временных фрагментов первого сигнала в частотной области и нормы значений частотно-временных фрагментов второго сигнала в частотной области; причем фильтрация включает в себя различение частотно-временных фрагментов и по времени, и по частоте.
11. Устройство захвата аудио по любому из предыдущих пунктов, в котором продолжительность от нарастания громкости речи до конца предварительно определенного временного интервала адаптации не превышает 100 мс.
12. Устройство захвата аудио по п. 1, содержащее множество формирователей (1105, 1109, 1111) диаграммы направленности, включающих в себя первый формирователь (1105) диаграммы направленности; и детектор (309) выполнен с возможностью генерировать оценку нарастания громкости речи для каждого формирователя диаграммы направленности из множества формирователей (1105, 1109, 1111) диаграммы направленности; и дополнительно содержащее адаптер (1113) для адаптации по меньшей мере одного из множества формирователей (1105, 1109, 1111) диаграммы направленности в ответ на оценки нарастания громкости речи.
13. Устройство захвата аудио по п. 12, в котором множество формирователей (1105, 1109, 1111) диаграммы направленности содержит первый формирователь (1105) диаграммы направленности, выполненный с возможностью генерировать выходной аудиосигнал со сформированной диаграммой направленности и по меньшей мере один опорный сигнал шума; и множество ограниченных формирователей (1109, 1111) диаграммы направленности, присоединенных к массиву (1101) микрофонов, и каждый из них выполнен с возможностью генерировать ограниченный выходной аудиосигнал со сформированной диаграммой направленности и по меньшей мере один ограниченный опорный сигнал шума; и в котором адаптер (1113) выполнен с возможностью адаптировать ограниченные параметры формирования диаграммы направленности для первого ограниченного формирователя диаграммы направленности для соответствия критериям, содержащим по меньшей мере одно ограничение из следующей группы:
оценка нарастания громкости речи для первого ограниченного формирователя диаграммы направленности указывает нарастание громкости речи, обнаруживаемое для первого ограниченного формирователя диаграммы направленности; и
оценка нарастания громкости речи для первого ограниченного формирователя диаграммы направленности указывает более высокую вероятность нарастания громкости речи, чем оценка нарастания громкости речи для любого другого ограниченного формирователя диаграммы направленности из множества ограниченных формирователей (1109, 1111) диаграммы направленности.
14. Устройство захвата аудио по п. 13, дополнительно содержащее:
процессор (1117) разности диаграмм направленности для определения меры различия по меньшей мере для одного из множества ограниченных формирователей (1109, 1111) диаграммы направленности, причем мера различия указывает разность между лучами диаграммы направленности, сформированными первым формирователем диаграммы направленности (1105) и упомянутым по меньшей мере одним из множества ограниченных формирователей (1109, 1111) диаграммы направленности; и
в котором адаптер (1113) выполнен с возможностью адаптировать ограниченные параметры формирования диаграммы направленности с тем ограничением, что ограниченные параметры формирования диаграммы направленности адаптируются только для ограниченных формирователей диаграммы направленности из множества ограниченных формирователей (1109, 1111) диаграммы направленности, для которых было определено, что мера различия соответствует критерию сходства.
15. Способ захвата аудио, содержащий этапы, на которых:
посредством формирователя (303) диаграммы направленности генерируют выходной аудиосигнал со сформированной диаграммой направленности;
адаптируют параметры формирования диаграммы направленности формирователя (303) диаграммы направленности;
обнаруживают нарастание громкости речи в выходном аудиосигнале со сформированной диаграммой направленности; и
управляют возникновением адаптации параметров формирования диаграммы направленности в предварительно определенном временном интервале адаптации, определенном в ответ на обнаружение нарастания громкости речи.
RU2019124535A 2017-01-03 2018-01-02 Захват аудио с использованием формирования диаграммы направленности RU2751760C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17150096 2017-01-03
EP17150096.0 2017-01-03
PCT/EP2018/050045 WO2018127483A1 (en) 2017-01-03 2018-01-02 Audio capture using beamforming

Publications (3)

Publication Number Publication Date
RU2019124535A true RU2019124535A (ru) 2021-02-05
RU2019124535A3 RU2019124535A3 (ru) 2021-05-21
RU2751760C2 RU2751760C2 (ru) 2021-07-16

Family

ID=57714510

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019124535A RU2751760C2 (ru) 2017-01-03 2018-01-02 Захват аудио с использованием формирования диаграммы направленности

Country Status (7)

Country Link
US (1) US11039242B2 (ru)
EP (1) EP3566228B1 (ru)
JP (1) JP6665353B2 (ru)
CN (1) CN110140171B (ru)
BR (1) BR112019013239A2 (ru)
RU (1) RU2751760C2 (ru)
WO (1) WO2018127483A1 (ru)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402913B (zh) * 2020-02-24 2023-09-12 北京声智科技有限公司 降噪方法、装置、设备和存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146012B1 (en) * 1997-11-22 2006-12-05 Koninklijke Philips Electronics N.V. Audio processing arrangement with multiple sources
US7206418B2 (en) * 2001-02-12 2007-04-17 Fortemedia, Inc. Noise suppression for a wireless communication device
GB2388001A (en) * 2002-04-26 2003-10-29 Mitel Knowledge Corp Compensating for beamformer steering delay during handsfree speech recognition
ATE419709T1 (de) 2002-07-01 2009-01-15 Koninkl Philips Electronics Nv Von der stationären spektralleistung abhängiges audioverbesserungssystem
KR20060085392A (ko) * 2005-01-24 2006-07-27 현대자동차주식회사 어레이 마이크 시스템
ES2359511T3 (es) 2005-07-06 2011-05-24 Koninklijke Philips Electronics N.V. Aparato y procedimiento para conformación de haz acústico.
US8077892B2 (en) * 2006-10-30 2011-12-13 Phonak Ag Hearing assistance system including data logging capability and method of operating the same
US8005238B2 (en) 2007-03-22 2011-08-23 Microsoft Corporation Robust adaptive beamforming with enhanced noise suppression
DE602007007581D1 (de) 2007-04-17 2010-08-19 Harman Becker Automotive Sys Akustische Lokalisierung eines Sprechers
US20110246187A1 (en) * 2008-12-16 2011-10-06 Koninklijke Philips Electronics N.V. Speech signal processing
US20130282373A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing
CN104053088A (zh) * 2013-03-11 2014-09-17 联想(北京)有限公司 一种麦克风阵列调整方法、麦克风阵列及电子设备
US10229697B2 (en) * 2013-03-12 2019-03-12 Google Technology Holdings LLC Apparatus and method for beamforming to obtain voice and noise signals
WO2014171920A1 (en) * 2013-04-15 2014-10-23 Nuance Communications, Inc. System and method for addressing acoustic signal reverberation
US9984675B2 (en) * 2013-05-24 2018-05-29 Google Technology Holdings LLC Voice controlled audio recording system with adjustable beamforming
EP2819429B1 (en) * 2013-06-28 2016-06-22 GN Netcom A/S A headset having a microphone
CN106068535B (zh) 2014-03-17 2019-11-05 皇家飞利浦有限公司 噪声抑制
US10269343B2 (en) 2014-08-28 2019-04-23 Analog Devices, Inc. Audio processing using an intelligent microphone
DK3057337T3 (da) * 2015-02-13 2020-05-11 Oticon As Høreapparat omfattende en adskilt mikrofonenhed til at opfange en brugers egen stemme
US10395644B2 (en) * 2016-02-25 2019-08-27 Panasonic Corporation Speech recognition method, speech recognition apparatus, and non-transitory computer-readable recording medium storing a program
EP3566463B1 (en) 2017-01-03 2020-12-02 Koninklijke Philips N.V. Audio capture using beamforming
WO2018127450A1 (en) 2017-01-03 2018-07-12 Koninklijke Philips N.V. Audio capture using beamforming
CN111194445A (zh) * 2017-10-13 2020-05-22 思睿逻辑国际半导体有限公司 重放攻击的检测

Also Published As

Publication number Publication date
EP3566228B1 (en) 2020-06-10
RU2751760C2 (ru) 2021-07-16
JP2020503562A (ja) 2020-01-30
WO2018127483A1 (en) 2018-07-12
JP6665353B2 (ja) 2020-03-13
CN110140171A (zh) 2019-08-16
US11039242B2 (en) 2021-06-15
CN110140171B (zh) 2023-08-22
RU2019124535A3 (ru) 2021-05-21
US20210136489A1 (en) 2021-05-06
BR112019013239A2 (pt) 2019-12-24
EP3566228A1 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
RU2019124546A (ru) Способ и устройство для захвата аудиоинфомации с использованием формирования диаграммы направленности
CN106373587B (zh) 一种实时通信系统中的自动声反馈检测与消除方法
KR200492445Y1 (ko) 음향 거리 비행 시간 보상을 위한 회로
US8259533B2 (en) Method and device for determining ultrasonic detecting cycle
RU2019124534A (ru) Звукозапись с использованием формирования диаграммы направленности
RU2019124543A (ru) Звукозапись с использованием формирования диаграммы направленности
JP6764303B2 (ja) 探知装置、魚群探知機、及びレーダ装置
JP4929441B2 (ja) 水中探知装置
RU2015144337A (ru) Способ и устройство для определения позиции микрофона
JP2009288215A (ja) 音響処理装置及びその方法
TR201807219T4 (tr) Audio kaynağı konum tahmini
EP2829081B1 (en) Conferencing device self test
EP3086137A1 (en) Underwater detection apparatus
JP2006275942A5 (ru)
RU2012130135A (ru) Способ контроля соединений металлических деталей с пластмассами на предмет наличия пустот с помощью ультразвука
RU2019124535A (ru) Захват аудио с использованием формирования диаграммы направленности
JP2020024694A5 (ru)
TW201741662A (zh) 玻璃破裂檢測系統
JP2017219421A5 (ru)
JP4960838B2 (ja) 距離測定装置、距離測定方法、距離測定プログラム、および記録媒体
EP1806593B1 (en) Determination of the adequate measurement window for sound source localization in echoic environments
CN106710602B (zh) 一种声学混响时间估计方法和装置
RU2677835C1 (ru) Способ разрешения тональных гидроакустических сигналов
JP5996325B2 (ja) パルス検出装置
KR101790888B1 (ko) 초음파를 이용한 거리 측정 방법 및 이를 이용한 거리 측정 장치