RU2019124546A - Способ и устройство для захвата аудиоинфомации с использованием формирования диаграммы направленности - Google Patents

Способ и устройство для захвата аудиоинфомации с использованием формирования диаграммы направленности Download PDF

Info

Publication number
RU2019124546A
RU2019124546A RU2019124546A RU2019124546A RU2019124546A RU 2019124546 A RU2019124546 A RU 2019124546A RU 2019124546 A RU2019124546 A RU 2019124546A RU 2019124546 A RU2019124546 A RU 2019124546A RU 2019124546 A RU2019124546 A RU 2019124546A
Authority
RU
Russia
Prior art keywords
beamforming
beamformer
difference
limited
audio output
Prior art date
Application number
RU2019124546A
Other languages
English (en)
Other versions
RU2760097C2 (ru
RU2019124546A3 (ru
Inventor
Корнелис Питер ЯНСЕ
Брайан Бранд Антониус Йоханнес БЛЕМЕМДАЛЬ
Патрик КЕХИХЯН
Рик Йозеф Мартинус ЯНССЕН
Original Assignee
Конинклейке Филипс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Н.В. filed Critical Конинклейке Филипс Н.В.
Publication of RU2019124546A publication Critical patent/RU2019124546A/ru
Publication of RU2019124546A3 publication Critical patent/RU2019124546A3/ru
Application granted granted Critical
Publication of RU2760097C2 publication Critical patent/RU2760097C2/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Claims (38)

1. Устройство для захвата аудиоинформации, устройство содержит:
массив (301) микрофонов;
первый формирователь (305) диаграммы направленности, присоединенный к массиву (301) микрофонов и выполненный с возможностью генерировать первый выходной аудиосигнал со сформированной диаграммой направленности;
множество ограниченных формирователей (309, 311) диаграммы направленности, присоединенных к массиву (301) микрофонов, и каждый из которых выполнен с возможностью генерировать выходной аудиосигнал со сформированной ограниченной диаграммой направленности;
первый адаптер (307) для адаптации параметров диаграммы направленности первого формирователя (305) диаграммы направленности;
второй адаптер (313) для адаптации параметров ограниченной диаграммы направленности для множества ограниченных формирователей (309, 311) диаграммы направленности;
процессор (317) разности для определения меры различия для по меньшей мере одного из множества ограниченных формирователей (309, 311) диаграммы направленности, причем мера различия указывает различие между лепестками диаграммы направленности, сформированными первым формирователем (305) диаграммы направленности и упомянутым по меньшей мере одним из множества ограниченных формирователей (309, 311) диаграммы направленности;
причем второй адаптер (313) выполнен с возможностью адаптировать параметры ограниченной диаграммы направленности с тем ограничением, что параметры ограниченной диаграммы направленности адаптируются только для тех ограниченных формирователей диаграммы направленности из множества ограниченных формирователей (309, 311) диаграммы направленности, для которых была определена мера различия, соответствующая критерию сходства, и
причем процессор (317) разности выполнен с возможностью определять меру различия для первого ограниченного формирователя (309) диаграммы направленности как разность между первым набором параметров и ограниченным набором параметров для первого ограниченного формирователя (309) диаграммы направленности.
2. Устройство по п. 1 дополнительно содержащее детектор (401) источника звука для обнаружения точечных источников звука во вторых выходных аудиосигналах со сформированной диаграммой направленности; и в котором второй адаптер (313) выполнен с возможностью адаптировать параметры ограниченной диаграммы направленности только для тех ограниченных формирователей диаграммы направленности, для которых в выходном аудиосигнале со сформированной ограниченной диаграммой направленности обнаружено присутствие точечного источника звука.
3. Устройство по п. 2, в котором детектор (401) источника звука дополнительно выполнен с возможностью обнаруживать точечные источники звука в первом выходном аудиосигнале со сформированной диаграммой направленности; и устройство дополнительно содержит контроллер (501), выполненный с возможностью устанавливать параметры ограниченной диаграммы направленности для первого ограниченного формирователя (309) диаграммы направленности в ответ на параметры диаграммы направленности первого формирователя (305) диаграммы направленности, если точечный источник звука обнаружен в первом выходном аудиосигнале со сформированной диаграммой направленности, но не в каких-либо выходных аудиосигналах со сформированной ограниченной диаграммой направленности.
4. Устройство по п. 3, в котором контроллер (501) выполнен с возможностью устанавливать параметры ограниченной диаграммы направленности для первого ограниченного формирователя (309) диаграммы направленности в ответ на параметры диаграммы направленности первого формирователя (305) диаграммы направленности, только если мера различия для первого ограниченного формирователя (309) диаграммы направленности превышает порог.
5. Устройство по пп. 2, 3 или 4, в котором детектор (401) источника звука дополнительно выполнен с возможностью обнаруживать источники звука в первом выходном аудиосигнале со сформированной диаграммой направленности; и устройство дополнительно содержит контроллер (501), выполненный с возможностью устанавливать параметры ограниченной диаграммы направленности для первого ограниченного формирователя (309) диаграммы направленности в ответ на параметры диаграммы направленности первого формирователя (305) диаграммы направленности, если точечный источник звука обнаружен в первом выходном аудиосигнале со сформированной диаграммой направленности и во втором выходном аудиосигнале со сформированной диаграммой направленности от первого ограниченного формирователя (309) диаграммы направленности, и для первого ограниченного формирователя (309) диаграммы направленности была определена мера различия, которая превышает порог.
6. Устройство по п. 5, в котором множество ограниченных формирователей (309, 311) диаграммы направленности является активным подмножеством ограниченных формирователей диаграммы направленности, выбранным из пула ограниченных формирователей диаграммы направленности, и контроллер (401) выполнен с возможностью увеличивать количество активных ограниченных формирователей диаграммы направленности, чтобы включить в них первый ограниченный формирователь (309) диаграммы направленности, посредством инициализации ограниченного формирователя диаграммы направленности из пула ограниченных формирователей диаграммы направленности с использованием параметров диаграммы направленности первого формирователя (305) диаграммы направленности.
7. Устройство по любому предшествующему пункту, в котором второй адаптер (313) дополнительно выполнен с возможностью адаптировать только параметры ограниченной диаграммы направленности для первого ограниченного формирователя (309) диаграммы направленности, если удовлетворяется критерий, содержащий по меньшей мере одно требование, выбранное из группы:
- требование, чтобы уровень второго выходного аудиосигнала со сформированной диаграммой направленности от первого ограниченного формирователя (309) диаграммы направленности был выше, чем у любого другого второго выходного аудиосигнала со сформированной диаграммой направленности;
- требование, чтобы уровень точечного источника звука во втором выходном аудиосигнале со сформированной диаграммой направленности от первого ограниченного формирователя (309) диаграммы направленности был выше, чем какой-либо точечный источник звука в любом другом втором выходном аудиосигнале со сформированной диаграммой направленности;
- требование, чтобы отношение сигнала к шуму для второго выходного аудиосигнала со сформированной диаграммой направленности от первого ограниченного формирователя (309) диаграммы направленности превышало порог; и
- требование, чтобы второй выходной аудиосигнал со сформированной диаграммой направленности от первого ограниченного формирователя (309) диаграммы направленности содержал речевую составляющую.
8. Устройство по любому предшествующему пункту, в котором скорость адаптации для первого формирователя (305) диаграммы направленности выше, чем для множества ограниченных формирователей (309, 311) диаграммы направленности.
9. Устройство по любому предшествующему пункту 1, в котором первый формирователь (305) диаграммы направленности и множество ограниченных формирователей (309, 311) диаграммы направленности представляют собой формирователи диаграммы направленности с фильтрацией и комбинацией.
10. Устройство по любому предшествующему пункту, в котором первый формирователь (305) диаграммы направленности является формирователем диаграммы направленности с фильтрацией и комбинацией, содержащим первое множество фильтров диаграммы направленности, каждый из которых имеет первые адаптивные импульсные характеристики, и второй формирователь диаграммы направленности, являющийся ограниченным формирователем диаграммы направленности из множества ограниченных формирователей диаграммы направленности, является формирователем диаграммы направленности с фильтрацией и комбинацией, содержащим второе множество фильтров диаграммы направленности, каждый из которых имеет вторую адаптивную импульсную характеристику; и процессор (317) разности выполнен с возможностью определять меру различия между лепестками диаграммы направленности первого формирователя (303) диаграммы направленности и второго формирователя (305) диаграммы направленности в ответ на сравнение первых адаптивных импульсных характеристик со вторыми адаптивными импульсными характеристиками.
11. Устройство по п. 1, содержащее:
формирователь (305) диаграммы направленности фонового шума, выполненный с возможностью генерировать выходной аудиосигнал со сформированной диаграммой направленности и по меньшей мере один сигнал фонового шума, формирователь диаграммы направленности фонового шума является одним из первого формирователя (305) диаграммы направленности и множества ограниченных формирователей (309, 311) диаграммы направленности;
первый преобразователь (901) для генерирования первого сигнала в частотной области на основе частотного преобразования выходного аудиосигнала со сформированной диаграммой направленности, причем первый сигнал в частотной области представлен значениями частотно-временных фрагментов;
второй преобразователь (903) для генерирования второго сигнала в частотной области на основе частотного преобразования по меньшей мере одного сигнала фонового шума, причем второй сигнал в частотной области представлен значениями частотно-временных фрагментов;
процессор (905) разности, выполненный с возможностью генерировать меры различия частотно-временного фрагмента, причем мера различия частотно-временного фрагмента для первой частоты указывает разность между первой монотонной функцией нормы значения частотно-временного фрагмента первого сигнала в частотной области для первой частоты и второй монотонной функцией нормы значения частотно-временного фрагмента второго сигнала в частотной области для первой частоты;
блок (907) оценки точечного источника звука для генерирования оценки точечного источника звука, указывающей, содержит ли выходной аудиосигнал со сформированной диаграммой направленности точечный источник звука, блок (907) оценки точечного источника звука выполнен с возможностью генерировать оценку точечного источника звука в ответ на комбинированное значение разности для мер различия частотно-временного фрагмента для частот, находящихся выше порога частоты.
12. Устройство захвата аудиоинформации по п. 11, в котором блок (907) оценки точечного источника звука выполнен с возможностью обнаруживать присутствие точечного источника звука в выходном аудиосигнале со сформированной диаграммой направленности в ответ на комбинированное значение разности, превышающее порог.
13. Способ захвата аудиоинформации; причем способ содержит этапы, на которых:
первый формирователь (305) диаграммы направленности, присоединенный к массиву (301) микрофонов, генерирует первый выходной аудиосигнал со сформированной диаграммой направленности;
множество ограниченных формирователей (309, 311) диаграммы направленности, присоединенных к массиву (301) микрофонов, генерируют выходной аудиосигнал со сформированной ограниченной диаграммой направленности;
адаптируют параметры диаграммы направленности первого формирователя (305) диаграммы направленности;
адаптируют параметры ограниченной диаграммы направленности для множества ограниченных формирователей (309, 311) диаграммы направленности;
определяют меру различия для по меньшей мере одного из множества ограниченных формирователей (309, 311) диаграммы направленности, причем мера различия указывает различие между лепестками диаграммы направленности, сформированными первым формирователем (305) диаграммы направленности и упомянутым по меньшей мере одним из множества ограниченных формирователей (309, 311) диаграммы направленности;
причем адаптация параметров ограниченной диаграммы направленности содержит адаптацию параметров ограниченной диаграммы направленности с тем ограничением, что параметры ограниченной диаграммы направленности адаптируются только для тех ограниченных формирователей диаграммы направленности из множества ограниченных формирователей (309, 311) диаграммы направленности, для которых была определена мера различия, которая соответствует критерию сходства, и
причем процессор (317) разности выполнен с возможностью определять меру различия для первого ограниченного формирователя (309) диаграммы направленности как разность между первым набором параметров и ограниченным набором параметров для первого ограниченного формирователя (309) диаграммы направленности.
14. Компьютерный программный продукт, содержащий средство компьютерного программного кода, выполненного с возможностью выполнять все этапы по п. 13, когда упомянутая программа выполняется на компьютере.
RU2019124546A 2017-01-03 2017-12-28 Способ и устройство для захвата аудиоинформации с использованием формирования диаграммы направленности RU2760097C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17150098 2017-01-03
EP17150098.6 2017-01-03
PCT/EP2017/084679 WO2018127447A1 (en) 2017-01-03 2017-12-28 Method and apparatus for audio capture using beamforming

Publications (3)

Publication Number Publication Date
RU2019124546A true RU2019124546A (ru) 2021-02-05
RU2019124546A3 RU2019124546A3 (ru) 2021-05-05
RU2760097C2 RU2760097C2 (ru) 2021-11-22

Family

ID=57777500

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019124546A RU2760097C2 (ru) 2017-01-03 2017-12-28 Способ и устройство для захвата аудиоинформации с использованием формирования диаграммы направленности

Country Status (7)

Country Link
US (1) US10771894B2 (ru)
EP (1) EP3566461B1 (ru)
JP (1) JP7041156B6 (ru)
CN (1) CN110140360B (ru)
BR (1) BR112019013555A2 (ru)
RU (1) RU2760097C2 (ru)
WO (1) WO2018127447A1 (ru)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107785029B (zh) * 2017-10-23 2021-01-29 科大讯飞股份有限公司 目标语音检测方法及装置
GB2578715A (en) * 2018-07-20 2020-05-27 Nokia Technologies Oy Controlling audio focus for spatial audio processing
CN108932949A (zh) * 2018-09-05 2018-12-04 科大讯飞股份有限公司 一种参考信号获取方法及装置
US11277685B1 (en) * 2018-11-05 2022-03-15 Amazon Technologies, Inc. Cascaded adaptive interference cancellation algorithms
US11404073B1 (en) * 2018-12-13 2022-08-02 Amazon Technologies, Inc. Methods for detecting double-talk
GB2584629A (en) * 2019-05-29 2020-12-16 Nokia Technologies Oy Audio processing
CN110517703B (zh) * 2019-08-15 2021-12-07 北京小米移动软件有限公司 一种声音采集方法、装置及介质
CN111814688B (zh) * 2020-07-09 2023-10-13 成都傅立叶电子科技有限公司 基于FFTc的数字波束形成角度捕获方法及装置、存储介质
CN112466326B (zh) * 2020-12-14 2023-06-20 江苏师范大学 一种基于transformer模型编码器的语音情感特征提取方法
EP4250767A1 (en) * 2022-03-21 2023-09-27 GN Audio A/S Microphone apparatus

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7146012B1 (en) 1997-11-22 2006-12-05 Koninklijke Philips Electronics N.V. Audio processing arrangement with multiple sources
DE60042335D1 (de) * 1999-12-24 2009-07-16 Koninkl Philips Electronics Nv Mehrkanal-audiosignalverarbeitungsgerät
DE60129955D1 (de) * 2000-05-26 2007-09-27 Koninkl Philips Electronics Nv Verfahren und gerät zur akustischen echounterdrückung mit adaptiver strahlbildung
AU2003242921A1 (en) 2002-07-01 2004-01-19 Koninklijke Philips Electronics N.V. Stationary spectral power dependent audio enhancement system
US20050147258A1 (en) * 2003-12-24 2005-07-07 Ville Myllyla Method for adjusting adaptation control of adaptive interference canceller
EP1905268B1 (en) * 2005-07-06 2011-01-26 Koninklijke Philips Electronics N.V. Apparatus and method for acoustic beamforming
JP4675381B2 (ja) 2005-07-26 2011-04-20 本田技研工業株式会社 音源特性推定装置
EP1923866B1 (en) * 2005-08-11 2014-01-01 Asahi Kasei Kabushiki Kaisha Sound source separating device, speech recognizing device, portable telephone, sound source separating method, and program
US7813923B2 (en) * 2005-10-14 2010-10-12 Microsoft Corporation Calibration based beamforming, non-linear adaptive filtering, and multi-sensor headset
EP2308044B1 (en) * 2008-06-25 2011-10-12 Koninklijke Philips Electronics N.V. Audio processing
EP2146519B1 (en) * 2008-07-16 2012-06-06 Nuance Communications, Inc. Beamforming pre-processing for speaker localization
US8401206B2 (en) * 2009-01-15 2013-03-19 Microsoft Corporation Adaptive beamformer using a log domain optimization criterion
US8644517B2 (en) * 2009-08-17 2014-02-04 Broadcom Corporation System and method for automatic disabling and enabling of an acoustic beamformer
JP5175262B2 (ja) 2009-12-02 2013-04-03 日本電信電話株式会社 音声取得装置
US9215527B1 (en) * 2009-12-14 2015-12-15 Cirrus Logic, Inc. Multi-band integrated speech separating microphone array processor with adaptive beamforming
US9736604B2 (en) * 2012-05-11 2017-08-15 Qualcomm Incorporated Audio user interaction recognition and context refinement
CN102969002B (zh) * 2012-11-28 2014-09-03 厦门大学 一种可抑制移动噪声的麦克风阵列语音增强装置
CN103856871B (zh) * 2012-12-06 2016-08-10 华为技术有限公司 麦克风阵列采集多声道声音的装置及其方法
US10229697B2 (en) * 2013-03-12 2019-03-12 Google Technology Holdings LLC Apparatus and method for beamforming to obtain voice and noise signals
US20140278395A1 (en) * 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Determining a Motion Environment Profile to Adapt Voice Recognition Processing
JP6134078B1 (ja) * 2014-03-17 2017-05-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ノイズ抑制
US20150379990A1 (en) 2014-06-30 2015-12-31 Rajeev Conrad Nongpiur Detection and enhancement of multiple speech sources

Also Published As

Publication number Publication date
CN110140360B (zh) 2021-07-16
US20200145752A1 (en) 2020-05-07
RU2760097C2 (ru) 2021-11-22
BR112019013555A2 (pt) 2020-01-07
JP7041156B6 (ja) 2022-05-31
US10771894B2 (en) 2020-09-08
JP7041156B2 (ja) 2022-03-23
RU2019124546A3 (ru) 2021-05-05
EP3566461B1 (en) 2021-11-24
JP2020503780A (ja) 2020-01-30
EP3566461A1 (en) 2019-11-13
WO2018127447A1 (en) 2018-07-12
CN110140360A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
RU2019124546A (ru) Способ и устройство для захвата аудиоинфомации с использованием формирования диаграммы направленности
US10959018B1 (en) Method for autonomous loudspeaker room adaptation
CN107976651B (zh) 一种基于麦克风阵列的声源定位方法及装置
RU2019124543A (ru) Звукозапись с использованием формирования диаграммы направленности
US10777214B1 (en) Method for efficient autonomous loudspeaker room adaptation
US10735887B1 (en) Spatial audio array processing system and method
RU2019124534A (ru) Звукозапись с использованием формирования диаграммы направленности
WO2009044528A1 (ja) 超音波測定装置および超音波測定方法
De Seixas et al. Preprocessing passive sonar signals for neural classification
JP2009288215A (ja) 音響処理装置及びその方法
US9699549B2 (en) Audio capturing enhancement method and audio capturing system using the same
US20190267018A1 (en) Signal processing for speech dereverberation
US10049685B2 (en) Integrated sensor-array processor
US10834505B2 (en) Apparatus and a method for unwrapping phase differences
US8452592B2 (en) Signal separating apparatus and signal separating method
Hafezi et al. Multiple source localization using estimation consistency in the time-frequency domain
JP2017219421A5 (ru)
JP5007400B2 (ja) 点音源検出方法
Pasha et al. Informed source location and DOA estimation using acoustic room impulse response parameters
RU2019124535A (ru) Захват аудио с использованием формирования диаграммы направленности
Firoozabadi et al. Combination of nested microphone array and subband processing for multiple simultaneous speaker localization
JP7000963B2 (ja) ソーナー装置、音響信号判別法、及びプログラム
Pasha et al. Clustered multi-channel dereverberation for ad-hoc microphone arrays
Wang et al. Microphone Array Based Speech Enhancement Using Independent Vector Analysis
US11483644B1 (en) Filtering early reflections

Legal Events

Date Code Title Description
HC9A Changing information about inventors