RU2495506C2 - Устройство и способ расчета параметров управления фильтра эхоподавления и устройство и способ расчета величины задержки - Google Patents
Устройство и способ расчета параметров управления фильтра эхоподавления и устройство и способ расчета величины задержки Download PDFInfo
- Publication number
- RU2495506C2 RU2495506C2 RU2010131421/08A RU2010131421A RU2495506C2 RU 2495506 C2 RU2495506 C2 RU 2495506C2 RU 2010131421/08 A RU2010131421/08 A RU 2010131421/08A RU 2010131421 A RU2010131421 A RU 2010131421A RU 2495506 C2 RU2495506 C2 RU 2495506C2
- Authority
- RU
- Russia
- Prior art keywords
- signal
- signals
- value
- delay
- energy
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M9/00—Arrangements for interconnection not involving centralised switching
- H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
- H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Abstract
Изобретение относится к устройствам и способам расчета параметров управления заграждающим фильтром. Техническим результатом является улучшение качества звучания акустических систем за счет подавления отраженных сигналов пропорционально уровню шумов. Устройство (200) для расчета параметров управления фильтром подавления шума (210), предназначенное для фильтрования второго аудиосигнала с целью устранения эхосигнала на основании первого аудиосигнала, включает в себя вычислитель (220), имеющий в своей конструкции определитель значения (230) для вычисления, по меньшей мере, одного энергопоказателя для полосового сигнала, по меньшей мере, двух последовательных во времени блоков данных, по меньшей мере, одного сигнала из группы сигналов. Вычислитель (220) также включает в себя определитель среднего значения (250) для определения, по меньшей мере, одного среднего значения, по меньшей мере, одного рассчитанного энергопоказателя для полосового сигнала. Вычислитель (220) также включает в себя модификатор (260) для корректировки, по меньшей мере, одного энергопоказателя для полосового сигнала на базе рассчитанного среднего значения для полосового сигнала. Вычислитель (220) также включает в себя устройство расчета параметров управления (270) для фильтра подавления (210) на базе, по меньшей мере, одного скорректированного энергопоказателя. 8 н. и 24 з.п. ф-лы, 14 ил., 2 прилож.
Description
Варианты осуществления предлагаемого изобретения относятся к устройствам и способам расчета параметров управления заграждающим фильтром, к устройствам и способам подавления сигналов и к устройствам и способам расчета величины задержки, которые могут применяться, например, в системах конференцсвязи, коммуникации и других, где возможно возникновение акустического эха.
Предпосылки
Акустическое эхо возникает, например, когда тональные сигналы, звуки и шумы из громкоговорителя улавливаются микрофоном, находящимся в том же самом помещении или в той же акустической среде. В системах телекоммуникации эхо возвращается к абоненту на другом конце линии в виде акустических сигналов обратной связи, которые он воспринимает с задержкой как собственную речь. В данном случае отраженные сигналы являются отвлекающей помехой и могут даже нарушать двухсторонний диалоговый режим связи. Кроме того, акустическое эхо может порождать микрофонный эффект завывания и другие неустойчивые состояния акустического контура обратной связи.
При этом звуковой сигнал, уловленный самим микрофоном, отличается от сигнала, поступившего от этого микрофона на соответствующий громкоговоритель, с одной стороны, в силу разнородности акустической среды в, которой размещены микрофон и громкоговоритель, и, с другой стороны, в силу разнородности источников акустического шума. Микрофонный сигнал может соединять в себе шумы, по меньшей мере, от таких источников, как внешняя акустическая среда, громкоговоритель, микрофон и сопряженные с ними контуры.
Присутствие стационарных или квазистационарных помех и шумов в сигнале микрофона в таких случаях может существенно влиять на получаемое качество звучания системы в целом.
Публикация WO 2006/111370 A1 относится к способу и устройству для устранения эха в многоканальном аудиосигнале. Контроль акустического эхосигнала и шумоподавление являются важными составляющими любой автоматической телекоммуникационной сети, такой как система телефонной, аудио или видео конференцсвязи. Здесь также необходимо принимать во внимание ограничения по пропускной способности и трудоемкость вычислений. Способ обработки многоканальных аудиосигналов громкоговорителя и, по крайней мере, одного микрофонного сигнала, описанный в настоящей публикации, включает в себя шаги по преобразованию водного сигнала микрофона в кратковременные входные спектры микрофона, расчет на базе сигналов громкоговорителя комбинированного кратковременного спектра сигнала громкоговорителя, расчет на базе входного сигнала микрофона комбинированного кратковременного спектра сигнала микрофона, анализ амплитудного спектра или спектральной плотности мощности эхосигнала в смешанном кратковременном спектре сигнала микрофона, расчет фильтра усиления для корректировки амплитуды входного кратковременного спектра микрофона, применение фильтра усиления, по крайней мере, к одному входному спектру микрофона, и преобразование отфильтрованного входного спектра микрофона во временную область.
Основываясь на данном уровне техники, при создании настоящего изобретения была поставлена цель улучшить качество звучания акустических систем за счет подавления отраженных сигналов пропорционально уровню шумов.
Этой цели удалось достичь с помощью устройства по пункту 1, заграждающего фильтра по п.20, способа по п.21 или 22, или с применением компьютерной программы по п.32 формулы изобретения.
Шумы оказывают негативное воздействие и на функционирование других соответствующих элементов цепей обработки сигналов, будь это сигналы аналоговые или цифровые, электрические или оптические. В частности, в данной публикации рассматриваются контуры обработки сигналов, которые сначала снимают информацию с соответствующих сигналов, а затем на базе полученных данных воздействуют на исходные сигналы.
Примером такого контура обработки сигнала могут служить цепи задержки, в которых величина задержки выводится на основе сравнения двух соответствующих сигналов. Наличие шумовых составляющих в одном или более сигналов может существенно снизить эффективность работы определенного контура обработки сигналов. Следовательно, например, в цепи задержки шумы могут отрицательно влиять на качество и скорость соотнесения определенной величины задержки с формой волны другого сигнала.
Поэтому, исходя из данного известного уровня техники, другой поставленной задачей настоящего изобретения является совершенствование способа расчета величины задержки для устройства задержки, который позволил бы оптимизировать вычисление значения задержки.
Эта задача решается с использованием вычислителя величины задержки по п.23 формулы изобретения, способа расчета величины задержки по п.31 или программы по п.32.
Краткая сущность
Устройство для расчета параметров управления фильтром компенсации второго аудиосигнала с целью подавления эха первого аудиосигнала конструктивно включает в себя вычислитель. В состав вычислителя, в свою очередь, входит определитель значения, по меньшей мере, одного энергопоказателя полосового сигнала, по крайней мере, двух последовательных во времени блоков данных, по меньшей мере, одного сигнала из группы сигналов. Группа сигналов содержит первый аудиосигнал, второй аудиосигнал и сигнал, выведенный на основе первого или второго аудиосигналов. Далее, вычислитель включает в себя определитель среднего значения, служащий для выведения, по меньшей мере, одного среднего значения, как минимум, одного измеренного энергопоказателя для полосового сигнала. Кроме того, в конструкцию вычислителя включен модификатор, предназначенный для корректировки, по меньшей мере, одного энергопоказателя для полосового сигнала на основе выведенного среднего для этого полосового сигнала. Кроме уже названного, вычислитель содержит устройство расчета параметров управления заграждающим фильтром, выполняющего вычисления на основе, по крайней мере, одного скорректированного энергопоказателя для данного полосового сигнала.
Реализация относящегося к изобретению заграждающего фильтра, предназначенного для фильтрования второго аудиосигнала с целью подавления эха, которое возникает из первого аудиосигнала, включает в себя вычислитель, содержащий определитель, по меньшей мере, одного энергопоказателя для полосового сигнала, как минимум, двух последовательных во времени блоков данных, по крайней мере, одного сигнала из группы сигналов. Группа сигналов состоит из первого аудиосигнала, второго аудиосигнала и сигнала, сформированного из первого или второго аудиосигнала. Далее, вычислитель включает в себя определитель среднего значения, служащий для выведения, по меньшей мере, одного среднего значения, как минимум, одного измеренного энергопоказателя для полосового сигнала. Кроме того, в конструкцию вычислителя включен модификатор, предназначенный для корректировки, по меньшей мере, одного энергопоказателя для полосового сигнала на основе выведенного среднего для этого полосового сигнала. Одновременно, в вычислитель введено фильтрующее устройство подавления акустических шумов для очистки микрофонного сигнала с использованием параметров управления, базирующихся, по меньшей мере, на одном скорректированном энергопоказателе для полосового сигнала.
Конструкция настоящего изобретения в виде вычислителя величины задержки для устройства задержки, предназначенного для обеспечения задержки первого сигнала относительно второго сигнала, включает в себя собственно вычислитель, содержащий определитель значения, как минимум, одного энергопоказателя для полосового сигнала первого сигнала и второго сигнала, по меньшей мере, двух последовательных во времени блоков данных первого и второго сигналов. Помимо этого, вычислитель включает в себя определитель среднего значения, предназначенный для выведения, по крайней мере, одного среднего значения, как минимум, одного рассчитанного энергопоказателя для полосового сигнала для первого сигнала и для второго сигнала. Далее, в конфигурацию включен модификатор, предназначенный для корректировки, по меньшей мере, одного энергопоказателя для полосового сигнала первого сигнала и полосового сигнала второго сигнала, исходя из рассчитанного среднего значения для полосового сигнала первого и второго сигналов. Также, в вычислитель введено устройство расчета величины задержки, для вычисления величины задержки на основе скорректированного энергопоказателя первого и второго сигналов.
Варианты реализации представляемого изобретения основаны на заключении, что улучшение качества звучания при использовании системы подавления эхосигналов, порождаемых источниками шумов, возможно путем предварительной коррекции, по меньшей мере, одного энергопоказателя для полосового сигнала относительно среднего значения до начала расчета параметров управления фильтром подавления и/или шумоподавления на основе, по крайней мере, одного скорректированного энергопоказателя. Такой подход к вносимым шумам возможен не просто за счет усреднения и корректировки энергопоказателя для полосового сигнала, когда учитывается статистическое среднее значение нуля во временной области относительно соответствующих мгновенных значений (величин удлинения), но благодаря среднему значению, отличному от нуля относительно энергопоказателя для полосового сигнала.
Посредством усреднения и последующей корректировки энергопоказателя на базе соотнесенного среднего значения можно отделить устойчивые паразитные сигналы от полезного сигнала до расчета управляющих параметров для фильтра подавления и/или до фактической полосно-заграждающей фильтрации. Во многом благодаря этому в ряде вариантов осуществления данного изобретения стало возможно направлять действие заграждающего фильтра и/или сопутствующей управляющей информации на реальный полезный сигнал с одновременным сопоставлением его с побочными шумовыми составляющими.
При реализации предлагаемого изобретения энергопоказатель в данном случае может быть пропорциональным показателю степени действительной величины как положительному целому числу. Аналогично энергопоказатель может быть пропорционален показателю степени модуля (абсолютной величины) как положительному действительному числу. Таким образом, в реализациях изобретения энергопоказатель может быть величиной энергии (квадратом модуля) или значением, пропорциональным величине энергии. Первый аудиосигнал здесь может быть сигналом громкоговорителя, а второй аудиосигнал - сигналом микрофона.
Таким образом, при техническом исполнении данного изобретения вычислитель величин может предназначаться также для расчета множества энергетических показателей для одного блока данных, но для разных полосовых сигналов с различными характеристическими частотами. Оценивая в целом, полосовые сигналы здесь представляют собой спектральные, частотно-близкие или частотно-связанные сигналы, с которыми соотнесена, по крайней мере, одна характеристическая частота. Эти характеристические частоты могут быть, например, средней частотой, начальной частотой, конечной частотой или другой номинальной частотой. Таким образом, образцы полосовых сигналов представляют спектральную информацию анализирующего банка фильтров Фурье, сигналы поддиапазонов или частичных диапазонов, сигналы ограниченного диапазона частот или сигналы КЗФ (квадратурно-зеркального фильтра).
При осуществлении изобретения энергопоказатель для соответствующего полосового сигнала, усредненное по времени соотнесенное среднее значение и соответствующее число скорректированных энергетических показателей, учитывающих конкретные средние значения, которые в последующем используются при расчете управляющих параметров для фильтра звукового шумоподавления или непосредственно для компенсации акустических шумов, могут быть, таким образом, индивидуально вычислены не только для каждого полосового сигнала, но и для множества соответствующих полосовых сигналов или для всех полосовых сигналов.
Данное изобретение может быть реализовано с применением расчета среднего значения на основе скользящего среднего. В зависимости от конкретного варианта исполнения скользящее среднее или усреднение должны базироваться только на блоках данных, предшествующих текущему блоку данных, независимо от него. Таким образом, например, может быть выполнено усреднение в реальном времени.
Реализация изобретения предусматривает возможность внесения корректировок на основании вычитания среднего значения из соотносящегося энергопоказателя. Конструктивные решения могут, кроме того, включать в себя дополнительный фильтрующий элемент, а также устройство задержки, причем устройство задержки предназначается для задержки сигнала, формы волны или временной последовательности значений, например, временной последовательности показателей энергии, на величину задержки. Такая величина задержки может быть определена, исходя из скорректированных энергетических показателей, энергопоказателей, взятых без изменения, или из других показателей.
Технические решения здесь базируются также на определении, что улучшить расчеты величины задержки для устройства задержки можно путем вычисления энергетических показателей для, по меньшей мере, одного полосового сигнала первого сигнала и второго сигнала, используя эти показатели для усреднения и корректируя их соответствующим образом, исходя из выведенных средних значений. Благодаря этому в диапазоне частот полосового сигнала или в пределах характеристической частоты этого полосового сигнала могут быть устранены составляющие шумового или стационарного сигнала, проявляющие себя в рамках энергопоказателя смещением нулевой точки. Путем внесения соответствующих корректировок в полосовой сигнал с учетом энергетического показателя может быть устранено искажение, которое, как правило, пропадает во временном среднем в форме шумового сигнала относительно соответствующей частоты.
Кроме того, благодаря реализации данного изобретения быстрее и надежнее можно рассчитать величину задержки, с помощью которой, например, проще адаптировать формы волн первого и второго сигналов.
Краткое описание фигур
Более подробно конструктивные решения настоящего изобретения будут рассмотрены и графически проиллюстрированы ниже.
На фиг.1 схематически отображен процесс возникновения и устранения эхопомех.
На фиг.2 представлена принципиальная блочная схема реализации вычислителя параметров управления фильтром подавления акустических шумов.
На фиг.3 дана упрощенная принципиальная схема для более общего отображения реализации изобретения.
На фиг.4 отображена принципиальная блочная схема расширенной реализации изобретения.
На фиг.5 дана принципиальная блочная схема устройства расчета величины задержки как элемента конструктивного решения, представленного на фиг.4.
На фиг.6а показана временная динамика кратковременного спектра и его усредненное по времени значение для сигнала громкоговорителя частотой 1000 Гц;
на фиг.6b дано сравнение различных фильтров предварительного анализа эхосигнала;
на фиг.6с представлена временная динамика степени предсказуемости эхосигнала.
На фиг.7 представлена схема дальнейшей реализации изобретения.
На фиг.8 дана принципиальная схема реализации изобретения.
На фиг.9 дана принципиальная схема технического решения устройства для расчета
управляющих параметров и фильтра звукового шумоподавления.
На фиг.10 дана принципиальная схема технического решения устройства для расчета параметров управления фильтром подавления акустических шумов по нескольким каналам.
На фиг.11 дана принципиальная схема варианта реализации изобретения с дополнительным фильтром звукового шумоподавления.
На фиг.12 дан пример группирования по частотным группам банка фильтров однородного оконного преобразования Фурье.
На фиг.13a показаны окна фильтров-интерполяторов Ханна.
На фиг.13b дано сравнение коэффициентов фильтра усиления в виде частотной функции;
на фиг.14 представлена принципиальная блочная схема конструктивного решения вычислителя величины задержки.
Перечень цифровых обозначений на чертежах
100 громкоговоритель;
110 микрофон;
120 акустическая среда;
130 сигнал громкоговорителя;
140 сигнал микрофона;
150 прямой канал передачи;
160 побочный канал передачи;
170 контур устранения эха;
200 устройство;
210 фильтр звукового шумоподавления;
220 вычислитель;
230 вычислитель величин;
240 входной канал;
250 определитель среднего значения;
260 модификатор;
270 устройство расчета параметров управления;
280 дополнительный вход;
290 выход;
300 блок;
310 анализатор;
320 фильтр предварительного анализа эхосигнала;
325 контур подавления эхосигнала;
330 время-частотный преобразователь;
340 устройство задержки;
350 анализатор;
360 вычислитель параметров управления;
370 частотно-временной преобразователь;
380 вычислитель величины задержки;
390 вход;
400 вычислитель функции когерентности;
410 прогнозатор коэффициента усиления эхосигнала;
420 оптимизатор;
430 кратковременная спектральная плотность мощности;
440 средняя кратковременная спектральная плотность мощности;
450 фигурная скобка;
460 стрелка;
470 интегрированное счетное устройство;
480 фильтр предварительного анализа эхосигнала;
490 комбинатор;
500 фильтр подавления акустических шумов;
510 вычислитель;
520 фильтр подавления акустических шумов;
600 линия [коэффициентов фильтров усиления при интерполяции];
700 устройство [расчета величины задержки];
710 устройство задержки;
720 входной сигнал;
730 выходной сигнал;
740 частотно-временной преобразователь;
750 определитель значения;
760 определитель среднего значения;
770 модификатор;
780 вычислитель величины задержки;
790 вычислитель;
Описание реализации изобретения
Перед подробным описанием вариантов реализации данного изобретения в контексте фигур со 2 по 14 необходимо более детально рассмотреть проблему устранения отраженных сигналов, опираясь на фиг.1.
Акустические эхосигналы возникают, например, при улавливании микрофоном тонов, звуков или шумов от громкоговорителя, расположенного в том же помещении или в той же акустической среде. В телекоммуникационных системах эхо возвращается к абоненту на другом конце линии в виде акустических сигналов обратной связи, которые он воспринимает с запозданием как собственную речь. Эхо является отрицательным отвлекающим фактором и даже может привести к нарушению полноценной интерактивной двухсторонней связи. Более того, акустические эхосигналы могут возбуждать эффекты завывания и другие неустойчивые состояния аудиоконтура обратной связи.
В полнодуплексных системах дистанционной связи с управлением „без рук" отраженные сигналы подавляют, ослабляют, или устраняют взаимодействие между громкоговорителем и микрофоном. На фиг.1 показана схема возникновения отраженного сигнала. На фиг.1 показано расположение громкоговорителя 100 и микрофона 110 в акустической среде 120, которая может сформироваться, например, в комнате. Здесь, на фиг.1, сигнал 130, или x[n], поступающий на громкоговоритель 100, преобразуется в акустические волны. Индекс n здесь является показателем частоты дискретизации сигнала громкоговорителя x[n]. Индекс n - целое число.
Микрофон 110 улавливает звуковые волны и преобразует их в микрофонный сигнал 140, или y[n], на фиг.1. Микрофон 110 воспринимает также доходящие до него различными путями звуковые волны сигнала x[n] громкоговорителя 100. Помимо непосредственной трансляции 150 существуют опосредованные пути прохождения звуковых волн от громкоговорителя 100 к микрофону 110, показанные на фиг.1 в виде двух траекторий 160-1 и 160-2, за счет их отражения в акустической среде 120. Составляющие 160 транслируемого сигнала, таким образом, проходят по косвенным каналам.
Следовательно, если сигнал x[n] громкоговорителя 100 является речевым сигналом от удаленного абонента телекоммуникационной сети, так называемым сигналом дальнего конца, он также улавливается микрофоном 110. Другими словами, сигнал дальнего конца после выхода из динамика 100 поступает на микрофон 110, проходя прямым, опосредованным или отраженным путями или по каналам связи 150, 160. Поэтому микрофон 110 воспринимает не только речь, локально звучащую на ближайшем конце телекоммуникационной системы, но и отраженный сигнал, пересылаемый обратно пользователю на дальнем конце.
Чтобы взять эту проблему под контроль, в телекоммуникационные системы часто включают схему гашения отраженного сигнала, или контур эхоподавления, или, как их еще называют, контур компенсации эха, или блок устранения эха 170, на который в дальнейшем поступают микрофонный сигнал y[n] и сигнал от громкоговорителя x[n], что показано на фиг.1. Контур устранения эха 170 формирует сигнал е[n], из которого эхо удалено или частично удалено, или в котором эхо частично компенсировано.
На фиг.1 представлена базовая конфигурация системы гашения акустического эхосигнала. Сигнал громкоговорителя x смешивается с сигналом микрофона y. По идеальной схеме эхо устраняется с помощью операции подавления, а новый речевой сигнал, образующийся на этом конце системы связи, поступает для дальнейшей передачи.
При традиционном подходе акустический эхокомпенсатор (АЕС) параллельно встраивают в каналы прохождения отраженного сигнала 150, 160, что описано в [1]. Эхокомпенсатор анализирует цифровую реплику отраженного сигнала и затем вычитает ее из измеренного сигнала микрофона. Стандартные методы удаления акустического эха основываются на предположении, что путь прохождения эхосигнала (совокупность каналов передачи 150, 160) может быть смоделирован с помощью фильтра КИХ (с конечной импульсной характеристикой), с целью его дальнейшего устранения, что также описано в [1]. Фильтры КИХ также называют фильтрами с конечной длительностью импульсной характеристики.
В данном случае в формировании эха учитывают разнообразное множество параметров, включая характеристики громкоговорителя 100, микрофона 110, акустической среды 120, а также свойства и особенности других объектов. К числу факторов влияния могут быть отнесены, например, изменения и градиенты температуры окружающего воздуха как следствие воздействия солнечных лучей или иных источников тепла, и многие другие.
В силу того, что условия формирования эхосигнала могут быть неизвестны и меняться в течение рабочего времени, линейный фильтр отраженного акустического сигнала желательно применять адаптивно. Для моделирования пути прохождения эха наиболее часто требуются и применяются фильтры КИХ с длительностью, не превышающей несколько сотен миллисекунд, что предполагает высокую вычислительную трудоемкость. Число коэффициентов фильтрации фильтра называется здесь длиной фильтра КИХ, то есть фильтра, имеющего импульсную характеристику с конечной длительностью. Если при обозначении параметров здесь использованы числа в виде безразмерной величины, или какие-либо величины указаны в секундах, миллисекундах или других единицах времени, это относится к частоте отсчетов (частоте дискретизации), используемой при цифровой обработке сигналов или в работе аналого-цифровых и цифро-аналоговых преобразователей.
Тем не менее, на практике стандартная процедура эхоподавления не дает желаемые положительные результаты из-за продолжительной реверберации эхосигнала (хвостовых эффектов), нелинейных составляющих эха и проблем конвергенции. Вышеупомянутые эффекты хвоста эха часто возникают в результате недостатков моделирования процесса формирования эхосигнала, в то время как нелинейные компоненты эха являются следствием вибраций или нелинейных отклонений малобюджетного или дешевого аудиооборудования. Упомянутые проблемы конвергенции, например, возникают из-за нестабильности путей прохождения эха во времени. Подробная информация по этому вопросу представлена в [2].
Поэтому возникает вопрос об объединении компенсаторов акустических эхосигналов с нелинейным постпроцессором для ликвидации остаточного эха, не устраненного эхокомпенсатором. Более подробное освещение этого вопроса можно найти в [3]. Принято подавление остаточного эха осуществлять частотно-избирательным методом, как предлагается в [4]. Действительно, почти все акустические эхокомпенсаторы дооснащаются постпроцессорами, поскольку слишком часто они не могут ослабить эхо так, чтобы его не было слышно.
Недавно был предложен ряд устройств подавления акустических эхосигналов, работающих в поддиапазоне аналогично вышеупомянутым нелинейным постпроцессорам, но без использования компенсатора акустического эхосигнала и без необходимости оценки импульсной характеристики прохождения отраженного сигнала, о чем сообщалось в [5] и [6]. Сообщается, что эти системы, характеризуясь низкой вычислительной трудоемкостью и надежностью, обеспечивают высокую дуплексность.
В алгоритме эхоподавления, предложенном в [6], для расчета спектров сигналов громкоговорителя и микрофона применяется оконное преобразование Фурье (ОПФ). Задержка, или величина задержки d, между сигналами громкоговорителя, преобразованными с помощью ОПФ, выбирается с учетом большей части импульсной характеристики эхосигнала. Затем выполняется оценка фильтра анализа действительного эхосигнала, имитирующего частичное воздействие условий формирования эха. Чтобы предварительно оценить амплитудный спектр эхосигнала, к спектру сигнала громкоговорителя применяется расчетная величина задержки и фильтр предварительного анализа эхосигнала. С использованием предварительной оценки амплитудного спектра эхосигнала, рассчитывается действительный фильтр эхоподавления и применяется для спектра микрофонного сигнала для подавления эха.
Однако слабость описанных выше систем подавления эха (AES) заключается в том, что они не вполне справляются со стационарными шумами сигнала микрофона. Из дальнейших объяснений станет видно, что стационарный шум влияет (вносит помехи) на оценку отраженного сигнала, что ухудшает работу таких систем, если соотношение сигнал-шум анализируемых сигналов не высоко. В зависимости от варианта исполнения или модели подобное влияние называют также отклонением от математического ожидания, смещением нулевой точки или систематической девиацией предсказанной величины.
На фиг.2 показана принципиальная схема устройства для расчета управляющих параметров 200 для фильтра подавления акустических шумов 210, изображенного пунктирной рамкой как опция. Устройство 200 состоит из вычислителя 220, который, в свою очередь, содержит определитель значения 230, вход которого соединен с входным каналом 240 устройства 200. Определитель среднего значения 250 на входе соединен с выходом определителя значения 230, который, в свою очередь, параллельно ему подключен к первому вводу в модификатор 260. Выход определителя среднего значения 250 сопряжен со вторым вводом в модификатор 260. Вывод модификатора 260 соединен с входом устройства расчета управляющих параметров 270, подготавливающего и выводящего управляющую информацию для фильтра акустического шумоподавления 210, являющегося одновременно терминалом устройства 200.
Для выполнения этой функции фильтр звукового шумоподавления 210 оснащен каналом ввода данных управления. В зависимости от конкретной конфигурации системы, в которую введены устройство 200 и фильтр шумозаграждения 210, сигнал, подаваемый на вход 240, может одновременно посылаться на вход шумозаграждающего фильтра 210. Дополнительно или альтернативно на вход фильтра 280 может подаваться другой сигнал. Один или оба сигнала, введенные в фильтр глушения акустических шумов 210, проходят фильтрацию с учетом управляющих данных.
Учитывая назначение устройства 200 как обеспечивающего параметры управления фильтром акустического шумоподавления 210, на вход 240 подается, по меньшей мере, один сигнал, который может быть сигналом громкоговорителя, сигналом микрофона, о которых говорилось ранее, или производным от них обоих или одного из них. Из дальнейшего более подробного обсуждения будет видно, что устройство 200 способно принимать и обрабатывать больше одного сигнала.
Сигналы, поступающие на устройство 200, представляют собой последовательные во времени блоки данных, называемые также фреймами (кадрами). Каждое из смонтированных в определенном порядке средств обработки сигнала в конструкции настоящего изобретения обрабатывает один или более блоков данных во временной последовательности, при этом предшествующие блоки данных учитываются дополнительно. Это отражает соответствующий данному изобретению типичный сценарий приложения устройств 200 для запуска или реализации процесса эхоподавления в режиме реального времени.
При приеме сигнала на входе 240 устройства 200, по меньшей мере, один блок данных поступает на определитель значения 230, который, в свою очередь, вычисляет энергопоказатель, как минимум, для одного полосового сигнала. Здесь полосовые сигналы соотносятся по частоте, как, например, сигналы, формируемые анализирующим банком фильтров Фурье, анализирующим банком фильтров поддиапазонов или анализирующим КЗФ- банком.
Характеристическая частота, которая, например, представляет низкую начальную частоту, верхнюю конечную частоту, среднюю частоту или другую типичную частоту, соотнесена здесь с каждым полосовым сигналом. Если, например, полосовые сигналы представляют собой спектральные величины банка фильтров анализа Фурье, частота, выраженная соответствующей спектральной величиной, может, например, быть принята за характеристическую частоту. Для подполосовых сигналов или сигналов КЗФ с более широким диапазоном соотношения частот характеристическая частота может быть одной из вышеупомянутых типичных частот.
В зависимости от конкретной версии реализации устройства 200 в соответствии с данным изобретением определитель значения 230 также может обеспечивать на выходе больше одного энергетического показателя более чем для одного полосового сигнала на базе одного блока данных, однозначно распознаваемого по временному индексу. Следовательно, можно, например, определить соответствующие энергопоказатели для множества или для всех сигналов поддиапазона.
Энергетические показатели могут выражать, например, величину энергии определенного полосового сигнала или значение, пропорциональное ей. Это также может быть величина, пропорциональная степени значения рассматриваемого полосового сигнала с положительным целочисленным экспонентом, если величина, служащая основанием, является действительной величиной. В качестве альтернативы или дополнительно энергопоказатель может быть пропорциональным показателю степени модуля (абсолютной величины) выделенного полосового сигнала с положительным действительным числом в качестве экспонента. Это предусматривает также, например, использование в качестве основания сложных величин.
Затем, определенные таким путем один или ряд энергопоказателей, по меньшей мере, для одного полосового сигнала передаются на определитель среднего значения 250, предназначенный для расчета, как минимум, одного соответствующего среднего. В вариантах реализации изобретения, где на определитель среднего значения 250 передается более одного энергопоказателя на один блок данных, средняя величина может быть определена только для каждого или для некоторого множества обрабатываемых значений.
Как будет видно далее, среднее значение может быть выведено здесь на основании скользящего среднего, которое основывается, например, на предшествующих по времени блоках данных или на их множестве, отдельно от текущего блока данных. Это может быть выполнено, например, путем подбора соответствующих значений различных блоков данных, или в форме рекурсивного вычисления. Конкретное техническое решение также будет представлено далее.
Затем, по меньшей мере, один энергетический показатель от определителя значения 230 и, по меньшей мере, одно среднее значение от определителя среднего значения 250 передаются на модификатор 260, который корректирует энергопоказатель, базируясь на рассчитанном среднем значении для выбранного полосового сигнала. При различных вариантах осуществления представляемого изобретения это может быть выполнено, например, простым вычитанием, простым делением или с помощью более сложного математического действия на основе вычитания или деления.
Таким образом, модификатор 260 корректирует один или более энергопоказателей, на базе которых следующее в цепи устройство расчета параметров управления 270 формирует управляющие данные для фильтра подавления акустических шумов 210.
В зависимости от того, какой сигнал подается на вход 240 устройства 200, может быть рекомендовано тот же самый или другой сигнал ввести в фильтр подавления акустических шумов 210 через дополнительный вход 280. Если на вход 240 поступает, например, микрофонный сигнал, дополнительный вход 280 фильтра акустического шумоподавления 210 можно не использовать. Однако, если на вход 240 поступает сигнал громкоговорителя, настоятельно рекомендуется использовать дополнительный вход 280, подавая на него сигнал микрофона.
Недостаток традиционных систем подавления акустического эхо, описанных выше, состоит в их недостаточной способности противостоять стационарным шумам микрофонного сигнала. Благодаря реализации настоящего изобретения этот недостаток может быть частично или полностью устранен при одновременном повышении качества звука. Как будет показано дальше, стационарные или квазистационарные искажения приводят к систематической девиации предсказанных характеристик эхосигнала, ухудшая работу таких систем в условиях, когда отношение сигнал-шум не достаточно высоко.
Реализация настоящего изобретения обеспечивает действительно новый подход к проблеме хотя бы частичного устранения упомянутых выше узких мест в системах подавления акустического эха. Не в малой степени благодаря настоящему изобретению, вариант реализации которого показан на фиг.2, предлагается практический способ расчета характеристик фильтра предварительного анализа эхосигнала, в котором решается задача сокращения вызываемой помехами систематической девиации предсказанной величины.
Следовательно, осуществление настоящего изобретения относится к расчету фильтра предварительного анализа эхосигнала. Оно основывается на оценке временных флуктуации микрофонного спектра, возбуждаемых временными флуктуациями спектров громкоговорителя. Благодаря этому техническое исполнение изобретения предусматривает более достоверную оценку фильтров предварительного анализа эхосигнала без внесения систематической девиации предсказанной величины из-за возможного возбуждения аддитивного шума в микрофонных каналах. Таким образом, предлагаемое изобретение в техническом исполнении предусматривает реализацию фильтров предварительного анализа эхосигнала на основе спектральных флуктуации.
Прежде, чем более детально будут рассмотрены конструктивные решения предлагаемого изобретения и их функции, следует пояснить, что когда говорится о двух компонентах конструкции, соединенных друг с другом, это означает, что они соединены напрямую или опосредованно через соединительные элементы, каналы передачи сигналов или другие средства связи. Следовательно, описанные выше устройства 230, 250, 260 и 270 интегрированы в вычислитель 220.
Нет необходимости реализовывать каждое устройство как автономный контур. Поэтому возможно частичное или полное совпадение элементов схемы вычислителя 220, принадлежащих более чем к одному из упомянутых устройств. Например, если вычислитель 220 представляет собой микропроцессор, то многие цепи могут, по крайней мере, частично, задействоваться для других устройств. Или, в частности, одни и те же элементы АЛУ (арифметико-логического устройства) могут быть использованы как для определителя значения 230, так и для модификатора 260. В подобном случае взаимодействие компонентов оборудования 230, 260 может осуществляться, скажем, через ячейку памяти запоминающего устройства.
Здесь также следует обратить внимание на то, что элементы схем, блоки и устройства с одинаковыми или похожими функциями обозначены в тексте одинаковыми номерами ссылок. Одинаковыми или схожими номерами ссылок снабжены также элементы схем, устройства и блоки, являющиеся равнозначными, однотипными, с аналогичными или совпадающими функциями. Поэтому описания элементов схем, устройств и блоков, обозначенных одинаковыми или схожими сносками, применимы к разным конструктивным решениям настоящего изобретения, что позволяет более кратко и наглядно представить возможные варианты реализации, не прибегая к ненужным повторениям.
Используемые далее в описании обобщающие номера ссылок также следует отнести к обозначениям подобных элементов. Если элементы схем, устройства и блоки встречаются несколько раз на одном рисунке, в одном конструктивном решении или в других контекстах, каждый отдельный элемент, устройство и блок обозначается индивидуальным номером ссылки, в то время как обобщающий номер ссылки используется в описаниях и при обсуждении основных общих особенностей и свойств элементов схем, устройств и блоков. Например, обобщающий номер ссылок 160 используется для обозначения двух аналогичных косвенных путей прохождения эха 160-1 и 160-2. Употребление обобщающих ссылок для элементов схем, устройств и блоков во многих случаях указывает на сходство или дублирование их функций или конструкций, если иное не следует из их описания.
Решающим фактором в системе эхоподавления является правильная оценка значений амплитудного спектра или спектральной плотности мощности отраженного сигнала для расчета эффективного фильтра подавления акустического эха. В [6] амплитудный спектр эхосигнала оценивается путем фильтрации фильтром предварительного анализа эхосигнала амплитудного спектра громкоговорителя с требуемой задержкой.
Тем не менее, из [6], прежде всего, видно, что каждый раз возникновение искажений в сигнале микрофона ведет к систематической девиации расчетной величины. Вслед за этим предлагается метод расчет фильтра предварительного анализа эхосигнала (почти) всегда без систематической девиации расчетной величины, даже при наличии шумов в сигналах. В качестве подхода к устранению проблемы систематической девиации предсказанной величины предлагается выполнение расчета фильтра предварительного анализа эхосигнала на базе флуктуации спектров сигналов, что отображено на фиг.3.
На фиг.3 дана упрощенная блочная схема устройства 200 для расчета параметров управления фильтром акустического шумоподавления в комплекте с соответствующим фильтром подавления акустического шума, изображенном на фиг.3 не как самостоятельный блок, а как элемент более сложного контура. Принципиальная схема на фиг.3 является упрощенным графическим представлением и не отображает все компоненты конструкции. С опорой на фиг.3 можно сформировать общее представление о принципе работы устройства, оборудованного соответствующим заграждающим акустическим фильтром, реализованного на базе данного изобретения.
На фиг.3 вновь показан громкоговоритель 100, воспроизводящий сигнал громкоговорителя x[n]. Этот сигнал громкоговорителя поступает на блок 300. На фиг.3 показан также микрофон 110, генерирующий сигнал микрофона y[n], поступающий на блок 300.
На фиг.3 блок 300, содержащий в себе определитель значения 230 и определитель среднего значения 250, отображен несколько иначе, чем на фиг.2.
Таким образом, блок 300 на фиг.3 включает в себя два анализатора временных флуктуации 310-1 и 310-2, обозначенных на схеме ETF (анализ временных флуктуации (АВФ)). В данном случае анализатор 310-1 соединен со стороны входа с громкоговорителем 100, в то время как анализатор 310-2 соединен со стороны входа с микрофоном 110.
Два анализатора 310 в данном случае, по меньшей мере, обладают основными свойствами и функциональными возможностями определителя значения 230 и определителя среднего значения 250, как описано в связи с фиг.2, для полосовых сигналов, содержащихся в сигнале громкоговорителя и в сигнале микрофона. Таким образом, вариант конфигурации устройства 200 на фиг.3 предусматривает обработку не только одного сигнала из группы сигналов, но, по меньшей мере, двух сигналов, а именно, сигнала громкоговорителя и сигнала микрофона. Следовательно, в версии реализации на фиг.3 два анализатора 310 определяют энергетические показатели обоих сигналов для соответствующих полосовых сигналов и необходимые при этом средние значения.
Выходы обоих анализаторов 310 соединены с соответствующими входами фильтра предварительного анализа эхосигнала 320, который объединяет в себе модификатор 260 и устройство расчета параметров управления 270, входящие в конфигурацию на фиг.2. Следовательно, фильтр предварительного анализа эхосигнала 320 выполняет функции двух устройств, 260 и 270, описанных в контексте фиг.2, на базе энергетических показателей и соответствующих средних значений обоих сигналов x[n], y[n].
Далее, устройство 200 на фиг.3 включает в себя блок эхоподавления или контур подавления эхосигнала 325 (ERP=процесс устранения эха), который на фиг.3 обозначен как „эхоподавление" и выполняет функции фильтра подавления акустического шума 210 на фиг.2. Блок эхоподавления 325, соответственно, имеет терминал для ввода управляющей информации, поступающей от фильтра предварительного анализа эхосигнала 320.
Так же, как и фильтр подавления акустического шума, блок эхоподавления 325, обрабатывая принятые сигналы, генерирует на основе сигнала микрофона y[n] акустический сигнал е[n], хотя бы частично скорректированный с учетом сигнала на выходе громкоговорителя 100. Эту операцию часто называют также модификацией спектра, в связи с чем оба устройства - фильтр акустического шумоподавления 210 (на фиг.3 не показан) и блок эхоподавления 325 - упоминаются как средства спектральной модификации, поскольку такое средство работает, по крайней мере, в ряде реализации, в энергетической области. Относительно блока эхоподавления 325 дополнительная ссылка сделана в описании к фиг.7.
Таким образом, на фиг.3 показана принципиальная блочная схема предлагаемого способа оценки фильтра предварительного анализа эхосигнала, где аббревиатуры обозначают: ETF - анализ временных флуктуации и EEF - фильтр предварительного анализа эхосигнала.
Далее функционирование конструктивных решений настоящего изобретения будет представлено более детально с опорой на модель сигнала с использованием рисунков. Кроме того, в последующем будет принято, что траектория акустического эха cn в акустической среде, как изображено на фиг.1, может быть выражена как взаимодействие прямого канала передачи, или прямого пути распространения с влиянием линейного фильтра gn. Прямой путь распространения здесь соответствует задержке сигнала громкоговорителя и сигнала микрофона на величину v отсчетов. Линейный фильтр gn в данном случае моделирует акустические свойства среды. Таким образом, получаем:
где δ[n] обозначает единичный импульс, а * обозначает (математическую) свертку. Если предположить, что активен только говорящий на дальнем конце, модель временной области микрофонного сигнала y[n] будет выражена как
где n - как и ранее, целое число, временной индекс величин отсчетов дискретного времени. Переменные n в уравнениях (1) и (2), таким образом, являются индексами во временной области.
В уравнении (2) выражение gn*x[n-v] обозначает задержанный и отфильтрованный сигнал громкоговорителя, воспринятый микрофоном. Составляющая w[n] отображает стационарный фоновый шум, присутствующий при записи. Выполнив соответствующее частотно-временное преобразование, например, оконное преобразование Фурье (ОПФ), с обеих сторон уравнения (2), получим
где k - целое число, обозначающее блок данных как номер блока данных (номер фрейма), и где m - частотный индекс, также целое число. Здесь, согласно
соответствующий задержанный сигнал громкоговорителя в частотной области или в области ОПФ имеет вид x[n-v], где в данном случае условлено, что v кратно перемещению блока данных (перемещению фрейма или величине шага отсчета) K. Иными словами, допускаем, что применимо уравнение
где v, d и K - соответствующие целые числа. Здесь уравнением (5) выражено лишь допущение небольшого упрощения формы представления, и оно никак не является обязательным условием справедливости последующих уравнений или их практической реализации. При упоминании в дальнейшем задержек сигналов или частотных величин уравнение (5) для принятия в расчет не обязательно.
Формулируя иначе, в ряде реализации изобретения непрерывный дискретизированный поток акустических данных разделен на блоки данных длиной К во временной области. Конечно, в других версиях исполнения блоки данных могут содержать большее число значений, чем то, на которое разбивается рассматриваемый поток данных. Например, этого можно достичь перекрытием.
Кроме того, обозначение G[k,m] в уравнении (3) используется как дополнительное представление фильтра gn и/или его импульсной характеристики. Соответственно, W[k,m] служит обозначением стационарного фонового шума w[n] в частотной области. На практике логично принять, что x[n] и w[n] не коррелируют, и из уравнения (3) следует, что
где Е{} обозначает математическое ожидаемое значение или среднюю величину (например, среднее арифметическое). В качестве мгновенной аппроксимации уравнения (6) это может быть записано в форме спектров мощности
как
Такое моделирование сигнала будет в дальнейшем использовано при описании конструктивных решений настоящего изобретения, представленных на фиг.4 и 5 в форме устройства 200 для расчета параметров управления фильтром акустического шумоподавления 210. На фигурах 4 и 5 даны принципиальные блочные схемы элементов оборудования, из которых отображенный на фиг.5 вычислитель задержки может быть интегрирован в конструкцию, представленную на фиг.4.
На фиг.4 дана схема устройства 200 для расчета управляющих параметров для фильтра подавления акустического шума 210. Устройство 200 и фильтр акустического шумоподавления 210 встроены в вычислитель 220, который может представлять собой, например, микропроцессор или ЦПУ (центральный процессор).
Устройство 200 имеет первый вход 240-1 и второй вход 240-2, которые 21 предназначены соответственно для сигнала громкоговорителя во временной области (240-1) и сигнала микрофона во временной области (240-2). Время-частотный преобразователь 330-1, который может быть, скажем, банком фильтров оконного анализа Фурье, анализирующим банком фильтров Фурье, анализирующим банком фильтров поддиапазона или также анализирующим банком КЗФ, соединен с первым входом 240-1. Устройство задержки 340 соединено на входе с выходом время-частотного преобразователя 330-1 и предназначено для передачи с задержкой полученного от него сигнала.
В варианте реализации на фиг.4 выход устройства задержки 340 соединен с определителем значения 230, который содержит первый субблок определителя значения 230a для сигнала громкоговорителя. Определитель значения 230 соединен также с определителем среднего значения 250, который, в свою очередь, содержит субблок определения среднего значения 250а, соединенный одновременно с выходом устройства задержки 240 и с выходом субблока определителя значения 230a. Выход определителя среднего значения 250, как и выход субблока 250a определителя среднего значения, подсоединен к входу субблока 260a модификатора 260. Через дополнительный вход субблок модификатора 260a соединен с выходом субблока определителя значения 230a, что обеспечивает доступ субблока модификатора 260a к первоначальному значению одновременно с рассчитанным средним значением.
Кроме этого первого тракта прохождения сигнала громкоговорителя устройство 200 содержит второй тракт, сопряженный со вторым вводом 240-2, для микрофонного сигнала. Вход второго время-частотного преобразователя 330-2 соединен со вторым входом 240-2. Со стороны выхода он соединен со вторым субблоком определителя значения 230b, который является элементом определителя значения 230. Определитель среднего значения 250 включает в себя субблок определителя среднего значения 250b для сигнала микрофона, соединенный на входе одновременно с выходами время-частотного преобразователя 330-2 и второго субблока определителя среднего значения 230b. Субблок определителя среднего значения 250b, как и субблок определителя среднего значения 250a, соединен с выходом модификатора 260. Субблок определителя среднего значения 250b соединен со вторым субблоком модификатора 260b, который является элементом модификатора 260. Через дополнительный вход субблок модификатора 260b сопряжен с выходным каналом субблока определителя значения 230b, что обеспечивает доступ субблока модификатора 260b к первоначальному значению одновременно с рассчитанным средним значением.
Согласно фиг.4 модификатор 260 через посредство двух субблоков модификатора 260a и 260b подключен к вводу устройства расчета управляющих параметров 270, которое состоит из последовательно соединенных анализатора 350 и вычислителя 360 реальных параметров управления. В варианте технического исполнения устройства 200 на фиг.4 вычислитель 360 соединен также с выходными каналами субблока определителя значения 230b и устройства задержки 340.
Далее, в фильтр акустического шумоподавления 210 одновременно вводятся как управляющий сигнал от вычислителя 360, содержащий управляющую информацию, так и сигнал микрофона, поступающий от второго время-частотного преобразователя 330-2 в частотную область, или в область, близкую к частотной, на базе которого фильтр подавления акустического шума 210 генерирует сигнал с подавленным эхом в частотной или близкой к частотной области и таким образом модифицирует спектр сигнала. Затем сигнал, модифицированный в частотной области, поступает в частотно-временной преобразователь 370, который выполняет обратное преобразование во временную область. В отличие от конструктивного решения, представленного на фиг.2, выход частотно-временного преобразователя сопряжен с выходным каналом 290 устройства 200 для вывода микрофонного сигнала с подавленным или компенсированным эхом во временной области.
Кроме того, в конструкцию устройства 200 на фиг.4 включен вычислитель величины задержки 380, выход которого соединен с входом (для ввода сигнала управления) устройства задержки 340, через который передает устройству задержки 340 текущую величину задержки или текущую поправку к величине задержки. Вычислитель величины задержки 380 сопряжен здесь с каналами сигналов громкоговорителя и микрофона.
В зависимости от конкретного варианта исполнения подключение к этим двум каналами, которые объединяются только после модификатора 260, может быть выполнено в различных точках. Так, например, вычислитель величины задержки 380 может быть соединен с выходом первого время-частотного преобразователя 330-1, с выходом устройства задержки 340, или с выходом первого субблока 260а модификатора 260. Кроме того, вычислитель величины задержки 380 может быть подключен к выводу второго время-частотного преобразователя 330-2 или к выводу второго субблока 260b модификатора 260 в зависимости от пути прохождения микрофонного сигнала.
На фиг.5 изображена блочная схема варианта реализации вычислителя величины задержки 380, который, в частности, может быть интегрирован в схему на фиг.4. Здесь вычислитель величины задержки 380 имеет первый ввод 390-1 и второй ввод 390-2, один из которых подключен к тракту сигнала громкоговорителя, а другой к тракту сигнала микрофона схемы, данной на фиг.4. Так, например, первый вход 390-1 может быть соединен с выходом устройства задержки 340 в зависимости от пути прохождения сигнала громкоговорителя, а второй вход 390-2 - к выходу второго время-частотного преобразователя 330-2.
Вычислитель величины задержки 380 включает в себя вычислитель функции когерентности 400, соединенный с обоими входными каналами 390. Такая конфигурация обеспечивает расчет соответствующей функции когерентности на основании сигналов, поступающих по входным каналам 390. Выход вычислителя 400 последовательно соединен с прогнозатором коэффициента усиления эха 410, предназначенным для предварительного расчета АЧХ эхосигнала и передачи этих данных на оптимизатор 420. Оптимизатор 420 соединен с выходом 430 вычислителя величины задержки 380, который непосредственно соединен с входом устройства задержки 340, показанном на фиг.4, для расчета соответствующей величины задержки.
Величина задержки d, таким образом, может быть рассчитана или определена с помощью устройства, показанного на фиг.4 и 5, с использованием функции когерентности, например, квадратичной, для спектров мощности громкоговорителя и микрофона в соответствии с
где ожидаемое значение Е{}, встречающееся в уравнении (8), может быть также средним значением. В варианте осуществления на фиг.4 и 5 данный расчет выполняется вычислителем функции когерентности 400 в составе вычислителя величины задержки 380.
В основном, величина задержки d может быть вычислена для каждой полосы частот и/или для каждого полосового сигнала, где полосовой сигнал определяется целочисленным индексом m. Однако, в варианте решения, описанном на фиг.4 и 5, рассматривается только одна величина задержки для всех частот и/или всех полосовых сигналов.
В силу этого так называемый прогнозируемый коэффициент усиления эха ω[k] вычисляется прогнозатором коэффициента усиления эхосигнала 410 в качестве среднего значения функций когерентности Гd[k,m] по всем индивидуальным частотам согласно
где М - целое число, указывающее количество частотных диапазонов и/или полосовых сигналов. Показатель m отдельных полос имеет здесь диапазон значений от 0 до М-1. Фактическая величина задержки d выбирается с использованием оптимизатора 420 так, чтобы максимизировать значение предсказанного коэффициента усиления эхосигнала. Иными словами, оптимизатор 420 определяет это в соответствии с
где функция argmaxd{} определяет точное максимальное значение, относящееся к параметру d.
Таким образом, как показано на фиг.4, текущая величина задержки d как функция текущей формы волны передается вычислителем величины задержки 380 на устройство задержки 340. Определяя точнее, описываемый здесь контур вычислителя величины задержки 380 представляет собой схему обратной связи, в которой сигнал, вводимый в устройство задержки 340, стремится к превращению в корректирующий сигнал по отношению к величине задержки d, так как задержанный сигнал уже учтен при расчете функций когерентности. В силу этого, в принципе, согласно уравнению (10), задержку можно также выразить через величину Δd, которая показывает отклонение от предварительно вычисленной величины задержки. Использовать это при вычислениях можно через определение устройством задержки 340 абсолютной величины задержки d. Тем не менее, в случае выполнения расчета на основе сигналов без задержки соответствующая величина задержки может быть определена прямо через уравнение (10).
Далее станет видно, что метод оценки, примененный в отношении фильтра предварительного анализа эхосигнала в [6], ведет к систематической девиации предсказанной величины. В публикации [6] оценка фильтра предварительного анализа эхосигнала выполнена с опорой непосредственно на спектры мощности
и
, то есть - на напрямую измеренные и распознанные спектры микрофона и громкоговорителя. В энергетической области для фильтров предварительного анализа эхосигнала получаем следующее
Как показано в Приложении А, применение уравнения (11) дает в результате фильтру предварительного анализа эхосигнала оценочные данные с отклонениями за счет систематической девиации предсказанной величины из-за внесения дополнительной составляющей стационарного шума W[k,m]. Таким образом, с использованием уравнения (11) фильтр предварительного анализа эхосигнала в энергетической области приобретает вид
где
- дисперсия стационарных помех w[n] в пределах полосы частот с индексом m и индексом блока данных или индексом времени k. Как прямо следует из (12), фильтр предварительного анализа эхосигнала, имеющий отклонения за счет систематической девиации предсказанной величины, является потенциальной причиной неприемлемо завышенных оценок эхосигнала в шумонасыщенных средах. Поскольку завышенная оценка эхосигналов обычно требует чрезмерно агрессивного режима эхоподавления, искажения речевых сигналов ближнего конца при одновременной двунаправленной связи носят неприемлемый характер.
В вариантах конструкции настоящего изобретения, например, аналогичных показанному на фиг.4 и 5, расчет фильтра предварительного анализа эхосигнала [k, м] выполняется с учетом временных флуктуации спектральных плотностей мощности громкоговорителя и микрофона. Временные флуктуации спектральной плотности мощности здесь „центрированы" или усреднены, то есть, ослаблены или, вернее сказать, сведены к соответствующим средним. Таким образом, в модификаторе 260 модифицированный спектр мощности рассчитывается вторым субблоком модификатора 260b в форме скорректированных энергопоказателей для микрофонного сигнала согласно
Соответственно, модифицированный спектр мощности для сигнала громкоговорителя вычисляется первым субблоком 260а модификатора 260 согласно
Математические ожидания Е{} в уравнениях (13) и (14) формирует определитель среднего значения 250. Здесь, ожидаемое математическое значение Е{}, введенное в уравнения выше, два субблока определителя среднего значения 250a и 250b заменяют средним значением на базе соответствующих мощностных величин. Основываясь на примере
где показатели A[k,m] и B[k,m] могут представлять собой произвольные, даже равные, значения, оконное среднее значение
получается, например, рекурсивным сглаживанием в соответствии с
Показатель αavg здесь определяет степень сглаживания во времени и может соответствовать любым требованиям.
Другими словами, для произвольной величины A[k,m], где k - показатель времени, среднее значение времени может быть вычислено согласно
где величина E(A[k,m]) вычислена рекурсивно на базе текущего значения A[k,m] и предварительно рассчитанного среднего E(A[k-1,m]). Показатель αavg здесь взвешивает влияние вновь добавленной составляющей A[k,m] относительно предварительно вычисленного среднего значения, которое само взвешивается с помощью показателя (1-αavg).
Итак, применяя правила вычисления, данные в уравнениях (15)-(17), с помощью определителя среднего значения 250 и его двух субблоков 250a и 250b на базе полученных ими данных можно определить соответствующее среднее значение. Способ вычисления по уравнениям (15)-(17) в результате дает рекурсивное, скользящее среднее, реализуемое в реальном времени. В частности, отпадает необходимость ожидания „будущих" блоков данных.
Устройство расчета управляющих параметров 270 с помощью встроенного в него анализатора 350 способно вычислять параметры управления фильтром подавления акустических шумов 210 на базе скорректированных энергопоказателей, полученных от модификатора 260. Для этого сначала анализатор 350 рассчитывает фильтр предварительного анализа эхосигнала
учитывая временные флуктуации спектральных плотностей мощности, в соответствии с
Говоря конкретнее, амплитудно-частотные показатели соответствующего фильтра предварительного анализа эхосигнала
вычисляются по уравнению (18), при этом обеспечивая возможность добавления и/или расчета соответствующих фазовых характеристик различными методами. При необходимости в качестве фазовой характеристики может быть использована фазовая постоянная, например, для всех полос частот, частотных диапазонов или полосовых сигналов, заданная как функция величины задержки d для соответствующей полосы частот или рассчитанная из временных или спектральных характеристик соответствующих амплитуд.
При выполнении оценки фильтра предварительного анализа эхосигнала, как видно из уравнения (18), используются только спектральные характеристики сигнала громкоговорителя и сигнала микрофона. Как наглядно показано в Приложении В, благодаря оценке, полученной в результате решения уравнения (18), глушится суммарный стационарный шумовой сигнал w[n]. Как видно из решения в Приложении В, применение уравнения (18) дает в результате неизменяемую оценку передаточной функции мощности эхосигнала
. Таким образом, говоря точнее, получаем
Кроме того, здесь следует отметить, что при оценке величины задержки d в качестве альтернативы уравнению (8) можно опираться на флуктуирующие спектры, используя функцию когерентности в соответствии с
где
определяется аналогично уравнению (14). Действительная величина задержки выбирается затем на базе предсказанного коэффициента усиления эхосигнала
таким образом, что значение прогнозируемого коэффициента усиления максимизируется.
Иначе говоря, расчет величины задержки также может быть выполнен вычислителем величины задержки 380 с использованием значений, отличных от тех которые указываются в связи с уравнениями (8) и (9). В отношении фиг.4 это означает, что на вычислитель величины задержки 380 по дополнительным каналам через входы 390 могут поступать другие параметры. Устройство расчета управляющих параметров 270 обеспечивает параметрами управления фильтр акустического шумоподавления 210 в форме коэффициентов фильтрации H[k,m], базирующихся на конструктивных параметрах β, γ and LH, о которых подробнее будет говориться дальше.
В различных реализациях настоящего изобретения полосовые сигналы громкоговорителя или их дериваты, принадлежащие к разным характеристическим частотам, могут иметь задержку различной величины. Это может быть рекомендовано, например, когда разные пути распространения имеют частотно-избирательную аттенюацию, при которой прямой путь распространения в определенных частотных диапазонах не означает внесение в сигнал самой интенсивной шумовой составляющей. В подобных случаях величина задержки может определяться непосредственно на основе функции когерентности и/или на основе коэффициентов усиления эха, предсказанных для ограниченной полосы частот.
Акустическое эхо глушится фильтром подавления акустического шума 210 путем взвешивания микрофонного сигнала с помощью соответствующего фильтра эхокомпенсации в соответствии с
Спектр микрофона Y[k,m] вводится здесь в фильтр подавления акустического шума 210 напрямую от выхода второго время-частотного преобразователя 330-2. Весовые коэффициенты и/или коэффициенты фильтрации H[k,m] в данном случае представляют собой параметры управления, которые фильтр акустического шумоподавления 210 получает от вычислителя параметров управления 360 и/или от устройства расчета управляющих параметров 270.
Фильтр предварительного анализа эхосигнала H[k,m] и/или управляющая информация могут быть вычислены согласно методу спектрального вычитания, описанному в [7]. В этом случае параметры управления могут быть получены из
Расчетные параметры B, γ и LH применяются для задания желательного режима работы фильтра эхоподавления. Их типичными значениями здесь являются β=2, γ=2 и LH=-60 (соответствует максимальному ослаблению -60 дБ). Оценка спектральной плотности мощности эхосигнала выполняется с помощью фильтра предварительного анализа эхосигнала в соответствии с
Расчет согласно уравнению (24) может также быть выполнен вычислителем управляющих параметров 360. Предпочтительно, оценка эха и эхоподавление выполняются на основании исходных спектров сигнала громкоговорителя и сигнала микрофона.
На фиг.6 представлено численное выражение результатов применения конструктивных решений настоящего изобретения на частоте 1000 Гц. Моделирование выполнялось с использованием речевых сигналов, искаженных избыточным токовым шумом (розовым шумом) при отношении сигнал-шум в 6 дБ. Первая половина процедуры моделирования связана исключительно с эхосигналом, вызванным активным абонентом на дальнем конце, а вторая часть процесса моделирования состояла в имитации интерактивной связи (режим двухстороннего диалога).
На фиг.6а отображена кратковременная спектральная плотность мощности 430 и проходящий поверх нее в виде жирной черной кривой усредненный оконный спектр сигнала громкоговорителя при частоте 1000 Гц. То есть, на фиг.6а показаны кратковременная спектральная плотность мощности 430 и соответствующий кратковременный усредненный спектр 440 сигнала громкоговорителя.
На фиг.6а показаны: пунктирной линией - рабочий фильтр анализа эхосигнала, точечной линией - результат оценки с систематической девиацией предсказанной величины и сплошной линией - оценка без систематической девиации предсказанной величины. Формулируя иначе, на фиг.6b отображены: реальный фильтр анализа эхосигнала G[k,m] - в виде пунктира, оценка, вычисленная согласно уравнению (11) с систематической девиацией предсказанной величины
- точечной линией и оценочный расчет
без систематической девиации предсказанной величины -сплошной линией, при этом расчеты выполнены согласно порядку, предложенному и описанному для реализации данного изобретения.
На фиг.6 с показана динамика предсказанного коэффициента усиления эха во времени, где все три основные компоненты разделены на отсчеты по временной шкале от О до 15 секунд каждая. Как пояснялось выше, в интервале времени от 0 с до, приблизительно, 7,5 с поступал только речевой сигнал из громкоговорителя, который снова улавливался через эхо и микрофон, тогда как во второй половине, то есть - в интервале времени между, примерно, 7,5 с и 15 с в микрофон дополнительно вводилась речь.
Таким образом, фиг.6 с отражает выигрыш от предсказания эхосигнала, что является критерием достоверности показателей фильтра предварительного анализа эхосигнала как функции времени. Эти кривые графика показывают систематическую девиацию предсказанной величины фильтра предварительного анализа эхосигнала, вычисленной без учета усредненной статистики, в то время как фильтр предварительного анализа эхосигнала, базирующийся на временных флуктуациях, соответствует действительному фильтру предварительного анализа эхосигнала G[k,m], если прогнозируемый коэффициент усиления эха достаточно велик. В частности, из иллюстрации видно, что при исключении среднего значения фильтр предварительного анализа эхосигнала лучше совпадает с заданным режимом, чем без исключения среднего значения. В частности, на фиг.6 с во временном диапазоне между 10 и 15 с очевидны существенные расхождения с соответствующими функциональными состояниями фильтра предварительного анализа эхосигнала.
На фиг.7 показана упрощенная схема технического решения устройства 200, оснащенного фильтром подавления акустического шума 210. На фиг.7 сопоставлены сигналы микрофона y[n] и громкоговорителя x[n] по временному индексу п.Следовательно, по сравнению с версией на фиг.3 на фиг.7 представлена более полная схема алгоритма подавления акустического эхосигнала в соответствии с предлагаемым изобретением. В силу сходства с конструктивным решением на фиг.3 краткое описание здесь ограничивается ссылкой на него.
Сигнал громкоговорителя x[n] вводится в первый время-частотный преобразователь 330-1 в форме оконного преобразования Фурье (ОПФ). Аналогично микрофонный сигнал y[n] поступает на второй время-частотный преобразователь 330-2 в ОПФ-представлении. Как видно из сравнения двух форм волн во временной области x[n] и y[n], сигнал громкоговорителя опережает микрофонный сигнал на время d, поэтому первый время-частотный преобразователь 330-1 генерирует спектр сигнала громкоговорителя с пропорциональной задержкой X[k-d,m].
В верхней части фиг.7 эта задержка указана двумя фигурными скобками 450-1 и 450-2 и стрелкой 460, обозначающей интервал времени d. Однако второй время-частотный преобразователь 330-2 представляет соответствующий спектр сигнала микрофона Y[k,m] без задержки по времени. При сопоставлении с фиг.4 понятно, что в варианте на фиг.7 устройство задержки 340 также интегрировано в первый время-частотный преобразователь 330-17.
Два время-частотных преобразователя 330-1 и 330-2 сопряжены с блоком 300, которые, как показано на фиг.3, включают в себя два анализатора 310-1, 310-2, обозначенные на фиг.7 как ETF. Аббревиатура ETF обозначает здесь анализ временных флуктуации. Анализатор 310, таким образом, одновременно выполняет функции определителя значения 230 и определителя среднего значения 250, показанных на фиг.4.
Выходной канал блока 300 последовательно подсоединен к фильтру предварительного анализа эхосигнала 320, который на фиг.7 обозначен как EEF. В данном случае фильтр предварительного анализа эхосигнала 320 выполняет функции модификатора 260 и анализатора 350 устройства расчета управляющих параметров 270. Фильтр предварительного анализа эхосигнала 320 пересылает соответствующие результаты оценки
блоку эхоподавления 325 (ERP {процесс устранения эха), который удаляет эхосигнал, опираясь на два спектра X[k-d, m] и Y[k,m] и предсказанный фильтр
. Таким образом, по выполняемым функциям блок эхоподавления 325 соответствует вычислителю параметров управления 360 и фильтру акустического шумоподавления 210.
На выходе блока эхоподавления 325 формируется очищенный от эха сигнал в частотной области, передаваемый на обработку частотно-временному преобразователю 370, что в данном случае представляет собой обратное оконное преобразование Фурье (ISTFT/ООПФ), в результате которого на выходе генерируется соответствующий временной сигнал e[n], редуцированный за счет эхосоставляющей.
Сравнение конструктивных решений, представленных на фиг.3 и 7, с вариантом конструкции на фиг.4 и 5 наглядно демонстрирует, что отдельные устройства и блоки могут быть реализованы по-разному с учетом их функциональных возможностей. Таким образом, последовательность операций может быть изменена с применением соответствующих математических преобразований. Например, уравнения с (22) по (24) также могут быть выполнены иначе, чем описано выше для блока эхоподавления 325. Расчеты, например, могут быть выполнены в ходе одного вычисления или в процессе несколько операций, выстроенных в определенной последовательности.
На фиг.8 представлен вариант технического исполнения предлагаемого изобретения в виде устройства 200 для расчета параметров управления фильтром подавления акустического шума 210, интегрированным в устройство 200. Фиг.8 наглядно иллюстрирует разнообразие подходов к осуществлению и вариантов компоновки средств подавления акустического эха. Другой вариант конструкции, демонстрирующий еще один подход к решению проблемы подавления акустического эхосигнала, описан в контексте фиг.9.
На фиг.8 представлена концептуальная схема средства подавления акустического эхосигнала в соответствии с настоящим изобретением, где фильтр предварительного анализа эхосигнала
обрабатывает спектр входного сигнала X[k,м].
Устройство 200 включает в себя громкоговоритель 100 и микрофон 110. Сигнал громкоговорителя x[n] вводится в время-частотный преобразователь 330-1 в форме анализирующего банка фильтров дискретного преобразования Фурье (DFT/ДПФ=дискретное преобразование Фурье), где преобразуется в частотную область. Сформированный на выходе преобразователя спектр X[k,m] вводится, с одной стороны, в устройство задержки 340 и, с другой стороны, в первый субблок 230а определителя значения 230. При этом спектр X[k,m] может быть действительным или комплексным.
Сигнал y[n] микрофона 110 поступает на второй время-частотный преобразователь 330-2, на выходе которого образуется соответствующий действительный или комплексный спектр Y[k,m]. Он поступает, с одной стороны, во второй субблок 23 Ob определителя значения 230 и, с другой стороны, напрямую вводится в фильтр акустического шумоподавления 210.
Два субблока определителя значения 230а, 230b генерируют квадрат амплитуды соответствующих спектров и вводят это значение в интегрированное счетное устройство 470, выполняющее расчет фильтра
и расчет величины задержки d(k, m) согласно концепции настоящего изобретения. Таким образом, интегрированное счетное устройство 470 частично принимает на себя функции определителя среднего значения 250, модификатора 260 и вычислителя величины задержки 380. Поэтому указанные вычислительные средства хотя бы частично встроены в соответствующие схемы и элементы интегрированного счетного устройства 470. Поэтому интегрированное счетное устройство 470 соединено с входом устройства задержки 340 для ввода текущей величины задержки d(k,m)(=d) в устройство задержки 340. При этом расчет фильтра
может быть выполнен, например, в соответствии с уравнением (18).
Устройство задержки 340 преобразует введенный в него спектр X[k,m] в вариант с задержкой X[k-d(k,m)m]. Затем спектр громкоговорителя с задержкой передается на фильтр предварительного анализа эхосигнала 480, последовательно подключенный к устройству задержки 340.
Одновременно фильтр предварительного анализа эхосигнала 480 соединен с интегрированным счетным устройством 470, через которое он получает фактические показатели фильтра предварительного анализа эхосигнала в форме коэффициентов фильтрации. Таким образом, фильтр предварительного анализа эхосигнала 480 выполняет функции, выраженные для конструкции на фиг.8 уравнением (24), и, следовательно, должен рассматриваться как компонент устройства расчета управляющих параметров 270.
Фазовая локализация фильтра предварительного анализа эхосигнала
может быть определена в аспекте спектра, времени или в их сочетании. Кроме того, фазовая локализация может быть определена другими методами, например, фиксацией фазовой локализации за каждым коэффициентом. Например, фаза 0° может быть соотнесена с любым из коэффициентов
.
Фильтр предварительного анализа эхосигнала 480 фильтрует поступающий сигнал с получением на выходе сигнала
который далее через субблок 230 с определителя значения 230' передается на устройство расчета управляющих параметров 360. Аналогично спектры Y[k,m] микрофона на выходе второго время-частотного преобразователя 330-2 пересылаются на четвертый субблок 230d определителя значения 230', выход которого соединен с устройством расчета управляющих параметров 360. Два субблока определителя значения 230с и 230d предназначены для вычисления квадрата амплитуд спектров, введенных в них. Определитель значения 230' может быть функционально отнесен к элементам устройства расчета управляющих параметров 270, не показанного на фиг.8.
Устройство расчета управляющих параметров 360 предназначено для вычисления коэффициентов эхоподавления H[k,m] и передачи их на фильтр акустического шумоподавления 210 через вход для управляющих данных.
Как уже пояснялось выше, поскольку выход второго время-частотного преобразователя 330-2 соединен одновременно с входным каналом фильтра акустического шумоподавления 210, он может рассчитывать спектр с подавленным эхом E[k,m] и передавать его на последовательно соединенный с ним частотно-временной преобразователь 370 в виде банка фильтров обратного дискретного преобразования Фурье. Этот частотно-временной преобразователь, называемый также синтезирующим банком фильтров, генерирует на выходе временной сигнал с подавленным эхом е[n].
Таким образом, техническое решение на фиг.8 предусматривает выполнение анализа эхосигнала на базе спектра громкоговорителя. Как показано на фиг.8, задержка и/или величина задержки d[k,m] и фильтр предварительного анализа эхосигнала
используются для преобразования спектра громкоговорителя X[k,m] с целью получения оценки спектра эха
. Затем, на основе мощности или амплитуды рассчитанного спектра
и спектра мощности или амплитуды микрофонного сигнала Y[k,m] вычисляется фильтр эхоподавления H[k,m].
Здесь следует обратить внимание на то, что, если при оценке фильтра предварительного анализа эхосигнала будет учитываться критическая полоса частот, может понадобиться соответствующая интерполяции с целью получения варианта фильтра предварительного анализа эхосигнала, принадлежащего области ОПФ.
На фиг.9 дан вариант осуществления настоящего изобретения в виде устройства 200 со встроенным фильтром подавления акустического шума 210. В отличие от версии на фиг.8, техническое решение, представленное на фиг.9, основывается на подходе к процессу подавления акустического эхо, при котором фильтр предварительного анализа эхосигнала
преобразует спектральную плотность мощности входного сигнала
При этом варианты решений на фиг.9 и 8, хотя и различаются между собой деталями конструкции, но не в большой степени. Говоря конкретнее, наиболее существенно они отличаются компоновкой субблоков определителя значения 230a и 230c. Для упрощения графического представления определители значения 230, 230' на фиг.9 не показаны.
Точнее говоря, субблок определителя значения 230а включен в схему последовательно сразу за первым время-частотным преобразователем 330-1, таким образом, что с его выхода спектр мощности сигнала громкоговорителя X[k,m] одновременно поступает на интегрированное счетное устройство 470 и на устройство задержки 340. Устройство задержки 340, соответственно, генерирует спектр мощности с введением задержки, после чего фильтр предварительного анализа эхосигнала 480 выдает амплитудно-частотные показатели в соответствии с уравнением (24), которые затем передаются напрямую на устройство расчета параметров управления 360 без задействования дополнительного субблока определителя значения 230с. Иначе говоря, благодаря перемещению субблока определителя значения 230a „выше" устройства задержки 340 можно не применять третий субблок определителя значения 230с. Аналогично этому заданные фазы или фазовые локализации фильтра предварительного анализа эхосигнала
в данном случае могут быть сохранены.
Одновременно с этим, два варианта реализации изобретения, показанные на фиг.8 и 9, существенно не отличаются друг от друга. Изменения, которые потребуются в случае необходимости обработки других видов сигналов и получения данных от другого оборудования, могут затронуть только некоторые функциональные возможности и вычислительные возможности.
На фиг.9, таким образом, оценка эхосигнала выполняется на основе спектра мощности громкоговорителя или спектра амплитуды громкоговорителя. Здесь представлен альтернативный подход, при котором величина задержки d(k,m) и фильтр предварительного анализа эхосигнала
применяются к спектру мощности или амплитуды
сигнала громкоговорителя с целью получения оценки спектра мощности или амплитуды
эхосигнала.
При сравнении с подходом, описанным в контексте фиг.8, видно, что фильтр эхоподавления H[k,m] также рассчитывается на базе спектра мощности или амплитуды рассчитанной амплитуды
эхосигнала и спектра мощности или амплитуды, сигнала микрофона
.
В реализациях на фиг.8 и 9 величины задержки d(k,m) могут меняться в зависимости от времени и текущей частоты. Величины задержки, использованные устройством задержки 340, можно подобрать по идентичности для отдельных полосовых сигналов и/или полос частот.
На фиг.10 показан вариант исполнения изобретения, аналогичный конструкции на фиг.2. Тем не менее, технические решения на фиг.10 и 2 различаются тем, что на фиг.10 представлен многоканальный вариант устройства 200. С точки зрения конструкции, версии исполнения на фиг.2 и 10 различаются незначительно, в силу чего при описании вновь будут сделаны ссылки на фиг.2.
В отличие от реализации устройства 200, представленной на фиг.2, устройство 200 на фиг.10 оснащено множеством входных каналов 240-1, 240-2,…, которые предусматривают прием устройством 200 множества входных сигналов из группы сигналов, как было определено выше. Входы 240-1, 240-2,… из множества входов устройства ввода 240 сопряжены с комбинатором 490, который генерирует из этого множества сигналов единый комбинированный сигнал, доступный в дальнейшем для других компонентов устройства 200. Определяя точнее, комбинированный сигнал на выходе комбинатора 490 поступает на определитель значения 230, определитель среднего значения 250, модификатор 260 и устройство расчета параметров управления 270, который, в свою очередь, формирует соответствующие управляющие данные, как описано выше.
Другим отличием технического решения, показанного на фиг.10, от конфигурации на фиг.2 является то, что фильтр подавления акустического шума 210 здесь содержит под фильтры 210-1, 210-2, … на которые могут поступать сигналы по входным каналам 240 устройства 200, или сигналы, принимаемые устройством 200 через дополнительные вводы 280-1, 280-2, …, в зависимости от конкретной реализации. Иными словами, в зависимости от конкретного случая технического исполнения каждый отдельный подфильтр 210-1, 210-2 фильтра акустического шумоподавления 210 может принять сигнал, доступный на входах 240-1, 240-2, …, или любой другой сигнал. Такой сигнал может поступить на фильтры 210-1, 210-2 через дополнительные вводы 280-1, 280-2, …
При этом управляющая информация от устройства расчета параметров управления 270 одновременно доступна для всех подфильтров 210-1, 210-2, … фильтра акустического шумоподавления 210. То есть, все подфильтры 210 сопряжены с выходным каналом устройства расчета управляющих параметров 270. Раздельные подфильтры 210-1, 210-2, … имеют соответствующие выходы 290-1, 290-2,…, на которые выводятся сигналы с компенсированным эхом.
Если выше речь шла только об одноканальных вариантах исполнения предлагаемого изобретения, где присутствовали один сигнал громкоговорителя и один сигнал микрофона, далее будут рассмотрены многоканальные конфигурации. Дальнейшее описание не ограничится одноканальными решениями данного изобретения, а будет касаться также многоканальных систем подавления акустического эха.
Допустим, X1[k,m] является ОПФ-представлением сигнала громкоговорителя 1, причем, первоначально совокупная спектральная плотность мощности всех каналов громкоговорителя вычислена с помощью комбинатора 490 путем комбинирования спектров раздельных сигналов громкоговорителя в соответствии с
Здесь L обозначает количество каналов громкоговорителя, а l - индекс каналов в пределах от 0 до L-1. Причем, это - неотрицательное целое число.
И аналогично, общая спектральная плотность мощности микрофонных каналов вычисляется согласно
где Yp[k,m] обозначает сигнал микрофона p, а P как натуральное число представляет количество микрофонов. Индекс p обозначает раздельные микрофонные сигналы в диапазоне от 0 до Р-1. Таким образом, значение каждого из индексов 1 и p, как и описанного выше индекса т, находится в диапазоне от 0 до L - 1, P - 1 и M - 1, соответственно.
Комбинации, подобные, например, содержащимся в уравнениях (25) и (26), могут быть осуществлены с помощью соответствующих комбинаторов, использующих, кроме того, другие правила расчета или определения. Наличие деления на показатели L и Р в уравнениях (25) и (26), соответственно, является, например, приведением к арифметическому среднему. Поэтому комбинатор иногда называют также усреднителем.
Моделирование желаемых спектров мощности эхосигналов выполняется по аналогии с уравнением (7) согласно
где спектральные плотности мощности
и
получены с помощью уравнений (25) и (26) для многоканального варианта. Конечно, при этом, как описывалось выше, вырабатываются также сигналы с соответствующей задержкой по времени.
Как описывалось выше, к расчету фильтров предварительного анализа эхосигналов
существует соответствующий подход, при котором применяются совокупные спектры мощности громкоговорителя и микрофона согласно определению, данному выше. То же относится к оценке величин задержки d, которые вычисляются для совокупных спектров мощности каждого из каналов громкоговорителя.
Затем выполняется само эхоподавление для каждого сигнала микрофона в отдельности, но с использованием тех же самых фильтров эхоподавления для каждого из микрофонных каналов. Следовательно,
применяется при p=0,1,…,Р-1. Соответственно, как описано в связи с фиг.10, сначала для каждого сигнала микрофона определяется соответствующий сигнал с компенсированным эхом в частотной области Ep[k,m], после чего этот сигнал может быть перенесен во временную область.
Естественно, конфигурация на фиг.10 способна обрабатывать различное количество сигналов, поступающих на терминалы входных каналов 240 и 280. Если отсутствует требование параллельных вычислений и обработки каналов, логично для каждого преобразуемого сигнала использовать отдельный подфильтр звукового шумоподавления 210.
Возможен вариант компоновки, при котором только один микрофонный сигнал комбинируется с множеством сигналов громкоговорителя, и лишь с их учетом вводятся дополнительные элементы оборудования. Точно так же осуществима конфигурация, при которой только один сигнал громкоговорителя комбинируется с множеством сигналов микрофона. Если первый вариант применим, скажем, в автомобильных системах связи с управлением „без рук", где речь собеседника выводится через мультимедийный центр автомобиля, то второй сценарий возможен в работе систем конференцсвязи с одним центральным громкоговорителем и множеством микрофонов для сторон переговоров. Количество сигналов громкоговорителей и микрофонов может быть равным или разным.
Прежде, чем приступить к объяснениям относительно частотного разрешения отдельных конструктивных решений данного изобретения и обсуждению альтернативных подходов в контексте фиг.12 и 13, необходимо обсудить вариант конфигурации фильтра 500, представленный на фиг.11, иллюстрирующий, к тому же, гибкую схемотехническую совместимость отдельных контуров с целевым оборудованием.
Конструкция фильтра акустического шумоподавления 500 на фиг.11 во многом схожа с устройством 200 на фиг.2, содержащем в себе фильтр подавления акустического шума 210. Так, на фиг.11 фильтр акустического шумоподавления 500 включает в себя вычислитель 510, однотипный вычислителю 220, также имеющий входной канал 240. Через входной канал 240 сигнал из описанной выше группы сигналов поступает на определитель значения 230, являющийся конструктивным элементом вычислителя 510. Выходной канал определителя значения 230 сопряжен с определителем среднего значения 250, с одной стороны, и с модификатором 260, с другой. Выход определителя среднего значения 250 тоже соединен с модификатором 260. До этого момента описание конструкции и функциональных возможностей фильтра акустического шумоподавления 500 не отличается от устройства 200.
При этом выход модификатора 260 соединен с входом фильтра звукового шумоподавления 520, который по своим функциям соответствует фильтру подавления акустического шума 210. В отличие от фильтра подавления акустического шума 210 на фиг.2 фильтр звукового шумоподавления 520 напрямую соединен с входным каналом 240 или с дополнительным вводом 280 для выполнения фильтрации соответствующего сигнала на базе скорректированных энергопоказателей, полученных от модификатора 260. В итоге фильтрующее устройство подавления акустических шумов 520 соединено с выходным каналом 290 для вывода эхокомпенсированного сигнала.
Таким образом, конструктивное решение фильтра акустического шумоподавления 500 на фиг.11 отличается от исполнения устройства 200 на фиг.2 тем, в частности, что часть функций устройства 200 выполняется в рамках самого фильтра подавления акустических шумов и/или фильтрующего устройства звукового шумоподавления 520. Другими словами, это означает, что фильтрующее устройство звукового шумоподавления 520 включает в себя функциональные возможности устройства расчета управляющих параметров 270, показанного на фиг.2. Здесь, как и в описанных ранее вариантах, конструкцию отличает схемотехническая гибкость.
Относительно частотного разрешения рекомендуется сдвинуть спектральное разрешение на единицу ОПФ. Равномерное спектральное разрешение ОПФ часто не достаточно адаптировано к человеческому восприятию. В силу этого рекомендуется группировать равномерно разделенные спектральные коэффициенты
и
в несколько непересекающихся сегментов или групп, как проиллюстрировано в [8], где полосы пропускания имитируют частотную разрешающую способность человеческого слуха. В связи с этим следует сделать ссылку на [9].
При частоте дискретизации 16 кГц может быть рекомендовано использование банка фильтров ДПФ длиной 512 и 15 сегментов, где полоса пропускания каждого сегмента составляет примерно две эквивалентные прямоугольные полосы пропускания (ERB), как описано в [9]. Частотные полосы совпадают с сегментами, как показано на фиг.12.
Итак, на фиг.12 показано, как спектральные коэффициенты равномерного спектра ОПФ могут быть перегруппированы для имитации неравномерной частотной разрешающей способности слуховой системы человека. Таким образом, на фиг.12 показано в виде функции частоты в диапазоне от 0 Гц до 8000 Гц, как с помощью дискретизатора, работающего на частоте 16 кГц, группируются 15-16 поддиапазонов частот. На фиг.12 наглядно видно, как соответствующие частотные сегменты расширяются по мере возрастания частоты.
Различные фильтры усиления рассчитаны только для центральных частот каждого сегмента. Это дополнительно снижает вычислительную стоимость по сравнению с полным спектральным разрешением равномерного спектра оконного преобразования Фурье. Прежде, чем применить фильтр усиления последнего сегмента для равномерного сигнала спектра ОПФ, соответствующий спектр интерполируют с использованием фильтров-интерполяторов Ханна.
На фиг.13 а показаны интерполирующие фильтры Ханна, потенциально применимые для сглаживания фильтров усиления в зависимости от частоты. На фиг.13b в виде сплошной линии 600 показаны коэффициенты фильтров усиления, обозначенные жирными точками, сформированные, возможно, за счет интерполяции значений фильтров усиления в сегментах. Ось частоты, представленная на фиг.13b в виде абсциссы, точно соотносится с графиком на фиг.13а.
Иными словами, изображение 13 а иллюстрирует фильтры Ханна, а изображение 13b показывает пример значений фильтров усиления до и после выполнения соответствующей интерполяции. Предшествующие значения представлены в виде точек, интерполяция - в виде линии 600. Усреднение по частоте фильтров усиления ведет к усреднению изменений результирующего спектра как функции частоты и, таким образом, редуцирует тональные, музыкальные шумы и компенсирует другие артефакты.
В зависимости от конкретного практического назначения реализация данного изобретения может включать в себя: прием, по меньшей мере, одного сигнала громкоговорителя, прием, по меньшей мере, одного сигнала микрофона, преобразование сигналов громкоговорителя и микрофона в оконные спектры, расчет соответствующих спектральных плотностей мощности сигналов громкоговорителя и микрофона, фильтрация спектров мощности громкоговорителя и микрофона для получения соответствующих спектров временных флуктуации, расчет фильтра предварительного анализа эхосигнала для оценки спектров временных флуктуации микрофона из спектра временной флуктуации громкоговорителя, использование фильтра эхоподавления для устранения эха из спектра микрофонного сигнала и обратное преобразование спектра сигнала микрофона с подавленным эхом во временную область для получения выходного аудиосигнала без эхоискажений.
Здесь вновь следует отметить, что полосовые сигналы при реализации настоящего изобретения могут быть получены, например, преобразованием Фурье, преобразованием в подполосовую область или преобразованием в область КЗФ (квадратурно-зеркального фильтра) с использованием соответствующих анализирующих банков фильтров. Обратные преобразования выполняются с помощью соответствующих банков фильтров синтеза.
Кроме того, следует подчеркнуть, что устройства с различными функциональными возможностями могут быть скомпонованы на полностью или частично унифицированной схемотехнической элементной базе. Дополнительно необходимо указать на то, что микрофонные сигналы и сигналы громкоговорителя в принципе разнотипны. Поэтому следует обратить внимание на то, что описанные выше промежуточные результаты отдельных приложений не должны являться целью. Вернее будет сказать, что варианты реализации настоящего изобретения могут сами стать прямым следствием математических преобразований с получением новых промежуточных результатов или вообще без каких-либо промежуточных результатов. Кроме того, при многоканальном варианте осуществления энергопоказатели могут рассчитываться на основе производного сигнала, однако последующие вычисления должны базироваться на индивидуальных сигналах.
Также следует отметить, что вышеописанные конструктивные решения в виде устройств и систем должны приниматься как базовое графическое представление отдельных вычислительных операций, технологических процедур и прочего порядка действий. С этой точки зрения здесь нет необходимости в отдельном описании каких-либо способов и устройств.
Использованные в настоящем описании закодированные электронно-цифровым способом аудиосигналы, в основном, были рассчитаны предварительно, причем величины задержки вычислялись в системе эхоподавления с целью их применения для сигнала громкоговорителя и/или его производного. Тем не менее, как уже обсуждалось в начале, существует потребность в других схемах обработки сигнала, служащих для определения соответствующей величины задержки других сигналов и, возможно, для задержки сигнала на эту величину.
В качестве вероятных областей применения здесь следует назвать схемы и устройства компенсации, предназначенные для взаимной адаптации различных сигналов с учетом их динамических характеристик, фазовой локализации или других параметров. Кроме упомянутых электронно оцифрованных звуковых сигналов применение задержки может также понадобиться для других видов сигналов. Это относится также к аналоговым электрическим сигналам, к оптическим аналоговым сигналам и к преобразованным в цифровую форму оптическим сигналам. В зависимости от конкретного практического применения соответствующая информация может быть закодирована в величинах напряжения, тока, частоты, фазы, интенсивности или в других показателях электрических или оптических сигналов. Кроме названных аудиосигналов, применение соответствующей задержки может потребоваться, например, для видеосигналов, для сигналов общих данных, а также для сигналов синхронизации и прочих.
Несмотря на разнообразие возможных вариантов осуществления настоящего изобретения, дальше внимание будет уделено конструктивному решению в форме устройства для первоначальной оценки величины задержки на базе закодированных в цифровой форме электрических сигналов. Будут рассмотрены целевые версии технического исполнения для упомянутых областей применения.
На фиг.14 представлено устройство 700, предназначенное для расчета величины задержки d для устройства задержки 710. Устройство задержки 710 является для устройства 700 опцией и поэтому изображено на фиг.14 пунктиром.
Устройство 700 имеет первый вход 720-1 и второй вход 720-2 для ввода первого и второго сигналов. Как пояснялось выше, это могут быть аудиосигналы, закодированные электронно-цифровым способом, или сигналы иных типов. В данном случае устройство задержки 710 на входе соединено с первым входом 720-1 для ввода первого сигнала. Со стороны выхода устройство задержки 710 соединено с выходом 730 устройства 700, где выводится первый сигнал с задержкой. Кроме того, устройство задержки 710 имеет ввод 710а для сигнала, содержащего информацию о величине, на которую первый сигнал должен быть задержан между входом 720-1 и выходом 730. Следовательно, устройство задержки 710 предназначено для задержки полученного первого сигнала на заданную величину задержки.
Устройство 700 в качестве опции может включать в себя частотно-временной преобразователь 740, подсоединенный к обоим входам 720. Первым и вторым выходами он соединен с определителем значения 750, который, в свою очередь, сопряжен с определителем среднего значения 760 и с модификатором 770, причем, с каждым - обоими выходами: одним - для сигнала, базирующегося на первом сигнале, и вторым - для сигнала, базирующегося на втором сигнале. Модификатор 770 имеет два дополнительных входа, которыми он соединен с определителем среднего значения 760, а два его выхода предназначены, соответственно, для вывода первого сигнала и второго сигнала.
Устройство 700 в конфигурации, данной на фиг.14, оснащено модификатором 770, который имеет два выхода, соединенные с вычислителем величины задержки 780. Последний, в свою очередь, оборудован выводом, соединенным с входом для управляющего сигнала 710а устройства задержки 710.
Согласно приведенным выше пояснениям к устройству 200 для расчета управляющих параметров и к фильтру подавления акустических шумов 500, описываемые здесь компоненты могут составлять вычислитель 790, который может быть выполнен, например, в форме микропроцессора. Наличие некоторых элементов вычислительного устройства 790 не обязательно, например, устройство задержки 710 может быть опущено.
С точки зрения функциональных возможностей все компоненты идентичны уже описанным выше. В частности, частотно-временной преобразователь 740 предназначается для преобразования по одному блоку данных из первого и второго сигналов в соответствующие спектральные представления, которые затем могут быть обработаны другими устройствами. Определяя точнее, частотно-временной преобразователь 740 в данном случае выводит один или более полосовых сигналов для каждого из двух сигналов, причем, каждому соответствует одна или более характеристических частот. Полосовые сигналы здесь ассоциированы с частотно-связанной областью, которая может являться действительной частотной областью, подполосовой областью или областью КЗФ, если назвать только три примера.
Что касается выполняемых функций определителя значения 750, они соответствуют функциям определителя значения 230, и более подробная информация о них изложена в описаниях соответствующих предыдущих реализации. В отличие от вычислителя величин 230 в его самом общем и простом представлении, определитель значения 750 устройства 700, показанный на фиг.14, однако, предназначен для вычисления для обоих сигналов, по меньшей мере, одного энергопоказателя, относящегося к полосовому сигналу. В других вариантах осуществления он выполняет расчет совокупности или соответствующих энергетических показателей для всех полосовых сигналов, то есть, например, величин энергии или также величин амплитуды соответствующих полосовых сигналов. Разные полосовые сигналы здесь, в свою очередь, связаны с различными характеристическими частотами, при этом полосовые сигналы, соответствующие одним и тем же характеристическим частотам, как правило, рассматривают как два сигнала.
Функции, выполняемые определителем среднего значения 760, соответствуют определителю среднего значения 250, описанному ранее, и заключаются в определении соответствующих средних значений для обоих сигналов. Здесь вновь может быть сделана ссылка на данное ранее описание определителя среднего значения 250.
Это же относится к модификатору 770, который соответствует модификатору 260 из предыдущих вариантов конструкции, где он также выполняет необходимые корректировки обоих сигналов.
И, наконец, вычислитель величины задержки 780 соответствует вычислителю величины задержки 380 и интегрированному счетному устройству 470, каждый из которых рассчитывает величину задержки d[k,m]. В силу этого все имеющиеся подробности описания устройств и их компонентов можно найти в соответствующих предыдущих разделах.
Говоря иначе, вычислитель величины задержки 780, например, может предназначаться для выполнения функций, описываемых уравнениями (8)-(10). Соответственно, при реализации настоящего изобретения модификатор 770 может выполнять функции, описываемые уравнениями (13) и (14). Вычислитель средних значений 760 может, в целом, быть принят как устройство, выполняющее функции, соответствующие уравнениям (15)-(17). Наконец, определитель значения 750 может быть принят как устройство, предназначенное для вычисления энергопоказателей, связанных со значениями входных сигналов, что уже было описано в контексте фиг.2.
Функциональные возможности устройства задержки 710 во многом соответствуют устройству задержки 340, что относится и к другим компонентам оборудования, таким как время-частотный преобразователь 330-1 на фиг.7, который также выполняет присущие ему функции. Вычислители 790 и 220 также могут быть идентичны друг другу. То же относится и к входным 720 и выходным 730 терминалам при сопоставлении их с описанными выше устройствами ввода 240, 280 и вывода 290.
Как показывает данное обсуждение, многие устройства и акустические фильтры шумоподавления, схематически отображенные на фиг.с 1 по 13, представляют собой варианты конструктивного решения настоящего изобретения в форме устройства 700, даже если они в целях упрощения не обозначены как таковые.
Как уже говорилось до этого, версии технического исполнения предлагаемого изобретения в конфигурации устройства 700, показанной, например, на фиг.14, могут ускорить и усовершенствовать адаптацию величины задержки первого сигнала относительно второго сигнала. Особенно эффективно это может быть применено, например, для выполнения задач динамической компенсации, когда рассогласования нестабильны во времени. В значительной степени это происходит из-за шумовых составляющих и других стационарных помех в частотно-близкой области, связанных с энергетически близкими показателями, встречающихся в виде постоянных величин в форме систематических девиаций предсказанной величины, которые могут быть определены с помощью соответствующего усреднения. Впоследствии эти величины могут быть учтены модификатором 770.
Как было показано на фиг.14, определенные таким образом величины задержки можно использовать для задержки соответствующих сигналов. В дополнение к динамической компенсации контуры задержки можно применять в системах устранения отраженных сигналов и в других схемах синхронизации.
Более того, устройство 700 может быть использовано как многоканальный вариант реализации данного изобретения. Многоканальный вариант устройства 700 включает в себя ряд терминалов ввода 720-1 первого сигнала, ряд терминалов ввода 720-2 второго сигнала, или обоих сигналов, причем, в последнем случае количество входов для первого и второго сигналов может быть одинаковым или независимым друг от друга.
В устройство 700 в рамках время-частотного преобразователя 740 в зависимости от типа первого и второго сигналов может быть введен дополнительный субблок время-частотного преобразования для каждого сигнала с целью преобразования в частотную область. Комбинатор, комбинирующий входные первые сигналы и входные вторые сигналы может быть введен между время-частотным преобразователем 740 и определителем значения 750 и/или между входами 720 и определителем значения 750, как описывалось ранее в связи с комбинатором 490. Последующая обработка сигналов выполняется в соответствии с ранее описанной процедурой.
Многоканальный вариант устройства 700 включает в себя ряд устройств задержки 710 в количестве, обычно соответствующем числу входов 720-1 для первых сигналов. Своими входами для управляющих сигналов, через которые поступают данные о значениях задержек, они параллельно соединены с вычислителем величины задержки 780 таким образом, что каждый из них получает одинаковые величины задержек.
Как уже говорилось раньше, расчет величин задержек может быть выполнен индивидуально для каждого полосового сигнала с его характеристической частотой, для множества полосовых сигналов или для всех полосовых сигналов. То же самое может быть осуществлено в виде устройства 700 в соответствии с фиг.14, то есть - не в многоканальном варианте.
В зависимости от условий настоящее изобретение может быть осуществлено в форме аппаратного или программного обеспечения. Средой реализации может служить цифровой накопитель, такой как гибкий диск, CD, DVD или другой читаемый компьютером носитель данных, имеющий электронно-считываемые управляющие сигналы, способные приводить в действие программируемую вычислительную систему или микропроцессор таким образом, чтобы мог быть осуществлен способ, соответствующий предлагаемому изобретению. Настоящее изобретение, в целом, осуществлено также в виде программного обеспечения и/или компьютерной программы и/или программного продукта с кодом программы, хранящимся на машиночитаемом носителе, предназначенных для реализации предлагаемого способа при условии выполнении программы на компьютере или микропроцессоре. Другими словами, данное изобретение может быть реализовано в виде компьютерной программы и/или программного обеспечения и/или программы, имеющей код программы, для осуществления предлагаемого в изобретении способа при выполнении программы с использованием процессора. Процессором здесь может являться компьютер, интеллектуальная карта с микропроцессором (смарт-карта), интегральная схема прикладной ориентации (ASIC), система на микросхеме (SOC) или другая интегральная микросхема (ИС).
Ссылки
[1] С. Breining, P. Dreiseitel, E. Hansler, A. Mader, В. Nitsch, H. Puder, Т. Schertler, G. Schmidt, and J. Tilp.Acoustic echo control. IEEE Signal Processing Magazine, 16(4): 42 - 69, July 1999.
[2] A.N. Birkett and R. A. Goubran. Limitations of handsfree acoustic echo cancelers due to nonlinear loudspeaker distortion and enclosure vibration effects. In Proc. IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, pages 13 - 16, New Paltz, Oct. 1995.
[3] G. Schmidt and E. Hansler. Acoustic echo and noise control: a practical approach. Hoboken: Wiley, 2004.
[4] W.L.B. Jeannes, P. Scalart, G. Faucon, and C. Beaugeant. Combined noise and echo reduction in hands-free systems: a survey. IEEE Transactions on Speech and Audio Processing, 9(8): 808-820, Nov. 2001.
[5] С.Faller and J. Chen. Suppressing acoustic echo in a sampled auditory envelope space. IEEE Trans. on Speech and Audio Proc., 13(5): 1048-1062, Sept. 2005.
[6] С.Faller and С.Tournery. Estimating the delay and coloration effect of the acoustic echo path for low complexity echo suppression. In Proc. Intl. Works, on Acoust. Echo and Noise Control (IWAENC), Sept. 2005.
[7] W. Etter and G.S. Moschytz. Noise reduction by noise-adaptive spectral magnitude expansion. J. Audio Eng. Soc., 42: 341 - 349, May 1994.
[8] С. Faller and F. Baumgarte. Binaural Cue Coding - Part II: Schemes and applications. IEEE Trans. on Speech and Audio Proc., 11(6): 520-531, Nov. 2003.
[9] В.R. Glasberg and В. С.J. Moore. Derivation of auditory filter shapes from notched-noise data. Hear. Res., 47: 103-138, 1990.
Приложение А
Фильтр предварительного анализа эхосигнала с систематической девиацией предсказанной величины
Далее будет показано, что уравнение (11), предложенное в [6], дает в результате для фильтра предварительного анализа эхосигнала
оценочный показатель со сдвинутой нулевой точкой. Станет понятно, что такое смещение нулевой точки происходит вследствие воздействия стационарных помех w[n] в микрофонном сигнале. Сначала,
где
- дисперсия стационарного шума w[n] в пределах полосы частот с индексом m. Кроме того,
. Таким образом, фильтр предварительного анализа эхосигнала согласно уравнению (11) обеспечивает показатели
Как можно видеть, стационарный шумовой сигнал w[n] вносит в оценку фильтра предварительного анализа эхосигнала нулевую точку. Также, уравнение (29) предполагает, что смещение нулевой точки в фильтре предварительного анализа эхосигнала становится больше с возрастанием дисперсии шума.
Приложение В
Фильтр предварительного анализа эхосигнала без систематической девиации предсказанной величины
Предлагаемый способ определения характеристик фильтра предварительного анализа эхосигнала состоит в том, что для устранения смещения нулевой точки при оценке фильтра расчет производится с использованием усредненной статистики
и
. Аналогично процедуре, представленной в Приложении А, предлагаемый здесь способ может быть описан следующим выражением:
Кроме того,
Таким образом, согласно уравнению (18) выходные параметры фильтра предварительного анализа эхосигнала представляет собой
Отсюда видно, что уравнение (18) дает корректную оценку передаточной функции мощности эхосигнала в случае стационарного фонового шума на ближней стороне, который содержится в сигнале микрофона.
Claims (32)
1. Устройство (200) для расчета параметров управления фильтром шумоподавления (210), предназначенное для фильтрации второго аудиосигнала для подавления эхосигнала, возбуждаемого на базе первого аудиосигнала, включающее в себя вычислитель (220), содержащий определитель значения (230) для определения, по меньшей мере, одного энергопоказателя для полосового сигнала, по меньшей мере, двух последовательных во времени блоков данных, по меньшей мере, одного сигнала из группы сигналов, которая содержит первый аудиосигнал, второй аудиосигнал и сигнал, производный от первого аудиосигнала или от второго аудиосигнала; характеризующееся тем, что вычислитель (220) содержит определитель среднего значения (250) для определения, по меньшей мере, одного среднего значения, по меньшей мере, одного рассчитанного энергетического показателя для полосового сигнала; в котором вычислитель (220) содержит модификатор (260) для коррекции, по меньшей мере, одного энергопоказателя для полосового сигнала на базе рассчитанного среднего значения для полосового сигнала; вычислитель (220) содержит устройство расчета параметров управления (270) фильтром подавления (210) на базе, по меньшей мере, одного скорректированного энергопоказателя для полосового сигнала; в котором определитель значения (230) обеспечивает энергопоказатель, пропорциональный показателю степени модуля полосового сигнала с положительным целым числом в качестве показателя степени, или определитель значения (230) обеспечивает энергопоказатель, пропорциональный показателю степени модуля величины полосового сигнала с положительным действительным числом в качестве показателя степени.
2. Устройство (200) по п.1, характеризующееся тем, что определитель значения (230) использует величину энергии или величину, пропорциональную величине энергии, в качестве энергопоказагеля.
3. Устройство (200) по п.1, характеризующееся тем, что определитель значения (230) вычисляет множество энергопоказателей для одного и того же блока данных, но для разных полосовых сигналов с различными характеристическими частотами.
4. Устройство (200) по п.1, характеризующееся тем, что определитель значения (230) определяет энергопоказатели для одного и того же блока данных, но для всех полосовых сигналов с различными характеристическими частотами.
5. Устройство (200) по п.4, характеризующееся тем, что определитель среднего значения (250) вычисляет среднее значение для каждого из рассчитанных энергопоказателей полосовых сигналов, где модификатор (260) корректирует каждый из рассчитанных энергопоказателей на базе соответствующего рассчитанного среднего значения и где устройство расчета управляющих параметров (270) рассчитывает управляющие данные на базе всех откорректированных энергопоказателей.
6. Устройство (200) по п.1, характеризующееся тем, что определитель среднего значения (250) определяет, по меньшей мере, одно среднее значение на базе скользящего среднего.
7. Устройство (200) по п.6, характеризующееся тем, что определитель среднего значения (250) рассчитывает скользящее среднее только на базе текущего блока данных сигнала из группы сигналов и на базе блоков данных сигнала из группы сигналов, предшествующих текущему блоку данных во времени.
8. Устройство (200) по п.1, характеризующееся тем, что модификатор (260) корректирует, по меньшей мере, один энергопоказатель на основе вычитания рассчитанного среднего значения для соответствующего полосового сигнала.
9. Устройство (200) по п.1, где вычислитель (220) включает в себя также время-частотный преобразователь (330), обеспечивающий принадлежность, по меньшей мере, одного сигнала к частотной области на основе блока данных сигнала как подполосового сигнала.
10. Устройство (200) по п.1, характеризующееся тем, что вычислитель (220) рассчитывает, по меньшей мере, один энергопоказатель, рассчитывает, по меньшей мере, одно среднее значение, корректирует, по меньшей мере, один энергопоказатель на базе соответствующих средних значений и рассчитывает управляющие параметры на базе соответствующих скорректированных энергопоказателей, как минимум, для первого аудиосигнала или для сигнала, базирующегося на первом аудиосигнале, а также для второго аудиосигнала или сигнала, базирующегося на втором аудиосигнале.
11. Устройство (200) по п.1, характеризующееся тем, что вычислитель (220) формирует на базе множества первых аудиосигналов, множества вторых аудиосигналов или множества сигналов, являющихся дериватами первых аудиосигналов или вторых аудиосигналов, по меньшей мере, один сигнал из группы сигналов путем их комбинирования.
12. Устройство по п.11, характеризующееся тем, что вычислитель (220) рассчитывает те же самые параметры управления заграждающим фильтром (210) для каждого сигнала из множества первых аудиосигналов, из множества вторых аудиосигналов или множества сигналов-дериватов от первых аудиосигналов или вторых аудиосигналов.
13. Устройство (200) по п.1, характеризующееся тем, что вычислитель (220) также включает в себя устройство задержки (340), по меньшей мере, одного сигнала из группы сигналов или, по меньшей мере, одного энергопоказателя полосового сигнала из группы сигналов, где устройство задержки (340) задерживает соответствующий сигнал или соответствующий энергопоказатель на величину задержки.
14. Устройство (200) по п.13, характеризующееся тем, что устройство задержки (340) обеспечивает величину задержки на основании, по меньшей мере, одного скорректированного энергопоказателя.
15. Устройство (200) по п.13, где устройство задержки (340) обеспечивает величину задержки на основании максимального значения функции когерентности, где функция когерентности основывается на, по меньшей мере, одном скорректированном энергопоказателе.
16. Устройство (200) по п.13, характеризующееся тем, что устройство задержки (340) обеспечивает независимые друг от друга величины задержки для разных полосовых сигналов с учетом разных характеристических частот.
17. Устройство (200) по п.1, характеризующееся тем, что устройство (200) или вычислитель (200) также включает в себя заграждающий фильтр (210) для фильтрации второго аудиосигнала на базе рассчитанных управляющих параметров.
18. Устройство (200) по п.1, характеризующееся тем, что устройство (200) обеспечивает такую последовательность, при которой первым аудиосигналом является сигнал громкоговорителя, а вторым аудиосигналом является сигнал микрофона.
19. Фильтр подавления (заграждающий фильтр) (500) для фильтрации второго аудиосигнала для подавления эха на основе первого аудиосигнала, характеризующийся тем, что включает в себя: вычислитель (220), содержащий в себе определитель значения (230) для определения, по меньшей мере, одного энергопоказателя для полосового сигнала, по меньшей мере, двух последовательных во времени блоков данных, по меньшей мере, одного сигнала из группы сигналов, которая содержит первый аудиосигнал, второй аудиосигнал и сигнал, производный от первого аудиосигнала или от второго аудиосигнала; при этом вычислитель (220) также включает в себя определитель среднего значения (250) для вычисления, по меньшей мере, одного среднего значения, по меньшей мере, одного рассчитанного энергопоказателя для полосового сигнала; вычислитель (220) также включает в себя модификатор (260) для коррекции, по меньшей мере, одного энергопоказателя для полосового сигнала на базе рассчитанного среднего значения для полосового сигнала; определитель значения (230) обеспечивает пропорциональность энергетической величины показателю степени величины полосового сигнала как положительному целому числу или определитель значения (230) обеспечивает пропорциональность энергетической величины показателю степени модуля величины полосового сигнала с положительным действительным числом в качестве показателя степени; и вычислитель (220) также включает в себя фильтрующее устройство подавления акустических шумов (520) для фильтрации второго аудиосигнала на базе управляющих параметров, где управляющие параметры основываются, по меньшей мере, на одном скорректированном энергопоказателе для полосового сигнала.
20. Способ расчета параметров управления фильтром заграждения (210) для фильтрования вторичного аудиосигнала для подавления эхо-сигнала на базе первичного аудиосигнала, характеризующийся тем, что он заключается в определении, по меньшей мере, одного энергопоказателя для полосового сигнала, по меньшей мере, двух последовательных во времени блоков данных, по меньшей мере, одного сигнала из группы сигналов, при этом группа сигналов содержит первый аудиосигнал, второй аудиосигнал и сигнал, выведенный из первого или второго аудиосигнала, где энергопоказатель пропорционален показателю степени величины полосового сигнала как положительному целому числу или где энергопоказатель пропорционален показателю степени величин полосового сигнала с положительным действительным числом в качестве показателя степени; определении, по крайней мере, одного среднего значения, по крайней мере, одного расчетного энергопоказателя для полосового сигнала; корректировке, по меньшей мере, одного энергопоказателя для полосового сигнала на базе рассчитанного среднего значения для полосового сигнала и расчете управляющих параметров для фильтра шумоподавления на базе, по меньшей мере, одного скорректированного энергетического показателя для полосового сигнала.
21. Способ фильтрации шумов второго аудиосигнала для подавления эха на основании первого аудиосигнала, характеризующийся тем, что он заключается в определении, по меньшей мере, одного энергопоказателя для полосового сигнала, по меньшей мере, двух последовательных во времени блоков данных, по меньшей мере, одного сигнала из группы сигналов, причем, группа сигналов содержит первый аудиосигнал, второй аудиосигнал и сигнал, производный от первого аудиосигнала или второго аудиосигнала, где энергопоказатель пропорционален показателю степени величины полосового сигнала как положительному целому числу или где энергопоказатель пропорционален показателю степени величин полосового сигнала с положительным действительным числом в качестве показателя степени; определении, по крайней мере, одного среднего значения, по крайней мере, одного расчетного энергопоказателя для полосового сигнала; корректировке, по меньшей мере, одного энергопоказателя для полосового сигнала на базе рассчитанного среднего значения для полосового сигнала и фильтрации второго аудиосигнала на базе управляющих параметров, где управляющие параметры основываются, по меньшей мере, на одном скорректированном энергопоказателе для полосового сигнала.
22. Устройство (700) для расчета величины задержки для устройства задержки (710) для задержки первого сигнала относительно второго сигнала, характеризующееся тем, что включает в себя вычислитель (790), содержащий определитель значения (750) для вычисления, по меньшей мере, одного энергопоказателя для полосового сигнала первого сигнала и второго сигнала, по меньшей мере, двух последовательных во времени блоков данных первого и второго сигналов; где определитель значения (230) обеспечивает пропорциональность энергетической величины показателю степени величины полосового сигнала как положительному целому числу или где определитель значения (230) обеспечивает пропорциональность энергетической величины показателю степени модуля величины полосового сигнала с положительным действительным числом в качестве показателя степени; где вычислитель (790) также включает в себя определитель среднего значения (760) для вычисления, по меньшей мере, одного среднего значения, по меньшей мере, одного рассчитанного энергопоказателя для полосового сигнала для первого сигнала и для второго сигнала; где вычислитель (790) также включает в себя модификатор (770) для корректировки, по меньшей мере, одного энергопоказателя для полосового сигнала первого сигнала и полосового сигнала второго сигнала па базе рассчитанного среднего значения для полосового сигнала первого и второго сигналов и где вычислитель (790) также включает в себя вычислителя величины задержки (780) для расчета величины задержки на базе скорректированных энергопоказателей первого и второго сигналов.
23. Устройство (700) по п.22, характеризующееся тем, что вычислитель задержки (780) обеспечивает величину задержки на основании максимального значения функции когерентности, где функция когерентности основывается на скорректированных энергопоказателях первого и второго сигналов.
24. Устройство (700) по п.22, характеризующееся тем, что устройство (700) или вычислитель (790) также включает в себя устройство задержки (710) для задержки первого сигнала на величину задержки.
25. Устройство (700) по п.22, характеризующееся тем, что работает по принципу, при котором первый сигнал и второй сигнал, каждый, принадлежит к какому-либо типу сигналов, где тип сигналов объединяет аналоговые электрические сигналы, аналоговые оптические сигналы, цифровые электрические сигналы и цифровые оптические сигналы.
26. Устройство (700) по п.22, характеризующееся тем, что вычислитель (790) также включает в себя время-частотный преобразователь (740), который обеспечивает принадлежность первого и второго сигналов к частотной области, базируясь на блоке данных в качестве подполосовых сигналов.
27. Устройство (700) по п.22, характеризующееся тем, что вычислитель величин (750) определяет множество энергопоказателей для одного и того же блока данных, но для различных полосовых сигналов с разными характеристическими частотами каждый для первого и второго сигналов, и где определитель среднего значения (760) вычисляет среднее значение для каждого из рассчитанных энергопоказателей полосовых сигналов, где модификатор (770) корректирует каждый из рассчитанных энергопоказателей на базе соответствующего рассчитанного среднего значения и где вычислитель величины задержки (780) рассчитывает величину задержки на базе всех скорректированных энергопоказателей первого и второго сигналов.
28. Устройство (700) по п.22, характеризующееся тем, что вычислитель (790) формирует первый сигнал путем комбинирования на базе множества первых сигналов или множества сигналов, производных от первых сигналов, или вычислитель (790) формирует второй сигнал путем комбинирования на базе множества вторых сигналов или множества сигналов, производных от вторых сигналов.
29. Устройство по п.28, характеризующееся тем, что вычислитель (790) рассчитывает одинаковые управляющие параметры для устройства задержки (710) и для каждого сигнала из множества первых сигналов или из множества сигналов, производных от первых сигналов.
30. Способ расчета величины задержки для устройства задержки (710) для задержки первого сигнала относительно второго сигнала, характеризующийся тем, что состоит в определении, по меньшей мере, одного энергопоказателя для полосового сигнала первого сигнала и второго сигнала, по меньшей мере, двух последовательных во времени блоков данных, где энергопоказатель пропорционален показателю степени величины полосового сигнала как положительному целому числу или где энергопоказатель пропорционален показателю степени величин полосового сигнала с положительным действительным числом в качестве показателя степени; в определении, по меньшей мере, одного среднего значения, по меньшей мере, одного рассчитанного энергопоказателя для полосового сигнала первого сигнала и второго сигнала; в корректировке, по меньшей мере, одного энергопоказателя для полосового сигнала первого сигнала и второго сигнала на базе рассчитанного среднего значения для полосового сигнала первого и второго сигналов и в расчете величины задержки на базе скорректированных энергопоказателей первого и второго сигналов.
31. Носитель данных с кодом программы для осуществления способа в соответствии с п.21 при выполнении программы на процессорном устройстве.
32. Носитель данных с кодом программы для осуществления способа в соответствии с п.30 при выполнении программы на процессорном устройстве.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US2347208P | 2008-01-25 | 2008-01-25 | |
US61/023472 | 2008-01-25 | ||
DE102008039329A DE102008039329A1 (de) | 2008-01-25 | 2008-08-22 | Vorrichtung und Verfahren zur Berechnung von Steuerinformationen für ein Echounterdrückungsfilter und Vorrichtung und Verfahren zur Berechnung eines Verzögerungswerts |
DE1020080393290 | 2008-08-22 | ||
PCT/EP2009/000123 WO2009092522A1 (en) | 2008-01-25 | 2009-01-12 | Apparatus and method for computing control information for an echo suppression filter and apparatus and method for computing a delay value |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2010131421A RU2010131421A (ru) | 2012-02-10 |
RU2495506C2 true RU2495506C2 (ru) | 2013-10-10 |
Family
ID=40794586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2010131421/08A RU2495506C2 (ru) | 2008-01-25 | 2009-01-12 | Устройство и способ расчета параметров управления фильтра эхоподавления и устройство и способ расчета величины задержки |
Country Status (14)
Country | Link |
---|---|
US (1) | US8731207B2 (ru) |
EP (1) | EP2235927B1 (ru) |
JP (1) | JP5102371B2 (ru) |
KR (1) | KR101250124B1 (ru) |
CN (1) | CN101953145B (ru) |
AU (1) | AU2009207881B2 (ru) |
BR (1) | BRPI0905760B1 (ru) |
CA (1) | CA2713127C (ru) |
DE (1) | DE102008039329A1 (ru) |
ES (1) | ES2641770T3 (ru) |
MX (1) | MX2010008034A (ru) |
RU (1) | RU2495506C2 (ru) |
TW (1) | TWI458331B (ru) |
WO (1) | WO2009092522A1 (ru) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2698324C1 (ru) * | 2017-07-27 | 2019-08-26 | Фольксваген Акциенгезелльшафт | Способ компенсации шумовых помех у устройства громкой связи в автомобиле и устройство громкой связи |
RU2725017C1 (ru) * | 2016-10-18 | 2020-06-29 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для обработки аудиосигнала |
Families Citing this family (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8831936B2 (en) | 2008-05-29 | 2014-09-09 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for speech signal processing using spectral contrast enhancement |
US8538749B2 (en) | 2008-07-18 | 2013-09-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer program products for enhanced intelligibility |
EP2420050B1 (en) | 2009-04-15 | 2013-04-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multichannel echo canceller |
US9202456B2 (en) | 2009-04-23 | 2015-12-01 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation |
NO332437B1 (no) * | 2010-01-18 | 2012-09-17 | Cisco Systems Int Sarl | Apparat og fremgangsmate for a supprimere et akustisk ekko |
DE102010029030A1 (de) * | 2010-05-17 | 2012-03-01 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Verarbeitung von Daten in einem Fahrzeug |
US9053697B2 (en) | 2010-06-01 | 2015-06-09 | Qualcomm Incorporated | Systems, methods, devices, apparatus, and computer program products for audio equalization |
US20120263317A1 (en) * | 2011-04-13 | 2012-10-18 | Qualcomm Incorporated | Systems, methods, apparatus, and computer readable media for equalization |
EP2562751B1 (en) * | 2011-08-22 | 2014-06-11 | Svox AG | Temporal interpolation of adjacent spectra |
US9173025B2 (en) | 2012-02-08 | 2015-10-27 | Dolby Laboratories Licensing Corporation | Combined suppression of noise, echo, and out-of-location signals |
CN103325380B (zh) | 2012-03-23 | 2017-09-12 | 杜比实验室特许公司 | 用于信号增强的增益后处理 |
CN103325379A (zh) | 2012-03-23 | 2013-09-25 | 杜比实验室特许公司 | 用于声学回声控制的方法与装置 |
CN103730125B (zh) * | 2012-10-12 | 2016-12-21 | 华为技术有限公司 | 一种回声抵消方法和设备 |
CN102982801B (zh) * | 2012-11-12 | 2014-12-10 | 中国科学院自动化研究所 | 一种用于鲁棒语音识别的语音特征提取方法 |
TWI469650B (zh) * | 2012-11-29 | 2015-01-11 | Quanta Comp Inc | 回音消除系統 |
US9495951B2 (en) * | 2013-01-17 | 2016-11-15 | Nvidia Corporation | Real time audio echo and background noise reduction for a mobile device |
WO2014149050A1 (en) * | 2013-03-21 | 2014-09-25 | Nuance Communications, Inc. | System and method for identifying suboptimal microphone performance |
CN106470284B (zh) * | 2015-08-20 | 2020-02-11 | 钉钉控股(开曼)有限公司 | 消除声学回声的方法、装置、系统、服务器及通话装置 |
US10397190B2 (en) * | 2016-02-05 | 2019-08-27 | Huawei Technologies Co., Ltd. | System and method for generating an obfuscated optical signal |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US9811314B2 (en) | 2016-02-22 | 2017-11-07 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US10097919B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Music service selection |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10152969B2 (en) | 2016-07-15 | 2018-12-11 | Sonos, Inc. | Voice detection by multiple devices |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US9743204B1 (en) | 2016-09-30 | 2017-08-22 | Sonos, Inc. | Multi-orientation playback device microphones |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
CN106791244B (zh) * | 2016-12-13 | 2020-03-27 | 青岛微众在线网络科技有限公司 | 回声消除方法、装置以及通话设备 |
US11183181B2 (en) | 2017-03-27 | 2021-11-23 | Sonos, Inc. | Systems and methods of multiple voice services |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10051366B1 (en) | 2017-09-28 | 2018-08-14 | Sonos, Inc. | Three-dimensional beam forming with a microphone array |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
CN109658946A (zh) * | 2017-10-12 | 2019-04-19 | 深圳前海黑鲸科技有限公司 | 一种回声处理方法、装置、存储介质及终端设备 |
US10880650B2 (en) | 2017-12-10 | 2020-12-29 | Sonos, Inc. | Network microphone devices with automatic do not disturb actuation capabilities |
US10818290B2 (en) | 2017-12-11 | 2020-10-27 | Sonos, Inc. | Home graph |
US11343614B2 (en) | 2018-01-31 | 2022-05-24 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10847178B2 (en) | 2018-05-18 | 2020-11-24 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10878811B2 (en) | 2018-09-14 | 2020-12-29 | Sonos, Inc. | Networked devices, systems, and methods for intelligently deactivating wake-word engines |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US10811015B2 (en) | 2018-09-25 | 2020-10-20 | Sonos, Inc. | Voice detection optimization based on selected voice assistant service |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US10692518B2 (en) | 2018-09-29 | 2020-06-23 | Sonos, Inc. | Linear filtering for noise-suppressed speech detection via multiple network microphone devices |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
CN111698022B (zh) * | 2019-01-03 | 2022-02-08 | 长沙天仪空间科技研究院有限公司 | 一种基于抑制窄带多通道通信干扰的卫星通信系统 |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US10839821B1 (en) * | 2019-07-23 | 2020-11-17 | Bose Corporation | Systems and methods for estimating noise |
US11138969B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
CN112530450A (zh) | 2019-09-17 | 2021-03-19 | 杜比实验室特许公司 | 频域中的样本精度延迟识别 |
CN110648679B (zh) * | 2019-09-25 | 2023-07-14 | 腾讯科技(深圳)有限公司 | 回声抑制参数的确定方法和装置、存储介质及电子装置 |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
CN112803959B (zh) * | 2019-11-13 | 2022-05-10 | 瑞昱半导体股份有限公司 | 收发电路与应用于收发电路的信号处理方法 |
US11200900B2 (en) | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11556307B2 (en) | 2020-01-31 | 2023-01-17 | Sonos, Inc. | Local voice data processing |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11727919B2 (en) | 2020-05-20 | 2023-08-15 | Sonos, Inc. | Memory allocation for keyword spotting engines |
EP4199368A4 (en) * | 2020-08-12 | 2024-01-03 | Auzdsp Co., Ltd. | ADAPTIVE DELAY DIVERSITY FILTER, ECHO COMPENSATION DEVICE AND METHOD USING THE SAME |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11551700B2 (en) | 2021-01-25 | 2023-01-10 | Sonos, Inc. | Systems and methods for power-efficient keyword detection |
CN114360570B (zh) * | 2022-01-25 | 2024-10-15 | 随锐科技集团股份有限公司 | 用于消除回声的方法及其相关产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2211531C2 (ru) * | 1997-08-29 | 2003-08-27 | Телефонактиеболагет Лм Эрикссон (Пабл) | Синхронизация к базовой станции и получение кода в системе связи с передачей сигнала в широком спектре |
RU2233033C2 (ru) * | 1998-12-04 | 2004-07-20 | Квэлкомм Инкорпорейтед | Способ и устройство для обеспечения синхронизации системы беспроводной связи |
WO2006111370A1 (en) * | 2005-04-19 | 2006-10-26 | Epfl (Ecole Polytechnique Federale De Lausanne) | A method and device for removing echo in a multi-channel audio signal |
RU2319307C2 (ru) * | 2003-05-30 | 2008-03-10 | Спайдер Навигейшнз Эл.Эл.Си. | Частично когерентные сигнальные совокупности для систем с множеством антенн |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02291712A (ja) * | 1989-05-02 | 1990-12-03 | Nec Corp | ノイズ除去方法及び装置 |
JP2842026B2 (ja) | 1991-02-20 | 1998-12-24 | 日本電気株式会社 | 適応フィルタの係数制御方法及び装置 |
JP3277398B2 (ja) * | 1992-04-15 | 2002-04-22 | ソニー株式会社 | 有声音判別方法 |
CA2158849C (en) * | 1993-03-25 | 2000-09-05 | Kevin Joseph Power | Speech recognition with pause detection |
US6760451B1 (en) | 1993-08-03 | 2004-07-06 | Peter Graham Craven | Compensating filters |
US5844994A (en) * | 1995-08-28 | 1998-12-01 | Intel Corporation | Automatic microphone calibration for video teleconferencing |
SG71035A1 (en) * | 1997-08-01 | 2000-03-21 | Bitwave Pte Ltd | Acoustic echo canceller |
JP3403655B2 (ja) | 1998-11-27 | 2003-05-06 | 松下電器産業株式会社 | サブバンド適応フィルタを用いた未知システムの同定方法および装置 |
US6556967B1 (en) * | 1999-03-12 | 2003-04-29 | The United States Of America As Represented By The National Security Agency | Voice activity detector |
US6622030B1 (en) * | 2000-06-29 | 2003-09-16 | Ericsson Inc. | Echo suppression using adaptive gain based on residual echo energy |
JP3507020B2 (ja) * | 2000-09-08 | 2004-03-15 | 日本電信電話株式会社 | 反響抑圧方法、反響抑圧装置及び反響抑圧プログラム記憶媒体 |
US20020054685A1 (en) | 2000-11-09 | 2002-05-09 | Carlos Avendano | System for suppressing acoustic echoes and interferences in multi-channel audio systems |
US6961422B2 (en) * | 2001-12-28 | 2005-11-01 | Avaya Technology Corp. | Gain control method for acoustic echo cancellation and suppression |
WO2004004297A2 (en) * | 2002-07-01 | 2004-01-08 | Koninklijke Philips Electronics N.V. | Stationary spectral power dependent audio enhancement system |
EP1432221A1 (de) * | 2002-10-22 | 2004-06-23 | Siemens Aktiengesellschaft | Echo-Unterdrückung mit geringer Verzögerung |
JP3963850B2 (ja) * | 2003-03-11 | 2007-08-22 | 富士通株式会社 | 音声区間検出装置 |
US7813499B2 (en) * | 2005-03-31 | 2010-10-12 | Microsoft Corporation | System and process for regression-based residual acoustic echo suppression |
EP1715669A1 (en) * | 2005-04-19 | 2006-10-25 | Ecole Polytechnique Federale De Lausanne (Epfl) | A method for removing echo in an audio signal |
JP4395105B2 (ja) | 2005-06-13 | 2010-01-06 | 日本電信電話株式会社 | 音響結合量推定方法、音響結合量推定装置、プログラム、記録媒体 |
US7773743B2 (en) * | 2006-04-28 | 2010-08-10 | Microsoft Corporation | Integration of a microphone array with acoustic echo cancellation and residual echo suppression |
-
2008
- 2008-08-22 DE DE102008039329A patent/DE102008039329A1/de not_active Withdrawn
-
2009
- 2009-01-12 US US12/864,240 patent/US8731207B2/en active Active
- 2009-01-12 BR BRPI0905760-9A patent/BRPI0905760B1/pt active IP Right Grant
- 2009-01-12 JP JP2010543412A patent/JP5102371B2/ja active Active
- 2009-01-12 AU AU2009207881A patent/AU2009207881B2/en active Active
- 2009-01-12 CA CA2713127A patent/CA2713127C/en active Active
- 2009-01-12 CN CN2009801060473A patent/CN101953145B/zh active Active
- 2009-01-12 EP EP09704696.5A patent/EP2235927B1/en active Active
- 2009-01-12 ES ES09704696.5T patent/ES2641770T3/es active Active
- 2009-01-12 WO PCT/EP2009/000123 patent/WO2009092522A1/en active Application Filing
- 2009-01-12 KR KR1020107018658A patent/KR101250124B1/ko active IP Right Grant
- 2009-01-12 RU RU2010131421/08A patent/RU2495506C2/ru active
- 2009-01-12 MX MX2010008034A patent/MX2010008034A/es active IP Right Grant
- 2009-01-19 TW TW098101960A patent/TWI458331B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2211531C2 (ru) * | 1997-08-29 | 2003-08-27 | Телефонактиеболагет Лм Эрикссон (Пабл) | Синхронизация к базовой станции и получение кода в системе связи с передачей сигнала в широком спектре |
RU2233033C2 (ru) * | 1998-12-04 | 2004-07-20 | Квэлкомм Инкорпорейтед | Способ и устройство для обеспечения синхронизации системы беспроводной связи |
RU2319307C2 (ru) * | 2003-05-30 | 2008-03-10 | Спайдер Навигейшнз Эл.Эл.Си. | Частично когерентные сигнальные совокупности для систем с множеством антенн |
WO2006111370A1 (en) * | 2005-04-19 | 2006-10-26 | Epfl (Ecole Polytechnique Federale De Lausanne) | A method and device for removing echo in a multi-channel audio signal |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2725017C1 (ru) * | 2016-10-18 | 2020-06-29 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство и способ для обработки аудиосигнала |
US11056128B2 (en) | 2016-10-18 | 2021-07-06 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for processing an audio signal using noise suppression filter values |
US11664040B2 (en) | 2016-10-18 | 2023-05-30 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for reducing noise in an audio signal |
RU2698324C1 (ru) * | 2017-07-27 | 2019-08-26 | Фольксваген Акциенгезелльшафт | Способ компенсации шумовых помех у устройства громкой связи в автомобиле и устройство громкой связи |
US10636404B2 (en) | 2017-07-27 | 2020-04-28 | Volkswagen Atiengesellschaft | Method for compensating for interfering noises in a hands-free apparatus in a motor vehicle, and hands-free apparatus |
Also Published As
Publication number | Publication date |
---|---|
MX2010008034A (es) | 2010-09-22 |
AU2009207881B2 (en) | 2012-07-12 |
BRPI0905760A8 (pt) | 2017-11-28 |
US20110044461A1 (en) | 2011-02-24 |
AU2009207881A1 (en) | 2009-07-30 |
RU2010131421A (ru) | 2012-02-10 |
EP2235927A1 (en) | 2010-10-06 |
TW200942016A (en) | 2009-10-01 |
BRPI0905760B1 (pt) | 2020-09-24 |
CA2713127C (en) | 2015-03-24 |
US8731207B2 (en) | 2014-05-20 |
DE102008039329A1 (de) | 2009-07-30 |
EP2235927B1 (en) | 2017-07-12 |
WO2009092522A1 (en) | 2009-07-30 |
ES2641770T3 (es) | 2017-11-13 |
JP2011511522A (ja) | 2011-04-07 |
KR20100133365A (ko) | 2010-12-21 |
TWI458331B (zh) | 2014-10-21 |
KR101250124B1 (ko) | 2013-04-09 |
CN101953145B (zh) | 2013-03-27 |
CN101953145A (zh) | 2011-01-19 |
JP5102371B2 (ja) | 2012-12-19 |
CA2713127A1 (en) | 2009-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2495506C2 (ru) | Устройство и способ расчета параметров управления фильтра эхоподавления и устройство и способ расчета величины задержки | |
KR101573121B1 (ko) | 후부 잔향 성분들의 모델링을 포함하는 에코 억제 장치 및 방법 | |
CN101933088B (zh) | 用于回声抑制的滤波器系数的计算设备和方法 | |
EP3080975B1 (en) | Echo cancellation | |
KR100594563B1 (ko) | 선형 컨벌루션 및 인과 필터링을 사용하는 스펙트럼 감산에 의한 신호 잡음 감소 | |
JP4567655B2 (ja) | 音声信号中の暗騒音を抑制する方法及び装置、並びに反響消去を伴う対応する装置 | |
US6246760B1 (en) | Subband echo cancellation method for multichannel audio teleconference and echo canceller using the same | |
KR100595799B1 (ko) | 스펙트럼 종속 지수 이득 함수 평균화를 이용한 스펙트럼공제에 의한 신호 잡음 저감 | |
JP2002223182A (ja) | 反響消去方法、その装置、そのプログラム及びその記録媒体 | |
Fingscheidt et al. | Towards objective quality assessment of speech enhancement systems in a black box approach | |
US7023986B2 (en) | Echo canceller in a communication system at a terminal | |
RU2485607C2 (ru) | Устройство и способ расчета коэффициентов фильтра эхоподавления | |
Benesty et al. | Some Practical Aspects of Stereo Teleconferencing System Implementation |