RU2456701C2 - Повышение разборчивости речи с использованием нескольких микрофонов на нескольких устройствах - Google Patents

Повышение разборчивости речи с использованием нескольких микрофонов на нескольких устройствах Download PDF

Info

Publication number
RU2456701C2
RU2456701C2 RU2010142270/28A RU2010142270A RU2456701C2 RU 2456701 C2 RU2456701 C2 RU 2456701C2 RU 2010142270/28 A RU2010142270/28 A RU 2010142270/28A RU 2010142270 A RU2010142270 A RU 2010142270A RU 2456701 C2 RU2456701 C2 RU 2456701C2
Authority
RU
Russia
Prior art keywords
sound
audio signals
microphone
audio signal
audio
Prior art date
Application number
RU2010142270/28A
Other languages
English (en)
Other versions
RU2010142270A (ru
Inventor
Динеш РАМАКРИШНАН (US)
Динеш РАМАКРИШНАН
Сун ВАН (US)
Сун ВАН
Original Assignee
Квэлкомм Инкорпорейтед
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Квэлкомм Инкорпорейтед filed Critical Квэлкомм Инкорпорейтед
Publication of RU2010142270A publication Critical patent/RU2010142270A/ru
Application granted granted Critical
Publication of RU2456701C2 publication Critical patent/RU2456701C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays
    • H04R29/006—Microphone matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Headphones And Earphones (AREA)

Abstract

Группа изобретений относится к области обработки аудиосигналов. Согласно предложенным решениям захватывают первый аудиосигнал с помощью первого микрофона, расположенного на беспроводном мобильном устройстве, причем первый аудиосигнал представляет звук от множества источников звука. Захватывают второй аудиосигнал с помощью второго микрофона, расположенного на втором устройстве, не включенном в беспроводное мобильное устройство, причем второй аудиосигнал представляет звук от источников звука. Обрабатывают первый и второй захваченные аудиосигналы, чтобы сформировать сигнал, представляющий собой звук от одного из источников звука, отделенный от звука из других источников звука. Решения используют различные устройства, такие как гарнитуры Bluetooth, проводные гарнитуры и т.п. Техническим результатом является повышение разборчивости речи, подавление фоновых помех, обнаружение активности речи. 4 н. и 27 з.п. ф-лы, 12 ил.

Description

Настоящая патентная заявка испрашивает приоритет Предварительной заявки № 61/037461, озаглавленной "Speech Enhancement Using Multiple Microphones on Multiple Devices", поданной 18 марта 2008 г. и переуступленной правопреемнику настоящей заявки.
Область техники
Настоящее раскрытие изобретения в целом имеет отношение к области решений по обработке сигналов, используемых для повышения качества речи в системах связи, а точнее говоря, к методам использования нескольких микрофонов для повышения качества речевой связи.
Уровень техники
В системах мобильной связи качество переданной речи является важным фактором в общем качестве обслуживания, ощущаемом пользователями. В последнее время некоторые мобильные устройства связи (MCD) включили в MCD несколько микрофонов для повышения качества переданной речи. В этих MCD для улучшения качества речи и подавления фоновых помех используются усовершенствованные методики обработки сигналов, которые используют звуковую информацию от нескольких микрофонов. Однако эти решения обычно требуют, чтобы несколько микрофонов располагались на одном MCD. Известные примеры многомикрофонных MCD включают в себя трубки сотовых телефонов с двумя или более микрофонами и беспроводные гарнитуры Bluetooth с двумя микрофонами.
Речевые сигналы, зарегистрированные микрофонами на MCD, очень восприимчивы к воздействиям окружающей среды, таким как фоновые помехи, реверберация и т.п. MCD, оборудованные только одним микрофоном, страдают от плохого качества речи при использовании в шумных окружениях, то есть в окружениях, где отношение сигнал-шум (SNR) у входного речевого сигнала является низким. Чтобы повысить работоспособность в шумных средах, были предложены многомикрофонные MCD. Многомикрофонные MCD обрабатывают звук, зарегистрированный группой микрофонов, для повышения качества речи даже в агрессивных (очень шумных) средах. Известные решения с несколькими микрофонами могут применять некоторые методы цифровой обработки сигналов для повышения качества речи путем использования звука, зарегистрированного разными микрофонами, расположенными на MCD.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Известные многомикрофонные MCD требуют, чтобы все микрофоны были расположены на MCD. Так как все микрофоны располагаются на одном устройстве, известные методы многомикрофонной обработки звукового сигнала и их эффективность определяется относительно ограниченным разносом между микрофонами в MCD. Поэтому желательно найти способ увеличения эффективности и надежности многомикрофонных методов, используемых в мобильных устройствах.
В связи с этим настоящее раскрытие изобретения направлено на механизм, который использует сигналы, записанные несколькими микрофонами, для повышения качества речи в системе мобильной связи, где некоторые микрофоны располагаются на других устройствах, отличных от MCD. Например, одно устройство может быть MCD, а другое устройство может быть беспроводным/проводным устройством, которое взаимодействует с MCD. Аудио, принятое микрофонами на разных устройствах, может обрабатываться различными способами. В данном раскрытии изобретения предоставляется несколько примеров: несколько микрофонов на разных устройствах, которые могут использоваться для улучшения обнаружения активности речи (VAD); несколько микрофонов также могут использоваться для осуществления повышения разборчивости речи с использованием способов разделения источников, таких как формирование пучка, слепое разделение источников, схемы пространственно-разнесенного приема и т.п.
В соответствии с одной особенностью, способ обработки аудиосигналов в системе связи включает в себя фиксацию первого аудиосигнала с помощью первого микрофона, расположенного на беспроводном мобильном устройстве; фиксацию второго аудиосигнала с помощью второго микрофона, расположенного на втором устройстве, не включенном в беспроводное мобильное устройство; и обработку первого и второго зарегистрированных аудиосигналов для создания сигнала, представляющего звук от одного из источников звука, например, полезного источника, но отделенный от звука, поступающего от других источников звука, например, источников шумов окружающей среды, источников помех или т.п. Первый и второй аудиосигналы могут представлять звук от одинаковых источников в локальном окружении.
В соответствии с другой особенностью устройство включает в себя первый микрофон, расположенный на беспроводном мобильном устройстве, сконфигурированный для фиксации первого аудиосигнала; второй микрофон, расположенный на втором устройстве, не включенном в беспроводное мобильное устройство, сконфигурированном для фиксации второго аудиосигнала; и процессор, сконфигурированный для создания сигнала, представляющего собой звук от одного из источников звука, отделенный от звука из других источников, в ответ на первый и второй зарегистрированные аудиосигналы.
В соответствии с другой особенностью, устройство включает в себя средство для фиксации первого аудиосигнала на беспроводном мобильном устройстве; средство для фиксации второго аудиосигнала на втором устройстве, не включенном в беспроводное мобильное устройство; и средство для обработки первого и второго зарегистрированных аудиосигналов, чтобы создать сигнал, представляющий собой звук от одного из источников звука, отделенный от звука из других источников звука.
В соответствии с дополнительной особенностью машиночитаемый носитель, заключающий в себе набор команд, исполняемых одним или несколькими процессорами, включает в себя код для фиксации первого аудиосигнала на беспроводном мобильном устройстве; код для фиксации второго аудиосигнала на втором устройстве, не включенном в беспроводное мобильное устройство; и код для обработки первого и второго зарегистрированных аудиосигналов, чтобы создать сигнал, представляющий собой звук от одного из источников звука, отделенный от звука из других источников звука.
Другие особенности, признаки, способы и преимущества станут очевидными специалисту в данной области техники после рассмотрения нижеследующих фигур и подробного описания. Подразумевается, что все такие дополнительные признаки, особенности, способы и преимущества должны включаться в это описание и защищаться прилагаемой формулой изобретения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Нужно понимать, что чертежи предназначены исключительно для цели иллюстрации. Кроме того, компоненты на чертежах не обязательно представлены в масштабе, вместо этого придается значение иллюстрации принципов методов и устройств, описанных в этом документе. На чертежах одинаковые ссылочные позиции обозначают соответствующие части на всех разных видах.
Фиг. 1 - схема типовой системы связи, включающей мобильное устройство связи и гарнитуру, имеющую несколько микрофонов.
Фиг. 2 - блок-схема алгоритма, иллюстрирующая способ обработки аудиосигналов от нескольких микрофонов.
Фиг. 3 - блок-схема, показывающая некоторые компоненты мобильного устройства связи и гарнитуры из фиг. 1.
Фиг. 4 - блок-схема процесса общей многомикрофонной обработки сигналов с двумя микрофонами на разных устройствах.
Фиг. 5 - схема, иллюстрирующая типовой подход оценки задержки сигнала у микрофона.
Фиг. 6 - блок-схема процесса уточнения оценки задержки сигнала у микрофона.
Фиг. 7 - блок-схема процесса обнаружения активности речи (VAD) с использованием двух микрофонов на разных устройствах.
Фиг. 8 - блок-схема процесса BSS с использованием двух микрофонов на разных устройствах.
Фиг. 9 - блок-схема процесса измененной реализации BSS с двумя сигналами микрофонов.
Фиг. 10 - блок-схема процесса измененной реализации BSS в частотной области.
Фиг. 11 - блок-схема процесса способа формирования пучка с использованием двух микрофонов на разных устройствах.
Фиг. 12 - блок-схема процесса методов пространственно-разнесенного приема с использованием двух микрофонов на разных устройствах.
ПОДРОБНОЕ ОПИСАНИЕ
Нижеследующее подробное описание изобретения, которое ссылается и включает в себя чертежи, описывает и иллюстрирует один или несколько характерных вариантов осуществления. Эти варианты осуществления, предложенные не для ограничения, а только для иллюстрации и обучения, показаны и описаны достаточно подробно, чтобы дать возможность специалистам в данной области техники применить на практике формулу изобретения. Таким образом, описание может для краткости пропускать некоторую информацию, известную специалистам в данной области техники.
Слово "типовой" используется во всем раскрытии изобретения, чтобы обозначать "служащий в качестве примера, отдельного случая или иллюстрации". Все, что описано в этом документе как "типовое", не обязательно должно быть истолковано как предпочтительное или преимущественное над другими подходами или признаками.
Фиг. 1 - схема типовой системы 100 связи, включающей мобильное устройство 104 связи (MCD) и гарнитуру 102, имеющую несколько микрофонов 106, 108. В показанном примере гарнитура 102 и MCD 104 взаимодействуют по линии 103 радиосвязи, например соединению Bluetooth. Хотя соединение bluetooth может использоваться для обмена информацией между MCD 104 и гарнитурой 102, ожидается, что на линии 103 радиосвязи могут использоваться другие протоколы. С использованием линии радиосвязи Bluetooth звуковые сигналы между MCD 104 и гарнитурой 102 могут передаваться в соответствии с Профилем гарнитуры, предусмотренном в Спецификации Bluetooth, которая доступна на www.bluetooth.com.
Множество источников 110 звука излучают звуки, которые улавливаются микрофонами 106, 108 на разных устройствах 102, 104.
Несколько микрофонов, расположенных на разных мобильных устройствах связи, могут использоваться для повышения качества переданной речи. В этом документе раскрыты способы и устройства, с помощью которых аудиосигналы микрофона от нескольких устройств могут использоваться для повышения эффективности. Однако настоящее раскрытие изобретения не ограничивается любым конкретным способом многомикрофонной обработки или любым конкретным набором мобильных устройств связи.
Хотя аудиосигналы, которые зарегистрированы несколькими микрофонами, расположенными рядом друг с другом, обычно фиксируют смесь источников звука. Источники звука могут быть шумоподобными (уличный шум, перекрестный шум, шум окружающей среды или аналогичный) или могут быть речью, или инструментом. Звуковые волны от источника звука могут отскакивать или отражаться от стен или ближайших объектов для создания разных звуков. Специалисту в данной области техники должно быть понятно, что термин "источник звука" также может использоваться для указания других звуков, отличных от исходного источника звука, а также указания исходного источника звука. В зависимости от применения источник звука может быть речевым или шумоподобным.
В настоящее время существует много устройств - мобильные трубки, проводные гарнитуры, гарнитуры Bluetooth и т.п. - только с одиночными микрофонами. Но эти устройства проявляют свойства нескольких микрофонов, когда два или более этих устройств используются совместно. В этих обстоятельствах способы и устройство, описанные в этом документе, способны использовать несколько микрофонов на разных устройствах и повышать качество речи.
Желательно разделить смесь принятого звука по меньшей мере на два сигнала, представляющие каждый из исходных источников звука, путем применения алгоритма, который использует множество зарегистрированных аудиосигналов. Другими словами, после применения алгоритма разделения источников, например слепого разделения источников (BSS), формирования пучка или пространственного разнесения, "смешанные" источники звука можно услышать в отдельности. Такие методы разделения включают в себя BSS, формирование пучка и обработку с пространственным разнесением.
В этом документе описаны несколько типовых способов для использования нескольких микрофонов на разных устройствах для повышения качества речи в системе мобильной связи. Для простоты в этом раскрытии изобретения представляется один пример, включающий только два микрофона: один микрофон на MCD 104 и один микрофон на аксессуаре, например гарнитуре 102 или проводной гарнитуре. Однако раскрытые в этом документе методы могут быть расширены на системы, включающие более двух микрофонов, и MCD и гарнитуры, которые имеют более одного микрофона.
В системе 100 основной микрофон 106 для фиксации речевого сигнала располагается на гарнитуре 102, поскольку он обычно является ближайшим к говорящему пользователю, тогда как микрофон 108 на MCD 104 является дополнительным микрофоном 108. Кроме того, раскрытые способы могут использоваться с другими подходящими аксессуарами MCD, например проводными гарнитурами.
В MCD 104 выполняется обработка двух сигналов микрофонов. Поскольку сигнал основного микрофона, принятый от гарнитуры 102, запаздывает из-за протоколов беспроводной связи по сравнению с сигналом дополнительного микрофона от дополнительного микрофона 108, необходим блок компенсации задержки перед тем, как могут быть обработаны два сигнала микрофонов. Значение задержки, необходимое для блока компенсации задержки, обычно известно для данной гарнитуры Bluetooth. Если значение задержки неизвестно, то используется номинальное значение для блока компенсации задержки, и принимаются меры касательно неточности в компенсации задержки в блоке обработки двух сигналов микрофонов.
Фиг. 2 - блок-схема алгоритма, иллюстрирующая способ 200 обработки аудиосигналов от нескольких микрофонов. На этапе 202 основной аудиосигнал регистрируется основным микрофоном 106, расположенным на гарнитуре 102.
На этапе 204 дополнительный аудиосигнал регистрируется дополнительным микрофоном 108, расположенным на MCD 104. Основной и дополнительный аудиосигналы представляют звук от источников 110 звука, принятый в основном и дополнительном микрофонах 106, 108 соответственно.
На этапе 206 основной и дополнительный зарегистрированные аудиосигналы обрабатываются для создания сигнала, представляющего звук от одного из источников 110 звука, отделенный от звука из других источников 110 звука.
Фиг. 3 - блок-схема, показывающая некоторые компоненты MCD 104 и гарнитуры 102 из фиг. 1. Беспроводная гарнитура 102 и MCD 104 способны взаимодействовать друг с другом по линии 103 радиосвязи.
Гарнитура 102 включает в себя беспроводной интерфейс 308 малой дальности, соединенный с антенной 303 для взаимодействия с MCD 106 по линии 103 радиосвязи. Беспроводная гарнитура 102 также включает в себя контроллер 310, основной микрофон 106 и схему 312 микрофонного входа.
Контроллер 310 управляет общей работой гарнитуры 102 и некоторыми заключенными в ней компонентами, и включает в себя процессор 311 и запоминающее устройство 313. Процессор 311 может быть любым подходящим устройством обработки для исполнения программных команд, сохраненных в запоминающем устройстве 313, чтобы заставить гарнитуру 102 выполнять свои функции и процессы, которые описаны в этом документе. Например, процессор 311 может быть микропроцессором, например ARM7, цифровым процессором сигналов (DSP), одной или несколькими специализированными интегральными схемами (ASIC), программируемыми пользователем вентильными матрицами (FPGA), сложными устройствами с программируемой логикой (CPLD), дискретной логикой, программным обеспечением, аппаратными средствами, микропрограммным обеспечением или любым подходящим сочетанием.
Запоминающее устройство 313 является любым подходящим запоминающим устройством для хранения программных команд и данных, выполняемых и используемых процессором 311.
Беспроводной интерфейс 308 малой дальности включает в себя приемопередатчик 314 и обеспечивает двустороннюю беспроводную связь с MCD 104 через антенну 303. Хотя любая подходящая беспроводная технология может применяться с гарнитурой 102, беспроводной интерфейс 308 малой дальности предпочтительно включает в себя серийно выпускаемый модуль Bluetooth, который предоставляет по меньшей мере базовую систему Bluetooth, состоящую из антенны 303, радиочастотного приемопередатчика Bluetooth, процессора немодулированной передачи, стека протоколов, а также аппаратных и программных интерфейсов для соединения модуля с контроллером 310 и при необходимости другими компонентами гарнитуры 102.
Схема 312 микрофонного входа обрабатывает электронные сигналы, принятые от основного микрофона 106. Схема 312 микрофонного входа включает в себя аналого-цифровой преобразователь (ADC, не показан) и может включать в себя другую схему для обработки выходных сигналов от основного микрофона 106. ADC преобразует аналоговые сигналы от микрофона в цифровой сигнал, который затем обрабатывается контроллером 310. Схема 312 микрофонного входа может быть реализована с использованием серийно выпускаемых аппаратных средств, программного обеспечения, микропрограммного обеспечения или любого подходящего сочетания. Также некоторые из функций схемы 312 микрофонного входа могут быть реализованы как программное обеспечение, исполняемое на процессоре 311 или отдельном процессоре, например цифровом процессоре сигналов (DSP).
Основной микрофон 108 может быть любым подходящим звуковым преобразователем для преобразования звуковой энергии в электронные сигналы.
MCD 104 включает в себя интерфейс 330 беспроводной глобальной сети (WWAN), одну или несколько антенн 301, беспроводной интерфейс 320 малой дальности, дополнительный микрофон 108, схему 315 микрофонного входа и контроллер 324, имеющий процессор 326 и запоминающее устройство 328, хранящее одну или несколько программ 329 аудиообработки. Аудиопрограммы 329 могут конфигурировать MCD 104 для выполнения, в том числе, этапов процессов из фиг. 2 и 4-12, описанных в этом документе. MCD 104 может включать в себя отдельные антенны для взаимодействия по линии 103 радиосвязи малой дальности и линии WWAN, либо в качестве альтернативы для обеих линий связи может использоваться одна антенна.
Контроллер 324 управляет общей работой MCD 104 и некоторых компонентов, заключенных в нем. Процессор 326 может быть любым подходящим устройством обработки для исполнения программных команд, сохраненных в запоминающем устройстве 328, чтобы заставить MCD 104 выполнять свои функции и процессы, которые описаны в этом документе. Например, процессор 326 может быть микропроцессором, например ARM7, цифровым процессором сигналов (DSP), одной или несколькими специализированными интегральными схемами (ASIC), программируемыми пользователем вентильными матрицами (FPGA), сложными устройствами с программируемой логикой (CPLD), дискретной логикой, программным обеспечением, аппаратными средствами, микропрограммным обеспечением или любым подходящим сочетанием.
Запоминающее устройство 324 является любым подходящим запоминающим устройством для хранения программных команд и данных, выполняемых и используемых процессором 326.
Интерфейс 330 WWAN содержит полный физический интерфейс, необходимый для обмена информацией с WWAN. Интерфейс 330 включает в себя беспроводной приемопередатчик 332, сконфигурированный для обмена беспроводными сигналами с одной или несколькими базовыми станциями в WWAN. Примеры подходящих сетей беспроводной связи включают в себя, но не ограничиваются, сети на основе коллективного доступа с кодовым разделением каналов (CDMA), сети WCDMA, GSM, UMTS, AMPS, PHS или похожие. Интерфейс 330 WWAN обменивается беспроводными сигналами с WWAN для облегчения речевых вызовов и передач данных по WWAN к подключенному устройству. Подключенное устройство может быть другим терминалом WWAN, телефоном наземной линии связи или объектом сетевой службы, например сервером голосовой почты, Интернет-сервером или похожим.
Беспроводной интерфейс 320 малой дальности включает в себя приемопередатчик 336 и обеспечивает двустороннюю беспроводную связь с беспроводной гарнитурой 102. Хотя любая подходящая беспроводная технология может применяться с MCD 104, беспроводной интерфейс 336 малой дальности предпочтительно включает в себя серийно выпускаемый модуль Bluetooth, который предоставляет по меньшей мере базовую систему Bluetooth, состоящую из антенны 301, радиочастотного приемопередатчика Bluetooth, процессора немодулированной передачи, стека протоколов, а также аппаратных и программных интерфейсов для соединения модуля с контроллером 324 и при необходимости другими компонентами MCD 104.
Схема 315 микрофонного входа обрабатывает электронные сигналы, принятые от дополнительного микрофона 108. Схема 315 микрофонного входа включает в себя аналого-цифровой преобразователь (ADC, не показан) и может включать в себя другую схему для обработки выходных сигналов от дополнительного микрофона 108. ADC преобразует аналоговые сигналы от микрофона в цифровой сигнал, который затем обрабатывается контроллером 324. Схема 315 микрофонного входа может быть реализована с использованием серийно выпускаемых аппаратных средств, программного обеспечения, микропрограммного обеспечения или любого подходящего сочетания. Также некоторые из функций схемы 315 микрофонного входа могут быть реализованы как программное обеспечение, исполняемое на процессоре 326 или отдельном процессоре, например цифровом процессоре сигналов (DSP).
Дополнительный микрофон 108 может быть любым подходящим аудиопреобразователем для преобразования аудиоэнергии в электронные сигналы.
Компоненты MCD 104 и гарнитуры 102 могут быть реализованы с использованием любого подходящего сочетания аналоговых и/или цифровых аппаратных средств, микропрограммного обеспечения или программного обеспечения.
Фиг. 4 - блок-схема процесса общей многомикрофонной обработки сигналов с двумя микрофонами на разных устройствах. Как показано на схемы, этапы 402-410 могут выполняться посредством MCD 104.
На чертеже оцифрованные выборки сигнала основного микрофона обозначаются с помощью x1(n). Оцифрованные выборки сигнала дополнительного микрофона от MCD 104 обозначаются с помощью x2(n).
Этап 400 представляет задержку, претерпеваемую выборками основного микрофона, когда они перемещаются по линии 103 радиосвязи от гарнитуры 102 к MCD 104. Выборки x1(n) основного микрофона задерживаются относительно выборок x2(n) дополнительного микрофона.
На этапе 402 выполняется линейное эхоподавление (LEC) для удаления эха из выборок основного микрофона. Подходящие методики LEC известны специалистам в данной области техники.
В блоке 404 компенсации задержки сигнал дополнительного микрофона задерживается на td выборок перед тем, как два сигнала микрофонов могут обрабатываться дальше. Значение задержки td, необходимое для блока 404 компенсации задержки, обычно известно для данного беспроводного протокола, например гарнитуры Bluetooth. Если значение задержки неизвестно, то в блоке 404 компенсации задержки может использоваться номинальное значение. Значение задержки может дополнительно уточняться, как описано ниже применительно к фиг. 5-6.
Другое препятствие в этом применении - компенсация различий в скорости передачи данных между двумя сигналами микрофонов. Это выполняется в блоке 406 компенсации частоты дискретизации. Вообще, гарнитура 102 и MCD 104 могут управляться двумя независимыми источниками тактовых импульсов, и тактовые частоты могут со временем немного смещаться относительно друг друга. Если тактовые частоты отличаются, то может отличаться и количество выборок, доставленных в кадре для двух сигналов микрофонов. Как правило, это известно как проблема пропуска выборок, и ряд подходов, которые известны специалистам в данной области техники, может использоваться для решения этой проблемы. В случае пропуска выборок блок 406 компенсирует различие в скорости передачи данных между двумя сигналами микрофонов.
Предпочтительно, чтобы частота дискретизации потока выборок основного и дополнительного микрофонов согласовывалась перед тем, как выполняется дальнейшая обработка сигналов, затрагивающая оба потока. Существует много подходящих способов для выполнения этого. Например, одним из способов является добавление/удаление выборок из одного потока для соответствия выборкам/кадру в другом потоке. Другой способ заключается в выполнении тонкой настройки частоты дискретизации одного потока для совпадения с другим потоком. Например, предположим, что оба канала имеют номинальную частоту дискретизации в 8 кГц. Однако фактическая частота дискретизации одного канала равна 7985 Гц. Поэтому аудиовыборки из этого канала нужно повысить до 8000 Гц. В качестве другого примера один канал может иметь частоту дискретизации в 8023 Гц. Его аудиовыборки нужно понизить до 8 кГц. Существует много способов, которые могут использоваться для выполнения произвольной передискретизации двух потоков, чтобы согласовать их частоты дискретизации.
На этапе 408 дополнительный микрофон 108 калибруется для компенсации различий в чувствительности основного и дополнительного микрофонов 106, 108. Калибровка выполняется путем регулирования потока выборок дополнительного микрофона.
Вообще, основной и дополнительный микрофоны 106, 108 могут обладать совершенно разными чувствительностями, и необходимо калибровать сигнал дополнительного микрофона таким образом, чтобы мощность фоновых помех, принятая дополнительным микрофоном 108, имела такой же уровень, как у основного микрофона 106. Калибровка может выполняться с использованием подхода, который включает оценку минимального уровня шума у двух сигналов микрофонов и затем использование квадратного корня отношения двух оценок минимального уровня шума, чтобы масштабировать сигнал дополнительного микрофона, чтобы два сигнала микрофонов имели одинаковые минимальные уровни шума. В качестве альтернативы могут использоваться другие способы калибровки чувствительностей микрофонов.
На этапе 410 происходит многомикрофонная обработка аудио. Обработка включает в себя алгоритмы, которые используют аудиосигналы от нескольких микрофонов для повышения качества речи, производительности системы или т.п. Примеры таких алгоритмов включают в себя алгоритмы VAD и алгоритмы разделения источников, например слепое разделение источников (BSS), формирование пучка или пространственное разнесение. Алгоритмы разделения источников позволяют разделение "смешанных" источников звука, чтобы конечному слушателю передавался только сигнал нужного источника. Вышеупомянутые типовые алгоритмы более подробно обсуждаются ниже.
Фиг. 5 - схема, иллюстрирующая типовой подход оценки задержки сигнала у микрофона, который использует линейный эхокомпенсатор (LEC) 402, включенный в MCD 104. Подход оценивает задержку 500 беспроводного канала, претерпеваемую сигналами основного микрофона, перемещаемыми по линии 103 радиосвязи. Как правило, алгоритм эхоподавления реализуется на MCD 104, чтобы подавить ощущение эха на дальнем конце (тракт Rx основного микрофона) через динамик 506 гарнитуры, которое присутствует в сигнале микрофона (тракт Tx основного микрофона). Тракт Rx основного микрофона может включать в себя обработку 504 Rx, которая происходит в гарнитуре 102, а тракт Tx основного микрофона может включать в себя обработку 502 Tx, которая происходит в гарнитуре 102.
Алгоритм эхоподавления обычно состоит из LEC 402 на входе в MCD 104. LEC 402 реализует адаптивный фильтр над сигналом Rx дальнего конца и фильтрует эхо из входящего сигнала основного микрофона. Чтобы эффективно реализовать LEC 402, должна быть известна двусторонняя задержка от тракта Rx до тракта Tx. Как правило, двусторонняя задержка является постоянной или по меньшей мере близкой к постоянному значению, и эта постоянная задержка оценивается во время начальной настройки MCD 104 и используется для конфигурирования решения LEC. Как только известна оценка двусторонней задержки trd, начальная приблизительная оценка для задержки, t0d, испытываемой сигналом основного микрофона по сравнению с сигналом дополнительного микрофона, может вычисляться как половина двусторонней задержки. Как только известна начальная приблизительная задержка, фактическая задержка может оцениваться путем точного поиска по диапазону значений.
Точный поиск описывается следующим образом. Пусть сигнал основного микрофона после LEC 402 обозначается с помощью x1(n). Пусть сигнал дополнительного микрофона от MCD 104 обозначается с помощью x2(n). Сигнал дополнительного микрофона сначала задерживается на t0d, чтобы обеспечить компенсацию начальной приблизительной задержки между двумя сигналами микрофонов x1(n) и x2(n), где n - целочисленное значение индекса выборки. Начальная приблизительная задержка обычно является грубой оценкой. Задержанный сигнал второго микрофона затем взаимно коррелируется с сигналом основного микрофона для диапазона τ значений задержек, и фактическая, уточненная оценка задержки, td, находится путем максимизации результата взаимной корреляции на диапазоне τ:
Figure 00000001
Параметр τ диапазона может принимать как положительные, так и отрицательные целочисленные значения. Например, -10≤τ≤10. Итоговая оценка td соответствует значению τ, которое максимизирует взаимную корреляцию. Такой же подход с взаимной корреляцией также может использоваться для вычисления грубой оценки задержки между сигналом дальнего конца и эхом, присутствующим в сигнале основного микрофона. Однако в этом случае значения задержки обычно большие, и диапазон значений для τ должен тщательно выбираться на основе предшествующего опыта или отыскиваться на большом диапазоне значений.
Фиг. 6 - блок-схема процесса, иллюстрирующая другой подход для уточнения оценки задержки сигнала у микрофона. В этом подходе два потока выборок микрофонов при желании фильтруются по нижним частотам с помощью фильтров 604, 606 нижних частот (LPF) перед вычислением взаимной корреляции для оценки задержки с использованием Уравнения 1 выше (этап 608). Фильтрация нижних частот полезна, так как когда два микрофона 106, 108 размещаются на большом расстоянии, между двумя сигналами микрофонов соотносятся только низкочастотные компоненты. Граничные частоты для фильтра нижних частот можно обнаружить на основе способов, указанных в этом документе ниже при описании VAD и BSS. Как показано этапом 602 из фиг. 6, выборки дополнительного микрофона задерживаются на начальную приблизительную задержку, t0d, перед фильтрацией нижних частот.
Фиг. 7 - блок-схема процесса обнаружения 700 активности речи (VAD) с использованием двух микрофонов на разных устройствах. В системе с одним микрофоном мощность фоновых помех нельзя оценить как следует, если шум является нестационарным во времени. Однако с использованием сигнала дополнительного микрофона (сигнал от MCD 104) может быть получена более точная оценка мощности фоновых помех, и можно реализовать значительно усовершенствованный детектор активности речи. VAD 700 можно реализовать различными способами. Пример реализации VAD описывается следующим образом.
Вообще, дополнительный микрофон 108 будет относительно удален (более 8 см) от основного микрофона 106, и поэтому дополнительный микрофон 108 будет фиксировать главным образом шум окружающей среды и очень мало нужной речи от пользователя. В этом случае VAD 700 можно реализовать просто путем сравнения уровня мощности сигнала калиброванного дополнительного микрофона и сигнала основного микрофона. Если уровень мощности сигнала основного микрофона гораздо выше, чем у сигнала калиброванного дополнительного микрофона, то заявляется, что обнаруживается речь. Дополнительный микрофон 108 может исходно калиброваться во время производства MCD 104, чтобы уровень шума окружающей среды, зарегистрированный двумя микрофонам 106, 108, был близок друг к другу. После калибровки сравнивается средняя мощность каждого блока (или кадра) у принятых выборок двух сигналов микрофонов, и объявляется обнаружение речи, когда средняя мощность блока у сигнала основного микрофона превышает таковую у сигнала дополнительного микрофона на заранее установленную пороговую величину. Если два микрофона размещаются на относительно большом расстоянии, то корреляция между двумя сигналами микрофонов снижается для высоких частот. Соотношение между разделением микрофонов (d) и частотой максимальной корреляции (fmax) может выражаться с использованием следующего уравнения:
Figure 00000002
,
где с=343 м/с является скоростью звука в воздухе, d является расстоянием разделения микрофонов, и fmax является частотой максимальной корреляции. Эффективность VAD может быть повышена путем вставки фильтра нижних частот в тракт двух сигналов микрофонов перед вычислением оценок энергии блоков. Фильтр нижних частот выбирает только те высокие аудиочастоты, которые коррелируют между двумя сигналами микрофонов, и поэтому решение не будет искажаться некоррелированными компонентами. Граница фильтра нижних частот может устанавливаться, как указано ниже.
Figure 00000003
Figure 00000004
(3)
Здесь 800 Гц и 2800 Гц даны в качестве примеров минимальных и максимальных граничных частот для фильтра нижних частот. Фильтр нижних частот может быть простым фильтром с КИХ или биквадратным фильтром с БИХ с заданной граничной частотой.
Фиг. 8 - блок-схема процесса слепого разделения источников (BSS) с использованием двух микрофонов на разных устройствах. Модуль 800 BSS разделяет и восстанавливает сигналы источников из нескольких смесей сигналов источников, записанных матрицей датчиков. Модуль 800 BSS обычно применяет статистические показатели высшего порядка для отделения исходных источников от смесей.
Разборчивость речевого сигнала, зарегистрированного гарнитурой 102, может сильно страдать, если фоновые помехи слишком высоки или очень нестационарны. BSS 800 может обеспечить значительное улучшение качества речи в этих сценариях.
Модуль 800 BSS может использовать ряд подходов разделения источников. Способы BSS обычно применяют адаптивные фильтры для удаления шума из сигнала основного микрофона и удаления нужной речи из сигнала дополнительного микрофона. Поскольку адаптивный фильтр может моделировать и удалять только коррелированные сигналы, он будет особенно эффективен в низкочастотном шуме из сигнала основного микрофона и низкочастотной речи из сигнала дополнительного микрофона. Эффективность фильтров BSS может улучшаться путем адаптивной фильтрации только в областях нижних частот. Это может достигаться двумя способами.
Фиг. 9 - блок-схема процесса измененной реализации BSS с двумя сигналами микрофонов. Реализация BSS включает в себя фильтр 852 BSS, два фильтра 854, 856 нижних частот (LPF) и модуль 858 обучения и обновления фильтра BSS. В реализации BSS два входных аудиосигнала фильтруются с использованием адаптивных/неперестраиваемых фильтров 852 для разделения сигналов, поступающих из разных источников звука. Используемые фильтры 852 могут быть адаптивными, то есть веса фильтра адаптируются со временем в зависимости от входных данных, либо фильтры могут быть неперестраиваемыми, то есть для разделения входных сигналов используется постоянный набор заранее вычисленных коэффициентов фильтра. Обычно реализация адаптивного фильтра является более распространенной, так как она обеспечивает лучшую производительность, особенно если входные статистические показатели являются нестационарными.
Обычно для устройств с двумя микрофонами BSS применяет два фильтра - один фильтр для выделения нужного аудиосигнала из сигналов входной смеси и другой фильтр для выделения шума окружающей среды/сигнала помехи из сигналов входной смеси. Два фильтра могут быть фильтрами с КИХ или фильтрами с БИХ, и в случае адаптивных фильтров веса двух фильтров могут обновляться одновременно. Реализация адаптивных фильтров включает в себя два этапа: первый этап вычисляет обновления весов фильтров путем обучения на входных данных, а второй этап реализует фильтр путем свертывания веса фильтра с входными данными. Здесь предполагается, что фильтры 854 нижних частот должны применяться к входным данным для реализации первого этапа 858 - вычисления обновлений фильтра с использованием, тем не менее, данных для второго этапа 852 - адаптивные фильтры реализуются на исходных входных данных (без LPF). LPF 854, 856 могут быть спроектированы как фильтры с БИХ или КИХ с граничными частотами, которые заданы в Уравнении (3). Для реализации BSS во временной области два LPF 854, 856 применяются к двум сигналам микрофонов соответственно, как показано на фиг. 9. Фильтрованные сигналы микрофонов затем предоставляются модулю 858 обучения и обновления фильтра BSS. В ответ на фильтрованные сигналы модуль 858 обновляет параметры фильтра у фильтра 852 BSS.
Блок-схема реализации BSS в частотной области показана на фиг. 10. Эта реализация включает в себя блок 970 быстрого преобразования Фурье (FFT), блок 972 фильтра BSS, блок 974 постобработки и блок 976 обратного быстрого преобразования Фурье (IFFT). Для реализации BSS в частотной области фильтры 972 BSS реализуются только на нижних частотах (или поддиапазонах). Граница для диапазона нижних частот может быть обнаружена точно так же, как задано в Уравнениях (2) и (3). В реализации в частотной области для каждого элемента разрешения по частоте (или поддиапазона) реализуется отдельный набор фильтров 972 BSS. Здесь снова реализуются два адаптивных фильтра для каждого элемента разрешения по частоте - один фильтр для отделения нужного источника звука от смешанных входных данных и другой для отфильтровывания сигнала шума окружающей среды из смешанных входных данных. Ряд алгоритмов BSS в частотной области может использоваться для этой реализации. Поскольку фильтры BSS уже работают на узкополосных данных, нет необходимости разделять этап обучения фильтра и этап реализации в этой реализации. Для элементов разрешения по частоте, соответствующих нижним частотам (например, < 800 Гц), фильтры 972 BSS в частотной области реализуются для отделения сигнала нужного источника от сигналов других источников.
Обычно алгоритмы 974 постобработки также используются в сочетании со способами BSS/формирования пучка, чтобы добиться более высоких степеней подавления шумов. Подходы 974 постобработки обычно используют фильтрацию Винера, спектральное вычитание или другие нелинейные методики для дополнительного подавления шума окружающей среды и других нежелательных сигналов в сигнале нужного источника. Алгоритмы 974 постобработки обычно не используют фазовое соотношение между сигналами микрофонов, поэтому они могут использовать информацию из частей нижних и верхних частот сигнала дополнительного микрофона для повышения качества речи у переданного сигнала. Предполагается, что алгоритмами 974 постобработки используются как низкочастотные выходные сигналы BSS, так и высокочастотные сигналы от микрофонов. Алгоритмы постобработки вычисляют оценку уровня мощности шума для каждого элемента разрешения по частоте из выходного сигнала дополнительного микрофона BSS (для нижних частот) и сигнала дополнительного микрофона (для верхних частот), а затем выводят коэффициент усиления для каждого элемента разрешения по частоте и применяют коэффициент усиления к основному переданному сигналу для дополнительного удаления шума окружающей среды и улучшения качества речи.
Чтобы проиллюстрировать преимущество выполнения подавления шумов только на нижних частотах, рассмотрим следующий типовой сценарий. Пользователь может использовать беспроводную или проводную гарнитуру при управлении автомобилем и держать трубку мобильного телефона в кармане рубашки/куртки или где-то еще, что находится не более 20 см от гарнитуры. В этом случае частотные компоненты менее 860 Гц будут коррелировать между сигналами микрофонов, зарегистрированными гарнитурой и устройством телефонной трубки. Поскольку шум дороги и шум двигателя в автомобиле преимущественно содержат низкочастотную энергию, сосредоточенную по большей части ниже 800 Гц, подходы к подавлению низкочастотных шумов могут обеспечить значительное увеличение производительности.
Фиг. 11 - блок-схема процесса способа 1000 формирования пучка с использованием двух микрофонов на разных устройствах. Способы формирования пучка выполняют пространственную фильтрацию путем линейного объединения сигналов, записанных матрицей датчиков. Применительно к этому раскрытию изобретения датчики являются микрофоном, размещенным на разных устройствах. Пространственная фильтрация улучшает прием сигналов из нужного направления наряду с подавлением сигналов помех, поступающих из других направлений.
Переданное качество речи также можно улучшить путем выполнения формирования пучка с использованием двух микрофонов 106, 108 в гарнитуре 102 и MCD 104. Формирование пучка повышает качество речи путем подавления шума окружающей среды, поступающего из направлений, отличных от направления нужного источника речи. Способ формирования пучка может использовать ряд подходов, которые абсолютно известны обычным специалистам в данной области техники.
Формирование пучка обычно применяется с использованием адаптивных фильтров с КИХ, и такая же идея фильтрации нижних частот у двух сигналов микрофонов может использоваться для повышения эффективности обучения у адаптивных фильтров. Сочетание способов BSS и формирования пучка также может применяться для выполнения многомикрофонной обработки.
Фиг. 12 - блок-схема процесса по методу 1100 пространственно-разнесенного приема с использованием двух микрофонов на разных устройствах. Методы пространственного разнесения предоставляют различные способы для повышения надежности приема аудиосигналов, которые могут подвергаться интерференционному замиранию вследствие многолучевого распространения в окружающей среде. Схемы пространственного разнесения совершенно отличаются от способов формирования пучка в том, что формирователи пучка работают путем объединения сигналов микрофонов, чтобы улучшить отношение сигнал/шум (SNR) у выходного сигнала, тогда как схемы разнесения работают путем объединения нескольких принятых сигналов когерентно или некогерентно, чтобы улучшить прием сигнала, который подвергается воздействию многолучевого распространения. Существуют различные методы сложения разнесенных сигналов, которые могут использоваться для повышения качества записанного речевого сигнала.
Один метод сложения разнесенных сигналов является методом сложения с автовыбором, который включает в себя отслеживание двух сигналов микрофонов и отбор самого сильного сигнала, то есть сигнала с самым высоким SNR. Здесь сначала вычисляются SNR задержанного сигнала основного микрофона и сигнала калиброванного дополнительного микрофона, а затем сигнал с самым сильным SNR выбирается в качестве выходного сигнала. SNR сигналов микрофонов может оцениваться с помощью следующих методов, известных специалистам в данной области техники.
Другим методом сложения разнесенных сигналов является метод суммирования дифференциально взвешенных сигналов каждого канала, который включает в себя взвешивание двух сигналов микрофонов с помощью их соответствующих SNR, а затем их объединение для повышения качества выходного сигнала. Например, взвешенное сочетание двух сигналов микрофона может выражаться следующим образом:
Figure 00000005
Здесь s1(n) и s2(n) являются двумя сигналами микрофонов, а a1(n) и a2(n) являются двумя весами, и y(n) является выходным сигналом. Сигнал второго микрофона при желании может задерживаться на значение τ, чтобы минимизировать звукопоглощение из-за эффектов фазовой компенсации, вызванных когерентным суммированием двух сигналов микрофонов.
Два веса должны быть меньше единицы в любой заданный момент, и сумма двух весов должна дополнять до единицы. Веса могут изменяться во времени. Веса могут конфигурироваться как пропорциональные SNR соответствующих сигналов микрофонов. Веса могут сглаживаться во времени и изменяться очень медленно во времени, чтобы объединенный сигнал y(n) не имел никаких нежелательных искажений. Вообще, вес для сигнала основного микрофона очень высокий, поскольку он фиксирует нужную речь с более высоким SNR, чем SNR у сигнала дополнительного микрофона.
В качестве альтернативы оценки энергии, вычисленные из сигнала дополнительного микрофона, также могут использоваться в модуле нелинейной постобработки, применяемом методами подавления шумов. Методы подавления шумов обычно применяют способы нелинейной постобработки, такие как спектральное вычитание, для удаления большего шума из сигнала основного микрофона. Методы постобработки обычно требуют оценки энергии уровня шума окружающей среды, чтобы подавить шум в сигнале основного микрофона. Энергия уровня шума окружающей среды может вычисляться из оценок мощностей блоков сигнала дополнительного микрофона или как взвешенное сочетание оценок мощностей блоков из сигналов обоих микрофонов.
Некоторые из аксессуаров, например гарнитуры Bluetooth, допускают предоставление информации о диапазоне посредством протокола связи Bluetooth. Таким образом, в реализациях с Bluetooth информация о диапазоне передает то, насколько далеко от MCD 104 располагается гарнитура 102. Если информация о диапазоне недоступна, то может вычисляться приблизительная оценка для диапазона из оценки времени задержки, вычисленной с использованием Уравнения (1). Эта информация о диапазоне может использоваться MCD 104 для принятия решения, какой тип алгоритма многомикрофонной аудиообработки использовать для повышения качества переданной речи. Например, способы формирования пучка работают очень хорошо, когда основной и дополнительный микрофоны располагаются близко друг к другу (расстояние 8 см). Таким образом, в этих обстоятельствах могут выбираться способы формирования пучка. Алгоритмы BSS применимы в среднем диапазоне (6 см<расстояние<15 см), а подходы с пространственным разнесением применимы, когда микрофоны расположены на большом расстоянии друг от друга (расстояние >15 см). Таким образом, в каждом из этих диапазонов посредством MCD 104 могут выбираться соответственно алгоритмы BSS и алгоритмы пространственного разнесения. Таким образом, знание расстояния между двумя микрофонами может использоваться для повышения качества переданной речи.
Функциональные возможности систем, устройств, гарнитур и их соответствующих компонентов, а также этапы способов и блоки, описанные в этом документе, могут быть реализованы в аппаратных средствах, программном обеспечении, микропрограммном обеспечении или любом подходящем сочетании. Программное обеспечение/микропрограммное обеспечение может быть программой, содержащей наборы команд (например, программные сегменты), исполняемые одним или несколькими цифровыми схемами, например микропроцессорами, DSP, встроенными контроллерами или блоками для построения систем-на-кристалле (IP-блоками). При реализации в программном обеспечении/микропрограммном обеспечении функции могут храниться или передаваться в виде команд или кода на одном или нескольких машиночитаемых носителях. Машиночитаемый носитель включает в себя как компьютерный носитель информации, так и средство связи, включая любой носитель, который способствует передаче компьютерной программы из одного места в другое. Носитель информации может быть любым доступным носителем, к которому можно обращаться с помощью компьютера. В качестве примера, а не ограничения, такой машиночитаемый носитель может быть выполнен в виде RAM, ROM, EEPROM, компакт-диска или другого накопителя на оптических дисках, накопителя на магнитных дисках или других магнитных запоминающих устройств, либо любого другого носителя, который может использоваться для перемещения или хранения необходимого программного кода в виде команд или структур данных, и к которому можно обращаться с помощью компьютера. Также любое соединение корректно называть машиночитаемым носителем. Например, если программное обеспечение передается с веб-сайта, сервера или другого удаленного источника с использованием коаксиального кабеля, оптоволоконного кабеля, витой пары, цифровой абонентской линии (DSL) или беспроводных технологий, например ИК-связи, радиочастотной связи и СВЧ-связи, то коаксиальный кабель, оптоволоконный кабель, витая пара, DSL или беспроводные технологии, например ИК-связь, радиочастотная связь и СВЧ-связь, включаются в определение носителя. Диск и диск, при использовании в данном документе, включает в себя компакт-диск (CD), лазерный диск, оптический диск, цифровой универсальный диск (DVD), гибкий диск и диск Blu-ray, где диски (disks) обычно воспроизводят данные магнитным способом, тогда как другие диски (discs) воспроизводят данные оптически с помощью лазеров. Сочетания вышеперечисленного также следует включить в область машиночитаемого носителя.
Выше были описаны некоторые варианты осуществления. Однако возможны различные модификации к этим вариантам осуществления, и представленные в этом документе принципы с тем же успехом могут применяться к другим вариантам осуществления. Например, раскрытые в этом документе принципы могут применяться к другим устройствам, например беспроводным устройствам, включающим персональные цифровые помощники (PDA), персональные компьютеры, стереосистемам, видеоиграм и т.п. Также раскрытые в этом документе принципы могут применяться к проводным гарнитурам, где линия связи между гарнитурой и другим устройством является проводом, а не линией радиосвязи. К тому же различные компоненты и/или этапы способа/блоки могут быть реализованы в компоновках, отличных от конкретно раскрытых, без отклонения от объема формулы изобретения.
Другие варианты осуществления и модификации будут очевидны для специалистов в данной области техники в связи с этими идеями. Поэтому нижеследующая формула изобретения предназначена для охвата всех таких вариантов осуществления и модификаций при рассмотрении в сочетании с вышеприведенным описанием изобретения и прилагаемыми чертежами.

Claims (31)

1. Способ обработки аудио сигналов в системе связи, содержащий этапы, на которых
захватывают первый аудио сигнал с помощью первого микрофона, расположенного на беспроводном мобильном устройстве, причем первый аудио сигнал представляет звук от множества источников звука;
захватывают второй аудио сигнал с помощью второго микрофона, расположенного на втором устройстве, не включенном в беспроводное мобильное устройство, причем второй аудио сигнал представляет звук от источников звука; и
обрабатывают первый и второй захваченные аудио сигналы, чтобы сформировать сигнал, представляющий собой звук от одного из источников звука, отделенный от звука из других источников звука.
2. Способ по п.1, в котором второе устройство является гарнитурой.
3. Способ по п.2, в котором гарнитура является беспроводной гарнитурой, взаимодействующей с беспроводным мобильным устройством посредством беспроводной линии связи.
4. Способ по п.3, в котором беспроводная линия связи использует протокол Bluetooth.
5. Способ по п.4, в котором по протоколу Bluetooth предоставляется информация о диапазоне, причем информация о диапазоне используется для выбора алгоритма разделения источников.
6. Способ по п.1, в котором этап обработки включает в себя выбор алгоритма разделения источников звука из алгоритма слепого разделения источников, алгоритма формирования пучка или алгоритма пространственного разнесения, где информация о диапазоне используется выбранным алгоритмом разделения источников.
7. Способ по п.1, дополнительно содержащий выполнение обнаружения активности речи на основе сигнала.
8. Способ по п.1, дополнительно содержащий
взаимное коррелирование первого и второго аудио сигналов; и
оценивание задержки между первым и вторым аудио сигналами на основе взаимной корреляции между первым и вторым аудио сигналами.
9. Способ по п.8, дополнительно содержащий фильтрацию нижних частот первого и второго аудио сигналов перед выполнением взаимного коррелирования первого и второго аудио сигналов.
10. Способ по п.1, дополнительно содержащий компенсацию задержки между первым и вторым аудио сигналами.
11. Способ по п.1, дополнительно содержащий компенсацию разных частот дискретизации аудио для первого и второго аудио сигналов.
12. Устройство обработки аудио сигналов в системе связи, содержащее первый микрофон, расположенный на беспроводном мобильном устройстве, сконфигурированный для захвата первого аудио сигнала, причем первый аудио сигнал представляет звук от множества источников звука;
второй микрофон, расположенный на втором устройстве, не включенном в беспроводное мобильное устройство, сконфигурированный для захвата второго аудио сигнала, причем второй аудио сигнал представляет звук от источников звука; и
процессор, сконфигурированный для формирования сигнала, представляющего звук от одного из источников звука, отделенный от звука из других источников, в ответ на первый и второй захваченные аудио сигналы.
13. Устройство по п.12, дополнительно содержащее второе устройство, причем второе устройство является гарнитурой.
14. Устройство по п.13, в котором гарнитура является беспроводной гарнитурой, осуществляющей связь с беспроводным мобильным устройством посредством беспроводной линии связи.
15. Устройство по п.14, в котором беспроводная линия связи использует протокол Bluetooth.
16. Устройство по п.15, в котором по протоколу Bluetooth предоставляется информация о диапазоне, причем информация о диапазоне используется для выбора алгоритма разделения источников.
17. Устройство по п.12, в котором процессор выбирает алгоритм разделения источников звука из алгоритма слепого разделения источников, алгоритма формирования пучка или алгоритма пространственного разнесения.
18. Устройство по п.12, дополнительно содержащее детектор активности речи, реагирующий на сигнал.
19. Устройство по п.12, дополнительно содержащее беспроводное мобильное устройство, причем беспроводное мобильное устройство включает в себя процессор.
20. Устройство обработки аудио сигналов в системе связи, содержащее средство для захвата первого аудио сигнала на беспроводном мобильном устройстве, причем первый аудио сигнал представляет звук от множества источников звука;
средство для захвата второго аудио сигнала на втором устройстве, не включенном в беспроводное мобильное устройство, причем второй аудио сигнал представляет звук от источников звука; и
средство для обработки первого и второго захваченных аудио сигналов, чтобы сформировать сигнал, представляющий звук от одного из источников звука, отделенный от звука из других источников звука.
21. Устройство по п.20, содержащее второе устройство, причем второе устройство является гарнитурой.
22. Устройство по п.21, в котором гарнитура является беспроводной гарнитурой, осуществляющей связь с беспроводным мобильным устройством посредством беспроводной линии связи.
23. Устройство по п.22, в котором беспроводная линия связи использует протокол Bluetooth.
24. Устройство по п.23, в котором по протоколу Bluetooth предоставляется информация о диапазоне, причем информация о диапазоне используется для выбора алгоритма разделения источников.
25. Устройство по п.20, дополнительно содержащее средство для выбора алгоритма разделения источников звука из алгоритма слепого разделения источников, алгоритма формирования пучка или алгоритма пространственного разнесения.
26. Машиночитаемый носитель, предназначенный для обработки аудио сигналов в системе связи, содержащий набор команд, исполняемых одним или несколькими процессорами, для обработки аудио сигналов в системе связи, содержащий:
код для захвата первого аудио сигнала на беспроводном мобильном устройстве, причем первый аудио сигнал представляет звук от множества источников звука;
код для захвата второго аудио сигнала на втором устройстве, не включенном в беспроводное мобильное устройство, причем второй аудио сигнал представляет звук от источников звука; и код для обработки первого и второго захваченных аудио сигналов, чтобы сформировать сигнал, представляющий звук от одного из источников звука, отделенный от звука от других источников звука.
27. Машиночитаемый носитель по п.26, дополнительно содержащий код для выполнения обнаружения активности речи на основе сигнала.
28. Машиночитаемый носитель по п.26, дополнительно содержащий код для взаимного коррелирования первого и второго аудио сигналов; и код для оценки задержки между первым и вторым аудио сигналами на основе взаимной корреляции между первым и вторым аудио сигналами.
29. Машиночитаемый носитель по п.28, дополнительно содержащий код для фильтрации нижних частот первого и второго аудио сигналов перед выполнением взаимного коррелирования первого и второго аудио сигналов.
30. Машиночитаемый носитель по п.26, дополнительно содержащий код для компенсации задержки между первым и вторым аудио сигналами.
31. Машиночитаемый носитель по п.26, дополнительно содержащий код для компенсации разных частот дискретизации аудио для первого и второго аудио сигналов.
RU2010142270/28A 2008-03-18 2009-03-18 Повышение разборчивости речи с использованием нескольких микрофонов на нескольких устройствах RU2456701C2 (ru)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US3746108P 2008-03-18 2008-03-18
US61/037,461 2008-03-18
US12/405,057 2009-03-16
US12/405,057 US9113240B2 (en) 2008-03-18 2009-03-16 Speech enhancement using multiple microphones on multiple devices

Publications (2)

Publication Number Publication Date
RU2010142270A RU2010142270A (ru) 2012-04-27
RU2456701C2 true RU2456701C2 (ru) 2012-07-20

Family

ID=41088951

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010142270/28A RU2456701C2 (ru) 2008-03-18 2009-03-18 Повышение разборчивости речи с использованием нескольких микрофонов на нескольких устройствах

Country Status (10)

Country Link
US (1) US9113240B2 (ru)
EP (1) EP2277323B1 (ru)
JP (1) JP5313268B2 (ru)
KR (1) KR101258491B1 (ru)
CN (1) CN101911724A (ru)
BR (1) BRPI0908557A2 (ru)
CA (1) CA2705789C (ru)
RU (1) RU2456701C2 (ru)
TW (1) TWI435318B (ru)
WO (1) WO2009117471A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2667724C2 (ru) * 2012-12-17 2018-09-24 Конинклейке Филипс Н.В. Система диагностики апноэ во сне и способ формирования информации с использованием ненавязчивого анализа аудиосигналов
RU2716556C1 (ru) * 2018-12-19 2020-03-12 Общество с ограниченной ответственностью "ПРОМОБОТ" Способ приема речевых сигналов
RU2722106C2 (ru) * 2016-01-25 2020-05-26 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Система и способ индивидуальной звукоизоляции в акустических зонах транспортного средства

Families Citing this family (176)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US8949120B1 (en) * 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
US8917876B2 (en) 2006-06-14 2014-12-23 Personics Holdings, LLC. Earguard monitoring system
US11856375B2 (en) 2007-05-04 2023-12-26 Staton Techiya Llc Method and device for in-ear echo suppression
US11683643B2 (en) 2007-05-04 2023-06-20 Staton Techiya Llc Method and device for in ear canal echo suppression
US8184816B2 (en) * 2008-03-18 2012-05-22 Qualcomm Incorporated Systems and methods for detecting wind noise using multiple audio sources
US8812309B2 (en) * 2008-03-18 2014-08-19 Qualcomm Incorporated Methods and apparatus for suppressing ambient noise using multiple audio signals
US20090312075A1 (en) * 2008-06-13 2009-12-17 Sony Ericsson Mobile Communications Ab Method and apparatus for determining open or closed status of a mobile device
US8600067B2 (en) 2008-09-19 2013-12-03 Personics Holdings Inc. Acoustic sealing analysis system
US8064619B2 (en) * 2009-02-06 2011-11-22 Fortemedia, Inc. Microphone and integrated circuit capible of echo cancellation
EP2355559B1 (en) 2010-02-05 2013-06-19 QNX Software Systems Limited Enhanced spatialization system with satellite device
US8897455B2 (en) 2010-02-18 2014-11-25 Qualcomm Incorporated Microphone array subset selection for robust noise reduction
US20110221607A1 (en) * 2010-03-15 2011-09-15 Microsoft Corporation Dynamic Device Adaptation Based on Proximity to Other Devices
US8831761B2 (en) * 2010-06-02 2014-09-09 Sony Corporation Method for determining a processed audio signal and a handheld device
US8774875B1 (en) * 2010-10-20 2014-07-08 Sprint Communications Company L.P. Spatial separation-enabled noise reduction
US9552840B2 (en) * 2010-10-25 2017-01-24 Qualcomm Incorporated Three-dimensional sound capturing and reproducing with multi-microphones
US9031256B2 (en) 2010-10-25 2015-05-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
WO2012063103A1 (en) * 2010-11-12 2012-05-18 Nokia Corporation An Audio Processing Apparatus
KR101500823B1 (ko) * 2010-11-25 2015-03-09 고어텍 인크 음성 향상 방법, 장치 및 노이즈 감소 통신 헤드셋
CN103238182B (zh) 2010-12-15 2015-07-22 皇家飞利浦电子股份有限公司 具有远程噪声检测器的降噪系统
CN102026058A (zh) * 2010-12-29 2011-04-20 瑞声声学科技(深圳)有限公司 线控耳机装置及其设计方法
US8525868B2 (en) * 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8989402B2 (en) * 2011-01-19 2015-03-24 Broadcom Corporation Use of sensors for noise suppression in a mobile communication device
US9538286B2 (en) * 2011-02-10 2017-01-03 Dolby International Ab Spatial adaptation in multi-microphone sound capture
US9354310B2 (en) 2011-03-03 2016-05-31 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for source localization using audible sound and ultrasound
US8811601B2 (en) * 2011-04-04 2014-08-19 Qualcomm Incorporated Integrated echo cancellation and noise suppression
US9313336B2 (en) * 2011-07-21 2016-04-12 Nuance Communications, Inc. Systems and methods for processing audio signals captured using microphones of multiple devices
US20130022189A1 (en) * 2011-07-21 2013-01-24 Nuance Communications, Inc. Systems and methods for receiving and processing audio signals captured using multiple devices
US20130044901A1 (en) * 2011-08-16 2013-02-21 Fortemedia, Inc. Microphone arrays and microphone array establishing methods
CN102368793B (zh) * 2011-10-12 2014-03-19 惠州Tcl移动通信有限公司 手机及其通话信号处理方法
US9654609B2 (en) * 2011-12-16 2017-05-16 Qualcomm Incorporated Optimizing audio processing functions by dynamically compensating for variable distances between speaker(s) and microphone(s) in an accessory device
EP2826262B1 (en) * 2012-03-12 2016-05-18 Sonova AG Method for operating a hearing device as well as a hearing device
CN102711017A (zh) * 2012-05-24 2012-10-03 华为软件技术有限公司 一种声音处理方法、装置及系统
US9641933B2 (en) * 2012-06-18 2017-05-02 Jacob G. Appelbaum Wired and wireless microphone arrays
CN102800323B (zh) 2012-06-25 2014-04-02 华为终端有限公司 移动终端语音降噪的方法及装置
US9560446B1 (en) * 2012-06-27 2017-01-31 Amazon Technologies, Inc. Sound source locator with distributed microphone array
US9313572B2 (en) * 2012-09-28 2016-04-12 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
US9438985B2 (en) 2012-09-28 2016-09-06 Apple Inc. System and method of detecting a user's voice activity using an accelerometer
CN103811013B (zh) * 2012-11-07 2017-05-03 中国移动通信集团公司 噪声抑制方法、装置、电子设备和通信处理方法
EP2976897B8 (en) * 2013-03-21 2020-07-01 Cerence Operating Company System and method for identifying suboptimal microphone performance
US9900686B2 (en) 2013-05-02 2018-02-20 Nokia Technologies Oy Mixing microphone signals based on distance between microphones
US9936290B2 (en) 2013-05-03 2018-04-03 Qualcomm Incorporated Multi-channel echo cancellation and noise suppression
EP3005344A4 (en) 2013-05-31 2017-02-22 Nokia Technologies OY An audio scene apparatus
KR102282366B1 (ko) 2013-06-03 2021-07-27 삼성전자주식회사 음성 향상 방법 및 그 장치
US9812150B2 (en) 2013-08-28 2017-11-07 Accusonus, Inc. Methods and systems for improved signal decomposition
US9742573B2 (en) * 2013-10-29 2017-08-22 Cisco Technology, Inc. Method and apparatus for calibrating multiple microphones
US8719032B1 (en) 2013-12-11 2014-05-06 Jefferson Audio Video Systems, Inc. Methods for presenting speech blocks from a plurality of audio input data streams to a user in an interface
JP6337455B2 (ja) * 2013-12-13 2018-06-06 日本電気株式会社 音声合成装置
US10043534B2 (en) 2013-12-23 2018-08-07 Staton Techiya, Llc Method and device for spectral expansion for an audio signal
US10468036B2 (en) * 2014-04-30 2019-11-05 Accusonus, Inc. Methods and systems for processing and mixing signals using signal decomposition
US20150264505A1 (en) 2014-03-13 2015-09-17 Accusonus S.A. Wireless exchange of data between devices in live events
US9510094B2 (en) * 2014-04-09 2016-11-29 Apple Inc. Noise estimation in a mobile device using an external acoustic microphone signal
US10477309B2 (en) * 2014-04-16 2019-11-12 Sony Corporation Sound field reproduction device, sound field reproduction method, and program
US10091579B2 (en) 2014-05-29 2018-10-02 Cirrus Logic, Inc. Microphone mixing for wind noise reduction
US10163453B2 (en) 2014-10-24 2018-12-25 Staton Techiya, Llc Robust voice activity detector system for use with an earphone
KR102387567B1 (ko) * 2015-01-19 2022-04-18 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치
JP6377557B2 (ja) * 2015-03-20 2018-08-22 日本電信電話株式会社 通信システム、通信方法、およびプログラム
US9479547B1 (en) 2015-04-13 2016-10-25 RINGR, Inc. Systems and methods for multi-party media management
KR102386309B1 (ko) * 2015-06-04 2022-04-14 삼성전자주식회사 전자 장치 및 전자 장치에서의 입출력 제어 방법
US9736578B2 (en) 2015-06-07 2017-08-15 Apple Inc. Microphone-based orientation sensors and related techniques
US9401158B1 (en) * 2015-09-14 2016-07-26 Knowles Electronics, Llc Microphone signal fusion
US9947364B2 (en) 2015-09-16 2018-04-17 Google Llc Enhancing audio using multiple recording devices
US10013996B2 (en) * 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9706300B2 (en) 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
CN106558314B (zh) * 2015-09-29 2021-05-07 广州酷狗计算机科技有限公司 一种混音处理方法和装置及设备
WO2017070499A1 (en) * 2015-10-23 2017-04-27 Scott Technologies, Inc. Communication device and method for configuring the communication device
US20180317024A1 (en) * 2015-11-24 2018-11-01 Sonova Ag Method for Operating a hearing Aid and Hearing Aid operating according to such Method
US10616693B2 (en) 2016-01-22 2020-04-07 Staton Techiya Llc System and method for efficiency among devices
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US9772817B2 (en) 2016-02-22 2017-09-26 Sonos, Inc. Room-corrected voice detection
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
EP3434024B1 (en) 2016-04-21 2023-08-02 Hewlett-Packard Development Company, L.P. Electronic device microphone listening modes
US10149049B2 (en) 2016-05-13 2018-12-04 Bose Corporation Processing speech from distributed microphones
US10079027B2 (en) * 2016-06-03 2018-09-18 Nxp B.V. Sound signal detector
US9905241B2 (en) * 2016-06-03 2018-02-27 Nxp B.V. Method and apparatus for voice communication using wireless earbuds
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
CN106448722B (zh) * 2016-09-14 2019-01-18 讯飞智元信息科技有限公司 录音方法、装置和系统
US10375473B2 (en) 2016-09-20 2019-08-06 Vocollect, Inc. Distributed environmental microphones to minimize noise during speech recognition
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
CN106483502B (zh) * 2016-09-23 2019-10-18 科大讯飞股份有限公司 一种声源定位方法及装置
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
WO2018066731A1 (ko) 2016-10-07 2018-04-12 삼성전자 주식회사 통화 기능을 수행하는 단말 장치 및 방법
US11528556B2 (en) * 2016-10-14 2022-12-13 Nokia Technologies Oy Method and apparatus for output signal equalization between microphones
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
CN108022595A (zh) * 2016-10-28 2018-05-11 电信科学技术研究院 一种语音信号降噪方法和用户终端
CN108370476A (zh) * 2016-11-18 2018-08-03 北京小米移动软件有限公司 麦克风、音频处理的方法及装置
WO2018111894A1 (en) * 2016-12-13 2018-06-21 Onvocal, Inc. Headset mode selection
JP7051876B6 (ja) 2017-01-27 2023-08-18 シュアー アクイジッション ホールディングス インコーポレイテッド アレイマイクロホンモジュール及びシステム
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN107135443B (zh) * 2017-03-29 2020-06-23 联想(北京)有限公司 一种信号处理方法及电子设备
WO2019014425A1 (en) 2017-07-13 2019-01-17 Pindrop Security, Inc. SAFE PARTY WITH SEVERAL PARTIES KNOWING NO VOICE IMPRESSIONS
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10313218B2 (en) * 2017-08-11 2019-06-04 2236008 Ontario Inc. Measuring and compensating for jitter on systems running latency-sensitive audio signal processing
US10706868B2 (en) * 2017-09-06 2020-07-07 Realwear, Inc. Multi-mode noise cancellation for voice detection
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
CN110121744A (zh) * 2017-09-25 2019-08-13 伯斯有限公司 处理来自分布式麦克风的语音
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
WO2019061117A1 (en) 2017-09-28 2019-04-04 Harman International Industries, Incorporated METHOD AND DEVICE FOR VOICE RECOGNITION
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US11557306B2 (en) * 2017-11-23 2023-01-17 Harman International Industries, Incorporated Method and system for speech enhancement
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US10339949B1 (en) * 2017-12-19 2019-07-02 Apple Inc. Multi-channel speech enhancement
CN110049403A (zh) * 2018-01-17 2019-07-23 北京小鸟听听科技有限公司 一种基于场景识别的自适应音频控制装置和方法
US10979814B2 (en) 2018-01-17 2021-04-13 Beijing Xiaoniao Tingling Technology Co., LTD Adaptive audio control device and method based on scenario identification
WO2019152722A1 (en) 2018-01-31 2019-08-08 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10623403B1 (en) 2018-03-22 2020-04-14 Pindrop Security, Inc. Leveraging multiple audio channels for authentication
US10665244B1 (en) 2018-03-22 2020-05-26 Pindrop Security, Inc. Leveraging multiple audio channels for authentication
GB2572368A (en) 2018-03-27 2019-10-02 Nokia Technologies Oy Spatial audio capture
US10951994B2 (en) 2018-04-04 2021-03-16 Staton Techiya, Llc Method to acquire preferred dynamic range function for speech enhancement
CN108616790B (zh) * 2018-04-24 2021-01-26 京东方科技集团股份有限公司 一种拾音放音电路和系统、拾音放音切换方法
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
JP7464529B2 (ja) 2018-10-11 2024-04-09 株式会社半導体エネルギー研究所 音源分離装置、半導体装置、および、電子機器
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
JP7407580B2 (ja) * 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
KR102512614B1 (ko) 2018-12-12 2023-03-23 삼성전자주식회사 오디오 개선을 지원하는 전자 장치 및 이를 위한 방법
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11049509B2 (en) 2019-03-06 2021-06-29 Plantronics, Inc. Voice signal enhancement for head-worn audio devices
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
GB2585086A (en) * 2019-06-28 2020-12-30 Nokia Technologies Oy Pre-processing for automatic speech recognition
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11437054B2 (en) 2019-09-17 2022-09-06 Dolby Laboratories Licensing Corporation Sample-accurate delay identification in a frequency domain
WO2021059497A1 (ja) * 2019-09-27 2021-04-01 日本電気株式会社 音信号処理装置、音信号処理方法および記憶媒体
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
CN110751946A (zh) * 2019-11-01 2020-02-04 达闼科技成都有限公司 机器人及其语音识别装置和方法
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
KR20210115970A (ko) * 2020-03-17 2021-09-27 삼성전자주식회사 전자 장치 및 이를 이용한 오디오 신호 처리 방법
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
KR102218742B1 (ko) * 2020-08-12 2021-02-22 (주)오즈디에스피 적응형 지연 다이버시티 필터와, 이를 이용하는 에코 제거 장치 및 방법
EP4199368A4 (en) 2020-08-12 2024-01-03 Auzdsp Co., Ltd. ADAPTIVE DELAY DIVERSITY FILTER, ECHO COMPENSATION DEVICE AND METHOD USING THE SAME
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
KR20220099209A (ko) 2021-01-05 2022-07-13 삼성전자주식회사 음향 센서 어셈블리 및 이를 이용하여 음향을 센싱하는 방법
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
EP4231663A4 (en) 2021-03-12 2024-05-08 Samsung Electronics Co., Ltd. ELECTRONIC AUDIO INPUT DEVICE AND OPERATING METHOD THEREFOR
CN113362847A (zh) * 2021-05-26 2021-09-07 北京小米移动软件有限公司 音频信号处理方法及装置、存储介质
EP4117312A1 (en) * 2021-07-09 2023-01-11 Nokia Technologies Oy Monitoring of audio signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2047946C1 (ru) * 1993-08-31 1995-11-10 Александр Павлович Молчанов Способ адаптивной фильтрации речевых сигналов в слуховых аппаратах
WO2006028587A2 (en) * 2004-07-22 2006-03-16 Softmax, Inc. Headset for separation of speech signals in a noisy environment
RU59917U1 (ru) * 2004-10-21 2006-12-27 Открытое Акционерное Общество "ОКБ "Октава" Радиогарнитура
US7283788B1 (en) * 2000-07-26 2007-10-16 Posa John G Remote microphone teleconferencing configurations

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3531084B2 (ja) 1996-03-01 2004-05-24 富士通株式会社 指向性マイクロフォン装置
JP4815661B2 (ja) * 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
US7206418B2 (en) 2001-02-12 2007-04-17 Fortemedia, Inc. Noise suppression for a wireless communication device
EP1253581B1 (en) 2001-04-27 2004-06-30 CSEM Centre Suisse d'Electronique et de Microtechnique S.A. - Recherche et Développement Method and system for speech enhancement in a noisy environment
JP2003032779A (ja) 2001-07-17 2003-01-31 Sony Corp 音処理装置、音処理方法及び音処理プログラム
US7139581B2 (en) 2002-05-02 2006-11-21 Aeroscout, Inc. Method and system for distance measurement in a low or zero intermediate frequency half-duplex communications loop
US7343177B2 (en) 2005-05-03 2008-03-11 Broadcom Corporation Modular ear-piece/microphone (headset) operable to service voice activated commands
KR100703703B1 (ko) 2005-08-12 2007-04-06 삼성전자주식회사 음향 입출력 확장 방법 및 장치
KR100699490B1 (ko) 2005-08-22 2007-03-26 삼성전자주식회사 샘플링 주파수 오프셋 추정방법 및 이 방법이 적용되는ｏｆｄｍ 시스템
CN1809105B (zh) 2006-01-13 2010-05-12 北京中星微电子有限公司 适用于小型移动通信设备的双麦克语音增强方法及系统
US20070242839A1 (en) 2006-04-13 2007-10-18 Stanley Kim Remote wireless microphone system for a video camera
US7970564B2 (en) 2006-05-02 2011-06-28 Qualcomm Incorporated Enhancement techniques for blind source separation (BSS)
JP2007325201A (ja) 2006-06-05 2007-12-13 Kddi Corp 音源分離法
US7706821B2 (en) * 2006-06-20 2010-04-27 Alon Konchitsky Noise reduction system and method suitable for hands free communication devices
US7983428B2 (en) * 2007-05-09 2011-07-19 Motorola Mobility, Inc. Noise reduction on wireless headset input via dual channel calibration within mobile phone
US8175871B2 (en) 2007-09-28 2012-05-08 Qualcomm Incorporated Apparatus and method of noise and echo reduction in multiple microphone audio systems
US8954324B2 (en) 2007-09-28 2015-02-10 Qualcomm Incorporated Multiple microphone voice activity detector
US8411880B2 (en) 2008-01-29 2013-04-02 Qualcomm Incorporated Sound quality by intelligently selecting between signals from a plurality of microphones
US8223988B2 (en) 2008-01-29 2012-07-17 Qualcomm Incorporated Enhanced blind source separation algorithm for highly correlated mixtures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2047946C1 (ru) * 1993-08-31 1995-11-10 Александр Павлович Молчанов Способ адаптивной фильтрации речевых сигналов в слуховых аппаратах
US7283788B1 (en) * 2000-07-26 2007-10-16 Posa John G Remote microphone teleconferencing configurations
WO2006028587A2 (en) * 2004-07-22 2006-03-16 Softmax, Inc. Headset for separation of speech signals in a noisy environment
RU59917U1 (ru) * 2004-10-21 2006-12-27 Открытое Акционерное Общество "ОКБ "Октава" Радиогарнитура

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2667724C2 (ru) * 2012-12-17 2018-09-24 Конинклейке Филипс Н.В. Система диагностики апноэ во сне и способ формирования информации с использованием ненавязчивого анализа аудиосигналов
RU2722106C2 (ru) * 2016-01-25 2020-05-26 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Система и способ индивидуальной звукоизоляции в акустических зонах транспортного средства
RU2716556C1 (ru) * 2018-12-19 2020-03-12 Общество с ограниченной ответственностью "ПРОМОБОТ" Способ приема речевых сигналов
WO2020130872A1 (ru) * 2018-12-19 2020-06-25 Общество с ограниченной ответственностью "ПРОМОБОТ" Способ приема речевых сигналов

Also Published As

Publication number Publication date
CA2705789C (en) 2014-07-22
EP2277323B1 (en) 2016-01-06
US9113240B2 (en) 2015-08-18
CA2705789A1 (en) 2009-09-24
BRPI0908557A2 (pt) 2020-08-18
TW200951942A (en) 2009-12-16
TWI435318B (zh) 2014-04-21
WO2009117471A1 (en) 2009-09-24
KR101258491B1 (ko) 2013-04-26
KR20100116693A (ko) 2010-11-01
JP2011515897A (ja) 2011-05-19
RU2010142270A (ru) 2012-04-27
EP2277323A1 (en) 2011-01-26
US20090238377A1 (en) 2009-09-24
CN101911724A (zh) 2010-12-08
JP5313268B2 (ja) 2013-10-09

Similar Documents

Publication Publication Date Title
RU2456701C2 (ru) Повышение разборчивости речи с использованием нескольких микрофонов на нескольких устройствах
US8812309B2 (en) Methods and apparatus for suppressing ambient noise using multiple audio signals
US8204252B1 (en) System and method for providing close microphone adaptive array processing
KR101449433B1 (ko) 마이크로폰을 통해 입력된 사운드 신호로부터 잡음을제거하는 방법 및 장치
US8194880B2 (en) System and method for utilizing omni-directional microphones for speech enhancement
US8867759B2 (en) System and method for utilizing inter-microphone level differences for speech enhancement
US7366662B2 (en) Separation of target acoustic signals in a multi-transducer arrangement
EP2652737B1 (en) Noise reduction system with remote noise detector
KR101260131B1 (ko) 잡음 감소를 위한 센서 어레이를 사용한 오디오 소스 근접도 추정
KR101597752B1 (ko) 잡음 추정 장치 및 방법과, 이를 이용한 잡음 감소 장치
US8958572B1 (en) Adaptive noise cancellation for multi-microphone systems
JP5479655B2 (ja) 残留エコーを抑制するための方法及び装置
US9699554B1 (en) Adaptive signal equalization
JP2002538650A (ja) アンテナ処理方法およびアンテナ処理装置

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20190319