RU2555188C2 - Устройство, система (варианты), способ получения информации о направлении и компьютерный программный продукт - Google Patents

Устройство, система (варианты), способ получения информации о направлении и компьютерный программный продукт Download PDF

Info

Publication number
RU2555188C2
RU2555188C2 RU2013124400/28A RU2013124400A RU2555188C2 RU 2555188 C2 RU2555188 C2 RU 2555188C2 RU 2013124400/28 A RU2013124400/28 A RU 2013124400/28A RU 2013124400 A RU2013124400 A RU 2013124400A RU 2555188 C2 RU2555188 C2 RU 2555188C2
Authority
RU
Russia
Prior art keywords
microphone
information
effective
microphones
microphone signal
Prior art date
Application number
RU2013124400/28A
Other languages
English (en)
Other versions
RU2013124400A (ru
Inventor
Фабиан КЮХ
ГАЛЬДО Джованни ДЕЛЬ
Оливер ТИРГАРТ
Вилле ПУЛККИ
Юкка АХОНЕН
Original Assignee
Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. filed Critical Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф.
Publication of RU2013124400A publication Critical patent/RU2013124400A/ru
Application granted granted Critical
Publication of RU2555188C2 publication Critical patent/RU2555188C2/ru

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/05Application of the precedence or Haas effect, i.e. the effect of first wavefront, in order to improve sound-source localisation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

Изобретение относится к акустическим средствам определения информации о направлении. Устройство предназначено для получения информации о направлении от множества микрофонных сигналов, в которых различающиеся эффективные направления обзора микрофонов связаны с микрофонными сигналами. При этом устройство содержит блок объединения, выполненный с возможностью получения значения амплитуды микрофонного сигнала и комбинирования единиц информации о направлении, описывающих эффективные направления обзора микрофонов, при этом единица информации о направлении, описывающая данное эффективное направление обзора микрофона, взвешивается в зависимости от значения амплитуды микрофонного сигнала, связанного с данным эффективным направлением обзора микрофона, для получения информации о направлении. Единица информации о направлении, описывающая данное эффективное направление обзора микрофона, представляет собой вектор, указывающий в данном эффективном направлении обзора микрофона, а блок объединения предназначен для соответствующей линейной комбинации единиц информации о направлении, взвешенных в зависимости от значений амплитуд, соответствующих данной частотно-временной ячейке, и в котором единицы информации о направлении являются независимыми от частотно-временных ячеек. Микрофоны выполнены ненаправленными, а между микрофонами расположен затеняющий объект. Технический результат - эффективное определение направления. 5 н. и 14 з.п ф-лы, 21 ил.

Description

1. Область техники, к которой относится изобретение
Варианты осуществления настоящего изобретения относятся к устройству получения информации о направлении от множества микрофонных сигналов или от множества компонентов микрофонного сигнала. Дополнительные варианты осуществления относятся к системам, содержащим такое устройство. Дополнительные варианты осуществления относятся к способам получения информации о направлении от множества микрофонных сигналов.
2. Уровень техники
Целью записи объемного звучания является определение звукового поля при помощи нескольких микрофонов, при этом на стороне воспроизведения слушатель воспринимает звуковой образ так же, как он представлен в месте записи. Стандартные подходы при записи объемного звучания используют общепринятые стереомикрофоны или более сложные комбинации направленных микрофонов, как, например, микрофоны В-формата, использованные в Ambisonics (М.А. Gerzon. Periphony, Width-height sound reproduction, J. Audio Eng. Soc, 21(1):2-10, 1973). Как правило, большинство данных способов называется способом совмещенных микрофонов.
В качестве варианта могут применяться способы, базирующиеся на параметрическом представлении звуковых полей, которые
называются параметрическими пространственными аудиокодерами. Данные способы определяют один или более сигналов понижающего микширования вместе с соответствующей дополнительной пространственной информацией, которые важны для восприятия пространственного звука. Примерами являются Направленное аудиокодирование (DirAC), описанное в V. Pulkki, Spatial sound reproduction with directional audio coding, J. Audio Eng. Soc, 55(6):503-516, June 2007, или так называемый подход пространственных аудиомикрофонов (SAM), предложенный в работе C. Faller, Microphone front-ends for spatial audio coders. In 125th AES Convention, Paper 7508, San Francisco, Oct. 2008. Пространственная ключевая информация определяется в частотных поддиапазонах и в основном включает в себя направление прихода звука (DOA) и иногда разброс звукового поля или другие статистические показатели. На стадии синтеза требуемые сигналы для воспроизведения на акустических системах определяются на основе сигналов понижающего микширования и дополнительной параметрической информации.
В дополнение к пространственной аудиозаписи в таких приложениях, как направленная фильтрация, использовался параметрический подход к представлению звукового поля (M. Kallinger, H. Ochsenfeld, G. Del Galdo, F. Kuech, D. Mahne, R. Schultz-Amling, and O. Thiergart, A spatial filtering approach for directional audio coding, in 126th AES Convention, Paper 7653, Munich, Germany, May 2009) или локализация источников (O. Thiergart, R. Schultz-Amling, G. Del Galdo, D. Mahne, and F. Kuech, Localization of sound sources in reverberant environments based on directional audio coding parameters, in 128th AES Convention, Paper 7853, New York City, NY, USA, Oct. 2009). Эти способы также базируются на параметрах звукового поля, зависящих от направления, таких как DOA звука или разброс.
Один способ оценить информацию о направлении звукового поля, а именно направление прихода звука, заключается в измерении поля в различных точках с помощью микрофонной решетки. В литературе было предложено несколько подходов J. Chen, J. Benesty, and Y. Huang, Time delay estimation in room acoustic environments: An overview, in EURASIP Journal on Applied Signal Processing, Article ID 26503, 2006 с использованием оценок относительных времен задержек между микрофонными сигналами. Однако данные подходы используют фазовую информацию микрофонных сигналов, что неизбежно приводит к пространственному наложению. Действительно, по мере увеличения анализируемых частот длина волны становится короче. При частоте, которая называется частотой наложения (сворачивания), длина волны такова, что записи с идентичными фазами соответствуют двум или более направлениям, так что однозначная оценка становится невозможной (по меньшей мере, без дополнительной априорной информации).
Существует большое разнообразие способов оценить DOA звука, используя микрофонную решетку. Обзор общепринятых подходов приведен в работе J. Chen, J. Benesty, and Y. Huang, Time delay estimation in room acoustic environments: An overview, in EURASIP Journal on Applied Signal Processing, Article ID 26503, 2006. Эти подходы объединяет то, что они используют фазовое соотношение микрофонных сигналов для оценки DOA звука. Обычно для расчета соответствующего DOA звука сначала определяется разность времен приходов на различные микрофоны, а затем используется знание геометрии решетки. В других подходах, чтобы оценить DOA звука, оценивается корреляция между различающимися сигналами микрофонов в частотных поддиапазонах (C. Faller, Microphone front-ends for spatial audio coders, in 125th AES Convention, Paper 7508, San Francisco, Oct. 2008 and J. Chen, J. Benesty, and Y. Huang, Time delay estimation in room acoustic environments: An overview, in EURASIP Journal on Applied Signal Processing, Article ID 26503, 2006).
В DirAC оценка DOA для каждого частотного диапазона определяется на базе вектора интенсивности активного звука, измеренного в наблюдаемом звуковом поле. Ниже приведено краткое описание оценки параметров направленности в DirAC. Пусть P(k, n) обозначает звуковое давление и U(k, n) - это вектор скорости частиц с частотным индексом k и временным индексом n. Тогда вектор интенсивности активного звука рассчитывается как:
Figure 00000001
Верхняя * обозначает комплексное сопряжение, Re{}- это реальная часть комплексного числа, p0 - средняя плотность воздуха. Наконец, направление, противоположное вектору Ia(k, n), указывает на DOA звука:
Figure 00000002
Дополнительно разброс звукового поля может определяться, например, в соответствии с
Figure 00000003
На практике вектор скорости частиц рассчитывается по градиенту давления с помощью близко расположенных капсул ненаправленных микрофонов, обычно называемых дифференциальной микрофонной решеткой. В соответствии с фиг.2 x-компонента вектора скорости частиц может, например, рассчитываться с использованием пары микрофонов в соответствии с
Figure 00000004
где K(k) представляет собой частотно-зависимый нормировочный множитель. Его значение зависит от конфигурации микрофонов, например, расстояния между микрофонами и/или их диаграмм направленности. Остальные компоненты Uy(k, n) (и Uz(k, n)) вектора U(k, n)) могут определяться аналогичным образом, путем комбинации подходящих пар микрофонов.
Как показано в работе M. Kallinger, F. Kuech, R. Schultz-Amling, G. Del Galdo, J. Ahonen, and V. Pulkki, Analysis and Adjustment of Planar Microphone Arrays for Application in Directional Audio Coding, in 124th AES Convention, Paper 7374, Amsterdam, the Netherlands, May 2008, пространственное наложение влияет на фазовую информацию вектора скорости частиц, не позволяя использовать градиенты давления для оценки интенсивности активного звука на высоких частотах. Данное пространственное наложение приводит к неопределенности в оценке DOA. Можно показать, что максимальная частота fmax, для которой точные оценки DOA могут быть получены на базе интенсивности активного звука, определяется расстоянием между парой микрофонов. Дополнительно от этого зависит также оценка параметров направленности звукового поля, как, например, разброс. В случае ненаправленных микрофонов с расстоянием d данная максимальная частота дается выражением
Figure 00000005
где c обозначает скорость распространения звука.
Как правило, требуемый частотный диапазон для применений, использующий информацию о направлении звуковых полей, превышает значение граничной частоты fmax пространственного наложения, ожидаемое для микрофонной конструкции, применяемой на практике. Заметим, что уменьшение расстояния d между микрофонами, повышающее значение граничной частоты fmax пространственного наложения, не является приемлемым решением для большинства приложений, поскольку слишком малое d существенно снижает надежность оценки на низких частотах, используемых на практике. Таким образом, необходимы новые способы, чтобы преодолеть ограничения современных методик оценки параметров направленности на высоких частотах.
3. Раскрытие изобретения
Задачей вариантов осуществления настоящего изобретения является создание концепции, позволяющей улучшить определение информации о направлении при превышении величины граничной частоты пространственного наложения.
Данная задача решается с помощью устройство по п.1, систем по п.п.15 и 16 формулы изобретения, способу по п.18 формулы изобретения и компьютерной программы по п.19 формулы изобретения.
Варианты осуществления обеспечивают устройство получения информации о направлении от множества микрофонных сигналов или от множества компонентов микрофонного сигнала, в котором различающиеся эффективные направления обзора микрофонов связаны с микрофонными сигналами или компонентами сигнала. Устройство содержит блок объединения, выполненный с возможностью получения амплитуды микрофонного сигнала или компонентов микрофонного сигнала. Кроме того, чтобы получать информацию о направлении, блок объединения выполнен с возможностью комбинирования (например, путем линейной комбинации) единиц информации о направлении, описывающих эффективное направление обзора микрофона, причем единица информации о направлении, описывающая данное эффективное направление обзора микрофона, взвешивается в зависимости от значения амплитуды микрофонного сигнала или компонента микрофонного сигнала, связанного с данным эффективным направлением обзора микрофона.
Было установлено, что проблема пространственного наложения при оценке параметров направленности вытекает из неопределенности фазовой информации микрофонного сигнала. Идея вариантов осуществления настоящего изобретения заключается в том, чтобы решить данную задачу путем получения информации о направлении, основываясь на значениях амплитуд микрофонных сигналов. Было установлено, что при получении информации о направлении, основываясь на значениях амплитуд микрофонных сигналов или компонентов микрофонных сигналов, не возникают те неопределенности, которые могут возникать в традиционных системах, использующих фазовую информацию для определения информации о направлении. В связи с этим варианты осуществления позволяют определять информацию о направленности даже при превышении граничной частоты пространственного наложения, выше которой определение информации о направлении невозможно (или только с ошибками) при использовании фазовой информации.
Другими словами, использование значений амплитуд микрофонных сигналов или компонентов микрофонных сигналов является особенно предпочтительным в тех частотных диапазонах, в которых ожидаются пространственное наложение или другие фазовые искажения, в связи с тем, что такие фазовые искажения не оказывают влияния на значения амплитуд и, следовательно, не приводят к неопределенности в определении информации о направлении.
В соответствии с некоторыми вариантами осуществления, эффективное направление обзора микрофона, связанное с сигналом микрофона, описывает направление, откуда был получен сигнал и в котором микрофон имеет свой максимальный отклик (или свою наивысшую чувствительность). Примером микрофона может быть направленный микрофон, имеющий неизотропную диаграмму, а эффективное направление обзора микрофона можно определить как направление, в котором диаграмма приема (захвата) микрофона имеет свой максимум. В связи с этим для направленного микрофона эффективное направление обзора микрофона может быть равным направлению обзора микрофона (описывающему направление, вдоль которого направленный микрофон имеет максимум чувствительности), например, если вблизи микрофона отсутствуют объекты, меняющие диаграмму направленности приема. Эффективное направление обзора микрофона может отличаться от направления обзора микрофона направленного микрофона в случае, если направленный микрофон расположен вблизи объекта, изменяющего его диаграмму направленности приема. В этом случае эффективное направление обзора микрофона может описывать направление, в котором направленный микрофон имеет свой максимальный отклик.
В случае ненаправленных микрофонов эффективной диаграмме направленности ненаправленного микрофона можно придать форму, например, используя затеняющий объект (который имеет эффект воздействия, меняющий диаграмму приема микрофона), при этом сформированная эффективная диаграмма направленности отклика имеет эффективное направление обзора микрофона, являющееся направлением максимального отклика ненаправленного микрофона с эффективной диаграммой направленности отклика.
В соответствии с дополнительными вариантами осуществления, информация о направлении может быть информацией о направлении звукового поля, указывающей на направление, от которого распространяется звуковое поле (например, для определенных частотных и временных индексов). Множество микрофонных сигналов позволяет описывать звуковое поле. В соответствии некоторыми вариантами осуществления, единицей информации о направлении, описывающей данное эффективное направление обзора микрофона, может быть вектор, указывающий на данное эффективное направление обзора микрофона. В соответствии с дополнительными вариантами осуществления, единицами информации о направлении могут быть единичные векторы, причем единицы информации о направлении, соответствующие различающимся эффективным направлениям обзора микрофона, имеют равные нормы (но различающиеся направления). Следовательно, норма взвешенного вектора, полученного путем линейной комбинации с помощью блока объединения, определяется величиной амплитуды микрофонного сигнала или компонента микрофонного сигнала, соответствующей единице информации о направлении взвешенного вектора.
В соответствии с дополнительными вариантами осуществления, блок объединения может выполняться с возможностью получения значения амплитуды, при этом значение амплитуды описывает амплитуду спектрального коэффициента (как компонента микрофонного сигнала), представляющего спектральный поддиапазон микрофонного сигнала компонента микрофонного сигнала. Другими словами, варианты осуществления могут получать фактическую информацию о звуковом поле (например, проанализированную в частотно-временной области) из амплитуд спектров микрофонов, использующихся для получения микрофонных сигналов.
В соответствии с дополнительными вариантами осуществления, только значения амплитуд (или информация об амплитудах) микрофонных сигналов (или информация о спектрах) используются в процессе оценки получения информации о направлении, поскольку фазовый член искажается в результате эффекта пространственного наложения.
Другими словами, варианты осуществления создают устройство и способ оценки параметров направленности, используя только информацию об амплитудах сигналов или компонентов микрофонных сигналов и спектров микрофонных сигналов соответственно.
В соответствии с дополнительными вариантами осуществления, выходная оценка параметра направленности, базирующаяся на амплитуде (информации о направлении), может комбинироваться с другими способами, учитывающими также фазовую информацию.
В соответствии с дополнительными вариантами осуществления, значение амплитуды может описывать амплитуду микрофонного сигнала или компонента.
4. Краткое описание чертежей
Варианты осуществления настоящего изобретения подробно описаны с использованием сопровождающих фигур, на которых:
на фиг.1 приведена блок-схема устройства в соответствии с вариантом осуществления настоящего изобретения;
на фиг.2 показана микрофонная конструкция с использованием четырех ненаправленных датчиков, обеспечивающих сигналы звукового давления Pi(k, n), при i=1,..., 4;
на фиг.3 показана микрофонная конструкция с использованием четырех направленных микрофонов с кардиоидными приемными диаграммами направленности;
на фиг.4 показана микрофонная конструкция, использующая жесткий цилиндр, чтобы вызвать эффекты рассеяния и затенения;
на фиг.5 показана микрофонная конструкция, схожая с фиг.4, но использующая отличающееся расположение микрофонов;
на фиг.6 показана микрофонная конструкция, использующая жесткую полусферу, чтобы вызвать эффекты рассеяния и затенения;
на фиг.7 показана трехмерная микрофонная конструкция, использующая жесткую сферу, чтобы вызвать эффекты затенения;
на фиг.8 показана блок-схема последовательности операций способа в соответствии с вариантом осуществления;
на фиг.9 показана блок-схема системы в соответствии с вариантом осуществления;
на фиг.10 показана блок-схема системы в соответствии с дополнительным вариантом осуществления настоящего изобретения;
на фиг.11 показана решетка четырех ненаправленных микрофонов с расстоянием d между противоположными микрофонами;
на фиг.12 показана решетка четырех ненаправленных микрофонов, установленных на конце цилиндра;
на фиг.13 показана диаграмма индекса DI направленности в децибелах в виде функции от коэффициента ka, представляющего собой длину окружности диафрагмы ненаправленного микрофона, деленную на длину волны;
на фиг.14 показаны логарифмические диаграммы направленности с микрофоном G.R.A.S.;
на фиг.15 показаны логарифмические диаграммы направленности с микрофоном AKG; и
на фиг.16 показаны результаты анализа направлений для диаграмм, выраженные в виде среднеквадратической ошибки (СКО).
Прежде чем варианты осуществления настоящего изобретения будут описаны более детально, с использованием сопроводительных фигур, необходимо отметить, что одинаковые или функционально эквивалентные элементы обеспечиваются одинаковыми ссылочными номерами, и что повторное описание элементов, обеспеченное одинаковыми ссылочными номерами, пропускается. В связи с этим описания, обеспеченные для элементов с одинаковыми ссылочными номерами, являются взаимозаменяемыми.
5. Осуществление изобретения
5.1 Устройство в соответствии с фиг.1
На фиг.1 показано устройство 100 в соответствии с вариантом осуществления настоящего изобретения. Устройство 100 получения информации 101 о направлении (также обозначенное как d(k, n)) от множества микрофонных сигналов 1031 до 103N (также обозначенных как P1 до PN) или от множества компонентов микрофонного сигнала содержит блок 105 объединения. Блок 105 объединения выполнен с возможностью получения значения амплитуды микрофонного сигнала или компонента сигнала микрофона и выполнения линейной комбинации единиц информации о направлении, описывающих эффективные направления обзора микрофонов, связанных с микрофонными сигналами 1031 до 103N или компонентами, причем единица информации о направлении, описывающая данное эффективное направление обзора микрофона, взвешивается в зависимости от значения амплитуды микрофонного сигнала или компонента микрофонного сигнала, связанного с данным эффективным направлением обзора микрофона, для получения информации 101 о направлении.
Компонент i-ого микрофонного сигнала Pi можно обозначить как Pi(k, n). Компонент Pi(k, n) микрофонного сигнала Pi может быть величиной микрофонного сигнала Pi, имеющей частотный индекс k и временной индекс n. Микрофонный сигнал Pi может быть получен от i-го микрофона и может быть доступен блоку 105 объединения в частотно-временном представлении, содержащем множество компонентов Pi(k, n) для различающихся частотных индексов k и временных индексов n. В качестве примера микрофонные сигналы Pi до PN могут быть сигналами звукового давления, поскольку их можно получить от микрофонов B-формата.
Следовательно, каждый компонент Pi(k, n) может соответствовать частотно-временной ячейке (k, n). Блок 105 объединения может выполняться с возможностью получения значения амплитуды, причем значение амплитуды описывает амплитуду спектрального коэффициента, представляющего спектральный поддиапазон микрофонного сигнала Pi. Данный спектральный коэффициент может быть компонентом Pi(k, n) микрофонного сигнала Pi. Спектральный поддиапазон можно определить с помощью частотного индекса k компонента Pi(k, n). Кроме того, блок 105 объединения может выполняться с возможностью получения информации 101 о направлении на основе частотно-временного представления микрофонных сигналов, при котором, например, микрофонный сигнал Pi представляется с помощью множества компонентов Pi(k, n), причем каждая компонента соответствует частотно-временной ячейке (k, n).
Как описано во вводной части данной заявки, путем получения информации о направлении d(k, n), основываясь на значениях амплитуд микрофонных сигналов Pi до PN или компонентов микрофонного сигнала, можно достичь оценки информации d(k, n) о направлении даже для более высоких частот микрофонных сигналов Pi до PN, например, для компонентов Pi(k, n) до PN (k, n), у которых частотный индекс превышает частотный индекс, соответствующий спектральной частоте fmax наложения, в связи с тем, что не происходит пространственное наложение или другие фазовые искажения.
Ниже приведен подробный пример варианта осуществления настоящего изобретения, базирующийся на комбинации амплитуд микрофонных сигналов (направленная комбинация амплитуд), и того, как он может быть выполнен с помощью устройства 100 в соответствии с фиг.1. Информация d(k, n) о направлении, также обозначенная как оценка DOA, получается путем интерпретации амплитуды каждого микрофонного сигнала (или каждого компонента микрофонного сигнала) как соответствующего вектора в двумерном (2D) или трехмерном (3D) пространстве.
Пусть dt(k, n) является истинным или искомым вектором, указывающим на направление, откуда распространяется звуковое поле, имеющее частотный и временной индексы k и n соответственно. Другими словами, DOA звука соответствует направлению di(k, n). Целью вариантов осуществления изобретения является оценка di(k, n) и возможность получения из звукового поля информации о направлении. Пусть дополнительно bl, b2,..., bN - это векторы (например, единичные нормальные векторы), указывающие на направление обзора N направленных микрофонов. Направление обзора направленного микрофона определяется как направление, в котором принятая диаграмма направленности имеет свой максимум. Аналогично в случае если рассевающие/затеняющие объекты входят в состав микрофонного устройства, векторы bl, b2,..., bN указывают на направление максимального отклика соответствующего микрофона.
Векторы bl, b2,..., bN могут рассматриваться как единицы информации о направлении, описывающие эффективные направления обзора микрофонов с первого по N-ый микрофон. В этом примере единицами информации о направлении являются векторы, указывающие на соответствующие эффективные направления обзора микрофонов. В соответствии с дополнительными вариантами осуществления, единица информации о направлении также может быть скаляром, например, углом, описывающим направление обзора соответствующего микрофона.
Кроме того, в данном примере единицами информации о направлении могут быть единичные нормальные векторы, при этом векторы, связанные с различающимися эффективными направлениями обзора микрофонов, имеют равные нормы.
Также следует отметить, что предложенный способ может работать наилучшим образом, если сумма векторов bi, соответствующих эффективным направлениям обзора микрофонов, равняется нулю (например, в пределах допуска), то есть
Figure 00000006
В некоторых вариантах осуществления пределы допуска могут составлять ±30%, ±20%, ±10%, ±5% от одной из единиц информации о направлении, используемой для получения суммы (например, единицы информации о направлении, имеющей наибольшую норму, единицы информации о направлении, имеющей наименьшую норму, или единицы информации о направлении, имеющей норму, наиболее близкую к среднему значению всех норм единиц информации, используемых для получения суммы).
В некоторых вариантах осуществления эффективные направления обзора микрофонов могут распределяться неравномерно относительно системы координат. Рассмотрим, например, систему, в которой первым эффективным направлением обзора микрофона первого микрофона является ВОСТОК (например, 0 градусов в двумерной системе координат), вторым эффективным направлением обзора микрофона второго микрофона является СЕВЕРО-ВОСТОК (например, 45 градусов в двумерной системе координат), третьим направлением обзора третьего микрофона является СЕВЕР (например, 90 градусов в двумерной системе координат), а четвертым эффективным направлением обзора микрофона четвертого микрофона - ЮГО-ЗАПАД (например -135 градусов в двумерной системе координат), при этом единичные нормальные векторы, имеющие единицы информации о направлении, будут получаться в виде
b 1 = [ 1 0 ] T
Figure 00000007
для первого эффективного направления обзора микрофона;
b 2 = [ 1 / 2 1 / 2 ] T
Figure 00000008
для второго эффективного направления обзора микрофона;
b 3 = [ 0 1 ] T
Figure 00000009
для третьего эффективного направления обзора микрофона; и
b 4 = [ 1 / 2 1 / 2 ] T
Figure 00000010
для четвертого эффективного направления обзора микрофона.
Это приводит к ненулевой сумме векторов:
b sum = b 1 + b 2 + b 3 + b 4 = [ 1 1 ] T
Figure 00000011
Поскольку в некоторых вариантах осуществления требуется, чтобы сумма векторов была нулевой, a единица информации о направлении, которая является вектором, указывающим на эффективное направление обзора микрофона, могла масштабироваться. В данном примере единица b4 информации о направлении может масштабироваться следующим образом:
b 4 = [ ( 1 + 1 / 2 ) ( 1 + 1 / 2 ) ] T
Figure 00000012
,
давая в результате сумму bsum векторов, равную нулю:
b sum = b 1 + b 2 + b 3 + b 4 = [ 0 0 ] T
Figure 00000013
Другими словами, в соответствии с некоторыми вариантами осуществления, различающиеся единицы информации о направлении, которые являются векторами, указывающими в различающихся эффективных направлениях обзора микрофонов, могут иметь различающиеся нормы и могут выбираться таким образом, чтобы сумма единиц информации о направлении равнялась нулю.
Оценка d истинного вектора di(k, n) и, следовательно, информации о направлении, которую необходимо установить, может быть определена как
Figure 00000014
где Pi (k, n) обозначает сигнал i-го микрофона (или компонента микрофонного сигнала Ρi i-го микрофона), соответствующий частотной ячейке (k, n).
Уравнение (7) образует линейную комбинацию единиц b1 до bN информации о направлении с первого микрофона по N-ый микрофон, взвешенных с помощью значений амплитуд компонентов P1(k, n) до PN(k, n) микрофонных сигналов P1 до PN, полученных от первого до N-го микрофона. Таким образом, блок 105 объединения может получить информацию 101 (d(k, n)) о направлении, рассчитывая по уравнению (7).
Как следует из уравнения (7), с целью получения информации d(k, n) о направлении для данной частотно-временной ячейки (k, n), блок 105 объединения может быть выполнен с возможностью линейного объединения единиц b1 до bN информации о направлении, взвешенных в зависимости от значений амплитуд и соответствующих данной частотно-временной ячейке (k, n).
В соответствии с дополнительными вариантами осуществления, блок 105 объединения может быть выполнен с возможностью линейной комбинации единиц b1 до bN информации о направлении, взвешенных исключительно в зависимости от значений амплитуд, соответствующих данным частотно-временным ячейкам (k, n).
Кроме того, из уравнения (7) следует, что блок 105 объединения может быть выполнен с возможностью линейной комбинации множества различающихся частотно-временных ячеек, одинаковых единиц b1 до bN информации о направлении (поскольку они не зависят от частотно-временных ячеек), описывающих различающиеся эффективные направления обзора микрофонов, но при этом единицы информации о направлении могут взвешиваться различающимся образом, в зависимости от значений амплитуд, соответствующих различающимся частотно-временным ячейкам.
В качестве единиц b1 до bN информации о направлении могут быть единичные векторы, норма взвешенного вектора, полученная умножением единицы bi информации о направлении на значение амплитуды, может определяться значением амплитуды. Взвешенные векторы для одинакового эффективного направления обзора микрофона, но различающихся частотно-временных ячеек могут иметь одинаковое направление, но различаться по своим нормам благодаря различающимся значениям амплитуды для различающихся частотно-временных ячеек.
В соответствии с некоторыми вариантами осуществления, взвешенные значения могут быть скалярными величинами.
Показатель к в уравнении (7) может выбираться произвольно. В случае если к=2 и противоположные микрофоны (от которых получены сигналы P1 до PN) находятся на одинаковом расстоянии, информация d(k, n) о направлении пропорциональна градиенту энергии в центре решетки (например, в наборе из двух микрофонов).
Другими словами, блок 105 объединения может выполняться с возможностью получения квадратов значений амплитуд, базирующихся на значениях амплитуды, при этом квадрат значения амплитуды описывает мощность компонента Pi(k, n) микрофонного сигнала Pi. Кроме того, блок 105 объединения может быть выполнен с возможностью получения линейной комбинации единиц b1 до bN информации о направлении, при этом единица bi информации о направлении взвешивается в зависимости от квадрата значения амплитуды компонента Pi(k, n) микрофонного сигнала Pi, связанного с соответствующим направлением обзора (i-го микрофона).
Из d(k, n) легко получить информацию о направлении, выраженную через азимутальный угол φ и угол возвышения с учетом того, что:
Figure 00000015
В некоторых приложениях, когда требуется только двумерный анализ, могут использоваться четыре направленных микрофона, расставленных, например, как на фиг.3. В этом примере единицы информации о направлении могут выбираться как:
Figure 00000016
Так что (7) становится
Figure 00000017
Данный подход можно аналогичным образом применить для случая жестких объектов, размещенных в микрофонной конструкции. В качестве примера на фиг.4 и 5 проиллюстрирован пример цилиндрического объекта, помещенного в центр решетки из четырех микрофонов. Другой пример приведен на фиг.6, где рассеивающий объект имеет форму полусферы.
Пример трехмерной конструкции приведен на фиг.7, где шесть микрофонов распределены по жесткой сфере. В этом примере z-компонента вектора d(k, n) может быть получена способом, аналогичным (9)-(14):
Figure 00000018
что приводит к
Figure 00000019
Хорошо известная трехмерная конструкция направленных микрофонов, пригодная для применения в вариантах осуществления данного изобретения, - это так называемый микрофон A-формата, описанный в работе P.G. Craven and M.A. Gerzon, US4042779 (A), 1977.
Чтобы следовать предложенному подходу определения направления с помощью комбинации амплитуд, должны выполняться определенные предположения. Так, если применяются направленные микрофоны, для каждого микрофона приемные диаграммы направленности должны быть приблизительно симметричными по отношению к ориентации или направлению обзора микрофонов. Если же используется подход рассеяния/затенения, тогда эффекты рассеяния/затенения должны быть приблизительно симметричными по отношению к направлению максимального отклика. Данные предположения легко выполняются, если решетка сконструирована так же, как в примерах, показанных на фиг.3-7.
Применение для DirAC
Приведенное выше описание рассматривает только оценку информации о направлении (DOA). В контексте задачи кодирования направлений дополнительно может потребоваться информация о разбросе звукового поля. Прямой подход обеспечивается путем простого приравнивания оцененного вектора d(k, n) или определенной информации о направлении вектору интенсивности активного звука Ia(k, n), взятому с противоположным направлением:
Figure 00000020
Это возможно, поскольку d(k, n) содержит информацию, связанную с градиентом энергии. Тогда разброс можно вычислить в соответствии с (3).
5.2. Способ в соответствии с фиг.8
Дополнительные варианты осуществления настоящего изобретения создают способ получения информации о направлении от множества микрофонных сигналов или от множества компонентов микрофонного сигнала, в котором отличающиеся эффективные направления обзора микрофонов связаны с микрофонными сигналами.
Такой способ 800 приведен на блок-схеме на фиг.8. Способ 800 содержит этап 801 получения амплитуды микрофонного сигнала или компонентов микрофонного сигнала.
Кроме того, для получения информации о направлении способ 800 содержит этап 803 комбинирования (например, линейной комбинации) единиц информации о направлении, описывающих эффективные направления обзора микрофонов, при этом единица информации о направлении, описывающая данное эффективное направление обзора микрофона, взвешивается в зависимости от значения амплитуды микрофонного сигнала или компонента микрофонного сигнала, связанного с соответствующим эффективным направлением обзора микрофона.
Способ 800 может быть представлен с помощью устройства 100 (например, с помощью блока 105 объединения устройства 100).
Ниже, используя фиг.9 и 10, в соответствии с вариантами осуществления, можно описать две системы, предназначенные для сбора микрофонных сигналов и получения информации о направлении от данных микрофонных сигналов.
5.3 Системы в соответствии с фиг.9 и фиг.10
Как известно, использование амплитуды давления для получения информации о направлении не является практичным при использовании ненаправленных микрофонов. Действительно, разность амплитуд в результате различия расстояний, прошедших звуком до достижения микрофонов, обычно слишком мала, чтобы быть измеренной, поэтому наиболее известные алгоритмы, в основном, опираются на фазовую информацию. Варианты осуществления преодолевают проблему пространственного наложения при оценке параметров направленности. Системы, описанные ниже, используют микрофонную решетку, спроектированную адекватным образом, чтобы существовала измеряемая разность амплитуд микрофонных сигналов, зависящая от направления прихода. (Только) данная информация об амплитудах спектров микрофонов используется тогда в процессе оценки, поскольку фазовый член искажается в результате пространственного наложения.
Варианты осуществления содержат полученную информацию о направлении (такую как DOA или разброс) звукового поля, проанализированную в частотно-временной области только по амплитудным спектрам двух или более микрофонов или одного микрофона, последовательно помещенного в два или более положения, например, путем вращения одного микрофона вокруг своей оси. Это возможно, когда амплитуды меняются достаточно сильно предсказуемым образом в зависимости от направления прихода. Этого можно достичь двумя путями, а именно путем:
1. применения направленных микрофонов (то есть обладающих неизотропной принятой диаграммой направленности, как в кардиоидном микрофоне), где каждый микрофон указывает на отличающееся направление, или
2. создания для каждого микрофона или позиции микрофона уникального эффекта рассеяния, и/или затенения. Этого можно достичь, например, путем использования физического объекта в центре микрофонной конструкции. Подходящие объекты меняют амплитуды микрофонных сигналов известным образом, посредством эффектов рассеяния и/или затенения.
Пример системы, использующей первый способ, представлен на фиг.9.
5.3.1 Система, использующая направленные микрофоны в соответствии с фиг.9
На фиг.9 показана блок-схема системы 900, при этом система содержит устройство, например, устройство 100 в соответствии с фиг.1. Кроме того, система 900 содержит первый направленный микрофон 9011, имеющий первое эффективное направление 9031 обзора микрофона для получения первого микрофонного сигнала 1031 из множества сигналов микрофонного устройства 100. Первый сигнал 1031 микрофона связан с первым направлением 9031 обзора. Кроме того, система 900 содержит второй направленный микрофон 9012, имеющий второе эффективное направление 9032 обзора микрофона для получения второго микрофонного сигнала 1032 из множества микрофонных сигналов устройства 100. Второй сигнал 1032 микрофона связан со вторым направлением 9032 обзора. Кроме того, первое направление 9031 обзора отличается от второго направления 9032 обзора. Например, направления обзора 9031, 9032 могут быть противоположными. Дополнительное расширение к данной концепции показано на фиг.3, где четыре кардиоидных микрофона (направленные микрофоны) указывают в противоположных направлениях Декартовой системы координат. Места расположения микрофонов отмечены черными кружками.
Путем использования направленных микрофонов можно достичь достаточно большой разности амплитуд между направленными микрофонами 9011, 9012 для определения информации 101 о направлении.
Пример системы, использующей второй способ для достижения большого изменения амплитуд различающихся микрофонных сигналов для ненаправленных микрофонов, показан на фиг.10.
5.3.2 Система, использующая ненаправленные микрофоны в соответствии с фиг.10
На фиг.10 показана система 1000, содержащая устройство, например, устройство 100 в соответствии с фиг.1, для получения информации 101 о направлении от множества микрофонных сигналов или компонентов микрофонного сигнала. Кроме того, система 1000 содержит первый ненаправленный микрофон l0001 для получения первого микрофонного сигнала 1031 из множества микрофонных сигналов устройства 100. Кроме того, система 1000 содержит второй ненаправленный микрофон 10012 для получения второго микрофонного сигнала 1032 из множества микрофонных сигналов устройства 100. Кроме того, система 1000 содержит затеняющий объект 1005 (также обозначенный как рассеивающий объект 1005), расположенный между первым ненаправленным микрофоном 10011 и вторым ненаправленным микрофоном 10012 для формирования эффективных диаграмм направленности отклика первого ненаправленного микрофона 10011 и второго ненаправленного микрофона 10012, при этом сформированная эффективная диаграмма направленности отклика первого ненаправленного микрофона 10011 содержит первое эффективное направление 10031 обзора микрофона, и сформированная эффективная диаграмма направленности отклика второго ненаправленного микрофона 10012 содержит второе эффективное направление 10032 обзора микрофона. Другими словами, путем использования затеняющего объекта 1005 между ненаправленными микрофонами 10011, 10012 можно достичь направленного поведения ненаправленных микрофонов 10011, 10012, так что даже при малом расстоянии между двумя ненаправленными микрофонами 10011, 10012 можно достичь измеряемых разностей амплитуд между ненаправленными микрофонами 10011, 10012.
Дополнительно вспомогательные расширения к системе 1000 приведены на фиг.4 по фиг.6, на которых различающиеся геометрические объекты расположены в середине типичной решетки из четырех (ненаправленных) микрофонов.
На фиг.4 показана микрофонная конструкция, использующая объект 1005, чтобы вызвать эффекты рассеяния и затенения. В этом примере на фиг.4 объект является жестким цилиндром. Места расположения четырех (ненаправленных) микрофонов с l0011 до 10014 отмечены черными кружками.
На фиг.5 показана микрофонная конструкция, схожая с фиг.4, но использующая отличающееся расположение микрофонов (на жесткой поверхности жесткого цилиндра). Места расположения четырех (ненаправленных) микрофонов с l0011 по 10014 отмечены черными кружками. В примере, показанном на фиг.5, затеняющий объект 1005 содержит жесткий цилиндр и жесткую поверхность.
На фиг.6 показана микрофонная конструкция, использующая дополнительный объект 1005, чтобы вызывать эффекты рассеяния и затенения. В этом примере объект 1005 является жесткой полусферой (имеющей жесткую поверхность). Места расположения четырех (ненаправленных) микрофонов с l0011 по 10014 отмечены черными кружками.
Кроме того, на фиг.7 приведен пример трехмерной оценки DOA (получение трехмерной информации о направлении) с использованием шести (ненаправленных) микрофонов с 10011 по 10016, распределенных на жесткой сфере. Другими словами, на фиг.6 показана трехмерная микрофонная конструкция, использующая объект 1005, чтобы вызывать эффекты затенения. В этом примере объект представляет собой жесткую сферу. Места расположения (ненаправленных) микрофонов с 10011 по 10016 отмечены черными кружками.
Из разностей амплитуд между различающимися микрофонными сигналами, созданными различающимися микрофонами, показанными на фиг.2 по фиг.7 и с фиг.9 по фиг.10, варианты осуществления вычисляют информацию о направлении, следуя подходу, который описан в связи с устройством 100 в соответствии с фиг.1.
В соответствии с дополнительными вариантами осуществления, первый направленный микрофон 9011 или первый ненаправленный микрофон 10011 и второй направленный микрофон 9012 или второй ненаправленный микрофон 10012 можно расположить таким образом, чтобы сумма первой единицы информации о направлении, являющейся вектором, который указывает на первое эффективное направление 10031 обзора микрофона 9031, а также второй единицы информации о направлении, являющейся вектором, который указывает на второе эффективное направление 10032 обзора микрофона 9032, равнялась 0 в пределах допуска +/-5%, +/-10%, +/-20% или +/-30% от первой единицы информации о направлении или второй единицы информации о направлении.
Другими словами, уравнение (6) можно применить к микрофонам в системах 900, 1000, в которых bi - это единица информации о направлении i-го микрофона, являющаяся единичным вектором, указывающим на эффективное направление обзора микрофона для i-го микрофона.
Ниже описаны альтернативные решения по использованию информации об амплитудах микрофонных сигналов для оценки параметров направленности.
5.4 Альтернативные решения
5.4.1 Корреляционный подход
В данном параграфе предлагается альтернативный подход, использующий исключительно информацию об амплитудах микрофонных сигналов для оценки параметров направленности. Он базируется на корреляциях между амплитудными спектрами микрофонных сигналов и соответствующих априорно определенных амплитудных спектров, полученных из моделей и в результате измерений.
Пусть Si(k, n)=|Pi(k, n)|K обозначает амплитудный спектр или спектр плотности мощности i-го микрофонного сигнала. Тогда определим измеренный амплитудный отклик решетки S(k, n) из N микрофонов как:
Figure 00000021
Соответствующая совокупность амплитудных откликов микрофонной решетки обозначается как SM(φ, k, n). Совокупность откликов решетки, очевидно, зависит от DOA φ звука в том случае, если в решетке используются направленные микрофоны с различающимися направлениями обзора или рассеивающие/затеняющие объекты. Влияние DOA звука на совокупность откликов решетки зависит от фактической конструкции решетки, также на нее оказывают влияние диаграммы направленности микрофонов и/или рассеивающий объект, входящий в состав микрофонной конструкции. Совокупность откликов решетки можно определить из измерений, выполненных для решетки, для которой звук воспроизводится от различающихся направлений. В качестве варианта могут применяться физически модели. Например, влияние на распределение звукового давления на поверхности цилиндрического рассеивающего объекта описано в работе H. Teutsch and W. Kellermann, Acoustic source detection and localization based on wavefield decomposition using circular microphone arrays, J. Acoust. Soc. Am., 5(120), 2006.
Чтобы определить требуемую оценку DOA звука, рассчитывается корреляция амплитуд отклика решетки и совокупности амплитудных откликов решетки. Оцененная DOA соответствует максимуму нормированной функции корреляции в соответствии с
Figure 00000022
Несмотря на то, что для оценки DOA здесь представлен только двумерный случай, очевидно, что трехмерная оценка DOA, включающая в себя азимут и возвышение, может быть представлена аналогичным образом.
5.4.2 Подход, основанный на шумовом подпространстве
В данном параграфе для оценки параметров направленности предлагается альтернативный подход, использующий исключительно информацию об амплитудах микрофонных сигналов. Он базируется на хорошо известном основном алгоритме MUSIC (Классификация множественных сигналов - Multiple Signal Classification) (R. Schmidt, Multiple emitter location and signal parameter estimation, IEEE Transactions on Antennas and Propagation, 34(3):276-280, 1986) с тем исключением, что в приведенных примерах обрабатывается только информация об амплитудах.
Пусть S(k, n) является измеренным амплитудным откликом решетки, определенным по формуле (19). Ниже зависимости от k и n опускаются, поскольку все этапы выполняются отдельно для каждого частотно-временного отсчета. Корреляционная матрица R может рассчитываться как
Figure 00000023
где (•) Η обозначает сопряженное транспонирование, Ε {•} является оператором матожидания. На практике матожидание, как правило, приближается путем временного и/или спектрального усреднения процесса. Разложение R по собственным значениям можно записать как:
Figure 00000024
где λ1…N - собственные значения матрицы и N - число микрофонов или положений измерений. Теперь, когда на микрофонную решетку приходит сильная плоская волна, получается одно сравнительное большое собственное значение λ, в то время как остальные собственные значения близки нулю. Собственные векторы, соответствующие последним собственным векторам, формируют так называемое шумовое подпространство Qn. Данная матрица является ортогональной так называемому подпространству Qs сигналов, который содержит собственный вектор(ы), соответствующий наибольшему собственному значению(ям). Так называемый MUSIC спектр может вычисляться с помощью
Figure 00000025
где управляющий вектор s(φ) для исследуемого управляющего направления φ взят из совокупности откликов решетки SM, введенной в предыдущем параграфе. MUSIC спектр Ρ(φ) становится максимальным, когда управляющее направление φ соответствует истинному DOA звука. Таким образом, DOA φDOA звука можно определить путем принятия такого φ, для которого Ρ(φ) становится максимальным, то есть
Figure 00000026
Ниже описан пример подробного варианта осуществления настоящего изобретения для широкополосного способа/устройства оценки направления с использованием комбинированных градиентов давления и энергии оптимизированной микрофонной решетки.
5.5 Пример оценки направления с использованием комбинированных градиентов давления и энергии
5.5.1 Введение
Анализ направления прихода звука используется в нескольких способах звуковоспроизведения для обеспечения параметрического представления объемного звука из многоканального звукового файла или из множества микрофонных сигналов (F. Baumgarte and C. Faller, "Binaural Cue Coding - part I: Psychoacoustic fundamentals and design principles," IEEE Trans. Speech Audio Process., vol. 11, pp. 509-519, November 2003; M. Goodwin and J-M. Jot, "Analysis and synthesis for Universal Spatial Audio Coding," in Proc. AES 121st Convention, San Francisco, CA, USA, 2006; V. Pulkki, "Spatial sound reproduction with Directional Audio Coding," J. Audio Eng. Soc, vol. 55, pp. 503-516, June 2007; and C. Faller, "Microphone front-ends for spatial audio coders," in Proc. AES 125th Convention, San Francisco, CA, USA, 2008). Кроме воспроизведения объемного звучания анализ направления может также использоваться в таких приложениях, как локализация источников и формирование диаграммы направленности, (M. Kallinger, G. Del Galdo, F. Kuech, D. Mahne, and R. Schultz-Amling, "Spatial filtering using Directional Audio Coding parameters," in Proc. IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE Computer Society, pp. 217-220, 2009 and O. Thiergart, R. Schultz-Amling, G. Del Galdo, D. Mahne, and F. Kuech, "Localization of sound sources in reverberant environments based on Directional Audio Coding parameters," inn Proc. AES 127th Convention, New York, NY, USA, 2009). В этом примере анализ направления описывается с точки зрения способа обработки, а именно направленного аудиокодирования (DirAC), предназначенного для записи и воспроизведения объемного звучания в различных приложениях (V. Pulkki, "Spatial sound reproduction with Directional Audio Coding," J. Audio Eng. Soc, vol. 55, pp. 503-516, June 2007).
Как правило, анализ направления в DirAC базируется на измерении трехмерного вектора интенсивности звука, которому требуется информация о давлении звука и скорости частиц в единичной точке звукового поля. Таким образом, DirAC используется с сигналами B-формата в виде ненаправленного сигнала и трех дипольных сигналов, ориентированных вдоль Декартовых координат. Сигналы B-формата можно получить с помощью решетки близко расположенных или синхронных микрофонов (J. Merimaa, "Applications of a 3-D microphone array," in Proc. AES 112th Convention, Munich, Germany, 2002 and M.A. Gerzon, "The design of precisely coincident microphone arrays for stereo and surround sound," in Proc. AES 50th Convention, 1975). Здесь используется потребительский уровень решения, использующий четыре ненаправленных микрофона, расположенных в виде квадратной решетки. К сожалению, дипольные сигналы, полученные с помощью такой решетки в виде градиентов давления, страдают от недостатков пространственного наложения на высоких частотах. Следовательно, направление оценивается ошибочно выше частоты пространственного наложения, которую можно получить из расстояний в решетке.
В данном примере представлен способ расширения надежности оценки направления сверх частоты пространственного наложения, использующий существующие ненаправленные микрофоны. Способ использует тот факт, что сам микрофон затеняет приходящий звук с короткими длинами волн на высоких частотах. Для микрофонов, расположенных в решетке, такое затенение создает измеряемые разности внутримикрофонных уровней, зависящие от направления прихода. Это позволят получать приближение вектора интенсивности звука путем расчета градиента энергии между микрофонными сигналами и, более того, на данной основе оценивать направление прихода. Дополнительно размер микрофона определяет граничную частоту, выше которой разности уровней являются достаточными, чтобы использование градиентов энергии стало возможным. Затенение вступает в силу на более низких частотах при больших размерах. Пример также описывает, как оптимизировать расстояние в решетке в зависимости от размера диафрагмы микрофона, чтобы удовлетворить способам оценки, использующим оба градиента, и давления, и энергии.
Пример организован следующим образом. В параграфе 5.5.2 рассматривается оценка направления с использованием энергетического анализа с сигналами B-формата, создание которых с помощью квадратной решетки ненаправленных микрофонов описано в параграфе 5.5.3. В параграфе 5.5.4 представлен способ оценки направления с использованием градиентов энергии с помощью сравнительно больших по размеру микрофонов, составляющих квадратную решетку. В параграфе 5.5.5 предлагается способ оптимизации микрофонного расстояния в решетке. Вычисления согласно способам приведены в параграфе 5.5.6. Наконец, в параграфе 5.5.7 приведены выводы.
5.5.2 Оценка направления при энергетическом анализе
Оценка направления с помощью энергетического анализа базируется на векторе интенсивности звука, который представляет направление и амплитуду полезного потока звуковой энергии. Для проведения анализа звуковое давление p и скорость частиц u можно рассчитать в одной точке звукового поля, используя ненаправленный сигнал W и дипольные сигналы (X, Y и Z для декартовых направлений) B-формата соответственно. Чтобы провести гармонический анализ звукового поля, к сигналам B-формата в DirAC реализации, представленной в данном документе, применяется частотно-временной анализ, такой как кратковременное преобразование Фурье (STFT) с временным окном 20 мсек. Впоследствии мгновенная интенсивность активного звука
Figure 00000027
вычисляется в каждой частотно-временной ячейке по STFT -преобразованным сигналам B-формата, для которых диполи выражаются как X(t, f)=[X(t, f) Y(t, f) Z(t, f)]T. Здесь, t и f - это время и частота соответственно, а Z0 - акустический импеданс воздуха. Кроме того, Z 0 = ρ 0 c
Figure 00000028
, где ρ 0
Figure 00000029
означает среднюю плотность воздуха, c - скорость звука. Направление прихода звука, выраженное через азимутальный угол Θ и угол φ возвышения, определяется как противоположное направлению вектора интенсивности звука.
5.5.3 Микрофонная решетка для получения сигналов B-формата в горизонтальной плоскости
На фиг.11 показана решетка из четырех ненаправленных микрофонов с расстоянием d между противоположными микрофонами.
Решетка, состоящая из четырех близко расположенных ненаправленных микрофонов и показанная на фиг.11, использовалась для получения горизонтальных сигналов B-формата (W, X и Y) для оценки азимутального угла Θ направления в DirAC (M. Kallinger, G. Del Galdo, F. Kuech, D. Mahne, and R. Schultz-Amling, "Spatial filtering using Directional Audio Coding parameters," in Proc. IEEE International Conference on Acoustics, Speech and Signal Processing. IEEE Computer Society, pp. 217-220, 2009 and O. Thiergart, R. Schultz-Amling, G. Del Galdo, D. Mahne, and F. Kuech, "Localization of sound sources in reverberant environments based on Directional Audio Coding parameters," inn Proc. AES 127th Convention, New York, NY, USA, 2009). Как правило, микрофоны относительно малых размеров устанавливают на расстоянии нескольких сантиметров (например, 2 см) друг от друга. В такой решетке ненаправленный сигнал W может создаваться в виде среднего по микрофонным сигналам, а дипольные сигналы X и Y могут получаться в виде градиентов давления путем вычитания друг из друга сигналов от противоположных микрофонов, как
Figure 00000030
Здесь P1, P2, P3 и P4 - это STFT-преобразованные микрофонные сигналы (полученные путем кратковременного преобразования Фурье); A(f) - частотно-зависимая скорректированная константа. Кроме того, A ( f ) = j ( c N ) / ( 2 π f d f s )
Figure 00000031
, где j - комплексная единица, N - число отсчетов частот или длина STFT, d - расстояние между противоположными микрофонами и fs - частота дискретизации.
Как уже было отмечено, в том случае, когда половина длины пришедшей звуковой волны меньше расстояния между противоположными микрофонами, пространственное наложение начинает оказывать воздействие на градиенты давления и искажать дипольные сигналы. Таким образом, теоретическая частота fsa пространственного наложения, определяющая граничную верхнюю частоту для пригодного дипольного сигнала, вычисляется как
Figure 00000032
выше которой направление оценивается ошибочно.
5.5.4 Оценка направления с использованием градиентов энергии
В связи с тем, что пространственное наложение и направленность микрофона путем затенения запрещают использовать градиенты давления на высоких частотах, для надежной оценки направления требуется способ расширения частотного диапазона. В данном документе в соответствии с предлагаемым способом оценки направления в широкой полосе частот реализована решетка из четырех ненаправленных микрофонов, расставленных таким образом, что их осевые направления указывают из центра в противоположных направлениях. На фиг.12 показана такая решетка, в которой различающееся количество звуковой энергии плоской волны захватывается различающимися микрофонами.
Четыре ненаправленных микрофона с 10011 по 10014 решетки, показанные на фиг.12, установлены на конце цилиндра. Осевые направления с 10031 по 10034 микрофонов направлены из центра решетки. Такая решетка применяется для оценки направления прихода звуковой волны, используя градиенты энергии.
Здесь предполагается, что разность энергии позволяет делать оценку двумерного вектора интенсивности звука в случае, когда его x-ая, y-ая осевые компоненты аппроксимируются путем вычитания спектров плотности мощности сигналов противоположных микрофонов
Figure 00000033
Азимутальный угол Θ приходящей плоской волны может быть дополнительно получен из приближений интенсивности Iχ и Iy. Чтобы сделать описанный выше расчет возможным, требуется, чтобы разности внутримикрофонных уровней были достаточно большими для измерения с приемлемым отношением сигнал-шум. В связи с этим в решетке применяются микрофоны, имеющие сравнительно большие диафрагмы.
В некоторых случаях градиенты энергии не могут использоваться для оценки направления на более низких частотах, на которых микрофоны не затеняют приходящую звуковую волну, имеющую сравнительно большие длины волн. В связи с этим информация о направлении звука на высоких частотах может комбинироваться с информацией о направлении звука на низких частотах, полученной с помощью градиентов давления. Переходной частотой между способами является частота fsa пространственного наложения в соответствии с уравнением (27).
5.5.5 Пространственная оптимизация микрофонной решетки
Выше установлено, что размер диафрагмы определяет частоты, при которых затенение микрофона является эффективным для расчета градиентов энергии. Чтобы согласовать частоту fsa пространственного наложения с граничной частотой flim для использования градиентов энергии, микрофоны в решетке следует располагать на правильном расстоянии между собой. В связи с этим в данном параграфе анализируется определение расстояния между микрофонами с определенным размером диафрагмы.
Частотно зависящий индекс направленности для ненаправленного микрофона может измеряться в децибелах как:
Figure 00000034
где ΔL является отношением энергии, принятой в осевых направлениях к общей принятой энергии, полученной интегрированием по всем направлениям (J. Eargle, "The microphone book", Focal Press, Boston, USA, 2001). Кроме того, индекс направленности на каждой частоте зависит от величины отношения
Figure 00000035
между длиной окружности диафрагмы и длиной волны. Здесь, r - радиус диафрагмы, λ - длина волны. Кроме того, λ=c/flim. Зависимость индекса DI направленности как функции величины коэффициента ka, продемонстрированной с помощью имитационного моделирования в работе J. Eargle, "The microphone book", Focal Press, Boston, USA, 2001, является монотонно возрастающей функцией, как показано на фиг.13.
Индекс DI направленности в децибелах, показанный на фиг.13, применен из работы J. Eargle, "The microphone book", Focal Press, Boston, USA, 2001. Теоретические индексы построены как функция от коэффициента ka, представляющего собой длину окружности диафрагмы ненаправленного микрофона, деленную на длину волны.
Такая зависимость используется здесь для определения значения коэффициента ka для нужного индекса DI направленности. В данном примере DI определена равной 2,8 дБ, что дает ka равный 1. Когда частота fsa пространственного наложения равна граничной частоте flim, оптимизированное микрофонное расстояние с данным индексом направленности можно теперь определить, используя уравнения (27) и (30). Таким образом, оптимизированное расстояние вычисляется как:
Figure 00000036
5.5.6 Вычисление оценок направлений
Способы оценки направления, рассмотренные в данном примере, теперь определяются при анализе DirAC с помощью безэховых измерений и имитационного моделирования. Вместо одновременного измерения четырьмя микрофонами, расположенными по квадрату, импульсные отклики измеряли от различных направлений с помощью одиночного ненаправленного микрофона с относительно большой диафрагмой. Измеренные отклики последовательно использовали для оценки импульсных откликов четырех ненаправленных микрофонов, размещенных по квадрату, как показано на фиг.12. Следовательно, градиенты энергии в основном зависели от размера диафрагмы микрофона, и, таким образом, оптимизацию расстановки можно исследовать по описанию параграфа 5.5.5. Очевидно, что четыре микрофона в решетке обеспечивают более эффективное затенение для приходящих звуковых волн, и оценка направления должна быть улучшенной по сравнению со случаем единичного микрофона. Описанные выше оценки применяются здесь для двух различающихся микрофонов, имеющих различающиеся размеры диафрагм.
Импульсные отклики измеряли с помощью передвижной акустической системы (Genelec 8030A) в звукопоглощающей комнате, с интервалом 5° на расстоянии 1,6 м. Измерения на различающихся углах проводили с использованием свип-синусоиды частотой 20-20000 Гц и длительностью 1 сек. Уровень давления A-взвешенного звука составил 75 дБ. Измерения проводили с использованием ненаправленных микрофонов G.R.A.S Тип 40AI и AKG CK 62-ULS, имеющих диаметры диафрагм 1,27 см (0,5 дюйм) и 2,1 см (0,8 дюйм) соответственно.
При моделировании индекс направленности DI был определен равным 2,8 дБ, что соответствует значению коэффициента ka, равному 1 на фиг.13. В соответствии с оптимизированным микрофонным расстоянием в уравнении (31), при моделировании противоположные микрофоны устанавливали на расстоянии 2 см и 3,3 см друг от друга для микрофонов типа G.R.A.S и AKG соответственно. Такие расстояния получаются из частот пространственного наложения 8575 Гц и 5197 Гц.
На фиг.14 и фиг.15 приведены диаграммы направленности микрофонов G.R.A.S и AKG: 14A) энергия единичного микрофона, 14B) градиент давления между двумя микрофонами и 14C) градиент энергии между двумя микрофонами.
На фиг.14 показаны логарифмические диаграммы направленности на основе микрофона G.R.A.S. Диаграммы нормированы и построены в диапазонах третьей октавы с центральными частотами 8 кГц (кривые со ссылочным номером 1401), 10 кГц (кривые со ссылочным номером 1403), 12,5 кГц (кривые со ссылочным номером 1405) и 16 кГц (кривые со ссылочным номером 1407). Диаграмма направленности для идеального диполя с отклонением ±1 дБ обозначена участком 1409 на фиг.14B) и 14C).
На фиг.15 показаны логарифмические диаграммы направленности на базе микрофона типа AKG. Диаграммы нормированы и построены в диапазонах третьей октавы с центральными частотами 5 кГц (кривые со ссылочным номером 1501), 8 кГц (кривые со ссылочным номером 1503), 12,5 кГц (кривые со ссылочным номером 1505) и 16 кГц (кривые со ссылочным номером 1507). Диаграмма направленности для идеального диполя с отклонением ±1 дБ обозначена участком 1509 на фиг.15B и 15C.
Нормированные диаграммы направленности построены в некоторых диапазонах третьей октавы, центральные частоты которых начинаются близко к частотам пространственного наложения 8575 Гц (G.R.A.S) и 5197 Гц (AKG). Необходимо отметить, что с микрофонами G.R.A.S и AKG используются различающиеся центральные частоты. Кроме того, диаграмма направленности для идеального диполя с отклонением ±1 дБ обозначена участком 1409, 1509 на графиках градиентов давления и энергии. Диаграммы на фиг.14A) и фиг.15A) показывают, что благодаря затенению индивидуальный ненаправленный микрофон обладает существенной направленностью на высоких частотах. Для микрофона G.R.A.S и расстояния в решетке, равного 2 см, диполь, полученный в виде градиента давления, расширяется как функция частоты на фиг.14B). Градиент энергии создает дипольные диаграммы направленности, но несколько более узкие, чем идеальные на 12,5 кГц и 16 кГц на фиг.14C). Для микрофона AKG и расстояния в решетке 3,3 см диаграмма направленности градиента давления расширяется и искажается на 8 кГц, 12,5 кГц и 16 кГц, поскольку вместе с градиентом энергии дипольная диаграмма направленности уменьшается как функция частоты, хотя и напоминает идеальный диполь.
На фиг.16 приведены результаты анализа направлений в виде среднеквадратических ошибок (СКО) по частоте для случаев, когда измеренные отклики микрофонов G.R.A.S и AKG использовались для моделирования микрофонной решетки на фиг.16a) и 16b) соответственно.
На фиг.16 направление вычисляли с использованием решетки из четырех ненаправленных микрофонов, которые моделировали, используя измеренные импульсные отклики реальных микрофонов.
Исследование направлений при анализе DirAC проводили путем свертки импульсных откликов микрофонов на 0°, 5°, 10°, 15°, 20°, 25°, 30°, 35°, 40° и 45° в качестве вариантов с выборкой белого шума, оценивая направление с помощью STFT-окна длиной 20 мсек. Визуальное исследование результатов показывает, что направление оценивается точно вплоть до частот 10 кГц на фиг.16A) и 6,5 кГц на фиг.16B) при использовании градиентов давления и выше этих частот при использовании градиентов энергии. Упомянутые частоты, однако, несколько превышают теоретические частоты пространственного наложения 8575 Гц и 5197 Гц c оптимизированным микрофонным расстояниями 2 см и 3,3 см соответственно. Кроме того, для правильной оценки направления с использованием обоих градиентов, и давления, и энергии существуют частотные диапазоны от 8 кГц до 10 кГц для микрофона G.R.A.S на фиг.16A) и от 3 кГц до 6,5 кГц для микрофона AKG на фиг.16B). Представляется, что оптимизация микрофонных расстояний данными значениями обеспечит хорошую оценку для данных примеров.
5.5.7 Вывод
Данный пример представляет способ/устройство для анализа направления прихода звука в широком частотном диапазоне звука в случае, когда градиенты энергии и давления между ненаправленными микрофонами рассчитываются для низких и высоких частот, соответственно, и используются для оценки векторов интенсивности звука. Для вычисления градиентов энергии на высоких частотах способ/устройство использует решетку из четырех ненаправленных микрофонов, обращенных в противоположных направлениях и имеющих относительно большие размеры диафрагм, обеспечивающих измеряемые разности внутримикрофонных уровней.
Показано, что представленный способ/устройство обеспечивает надежную оценку направления в широком диапазоне звуковых частот, тогда как традиционный способ/устройство, использующий только градиенты давления при энергетическом анализе звукового поля, страдает от пространственного наложения и, следовательно, дает высокоошибочную оценку направления на высоких частотах.
Подводя итог, пример показывает способ/устройство для оценки направления звука путем расчета звуковой интенсивности, исходя из градиентов давления и энергии близко расположенных ненаправленных микрофонов частотно зависимым образом. Другими словами, варианты осуществления создают устройство и/или способ, выполненный с возможностью оценивать информацию о направлении, исходя из градиентов давления и энергии близко расположенных ненаправленных микрофонов частотно-зависимым образом. Микрофоны с относительно большими диафрагмами, вызывающими затенение для звуковой волны, используются в данном документе, чтобы обеспечить достаточно большие разности внутримикрофонных уровней, позволяющие вычислять градиенты энергии на высоких частотах. Пример получен при анализе направлений методом обработки пространственного звука, направленного аудиокодирования (DirAC). Показано, что способ/устройство обеспечивает надежную оценку информации о направлении во всем звуковом диапазоне частот, в то время как традиционные способы, использующие только градиенты давления, дают высокоошибочную оценку на высоких частотах.
Данный пример показывает, что в дополнительном варианте осуществления блок объединения устройства в соответствии с данным вариантом осуществления выполнен с возможностью получения информации о направлении на основе значений амплитуд и независимо от фаз микрофонного сигнала или компонентов микрофонного сигнала в первом частотном диапазоне (например, выше границы пространственного наложения). Кроме того, блок объединения может быть выполнен с возможностью получения информации о направлении в зависимости от фаз микрофонных сигналов или компонентов микрофонного сигнала во втором частотном диапазоне (например, ниже границы пространственного наложения). Другими словами, варианты осуществления настоящего изобретения могут выполняться с возможностью частотно-селективого получения информации о направлении, так что в первом частотном диапазоне информация о направлении базируется исключительно на амплитудах микрофонных сигналов или компонентов микрофонного сигнала, а во втором частотном диапазоне информация о направлении дополнительно базируется на фазах микрофонных сигналов или компонентов микрофонного сигнала.
6. Заключение
Подводя итог, варианты осуществления настоящего изобретения оценивают параметры направленности звукового поля путем рассмотрения (исключительно) амплитуд спектров микрофонов. Это особенно полезно для практики, когда фазовая информация микрофонных сигналов является неоднозначной, т.е. когда наблюдаются эффекты пространственного наложения. Чтобы иметь возможность получать требуемую информацию о направлении, варианты осуществления настоящего изобретения (например, система 900) использует подходящие конструкции направленных микрофонов, имеющих различающиеся направления обзора. В качестве варианта (например, система 1000) в состав микрофонных конструкций могут входить объекты, вызывающие зависящие от направления эффекты затенения и рассеяния. В определенных коммерческих микрофонах (например, микрофонах с большими диафрагмами) микрофонные капсулы устанавливаются в сравнительно большие гнезда. Получающийся в результате эффект затенения/рассеяния уже может быть достаточным для реализации концепции настоящего изобретения. В соответствии с дополнительными вариантами осуществления, основанная на амплитуде оценка параметра, представленная вариантами осуществления настоящего изобретения, может применяться совместно с традиционными способами оценки, учитывающими также фазовую информацию микрофонных сигналов.
Подводя итог, варианты осуществления обеспечивают оценку пространственных параметров посредством изменений амплитуд по направлениям.
Хотя некоторые аспекты были описаны в контексте рассмотрения устройства, ясно, что эти аспекты также представляют собой описание соответствующего способа, где блок или устройство соответствуют этапу способа или признаку этапа способа. Аналогично аспекты, описанные в контексте этапа способа, также представляют собой описание соответствующего блока, или элемента, или признака соответствующего устройства. Несколько или все этапы способа могут выполняться при помощи (или с использованием) аппаратного устройства, такого как, например, микропроцессор, программируемый компьютер или электронная схема. В некоторых вариантах осуществления какой-то один или более из наиболее важных этапов способа может быть выполнен с помощью такого устройства.
В зависимости от конкретных требований реализации, варианты осуществления изобретения могут быть реализованы в виде аппаратных средств или в виде программного обеспечения. Реализация может быть выполнена с использованием цифрового носителя, например, дискеты, DVD, Blue-Ray, CD, ROM, PROM, EPROM, EEPROM или флэш-памяти, имеющего хранящиеся на нем электронно-считываемые сигналы управления, которые осуществляют взаимодействие (или способны осуществлять взаимодействие) с программируемой компьютерной системой так, что выполняется соответствующий способ. Таким образом, цифровой запоминающий носитель может быть машиночитаемым.
Некоторые варианты осуществления в соответствии с изобретением содержат носитель данных, имеющий электронно-считываемые сигналы управления, которые способны осуществлять взаимодействие с программируемой компьютерной системой так, что выполняется один из способов, описанных в данном документе.
Как правило, варианты осуществления настоящего изобретения могут быть реализованы как компьютерный программный продукт с программным кодом, причем программный код является оперативным, так что во время выполнения компьютерного программного продукта на компьютере выполняется один из способов. Программный код может, например, храниться на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерные программы для выполнения одного из способов, описанных в данном документе, которые хранятся на машиночитаемом носителе.
Другими словами, вариант осуществления способа, обладающего признаками изобретения, является, таким образом, компьютерной программой, имеющей программный код для выполнения одного из способов, описанных в данном документе, во время выполнения компьютерной программы на компьютере.
Дополнительным вариантом осуществления способов, обладающих признаками изобретения, таким образом, является носитель данных (или цифровое запоминающее устройство, или машиночитаемый носитель), содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных в данном документе. Носитель данных, цифровое запоминающее устройство или записанный носитель, как правило, являются материальными и/или непромежуточными.
Дополнительный вариант осуществления изобретательского способа, обладающего признаками изобретения, является, таким образом, потоком данных или последовательностью сигналов, предоставленных компьютерной программе для выполнения одного из способов, описанных в данном документе. Поток данных или последовательность сигналов может, например, быть выполнен с возможностью передаваться посредством средства связи передачи данных, например, посредством Интернета.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, выполненное с возможностью или адаптированное для выполнения одного из способов, описанных в данном документе.
Дополнительный вариант осуществления содержит компьютер с установленной на нем компьютерной программой для выполнения одного из способов, описанных в данном документе.
Дополнительный вариант осуществления в соответствии с изобретением содержит устройство или систему, выполненную с возможностью передачи (например, электронно или оптически) компьютерной программы приемнику для выполнения одного из способов, описанных в данном документе. Приемник может, например, быть компьютером, мобильным устройством, запоминающим устройством или подобным. Устройство или система может, например, содержать файловый сервер для передачи компьютерной программы приемнику.
В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая вентильная матрица, FPGA) может использоваться для выполнения некоторых или всех функциональных возможностей способов, описанных в данном документе. В некоторых вариантах осуществления программируемая вентильная матрица может объединяться с микропроцессором для выполнения одного из способов, описанных в данном документе. Как правило, предпочтительно, чтобы способы выполнялись любым устройством с аппаратным обеспечением.
Описанные выше варианты осуществления являются только иллюстративными для принципов настоящего изобретения. Понятно, что модификации и изменения устройств и деталей, описанных в данном документе, очевидны для специалистов в данной области техники. Следовательно, есть намерение ограничиться только объемом следующей ниже формулы изобретения, а не конкретными деталями, представленными в виде описания и объяснения вариантов осуществления данного документа.

Claims (19)

1. Устройство (100) для получения информации (101, d(k, n)) о направлении от множества микрофонных сигналов (1031 до 103N, P1 до PN) или от множества компонентов (Pi (k, n)) микрофонного сигнала (103i, Pi), в котором различающиеся эффективные направления обзора микрофонов связаны с микрофонными сигналами (1031 до 103N, P1 до PN) или компонентами (Pi (k, n)), при этом устройство (100) содержит:
блок (105) объединения, выполненный с возможностью получения значения амплитуды микрофонного сигнала (Рi) или компонента (Pi (k, n)) микрофонного сигнала (Pi) и комбинирования единиц (b1 до bN) информации о направлении, описывающих эффективные направления обзора микрофонов, при этом единица (bi) информации о направлении, описывающая данное эффективное направление обзора микрофона, взвешивается в зависимости от значения амплитуды микрофонного сигнала (Pi) или компонента (Pi (k, n)) микрофонного сигнала (Pi), связанного с данным эффективным направлением обзора микрофона, для получения информации (101, d(k, n)) о направлении;
в котором единица (bi) информации о направлении, описывающая данное эффективное направление обзора микрофона, представляет собой вектор, указывающий в данном эффективном направлении обзора микрофона;
в котором блок объединения выполнен с возможностью получения информации d(k, n) о направлении для данной частотно-временной ячейки (k, n), соответствующей линейной комбинации единиц (b1 до bN) информации о направлении, взвешенных в зависимости от значений амплитуд, соответствующих данной частотно-временной ячейке (k, n); и
в котором единицы (b1 до bN) информации о направлении являются независимыми от частотно-временных ячеек (k, n).
2. Устройство (100) по п. 1,
в котором информация о направлении для данной частотно-временной ячейки является оценкой вектора (d(k, n)), указывающего в направлении, из которого распространяется звук с индексами по времени и частоте данной частотно-временной ячейки.
3. Устройство (100) по п. 1,
в котором эффективное направление обзора микрофона, соответствующее микрофонному сигналу (Pi), описывает направление, в котором микрофон, получающий сигнал (Pi), имеет свой максимальный отклик.
4. Устройство (100) по п. 1,
в котором блок (105) объединения выполнен с возможностью получения значения амплитуды, при этом значение амплитуды описывает амплитуду спектрального коэффициента (Pi (k, n)), представляющего спектральный поддиапазон (k) микрофонного сигнала (Pi).
5. Устройство (100) по п. 1,
в котором блок (105) объединения выполнен с возможностью получения информации (101, d(k, n)) о направлении на основе частотно-временного представления микрофонных сигналов (Pi до PN) или компонентов.
6. Устройство (100) по п. 1,
в котором блок (105) объединения выполнен с возможностью комбинирования единиц (bi до bN) информации о направлении, взвешенных в зависимости от значений амплитуд, соответствующих данной частотно-временной ячейке (k, n), с целью получения информации (d(k, n)) о направлении для данной частотно-временной ячейки (k, n).
7. Устройство (100) по п. 1,
в котором блок (105) объединения выполнен с возможностью комбинирования единиц (b1 до bN) информации об одинаковом направлении, взвешенных различным образом в зависимости от значений амплитуд, связанных с различающимися частотно-временными ячейками для множества различающихся частотно-временных ячеек.
8. Устройство по п. 1,
в котором первое эффективное направление обзора микрофона связано с первым микрофонным сигналом из множества микрофонных сигналов;
в котором второе эффективное направление обзора микрофона связано со вторым микрофонным сигналом из множества микрофонных сигналов;
в котором первое эффективное направление обзора микрофона отличается от второго эффективного направления обзора микрофона; и
в котором блок объединения выполнен с возможностью получения первого значения амплитуды первого микрофонного сигнала или компонента первого микрофонного сигнала, получения второго значения амплитуды второго микрофонного сигнала или компонента второго микрофонного сигнала, и комбинации первой единицы информации о направлении, описывающей первое эффективное направление обзора микрофона, и второй единицы информации о направлении, описывающей второе эффективное направление обзора микрофона, при этом первая единица информации о направлении взвешивается с помощью первого значения амплитуды, а вторая единица информации о направлении взвешивается с помощью второго значения амплитуды для получения информации о направлении.
9. Устройство по п. 1,
в котором блок объединения выполнен с возможностью получения квадрата значения амплитуды, базирующегося на значении амплитуды, при этом значение квадрата амплитуды описывает мощность микрофонного сигнала (Pi) или компонента (Pi (k, n)) микрофонного сигнала, и в котором блок объединения выполнен с возможностью комбинирования единиц (b1 до bN) информации о направлении, при этом единица (bi) информации о направлении взвешивается в зависимости от квадрата значения амплитуды микрофонного сигнала (Pi) или компонента (Pi (k, n)) микрофонного сигнала (Pi), связанного с данным эффективным направлением обзора микрофона.
10. Устройство (100) по п. 1,
в котором блок (105) объединения выполнен для получения информации (d(k, n)) о направлении в соответствии со следующим уравнением:
Figure 00000037

в котором d(k, n) обозначает информацию о направлении для данной частотно-временной ячейки (k, n), Pi (k, n) обозначает компонент микрофонного сигнала (Pi) i-гo микрофона для данной частотно-временной ячейки (k, n), k обозначает значение показателя, a bi обозначает единицу информации о направлении, описывающую эффективное направление обзора микрофона для i-гo микрофона.
11. Устройство по п. 10, в котором k>0.
12. Устройство по п. 1,
в котором блок объединения выполнен для получения информации (d(k, n)) о направлении на основе значений амплитуд и независимо от фаз микрофонных сигналов (Рi до PN) или компонентов (Pi (k, n)) микрофонного сигнала (Pi) в первом частотном диапазоне; и
в котором блок объединения дополнительно выполнен для получения информации о направлении в зависимости от фаз микрофонных сигналов (Pi до PN) или компонентов (Pi (k, n)) микрофонного сигнала (Pi) во втором частотном диапазоне.
13. Устройство по п. 1,
в котором блок объединения выполнен таким, что единица (bi) информации о направлении взвешивается отдельно, в зависимости от значения амплитуды.
14. Устройство (100) по п. 1, в котором блок (105) объединения выполнен с возможностью линейного комбинирования единиц (b1 до bN) информации о направлении.
15. Система (900) для получения информации о направлении источника звука, содержащая:
устройство (100) по п. 1,
первый направленный микрофон (9011), имеющий первое эффективное направление обзора микрофона (9031) для получения первого микрофонного сигнала (1031) из множества микрофонных сигналов, при этом первый микрофонный сигнал (1031) связан с первым эффективным направлением обзора микрофона (9031), и
второй направленный микрофон (9012), имеющий второе эффективное направление обзора микрофона (9032) для получения второго микрофонного сигнала (1032) из множества микрофонных сигналов, при этом второй микрофонный сигнал (1032) связан со вторым эффективным направлением обзора микрофона (9032); и
в котором первое направление обзора (9031) отличается от второго направления обзора (9032).
16. Система (1000) для получения информации о направлении источника звука, содержащая:
устройство по п. 1,
первый ненаправленный микрофон (10011) для получения первого микрофонного сигнала (1031) из множества микрофонных сигналов;
второй ненаправленный микрофон (10012) для получения второго микрофонного сигнала (1032); и
затеняющий объект (1005), расположенный между первым ненаправленным микрофоном (10011) и вторым ненаправленным микрофоном (10012) для формирования эффективных диаграмм направленности откликов первого ненаправленного микрофона (10011) и второго ненаправленного микрофона (10012), так что сформированная эффективная диаграмма направленности отклика первого ненаправленного микрофона (10011) содержит первое эффективное направление (10031) обзора микрофона, а сформированная эффективная диаграмма направленности отклика второго ненаправленного микрофона (10012) содержит второе эффективное направление обзора микрофона (10032), отличающееся от первого эффективного направления (10031) обзора микрофона.
17. Система по п. 15,
в которой направленные микрофоны (9011, 9012) или ненаправленные микрофоны (10011, 10012) расположены так, что сумма единиц информации о направлении, являющихся векторами, указывающими на эффективные направления обзора микрофонов (9031, 9032, 10031, 10032), равна нулю в пределах допуска ±30% от нормы одной из единиц информации о направлении.
18. Способ (800) для получения информации о направлении из множества микрофонных сигналов или множества компонентов микрофонного сигнала, в котором различающиеся эффективные направления обзора микрофонов связаны с микрофонными сигналами или компонентами, причем способ включает в себя:
этап (801) получения значения амплитуды из микрофонного сигнала или компонента микрофонного сигнала; и
этап (803) комбинирования единиц информации о направлении для получения информации о направлении, описывающий эффективные направления обзора микрофонов, при этом единица информации о направлении, описывающая данное эффективное направление обзора микрофона, взвешивается в зависимости от значения амплитуды микрофонного сигнала или компонента микрофонного сигнала, связанного с данным эффективным направлением обзора микрофона;
в котором единица информации о направлении, описывающая данное эффективное направление обзора микрофона, представляет собой вектор, указывающий в данном эффективном направлении обзора микрофона;
в котором информацию о направлении для данной частотно-временной ячейки получают в соответствии с линейной комбинацией единиц информации о направлении, взвешенных в зависимости от значений амплитуд и связанных с данной частотно-временной ячейкой;
в котором единицы (b1 до bN) информации о направлении являются независимыми от частотно-временных ячеек (k, n).
19. Носитель информации, хранящий компьютерную программу, содержащую программный код, который во время работы компьютера реализует способ по п. 18.
RU2013124400/28A 2010-10-28 2011-10-26 Устройство, система (варианты), способ получения информации о направлении и компьютерный программный продукт RU2555188C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US40757410P 2010-10-28 2010-10-28
US61/407,574 2010-10-28
EP11166916.4 2011-05-20
EP11166916A EP2448289A1 (en) 2010-10-28 2011-05-20 Apparatus and method for deriving a directional information and computer program product
PCT/EP2011/068805 WO2012055940A1 (en) 2010-10-28 2011-10-26 Apparatus and method for deriving a directional information and computer program product

Publications (2)

Publication Number Publication Date
RU2013124400A RU2013124400A (ru) 2014-12-10
RU2555188C2 true RU2555188C2 (ru) 2015-07-10

Family

ID=45492308

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013124400/28A RU2555188C2 (ru) 2010-10-28 2011-10-26 Устройство, система (варианты), способ получения информации о направлении и компьютерный программный продукт

Country Status (16)

Country Link
US (1) US9462378B2 (ru)
EP (2) EP2448289A1 (ru)
JP (1) JP5657127B2 (ru)
KR (1) KR101510576B1 (ru)
CN (1) CN103329567B (ru)
AR (1) AR085199A1 (ru)
AU (1) AU2011322560B2 (ru)
BR (1) BR112013010258B1 (ru)
CA (1) CA2815738C (ru)
ES (1) ES2526785T3 (ru)
HK (1) HK1188063A1 (ru)
MX (1) MX2013004686A (ru)
PL (1) PL2628316T3 (ru)
RU (1) RU2555188C2 (ru)
TW (1) TWI556654B (ru)
WO (1) WO2012055940A1 (ru)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264524B2 (en) * 2012-08-03 2016-02-16 The Penn State Research Foundation Microphone array transducer for acoustic musical instrument
CN103124386A (zh) * 2012-12-26 2013-05-29 山东共达电声股份有限公司 一种远讲用降噪、消回波、锐指向传声器
TWI584657B (zh) * 2014-08-20 2017-05-21 國立清華大學 一種立體聲場錄音以及重建的方法
US9565493B2 (en) 2015-04-30 2017-02-07 Shure Acquisition Holdings, Inc. Array microphone system and method of assembling the same
US9554207B2 (en) 2015-04-30 2017-01-24 Shure Acquisition Holdings, Inc. Offset cartridge microphones
GB2540175A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Spatial audio processing apparatus
US10397711B2 (en) * 2015-09-24 2019-08-27 Gn Hearing A/S Method of determining objective perceptual quantities of noisy speech signals
JP6649787B2 (ja) * 2016-02-05 2020-02-19 日本放送協会 集音装置
JP6569945B2 (ja) * 2016-02-10 2019-09-04 日本電信電話株式会社 バイノーラル音生成装置、マイクロホンアレイ、バイノーラル音生成方法、プログラム
BR112018007276A2 (pt) * 2016-03-15 2018-10-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. aparelho, método ou programa de computador para gerar uma descrição de campo de som
CN106842111B (zh) * 2016-12-28 2019-03-29 西北工业大学 基于传声器镜像的室内声源定位方法
US10367948B2 (en) 2017-01-13 2019-07-30 Shure Acquisition Holdings, Inc. Post-mixing acoustic echo cancellation systems and methods
FR3069693B1 (fr) * 2017-07-28 2019-08-30 Arkamys Procede et systeme de traitement d'un signal audio incluant un encodage au format ambisonique
CA3076703C (en) 2017-10-04 2024-01-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding
TWI703557B (zh) * 2017-10-18 2020-09-01 宏達國際電子股份有限公司 聲音播放裝置、方法及非暫態儲存媒體
WO2019231630A1 (en) 2018-05-31 2019-12-05 Shure Acquisition Holdings, Inc. Augmented reality microphone pick-up pattern visualization
US11523212B2 (en) 2018-06-01 2022-12-06 Shure Acquisition Holdings, Inc. Pattern-forming microphone array
US11297423B2 (en) 2018-06-15 2022-04-05 Shure Acquisition Holdings, Inc. Endfire linear array microphone
WO2020014812A1 (en) * 2018-07-16 2020-01-23 Northwestern Polytechnical University Flexible geographically-distributed differential microphone array and associated beamformer
EP3854108A1 (en) 2018-09-20 2021-07-28 Shure Acquisition Holdings, Inc. Adjustable lobe shape for array microphones
JP7266433B2 (ja) 2019-03-15 2023-04-28 本田技研工業株式会社 音源定位装置、音源定位方法、およびプログラム
JP7204545B2 (ja) 2019-03-15 2023-01-16 本田技研工業株式会社 音響信号処理装置、音響信号処理方法、およびプログラム
CN113841419A (zh) 2019-03-21 2021-12-24 舒尔获得控股公司 天花板阵列麦克风的外壳及相关联设计特征
EP3942845A1 (en) 2019-03-21 2022-01-26 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition functionality
US11558693B2 (en) 2019-03-21 2023-01-17 Shure Acquisition Holdings, Inc. Auto focus, auto focus within regions, and auto placement of beamformed microphone lobes with inhibition and voice activity detection functionality
US11445294B2 (en) 2019-05-23 2022-09-13 Shure Acquisition Holdings, Inc. Steerable speaker array, system, and method for the same
JP2022535229A (ja) 2019-05-31 2022-08-05 シュアー アクイジッション ホールディングス インコーポレイテッド 音声およびノイズアクティビティ検出と統合された低レイテンシオートミキサー
CN114467312A (zh) 2019-08-23 2022-05-10 舒尔获得控股公司 具有改进方向性的二维麦克风阵列
WO2021044551A1 (ja) * 2019-09-04 2021-03-11 日本電信電話株式会社 到来方向推定装置、モデル学習装置、到来方向推定方法、モデル学習方法、プログラム
GB2587335A (en) 2019-09-17 2021-03-31 Nokia Technologies Oy Direction estimation enhancement for parametric spatial audio capture using broadband estimates
US11552611B2 (en) 2020-02-07 2023-01-10 Shure Acquisition Holdings, Inc. System and method for automatic adjustment of reference gain
USD944776S1 (en) 2020-05-05 2022-03-01 Shure Acquisition Holdings, Inc. Audio device
WO2021243368A2 (en) 2020-05-29 2021-12-02 Shure Acquisition Holdings, Inc. Transducer steering and configuration systems and methods using a local positioning system
CN116918351A (zh) 2021-01-28 2023-10-20 舒尔获得控股公司 混合音频波束成形系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4752961A (en) * 1985-09-23 1988-06-21 Northern Telecom Limited Microphone arrangement
RU2048678C1 (ru) * 1993-12-29 1995-11-20 Научно-исследовательский институт специального машиностроения МГТУ им.Н.Э.Баумана Пеленгатор источников акустических излучений
WO2009077152A1 (en) * 2007-12-17 2009-06-25 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung_E.V. Signal pickup with a variable directivity characteristic
JP2009216747A (ja) * 2008-03-07 2009-09-24 Univ Nihon 音響測定装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1512514A (en) 1974-07-12 1978-06-01 Nat Res Dev Microphone assemblies
US5581620A (en) * 1994-04-21 1996-12-03 Brown University Research Foundation Methods and apparatus for adaptive beamforming
JP3599653B2 (ja) * 2000-09-06 2004-12-08 日本電信電話株式会社 収音装置、収音・音源分離装置及び収音方法、収音・音源分離方法並びに収音プログラム、収音・音源分離プログラムを記録した記録媒体
KR100493172B1 (ko) * 2003-03-06 2005-06-02 삼성전자주식회사 마이크로폰 어레이 구조, 이를 이용한 일정한 지향성을갖는 빔 형성방법 및 장치와 음원방향 추정방법 및 장치
JP4248294B2 (ja) * 2003-03-17 2009-04-02 日東紡音響エンジニアリング株式会社 不定項を用いたマイクロホンによるビームフォーミング
DE10313331B4 (de) * 2003-03-25 2005-06-16 Siemens Audiologische Technik Gmbh Verfahren zur Bestimmung einer Einfallsrichtung eines Signals einer akustischen Signalquelle und Vorrichtung zur Durchführung des Verfahrens
GB0405455D0 (en) * 2004-03-11 2004-04-21 Mitel Networks Corp High precision beamsteerer based on fixed beamforming approach beampatterns
NZ585567A (en) * 2004-09-07 2011-12-22 Sensear Pty Ltd Apparatus and Method for Sound Enhancement With Ambient Sound Suppression
EP1856948B1 (en) * 2005-03-09 2011-10-05 MH Acoustics, LLC Position-independent microphone system
US7619563B2 (en) * 2005-08-26 2009-11-17 Step Communications Corporation Beam former using phase difference enhancement
EP1994788B1 (en) * 2006-03-10 2014-05-07 MH Acoustics, LLC Noise-reducing directional microphone array
EP2095678A1 (en) * 2006-11-24 2009-09-02 Rasmussen Digital APS Signal processing using spatial filter
US7986794B2 (en) * 2007-01-11 2011-07-26 Fortemedia, Inc. Small array microphone apparatus and beam forming method thereof
US8098842B2 (en) * 2007-03-29 2012-01-17 Microsoft Corp. Enhanced beamforming for arrays of directional microphones
US8553903B2 (en) * 2007-06-27 2013-10-08 Alcatel Lucent Sound-direction detector having a miniature sensor
JP5294603B2 (ja) * 2007-10-03 2013-09-18 日本電信電話株式会社 音響信号推定装置、音響信号合成装置、音響信号推定合成装置、音響信号推定方法、音響信号合成方法、音響信号推定合成方法、これらの方法を用いたプログラム、及び記録媒体
DE102008029352A1 (de) * 2008-06-20 2009-12-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Lokalisieren einer Schallquelle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4752961A (en) * 1985-09-23 1988-06-21 Northern Telecom Limited Microphone arrangement
RU2048678C1 (ru) * 1993-12-29 1995-11-20 Научно-исследовательский институт специального машиностроения МГТУ им.Н.Э.Баумана Пеленгатор источников акустических излучений
WO2009077152A1 (en) * 2007-12-17 2009-06-25 Fraunhofer-Gesellschaft Zur Förderung Der Angewandten Forschung_E.V. Signal pickup with a variable directivity characteristic
JP2009216747A (ja) * 2008-03-07 2009-09-24 Univ Nihon 音響測定装置

Also Published As

Publication number Publication date
CN103329567A (zh) 2013-09-25
HK1188063A1 (en) 2014-04-17
KR20130127987A (ko) 2013-11-25
EP2628316B1 (en) 2014-11-05
CA2815738C (en) 2016-06-21
JP2013545382A (ja) 2013-12-19
EP2628316A1 (en) 2013-08-21
PL2628316T3 (pl) 2015-05-29
AR085199A1 (es) 2013-09-18
EP2448289A1 (en) 2012-05-02
RU2013124400A (ru) 2014-12-10
MX2013004686A (es) 2013-05-20
TW201230822A (en) 2012-07-16
BR112013010258B1 (pt) 2020-12-29
BR112013010258A2 (pt) 2016-09-13
WO2012055940A1 (en) 2012-05-03
AU2011322560A1 (en) 2013-05-30
TWI556654B (zh) 2016-11-01
ES2526785T3 (es) 2015-01-15
KR101510576B1 (ko) 2015-04-15
US9462378B2 (en) 2016-10-04
CN103329567B (zh) 2016-09-07
AU2011322560B2 (en) 2015-01-22
CA2815738A1 (en) 2012-05-03
US20130230187A1 (en) 2013-09-05
JP5657127B2 (ja) 2015-01-21

Similar Documents

Publication Publication Date Title
RU2555188C2 (ru) Устройство, система (варианты), способ получения информации о направлении и компьютерный программный продукт
RU2570359C2 (ru) Прием звука посредством выделения геометрической информации из оценок направления его поступления
JP5814476B2 (ja) 空間パワー密度に基づくマイクロフォン位置決め装置および方法
Mohan et al. Localization of multiple acoustic sources with small arrays using a coherence test
US9093078B2 (en) Acoustic source separation
Bush et al. Broadband implementation of coprime linear microphone arrays for direction of arrival estimation
Pertilä Acoustic source localization in a room environment and at moderate distances
Hioka et al. Multiple-speech-source localization using advanced histogram mapping method
Bastine et al. Time-frequency-dependent directional analysis of room reflections using eigenbeam processing and von Mises–Fisher clustering
Ahonen et al. Broadband direction estimation method utilizing combined pressure and energy gradients from optimized microphone array
Yu et al. Adding sparse recovery to projective ray space analysis
Pänkäläinen Spatial analysis of sound field for parametric sound reproduction with sparse microphone arrays
Tervo Localization and tracing of early acoustic reflections in enclosures