RU2639955C2

RU2639955C2 - Способ трансаурального синтеза для придания звуку пространственной формы

Info

Publication number: RU2639955C2
Application number: RU2014133066A
Authority: RU
Inventors: Франк РОССЕ; Жан-Люк АУРАИС
Original assignee: Франк РОССЕ; Жан-Люк АУРАИС
Priority date: 2012-02-13
Filing date: 2013-02-11
Publication date: 2017-12-25
Also published as: JP2015510348A; FR2986932B1; EP2815589B1; FR2986932A1; BR112014019926A2; CN104160722A; HK1204188A1; WO2013121136A1; KR20140128412A; EP2815589A1; JP6421385B2; CN104160722B; RU2014133066A; IN2014DN06776A

Abstract

Изобретение относится к средствам для создания цифрового пространственного стереоаудиофайла из исходного многоканального аудиофайла. Технический результат заключается в формировании ощущения, что звуковая среда экстернализирована. Создают базу данных импульсных сигналов из полученных акустических сигналов во множестве физических пространств путем записи сигналов, производимых акустическими громкоговорителями. Когда сигнал является стереосигналом, генерируют N.i сигнала из стереосигнала. Преобразовывают сигнал каждого из N.i каналов из одного из файлов импульсного отклика, выбранного в вышеупомянутой базе данных. Выполняют обработку в каждом из каналов для исключения взаимных помех. Объединяют каналы с целью создания стереосигнала. Применяют динамическую фильтрацию и эквализацию. 3 з.п. ф-лы, 3 ил.

Description

Область техники

Настоящее изобретение относится к области придания звуку пространственности, также называемой пространственным рендерингом звуковых сигналов, в частности к встраиванию эффекта помещения, главным образом, в области трансауральных способов.

Слово "бинауральный" относится к воспроизведению звукового сигнала парой наушников, или парой ушных вкладышей, или парой громкоговорителей, но еще и с эффектами пространственности. Изобретение, однако, не ограничивается вышеупомянутым способом и, в частности, применимо к способам, полученным из "бинауральных" способов, таких как способ воспроизведения "трансауральный" (зарегистрированное торговое наименование), то есть на выносных громкоговорителях, например, установленных в концертном зале или в кинотеатре с многоточечной звуковой системой.

Конкретное применение изобретения состоит, например, в обогащении звукового содержимого, воспроизводимого с помощью пары громкоговорителей, для того чтобы погрузить слушателя в пространственную звуковую среду, в частности, включая эффект помещения или эффект «вне помещения».

Уровень техники

Для реализации «бинауральных» способов при воспроизведении на наушниках или громкоговорителях передаточная функция или фильтр определены в уровне техники для звукового сигнала между положением источника звука в пространстве и двумя ушами слушателя. Вышеупомянутая акустическая передаточная функция слухового аппарата человека именуется HRTF, от слов "Передаточная функция головы" (Head Related Transfer Function), в своей частотной форме, и HRIR, от слов "Импульсная отклик головы" (Head Related Impulse Response), в своей временной форме. Для одного направления в пространстве в конечном счете получаются две HRTF: одна для правого уха и одна для левого уха.

В частности, бинауральный способ состоит в применении таких акустических передаточных функций головы к монофоническим аудиосигналам, которые позволяют получить стереофонический сигнал, вызывающий у слушателя при прослушивании на паре наушников ощущение того, что источники звука находятся в определенном направлении в пространстве. Сигнал для правого уха получается путем фильтрации монофонического сигнала с помощью HRTF правого уха, а сигнал для левого уха получается путем фильтрации того же монофонического сигнала с помощью HRTF левого уха.

При пространственном рендеринге, когда учитывается тот факт, что слушатель воспринимает звуковые источники на различных расстояниях от его/ее головы, что представляет собой явление, известное под термином «экстернализация», принимается во внимание в смысле, что независимо от направления или происхождения источников звука часто бывает так, что в бинауральном 3D-рендеринге источники воспринимаются, как будто они расположены внутри головы слушателя. Этот воспринимаемый источник, таким образом, называется "неэкстернализированный".

Различные исследования показали, что добавление эффекта помещения в способы бинаурального 3D рендеринга, позволяет значительно улучшить экстернализацию источников звука.

В существующем уровне техники известна заявка на патент US 2007/0110250, в которой раскрыт способ придания пространственности звуку, включающий этап определения акустической матрицы для реального набора источников звука в реальном местоположении и этап вычисления акустической матрицы для передачи акустического сигнала набора кажущихся источников звука в местах, отличных от реальных местоположений слушателя. Способ дополнительно включает этап разрешения матрицы передаточной функции для предоставления слушателю звукового сигнала, создающего аудиоизображение звука, созданного кажущимся источником.

Недостатки предшествующего уровня техники

Решения из предшествующего уровня техники установлены и не позволяют выбрать 3D звуковую среду среди нескольких возможных звуковых сред. Они, как правило, основаны на матрице преобразования, вычисляемой для виртуальной головы.

Решения из предшествующего уровня техники, как правило, не позволяют сформировать ощущение, что звуковая среда экстернализирована.

Решения, предусмотренные изобретением

Реальные помещения и реальные замкнутые объемы позволяют рассчитать фильтры, которые будут использоваться для генерации мультиканалов.

Согласно предложенному изобретению способ создания цифрового пространственного стереоаудиофайла из исходного многоканального аудиофайла содержит: этап выполнения обработки в каждом из каналов для исключения взаимных помех; этап объединения каналов с целью создания стереосигнала; этап динамической фильтрации и эквализации для повышения динамических характеристик звука.

В соответствии с вариантами воплощения изобретения этап исключения взаимных помех заключается в добавлении к сигналу каждого из каналов сигнала, соответствующего сдвинутому по фазе и взвешенному сигналу других каналов. Исходный сигнал является по своей природе 5.n многоканальным сигналом или исходный сигнал является по своей природе 5.n многоканальным сигналом, вычисленным из стереосигнала.

Подробное описание примерного неограничивающего варианта воплощения

Настоящее изобретение будет лучше понято из нижеследующего описания и со ссылкой на прилагаемые чертежи, на которых:

- на фиг. 1 показана общая блок-схема установки, предназначенной для реализации этапа создания базы данных импульсных сигналов;

- на фиг. 2 показано схематическое изображение установки для получения импульсных сигналов;

- на фиг. 3 показана блок-схема установки для прослушивания.

Способ в соответствии с изобретением содержит первую обработку 1, состоящую в создании базы данных импульсных сигналов из полученных акустических сигналов во множестве физических пространств, путем записи сигналов, производимых акустическими громкоговорителями в ответ на поступление опорного многочастотного сигнала.

Затем для каждого аудиоряда, которому должна быть придана пространственность, способ состоит в применении последовательности операций обработки:

- когда сигнал, которому должна быть придана пространственность, является стереосигналом, способ включает предварительный этап 2 генерирования N.i сигнала из стереосигнала;

- этап 3 преобразования сигнала каждого из N.i каналов из одного из файлов импульсной передаточной функции, выбранных в вышеупомянутой базе данных;

- этап 4 рекомбинирования сигналов преобразованных таким образом N.i каналов для создания пространственного стереосигнала.

Этот стереосигнал может затем ретранслироваться парой стандартных акустических громкоговорителей, для того чтобы воспроизвести пространственную звуковую среду, соответствующую пространству, используемому для создания сигналов импульсного отклика, или комбинации таких пространств.

Первоначальный этап создания базы данных импульсного отклика

Этот этап повторяется множество раз. Он показан на фиг. 2.

Он состоит для каждой серии импульсных откликов в позиционировании в физическом пространстве, таком как концертный зал, открытое или закрытое место, или заданное помещение, системы имеющихся акустических громкоговорителей с 5 по 11; 17, связанных с усилителем 14, предпочтительно известного качества, а также пары микрофонов 12, 13, положение которых относительно систем громкоговорителей с 5 по 11; 17 устанавливается для получаемой серии.

Затем исходный многочастотный сигнал последовательно подается на каждый из громкоговорителей с 5 по 11 с использованием усилителя 14. Такой исходный сигнал является, например, последовательностью, имеющей длительность в пределах от 10 до 90 секунд, при изменении частоты в пределах звукового спектра. Такой сигнал является, например, линейным изменением между 20 Гц и 20 кГц, или каким-либо еще сигналом, охватывающим весь спектр громкоговорителя.

Звуковой сигнал, производимый активным громкоговорителем, принимается парой микрофонов 12, 13 и производится запись стереосигнала. Для этого сигнала специально выполняется дискретизация 96 кГц, а также восстановление сигнала способом обратной свертки (деконволюции) с помощью быстрого преобразования Фурье между исходным сигналом и записанным сигналом, чтобы получить импульсный отклик для рассматриваемого громкоговорителя в рассматриваемом физическом пространстве.

Этот этап воспроизводится для каждого из громкоговорителей с 5 по 11 в системе, а затем для различных физических пространств, в которых система громкоговорителей, одинаковых или различных, позиционирована вместе с одинаковым или отличным усилителем и одинаковыми микрофонами.

Этот первый этап ведет к созданию базы данных стереофонических импульсных откликов.

Этап подготовки пространственного сигнала

Этот этап позволяет создать пространственный стереоаудиосигнал из N.i многоканального сигнала, соответствующего традиционной цифровой записи.

Этот этап заключается в выборе N+1 импульсных откликов из базы данных, созданной на первоначальном этапе.

Выбор будет заключаться в привязке к каждому из N+1 сигналов одного из импульсных откликов из вышеупомянутой базы данных, при этом следует позаботиться о том, чтобы положение захвата в пространстве импульсного отклика соответствовало положению в пространстве канала, с которым он связан.

Для каждого «импульсного отклика моно/стереосигнала» применяется операция свертки для вычисления пары пространственных стереосигналов S_sG и S_sD.

Затем этим образом создается N+1 пар j пространственных сигналов

и

, с j в пределах от 1 до N+1.

Например, если первоначальная запись была типа 5.1, будет создано 6 пар пространственных сигналов.

Опционально применяется эквализация каналов для улучшения динамических характеристик j сигналов.

Создание пространственного стереосигнала

Заключительный этап заключается в рекомбинировании j сигналов для создания пары правого и левого пространственных сигналов.

Для этого j сигналов

, соответствующих пространству, расположенному слева, добавляются для создания левого канала пространственного стереосигнала. То же самое выполняется для сигналов

, соответствующих пространству, расположенному справа, для создания правого канала пространственного стереосигнала.

Случай исходного стереосигнала; увеличение количества каналов и создание промежуточных каналов

Когда сигнал, которому должна быть придана пространственность, имеет тип не N.i, а является простым стереосигналом, выполняется промежуточный этап, который заключается в создании сигнала N.i путем выделения фазы между левой и правой дорожками для создания различных новых сигналов.

Такое выделение фазы выражается в создании сигнала, соответствующего воспроизводимому центральному каналу, путем обработки, которая заключается в добавлении сигнала левого канала и сдвинутого по фазе сигнала правого канала, например в противофазе.

Чтобы создать другие "воспроизводимые" каналы, левая и правая дорожки сдвигаются по фазе с различными фазовыми углами, и добавляются пары сдвинутых по фазе сигналов с эмпирически установленными весовыми коэффициентами для рендеринга пространственной звуковой среды.

Кроме того, к правому и левому сигналам применяются частотные фильтры после создания "воспроизводимых" каналов в целях повышения динамических характеристик сигнала и сохранения у звука качества высокоточного воспроизведения.

Воспроизведение сигнала

На фиг. 3 показано схематическое изображение установки для воспроизведения, состоящей из пары реальных громкоговорителей 17, 18.

Данная пара громкоговорителей 17, 18 получает сигнал, создающий возможность имитировать рассчитанные громкоговорители с 20 по 27 и с 30 по 36.

Эффективное число рассчитанных громкоговорителей с 20 по 27 соответствует количеству физических громкоговорителей с 5 по 11; 17, используемому для создания базы данных импульсных сигналов, или количеству виртуальных громкоговорителей, воспроизводимых в соответствии с вышеуказанным способом.

Кроме того, создаются виртуальные громкоговорители с 30 по 36, тем самым создавая в звуковом пространстве ощущение наличия комбинации реальных близлежащих громкоговорителей, для заполнения звуковых дыр.

Такие виртуальные громкоговорители создаются путем модификации сигнала, подаваемого на реальные близлежащие громкоговорители.

Таким образом создаются пятнадцать звуковых файлов, 8 из которых (7.1) соответствуют обработке импульсных сигналов, а 7 других вычисляются путем комбинирования этих пятнадцати файлов.

Сигналы распределяются в соответствии с их правым, левым или центральным компонентами для создания левого сигнала 17, предназначенного для левого громкоговорителя, и правого сигнала, предназначенного для правого громкоговорителя 18:

- «правый» сигнал соответствует добавлению рассчитанных «правых» сигналов 21, 22, 23 и виртуальных «правых» сигналов 30, 31, 32, а также рассчитанных 20, 27 и виртуального 33 «центрального» сигналов с весовым коэффициентом порядка 50%;

- «левый» сигнал соответствует добавлению рассчитанных «левых» сигналов 24, 25, 26 и виртуальных «левых» сигналов 34, 35, 36, а также рассчитанных 20, 27 и виртуального 33 «центрального» сигналов с весовым коэффициентом порядка 50%.

Такой стереосигнал затем подается на обычное аудиооборудование, подключенное к паре громкоговорителей 18, 19, которые будут воспроизводить пространственную звуковую среду, соответствующую звуковой среде установки, которая была использована для создания базы данных импульсных сигналов, или виртуальной звуковой среде, соответствующей комбинации нескольких исходных звуковых сред, возможно, дополненных виртуальными звуковыми средами.

Claims

1. Способ создания цифрового пространственного стереоаудиофайла из исходного многоканального аудиофайла, отличающийся тем, что он содержит:

этап создания базы данных импульсных сигналов из полученных акустических сигналов во множестве физических пространств путем записи сигналов, производимых акустическими громкоговорителями;

когда сигнал является стереосигналом, необязательный этап генерирования N.i сигнала из стереосигнала;

этап преобразования сигнала каждого из N.i каналов из одного из файлов импульсного отклика, выбранного в вышеупомянутой базе данных;

этап выполнения обработки в каждом из каналов для исключения взаимных помех;

этап объединения каналов с целью создания стереосигнала;

этап динамической фильтрации и эквализации.

2. Способ по п. 1, отличающийся тем, что этап исключения взаимных помех заключается в добавлении к сигналу каждого из каналов сигнала, соответствующего сдвинутому по фазе и взвешенному сигналу других каналов.

3. Способ по п. 1, отличающийся тем, что исходный сигнал является по своей природе 5.n многоканальным сигналом.

4. Способ по п. 1, отличающийся тем, что исходный сигнал является по своей природе 5.n многоканальным сигналом, вычисленным из стереосигнала.