RU2802176C2 - Способ и устройство для декодирования сжатого звукового представления звука или звукового поля с помощью hoa - Google Patents

Abstract

Настоящее изобретение относится к области технологий звукозаписи. При сжатии представления кадра данных HOA применяется регулятор усиления для каждого сигнала канала перед его перцепционным кодированием. Значения коэффициентов усиления передаются в дифференциальном режиме в качестве побочной информации. Для определения такого наименьшего целого числа (β_e) битов представление кадра данных HOA (C(k)) воспроизводится в пространственной области в виде сигналов виртуальных громкоговорителей, лежащих на единичной сфере, с последующей нормализацией представления кадра данных HOA (C(k)). Технический результат заключается в обеспечении наименьшего целого числа бит, необходимого для представления недифференцируемых значений коэффициентов усиления. 3 н.п. ф-лы, 6 ил.

Description

Область техники

Настоящее изобретение относится к способу и устройству определения для сжатия представления кадра данных HOA наименьшего целого числа битов, требуемого для представления недифференцируемых значений коэффициентов усиления, связанных с сигналами каналов конкретного одного из указанных кадров данных HOA.

Уровень техники

Технология звукозаписи, создающей «эффект присутствия», (Ambisonics) высшего порядка, обозначаемая HOA (Higher Order Ambisonics) предлагает одну из возможностей представления стереозвука. Другими методами являются синтез волнового поля (wave field synthesis, WFS) или подходы на базе канала, такие как 22.2. В отличие от методов на базе каналов, представление на основе HOA предлагает преимущество, состоящее в отсутствии зависимости от конкретной установки громкоговорителя. Однако такая гибкость существует за счет процесса декодирования, который необходим для воспроизведения представления HOA на конкретной установке громкоговорителя. По сравнению с подходом WFS, в котором число требуемых громкоговорителей обычно очень велико, технология HOA также может быть воспроизведена в установках, состоящих всего из нескольких громкоговорителей. Дополнительным преимуществом HOA является то, что то же самое представление также может быть использовано без каких-либо изменений для стереофонического воспроизведения в наушниках.

Технология HOA основана на представлении пространственной плотности комплексных амплитуд гармонической плоской волны с помощью усеченного разложения по сферическим гармоникам (Spherical Harmonics, SH). Каждый коэффициент разложения является функцией угловой частоты, которая может быть эквивалентно представлена с помощью функции временной области. Следовательно, без потери общности, полное представление звукового поля HOA действительно можно считать состоящим из O функций временной области, где O обозначает число коэффициентов разложения. Данные функции временной области в дальнейшем будут эквивалентно упоминаться как последовательности коэффициентов HOA или как каналы HOA.

Пространственное разрешение представления HOA улучшается с ростом максимального порядка N разложения. К сожалению, число коэффициентов разложения O растет квадратично с порядком N, в частности, O = (N + 1)². Например, типичные представления HOA, использующие порядок N = 4, требуют коэффициентов (расширения) HOA O = 25. Общая скорость передачи битов для передачи представления HOA, учитывая желаемую одноканальную частоту дискретизации f_s и число битов N_b в выборке, определяется как O · f_S · N_b. Передача представления HOA с порядком N = 4 с частотой дискретизации f_s = 48 кГц, с использованием N_b = 16 бит в выборке приводит к скорости передачи битов 19,2 Мбит/с, которая является очень высокой для многих практических применений, например, потоковой передачи данных. Таким образом, сжатие представления HOA является весьма желательным.

Ранее сжатие представлений звукового поля HOA предлагалось в документах EP 2665208 A1, EP 2743922 A1, EP 2800401 A1, см. ISO/IEC JTC1/SC29/WG11, N14264, WD1-HOA Text of MPEG-H 3D Audio, январь 2014 г. Эти подходы объединяет то, что они выполняют анализ звукового поля и разлагают данное представление HOA на компонент направления и остаточный компонент окружающей среды. Конечное сжатое представление, с одной стороны, как предполагается, состоит из ряда квантованных сигналов, являющихся результатом перцепционного кодирования направленных и векторных сигналов, а также релевантных последовательностей коэффициентов компонента окружающей среды HOA. С другой стороны, оно содержит дополнительную побочную информацию, относящуюся к квантованным сигналам, причем данная побочная информация требуется для восстановления представления HOA из его сжатого варианта.

Перед передачей к перцепционному кодеру эти промежуточные сигналы временной области должны иметь максимальную амплитуду в пределах диапазона значений [-1,1[, что является требованием, возникающим в связи с реализацией имеющихся в настоящее время перцепционных кодеров. Чтобы удовлетворять данному требованию при сжатии представлений HOA, блок обработки регулятора усиления (см. EP 2824661 A1 и вышеупомянутый документ ISO/IEC JTC1/SC29/WG11 N14264) используют перед перцепционными кодерами, которые плавно ослабляют или усиливают входные сигналы. Предполагается, что полученное изменение сигнала является обратимым и применяется по кадрам, при этом, в частности, изменение амплитуд сигнала между последовательными кадрами предполагается равным степени «2». Для облегчения обратного преобразования данного изменения сигнала в декомпрессоре на основе HOA соответствующая нормализация побочной информации включается в общую побочную информацию. Данная нормализация побочной информации может состоять из показателей по основанию «2», причем показатели описывают относительное изменение амплитуды между двумя последовательными кадрами. Эти показатели кодируются, используя кодирование длины серий согласно вышеупомянутому документу ISO/IEC JTC1/ SC29/WG11 N14264, так как незначительные изменения амплитуды между последовательными кадрами более вероятны, чем большие изменения.

Раскрытие сущности изобретения

Использование дифференцированно кодированных изменений амплитуды для восстановления исходных амплитуд сигнала в декомпрессии HOA возможно, например, в случае, когда одиночный файл распаковывается от начала до конца без каких-либо временных скачков. Однако для облегчения произвольного доступа в кодированном представлении должны присутствовать независимые блоки доступа (которые обычно представляют собой поток битов), чтобы обеспечивать начало декомпрессии с требуемого положения (или по меньшей мере в непосредственной близости от него), независимо от информации из предыдущих кадров. Такой независимый блок доступа должен содержать полное абсолютное изменение амплитуды (т. е. недифференцируемое значение коэффициента усиления), вызванное блоком обработки регулятора усиления от первого кадра до текущего кадра. Предполагая, что изменения амплитуды между двумя последовательными кадрами являются степенью «2», это является достаточным, чтобы описать полное абсолютное изменение амплитуды с помощью показателя по основанию «2». Для эффективного кодирования данного показателя важно знать возможные максимальные коэффициенты усиления сигналов перед применением блока обработки регулятора усиления. Однако эти сведения в значительной степени зависят от спецификации ограничений на диапазон значений представлений HOA, подлежащих сжатию. К сожалению, документ касательно MPEG-H 3D аудио стандарта ISO/IEC JTC1/SC29/WG11 N14264 только представляет описание формата для ввода представления HOA, без установления каких-либо ограничений на диапазон значений.

Проблема, решаемая с помощью изобретения, заключается в обеспечении наименьшего целого числа бит, необходимого для представления недифференцируемых значений коэффициентов усиления. Данную проблему решают с помощью способа, раскрытого в пункте 1 формулы изобретения. Устройство, которое использует данный способ, раскрыто в пункте 2 формулы изобретения.

Преимущества дополнительных вариантов осуществления раскрыты в соответствующих зависимых пунктах формулы изобретения.

Изобретение устанавливает взаимосвязь между диапазоном значений входного представления HOA и возможными максимальными коэффициентами усиления сигналов перед применением блока обработки регулятора усиления в компрессоре на основе HOA.

На основе взаимосвязи определяется количество требуемых битов (для данной спецификации в диапазоне значений входного представления HOA) для эффективного кодирования показателей по основанию «2» для описания в пределах блока доступа полных абсолютных изменений амплитуды (т. е. недифференцируемого значения коэффициента усиления) измененных сигналов, вызванных блоком обработки регулятора усиления от первого кадра до текущего кадра.

Кроме того, после того как правило для вычисления количества требуемых битов для кодирования показателя выполнено, изобретение использует обработку для проверки того, удовлетворяет ли данное представление HOA требуемым ограничениям диапазона значений, так чтобы оно могло быть сжато должным образом.

В принципе, способ согласно изобретению подходит для определения сжатия представления кадра данных HOA наименьшего целого числа β_e битов, требуемого для представления недифференцируемых значений коэффициентов усиления для сигналов каналов конкретного одного из указанных кадров данных HOA, в котором каждый сигнал канала в каждом кадре содержит группу значений выборки, и в котором каждому сигналу канала каждого одного из указанных кадров данных HOA присвоено дифференцируемое значение коэффициента усиления, и такое дифференцируемое значение коэффициента усиления вызывает изменение амплитуд значений выборки сигнала канала в текущем кадре данных HOA относительно значений выборки этого сигнала канала в предыдущем кадре данных HOA, и при этом такие сигналы каналов с адаптированным коэффициентом усиления кодируются в кодирующем устройстве,

и при этом указанное представление кадра данных HOA воспроизведено в пространственной области для O сигналов виртуальных громкоговорителей w_j(t), где положения виртуальных громкоговорителей лежат на единичной сфере и должны быть распределены равномерно по этой единичной сфере, причем указанное воспроизведение представлено произведением матриц w(t) = (Ψ)^-1 • c(t), где w(t) – вектор, содержащий все сигналы виртуальных громкоговорителей, Ψ – модовая матрица положений виртуальных громкоговорителей, и c(t) – вектор соответствующих последовательностей коэффициентов HOA указанного представления кадра данных HOA,

и при этом указанное представление кадра данных HOA было нормализовано, так что ,

указанный способ включает в себя этапы:

- формирование указанных сигналов каналов на одном или более подэтапов a), b), c) из указанного нормализованного представления кадра данных HOA:

a) для представления доминирующих звуковых сигналов в указанных сигналах каналов, умножение указанного вектора последовательностей коэффициентов HOA c(t) на матрицу смешивания Α, при этом евклидова норма матрицы смешивания Α не больше, чем «1», причем матрица смешивания Α представляет линейную комбинацию последовательностей коэффициентов указанного нормализованного представления кадра данных HOA;

b) для представления компонента окружающей среды c_AMB(t) в указанных сигналах каналов, вычитание указанных доминирующих звуковых сигналов из указанного нормализованного представления кадра данных HOA, и выбор по меньшей мере части из последовательностей коэффициентов указанного компонента окружающей среды c_AMB(t), причем ||c_AMB(t)||₂ ² ≤ ||c(t)||₂ ², и преобразование результирующего минимального компонента окружающей среды c_AMB,MIN(t) путем вычисления w_MIN(t) = Ψ^-1 _MIN ⋅ c_AMB,MIN(t), где

||Ψ^-1 _MIN||₂ < 1 и Ψ_MIN – модовая матрица для указанного минимального компонента окружающей среды c_AMB,MIN(t);

c) выбор части указанных последовательностей коэффициентов HOA c(t), причем выбранные последовательности коэффициентов связаны с последовательностями коэффициентов компонента окружающей среды HOA, к которым применено пространственное преобразование, и минимальный порядок N_MIN, описывающий число указанных выбранных последовательностей коэффициентов, равен N_MIN ≤ 9;

- установление указанного наименьшего целого числа β_e битов, требуемого для представления указанных недифференцируемых значений коэффициентов усиления для указанных сигналов каналов до ,

где, N – порядок, N_MAX – максимальный порядок, представляющий интерес, направления указанных виртуальных громкоговорителей, O = (N + l)² – число последовательностей коэффициентов HOA, и K – отношение между квадратом евклидовой нормы ||Ψ||₂ ² указанной модовой матрицы и O.

По существу, устройство согласно изобретению подходит для определения при сжатии представления кадра данных HOA наименьшего целого числа β_e битов, требуемого для представления недифференцируемых значений коэффициентов усиления для сигналов каналов конкретного одного из указанных кадров данных HOA, в котором каждый сигнал канала в каждом кадре содержит группу значений выборки, и в котором каждому сигналу канала каждого одного из указанных кадров данных HOA присвоено дифференцируемое значение коэффициента усиления, и такое дифференцируемое значение коэффициента усиления вызывает изменение амплитуд значений выборки сигнала канала в текущем кадре данных HOA относительно значений выборки этого сигнала канала в предыдущем кадре данных HOA, и при этом такие сигналы каналов с адаптированным коэффициентом усиления кодируются в кодирующем устройстве,

и при этом указанное представление кадра данных HOA воспроизведено в пространственной области для O сигналов виртуальных громкоговорителей w_j(t), где положения виртуальных громкоговорителей лежат на единичной сфере и должны быть распределены равномерно по этой единичной сфере, причем указанное воспроизведение представлено произведением матриц w(t) = (Ψ)^-1 • c(t), где w(t) – вектор, содержащий все сигналы виртуальных громкоговорителей, Ψ – модовая матрица положений виртуальных громкоговорителей, и c(t) – вектор соответствующих последовательностей коэффициентов HOA указанного представления кадра данных HOA,

и при этом указанное представление кадра данных HOA было нормализовано, так что ,

указанное устройство включает в себя:

- средства, которые формируют указанные сигналы каналов за одну или более операций a), b), c) из указанного нормализованного представления кадра данных HOA:

a) для представления доминирующих звуковых сигналов в указанных сигналах каналов, умножение указанного вектора последовательностей коэффициентов HOA c(t) на матрицу смешивания Α, при этом евклидова норма матрицы смешивания Α не больше, чем «1», причем матрица смешивания Α представляет линейную комбинацию последовательностей коэффициентов указанного нормализованного представления кадра данных HOA;

b) для представления компонента окружающей среды c_AMB(t) в указанных сигналах каналов, вычитание указанных доминирующих звуковых сигналов из указанного нормализованного представления кадра данных HOA, и выбор по меньшей мере части из последовательностей коэффициентов указанного компонента окружающей среды c_AMB(t), причем ||c_AMB(t)||₂ ² ≤ ||c(t)||₂ ², и преобразование результирующего минимального компонента окружающей среды c_AMB,MIN(t) путем вычисления w_MIN(t) = Ψ^-1 _MIN · c_AMB,MIN(t), где

||Ψ^-1 _MIN||₂ < 1, и Ψ_MIN – модовая матрица для указанного минимального компонента окружающей среды c_AMB,MIN(t);

c) выбор части указанных последовательностей коэффициентов HOA c(t), причем выбранные последовательности коэффициентов связаны с последовательностями коэффициентов компонента окружающей среды HOA, к которым применено пространственное преобразование, и минимальный порядок N_MIN, описывающий число указанных выбранных последовательностей коэффициентов, равен N_MIN ≤ 9;

- средства, которые задают указанное наименьшее целое число β_e битов, требуемое для представления указанных недифференцируемых коэффициентов усиления для указанных сигналов каналов ,

Где , N – порядок, N_MAX – максимальный порядок, представляющий интерес, – направления указанных виртуальных громкоговорителей, O = (N + 1)² – число последовательностей коэффициентов HOA, и K – отношение между квадратом евклидовой нормы ||Ψ||₂ ² указанной модовой матрицы и O.

Краткое описание чертежей

Примеры вариантов осуществления изобретения описаны со ссылками на прилагаемые чертежи, на которых показаны:

на фиг. 1 приведен компрессор на основе HOA;

на фиг. 2 приведен декомпрессор на основе HOA;

на фиг. 3 приведены значения масштабных коэффициентов K для виртуальных направлений Ωj^(N), 1 ≤ j ≤ O, для порядков HOA N = 1, ... ,29;

на фиг. 4 приведены евклидовы нормы обратных модовых матриц Ψ^-1 для виртуальных направлений Ω_MIN,d, d = 1, ... , O_MIN для порядков HOA N_MIN = 1, ... ,9;

на фиг. 5 приведено определение максимально допустимых амплитуд γ_dB сигналов виртуальных громкоговорителей в положениях Ωj^(N), 1 ≤ j < O, где O = (N + 1)²;

на фиг. 6 приведена сферическая система координат.

Описание вариантов осуществления

Даже если явно не описано, следующие варианты осуществления могут быть использованы в любой комбинации или субкомбинации.

В дальнейшем представлен принцип сжатия и декомпрессии HOA, чтобы представить более подробный контекст, в котором возникает вышеупомянутая проблема. Основой для данного представления является обработка, описанная в документе касательно MPEG-H 3D аудио стандарта ISO/IEC JTC1/SC29/WG11 N14264, см. также EP 2665208 A1, EP 2800401 A1 и EP 2743922 A1. В документе N14264 выражение «компонент направления» распространяется на «доминирующий звуковой компонент». Что касается компонента направления, предполагается, что доминирующий звуковой компонент частично представлен направленными сигналами, что означает монофонические сигналы c соответствующим направлением, из которого, как предполагается, они воздействуют на слушателя, вместе с некоторыми расчетными параметрами для расчета частей исходного представления HOA из направленных сигналов. Кроме того, предполагается, что доминирующий звуковой компонент представлен «векторными сигналами», что означает монофонические сигналы с соответствующим вектором, который определяет распределение по направлениям векторных сигналов.

Сжатие HOA

Общая архитектура компрессора на основе HOA, описанная в документе EP 2800401 A1, показана на фиг. 1. Он имеет часть пространственного кодирования HOA, изображенную на фиг. 1A, и часть перцепционного кодирования и часть кодирования источника, изображенную на фиг. 1B. Пространственный кодер HOA создает первое сжатое представление HOA, состоящее из I сигналов, вместе с побочной информацией, описывающей то, каким образом создать их представление HOA. В кодерах источника перцепционной и побочной информации I сигналов являются перцепционно кодированными, и побочная информация подвергается кодированию источника перед мультиплексированием двух кодированных представлений.

Пространственное кодирование HOA

На первом этапе текущий k-й кадр C(k) исходного представления HOA вводят на этапе или стадии 11 оценочной обработки направления и вектора, который предполагает создание наборов последовательностей M_DIR(k) и M_VEC(k). Набор последовательностей M_DIR(k) состоит из последовательностей, первый элемент которых обозначает индекс направленного сигнала, а второй элемент обозначает соответствующее квантованное направление. Набор последовательностей M_VEC(k) состоит из последовательностей, первый элемент которых обозначает индекс векторного сигнала, а второй элемент обозначает вектор, определяющий распределение по направлениям сигналов, т. е. то, каким образом вычисляется представление HOA векторного сигнала.

Используя оба набора последовательностей M_DIR(k) и M_VEC(k), начальный кадр HOA C(k) разлагается на этапе или стадии 12 декомпрессии HOA в кадр X_PS(k – 1) всех доминирующих звуковых (т. е. на базе направления и вектора) сигналов, и кадр C_AMB(k – 1) компонента окружающей среды HOA. Следует отметить задержку одного кадра, которая происходит вследствие обработки с наложением-добавлением, чтобы избежать блокирующих артефактов. Кроме того, предполагается, что этап/ступень 12 декомпрессии HOA выводит некоторые расчетные параметры ζ(k – 1), описывающие, каким образом рассчитывать части исходного представления HOA из направленных сигналов, чтобы обогатить доминирующий звуковой компонент HOA. Дополнительно, предполагается, что должен быть создан вектор назначения цели v_A,T(k – 1), содержащий информацию о распределении доминирующих звуковых сигналов, которые были определены на этапе или ступени 12 обработки с разложением HOA, для I доступных каналов. Находящиеся под воздействием каналы могут считаться занятыми, имеется в виду, что они недоступны для передачи каких-либо последовательностей коэффициентов компонента окружающей среды HOA в соответствующем временном кадре.

На этапе или ступени 13 обработки с изменением компонента окружающей среды кадр C_AMB(k – 1) компонента окружающей среды HOA изменяется в соответствии с информацией, представленной вектором назначения цели v_A,T(k – 1). В частности, определяется, какие последовательности коэффициентов компонента окружающей среды HOA должны быть переданы в данных I каналах, в зависимости (среди других аспектов) от информации (содержащейся в векторе назначения цели v_A,T(k – 1), о том, какие каналы являются доступными и еще не заняты доминирующими звуковыми сигналами. Кроме того, плавное увеличение и плавное уменьшение последовательностей коэффициентов выполняется, если показатели выбранных последовательностей коэффициентов изменяются между последовательными кадрами.

Кроме того, предполагается, что первые последовательности коэффициентов O_MIN компонента окружающей среды HOA C_AMB(k – 2) всегда выбирают так, чтобы они были перцепционно кодированными и переданными, где O_MIN = (N_MIN + 1)² с N_MIN ≤ N, как правило, меньшего порядка, чем в исходном представлении HOA. Чтобы декоррелировать эти последовательности коэффициентов HOA, они могут быть преобразованы на этапе/ступени 13 в направленные сигналы (т. е. обобщенная функция планарной волны), падающие из некоторых предопределенных направлений Ω_MIN,d, d = 1, … , O_MIN.

Вместе с измененным компонентом окружающей среды HOA C_M,A(k – 1) временной расчетный измененный компонент окружающей среды HOA C_P,M,A(k – 1) вычисляют на этапе/ступени 13 и используют на этапах или ступенях 15, 151 обработки регулятора усиления, чтобы обеспечить рациональный предварительный просмотр, причем информация об изменении компонента окружающей среды HOA непосредственно связана с распределением всех возможных типов сигналов по доступным каналам на этапе или ступени 14 распределения каналов. Предполагается, что конечная информация об этом распределении содержится в конечном векторе назначения v_A(k – 2). Для вычисления этого вектора на этапе/ступени 13, используют информацию, содержащуюся в векторе назначения цели v_A,T(k – 1).

Распределение каналов на этапе/ступени 14 устанавливает с помощью информации, представляемой вектором назначения v_A(k – 2), соответствующих сигналов, содержащихся в кадре X_PS(k — 2), и содержащихся в кадре C_M,A(k — 2) для I доступных каналов, дающих кадры сигналов y_i(k – 2), i = 1, ... , I. Кроме того, соответствующие сигналы, содержащиеся в кадре X_PS(k – 1) и в кадре C_P,AMB(k – 1), также распределяются по I доступным каналам, давая расчетные кадры сигналов y_P,i(k – 1), i = 1, ... , I.

Каждый из кадров сигналов y_i(k – 2), i = 1, ... , I, наконец, обрабатывается регулятором усиления 15, 151, давая в результате показатели e_i(k – 2) и флаги исключения β_i(k – 2), i = 1, ... , I, а в сигналах z_i(k - 2), i = 1, ... , I, в которых усиление сигнала является плавно изменяемым, таким образом, чтобы достичь диапазона значений, который подходит для этапов или ступеней 16 перцепционного кодирующего устройства. Выходной сигнал этапов/ступеней 16 соответствует кодированным кадрам сигналов , i = 1, ... , I.

Расчетные кадры сигналов y_P,i(k – 1), i = 1, ... , I обеспечивают вид предварительного просмотра, чтобы избежать резких изменений усиления между последовательными блоками. Побочные информационные данные M_DIR(k – 1), M_VEC(k – 1), e_i(k – 2), β_i(k – 2), ζ(k – 1) и v_A(k – 2) являются источником, кодируемым на этапе или ступени 17 кодера источника побочной информации, дающим в результате кодированный кадр побочной информации . В мультиплексоре 18 кодированные сигналы кадра (k – 2) и кодированные данные побочной информации для этого кадра объединяются, давая в результате выходной кадр .

Предполагается, что в пространственном декодере HOA изменения усиления на этапах/ступенях 15, 151 возвращаются за счет использования побочной информации регулятора усиления, состоящей из показателей e_i(k – 2) и флагов исключения β_i(k – 2), i = 1, ... , I.

Декомпрессия HOA

Общая архитектура декомпрессора на основе HOA, описанная в документе EP 2800401 A1, показана на фиг. 2. Он состоит из аналогов компонентов компрессора на основе HOA, которые расположены в обратном порядке и включают в себя часть перцепционного декодирования и часть декодирования источника, изображенную на фиг. 2A и часть пространственного декодирования HOA, изображенную на фиг. 2B.

В части перцепционного декодирования и части декодирования источника (представляющей декодер источника перцепционной и побочной информации) этап или ступень 21 демультиплексирования принимает входной кадр из потока битов и предоставляет перцепционное кодированное представление , i = 1, ... , I для I сигналов и кодированных данных побочной информации , описывающее, каким образом создавать их представление HOA. Сигналы перцепционно декодируются на этапе или ступени 22 перцепционного декодера, давая в результате декодированные сигналы , i = 1, ... , I. Кодированные данные побочной информации декодируются на этапе или ступени 23 декодера источника побочной информации, давая в результате наборы данных M_DIR(k + 1), M_VEC(k + 1), показатели e_i(k), флаги исключения β_i(k), расчетные параметры ζ(k + 1) и вектор назначения v_AMB,ASSIGN(k). Относительно разницы между v_A и v_AMB,ASSIGN, см. вышеупомянутый документ N14264 касательно MPEG.

Пространственное декодирование HOA

В части пространственного декодирования HOA каждый из перцепционно декодированных сигналов , i = 1, ... , I, является входным на этапе или ступени 24, 241 инверсной обработки регулятора усиления вместе со связанным с ним показателем коррекции усиления e_i(k) и флагом исключения коррекции усиления β_i(k). На i-м этапе/ступени инверсной обработки регулятора усиления создается кадр скорректированного сигнала усиления .

Все I кадры скорректированных сигналов усиления , i = 1, ... , I, подаются вместе с вектором назначения v_AMB,ASSIGN(k) и наборами последовательностей M_DIR(k + 1) и M_VEC(k + 1) на этап или ступень 25 перераспределения каналов, см. вышеописанное определение наборов последовательностей M_DIR(k + 1) и M_VEC(k + 1). Вектор назначения v_AMB,ASSIGN(k) состоит из I компонентов, которые показывают для каждого канала передачи, содержит ли он последовательность коэффициентов компонента окружающей среды HOA, и какой из них он содержит. На этапе/ступени 25 перераспределения каналов кадры скорректированных сигналов усиления перераспределяются, чтобы реконструировать кадр всех доминирующих звуковых сигналов (т. е. всех сигналов на базе направления и вектора) и кадр C_I,AMB(k) промежуточного представления компонента окружающей среды HOA. Кроме того, набор J_AMB,ACT(k) показателей последовательностей коэффициентов компонента окружающей среды HOA активен в k-м кадре, и представляются наборы данных J_E(k – 1), J_D(k – 1) и J_U(k – 1) показателей коэффициентов компонента окружающей среды HOA, который должен быть включен, выключен и оставаться активным в (k – 1)-м кадре.

На этапе или ступени 26 синтеза доминирующего звука представление HOA доминирующего компонента звука вычисляется из кадра всех доминирующих звуковых сигналов, использующих набор последовательностей M_DIR(k + 1), набор ζ(k + 1) расчетных параметров, набор последовательностей M_VEC(k + 1) и наборы данных J_E(k – 1), J_D(k – 1) и J_U(k – 1).

На этапе или ступени 27 синтеза окружающей среды компонента окружающей среды HOA кадр создается из кадра C_I,AMB(k) промежуточного представления компонента окружающей среды HOA, используя набор J_AMB,ACT(k) показателей последовательностей коэффициентов компонента окружающей среды HOA, которые активны в k-м кадре. Задержка одного кадра вводится вследствие синхронизации с доминирующим звуковым компонентом HOA. Наконец, на этапе или ступени 28 смешивания HOA компонента окружающей среды HOA кадр и кадр доминирующего звукового компонента HOA налагаются таким образом, чтобы создавать декодированный кадр HOA .

Затем пространственный декодер HOA создает из I сигналов и побочной информации реконструированное представление HOA.

В случае, когда на стороне кодирования компонент окружающей среды HOA был преобразован в направленные сигналы, это преобразование инвертируется на стороне декодера на этапе/ступени 27.

Возможные максимальные коэффициенты усиления сигналов перед этапами/ступенями 15, 151 обработки регулятора усиления в компрессоре на основе HOA в значительной степени зависят от диапазона значений входного представления HOA. Следовательно, вначале определяется значимый диапазон значений для входного представления HOA, с последующим заключением о возможных максимальных коэффициентах усиления сигналов, перед поступлением на этапы/ступени обработки регулятора усиления.

Нормализация входного представления HOA

Для использования обработки согласно изобретению раньше должна проводиться нормализация (полного) входного сигнала представления HOA. Для сжатия HOA выполняется обработка по кадрам, где k-й кадр C(k) исходного входного представления HOA определяется по вектору c(t) непрерывных во времени последовательностей коэффициентов HOA, определенных в уравнении (54) в разделе Основы технологии Ambisonics высшего порядка, как

(1)

где k обозначает индекс кадра, L протяженность кадра (в выборках), O = (N + l)² число последовательностей коэффициентов HOA и T_s показывает период дискретизации.

Как указано в документе EP 2824661 A1, значащая нормализация представления HOA, рассматривая с практической точки зрения, не достигается путем наложения ограничений на диапазон значений отдельных последовательностей HOA коэффициентов c_n ^m(t), поскольку эти функции временной области не являются сигналами, которые действительно воспроизводятся громкоговорителями после восстановления. Вместо того, более удобно учитывать «эквивалентное представление пространственной области», которое получают при восстановлении представления HOA в O сигналах виртуальных громкоговорителей w_j(t), 1 ≤ j ≤ O. Предполагается, что соответствующие положения виртуальных громкоговорителей выражаются посредством сферической системы координат, где считается, что каждое положение лежит на единичной сфере и имеет радиус «1». Следовательно, положения могут быть эквивалентно выражены направлениями, зависимыми от порядка Ω_j ^(N) = (θ_j ^(N), φ_j ^(N)), 1 ≤ j ≤ O, где θ_j ^(N) и φ_j ^(N) обозначают углы наклона и азимуты, соответственно (см. также фиг. 6 и ее описание для определения сферической системы координат). Эти направления должны быть распределены по единичной сфере как можно равномернее, см., например, технический отчет J. Fliege, U. Maier, "A two-stage approach for computing cubature formulae for the sphere", Technical report, Fachbereich Mathematik, University of Dortmund, 1999. Число узлов находится по ссылке http://www.mathematik.uni-dortmund.de/lsx/research/projects /fliege/nodes/nodes.html для вычисления конкретных направлений. Эти положения, главным образом, зависят от вида определения «однородного распределения по сфере» и, следовательно, неоднозначны.

Преимущество определения диапазонов значений для сигналов виртуальных громкоговорителей перед определением диапазонов значений для последовательностей коэффициентов HOA заключается в том, что диапазон значений для первого может быть установлен интуитивно равным интервалу [–1,1[, как в случае обычных сигналов громкоговорителей, предполагающих представление PCM. Это ведет к пространственно однородно распределенной ошибке квантования, таким образом, что преимущественно квантование применяют в области, релевантной в отношении реального прослушивания. Важным аспектом в данном контексте является то, что число битов на выборку может быть выбрано таким же низким, каким оно обычно является для обычных сигналов громкоговорителей, т. е. 16, что повышает эффективность по сравнению с прямым квантованием последовательностей коэффициентов HOA, где обычно требуется большее число битов (например, 24 или даже 32) на выборку.

Для подробного описания процесса нормализации в пространственной области, все сигналы виртуальных громкоговорителей суммируются в векторе как w(t):= [w₁(t) ... w_O(t)]^T, (2)

где (·)^T обозначает преобразование. Обозначая модовую матрицу по виртуальным направлениям Ω_j ^(N), 1 ≤ j ≤ O, как Ψ, которая определяется в виде (3)

с , （4）

процесс восстановления может быть выражен как умножение матриц w(t) = (Ψ)^–1 · c(t). (5)

Используя эти определения, обоснованным требованием к сигналам виртуальных громкоговорителей является:

(6)

что означает, что амплитуда каждого сигнала виртуального громкоговорителя должна лежать в диапазоне [–1,1[. Мгновение времени t представлено индексом выборки l и периодом выборки T_S для значений выборки указанных кадров данных HOA.

Полная мощность сигналов громкоговорителей, следовательно, удовлетворяет условию

(7)

Восстановление и нормализация представления кадра данных HOA выполняется перед вводом C(k) по фиг. 1A.

Последствия для диапазона значений сигнала перед регулятором усиления

Предполагая, что нормализация входного представления HOA выполняется в соответствии с описанием, приведенным в разделе Нормализация входного представления HOA, диапазон значений сигналов y_i, i = 1, ... , I, которые вводятся в блок 15, 151 обработки регулятора усиления в компрессоре на основе HOA, учитывается в дальнейшем. Эти сигналы создаются путем распределения по доступным I каналам одной или более последовательностей коэффициентов HOA, или доминирующих звуковых сигналов x_PS,d, d = l, ... , D, и/или конкретных последовательностей коэффициентов компонента окружающей среды HOA c_AMB,n, n = l, …, O, к части которых применяется пространственное преобразование. Следовательно, необходимо анализировать возможный диапазон значений данных упомянутых различных типов сигналов при допущении нормализации в уравнении (6). Поскольку все виды сигналов косвенно вычисляют из исходных последовательностей коэффициентов HOA, рассматриваются их возможные диапазоны значений.

Случай, в котором только одна или более последовательностей коэффициентов HOA содержится в I каналах, не изображен на фиг. 1A и фиг. 2B, т. е. в таком случае разложения HOA изменение компонента окружающей среды и соответствующие блоки синтеза не требуются.

Последствия для диапазона значений представления HOA

Непрерывное во времени представление HOA получают из сигналов виртуальных громкоговорителей по уравнению c(t) = Ψw(t), (8)

которое является обратной операцией относительно уравнения (5).

Следовательно, полная мощность последовательностей коэффициентов HOA связана следующим образом:

, (9)

используя уравнения (8) и (7).

При допущении N3D нормализации функций сферических гармоник, квадрат евклидовой нормы модовой матрицы может быть записан в виде ||Ψ||₂ ² = K · O (10a)

где (10b)

обозначает отношение между квадратом евклидовой нормы модовой матрицы и числом O последовательностей коэффициентов HOA. Данное отношение зависит от конкретного порядка N HOA и конкретных направлений виртуальных громкоговорителей Ω_j ^(N), 1 ≤ j ≤ O, которые могут быть выражены путем дополнения к отношению соответствующего списка параметров следующим образом:

K = K(N, Ω₁ ^(N) _{, …} Ω_O ^(N)). (10c)

На фиг. 3 показаны значения K для виртуальных направлений Ω_j ^(N), 1 ≤ j ≤ O, в соответствии с вышеупомянутой статьей Fliege и др. для порядков HOA N = 1, ..., 29.

Объединение всех предыдущих аргументов и соображений дает верхнюю границу для величины последовательностей коэффициентов HOA следующим образом:

(11)

где первое неравенство вытекает непосредственно из определений нормы.

Важно заметить, что условие в уравнении (6) заключает в себе условие в уравнении (11), но обратное не имеет места, т. е. уравнение (11) не заключает в себе уравнение (6).

Другим важным аспектом является то, что при условии почти равномерно распределенных положений виртуальных громкоговорителей векторы-столбцы модовой матрицы Ψ, которые представляют векторы мод по положениям виртуальных громкоговорителей, являются почти ортогональными друг к другу и имеют евклидову норму N + 1 каждого. Данное свойство означает, что пространственное преобразование почти сохраняет евклидову норму, за исключением постоянного множителя, т. е.

. (12)

Истинная норма ||c(lT_S)||₂ тем больше отличается от приближения в уравнении (12), чем больше нарушается допущение об ортогональности векторов мод.

Последствия для диапазона значений доминирующих звуковых сигналов

Оба типа доминирующих звуковых сигналов (направленных и векторных) имеют то общее, что их вклад в представление HOA описывается одним вектором с евклидовой нормой N + 1, т. е. ||v₁||₂ = N + 1. (13)

В случае направленного сигнала этот вектор соответствует вектору моды по определенному направлению источника сигнала Ω_S,1, т. е.

v₁ = S(Ω_S,1) (14)

(15)

Данный вектор описывает с помощью представления HOA направленный луч в направлении источника сигнала Ω_S,1. В случае векторных сигналов, вектор v₁ не ограничен тем, чтобы быть вектором моды по какому-либо направлению, и, следовательно, может описывать более общее распределение по направлениям монофонического векторного сигнала.

В дальнейшем рассматривается общий случай D доминирующих звуковых сигналов x_d(t), d = 1, ... , D, которые могут быть заключены в векторе x(t) в соответствии с

x(t) = [x₁(t) x₂ (t) ... x_D(t)]^T. (16)

Данные сигналы должны определяться на основе матрицы

V: = [v₁ v₂ ... v_D] (17)

которая образована всеми векторами v_d, d = l, ... , D, представляющими распределение по направлениям монофонических доминирующих сигналов x_d(t), d = 1, ..., D.

Для получения значимого извлечения доминирующих звуковых сигналов x(t) сформулированы следующие ограничения:

a) Каждый доминирующий звуковой сигнал получают как линейную комбинацию последовательностей коэффициентов исходного представления HOA, т. е.

x(t)=A · c(t), (18)

где обозначает матрицу смешивания.

b) Матрица смешивания Α должна выбираться таким образом, чтобы ее евклидова норма не превышала значения «1», т. е.

, (19)

и таким образом, чтобы квадрат евклидовой нормы (или эквивалентная мощность) остатка между исходным представлением HOA и представлением доминирующих звуковых сигналов был не больше, чем квадрат евклидовой нормы (или эквивалентная мощность) исходного представления HOA, т. е.

. (20)

При вводе уравнения (18) в уравнение (20) видно, что уравнение (20) эквивалентно ограничению

, (21)

где I обозначает единичную матрицу.

Из ограничений в уравнении (18) и (19) и из совместимости евклидовой матрицы и векторных норм, верхнюю границу для амплитуд доминирующих звуковых сигналов находят с помощью уравнений

(22)

(23)

, (24)

используя уравнения (18), (19) и (11). Следовательно, гарантируется, что доминирующие звуковые сигналы остаются в том же диапазоне, что и исходные последовательности коэффициентов HOA (сравните с уравнением (11)), т. е. (25)

Пример выбора матрицы смешивания

Пример того, как определить матрицу смешивания, удовлетворяющую ограничению (20), получают путем вычисления доминирующих звуковых сигналов таким образом, что евклидова норма остатка после извлечения сведена к минимуму, т. е.

x(t) = argmin_x(t)||V • x(t) – c(t) ||₂. (26)

Решение для минимизации проблемы в уравнении (26) дано с помощью x(t) = V⁺ + c(t), (27)

где (•)⁺ показывает псевдоинверсию Мура-Пенроуза. Из сравнения уравнения (27) с уравнением (18) следует, что, в данном случае, матрица смешивания равна псевдоинверсии Мура-Пенроуза матрицы V, т. е. A = V⁺. Тем не менее, матрица V по-прежнему должна выбираться так, чтобы удовлетворять ограничению (19), т. е. . (28)

В случае только направленных сигналов, когда матрица V представляет собой модовую матрицу по некоторым направлениям сигналов источника

Ω_S,d, d = 1, ... , D, т. е. V = [S(Ω_S,1) S(Ω_S,2) ... S(Ω_S,D)], (29)

ограничение (28) может быть удовлетворено при выборе направлений сигналов источника Ω_S,d, d = 1, ..., D, таким образом, чтобы расстояние между двумя соседними направлениями было не слишком малым.

Последствия для диапазона значений последовательностей коэффициентов компонента окружающей среды HOA

Компонент окружающей среды HOA представляет собой компонент, вычисленный путем вычитания из исходного представления HOA представления HOA доминирующих звуковых сигналов, т. е. c_AMB(t) = c(t) – V • x(t). (30)

Если вектор доминирующих звуковых сигналов x(t) определен в соответствии с критерием (20), можно сделать вывод, что

(31)

(32)

(33)

. (34)

Диапазон значений пространственно преобразованных последовательностей коэффициентов компонента окружающей среды HOA

Дополнительный аспект обработки сжатия HOA, предложенный в документе EP 2743922 A1 и в вышеупомянутом документе MPEG N14264, заключается в том, что последовательности коэффициентов O_MIN и компонента окружающей среды HOA всегда выбираются так, чтобы быть распределенными по каналам передачи, где O_MIN = (N_MIN + 1)² с N_MIN ≤ N, как правило, меньшего порядка, чем в исходном представлении HOA. Чтобы декоррелировать эти последовательности коэффициентов HOA, они могут быть преобразованы в сигналы виртуальных громкоговорителей, падающие из некоторых предопределенных направлений Ω_MIN,d, d = 1, … , O_MIN (по аналогии с принципами, описанными в разделе Нормализация входного представления HOA).

Определение вектора всех последовательностей коэффициентов компонента окружающей среды HOA с порядковым индексом n ≤ N_MIN по c_AMB,MIN(t) и модовой матрицей по виртуальным направлениям Ω_MIN,d, d = 1, … , O_MIN, на Ψ_MIN, вектор всех сигналов виртуальных громкоговорителей (определяемых по) w_MIN(t), получают из уравнения

(35)

Следовательно, используя совместимость евклидовой матрицы и векторных норм,

(36)

(37)

(38)

В вышеупомянутом документе N14264 касательно MPEG виртуальные направления Ω_MIN,d, d = 1, … , O_MIN, выбирают в соответствии с вышеупомянутой статьей Fliege и др. Соответствующие евклидовы нормы инверсии модовых матриц Ψ_MIN показаны на фиг. 4 для порядков N_MIN = 1, … , 9. Показано, что для N_MIN = 1, … , 9. (39).

Однако, это, в общем, не действует для N_MIN > 9, где значения обычно больше, чем «1». Тем не менее, по меньшей мере для 1 ≤ N_MIN ≤ 9 амплитуды сигналов виртуальных громкоговорителей связаны по уравнению

(40)

Путем ограничения входного представления HOA для удовлетворения условию (6), которое требует, чтобы амплитуды сигналов виртуальных громкоговорителей из данного представления HOA не превышали значения «1», может быть гарантировано, что эти амплитуды сигналов перед регулятором усиления не будут превышать значения (см. уравнения (25), (34) и (40)) при следующих условиях:

a) Вектор всех доминирующих звуковых сигналов x(t) вычисляют в соответствии с уравнением/ограничениями (18), (19) и (20);

b) Минимальный порядок N_MIN, который определяет число O_MIN первых последовательностей коэффициентов компонента окружающей среды HOA, к которым применяется пространственное преобразование, должен быть меньше, чем «9», при использовании в качестве положений виртуальных громкоговорителей, которые определены в вышеупомянутой статье Fliege и др.

Далее, можно сделать вывод, что амплитуды сигналов перед регулятором усиления не будут превышать значения для любого порядка N вплоть до максимального порядка N_MAX, представляющего интерес, т. е. 1 ≤ N ≤ N_MAX, где . (41a)

В частности, исходя из фиг. 3, можно сделать вывод, что если направления виртуальных громкоговорителей Ω_j ^(N), 1 ≤ j ≤ O, для исходного пространственного преобразования, как предполагается, выбраны в соответствии с распределением по статье Fliege и др., и если дополнительно максимальный порядок, представляющий интерес, предполагается равным N_MAX = 29 (как, например, в документе N14264 касательно MPEG), то амплитуды сигналов перед регулятором усиления не будут превышать значения 1,5 O, поскольку < 1,5 в данном особом случае. Т. е. можно выбрать = 1,5.

K_MAX зависит от максимального порядка, представляющего интерес, N_MAX и направлений виртуальных громкоговорителей Ω_j ^(N), 1 ≤ j ≤ O, которые могут быть выражены как

. (41b)

Следовательно, минимальный коэффициент усиления, применяемый с помощью регулятора усиления, для гарантии, что сигналы перед перцепционным кодированием лежат в пределах интервала [–1.1], задается посредством , где

. (41c)

В случае, когда амплитуды сигналов перед регулятором усиления слишком малы, в документе MPEG N14264 предлагается, что возможно их плавное усиление с коэффициентом до , где e_MAX ≥ 0 передается в качестве побочной информации в кодированном представлении HOA.

Таким образом, каждый показатель по основанию «2», описывающий в блоке доступа полное абсолютное изменение амплитуды измененного сигнала, вызванное блоком обработки регулятора усиления, от первого до текущего кадра, может принимать любое целое значение в пределах интервала [e_MIN, e_MAX]. Следовательно, (наименьшее целое) число β_e битов, требуемое для кодирования, задано уравнением

. (42)

В случае, когда амплитуды сигналов перед регулятором усиления не слишком малые, уравнение (42) может быть упрощено:

. (42a)

Данное число битов β_e может быть вычислено на входе этапов/ступеней 15, ... , 151 регулятора усиления.

Использование этого числа β_e битов для показателя гарантирует, что все возможные абсолютные изменения амплитуды, вызванные блоками 15, ... , 151 обработки регулятора усиления компрессора на основе HOA, могут быть зарегистрированы, позволяя начинать декомпрессию в некоторых заранее определенных точках входа в пределах сжатого представления.

При начале декомпрессии сжатого представления HOA в декомпрессоре на основе HOA недифференцируемые значения коэффициентов усиления, представляющие полные абсолютные изменения амплитуды, присвоенные побочной информации для некоторых кадров данных, и принимаемые от демультиплексора 21 вне принятого потока данных , используются на этапах или ступенях 24,..., 241 обратного регулятора усиления для применения соответствующего регулятора усиления, в режиме, противоположном обработке, которая выполнялась на этапах/ступенях 15,..., 151 регулятора усиления.

Дополнительный вариант осуществления

При реализации конкретной системы компрессии/декомпрессии HOA, как описано в разделах Компрессия HOA, Пространственное кодирование HOA, Декомпрессия HOA и Пространственное декодирование HOA, число β_e битов для кодирования показателя должно быть установлено в соответствии с уравнением (42), в зависимости от масштабного коэффициента K_MAX.DES, который сам зависит от желаемого максимального порядка N_MAX.DES представления HOA, подлежащего сжатию, и определенных направлений виртуальных громкоговорителей , 1 ≤ N ≤ N_MAX.

Например, предполагая, что N_MAX,DES = 29, и выбирая направления виртуальных громкоговорителей в соответствии со статьей Fliege и др., обоснованным выбором будет . В этой ситуации правильное сжатие гарантировано для представлений HOA с порядковым номером N при 1 ≤N ≤ N_MAX, которые нормализованы в соответствии с разделом Нормализация входного представления HOA, используя те же направления виртуальных громкоговорителей . Однако, эта гарантия не может быть предоставлена в случае представления HOA, которое также (по соображениям эффективности) эквивалентно представлено сигналами виртуальных громкоговорителей в формате PCM, но в котором направления , 1 ≤ j ≤ O, виртуальных громкоговорителей выбраны так, чтобы отличаться от направлений виртуальных громкоговорителей , предполагаемых на этапе проектирования системы.

Вследствие такого отличающегося выбора положений виртуальных громкоговорителей, даже если амплитуды этих сигналов виртуальных громкоговорителей лежат в пределах интервала [1,1[, больше не может быть гарантировано, что амплитуды сигналов перед регулятором усиления не будут превышать значения . И, следовательно, невозможно гарантировать, что это представление HOA имеет соответствующую нормализацию для сжатия, в соответствии с обработкой, описанной в документе MPEG N14264.

В данной ситуации предпочтительно иметь систему, которая обеспечивает, основываясь на знании положений виртуальных громкоговорителей, максимально допустимую амплитуду сигналов виртуальных громкоговорителей, чтобы гарантировать соответствующее представление HOA, пригодное для сжатия в соответствии с обработкой, описанной в документе N14264 касательно MPEG. На фиг. 5 проиллюстрирована такая система. Она принимает в качестве входных данных положения виртуальных громкоговорителей , 1 ≤ j ≤ O, где O = (N + 1)² при , и создает в качестве выходных данных максимально допустимую амплитуду γ_dB (измеряемую в децибелах) сигналов виртуальных громкоговорителей. На этапе или ступени 51 вычисляется модовая матрица Ψ по положениям виртуальных громкоговорителей, в соответствии с уравнением (3). На следующем этапе или ступени 52 вычисляется евклидова норма ||Ψ||₂ модовой матрицы. На третьем этапе или ступени 53 вычисляется амплитуда γ как минимум «1» и отношение между произведением квадратного корня из числа положений виртуальных громкоговорителей и K_MAX,DES, и евклидовой нормой модовой матрицы, т. е.,

. (43)

Значение в децибелах получено по формуле . (44)

Для пояснения: из вывода вышеуказанного видно, что, если величина последовательностей коэффициентов HOA не превышает значения , т. е., если

, (45)

все сигналы перед блоками 15, 151 обработки регулятора усиления будут, соответственно, не превышать этого значения, что является требованием к соответствующему сжатию HOA.

Из уравнения (9) найдено, что величина последовательностей коэффициентов HOA связана отношением

. (46)

Следовательно, если значение γ установлено в соответствии с уравнением (43), и сигналы виртуальных громкоговорителей в формате PCM удовлетворяют отношению

, (47)

из уравнения (7) следует, что (48)

и что требование (45) удовлетворено.

Т. е. максимальное значение величины «1» в уравнении (6) заменено максимальным значением величины γ в уравнении (47).

Основы технологии Ambisonics высшего порядка

Технология Ambisonics высшего порядка (Higher Order Ambisonics, HOA) основана на описании звукового поля в пределах компактной области, представляющей интерес, которая считается свободной от источников звука. В этом случае пространственно-временное поведение звукового давления p(t,x) при времени t и положении x в пределах области, представляющей интерес, физически полностью определяется уравнением однородной волны. В дальнейшем предполагается сферическая система координат, как показано на фиг. 6. В используемой системе координат ось x указывает на фронтальное положение, ось y указывает влево, а ось z указывает вверх. Положение в пространстве x = (r, θ, φ)^T представлено радиусом r > 0 (т. е. расстоянием до начала координат), углом наклона , измеренным от полярной оси z, и азимутальным углом формула, измеренным против часовой стрелки в плоскости x – y от оси x. Кроме того, (·)^T обозначает преобразование.

Затем, можно показать, согласно учебнику «Fourier Acoustics», что преобразование Фурье звукового давления по времени, обозначенное F_t(·), т. е.

(49)

при ω, обозначающей угловую частоту, и i, указывающей мнимую единицу, может быть развернуто в ряд сферических гармоник в соответствии с

, (50)

где c_s обозначает скорость звука, а k обозначает угловой индекс моды, который связан с угловой частотой ω по формуле . Кроме того, j_n(·) обозначает сферические функции Бесселя первого рода, а обозначает вещественные сферические гармоники с порядком n и степенью m, которые определены в разделе Определение вещественных сферических гармоник. Коэффициенты расширения зависят только от углового индекса моды k. Следует заметить, что неявно предполагается, что звуковое давление является пространственно ограниченным по полосе частот. Таким образом, ряд усечен по порядковому индексу n при верхнем пределе N, который называется порядком представления HOA.

Если звуковое поле представлено в виде суперпозиции бесконечного числа гармонических плоских волн с различными угловыми частотами ω, прибывающих со всех возможных направлений, указанных последовательностью углов (θ,φ), может быть показано (см. B. Rafaely, "Plane-wave decomposition of the sound field on a sphere by spherical convolution", J. Acoust. Soc. Am., vol.4(116), pages 2149-2157, October 2004), что соответствующая комплексная функция амплитуды плоской волны c(ω,θ,φ) может быть выражена следующим разложением по сферическим гармоникам

, (51)

где коэффициенты разложения связаны с коэффициентами разложения как . (52)

Предполагая, что индивидуальные коэффициенты являются функциями угловой частоты ω, применение обратного преобразования Фурье (обозначенного через F^–1(·)), дает функции временной области

(53)

для каждого порядка n и степени m. Эти функции временной области здесь называют непрерывными во времени последовательностями коэффициентов HOA, которые могут быть заключены в одном векторе c(t) в виде

(54)

Индекс положения последовательности коэффициентов HOA в векторе c(t) дан в виде n(n + 1) + 1 + m. Полное число элементов в векторе c(t) дано в виде O = (N + 1)².

Конечный формат Ambisonics дает квантованный вариант c(t), использующий частоту дискретизации f_S как

(55)

где T_S= 1/f_S обозначает период дискретизации. Элементы c(lT_S) называют дискретными по времени последовательностями коэффициентов HOA, которые, как может быть показано, всегда являются вещественными. Это свойство также справедливо для непрерывных во времени вариантов .

Определение вещественных сферических гармоник

Вещественные сферические гармоники (предполагающие SN3D нормализацию в соответствии с диссертацией J. Daniel, "Representation de champs acoustiques, application a la transmission et a la reproduction de scenes sonores complexes dans un contexte multimedia", PhD thesis, Universite Paris, 6, 2001, chapter 3.1), даны в виде

(56)

с

(57)

Присоединенные функции Лежандра P_n,m(x) определяются как

(58)

с полиномом Лежандра P_n(x) и, в отличие от учебника E.G. Williams, "Fourier Acoustics", vol. 93 of Applied Mathematical Sciences, Academic Press, 1999, не содержат фазовой составляющей Кондона-Шортли (–1)^m.

Обработка согласно изобретению может быть выполнена с помощью одного процессора или электронной схемы или с помощью нескольких процессоров или электронных схем, работающих параллельно и/или работающих на различных частях обработки согласно изобретению.

Инструкции по эксплуатации процессора или процессоров могут быть сохранены в одном или более запоминающих устройств.

Claims (8)

1. Способ декодирования сжатого звукового представления с помощью воспроизводящей аппаратуры более высокого порядка (НОА) звука или звукового поля, при этом способ включает

прием битового потока, содержащего сжатое представление HOA, при этом битовый поток содержит ряд коэффициентов HOA, соответствующих сжатому представлению HOA, и

декодирование сжатого представления HOA исходя из наименьшего целого числа , при этом наименьшее целое число определяют исходя из ,

N – порядок, – максимальный порядок, представляющий интерес, – направления указанных виртуальных громкоговорителей, – число последовательностей коэффициентов HOA, и – отношение между квадратом евклидовой нормы указанной модовой матрицы и ,

2. Устройство для декодирования сжатого звукового представления с помощью воспроизводящей аппаратуры более высокого порядка (НОА) звука или звукового поля, при этом устройство содержит

процессор, выполненный с возможностью приема битового потока, содержащего сжатое представление HOA, при этом битовый поток содержит ряд коэффициентов HOA, соответствующих сжатому представлению HOA, и процессор дополнительно выполнен с возможностью декодирования сжатого представления HOA исходя из наименьшего целого числа , при этом наименьшее целое число определяют исходя из , , N – порядок, – максимальный порядок, представляющий интерес, – направления указанных виртуальных громкоговорителей, – число последовательностей коэффициентов HOA, и – отношение между квадратом евклидовой нормы указанной модовой матрицы и , где

3. Энергонезависимый машиночитаемый носитель данных, содержащий команды, которые при исполнении процессором выполняют способ по п. 1.

Images