RU2012127554A - Устройство для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования, устройство для обеспечения битового потока, представляющего многоканальный звуковой сигнал, способы, компьютерные программы и битовый поток, предствляющий многоканальный звуковой сигнал посредствам использования параметра линейной комбинации - Google Patents

Abstract

1. Устройство (100; 200) для обеспечения представления сигнала повышающего микширования(130; 230) на основе представления сигнала понижающего микширования(110; 210) и связанной с объектом параметрической информации, которые включаются в представление битового потока(300) звукового содержания, и в зависимости от определенной пользователем матрицы визуализации (144, M); устройство включает:ограничитель искажения (140; 240), формируемый, чтобы получить измененную матрицу визуализации (142; M) посредством использования линейной комбинации определенной пользователем матрицы визуализации(M) и заданной (целевой) матрицы визуализации(M) в зависимости от параметра линейной комбинации (146; g)); ипроцессор сигнала (148; 248), формируемый, чтобы получить представление сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом параметрической информации посредством использования измененной матрицы визуализации;где устройство формируется, чтобы оценить элемент битового потока (306; bsDcuParameter), представляющий параметр линейной комбинации (146; g), чтобы получить параметр линейной комбинации.2. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы получить заданную матрицу визуализации(M) таким образом, чтобы заданная матрица визуализации являлась заданной матрицей визуализации без искажений.3. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы получить измененную матрицу визуализациисогласно:где gобозначает параметр линейной комбинации, значение которого находится в интервале [0,1];обозначает определенную пользователем матрицу визуализации; иобозначает за�

Claims (21)

1. Устройство (100; 200) для обеспечения представления сигнала повышающего микширования(130; 230) на основе представления сигнала понижающего микширования(110; 210) и связанной с объектом параметрической информации, которые включаются в представление битового потока(300) звукового содержания, и в зависимости от определенной пользователем матрицы визуализации (144, M_ren); устройство включает:

ограничитель искажения (140; 240), формируемый, чтобы получить измененную матрицу визуализации (142; M_{ren, lim}) посредством использования линейной комбинации определенной пользователем матрицы визуализации(M_ren) и заданной (целевой) матрицы визуализации(M_{ren, tar}) в зависимости от параметра линейной комбинации (146; g_DCU)); и

процессор сигнала (148; 248), формируемый, чтобы получить представление сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом параметрической информации посредством использования измененной матрицы визуализации;

где устройство формируется, чтобы оценить элемент битового потока (306; bsDcuParameter), представляющий параметр линейной комбинации (146; g_DCU), чтобы получить параметр линейной комбинации.

2. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы получить заданную матрицу визуализации(M_{ren, tar}) таким образом, чтобы заданная матрица визуализации являлась заданной матрицей визуализации без искажений.

3. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы получить измененную матрицу визуализации $$M_{ren,lim}^{l,m}$$

согласно:

$$M_{ren,lim}^{l,m}=\left(1-g_{DCU}\right)M_{ren}^{l,m}+g_{DCU}{M}_{ren,tar}^{l,m}$$

где g_DCU обозначает параметр линейной комбинации, значение которого находится в интервале [0,1];

$$M_{ren}^{l,m}$$

обозначает определенную пользователем матрицу визуализации; и

$$M_{ren,tar}^{l,m}$$

обозначает заданную (целевую) матрицу визуализации.

4. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы получить заданную матрицу визуализации(M_{ren, tar}) таким образом, чтобы заданная матрица визуализации являлась заданной матрицей визуализации, подобной матрице понижающего микширования.

5. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы масштабировать расширенную матрицу понижающего микширования( $$D_{DS}^l$$

), используя скаляр нормализации энергии ( $$\sqrt{N_{DS}^l}|$$

, чтобы получить заданную (целевую) матрицу визуализации(M_{ren, tar}). где расширенная матрица понижающего микширования является расширенной версией матрицы понижающего микширования, один или несколько рядов которой описывают вклады (ответные сообщения) множества сигналов звукового объекта в один или несколько каналов представления сигнала понижающего микширования, расширенной рядами нулевых элементов, таким образом, что несколько рядов расширенной матрицы понижающего микширования идентичны совокупности визуализации, описанной определенной пользователем матрицей визуализации(M_ren).

6. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы получить заданную матрицу визуализации(M_{ren, tar}), таким образом, чтобы заданная матрица визуализации являлась заданной матрицей визуализации с наилучшим усилием.

7. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы получить заданную матрицу визуализации(M_{ren, tar}), таким образом, чтобы заданная матрица визуализации зависела от матрицы понижающего микширования(D) и определенной пользователем матрицы визуализации(M_ren).

8. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы вычислить матрицу(N_DE), включающую значения нормализации энергии индивидуальных каналов для множества выходных звуковых каналов устройства для обеспечения представления сигнала повышающего микширования, таким образом, что значение нормализации энергии для данного выходного звукового канала устройства описывает, по крайней мере, приблизительно, соотношение между суммой значений визуализации энергии, связанных с данным выходным звуковым каналом в определенной пользователем матрице визуализации для множества звуковых объектов и суммой значений понижающего микширования энергии для множества звуковых объектов; и

где ограничитель искажения формируется, чтобы масштабировать ряд значений понижающего микширования, используя значение нормализации энергии каждого индивидуального канала, чтобы получить ряд значений визуализации заданной (целевой) матрицы визуализации(M_{ren, tar}), связанной с данным выходным каналом.

9. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы вычислить матрицу( $$N_{BE}^{l,m}$$

), включающую значения нормализации энергии индивидуальных каналов для множества выходных звуковых каналов согласно:

$$N_{BE}^{l,m}={\left(\frac{{\displaystyle \sum _{j=0}^{N-1}{\left(m_{j,0}^{l,m}\right)}^2+\epsilon }}{{\displaystyle \sum _{j=0}^{N-1}{\left(d_j^l\right)}^2+\epsilon }},\frac{{\displaystyle \sum _{j=0}^{N-1}{\left(m_{j,1}^{l,m}\right)}^2+\epsilon }}{{\displaystyle \sum _{j=0}^{N-1}{\left(d_j^l\right)}^2+\epsilon }}\right)}^T$$

для случая представления одно канального сигнала понижающего микширования и двухканального выходного сигнала устройства; или согласно:

$$N_{BE}^{l,m}={\left(\frac{{\displaystyle \sum _{j=0}^{N-1}{a}_{j,1}^{l,m}{\left(a_{j,1}^{l,m}\right)}^{*}+\epsilon }}{{\displaystyle \sum _{j=0}^{N-1}{\left(d_j^l\right)}^2+\epsilon }},\dots ,\frac{{\displaystyle \sum _{j=0}^{N-1}{a}_{j,2}^{l,m}{\left(a_{j,2}^{l,m}\right)}^{*}+\epsilon }}{{\displaystyle \sum _{j=0}^{N-1}{\left(d_j^l\right)}^2+\epsilon }}\right)}^T$$

для случая представления одноканального сигнала понижающего микширования и бинаурального визуализированного выходного сигнала устройства; или согласно:

$$N_{BE}^{l,m}={\left(\frac{{\displaystyle \sum _{j=0}^{N-1}{\left(m_{j,0}^{l,m}\right)}^2+\epsilon }}{{\displaystyle \sum _{j=0}^{N-1}{\left(d_j^l\right)}^2+\epsilon }},\dots ,\frac{{\displaystyle \sum _{j=0}^{N-1}{\left(m_{j,N_{MPS}-1}^{l,m}\right)}^2+\epsilon }}{{\displaystyle \sum _{j=0}^{N-1}{\left(d_j^l\right)}^2+\epsilon }}\right)}^T$$

для случая представления одноканального сигнала понижающего микширования и выходного сигнала с N_MPS каналами устройства;

где $$m_{j,0}^{l,m}$$

обозначает коэффициенты визуализации определенной пользователем матрицы визуализации( $$M_{ren,lim}^{l,m}$$

), описывающие желательный вклад (ответное сообщение) звукового объекта, имеющего индекс объекта j, в первый выходной звуковой канал устройства;

где $$m_{j,1}^{l,m}$$

обозначает коэффициенты визуализации определенной пользователем матрицы визуализации( $$M_{ren}^{l,m}$$

), описывающие желательный вклад (ответное сообщение) звукового объекта, имеющего индекс объекта j, во второй выходной звуковой канал устройства;

$$a_{j,1}^{l,m}$$

и $$a_{j,2}^{l,m}$$

обозначают коэффициенты визуализации определенной пользователем матрицы визуализации( $$M_{ren,lim}^{l,m}$$

), описывающие желательный вклад (ответное сообщение) звукового объекта, имеющего индекс объекта j, в первый и второй выходной звуковой канал устройства, и учитывающего параметрическую HRTFинформацию.

$$d_j^l$$

обозначает коэффициент понижающего микширования, описывающий вклад(ответное сообщение) звукового объекта, имеющего индекс объекта j, в представление сигнала понижающего микширования; и

ε обозначает аддитивную постоянную, необходимую, чтобы избежать деления на ноль; и

где ограничитель искажения формируется, чтобы вычислить заданную матрицу визуализации[ $$M_{ren,tar}^l$$

] согласно:

$$M_{ren,BE}^l=M_{ren,tar}^l=\sqrt{N_{BE}^l}{D}^l$$

где D^l обозначает матрицу понижающего микширования, включающую коэффициент понижающего микширования d_j.

10. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы вычислить матрицу, описывающую нормализацию энергии индивидуального канала для множества выходных звуковых каналов устройства в зависимости от определенной пользователем матрицы визуализации(M_ren), и матрицы понижающего микширования D; и

где ограничитель искажения формируется, чтобы применить матрицу, описывающую нормализацию энергии индивидуального канала, для получения ряда коэффициентов визуализации заданной (целевой) матрицы визуализации (M_{ren, tar}), связанных с данным выходным звуковым каналом устройства, как линейной комбинации ряда значений понижающего микширования, связанных с различными каналами представления сигнала понижающего микширования.

11. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы вычислить матрицу $$N_{BE}^{l,m}$$

, описывающую нормализацию энергии индивидуального канала для множества выходных звуковых каналов согласно:

$$N_{BE}^{l,m}=M_{ren}^{l,m}{\left(D^l\right)}^{*}{J}^l$$

для случая представления двухканального сигнала понижающего микширования и многоканального выходного звукового сигнала устройства;

где $$M_{ren}^{l,m}$$

обозначает определенную пользователем матрицу визуализации, описывающую определенные пользователем желательные вклады(ответные сообщения) множества выходных звуковых сигналов объекта в многоканальный выходной звуковой сигнал устройства;

D^l обозначает матрицу понижающего микширования, описывающую вклады(ответные сообщения)множества сигналов звукового объекта в представление сигнала понижающего микширования;

$$J^l={\left(D^l{\left(D^l\right)}^{*}\right)}^{-1}$$

; и

где ограничитель искажения формируется, чтобы вычислить заданную (целевую) матрицу визуализации $$M_{ren,tar}^l$$

согласно

$$M_{ren,BE}^l=M_{ren,tar}^l=N_{BE}^l{D}^l$$

.

12. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы вычислить матрицу $$N_{BE}^{l,m}$$

согласно

$$N_{BE}^{l,m}=M_{ren}^{l,m}{\left(D^l\right)}^{*}{J}^l$$

для случая представления двухканального сигнала понижающего микширования и одноканального выходного звукового сигнала устройства, или согласно

$$N_{BE}^{l,m}=A^{l,m}{\left(D^l\right)}^{*}{J}^l$$

для случая представления двухканального сигнала понижающего микширования и бинаурально визуализированного выходного звукового сигнала устройства;

где $$M_{ren}^{l,m}$$

обозначает определенную пользователем матрицу визуализации, описывающую определенные пользователем желательные вклады(ответные сообщения) множества выходных сигналов звукового объекта в выходной сигнал устройства;

D^l обозначает матрицу понижающего микширования, описывающую вклады (ответные сообщения) множества сигналов звукового объекта в представление сигнала понижающего микширования;

A^l,m обозначает матрицу бинауральной визуализации, которая основывается на определенной пользователем матрице визуализации и параметрах связанной с заголовком передаточной функции.

13. Устройство (100; 200) по п.1, где ограничитель искажения формируется, чтобы вычислить скаляр нормализации энергии $$N_{BE}^{l,m}$$

согласно

$$N_{BE}^{l,m}=\frac{{\displaystyle \sum _{j=0}^{N-1}{\left(m_{j,0}^{l,m}\right)}^2+\epsilon }}{{\displaystyle \sum _{j=0}^{N-1}{\left(d_j^l\right)}^2+\epsilon }}$$

,

где $$m_{j,0}^{l,m}$$

обозначает коэффициент визуализации определенной пользователем матрицы визуализации( $$M_{ren}^{l,m}$$

), описывающий желательный вклад (ответное сообщение) звукового объекта, имеющего индекс объекта j, в выходной звуковой сигнал устройства;

d_j обозначает коэффициент понижающего микширования, описывающий вклад(ответное сообщение) звукового объекта, имеющего индекс объекта j, в представление сигнала понижающего микширования; и

ε обозначает аддитивную постоянную, необходимую, чтобы избежать деления на ноль.

14. Устройство (100; 200) по п.1, где устройство формируется, чтобы считывать значение индекса (idx), представляющего параметр линейной комбинации

(g_DCU), из представления битового потока звукового содержания, и отображать значение индекса на параметр линейной комбинации(g_DCU) посредством использования таблицы квантизации параметров.

15. Устройство (100; 200) по п.14, где таблица квантизации описывает неоднородную квантизацию, где меньшие значения параметра линейной комбинации(g_DCU), которые описывают более значительный вклад (ответное сообщение) определенной пользователем матрицы визуализации(M_ren) в измененную матрицу визуализации(M_{ren, lim}), квантуются с более высоким разрешением.

16. Устройство (100; 200) по п.1, где устройство формируется, чтобы оценить элемент битового потока (bsDcuMode), описывающий способ ограничения искажения, и где ограничитель искажения формируется, чтобы селективно получить заданную матрицу визуализации таким образом, чтобы заданная матрица визуализации являлась заданной матрицей визуализации, подобной матрице понижающего микширования, или таким образом, чтобы заданная матрица визуализации являлась заданной (целевой) матрицей визуализации с наилучшим усилием.

17. Устройство (150) для обеспечения битового потока (170),представляющего многоканальный звуковой сигнал; устройство включает:

микшер понижающего микширования (180), формируемый, чтобы обеспечить сигнал понижающего микширования (182) на основе множества сигналов звукового объекта (160а-160N);

поставщик дополнительной информации (184), формируемый, чтобы предоставить связанную с объектом параметрическую дополнительную информацию (186), описывающую характеристики сигналов звукового объекта (160a-160N), и параметры понижающего микширования, и параметр линейной комбинации (188), описывающий желательные вклады (ответные сообщения) определенной пользователем матрицы визуализации(M_ren) и заданной (целевой) матрицы визуализации(M_{ren, tar}) в измененную матрицу визуализации (M_{ren, lim}), которая будет использована устройством (100; 200) для обеспечения представления сигнала повышающего микширования на основе битового потока; и

форматер битового потока (190), формируемый, чтобы обеспечить битовый поток (170),включающий представление сигнала понижающего микширования, связанную с объектом параметрическую дополнительную информацию и параметр линейной комбинации.

18. Способ обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом параметрической информации, которые включаются в представление битового потока звукового содержания, и в зависимости от определенной пользователем матрицы визуализации; способ включает:

оценку элемента битового потока, представляющего параметр линейной комбинации, чтобы получить параметр линейной комбинации;

получение измененной матрицы визуализации посредством использования линейной комбинации определенной пользователем матрицы визуализации и заданной (целевой) матрицы визуализации в зависимости от параметра линейной комбинации; и

получение представления сигнала повышающего микширования на основе представления сигнала понижающего микширования и связанной с объектом параметрической информации посредством использования измененной матрицы визуализации.

19. Способ обеспечения битового потока, представляющего многоканальный звуковой сигнал; способ включает:

обеспечение сигнала понижающего микширования на основе множества сигналов звукового объекта;

обеспечение связанной с объектом параметрической дополнительной информации, описывающей характеристики сигналов звукового объекта и параметры понижающего микширования, и параметра линейной комбинации, описывающего желательные вклады (ответные сообщения) определенной пользователем матрицы визуализации и заданной матрицы визуализации в измененную матрицу визуализации; и

обеспечение битового потока, включающего представление сигнала понижающего микширования, связанной с объектом параметрической дополнительной информации и параметра линейной комбинации.

20. Компьютерная программа для выполнения способа по п.18 или 19, когда компьютерная программа запущена на компьютере.

21. Битовый поток (300), представляющий многоканальный звуковой сигнал;

битовый поток включает:

представление (302) сигнала понижающего микширования, объединяющее звуковые сигналы множества звуковых объектов:

связанную с объектом параметрическую информацию (304), описывающую характеристики звуковых объектов; и

параметр линейной комбинации (306), описывающий желательные вклады(ответные сообщения) определенной пользователем матрицы визуализации и заданной (целевой) матрицы визуализации в измененную матрицу визуализации.