RU2017114642A - Параметрическое кодирование и декодирование многоканальных аудиосигналов - Google Patents
Параметрическое кодирование и декодирование многоканальных аудиосигналов Download PDFInfo
- Publication number
- RU2017114642A RU2017114642A RU2017114642A RU2017114642A RU2017114642A RU 2017114642 A RU2017114642 A RU 2017114642A RU 2017114642 A RU2017114642 A RU 2017114642A RU 2017114642 A RU2017114642 A RU 2017114642A RU 2017114642 A RU2017114642 A RU 2017114642A
- Authority
- RU
- Russia
- Prior art keywords
- signal
- channel
- mix
- encoding
- coefficients
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 claims 60
- 238000000034 method Methods 0.000 claims 32
- 239000011159 matrix material Substances 0.000 claims 13
- 230000007704 transition Effects 0.000 claims 7
- 230000011664 signaling Effects 0.000 claims 5
- 230000000694 effects Effects 0.000 claims 2
- 230000001360 synchronised effect Effects 0.000 claims 2
- 238000004364 calculation method Methods 0.000 claims 1
- 238000004590 computer program Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000005192 partition Methods 0.000 claims 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Claims (100)
1. Способ (1200) декодирования аудио, включающий:
получение (1201) двухканального сигнала понижающего микширования (L1, L2) и параметров повышающего микширования (αL) для параметрической реконструкции М-канального аудиосигнала, имеющего заданную конфигурацию каналов (L, LS, LB, TFL, TBL), на основе сигнала понижающего микширования, где M ≥ 4;
получение (1202) сигнализации (S), указывающей выбранный формат из по меньшей мере двух форматов кодирования (F1, F2, F3) М-канального аудиосигнала, имеющего заданную конфигурацию каналов, причем указанный выбранный формат кодирования переключается между по меньшей мере двумя форматами кодирования, и при этом форматы кодирования соответствуют соответствующим разным разделениям каналов заданной конфигурации каналов М-канального аудиосигнала на соответствующие первую и вторую группы (601, 602) из одного или более каналов, при этом в указанном формате кодирования первый канал сигнала понижающего микширования соответствует линейной комбинации первой группы из одного или более каналов заданной конфигурации каналов М-канального аудиосигнала, а второй канал сигнала понижающего микширования соответствует линейной комбинации второй группы из одного или более каналов заданной конфигурации каналов М-канального аудиосигнала;
определение (1203) набора преддекорреляционных коэффициентов на основе указанного формата кодирования;
вычисление (1205) входного сигнала декорреляции (D1, D2, D3) путем линейного отображения сигнала понижающего микширования, причем к сигналу понижающего микширования применяют набор преддекорреляционных коэффициентов, при этом преддекорреляционные коэффициенты определяются так, чтобы первый канал (TBL) заданной конфигурации каналов М-канального аудиосигнала вносил вклад через сигнал понижающего микширования в первый фиксированный канал (D3) входного сигнала декорреляции по меньшей мере в двух форматах кодирования;
создание (1207) декоррелированного сигнала на основе входного сигнала декорреляции;
определение (1208) набора «влажных» и «сухих» коэффициентов повышающего микширования (γL, βL) на основе полученных параметров повышающего микширования и указанного формата кодирования;
вычисление (1210) «сухого» сигнала повышающего микширования (X1, X2) как линейного отображения сигнала понижающего микширования, при этом к сигналу понижающего микширования применяют набор «сухих» коэффициентов повышающего микширования;
вычисление (1211) «влажного» сигнала повышающего микширования (Y1, Y2) как линейного отображения декоррелированного сигнала, при этом к декоррелированному сигналу применяют набор «влажных» коэффициентов повышающего микширования; и
объединение (1213) «сухих» и «влажных» сигналов повышающего микширования для получения многомерного реконструированного аудиосигнала (
), соответствующего подлежащему реконструкции
М-канальному аудиосигналу.
М-канальному аудиосигналу.
2. Способ декодирования аудио по п. 1, в котором M = 5.
3. Способ декодирования аудио по п. 1, в котором каждый из входного сигнала декорреляции и декоррелированого сигнала содержит M – 2 каналов, причем канал декоррелированного сигнала создается на основе не более чем одного канала входного сигнала декорреляции, и при этом преддекорреляционные коэффициенты определяются так, чтобы в каждом из форматов кодирования в канал входного сигнала декорреляции был внесен вклад от не более чем одного канала сигнала понижающего микширования.
4. Способ декодирования аудио по любому из пп. 1-3, в котором преддекорреляционные коэффициенты определяются таким образом, чтобы второй канал (L) М-канального аудиосигнала дополнительно вносил вклад через сигнал понижающего микширования во второй фиксированный канал (D1) входного сигнала декорреляции по меньшей мере в двух форматах кодирования.
5. Способ декодирования аудио по любому из пп. 1-3, в котором полученная сигнализация указывает выбранный формат из по меньшей мере трех форматов кодирования, и при этом преддекорреляционные коэффициенты определяются таким образом, чтобы первый канал М-канального аудиосигнала вносил вклад через сигнал понижающего микширования в указанный первый фиксированный канал входного сигнала декорреляции по меньшей мере в трех форматах кодирования.
6. Способ декодирования аудио по любому из пп. 1-3, в котором преддекорреляционные коэффициенты определяются таким образом, чтобы пара каналов (LS, LB) М-канального аудиосигнала вносила вклад через сигнал понижающего микширования в третий фиксированный канал (D2) входного сигнала декорреляции по меньшей мере в двух форматах кодирования.
7. Способ декодирования аудио по любому из пп. 1-3, дополнительно включающий:
выполнение (1206) постепенного перехода от значений преддекорреляционных коэффициентов, ассоциированных с первым форматом кодирования, к значениям преддекорреляционных коэффициентов, ассоциированным со вторым форматом кодирования, в ответ на обнаружение переключения указанного формата кодирования из первого формата кодирования во второй формат кодирования.
8. Способ декодирования аудио по любому из пп. 1-3, дополнительно включающий:
выполнение (1212) интерполяции от значений «влажных» и «сухих» коэффициентов повышающего микширования, ассоциированных с первым форматом кодирования, к значениям «влажных» и «сухих» коэффициентов повышающего микширования, ассоциированным со вторым форматом кодирования, в ответ на обнаружение переключения указанного формата кодирования из первого формата кодирования во второй формат кодирования.
9. Способ декодирования аудио по п. 8, дополнительно включающий получение сигнализации (S), указывающей одну из множества интерполяционных схем для использования при интерполяции «влажных» и «сухих» параметров повышающего микширования, и использование указанной интерполяционной схемы.
10. Способ декодирования аудио по любому из пп. 1-3, в котором по меньшей мере два формата кодирования включают первый формат кодирования и второй формат кодирования, причем каждый коэффициент усиления, управляющий в первом формате кодирования вкладом канала М-канального аудиосигнала в одну из линейных комбинаций, которой соответствуют каналы сигнала понижающего микширования, совпадает с коэффициентом усиления, управляющим во втором формате кодирования вкладом указанного канала М-канального аудиосигнала в одну из линейных комбинаций, которой соответствуют каналы сигнала понижающего микширования.
11. Способ декодирования аудио по любому из пп. 1-3, в котором
М-канальный аудиосигнал содержит три канала (L, LS, LB), представляющих разные горизонтальные направления в среде воспроизведения М-канального аудиосигнала, и два канала (TFL, TBL), представляющих направления, отделенные по вертикали от направлений указанных трех каналов в указанной среде воспроизведения.
12. Способ декодирования аудио по п. 11, в котором в первом формате кодирования (F1) указанная вторая группа содержит указанные два канала.
13. Способ декодирования аудио по п. 11, в котором в первом формате кодирования (F1) указанная первая группа содержит указанные три канала, а указанная вторая группа содержит указанные два канала.
14. Способ декодирования аудио по п. 11, причем во втором формате кодирования (F2) каждая из первой и второй групп содержит один из указанных двух каналов.
15. Способ декодирования аудио по любому из пп. 1-3, причем в конкретном формате кодирования (F1, F2) указанная первая группа состоит из N каналов, где N ≥ 3, и при этом указанный формат кодирования представляет собой конкретный формат кодирования;
преддекорреляционные коэффициенты определяются так, чтобы N – 1 каналов декоррелированного сигнала создавались на основе первого канала сигнала понижающего микширования; а
«сухие» и «влажные» коэффициенты повышающего микширования определяются так, чтобы указанная первая группа реконструировалась как линейное отображение первого канала сигнала понижающего микширования и указанных N – 1 каналов декоррелированного сигнала, при этом к первому каналу сигнала понижающего микширования применяют поднабор «сухих» коэффициентов повышающего микширования, а к указанным N – 1 каналам декоррелированного сигнала применяют поднабор «влажных» коэффициентов повышающего микширования.
16. Способ декодирования аудио по п. 15, в котором полученные параметры повышающего микширования включают «влажные» параметры повышающего микширования и «сухие» параметры повышающего микширования, и причем определение наборов «влажных» и «сухих» коэффициентов повышающего микширования включает:
определение на основе «сухих» параметров повышающего микширования указанного поднабора «сухих» коэффициентов повышающего микширования;
заполнение промежуточной матрицы, имеющей больше элементов, чем количество полученных «влажных» коэффициентов повышающего микширования, на основе полученных «влажных» коэффициентов повышающего микширования и наличия информации о том, что промежуточная матрица относится к классу заданных матриц; и
получение указанного поднабора «влажных» коэффициентов повышающего микширования путем умножения промежуточной матрицы на заданную матрицу, при этом указанный поднабор «влажных» коэффициентов повышающего микширования соответствует матрице, полученной в результате умножения, и включает большее количество коэффициентов, чем количество элементов в промежуточной матрице.
17. Способ декодирования аудио по п. 16, в котором заданная матрица и/или класс заданных матриц связаны с указанным форматом кодирования.
18. Способ декодирования аудио, включающий:
получение сигнализации (S), указывающей одну из по меньшей мере двух заданных конфигураций каналов;
выполнение способа декодирования аудио по любому из пп. 1-3 в ответ на обнаружение полученной сигнализации, указывающей первую заданную конфигурацию каналов (L, LS, LB, TFL, TBL); и,
в ответ на обнаружение полученной сигнализации, указывающей вторую заданную конфигурацию каналов (LW, LSCRN, TFL, LS, LB, TBL),
получение двухканального сигнала понижающего микширования (L1, L2) и ассоциированных параметров повышающего микширования (α);
выполнение параметрической реконструкции первого трехканального аудиосигнала (LW, LSCRN, TFL) на основе первого канала (L1) сигнала понижающего микширования и по меньшей мере некоторых параметров повышающего микширования; и
выполнение параметрической реконструкции второго трехканального аудиосигнала (LS, LB, TBL) на основе второго канала (L2) сигнала понижающего микширования и по меньшей мере некоторых параметров повышающего микширования.
19. Система (1000) декодирования аудио, содержащая один или несколько компонентов, выполненных с возможностью выполнения способа по одному из пп. 1-3.
20. Система декодирования аудио по п. 19, отличающаяся тем, что один или несколько компонентов дополнительно выполнены с возможностью:
реконструкции дополнительного M-канального аудиосигнала (R, RS, RB, TFR, TBR) на основе дополнительного двухканального сигнала понижающего микширования (R1, R2) и ассоциированных дополнительных параметров повышающего микширования (αR);
получения сигнализации (S), указывающей выбранный формат из по меньшей мере двух форматов кодирования дополнительного М-канального аудиосигнала, при этом форматы кодирования дополнительного М-канального аудиосигнала соответствуют соответствующим различным разделениям каналов дополнительного М-канального аудиосигнала на соответствующие первую и вторую группы (603, 604) из одного или более каналов, при этом в указанном формате кодирования дополнительного М-канального аудиосигнала первый канал (R1) дополнительного сигнала понижающего микширования соответствует линейной комбинации первой группы из одного или более каналов М-канального аудиосигнала, а второй канал (R2) дополнительного сигнала понижающего микширования соответствует линейной комбинации второй группы из одного или более каналов дополнительного М-канального аудиосигнала;
определения дополнительного набора преддекорреляционных коэффициентов на основе указанного формата кодирования дополнительного М-канального аудиосигнала;
вычисления дополнительного входного сигнала декорреляции как линейного отображения дополнительного сигнала понижающего микширования, при этом к дополнительному сигналу понижающего микширования применяют дополнительный набор преддекорреляционных коэффициентов;
создания дополнительного декоррелированного сигнала на основе дополнительного входного сигнала декорреляции;
определения дополнительных наборов «влажных» и «сухих» коэффициентов повышающего микширования на основе полученных дополнительных параметров повышающего микширования и указанного формата кодирования дополнительного М-канального аудиосигнала;
вычисления дополнительного «сухого» сигнала повышающего микширования как линейного отображения дополнительного сигнала понижающего микширования, при этом к дополнительному сигналу понижающего микширования применяют дополнительный набор «сухих» коэффициентов повышающего микширования;
вычисления дополнительного «влажного» сигнала повышающего микширования как линейного отображения дополнительного декоррелированного сигнала, при этом к дополнительному декоррелированному сигналу применяют дополнительный набор «влажных» коэффициентов повышающего микширования; и
объединения дополнительных «сухих» и «влажных» сигналов повышающего микширования для получения дополнительного многомерного реконструированного аудиосигнала 
, соответствующего подлежащему реконструкции дополнительному М-канальному аудиосигналу.
21. Система декодирования аудио по п. 19, отличающаяся тем, что один или несколько компонентов дополнительно выполнены с возможностью:
извлечения из битового потока (B) сигнала понижающего микширования параметров повышающего микширования, ассоциированных с сигналом понижающего микширования, и дискретно-кодированного аудиоканала (C); и
декодирования указанного дискретно-кодированного аудиоканала.
22. Способ (1700) кодирования аудио, включающий:
получение (1710) М-канального аудиосигнала (L, LS, LB, TFL, TBL), имеющего заданную конфигурацию каналов, где M ≥ 4;
повторяющийся выбор (1720) одного из по меньшей мере двух форматов кодирования (F1, F2, F3), которые соответствуют соответствующим разным разделениям каналов заданной конфигурации каналов М-канального аудиосигнала на соответствующие первую и вторую группы (601, 602) из одного или более каналов каждая, причем каждый из форматов кодирования определяет двухканальный сигнал понижающего микширования (L1, L2), в котором первый канал (L1) сигнала понижающего микширования образован в виде линейной комбинации первой группы из одного или более каналов заданной конфигурации каналов М-канального аудиосигнала, и при этом второй канал (L2) сигнала понижающего микширования образован в виде линейной комбинации второй группы из одного или более каналов заданной конфигурации каналов
М-канального аудиосигнала;
М-канального аудиосигнала;
определение набора «сухих» коэффициентов повышающего микширования (βL) и набора «влажных» коэффициентов повышающего микширования (γL) для выбранного в настоящий момент формата кодирования;
вычисление (1730) двухканального сигнала понижающего микширования (L1, L2) на основе M-канального аудиосигнала в соответствии с выбранным в данный момент форматом кодирования;
вывод (1740) сигнала понижающего микширования выбранного в данный момент формата кодирования, при этом сигнал понижающего микширования сегментирован на временные интервалы, и дополнительной информации, позволяющей выполнить параметрическую реконструкцию М-канального аудиосигнала на основе сигнала понижающего микширования и декоррелированного сигнала, определенного на основе по меньшей мере одного канала сигнала понижающего микширования выбранного формата кодирования, при этом дополнительная информация содержит дискретные значения наборов «сухих» и «влажных» коэффициентов повышающего микширования (βL, γL), при этом выводится по меньшей мере одно дискретное значение на временной интервал; и
вывод (1750) сигнализации S, обозначающей выбранный в данный момент формат кодирования,
при этом в ответ на переключение с первого выбранного формата кодирования на второй, отличающийся, выбранный формат кодирования вычисляется сигнал понижающего микширования в соответствии со вторым выбранным форматом кодирования и выводится плавный переход сигнала понижающего микширования в соответствии с первым выбранным форматом кодирования и сигнала понижающего микширования в соответствии со вторым выбранным форматом кодирования вместо сигнала понижающего микширования, и
при этом параметрическая реконструкция М-канального аудиосигнала между дискретными значениями должна быть основана на интерполированных значениях наборов «сухих» и «влажных» коэффициентов повышающего микширования (βL, γL) в соответствии с заданным правилом интерполяции, причем плавный переход сигнала понижающего микширования и дискретные значения наборов «сухих» и «влажных» коэффициентов повышающего микширования выводятся таким образом, чтобы указанный плавный переход и интерполяция были синхронными.
23. Способ кодирования аудио по п. 22, в котором:
набор «сухих» коэффициентов повышающего микширования определяет линейное отображение соответствующего сигнала понижающего микширования, аппроксимирующее М-канальный аудиосигнал; и
набор «влажных» коэффициентов повышающего микширования определяет линейное отображение декоррелированного сигнала так, чтобы ковариация сигнала, полученного путем указанного линейного отображения декоррелированного сигнала, дополняла ковариацию М-канального аудиосигнала, аппроксимированного путем линейного отображения сигнала понижающего микширования выбранного формата кодирования.
24. Способ кодирования аудио по п. 22, дополнительно включающий:
определение набора «сухих» параметров повышающего микширования, определяющего линейное отображение соответствующего сигнала понижающего микширования, аппроксимирующего М-канальный аудиосигнал, для каждого из по меньшей мере двух форматов кодирования,
причем указанный выбор одного из форматов кодирования включает:
вычисление для каждого из форматов кодирования разности (ΔL) между ковариацией полученного М-канального аудиосигнала и ковариацией
М-канального аудиосигнала, аппроксимированного линейным отображением, определенным соответствующим набором «сухих» параметров повышающего микширования, и воздействие на соответствующий сигнал понижающего микширования; и
М-канального аудиосигнала, аппроксимированного линейным отображением, определенным соответствующим набором «сухих» параметров повышающего микширования, и воздействие на соответствующий сигнал понижающего микширования; и
выбор одного из форматов кодирования на основе соответствующих вычисленных разностей.
25. Способ кодирования аудио по п. 24,
дополнительно включающий определение набора «влажных» параметров повышающего микширования, который определяет линейное отображение декоррелированного сигнала, сформированного на основе по меньшей мере одного канала сигнала понижающего микширования выбранного формата кодирования, так чтобы ковариация сигнала, полученного путем указанного линейного отображения декоррелированного сигнала, аппроксимировала разность между ковариацией полученного М-канального аудиосигнала и ковариацией М-канального аудиосигнала, аппроксимированного путем указанного линейного отображения сигнала понижающего микширования выбранного формата кодирования,
причем набор «сухих» параметров повышающего микширования и набор «влажных» параметров повышающего микширования выбранного формата кодирования включены в дополнительную информацию, позволяющую осуществить параметрическую реконструкцию М-канального аудиосигнала из сигнала понижающего микширования выбранного формата кодирования и из декоррелированного сигнала, сформированного на основе по меньшей мере одного канала сигнала понижающего микширования выбранного формата кодирования.
26. Способ кодирования аудио по любому из пп. 22–23, дополнительно включающий для каждого из по меньшей мере двух форматов кодирования:
определение набора «сухих» параметров повышающего микширования, определяющих линейное отображение соответствующего сигнала понижающего микширования, аппроксимирующее М-канальный аудиосигнал; и
определение набора «влажных» коэффициентов повышающего микширования (γL), который в совокупности с «сухими» коэффициентами повышающего микширования позволяет выполнить параметрическую реконструкцию
М-канального аудиосигнала из сигнала понижающего микширования и из декоррелированного сигнала, образованного на основе сигнала понижающего микширования, причем набор «влажных» коэффициентов повышающего микширования определяет линейное отображение декоррелированного сигнала, так чтобы ковариация сигнала, полученного путем линейного отображения декоррелированного сигнала, аппроксимировала разность между ковариацией полученного М-канального аудиосигнала и ковариацией М-канального аудиосигнала, аппроксимированного путем линейного отображения сигнала понижающего микширования,
М-канального аудиосигнала из сигнала понижающего микширования и из декоррелированного сигнала, образованного на основе сигнала понижающего микширования, причем набор «влажных» коэффициентов повышающего микширования определяет линейное отображение декоррелированного сигнала, так чтобы ковариация сигнала, полученного путем линейного отображения декоррелированного сигнала, аппроксимировала разность между ковариацией полученного М-канального аудиосигнала и ковариацией М-канального аудиосигнала, аппроксимированного путем линейного отображения сигнала понижающего микширования,
при этом указанный выбор одного из форматов кодирования включает сравнение значений соответствующих определенных наборов «влажных» коэффициентов повышающего микширования.
27. Способ кодирования аудио по п. 26,
дополнительно включающий для каждого из по меньшей мере двух форматов кодирования вычисление суммы квадратов соответствующих «влажных» коэффициентов повышающего микширования и суммы квадратов соответствующих «сухих» коэффициентов повышающего микширования,
причем указанный выбор одного из двух форматов кодирования включает сравнение значений соответствующих вычисленных сумм квадратов для каждого из по меньшей мере двух форматов кодирования.
28. Способ кодирования аудио по п. 27, в котором указанный выбор одного из форматов кодирования включает сравнение для каждого из по меньшей мере двух форматов кодирования значений соотношения, с одной стороны, суммы квадратов соответствующих «влажных» коэффициентов повышающего микширования и, с другой стороны, суммы суммы квадратов соответствующих «сухих» коэффициентов повышающего микширования и суммы квадратов соответствующих «влажных» коэффициентов повышающего микширования.
29. Способ кодирования аудио по любому из пп. 22–25, в котором M-канальный аудиосигнал связан по меньшей мере с одним дополнительным аудиоканалом, причем:
указанный выбор одного из форматов кодирования дополнительно учитывает данные, относящиеся к указанному по меньшей мере одному дополнительному аудиоканалу; и
выбранный формат кодирования должен использоваться для кодирования М-канального аудиосигнала и дополнительного (-ых) аудиоканала (-ов).
30. Способ кодирования аудио по любому из пп. 22–25, в котором сигнал понижающего микширования, выводимый способом кодирования аудио, сегментирован на временные интервалы, и причем выбранный формат кодирования остается неизменным в течение по меньшей мере заданного количества временных интервалов, прежде чем будет выбран другой формат кодирования.
31. Способ кодирования аудио по любому из пп. 22–25, в котором в выбранном формате кодирования первая группа из одного или более каналов
М-канального аудиосигнала состоит из N каналов, где N ≥ 3, причем первая группа из одного или более каналов может быть реконструирована из первого канала сигнала понижающего микширования и N – 1 каналов указанного декоррелированного сигнала путем применения по меньшей мере некоторых «влажных» и «сухих» коэффициентов повышающего микширования,
при этом определение набора «сухих» коэффициентов повышающего микширования выбранного формата кодирования включает определение поднабора «сухих» коэффициентов повышающего микширования выбранного формата кодирования с целью определения такого линейного отображения первого канала сигнала понижающего микширования выбранного формата кодирования, которое аппроксимирует первую группу из одного или более каналов выбранного формата кодирования,
при этом определение набора «влажных» коэффициентов повышающего микширования выбранного формата кодирования включает определение промежуточной матрицы на основе разности между ковариацией первой группы из одного или более полученных каналов выбранного формата кодирования и ковариацией первой группы из одного или более каналов выбранного формата кодирования, аппроксимированных путем указанного линейного отображения первого канала сигнала понижающего микширования выбранного формата кодирования, при этом промежуточная матрица, умноженная на заданную матрицу, соответствует поднабору «влажных» коэффициентов повышающего микширования выбранного формата кодирования, определяющему линейное отображение указанных N – 1 каналов декоррелированного сигнала в рамках параметрической реконструкции первой группы из одного или более каналов выбранного формата кодирования, при этом указанный поднабор «влажных» коэффициентов повышающего микширования выбранного формата кодирования включает большее количество коэффициентов, чем количество элементов в промежуточной матрице, и
при этом дополнительная информация включает набор «сухих» параметров повышающего микширования, из которых можно получить указанный поднабор «сухих» коэффициентов повышающего микширования, и набор «влажных» параметров повышающего микширования, уникальным образом определяющих указанную промежуточную матрицу, при условии, что указанная промежуточная матрица относится к заданному классу матриц, при этом указанная промежуточная матрица содержит больше элементов, чем количество элементов в указанном поднаборе «влажных» параметров повышающего микширования выбранного формата кодирования.
32. Система (300) кодирования аудио, содержащая секцию (1400) кодирования, выполненную с возможностью кодирования М-канального аудиосигнала, имеющего заданную конфигурацию каналов (L, LS, LB, TFL, TBL), в виде двухканального сигнала понижающего микширования и ассоциированных параметров повышающего микширования, где M ≥ 4, причем секция кодирования содержит:
секцию (1411, 1412) понижающего микширования, выполненную с возможностью вычисления в соответствии с форматом кодирования двухканального сигнала понижающего микширования (L1, L2) на основе
М-канального аудиосигнала, причем сигнал понижающего микширования сегментирован на временные интервалы, при этом первый канал (L1) сигнала понижающего микширования формируется в виде линейной комбинации первой группы из одного или более каналов заданной конфигурации каналов
М-канального аудиосигнала, а второй канал (L2) сигнала понижающего микширования формируется в виде линейной комбинации второй группы из одного или более каналов заданной конфигурации каналов М-канального аудиосигнала, для по меньшей мере одного из по меньшей мере двух форматов кодирования (F1, F2, F3), которые соответствуют соответствующим разным разделениям каналов заданной конфигурации каналов М-канального аудиосигнала на соответствующие первую и вторую группы (601, 602) из одного или более каналов каждая;
М-канального аудиосигнала, причем сигнал понижающего микширования сегментирован на временные интервалы, при этом первый канал (L1) сигнала понижающего микширования формируется в виде линейной комбинации первой группы из одного или более каналов заданной конфигурации каналов
М-канального аудиосигнала, а второй канал (L2) сигнала понижающего микширования формируется в виде линейной комбинации второй группы из одного или более каналов заданной конфигурации каналов М-канального аудиосигнала, для по меньшей мере одного из по меньшей мере двух форматов кодирования (F1, F2, F3), которые соответствуют соответствующим разным разделениям каналов заданной конфигурации каналов М-канального аудиосигнала на соответствующие первую и вторую группы (601, 602) из одного или более каналов каждая;
секцию (1430) управления, выполненную с возможностью повторяющегося выбора одного из форматов кодирования;
интерполятор (1413, 1414) понижающего микширования, выполненный с возможностью создания плавного перехода между сигналом понижающего микширования в соответствии с первым форматом кодирования, выбранным секцией управления, и сигналом понижающего микширования в соответствии со вторым форматом кодирования, выбранным секцией управления сразу после первого формата кодирования;
при этом система кодирования аудио выполнена с возможностью определения для выбранного в данный момент формата кодирования набора «сухих» коэффициентов повышающего микширования (βL), и набора «влажных» коэффициентов повышающего микширования (γL), и выходной сигнализации (S), указывающей выбранный в данный момент формат кодирования, и дополнительной информации (i), которая позволяет выполнить параметрическую реконструкцию М-канального аудиосигнала на основе сигнала понижающего микширования и декоррелированного сигнала, определенного на основе по меньшей мере одного канала сигнала понижающего микширования выбранного формата кодирования, при этом дополнительная информация содержит дискретные значения наборов «сухих» и «влажных» коэффициентов повышающего микширования (βL, γL), при этом выводится по меньшей мере одно дискретное значение на временной интервал, и
при этом параметрическая реконструкция М-канального аудиосигнала между дискретными значениями должна быть основана на интерполированных значениях наборов «сухих» и «влажных» коэффициентов повышающего микширования (βL, γL) в соответствии с заданным правилом интерполяции, при этом система кодирования аудио выполнена с возможностью вывода плавного перехода сигнала понижающего микширования и дискретных значений наборов «сухих» и «влажных» коэффициентов повышающего микширования таким образом, чтобы указанный плавный переход и интерполяция были синхронными.
33. Система кодирования аудио по п. 32, выполненная с возможностью дополнительного кодирования M2-канального аудиосигнала (R, RS, RB, TFR, TBR),
причем секция управления выполнена с возможностью повторяющегося выбора одного из форматов кодирования с влиянием на М-канальный аудиосигнал и
M2-канальный аудиосигнал,
M2-канальный аудиосигнал,
при этом система дополнительно содержит дополнительную секцию кодирования, соединенную с возможностью осуществления связи с секцией управления и выполненную с возможностью кодирования M2-канального аудиосигнала в соответствии с форматом кодирования, выбранным секцией управления.
34. Машиночитаемый носитель, содержащий компьютерный программный продукт с командами для выполнения способа по любому из пп. 1–3 и 22–25.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462073642P | 2014-10-31 | 2014-10-31 | |
| US62/073,642 | 2014-10-31 | ||
| US201562128425P | 2015-03-04 | 2015-03-04 | |
| US62/128,425 | 2015-03-04 | ||
| PCT/EP2015/075115 WO2016066743A1 (en) | 2014-10-31 | 2015-10-29 | Parametric encoding and decoding of multichannel audio signals |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019131327A Division RU2798759C2 (ru) | 2014-10-31 | 2015-10-29 | Параметрическое кодирование и декодирование многоканальных аудиосигналов |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2017114642A true RU2017114642A (ru) | 2018-10-31 |
| RU2017114642A3 RU2017114642A3 (ru) | 2019-05-24 |
| RU2704266C2 RU2704266C2 (ru) | 2019-10-25 |
Family
ID=54705555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017114642A RU2704266C2 (ru) | 2014-10-31 | 2015-10-29 | Параметрическое кодирование и декодирование многоканальных аудиосигналов |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US9955276B2 (ru) |
| EP (2) | EP3213323B1 (ru) |
| JP (2) | JP6640849B2 (ru) |
| KR (1) | KR102486338B1 (ru) |
| CN (2) | CN107004421B (ru) |
| BR (1) | BR112017008015B1 (ru) |
| ES (1) | ES2709661T3 (ru) |
| RU (1) | RU2704266C2 (ru) |
| WO (1) | WO2016066743A1 (ru) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2829413T3 (es) * | 2015-05-20 | 2021-05-31 | Ericsson Telefon Ab L M | Codificación de señales de audio de múltiples canales |
| EP3337066B1 (en) | 2016-12-14 | 2020-09-23 | Nokia Technologies Oy | Distributed audio mixing |
| CN107576933B (zh) * | 2017-08-17 | 2020-10-30 | 电子科技大学 | 多维拟合的信源定位方法 |
| US20200388292A1 (en) * | 2019-06-10 | 2020-12-10 | Google Llc | Audio channel mixing |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7644003B2 (en) | 2001-05-04 | 2010-01-05 | Agere Systems Inc. | Cue-based audio coding/decoding |
| FR2862799B1 (fr) | 2003-11-26 | 2006-02-24 | Inst Nat Rech Inf Automat | Dispositif et methode perfectionnes de spatialisation du son |
| US7394903B2 (en) * | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
| SE0402649D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
| JP2008529364A (ja) | 2005-01-24 | 2008-07-31 | ティ エイチ エックス リミテッド | 周辺及び直接サラウンドサウンドシステム |
| EP1691348A1 (en) * | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
| EP1829424B1 (en) | 2005-04-15 | 2009-01-21 | Dolby Sweden AB | Temporal envelope shaping of decorrelated signals |
| MX2008000504A (es) * | 2005-07-14 | 2008-03-07 | Koninkl Philips Electronics Nv | Codificacion y decodificacion de audio. |
| US8019614B2 (en) | 2005-09-02 | 2011-09-13 | Panasonic Corporation | Energy shaping apparatus and energy shaping method |
| KR100888474B1 (ko) * | 2005-11-21 | 2009-03-12 | 삼성전자주식회사 | 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법 |
| CN102693727B (zh) * | 2006-02-03 | 2015-06-10 | 韩国电子通信研究院 | 用于控制音频信号的渲染的方法 |
| JP4396683B2 (ja) * | 2006-10-02 | 2010-01-13 | カシオ計算機株式会社 | 音声符号化装置、音声符号化方法、及び、プログラム |
| AU2007312597B2 (en) * | 2006-10-16 | 2011-04-14 | Dolby International Ab | Apparatus and method for multi -channel parameter transformation |
| BRPI0809760B1 (pt) * | 2007-04-26 | 2020-12-01 | Dolby International Ab | aparelho e método para sintetizar um sinal de saída |
| WO2009049896A1 (en) * | 2007-10-17 | 2009-04-23 | Fraunhofer-Fesellschaft Zur Förderung Der Angewandten Forschung E.V. | Audio coding using upmix |
| US8811621B2 (en) * | 2008-05-23 | 2014-08-19 | Koninklijke Philips N.V. | Parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder |
| EP2345027B1 (en) | 2008-10-10 | 2018-04-18 | Telefonaktiebolaget LM Ericsson (publ) | Energy-conserving multi-channel audio coding and decoding |
| KR101622950B1 (ko) * | 2009-01-28 | 2016-05-23 | 삼성전자주식회사 | 오디오 신호의 부호화 및 복호화 방법 및 그 장치 |
| EP2214162A1 (en) * | 2009-01-28 | 2010-08-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Upmixer, method and computer program for upmixing a downmix audio signal |
| WO2010115850A1 (en) | 2009-04-08 | 2010-10-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for upmixing a downmix audio signal using a phase value smoothing |
| RU2011147119A (ru) * | 2009-04-21 | 2013-05-27 | Конинклейке Филипс Электроникс Н.В. | Синтез аудиосигнала |
| EP2249334A1 (en) * | 2009-05-08 | 2010-11-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio format transcoder |
| EP2360681A1 (en) | 2010-01-15 | 2011-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information |
| KR101437896B1 (ko) * | 2010-04-09 | 2014-09-16 | 돌비 인터네셔널 에이비 | Mdct-기반의 복소수 예측 스테레오 코딩 |
| TWI462087B (zh) * | 2010-11-12 | 2014-11-21 | Dolby Lab Licensing Corp | 複數音頻信號之降混方法、編解碼方法及混合系統 |
| US9219972B2 (en) | 2010-11-19 | 2015-12-22 | Nokia Technologies Oy | Efficient audio coding having reduced bit rate for ambient signals and decoding using same |
| WO2012094338A1 (en) | 2011-01-04 | 2012-07-12 | Srs Labs, Inc. | Immersive audio rendering system |
| WO2012122397A1 (en) | 2011-03-09 | 2012-09-13 | Srs Labs, Inc. | System for dynamically creating and rendering audio objects |
| TW202339510A (zh) | 2011-07-01 | 2023-10-01 | 美商杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
| CN103890841B (zh) * | 2011-11-01 | 2017-10-17 | 皇家飞利浦有限公司 | 音频对象编码和解码 |
| WO2013122388A1 (en) | 2012-02-15 | 2013-08-22 | Samsung Electronics Co., Ltd. | Data transmission apparatus, data receiving apparatus, data transceiving system, data transmission method and data receiving method |
| EP2817802B1 (en) * | 2012-02-24 | 2016-12-07 | Dolby International AB | Audio processing |
| JP5947971B2 (ja) * | 2012-04-05 | 2016-07-06 | 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． | マルチチャネルオーディオ信号の符号化パラメータを決定する方法及びマルチチャネルオーディオエンコーダ |
| KR20150032651A (ko) | 2012-07-02 | 2015-03-27 | 소니 주식회사 | 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램 |
| US9473870B2 (en) | 2012-07-16 | 2016-10-18 | Qualcomm Incorporated | Loudspeaker position compensation with 3D-audio hierarchical coding |
| US9479886B2 (en) | 2012-07-20 | 2016-10-25 | Qualcomm Incorporated | Scalable downmix design with feedback for object-based surround codec |
| EP4207817A1 (en) | 2012-08-31 | 2023-07-05 | Dolby Laboratories Licensing Corporation | System for rendering and playback of object based audio in various listening environments |
| JP6186436B2 (ja) | 2012-08-31 | 2017-08-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング |
| PL2896221T3 (pl) | 2012-09-12 | 2017-04-28 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Urządzenie do i sposób zapewniania rozszerzonych możliwości kierowanego downmixu dla 3D audio |
| WO2014068583A1 (en) | 2012-11-02 | 2014-05-08 | Pulz Electronics Pvt. Ltd. | Multi platform 4 layer and x, y, z axis audio recording, mixing and playback process |
| US9736609B2 (en) | 2013-02-07 | 2017-08-15 | Qualcomm Incorporated | Determining renderers for spherical harmonic coefficients |
| WO2014126689A1 (en) * | 2013-02-14 | 2014-08-21 | Dolby Laboratories Licensing Corporation | Methods for controlling the inter-channel coherence of upmixed audio signals |
| CN110047496B (zh) * | 2013-04-05 | 2023-08-04 | 杜比国际公司 | 立体声音频编码器和解码器 |
| JP6479786B2 (ja) | 2013-10-21 | 2019-03-06 | ドルビー・インターナショナル・アーベー | オーディオ信号のパラメトリック再構成 |
| TWI587286B (zh) | 2014-10-31 | 2017-06-11 | 杜比國際公司 | 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體 |
-
2015
- 2015-10-29 WO PCT/EP2015/075115 patent/WO2016066743A1/en active Application Filing
- 2015-10-29 CN CN201580059276.XA patent/CN107004421B/zh active Active
- 2015-10-29 CN CN202010517613.8A patent/CN111816194A/zh active Pending
- 2015-10-29 KR KR1020177011541A patent/KR102486338B1/ko active IP Right Grant
- 2015-10-29 EP EP15801335.9A patent/EP3213323B1/en active Active
- 2015-10-29 EP EP18209379.9A patent/EP3540732B1/en active Active
- 2015-10-29 JP JP2017522811A patent/JP6640849B2/ja active Active
- 2015-10-29 RU RU2017114642A patent/RU2704266C2/ru active
- 2015-10-29 ES ES15801335T patent/ES2709661T3/es active Active
- 2015-10-29 BR BR112017008015-0A patent/BR112017008015B1/pt active IP Right Grant
- 2015-10-29 US US15/521,157 patent/US9955276B2/en active Active
-
2019
- 2019-12-26 JP JP2019235974A patent/JP7009437B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| RU2019131327A (ru) | 2019-11-25 |
| BR112017008015A2 (pt) | 2017-12-19 |
| JP2017536756A (ja) | 2017-12-07 |
| KR20170078648A (ko) | 2017-07-07 |
| CN111816194A (zh) | 2020-10-23 |
| RU2017114642A3 (ru) | 2019-05-24 |
| ES2709661T3 (es) | 2019-04-17 |
| WO2016066743A1 (en) | 2016-05-06 |
| US9955276B2 (en) | 2018-04-24 |
| BR112017008015B1 (pt) | 2023-11-14 |
| KR102486338B1 (ko) | 2023-01-10 |
| EP3213323B1 (en) | 2018-12-12 |
| CN107004421B (zh) | 2020-07-07 |
| EP3213323A1 (en) | 2017-09-06 |
| EP3540732A1 (en) | 2019-09-18 |
| JP6640849B2 (ja) | 2020-02-05 |
| EP3540732B1 (en) | 2023-07-26 |
| US20170339505A1 (en) | 2017-11-23 |
| RU2704266C2 (ru) | 2019-10-25 |
| JP2020074007A (ja) | 2020-05-14 |
| CN107004421A (zh) | 2017-08-01 |
| JP7009437B2 (ja) | 2022-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2016119563A (ru) | Параметрическая реконструкция аудиосигналов | |
| US10453462B2 (en) | Method and apparatus for encoding and decoding 3-dimensional audio signal | |
| JP5129368B2 (ja) | スケーラブルチャンネル復号化方法 | |
| KR101218777B1 (ko) | 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체 | |
| CN102577384B (zh) | 用相位信息和残差信息进行编码/解码的设备和方法 | |
| KR101356586B1 (ko) | 다중 채널 오디오 신호를 생성하기 위한 디코더, 수신기 및 방법 | |
| JP2018010312A (ja) | 無相関化信号の寄与の残差信号ベースの調整を用いたマルチチャンネルオーディオデコーダ、マルチチャンネルオーディオエンコーダ、方法およびコンピュータプログラム | |
| RU2017114642A (ru) | Параметрическое кодирование и декодирование многоканальных аудиосигналов | |
| JP2016537669A5 (ru) | ||
| RU2015133289A (ru) | Способы управления межканальной когерентностью звуковых сигналов, подвергнутых повышающему микшированию | |
| JP5681290B2 (ja) | デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス | |
| KR20080039474A (ko) | 오디오 신호의 디코딩 방법 및 장치 | |
| JP2014520473A5 (ru) | ||
| US10170131B2 (en) | Decoding method and decoder for dialog enhancement | |
| RU2696952C2 (ru) | Аудиокодировщик и декодер | |
| JP2017536756A5 (ru) | ||
| JP2014038179A (ja) | データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム | |
| EP4198972A1 (en) | Stereo signal processing | |
| RU2016115360A (ru) | Структура декоррелятора для параметрического восстановления звуковых сигналов | |
| TW201926318A (zh) | 音訊編解碼方法、音頻編解碼裝置及電腦可讀存儲介質 |