RU2666230C2 - Аудио декодер, аудио кодер, способ обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления, способ обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов и компьютерная программа, использующие расширение диапазона - Google Patents
Аудио декодер, аудио кодер, способ обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления, способ обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов и компьютерная программа, использующие расширение диапазона Download PDFInfo
- Publication number
- RU2666230C2 RU2666230C2 RU2016105703A RU2016105703A RU2666230C2 RU 2666230 C2 RU2666230 C2 RU 2666230C2 RU 2016105703 A RU2016105703 A RU 2016105703A RU 2016105703 A RU2016105703 A RU 2016105703A RU 2666230 C2 RU2666230 C2 RU 2666230C2
- Authority
- RU
- Russia
- Prior art keywords
- channel
- signal
- audio
- audio signal
- channel audio
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 476
- 238000000034 method Methods 0.000 title claims description 85
- 238000004590 computer program Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 239000000203 mixture Substances 0.000 description 44
- 238000010586 diagram Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 12
- 238000000926 separation method Methods 0.000 description 10
- 230000010076 replication Effects 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 208000022018 mucopolysaccharidosis type 2 Diseases 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003534 oscillatory effect Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 229920006235 chlorinated polyethylene elastomer Polymers 0.000 description 1
- 238000000136 cloud-point extraction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052702 rhenium Inorganic materials 0.000 description 1
- WUAPFZMCVAUBPE-UHFFFAOYSA-N rhenium atom Chemical compound [Re] WUAPFZMCVAUBPE-UHFFFAOYSA-N 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Изобретение относится к средствам для кодирования и декодирования аудио. Технический результат заключается в повышении эффективности кодирования и декодирования трехмерных аудио сцен. Обеспечивают первый сигнал понижающего микширования и второй сигнал понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное декодирование. Обеспечивают первый канальный аудио сигнал и второй канальный аудио сигнал на основе первого сигнала понижающего микширования. Обеспечивают третий канальный аудио сигнал и четвертый канальный аудио сигнал на основе второго сигнала понижающего микширования. Выполняют первое совместное многоканальное расширение полосы пропускания на основе первого канального аудио сигнала и третьего канального аудио сигнала для получения первого канального сигнала с расширенной полосой пропускания и третьего канального сигнала с расширенной полосой пропускания. 6 н. и 31 з.п. ф-лы, 23 ил.
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Вариант осуществления согласно изобретению создает аудио декодер для обеспечения по меньшей мере четырех канальных сигналов с расширенной полосой пропускания (расширенным диапазоном) на основе кодированного представления.
Другой вариант осуществления согласно изобретению создает аудио кодер для обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов.
Другой вариант осуществления согласно изобретению создает способ обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления.
Другой вариант осуществления согласно изобретению создает способ обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов.
Другой вариант осуществления согласно изобретению создает компьютерную программу для выполнения одного из способов.
В общем случае варианты осуществления согласно изобретению относятся к совместному кодированию n каналов.
УРОВЕНЬ ТЕХНИКИ
В последние годы потребность в хранении и передаче аудио контента постоянно увеличивается. Кроме того, требование к качеству при хранении и передаче аудио контента также постоянно увеличивается. Соответственно, концепции кодирования и декодирования аудио контента усовершенствуются. Например, было разработано так называемое «усовершенствованное аудио кодирование» (AAC), которое описано, например, в международном стандарте 13818-7:2003 ISO/IEC. Кроме того, были созданы некоторые пространственные расширения, как, например, так называемый «MPEG Surround» - концепция, которая описана, например, в международном стандарте 23003-1:2007 ISO/IEC. Кроме того, дополнительные усовершенствования кодирования и декодирования пространственной информации аудио сигналов описаны в международном стандарте 23003-2:2010 ISO/IEC, который относится к так называемому пространственному кодированию аудио объекта (SAOC).
Кроме того, гибкая концепция аудио кодирования/декодирования, которая обеспечивает возможность кодирования и обобщенных аудио сигналов, и речевых сигналов с хорошей эффективностью кодирования и обработки многоканальных аудио сигналов, определена в международном стандарте 23003-3:2012 ISO/IEC, который описывает так называемую концепцию «унифицированного кодирования речи и аудио» (USAC).
В MPEG USAC [1] совместное стерео кодирование двух каналов выполняется, используя комплексное предсказание, MPS 2-1-1 или унифицированное стерео с разностными сигналами с ограниченным диапазоном или полным диапазоном.
MPEG surround [2] иерархически объединяет блоки OTT и TTT для совместного кодирования многоканального аудио с передачей разностных сигналов или без нее.
Однако, существует желание обеспечить еще более продвинутую концепцию для эффективного кодирования и декодирования трехмерных аудио сцен.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Вариант осуществления согласно изобретению создает аудио декодер для обеспечения по меньшей мере четырех канальных сигналов с расширенной полосой пропускания (расширенным диапазоном) на основе кодированного представления. Аудио декодер конфигурируется для обеспечения первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя (первое) многоканальное декодирование. Аудио декодер конфигурируется для обеспечения по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала на основе первого сигнала понижающего микширования, используя (второе) многоканальное декодирование, и обеспечения по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала на основе второго сигнала понижающего микширования, используя (третье) многоканальное декодирование. Аудио декодер конфигурируется для выполнения многоканального расширения полосы пропускания (расширение диапазона) на основе первого канального аудио сигнала и третьего канального аудио сигнала для обеспечения первого канального сигнала с расширенной полосой пропускания и третьего канального сигнала с расширенной полосой пропускания. Кроме того, аудио декодер конфигурируется для выполнения многоканального расширения полосы пропускания на основе второго канального аудио сигнала и четвертого канального аудио сигнала для получения второго канального сигнала с расширенной полосой пропускания и четвертого канального сигнала с расширенной полосой пропускания.
Этот вариант осуществления согласно изобретению основан на обнаружении, что особенно хорошие результаты расширения полосы пропускания могут получаться в иерархическом аудио декодере, если канальные аудио сигналы, которые обеспечиваются на основе различных сигналов понижающего микширования на второй стадии аудио декодера, используются при многоканальном расширении полосы пропускания, причем различные сигналы понижающего микширования извлекаются из совместно кодированного представления на первой стадии аудио декодера. Было обнаружено, что особенно хорошее качество аудио может получаться, если сигналы понижающего микширования, которые связаны с перцепционно особенно важными положениями аудио сцены, отделяются на первой стадии иерархического аудио декодера, в то время как пространственные положения, которые не настолько важны для акустического впечатления, отделяются на второй стадии иерархического аудио декодера. Кроме того, было обнаружено, что сигналы аудио канала, которые связаны с различными перцепционно важными положениями аудио сцены (например, положениями аудио сцены, в которых соотношение между сигналами из указанных положений перцепционно важно) должны совместно обрабатываться при многоканальном расширении полосы пропускания, потому что многоканальное расширение полосы пропускания может последовательно рассматривать взаимозависимости и различия между сигналами из этих акустически важных положений. Это достигается с помощью выполнения многоканального расширения полосы пропускания на основе первого канального аудио сигнала (который извлекается из первого сигнала понижающего микширования на второй стадии иерархического аудио декодера), и на основе третьего канального аудио сигнала, который извлекается из второго сигнала понижающего микширования на второй стадии иерархического аудио декодера, для обеспечения двух канальных сигналов с расширенной полосой пропускания (а именно, первого канального сигнала с расширенной полосой пропускания и третьего канального сигнала с расширенной полосой пропускания). Соответственно, (совместное) многоканальное расширение полосы пропускания (диапазона) выполняется на основе канальных аудио сигналов, которые извлекаются из различных сигналов понижающего микширования на второй стадии иерархического многоканального декодера, так что соотношение между первым канальным аудио сигналом и третьим канальным аудио сигналом аналогично (или определяется с помощью) соотношения между первым сигналом понижающего микширования и вторым сигналом понижающего микширования. Таким образом, многоканальное расширение полосы пропускания (диапазона) может использовать это соотношение (например, между первым канальным аудио сигналом и третьим канальным аудио сигналом), которое по существу определяется с помощью извлечения первого сигнала понижающего микширования и второго сигнала понижающего микширования из совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное декодирование, которое выполняется на первой стадии аудио декодера. Соответственно, многоканальное расширение полосы пропускания может применять это соотношение, которое может воспроизводится с хорошей точностью на первой стадии иерархического аудио декодера, так что достигается особенно хорошее впечатление от прослушивания.
В предпочтительном варианте осуществления первый сигнал понижающего микширования и второй сигнал понижающего микширования связаны с различными горизонтальными положениями (или азимутальными положениями) аудио сцены. Было обнаружено, что разграничение между собой с различными горизонтальными положениями (или азимутальными положениями) аудио особенно существенно, так как человеческая слуховая система особенно чувствительна по отношению к различным горизонтальным положениям. Соответственно, выгодно разделять между собой сигналы понижающего микширования, связанные с различными горизонтальными положениями аудио сцены, на первой стадии иерархического аудио декодера, потому что обработка на первой стадии иерархического аудио декодера обычно более точна, чем обработка на последующих стадиях. Кроме того, как следствие, первый канальный аудио сигнал и третий канальный аудио сигнал, которые используются совместно при (первом) многоканальном расширении полосы пропускания, связаны с различными горизонтальными положениями аудио сцены (потому что первый канальный аудио сигнал извлекается из первого сигнала понижающего микширования, а третий канальный аудио сигнал извлекается из второго сигнала понижающего микширования на второй стадии иерархического аудио декодера), что предоставляет возможность (первому) многоканальному расширению полосы пропускания хорошо настраиваться к человеческой способности различать различные горизонтальные положения. Точно так же (второе) многоканальное расширение полосы пропускания, которое выполняется на основе второго канального аудио сигнала и четвертого канального аудио сигнала, работает в канальными аудио сигналами, которые связаны с различными горизонтальными положениями аудио сцены, так что (второе) многоканальное расширение полосы пропускания может также хорошо настраиваться к психо-акустически важному соотношению между канальными аудио сигналами, связанными с различными горизонтальными положениями аудио сцены. Соответственно, может достигаться особенно хорошее впечатление от прослушивания.
В предпочтительном варианте осуществления первый сигнал понижающего микширования связан с левой стороной аудио сцены, а второй сигнал понижающего микширования связан с правой стороной аудио сцены. Следовательно, первый канальный аудио сигнал обычно также связан с левой стороной аудио сцены, а третий канальный аудио сигнал связан с правой стороной аудио сцены, так что (первое) многоканальное расширение полосы пропускания работает (предпочтительно совместно) с сигналами аудио канала от различных сторон аудио сцены и может поэтому хорошо настраиваться к человеческому восприятию «лево/право». То же самое также сохраняется для (второго) многоканального расширения полосы пропускания, которое работает на основе второго канального аудио сигнала и четвертого канального аудио сигнала.
В предпочтительном варианте осуществления первый канальный аудио сигнал и второй канальный аудио сигнал связаны с соседними по вертикали положениями аудио сцены. Точно так же третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны с соседними по вертикали положениями аудио сцены. Было обнаружено, что выгодно разделять между собой канальные аудио сигналы, связанными с соседними по вертикали положениями аудио сцены, на второй стадии иерархического аудио декодера. Кроме того, было обнаружено, что сигналы аудио канала обычно не сильно ухудшаются с помощью разделения между собой канальных аудио сигналов, связанных с соседними по вертикали положениями, так что входные сигналы к многоканальному расширению полосы пропускания все еще хорошо подходят для многоканального расширения полосы пропускания (например, расширения стерео диапазона).
В предпочтительном варианте осуществления первый канальный аудио сигнал и третий канальный аудио сигнал связаны с первой общей горизонтальной плоскостью (или первой общей высотой) аудио сцены, но с различными горизонтальными положениями (или азимутальными положениями) аудио сцены, а второй канальный аудио сигнал и четвертый канальный аудио сигнал связаны со второй общей горизонтальной плоскостью (или второй общей высотой) аудио сцены, но с различными горизонтальными положениями (или азимутальными положениями) аудио сцены. В этом случае первая общая горизонтальная плоскость (или высота) отличается от второй общей горизонтальной плоскости (или высоты). Было обнаружено, что многоканальное расширение полосы пропускания может выполняться с результатами особенно хорошего качества на основе двух канальных аудио сигналов, которые связаны с одной и той же горизонтальной плоскостью (или высотой).
В предпочтительном варианте осуществления первый канальный аудио сигнал и второй канальный аудио сигнал связаны с первой общей вертикальной плоскостью (или общим азимутальным положением) аудио сцены, но с различными вертикальными положениями (или высотой) аудио сцены. Точно так же третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны со второй общей вертикальной плоскостью (или общим азимутальным положением) аудио сцены, но с различными вертикальными положениями (или высотой) аудио сцены. В этом случае первая общая вертикальная плоскость (или азимутальное положение) предпочтительно отличается от второй общей вертикальной плоскости (или азимутального положения). Было обнаружено, что разбиение (или разделение) канальных аудио сигналов, связанных с общей вертикальной плоскостью (или азимутальным положением), может выполняться с хорошими результатами, используя вторую стадию иерархического аудио декодера, в то время как разделение (или разбиение) между собой канальных аудио сигналов, связанных с различными вертикальными плоскостями (или азимутальными положениями), может выполняться с высококачественными результатами, используя первую стадию иерархического аудио декодера.
В предпочтительном варианте осуществления первый канальный аудио сигнал и второй канальный аудио сигнал связаны с левой стороной аудио сцены, а третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны с правой стороной аудио сцены. Такая конфигурация предусматривает особенно хорошее многоканальное расширение полосы пропускания, которое использует соотношение между канальным аудио сигналом, связанным с левой стороной, и канальным аудио сигналом, связанным с правой стороной, и поэтому хорошо настраивается к человеческой способности различать звук, приходящий с левой стороны, и звук, приходящий с правой стороны.
В предпочтительном варианте осуществления первый канальный аудио сигнал и третий канальный аудио сигнал связаны с нижней частью аудио сцены, а второй канальный аудио сигнал и четвертый канальный аудио сигнал связаны с верхней частью аудио сцены. Было обнаружено, что такое пространственное распределение канальных аудио сигналов способствует особенно хорошим результатам прослушивания.
В предпочтительном варианте осуществления аудио декодер конфигурируется для выполнения горизонтального разбиения, обеспечивая первый сигнал понижающего микширования и второй сигнал понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное декодирование. Было обнаружено, что выполнение горизонтального разбиения на первой стадии иерархического аудио декодера приводит к особенно хорошему впечатлению от прослушивания, потому что обработка, выполняемая на первой стадии иерархического аудио декодера, может обычно выполняться с более высокой эффективностью, чем обработка, выполняемая на второй стадии иерархического аудио декодера. Кроме того, выполнение горизонтального разбиения на первой стадии аудио декодера приводит к хорошему впечатлению от прослушивания, потому что человеческая слуховая система более чувствительна по отношению к горизонтальному положению аудио объекта, по сравнению с вертикальным положением аудио объекта.
В предпочтительном варианте осуществления аудио декодер конфигурируется для выполнения вертикального разбиения, обеспечивая по меньшей мере первый канальный аудио сигнал и второй канальный аудио сигнал на основе первого сигнала понижающего микширования, используя многоканальное декодирование. Точно так же аудио декодер предпочтительно конфигурируется для выполнения вертикального разбиения, обеспечивая по меньшей мере третий канальный аудио сигнал и четвертый канальный аудио сигнал на основе второго сигнала понижающего микширования, используя многоканальное декодирование. Было обнаружено, что выполнение вертикального разбиения на второй стадии иерархического декодера способствует хорошему впечатлению от прослушивания, так как человеческая слуховая система не особенно чувствительна к вертикальному положению аудио источника (или аудио объекта).
В предпочтительном варианте осуществления аудио декодер конфигурируется для выполнения расширения стерео полосы пропускания (диапазона) на основе первого канального аудио сигнала и третьего канального аудио сигнала для обеспечения первого канального сигнала с расширенной полосой пропускания (диапазоном) и третьего канального сигнала с расширенным диапазоном, причем первый канальный аудио сигнал и третий канальный аудио сигнал представляют первую пару левого/правого каналов. Точно так же аудио декодер конфигурируется для выполнения расширения стерео диапазона на основе второго канального аудио сигнала и четвертого канального аудио сигнала для получения второго канального сигнала с расширенным диапазоном и четвертого канального сигнала с расширенным диапазоном, причем второй канальный аудио сигнал и четвертый канальный аудио сигнал представляют вторую пару левого/правого каналов. Было обнаружено, что расширение стерео диапазона приводит к особенно хорошему впечатлению от прослушивания, потому что расширение стерео диапазона может учитывать соотношение между левым стерео каналом и правым стерео каналом и выполнять расширение диапазона в зависимости от этого соотношения.
В предпочтительном варианте осуществления аудио декодер конфигурируется для обеспечения первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя основанное на предсказании многоканальное декодирование. Было обнаружено, что использование основанного на предсказании многоканального декодирования на первой стадии иерархического аудио декодера способствует хорошему компромиссу между скоростью передачи данных и качеством. Было обнаружено, что использование предсказания приводит к хорошему восстановлению различий между первым сигналом понижающего микширования и вторым сигналом понижающего микширования, что важно для различия «лево/право» аудио объекта.
Например, аудио декодер может конфигурироваться для оценки параметра предсказания, описывающего вклад компоненты сигнала, которая извлекается, используя компоненту сигнала предыдущего кадра, для обеспечения сигналов понижающего микширования текущего кадра. Соответственно, интенсивность вклада компоненты сигнала, которая извлекается, используя компоненту сигнала предыдущего кадра, может корректироваться на основе параметра, который включает в себя кодированное представление.
Например, основанное на предсказании многоканальное декодирование может функционировать в области MDCT, так что основанное на предсказании многоканальное декодирование может хорошо настраиваться и легко взаимодействовать со стадией аудио декодирования, которая обеспечивает входной сигнал к многоканальному декодированию, которое извлекает первый сигнал понижающего микширования и второй сигнал понижающего микширования. Предпочтительно, но не обязательно, основанное на предсказании многоканальное декодирование может быть USAC с комплексным стерео предсказанием, что облегчает воплощение аудио декодера.
В предпочтительном варианте осуществления аудио декодер конфигурируется для обеспечения первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя выполняемое с помощью разностного сигнала многоканальное декодирование. Использование выполняемого с помощью разностного сигнала многоканального декодирования предусматривает особенно точное восстановление первого сигнала понижающего микширования и второго сигнала понижающего микширования, что в свою очередь улучшает восприятие левого/правого положения на основе канальных аудио сигналов, и следовательно, на основе канальных сигналов с расширенным диапазоном.
В предпочтительном варианте осуществления аудио декодер конфигурируется для обеспечения по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала на основе первого сигнала понижающего микширования, используя основанное на параметре многоканальное декодирование. Кроме того, аудио декодер конфигурируется для обеспечения по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала на основе второго сигнала понижающего микширования, используя основанное на параметре многоканальное декодирование. Было обнаружено, что использование основанного на параметре многоканального декодирования хорошо подходит для второй стадии иерархического аудио декодера. Было обнаружено, что основанное на параметре многоканальное декодирование способствует хорошему компромиссу между качеством аудио и скоростью передачи данных. Даже при том, что качество воспроизведения основанного на параметре многоканального декодирования обычно не столь хорошо, как качество воспроизведения основанного на предсказании (и возможно, выполняемого с помощью разностного сигнала) многоканального декодирования, было обнаружено, что использование основанного на параметре многоканального декодирования обычно достаточно, так как человеческая слуховая система не особенно чувствительна к вертикальному положению (или высоте) аудио объекта, что предпочтительно определяется с помощью расширения (или разделения) между первым канальным аудио сигналом и вторым канальным аудио сигналом, или между третьим канальным аудио сигналом и четвертым канальным аудио сигналом.
В предпочтительном варианте осуществления основанное на параметре многоканальное декодирование конфигурируется для оценки одного или большего количества параметров, описывающих желательную корреляцию (или ковариацию) между двумя каналами и/или различия уровней между двумя каналами, для обеспечения двух или большего количества аудио канальных сигналов на основе соответствующего сигнала понижающего микширования. Было обнаружено, что использование таких параметров, которые описывают, например, желательную корреляцию между двумя каналами и/или различия уровней между двумя каналами, хорошо подходит для разбиения (или разделения) между собой первого канального аудио сигнала и второго канального аудио сигнала (которые обычно связаны с различными вертикальными положениями аудио сцены), и для разбиения (или разделения) между собой третьего канального аудио сигнала и четвертого канального аудио сигнала (которые также обычно связываются с различными вертикальными положениями).
Например, основанное на параметре многоканальное декодирование может функционировать в области QMF. Соответственно, основанное на параметре многоканальное декодирование может хорошо настраиваться и легко взаимодействовать с многоканальным расширением диапазона, которое может также предпочтительно - но не обязательно - работать в области QMF.
Например, основанное на параметре многоканальное декодирование может быть декодированием MPEG Surround 2-1-2 или унифицированным стерео декодированием. Использование таких концепций кодирования может облегчать воплощение, потому что эти концепции декодирования могут уже присутствовать в унаследованных аудио декодерах.
В предпочтительном варианте осуществления аудио декодер конфигурируется для обеспечения по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала на основе первого сигнала понижающего микширования, используя выполняемое с помощью разностного сигнала многоканальное декодирование. Кроме того аудио декодер может конфигурироваться для обеспечения по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала на основе второго сигнала понижающего микширования, используя выполняемое с помощью разностного сигнала многоканальное декодирование. С помощью использования выполняемого с помощью разностного сигнала многоканального декодирования качество аудио может даже улучшаться, так как разделение между первым канальным аудио сигналом и вторым аудио сигналом и/или разделение между третьим канальным аудио сигналом и четвертым канальным аудио сигналом может выполняться с особенно высоким качеством.
В предпочтительном варианте осуществления аудио декодер может конфигурироваться для обеспечения первого разностного сигнала, который используется для обеспечения по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала, и второго разностного сигнала, который используется для обеспечения по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала, на основе совместно кодированного представления первого разностного сигнала и второго разностного сигнала, используя многоканальное декодирование. Соответственно, концепция иерархического декодирования может расширяться на обеспечение двух разностных сигналов, один из которых используется для обеспечения первого канального аудио сигнала и второго канального аудио сигнала (но который обычно не используется для обеспечения третьего канального аудио сигнала и четвертого канального аудио сигнала) и один из которых используется для обеспечения третьего канального аудио сигнала и четвертого канального аудио сигнала (но предпочтительно не используется для обеспечения первого канального аудио сигнала и второго канального аудио сигнала).
В предпочтительном варианте осуществления первый разностный сигнал и второй разностный сигнал могут быть связаны с различными горизонтальными положениями (или азимутальными положениями) аудио сцены. Соответственно, обеспечение первого разностного сигнала и второго разностного сигнала, которое выполняется на первой стадии иерархического аудио декодера, может выполнять горизонтальное разбиение (или разделение), причем было обнаружено, что особенно хорошее горизонтальное разбиение (или разделение) может выполняться на первой стадии иерархического аудио декодера (по сравнению с обработкой, выполняемой на второй стадии иерархического аудио декодера). Соответственно, горизонтальное разделение, которое особенно важно для человека-слушателя, выполняется на первой стадии иерархического аудио декодирования, что обеспечивает особенно хорошее воспроизведение, так что может быть достигнуто хорошее впечатление от прослушивания.
В предпочтительном варианте осуществления первый разностный сигнал связан с левой стороной аудио сцены, а второй разностный сигнал связан с правой стороной аудио сцены, что соответствует человеческой позиционной чувствительности.
Вариант осуществления согласно изобретению создает аудио кодер для обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов. Аудио кодер конфигурируется для получения первого набора общих параметров расширения диапазона на основе первого канального аудио сигнала и третьего канального аудио сигнала. Аудио кодер также конфигурируется для получения второго набора общих параметров расширения диапазона на основе второго канального аудио сигнала и четвертого канального аудио сигнала. Аудио кодер конфигурируется для совместного кодирования по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала, используя многоканальное кодирование, для получения первого сигнала понижающего микширования, и для совместного кодирования по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала, используя многоканальное кодирование, для получения второго сигнала понижающего микширования. Кроме того, аудио кодер конфигурируется для совместного кодирования первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное кодирование, для получения кодированного представления сигналов понижающего микширования.
Этот вариант осуществления основан на идее, что первый набор общих параметров расширения диапазона должен получаться на основе канальных аудио сигналов, которые представлены с помощью различных сигналов понижающего микширования, которые совместно кодируются только на второй стадии иерархического аудио кодера. Параллельно со аудио декодером, обсуждаемым выше, соотношение между канальными аудио сигналами, которые объединяются только на второй стадии иерархического аудио кодирования, может воспроизводиться с особенно высокой точностью на стороне аудио декодера. Соответственно, было обнаружено, что два аудио сигнала, которые эффективно объединяются только на второй стадии иерархического кодера, хорошо подходят для получения набора общих параметров расширения диапазона, так как многоканальное расширение диапазона может лучше всего применяться к сигналам аудио канала, соотношение между которыми хорошо восстанавливается на стороне аудио декодера. Следовательно, было обнаружено, что лучше, с точки зрения достижения качества аудио, извлекать набор общих параметров расширения диапазона из таких канальных аудио сигналов, которые объединяются только на второй стадии иерархического аудио кодера, по сравнению с получением набора общих параметров расширения диапазона из таких канальных аудио сигналов, которые объединяются на первой стадии иерархического аудио кодера. Однако, было также обнаружено, что лучшее качество аудио может получаться с помощью извлечения наборов общих параметров расширения диапазона из канальных аудио сигналов перед совместным кодированием на первой стадии иерархического аудио кодера.
В предпочтительном варианте осуществления первый сигнал понижающего микширования и второй сигнал понижающего микширования связаны с различными горизонтальными положениями (или азимутальными положениями) аудио сцены. Эта концепция основана на идее, что лучшее впечатление от прослушивания может достигаться, если сигналы, которые связаны с различными горизонтальными положениями, совместно кодируются только на второй стадии иерархического аудио кодера.
В предпочтительном варианте осуществления первый сигнал понижающего микширования связан с левой стороной аудио сцены, а второй сигнал понижающего микширования связан с правой стороной аудио сцены. Таким образом, такие многоканальные сигналы, которые связаны с различными сторонами аудио сцены, используются для обеспечения наборов общих параметров расширения диапазона. Следовательно, наборы общих параметров расширения диапазона хорошо настраиваются к возможности человека различать аудио источники с различных сторон.
В предпочтительном варианте осуществления первый канальный аудио сигнал и второй канальный аудио сигнал связаны с соседними по вертикали положениями аудио сцены. Кроме того, третий канальный аудио сигнал и четвертый канальный аудио сигнал также связаны с соседними по вертикали положениями аудио сцены. Было обнаружено, что хорошее впечатление от прослушивания может получаться, если канальные аудио сигналы, которые связаны с соседними по вертикали положениями аудио сцены, совместно кодируются на первой стадии иерархического кодера, хотя лучше извлекать наборы общих параметров расширения диапазона из канальных аудио сигналов, которые не связаны с соседними по вертикали положениями (но которые связаны с различными горизонтальными положениями или различными азимутальными положениями).
В предпочтительном варианте осуществления первый канальный аудио сигнал и третий канальный аудио сигнал связаны с первой общей горизонтальной плоскостью (или первой общей высотой) аудио сцены, но с различными горизонтальными положениями (или азимутальными положениями) аудио сцены, а второй канальный аудио сигнал и четвертый канальный аудио сигнал связаны со второй общей горизонтальной плоскостью (или второй общей высотой) аудио сцены, но с различными горизонтальными положениями (или азимутальными положениями) аудио сцены, причем первая горизонтальная плоскость отличается от второй горизонтальной плоскости. Было обнаружено, что особенно хорошие результаты аудио кодирования (и, следовательно, результаты аудио декодирования) могут достигаться, используя такую пространственную связь канальных аудио сигналов.
В предпочтительном варианте осуществления первый канальный аудио сигнал и второй канальный аудио сигнал связаны с первой вертикальной плоскостью (или первым азимутальным положением) аудио сцены, но с различными вертикальными положениями (или различными высотами) аудио сцены. Кроме того, третий канальный аудио сигнал и четвертый канальный аудио сигнал предпочтительно связаны со второй вертикальной плоскостью (или вторым азимутальным положением) аудио сцены, но с различными вертикальными положениями (или различными высотами) аудио сцены, причем первая общая вертикальная плоскость отличается от второй общей вертикальной плоскости. Было обнаружено, что такая пространственная связь канальных аудио сигналов приводит к хорошему качеству аудио кодирования.
В предпочтительном варианте осуществления первый канальный аудио сигнал и второй канальный аудио сигнал связаны с левой стороной аудио сцены, а третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны с правой стороной аудио сцены. Следовательно, хорошее впечатление от прослушивания может достигаться, в то время как декодирование обычно является эффективным с точки зрения скорости передачи данных.
В предпочтительном варианте осуществления первый канальный аудио сигнал и третий канальный аудио сигнал связаны с нижней частью аудио сцены, а второй канальный аудио сигнал и четвертый канальный аудио сигнал связаны с верхней частью аудио сцены. Эта структура также помогает получать эффективное аудио кодирование с хорошим впечатлением от прослушивания.
В предпочтительном варианте осуществления аудио кодер конфигурируется для выполнения горизонтального объединения, обеспечивая кодированное представление сигналов понижающего микширования на основе первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное кодирование. Параллельно с приведенными выше объяснениями, сделанными по отношению к аудио декодеру, было обнаружено, что особенно хорошее впечатление от прослушивания может получаться, если горизонтальное объединение выполняется на второй стадии аудио кодера (по сравнению с первой стадией аудио кодера), так как горизонтальное положение аудио объекта имеет особенно высокое значение для слушателя, и так как вторая стадия иерархического аудио кодера обычно соответствует первой стадии иерархического аудио декодера, описанного выше.
В предпочтительном варианте осуществления аудио кодер конфигурируется для выполнения вертикального объединение, обеспечивая первый сигнал понижающего микширования на основе первого канального аудио сигнала и второго канального аудио сигнала, используя многоканальное декодирование. Кроме того, аудио декодер предпочтительно конфигурируется для выполнения вертикального объединения, обеспечивая второй сигнал понижающего микширования на основе третьего канального аудио сигнала и четвертого канального аудио сигнала. Соответственно, вертикальное объединение выполняется на первой стадии аудио кодера. Это выгодно, так как вертикальное положение аудио объекта обычно не столь важно для человека-слушателя, как горизонтальное положение аудио объекта, так что ухудшение воспроизведения, которое вызывается иерархическим кодированием (и, следовательно, иерархическим декодированием), может сохраняться разумно небольшим.
В предпочтительном варианте осуществления аудио кодер конфигурируется для обеспечения совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя основанное на предсказании многоканальное кодирование. Было обнаружено, что такое основанное на предсказании многоканальное кодирование хорошо подходит для совместного кодирования, которое выполняется на второй стадии иерархического кодера. Ссылка делается на приведенные выше объяснения по отношению к аудио декодеру, которые также применяются в данной работе параллельным образом.
В предпочтительном варианте осуществления параметр предсказания, описывающий вклад компоненты сигнала, которая извлекается, используя компоненту сигнала предыдущего кадра, для обеспечения сигнала понижающего микширования текущего кадра, обеспечивается, используя основанное на предсказании многоканальное кодирование. Соответственно, хорошее восстановление сигнала может достигаться на той стороне аудио кодера, которая применяет этот параметр предсказания, описывающий вклад компоненты сигнала, которая извлекается, используя компоненту сигнала предыдущего кадра, для обеспечения сигнала понижающего микширования текущего кадра.
В предпочтительном варианте осуществления основанное на предсказании многоканальное кодирование функционирует в области MDCT. Соответственно, основанное на предсказании многоканальное кодирование хорошо настраивается к окончательному кодированию выходного сигнала основанного на предсказании многоканального кодирования (например, общего сигнала понижающего микширования), причем это окончательное кодирование обычно выполняется в области MDCT для сохранения блокирующих дефектов разумно небольшими.
В предпочтительном варианте осуществления основанным на предсказании многоканальным кодированием является кодирование USAC с комплексным стерео предсказанием. Использование кодирования USAC с комплексным стерео предсказанием облегчает воплощение, поскольку существующее оборудование и/или код программы могут легко многократно использоваться для воплощения иерархического аудио кодера.
В предпочтительном варианте осуществления аудио кодер конфигурируется для обеспечения совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя выполняемое с помощью разностного сигнала многоканальное кодирование. Соответственно, особенно хорошее качество воспроизведения может достигаться на стороне аудио декодера.
В предпочтительном варианте осуществления аудио кодер конфигурируется для обеспечения первого сигнала понижающего микширования на основе первого канального аудио сигнала и второго канального аудио сигнала, используя основанное на параметре многоканальное кодирование. Кроме того, аудио кодер конфигурируется для извлечения второго сигнала понижающего микширования на основе третьего канального аудио сигнала и четвертого канального аудио сигнала, используя основанное на параметре многоканальное кодирование. Было обнаружено, что использование основанного на параметре многоканального кодирования обеспечивает хороший компромисс между качеством воспроизведения и скоростью передачи данных, когда оно применяется на первой стадии иерархического аудио кодера.
В предпочтительном варианте осуществления основанное на параметре многоканальное кодирование конфигурируется для обеспечения одного или большего количества параметров, описывающих желательную корреляцию между двумя каналами и/или различие уровней между двумя каналами. Соответственно, эффективное кодирование с умеренной скоростью передачи данных возможно без значительного ухудшения качества аудио.
В предпочтительном варианте осуществления основанное на параметре многоканальное кодирование функционирует в области QMF, которая хорошо настраивается к предварительной обработке, которая может выполняться с канальными аудио сигналами.
В предпочтительном варианте осуществления основанным на параметре многоканальным кодированием является кодирование MPEG surround 2-1-2 или унифицированное стерео кодирование. Использование таких концепций кодирования может значительно уменьшать усилия по воплощению.
В предпочтительном варианте осуществления аудио кодер конфигурируется для обеспечения первого сигнала понижающего микширования на основе первого канального аудио сигнала и второго канального аудио сигнала, используя выполняемое с помощью разностного сигнала многоканальное кодирование. Кроме того, аудио кодер может конфигурироваться для обеспечения второго сигнала понижающего микширования на основе третьего канального аудио сигнала и четвертого канального аудио сигнала, используя выполняемое с помощью разностного сигнала многоканальное кодирование. Соответственно, возможно получать даже лучшее качество аудио.
В предпочтительном варианте осуществления аудио кодер конфигурируется для обеспечения совместно кодированного представления первого разностного сигнала, который получается с помощью совместного кодирования по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала, и второго разностного сигнала, который получается с помощью совместного кодирования по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала, используя многоканальное кодирование. Было обнаружено, что концепция иерархического кодирования может применяться даже к разностным сигналам, которые обеспечиваются на первой стадии иерархического аудио кодирования. С помощью использования совместного кодирования разностных сигналов могут применяться взаимозависимости (или корреляции) между канальными аудио сигналами, потому что эти взаимозависимости (или корреляции) обычно также отражаются в разностных сигналах.
В предпочтительном варианте осуществления первый разностный сигнал и второй разностный сигнал связаны с различными горизонтальными положениями (или азимутальными положениями) аудио сцены. Соответственно, взаимозависимости между разностными сигналами могут кодироваться с хорошей точностью на второй стадии иерархического кодирования. Это предусматривает воспроизведение взаимозависимостей (или корреляции) между различными горизонтальными положениями (или азимутальными положениями) с хорошим впечатлением от прослушивания на стороне аудио декодера.
В предпочтительном варианте осуществления первый разностный сигнал связан с левой стороной аудио сцены, а второй разностный сигнал связан с правой стороной аудио сцены. Соответственно, совместное кодирование первого разностного сигнала и второго разностного сигнала, которые связаны с различными горизонтальными положениями (или азимутальными положениями) аудио сцены, выполняется на второй стадии аудио кодера, что предусматривает высококачественное воспроизведение на стороне аудио декодера.
Предпочтительный вариант осуществления согласно изобретению создает способ обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления. Способ содержит обеспечение первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя (первое) многоканальное декодирование. Способ также содержит обеспечение по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала на основе первого сигнала понижающего микширования, используя (второе) многоканальное декодирование, и обеспечение по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала на основе второго сигнала понижающего микширования, используя (третье) многоканальное декодирование. Способ также содержит выполнение (первого) многоканального расширения диапазона на основе первого канального аудио сигнала и третьего канального аудио сигнала для получения первого канального сигнала с расширенным диапазоном и третьего канального сигнала с расширенным диапазоном. Способ также содержит выполнение (второго) многоканального расширения диапазона на основе второго канального аудио сигнала и четвертого канального аудио сигнала с расширенным диапазоном для получения второго канального сигнала с расширенным диапазоном. Этот способ основан на тех же самых рассмотрениях, как аудио декодер, описанный выше.
Предпочтительный вариант осуществления согласно изобретению создает способ обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов. Способ содержит получение первого набора общих параметров расширения диапазона на основе первого канального аудио сигнала и третьего канального аудио сигнала. Способ также содержит получение второго набора общих параметров расширения диапазона на основе второго канального аудио сигнала и четвертого канального аудио сигнала. Способ дополнительно содержит совместное кодирование по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала, используя многоканальное кодирование, для получения первого сигнала понижающего микширования, и совместное кодирование по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала, используя многоканальное кодирование, для получения второго сигнала понижающего микширования. Способ дополнительно содержит совместное кодирование первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное кодирование, для получения кодированного представления сигналов понижающего микширования. Этот способ основан на тех же самых рассмотрениях, как аудио кодер, описанный выше.
Дополнительные варианты осуществления согласно изобретению создают компьютерные программы для выполнения способов, упомянутых в данной работе.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Варианты осуществления согласно настоящему изобретению будут впоследствии описаны, ссылаясь на прилагаемые чертежи, на которых:
фиг. 1 показывает структурную схему аудио кодера согласно варианту осуществления настоящего изобретения;
фиг. 2 показывает структурную схему аудио декодера согласно варианту осуществления настоящего изобретения;
фиг. 3 показывает структурную схему аудио декодера согласно другому варианту осуществления настоящего изобретения;
фиг. 4 показывает структурную схему аудио кодера согласно варианту осуществления настоящего изобретения;
фиг. 5 показывает структурную схему аудио декодера согласно варианту осуществления настоящего изобретения;
фиг. 6 показывает структурную схему аудио декодера согласно другому варианту осуществления настоящего изобретения;
фиг. 7 показывает последовательность операций способа обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов согласно варианту осуществления настоящего изобретения;
фиг. 8 показывает последовательность операций способа обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления согласно варианту осуществления изобретения;
фиг. 9 показывает последовательность операций способа обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов согласно варианту осуществления изобретения; и
фиг. 10 показывает последовательность операций способа обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления согласно варианту осуществления изобретения;
фиг. 11 показывает структурную схему аудио кодера согласно варианту осуществления изобретения;
фиг. 12 показывает структурную схему аудио кодера согласно другому варианту осуществления изобретения;
фиг. 13 показывает структурную схему аудио декодера согласно варианту осуществления изобретения;
фиг. 14a показывает синтаксическое представление битового потока, который может использоваться с аудио кодером согласно фиг. 13;
фиг. 14b показывает табличное представление различных значений параметра qceIndex;
фиг. 15 показывает структурную схему трехмерного аудио кодера, в котором могут использоваться концепции согласно настоящему изобретению;
фиг. 16 показывает структурную схему трехмерного аудио декодера, в котором могут использоваться концепции согласно настоящему изобретению; и
фиг. 17 показывает структурную схему конвертера формата.
фиг. 18 показывает графическое представление топологической структуры элемента четырех каналов (QCE) согласно варианту осуществления настоящего изобретения;
фиг. 19 показывает структурную схему аудио декодера согласно варианту осуществления настоящего изобретения;
фиг. 20 показывает подробную структурную схему декодера QCE согласно варианту осуществления настоящего изобретения; и
фиг. 21 показывает подробную структурную схему кодера четырех каналов согласно варианту осуществления настоящего изобретения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
1. Аудио кодер согласно фиг. 1
Фиг. 1 показывает структурную схему аудио кодера, который определяется полностью с помощью 100. Аудио кодер 100 конфигурируется для обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов. Аудио кодер 100 конфигурируется для приема первого канального аудио сигнала 110, второго канального аудио сигнала 112, третьего канального аудио сигнала 114 и четвертого канального аудио сигнала 116. Кроме того, аудио кодер 100 конфигурируется для обеспечения кодированного представления первого сигнала 120 понижающего микширования и второго сигнала 122 понижающего микширования, а так же совместно кодированного представления 130 разностных сигналов. Аудио кодер 100 содержит выполняемый с помощью разностного сигнала многоканальный кодер 140, который конфигурируется для совместного кодирования первого канального аудио сигнала 110 и второго канального аудио сигнала 112, используя выполняемое с помощью разностного сигнала многоканальное кодирование, для получения первого сигнала 120 понижающего микширования и первого разностного сигнала 142. Кодер 100 аудио сигнала также содержит выполняемый с помощью разностного сигнала многоканальный кодер 150, который конфигурируется для совместного кодирования по меньшей мере третьего канального аудио сигнала 114 и четвертого канального аудио сигнала 116, используя выполняемое с помощью разностного сигнала многоканальное кодирование, для получения второго сигнала 122 понижающего микширования и второго разностного сигнала 152. Аудио декодер 100 также содержит многоканальный кодер 160, который конфигурируется для совместного кодирования первого разностного сигнала 142 и второго разностного сигнала 152, используя многоканальное кодирование, для получения совместно кодированного представления 130 из разностных сигналов 142, 152.
Что касается функциональных возможностей аудио кодера 100, нужно отметить, что аудио кодер 100 выполняет иерархическое кодирование, причем первый канальный аудио сигнал 110 и второй канальный аудио сигнал 112 совместно кодируются, используя выполняемое с помощью разностного сигнала многоканальное кодирование 140, причем обеспечиваются и первый сигнал 120 понижающего микширования, и первый разностный сигнал 142. Первый разностный сигнал 142 может, например, описывать различия между первым канальным аудио сигналом 110 и вторым канальным аудио сигналом 112, и/или может описывать некоторые или любые особенности сигнала, которые не могут быть представлены с помощью первого сигнала 120 понижающего микширования, и опциональные параметры, которые могут обеспечиваться с помощью выполняемого с помощью разностного сигнала многоканального кодера 140. Другими словами, первый разностный сигнал 142 может быть разностным сигналом, который предусматривает улучшение результата декодирования, который может получаться на основе первого сигнала 120 понижающего микширования, и любые возможные параметры, которые могут обеспечиваться с помощью выполняемого с помощью разностного сигнала многоканального кодера 140. Например, первый разностный сигнал 142 может предусматривать по меньшей мере частичное восстановление формы колебательного сигнала для первого канального аудио сигнала 110 и второго канального аудио сигнала 112 на стороне аудио декодера по сравнению с простым восстановлением высокоуровневых характеристик сигнала (как, например, характеристик корреляции, характеристик ковариации, характеристик различия уровней и т.п.). Точно так же выполняемый с помощью разностного сигнала многоканальный кодер 150 обеспечивает и второй сигнал 122 понижающего микширования, и второй разностный сигнал 152 на основе третьего канального аудио сигнала 114 и четвертого канального аудио сигнала 116, так что второй разностный сигнал предусматривает улучшение восстановления третьего канального аудио сигнала 114 и четвертого канального аудио сигнала 116 на стороне аудио декодера. Второй разностный сигнал 152 может, следовательно, выполнять те же самые функциональные возможности, как первый разностный сигнал 142. Однако, если канальные аудио сигналы 110, 112, 114, 116 содержат некоторую корреляцию, то первый разностный сигнал 142 и второй разностный сигнал 152 обычно также коррелируются до некоторой степени. Соответственно, совместное кодирование первого разностного сигнала 142 и второго разностного сигнала 152, используя многоканальный кодер 160, обычно содержит высокую эффективность, поскольку многоканальное кодирование коррелированных сигналов обычно уменьшает скорость передачи битов с помощью применения взаимозависимостей. Следовательно, первый разностный сигнал 142 и второй разностный сигнал 152 могут кодироваться с хорошей точностью, сохраняя скорость передачи битов совместно кодированного представления 130 разностных сигналов довольно небольшой.
Подводя итог, вариант осуществления согласно фиг. 1 обеспечивает иерархическое многоканальное кодирование, причем хорошее качество воспроизведения может быть достигнуто при использовании выполняемых с помощью разностного сигнала многоканальных кодеров 140, 150, и причем требование к скорости передачи битов может сохраняться умеренным с помощью совместного кодирования первого разностного сигнала 142 и второго разностного сигнала 152.
Возможно дополнительное опциональное усовершенствование аудио кодера 100. Некоторые из этих усовершенствований будут описаны, ссылаясь на фиг. 4, 11 и 12. Однако, нужно отметить, что аудио кодер 100 может также настраиваться параллельно со аудиои декодерами, описанными в данной работе, причем функциональные возможности аудио кодера являются обычно обратными к функциональным возможностям аудио декодера.
2. Аудио декодер согласно фиг. 2
Фиг. 2 показывает структурную схему аудио декодера, который определяется полностью с помощью 200.
Аудио декодер 200 конфигурируется для приема кодированного представления, которое содержит совместно кодированное представление 210 первого разностного сигнала и второго разностного сигнала. Аудио декодер 200 также принимает представление первого сигнала 212 понижающего микширования и второго сигнала 214 понижающего микширования. Аудио декодер 200 конфигурируется для обеспечения первого канального аудио сигнала 220, второго канального аудио сигнала 222, третьего канального аудио сигнала 224 и четвертого канального аудио сигнала 226.
Аудио декодер 200 содержит многоканальный декодер 230, который конфигурируется для обеспечения первого разностного сигнала 232 и второго разностного сигнала 234 на основе совместно кодированного представления 210 первого разностного сигнала 232 и второго разностного сигнала 234. Аудио декодер 200 также содержит (первый) выполняемый с помощью разностного сигнала многоканальный декодер 240, который конфигурируется для обеспечения первого канального аудио сигнала 220 и второго канального аудио сигнала 222 на основе первого сигнала 212 понижающего микширования и первого разностного сигнала 232, используя многоканальное декодирование. Аудио декодер 200 также содержит (второй) выполняемый с помощью разностного сигнала многоканальный декодер 250, который конфигурируется для обеспечения третьего канального аудио сигнала 224 и четвертого канального аудио сигнала 226 на основе второго сигнала 214 понижающего микширования и второго разностного сигнала 234.
Что касается функциональных возможностей аудио декодера 200, нужно отметить, что декодер 200 аудио сигнала обеспечивает первый канальный аудио сигнал 220 и второй канальный аудио сигнал 222 на основе (первого) обычного выполняемого с помощью разностного сигнала многоканального декодирования 240, причем качество многоканального декодирования повышается с помощью первого разностного сигнала 232 (по сравнению с декодированием, выполняемым без помощи разностного сигнала). Другими словами, первый сигнал 212 понижающего микширования предоставляет «грубую» информацию о первом канальном аудио сигнале 220 и втором канальном аудио сигнале 222, причем, например, различия между первым канальным аудио сигналом 220 и вторым канальным аудио сигналом 222 могут описываться с помощью (опциональных) параметров, которые могут приниматься с помощью выполняемого с помощью разностного сигнала многоканального декодера 240 и с помощью первого разностного сигнала 232. Следовательно, первый разностный сигнал 232 может, например, предусматривать частичное восстановление формы колебательного сигнала для первого канального аудио сигнала 220 и второго канального аудио сигнала 222.
Точно так же (второй) выполняемый с помощью разностного сигнала многоканальный декодер 250 обеспечивает третий канальный аудио сигнал 224 в четвертом канальном аудио сигнале 226 на основе второго сигнала 214 понижающего микширования, причем второй сигнал 214 понижающего микширования может, например, «грубо» описывать третий канальный аудио сигнал 224 и четвертый канальный аудио сигнал 226. Кроме того, различия между третьим канальным аудио сигналом 224 и четвертым канальным аудио сигналом 226 могут, например, описываться с помощью (опциональных) параметров, которые могут приниматься с помощью (второго) выполняемого с помощью разностного сигнала многоканального декодера 250 и с помощью второго разностного сигнала 234. Соответственно, оценка второго разностного сигнала 234 может, например, предусматривать частичное восстановление формы колебательного сигнала для третьего канального аудио сигнала 224 и четвертого канального аудио сигнала 226. Соответственно, второй разностный сигнал 234 может предусматривать улучшение качества восстановления третьего канального аудио сигнала 224 и четвертого канального аудио сигнала 226.
Однако, первый разностный сигнал 232 и второй разностный сигнал 234 извлекаются из совместно кодированного представления 210 первого разностного сигнала и второго разностного сигнала. Такое многоканальное декодирование, которое выполняется с помощью многоканального декодера 230, предоставляет возможность высоко эффективного декодирования, поскольку первый канальный аудио сигнал 220, второй канальный аудио сигнал 222, третий канальный аудио сигнал 224 и четвертый канальный аудио сигнал 226 являются обычно аналогичными или «коррелированными». Соответственно, первый разностный сигнал 232 и второй разностный сигнал 234 обычно также являются аналогичными или «коррелированными», что может применяться с помощью извлечения первого разностного сигнала 232 и второго разностного сигнала 234 из совместно кодированного представления 210, используя многоканальное декодирование.
Следовательно, возможно получать высокое качество декодирования с умеренной скоростью передачи битов с помощью декодирования разностных сигналов 232, 234 на основе их совместно кодированного представления 210, и с помощью использования каждого из разностных сигналов для декодирования двух или большего количества канальных аудио сигналов.
Завершая, аудио декодер 200 предусматривает высоко эффективное кодирование, обеспечивая высококачественные аудио канальные сигналы 220, 222, 224, 226.
Нужно отметить, что дополнительные особенности и функциональные возможности, которые могут воплощаться опционально в аудио декодере 200, будут описаны впоследствии, ссылаясь на фиг. 3, 5, 6 и 13. Однако, нужно отметить, что аудио кодер 200 может содержать вышеупомянутые преимущества без какой-либо дополнительной модификации.
3. Аудио декодер согласно фиг. 3
Фиг. 3 показывает структурную схему аудио декодера согласно другому варианту осуществления настоящего изобретения. Аудио декодер на фиг. 3 определяется полностью с помощью 300. Аудио декодер 300 аналогичен аудио декодеру 200 согласно фиг. 2, так что приведенные выше объяснения также применяются. Однако, аудио декодер 300 дополнен дополнительными особенностями и функциональными возможностями по сравнению со аудио декодером 200, как будет объяснено в последующем.
Аудио декодер 300 конфигурируется для приема совместно кодированного представления 310 первого разностного сигнала и второго разностного сигнала. Кроме того, аудио декодер 300 конфигурируется для приема совместно кодированного представления 360 первого сигнала понижающего микширования и второго сигнала понижающего микширования. Кроме того, аудио декодер 300 конфигурируется для обеспечения первого канального аудио сигнала 320, второго канального аудио сигнала 322, третьего канального аудио сигнала 324 и четвертого канального аудио сигнала 326. Аудио декодер 300 содержит многоканальный декодер 330, который конфигурируется для приема совместно кодированного представления 310 первого разностного сигнала и второго разностного сигнала и обеспечения, на основе этого, первого разностного сигнала 332 и второго разностного сигнала 334. Аудио декодер 300 также содержит (первое) выполняемое с помощью разностного сигнала многоканальное декодирование 340, которое принимает первый разностный сигнал 332 и первый сигнал 312 понижающего микширования и обеспечивает первый канальный аудио сигнал 320 и второй канальный аудио сигнал 322. Аудио декодер 300 также содержит (второе) выполняемое с помощью разностного сигнала многоканальное декодирование 350, которое конфигурируется для приема второго разностного сигнала 334 и второго сигнала 314 понижающего микширования и обеспечения третьего канального аудио сигнала 324 и четвертого канального аудио сигнала 326.
Аудио декодер 300 также содержит другой многоканальный декодер 370, который конфигурируется для приема совместно кодированного представления 360 первого сигнала понижающего микширования и второго сигнала понижающего микширования, и обеспечения, на основе этого, первого сигнала 312 понижающего микширования и второго сигнала 314 понижающего микширования.
В последующем будут описаны некоторые конкретные дополнительные подробности аудио декодера 300. Однако, нужно отметить, что фактический аудио декодер не должен воплощать комбинацию всех этих дополнительных особенностей и функциональных возможностей. Вместо этого особенности и функциональные возможности, описанные в последующем, могут отдельно добавляться к аудио декодеру 200 (или к любому другому аудио декодеру) для постепенного улучшения аудио декодера 200 (или любого другого аудио декодера).
В предпочтительном варианте осуществления аудио декодер 300 принимает совместно кодированное представление 310 первого разностного сигнала и второго разностного сигнала, причем это совместно кодированное представление 310 может содержать сигнал понижающего микширования первого разностного сигнала 332 и второго разностного сигнала 334, и общий разностный сигнал первого разностного сигнала 332 и второго разностного сигнала 334. Кроме того, совместно кодированное представление 310 может, например, содержать один или большее количество параметров предсказания. Соответственно, многоканальный декодер 330 может быть основанным на предсказании, выполняемым с помощью разностного сигнала многоканальным декодером. Например, многоканальный декодер 330 может быть декодером USAC с комплексным стерео предсказанием, как описано, например, в разделе «Complex Stereo Prediction» международного стандарта 23003-3:2012 ISO/IEC. Например, многоканальный декодер 330 может конфигурироваться для оценки параметра предсказания, описывающего вклад компоненты сигнала, которая извлекается, используя компоненту сигнала из предыдущего кадра, для обеспечения первого разностного сигнала 332 и второго разностного сигнала 334 для текущего кадра. Кроме того, многоканальный декодер 330 может конфигурироваться для применения общего разностного сигнала (который включает в себя совместно кодированное представление 310) с первым знаком для получения первого разностного сигнала 332, и применения общего разностного сигнала (который включает в себя совместно кодированное представление 310) со вторым знаком, который является обратным к первому знаку, для получения второго разностного сигнала 334. Таким образом, общий разностный сигнал может, по меньшей мере частично, описывать различия между первым разностным сигналом 332 и вторым разностным сигналом 334. Однако, многоканальный декодер 330 может оценивать сигнал понижающего микширования, общий разностный сигнал и один или большее количество параметров предсказания, которые все включает в себя совместно кодированное представление 310, для получения первого разностного сигнала 332 и второго разностного сигнала 334, как описано в вышеупомянутом международном стандарте 23003-3:2012 ISO/IEC. Кроме того, нужно отметить, что первый разностный сигнал 332 может быть связан с первым горизонтальным положением (или с азимутальным положением), например, с левым горизонтальным положением, и что второй разностный сигнал 334 может быть связан со вторым горизонтальным положением (или с азимутальным положением), например, с правым горизонтальным положением, аудио сцены.
Совместно кодированное представление 360 первого сигнала понижающего микширования и второго сигнала понижающего микширования предпочтительно содержит сигнал понижающего микширования первого сигнала понижающего микширования и второго сигнала понижающего микширования, общий разностный сигнал первого сигнала понижающего микширования и второго сигнала понижающего микширования, и один или большее количество параметров предсказания. Другими словами, есть «общий» сигнал понижающего микширования, в который понижающе микшируют первый сигнал 312 понижающего микширования и второй сигнал 314 понижающего микширования, и есть «общий» разностный сигнал, который может описывать, по меньшей мере частично, различия между первым сигналом 312 понижающего микширования и вторым сигналом 314 понижающего микширования. Многоканальный декодер 370 является предпочтительно основанным на предсказании выполняемым с помощью разностного сигнала многоканальным декодером, например, декодером USAC с комплексным стерео предсказанием. Другими словами, многоканальный декодер 370, который обеспечивает первый сигнал 312 понижающего микширования и второй сигнал 314 понижающего микширования, может быть по существу идентичным многоканальному декодеру 330, который обеспечивает первый разностный сигнал 332 и второй разностный сигнал 334, так что приведенные выше объяснения и ссылки также применяются. Кроме того, нужно отметить, что первый сигнал 312 понижающего микширования предпочтительно связан с первым горизонтальным положением или азимутальным положением (например, с левым горизонтальным положением или азимутальным положением) аудио сцены, и что второй сигнал 314 понижающего микширования предпочтительно связан со вторым горизонтальным положением или азимутальным положением (например, с правым горизонтальным положением или азимутальным положением) аудио сцены. Соответственно, первый сигнал 312 понижающего микширования и первый разностный сигнал 332 могут быть связаны с тем же самым первым горизонтальным положением или азимутальным положением (например, с левым горизонтальным положением), а второй сигнал 314 понижающего микширования и второй разностный сигнал 334 могут быть связаны с тем же самым вторым горизонтальным положением или азимутальным положением (например, с правым горизонтальным положением). Соответственно, и многоканальный декодер 370, и многоканальный декодер 330 могут выполнять горизонтальное разбиение (или горизонтальное разделение, или горизонтальное распределение).
Выполняемый с помощью разностного сигнала многоканальный декодер 340 может предпочтительно быть основан на параметре, и может, следовательно, принимать один или большее количество параметров 342, описывающих желательную корреляцию между двумя каналами (например, между первым канальным аудио сигналом 320 и вторым канальным аудио сигналом 322), и/или различия уровней между указанными двумя каналами. Например, выполняемое с помощью разностного сигнала многоканальное декодирование 340 может быть основано на кодировании MPEG surround (как описано, например, в ISO/IEC 23003-1:2007) с расширенным разностным сигналом или на декодере «унифицированного стерео декодирования» (как описано, например, в ISO/IEC 23003-3, глава 7.11 ((Decoder) & Annex B.21 (Description of the Encoder & Definition of the Term «Unified Stereo»)). Соответственно, выполняемый с помощью разностного сигнала многоканальный декодер 340 может обеспечивать первый канальный аудио сигнал 320 и второй канальный аудио сигнал 322, причем первый канальный аудио сигнал 320 и второй канальный аудио сигнал 322 связаны с соседними по вертикали положениями аудио сцены. Например, первый канальный аудио сигнал может быть связан с нижним левым положением аудио сцены, а второй канальный аудио сигнал может быть связан с верхним левым положением аудио сцены (таким образом, чтобы первый канальный аудио сигнал 320 и второй канальный аудио сигнал 322 были, например, связаны с идентичными горизонтальными положениями или азимутальными положениями аудио сцены, или с азимутальными положениями, отделенными не больше, чем на 30 градусов). Другими словами, выполняемый с помощью разностного сигнала многоканальный декодер 340 может выполнять вертикальное разбиение (или распределение, или разделение).
Функциональные возможности выполняемого с помощью разностного сигнала многоканального декодера 350 могут быть идентичными функциональным возможностям выполняемого с помощью разностного сигнала многоканального декодера 340, причем третий канальный аудио сигнал может, например, быть связан с нижним правым положением аудио сцены, и причем четвертый канальный аудио сигнал может, например, быть связан с верхним правым положением аудио сцены. Другими словами, третий канальный аудио сигнал и четвертый канальный аудио сигнал могут быть связаны с соседними по вертикали положениями аудио сцены, и могут быть связаны с тем же самым горизонтальным положением или азимутальным положением аудио сцены, причем выполняемый с помощью разностного сигнала многоканальный декодер 350 выполняет вертикальное разбиение (или разделение, или распределение).
Подводя итог, аудио декодер 300 согласно фиг. 3 выполняет иерархическое аудио декодирование, причем разбиение «лево/право» выполняется на первых стадиях (многоканальный декодер 330, многоканальный декодер 370), и причем разбиение «верх/низ» выполняется на второй стадии (выполняемые с помощью разностного сигнала многоканальные декодеры 340, 350). Кроме того, разностные сигналы 332, 334 также кодируются, используя совместно кодированное представление 310, а так же сигналы 312, 314 понижающего микширования (совместно кодированное представление 360). Таким образом, корреляция между различными каналами применяется и для кодирования (и для декодирования) сигналов 312, 314 понижающего микширования, и для кодирования (и для декодирования) разностных сигналов 332, 334. Соответственно, достигается высокая эффективность кодирования, и корреляция между сигналами хорошо применяется.
4. Аудио кодер согласно фиг. 4
Фиг. 4 показывает структурную схему аудио кодера согласно другому варианту осуществления настоящего изобретения. Аудио кодер согласно фиг. 4 определяется полностью с помощью 400. Аудио кодер 400 конфигурируется для приема четырех канальных аудио сигналов, а именно, первого канального аудио сигнала 410, второго канального аудио сигнала 412, третьего канального аудио сигнала 414 и четвертого канального аудио сигнала 416. Кроме того, аудио кодер 400 конфигурируется для обеспечения кодированного представления на основе канальных аудио сигналов 410, 412, 414 и 416, причем указанное кодированное представление содержит совместно кодированное представление 420 двух сигналов понижающего микширования, а так же кодированное представление первого набора 422 общих параметров расширения диапазона и второго набора 424 общих параметров расширения диапазона. Аудио кодер 400 содержит первое средство 430 извлечения параметра расширения диапазона, которое конфигурируется для получения первого набора 422 общих параметров извлечения диапазона на основе первого канального аудио сигнала 410 и третьего канального аудио сигнала 414. Аудио кодер 400 также содержит второе средство 440 извлечения параметра расширения диапазона, которое конфигурируется для получения второго набора 424 общих параметров расширения диапазона на основе второго канального аудио сигнала 412 и четвертого канального аудио сигнала 416.
Кроме того, аудио кодер 400 содержит (первый) многоканальный кодер 450, который конфигурируется для совместного кодирования по меньшей мере первого канального аудио сигнала 410 и второго канального аудио сигнала 412, используя многоканальное кодирование, для получения первого сигнала 452 понижающего микширования. Дополнительно, аудио кодер 400 также содержит (второй) многоканальный кодер 460, который конфигурируется для совместного кодирования по меньшей мере третьего канального аудио сигнала 414 и четвертого канального аудио сигнала 416, используя многоканальное кодирование, для получения второго сигнала 462 понижающего микширования. Дополнительно, аудио кодер 400 также содержит (третий) многоканальный кодер 470, который конфигурируется для совместного кодирования первого сигнала 452 понижающего микширования и второго сигнала 462 понижающего микширования, используя многоканальное кодирование, для получения совместно кодированного представления 420 сигналов понижающего микширования.
Что касается функциональных возможностей аудио кодера 400, нужно отметить, что аудио кодер 400 выполняет иерархическое многоканальное кодирование, причем первый канальный аудио сигнал 410 и второй канальный аудио сигнал 412 объединяются на первой стадии, и причем третий канальный аудио сигнал 414 и четвертый канальный аудио сигнал 416 также объединяются на первой стадии, чтобы таким образом получить первый сигнал 452 понижающего микширования и второй сигнал 462 понижающего микширования. Первый сигнал 452 понижающего микширования и второй сигнал 462 понижающего микширования затем совместно кодируются на второй стадии. Однако, нужно отметить, что первое средство 430 извлечения параметра расширения диапазона обеспечивает первый набор 422 общих параметров извлечения диапазона на основе канальных аудио сигналов 410, 414, которые обрабатываются с помощью различных многоканальных кодеров 450, 460 на первой стадии иерархического многоканального кодирования. Точно так же второе средство 440 извлечения параметра расширения диапазона обеспечивает второй набор 424 общих параметров извлечения диапазона на основе различных канальных аудио сигналов 412, 416, которые обрабатываются с помощью различных многоканальных кодеров 450, 460 на первой стадии обработки. Этот конкретный порядок обработки приводит к такому преимуществу, что наборы 422, 424 параметров расширения диапазона основываются на каналах, которые объединяются только на второй стадии иерархического кодирования (то есть, в многоканальном кодере 470). Это выгодно, так как желательно объединять на первой стадии иерархического кодирования такие аудио каналы, соотношение которых не имеет очень большого значения по отношению к восприятию расположения аудио источника. Вместо этого рекомендуется, чтобы соотношение между первым сигналом понижающего микширования и вторым сигналом понижающего микширования главным образом определяло восприятие расположения аудио источника, потому что соотношение между первым сигналом 452 понижающего микширования и вторым сигналом 462 понижающего микширования может поддерживаться лучше, чем соотношение между отдельными канальными аудио сигналами 410, 412, 414, 416. Формулируя по-другому, было обнаружено, что желательно, чтобы первый набор 422 общих параметров расширения диапазона был основан на двух аудио каналах (канальных аудио сигналах), которые вносят вклад в другой из сигналов 452, 462 понижающего микширования, и чтобы второй набор 424 общих параметров расширения диапазона обеспечивался на основе канальных аудио сигналов 412, 416, которые также вносят вклад в другой из сигналов 452, 462 понижающего микширования, что достигается с помощью вышеописанной обработки канальных аудио сигналов в иерархическом многоканальном кодировании. Следовательно, первый набор 422 общих параметров расширения диапазона основывается на аналогичном соотношении каналов по сравнению с соотношением каналов между первым сигналом 452 понижающего микширования и вторым сигналом 462 понижающего микширования, причем последний обычно доминирует в пространственном впечатлении, генерируемым на стороне аудио декодера. Соответственно, обеспечение первого набора 422 параметров расширения диапазона и также обеспечение второго набора 424 параметров расширения диапазона хорошо настраивается к пространственному впечатлению от прослушивания, которое генерируется на стороне аудио декодера.
5. Аудио декодер согласно фиг. 5
Фиг. 5 показывает структурную схему аудио декодера согласно другому варианту осуществления настоящего изобретения. Аудио декодер согласно фиг. 5 определяется полностью с помощью 500.
Аудио декодер 500 конфигурируется для приема совместно кодированного представления 510 первого сигнала понижающего микширования и второго сигнала понижающего микширования. Кроме того, аудио декодер 500 конфигурируется для обеспечения первого канального сигнала 520 с расширенным диапазоном, второго канального сигнала 522 с расширенным диапазоном, третьего канального сигнала 524 с расширенным диапазоном и четвертого канального сигнала 526 с расширенным диапазоном.
Аудио декодер 500 содержит (первый) многоканальный декодер 530, который конфигурируется для обеспечения первого сигнала 532 понижающего микширования и второго сигнала 534 понижающего микширования на основе совместно кодированного представления 510 первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное декодирование. Аудио декодер 500 также содержит (второй) многоканальный декодер 540, который конфигурируется для обеспечения по меньшей мере первого канального аудио сигнала 542 и второго канального аудио сигнала 544 на основе первого сигнала 532 понижающего микширования, используя многоканальное декодирование. Аудио декодер 500 также содержит (третий) многоканальный декодер 550, который конфигурируется для обеспечения по меньшей мере третьего канального аудио сигнала 556 и четвертого канального аудио сигнала 558 на основе второго сигнала 544 понижающего микширования, используя многоканальное декодирование. Кроме того, аудио декодер 500 содержит (первое) многоканальное расширение 560 диапазона, которое конфигурируется для выполнения многоканального расширения диапазона на основе первого канального аудио сигнала 542 и третьего канального аудио сигнала 556, для получения первого канального сигнала 520 с расширенным диапазоном и третьего канального сигнала 524 с расширенным диапазоном. Кроме того, аудио декодер содержит (второе) многоканальное расширение 570 диапазона, которое конфигурируется для выполнения многоканального расширения диапазона на основе второго канального аудио сигнала 544 и четвертого канального аудио сигнала 558, для получения второго канального сигнала 522 с расширенным диапазоном и четвертого канального сигнала 526 с расширенным диапазоном.
Что касается функциональных возможностей аудио декодера 500, нужно отметить, что аудио декодер 500 выполняет иерархическое многоканальное декодирование, причем разбиение между первым сигналом 532 понижающего микширования и вторым сигналом 534 понижающего микширования выполняется на первой стадии иерархического декодирования, и причем первый канальный аудио сигнал 542 и второй канальный аудио сигнал 544 извлекаются из первого сигнала 532 понижающего микширования на второй стадии иерархического декодирования, и причем третий канальный аудио сигнал 556 и четвертый канальный аудио сигнал 558 извлекаются из второго сигнала 550 понижающего микширования на второй стадии иерархического декодирования. Однако, и первое многоканальное расширение 560 диапазона, и второе многоканальное расширение 570 диапазона принимает один канальный аудио сигнал, который извлекается из первого сигнала 532 понижающего микширования, и один канальный аудио сигнал, который извлекается из второго сигнала 534 понижающего микширования. Так как лучшее разделение каналов обычно достигается с помощью (первого) многоканального декодирования 530, которое выполняется в качестве первой стадии иерархического многоканального декодирования, по сравнению со второй стадией иерархического декодирования, можно заметить, что каждое многоканальное расширение 560, 570 диапазона принимает входные сигналы, которые четко разделены (потому что они создаются из первого сигнала 532 понижающего микширования и второго сигнала 534 понижающего микширования, каналы которых четко разделены). Таким образом, многоканальное расширение 560, 570 диапазона может рассматривать стерео характеристики, которые важны для впечатления от прослушивания, и которые хорошо представлены с помощью соотношения между первым сигналом 532 понижающего микширования и вторым сигналом 534 понижающего микширования, и могут поэтому обеспечивать хорошее впечатление от прослушивания.
Другими словами, «перекрестная» структура аудио декодера, в которой каждая из стадий 560, 570 многоканального расширения диапазона принимает входные сигналы от обоих (вторая стадия) многоканальных декодеров 540, 550, предусматривает хорошее многоканальное расширение диапазона, которое учитывает стерео соотношение между каналами.
Однако, нужно отметить, что аудио декодер 500 может дополняться любой из особенностей и функциональных возможностей, описанных в данной работе по отношению к аудио декодерам согласно фиг. 2, 3, 6 и 13, причем возможно вводить отдельные особенности в аудио декодер 500 для постепенного улучшения эксплуатационных характеристик аудио декодера.
6. Аудио декодер согласно фиг. 6
Фиг. 6 показывает структурную схему аудио декодера согласно другому варианту осуществления настоящего изобретения. Аудио декодер согласно фиг. 6 определяется полностью с помощью 600. Аудио декодер 600 согласно фиг. 6 аналогичен аудио декодеру 500 согласно фиг. 5, так что приведенные выше объяснения также применяются. Однако, аудио декодер 600 дополнен некоторыми особенностями и функциональными возможностями, которые могут также внедряться, отдельно или в комбинации, в аудио декодер 500 для усовершенствования.
Аудио декодер 600 конфигурируется для приема совместно кодированного представления 610 первого сигнала понижающего микширования и второго сигнала понижающего микширования и обеспечения первого сигнала 620 с расширенным диапазоном, второго сигнала 622 с расширенным диапазоном, третьего сигнала 624 с расширенным диапазоном и четвертого сигнала 626 с расширенным диапазоном. Аудио декодер 600 содержит многоканальный декодер 630, который конфигурируется для приема совместно кодированного представления 610 первого сигнала понижающего микширования и второго сигнала понижающего микширования, и обеспечения, на основе этого, первого сигнала 632 понижающего микширования и второго сигнала 634 понижающего микширования. Аудио декодер 600 дополнительно содержит многоканальный декодер 640, который конфигурируется для приема первого сигнала 632 понижающего микширования и обеспечения, на основе этого, первого канального аудио сигнала 542 и второго канального аудио сигнала 544. Аудио декодер 600 также содержит многоканальный декодер 650, который конфигурируется для приема второго сигнала 634 понижающего микширования и обеспечения третьего канального аудио сигнала 656 и четвертого канального аудио сигнала 658. Аудио декодер 600 также содержит (первое) многоканальное расширение 660 диапазона, которое конфигурируется для приема первого канального аудио сигнала 642 и третьего канального аудио сигнала 656 и обеспечения, на основе этого, первого канального сигнала 620 с расширенным диапазоном и третьего канального сигнала 624 с расширенным диапазоном. Кроме того, (второе) многоканальное расширение 670 диапазона принимает второй канальный аудио сигнал 644 и четвертый канальный аудио сигнал 658 и обеспечивает, на основе этого, второй канальный сигнал 622 с расширенным диапазоном и четвертый канальный сигнал 626 с расширенным диапазоном.
Аудио декодер 600 также содержит дополнительный многоканальный декодер 680, который конфигурируется для приема совместно кодированного представления 682 первого разностного сигнала и второго разностного сигнала и который обеспечивает, на основе этого, первый разностный сигнал 684 для использования с помощью многоканального декодера 640 и второй разностный сигнал 686 для использования с помощью многоканального декодера 650.
Многоканальный декодер 630 является предпочтительно основанным на предсказании выполняемым с помощью разностного сигнала многоканальным декодером. Например, многоканальный декодер 630 может быть по существу идентичным многоканальному декодеру 370, описанному выше. Например, многоканальный декодер 630 может быть декодером USAC с комплексным стерео предсказанием, как упомянуто выше, и как описано в стандарте USAC, на который ссылаются выше. Соответственно, совместно кодированное представление 610 первого сигнала понижающего микширования и второго сигнала понижающего микширования может, например, содержать (общий) сигнал понижающего микширования первого сигнала понижающего микширования и второго сигнала понижающего микширования, (общий) разностный сигнал первого сигнала понижающего микширования и второго сигнала понижающего микширования, и один или большее количество параметров предсказания, которые оцениваются с помощью многоканального декодера 630.
Кроме того, нужно отметить, что первый сигнал 632 понижающего микширования может, например, быть связан с первым горизонтальным положением или азимутальным положением (например, левым горизонтальным положением) аудио сцены и что второй сигнал 634 понижающего микширования может, например, быть связан со вторым горизонтальным положением или азимутальным положением (например, с правым горизонтальным положением) аудио сцены.
Кроме того, многоканальный декодер 680 может, например, быть основанным на предсказании связанным с разностным сигналом многоканальным декодером. Многоканальный декодер 680 может быть по существу идентичным многоканальному декодеру 330, описанному выше. Например, многоканальный декодер 680 может быть декодером USAC с комплексным стерео предсказанием, как упомянуто выше. Следовательно, совместно кодированное представление 682 первого разностного сигнала и второго разностного сигнала могут содержать (общий) сигнал понижающего микширования первого разностного сигнала и второго разностного сигнала, (общий) разностный сигнал первого разностного сигнала и второго разностного сигнала, и один или большее количество параметров предсказания, которые оцениваются с помощью многоканального декодера 680. Кроме того, нужно отметить, что первый разностный сигнал 684 может быть связан с первым горизонтальным положением или азимутальным положением (например, с левым горизонтальным положением) аудио сцены, и что второй разностный сигнал 686 может быть связан со вторым горизонтальным положением или азимутальным положением (например, с правым горизонтальным положением) аудио сцены.
Многоканальный декодер 640 может, например, быть основанным на параметре многоканальным декодированием как, например, многоканальное декодирование MPEG surround, которое описано выше и в стандарте, на который ссылаются. Однако, в присутствии (опционального) многоканального декодера 680 и (опционального) первого разностного сигнала 684, многоканальный декодер 640 может быть основанным на параметре выполняемым с помощью разностного сигнала многоканальным декодером, как, например, унифицированный стерео декодер. Таким образом, многоканальный декодер 640 может быть по существу идентичным многоканальному декодеру 340, описанному выше, и многоканальный декодер 640 может, например, принимать параметры 342, описанные выше.
Точно так же многоканальный декодер 650 может быть по существу идентичным многоканальному декодеру 640. Соответственно, многоканальный декодер 650 может, например, основываться на параметре и может опционально выполняться с помощью разностного сигнала (в присутствии опционального многоканального декодера 680).
Кроме того, нужно отметить, что первый канальный аудио сигнал 642 и второй канальный аудио сигнал 644 предпочтительно связаны со смежными по вертикали пространственными положениями аудио сцены. Например, первый канальный аудио сигнал 642 связан с нижним левым положением аудио сцены, а второй канальный аудио сигнал 644 связан с верхним левым положением аудио сцены. Соответственно, многоканальный декодер 640 выполняет вертикальное разбиение (или разделение, или распределение) аудио контента, описанного с помощью первого сигнала 632 понижающего микширования (и, опционально, с помощью первого разностного сигнала 684). Точно так же третий канальный аудио сигнал 656 и четвертый канальный аудио сигнал 658 связаны с смежными по вертикали положениями аудио сцены, и предпочтительно связаны с одним и тем же горизонтальным положением или азимутальным положением аудио сцены. Например, третий канальный аудио сигнал 656 предпочтительно связан с нижним правым положением аудио сцены, а четвертый канальный аудио сигнал 658 предпочтительно связан с верхним правым положением аудио сцены. Таким образом, многоканальный декодер 650 выполняет вертикальное разбиение (или разделение, или распределение) аудио контента, описанного с помощью второго сигнала 634 понижающего микширования (и, опционально, с помощью второго разностного сигнала 686).
Однако, первое многоканальное расширение 660 диапазона принимает первый канальный аудио сигнал 642 и третий аудио канал 656, которые связаны с нижним левым положением и нижним правым положением аудио сцены. Соответственно, первое многоканальное расширение 660 диапазона выполняет многоканальное расширение диапазона на основе двух канальных аудио сигналов, которые связаны с одной и той же горизонтальной плоскостью (например, с нижней горизонтальной плоскостью) или с высотой аудио сцены и с различными сторонами (левой/правой) аудио сцены. Соответственно, многоканальное расширение диапазона может учитывать стерео характеристики (например, человеческое восприятие стерео), когда выполняют расширение диапазона. Точно так же второе многоканальное расширение 670 диапазона может также учитывать стерео характеристики, так как второе многоканальное расширение диапазона работает с канальными аудио сигналами одной и той же горизонтальной плоскости (например, верхней горизонтальной плоскости) или высоты, но в разных горизонтальных положениях (на разных сторонах) (левая/правая) аудио сцены.
Дополнительно для завершения, иерархический аудио декодер 600 содержит структуру, в которой разбиение (или разделение, или распределение) «лево/право» выполняется на первой стадии (многоканальное декодирование 630, 680), причем вертикальное разбиение (разделение или распределение) выполняется на второй стадии (многоканальное декодирование 640, 650), и причем многоканальное расширение диапазона воздействует на пару левого/правого сигналов (многоканальное расширение 660, 670 диапазона). Это «пересечение» маршрутов декодирования предоставляет возможность, чтобы разделение «лево/право», которое особенно важно для впечатления от прослушивания (например, более важно, чем разбиение «верх/низ»), могло выполняться на первой стадии обработки иерархического аудио декодера и чтобы многоканальное расширение диапазона могло также выполняться на паре из левого/правого канальных аудио сигналов, что снова приводит к особенно хорошему впечатлению от прослушивания. Разбиение «верх/низ» выполняется в качестве промежуточной стадии между разделением «лево/право» и многоканальным расширением диапазона, что предоставляет возможность извлекать четыре канальных аудио сигнала (или канальных сигнала с расширенным диапазоном) без значительно ухудшения впечатления от прослушания.
7. Способ согласно фиг. 7
Фиг. 7 показывает последовательность операций способа 700 обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов.
Способ 700 содержит совместное кодирование 710 по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала, используя выполняемое с помощью разностного сигнала многоканальное кодирование, для получения первого сигнала понижающего микширования и первого разностного сигнала. Способ также содержит совместное кодирование 720 по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала, используя выполняемое с помощью разностного сигнала многоканальное кодирование, для получения второго сигнала понижающего микширования и второго разностного сигнала. Способ дополнительно содержит совместное кодирование 730 первого разностного сигнала и второго разностного сигнала, используя многоканальное кодирование, для получения кодированного представления разностных сигналов. Однако, нужно отметить, что способ 700 может быть дополнен любой из особенностей и функциональных возможностей, описанных в данной работе по отношению к аудио кодерам и аудио декодерам.
8. Способ согласно фиг. 8
Фиг. 8 показывает последовательность операций способа 800 обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления.
Способ 800 содержит обеспечение 810 первого разностного сигнала и второго разностного сигнала на основе совместно кодированного представления первого разностного сигнала и второго разностного сигнала, используя многоканальное декодирование. Способ 800 также содержит обеспечение 820 первого канального аудио сигнала и второго канального аудио сигнала на основе первого сигнала понижающего микширования и первого разностного сигнала, используя выполняемое с помощью разностного сигнала многоканальное декодирование. Способ также содержит обеспечение 830 третьего канального аудио сигнала и четвертого канального аудио сигнала на основе второго сигнала понижающего микширования и второго разностного сигнала, используя выполняемое с помощью разностного сигнала многоканальное декодирование.
Кроме того, нужно отметить, что способ 800 может дополняться любой из особенностей и функциональных возможностей, описанных в данной работе по отношению к аудио декодерам и аудио кодерам.
9. Способ согласно фиг. 9
Фиг. 9 показывает последовательность операций способа 900 обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов.
Способ 900 содержит получение 910 первого набора общих параметров расширения диапазона на основе первого канального аудио сигнала и третьего канального аудио сигнала. Способ 900 также содержит получение 920 второго набора общих параметров расширения диапазона на основе второго канального аудио сигнала и четвертого канального аудио сигнала. Способ также содержит совместное кодирование по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала, используя многоканальное кодирование, для получения первого сигнала понижающего микширования, и совместное кодирование 940 по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнал, используя многоканальное кодирование, для получения второго сигнала понижающего микширования. Способ также содержит совместное кодирование 950 первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное кодирование, для получения кодированного представления сигналов понижающего микширования.
Нужно отметить, что некоторые из этапов способа 900, которые не содержат конкретных взаимозависимостей, могут выполняться в произвольном порядке или параллельно. Кроме того, нужно отметить, что способ 900 может дополняться любой из особенностей и функциональных возможностей, описанных в данной работе по отношению к аудио кодерам и аудио декодерам.
10. Способ согласно фиг. 10
Фиг. 10 показывает последовательность операций способа 1000 обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления.
Способ 1000 содержит обеспечение 1010 первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное декодирование, обеспечение 1020 по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала на основе первого сигнала понижающего микширования, используя многоканальное декодирование, обеспечение 1030 по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала на основе второго сигнала понижающего микширования, используя многоканальное декодирование, выполнение 1040 многоканального расширения диапазона на основе первого канального аудио сигнала и третьего канального аудио сигнала, для обеспечения первого канального сигнала с расширенным диапазоном и третьего канального сигнала с расширенным диапазоном, и выполнение 1050 многоканального расширения диапазона на основе второго канального аудио сигнала и четвертого канального аудио сигнала, для обеспечения второго канального сигнала с расширенным диапазоном и четвертого канального сигнала с расширенным диапазоном.
Нужно отметить, что некоторые из этапов способа 1000 могут выполняться параллельно или в другом порядке. Кроме того, нужно отметить, что способ 1000 может дополняться любой из особенностей и функциональных возможностей, описанных в данной работе по отношению к аудио кодеру и аудио декодеру.
11. Варианты осуществления согласно фиг. 11, 12 и 13
В последующем будут описаны некоторые дополнительные варианты осуществления согласно настоящему изобретению и основным рассмотрениям.
Фиг. 11 показывает структурную схему аудио кодера 1100 согласно варианту осуществления изобретения. Аудио кодер 1100 конфигурируется для приема левого нижнего канального сигнала 1110, левого верхнего канального сигнала 1112, правого нижнего канального сигнала 1114 и правого верхнего канального сигнала 1116.
Аудио кодер 1100 содержит первый многоканальный аудио кодер (или кодирование) 1120, который является аудио кодером (или кодированием) MPEG surround 2-1-2 или унифицированным аудио стерео кодером (или кодированием) и который принимает левый нижний канальный сигнал 1110 и левый верхний канальный сигнал 1112. Первый многоканальный аудио кодер 1120 обеспечивает левый сигнал 1122 понижающего микширования и, опционально, левый разностный сигнал 1124. Кроме того, аудио кодер 1100 содержит второй многоканальный кодер (или кодирование) 1130, который является кодером (или кодированием) MPEG surround 2-1-2 или унифицированным стерео кодером (или кодированием), который принимает правый нижний канальный сигнал 1114 и правый верхний канальный сигнал 1116. Второй многоканальный аудио кодер 1130 обеспечивает правый сигнал 1132 понижающего микширования и, опционально, правый разностный сигнал 1134. Аудио 1100 кодер также содержит стерео кодер (или кодирование) 1140, который принимает левый сигнал 1122 понижающего микширования и правый сигнал 1132 понижающего микширования. Кроме того, первое стерео кодирование 1140, которое является кодированием с комплексным стерео предсказанием, принимает информацию 1142 психо-акустической модели из психо-акустической модели. Например, информация 1142 психо-акустической модели может описывать психо-акустическую значимость различных диапазонов частот или частотных поддиапазонов, эффекты психо-акустической маскировки и т.п. Стерео кодирование 1140 обеспечивает элемент пары каналов (CPE) «понижающего микширования», который определяется с помощью 1144 и который описывает левый сигнал 1122 понижающего микширования и правый сигнал 1132 понижающего микширования в совместно кодированной форме. Кроме того, аудио кодер 1100 опционально содержит второй стерео кодер (или кодирование) 1150, который конфигурируется для приема опционального левого разностного сигнала 1124 и опционального правого разностного сигнала 1134, а так же информации 1142 психо-акустической модели. Второе стерео кодирование 1150, которое является кодированием с комплексным стерео предсказанием, конфигурируется для обеспечения «разностного» элемента пары каналов (CPE), который представляет левый разностный сигнал 1124 и правый разностный сигнал 1134 в совместно кодированной форме.
Кодер 1100 (так же как другие аудио кодеры, описанные в данной работе), основан на идее, что взаимозависимости горизонтального и вертикального сигналов применяются с помощью иерархического объединения доступных стерео средств USAC (то есть, концепций кодирования, которые доступны в USAC-кодировании). Соседние по вертикали пары каналов объединяются, используя кодирование MPEG surround 2-1-2 или унифицированное стерео кодирование (определяемые с помощью 1120 и 1130), с разностным сигналом с ограниченным диапазоном или разностным сигналом с полным диапазоном (определяемыми с помощью 1124 и 1134). Выходным сигналом каждой вертикальной пары каналов является сигнал 1122, 1132 понижающего микширования, а для унифицированного стерео кодирования - разностный сигнал 1124, 1134. Для удовлетворения перцепционных требований для бинаурального демаскирования, оба сигнала 1122, 1132 понижающего микширования объединяются по горизонтали и совместно кодируются при помощи комплексного предсказания (кодера 1140) в области MDCT, что включает в себя возможность кодирования «лево/право» и «середина/сторона». Тот же самый способ может применяться к объединенным по горизонтали разностным сигналам 1124, 1134. Эта концепция показана на фиг. 11.
Иерархическая структура, объясняемая со ссылкой на фиг. 11, может достигаться с помощью включения обоих стерео средств (например, обоих стерео средств USAC) и повторной сортировки между собой каналов. Таким образом, дополнительный этап предварительной/последующей обработки не является необходимым, и синтаксис битового потока для передачи полезных нагрузок данного средства остается неизменным (например, по существу неизменным по сравнению со стандартом USAC). Эта идея приводит к структуре кодера, показанной на фиг. 12.
Фиг. 12 показывает структурную схему аудио кодера 1200 согласно варианту осуществления изобретения. Аудио кодер 1200 конфигурируется для приема первого канального сигнала 1210, второго канального сигнала 1212, третьего канального сигнала 1214 и четвертого канального сигнала 1216. Аудио кодер 1200 конфигурируется для обеспечения битового потока 1220 первого элемента пары каналов и битового потока 1222 второго элемента пары каналов.
Аудио кодер 1200 содержит первый многоканальный кодер 1230, который является кодером MPEG surround 2-1-2 или унифицированным стерео кодером, и который принимает первый канальный сигнал 1210 и второй канальный сигнал 1212. Кроме того, первый многоканальный кодер 1230 обеспечивает первый сигнал 1232 понижающего микширования, полезную нагрузку 1236 MPEG surround и, опционально, первый разностный сигнал 1234. Аудио кодер 1200 также содержит второй многоканальный кодер 1240, который является кодером MPEG surround 2-1-2 или унифицированным стерео кодером, и который принимает третий канальный сигнал 1214 и четвертый канальный сигнал 1216. Второй многоканальный кодер 1240 обеспечивает первый сигнал 1242 понижающего микширования, полезную нагрузку 1246 MPEG surround и, опционально, второй разностный сигнал 1244.
Аудио кодер 1200 также содержит первое стерео кодирование 1250, которое является кодированием с комплексным стерео предсказанием. Первое стерео кодирование 1250 принимает первый сигнал 1232 понижающего микширования и второй сигнал 1242 понижающего микширования. Первое стерео кодирование 1250 обеспечивает совместно кодированное представление 1252 первого сигнала 1232 понижающего микширования и второго сигнала 1242 понижающего микширования, причем совместно кодированное представление 1252 может содержать представление (общего) сигнала понижающего микширования (первого сигнала 1232 понижающего микширования и второго сигнала 1242 понижающего микширования) и общего разностного сигнала (первого сигнала 1232 понижающего микширования и второго сигнала 1242 понижающего микширования). Кроме того, (первое) кодирование 1250 с комплексным стерео предсказанием обеспечивает полезную нагрузку 1254 комплексного предсказания, которая обычно содержит один или большее количество коэффициентов комплексного предсказания. Кроме того, аудио кодер 1200 также содержит второе стерео кодирование 1260, которое является кодированием с комплексным стерео предсказанием. Второе стерео кодирование 1260 принимает первый разностный сигнал 1234 и второй разностный сигнал 1244 (или нулевые входные значения, если нет никакого разностного сигнала, обеспеченного с помощью многоканальных кодеров 1230, 1240). Второе стерео кодирование 1260 обеспечивает совместно кодированное представление 1262 первого разностного сигнала 1234 и второго разностного сигнала 1244, которое может, например, содержать (общий) сигнал понижающего микширования (первого разностного сигнала 1234 и второго разностного сигнала 1244) и общий разностный сигнал (первого разностного сигнала 1234 и второго разностного сигнала 1244). Кроме того, кодирование 1260 с комплексным стерео предсказанием обеспечивает полезную нагрузку 1264 комплексного предсказания, которая обычно содержит один или большее количество коэффициентов предсказания.
Кроме того, аудио кодер 1200 содержит психо-акустическую модель 1270, которая предоставляет информацию, которая управляет первым кодированием 1250 с комплексным стерео предсказанием и вторым кодированием 1260 с комплексным стерео предсказанием. Например, информация, предоставленная психо-акустической моделью 1270, может описывать, какие диапазоны частот или частотные элементы имеют высокую психо-акустическую значимость и должны кодироваться с высокой точностью. Однако, нужно отметить, что использование информации, предоставленной психо-акустической моделью 1270, является опциональным.
Кроме того, аудио кодер 1200 содержит первый кодер и мультиплексор 1280, который принимает совместно кодированное представление 1252 от первого кодирования 1250 с комплексным стерео предсказанием, полезную нагрузку 1254 комплексного предсказания - от первого кодирования 1250 с комплексным стерео предсказанием, и полезную нагрузку 1236 MPEG surround - от первого многоканального аудио кодера 1230. Кроме того, первое кодирование и мультиплексирование 1280 может принимать информацию от психо-акустической модели 1270, которая описывает, например, какая точность кодирования должна применяться к каким частотным диапазонам или частотным поддиапазонам, принимая во внимание эффекты психо-акустической маскировки и т.п. Соответственно, первое кодирование и мультиплексирование 1280 обеспечивает первый битовый поток 1220 элементов пары каналов.
Кроме того, аудио кодер 1200 содержит второе кодирование и мультиплексирование 1290, которое конфигурируется для приема совместно кодированного представления 1262, обеспеченного с помощью второго кодирования 1260 с комплексным стерео предсказанием, полезной нагрузки 1264 комплексного предсказания, обеспеченной с помощью второго кодирования 1260 с комплексным стерео предсказанием, и полезной нагрузки 1246 MPEG surround, обеспеченной с помощью второго многоканального аудио кодера 1240. Кроме того, второе кодирование и мультиплексирование 1290 может принимать информацию из психо-акустической модели 1270. Соответственно, второе кодирование и мультиплексирование 1290 обеспечивает второй битовый поток 1222 элементов пары каналов.
Что касается функциональных возможностей аудио кодера 1200, ссылка делается на приведенные выше объяснения, а также на объяснения по отношению к аудио кодерам согласно фиг. 2, 3, 5 и 6.
Кроме того, нужно отметить, что эта концепция может расширяться для использования множества блоков MPEG surround для унифицированного кодирования горизонтально, вертикально или иным образом геометрически связанных каналов и объединения сигналов понижающего микширования и разностных сигналов в пары комплексного стерео предсказания, учитывая их геометрические и перцепционные свойства. Это приводит к обобщенной структуре декодера.
В последующем будет описано воплощение элемента четырех каналов. В системе трехмерного аудио кодирования используется иерархическая комбинация четырех каналов для формирования элемента четырех каналов (QCE). QCE состоит из двух элементов пары каналов (CPE) USAC (или обеспечивает два элемента пары каналов USAC, или принимает два элемента пары каналов USAC). Вертикальные пары каналов объединяются, используя MPS 2-1-2 или унифицированное стерео кодирование. Каналы понижающего микширования совместно кодируются в первом элементе пары каналов CPE. Если разностное кодирование применяется, то разностные сигналы совместно кодируются во втором элементе пары каналов CPE, иначе сигнал во втором CPE устанавливается в ноль. Оба элемента пары каналов CPE используют комплексное предсказание для совместного стерео кодирования, которое включает в себя возможность кодирования «лево/право» и «середина/сторона». Для сохранения перцепционных стерео свойств высокочастотной части сигнала, стерео SBR (репликация спектрального диапазона) применяется между парой из верхнего левого/правого каналов и парой из нижнего левого/правого каналов с помощью дополнительного этапа повторной сортировки перед применением SBR.
Возможная структура декодера будет описана, ссылаясь на фиг. 13, которая показывает структурную схему аудио декодера согласно варианту осуществления изобретения. Аудио декодер 1300 конфигурируется для приема первого битового потока 1310, представляющего первый элемент пары каналов, и второго битового потока 1312, представляющего второй элемент пары каналов. Однако, первый битовый поток 1310 и второй битовый поток 1312 может включать в себя общий полный битовый поток.
Аудио декодер 1300 конфигурируется для обеспечения первого канального сигнала 1320 с расширенным диапазоном, который может, например, представлять нижнее левое положение аудио сцены, второго канального сигнала 1322 с расширенным диапазоном, который может, например, представлять верхнее левое положение аудио сцены, третьего канального сигнала 1324 с расширенным диапазоном, который может, например, быть связан с нижним правым положением аудио сцены, и четвертого канального сигнала 1326 с расширенным диапазоном, который может, например, быть связан с верхним правым положением аудио сцены.
Аудио декодер 1300 содержит первое декодирование 1330 битового потока, которое конфигурируется для приема битового потока 1310 для первого элемента пары каналов и обеспечения, на основе этого, совместно кодированного представления двух сигналов понижающего микширования, полезной нагрузки 1334 комплексного предсказания, полезной нагрузки 1336 MPEG surround и полезной нагрузки 1338 репликации спектрального диапазона. Аудио декодер 1300 также содержит первое стерео декодирование 1340 с комплексным предсказанием, которое конфигурируется для приема совместно кодированного представления 1332 и полезной нагрузки 1334 комплексного предсказания и обеспечения, на основе этого, первого сигнала 1342 понижающего микширования и второго сигнала 1344 понижающего микширования. Точно так же аудио декодер 1300 содержит второе декодирование 1350 битового потока, которое конфигурируется для приема битового потока 1312 для второго канального элемента и обеспечения, на основе этого, совместно кодированного представления 1352 двух разностных сигналов, полезной нагрузки 1354 комплексного предсказания, полезной нагрузки 1356 MPEG surround и битовой нагрузки 1358 репликации спектрального диапазона. Аудио декодер также содержит второе декодирование 1360 с комплексным стерео предсказанием, которое обеспечивает первый разностный сигнал 1362 и второй разностный сигнал 1364 на основе совместно кодированного представления 1352 и полезной нагрузки 1354 комплексного предсказания.
Кроме того, аудио декодер 1300 содержит первое многоканальное декодирование 1370 типа MPEG Surround, которое является декодированием MPEG surround 2-1-2 или унифицированным стерео декодированием. Первое многоканальное декодирование 1370 типа MPEG Surround принимает первый сигнал 1342 понижающего микширования, первый разностный сигнал 1362 (опционально) и полезную нагрузку 1336 MPEG surround, и обеспечивает, на основе этого, первый канальный аудио сигнал 1372 и второй канальный аудио сигнал 1374. Аудио декодер 1300 также содержит второе многоканальное декодирование 1380 типа MPEG Surround, которое является многоканальным декодированием MPEG surround 2-1-2 или унифицированным многоканальным стерео декодированием. Второе многоканальное декодирование 1380 типа MPEG Surround принимает второй сигнал 1344 понижающего микширования и второй разностный сигнал 1364 (опционально), а так же полезную нагрузку 1356 MPEG surround, и обеспечивает, на основе этого, третий канальный аудио сигнал 1382 и четвертый канальный аудио сигнал 1384. Аудио декодер 1300 также содержит первую стерео репликацию 1390 спектрального диапазона, которая конфигурируется для приема первого канального аудио сигнала 1372 и третьего канального аудио сигнала 1382, а так же полезной нагрузки 1338 репликации спектрального диапазона, и обеспечения, на основе этого, первого канального сигнала 1320 с расширенным диапазоном и третьего канального сигнала 1324 с расширенным диапазоном. Кроме того, аудио декодер содержит вторую стерео репликацию 1394 спектрального диапазона, которая конфигурируется для приема второго канального аудио сигнала 1374 и четвертого канального аудио сигнала 1384, а так же полезной нагрузки 1358 репликации спектрального диапазона, и обеспечения, на основе этого, второго канального сигнала 1322 с расширенным диапазоном и четвертого канального сигнала 1326 с расширенным диапазоном.
Что касается функциональных возможностей аудио декодера 1300, ссылка делается на приведенное выше обсуждение, а также на обсуждение аудио декодера согласно фиг. 2, 3, 5 и 6.
В последующем пример битового потока, который может использоваться для аудио кодирования/декодирования, описанного в данной работе, будет описан, ссылаясь на фиг. 14a и 14b. Нужно отметить, что битовый поток может, например, быть расширением битового потока, используемого в унифицированном кодировании речи и аудио (USAC), который описан в вышеупомянутом стандарте (23003-3:2012 ISO/IEC). Например, полезные нагрузки 1236, 1246, 1336, 1356 MPEG surround и полезные нагрузки 1254, 1264, 1334, 1354 комплексного предсказания могут передаваться как унаследованные элементы пары каналов (то есть как элементы пары каналов согласно стандарту USAC). Для того, чтобы сигнализировать об использовании элемента четырех каналов QCE, конфигурация пары каналов USAC может расширяться на два бита, как показано на фиг. 14a. Другими словами, два бита, определяемые с помощью «qceIndex», могут добавляться к элементу «UsacChannelPairElementConfig()» битового потока USAC. Значение параметра, представленного битами «qceIndex», может определяться, например, как показано в таблице на фиг. 14b.
Например, два элемента пары каналов, которые формируют QCE, могут передаваться как последовательные элементы, первый CPE содержит каналы понижающего микширования и полезную нагрузку MPS для первого блока MPS, второй CPE содержит разностный сигнал (или нулевой аудио сигнал для кодирования MPS 2-1-2) и полезную нагрузку MPS для второго блока MPS.
Другими словами, существует только небольшая служебная информация сигнализации по сравнению с обычным битовым потоком USAC для передачи элемента четырех каналов QCE.
Однако, другие форматы битового потока могут, естественно, также использоваться.
12. Среда кодирования/декодирования
В последующем будет описана среда аудио кодирования/декодирования, в которой могут применяться концепции согласно настоящему изобретению.
Трехмерная система аудио кодека, в которой могут использоваться концепции согласно настоящему изобретению, основана на кодеке MPEG-D USAC для декодирования сигналов канала и объекта. Для увеличения эффективности кодирования большого количества объектов настраивалась технология MPEG SAOC. Три типа интерпретаторов выполняют задания интерпретации объектов на каналы, интерпретации каналов на головные телефоны или интерпретации каналов на различные установки громкоговорителей. Когда сигналы объектов явно передаются или параметрически кодируются, используя SAOC, соответствующая информация метаданных объектов сжимается и мультиплексируется в битовый поток трехмерного аудио.
Фиг. 15 показывает структурную схему такого аудио кодера, и фиг. 16 показывает структурную схему такого аудио декодера. Другими словами, фиг. 15 и 16 показывают различные алгоритмические блоки трехмерной аудио системы.
Ссылаясь теперь на фиг. 15, которая показывает структурную схему трехмерного аудио кодера 1500, будут объяснены некоторые подробности. Кодер 1500 содержит опциональный предварительный интерпретатор/микшер 1510, который принимает один или большее количество канальных сигналов 1512 и один или большее количество сигналов 1514 объекта и обеспечивает, на основе этого, один или большее количество канальных сигналов 1516, а так же один или большее количество сигналов 1518, 1520 объекта. Аудио кодер также содержит кодер 1530 USAC и, опционально, кодер 1540 SAOC. Кодер 1540 SAOC конфигурируется для обеспечения одного или большего количества каналов 1542 транспорта SAOC и дополнительной информации 1544 SAOC на основе одного или большего количества объектов 1520, обеспеченных на кодер SAOC. Кроме того, кодер 1530 USAC конфигурируется для приема канальных сигналов 1516, содержащих каналы и предварительно интерпретированные объекты, от предварительного интерпретатора/микшера, для приема одного или большего количества сигналов 1518 объекта от предварительного интерпретатора/микшера и приема одного или большего количества каналов 1542 транспорта SAOC и дополнительной информации 1544 SAOC, и обеспечивает, на основе этого, кодированное представление 1532. Кроме того, аудио кодер 1500 также содержит кодер 1550 метаданных объекта, который конфигурируется для приема метаданных 1552 объекта (которые могут оцениваться с помощью предварительного интерпретатора/микшера 1510), и кодирования метаданных объекта для получения кодированных метаданных 1554 объекта. Кодированные метаданные также принимаются с помощью кодера 1530 USAC и используются для обеспечения кодированного представления 1532.
Некоторые подробности относительно отдельных компонент аудио кодера 1500 будут описаны ниже.
Ссылаясь теперь на фиг. 16, будет описан аудио декодер 1600. Аудио декодер 1600 конфигурируется для приема кодированного представления 1610 и обеспечения, на основе этого, многоканальных сигналов 1612 громкоговорителей, сигналов 1614 головного телефона и/или сигналов 1616 громкоговорителей в альтернативном формате (например, в формате 5.1).
Аудио декодер 1600 содержит декодер 1620 USAC и обеспечивает один или большее количество канальных сигналов 1622, один или большее количество предварительно интерпретированных сигналов 1624 объектов, один или большее количество сигналов 1626 объектов, один или большее количество каналов 1628 транспорта SAOC, дополнительную информацию 1630 SAOC и сжатую информацию 1632 метаданных объекта на основе кодированного представления 1610. Аудио декодер 1600 также содержит интерпретатор 1640 объекта, который конфигурируется для обеспечения одного или большего количества интерпретированных сигналов 1642 объекта на основе сигнала 1626 объекта и информации 1644 метаданных объекта, причем информация 1644 метаданных объекта обеспечивается с помощью декодера 1650 метаданных объекта на основе сжатой информации 1632 метаданных объекта. Аудио декодер 1600 также опционально содержит декодер 1660 SAOC, который конфигурируется для приема канала 1628 транспорта SAOC и дополнительной информации 1630 SAOC, и обеспечения, на основе этого, одного или большего количества интерпретированных сигналов 1662 объекта. Аудио декодер 1600 также содержит микшер 1670, который конфигурируется для приема канальных сигналов 1622, предварительно интерпретированных сигналов 1624 объекта, интерпретированных сигналов 1642 объекта и интерпретированных сигналов 1662 объекта, и обеспечения, на основе этого, множества микшированных канальных сигналов 1672, которые могут, например, составлять многоканальные сигналы 1612 громкоговорителей. Аудио декодер 1600 может, например, также содержать бинауральную интерпретацию 1680, которая конфигурируется для приема микшированных канальных сигналов 1672 и обеспечения, на основе этого, сигналов 1614 головного телефона. Кроме того, аудио декодер 1600 может содержать конвертирование 1690 формата, которое конфигурируется для приема микшированных канальных сигналов 1672 и информации 1692 о схеме размещения воспроизведения и обеспечения, на основе этого, сигнала 1616 громкоговорителя для альтернативной установки громкоговорителей.
В последующем будут описаны некоторые подробности относительно компонент аудио кодера 1500 и аудио декодера 1600.
Предварительный интерпретатор/микшер
Предварительный интерпретатор/микшер 1510 может опционально использоваться для конвертирования входной сцены канала плюс объекта в сцену канала перед кодированием. Функционально, он может, например, быть идентичен интерпретатору/микшеру объекта, описанному ниже. Предварительная интерпретация объектов может, например, обеспечивать детерминированную энтропию сигнала на входе кодера, которая в основном не зависит от количества одновременно активных сигналов объекта. При предварительной интерпретации объектов не требуется никакая передача метаданных объектов. Дискретные сигналы объектов интерпретируются в схему размещения каналов, которую кодер конфигурирует для использования. Веса объектов для каждого канала получаются из связанных с объектом метаданных (OAM) 1552.
Базовый кодек USAC
Базовый кодек 1530, 1620 для канальных сигналов громкоговорителей, сигналов дискретных объектов, сигналов понижающего микширования и предварительно интерпретированных сигналов объектов основан на технологии MPEG-D USAC. Он обрабатывает кодирование множества сигналов с помощью создания информации сопоставления канала и объекта, основываясь на геометрической и семантической информации вводимого назначения канала и объекта. Эта информация сопоставления описывает, как входные каналы и объекты сопоставляются с элементами канала USAC (CPE, SCE, LFE), и соответствующая информация передается на декодер. Все дополнительные полезные нагрузки, как данные SAOC или метаданные объекта, передаются через дополнительные элементы и учитываются при управлении скоростью кодеров.
Кодирование объектов возможно по-разному, в зависимости от требований скорости/искажения и требований по взаимодействию для интерпретатора. Возможны следующие варианты кодирования объекта:
1. Предварительно интерпретированные объекты: сигналы объекта предварительно интерпретируются и микшируются с канальными сигналами 22.2 перед кодированием. Последующая цепь кодирования видит канальные сигналы 22.2.
2. Дискретные колебательные сигнала объекта: объекты поставляются в качестве монофонических форм сигнала к кодеру. Кодер использует элементы единственного канала SCE для перемещения объектов в дополнение к канальным сигналам. Декодированные объекты интерпретируются и микшируются на стороне приемника. Сжатая информация метаданных объекта передается на приемник/интерпретатор параллельно.
3. Параметрические колебательные сигналы объекта: свойства объекта и их соотношение друг с другом описываются посредством параметров SAOC. Кодирование понижающего микширования сигналов объекта выполняется с помощью USAC. Параметрическая информация передается параллельно. Количество каналов понижающего микширования выбирается в зависимости от количества объектов и полной скорости передачи данных. Сжатая информация метаданных объекта передается к интерпретатору SAOC.
SAOC
Кодер 1540 SAOC и декодер 1660 SAOC для сигналов объектов основаны на технологии MPEG SAOC. Система имеет возможность повторного создания, изменения и интерпретации множества аудио объектов, основываясь на меньшем количестве переданных каналов и дополнительных параметрических данных (различия уровней объектов OLD, корреляции между объектами IOC, усиления понижающего микширования DMG). Дополнительные параметрические данные показывают значительно более низкую скорость передачи данных, чем необходимо для передачи всех объектов отдельно, делая кодирование очень эффективным. Кодер SAOC использует в качестве вводимой информации сигналы объекта/канала в качестве монофонических колебательных сигналов и выводит параметрическую информацию (которая упакована в битовый поток 1532, 1610 трехмерного аудио), и каналы транспорта SAOC (которые кодируются, используя элементы единственного канала, и передаются).
Декодер 1600 SAOC восстанавливает сигналы объекта/канала из декодированных каналов 1628 транспорта SAOC и параметрической информации 1630 и генерирует выходную аудио сцену, основываясь на схеме размещения воспроизведения, распакованной информации метаданных объекта, и опционально - на информации взаимодействия с пользователем.
Кодек метаданных объекта
Для каждого объекта связанные с ним метаданные, которые определяют геометрическое расположение и громкость объекта в трехмерном пространстве, эффективно кодируются с помощью квантования свойств объекта во времени и пространстве. Сжатые метаданные объекта cOAM 1554, 1632 передаются на приемник в качестве дополнительной информации.
Интерпретатор/микшер объекта
Интерпретатор объекта использует сжатые метаданные объекта для генерации колебательных сигналов объектов согласно заданному формату воспроизведения. Каждый объект интерпретируется на определенные выходные каналы согласно его метаданным. Выход этого блока является результатом суммирования частичных результатов. Если основанный на обоих каналах контент, а так же дискретные/параметрические объекты декодируются, то основанные на канале колебательные сигналы и колебательные сигналы интерпретированного объекта микшируются перед выводом результирующих колебательных сигналов (или перед подачей их к модулю постобработки, такому как модуль бинаурального интерпретатора или интерпретатора громкоговорителя).
Бинауральный интерпретатор
Модуль 1680 бинаурального интерпретатора производит бинауральное понижающее микширование многоканального аудио материала так, что каждый входной канал представлен виртуальным аудио источником. Обработка проводится по кадрам в области QMF. Бинаурализация основана на измеренных реакциях на импульс в бинауральном пространстве.
Интерпретатор громкоговорителя/конвертер формата
Интерпретатор 1690 громкоговорителя выполняет конвертирование между переданной конфигурацией канала и желательным форматом воспроизведения. Его таким образом называют «конвертером формата» в последующем. Конвертер формата выполняет конвертирование для снижения количества выходных каналов, то есть он создает понижающее микширование. Система автоматически генерирует оптимизированные матрицы понижающего микширования для заданной комбинации входных и выходных форматов и применяет эти матрицы в процессе понижающего микширования. Конвертер формата предусматривает стандартные конфигурации громкоговорителей, а так же произвольные конфигурации с нестандартными расположениями громкоговорителей.
Фиг. 17 показывает структурную схему конвертера формата. Как можно заметить, конвертер 1700 формата принимает выходные сигналы 1710 микшера, например, микшированные канальные сигналы 1672, и обеспечивает сигналы 1712 громкоговорителей, например, сигналы 1616 динамиков. Конвертер формата содержит процесс 1720 понижающего микширования в области QMF и конфигуратор 1730 понижающего микширования, причем конфигуратор понижающего микширования обеспечивает информацию о конфигурации процесса 1720 понижающего микширования на основе информации 1732 о схеме размещения выходов микшера и информации 1734 о схеме размещения воспроизведения.
Кроме того, нужно отметить, что концепции, описанные выше, например, аудио кодер 100, аудио декодер 200 или 300, аудио кодер 400, аудио декодер 500 или 600, способы 700, 800, 900 или 1000, аудио кодер 1100 или 1200 и аудио декодер 1300, могут использоваться в пределах аудио кодера 1500 и/или в пределах аудио декодера 1600. Например, аудио кодеры/декодеры, упомянутые прежде, могут использоваться для кодирования или декодирования канальных сигналов, которые связаны с различными пространственными положениями.
13. Альтернативные варианты осуществления
В последующем будут описаны некоторые дополнительные варианты осуществления.
Ссылаясь теперь на фиг. 18 - 21, будут объясняться дополнительные варианты осуществления согласно изобретению.
Нужно отметить, что так называемый «элемент четырех каналов» (QCE) можно рассматривать в качестве средства аудио декодера, который может использоваться, например, для декодирования 3-мерного аудио контента.
Другими словами, элемент четырех каналов (QCE) является способом совместного кодирования четырех каналов для более эффективного кодирования горизонтально и вертикально распределенных каналов. QCE состоит из двух последовательных CPE и формируется с помощью иерархического объединения средства совместного стерео кодирования с возможностью средства комплексного стерео предсказания в горизонтальном направлении, и основанного на MPEG surround стерео средства в вертикальном направлении. Это достигается с помощью включения обоих стерео средств и перестановки выходных каналов между применением данных средств. Стерео SBR выполняется в горизонтальном направлении для сохранения соотношения «лево/право» для высоких частот.
Фиг. 18 показывает топологическую структуру QCE. Нужно отметить, что QCE на фиг. 18 очень похож на QCE на фиг. 11, так что ссылка делается на приведенные выше объяснения. Однако, нужно отметить, что в QCE на фиг. 18 не требуется использовать психо-акустическую модель, выполняя комплексное стерео предсказание (хотя такое использование, естественно, возможно опционально). Кроме того, можно заметить, что первая стерео репликация спектрального диапазона (стерео SBR) выполняется на основе левого нижнего канала и правого нижнего канала, и что вторая стерео репликация спектрального диапазона (стерео SBR) выполняется на основе левого верхнего канала и правого верхнего канала.
В последующем будут обеспечены некоторые термины и определения, которые могут применяться в некоторых вариантах осуществления.
Элемент данных qceIndex указывает режим QCE CPE. Что касается значения переменной qceIndex битового потока, выполняется ссылка на фиг. 14b. Нужно отметить, что qceIndex описывает, обрабатываются или нет два последующих элемента типа UsacChannelPairElement() как элемент четырех каналов (QCE). Различные режимы QCE приведены на фиг. 14b. QceIndex должен быть одинаковым для двух последующих элементов, формирующих один QCE.
В последующем будут определены некоторые вспомогательные элементы, которые могут использоваться в некоторых вариантах осуществления согласно изобретению:
cplx_out_dmx_L[] - первый канал первого CPE после стерео декодирования с комплексным предсказанием
cplx_out_dmx_R[] - второй канал первого CPE после стерео декодирования с комплексным предсказанием
cplx_out_res_L[] - второй CPE после стерео декодирования с комплексным предсказанием (обнуляют, если qceIndex = 1),
cplx_out_res_R[] - второй канал второго CPE после стерео декодирования с комплексным предсказанием (обнуляют, если qceIndex = 1),
mps_out_L_1[] - первый выходной канал первого блока MPS
mps_out_L_2[] - второй выходной канал первого блока MPS
mps_out_R_1[] - первый выходной канал второго блока MPS
mps_out_R_2[] - второй выходной канал второго блока MPS
sbr_out_L_1[] - первый выходной канал первого блока стерео SBR
sbr_out_R_1[] - второй выходной канал первого блока стерео SBR
sbr_out_L_2[] - первый выходной канал второго блока стерео SBR
sbr_out_R_2[] - второй выходной канал второго блока стерео SBR
В последующем будет объяснен процесс декодирования, который выполняется в варианте осуществления согласно изобретению.
Синтаксический элемент (или элемент битового потока, или элемент данных) qceIndex в UsacChannelPairElementConfig() указывает, принадлежит или нет CPE QCE и используется или нет разностное кодирование. В случае, если qceIndex не равен 0, то текущий CPE формирует QCE вместе с его последующим элементом, который должен быть CPE, имеющий тот же самый qceIndex. Стерео SBR всегда используется для QCE, таким образом синтаксический элемент stereoConfigIndex должен быть равен 3, и bsStereoSbr должен быть равен 1.
В случае, когда qceIndex == 1, во втором CPE содержатся только полезные нагрузки для MPEG surround и SBR, и никакие соответствующие данные аудио сигнала не содержатся во втором CPE, и синтаксический элемент bsResidualCoding устанавливаются в 0.
Присутствие разностного сигнала во втором CPE обозначается с помощью qceIndex == 2. В этом случае синтаксический элемент bsResidualCoding устанавливается в 1.
Однако, некоторые отличающиеся и, возможно, упрощенные схемы сигнализации могут также использоваться.
Совместное стерео декодирование с возможностью комплексного стерео предсказания выполняется, как описано в ISO/IEC 23003-3, подпункт 7.7. Результирующими выходными сигналами первого CPE являются сигналы понижающего микширования MPS cplx_out_dmx_L[] и cplx_out_dmx_R[]. Если разностное кодирование используется (то есть qceIndex == 2), то выходом второго CPE являются разностные сигналы MPS cplx_out_res_L[], cplx_out_res_R[], если никакой разностный сигнал не был передан (то есть qceIndex == 1), то вставляются нулевые сигналы.
Перед применением декодирования MPEG surround второй канал первого элемента (cplx_out_dmx_R[]) и первый канал второго элемента (cplx_out_res_L[]) меняются местами.
Декодирование MPEG surround выполняется, как описано в ISO/IEC 23003-3, подпункт 7.11. Если разностное кодирование используется, то декодирование может, однако, изменяться, по сравнению с обычным декодированием MPEG surround в некоторых вариантах осуществления. Декодирование MPEG surround без разностного сигнала, используя SBR, как определено в ISO/IEC 23003-3, подпункт 7.11.2.7 (фиг. 23), изменяется так, чтобы стерео SBR также использовалась для bsResidualCoding == 1, что приводит к декодеру, схематически показанному на фиг. 19. Фиг. 19 показывает структурную схему аудио кодера для bsResidualCoding == 0 и bsStereoSbr == 1.
Как можно заметить на фиг. 19, базовый декодер 2010 USAC обеспечивает сигнал понижающего микширования (DMX) 2012 к декодеру 2020 MPS (MPEG surround), который обеспечивает первый декодированный аудио сигнал 2022 и второй декодированный аудио сигнал 2024. Декодер 2030 стерео SBR принимает первый декодированный аудио сигнал 2022 и второй декодированный аудио сигнал 2024 и обеспечивает, на основе этого, левый аудио сигнал 2032 с расширенным диапазоном и правый аудио сигнал 2034 с расширенным диапазоном.
Перед применением SBR стерео второй канал первого элемента (mps_out_L_2[]) и первый канал второго элемента (mps_out_R_1[]) меняются местами для предоставления возможности стерео SBR «лево/право». После применения стерео SBR второй выходной канал первого элемента (sbr_out_R_1[]) и первый канал второго элемента (sbr_out_L_2[])снова меняются местами для восстановления входного порядка каналов.
Структура декодера QCE показана на фиг. 20, которая схематически показывает декодер QCE.
Нужно отметить, что структурная схема на фиг. 20 очень похожа на структурную схему на фиг. 13, так что ссылка также делается на приведенные выше объяснения. Кроме того, нужно отметить, что некоторое маркирование сигналов было добавлено на фиг. 20, причем ссылка делается на определения в этом разделе. Кроме того, показана окончательная повторная сортировка каналов, которая выполняется после стерео SBR.
Фиг. 21 показывает структурную схему кодера 2200 четырех каналов согласно варианту осуществления настоящего изобретения. Другими словами, кодер четырех каналов (элемент четырех каналов), который можно рассматривать в качестве базового кодирующего средства, показан на фиг. 21.
Кодер 2200 четырех каналов содержит первую стерео SBR 2210, которая принимает первый входной левый канальный сигнал 2212 и второй входной левый канальный сигнал 2214, и которая обеспечивает, на основе этого, первую полезную нагрузку 2215 SBR, первый выходной левый канальный сигнал 2216 SBR и первый выходной правый канальный сигнал 2218 SBR. Кроме того, кодер 2200 четырех каналов содержит вторую стерео SBR, которая принимает второй входной левый канальный сигнал 2222 и второй входной правый канальный сигнал 2224, и которая обеспечивает, на основе этого, первую полезную нагрузку 2225 SBR, первый выходной левый канальный сигнал 2226 SBR и первый выходной правый канальный сигнал 2228 SBR.
Кодер 2200 четырех каналов содержит первый многоканальный кодер 2230 типа MPEG-Surround (MPS 2-1-2 или унифицированное стерео), который принимает первый выходной левый канальный сигнал 2216 SBR и второй выходной левый канальный сигнал 2226 SBR, и который обеспечивает, на основе этого, первую полезную нагрузка 2232 MPS, левый канальный сигнал 2234 понижающего микширования MPEG Surround и, опционально, левый канальный разностный сигнал 2236 MPEG Surround. Кодер 2200 четырех каналов также содержит второй многоканальный кодер 2240 типа MPEG-Surround (MPS 2-1-2 или унифицированное стерео), который принимает первый выходной правый канальный сигнал 2218 SBR и второй выходной правый канальный сигнал 2228 SBR, и который обеспечивает, на основе этого, первую полезную нагрузку 2242 MPS, правый канальный сигнал 2244 понижающего микширования MPEG Surround и, опционально, правый канальный разностный сигнал 2246 MPEG Surround.
Кодер 2200 четырех каналов содержит первое кодирование 2250 с комплексным стерео предсказанием, которое принимает левый канальный сигнал 2234 понижающего микширования MPEG Surround и правый канальный сигнал 2244 понижающего микширования MPEG Surround, и который обеспечивает, на основе этого, полезную нагрузку 2252 комплексного предсказания и совместно кодированное представление 2254 левого канального сигнала 2234 понижающего микширования MPEG Surround и правого канального сигнала 2244 понижающего микширования MPEG Surround. Кодер 2200 четырех каналов содержит второе кодирование 2260 с комплексным стерео предсказанием, которое принимает левый канальный разностный сигнал 2236 MPEG Surround и правый канальный разностный сигнал 2246 MPEG Surround, и которое обеспечивает, на основе этого, полезную нагрузку 2262 комплексного предсказания и совместно кодированное представление 2264 левого канального сигнала 2236 понижающего микширования MPEG Surround и правого канального сигнала 2246 понижающего микширования MPEG Surround.
Кодер четырех каналов также содержит первое кодирование 2270 битового потока, которое принимает совместно кодированное представление 2254, полезную нагрузку 2252 комплексного предсказания, полезную нагрузку 2232 MPS и полезную нагрузку 2215 SBR и обеспечивает, на основе этого, часть битового потока, представляющую первый элемент пары каналов. Кодер четырех каналов также содержит второе кодирование 2280 битового потока, которое принимает совместно кодированное представление 2264, полезную нагрузку 2262 комплексного предсказания, полезную нагрузку 2242 MPS и полезную нагрузку 2225 SBR и обеспечивает, на основе этого, часть битового потока, представляющую первый элемент пары каналов.
14. Альтернативные воплощения
Хотя некоторые аспекты описаны в контексте устройства, ясно, что эти аспекты также представляют описание соответствующего способа, где блок или устройство соответствуют этапу способа или особенности этапа способа. Аналогично, аспекты, описанные в контексте этапа способа, также представляют описание соответствующего блока или элемента или особенности соответствующего устройства. Некоторые или все этапы способа могут выполняться (или использоваться) с помощью аппаратного устройства, как например, микропроцессор, программируемый компьютер или электронная схема. В некоторых вариантах осуществления некоторые из одного или большего количества самых важных этапов способа могут выполняться с помощью такого устройства.
Изобретенный кодированный аудио сигнал может сохраняться на цифровом носителе данных или может передаваться по среде передачи, такой как беспроводная среда передачи или проводная среда передачи, такая как Интернет.
В зависимости от конкретных требований воплощения варианты осуществления изобретения могут воплощаться в оборудовании или в программном обеспечении. Воплощение может выполняться, используя цифровой носитель данных, например, гибкий диск, DVD (цифровой видеодиск), диск Blu-Ray, CD (компакт-диск), ПЗУ (постоянное запоминающее устройство), ППЗУ (программируемое ПЗУ), СППЗУ (стираемое программируемое ПЗУ), ЭСППЗУ (электронно-стираемое программируемое ПЗУ) или флэш-память, которое имеет сохраненные на нем считываемые с помощью электроники управляющие сигналы, которые взаимодействуют (или имеют возможность взаимодействия) с программируемой компьютерной системой таким образом, чтобы выполнялся соответствующий способ. Поэтому, цифровой носитель данных может считываться с помощью компьютера.
Некоторые варианты осуществления согласно изобретению содержат носитель информации, имеющий считываемые с помощью электроники управляющие сигналы, которые имеют возможность взаимодействовать с программируемой компьютерной системой, так что выполняется один из способов, описанных в данной работе.
В общем случае варианты осуществления настоящего изобретения могут воплощаться в качестве компьютерного программного продукта с кодом программы, данный код программы функционирует для выполнения одного из способов, когда компьютерный программный продукт выполняется на компьютере. Код программы может, например, сохраняться на машиночитаемом носителе.
Другие варианты осуществления содержат компьютерную программу для выполнения одного из способов, описанных в данной работе, сохраненную на машиночитаемом носителе.
Другими словами, вариантом осуществления изобретенного способа поэтому является компьютерная программа, имеющая код программы для выполнения одного из способов, описанных в данной работе, когда данная компьютерная программа выполняется на компьютере.
Дополнительным вариантом осуществления изобретенных способов поэтому является носитель информации (или цифровой носитель данных, или считываемый компьютером носитель), содержащий записанную на нем компьютерную программу для выполнения одного из способов, описанных в данной работе. Носитель информации, цифровой носитель данных или записанный носитель обычно являются материальными и/или не временными.
Дополнительным вариантом осуществления изобретенного способа поэтому является поток данных или последовательность сигналов, представляющие компьютерную программу для выполнения одного из способов, описанных в данной работе. Поток данных или последовательность сигналов могут, например, конфигурироваться для перемещения через соединение передачи данных, например, через Интернет.
Дополнительный вариант осуществления содержит средство обработки, например, компьютер или программируемое логическое устройство, конфигурируемое или настроенное для выполнения одного из способов, описанных в данной работе.
Дополнительный вариант осуществления содержит компьютер, установленную на нем компьютерную программу для выполнения одного из способов, описанных в данной работе.
Дополнительный вариант осуществления согласно изобретению содержит устройство или систему, конфигурируемую для перемещения (например, с помощью электроники или оптически) компьютерной программы для выполнения одного из способов, описанных в данной работе, на приемник. Приемник может, например, быть компьютером, мобильным устройством, запоминающим устройством или подобным устройством. Устройство или система могут, например, содержать файловый сервер для передачи компьютерной программы к приемнику.
В некоторых вариантах осуществления программируемое логическое устройство (например, программируемая пользователем вентильная матрица) может использоваться для выполнения некоторых или всех функциональных возможностей способов, описанных в данной работе. В некоторых вариантах осуществления программируемая пользователем вентильная матрица может взаимодействовать с микропроцессором для выполнения одного из способов, описанных в данной работе. В общем случае способы предпочтительно выполняются с помощью какого-либо аппаратного устройства.
Вышеописанные варианты осуществления являются просто иллюстративными для принципов настоящего изобретения. Подразумевается, что модификации и разновидности структур и подробностей, описанных в данной работе, будут очевидны другим специалистам. Поэтому намерением является ограничение только с помощью приведенной далее формулы изобретения, а не с помощью конкретных подробностей, представленных посредством описания и объяснения вариантов осуществления в данной работе.
15. Выводы
Далее будут приведены некоторые выводы.
Варианты осуществления согласно изобретению основаны на рассмотрении, что для учета взаимозависимостей сигналов между вертикально и горизонтально распределенными каналами, четыре канала могут совместно кодироваться с помощью иерархического объединения средств совместного стерео кодирования. Например, вертикальные пары каналов объединяются, используя MPS 2-1-2 и/или унифицированное разностное стерео кодирование с ограниченным диапазоном или с полным диапазоном. Для удовлетворения перцепционных требований к бинауральному демаскированию, выходной сигнал понижающего микширования, например, совместно кодируются при помощи комплексного предсказания в области MDCT, что включает в себя возможность кодирования «лево/право» и «середина/сторона». Если разностные сигналы присутствуют, то они объединяются по горизонтали, используя тот же самый способ.
Кроме того, нужно отметить, что варианты осуществления согласно изобретению преодолевают некоторые или все недостатки предшествующего уровня техники. Варианты осуществления согласно изобретению настраиваются для трехмерной аудио обстановки, причем каналы громкоговорителей распределяются по нескольким уровням высоты, что приводит к парам из горизонтального и вертикального каналов. Было обнаружено, что совместное кодирование только двух каналов, которое определено в USAC, не достаточно для учета пространственных и перцепционных соотношений между каналами. Однако, эта проблема преодолена с помощью вариантов осуществления согласно изобретению.
Кроме того, обычное кодирование MPEG Surround применяется на дополнительном этапе предварительной/последующей обработки, так что разностные сигналы передаются отдельно без возможности совместного стерео кодирования, например, для исследования взаимозависимости между левым и правым основными разностными сигналами. Напротив, варианты осуществления согласно изобретению предусматривают эффективное кодирование/декодирование с помощью использования таких взаимозависимостей.
Делая последующий вывод, варианты осуществления согласно изобретению создают устройство, способ или компьютерную программу для кодирования и декодирования, которые описаны в данной работе.
Ссылки:
[1] ISO/IEC 23003-3: 2012 - Information Technology - MPEG Audio Technologies, Part 3: Unified Speech and Audio Coding;
[2] ISO/IEC 23003-1: 2007 - Information Technology - MPEG Audio Technologies, Part 1: MPEG Surround
Claims (88)
1. Аудио декодер (500; 600; 1300; 1600; 2000) для обеспечения по меньшей мере четырех канальных сигналов (520, 522, 524, 526) с расширенной полосой пропускания на основе кодированного представления (510; 610, 682; 1310, 1312),
причем аудио декодер выполнен с возможностью обеспечения первого сигнала (532; 632; 1342) понижающего микширования и второго сигнала (534; 634; 1344) понижающего микширования на основе совместно кодированного представления (510; 610; 1310) первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное декодирование (530; 630; 1340);
причем аудио декодер выполнен с возможностью обеспечения по меньшей мере первого канального аудио сигнала (542; 642; 1372) и второго канального аудио сигнала (544; 644; 1374) на основе первого сигнала понижающего микширования, используя многоканальное декодирование (540; 640; 1370);
причем аудио декодер выполнен с возможностью обеспечения по меньшей мере третьего канального аудио сигнала (556; 656; 1382) и четвертого канального аудио сигнала (558; 658; 1384) на основе второго сигнала понижающего микширования, используя многоканальное декодирование (550; 650; 1380);
причем аудио декодер выполнен с возможностью осуществления первого совместного многоканального расширения (560; 660; 1390) полосы пропускания на основе первого канального аудио сигнала и третьего канального аудио сигнала для получения первого канального сигнала (520; 620; 1320) с расширенной полосой пропускания и третьего канального сигнала (524; 624; 1324) с расширенной полосой пропускания; и
причем аудио декодер выполнен с возможностью осуществления второго совместного многоканального расширения (570; 670; 1394) полосы пропускания на основе второго канального аудио сигнала и четвертого канального аудио сигнала для получения второго канального сигнала (522; 622; 1322) с расширенной полосой пропускания и четвертого канального сигнала (526; 626; 1326) с расширенной полосой пропускания.
2. Аудио декодер по п. 1, в котором первый сигнал понижающего микширования и второй сигнал понижающего микширования связаны с различными горизонтальными положениями или азимутальными положениями аудио сцены.
3. Аудио декодер по п. 1, в котором первый сигнал понижающего микширования связан с левой стороной аудио сцены и в котором второй сигнал понижающего микширования связан с правой стороной аудио сцены.
4. Аудио декодер по п. 1, в котором первый канальный аудио сигнал и второй канальный аудио сигнал связаны с соседними по вертикали положениями аудио сцены и
в котором третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны с соседними по вертикали положениями аудио сцены.
5. Аудио декодер по п. 1, в котором первый канальный аудио сигнал и третий канальный аудио сигнал связаны с первой общей горизонтальной плоскостью или первой общей высотой аудио сцены, но с различными горизонтальными положениями или азимутальными положениями аудио сцены,
причем второй канальный аудио сигнал и четвертый канальный аудио сигнал связаны со второй общей горизонтальной плоскостью или второй общей высотой аудио сцены, но с различными горизонтальными положениями или азимутальными положениями аудио сцены,
причем первая общая горизонтальная плоскость или первая общая высота отличается от второй общей горизонтальной плоскости или второй общей высоты.
6. Аудио декодер по п. 5, в котором первый канальный аудио сигнал и второй канальный аудио сигнал связаны с первой общей вертикальной плоскостью или первым общим азимутальным положением аудио сцены, но с различными вертикальными положениями или высотами аудио сцены, и
причем третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны со второй общей вертикальной плоскостью или вторым общим азимутальным положением аудио сцены, но с различными вертикальными положениями или высотами аудио сцены,
причем первая общая вертикальная плоскость или первое азимутальное положение отличается от второй общей вертикальной плоскости или второго азимутального положения.
7. Аудио декодер по п. 1, в котором первый канальный аудио сигнал и второй канальный аудио сигнал связаны с левой стороной аудио сцены и
в котором третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны с правой стороной аудио сцены.
8. Аудио декодер по п. 1, в котором первый канальный аудио сигнал и третий канальный аудио сигнал связаны с нижней частью аудио сцены и
в котором второй канальный аудио сигнал и четвертый канальный аудио сигнал связаны с верхней частью аудио сцены.
9. Аудио декодер по п. 1, причем аудио декодер выполнен с возможностью осуществления расширения стерео полосы пропускания на основе первого канального аудио сигнала и третьего канального аудио сигнала для получения первого канального сигнала с расширенной полосой пропускания и третьего канального сигнала с расширенной полосой пропускания,
причем первый канальный аудио сигнал и третий канальный аудио сигнал представляют собой первую пару левого/правого каналов; и
причем аудио декодер выполнен с возможностью осуществления расширения стерео полосы пропускания на основе второго канального аудио сигнала и четвертого канального аудио сигнала для получения второго канального сигнала с расширенной полосой пропускания и четвертого канального сигнала с расширенной полосой пропускания,
причем второй канальный аудио сигнал и четвертый канальный аудио сигнал представляют собой вторую пару левого/правого каналов.
10. Аудио декодер по п. 1,
причем аудио декодер выполнен с возможностью обеспечения первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя основанное на предсказании многоканальное декодирование.
11. Аудио декодер по п. 1,
причем аудио декодер выполнен с возможностью обеспечения первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя выполняемое с помощью разностного сигнала многоканальное декодирование.
12. Аудио декодер по п. 1,
причем аудио декодер выполнен с возможностью обеспечения по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала на основе первого сигнала понижающего микширования, используя основанное на параметре многоканальное декодирование;
причем аудио декодер выполнен с возможностью обеспечения по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала на основе второго сигнала понижающего микширования, используя основанное на параметре многоканальное декодирование.
13. Аудио декодер по п. 12, в котором основанное на параметре многоканальное декодирование сконфигурировано для оценки одного или большего количества параметров, описывающих желательную корреляцию между двумя каналами и/или различия уровней между двумя каналами, для обеспечения двух или большего количества канальных аудио сигналов на основе соответствующего сигнала понижающего микширования.
14. Аудио декодер по п. 1,
причем аудио декодер выполнен с возможностью обеспечения по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала на основе первого сигнала понижающего микширования, используя выполняемое с помощью разностного сигнала многоканальное декодирование; и
причем аудио декодер выполнен с возможностью обеспечения по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала на основе второго сигнала понижающего микширования, используя основанное на разностном сигнале многоканальное декодирование.
15. Аудио декодер по п. 1,
причем аудио декодер выполнен с возможностью обеспечения первого разностного сигнала, который используется для обеспечения по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала, и второго разностного сигнала, который используется для обеспечения по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала на основе совместно кодированного представления первого разностного сигнала и второго разностного сигнала, используя многоканальное декодирование.
16. Аудио декодер по п. 15, в котором первый разностный сигнал и второй разностный сигнал связаны с различными горизонтальными положениями или азимутальными положениями аудио сцены.
17. Аудио декодер по п. 15, в котором первый разностный сигнал связан с левой стороной аудио сцены и в котором второй разностный сигнал связан с правой стороной аудио сцены.
18. Аудио кодер (400; 1500; 2200) для обеспечения кодированного представления (420; 1532; 2272, 2282) на основе по меньшей мере четырех канальных аудио сигналов (410, 412; 1512, 1514; 2212, 2222, 2214, 2224),
причем аудио кодер выполнен с возможностью получения первого набора (2215) из общих параметров расширения полосы пропускания на основе первого канального аудио сигнала (410; 2212) и третьего канального аудио сигнала (414, 2214);
причем аудио кодер выполнен с возможностью получения второго набора (2225) из общих параметров расширения полосы пропускания на основе второго канального аудио сигнала (412; 2222) и четвертого канального аудио сигнала (416; 2224);
причем аудио кодер выполнен с возможностью совместного кодирования по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала, используя многоканальное кодирование (450; 2230), для получения первого сигнала (452; 2234) понижающего микширования;
причем аудио кодер выполнен с возможностью совместного кодирования по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала, используя многоканальное кодирование (460; 2240), для получения второго сигнала (462; 2244) понижающего микширования; и
причем аудио кодер выполнен с возможностью совместного кодирования первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное кодирование (470; 2250), для получения кодированного представления сигналов понижающего микширования.
19. Аудио кодер по п. 18, в котором первый сигнал понижающего микширования и второй сигнал понижающего микширования связаны с различными горизонтальными положениями или азимутальными положениями аудио сцены.
20. Аудио кодер по п. 18, в котором первый сигнал понижающего микширования связан с левой стороной аудио сцены и в котором второй сигнал понижающего микширования связан с правой стороной аудио сцены.
21. Аудио кодер по п. 18, в котором первый канальный аудио сигнал и второй канальный аудио сигнал связаны с соседними по вертикали положениями аудио сцены и
в котором третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны с соседними по вертикали положениями аудио сцены.
22. Аудио кодер по п. 18, в котором первый канальный аудио сигнал и третий канальный аудио сигнал связаны с первой общей горизонтальной плоскостью или первой высотой аудио сцены, но с различными горизонтальными положениями или азимутальными положениями аудио сцены,
в котором второй канальный аудио сигнал и четвертый канальный аудио сигнал связаны со второй общей горизонтальной плоскостью или второй высотой аудио сцены, но с различными горизонтальными положениями или азимутальными положениями аудио сцены,
в котором первая общая горизонтальная плоскость или первая высота отличаются от второй общей горизонтальной плоскости или второй высоты.
23. Аудио кодер по п. 22, в котором первый канальный аудио сигнал и второй канальный аудио сигнал связаны с первой общей вертикальной плоскостью или первым азимутальным положением аудио сцены, но с различными вертикальными положениями или высотами аудио сцены, и
в котором третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны со второй общей вертикальной плоскостью или вторыми азимутальными положениями аудио сцены, но с различными вертикальными положениями или высотами аудио сцены,
в котором первая общая вертикальная плоскость или первое азимутальное положение отличается от второй общей вертикальной плоскости или второго азимутального положения.
24. Аудио кодер по п. 18, в котором первый канальный аудио сигнал и второй канальный аудио сигнал связаны с левой стороной аудио сцены и
в котором третий канальный аудио сигнал и четвертый канальный аудио сигнал связаны с правой стороной аудио сцены.
25. Аудио кодер по п. 18, в котором первый канальный аудио сигнал и третий канальный аудио сигнал связаны с нижней частью аудио сцены и
в котором второй канальный аудио сигнал и четвертый канальный аудио сигнал связаны с верхней частью аудио сцены.
26. Аудио кодер по п. 18,
причем аудио кодер выполнен с возможностью обеспечения совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя основанное на предсказании многоканальное кодирование.
27. Аудио кодер по п. 18,
причем аудио кодер выполнен с возможностью обеспечения совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования на основе первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя выполняемое с помощью разностного сигнала многоканальное кодирование.
28. Аудио кодер по п. 18,
причем аудио кодер выполнен с возможностью обеспечения первого сигнала понижающего микширования на основе первого канального аудио сигнала и второго канального аудио сигнала, используя основанное на параметре многоканальное кодирование; и
причем аудио кодер выполнен с возможностью обеспечения второго сигнала понижающего микширования на основе третьего канального аудио сигнала и четвертого канального аудио сигнала, используя основанное на параметре многоканальное кодирование.
29. Аудио кодер по п. 28, в котором основанное на параметре многоканальное кодирование сконфигурировано для обеспечения одного или большего количества параметров, описывающих желательную корреляцию между двумя каналами и/или различия уровней между двумя каналами.
30. Аудио кодер по п. 18,
причем аудио кодер выполнен с возможностью обеспечения первого сигнала понижающего микширования на основе первого канального аудио сигнала и второго канального аудио сигнала, используя выполняемое с помощью разностного сигнала многоканальное кодирование; и
причем аудио кодер выполнен с возможностью обеспечения второго сигнала понижающего микширования на основе третьего канального аудио сигнала и четвертого канального аудио сигнала, используя выполняемое с помощью разностного сигнала многоканальное кодирование.
31. Аудио кодер по п. 18,
причем аудио кодер выполнен с возможностью обеспечения совместно кодированного представления первого разностного сигнала, который получается при совместном кодировании по меньшей мере первого канального аудио сигнала и второго канального аудио сигнала, и второго разностного сигнала, который получается при совместном кодировании по меньшей мере третьего канального аудио сигнала и четвертого канального аудио сигнала, используя многоканальное кодирование.
32. Аудио кодер по п. 31, в котором первый разностный сигнал и второй разностный сигнал связаны с различными горизонтальными положениями или азимутальными положениями аудио сцены.
33. Аудио кодер по п. 31, в котором первый разностный сигнал связан с левой стороной аудио сцены и в котором второй разностный сигнал связан с правой стороной аудио сцены.
34. Способ (1000) обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления, причем способ содержит этапы, на которых:
обеспечивают (1010) первый сигнал понижающего микширования и второй сигнал понижающего микширования на основе совместно кодированного представления первого сигнала понижающего микширования и второго сигнала понижающего микширования, используя многоканальное декодирование;
обеспечивают (1020) по меньшей мере первый канальный аудио сигнал и второй канальный аудио сигнал на основе первого сигнала понижающего микширования, используя многоканальное декодирование;
обеспечивают (1030) по меньшей мере третий канальный аудио сигнал и четвертый канальный аудио сигнал на основе второго сигнала понижающего микширования, используя многоканальное декодирование;
выполняют (1040) первое совместное многоканальное расширение полосы пропускания на основе первого канального аудио сигнала и третьего канального аудио сигнала для получения первого канального сигнала с расширенной полосой пропускания и третьего канального сигнала с расширенной полосой пропускания и
выполняют (1050) второе совместное многоканальное расширение полосы пропускания на основе второго канального аудио сигнала и четвертого канального аудио сигнала для получения второго канального сигнала с расширенной полосой пропускания и четвертого канального сигнала с расширенной полосой пропускания.
35. Машиночитаемый носитель, содержащий сохраненную на нем компьютерную программу для выполнения способа по п. 34, когда компьютерная программа выполняется на компьютере.
36. Способ (900) обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов, причем способ содержит этапы, на которых:
получают (920) первый набор общих параметров расширения полосы пропускания на основе первого канального аудио сигнала и третьего канального аудио сигнала;
получают (930) второй набор общих параметров расширения полосы пропускания на основе второго канального аудио сигнала и четвертого канального аудио сигнала;
совместно кодируют (930) по меньшей мере первый канальный аудио сигнал и второй канальный аудио сигнал, используя многоканальное кодирование, для получения первого сигнала понижающего микширования;
совместно кодируют (940) по меньшей мере третий канальный аудио сигнал и четвертый канальный аудио сигнал, используя многоканальное кодирование, для получения второго сигнала понижающего микширования; и
совместно кодируют (950) первый сигнал понижающего микширования и второй сигнал понижающего микширования, используя многоканальное кодирование, для получения кодированного представления сигналов понижающего микширования.
37. Машиночитаемый носитель, содержащий сохраненную на нем компьютерную программу для выполнения способа по п. 36, когда компьютерная программа выполняется на компьютере.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13177376.4 | 2013-07-22 | ||
| EP13177376 | 2013-07-22 | ||
| EP13189306.7A EP2830052A1 (en) | 2013-07-22 | 2013-10-18 | Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension |
| EP13189306.7 | 2013-10-18 | ||
| PCT/EP2014/065021 WO2015010934A1 (en) | 2013-07-22 | 2014-07-14 | Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2016105703A RU2016105703A (ru) | 2017-08-25 |
| RU2666230C2 true RU2666230C2 (ru) | 2018-09-06 |
Family
ID=48874137
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016105702A RU2677580C2 (ru) | 2013-07-22 | 2014-07-11 | Аудиокодер, аудиодекодер, способы и компьютерная программа, использующие совместно кодированные разностные сигналы |
| RU2016105703A RU2666230C2 (ru) | 2013-07-22 | 2014-07-14 | Аудио декодер, аудио кодер, способ обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления, способ обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов и компьютерная программа, использующие расширение диапазона |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016105702A RU2677580C2 (ru) | 2013-07-22 | 2014-07-11 | Аудиокодер, аудиодекодер, способы и компьютерная программа, использующие совместно кодированные разностные сигналы |
Country Status (19)
| Country | Link |
|---|---|
| US (8) | US9953656B2 (ru) |
| EP (4) | EP2830051A3 (ru) |
| JP (2) | JP6346278B2 (ru) |
| KR (2) | KR101823278B1 (ru) |
| CN (5) | CN111105805A (ru) |
| AR (2) | AR097012A1 (ru) |
| AU (2) | AU2014295360B2 (ru) |
| BR (2) | BR112016001141B1 (ru) |
| CA (2) | CA2917770C (ru) |
| ES (2) | ES2650544T3 (ru) |
| MX (2) | MX357667B (ru) |
| MY (1) | MY181944A (ru) |
| PL (2) | PL3022735T3 (ru) |
| PT (2) | PT3022735T (ru) |
| RU (2) | RU2677580C2 (ru) |
| SG (1) | SG11201600468SA (ru) |
| TW (2) | TWI544479B (ru) |
| WO (2) | WO2015010926A1 (ru) |
| ZA (2) | ZA201601080B (ru) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2830053A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
| EP2830051A3 (en) * | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
| CA2978075A1 (en) * | 2015-02-27 | 2016-09-01 | Auro Technologies Nv | Encoding and decoding digital data sets |
| EP3067887A1 (en) | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal |
| WO2016204581A1 (ko) | 2015-06-17 | 2016-12-22 | 삼성전자 주식회사 | 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치 |
| CN107731238B (zh) * | 2016-08-10 | 2021-07-16 | 华为技术有限公司 | 多声道信号的编码方法和编码器 |
| US10217468B2 (en) * | 2017-01-19 | 2019-02-26 | Qualcomm Incorporated | Coding of multiple audio signals |
| US10573326B2 (en) * | 2017-04-05 | 2020-02-25 | Qualcomm Incorporated | Inter-channel bandwidth extension |
| US10431231B2 (en) | 2017-06-29 | 2019-10-01 | Qualcomm Incorporated | High-band residual prediction with time-domain inter-channel bandwidth extension |
| CA3078858A1 (en) * | 2017-10-12 | 2019-04-18 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Optimizing audio delivery for virtual reality applications |
| CN111630593B (zh) * | 2018-01-18 | 2021-12-28 | 杜比实验室特许公司 | 用于译码声场表示信号的方法和装置 |
| CN115334444A (zh) | 2018-04-11 | 2022-11-11 | 杜比国际公司 | 用于音频渲染的预渲染信号的方法、设备和系统 |
| GB201808897D0 (en) * | 2018-05-31 | 2018-07-18 | Nokia Technologies Oy | Spatial audio parameters |
| CN110556117B (zh) | 2018-05-31 | 2022-04-22 | 华为技术有限公司 | 立体声信号的编码方法和装置 |
| CN110556116B (zh) | 2018-05-31 | 2021-10-22 | 华为技术有限公司 | 计算下混信号和残差信号的方法和装置 |
| CN110660400B (zh) | 2018-06-29 | 2022-07-12 | 华为技术有限公司 | 立体声信号的编码、解码方法、编码装置和解码装置 |
| EP3874491B1 (en) | 2018-11-02 | 2024-05-01 | Dolby International AB | Audio encoder and audio decoder |
| US10985951B2 (en) | 2019-03-15 | 2021-04-20 | The Research Foundation for the State University | Integrating Volterra series model and deep neural networks to equalize nonlinear power amplifiers |
| WO2020204904A1 (en) * | 2019-04-01 | 2020-10-08 | Google Llc | Learning compressible features |
| US20200402522A1 (en) * | 2019-06-24 | 2020-12-24 | Qualcomm Incorporated | Quantizing spatial components based on bit allocations determined for psychoacoustic audio coding |
| CN110534120B (zh) * | 2019-08-31 | 2021-10-01 | 深圳市友恺通信技术有限公司 | 一种移动网络环境下的环绕声误码修复方法 |
| KR20230060502A (ko) * | 2020-09-03 | 2023-05-04 | 소니그룹주식회사 | 신호 처리 장치 및 방법, 학습 장치 및 방법, 그리고 프로그램 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080004883A1 (en) * | 2006-06-30 | 2008-01-03 | Nokia Corporation | Scalable audio coding |
| WO2009078681A1 (en) * | 2007-12-18 | 2009-06-25 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
| US20100332239A1 (en) * | 2005-04-14 | 2010-12-30 | Samsung Electronics Co., Ltd. | Apparatus and method of encoding audio data and apparatus and method of decoding encoded audio data |
| US20110178810A1 (en) * | 2003-10-30 | 2011-07-21 | Koninklijke Philips Electronics, N.V. | Audio signal encoding or decoding |
| US20120002818A1 (en) * | 2009-03-17 | 2012-01-05 | Dolby International Ab | Advanced Stereo Coding Based on a Combination of Adaptively Selectable Left/Right or Mid/Side Stereo Coding and of Parametric Stereo Coding |
| US20120070007A1 (en) * | 2010-09-16 | 2012-03-22 | Samsung Electronics Co., Ltd. | Apparatus and method for bandwidth extension for multi-channel audio |
| RU2449387C2 (ru) * | 2007-11-21 | 2012-04-27 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ и устройство для обработки сигнала |
| WO2012158333A1 (en) * | 2011-05-19 | 2012-11-22 | Dolby Laboratories Licensing Corporation | Forensic detection of parametric audio coding schemes |
| WO2012170385A1 (en) * | 2011-06-10 | 2012-12-13 | Motorola Mobility Llc | Method and apparatus for encoding a signal |
Family Cites Families (78)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3528260B2 (ja) * | 1993-10-26 | 2004-05-17 | ソニー株式会社 | 符号化装置及び方法、並びに復号化装置及び方法 |
| US5488665A (en) | 1993-11-23 | 1996-01-30 | At&T Corp. | Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels |
| US5970152A (en) | 1996-04-30 | 1999-10-19 | Srs Labs, Inc. | Audio enhancement system for use in a surround sound environment |
| SE522553C2 (sv) * | 2001-04-23 | 2004-02-17 | Ericsson Telefon Ab L M | Bandbreddsutsträckning av akustiska signaler |
| KR100988293B1 (ko) * | 2002-08-07 | 2010-10-18 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 채널 공간 트랜스레이션 |
| US7447317B2 (en) * | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
| US7394903B2 (en) | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
| EP1723639B1 (en) * | 2004-03-12 | 2007-11-14 | Nokia Corporation | Synthesizing a mono audio signal based on an encoded multichannel audio signal |
| SE0400997D0 (sv) | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Efficient coding of multi-channel audio |
| WO2006000956A1 (en) * | 2004-06-22 | 2006-01-05 | Koninklijke Philips Electronics N.V. | Audio encoding and decoding |
| US7630396B2 (en) | 2004-08-26 | 2009-12-08 | Panasonic Corporation | Multichannel signal coding equipment and multichannel signal decoding equipment |
| SE0402652D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Methods for improved performance of prediction based multi- channel reconstruction |
| EP1691348A1 (en) | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
| US7573912B2 (en) | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
| MX2007011995A (es) * | 2005-03-30 | 2007-12-07 | Koninkl Philips Electronics Nv | Codificacion y decodificacion de audio. |
| US7751572B2 (en) | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
| EP1876585B1 (en) * | 2005-04-28 | 2010-06-16 | Panasonic Corporation | Audio encoding device and audio encoding method |
| TWI462086B (zh) * | 2005-09-14 | 2014-11-21 | Lg Electronics Inc | 音頻訊號之解碼方法及其裝置 |
| KR100888474B1 (ko) * | 2005-11-21 | 2009-03-12 | 삼성전자주식회사 | 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법 |
| US8411869B2 (en) | 2006-01-19 | 2013-04-02 | Lg Electronics Inc. | Method and apparatus for processing a media signal |
| US7953604B2 (en) | 2006-01-20 | 2011-05-31 | Microsoft Corporation | Shape and scale parameters for extended-band frequency coding |
| JP2007207328A (ja) | 2006-01-31 | 2007-08-16 | Toshiba Corp | 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法 |
| EP2000001B1 (en) * | 2006-03-28 | 2011-12-21 | Telefonaktiebolaget LM Ericsson (publ) | Method and arrangement for a decoder for multi-channel surround sound |
| DE102006047197B3 (de) * | 2006-07-31 | 2008-01-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten |
| KR101435893B1 (ko) * | 2006-09-22 | 2014-09-02 | 삼성전자주식회사 | 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치 |
| EP2337380B8 (en) * | 2006-10-13 | 2020-02-26 | Auro Technologies NV | A method and encoder for combining digital data sets, a decoding method and decoder for such combined digital data sets and a record carrier for storing such combined digital data sets |
| JP5220840B2 (ja) * | 2007-03-30 | 2013-06-26 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート | マルチチャネルで構成されたマルチオブジェクトオーディオ信号のエンコード、並びにデコード装置および方法 |
| CN101071570B (zh) * | 2007-06-21 | 2011-02-16 | 北京中星微电子有限公司 | 耦合声道的编、解码处理方法、音频编码装置及解码装置 |
| CN101802907B (zh) * | 2007-09-19 | 2013-11-13 | 爱立信电话股份有限公司 | 多信道音频的联合增强 |
| WO2009049895A1 (en) * | 2007-10-17 | 2009-04-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio coding using downmix |
| CN102968994B (zh) * | 2007-10-22 | 2015-07-15 | 韩国电子通信研究院 | 多对象音频解码方法和设备 |
| US20090164223A1 (en) * | 2007-12-19 | 2009-06-25 | Dts, Inc. | Lossless multi-channel audio codec |
| AU2008344084A1 (en) | 2008-01-01 | 2009-07-09 | Lg Electronics Inc. | A method and an apparatus for processing a signal |
| CA2717584C (en) * | 2008-03-04 | 2015-05-12 | Lg Electronics Inc. | Method and apparatus for processing an audio signal |
| KR101629862B1 (ko) | 2008-05-23 | 2016-06-24 | 코닌클리케 필립스 엔.브이. | 파라메트릭 스테레오 업믹스 장치, 파라메트릭 스테레오 디코더, 파라메트릭 스테레오 다운믹스 장치, 파라메트릭 스테레오 인코더 |
| EP2144231A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme with common preprocessing |
| EP2144229A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Efficient use of phase information in audio encoding and decoding |
| CN102172047B (zh) | 2008-07-31 | 2014-01-29 | 弗劳恩霍夫应用研究促进协会 | 双耳信号的信号生成设备和方法 |
| WO2010017833A1 (en) * | 2008-08-11 | 2010-02-18 | Nokia Corporation | Multichannel audio coder and decoder |
| WO2010042024A1 (en) * | 2008-10-10 | 2010-04-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Energy conservative multi-channel audio coding |
| EP2194526A1 (en) * | 2008-12-05 | 2010-06-09 | Lg Electronics Inc. | A method and apparatus for processing an audio signal |
| US8332229B2 (en) * | 2008-12-30 | 2012-12-11 | Stmicroelectronics Asia Pacific Pte. Ltd. | Low complexity MPEG encoding for surround sound recordings |
| EP2214161A1 (en) | 2009-01-28 | 2010-08-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for upmixing a downmix audio signal |
| EP2214162A1 (en) | 2009-01-28 | 2010-08-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Upmixer, method and computer program for upmixing a downmix audio signal |
| JP5358691B2 (ja) | 2009-04-08 | 2013-12-04 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ | 位相値平滑化を用いてダウンミックスオーディオ信号をアップミックスする装置、方法、およびコンピュータプログラム |
| CN101582262B (zh) * | 2009-06-16 | 2011-12-28 | 武汉大学 | 一种空间音频参数帧间预测编解码方法 |
| ES2524428T3 (es) | 2009-06-24 | 2014-12-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decodificador de señales de audio, procedimiento para decodificar una señal de audio y programa de computación que utiliza etapas en cascada de procesamiento de objetos de audio |
| CN101989425B (zh) | 2009-07-30 | 2012-05-23 | 华为终端有限公司 | 多描述音频编解码的方法、装置及系统 |
| KR101569702B1 (ko) * | 2009-08-17 | 2015-11-17 | 삼성전자주식회사 | 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치 |
| JP2011066868A (ja) * | 2009-08-18 | 2011-03-31 | Victor Co Of Japan Ltd | オーディオ信号符号化方法、符号化装置、復号化方法及び復号化装置 |
| KR101613975B1 (ko) * | 2009-08-18 | 2016-05-02 | 삼성전자주식회사 | 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| RU2576476C2 (ru) | 2009-09-29 | 2016-03-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф., | Декодер аудиосигнала, кодер аудиосигнала, способ формирования представления сигнала повышающего микширования, способ формирования представления сигнала понижающего микширования, компьютерная программа и бистрим, использующий значение общего параметра межобъектной корреляции |
| CN101695150B (zh) * | 2009-10-12 | 2011-11-30 | 清华大学 | 多声道音频编码方法、编码器、解码方法和解码器 |
| KR101710113B1 (ko) | 2009-10-23 | 2017-02-27 | 삼성전자주식회사 | 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법 |
| WO2011073201A2 (en) * | 2009-12-16 | 2011-06-23 | Dolby International Ab | Sbr bitstream parameter downmix |
| EP2375409A1 (en) * | 2010-04-09 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |
| MX2012011532A (es) * | 2010-04-09 | 2012-11-16 | Dolby Int Ab | Codificacion a estereo para prediccion de complejos basados en mdct. |
| PL3779977T3 (pl) | 2010-04-13 | 2023-11-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Dekoder audio do przetwarzania audio stereo z wykorzystaniem zmiennego kierunku predykcji |
| BR112013004362B1 (pt) | 2010-08-25 | 2020-12-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | aparelho para a geração de um sinal descorrelacionado utilizando informação de fase transmitida |
| GB2485979A (en) * | 2010-11-26 | 2012-06-06 | Univ Surrey | Spatial audio coding |
| ES2643163T3 (es) | 2010-12-03 | 2017-11-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y procedimiento para codificación de audio espacial basada en geometría |
| EP2477188A1 (en) | 2011-01-18 | 2012-07-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoding and decoding of slot positions of events in an audio signal frame |
| CN102610231B (zh) * | 2011-01-24 | 2013-10-09 | 华为技术有限公司 | 一种带宽扩展方法及装置 |
| AR085895A1 (es) | 2011-02-14 | 2013-11-06 | Fraunhofer Ges Forschung | Generacion de ruido en codecs de audio |
| MY159444A (en) | 2011-02-14 | 2017-01-13 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E V | Encoding and decoding of pulse positions of tracks of an audio signal |
| AR090703A1 (es) * | 2012-08-10 | 2014-12-03 | Fraunhofer Ges Forschung | Codificador, decodificador, sistema y metodo que emplean un concepto residual para codificar objetos de audio parametricos |
| PL2951820T3 (pl) | 2013-01-29 | 2017-06-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Urządzenie i sposób wyboru jednego spośród pierwszego algorytmu kodowania i drugiego algorytmu kodowania |
| US9679571B2 (en) | 2013-04-10 | 2017-06-13 | Electronics And Telecommunications Research Institute | Encoder and encoding method for multi-channel signal, and decoder and decoding method for multi-channel signal |
| WO2014168439A1 (ko) * | 2013-04-10 | 2014-10-16 | 한국전자통신연구원 | 다채널 신호를 위한 인코더 및 인코딩 방법, 다채널 신호를 위한 디코더 및 디코딩 방법 |
| EP2830049A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for efficient object metadata coding |
| EP2838086A1 (en) | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
| EP2830061A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
| EP2830053A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
| EP2830332A3 (en) | 2013-07-22 | 2015-03-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration |
| EP2830051A3 (en) | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
| EP2830045A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
| EP2866227A1 (en) | 2013-10-22 | 2015-04-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder |
| EP2928216A1 (en) | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
-
2013
- 2013-10-18 EP EP13189305.9A patent/EP2830051A3/en not_active Withdrawn
- 2013-10-18 EP EP13189306.7A patent/EP2830052A1/en not_active Withdrawn
-
2014
- 2014-07-11 SG SG11201600468SA patent/SG11201600468SA/en unknown
- 2014-07-11 EP EP14739141.1A patent/EP3022735B1/en active Active
- 2014-07-11 CA CA2917770A patent/CA2917770C/en active Active
- 2014-07-11 ES ES14739141.1T patent/ES2650544T3/es active Active
- 2014-07-11 JP JP2016528404A patent/JP6346278B2/ja active Active
- 2014-07-11 WO PCT/EP2014/064915 patent/WO2015010926A1/en active Application Filing
- 2014-07-11 KR KR1020167004625A patent/KR101823278B1/ko active IP Right Grant
- 2014-07-11 PT PT147391411T patent/PT3022735T/pt unknown
- 2014-07-11 CN CN201911231996.6A patent/CN111105805A/zh active Pending
- 2014-07-11 RU RU2016105702A patent/RU2677580C2/ru active
- 2014-07-11 MX MX2016000939A patent/MX357667B/es active IP Right Grant
- 2014-07-11 CN CN201480041694.1A patent/CN105593931B/zh active Active
- 2014-07-11 PL PL14739141T patent/PL3022735T3/pl unknown
- 2014-07-11 BR BR112016001141-4A patent/BR112016001141B1/pt active IP Right Grant
- 2014-07-11 CN CN201911231963.1A patent/CN111128206B/zh active Active
- 2014-07-11 AU AU2014295360A patent/AU2014295360B2/en active Active
- 2014-07-14 JP JP2016528408A patent/JP6117997B2/ja active Active
- 2014-07-14 ES ES14738535.5T patent/ES2649194T3/es active Active
- 2014-07-14 KR KR1020167004626A patent/KR101823279B1/ko active IP Right Grant
- 2014-07-14 BR BR112016001137-6A patent/BR112016001137B1/pt active IP Right Grant
- 2014-07-14 MY MYPI2016000096A patent/MY181944A/en unknown
- 2014-07-14 EP EP14738535.5A patent/EP3022734B1/en active Active
- 2014-07-14 PL PL14738535T patent/PL3022734T3/pl unknown
- 2014-07-14 CN CN201911131913.6A patent/CN111128205A/zh active Pending
- 2014-07-14 MX MX2016000858A patent/MX357826B/es active IP Right Grant
- 2014-07-14 AU AU2014295282A patent/AU2014295282B2/en active Active
- 2014-07-14 WO PCT/EP2014/065021 patent/WO2015010934A1/en active Application Filing
- 2014-07-14 CA CA2918237A patent/CA2918237C/en active Active
- 2014-07-14 RU RU2016105703A patent/RU2666230C2/ru active
- 2014-07-14 CN CN201480041693.7A patent/CN105580073B/zh active Active
- 2014-07-14 PT PT147385355T patent/PT3022734T/pt unknown
- 2014-07-21 TW TW103124925A patent/TWI544479B/zh active
- 2014-07-21 TW TW103124923A patent/TWI550598B/zh active
- 2014-07-22 AR ARP140102716A patent/AR097012A1/es active IP Right Grant
- 2014-07-22 AR ARP140102715A patent/AR097011A1/es active IP Right Grant
-
2016
- 2016-01-22 US US15/004,661 patent/US9953656B2/en active Active
- 2016-01-22 US US15/004,617 patent/US10147431B2/en active Active
- 2016-02-17 ZA ZA2016/01080A patent/ZA201601080B/en unknown
- 2016-02-17 ZA ZA2016/01078A patent/ZA201601078B/en unknown
- 2016-05-27 US US15/167,072 patent/US9940938B2/en active Active
-
2018
- 2018-04-09 US US15/948,342 patent/US10741188B2/en active Active
- 2018-12-04 US US16/209,008 patent/US10770080B2/en active Active
-
2020
- 2020-08-11 US US16/990,566 patent/US11657826B2/en active Active
- 2020-09-03 US US17/011,584 patent/US11488610B2/en active Active
-
2023
- 2023-05-22 US US18/200,190 patent/US20240029744A1/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110178810A1 (en) * | 2003-10-30 | 2011-07-21 | Koninklijke Philips Electronics, N.V. | Audio signal encoding or decoding |
| US20100332239A1 (en) * | 2005-04-14 | 2010-12-30 | Samsung Electronics Co., Ltd. | Apparatus and method of encoding audio data and apparatus and method of decoding encoded audio data |
| US20080004883A1 (en) * | 2006-06-30 | 2008-01-03 | Nokia Corporation | Scalable audio coding |
| RU2449387C2 (ru) * | 2007-11-21 | 2012-04-27 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ и устройство для обработки сигнала |
| WO2009078681A1 (en) * | 2007-12-18 | 2009-06-25 | Lg Electronics Inc. | A method and an apparatus for processing an audio signal |
| US20120002818A1 (en) * | 2009-03-17 | 2012-01-05 | Dolby International Ab | Advanced Stereo Coding Based on a Combination of Adaptively Selectable Left/Right or Mid/Side Stereo Coding and of Parametric Stereo Coding |
| US20120070007A1 (en) * | 2010-09-16 | 2012-03-22 | Samsung Electronics Co., Ltd. | Apparatus and method for bandwidth extension for multi-channel audio |
| WO2012158333A1 (en) * | 2011-05-19 | 2012-11-22 | Dolby Laboratories Licensing Corporation | Forensic detection of parametric audio coding schemes |
| WO2012170385A1 (en) * | 2011-06-10 | 2012-12-13 | Motorola Mobility Llc | Method and apparatus for encoding a signal |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2666230C2 (ru) | Аудио декодер, аудио кодер, способ обеспечения по меньшей мере четырех канальных аудио сигналов на основе кодированного представления, способ обеспечения кодированного представления на основе по меньшей мере четырех канальных аудио сигналов и компьютерная программа, использующие расширение диапазона | |
| RU2406166C2 (ru) | Способы и устройства кодирования и декодирования основывающихся на объектах ориентированных аудиосигналов |