RU2416129C2 - Масштабируемое многоканальное кодирование звука - Google Patents
Масштабируемое многоканальное кодирование звука Download PDFInfo
- Publication number
- RU2416129C2 RU2416129C2 RU2007139921/07A RU2007139921A RU2416129C2 RU 2416129 C2 RU2416129 C2 RU 2416129C2 RU 2007139921/07 A RU2007139921/07 A RU 2007139921/07A RU 2007139921 A RU2007139921 A RU 2007139921A RU 2416129 C2 RU2416129 C2 RU 2416129C2
- Authority
- RU
- Russia
- Prior art keywords
- signal
- audio
- spatial
- dominant
- parameter
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 15
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 4
- 239000000126 substance Substances 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Theoretical Computer Science (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Группа изобретений относится к области высококачественного кодирования многоканальных звуковых данных. Кодер звука, выполненный с возможностью кодирования многоканального звукового сигнала, содержит модуль (ЕСМ) комбинирования кодера, предназначенный для генерирования части (m) доминирующего сигнала и части (s) остаточного сигнала. В предпочтительных вариантах выполнения математическая процедура включает в себя двумерный поворот сигнала, и третий пространственный параметр (SP3) содержит разность между вторым пространственным параметром (SP2) и первым пространственным параметром (SP1). Предпочтительные варианты выполнения включают в себя множество взаимно соединенных модулей комбинирования кодера, так чтобы, например, шесть независимых звуковых сигналов формата 5.1 можно было кодировать в одну или две части доминирующего сигнала и множество наборов параметров и частей остаточного сигнала. В выходном потоке двоичных сигналов первая выходная часть включена в основной уровень, в то время как вторая выходная часть включена в уровень детализации. Прозрачное качество звукового сигнала может быть получено с помощью декодера, который использует оба уровня, в то время как приемлемое качество может быть получено с помощью декодера, который использует только данные основного уровня. Группа изобретений обеспечивает масштабируемое пространственное кодирование звука. 8 н. и 16 з.п. ф-лы, 7 ил.
Description
Изобретение относится к области высококачественного кодирования звука. В частности, изобретение относится к области высококачественного кодирования многоканальных звуковых данных. Более конкретно, в изобретении определены кодеры и декодеры и способы кодирования и декодирования многоканальных звуковых данных.
Хотя возможно множество многоканальных конфигураций/установок, конфигурация/установка 5.1 является самой популярной (см. также фиг.1). Типичная многоканальная установка 5.1 состоит из пяти громкоговорителей, а именно левого переднего (Lf), правого переднего (Rf), центрального (C) громкоговорителей, левого (Ls) громкоговорителя объемного звучания и правого (Rs) громкоговорителя объемного звучания, дополненных дополнительным громкоговорителем LFE (РНЧ, расширения нижних частот), который может быть установлен под произвольным углом. В прошлом было разработано несколько подходов для сжатия многоканальных звуковых данных, таких как многоканальные звуковые данные 5.1. Краткий их обзор приведен ниже.
В звуковом стандарте MPEG-2, ISO/IEC 13818-3:1998 Information technology -- Generic coding of moving pictures and associated audio information -- Part 3: Audio, предусмотрено кодирование многоканального звука при поддержке обратной совместимости с MPEG-1 Audio, ISO/IEC 11172-3:1993 Information technology -- Coding of moving pictures and associated audio for digital storage media at up to about 1,5 Mbit/s -- Part 3: Audio, который относится только к кодированию монофонического и стереофонического звука. Обратная совместимость достигается за счет формирования основного стереосигнала, полученного из многоканального содержания, которое размещено в части данных потока двоичных сигналов MPEG-1. Три дополнительных сигнала затем помещают во вспомогательную часть данных потока двоичных сигналов MPEG-1. Эта технология называется матрицированием. Декодер звука MPEG-1 может генерировать представительный стереосигнал (Lо, Ro) из потока двоичных сигналов, в то время как декодер звука MPEG-2 может выделять дополнительные каналы и восстанавливать декодированную версию 5 входных каналов. Обратная совместимость обеспечивается за счет высокой битовой скорости передачи информации. Как правило, требуется битовая скорость передачи информации 640 кбит/сек для получения высокого качества звука для материала пяти каналов при использовании MPEG-2 Layer II.
В MPEG-2 Advanced Audio Coding (AAC), ISO/IEC TR 13818-5:1997/Amd 1:1999 Advanced Audio Coding (AAC, ПЗК перспективное звуковое кодирование) многоканальный звук кодируют в формате без обеспечения обратной совместимости. Это предоставляет больше свободы для кодера и обеспечивает преимущество, состоящее в том, что более высокое качество (прозрачность) звука может быть получено при битовой скорости передачи информации 320 кбит/сек по сравнению с MPEG-2 Layer II при 640 кбит/сек. В конфигурации каналов 5(.l) ПЗК позволяет кодировать пары каналов, которые являются симметричными для слушателя, используя стереоинструмент средней стороны (MS): (Lf, Rf) и (Ls, Rs). Центральный канал (C) и (необязательный) канал LFE кодируют отдельно. В качестве альтернативы можно использовать интенсивный стереозвук (IS) для объединения нескольких звуковых каналов в один канал, дополнительно предоставляя масштабирование информации для каждого канала.
При параметрическом многоканальном кодировании звука сигналы, соответствующие степени восприятия (или пространственные параметры), такие как различия интенсивности между каналами (IID, РИК), разница во времени между каналами (ITD, РВК) и когерентность между каналами (ICC, КМК), измеряют между каналами многоканального сигнала. Более полное описание пространственных параметров можно найти в публикации Christof Faller "Coding of Spatial Audio Compatible with Different Playback Formats", AES Convention Paper, AES 117th Convention, San Francisco, USA, 2004 October 28-31. Кроме того, для многоканального представления выполняют микширование с понижением до монофонического или стереофонического сигнала, который можно кодировать, используя стандартный монофонический или стереофонический кодер. Важное условие состоит в том, что микширование с понижением до монофонического или стереофонического сигнала должно обеспечивать достаточное качество звука, например, по меньшей мере, сопоставимое с микшированием с понижением в соответствии с ITU-R Recommendation BS.775-1. Передаваемая информация, таким образом, содержит кодированную версию монофонического или стереофонического сигнала и пространственные параметры. Микшированный сигнал с понижением до монофонического или стереофонического сигнала кодируют при существенно более низкой битовой скорости передачи данных, чем требуется для кодирования оригинального многоканального звукового сигнала, и пространственные параметры требуют очень малой ширины полосы пропускания при передаче. Поэтому микширование с понижением и пространственные параметры могут быть кодированы при полной битовой скорости передачи информации, которая составляет только часть битовой скорости передачи информации, требуемой в случае, когда кодируют все каналы. Параметрический декодер генерирует высококачественную аппроксимацию оригинального многоканального звукового сигнала из переданного монофонического или стереофонического сигнала после микширования с понижением и пространственных параметров.
Таким образом, цель настоящего изобретения состоит в том, чтобы предоставить масштабируемый многоканальный кодер звукового сигнала, который позволил бы обеспечить высокую эффективность, высокое качество сигнала и одновременно получать кодированный сигнал с обеспечением обратной совместимости.
В соответствии с первым аспектом изобретение предоставляет кодер звука, выполненный с возможностью кодирования многоканального звукового сигнала, содержащий:
модуль комбинирования кодера, предназначенный для генерирования части доминирующего сигнала и части остаточного сигнала, которые представляют собой комбинированное представление первого и второго звуковых сигналов, причем части доминирующего и остаточного сигнала получают путем применения математической процедуры к первому и второму звуковым сигналам, в котором в математической процедуре используется первый пространственный параметр, содержащий описание пространственных свойств первого и второго звуковых сигналов;
генератор параметра, предназначенный для генерирования
- первого набора параметров, содержащего второй пространственный параметр, и
- второго набора параметров, содержащего третий пространственный параметр; и
выходной генератор, предназначенный для генерирования кодированного выходного сигнала, содержащего
- первую выходную часть, содержащую часть доминирующего сигнала и первый набор параметров, и
- вторую выходную часть, содержащую часть остаточного сигнала и второй набор параметров.
В модуле комбинирования кодера первый и второй звуковые сигналы объединяют в части доминирующего и остаточного сигналов. Под "частями доминирующего и остаточного сигналов" понимают два звуковых сигнала, где доминирующий сигнал содержит доминирующие или главные части первого и второго звукового сигнала, в то время как остаточный сигнал содержит остаточную или младшую часть первого и второго звукового сигнала. Под "пространственным параметром" понимают параметр, который может быть математически выражен и основан на или получен из одних или нескольких пространственных свойств пары сигналов. Неисчерпывающий список таких пространственных свойств, которые могут быть рассчитаны таким образом, представляет собой: различия интенсивности между каналами (IID), разницу во времени между каналами (ITD) и когерентность между каналами (ICC). Модуль комбинирования кодера, предпочтительно, генерирует части доминирующего и остаточного сигнала так, чтобы эти части сигнала были в меньшей степени коррелированны, чем первый и второй звуковые сигналы. Предпочтительно, части доминирующего и остаточного сигнала генерируют так, чтобы они были не скоррелированы, то есть были ортогональными или, по меньшей мере, они должны быть скоррелированы в наименьшей возможной степени.
Часть остаточного сигнала может быть пропущена через фильтр низкой частоты, прежде чем она будет преобразована в поток выходных двоичных сигналов для представления в потоке битов, для которого требуется только очень ограниченная часть битовой скорости передачи данных. Частота среза для такой фильтрации низкой частоты может находиться в интервале от 500 Гц до 10 кГц, например 2 кГц.
Модуль комбинирования кодера может быть выполнен с возможностью объединения первого, второго и третьего звуковых сигналов с первой и второй частями доминирующего сигнала вместо комбинирования двух звуковых сигналов в один доминирующий сигнал, такой как описано выше.
Кодер в соответствии с первым аспектом предоставляет масштабируемое кодируемое представление первого и второго звуковых сигналов. Используя первую выходную часть, или часть основного уровня, можно декодировать первый и второй звуковые сигналы с приемлемым полученным в результате качеством звука при использовании существующих декодеров. Однако при использовании декодера, позволяющего использовать вторую выходную часть, или часть уровня детализации, можно получить более высокое качество сигнала. Таким образом, вторую выходную часть можно рассматривать как необязательную, которая требуется только в случае, когда желательно обеспечить наилучшее возможное качество звука.
В предпочтительном варианте выполнения часть остаточного сигнала содержит разность между первым и вторым звуковыми сигналами. Часть остаточного сигнала может быть точно определена как разность между первым и вторым звуковыми сигналами.
В предпочтительных вариантах выполнения математическая процедура содержит поворот в двумерном пространстве сигнала.
Третий пространственный параметр может содержать разность между вторым пространственным параметром и первым пространственным параметром. Для третьего пространственного параметра может использоваться дифференциальное кодирование.
Второй пространственный параметр может содержать параметр ICC на основе когерентности. Третий пространственный параметр может содержать разность между параметром ICC на основе когерентности и параметром ICC на основе корреляции. В предпочтительном варианте выполнения второй пространственный параметр содержит параметр ICC на основе когерентности, в то время как третий пространственный параметр содержит разность между вторым пространственным параметром и параметром ICC на основе корреляции.
Кодер может быть также выполнен с возможностью кодирования одной трети, одной четверти, одной пятой и одной шестой или даже больше части звукового сигнала в соответствии с принципами первого аспекта, комбинируя эти звуковые сигналы вместе с первым и вторым звуковыми сигналами и генерируя первую и вторую выходные части в ответ на них. Предпочтительно, такой кодер выполнен с возможностью кодирования 5.1 звукового сигнала при использовании конфигурации, содержащей множество модулей комбинирования кодера. В принципе, принцип кодера в соответствии с первым аспектом может использоваться для кодирования любых звуковых данных многоканального формата.
Во втором аспекте изобретение предоставляет звуковой декодер, предназначенный для генерирования многоканального звукового сигнала на основе кодированного сигнала, содержащий:
модуль комбинирования декодера, предназначенный для генерирования первого и второго звуковых сигналов на основе части доминирующего сигнала, части остаточного сигнала и первого и второго наборов пространственных параметров, причем пространственные параметры содержат описание пространственных свойств первого и второго звуковых сигналов, в котором часть остаточного сигнала и вторые пространственные параметры используют при определении матрицы смешения, которая используется для генерирования первого и второго звуковых сигналов.
Как описано в отношении первого аспекта, существующие декодеры могут использоваться для декодирования кодированного выходного сигнала кодера в соответствии с изобретением с использованием только части доминирующего сигнала и первых пространственных параметров. Однако декодер в соответствии со вторым аспектом в состоянии использовать вторую кодируемую выходную часть, то есть часть остаточного сигнала и пространственный параметр, определять матрицу смешения, которая обратно идентична комбинированию кодера, используемому в способе кодирования, и таким образом может быть получено совершенное восстановление первого и второго звуковых сигналов.
В предпочтительных вариантах выполнения декодер содержит декоррелятор, предназначенный для приема части доминирующего сигнала и генерирования декоррелированной части доминирующего сигнала в ответ на нее. Предпочтительно, суммирование части остаточного сигнала и декоррелированной части доминирующего сигнала применяют при определении матрицы смешения. Декодер может содержать аттенюатор, предназначенный для ослабления декоррелированной части доминирующего сигнала до добавления ее к части остаточного сигнала.
В предпочтительных вариантах выполнения матрица смешения применяет поворот в двумерном пространстве сигнала для частей доминирующего и остаточного сигнала.
Декодер может быть выполнен с возможностью приема множества наборов первых и вторых наборов параметров и множества частей остаточного сигнала для генерирования множества наборов первого и второго звуковых сигналов в ответ на них. В предпочтительном варианте выполнения декодер выполнен с возможностью приема трех наборов первых и вторых наборов параметров и трех частей остаточного сигнала для генерирования трех наборов первого и второго звуковых сигналов в ответ на них, в этом варианте выполнения декодер может генерировать шесть независимых звуковых каналов, таких которые соответствуют формату 5.1 или другому многоканальному формату.
В предпочтительных вариантах выполнения декодер содержит множество одно-двух канальных матриц смешения, размещенных в соответствующей конфигурации, что обеспечивает для декодера возможность декодирования кодируемого сигнала, представляющего больше чем два звуковых сигнала. Например, декодер может содержать конфигурацию из пяти матриц смешения, размещенных так, чтобы генерировать шесть звуковых сигналов и, таким образом, декодировать, например, звуковой сигнал, кодированный в соответствии с форматом 5.1.
В третьем аспекте изобретение предоставляет способ кодирования многоканального звукового сигнала, содержащий этапы:
1) генерирования части доминирующего сигнала и части остаточного сигнала, которые представляют собой комбинированное представление первого и второго звуковых сигналов, части доминирующего и остаточного сигнала получают, применяя математическую процедуру к первому и второму звуковым сигналам, в котором в математической процедуре используется первый пространственный параметр, содержащий описание пространственных свойств первого и второго звуковых сигналов,
2) генерирования первого набора параметра, содержащего второй пространственный параметр,
3) генерирования второго набора параметра, содержащего третий пространственный параметр, и
4) генерирования кодированного выходного сигнала, содержащего первую выходную часть, содержащую часть доминирующего сигнала и первый набор параметров, и вторую выходную часть, содержащую часть остаточного сигнала и второй набор параметров.
Те же преимущества и комментарии, которые были представлены в отношении первого аспекта, относятся к третьему аспекту.
В четвертом аспекте изобретение предоставляет способ генерирования многоканального звукового сигнала на основе кодированного сигнала, содержащий этапы:
1) приема кодированного сигнала, содержащего часть доминирующего сигнала, часть остаточного сигнала и набор первого параметра, набор второго параметра, содержащие описание пространственных свойств первого и второго звуковых сигналов,
2) определения матрицы смешения на основе части остаточного сигнала и второго пространственного параметра,
3) генерирования первого и второго звуковых сигналов на основе определенной матрицы смешения.
Способ может содержать этап декоррелирования части доминирующего сигнала и генерирования декоррелированной части доминирующего сигнала в ответ на него. Способ может дополнительно содержать этап суммирования части остаточного сигнала и декоррелированной части доминирующего сигнала. Определение матрицы смешения может быть основано на суммировании части остаточного сигнала и декоррелированной части доминирующего сигнала.
Предпочтительно, способ содержит прием множества наборов первых и вторых наборов параметров и множества частей остаточного сигнала для генерирования множества наборов первого и второго звуковых сигналов в ответ на них. В предпочтительном варианте выполнения способ содержит прием трех наборов первых и вторых наборов параметров и трех частей остаточного сигнала для генерирования трех наборов первого и второго звуковых сигналов в ответ на них. В этом варианте выполнения способ позволяет генерировать шесть независимых звуковых каналов, таких как в многоканальном формате 5.1 или его эквиваленте.
Те же преимущества и комментарии, которые были представлены для второго аспекта, относятся к четвертому аспекту.
В пятом аспекте изобретение предоставляет кодированный многоканальный звуковой сигнал, содержащий
- первую часть сигнала, содержащую часть доминирующего сигнала, и первый набор параметров, содержащий описание пространственных свойств первого и второго звуковых сигналов, и
- вторую часть сигнала, содержащую часть остаточного сигнала, и второй набор параметров, содержащий описание пространственных свойств первого и второго звуковых сигналов.
Звуковой сигнал в соответствии с пятым аспектом предоставляет те же преимущества, которые были сформулированы для первого аспекта, так как этот сигнал идентичен кодированному выходному сигналу кодера в соответствии с первым аспектом. Таким образом, кодированный многоканальный звуковой сигнал в соответствии с пятым аспектом представляет собой масштабируемый сигнал, так как первая часть сигнала, адаптированная для основного уровня, является обязательной, в то время как вторая часть сигнала, адаптированная для уровня детализации, является необязательной и требуется только для дополнительного повышения качества сигнала.
В шестом аспекте изобретение предоставляет носитель информации, на котором сохранен сигнал, такой как в пятом аспекте. Носитель информации может представлять собой жесткий диск, гибкий диск, CD (компакт-диск), DVD (универсальный цифровой диск), карту SD, запоминающее устройство memory stick, микросхему памяти и т.д.
В седьмом аспекте изобретение предоставляет выполняемый на компьютере программный код, предназначенный для выполнения способа в соответствии с первый аспектом.
В восьмом аспекте изобретение предоставляет считываемый компьютером носитель информации, содержащий выполняемый на компьютере программный код в соответствии с седьмым аспектом. Носитель информации может представлять собой жесткий диск, гибкий диск, CD (компакт-диск), DVD (универсальный цифровой диск), карту SD, запоминающее устройство memory stick, микросхему памяти и т.д.
В девятом аспекте изобретение предоставляет выполняемый на компьютере программный код, предназначенный для выполнения способа в соответствии с четвертый аспектом.
В десятом аспекте изобретение предоставляет считываемый компьютером носитель информации, содержащий выполняемый на компьютере программный код в соответствии с девятым аспектом. Носитель информации может представлять собой жесткий диск, гибкий диск, CD (компакт-диск), DVD (универсальный цифровой диск), карту SD, запоминающее устройство memory stick, микросхему памяти и т.д.
В одиннадцатом аспекте изобретение предоставляет устройство, содержащее кодер в соответствии с первым аспектом. Устройство может быть таким, как домашнее звуковое оборудование для развлечений, такое как усилители звука объемного звучания, приемники звука объемного звучания, аудио-видеоприемники, телевизионные приставки, проигрыватели/записывающие устройства DVD и т.д. В принципе, устройство может быть любым звуковым устройством, позволяющим обрабатывать многоканальные звуковые данные, например, формата 5.1.
В двенадцатом аспекте изобретение предоставляет устройство, содержащее декодер в соответствии со вторым аспектом. Устройство может быть таким, как домашнее звуковое оборудование для развлечений, такое как усилители звука объемного звучания, приемники звука объемного звучания, аудио-видеоприемники, телевизионные приставки, проигрыватели/записывающие устройства DVD и т.д.
Сигнал в соответствии с пятым аспектом пригоден для передачи через цепь передачи. Такая цепь передачи может содержать сервер, сохраняющий сигналы, сеть для распространения сигналов и клиенты, принимающие сигналы. Сторона клиента может содержать аппаратное средство, такое как, например, компьютеры, аудио-видеоприемники, телевизионные приставки и т.д. Таким образом, сигнал в соответствии с пятым аспектом пригоден для передачи при цифровой широковещательной передаче видеоизображений, цифровой широковещательной передаче звука или интернет-радио и т.д.
Следует понимать, что во всех указанных выше аспектах первый и второй звуковые сигналы могут быть сигналами полной ширины полосы пропускания. В случае необходимости первый и второй звуковые сигналы соответствуют представлению части полосы соответствующего звукового сигнала полной ширины полосы пропускания. Другими словами, обработка сигналов в соответствии с изобретением может быть применена для сигнала полной ширины полосы пропускания или может быть применена для части полосы пропускания.
Далее изобретение описано более подробно со ссылкой на прилагаемые чертежи, на которых
на фиг.1 показана схема установки громкоговорителей многоканальной системы 5.1,
на фиг.2 показан модуль комбинирования кодера в соответствии с изобретением,
на фиг.3 показан предпочтительный кодер, предназначенный для кодирования звукового сигнала 5.1 на основе комбинирования кодера для монофонического сигнала,
на фиг.4 показан предпочтительный декодер, соответствующий кодеру по фиг.3,
на фиг.5 показан предпочтительный кодер для кодирования звукового сигнала 5.1 на основе комбинирования кодера для стереофонического сигнала,
на фиг.6 показан предпочтительный декодер, соответствующий кодеру по фиг.5, и
на фиг.7 показан график, представляющий результаты тестов прослушивания, проведенного для принципа кодирования в соответствии с изобретением.
Хотя в изобретении возможны различные модификации и альтернативные формы, конкретные варианты выполнения представлены в качестве примера на чертежах и будут подробно описаны ниже. Следует, однако, понимать, что не предполагается ограничение изобретения конкретными раскрытыми формами. Скорее изобретение должно охватывать все модификации, эквиваленты и варианты в пределах сущности и объема изобретения, как определено в соответствии с приложенной формулой изобретения.
На фиг.1 показана схема типичной установки многоканальной аудиосистемы 5.1 с человеком-слушателем LP (ЧС), помещенным в центре пяти громкоговорителей C, Lf, Ls, Rf и Rs, которые получают независимые звуковые сигналы. Они предназначены для формирования у человека-слушателя LP пространственного звукового впечатления. В установке 5.1, кроме того, предусмотрен отдельный сверхнизкочастотный сигнал LFE. Таким образом, полное представление сигнала для такой многоканальной установки требует, в целом, шести независимых звуковых каналов, и, таким образом, большая битовая скорость передачи данных необходима для представления звукового сигнал для такой системы с полным качеством звука. Далее будут описаны варианты выполнения изобретения, которые обеспечивают возможность предоставления высокого звукового качества в системах 5.1 при низкой битовой скорости передачи данных.
На фиг.2 показан модуль EU комбинирования кодера 2-1 в соответствии с изобретением. Первый и второй звуковые сигналы x1, x2 подают в модуль ECM комбинирования кодера, где математическая процедура выполняется для первого и второго звуковых сигналов x1, x2, предпочтительно, содержащая поворот сигнала, чтобы объединить первый и второй звуковые сигналы x1, x2 и сгенерировать их параметрическое представление, содержащее часть m доминирующего сигнала и часть s остаточного сигнала. Первый пространственный параметр SP1, то есть параметр, описывающий пространственные свойства сигнала первого и второго звуковых сигналов x1, x2, используется в математической процедуре комбинирования кодера.
Генератор PG (ГП) параметра генерирует первые и вторые наборы PS1, PS2 параметров на основе первого и второго звуковых сигналов x1, x2. Первый набор PS1 параметров содержит второй пространственный параметр SP2, и второй набор PS2 параметров содержит третий пространственный параметр SP3. Кодированный выходной сигнал содержит первую выходную часть OP1, содержащую часть m доминирующего сигнала и первый набор PS1 параметров, в то время как вторая выходная часть OP2 содержит часть s остаточного сигнала и второй набор PS2 параметров.
При правильном выборе второго и третьего пространственных параметров SP2, SP3 относительно первого пространственного параметра SP1 возможно выполнить обратную процедуру комбинирования кодера или поворот на стороне декодера, и, таким образом, первый и второй звуковые сигналы x1, x2 могут быть прозрачно декодированы.
Предпочтительно, кодер помещает первую выходную часть на основной уровень своего выходного битового потока, в то время как вторую выходную часть помещают на уровень детализации выходного битового потока. Во время декодирования можно использовать только основной уровень, если приемлемо пониженное качество сигнала, в то время как наилучшее качество сигнала может быть получено, если уровень детализации также включен в обработку декодирования.
Описанный принцип кодирования предоставляет масштабируемый гибридный многоканальный аудиокодер с полной обратной совместимостью. Декодер может использоваться для следующих сценариев: 1) декодированный только монофонический или стереофонический сигнал, 2) декодированный многоканальный вывод без использования остаточных сигналов и 3) декодированный многоканальный вывод с остаточными сигналами.
Ниже описаны предпочтительные варианты выполнения модулей комбинирования кодера и пространственных параметров. Предпочтительный модуль комбинирования кодера объединяет первый и второй звуковые сигналы x1, x2 с частью m доминирующего сигнала и частью s остаточного сигнала с получением максимальной амплитуды суммы поворачиваемых сигналов в соответствии с уравнением:
Коэффициенты поворота амплитуды, используемые в sc corr, получают из ICC и IID, то есть они основаны на пространственных свойствах первого и второго звуковых сигналов x1, x2. Эти коэффициенты поворота амплитуды предпочтительно рассчитывают в соответствии с:
Остаточный сигнал s выбирают как разность между x1 и x2. Следует отметить, что эта матрица всегда является обратимой, поскольку sc corr никогда не становится нулем, что означает, что совершенная реконструкция может быть получена, пока известен sc corr. Подходящее значение для постоянной отсечения SC corr,max составляет 1,2.
Чтобы получить sc corr в декодере, набор PS2 вторых параметров, предпочтительно, представляет собой разность между когерентностью и параметрами корреляции, и, таким образом, его передают вместе с соответствующим остаточным сигналом s на уровне детализации в масштабируемом битовом потоке. Первый набор PS1 параметров выбирают так, чтобы он содержал либо параметры когерентности или параметры корреляции и таким образом был передан на основном уровне вместе с частью m доминирующего сигнала.
Когда остаточный сигнал s доступен для декодера, получают параметры корреляции, что способствует вычислению sc corr , и при этом может быть определена инверсия матрицы смешения по Ур. 1:
В другом предпочтительном варианте выполнения модуль комбинирования кодера основан на Основном анализе компонентов (PCA, ОАК) и смешивает первый и второй звуковые сигналы x1, x2 в соответствии с:
где предпочтительный коэффициент α основан на ICC и IID в соответствии с:
Предпочтительные опции для кодирования набора PS2 второго параметра, который должен быть включен на уровне детализации, представляют собой параметры корреляции, которые включают в себя следующее:
1) Дифференциальное кодирование по времени или частоте параметров корреляции, не зависимых от параметров когерентности на основном уровне.
2) Дифференциальное кодирование параметров корреляции относительно параметров когерентности на основном уровне (то есть ΔICC = ICC correlation - ICC coherence).
Комбинацию 1 и 2 в зависимости от того, которое из них требует наименьшего количества битов.
3) На фиг.3 и 4 представлены предпочтительные конфигурации кодера формата 5.1 и соответствующего декодера 5.1 соответственно, которые основаны на комбинировании кодера для кодированного монофонического сигнала. На фиг.5 и 6 представлен альтернативный вариант кодера формата 5.1 и соответствующего декодера соответственно, которые основаны на комбинировании кодера для кодированного стереосигнала.
На фиг.3 показана конфигурация кодера, основанная на комбинировании шести независимых звуковых сигналов lf, ls, rf, rs, со, lfe для монофонического сигнала m, например, эти шесть звуковых сигналов представляют сигналы lf, ls, rf, rs, со, lfe формата 5.1. Кодер содержит пять модулей EU комбинирования кодера, как описано выше, эти EU модули, размещены для последовательного комбинирования шести сигналов lf, ls, rf, rs, со, lfe в одном монофоническом сигнале m. Начальный этап ST сегментации и преобразования выполняют для пар сигналов до комбинирования кодера. Этот этап ST содержит сегментирование звукового сигнала во временной области с получением перекрывающихся сегментов и затем преобразование этих перекрывающихся сегментов во временной области в представления в частотной области (обозначены заглавными буквами).
После сегментации и ST-преобразования два левых канала Lf и Ls объединяют с частью L доминирующего сигнала, первым и вторым наборами PS1a и PS1b параметров и остаточным сигналом ResL. Два правых канала Rf, Rs объединяют с частью R доминирующего сигнала, вторыми наборами PS2a и PS2b параметров и остаточным сигналом ResR. Полученные в результате части L и R доминирующих сигналов затем объединяют с частью LR доминирующего сигнала, частью ResLR остаточного сигнала и первым и вторым наборами PS4a, PS4b параметров. Центральный канал С0 и сверхнизкочастотный канал LFE комбинируют с частью C доминирующего сигнала, первым и вторым наборами PS3a, PS3b параметров и остаточным сигналом ResС. Наконец, части C и LR доминирующего сигнала комбинируют с частью М доминирующего сигнала, частью ResМ остаточного сигнала и первым и вторым наборами PS5a, PS5b параметров.
Предпочтительно, первый и второй наборы PS1a-PS5a, PS1b-PS5b параметров определены независимо для множества диапазонов частот (подполос) в сегменте перед квантованием, кодированием и передачей, однако, если это предпочтительно, обработка может быть выполнена для сигналов с полной шириной полосы пропускания. После анализа сигнала и обработки может быть применена необязательная обработка IT, OLA: сегменты могут быть преобразованными IT (ИП) обратно во временную область, и сегменты могут быть наложены друг на друга и суммированы OLA (НС), чтобы получить звуковой монофонический сигнал m во временной области. В целом кодер генерирует первую выходную часть, содержащую часть m доминирующего сигнала и пять наборов PS1a-PS5a параметров, и вторую выходную часть, содержащую пять частей ResL, ResR, ResLR, ResМ, ResС остаточного сигнала и пять наборов PS1b, PS5b параметров.
На фиг.4 показан декодер, соответствующий кодеру по фиг.3, то есть выполненный с возможностью приема выходного сигнала кодера по фиг.3. Декодер, по существу, применяет обработку, инверсную описанной для фиг.3. Декодер содержит (необязательную) начальную сегментацию, и частотное преобразование ST применяют к части m доминирующего сигнала. Декодер содержит пять аналогичных модулей DU комбинирования декодера, из которых один обозначен пунктирной линией. Модуль DU комбинирования декодера содержит матрицу ММ (МС) смешения, которая генерирует первый и второй сигналы на основе части доминирующего сигнала. Матрица ММ смешения, то есть инверсия матрицы смешения, применявшейся в модуле ECМ комбинирования кодера, определена на основе полученной части доминирующего сигнала, остаточной части и первого и второго наборов параметра.
В первом модуле DU комбинирования декодера, показанном на фиг.4, доминирующий сигнал М вначале декоррелируют в декорреляторе Dec и затем ослабляют в аттенюаторе Att. Декоррелированную и ослабленную часть доминирующего сигнала затем добавляют к части ResМ остаточного сигнала. Этот добавленный сигнал затем используется, чтобы определить матрицу ММ смешения. Аттенюатор Att устанавливают в соответствии с частью ResМ остаточного сигнала и первым набором PS5a параметра. Наконец, матрицу ММ смешения определяют, используя первый и второй наборы PS5a, PS5b параметров. Определенную матрицу ММ смешения затем комбинируют с частью М доминирующего сигнала, получая первый выходной сигнал LR и второй выходной сигнал C. Эти первый и второй выходные сигналы LR, C затем применяют в соответствующих модулях комбинирования кодера и последовательно объединяют для получения L, R, и С0, LFE соответственно. Наконец, L комбинируют в декодере для получения Lf и Lr, в то время как R комбинируют в декодере для получения Rf и Rr. После применения анализа сигнала и обработки сегменты преобразуют обратно IT во временную область, и сегменты накладывают друг на друга и суммируют OLA, чтобы получить представления во временной области lf, lr, rf, rr, co, lfe. Это обратное преобразование и наложение-суммирование IT, OLA являются необязательными.
На фиг.5 показан вариант выполнения кодера, в котором три модуля комбинирования кодера, каждый из которых функционирует в соответствии с принципами, описанными для кодера по фиг.3, используются для объединения шести звуковых сигналов Lf, Lr, Rf, Rr, C0, LFE в парах для трех частей L, R, C доминирующего сигнала с ассоциированными наборами PS1a-PS3a первого параметра, наборами PS1b-PS3b второго параметра и частями остаточного сигнала ResL, ResR, ResС. Модуль 3-2 комбинирования кодера затем применяют к трем частям L, R и C доминирующего сигнала, в результате чего получают две части L0, R0 доминирующего сигнала часть ResEo остаточного сигнала и набор PS4 параметра. В случае необходимости применяют исходную сегментацию и ST преобразование частотной области, и конечное обратное IT преобразование и наложение с суммированием OLA (не обязательно) применяют так, как также описано со ссылкой на фиг.3.
На фиг.6 показана конфигурация декодера, выполненного с возможностью декодирования выхода кодера по фиг.5. После (необязательной) исходной сегментации и ST преобразования частотной области входных сигналов lо, ro модуль 2-3 комбинирования декодера генерирует части L, R, C доминирующего сигнала в ответ на части Lо, Ro доминирующего сигнала, часть ResEo остаточного сигнала вместе с набором PS4 параметра. Эти три части L, R, C доминирующего сигнала затем обрабатывают в соответствующих модулях комбинирования декодера, аналогичных модулям DU комбинирования декодера, описанным со ссылкой на декодер по фиг.4. Конечное обратное IT преобразование и наложение с суммированием OLA (не обязательно) применяют, как также описано выше.
На фиг.7 представлены результаты теста прослушивания, проведенного для пяти обученных слушателей. Использовали музыкальные элементы A-K, определенные в рабочем пункте MPEG "Spatial Audio Coding". Для каждого элемента A-K результаты для трех кодированных версий были включены в тест: 1) результаты для декодера без остаточных сигналов показаны слева, 2) результаты для пространственного кодера с остаточными сигналами, то есть декодера в соответствии с изобретением, показаны в середине, и 3) результаты для сравнительного кодера (не показан) представлены справа. Суммарное среднее значение элементов A-K представлено как ТОТ. Для каждой кодированной версии среднее значение уровня GRD обозначено звездочкой (*), в то время как +/- среднеквадратическое отклонение по ответам слушателей обозначено от него.
Для сценариев 2) и 3) использовался принцип кодера/декодера, представленный на фиг.5 и 6. В сценарии 2) части остаточного сигнала отбрасывали. Для сценария 3) использовались три части остаточного сигнала с полосой, ограниченной до 2 кГц: часть ResL остаточного сигнала для левого канала, часть ResR остаточного сигнала для правого канала и часть ResEo остаточного сигнала для модуля 3-2 комбинирования декодера. Каждый из остаточных сигналов ResL, ResR, ResEo был кодирован при битовой скорости передачи данных 8 кбит/сек и с дополнительными пространственными параметрами (которые представляют собой разности между корреляцией (уровень детализации) и параметрами когерентности (основной уровень)), требуемыми при оценочном значении битовой скорости передачи информации 700 бит/сек. Следовательно, полная битовая скорость передачи данных с учетом остаточных сигналов составляла приблизительно 25 кбит/сек. Стандартные пространственные параметры (помещенные на основной уровень) требовали оценочного значения приблизительно 10 кбит/сек. Полная пространственная скорость передачи данных, таким образом, составляла приблизительно 35 кбит/сек. Никакой основной кодек не применяли для стереосигнала lо, ro.
По этим результатам можно видеть, что значительное улучшение качества может быть получено, используя три остаточных сигнала, кодированные с низкой битовой скоростью передачи данных. Кроме того, общий средний уровень качества составляет +/-92, что очень близко к тому, что считают "прозрачным" качеством звука.
Кодер и декодер в соответствии с изобретением могут быть применены для всех вариантов применения, в которых используется многоканальное кодирование звука, включая: цифровое телевидение (DVB, ЦТВ), цифровое аудиовещание (DAB, ЦАВ), интернет-радио, распространение электронной музыки.
Номера ссылочных позиций в формуле изобретения предназначены для улучшения удобства чтения. В любом случае эти номера ссылочных позиций не следует рассматривать как ограничение объема формулы изобретения, и они включены только для примера.
Claims (24)
1. Кодер звука, выполненный с возможностью кодирования многоканального звукового сигнала, содержащий:
модуль (ЕСМ) комбинирования кодера, предназначенный для генерирования части (m) доминирующего сигнала и части (s) остаточного сигнала, которые представляют собой комбинированное представление первого и второго звуковых сигналов (x1, х2), причем части (m, s) доминирующего и остаточного сигналов получают путем применения математической процедуры к первому и второму звуковым сигналам (x1, х2), при этом в математической процедуре используется первый пространственный параметр (SP1), содержащий описание пространственных свойств первого и второго звуковых сигналов (x1, х2); генератор (PG) параметра, предназначенный для генерирования
первого набора параметров (PS1), содержащего второй пространственный параметр (SP2), и
второго набора параметров (PS2), содержащего третий пространственный параметр (SP3); и
выходной генератор, предназначенный для генерирования кодированного выходного сигнала, содержащего
первую выходную часть (ОР1), содержащую часть (m) доминирующего сигнала и первый набор (PS1) параметров, и
вторую выходную часть (ОР2), содержащую часть (s) остаточного сигнала и второй набор (PS2) параметров.
модуль (ЕСМ) комбинирования кодера, предназначенный для генерирования части (m) доминирующего сигнала и части (s) остаточного сигнала, которые представляют собой комбинированное представление первого и второго звуковых сигналов (x1, х2), причем части (m, s) доминирующего и остаточного сигналов получают путем применения математической процедуры к первому и второму звуковым сигналам (x1, х2), при этом в математической процедуре используется первый пространственный параметр (SP1), содержащий описание пространственных свойств первого и второго звуковых сигналов (x1, х2); генератор (PG) параметра, предназначенный для генерирования
первого набора параметров (PS1), содержащего второй пространственный параметр (SP2), и
второго набора параметров (PS2), содержащего третий пространственный параметр (SP3); и
выходной генератор, предназначенный для генерирования кодированного выходного сигнала, содержащего
первую выходную часть (ОР1), содержащую часть (m) доминирующего сигнала и первый набор (PS1) параметров, и
вторую выходную часть (ОР2), содержащую часть (s) остаточного сигнала и второй набор (PS2) параметров.
2. Кодер звука по п.1, в котором третий пространственный параметр (SP3) содержит разность между вторым пространственным параметром (SP2) и первым пространственным параметром (SP1).
3. Кодер звука по п.1, в котором второй пространственный параметр (SP2) содержит параметр на основе когерентности.
4. Кодер звука по п.1, в котором третий пространственный параметр (SP3) содержит разность между параметром на основе когерентности и корреляцией на основе параметра.
5. Кодер звука по п.1, в котором часть (s) остаточного сигнала содержит разность между первым и вторым звуковыми сигналами (x1, х2).
6. Кодер звука по п.1, в котором модуль (ЕСМ) комбинирования кодера генерирует части (m, s) доминирующего и остаточного сигналов так, что эти части (m, s) сигнала скоррелированы в меньшей степени, чем первый и второй звуковые сигналы (x1, х2).
7. Кодер звука по п.1, который также выполнен с возможностью получения третьего, четвертого, пятого и шестого звуковых сигналов и микширования с понижением этих сигналов вместе с первым и вторым звуковыми сигналами (x1, х2) и генерирования первой и второй выходных частей в ответ на них.
8. Звуковой декодер, предназначенный для генерирования многоканального звукового сигнала на основе кодированного сигнала, содержащий:
модуль (DU) комбинирования декодера, предназначенный для генерирования первого и второго звуковых сигналов на основе части доминирующего сигнала, части остаточного сигнала и первого и второго наборов пространственных параметров, причем первый и второй наборы пространственных параметров содержат описание пространственных свойств первого и второго звуковых сигналов, в котором часть остаточного сигнала и вторые пространственные параметры используют при определении матрицы (ММ) смешения, которая используется для генерирования первого и второго звуковых сигналов.
модуль (DU) комбинирования декодера, предназначенный для генерирования первого и второго звуковых сигналов на основе части доминирующего сигнала, части остаточного сигнала и первого и второго наборов пространственных параметров, причем первый и второй наборы пространственных параметров содержат описание пространственных свойств первого и второго звуковых сигналов, в котором часть остаточного сигнала и вторые пространственные параметры используют при определении матрицы (ММ) смешения, которая используется для генерирования первого и второго звуковых сигналов.
9. Звуковой декодер по п.8, в котором декодер содержит декоррелятор (Dec), предназначенный для приема части доминирующего сигнала и генерирования декоррелированной части доминирующего сигнала в ответ на нее.
10. Звуковой декодер по п.9, в котором суммирование части остаточного сигнала и декоррелированной части доминирующего сигнала применяют при определении матрицы (ММ) смешения.
11. Звуковой декодер по п.10, в котором декодер содержит аттенюатор (Att), предназначенный для ослабления декоррелированной части доминирующего сигнала до добавления ее к части остаточного сигнала.
12. Звуковой декодер по п.8, который выполнен с возможностью приема множества наборов первых и вторых наборов параметров и множества частей остаточного сигнала для генерирования множества наборов первого и второго звуковых сигналов в ответ на них.
13. Звуковой декодер по п.12, в котором декодер выполнен с возможностью приема трех наборов первых и вторых наборов параметров и трех частей остаточного сигнала для генерирования трех наборов первого и второго звуковых сигналов в ответ на них.
14. Способ кодирования многоканального звукового сигнала, содержащий этапы:
1) генерирования части (m) доминирующего сигнала и части (s) остаточного сигнала, которые представляют собой комбинированное представление первого и второго звуковых сигналов (x1, х2), части (m, s) доминирующего и остаточного сигналов получают, применяя математическую процедуру к первому и второму звуковым сигналам (x1, х2), при этом в математической процедуре используется первый пространственный параметр, содержащий описание пространственных свойств первого и второго звуковых сигналов (x1, х2),
2) генерирования первого набора параметра, содержащего второй пространственный параметр,
3) генерирования второго набора параметра, содержащего третий пространственный параметр, и
4) генерирования кодированного выходного сигнала, содержащего первую выходную часть, содержащую часть (m) доминирующего сигнала и первый набор параметров, и вторую выходную часть, содержащую часть (s) остаточного сигнала и второй набор параметров.
1) генерирования части (m) доминирующего сигнала и части (s) остаточного сигнала, которые представляют собой комбинированное представление первого и второго звуковых сигналов (x1, х2), части (m, s) доминирующего и остаточного сигналов получают, применяя математическую процедуру к первому и второму звуковым сигналам (x1, х2), при этом в математической процедуре используется первый пространственный параметр, содержащий описание пространственных свойств первого и второго звуковых сигналов (x1, х2),
2) генерирования первого набора параметра, содержащего второй пространственный параметр,
3) генерирования второго набора параметра, содержащего третий пространственный параметр, и
4) генерирования кодированного выходного сигнала, содержащего первую выходную часть, содержащую часть (m) доминирующего сигнала и первый набор параметров, и вторую выходную часть, содержащую часть (s) остаточного сигнала и второй набор параметров.
15. Способ генерирования многоканального звукового сигнала на основе кодированного сигнала, содержащий этапы:
1) приема кодированного сигнала, содержащего часть доминирующего сигнала, часть остаточного сигнала и наборы первого и второго параметров, содержащие описание пространственных свойств первого и второго звуковых сигналов,
2) определения матрицы (ММ) смешения на основе части остаточного сигнала и второго пространственного параметра,
3) генерирования первого и второго звуковых сигналов на основе определенной матрицы смешения.
1) приема кодированного сигнала, содержащего часть доминирующего сигнала, часть остаточного сигнала и наборы первого и второго параметров, содержащие описание пространственных свойств первого и второго звуковых сигналов,
2) определения матрицы (ММ) смешения на основе части остаточного сигнала и второго пространственного параметра,
3) генерирования первого и второго звуковых сигналов на основе определенной матрицы смешения.
16. Способ по п.15, содержащий этап декоррелирования части доминирующего сигнала и генерирования декоррелированной части доминирующего сигнала в ответ на него.
17. Способ по п.16, содержащий также этап суммирования части остаточного сигнала и декоррелированной части доминирующего сигнала.
18. Способ по п.17, в котором определение матрицы (ММ) смешения основано на суммировании части остаточного сигнала и декоррелированной части доминирующего сигнала.
19. Способ по п.15, содержащий этап приема множества наборов первых и вторых наборов параметров и множества частей остаточного сигнала для генерирования множества наборов первого и второго звуковых сигналов в ответ на них.
20. Способ по п.19, содержащий этап приема трех наборов первых и вторых наборов параметров и трех частей остаточного сигнала для генерирования трех наборов первого и второго звуковых сигналов в ответ на них.
21. Кодированный многоканальный звуковой сигнал, содержащий:
первую часть (ОР1) сигнала, содержащую часть (m) доминирующего сигнала, и первый набор (PS1) параметров, содержащий описание пространственных свойств первого и второго звуковых сигналов (х1, х2), и
вторую часть (ОР2) сигнала, содержащую часть (s) остаточного сигнала, и второй набор (PS2) параметров, содержащий описание пространственных свойств первого и второго звуковых сигналов (xl, х2).
первую часть (ОР1) сигнала, содержащую часть (m) доминирующего сигнала, и первый набор (PS1) параметров, содержащий описание пространственных свойств первого и второго звуковых сигналов (х1, х2), и
вторую часть (ОР2) сигнала, содержащую часть (s) остаточного сигнала, и второй набор (PS2) параметров, содержащий описание пространственных свойств первого и второго звуковых сигналов (xl, х2).
22. Носитель информации, на котором сохранен сигнал по п.21.
23. Считываемый компьютером носитель информации, содержащий выполняемый на компьютере программный код для осуществления способа по п.14.
24. Считываемый компьютером носитель информации, содержащий выполняемый на компьютере программный код для осуществления способа по п.15.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP05102506.2 | 2005-03-30 | ||
| EP05102506 | 2005-03-30 | ||
| EP05103077.3 | 2005-04-18 | ||
| EP05103077 | 2005-04-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2007139921A RU2007139921A (ru) | 2009-05-10 |
| RU2416129C2 true RU2416129C2 (ru) | 2011-04-10 |
Family
ID=36579108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2007139921/07A RU2416129C2 (ru) | 2005-03-30 | 2006-03-16 | Масштабируемое многоканальное кодирование звука |
Country Status (12)
| Country | Link |
|---|---|
| US (2) | US8036904B2 (ru) |
| EP (1) | EP1866911B1 (ru) |
| JP (1) | JP4943418B2 (ru) |
| KR (1) | KR101315077B1 (ru) |
| CN (1) | CN101151659B (ru) |
| AT (1) | ATE470930T1 (ru) |
| BR (1) | BRPI0608753B1 (ru) |
| DE (1) | DE602006014809D1 (ru) |
| ES (1) | ES2347274T3 (ru) |
| PL (1) | PL1866911T3 (ru) |
| RU (1) | RU2416129C2 (ru) |
| WO (1) | WO2006103581A1 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2809981C1 (ru) * | 2020-07-07 | 2023-12-20 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Аудиодекодер, аудиокодер и связанные способы с использованием объединенного кодирования параметров масштабирования для каналов многоканального аудиосигнала |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| PL1735774T3 (pl) * | 2004-04-05 | 2008-11-28 | Koninl Philips Electronics Nv | Koder wielokanałowy |
| RU2407068C2 (ru) * | 2004-11-04 | 2010-12-20 | Конинклейке Филипс Электроникс Н.В. | Многоканальное кодирование и декодирование |
| EP1899958B1 (en) * | 2005-05-26 | 2013-08-07 | LG Electronics Inc. | Method and apparatus for decoding an audio signal |
| JP4988717B2 (ja) | 2005-05-26 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号のデコーディング方法及び装置 |
| US8626503B2 (en) * | 2005-07-14 | 2014-01-07 | Erik Gosuinus Petrus Schuijers | Audio encoding and decoding |
| CA2636494C (en) * | 2006-01-19 | 2014-02-18 | Lg Electronics Inc. | Method and apparatus for processing a media signal |
| JP4966981B2 (ja) * | 2006-02-03 | 2012-07-04 | 韓國電子通信研究院 | 空間キューを用いたマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御方法及びその装置 |
| JP5173840B2 (ja) * | 2006-02-07 | 2013-04-03 | エルジー エレクトロニクス インコーポレイティド | 符号化／復号化装置及び方法 |
| KR101434834B1 (ko) * | 2006-10-18 | 2014-09-02 | 삼성전자주식회사 | 다채널 오디오 신호의 부호화/복호화 방법 및 장치 |
| US8571875B2 (en) | 2006-10-18 | 2013-10-29 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus encoding and/or decoding multichannel audio signals |
| EP2097895A4 (en) * | 2006-12-27 | 2013-11-13 | Korea Electronics Telecomm | DEVICE AND METHOD FOR ENCODING AND DECODING MULTI-OBJECT AUDIO SIGNAL WITH DIFFERENT CHANNELS WITH INFORMATION BIT RATE CONVERSION |
| US8185815B1 (en) * | 2007-06-29 | 2012-05-22 | Ambrosia Software, Inc. | Live preview |
| MX2010004138A (es) * | 2007-10-17 | 2010-04-30 | Ten Forschung Ev Fraunhofer | Codificacion de audio usando conversion de estereo a multicanal. |
| WO2009054665A1 (en) * | 2007-10-22 | 2009-04-30 | Electronics And Telecommunications Research Institute | Multi-object audio encoding and decoding method and apparatus thereof |
| KR101238731B1 (ko) | 2008-04-18 | 2013-03-06 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치 |
| KR101414412B1 (ko) * | 2008-05-09 | 2014-07-01 | 노키아 코포레이션 | 오디오 신호의 인코딩 장치, 오디오 신호의 디코딩 장치, 오디오 신호의 인코딩 방법, 스케일러블 인코딩 오디오 신호의 디코딩 방법, 인코더, 디코더, 전자기기 및 컴퓨터 판독가능한 기록 매체 |
| EP2287836B1 (en) * | 2008-05-30 | 2014-10-15 | Panasonic Intellectual Property Corporation of America | Encoder and encoding method |
| US8473288B2 (en) * | 2008-06-19 | 2013-06-25 | Panasonic Corporation | Quantizer, encoder, and the methods thereof |
| US8363866B2 (en) * | 2009-01-30 | 2013-01-29 | Panasonic Automotive Systems Company Of America | Audio menu navigation method |
| KR101613975B1 (ko) * | 2009-08-18 | 2016-05-02 | 삼성전자주식회사 | 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| BR112012007138B1 (pt) * | 2009-09-29 | 2021-11-30 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos |
| WO2011145987A1 (en) * | 2010-05-18 | 2011-11-24 | Telefonaktiebolaget Lm Ericsson (Publ) | Encoder adaption in teleconferencing system |
| GB2486663A (en) * | 2010-12-21 | 2012-06-27 | Sony Comp Entertainment Europe | Audio data generation using parametric description of features of sounds |
| CN103415883B (zh) | 2011-03-28 | 2015-11-25 | 杜比实验室特许公司 | 用于低频效果声道的减少复杂性变换 |
| JP5737077B2 (ja) * | 2011-08-30 | 2015-06-17 | 富士通株式会社 | オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム |
| EP2600343A1 (en) | 2011-12-02 | 2013-06-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for merging geometry - based spatial audio coding streams |
| WO2013083875A1 (en) * | 2011-12-07 | 2013-06-13 | Nokia Corporation | An apparatus and method of audio stabilizing |
| EP2842322A1 (en) * | 2012-04-24 | 2015-03-04 | Telefonaktiebolaget LM Ericsson (Publ) | Encoding and deriving parameters for coded multi-layer video sequences |
| US9460729B2 (en) | 2012-09-21 | 2016-10-04 | Dolby Laboratories Licensing Corporation | Layered approach to spatial audio coding |
| EP2997573A4 (en) | 2013-05-17 | 2017-01-18 | Nokia Technologies OY | Spatial object oriented audio apparatus |
| US9779739B2 (en) * | 2014-03-20 | 2017-10-03 | Dts, Inc. | Residual encoding in an object-based audio system |
| WO2015150066A1 (en) | 2014-03-31 | 2015-10-08 | Sony Corporation | Method and apparatus for generating audio content |
| CN104240712B (zh) * | 2014-09-30 | 2018-02-02 | 武汉大学深圳研究院 | 一种三维音频多声道分组聚类编码方法及系统 |
| CN105632505B (zh) * | 2014-11-28 | 2019-12-20 | 北京天籁传音数字技术有限公司 | 主成分分析pca映射模型的编解码方法及装置 |
| EP3067885A1 (en) | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding or decoding a multi-channel signal |
| FR3052614B1 (fr) * | 2016-06-13 | 2018-08-31 | Raymond MOREL | Methode de codage par signaux acoustiques aleatoires et methode de transmission associee |
| MY196198A (en) * | 2016-11-08 | 2023-03-22 | Fraunhofer Ges Forschung | Apparatus and Method for Downmixing or Upmixing a Multichannel Signal Using Phase Compensation |
| EP3588495A1 (en) | 2018-06-22 | 2020-01-01 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Multichannel audio coding |
| EP4138396A4 (en) * | 2020-05-21 | 2023-07-05 | Huawei Technologies Co., Ltd. | AUDIO DATA TRANSMISSION METHOD AND DEVICE ASSOCIATED |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4320990B4 (de) * | 1993-06-05 | 2004-04-29 | Robert Bosch Gmbh | Verfahren zur Redundanzreduktion |
| DE19628292B4 (de) * | 1996-07-12 | 2007-08-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum Codieren und Decodieren von Stereoaudiospektralwerten |
| KR100335611B1 (ko) * | 1997-11-20 | 2002-10-09 | 삼성전자 주식회사 | 비트율 조절이 가능한 스테레오 오디오 부호화/복호화 방법 및 장치 |
| DE19959156C2 (de) * | 1999-12-08 | 2002-01-31 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zum Verarbeiten eines zu codierenden Stereoaudiosignals |
| JP3335605B2 (ja) * | 2000-03-13 | 2002-10-21 | 日本電信電話株式会社 | ステレオ信号符号化方法 |
| JP2002175097A (ja) * | 2000-12-06 | 2002-06-21 | Yamaha Corp | 音声信号のエンコード／圧縮装置およびデコード／伸長装置 |
| US7583805B2 (en) * | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
| US7292901B2 (en) | 2002-06-24 | 2007-11-06 | Agere Systems Inc. | Hybrid multi-channel/cue coding/decoding of audio signals |
| CN1307612C (zh) * | 2002-04-22 | 2007-03-28 | 皇家飞利浦电子股份有限公司 | 声频信号的编码解码方法、编码器、解码器及相关设备 |
| ATE377339T1 (de) | 2002-07-12 | 2007-11-15 | Koninkl Philips Electronics Nv | Audio-kodierung |
| US7395210B2 (en) * | 2002-11-21 | 2008-07-01 | Microsoft Corporation | Progressive to lossless embedded audio coder (PLEAC) with multiple factorization reversible transform |
| US7809579B2 (en) * | 2003-12-19 | 2010-10-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Fidelity-optimized variable frame length encoding |
| BRPI0509108B1 (pt) * | 2004-04-05 | 2019-11-19 | Koninklijke Philips Nv | método para codificar uma pluralidade de sinais de entrada, codificador para codificar uma pluralidade de sinais de entrada, método de decodificar dados, e decodificador |
| SE0400998D0 (sv) * | 2004-04-16 | 2004-04-16 | Cooding Technologies Sweden Ab | Method for representing multi-channel audio signals |
| TWI393121B (zh) * | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
| US8204261B2 (en) * | 2004-10-20 | 2012-06-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Diffuse sound shaping for BCC schemes and the like |
| SE0402650D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
| SE0402649D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
| WO2006048815A1 (en) * | 2004-11-04 | 2006-05-11 | Koninklijke Philips Electronics N.V. | Encoding and decoding a set of signals |
| US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
| US20070055510A1 (en) * | 2005-07-19 | 2007-03-08 | Johannes Hilpert | Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding |
-
2006
- 2006-03-16 EP EP06711111A patent/EP1866911B1/en active Active
- 2006-03-16 RU RU2007139921/07A patent/RU2416129C2/ru active
- 2006-03-16 WO PCT/IB2006/050819 patent/WO2006103581A1/en active Application Filing
- 2006-03-16 US US11/909,741 patent/US8036904B2/en active Active
- 2006-03-16 KR KR1020077025069A patent/KR101315077B1/ko active IP Right Grant
- 2006-03-16 JP JP2008503630A patent/JP4943418B2/ja active Active
- 2006-03-16 BR BRPI0608753A patent/BRPI0608753B1/pt active IP Right Grant
- 2006-03-16 AT AT06711111T patent/ATE470930T1/de not_active IP Right Cessation
- 2006-03-16 PL PL06711111T patent/PL1866911T3/pl unknown
- 2006-03-16 ES ES06711111T patent/ES2347274T3/es active Active
- 2006-03-16 DE DE602006014809T patent/DE602006014809D1/de active Active
- 2006-03-16 CN CN200680010351.4A patent/CN101151659B/zh active Active
-
2011
- 2011-09-07 US US13/226,525 patent/US8352280B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2809981C1 (ru) * | 2020-07-07 | 2023-12-20 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Аудиодекодер, аудиокодер и связанные способы с использованием объединенного кодирования параметров масштабирования для каналов многоканального аудиосигнала |
Also Published As
| Publication number | Publication date |
|---|---|
| DE602006014809D1 (de) | 2010-07-22 |
| WO2006103581A1 (en) | 2006-10-05 |
| EP1866911A1 (en) | 2007-12-19 |
| BRPI0608753B1 (pt) | 2019-12-24 |
| BRPI0608753A2 (pt) | 2011-03-15 |
| KR101315077B1 (ko) | 2013-10-08 |
| ATE470930T1 (de) | 2010-06-15 |
| CN101151659B (zh) | 2014-02-05 |
| US8352280B2 (en) | 2013-01-08 |
| JP4943418B2 (ja) | 2012-05-30 |
| EP1866911B1 (en) | 2010-06-09 |
| PL1866911T3 (pl) | 2010-12-31 |
| RU2007139921A (ru) | 2009-05-10 |
| US20120063604A1 (en) | 2012-03-15 |
| JP2008535014A (ja) | 2008-08-28 |
| US8036904B2 (en) | 2011-10-11 |
| ES2347274T3 (es) | 2010-10-27 |
| US20080195397A1 (en) | 2008-08-14 |
| KR20070116170A (ko) | 2007-12-06 |
| CN101151659A (zh) | 2008-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2416129C2 (ru) | Масштабируемое многоканальное кодирование звука | |
| US10433091B2 (en) | Compatible multi-channel coding-decoding | |
| Herre et al. | MPEG surround-the ISO/MPEG standard for efficient and compatible multichannel audio coding | |
| CA2566366C (en) | Audio signal encoder and audio signal decoder | |
| US8687829B2 (en) | Apparatus and method for multi-channel parameter transformation | |
| Disch et al. | Spatial audio coding: Next-generation efficient and compatible coding of multi-channel audio | |
| US8583424B2 (en) | Spatial synthesis of multichannel audio signals | |
| EP1706865A1 (en) | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal | |
| EP1774515A1 (en) | Apparatus and method for generating a multi-channel output signal | |
| Kim | A study on complexity reduction of binaural decoding in multi-channel audio coding for realistic audio service |