RU2497204C2 - Устройство параметрического стереофонического повышающего микширования, параметрический стереофонический декодер, устройство параметрического стереофонического понижающего микширования, параметрический стереофонический кодер - Google Patents
Устройство параметрического стереофонического повышающего микширования, параметрический стереофонический декодер, устройство параметрического стереофонического понижающего микширования, параметрический стереофонический кодер Download PDFInfo
- Publication number
- RU2497204C2 RU2497204C2 RU2010152580/08A RU2010152580A RU2497204C2 RU 2497204 C2 RU2497204 C2 RU 2497204C2 RU 2010152580/08 A RU2010152580/08 A RU 2010152580/08A RU 2010152580 A RU2010152580 A RU 2010152580A RU 2497204 C2 RU2497204 C2 RU 2497204C2
- Authority
- RU
- Russia
- Prior art keywords
- signal
- monophonic
- difference
- mix
- parametric
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 abstract description 7
- 238000003786 synthesis reaction Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 238000010606 normalization Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 5
- 230000003595 spectral effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- OFHCOWSQAMBJIW-AVJTYSNKSA-N alfacalcidol Chemical compound C1(/[C@@H]2CC[C@@H]([C@]2(CCC1)C)[C@H](C)CCCC(C)C)=C\C=C1\C[C@@H](O)C[C@H](O)C1=C OFHCOWSQAMBJIW-AVJTYSNKSA-N 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereophonic System (AREA)
Abstract
Устройство (300, 400) параметрического стереофонического повышающего микширования, генерирующее левый сигнал (206) и правый сигнал (207) из монофонического сигнала (204) понижающего микширования на основе пространственных параметров (205). Упомянутое устройство параметрического стереофонического повышающего микширования характеризуется тем, что содержит средство (310) для предсказания разностного сигнала (311), содержащего разность между левым сигналом (206) и правым сигналом (207), на основе монофонического сигнала (204) понижающего микширования, масштабированного коэффициентом предсказания (321). Упомянутый коэффициент предсказания получается из пространственных параметров (205). Упомянутое устройство (300, 400) параметрического стереофонического повышающего микширования дополнительно содержит арифметическое средство (330) для получения левого сигнала (206) и правого сигнала (207) на основе суммы и разности монофонического сигнала (204) понижающего микширования и упомянутого разностного сигнала (311). 8 н. и 8 з.п. ф-лы, 9 ил.
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к устройству параметрического стереофонического повышающего микширования для генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования на основе пространственных параметров. Изобретение дополнительно относится к параметрическому стереофоническому декодеру, содержащему устройство параметрического стереофонического повышающего микширования, способу генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования на основе пространственных параметров, звуковому проигрывающему устройству, параметрическому стереофоническому устройству понижающего микширования, параметрическому стереофоническому кодеру, способу генерирования сигнала остатка предсказания для разностного сигнала и компьютерному программному продукту.
ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
Параметрическая стереофония (PS) является одним из основных достижений в кодировании звукового сигнала последних двух лет. Основы параметрической стереофонии описаны в J. Breebaart, S. van de Par, A. Kohlrausch and E. Schuijers, "Parametric Coding of Stereo Audio", EURASIP J. Appl. Signal Process., vol 9, pp. 1305-1322 (2004). В сравнении с традиционным, так называемым дискретным кодированием звуковых сигналов, PS кодер, как изображено на фиг.1, преобразует стереофоническую пару сигналов (l,r) 101, 102 в одиночный монофонический сигнал 104 понижающего микширования плюс небольшое количество параметров 103, описывающих пространственный образ. Эти параметры содержат межканальные разности мощностей (iids), межканальную разность фаз (или времени) (ipds/itds), межканальные когерентности/корреляции (iccs). В PS-кодере 100 пространственный образ стереофонического входного сигнала (l,r) анализируется, что имеет следствием параметры iid, ipd и icc. Предпочтительно, параметры являются зависимыми от времени и частоты. Для каждой временной/частотной ячейки определяются параметры iid, ipd и icc. Эти параметры квантуются и кодируются 140, что дает в результате PS битовый поток. Более того, параметры типично также используются для управления тем, как генерируется понижающее микширование стереофонического входного сигнала. Результирующий монофонический суммарный сигнал (s) 104 затем кодируется, используя традиционный монофонический звуковой кодер 120. Наконец, результирующий монофонический и PS битовый поток объединяются для построения итогового стереофонического битового потока 107.
В PS декодере 200 стереофонический битовый поток разделяется на монофонический битовый поток 202 и PS битовый поток 203.
Монофонический звуковой сигнал декодируется, имея результатом восстановление монофонического сигнала 204 понижающего микширования. Монофонический сигнал понижающего микширования подается к PS повышающему микшированию 230 вместе с декодированными параметрами 205 пространственного образа. PS повышающее микширование затем генерирует выходную стереофоническую пару сигналов (l, r) 206, 207. Для того чтобы синтезировать контрольные сигналы icc, PS повышающее микширование применяет так называемый декоррелированный сигнал (s d ), т.е. сигнал, сгенерированный из монофонического звукового сигнала, который имеет приблизительно ту же самую спектральную и временную огибающую, но который, однако, имеет корреляцию, по существу, нулевую по отношению к монофоническому входному сигналу. Затем, на основе параметров пространственного образа, в PS повышающем микшировании для каждой временной/частотной ячейки определяется и применяется 2x2 матрица:
где H ij представляет (i, j) элемент матрицы H повышающего микширования. Элементы матрицы H являются функциями PS параметров iid, icc и, необязательно, ipd/opd. В PS системе предшествующего уровня техники, в случае применения параметров ipd/opd матрица H повышающего микширования может быть разложена как:
где левая 2x2 матрица представляет вращения фаз, в зависимости от параметров ipd и opd, и правая 2x2 матрица представляет часть, которая восстанавливает параметры iid and icc.
В WO2003090206 Al предложено равномерно распределять ipd по левому и правому каналам в декодере. Более того, предложено генерировать сигнал понижающего микширования посредством вращения левого и правого сигнала, обоих по направлению друг к другу наполовину измеренного ipd для получения выравнивания. На практике, в случае почти не совпадающих по фазе сигналов, это имеет результат для обоих из понижающего микширования, сгенерированного в кодере, и повышающего микширования, сгенерированного в декодере, что ipd со временем незначительно меняется около 180 градусов, каковое изменение по причине свертывания может состоять из последовательности таких углов как 179, 178, -179, 177, -179,... В результате таких прыжков для последующих временных/частотных ячеек в понижающем микшировании характерны скачки фазы или, другими словами, нестабильность фазы. Вследствие присущей структуры синтеза на основе перекрытия с суммированием это имеет следствие в виде слышимых помех.
В качестве примера, рассмотрим понижающее микширование, где в одной временной/частотной ячейке понижающее микширование генерируется как:
где ε является неким произвольным малым углом, подразумевая, что измеренная ipd была близка к 180 градусам, тогда как для следующей временной/частотной ячейки понижающее микширование генерируется как:
подразумевая, что измеренная ipd была близка к -180 градусам. Используя типичный синтез на основе перекрытия с суммированием, взаимное подавление фаз случится между срединными точками последующих временных/частотных ячеек, производя помехи.
Основным недостатком параметрического стереофонического кодирования, как обсуждено выше, является неустойчивость синтеза контрольных сигналов межзвуковой разности фаз (ipd) в PS декодере, которые используются в генерировании выходной стереофонической пары. Источником такой неустойчивости являются изменения фазы, осуществляемые в PS кодере, для того чтобы генерировать понижающее микширование, и в PS декодере, для того чтобы генерировать выходной сигнал. В результате такой неустойчивости ощущается более низкое качество звука выходной стереофонической пары.
Для того чтобы бороться с этой проблемой неустойчивости фазы на практике, синтез ipd часто отбрасывается. Однако это имеет результат в уменьшении (пространственного) качества звука восстановленного стереофонического сигнала.
Другой альтернативой борьбы с этой проблемой неустойчивости, когда ipd параметры используются, является включение так называемых сводных разностей фаз (opds) в битовый поток для того, чтобы обеспечить декодеру опорную фазу. Таким образом неразрывность в временных/частотных ячейках может быть увеличена посредством того, что предусмотрено общее вращение фаз. Это, однако, совершается за счет увеличения битрейта и тем самым приводит к ухудшению общей системной производительности.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Цель изобретения состоит в том, чтобы предоставить усовершенствованное устройство параметрического стереофонического повышающего микширования для генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования, которое имеет улучшенное качество звука сгенерированного левого и правого сигналов без дополнительного увеличения битрейта и для которого не характерны неустойчивости, обуславливаемые синтезом межзвуковых разностей фаз (ipds).
Эта цель достигается устройством параметрического стереофонического (PS) повышающего микширования, содержащим средство для предсказания разностного сигнала, содержащего разность между левым сигналом и правом сигналом, на основе монофонического сигнала понижающего микширования, масштабированного коэффициентом предсказания. Упомянутый коэффициент предсказания получается из пространственных параметров. Упомянутое устройство PS повышающего микширования дополнительно содержит арифметическое средство для получения левого сигнала и правого сигнала на основе суммы и разности монофонического сигнала понижающего микширования и упомянутого разностного сигнала.
Предложенное устройство PS повышающего микширования предлагает способ получения левого сигнала и правого сигнала, отличающийся от способа для известного PS декодера. Вместо применения пространственных параметров для восстановления корректного пространственного образа в статистическом смысле, как сделано в известном PS декодере, предложенное устройство PS повышающего микширования формирует разностный сигнал из монофонического сигнала понижающего микширования и пространственных параметров. Как, известный, так и предложенный PS декодер нацелены на восстановление корректных отношений мощностей (iids), кросс-корреляций (iccs) и соотношений фаз (ipds). Однако известный PS декодер не стремится получить наиболее точное соответствие формы сигнала. Вместо этого, он обеспечивает то, что измеренные параметры кодера статистически совпадают с восстановленными параметрами декодера. В предложенном устройстве PS повышающего микширования посредством простых арифметических операций, таких как сумма или разность, применяемых к монофоническому сигналу понижающего микширования и оцененному разностному сигналу, находятся левый сигнал и правый сигнал. Такое построение дает намного лучшие результаты в плане качества и стабильности воспроизводимого левого и правого сигналов, поскольку оно обеспечивает близкое соответствие формы сигнала, восстанавливающее исходное поведение фазы сигнала.
В варианте осуществления, упомянутый коэффициент предсказания основан на сопоставлении формы сигнала понижающего микширования с разностным сигналом. Для сопоставления формы сигнала, по существу, не характерны неустойчивости, как в случае статистического приближения, используемого в известном PS декодере для синтеза ipd и opd, поскольку оно по существу обеспечивает сохранение фазы. Таким образом, посредством использования разностного сигнала, полученного как (комплекснозначный) масштабированный монофонический сигнал понижающего микширования и получения коэффициента предсказания на основе сопоставления формы сигнала, источник неустойчивостей известного PS декодера устраняется. Упомянутое сопоставление формы сигнала содержит, например, сопоставление монофонического сигнала понижающего микширования с разностным сигналом на основе метода наименьших квадратов, вычисляя разностный сигнал как:
где s является сигналом понижающего микширования и α является коэффициентом предсказания. Хорошо известно, что решение предсказания на основе метода наименьших квадратов дается так:
где
представляет комплексное сопряжение кросс-корреляции сигнала понижающего микширования и разностного сигнала, а
представляет мощность сигнала понижающего микширования.
В дополнительном варианте осуществления коэффициент предсказания задается как функция пространственных параметров:
где iid, ipd и icc являются пространственными параметрами и iid является межканальной разностью мощностей, ipd является межканальной разностью фаз и icc является межканальной когерентностью. В целом, это является сложным квантовать комплекснозначный коэффициент предсказания α значимым с точки зрения восприятия образом, поскольку требуемая точность зависит от свойств левого и правого звуковых сигналов, которые должны быть воспроизведены. Следовательно, преимущество этого варианта осуществления состоит в том, что в отличие от комплексного коэффициента предсказания α, требуемые точности квантования для пространственных параметров являются широко известными из психоакустики. По существу, оптимальное использование психоакустических знаний может быть задействовано для того, чтобы эффективно, т.е. как можно с меньшим числом шагов, квантовать коэффициент предсказания с меньшим битрейтом. Более того, этот вариант осуществления обеспечивает возможность повышающего микширования, используя обратно совместимое PS содержимое.
В дополнительном варианте осуществления, средство для предсказания разностного сигнала выполнено с возможностью улучшения разностного сигнала посредством добавления масштабированного декоррелированного сигнала понижающего микширования. Поскольку, как правило, не является возможным полностью предсказать исходный разностный сигнал кодера из монофонического сигнала понижающего микширования, это обуславливает наличие сигнала остатка. Этот сигнал остатка не имеет корреляции с сигналом понижающего микширования, так как в противном случае он должен был бы быть учтен посредством коэффициента предсказания. Во многих случаях сигнал остатка содержит поле реверберирующего звука, соответствующее записи. Сигнал остатка может быть эффективно синтезирован, используя декоррелированный монофонический сигнал понижающего микширования, полученный из монофонического сигнала понижающего микширования.
В дополнительном варианте осуществления, упомянутый декоррелированный монофонический сигнал понижающего микширования получается посредством фильтрования монофонического сигнала понижающего микширования. Целью этой фильтрации является эффективная генерация сигнала со спектральной и временной огибающей, подобной огибающей монофонического сигнала понижающего микширования, но с корреляцией, по существу, близкой к нулю, так что он соответствует синтетическому варианту остаточной составляющей, извлеченной в кодере. Это может быть, например, достигнуто посредством частотнонезависимой фильтрации, задержек, решеточных реверберационных фильтров, сетей с задержкой обратной связи или их комбинации. Дополнительно, нормировка мощности может быть применена к декоррелированному сигналу для того, чтобы гарантировать то, что мощность для каждой временной/частотной ячейки декоррелированного сигнала близко соответствует такой же мощности монофонического сигнала понижающего микширования. Таким образом, гарантируется, что выходной сигнал декодера будет содержать корректную величину мощности декоррелированного сигнала.
В дополнительном варианте осуществления, коэффициент масштабирования, примененный к декоррелированному монофоническому сигналу понижающего микширования, задается для компенсации потери энергии, связанной с предсказанием. Коэффициент масштабирования, примененный к декоррелированному монофоническому сигналу понижающего микширования, гарантирует то, что общая мощность левого сигнала и правого сигнала на стороне декодера согласуется с мощностью левого и правого сигнала на стороне кодера, соответственно. По этой причине коэффициент масштабирования β может также интерпретироваться как коэффициент компенсации потери энергии, связанной с предсказанием.
В дополнительном варианте осуществления, коэффициент масштабирования, примененный к декоррелированному монофоническому сигналу понижающего микширования, задается как функция пространственных параметров:
где iid, ipd и icc являются пространственными параметрами, и iid является межканальной разностью мощностей, ipd является межканальной разностью фаз, и icc является межканальной когерентностью, и α является коэффициентом предсказания. Подобным образом, как в случае коэффициента предсказания, выражение декоррелированного коэффициента масштабирования β как функции пространственных параметров обеспечивает возможность использования знаний о требуемых точностях квантования этих пространственных параметров. По существу, оптимальное использование психоакустических знаний может быть применено для того, чтобы уменьшить битрейт.
В дополнительном варианте осуществления стереофоническое повышающее микширование имеет сигнал остатка предсказания для разностного сигнала как дополнительные входные данные, при этом арифметическое средство выполнено с возможностью получения левого сигнала и правого сигнала также на основе упомянутого сигнала остатка предсказания для разностного сигнала. Для того чтобы избежать длинных наименований сигналов, «сигнал остатка предсказания» используется в качестве «сигнала остатка предсказания для разностного сигнала» повсюду в оставшейся части патентной заявки. Сигнал остатка предсказания работает как замена синтетического сигнала декорреляции посредством его исходного аналога из кодера. Он позволяет восстанавливать исходный стереофонический сигнал в декодере. Это, однако, достигается за счет дополнительного битрейта, поскольку сигнал остатка предсказания должен быть закодирован и передан на декодер. Поэтому, в типичном случае, полоса пропускания сигнала остатка предсказания ограничена. Сигнал остатка предсказания может либо полностью заместить декоррелированный монофонический сигнал понижающего микширования для заданной временной/частотной ячейки, либо он может работать в режиме дополнения. Последнее может быть полезным в случае, когда сигнал остатка предсказания является лишь разреженно кодированным, например, закодированы только некоторые из наиболее значимых элементов разрешения по частоте. В этом случае, в сравнении с ситуацией кодера, будет все еще иметь место нехватка энергии. Такая нехватка энергии будет заполняться посредством декоррелированного сигнала. Новый декоррелированный коэффициент масштабирования β' тогда вычисляется как:
где
является мощностью сигнала кодированного сигнала остатка предсказания, и
является мощностью монофонического сигнала понижающего микширования. Эти мощности сигнала могут быть измерены на стороне декодера и, таким образом, не существует потребности для передачи их как сигнальных параметров.
Изобретение дополнительно предоставляет параметрический стереофонический декодер, содержащий упомянутое устройство параметрического стереофонического повышающего микширования, и звуковое проигрывающее устройство, содержащее упомянутый параметрический стереофонический декодер.
Изобретение также предоставляет устройство параметрического стереофонического понижающего микширования и параметрический стереофонический кодер, содержащий упомянутое устройство параметрического стереофонического понижающего микширования.
Изобретение дополнительно предусматривает пункты формулы изобретения на способ, а также на компьютерный программный продукт, позволяющий программируемому устройству осуществлять способ согласно изобретению.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты изобретения будут очевидны и будут объяснены со ссылкой на варианты осуществления, показанные на чертежах, где:
Фиг.1 схематически показывает архитектуру параметрического стереофонического кодера (предшествующий уровень техники);
Фиг.2 схематически показывает архитектуру параметрического стереофонического декодера (предшествующий уровень техники);
Фиг.3 показывает устройство параметрического стереофонического повышающего микширования согласно изобретению, причем упомянутое устройство параметрического стереофонического повышающего микширования генерирует левый сигнал и правый сигнал из монофонического сигнала понижающего микширования на основе пространственных параметров;
Фиг.4 показывает устройство параметрического стереофонического повышающего микширования, содержащее средство предсказания, предусмотренное для улучшения разностного сигнала посредством добавления масштабированного монофонического сигнала понижающего микширования;
Фиг.5 показывает устройство параметрического стереофонического повышающего микширования, имеющее сигнал остатка предсказания для разностного сигнала как дополнительные входные данные;
Фиг.6 показывает параметрический стереофонический декодер, содержащий устройство параметрического стереофонического повышающего микширования согласно изобретению;
Фиг.7 показывает блок схему последовательности операций способа генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования на основе пространственных параметров согласно изобретению;
Фиг.8 показывает устройство параметрического стереофонического понижающего микширования согласно изобретению, причем упомянутое параметрическое стереофоническое устройство понижающего микширования генерирует монофонический сигнал понижающего микширования из левого сигнала и правого сигнала на основе пространственных параметров;
Фиг.9 показывает параметрический стереофонический кодер, содержащий устройство параметрического стереофонического понижающего микширования согласно изобретению.
На всех фигурах одинаковые номера ссылок указывают подобные или соответствующие признаки. Некоторые из признаков, указанных в чертежах, в типичном случае реализуются в программном обеспечении и, в силу этого, представляют программные сущности, такие как программные модули или объекты.
ПОДРОБНОЕ ОПИСАНИЕ ПРЕДПОЧТИТЕЛЬНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Фиг.3 показывает устройство 300 параметрического стереофонического повышающего микширования согласно изобретению. Упомянутое устройство 300 параметрического стереофонического повышающего микширования генерирует левый сигнал 206 и правый сигнал 207 из монофонического сигнала 204 понижающего микширования на основе пространственных параметров 205.
Упомянутое устройство 300 параметрического стереофонического повышающего микширования содержит средство 310 для предсказания разностного сигнала 311, содержащего разность между левым сигналом 206 и правым сигналом 207, на основе монофонического сигнала 204 понижающего микширования, масштабированного коэффициентом предсказания 321, при этом коэффициент предсказания 321 получают из пространственных параметров 205 в блоке 320, и арифметическое средство 330 для получения левого сигнала 206 и правого сигнала 207 на основе суммы и разности монофонического сигнала 204 понижающего микширования и упомянутого разностного сигнала 311.
Левый сигнал 206 и правый сигнал 207 предпочтительно восстанавливаются следующим образом:
где s является монофоническим сигналом понижающего микширования, d является разностным сигналом. Это при допущении, что суммарный сигнал кодера вычисляется как:
На практике при восстановлении левого сигнала 206 и правого сигнала 207 часто применяется нормировка по усилению:
где c является константой нормировки по усилению и является функцией пространственных параметров. Нормировка по усилению обеспечивает то, что мощность монофонического сигнала 204 понижающего микширования равна сумме мощностей левого сигнала 206 и правого сигнала 207. В этом случае суммарный сигнал кодера был вычислен как:
Пространственные параметры определяются в кодере заранее и передаются декодеру, содержащему устройство 300 параметрического стереофонического повышающего микширования. Упомянутые пространственные параметры определяются на покадровой основе для каждой временной/частотной ячейки как:
где iid - межканальная разность мощностей, icc - межканальная когерентность, ipd - межканальная разность фаз, и
и
являются мощностями левого и правого сигналов, соответственно, и
обозначает ненормированный комплекснозначный ковариационный коэффициент между левым и правым сигналами.
Для типичной частотной комплеснозначной области, такой как дискретное преобразование Фурье, DFT (быстрое преобразование Фурье, FFT), эти мощности измеряются как:
где k tile представляют DFT-элементы, соответствующие диапазону параметров. Должно быть замечено, что также другие представления комплексных областей могут быть использованы, такие как, например, комплексная экспоненциально модулированная гребенка QMF (квадратурных зеркальных фильтров), как описано в Per Ekstrand, «Bandwidth extension of audio signals by spectral band replication», Proc. 1st IEEE Benelux Workshop on Model based Processing and Coding of Audio (MPCA-2002), Leuven, Belgium, November, 2002, стр. 73-79.
Для низких частот вплоть до 1,5-2 кГц вышеупомянутые уравнения являются действительными. Однако для более высоких частот параметры ipd являются не подходящими для восприятия и, следовательно, они устанавливаются в нулевое значение, что дает в результате:
Альтернативно, так как на более высоких частотах скорее широкополосная огибающая, чем разности фаз, является важной для восприятия, icc вычисляется как:
Константа c нормировки по усилению выражается в виде:
Так как c может приближаться к бесконечности вследствие того, что левый и правый сигнал находятся не в фазе, значение константы c нормировки по усилению в типичном случае ограничивается как:
где c max является максимальным коэффициентом усиления, например c max=2.
В варианте осуществления, упомянутый коэффициент предсказания основан на оценке разностного сигнала 311 от монофонического сигнала 204 понижающего микширования, используя сопоставление формы сигнала. Упомянутое сопоставление формы сигнала содержит, например, сопоставление монофонического сигнала 204 понижающего микширования с разностным сигналом 311 на основе метода наименьших квадратов, что дает в результате разностный сигнал, представленный как:
где s является монофоническим сигналом 204 понижающего микширования, и α является коэффициентом предсказания 321.
Помимо использования сопоставления формы сигнала на основе метода наименьших квадратов, может быть использована норма, отличная от L2-нормы. Альтернативно, в отношении ошибки с p-нормой
может быть выполнено, например, перцепционное взвешивание. Однако сопоставление на основе метода наименьших квадратов является преимущественным, так как оно имеет результатом относительно простые вычисления для получения коэффициента предсказания из переданных параметров пространственного образа.
Хорошо известно, что решение предсказания на основе метода наименьших квадратов для коэффициента предсказания α задается как:
где
представляет комплексное сопряжение кросс-корреляции монофонического сигнала 204 понижающего микширования и разностного сигнала 311, и
представляет мощность монофонического сигнала понижающего микширования.
В дополнительном варианте осуществления, коэффициент предсказания 321 задается как функция пространственных параметров:
Упомянутый коэффициент предсказания вычисляется в блоке 320 согласно вышеупомянутой формуле.
Фиг.4 показывает устройство 300 параметрического стереофонического повышающего микширования, содержащее средство 310 предсказания, предусмотренное для улучшения разностного сигнала посредством добавления масштабированного монофонического сигнала понижающего микширования. Монофонический сигнал 204 понижающего микширования подается в блок 340 для декорреляции. Как результат, декоррелированный монофонический сигнал 341 понижающего микширования предоставляется на выходе блока 340. В средстве 310 предсказания первая часть разностного сигнала вычисляется посредством масштабирования монофонического сигнала 204 понижающего микширования коэффициентом предсказания 321. Дополнительно, декоррелированный монофонический сигнал 341 понижающего микширования также масштабируется в средстве 310 предсказывания коэффициентом 322 масштабирования. Результирующая вторая часть разностного сигнала прибавляется затем к первой части разностного сигнала, имея результатом улучшенный разностный сигнал 311. Монофонический сигнал 204 понижающего микширования и улучшенный разностный сигнал 311 подаются на арифметическое средство 330, которое вычисляет левый сигнал 206 и правый сигнал 207.
В общем, не является возможным точно предсказать разностный сигнал из монофонического сигнала понижающего микширования только посредством масштабирования коэффициентом предсказания. Это приводит к сигналу остатка Этот сигнал остатка не имеет корреляции с сигналом понижающего микширования, так как в противном случае он был бы взят в расчет посредством коэффициента предсказания. Во многих случаях сигнал остатка содержит поле реверберирующего звука, соответствующее записи. Сигнал остатка эффективно синтезируется, используя декоррелированный монофонический сигнал понижающего микширования, полученный из монофонического сигнала понижающего микширования. Упомянутый декоррелированный сигнал является второй частью разностного сигнала, которая вычисляется средством 310 предсказания.
В дополнительном варианте осуществления, декоррелированный монофонический сигнал понижающего микширования 341 получается посредством фильтрования монофонического сигнала 204 понижающего микширования. Упомянутое фильтрование осуществляется в блоке 340. Этим фильтрованием генерируется сигнал со спектральной и временной огибающей, подобной огибающей у монофонического сигнала 204 понижающего микширования, но с корреляцией, по существу, близкой к нулю, так что он соответствует синтетическому варианту остаточной составляющей, полученной в кодере. Этот эффект достигается посредством, например, частотнонезависимой фильтрации, задержек, решеточных реверберационных фильтров, сетей с задержкой обратной связи или их комбинации.
В дополнительном варианте осуществления, коэффициент 322 масштабирования, примененный к декоррелированному монофоническому сигналу 341 понижающего микширования, устанавливается для компенсации потери энергии, связанной с предсказанием. Коэффициент 322 масштабирования, примененный к декоррелированному монофоническому сигналу 341 понижающего микширования, гарантирует то, что общая мощность левого сигнала 206 и правого сигнала 207 на выходе параметрического стереофонического устройства 300 повышающего микширования согласуется с мощностью левого и правого сигнала на стороне кодера, соответственно. По этой причине коэффициент 322 масштабирования, указанный раньше как β, интерпретируется как коэффициент компенсации потери энергии, связанный с предсказанием. Разностный сигнал d тогда выражается так:
где s d является декоррелированным монофоническим сигналом понижающего микширования.
Может быть показано, что упомянутый коэффициент 322 масштабирования может быть выражен как:
в терминах мощностей сигнала, соответствующих разностному сигналу d и монофоническому сигналу s понижающего микширования.
В дополнительном варианте осуществления, коэффициент 322 масштабирования, примененный к декоррелированному монофоническому сигналу 341 понижающего микширования, задается как функция пространственных параметров 205:
Упомянутый коэффициент 322 масштабирования получают в блоке 320.
В случае, когда в кодере не было применено никакой нормировки понижающего микширования, т.е. сигнал понижающего микширования был вычислен как , левый сигнал 206 и правый сигнал 207 тогда выражаются как:
В случае, когда нормировка понижающего микширования была применена, т.е. сигнал понижающего микширования был вычислен как
Фиг.5 показывает устройство 500 параметрического стереофонического повышающего микширования, имеющее сигнал остатка предсказания 331 для разностного сигнала как дополнительные входные данные. Арифметическое средство 330 предусмотрено для получения левого сигнала 206 и правого сигнала 207 на основе монофонического сигнала 204 понижающего микширования, разностного сигнала 311 и упомянутого сигнала 331 остатка. Средство 310 предсказывает разностный сигнал 311 на основе монофонического сигнала 204 понижающего микширования, масштабированного коэффициентом предсказания 321. Упомянутый коэффициент предсказания 321 получается в блоке 320 на основе пространственных параметров 205.
Левый сигнал 206 и правый сигнал 205 соответственно задаются как:
где d res является сигналом остатка предсказания.
Альтернативно, в случае применения нормировки мощности к понижающему микшированию, но не к сигналу остатка, левый сигнал и правый сигнал могут быть получены как:
Сигнал остатка предсказания 331 действует как замена для синтетического сигнала 341 декорреляции посредством своего исходного аналога из кодера. Это обеспечивает возможность восстановления исходного стереофонического сигнала посредством устройства 300 параметрического стереофонического повышающего микширования. Сигнал остатка предсказания 331 может либо полностью заместить декоррелированный монофонический сигнал 341 понижающего микширования для заданной временной/частотной ячейки, либо он может работать в режиме дополнения. Последнее является полезным в случае, когда сигнал остатка предсказания является лишь разреженно кодированным, например, закодированы только несколько из наиболее значимых элементов разрешения по частоте. В этом случае все еще имеется нехватка энергии по сравнению с сигналом остатка предсказания кодера. Такая нехватка энергии заполняется посредством декоррелированного сигнала 341. Новый декоррелированный коэффициент масштабирования β' тогда вычисляется как:
где
является мощностью сигнала кодированного сигнала остатка предсказания и
является мощностью монофонического сигнала 204 понижающего микширования.
Устройство 300 параметрического стереофонического повышающего микширования может быть использовано в отвечающей предшествующему уровню техники архитектуре параметрического стереофонического декодера без любых дополнительных адаптаций. Устройство 300 параметрического стереофонического повышающего микширования замещает тогда блок 230 повышающего микширования, как отображено на фиг.2. Когда сигнал остатка предсказания 331 используется при параметрическом стереофоническом повышающем микшировании 400, требуется пара адаптаций, которые описаны на фиг.6.
Фиг.6 показывает параметрический стереофонический декодер, содержащий устройство 400 параметрического стереофонического повышающего микширования согласно изобретению. Параметрический стереофонический декодер содержит средство 210 демультиплексирования для разделения входящего битового потока на монофонический битовый поток 202, битовый поток 332 остатка предсказания и параметрический битовый поток 203. Средство 220 монофонического декодирования декодирует упомянутый монофонический битовый поток 202 в монофонический сигнал 204 понижающего микширования. Монофоническое декодирующее средство дополнительно сконфигурировано для декодирования битового потока 332 остатка предсказания в сигнал остатка предсказания 331. Средство 240 параметрического декодирования декодирует параметрический битовый поток 203 в пространственные параметры 205. Устройство 400 параметрического стереофонического повышающего микширования генерирует левый сигнал 206 и правый сигнал из монофонического сигнала 204 понижающего микширования и остаточного сигнала 331 предсказания на основе пространственных параметров 205. Хотя декодирование монофонического сигнала 204 понижающего микширования и сигнала остатка предсказания осуществляется при помощи средства 220 декодирования, является возможным, что упомянутое декодирование осуществляется посредством отдельного декодирующего программного обеспечения и/или аппаратных средств для каждого из сигналов, которые должны быть декодированы.
Фиг.7 показывает блок-схему последовательности операций способа генерирования левого сигнала 206 и правого сигнала 207 из монофонического сигнала 204 понижающего микширования на основе пространственных параметров согласно изобретению. На первом этапе 710 разносный сигнал 311, содержащий разность между левым сигналом 206 и правым сигналом 207, предсказывают на основе монофонического сигнала 204 понижающего микширования, масштабированного коэффициентом предсказания 321, при этом коэффициент предсказания получают из пространственных параметров 205. На втором этапе 720 левый сигнал 206 и правый сигнал 207 получают на основе суммы и разности монофонического сигнала 204 понижающего микширования и упомянутого разностного сигнала 311.
Когда сигнал остатка предсказания является доступным на втором этапе 720, сигнал остатка предсказания вслед за монофоническим сигналом 204 понижающего микширования и разностным сигналом 311 используют для получения левого сигнала 206 и правого сигнала 207.
Когда параметрическое стереофоническое повышающее микширование 300 используется в параметрическом стереофоническом декодере, никаких модификаций для параметрического стереофонического кодера не требуется. Может быть использован параметрический стереофонический кодер, известный в предшествующем уровне техники.
Однако когда используется параметрическое стереофоническое повышающее микширование 400, параметрический стереофонический кодер должен быть выполнен с возможностью обеспечивать сигнал остатка предсказания в битовом потоке.
Фиг.8 показывает устройство 800 параметрического стереофонического понижающего микширования согласно изобретению, причем упомянутое устройство параметрического стереофонического понижающего микширования генерирует монофонический сигнал понижающего микширования из левого сигнала и правого сигнала на основе пространственных параметров. Упомянутое устройство 800 параметрического стереофонического понижающего микширования выводит вслед за монофоническим сигналом 104 понижающего микширования добавочный сигнал 801, который является сигналом остатка предсказания. Упомянутое устройство 800 параметрического стереофонического понижающего микширования содержит дополнительное арифметическое средство 810 для получения монофонического сигнала 104 понижающего микширования и разностного сигнала 811, содержащего разность между левым сигналом 101 и правым сигналом 102. Упомянутое устройство 800 параметрического стереофонического понижающего микширования дополнительно содержит дополнительное средство 820 предсказания для получения сигнала остатка предсказания (для разностного сигнала) 801 как разность между разностным сигналом 811 и монофоническим сигналом 104 понижающего микширования, масштабированного предопределенным коэффициентом предсказания 831, полученным из пространственных параметров 103. Упомянутый предопределенный коэффициент предсказания определяется в блоке 830. Предопределенный коэффициент предсказания выбирается для обеспечения сигнала остатка предсказания 801, который является ортогональным к монофоническому сигналу 104 понижающего микширования. В дополнение, может быть применена нормировка мощности сигнала понижающего микширования (не показана на фиг.8).
Хотя нумерация сигналов, соответствующих монофоническому сигналу понижающего микширования и сигналу остатка предсказания, имеет различные номера ссылок в устройстве параметрического стереофонического повышающего микширования и в устройстве параметрического стереофонического понижающего микширования, должно быть понятно, что монофонические сигналы 204 и 104 понижающего микширования соответствуют друг другу, и сигналы остатка предсказания 331 и 801 также соответствуют друг другу.
Фиг.9 показывает параметрический стереофонический кодер, содержащий устройство 800 параметрического стереофонического понижающего микширования согласно изобретению. Упомянутый параметрический стереофонический кодер содержит:
- средство 130 оценки для получения пространственных параметров 103 из левого сигнала 101 и правого сигнала 102,
- устройство 110 параметрического стереофонического понижающего микширования согласно изобретению для генерирования монофонического сигнала 104 понижающего микширования из левого сигнала 101 и правого сигнала 102 на основе пространственных параметров 103,
- средство 120 монофонического кодирования для кодирования упомянутого монофонического сигнала 104 понижающего микширования в монофонический битовый поток 105, причем упомянутое средство 120 монофонического кодирования выполнено с возможностью кодирования сигнала остатка предсказания 801 в битовый поток 802 остатка предсказания,
- средство 140 параметрического кодирования для кодирования пространственных параметров 103 в параметрический битовый поток 106 и
- средство 150 мультиплексирования для объединения монофонического битового потока 105, параметрического битового потока 106 и потока 802 остатка предсказания в выходной битовый поток 107.
Хотя кодирование монофонического сигнала 104 понижающего микширования и сигнала остатка предсказания 801 осуществляется посредством средства 120 кодирования, является возможным, что упомянутое кодирование осуществляется посредством отдельного декодирующего программного обеспечения и/или аппаратных средств для каждого из сигналов, которые должны быть закодированы.
Более того, несмотря на то, что перечислены в отдельности, множество средств, элементов или этапов способа могут быть реализованы посредством одиночного устройства или процессора. Дополнительно, хотя отдельные признаки могут быть включены в разные пункты формулы изобретения, таковые по возможности могут быть выгодным образом скомбинированы, а включение в разные пункты формулы изобретения не подразумевает, что комбинация признаков не является выполнимой и/или полезной. Также включение признака в одну категорию пунктов формулы изобретения не подразумевает ограничение этой категорией, но скорее указывает, что признак равным образом применим к другим категориям пунктов формулы изобретения при необходимости. Более того, последовательность признаков в пунктах формулы изобретения не подразумевает какой-то ограничивающий порядок, в котором признаки являются работоспособными, и, в частности, порядок отдельных этапов в пункте формулы изобретения на способ не подразумевает, что эти этапы должны быть осуществлены именно в этом порядке. Предпочтительно, этапы могут быть осуществлены в любом подходящем порядке. В дополнение, упоминания в единственном числе не исключают множественности. Выражения единственного числа, «первый», «второй» и т.п., не устраняют множественности. Символы ссылок в пунктах формулы изобретения предусмотрены только в качестве проясняющих примеров и не должны трактоваться как ограничивающие объем, определяемый формулой изобретения, каким бы то ни было образом.
Claims (16)
1. Устройство (300, 400) параметрического стереофонического повышающего микширования для генерирования левого сигнала (206) и правого сигнала (207) из монофонического сигнала (204) понижающего микширования на основе пространственных параметров (205), отличающееся тем, что содержит средство (310) для предсказания разностного сигнала (311), содержащего разность между левым сигналом (206) и правым сигналом (207), на основе монофонического сигнала (204) понижающего микширования, масштабированного коэффициентом предсказания (321), при этом упомянутый коэффициент предсказания получается из пространственных параметров (205), и арифметическое средство (330) для получения левого сигнала (206) и правого сигнала (207) на основе суммы и разности монофонического сигнала (204) понижающего микширования и упомянутого разностного сигнала (311).
2. Устройство по п.1, в котором упомянутый коэффициент предсказания (321) основан на сопоставлении формы сигнала (204) понижающего микширования с разностным сигналом (311).
4. Устройство по любому из пп.1-3, в котором средство (310) для предсказания разностного сигнала (311) выполнено с возможностью улучшения разностного сигнала посредством добавления масштабированного декоррелированного монофонического сигнала понижающего микширования.
5. Устройство по п.4, в котором упомянутый декоррелированный монофонический сигнал (341) понижающего микширования получается посредством фильтрования монофонического сигнала (204) понижающего микширования.
6. Устройство по п.4, в котором коэффициент (322) масштабирования, применяемый к декоррелированному монофоническому сигналу (341) понижающего микширования, устанавливается для компенсации потери энергии, связанной с предсказанием.
7. Устройство по п.6, в котором коэффициент масштабирования (322), применяемый к декоррелированному монофоническому сигналу (341) понижающего микширования, задается как функция пространственных параметров:
где iid, ipd и icc - пространственные параметры, и iid - межканальная разность мощностей, ipd - межканальная разность фаз, и icc - межканальная когерентность, и α - коэффициент предсказания (321).
где iid, ipd и icc - пространственные параметры, и iid - межканальная разность мощностей, ipd - межканальная разность фаз, и icc - межканальная когерентность, и α - коэффициент предсказания (321).
8. Устройство по любому из пп.1-3, которое имеет сигнал остатка предсказания (331) для разностного сигнала как дополнительные входные данные, при этом арифметическое средство (330) выполнено с возможностью получения левого сигнала (206) и правого сигнала (207) на основе монофонического сигнала (204) понижающего микширования, упомянутого разностного сигнала (311) и упомянутого сигнала остатка предсказания (331) для разностного сигнала.
9. Параметрический стереофонический декодер, содержащий средство (210) демультиплексирования для разделения входящего битового потока (201) на монофонический битовый поток (202) и параметрический битовый поток (203), средство (220) монофонического декодирования для декодирования упомянутого монофонического битового потока в монофонический сигнал (204) понижающего микширования, средство (240) параметрического декодирования для декодирования упомянутого параметрического битового потока в пространственные параметры (205) и средство (230) параметрического стереофонического повышающего микширования для генерирования левого сигнала (206) и правого сигнала (207) из монофонического сигнала (204) понижающего микширования на основе пространственных параметров (205), при этом упомянутый стереофонический декодер дополнительно содержит устройство (300) параметрического стереофонического повышающего микширования по любому из пп.1-3.
10. Параметрический стереофонический декодер, содержащий средство (210) демультиплексирования для разделения входящего битового потока (201) на монофонический битовый поток (202) и параметрический битовый поток (203), средство (220) монофонического декодирования для декодирования упомянутого монофонического битового потока в монофонический сигнал (204) понижающего микширования, средство (240) параметрического декодирования для декодирования параметрического битового потока в пространственные параметры (205) и средство (230) параметрического стереофонического повышающего микширования для генерирования левого сигнала (206) и правого сигнала (207) из монофонического сигнала (204) понижающего микширования на основе пространственных параметров (205), отличающийся тем, что средство (210) демультиплексирования дополнительно выполнено с возможностью получения битового потока (332) остатка предсказания из входного битового потока, средство (220) монофонического декодирования дополнительно выполнено с возможностью декодирования сигнала остатка предсказания (331) для разностного сигнала из битового потока остатка предсказания, и средство (230) параметрического стереофонического повышающего микширования представляет собой устройство параметрического стереофонического повышающего микширования по п.8.
11. Способ генерирования левого сигнала и правого сигнала из монофонического сигнала понижающего микширования на основе пространственных параметров, отличающийся тем, что содержит этапы, на которых:
предсказывают разностный сигнал, содержащий разность между левым сигналом и правым сигналом, на основе монофонического сигнала понижающего микширования, масштабированного коэффициентом предсказания, при этом упомянутый коэффициент предсказания получают из пространственных параметров,
получают левый сигнал и правый сигнал на основе суммы и разности монофонического сигнала понижающего микширования и упомянутого разностного сигнала.
предсказывают разностный сигнал, содержащий разность между левым сигналом и правым сигналом, на основе монофонического сигнала понижающего микширования, масштабированного коэффициентом предсказания, при этом упомянутый коэффициент предсказания получают из пространственных параметров,
получают левый сигнал и правый сигнал на основе суммы и разности монофонического сигнала понижающего микширования и упомянутого разностного сигнала.
12. Способ по п.11, в котором этап получения левого сигнала и правого сигнала также основывается на сигнале остатка предсказания для разностного сигнала.
13. Звуковое проигрывающее устройство, содержащее параметрический стереофонический декодер согласно п.9 или 10.
14. Устройство (800) параметрического стереофонического понижающего микширования для генерирования монофонического сигнала (104) из левого сигнала (101) и правого сигнала (102) на основе пространственных параметров (103), отличающееся тем, что имеет сигнал остатка предсказания (801) для разностного сигнала как дополнительный вывод, при этом упомянутое устройство параметрического стереофонического понижающего микширования содержит дополнительное арифметическое средство (810) для получения монофонического сигнала (104) понижающего микширования и разностного сигнала (811), содержащего разность между левым сигналом и правым сигналом, и дополнительное средство (820) предсказания для получения сигнала остатка предсказания (801) для разностного сигнала как разности между разностным сигналом (811) и монофоническим сигналом (104) понижающего микширования (104), масштабированного заранее определенным коэффициентом предсказания (831), полученным из пространственных параметров (103).
15. Параметрический стереофонический кодер, содержащий средство (130) оценки для получения пространственных параметров (103) из левого сигнала (101) и правого сигнала (102), средство (110) параметрического стереофонического понижающего микширования для генерирования монофонического сигнала (104) понижающего микширования из левого сигнала и правого сигнала на основе пространственных параметров, средство (120) монофонического кодирования для кодирования упомянутого монофонического сигнала понижающего микширования в монофонический битовый поток (105), средство (140) параметрического кодирования для кодирования пространственных параметров в параметрический битовый поток (106) и средство (150) мультиплексирования для включения монофонического битового потока и параметрического битового потока в выходной битовый поток, отличающийся тем, что средство (110) параметрического стереофонического понижающего микширования является устройством параметрического стереофонического понижающего микширования по п.14, и средство (220) монофонического кодирования дополнительно выполнено с возможностью кодирования сигнала остатка предсказания (801) для разностного сигнала в битовый поток (802) остатка предсказания, и средство (150) мультиплексирования дополнительно выполнено с возможностью включения битового потока остатка предсказания в выходной поток.
16. Способ генерирования сигнала остатка предсказания для разностного сигнала из левого сигнала и правого сигнала на основе пространственных параметров, отличающийся тем, что содержит этапы, на которых:
получают разностный сигнал между левым сигналом и правым сигналом;
получают сигнал остатка предсказания для разностного сигнала как разность между разностным сигналом и монофоническим сигналом понижающего микширования, масштабированным коэффициентом предсказания, полученным из пространственных параметров.
получают разностный сигнал между левым сигналом и правым сигналом;
получают сигнал остатка предсказания для разностного сигнала как разность между разностным сигналом и монофоническим сигналом понижающего микширования, масштабированным коэффициентом предсказания, полученным из пространственных параметров.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08156801.6 | 2008-05-23 | ||
EP08156801 | 2008-05-23 | ||
PCT/IB2009/052009 WO2009141775A1 (en) | 2008-05-23 | 2009-05-14 | A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2010152580A RU2010152580A (ru) | 2012-06-27 |
RU2497204C2 true RU2497204C2 (ru) | 2013-10-27 |
Family
ID=40943873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2010152580/08A RU2497204C2 (ru) | 2008-05-23 | 2009-05-14 | Устройство параметрического стереофонического повышающего микширования, параметрический стереофонический декодер, устройство параметрического стереофонического понижающего микширования, параметрический стереофонический кодер |
Country Status (10)
Country | Link |
---|---|
US (6) | US8811621B2 (ru) |
EP (1) | EP2283483B1 (ru) |
JP (1) | JP5122681B2 (ru) |
KR (1) | KR101629862B1 (ru) |
CN (1) | CN102037507B (ru) |
BR (3) | BR122020009727B1 (ru) |
MX (1) | MX2010012580A (ru) |
RU (1) | RU2497204C2 (ru) |
TW (1) | TWI484477B (ru) |
WO (1) | WO2009141775A1 (ru) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2782511C1 (ru) * | 2018-12-07 | 2022-10-28 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием компенсации прямых компонент |
US11838743B2 (en) | 2018-12-07 | 2023-12-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding using diffuse compensation |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4643453B2 (ja) | 2006-01-10 | 2011-03-02 | 株式会社東芝 | 情報処理装置及び情報処理装置の動画像復号方法 |
WO2009141775A1 (en) * | 2008-05-23 | 2009-11-26 | Koninklijke Philips Electronics N.V. | A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder |
CN101826326B (zh) * | 2009-03-04 | 2012-04-04 | 华为技术有限公司 | 一种立体声编码方法、装置和编码器 |
KR20110018107A (ko) * | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치 |
CN102667919B (zh) * | 2009-09-29 | 2014-09-10 | 弗兰霍菲尔运输应用研究公司 | 音频信号解码器和编码器、提供上混和下混信号表示型态的方法 |
TWI444989B (zh) * | 2010-01-22 | 2014-07-11 | Dolby Lab Licensing Corp | 針對改良多通道上混使用多通道解相關之技術 |
RU2586851C2 (ru) * | 2010-02-24 | 2016-06-10 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Устройство для формирования улучшенного сигнала микширования с понижением, способ формирования улучшенного сигнала микширования с понижением и компьютерная программа |
EP2375410B1 (en) | 2010-03-29 | 2017-11-22 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | A spatial audio processor and a method for providing spatial parameters based on an acoustic input signal |
EP2375409A1 (en) * | 2010-04-09 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |
BR122019013299B1 (pt) * | 2010-04-09 | 2021-01-05 | Dolby International Ab | aparelho e método para emitir um sinal de áudio esterofônico possuindo um canal esquerdo e um canal direito e meio legível por computador não transitório |
AU2016222372B2 (en) * | 2010-04-09 | 2018-06-28 | Dolby International Ab | Mdct-based complex prediction stereo coding |
MY194835A (en) * | 2010-04-13 | 2022-12-19 | Fraunhofer Ges Forschung | Audio or Video Encoder, Audio or Video Decoder and Related Methods for Processing Multi-Channel Audio of Video Signals Using a Variable Prediction Direction |
CN102314882B (zh) * | 2010-06-30 | 2012-10-17 | 华为技术有限公司 | 声音信号通道间延时估计的方法及装置 |
JP2012100241A (ja) | 2010-10-05 | 2012-05-24 | Panasonic Corp | 画像編集装置、画像編集方法、及び、そのプログラム |
FR2966634A1 (fr) * | 2010-10-22 | 2012-04-27 | France Telecom | Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase |
US8654984B2 (en) * | 2011-04-26 | 2014-02-18 | Skype | Processing stereophonic audio signals |
US9601122B2 (en) | 2012-06-14 | 2017-03-21 | Dolby International Ab | Smooth configuration switching for multichannel audio |
WO2014020182A2 (en) | 2012-08-03 | 2014-02-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and method for a generalized spatial-audio-object-coding parametric concept for multichannel downmix/upmix cases |
SG10201709631PA (en) | 2013-01-08 | 2018-01-30 | Dolby Int Ab | Model based prediction in a critically sampled filterbank |
EP3017446B1 (en) | 2013-07-05 | 2021-08-25 | Dolby International AB | Enhanced soundfield coding using parametric component generation |
EP2830052A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension |
EP2830053A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
KR101461110B1 (ko) * | 2013-09-06 | 2014-11-12 | 광주과학기술원 | 스테레오 확장장치 및 스테레오 확장방법 |
BR112016008817B1 (pt) | 2013-10-21 | 2022-03-22 | Dolby International Ab | Método para reconstruir um sinal de áudio de n canais, sistema de decodificação de áudio, método para codificar um sinal de áudio de n canais e sistema de codificação de áudio |
US9848272B2 (en) | 2013-10-21 | 2017-12-19 | Dolby International Ab | Decorrelator structure for parametric reconstruction of audio signals |
CN103700372B (zh) * | 2013-12-30 | 2016-10-05 | 北京大学 | 一种基于正交解相关技术的参数立体声编码、解码方法 |
BR112017008015B1 (pt) * | 2014-10-31 | 2023-11-14 | Dolby International Ab | Métodos e sistemas de decodificação e codificação de áudio |
EP3284087B1 (en) | 2016-01-22 | 2019-03-06 | Fraunhofer Gesellschaft zur Förderung der Angewand | Apparatuses and methods for encoding or decoding an audio multi-channel signal using spectral-domain resampling |
US9978381B2 (en) * | 2016-02-12 | 2018-05-22 | Qualcomm Incorporated | Encoding of multiple audio signals |
US10224042B2 (en) | 2016-10-31 | 2019-03-05 | Qualcomm Incorporated | Encoding of multiple audio signals |
ES2834083T3 (es) | 2016-11-08 | 2021-06-16 | Fraunhofer Ges Forschung | Aparato y método para la mezcla descendente o mezcla ascendente de una señal multicanal usando compensación de fase |
CA3045847C (en) * | 2016-11-08 | 2021-06-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder |
US10652689B2 (en) * | 2017-01-04 | 2020-05-12 | That Corporation | Configurable multi-band compressor architecture with advanced surround processing |
US10877192B2 (en) | 2017-04-18 | 2020-12-29 | Saudi Arabian Oil Company | Method of fabricating smart photonic structures for material monitoring |
US10401155B2 (en) | 2017-05-12 | 2019-09-03 | Saudi Arabian Oil Company | Apparatus and method for smart material analysis |
CN110998721B (zh) | 2017-07-28 | 2024-04-26 | 弗劳恩霍夫应用研究促进协会 | 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置 |
CN117198302A (zh) * | 2017-08-10 | 2023-12-08 | 华为技术有限公司 | 时域立体声参数的编码方法和相关产品 |
CN109389987B (zh) * | 2017-08-10 | 2022-05-10 | 华为技术有限公司 | 音频编解码模式确定方法和相关产品 |
CN109389984B (zh) * | 2017-08-10 | 2021-09-14 | 华为技术有限公司 | 时域立体声编解码方法和相关产品 |
TWI812658B (zh) | 2017-12-19 | 2023-08-21 | 瑞典商都比國際公司 | 用於統一語音及音訊之解碼及編碼去關聯濾波器之改良之方法、裝置及系統 |
WO2019121982A1 (en) | 2017-12-19 | 2019-06-27 | Dolby International Ab | Methods and apparatus for unified speech and audio decoding qmf based harmonic transposer improvements |
US11532316B2 (en) | 2017-12-19 | 2022-12-20 | Dolby International Ab | Methods and apparatus systems for unified speech and audio decoding improvements |
TWI714046B (zh) | 2018-04-05 | 2020-12-21 | 弗勞恩霍夫爾協會 | 用於估計聲道間時間差的裝置、方法或計算機程式 |
EP3776546B1 (en) * | 2018-04-05 | 2022-01-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Support for generation of comfort noise, and generation of comfort noise |
WO2020009082A1 (ja) | 2018-07-03 | 2020-01-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置及び符号化方法 |
US10841689B2 (en) * | 2018-10-02 | 2020-11-17 | Harman International Industries, Incorporated | Loudspeaker and tower configuration |
KR20220025107A (ko) | 2019-06-14 | 2022-03-03 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 매개변수 인코딩 및 디코딩 |
WO2021181472A1 (ja) * | 2020-03-09 | 2021-09-16 | 日本電信電話株式会社 | 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体 |
WO2021181746A1 (ja) * | 2020-03-09 | 2021-09-16 | 日本電信電話株式会社 | 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体 |
EP4120250A4 (en) | 2020-03-09 | 2024-03-27 | Nippon Telegraph And Telephone Corporation | SOUND SIGNAL REDUCING MIXING METHOD, SOUND SIGNAL CODING METHOD, SOUND SIGNAL REDUCING MIXING DEVICE, SOUND SIGNAL CODING DEVICE, PROGRAM AND RECORDING MEDIUM |
US20230086460A1 (en) | 2020-03-09 | 2023-03-23 | Nippon Telegraph And Telephone Corporation | Sound signal encoding method, sound signal decoding method, sound signal encoding apparatus, sound signal decoding apparatus, program, and recording medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5434948A (en) * | 1989-06-15 | 1995-07-18 | British Telecommunications Public Limited Company | Polyphonic coding |
US5717764A (en) * | 1993-11-23 | 1998-02-10 | Lucent Technologies Inc. | Global masking thresholding for use in perceptual coding |
RU2316154C2 (ru) * | 2002-04-10 | 2008-01-27 | Конинклейке Филипс Электроникс Н.В. | Кодирование стереофонических сигналов |
RU2006139082A (ru) * | 2004-04-05 | 2008-05-20 | Конинклейке Филипс Электроникс Н.В. (Nl) | Многоканальный кодер |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8913758D0 (en) | 1989-06-15 | 1989-08-02 | British Telecomm | Polyphonic coding |
KR101021076B1 (ko) | 2002-04-22 | 2011-03-11 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 신호 합성 |
SE527670C2 (sv) * | 2003-12-19 | 2006-05-09 | Ericsson Telefon Ab L M | Naturtrogenhetsoptimerad kodning med variabel ramlängd |
US20080260048A1 (en) * | 2004-02-16 | 2008-10-23 | Koninklijke Philips Electronics, N.V. | Transcoder and Method of Transcoding Therefore |
US7391870B2 (en) * | 2004-07-09 | 2008-06-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V | Apparatus and method for generating a multi-channel output signal |
SE0402650D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
WO2006048815A1 (en) | 2004-11-04 | 2006-05-11 | Koninklijke Philips Electronics N.V. | Encoding and decoding a set of signals |
KR101215868B1 (ko) * | 2004-11-30 | 2012-12-31 | 에이저 시스템즈 엘엘시 | 오디오 채널들을 인코딩 및 디코딩하는 방법, 및 오디오 채널들을 인코딩 및 디코딩하는 장치 |
US7573912B2 (en) * | 2005-02-22 | 2009-08-11 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. | Near-transparent or transparent multi-channel encoder/decoder scheme |
US7751572B2 (en) | 2005-04-15 | 2010-07-06 | Dolby International Ab | Adaptive residual audio coding |
WO2007010451A1 (en) | 2005-07-19 | 2007-01-25 | Koninklijke Philips Electronics N.V. | Generation of multi-channel audio signals |
KR100923156B1 (ko) * | 2006-05-02 | 2009-10-23 | 한국전자통신연구원 | 멀티채널 오디오 인코딩 및 디코딩 시스템 및 방법 |
US8619998B2 (en) * | 2006-08-07 | 2013-12-31 | Creative Technology Ltd | Spatial audio enhancement processing method and apparatus |
US8027479B2 (en) * | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
CN103400583B (zh) * | 2006-10-16 | 2016-01-20 | 杜比国际公司 | 多声道下混对象编码的增强编码和参数表示 |
US8200351B2 (en) * | 2007-01-05 | 2012-06-12 | STMicroelectronics Asia PTE., Ltd. | Low power downmix energy equalization in parametric stereo encoders |
ES2452348T3 (es) * | 2007-04-26 | 2014-04-01 | Dolby International Ab | Aparato y procedimiento para sintetizar una señal de salida |
EP2023600A1 (en) | 2007-07-27 | 2009-02-11 | Thomson Licensing | Method of color mapping from non-convex source gamut into non-convex target gamut |
WO2009141775A1 (en) * | 2008-05-23 | 2009-11-26 | Koninklijke Philips Electronics N.V. | A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder |
-
2009
- 2009-05-14 WO PCT/IB2009/052009 patent/WO2009141775A1/en active Application Filing
- 2009-05-14 BR BR122020009727-2A patent/BR122020009727B1/pt active IP Right Grant
- 2009-05-14 KR KR1020107028681A patent/KR101629862B1/ko active IP Right Grant
- 2009-05-14 JP JP2011510076A patent/JP5122681B2/ja active Active
- 2009-05-14 US US12/992,317 patent/US8811621B2/en active Active
- 2009-05-14 MX MX2010012580A patent/MX2010012580A/es active IP Right Grant
- 2009-05-14 EP EP09750232A patent/EP2283483B1/en active Active
- 2009-05-14 BR BRPI0908630-7A patent/BRPI0908630B1/pt active IP Right Grant
- 2009-05-14 BR BR122020009732-9A patent/BR122020009732B1/pt active IP Right Grant
- 2009-05-14 RU RU2010152580/08A patent/RU2497204C2/ru active
- 2009-05-14 CN CN2009801187544A patent/CN102037507B/zh active Active
- 2009-05-20 TW TW098116731A patent/TWI484477B/zh active
-
2014
- 2014-07-14 US US14/330,498 patent/US9591425B2/en active Active
-
2017
- 2017-01-20 US US15/411,127 patent/US10136237B2/en active Active
-
2018
- 2018-10-22 US US16/166,496 patent/US11019445B2/en active Active
-
2021
- 2021-05-19 US US17/324,420 patent/US11871205B2/en active Active
-
2023
- 2023-12-01 US US18/525,910 patent/US20240121567A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5434948A (en) * | 1989-06-15 | 1995-07-18 | British Telecommunications Public Limited Company | Polyphonic coding |
US5717764A (en) * | 1993-11-23 | 1998-02-10 | Lucent Technologies Inc. | Global masking thresholding for use in perceptual coding |
RU2316154C2 (ru) * | 2002-04-10 | 2008-01-27 | Конинклейке Филипс Электроникс Н.В. | Кодирование стереофонических сигналов |
RU2006139082A (ru) * | 2004-04-05 | 2008-05-20 | Конинклейке Филипс Электроникс Н.В. (Nl) | Многоканальный кодер |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2782511C1 (ru) * | 2018-12-07 | 2022-10-28 | Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. | Устройство, способ и компьютерная программа для кодирования, декодирования, обработки сцены и других процедур, связанных с пространственным аудиокодированием на основе dirac с использованием компенсации прямых компонент |
US11838743B2 (en) | 2018-12-07 | 2023-12-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding using diffuse compensation |
US11856389B2 (en) | 2018-12-07 | 2023-12-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding using direct component compensation |
US11937075B2 (en) | 2018-12-07 | 2024-03-19 | Fraunhofer-Gesellschaft Zur Förderung Der Angewand Forschung E.V | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to DirAC based spatial audio coding using low-order, mid-order and high-order components generators |
Also Published As
Publication number | Publication date |
---|---|
TW201011736A (en) | 2010-03-16 |
CN102037507A (zh) | 2011-04-27 |
KR20110020846A (ko) | 2011-03-03 |
US20190058960A1 (en) | 2019-02-21 |
KR101629862B1 (ko) | 2016-06-24 |
US10136237B2 (en) | 2018-11-20 |
EP2283483B1 (en) | 2013-03-13 |
CN102037507B (zh) | 2013-02-06 |
US11871205B2 (en) | 2024-01-09 |
BR122020009727B1 (pt) | 2021-04-06 |
US9591425B2 (en) | 2017-03-07 |
JP2011522472A (ja) | 2011-07-28 |
EP2283483A1 (en) | 2011-02-16 |
BRPI0908630B1 (pt) | 2020-09-15 |
US11019445B2 (en) | 2021-05-25 |
US20170134875A1 (en) | 2017-05-11 |
US20240121567A1 (en) | 2024-04-11 |
US20140321652A1 (en) | 2014-10-30 |
MX2010012580A (es) | 2010-12-20 |
JP5122681B2 (ja) | 2013-01-16 |
US8811621B2 (en) | 2014-08-19 |
BRPI0908630A8 (pt) | 2017-12-12 |
US20210274302A1 (en) | 2021-09-02 |
WO2009141775A1 (en) | 2009-11-26 |
TWI484477B (zh) | 2015-05-11 |
BR122020009732B1 (pt) | 2021-01-19 |
US20110096932A1 (en) | 2011-04-28 |
BRPI0908630A2 (pt) | 2017-10-03 |
RU2010152580A (ru) | 2012-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2497204C2 (ru) | Устройство параметрического стереофонического повышающего микширования, параметрический стереофонический декодер, устройство параметрического стереофонического понижающего микширования, параметрический стереофонический кодер | |
RU2388176C2 (ru) | Почти прозрачная или прозрачная схема многоканального кодера/декодера | |
TWI459380B (zh) | 用以解碼信號之裝置及方法、和電腦可讀媒體 | |
CA2750451C (en) | Upmixer, method and computer program for upmixing a downmix audio signal | |
RU2393646C1 (ru) | Усовершенствованный способ для формирования сигнала при восстановлении многоканального аудио | |
US8433583B2 (en) | Audio decoding | |
US9401151B2 (en) | Parametric encoder for encoding a multi-channel audio signal | |
EP2467850B1 (en) | Method and apparatus for decoding multi-channel audio signals | |
Purnhagen | Low complexity parametric stereo coding in MPEG-4 | |
US10553223B2 (en) | Adaptive channel-reduction processing for encoding a multi-channel audio signal | |
EP2717261A1 (en) | Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding | |
Melkote et al. | Transform-Domain Decorrelation in Dolby Digital Plus |